Вышел Elasticsearch 6.3.0

13 Июня вышел Elasticsearch 6.3.0 на основе Lucene 7.3.0. Это последний стабильный релиз и уже доступен для использования в облаке через службу Elasticsearch на Elastic Cloud ^[1].

Последний стабильный релиз в ветке 6.x:

• Скачать Elasticsearch 6.3.0 ^[2]
• Примечания к выпуску ^[3]
• Elasticsearch 6.3 главные изменения ^[4]

Вы можете прочитать обо всех изменениях в примечаниях к выпуску, приведенных выше, но есть несколько изменений, которые стоит выделить:

SQL

Бывало-ли у вас когда нибудь что-то подобное:

• Вы говорите “Я знаю, как это сделать в SQL-запросе — как я могу сделать то же самое в Elasticsearch? ^[5]” (прим.перев — три дня гуглил как сделать group by...)
• Пытались построить полнотекстовый поиск с помощью токенизации ^[6], стемминга ^[7], синонимов ^[8], сортировки по релевантности ^[9] на основе такого SQL-движка, как реляционная база данных?
• Пытались масштабировать традиционную базу данных с миллиардами строк?
• Пытались подключить сторонний инструмент (например систему BI), к Elasticsearch?

Мы надеемся что решение этих задач приблизит вас к вступлению в ряды пользователей нового релиза Elasticsearch SQL. Наша цель предоставить разработчикам, data-учёным, и другим специалистам так или иначе знакомым с SQL, но до сих пор не знакомым, или не имеющим возможности использовать язык запросов Elasticsearch — возможность использовать скорость, масштабируемость, и всю силу полнотекстового поиска, Освоить и полюбить Elasticsearch.

Если вы только начинаете использовать всю силу функционала предоставляемого Elasticsearch, вот несколько вещей, которые можно попробовать в новой версии:

• SELECT … ORDER BY SCORE() DESC позволяет сортировать результаты поиска по релевантности
• Получите всю полнотекстовую магию от токенизации до вывода, используя оператор MATCH, например SELECT … WHERE MATCH(fieldname, 'текст запроса')
• Подключите свой любимый JDBC-совместимый инструмент к Elasticsearch с помощью JDBC драйвера ^[10]
• Изучите как использовать всю силу Elasticsearch DSL ^[11] транслируя ваш SQL-запрос с помощью API трансляции SQL-запросов ^[12]

Мы только начинаем внедрять SQL, поэтому мы помечаем эти функции как экспериментальные, продолжая собирать ваши отзывы о любых ошибках и пожеланиях для новых функций. В будущем мы надеемся выпустить драйвер ODBC, а также упростить и создать наш существующий драйвер JDBC, включая другие функции и предикаты, чтобы мы могли лучше взаимодействовать с другими сторонними инструментами, такими как инструменты BI. Пожалуйста, сообщите нам, что бы вы хотели видеть дальше, а также о любых проблемах, с которыми вы столкнулись в работе Elasticsearch 6.3.x!

Обратите внимание, что эта функция доступна в дистрибутиве Elasticsearch по умолчанию (non-OSS). REST API, включая функционал «translate api» а также инструмент CLI полностью бесплатны.

Показатели

Elastic Stack все чаще используется в качестве механизма хранилища данных и визуализации для IoT, мониторинга производительности и других данных. И хотя мы по-прежнему считаем, что большинство данных имеют тенденцию быть актуальными в течение длительного периода времени, относительная актуальность данных может уменьшаться с течением времени. С выпуском 6.3 мы теперь можем создать задачу ^[13] в Elasticsearch, которая периодически собирает сводную статистику о недавно добавленных данных и делает их доступными для поиска.

Показатели не являются чем-то новым в мире хранения метрик, но мы сделали несколько автоматических вещей, которые мы считаем довольно изящными:

• Когда вы отправляете в Elasticsearch запрос на сохранение усредненных показателей, он автоматически сохранит базовую статистику, например, сумму и количество так чтобы иметь возможность пересчитать среднее значение во время запроса, чтобы помочь вам избежать парадокса Симпсона ^[14].
• Тот факт, что мы сохраняем некоторые базовые статистические сводные данные, позволяет вам запрашивать эти данные и «живые» данные вместе в одном запросе ^[15]. О, и этот запрос использует тот же стандартный DSL, который вы использовали в течение многих лет ^[16], без необходимости узнавать что-либо новое!

Пожалуйста расскажите нам ^[17] о своих собственных примерах использования этих новых экспериментальных фич!

Обратите внимание, что эта функция доступна в дистрибутиве Elasticsearch по умолчанию (не для OSS) и абсолютно бесплатна.

Поддержка Java 10

В предыдущей версии Elasticsearch мы объявили о поддержке Java 9 ^[18]. Java 9 — это краткосрочная версия, и она уже достигла EOL в марте 2018 года. Чтобы продолжить поддержку краткосрочных выпусков Java, мы объявляем о поддержке Java 10 в Elasticsearch 6.3. Java 10 также является краткосрочной версией, EOL запланирован в сентябре 2018 года.

Как уже упоминалось ранее, мы настоятельно рекомендуем большинству пользователей придерживаться Java 8, если только они не устраивают быстрый цикл Java коротких версий (и даты EOL). Используйте матрицу поддержки ^[19] — для проверки совместимости с вашей версией JVM.

Обновления безопасности

Это обновление также устраняет две проблемы безопасности.

Уязвимость утечки данных в Elasticsearch (ESA-2018-10)

В версиях Elasticsearch 6.0.0-beta1 — 6.2.4 в API _snapshot была обнаружена уязвимость утечки информации. Когда параметры access_key и security_key устанавливаются с помощью _snapshot API они могут быть в открытом виде доступны пользователям, которые имеют доступ к запросам _snapshot API. Несмотря на то что в документации к _snapshot API 6.X рекомендуется указывать параметры access_key и security_key в хранилище ключей, их всё еще можно определить за пределами хранилища с помощью API.

Уязвимые версии: Elasticsearch начиная с версии 6.0.0-beta1 по 6.2.4

Уязвимость утечки данных в Elasticsearch (ESA-2018-11)

Возможность утечки ценной информации была обнаружена в плагине Elasticsearch repository-azure (ранее elasticsearch-cloud-azure). Когда плагин repository-azure настроен на запись на уровне TRACE, регистрационные данные Azure могут непреднамеренно логироваться.

Уязвимые версии: Все версии Elasticsearch (кроме 6.3.0)

Заключение

Загрузите Elasticsearch 6.3.0 ^[2], попробуйте его в работе, и сообщите нам, что вы думаете в Twitter (@elastic ^[20]) или на нашем форуме. Вы можете сообщить о любых проблемах на странице проблем в GitHub ^[21].

Оригинальная статья ^[22]

Автор: mastacamp

Источник ^[23]