Как использовать полнотекстовый поиск в PostgreSQL в Ubuntu 16.04

Full-text search (FTS) - это метод, используемый поисковыми системами для поиска результатов в базе данных. Его можно использовать для поиска результатов поиска на таких веб-сайтах, как магазины, поисковые системы, газеты и т. Д.

В частности, FTS извлекает documents, которые являются объектами базы данных, содержащими текстовые данные, которые не полностью соответствуют критериям поиска. Это означает, что когда пользователь ищет «кошки и собаки», например, приложение, поддерживаемое FTS, может возвращать результаты, которые содержат слова отдельно (только «кошки» или «собаки»), содержат слова в другом порядке. («Собаки и кошки») или содержат варианты слов («кошка» или «собака»). Это дает приложениям преимущество в угадывании значения пользователя и более быстром возвращении более релевантных результатов.

Технически говоря, системы управления базами данных (СУБД), такие как PostgreSQL, обычно допускают частичный поиск текста с использованием предложений LIKE. Однако эти запросы, как правило, неэффективны для больших наборов данных. Они также ограничены соответствием точному вводу пользователя, что означает, что запрос может не дать результатов, даже если есть документы с соответствующей информацией.

Используя FTS, вы можете создать более мощный механизм текстового поиска, не вводя дополнительных зависимостей от более продвинутых инструментов. В этом руководстве мы будем использовать PostgreSQL для хранения данных, содержащих статьи для гипотетического новостного веб-сайта, а затем узнаем, как запрашивать базу данных с использованием FTS и выбирать только лучшие совпадения. В качестве последнего шага мы реализуем некоторые улучшения производительности для запросов полнотекстового поиска.

Прежде чем начать это руководство, вам потребуется следующее:

Если вы настроили сервер PostgreSQL, не следуя приведенному выше руководству, убедитесь, что у вас есть пакет + postgresql-contrib +, использующий + sudo apt-get list postgresql-contrib +.

Для начала нам понадобятся некоторые данные для тестирования плагина полнотекстового поиска, поэтому давайте создадим несколько примеров данных. Если у вас уже есть собственная таблица с текстовыми значениями, вы можете перейти к шагу 2 и сделать соответствующие замены, следуя далее.

В противном случае первым шагом является подключение к базе данных PostgreSQL со своего сервера. Поскольку вы подключаетесь с одного хоста, по умолчанию вам не нужно будет вводить пароль.

Это установит интерактивный сеанс PostgreSQL с указанием имени базы данных, с которой вы работаете, в нашем случае это ++. Вы должны увидеть командную строку базы данных + sammy = # +.

Затем создайте пример таблицы в базе данных под названием + news +. Каждая запись в этой таблице будет представлять новостную статью с заголовком, некоторым содержанием и именем автора вместе с уникальным идентификатором.

+ id + - это первичный индекс таблицы со специальным типом + SERIAL +, который создает счетчик с автоприращением для таблицы. Это уникальный идентификатор, который автоматически попадает в индекс базы данных. Мы поговорим об этом индексе в шаге 3, когда рассмотрим улучшения производительности.

Затем добавьте некоторые примеры данных в таблицу, используя команду + INSERT +. Данные этого примера в приведенной ниже команде представляют некоторые примеры статей новостей

Теперь, когда в базе данных есть данные для поиска, мы можем попробовать написать несколько запросов.

Первым шагом здесь является создание одного документа с несколькими текстовыми столбцами из таблицы базы данных. Затем мы можем преобразовать полученную строку в вектор слов, который мы будем использовать в запросах.

Во-первых, нам нужно собрать все столбцы вместе, используя функцию сцепления PostgreSQL + || + и функцию преобразования + to_tsvector () +.

Это возвращает первую запись как весь документ, а также ее преобразованную версию, которая будет использоваться для поиска.

Вы можете заметить, что в преобразованной версии меньше слов + metadata + в приведенном выше выводе, чем в исходном + document +. Некоторые слова различны, и каждое слово имеет точку с запятой и число, добавленное к нему. Это связано с тем, что функция + to_tsvector () + нормализует каждое слово, чтобы мы могли найти варианты формы одного и того же слова, а затем сортирует результат по алфавиту. Число - это позиция мира в «+ документе». Могут быть дополнительные разделенные запятыми позиции, если нормализованное слово появляется более одного раза.

Теперь мы можем использовать этот преобразованный документ, чтобы воспользоваться возможностями FTS, выполнив поиск по термину «Исследования».

Давайте рассмотрим функции и операторы, которые мы использовали здесь.

Функция + to_tsquery () + переводит параметр, который может быть прямым или слегка скорректированным пользовательским поиском, в критерии текстового поиска, которые уменьшат ввод таким же образом, как + to_tsvector () +. Кроме того, функция позволяет указать используемый язык и указать, должны ли все слова присутствовать в результате или только одно из них.

Оператор + @@ + определяет, соответствует ли + tsvector + + tsquery + или другому + tsvector +. Возвращает + true или` + false`, что упрощает использование как часть критериев + WHERE.

Запрос возвратил документ, который содержит слово «Исследование», хотя слово, которое мы использовали для поиска, было «Исследования». Использование оператора + LIKE + вместо FTS здесь дало бы пустой результат.

Теперь, когда мы знаем, как подготовить документы для FTS и как структурировать запросы, давайте рассмотрим способы повышения производительности FTS.

Генерация документа каждый раз, когда мы используем запрос FTS, может стать проблемой производительности при использовании больших наборов данных или небольших серверов. Одним из хороших решений этого, которое мы здесь реализуем, является создание преобразованного документа при вставке строки и сохранение его вместе с другими данными. Таким образом, мы можем просто получить его с помощью запроса вместо того, чтобы генерировать его каждый раз.

Сначала создайте дополнительный столбец с именем ++ для существующей таблицы + news +.

Теперь нам нужно использовать другой запрос для вставки данных в таблицу. В отличие от шага 2, здесь нам также нужно подготовить преобразованный документ и добавить его в новый столбец + document +, например так:

Добавление нового столбца в существующую таблицу требует, чтобы мы сначала добавили пустые значения для столбца + document +. Теперь нам нужно обновить его сгенерированными значениями.

Используйте команду + UPDATE +, чтобы добавить недостающие данные.

Добавление этих строк в нашу таблицу является хорошим улучшением производительности, но в больших наборах данных у нас все еще могут быть проблемы, потому что базе данных все равно придется сканировать всю таблицу, чтобы найти строки, соответствующие критериям поиска. Простым решением этого является использование индексов.

Database index - это структура данных, в которой данные хранятся отдельно от основных данных, что повышает производительность операций поиска данных. Он обновляется после любых изменений в содержимом таблицы за счет дополнительных записей и сравнительно небольшого дискового пространства. Его небольшой размер и индивидуальная структура данных позволяют индексам работать намного эффективнее, чем использование основного табличного пространства для выбора запросов.

В конечном счете, индексы помогают базе данных быстрее находить строки, выполняя поиск с использованием специальных структур данных и алгоритмов. PostgreSQL имеет several типы индексов, которые подходят для определенных типов запросов. Наиболее подходящими для этого варианта использования являются индексы GiST и GIN. Основное различие между ними заключается в том, насколько быстро они могут извлекать документы из таблицы. GIN создается медленнее при добавлении новых данных, но быстрее запрашивает; GIST строится быстрее, но требует дополнительного чтения данных.

Поскольку GiST примерно в 3 раза медленнее извлекает данные, чем GIN, мы создадим здесь индекс GIN.

Используя индексированный столбец + document, запрос` + SELECT` также стал немного проще.

Вывод будет выглядеть так:

Когда вы закончите, вы можете выйти из консоли базы данных с помощью + \ q +.

В этом руководстве рассказывалось, как использовать полнотекстовый поиск в PostgreSQL, включая подготовку и хранение документа метаданных и использование индекса для повышения производительности. Если вы хотите больше узнать о FTS в PostgreSQL, взгляните на official PostgreSQL документацию по полнотекстовому поиску.