Создайте механизм рекомендаций с помощью совместной фильтрации

Чтобы понять концепцию сходства, давайте сначала создадим простой набор данных.

Данные включают четырех пользователей* A , *B , C и D , которые оценили два фильма. Рейтинги хранятся в списках, и каждый список содержит два числа, обозначающие рейтинг каждого фильма:

Чтобы начать с визуальной подсказки, нарисуйте рейтинги двух фильмов, данных пользователями, на графике и найдите шаблон. График выглядит так:

На приведенном выше графике каждая точка представляет пользователя и отображается в сравнении с оценками, которые они дали двум фильмам.

Глядя на расстояние между точками, кажется, хороший способ оценить сходство, верно? Вы можете найти расстояние, используя формулу для евклидова расстояния между двумя точками. Вы можете использовать функцию, доступную в + scipy +, как показано в следующей программе:

>>>

Как показано выше, вы можете использовать + scipy.spatial.distance.euclidean +, чтобы вычислить расстояние между двумя точками. Использование его для вычисления расстояния между рейтингами A , B и D до C показывает, что с точки зрения расстояния рейтинги C наиболее близки к оценкам B ,

Вы можете увидеть, что пользователь C ближе всего к B , даже если посмотреть на график. Но из A и D кто ближе к C ?

Вы могли бы сказать, что C ближе к D с точки зрения расстояния. Но, глядя на рейтинг, кажется, что выбор C будет совпадать с выбором A больше, чем D , потому что и A , и C любят второй фильм почти в два раза больше, чем им нравится первый фильм, но D любит оба фильма одинаково.

Итак, что вы можете использовать для определения таких паттернов, которые евклидово расстояние не может? Можно ли использовать угол между линиями, соединяющими точки с началом координат, для принятия решения? Вы можете взглянуть на угол между линиями, соединяющими начало графика и соответствующие точки, как показано:

На графике показаны четыре линии, соединяющие каждую точку с началом координат. Линии для A и B совпадают, что делает угол между ними нулевым.

Можно считать, что если угол между линиями увеличивается, то сходство уменьшается, а если угол равен нулю, то пользователи очень похожи.

Чтобы вычислить сходство, используя угол, вам нужна функция, которая возвращает большее сходство или меньшее расстояние для меньшего угла и меньшее сходство или большее расстояние для большего угла. Косинус угла - это функция, которая уменьшается от 1 до -1 при увеличении угла от 0 до 180.

Вы можете использовать косинус угла, чтобы найти сходство между двумя пользователями. Чем выше угол, тем ниже будет косинус и, следовательно, тем ниже будет сходство пользователей. Вы также можете инвертировать значение косинуса угла, чтобы получить косинусное расстояние между пользователями, вычитая его из 1.

+ scipy + имеет функцию, которая вычисляет косинусное расстояние векторов. Возвращает более высокое значение для большего угла:

>>>

Нижний угол между векторами C и A дает меньшее значение косинусного расстояния. Если вы хотите ранжировать сходства пользователей таким образом, используйте косинусное расстояние.

Реальные варианты использования с несколькими элементами будут включать больше измерений в векторах рейтинга. Возможно, вы захотите перейти к математике cosine подобия.

Обратите внимание, что пользователи A и B считаются абсолютно одинаковыми в метрике косинусного сходства, несмотря на разные оценки. На самом деле это обычное явление в реальном мире, и таких пользователей, как пользователь A , можно назвать жесткими оценщиками . Примером может служить критик фильма, который всегда выдает оценки ниже среднего, но ранжирование элементов в их списке будет похоже на Среднее значение рейтингов , например B .

Чтобы учесть такие индивидуальные предпочтения пользователей, вам нужно будет привести всех пользователей к одному уровню, удалив их предубеждения. Вы можете сделать это, вычтя средний рейтинг, данный этим пользователем, всем элементам из каждого элемента, оцененного этим пользователем. Вот как это будет выглядеть:

Делая это, вы изменили значение среднего рейтинга каждого пользователя на 0. Попробуйте сделать то же самое для пользователей* C и D *, и вы увидите, что рейтинги теперь откорректированы, чтобы дать в среднем 0 для всех пользователей, что приводит их всех к одинаковому уровню и устраняет их отклонения.

Косинус угла между скорректированными векторами называется центрированным косинусом. Этот подход обычно используется, когда в векторах много пропущенных значений, и вам нужно поместить общее значение, чтобы заполнить пропущенные значения.

Заполнение пропущенных значений в матрице оценок случайным значением может привести к неточностям. Хорошим выбором для заполнения пропущенных значений может быть средняя оценка каждого пользователя, но исходные средние значения для пользователей A и B равны + 1,5 + и + 3 + соответственно и заполняют все пустые значения A с + 1.5 + и значения B с + 3 + сделают их разнородными пользователями.

Но после корректировки значений, центрированное среднее для обоих пользователей равно + 0 +, что позволяет более точно уловить идею, что элемент выше или ниже среднего для обоих пользователей, причем все пропущенные значения в обоих векторах пользователей имеют то же значение + 0 +.

Евклидово расстояние и косинусное сходство - вот некоторые из подходов, которые вы можете использовать для поиска пользователей, похожих друг на друга, и даже предметов, похожих друг на друга. (Используемая выше функция вычисляет косинусное расстояние. Чтобы вычислить косинусное сходство, вычтите расстояние из 1.)

После того, как вы определили список пользователей, похожих на пользователя U , вам необходимо рассчитать рейтинг R , который U даст определенному элементу I . Опять же, как и сходство, вы можете сделать это несколькими способами.

Вы можете предсказать, что рейтинг пользователя R для элемента I будет близок к среднему значению оценок, присвоенных I топ-5 или топ-10 пользователями, наиболее похожими на U . Математическая формула для среднего рейтинга, данного n пользователями, будет выглядеть так:

Эта формула показывает, что средний рейтинг, данный n аналогичными пользователями, равен сумме рейтингов, полученных ими, деленной на количество похожих пользователей, то есть n.

Будут ситуации, когда n похожие пользователи, которых вы нашли, не одинаково похожи на целевого пользователя U . Верхние 3 из них могут быть очень похожими, а остальные могут быть не такими похожими на U , как верхние 3. В этом случае вы могли бы рассмотреть подход, при котором рейтинг наиболее похожего пользователя важнее, чем второй наиболее похожий пользователь, и так далее. Средневзвешенное значение может помочь нам достичь этого.

В средневзвешенном подходе вы умножаете каждый рейтинг на коэффициент сходства (который говорит о том, насколько похожи пользователи). Умножая на коэффициент сходства, вы добавляете веса к рейтингам. Чем тяжелее вес, тем больше будет иметь значение рейтинг.

Коэффициент подобия, который будет действовать как вес, должен быть обратным расстоянию, обсужденному выше, потому что меньшее расстояние подразумевает более высокое сходство. Например, вы можете вычесть косинусное расстояние от 1, чтобы получить сходство косинусов.

С коэффициентом сходства S для каждого пользователя, аналогичного целевому пользователю U , вы можете рассчитать средневзвешенное значение по следующей формуле:

В приведенной выше формуле каждый рейтинг умножается на коэффициент сходства пользователя, который дал оценку. Окончательный прогнозируемый рейтинг пользователя U будет равен сумме взвешенных оценок, деленной на сумму весов.

Знаменатель всегда является суммой весов, когда дело доходит до нахождения средних значений, а в случае нормального среднего вес, равный 1, означает, что знаменатель будет равен n.

Со средневзвешенным значением вы уделяете больше внимания рейтингам похожих пользователей в порядке их сходства.

Теперь вы знаете, как найти похожих пользователей и как рассчитать рейтинги на основе их рейтингов. Существует также вариант совместной фильтрации, где вы можете прогнозировать рейтинги, находя элементы, похожие друг на друга, а не пользователей, и вычисляя рейтинги. Вы узнаете об этом варианте в следующем разделе.

Методика в приведенных выше примерах, где матрица оценок используется для поиска похожих пользователей на основе оценок, которые они дают, называется коллективной фильтрацией на основе пользователей или пользователей. Если вы используете матрицу оценок, чтобы найти похожие элементы на основе оценок, присвоенных им пользователями, то этот подход называется совместной фильтрацией на основе элементов или элементов.

Эти два подхода математически очень похожи, но между ними есть концептуальная разница. Вот как они сравниваются:

Совместная фильтрация на основе элементов была разработана Amazon. В системе, где пользователей больше, чем элементов, фильтрация на основе элементов выполняется быстрее и стабильнее, чем на основе пользователей. Это эффективно, потому что обычно средняя оценка, полученная элементом, не изменяется так быстро, как средняя оценка, присвоенная пользователем различным элементам. Также известно, что он работает лучше, чем пользовательский подход, когда матрица рейтингов редка.

Хотя подход, основанный на элементах, работает плохо для наборов данных с элементами, относящимися к просмотру или развлечениям, такими как MovieLens, где рекомендации, которые он выдает, кажутся целевым пользователям совершенно очевидными. Такие наборы данных показывают лучшие результаты с техниками факторизации матрицы, которые вы увидите в следующем разделе, или с гибридными рекомендациями, которые также принимают во внимание содержание данных, подобных жанру, используя https://en.wikipedia.org/wiki./Recommender_system # Content-based_filtering [контентная фильтрация].

Вы можете использовать библиотеку Surprise, чтобы быстро экспериментировать с различными алгоритмами рекомендации. (Подробнее об этом вы узнаете позже в статье.)

В матрице пользовательских элементов есть два измерения:

Если матрица в основном пуста, уменьшение размеров может улучшить производительность алгоритма с точки зрения как пространства, так и времени. Для этого вы можете использовать различные методы, такие как матричная факторизация или автоэнкодеры.

В зависимости от алгоритма, используемого для уменьшения размерности, число сокращенных матриц также может быть больше двух.

Сокращенные матрицы фактически представляют пользователей и элементы индивидуально. Строки m в первой матрице представляют пользователей m , а столбцы p рассказывают об особенностях или характеристиках пользователей. То же самое касается матрицы элементов с n элементами и p характеристиками. Вот пример того, как выглядит матричная факторизация:

На изображении выше матрица сведена к двум матрицам. Слева - матрица пользователей с m пользователями, а сверху - матрица элементов с n элементами. Рейтинг «+ 4 +» понижается или разлагается на:

Два столбца в пользовательской матрице и две строки в матрице элементов называются скрытыми факторами и указывают на скрытые характеристики пользователей или элементов. Возможная интерпретация факторизации может выглядеть так: