Créer un moteur de recommandation avec un filtrage collaboratif

Pour comprendre le concept de similitude, créons d’abord un jeu de données simple.

Les données incluent quatre utilisateurs* A , *B , C et D , qui ont évalué deux films. Les classements sont stockés dans des listes, et chaque liste contient deux chiffres indiquant le classement de chaque film:

Pour commencer avec un indice visuel, tracez les notes de deux films données par les utilisateurs sur un graphique et recherchez un motif. Le graphique ressemble à ceci:

image:https://files.realpython.com/media/euclidean-distance.74e8c9d0be22.jpg}Points tracés sur un graphique pour visualiser Euclidean distance]

Dans le graphique ci-dessus, chaque point représente un utilisateur et est tracé en fonction des notes attribuées à deux films.

Regarder la distance entre les points semble être un bon moyen d’estimer la similitude, non? Vous pouvez trouver la distance en utilisant la formule de la distance euclidienne entre deux points. Vous pouvez utiliser la fonction disponible dans + scipy + comme indiqué dans le programme suivant:

>>>

Comme indiqué ci-dessus, vous pouvez utiliser + scipy.spatial.distance.euclidean + pour calculer la distance entre deux points. L’utiliser pour calculer la distance entre les notes de* A , *B et D à celle de C nous montre qu’en termes de distance, les notes de C sont les plus proches de celles de B .

Vous pouvez voir que l’utilisateur C est le plus proche de B même en regardant le graphique. Mais sur A et D seulement, qui est le plus proche de C ?

On pourrait dire que C est plus proche de D en termes de distance. Mais en regardant le classement, il semblerait que les choix de C correspondraient à ceux de A plus que D parce que les deux A et C aiment le deuxième film presque deux fois plus qu’ils aiment le premier film, mais D aime également les deux films.

Alors, que pouvez-vous utiliser pour identifier de tels modèles que la distance euclidienne ne peut pas? L’angle entre les lignes joignant les points à l’origine peut-il être utilisé pour prendre une décision? Vous pouvez jeter un œil à l’angle entre les lignes joignant l’origine du graphique aux points respectifs comme indiqué:

Le graphique montre quatre lignes joignant chaque point à l’origine. Les lignes pour A et B coïncident, rendant l’angle entre elles nul.

Vous pouvez considérer que si l’angle entre les lignes augmente, la similitude diminue et si l’angle est nul, les utilisateurs sont très similaires.

Pour calculer la similitude à l’aide de l’angle, vous avez besoin d’une fonction qui renvoie une similitude plus élevée ou une distance plus petite pour un angle inférieur et une similitude inférieure ou une distance plus grande pour un angle plus élevé. Le cosinus d’un angle est une fonction qui diminue de 1 à -1 lorsque l’angle augmente de 0 à 180.

Vous pouvez utiliser le cosinus de l’angle pour trouver la similitude entre deux utilisateurs. Plus l’angle est élevé, plus le cosinus sera faible et donc, plus la similitude des utilisateurs sera faible. Vous pouvez également inverser la valeur du cosinus de l’angle pour obtenir la distance cosinus entre les utilisateurs en la soustrayant de 1.

+ scipy + a une fonction qui calcule la distance cosinus des vecteurs. Il renvoie une valeur plus élevée pour un angle plus élevé:

>>>

L’angle inférieur entre les vecteurs de C et A donne une valeur de distance cosinus inférieure. Si vous souhaitez classer les similitudes des utilisateurs de cette manière, utilisez la distance cosinus.

Les cas d’utilisation réels avec plusieurs éléments impliqueraient plus de dimensions dans les vecteurs d’évaluation. Vous voudrez peut-être aussi entrer dans les mathématiques de cosine similarity.

Notez que les utilisateurs A et B sont considérés comme absolument similaires dans la métrique de similitude cosinus, bien qu’ils aient des notes différentes. Il s’agit en fait d’un phénomène courant dans le monde réel, et les utilisateurs comme l’utilisateur A sont ce que vous pouvez appeler des évaluateurs difficiles . Un exemple serait un critique de cinéma qui donne toujours des notes inférieures à la moyenne, mais le classement des éléments de leur liste serait similaire aux évaluateurs moyens comme B .

Pour prendre en compte ces préférences utilisateur individuelles, vous devrez amener tous les utilisateurs au même niveau en supprimant leurs biais. Vous pouvez le faire en soustrayant la note moyenne donnée par cet utilisateur à tous les articles de chaque article évalué par cet utilisateur. Voici à quoi cela ressemblerait:

En faisant cela, vous avez changé la valeur de la note moyenne donnée par chaque utilisateur à 0. Essayez de faire de même pour les utilisateurs C et D , et vous verrez que les notes sont désormais ajustées pour donner une moyenne de 0 pour tous les utilisateurs, ce qui les amène tous au même niveau et supprime leurs biais.

Le cosinus de l’angle entre les vecteurs ajustés est appelé cosinus centré . Cette approche est normalement utilisée lorsqu’il y a beaucoup de valeurs manquantes dans les vecteurs, et vous devez placer une valeur commune pour remplir les valeurs manquantes.

Remplir les valeurs manquantes dans la matrice de notation avec une valeur aléatoire pourrait entraîner des inexactitudes. Un bon choix pour remplir les valeurs manquantes pourrait être la note moyenne de chaque utilisateur, mais les moyennes originales de l’utilisateur A et B sont respectivement + 1,5 + et + 3 +, et en remplissant tous les espaces vides les valeurs de A avec + 1.5 + et celles de B avec + 3 + feraient d’eux des utilisateurs différents.

Mais après avoir ajusté les valeurs, la moyenne centrée des deux utilisateurs est + 0 +, ce qui vous permet de capturer plus précisément l’idée que l’élément est supérieur ou inférieur à la moyenne pour les deux utilisateurs avec toutes les valeurs manquantes dans les vecteurs des deux utilisateurs ayant la même valeur + 0 +.

La distance euclidienne et la similitude en cosinus sont quelques-unes des approches que vous pouvez utiliser pour trouver des utilisateurs similaires les uns aux autres et même des éléments similaires les uns aux autres. (La fonction utilisée ci-dessus calcule la distance en cosinus. Pour calculer la similitude du cosinus, soustrayez la distance de 1.)

Après avoir déterminé une liste d’utilisateurs similaires à un utilisateur U , vous devez calculer la note R que U donnerait à un certain élément I . Encore une fois, tout comme la similitude, vous pouvez le faire de plusieurs manières.

Vous pouvez prévoir que la note d’un utilisateur R pour un élément I sera proche de la moyenne des notes attribuées à I par les 5 ou 10 premiers utilisateurs les plus similaires à U . La formule mathématique pour la note moyenne donnée par les utilisateurs n ressemblerait à ceci:

Cette formule montre que la note moyenne donnée par les n utilisateurs similaires est égale à la somme des notes données par eux divisée par le nombre d’utilisateurs similaires, qui est n.

Il y aura des situations où les n utilisateurs similaires que vous avez trouvés ne sont pas similaires à l’utilisateur cible U . Les 3 premiers d’entre eux pourraient être très similaires, et les autres pourraient ne pas être aussi similaires à U que les 3 premiers. Dans ce cas, vous pouvez envisager une approche dans laquelle la note de l’utilisateur le plus similaire importe plus que celle du deuxième utilisateur le plus similaire, etc. La moyenne pondérée peut nous aider à y parvenir.

Dans l’approche moyenne pondérée, vous multipliez chaque note par un facteur de similitude (qui indique à quel point les utilisateurs sont similaires). En multipliant avec le facteur de similitude, vous ajoutez des pondérations aux notes. Plus le poids est lourd, plus la cote importe.

Le facteur de similitude, qui agirait comme des poids, devrait être l’inverse de la distance discutée ci-dessus, car moins de distance implique une similitude plus élevée. Par exemple, vous pouvez soustraire la distance cosinus de 1 pour obtenir une similitude cosinus.

Avec le facteur de similitude S pour chaque utilisateur similaire à l’utilisateur cible U , vous pouvez calculer la moyenne pondérée à l’aide de cette formule:

Dans la formule ci-dessus, chaque note est multipliée par le facteur de similitude de l’utilisateur qui a donné la note. La note finale prévue par l’utilisateur U sera égale à la somme des notes pondérées divisée par la somme des poids.

Le dénominateur est toujours la somme des poids quand il s’agit de trouver des moyennes, et dans le cas de la moyenne normale, le poids étant 1 signifie que le dénominateur serait égal à n.

Avec une moyenne pondérée, vous accordez plus d’attention aux évaluations d’utilisateurs similaires par ordre de similitude.

Maintenant, vous savez comment trouver des utilisateurs similaires et comment calculer les notes en fonction de leurs notes. Il existe également une variante du filtrage collaboratif où vous prédisez les notes en trouvant des éléments similaires les uns aux autres au lieu des utilisateurs et en calculant les notes. Vous découvrirez cette variante dans la section suivante.

La technique dans les exemples expliqués ci-dessus, où la matrice de notation est utilisée pour trouver des utilisateurs similaires en fonction des notes qu’ils donnent, est appelée filtrage collaboratif basé sur l’utilisateur ou utilisateur-utilisateur. Si vous utilisez la matrice de notation pour rechercher des éléments similaires en fonction des notes qui leur sont attribuées par les utilisateurs, l’approche est appelée filtrage collaboratif par élément ou par élément.

Les deux approches sont mathématiquement assez similaires, mais il existe une différence conceptuelle entre les deux. Voici comment les deux se comparent:

Le filtrage collaboratif basé sur les éléments a été développé par Amazon. Dans un système où il y a plus d’utilisateurs que d’éléments, le filtrage basé sur les éléments est plus rapide et plus stable que celui basé sur les utilisateurs. Il est efficace car, généralement, la note moyenne reçue par un élément ne change pas aussi rapidement que la note moyenne attribuée par un utilisateur à différents éléments. Il est également connu pour être plus performant que l’approche basée sur l’utilisateur lorsque la matrice de notation est rare.

Bien que l’approche basée sur les éléments fonctionne mal pour les ensembles de données avec des éléments liés à la navigation ou au divertissement tels que MovieLens, où les recommandations qu’elle donne semblent très évidentes pour les utilisateurs cibles. De tels ensembles de données obtiennent de meilleurs résultats avec les techniques de factorisation matricielle, que vous verrez dans la section suivante, ou avec des recommandateurs hybrides qui prennent également en compte le contenu des données comme le genre en utilisant https://en.wikipedia.org/wiki/Recommender_system # Content-based_filtering [filtrage basé sur le contenu].

Vous pouvez utiliser la bibliothèque Surprise pour expérimenter rapidement différents algorithmes de recommandation. (Vous en saurez plus à ce sujet plus loin dans l’article.)

Dans la matrice utilisateur-élément, il existe deux dimensions:

Si la matrice est principalement vide, la réduction des dimensions peut améliorer les performances de l’algorithme en termes d’espace et de temps. Vous pouvez utiliser différentes méthodes comme la factorisation matricielle ou les encodeurs automatiques pour ce faire.

Selon l’algorithme utilisé pour la réduction de dimensionnalité, le nombre de matrices réduites peut également être supérieur à deux.

Les matrices réduites représentent en fait les utilisateurs et les articles individuellement. Les lignes m de la première matrice représentent les utilisateurs m et les colonnes p vous renseignent sur les fonctionnalités ou les caractéristiques des utilisateurs. Il en va de même pour la matrice d’articles avec n articles et les caractéristiques p . Voici un exemple de l’apparence de la factorisation matricielle:

Dans l’image ci-dessus, la matrice est réduite en deux matrices. Celui de gauche est la matrice utilisateur avec m utilisateurs, et celui du haut est la matrice d’élément avec n éléments. La note + 4 + est réduite ou factorisée en:

Les deux colonnes de la matrice utilisateur et les deux lignes de la matrice d’élément sont appelées facteurs latents et indiquent les caractéristiques cachées des utilisateurs ou des éléments. Une interprétation possible de la factorisation pourrait ressembler à ceci: