Erstellen Sie eine Empfehlungs-Engine mit kollaborativer Filterung

Um das Konzept der Ähnlichkeit zu verstehen, erstellen wir zunächst einen einfachen Datensatz.

Die Daten umfassen vier Benutzer* A , *B , C und D , die zwei Filme bewertet haben. Die Bewertungen werden in Listen gespeichert, und jede Liste enthält zwei Zahlen, die die Bewertung jedes Films angeben:

Um mit einem visuellen Hinweis zu beginnen, zeichnen Sie die Bewertungen von zwei Filmen, die von den Benutzern gegeben wurden, in ein Diagramm und suchen Sie nach einem Muster. Die Grafik sieht folgendermaßen aus:

In der obigen Grafik stellt jeder Punkt einen Benutzer dar und wird gegen die Bewertungen aufgetragen, die sie zwei Filmen gegeben haben.

Ein Blick auf den Abstand zwischen den Punkten scheint ein guter Weg zu sein, um die Ähnlichkeit abzuschätzen, oder? Sie können den Abstand anhand der Formel für den euklidischen Abstand zwischen zwei Punkten ermitteln. Sie können die in + scipy + verfügbare Funktion verwenden, wie im folgenden Programm gezeigt:

>>>

Wie oben gezeigt, können Sie + scipy.spatial.distance.euclidean + verwenden, um den Abstand zwischen zwei Punkten zu berechnen. Die Verwendung zur Berechnung des Abstands zwischen den Bewertungen von* A , *B und D zu denen von C zeigt, dass die Bewertungen von C in Bezug auf die Entfernung denen von B am nächsten kommen .

Sie können sehen, dass Benutzer C B am nächsten ist, selbst wenn Sie sich das Diagramm ansehen. Aber wem ist C näher, nur von A und D ?

Man könnte sagen, C ist in Bezug auf die Entfernung näher an D . Aber wenn man sich die Rangliste ansieht, scheint es, dass die Auswahl von C mehr mit der von A als mit D übereinstimmt, da sowohl A als auch C den zweiten Film fast doppelt so sehr mögen wie den erster Film, aber D mag beide Filme gleich.

Was können Sie also verwenden, um solche Muster zu identifizieren, die die euklidische Distanz nicht kann? Kann der Winkel zwischen den Linien, die die Punkte mit dem Ursprung verbinden, verwendet werden, um eine Entscheidung zu treffen? Sie können den Winkel zwischen den Linien, die den Ursprung des Diagramms mit den jeweiligen Punkten verbinden, wie folgt betrachten:

Die Grafik zeigt vier Linien, die jeden Punkt mit dem Ursprung verbinden. Die Linien für A und B fallen zusammen und machen den Winkel zwischen ihnen zu Null.

Wenn der Winkel zwischen den Linien vergrößert wird, nimmt die Ähnlichkeit ab, und wenn der Winkel Null ist, sind sich die Benutzer sehr ähnlich.

Um die Ähnlichkeit anhand des Winkels zu berechnen, benötigen Sie eine Funktion, die eine höhere Ähnlichkeit oder einen kleineren Abstand für einen niedrigeren Winkel und eine geringere Ähnlichkeit oder einen größeren Abstand für einen höheren Winkel zurückgibt. Der Kosinus eines Winkels ist eine Funktion, die von 1 auf -1 abnimmt, wenn der Winkel von 0 auf 180 zunimmt.

Sie können den Kosinus des Winkels verwenden, um die Ähnlichkeit zwischen zwei Benutzern zu ermitteln. Je höher der Winkel ist, desto niedriger ist der Kosinus und desto geringer ist die Ähnlichkeit der Benutzer. Sie können den Kosinuswert des Winkels auch umkehren, um den Kosinusabstand zwischen den Benutzern zu ermitteln, indem Sie ihn von 1 subtrahieren.

+ scipy + hat eine Funktion, die den Kosinusabstand von Vektoren berechnet. Es gibt einen höheren Wert für einen höheren Winkel zurück:

>>>

Der niedrigere Winkel zwischen den Vektoren von C und A ergibt einen niedrigeren Kosinusabstandswert. Wenn Sie Benutzerähnlichkeiten auf diese Weise bewerten möchten, verwenden Sie den Kosinusabstand.

Reale Anwendungsfälle mit mehreren Elementen würden mehr Dimensionen in Bewertungsvektoren beinhalten. Vielleicht möchten Sie auch in die Mathematik von cosine ähnlich gehen.

Beachten Sie, dass Benutzer A und B in der Kosinus-Ähnlichkeitsmetrik trotz unterschiedlicher Bewertungen als absolut ähnlich angesehen werden. Dies ist tatsächlich ein häufiges Ereignis in der realen Welt, und die Benutzer wie der Benutzer A sind das, was Sie als harte Bewerter bezeichnen können. Ein Beispiel wäre ein Filmkritiker, der immer niedrigere Bewertungen als der Durchschnitt abgibt, aber die Rangfolge der Elemente in seiner Liste wäre ähnlich wie bei den durchschnittlichen Bewertern wie B .

Um solche individuellen Benutzereinstellungen zu berücksichtigen, müssen Sie alle Benutzer auf die gleiche Ebene bringen, indem Sie ihre Vorurteile entfernen. Sie können dies tun, indem Sie die durchschnittliche Bewertung dieses Benutzers für alle Elemente von jedem von diesem Benutzer bewerteten Element abziehen. So würde es aussehen:

Auf diese Weise haben Sie den Wert der von jedem Benutzer abgegebenen Durchschnittsbewertung auf 0 geändert. Versuchen Sie, dasselbe für die Benutzer* C und D *zu tun, und Sie werden sehen, dass die Bewertungen jetzt so angepasst werden, dass sie für alle Benutzer einen Durchschnitt von 0 ergeben, wodurch sie alle auf das gleiche Niveau gebracht werden und ihre Vorurteile beseitigt werden.

Der Cosinus des Winkels zwischen den eingestellten Vektoren wird als* zentrierter Cosinus *bezeichnet. Dieser Ansatz wird normalerweise verwendet, wenn in den Vektoren viele Werte fehlen und Sie einen gemeinsamen Wert platzieren müssen, um die fehlenden Werte aufzufüllen.

Das Auffüllen der fehlenden Werte in der Bewertungsmatrix mit einem zufälligen Wert kann zu Ungenauigkeiten führen. Eine gute Wahl, um die fehlenden Werte zu füllen, könnte die durchschnittliche Bewertung jedes Benutzers sein, aber die ursprünglichen Durchschnittswerte von Benutzer* A und B sind "+ 1,5 " bzw. " 3 " und füllen alle leeren Werte aus Werte von* A *mit ` 1.5 +` und Werte von B *mit` + 3 + `würden sie zu unterschiedlichen Benutzern machen.

Nach dem Anpassen der Werte beträgt der* zentrierte * Durchschnitt beider Benutzer jedoch "+ 0 ", wodurch Sie die Vorstellung erfassen können, dass das Element für beide Benutzer über- oder unterdurchschnittlich ist, wobei alle fehlenden Werte in den Vektoren beider Benutzer vorhanden sind der gleiche Wert ` 0 +`.

Euklidischer Abstand und Kosinusähnlichkeit sind einige der Ansätze, mit denen Sie Benutzer finden können, die einander ähnlich sind, und sogar Elemente, die einander ähnlich sind. (Die oben verwendete Funktion berechnet den Kosinusabstand. Subtrahieren Sie den Abstand von 1, um die Kosinusähnlichkeit zu berechnen.)

Nachdem Sie eine Liste von Benutzern ermittelt haben, die einem Benutzer U ähnlich sind, müssen Sie die Bewertung R berechnen, die U einem bestimmten Element I geben würde. Genau wie bei der Ähnlichkeit können Sie dies auch hier auf verschiedene Arten tun.

Sie können vorhersagen, dass die Bewertung R eines Benutzers für einen Artikel I nahe am Durchschnitt der Bewertungen liegt, die I von den Top 5 oder Top 10 Benutzern gegeben wurden, die U am ähnlichsten sind. Die mathematische Formel für die durchschnittliche Bewertung durch n Benutzer würde folgendermaßen aussehen:

Diese Formel zeigt, dass die durchschnittliche Bewertung, die von den n ähnlichen Benutzern gegeben wird, gleich der Summe der von ihnen gegebenen Bewertungen geteilt durch die Anzahl der ähnlichen Benutzer ist, die n ist.

Es wird Situationen geben, in denen die n ähnlichen Benutzer, die Sie gefunden haben, dem Zielbenutzer U nicht gleich ähnlich sind. Die Top 3 von ihnen sind möglicherweise sehr ähnlich, und der Rest ist U möglicherweise nicht so ähnlich wie die Top 3. In diesem Fall könnten Sie einen Ansatz in Betracht ziehen, bei dem die Bewertung des ähnlichsten Benutzers wichtiger ist als die des zweitähnlichsten Benutzers und so weiter. Der gewichtete Durchschnitt kann uns dabei helfen.

Beim gewichteten Durchschnittsansatz multiplizieren Sie jede Bewertung mit einem Ähnlichkeitsfaktor (der angibt, wie ähnlich die Benutzer sind). Durch Multiplizieren mit dem Ähnlichkeitsfaktor fügen Sie den Bewertungen Gewichte hinzu. Je schwerer das Gewicht, desto wichtiger wäre die Bewertung.

Der Ähnlichkeitsfaktor, der als Gewichte wirken würde, sollte die Umkehrung des oben diskutierten Abstands sein, da ein geringerer Abstand eine höhere Ähnlichkeit impliziert. Sie können beispielsweise den Kosinusabstand von 1 subtrahieren, um die Kosinusähnlichkeit zu erhalten.

Mit dem Ähnlichkeitsfaktor S für jeden Benutzer ähnlich dem Zielbenutzer U können Sie den gewichteten Durchschnitt mit folgender Formel berechnen:

In der obigen Formel wird jede Bewertung mit dem Ähnlichkeitsfaktor des Benutzers multipliziert, der die Bewertung abgegeben hat. Die endgültige vorhergesagte Bewertung durch Benutzer U entspricht der Summe der gewichteten Bewertungen geteilt durch die Summe der Gewichte.

Der Nenner ist immer die Summe der Gewichte, wenn es darum geht, Durchschnittswerte zu finden, und im Fall des normalen Durchschnitts bedeutet das Gewicht 1, dass der Nenner gleich n wäre.

Bei einem gewichteten Durchschnitt berücksichtigen Sie die Bewertungen ähnlicher Benutzer in der Reihenfolge ihrer Ähnlichkeit stärker.

Jetzt wissen Sie, wie Sie ähnliche Benutzer finden und Bewertungen anhand ihrer Bewertungen berechnen. Es gibt auch eine Variante der kollaborativen Filterung, bei der Sie Bewertungen vorhersagen, indem Sie einander ähnliche Elemente anstelle von Benutzern suchen und die Bewertungen berechnen. Über diese Variante erfahren Sie im nächsten Abschnitt.

Die Technik in den oben erläuterten Beispielen, bei der die Bewertungsmatrix verwendet wird, um ähnliche Benutzer basierend auf den von ihnen abgegebenen Bewertungen zu finden, wird als benutzerbasierte oder Benutzer-Benutzer-Kollaborationsfilterung bezeichnet. Wenn Sie die Bewertungsmatrix verwenden, um ähnliche Elemente basierend auf den Bewertungen zu finden, die ihnen von Benutzern gegeben wurden, wird der Ansatz als artikelbasierte oder kollaborative Artikel-Artikel-Filterung bezeichnet.

Die beiden Ansätze sind mathematisch ziemlich ähnlich, aber es gibt einen konzeptionellen Unterschied zwischen den beiden. So vergleichen sich die beiden:

Die objektbasierte kollaborative Filterung wurde von Amazon entwickelt. In einem System, in dem mehr Benutzer als Elemente vorhanden sind, ist die artikelbasierte Filterung schneller und stabiler als die benutzerbasierte. Dies ist effektiv, da sich die durchschnittliche Bewertung eines Artikels normalerweise nicht so schnell ändert wie die durchschnittliche Bewertung, die ein Benutzer verschiedenen Artikeln gegeben hat. Es ist auch bekannt, dass es bei spärlicher Bewertungsmatrix eine bessere Leistung als der benutzerbasierte Ansatz erbringt.

Obwohl der artikelbasierte Ansatz für Datensätze mit Browsing- oder Unterhaltungselementen wie MovieLens eine schlechte Leistung erbringt, scheinen die Empfehlungen für die Zielbenutzer sehr offensichtlich zu sein. Solche Datensätze erzielen bessere Ergebnisse mit Matrixfaktorisierungstechniken, die Sie im nächsten Abschnitt sehen werden, oder mit hybriden Empfehlern, die auch den Inhalt der Daten wie das Genre mithilfe von https://en.wikipedia.org/wiki berücksichtigen/Recommender_system # Inhaltsbasierte Filterung [inhaltsbasierte Filterung].

Sie können die Bibliothek Surprise verwenden, um schnell mit verschiedenen Empfehlungsalgorithmen zu experimentieren. (Mehr dazu später in diesem Artikel.)

In der Benutzerelementmatrix gibt es zwei Dimensionen:

Wenn die Matrix größtenteils leer ist, kann das Reduzieren von Dimensionen die Leistung des Algorithmus sowohl räumlich als auch zeitlich verbessern. Sie können dazu verschiedene Methoden wie Matrixfaktorisierung oder Autoencoder verwenden.

Abhängig von dem zur Dimensionsreduzierung verwendeten Algorithmus kann die Anzahl der reduzierten Matrizen auch mehr als zwei betragen.

Die reduzierten Matrizen repräsentieren die Benutzer und Elemente tatsächlich einzeln. Die m -Zeilen in der ersten Matrix stellen die m -Benutzer dar, und die p -Spalten geben Auskunft über die Merkmale oder Eigenschaften der Benutzer. Gleiches gilt für die Artikelmatrix mit n Artikeln und p Merkmalen. Hier ist ein Beispiel dafür, wie die Matrixfaktorisierung aussieht:

Im obigen Bild wird die Matrix in zwei Matrizen reduziert. Die linke ist die Benutzermatrix mit m Benutzern, und die obere ist die Elementmatrix mit n Elementen. Die Bewertung "+ 4 +" wird reduziert oder in folgende Faktoren zerlegt:

Die zwei Spalten in der Benutzermatrix und die zwei Zeilen in der Elementmatrix werden als latente Faktoren bezeichnet und sind ein Hinweis auf verborgene Merkmale der Benutzer oder der Elemente. Eine mögliche Interpretation der Faktorisierung könnte folgendermaßen aussehen:

Die Faktormatrizen können solche Einblicke in Benutzer und Elemente liefern, aber in Wirklichkeit sind sie normalerweise viel komplexer als die oben angegebene Erklärung. Die Anzahl solcher Faktoren kann zwischen eins und Hunderten oder sogar Tausenden liegen. Diese Zahl ist eines der Dinge, die während des Trainings des Modells optimiert werden müssen.

Im Beispiel hatten Sie zwei latente Faktoren für Filmgenres, aber in realen Szenarien müssen diese latenten Faktoren nicht zu stark analysiert werden. Dies sind Muster in den Daten, die automatisch ihre Rolle spielen, unabhängig davon, ob Sie die zugrunde liegende Bedeutung entschlüsseln oder nicht.

Die Anzahl der latenten Faktoren wirkt sich auf die Empfehlungen so aus, dass die Empfehlungen umso persönlicher werden, je größer die Anzahl der Faktoren ist. Zu viele Faktoren können jedoch zu einer Überanpassung des Modells führen.

Einer der gängigen Algorithmen zur Faktorisierung einer Matrix ist der Algorithmus singular value decomposition (SVD). SVD trat ins Rampenlicht, als die Matrixfaktorisierung im Netflix-Preiswettbewerb eine gute Leistung zeigte. Andere Algorithmen umfassen PCA und seine Variationen, NMF und so weiter. Autoencoders kann auch zur Dimensionsreduzierung verwendet werden, wenn Sie neuronale Netze verwenden möchten.

Sie finden die Implementierungen dieser Algorithmen in verschiedenen Bibliotheken für Python, sodass Sie sich an dieser Stelle nicht um die Details kümmern müssen. Wenn Sie jedoch mehr lesen möchten, ist das Kapitel zur Reduzierung der Dimensionalität im Buch Mining of Massive Datasets eine Lektüre wert.

Die Wahl des Algorithmus für die Empfehlungsfunktion hängt von der Technik ab, die Sie verwenden möchten. Für die oben diskutierten speicherbasierten Ansätze lautet der Algorithmus, der in die Rechnung passt, Centered k-NN, da der Der Algorithmus liegt sehr nahe an der oben erläuterten zentrierten Kosinus-Ähnlichkeitsformel. Es ist in Surprise als + KNNWithMeans + verfügbar.

Um die Ähnlichkeit zu finden, müssen Sie die Funktion lediglich konfigurieren, indem Sie ein Wörterbuch als Argument an die Empfehlungsfunktion übergeben. Das Wörterbuch sollte die erforderlichen Schlüssel haben, z. B. die folgenden:

Das folgende Programm konfiguriert die Funktion + KNNWithMeans +:

Die Empfehlungsfunktion im obigen Programm ist so konfiguriert, dass sie die Kosinusähnlichkeit verwendet und ähnliche Elemente mithilfe des artikelbasierten Ansatzes findet.

Um diesen Empfehlungsgeber auszuprobieren, müssen Sie aus + data + ein + Trainset + erstellen. + Trainset + wird mit denselben Daten erstellt, enthält jedoch weitere Informationen zu den Daten, z. B. die Anzahl der Benutzer und Elemente (+ n_users +, + n_items +), die vom Algorithmus verwendet werden. Sie können es entweder erstellen, indem Sie die gesamten Daten oder einen Teil der Daten verwenden. Sie können die Daten auch in Falten unterteilen, in denen einige der Daten für das Training und andere zum Testen verwendet werden.

Algorithmen sollten cross-validated unter Verwendung mehrerer Falten sein. Wenn Sie verschiedene Paare verwenden, werden unterschiedliche Ergebnisse von Ihrem Empfehlungsgeber angezeigt. MovieLens 100k bietet fünf verschiedene Aufteilungen von Trainings- und Testdaten: u1.base, u1.test, u2.base, u2.test… u5.base, u5.test für eine 5-fache Kreuzvalidierung

Hier ist ein Beispiel, um herauszufinden, wie der Benutzer E den Film bewerten würde 2:

>>>

Der Algorithmus sagte voraus, dass der Benutzer E den Film mit 4,15 bewerten würde, was hoch genug sein könnte, um als Empfehlung angezeigt zu werden.

Sie sollten die verschiedenen k-NN-basierten Algorithmen zusammen mit verschiedenen Ähnlichkeitsoptionen und https://surprise.readthedocs.io/en/stable/ausprobieren. matrix_factorization.html [Matrixfaktorisierungsalgorithmen] in der Überraschungsbibliothek verfügbar. Probieren Sie sie im MovieLens-Dataset aus, um festzustellen, ob Sie einige Benchmarks übertreffen können. Im nächsten Abschnitt erfahren Sie, wie Sie mit Surprise überprüfen, welche Parameter für Ihre Daten am besten geeignet sind.

Surprise bietet eine + GridSearchCV + -Klasse analog zu GridSearchCV von + scikit-learn +.

Mit einem "+ dict " aller Parameter versucht " GridSearchCV +" alle Kombinationen von Parametern und gibt die besten Parameter für jedes Genauigkeitsmaß an

Beispielsweise können Sie in speicherbasierten Ansätzen überprüfen, welche Ähnlichkeitsmetrik für Ihre Daten am besten geeignet ist:

Die Ausgabe des obigen Programms ist wie folgt:

Für das MovieLens 100k-Dataset funktioniert der Centered-KNN-Algorithmus am besten, wenn Sie einen objektbasierten Ansatz wählen und msd als Ähnlichkeitsmetrik mit minimaler Unterstützung 3 verwenden.

In ähnlicher Weise können wir für modellbasierte Ansätze "+ Überraschung +" verwenden, um zu überprüfen, welche Werte für die folgenden Faktoren am besten funktionieren:

Das folgende Programm überprüft die besten Werte für den Algorithmus SVD, bei dem es sich um einen Matrixfaktorisierungsalgorithmus handelt:

Die Ausgabe des obigen Programms ist wie folgt:

Für das MovieLens 100k-Dataset funktioniert der Algorithmus "+ SVD +" am besten, wenn Sie 10 Epochen verwenden und eine Lernrate von 0,005 und 0,4 Regularisierung verwenden.

Andere auf Matrix Factorization basierende Algorithmen, die in + Surprise + verfügbar sind, sind SVD++ und NMF.

Anhand dieser Beispiele können Sie tief in alle Parameter eintauchen, die in diesen Algorithmen verwendet werden können. Sie sollten auf jeden Fall die Mathematik dahinter überprüfen. Da Sie sich anfangs nicht viel um die Implementierung von Algorithmen kümmern müssen, können Empfehlungen eine gute Möglichkeit sein, in den Bereich des maschinellen Lernens einzusteigen und eine darauf basierende Anwendung zu erstellen.