· 

DISLIKE ANALYSE! Wie gut ist RETURN YOUTUBE DISLIKE WIRKLICH?

Seit dem 13.12.2021 zeigt YouTube nicht mehr die Anzahl an Dislikes unter den Videos an. Zum Glück gibt es die Browser-Erweiterung Return YouTube Dislike (RYD), die eine Schätzung der Dislikes auf ein Video, basierend auf von Benutzern der Erweiterung gesammelten Daten, liefert. Doch wie gut ist diese Erweiterung? Wie nah sind diese Schätzungen an der Realität? Da ich selbst YouTuber bin und bereits fast 380 Videos veröffentlicht habe, möchte ich die Aussagekraft dieses Add-Ons anhand der Daten meines YouTube-Kanals bewerten. Dazu habe ich mir von jedem meiner Videos die Anzahl der Dislikes in YouTube-Studio herausgesucht und zusammen mit den Schätzungen von RYD gespeichert. Anschließend habe ich diese Daten statistisch ausgewertet und möchte meine Ergebnisse gerne mit dir teilen. 

Da ich ein Freund von Transparenz bin, stelle ich dir meinen Datensatz selbstverständlich völlig kostenfrei zur Verfügung. Somit hast auch du die Möglichkeit, eigene interessante Auswertungen durchzuführen und meine Ergebnisse zu überprüfen. 

Download
Rohdaten
Rohdaten für die Dislike-Analyse meiner YouTube-Videos.
MD5-Checksumme: 8E2F9100FB8AAC05749F10DB36BCAC56
rohdaten.txt
Text Dokument 16.4 KB

YouTube und die Dislikes

Bevor wir aber mit der statistischen Auswertung beginnen, möchte ich noch einmal kurz darauf eingehen, was überhaupt passiert ist. Am 10.11.2021 hat YouTube in einem Video verkündet, dass die Anzeige der Dislikes unter den Videos deaktiviert wird. Das hat in der Community für einen großen Aufschrei gesorgt, da die Anzahl an Dislikes bislang oft ein Indikator für die Qualität eines Videos war. Statt sich ein Tutorial oder Nachhilfevideo anzuschauen, das mittendrin aufhört und dann auf eine kostenpflichtige Plattform verweist, konnte man anhand der Dislikes bereits sehen, wie zufrieden die Zuschauer mit dem Video waren. YouTube argumentierte bei seiner Entscheidung wie folgt: 

  • Die Dislike-Funktion würde von einigen Gruppen dazu genutzt werden, gezielt bestimmte Personen und ihre Ansichten bzw. Meinungen anzugreifen.
    Hier halte ich jedoch dagegen, dass sie das genauso in den Kommentaren fortsetzen können. Daran ändert das Verbergen der Dislikes nichts. Zudem konnte ein Creator schon vor diesem neuen "Feature" die Anzeige der Dislikes verbergen. Dann wurden allerdings auch die Likes nicht mehr angezeigt.
  • Nachdem YouTube bei einigen Benutzern die Dislikes testweise verborgen hatte, wurde der Effekt des massenhaften Dislikens wohl abgeschwächt.
    Das ergibt in meinen Augen durchaus Sinn, denn wieso sollte man etwas durch ein Dislike öffentlich kritisieren, wenn das Ergebnis dann nicht öffentlich ist?
  • Es verursache weniger Stress und Schamgefühl, wenn die Dislikes nicht angezeigt werden würden.
    Das kann ich mir durchaus vorstellen, allerdings hatte man zuvor schon die Möglichkeit, seine Bewertungen auszuschalten. Und warum überlässt YouTube nicht den Creatorn selbst die Entscheidung, ob die Dislikes angezeigt werden sollen oder nicht?
  • Andere Plattformen hätten ohnehin keinen Dislike-Button.
    Das ist ein klassischer Fall von Whataboutism und macht die Funktion nicht besser.
  • Das Verbergen der Dislikes hätte keinen Einfluss auf die Anzahl der Views. 
    Wieso verbirgt man sie dann?
  • Die Dislike-Funktion an sich bliebe bestehen, d. h. man könne als Zuschauer nach wie vor diese Funktion nutzen, damit YouTube die Videovorschläge für einen optimieren könne.
    Die Dislike-Funktion ist tatsächlich noch vorhanden.
  • Creator könnten in ihren Analytics weiterhin nachschauen, wie viele Dislikes ein Video bekommen hat. 
    Das ist korrekt, allerdings muss ich dafür bei dem besagten Video zuerst in die Analytics wechseln, dort auf Interaktion klicken, bis zu dem Bereich "Mag ich" (%) scrollen, auf MEHR ANZEIGEN klicken und mir dort dann in dem Feld "Mag ich nicht"-Bewertungen die tatsächliche Anzahl an Dislikes ansehen:

 

Insbesondere bei Tutorials, zu denen auch meine Videos gehören, wünsche ich mir jedenfalls die Anzeige der Dislikes wieder zurück.


Was ist "Return YouTube Dislike"?

Wie gut, dass es dafür ein Browser-Erweiterung mit dem schönen Namen RYD gibt. Damit kannst du die Dislikes unter einem Video wieder sichtbar machen – so lautet zumindest das Versprechen der Entwickler. 

Wie kannst du dir dieses Add-On installieren? Im Firefox-Browser gibst du in der URL-Leiste about:addons ein und klickst auf den Reiter Erweiterungen. In das Suchfeld tippst du Return YouTube Dislike ein, wählst die Erweiterung auf der Webseite von Mozilla aus und klickst auf den Button Zu Firefox hinzufügen, um es zu installieren. Zum Schluss klickst du erneut auf Hinzufügen und fertig. Ab jetzt erscheint oben links ein roter Daumen nach unten. Rufst du jetzt ein Video auf YouTube auf, dann wird dir unterhalb des Videos die Anzahl der (geschätzten) Dislikes angezeigt. 

Neben Firefox, kann man sich die Erweiterung auch im Chrome-, Edge-, Opera- und Brave-Browser installieren.


Wie funktioniert "Return YouTube Dislike"?

Auf der Webseite der Entwickler gibt es einen FAQ-Bereich, in dem häufig gestellte Fragen beantwortet werden. Uns interessiert vor allem, wie die Dislikes berechnet werden. Die Entwickler schreiben dazu Folgendes: 

The extension collects the video ID of the video you are watching, fetches the dislike (and other fields like views, likes etc) using our API. The extension then displays the dislike count and ratio on the page. If you like or dislike a video, that is recorded and sent to the database so an accurate dislike count can be extrapolated."

"Die Erweiterung sammelt die Video ID des Videos, das du dir anschaust (und) zeichnet das Dislike (und andere Felder wie Views, Likes etc.) mithilfe unserer API auf. Die Erweiterung zeigt dann die Dislikes und das (Like/Dislike-)Verhältnis auf der Seite an. Wenn du ein Video likest oder dislikest, dann wird das aufgezeichnet und an die Datenbank geschickt, sodass eine akkurate Dislike-Anzahl extrapoliert werden kann."

Wie wir bei der Installation der Erweiterung gesehen haben, wird auf unsere Daten für returnyoutubedislikeapi.com zugegriffen. Zu diesen Daten zählt z. B., ob du ein bestimmtes Video geliket oder gedisliket hast. Die Entwickler sind auf diese Daten angewiesen, um eine möglichst realitätsnahe Dislike-Zahl präsentieren zu können. Das heißt aber auch, dass RYD nicht zaubern kann, sondern darauf angewiesen ist, dass möglichst viele YouTube-Zuschauer es nutzen. Je mehr es nutzen, desto genauer ist die Schätzung. Bis zum 13.12.2021 konnte man über die YouTube-API noch die korrekte Anzahl an Likes und Dislikes abspeichern. Eine API ist vereinfacht ausgedrückt einfach nur eine Schnittstelle für Programmierer. So konnten die Entwickler des Add-Ons noch genug Daten (also Like- und Dislike-Zahlen) sammeln, bevor sie plötzlich im Blindflug unterwegs waren. 

In dem Video von einem der Entwickler wird erklärt, wie aus den gesammelten Daten eine Dislike-Schätzung entsteht:

Die Anzahl \(D_{RYD}\) der Dislikes der RYD Nutzer wird durch die Anzahl \(L_{RYD}\) der Likes der RYD Nutzer geteilt und das Ergebnis mit der öffentlich angezeigten Anzahl \(L_{YT}\) an Likes multipliziert: $$\frac{D_{RYD}}{L_{RYD}}\cdot L_{YT}$$ Nehmen wir als Beispiel mein Video zur Mathematik in der Serie Squid Game. Wenn \(50\) Benutzer das Video gedisliket und \(4000\) es geliket hätten, würde die Erweiterung, da das Video ingesamt \(5320\) öffentliche Likes hat, $$ \frac{50}{4000}\cdot 5320 \approx 67 $$ Dislikes schätzen.

Analyse meiner Daten

So, nachdem wir uns nun lange genug mit der Theorie rund um RYD und der Dislike-Funktion an sich beschäftigt haben, starten wir nun mit der Analyse meiner Videodaten.

Ich möchte noch einmal darauf hinweisen, dass ich dir alle meine bisherigen Daten kostenfrei zum Experimentieren zur Verfügung stelle. Du kannst dich also nach Lust und Laune z. B. unter Zuhilfenahme von Python an einer eigenen Analyse versuchen. Die erste Zeile der Datei enthält die Struktur der Daten:

  • Zuerst kommt der Link zu dem YouTube-Video, um das es geht. Steht vor der URL ein #, dann handelt es sich um ein Video aus der Kategorie YouTube Shorts.
  • Darauf folgt die Anzahl der Aufrufe des Videos,
  • die Anzahl der Likes
  • die Anzahl der tatsächlichen Dislikes und
  • die Anzahl der von Return YouTube Dislike berechneten Dislikes.

Die einzelnen Informationen werden durch ein Semikolon (;) voneinander getrennt.

Schauen wir uns zuerst mal an, wie viele Aufrufe, Likes und Dislikes ich insgesamt auf meinem Kanal habe. Wenn ich die Aufrufe aller Videos zusammenrechne, komme ich auf 6.014.571, was ungefähr der Zahl entspricht, die in meiner Kanalinfo angezeigt wird:

Die fehlenden 150.000 Aufrufe kommen vermutlich durch die unterschiedliche Update-Frequenz einzelner YouTube-Zahlen zustande. Für die Aufrufe wurden insgesamt 294.611 Bewertungen abgegeben, von denen 290.842 Likes und 3769 Dislikes waren. Das sind 98.7% Likes und 1.3% Dislikes, was zu den Zahlen passt, die mir YouTube im Analytics-Bereich anzeigt: 

Die 0.1%-Unterschied schiebe ich jetzt einfach mal auf Rundungsfehler.

Ok, aber was liefert die Browser-Erweiterung für Zahlen? Nun, hier interessieren uns nur die Dislikes, da die Likes ja nach wie vor öffentlich sind. Und, Trommelwirbel: 3768 Dislikes. Das ist gerade einmal ein Dislike weniger als das tatsächliche Ergebnis.


Der t-Test für abhängige Stichproben

Damit ist der Fall doch klar, oder? Return YouTube Dislike bildet die Realität fast Eins-zu-eins ab. Nicht unbedingt! Es kommt vielmehr darauf an, wie stark sich die Dislikes pro Video voneinander unterscheiden. Betrachten wir dazu mal die folgenden beiden Video-Statistiken:

  • Video 160.000 Likes, 3000 Dislikes, 0 RYD Dislikes.
  • Video 2: 30.000 Likes, 2000 Dislikes, 5000 RYD Dislikes.

Die durchschnittliche Anzahl an Dislikes liegt bei 2500. Die durchschnittliche Anzahl an RYD Dislikes liegt zwar auch bei 2500, doch die Differenz der Dislikes zwischen der Realität und dem Add-On sind völlig verschieden. Im Mittel unterscheiden sie sich nämlich um 3000 Dislikes voneinander!

Wir müssen für unsere Analyse also auch die Differenzen zwischen den tatsächlichen Dislikes und den berechneten Dislikes der Browser-Erweiterung berücksichtigen. Plotten wir die Dislikes aller Videos in einem gemeinsamen Graphen, sehen wir, dass sie sich nicht sonderlich stark voneinander unterscheiden:

Im Mittel haben wir eine Dislike-Differenz von gerade einmal 1.23, also ca. einem Dislike. Das klingt schon ziemlich akkurat.

Es gibt einen statistischen Test, mit dem man die Mittelwerte zweier abhängiger Stichproben untersuchen kann, nämlich den sogenannten t-Test für abhängige Stichproben. Was heißt in diesem Zusammenhang abhängige Stichproben? Nun, dass eine Abhängigkeit zwischen den beiden Werten besteht, die wir jeweils miteinander vergleichen. In unserem Fall vergleichen wir nämlich für jeweils ein Video die tatsächliche Dislike-Anzahl mit der Schätzung von RYD. Das in etwa so wie der Vergleich der Konzentrationsfähigkeit einer Person vor und nach der Einnahme eines bestimmten Medikaments.

Es gibt einige Voraussetzungen, die gelten müssen, damit wir den Test anwenden können: 

  1. Die abhängige Variable (also die Anzahl der Dislikes) ist intervallskaliert. Das ist hier der Fall, denn wir können eine Aussage über die absoluten Abstände der Dislikes untereinander machen.
  2. Es liegen verbundene Stichproben vor (das sind die tatsächlichen Dislikes verglichen mit der Schätzung von RYD) und die verschiedenen Messwertpaare sind voneinander unabhängig. Hier wäre es natürlich besser, wenn wir Videos von verschiedenen und nicht nur von meinem Kanal hätten. 
  3. Die Unterschiede zwischen den verbundenen Testwerten, also die Differenzen der Dislikes je Video, sind in der Grundgesamtheit normalverteilt. Da wir fast 380 Testwerte haben, kann diese Eigenschaft vernachlässigt werden.

Die Nullhypothese für die zweiseitige Variante dieses Tests lautet, dass die Differenzen der Messwertpaare gleich 0 sind. Die Unterschiede der tatsächlichen Anzahl an Dislikes und der Schätzung von RYD wären somit quasi nicht vorhanden und das Add-On würde die Realität ziemlich gut abbilden. 

Für die Auswertung mit dem Statistikprogramm R laden wir die beiden Datensätze in das Programm, wählen den t-Test mit den Optionen mu=0 (d. h. die Mittelwerte der Differenzen sind gleich), two.sided (für die zweiseitige Variante des Tests) und paired=TRUE, was bedeutet, dass wir hier den t-Test für abhängige Stichproben betrachten: 

dislikes <- c(18, 6, 6, 10, 6, 26, 6, 6, 3, 7, 8, 2, 9, 5, 6, 11, 1, 16, 7, 35, 2, 6, 15, 0, 7, 4, 14, 8, 16, 12, 5, 79, 7, 7, 66, 4, 5, 30, 4, 5, 3, 4, 7, 27, 14, 36, 5, 5, 5, 75, 3, 3, 7, 11, 5, 51, 0, 12, 14, 94, 46, 5, 77, 22, 2, 3, 30, 4, 2, 1, 6, 3, 0, 2, 4, 4, 4, 3, 4, 0, 14, 7, 4, 4, 2, 5, 2, 5, 7, 7, 7, 0, 5, 6, 18, 3, 23, 5, 12, 4, 9, 21, 6, 2, 9, 6, 2, 4, 6, 0, 0, 2, 3, 3, 4, 8, 4, 30, 2, 4, 1, 1, 5, 1, 6, 12, 23, 0, 2, 7, 1, 3, 5, 6, 3, 2, 5, 1, 4, 6, 6, 6, 1, 4, 5, 72, 5, 3, 15, 3, 7, 23, 0, 4, 3, 1, 4, 8, 26, 30, 13, 10, 13, 9, 2, 5, 5, 3, 8, 7, 9, 6, 2, 14, 21, 5, 3, 4, 14, 4, 8, 10, 2, 18, 2, 6, 2, 8, 9, 7, 4, 7, 83, 1, 2, 6, 5, 4, 14, 9, 3, 2, 25, 5, 37, 2, 6, 8, 9, 2, 3, 7, 15, 42, 1, 2, 24, 10, 8, 7, 2, 0, 2, 3, 6, 2, 19, 8, 5, 0, 3, 4, 7, 1, 8, 8, 9, 3, 23, 8, 77, 11, 39, 6, 2, 18, 4, 57, 17, 10, 4, 18, 18, 5, 17, 1, 34, 3, 26, 0, 14, 0, 0, 4, 0, 1, 0, 5, 2, 1, 0, 26, 1, 8, 7, 3, 6, 27, 7, 1, 1, 1, 4, 0, 1, 0, 0, 0, 22, 42, 99, 1, 6, 101, 5, 5, 0, 0, 0, 2, 2, 4, 15, 0, 5, 1, 5, 3, 3, 0, 2, 15, 2, 14, 7, 21, 1, 18, 5, 1, 46, 35, 36, 18, 7, 3, 0, 1, 8, 0, 23, 2, 4, 2, 2, 3, 6, 6, 0, 21, 0, 2, 0, 5, 1, 0, 0, 3, 2, 2, 0, 1, 1, 3, 5, 19, 7, 9, 1, 6, 1, 3, 4, 3, 9, 6, 0, 1, 0, 1, 141, 7, 0, 1, 0, 3, 13, 9, 2)
ryd_dislikes <- c(17, 7, 7, 9, 7, 23, 7, 7, 4, 8, 20, 3, 9, 6, 7, 10, 2, 16, 8, 31, 3, 7, 13, 0, 8, 5, 13, 9, 16, 11, 6, 77, 8, 8, 60, 5, 6, 29, 5, 6, 4, 5, 8, 27, 12, 35, 6, 6, 6, 75, 4, 4, 8, 10, 6, 45, 0, 12, 12, 88, 39, 6, 68, 18, 3, 4, 24, 5, 3, 2, 7, 4, 0, 3, 5, 5, 5, 4, 5, 0, 14, 8, 5, 5, 3, 6, 3, 6, 8, 8, 8, 0, 6, 7, 18, 4, 18, 6, 11, 5, 8, 19, 7, 3, 8, 7, 3, 5, 7, 0, 0, 3, 4, 4, 5, 9, 5, 27, 1, 5, 2, 2, 6, 2, 7, 11, 18, 0, 3, 8, 2, 4, 6, 7, 4, 3, 6, 2, 5, 6, 7, 7, 2, 5, 6, 68, 6, 4, 15, 4, 8, 21, 0, 5, 4, 2, 5, 8, 24, 26, 12, 10, 11, 8, 3, 6, 6, 4, 9, 8, 8, 7, 3, 14, 17, 6, 4, 5, 14, 5, 9, 9, 3, 17, 1, 7, 3, 9, 8, 8, 5, 8, 76, 2, 3, 7, 6, 5, 14, 9, 2, 3, 21, 6, 31, 3, 7, 9, 8, 3, 4, 8, 13, 36, 2, 2, 22, 10, 9, 8, 2, 0, 3, 4, 7, 3, 17, 9, 6, 0, 4, 5, 8, 2, 9, 9, 9, 4, 21, 9, 71, 11, 36, 7, 3, 17, 5, 49, 15, 9, 5, 18, 16, 5, 16, 2, 30, 4, 26, 0, 13, 0, 0, 5, 0, 2, 0, 6, 3, 2, 0, 21, 2, 9, 8, 4, 7, 26, 8, 2, 2, 0, 5, 0, 2, 0, 0, 0, 16, 37, 87, 2, 7, 100, 6, 6, 0, 0, 0, 3, 3, 4, 14, 0, 5, 2, 6, 4, 3, 0, 3, 15, 3, 13, 7, 19, 2, 18, 6, 2, 45, 34, 31, 16, 7, 4, 0, 2, 9, 0, 22, 2, 5, 3, 3, 4, 7, 7, 0, 18, 0, 3, 0, 6, 2, 0, 0, 4, 3, 3, 0, 2, 2, 4, 5, 16, 8, 9, 2, 7, 2, 4, 5, 4, 9, 6, 0, 2, 0, 2, 134, 8, 0, 2, 0, 4, 11, 9, 3)
t.test(dislikes, ryd_dislikes, mu=0, alt="two.sided", paired = TRUE)

Die Ergebnisse in R sind ziemlich eindeutig:

t = 0.026021, df = 378, p-value = 0.9793
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.1967391  0.2020161
sample estimates:
mean of the differences 
            0.002638522 

D. h. wir können aufgrund der uns vorliegenden Daten die Nullhypothese nicht verwerfen und können davon ausgehen, dass RYD einen ziemlich guten Job macht.


Ergebnis für Videos nach dem 13.12.2021

Schön und gut, aber wie ich bereits erwähnt habe, liegen für die Videos vor dem 13.12.2021 Daten der YouTube-API vor. Wie sieht es für Videos ab dem 13.12.2021 aus? Das wären in meinem Datensatz die Einträge in den Zeilen 2 - 29.

Diese Videos haben insgesamt 276.964 Aufrufe. Insgesamt gibt es 17.990 Bewertungen, von denen 17.740 Likes und 250 Dislikes sind. 98.6% sind also Likes und 1.4% DislikesRYD liefert hingegen 266 Dislikes, also mehr Dislikes als ich eigentlich in diesem Zeitraum hatte. Im Mittel unterscheiden sich die Differenzen jedoch auch hier nur um 1.5 Dislikes. Den t-Test können wir hier leider nicht anwenden, weil die Differenzen der Dislikes je Video wahrscheinlich nicht normalverteilt sind und wir mit nur 28 Messwerten nicht genug Daten haben, um eine Verletzung dieser Voraussetzung in Kauf zu nehmen. 

Wir verzichten jedoch auf die Verwendung eines nicht parametrischen Tests, da die 1.5 Dislikes hier bereits eine gute Funktionsweise von RYD vermuten lassen.


Ergebnisse für YouTube-Shorts

Und wie sieht es für YouTube-Shorts aus? Diese haben 258.197 Aufrufe. Insgesamt gab es 16.447 Bewertungen, von denen 16.212 Likes und 235 Dislikes waren. Wie bei den letzten 28 Videos sind 98.6% Likes und 1.4% DislikesRYD liefert ebenfalls exakt 235 Dislikes. Im Mittel unterscheiden sich die Differenzen jedoch um ca. 1.4 Dislikes. Auch hier können wir den t-Test nicht anwenden, weil die Differenzen der Dislikes je Video wahrscheinlich nicht normalverteilt sind und trotzdem können wir, wie schon bei den letzten 28 Videos, davon ausgehen, dass RYD hier gut arbeitet.


Fazit

Kommen wir abschließend zu einem Fazit. Auf der Basis meiner Daten bringt RYD die Dislikes tatsächlich recht zuverlässig zurück. Dass das Add-On bei mir gut funktioniert, bedeutet nicht, dass das bei allen Videos der Fall ist. Zudem habe ich nur die Videos auf meinem Kanal untersucht. Ich würde mich sehr freuen, wenn andere YouTuber mir ihre Zahlen schicken würden, denn dann könnte ich weitere Analysen durchführen. Insbesondere bei Videos mit mehreren Hunderttausend oder Millionen von Aufrufen wäre eine Auswertung durchaus spannend. Damit kann ich leider noch nicht dienen. Außerdem konnte ich nur 28 Videos ab dem 13.12.2022, dem Tag des Abschaltens der API, auswerten, doch gerade die sind spannend, weil sie sich quasi nur auf die Likes- und Dislikes der RYD Nutzer verlassen können. Ab hier hängt es vor allem davon ab, wie viele meiner Zuschauer dieses Add-On nutzen.

Alles in allem kann ich RYD zu meiner eigenen Verwunderung tatsächlich empfehlen. Dass die Ergebnisse so gut sind, hätte ich anfangs nicht gedacht. Und nein, das ist keine Werbung. Die App-Entwickler wissen bisher nichts von diesem Artikel und ich habe kein Geld für die Datenanalyse bekommen.