Google besser als Bing - eine empirische Untersuchung
Google berichtet heute in seinem offiziellen Blog, dass die Microsoft-Suchmaschine Bing offenbar Suchergebnisse von Google kopiere und als seine eigenen ausgebe. Microsoft bestreitet das. Die zugrunde liegende Frage ist allerdings, wer von beiden liefert denn tatsächlich die besseren Suchergebnisse? Jenseits von Design und Usability: wer hat die Nase vorn und liefert mehr relevante Treffer?
Um das zu untersuchen, habe ich eine Art Meta-Suchmaschine programmiert. Diese leitet eine menschliche Suchanfrage an beide Suchmaschinen insgeheim weiter und präsentiert deren Ergebnisse in abwechselnder Reihenfolge ohne die Suchmaschine zu nennen, die den Treffer lieferte. Klickte ein Suchender auf ein Ergebnis, das ursprünglich von Google stammte, bekam die Firma in Mountain View (Google) einen Punkt, bei Bing ging der Punkt nach Redmond. Lieferten beide Suchmaschinen auf dem selben Listenplatz das gleiche Ergenis, ging der Punkt an beide. Mehr zu Untersuchungsdesign im Blogpost »Bing vs. Google«.
Google liefert die relevanteren Suchergebnisse
Okay, „Hund beißt Mann“ werden einige sagen und manche kommentieren, aber ich wollte es genauer herausfinden, was viele vielleicht meinen. Wer ist nun besser?
695 mal wurde die Metasuchmaschine befragt und auf ein resultierendes Ergebnis geklickt. Nicht sooo häufig, aber für eine statistische Aussage sind es genügend Messwerte (Chi-Quadrat-Test), um sogar das starke Signifikanzniveau von 0,1% zu erhalten.
Von den 695 ausgewerteten Klicks entfielen 150 auf beide Suchmaschinen, das heißt, hier lieferten beide Maschinen das gleiche Ergebnis auf dem gleichen Listenplatz. Im direkten Vergleich lieferte Google 330 geklickte Treffer und Bing 215. Der Unterschied ist so groß, dass man ihn nur mit einer Wahrscheinlichkeit von weniger als 0,1% erwarten würde (Chi-Quadrat-Test)
Die Reihenfolge in der gemischten Ergebnisliste war immer abwechselnd, das heisst, jede der beiden Suchmaschinen wurde gleich häufig auf Platz eins bzw. erst auf Platz zwei angezeigt. Wenn beide Suchmaschinen gleich gute, d.h. relevante und damit klickbare Ergenisse lieferten, wäre zu erwarten, dass die Klickraten bei beiden Suchmaschinen ähnlich sind, also bei 695 Versuchen etwa plus/minus 30 Treffer. Mit anderen Worten: Weil es in Wahrheit deutlich mehr als diese 30 Treffer Unterschied sind, kann man das Ergebnis fast (mit 99,9% Wahrscheinlichkeit) als nicht zufällig betrachten: Google liefert die relevanteren Suchergebnisse – sie werden deutlich häufiger von Menschen angeklickt.
The winner takes it all
Wenig überraschend: Wer auf Platz eins in der Trefferliste steht, bekommt die meisten Klicks ab, der Abfall (Wortwitz!) ab Listenplatz zwei fällt sehr stark aus.
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/88298c835c64e06f2caf2f5195423076.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
(@professorbunsen)
Niceone! Cleveres Design mit der Metasuchmaschine.
Aber: Wer waren denn die Teilnehmer der Studie? “695 mal wurde die Metasuchmaschine befragt”, von wem denn? Und was waren die Themen/Suchbegriffe?
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/fd8917a9535dedab003e9231933cc516.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Hallo,
die Suchmaschine durfte (und darf) jede_r nutzen. Sie war im ursprünglichen Blogpost verlinkt:
http://webevangelisten.de/binggoogle/
Aufgrund meiner Leserschaft gehe ich davon aus, dass die Themen bzw. Testpersonen technikaffin sind. Unter den Suchanfragen sind Begriffe bzw. Begriffkombinationen wie “Linux” und “Social Media”, aber auch Begriffe wie “Harry Potter” und “Buddhismus” und “Osnabrücker Zeitung”.
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/170419807768a96560f281062c782ba9.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
(@trustedsystem)
Die Frage der Relevanz oder der Güte der Suchergebnisse ist durch die Anzahl der Klicks überhaupt nicht abgebildet. Müssten hier nicht Inhaltsanalysen der Treffer durchgeführt werden?
Wie viel gesuchte Information besitze ich, nachdem ich 3 Treffer geklickt habe?
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/fd8917a9535dedab003e9231933cc516.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
@Marcus Ich habe versucht, die Relevanz der Treffer dadurch zu operationalisieren, dass ein Treffer dann als “relevant” gesehen wird, wenn jemand darauf klickt. Damit wird natürlich auch der Vorschautext mit bewertet.
Aber von einer Inhaltsanalyse habe ich abgesehen, weil die Relevanz schließlich von Menschen eingeschätzt wird, nicht von mir oder einem von mir oder anderen definierter Algorithmus.
(Antworten)
ketzerisch
(@lostgen) antwortete am Februar 2nd, 2011 :
Manchmal sind die Vorschautexte so gut, dass ich nicht mehr auf den Link klicke, weil die gesuchte Info schon im Vorschautext auftaucht. Bei Google sehr häufig, wenn ich eine Adresse suche.
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/1296ad3c19870a6cf0dcea5bea895b92.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Vielleicht ein Schnellschuss meinerseits, aber:
- hier sollen doch Anteilswerte verglichen werden, oder? Wie wurde denn hier der Chi-Qudarat werd ermittelt? Wie lautet der Wert der Teststatistik? Die verlinkte Seite erläutert das Chi-Quadrat-Maß im Zusammenhang mit dem Vergleich von theoretische und empirische Verteilung (also bspw. die Frage: Folgen meine Daten einer Normalverteilung?).
- Die Interpretation der Signifikanz ist auch etwas ‘wackelig’ :-) Dem Wikipedia-Artikel p-Wert kann man (halbwegs) trauen. Leider ist der p-Wert immer als bedingte Wahrscheinlichkeit zu interpretieren, nämlich unter der Gültigkeit der H0: “Er entspricht der Wahrscheinlichkeit, bei Gültigkeit der Nullhypothese den errechneten oder einen extremeren Wert der Teststatistik zu erhalten.” Diese Erläuterung kann man aber eigentlich niemandem zumuten…
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/fd8917a9535dedab003e9231933cc516.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Hallo Bernd,
meine Nullhpothese war: “Google und Bing sind gleichgut”. Diese habe ich verworfen, weil der errechnete Wert bei 24,2 lag.
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/76b7d270c812a313f2e19951ce3ef438.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Zwei im Kampf um die Rangordnung auf dem Markt. Ein Trickser wirft dem anderen Trickser unlauteres Verhalten vor.
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/d24d378263b1eca15f86a0c405b1839d.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
(@zuvielekoeche)
Die statistische Berechnung dürfte so passen. Coole Idee!
Allerdings stimmt es natürlich, dass ein Klick nicht unbedingt bedeutet, dass das Ergebnis “besser” ist. Aber anders kann man das, gerade als Einzelperson wohl kaum vergleichen. Interessant dabei: Offensichtlich “klaut” Microsoft, so sie es denn tun, nicht nur bei Google, sonst wär das Ergebnis ja wieder ausgeglichen ;-).
Ein weiterer Aspekt deiner letzten Statistik: Offensichtlich scheint es besser zu sein auf Seite 2 in den Top3 zu stehen, alsauf Seite 1 auf Position 10 (Ich schätze, dass es 10 Treffer pro Seite gab?). Also in Zukunft Suchmaschinendeoptimierung betreiben, wenn man auf Platz 10 steht! ;-)
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/0faaeb8ab4614c8e76af90ef3390b9db.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Nur weil jemand auf ein Ergebnis klickt, heißt das noch nicht, dass es auch wirklich relevanter ist. Viele Spamseiten haben super Titel und wirken extrem relevant… sind es aber in keinster Weise.
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/645f09f7ef1ff8bac98990fad4bf5181.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
i like it Google besser als Bing - eine empirische Untersuchung | Webevangelisten now im your rss reader
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/fd8917a9535dedab003e9231933cc516.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
@Tim Koch: Es wurden nun 15 Ergebnisse ausgeliefert und die alle auch einer Seite.
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/d24d378263b1eca15f86a0c405b1839d.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
(@zuvielekoeche)
@Thomas Pfeiffer:
Schade :-) Aber danke für die Antwort!
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/205ff09eb32ad62bc725c9f6dd46e28e.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
(@geekroom_de)
Zur Optimierung der Treffer in Google gibt es viele Möglichkeiten: man kann Wörter ausschließen (-wort), erzwingen (+wort) oder Junktoren verwenden: word AND wort; word OR wort. Als Zusammenfassung dieser Features in Google habe ich hier einen Artikel gefunden:
http://geekroom.de/how-to/google-optimal-nutzen-features-fur-bessere-ergebnisse
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/6f7a14691600851f6a731607229d4cfa.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Vielen Dank Daniel für den Link zu Deinem geekroom-Artikel - da lernt man doch tatsächlich noch etwas recht nützliches Neues …!
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/43fb72f2bbb1363027e11ed527d003d0.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Ich glaube dass auch in ferner Zukunft Google immer mehr an Usern mitziehen wird, da bin ich mir sicher.
(Antworten)
Warning: copy(/opt/lampp/htdocs/servers/webevangelisten.de/z-cache/gravatar/images/284830004b1b98d095d0021ad6215123.png): failed to open stream: Permission denied in /opt/lampp/htdocs/servers/webevangelisten.de/wp-content/themes/open-air/functions.php on line 649
Das ist wie mit den Discountern Aldi und Lidel. Aber ich glaube, dass Google seine Marktposition im Beeich der Suchmaschinen gut zu verteidigen weiß. Der Agierende ist immer schneller als der Reagierende. Bei den Social Media war Google z.B. deutlich zu langsam. Google+ ist und bleibt nur eine Reaktion (noch dazu eine recht mittelmäßige Reaktion). Damit wird es wohl nie so recht was werden.
Suchmaschine “Google” und “Google earth” bleiben die Joker des Unternehmens.
(Antworten)