Um das zu untersuchen, habe ich eine Art Meta-Suchmaschine programmiert. Diese leitet eine menschliche Suchanfrage an beide Suchmaschinen insgeheim weiter und präsentiert deren Ergebnisse in abwechselnder Reihenfolge ohne die Suchmaschine zu nennen, die den Treffer lieferte. Klickte ein Suchender auf ein Ergebnis, das ursprünglich von Google stammte, bekam die Firma in Mountain View (Google) einen Punkt, bei Bing ging der Punkt nach Redmond. Lieferten beide Suchmaschinen auf dem selben Listenplatz das gleiche Ergenis, ging der Punkt an beide. Mehr zu Untersuchungsdesign im Blogpost »Bing vs. Google«.

Google liefert die relevanteren Suchergebnisse

Okay, „Hund beißt Mann“ werden einige sagen und manche kommentieren, aber ich wollte es genauer herausfinden, was viele vielleicht meinen. Wer ist nun besser?

695 mal wurde die Metasuchmaschine befragt und auf ein resultierendes Ergebnis geklickt. Nicht sooo häufig, aber für eine statistische Aussage sind es genügend Messwerte (Chi-Quadrat-Test), um sogar das starke Signifikanzniveau von 0,1% zu erhalten.

Von den 695 ausgewerteten Klicks entfielen 150 auf beide Suchmaschinen, das heißt, hier lieferten beide Maschinen das gleiche Ergebnis auf dem gleichen Listenplatz. Im direkten Vergleich lieferte Google 330 geklickte Treffer und Bing 215. Der Unterschied ist so groß, dass man ihn nur mit einer Wahrscheinlichkeit von weniger als 0,1% erwarten würde (Chi-Quadrat-Test)

Die Reihenfolge in der gemischten Ergebnisliste war immer abwechselnd, das heisst, jede der beiden Suchmaschinen wurde gleich häufig auf Platz eins bzw. erst auf Platz zwei angezeigt. Wenn beide Suchmaschinen gleich gute, d.h. relevante und damit klickbare Ergenisse lieferten, wäre zu erwarten, dass die Klickraten bei beiden Suchmaschinen ähnlich sind, also bei 695 Versuchen etwa plus/minus 30 Treffer. Mit anderen Worten: Weil es in Wahrheit deutlich mehr als diese 30 Treffer Unterschied sind, kann man das Ergebnis fast (mit 99,9% Wahrscheinlichkeit) als nicht zufällig betrachten: Google liefert die relevanteren Suchergebnisse – sie werden deutlich häufiger von Menschen angeklickt.

The winner takes it all

Wenig überraschend: Wer auf Platz eins in der Trefferliste steht, bekommt die meisten Klicks ab, der Abfall (Wortwitz!) ab Listenplatz zwei fällt sehr stark aus.