Think aloud protocol results

From mediawiki

Vragen

We hebben een groot arsenaal aan vragen bedacht, die men in twee grote delen kan opdelen. Enerzijds heb je de vragen waarvan we weten dat ze gemakkelijker in google te vinden zijn:

Zoek het laatste boek van...
Zoek de laatste film van...
In welk jaar is ... gemaakt.

Anderzijds zijn er de vragen die gemakkelijker op sites als amazon en ebay te vinden zijn:

Wat is de prijs van...
Wat is de goedkoopste prijs dat je kan vinden voor het voorwerp...

Aan elk proefpersoon hebben we 2 vragen gesteld, uit elke lijst 1 vraag. Ze moeten hier het antwoord op vinden door eerst via google en vervolgens via amazon of ebay te zoeken.

Resultaten

Omdat we voornamelijk de zoekmachines willen testen, en niet de personen, worden de personen enkel met hun voornaam genoemd.

TestPersoon 1

Matthias D. (21 jaar, Burgerlijk ingenieur computerwetenschappen) (veelvuldig gebruik google en computers in het algemeen)

Wat is het laatste boek van Terry Goodkind?
- Google: Ik tik de naam van de schrijver in op google en duw op enter. Ik zie op de eerste plaats de officiele site staan, maar op de tweede plaats wikipedia. Wikipedia heeft vroeger al vaak nuttige informatie gegeven, dus ga ik eerst hierop kijken. Ik zie hier een bibliografie, maar zonder data, dus de informatie zie ik niet echt. Ik ga even terug naar de resultaten van google en klik op de officiele website. Hier zie ik enerzijds een lijst met data bij. En ook bij 'latest news' staat zijn nieuwste boek afgebeeld. De titel van zijn nieuwste boek is dus Phantom (hoewel het boek confessor op komst is).
- Amazon: Ik tik nogmaals de schrijver in. Ik zie een hele lijst boeken. Deze staan niet gerangschikt volgens datum van uitgave maar eerder in willekeurige volgorde. Ook zie ik bij verschillende titels andere data staan omdat ze een andere uitgave zijn. Ik kijk in de lijst welke de laatste uitgave is, en dat is 'Phantom'. Maar hier staat may 29,2007, hoewel deze datum nog niet gepasseerd is, en hierboven er ook Phantom staat van july 18, 2006. Als ik moest gokken, en omdat ik het weet van google daarnet, zou ik voor phantom gaan, maar echt zeker ben ik niet.
- Welke van de twee vond je het gemakkelijkste en waarom? Ik had redelijk snel informatie over hun boeken bij beiden, maar op amazon was het niet echt duidelijk. Google was hierin wel duidelijk en dus beter. Wel moet gezegd worden dat google beter is door gevestigde waarden zoals officiele sites en wikipedia. Zonder wikipedia zou google ook minder gemakkelijk zijn.

Wat is de goedkoopste prijs die je voor een BMW X5 kan vinden op het internet?
- Google: Ik type BMW in op google. Ik zie op de eerste plaats een naam staan van bmw.be, dat zal wel betrouwbaar zijn. Ik heb nu de keuze uit breedband of modemverbinding. Ik neem breedband. Vind ik wel al irritant en niet echt duidelijk. Nu wacht ik tot het flashfilmpje gedaan is. Aha, ik zie hier toch prijzen staan, waar ik ook op klik. Dit kan niet worden weergegeven in breedbandversie, alleen in modemversie. Dit is onlogisch en zonder twijfel een slechte site, maar ik ben er nu bijna. Ik switch naar modemversie dan maar. Ik blijf scrollen tot ik de X5 tegenkom. En hier staat de prijs voor 52.100€. Ik zou nu nog op andere sites kunnen gaan kijken om te vergelijken.
- Ebay: Ik ga naar ebay en typ BMW X5 in. Ik krijg een aantal resultaten. De eerste hoop zijn handfree sets en wielen en gps systemen. Hier staat toch een wagen aangeboden voor 22.000€. Maar dit is wel een tweedehands natuurlijk.
- Welk van de twee zoekmachines vond je nu het gemakkelijkste? Wel er is natuurlijk een verschil, aangezien Ebay tweedehands is, maar het gaf wel sneller een resultaat. Maar bij deze resultaten stopt het dan wel. Bij google zou je langer kunnen vergelijken en een beter beeld hebben over de prijzen. Het nadeel van google is wel dat je soms op sites komt waar je honderd keer moet klikken, zoals daarnet, vooraleer je de informatie hebt en het was dus minder duidelijk.

TestPersoon 2

Lut P. (45 jaar, weinig ervaring met computers, voornamelijk email nakijken en soms eens surfen)

Wat is de laatste film van Steven Spielberg?
- Google: Ik tik de naam van de schrijver in op google en duw op zoeken. Ik zie hier staan: Bedoelde u Steven Spielberg. Dus ik heb zijn naam verkeerd geschreven. Dat is wel goed van google. Ik klik hierop. Ik lees de eerste titel: Steven spielberg Wikipedia en lees wat eronder staat. Dat lijkt eerder een biografie, waar hij geboren is enzo. Het tweede resultaat is "Steven Spielberg (I) on IMDb: Movies, TV, Celebs, and more" Ik zie Movies staan dus ik klik hierop. Ik zie hier zijn geboortedatum, zijn foto, hoeveel oscars hij gewonnen heeft. Ik ga wat naar beneden. Ik zie hier filmografie. De eerste zijn nog in production. Oh ze maken een jurassic park 4? (noot van de student: lol) De eerste die niet meer in production is, is: On the lot, maar er staat wel tv series bij, dus de laatste film zal dan "Letters from Iwo Jima" zijn.
- Amazon: Ik ga naar amazon.com. Ja echt duidelijk is dat hier niet. Ik zie een kader om iets in te typen zoals bij google. Ik typ de naam in, deze keer juist. Ik zie links books, vhs en dvd enzo staan, ik klik op dvd omdat de nieuwste films op dvd uitkomen. Nu staan er links weer categorieën, maar ik weet niet welk genre de laatste film is. Dus ik kijk hier rechts. Ik zie hier wat dvd's. Ah er staat een jaar naast elke dvd, en Munich is de enige van 2006. Dus ik zou die pakken, hoewel ik daarjuist een andere had gevonden.
- Welke van de twee vond je het gemakkelijkste en waarom? Google was eenvoudiger, misschien wel omdat ik het al eerder heb gebruikt. Amazon was onhandig en ik vond er niet veel op terug.

Stel, je wil een nieuwe mixer kopen via internet die goedkoop is, welke prijs kan je zoal vinden?
- Google: Ik typ mixer in op google. Het eerste resultaat is: Vergelijk.NL prijs en productvergelijking, dat zal wel een goede site zijn. Ik kijk wat rond, en herken hier merken links zoals kenwood. Ah maar eronder staat Prijs. Als ik de goedkoopste wil zal ik op <50€ moeten duwen. De kwaliteit zal dan ook niet zo goed zijn, maar dat is nu niet belangrijk zeker? Nu kan ik nogmaals hier klikken op de prijs en nu 15-20€. Ik kijk nogmaals bij Prijs, maar ik kan niets anders meer. Nu kijk ik rechts bij de resultaten en ik vergelijk de 4 gevonden resultaten. En hier is een mixer van 16.80€.
- Ebay: Ik ga naar ebay en typ mixer in. Ik zie nogal veel muziekmixers eigenlijk. Hier in heel kleine lettertjes staat wel: verwante zoekopdrachten: keukenrobot, staafmixer. Ik zal staafmixer nemen omdat dat goedkoper is. En hier is een staafmixer voor 5 euro. Maar dat is wel tweedehands denk ik.
- Welk van de twee zoekmachines vond je nu het gemakkelijkste? Ik vond google handig omdat we direct die site hadden om prijzen te vergelijken. Maar op Ebay was het wel goedkoper.

TestPersoon 3

Lindsay M. (2de Licentie in de Rechten, 21 jaar, redelijk gevorderde gebruiker van het internet)

Zoek mij een boek of artikel dat mij informatie geeft over de voortplantingsrituelen van het vogelbekdier?
- Google: Ok ik zie hier de zoekbalk en zal hier dan maar gewoon vogelbekdier intikken. Ik duw op zoeken. Hmm ik zie hier bovenaan meteen 'Het Vogelbekdier' als titel staan, zal hier dan maar eens op klikken. Oh dit lijkt een algemene beschrijving te zijn, ik zie niet meteen iets staan over de voortplanting. Maar wacht hier aan de zijkant staat "Gedrag en reproductie", daar zal het wel te vinden zijn, zal er dus maar op klikken. Inderdaad, hier staat de volledige voortplanting bij vogelbekdieren uitgelegd, ik heb het dus al gevonden.
- Amazon: Welke is die site precies van Amazon? amazon.com? ok... hmm maar dat is hier in het engels, hebben ze geen nederlandse versie... zal eens amazon.be proberen...nee werkt niet, amazon.nl misschien...nee ook niet. Tja zal dan toch maar met de engelse versie proberen. Wat is het engelse woord voor vogelbekdier? *haalt woordenboek bij, en zoekt snel op* ok het is dus platypus, zal dat dan nu maar in die zoekbalk tikken zeker. Ik druk op 'enter'. Hmmm ik zie hier nu een lijst met allerlei dingen in verband met vogelbekdieren, maar dit zijn voornamelijk pluchen beesten, en CD's... maar wacht als ik naar beneden scroll zie ik hier precies een boek staan.. kan ik hier op klikken? ahja.. hmmm... nog niet veel duidelijker nu.. het is inderdaad wel een boek, maar wat is de precieze inhoud? Zie hier wel vanal staan, allemaal links enzo...als ik naar beneden scroll krijg ik een lijst van andere door kopers gekochte voorwerpen... ah hier staat precies een beetje uitleg, had wel wat duidelijker mogen zijn hè.. hmm ok er staat precies wel algemene info, inclusief voortplanting in.. maar het is precies wel een kinderboek...tja, dat zal wel niet zo erg zijn veronderstel ik zeker.
- Welke van de twee vond je het gemakkelijkste en waarom? Google was eenvoudiger, ik had onmiddelijk de gezochte informatie gevonden, bij amazon moest ik bovendien in het Engels werken, waardoor ik mijn woordenboek nog moest bijhalen, bovendien was ik bij amazon niet zeker of de info die ik zocht ook wel in de gevonden boek zou staan. Ook was amazon minder goed, omdat ik hier eigenlijk voorwerpen vond, en niet zozeer artikels.

Ik ben een fervente Magic The Gathering speler, en ik zou graag willen weten of er minstens 3 kaarten uit de negende editie zijn die meer dan 5 euro waard zijn.
- Google: ah ok terug op google nu. Ik zal dan maar weer beginnen met Magic The Gathering en 9th edition in te tikken. Ik klik op zoeken. Hmm al de titels uit deze lijst lijken nogal redelijk op mekaar, zal dan maar weer de eerste nemen. Dit is blijkbaar de officiële site, zie hier wel niet meteen ergens iets over prijzen staan, enkel algemene uitleg over de negende editie. Zal dan maar op 'terug' klikken zeker en eens verderzoeken. Zal dan nu maar gewoon op de tweede titel uit de lijst klikken. Oh dit is een wiki over MTG, hmmm maar dit is opnieuw gewoon algemene uitleg.. ah maar wacht hier staan een aantal individuele kaarten uitgelegd... ah maar er staat wel geen prijs bij, zal es op eentje klikken... ow nu opent er een nieuw schermpje met een prentje en wat uitleg over de kaart.. maar nog altijd geen prijs...denk niet dat ik het zo ga vinden...zal maar terug opnieuw beginnen in google. Ok zal dan nu aan de zoekactie nog 'individuele kaarten' toevoegen. Ik druk opnieuw op 'zoeken'. Zal maar opnieuw op de eerste klikken, want de titels maken mij niet veel wijzer. Hmm dit is een soort nederlandse ebay site...zie hier niet meteen apart kaarten staan, is niet echt duidelijk eigenlijk, zal maar op 'terug' klikken. Ah maar wacht eens.. hier aan de zijkant staan ook nog dingen...hmm 'Magic the Gathering' Store.. daar zullen ze wel kaarten verkopen zeker, zal daar dan eens op klikken. Ok dit lijkt mij een gewone homepage van een site.. maar hier aan de zijkant staat '9th edition' zal daar dan maar eens op klikken. Ok nu heb ik hier een hele lijst met allemaal kaarten die duidelijk uit '9th edition' komen want het staat er telkens voor, en de prijs staat erachter... ah kijk als ik een beetje naar beneden scroll zie ik er al 3 die duurder zijn dan 5€.. namelijk Brushland, Caves of Koilos, en Coat of Arms... ik heb het dus gevonden.
- Ebay:Ok Ebay nu dus..zal maar op nederlands klikken om te beginnen zeker. Hmm opnieuw een zoekbox, zal dan nu maar meteen 'MTG + 9ED + individuele kaarten' intikken zeker? Hmm hij heeft blijkbaar niets gevonden wat hier aan voldoet, zal dan opnieuw proberen, zonder de 'individuele kaarten'.. oh maar wacht er staat nu ook nog de mogelijkheid tot een rubriek bij...MTG waar zou dat bijstaan? Games of Speelgoed? Zal eerst eens met games proberen? ik klik dus op zoeken..ah nee weer niets... speelgoed dan maar proberen.. hmmm ok nu heeft hij er tien gevonden.. maar niets dat boven de 5€ is...zal 9ED dan ook nog eens weglaten anders...ik klik opnieuw op zoeken...hmm ziet er niet beter uit, wat een miserie...ah maar wacht daar staat in het klein achter 'uitgebreid zoeken'.. zal dat eens doen dan....ok zal opnieuw MTG + 9ED nemen in de zoekbalk.. zal dan ook maar ineens aanduiden dat het minimaal 5€ moet zijn... oh en hier kan ik ook aantonen dat het wereldwijd mag zijn. ok ik klik op zoeken...hmmm dat ziet er al beter uit, een hele lijst met allemaal 9ED kaarten... maar die zijn altijd per 4 precies.. zal dan maar zoeken naar die die meer dan 20 kosten zeker.. euhm...ok... gevonden, namelijk: Traumatize, Wrath of God en Caves of Koilos.
- Welk van de twee zoekmachines vond je nu het gemakkelijkste? Op het eerste zicht lijkt google makkelijker, maar waarschijnlijk omdat ik meer gewend ben hiermee te werken, het duurde bovendien even voordat ik de juiste zoekterm gevonden had. Ebay is daarentegen volgens mij wel makkelijker voor dit soort informatie, maar enkel op voorwaarde dat je een beetje ervaring krijgt met de uitgebreidde zoekfunctie, en hem bovendien eerst nog kunt vinden.

TestPersoon 4

22 jaar, studente milieu en veiligheid, matige computerervaring

Zoek de titel van een boek over giraffen waar info over de zwangershap instaat? )google)

Ok, ik ga naar google en typ in book giraffe. Hmm da eerste is precies een kinderboek, daar zal da wel nie instaan he. even verderscrollen. Hmm tzijn precies allemaal kinderboeken, ik zal naar de volgende pagina gaan. ah hier, KabayanCentral.com - Giraffe Books, daar zal er wel eentje tussenstaan. Ah tiens hier staan helemaal geen boeken. terug naar google, volgende pagina. Ah hier, Books - Giraffe - Prices and Reviews at DealTime, hopelijk vinden we daar eentje. Hmm weeral bijna allemaal kinderboeken precies, Ah hier staat er precies eentje Marianne Johnston - Giraffes and Their Babies. eens op klikken.Describes the characteristics of giraffes and how mother giraffes living in zoos are taught to care for their babies. daar zal da wel instaan he.

Zoek de titel van een boek over giraffen waar info over de zwangershap instaat? )amazon)

Ok, amazon, ik kende die site wel niet hoor. Maar goed, amazon, zo geschreven ? Aha, ok zoeken, uhm, ik zoek een boek en aha hier links staat "books", ik zal daar dan maar op klikken he...Ok. giraffe zoeken we dan klik ik op GO. Aha, hier staat een boek met als titel giraffe, ik zal er eens op klikken. Ja, nu is kijken of er geen korte inhoud bijstaat ofzo...Op het eerste zicht nie echt, ik zal eens wat naar beneden scrollen. Ah hier staat review.Nee , da is precies een roman, dat moeten we niet hebben he. Dus ik klik op back, terug naar de resultaten. Ahja hier zie het al meteen, de volgende heeft hetzelfde prentje en daar staat Novel bij... Ok ik zal is naar de titels kijken en verder scrollen. Hmm hier op de eerste pagina staat er precies geen bij, dan maar naar de volgende pagina. Aah, hier links staat narrow by category, da zal ik moeten doen als ik echt info over giraffen wil. hmm, waar zou dat bij horen. Documentaire ofzo. Lap da staat er nie tussen. Eens zien wat er nog allemaal tussen staat. Children, nee dat nie, cooking natuurlijk ook nie, history misschien nog wel ? maar ik zal nog eens wat verderkijken. Ah outdoors and nature, dat klinkt veelbelovend. ik zal daar eens op klikken.Tiens , hier staan precies net dezelfde boeken als daarnet, ik zal nog maar wat verderscrollen. Nee hier staat er precies ook geen tussen, ik zal nog eens naar de categorien kijken. Ah hier, professional and technical misschien.Ah hier zie: The Giraffe: Its Biology, Behavior, and Ecology, da zal wel een goeie zijn he. Nog eens op klikken voor wat meer informatie. Even de review lezen. Ja, da zou er wel in moeten staan. Zo, klaar :-)

Welke site vond he nu het makkelijkst ?

Bij google moesten we echt al naar de volgende paginas gaan kijken en toen vonden we het nog nie echt direct, en toen kwamen we uit bij zo ne site zoals die amazon. Voor van die boeken te zoeken lijkt mij die amazon toch wel makkelijker.

Conclusies

Google

Google heeft een groter aanbod, maar moet het wel hebben van gevestigde waardes als wikipedia, officiele sites en andere bekende namen. Bovendien blijkt het zo te zijn dat het zeer vitaal is om de juiste zoekterm te gebruiken. Een klein verschil kan reeds volledig andere zoekresultaten opleveren, waardoor misschien toch wel nuttige sites en informatie niet gevonden wordt.

Amazon/ebay

Amazon/ebay is specifieker dan google en biedt vaak goedkope prijzen aan. Maar het is moeilijker om prijzen te vergelijken en er is een kleiner aanbod. Het is wel zo dat men via google ook soms op amazon of soortgelijke sites terechtkomt. Door de uitgebreiddere zoekfuncties is het ook minder vitaal om de juiste zoekterm te gebruiken, aangezien meestal de benodigde parameters expliciet aangeduid kunnen worden. Het lijkt nu echter wel zo te zijn, dat deze soort zoekmachines iets minder duidelijk zijn, wanneer men ze voor het eerst gebruikt, voornamelijk omwille van het feit dat er meer 'reclame' en andere links rond de zoekbalk/opties staan, dan bij google, wat voor de (beginnende) gebruiker verwarrend kan overkomen, ze worden als het ware overdonderd door alle informatie op het scherm.

Algemeen

Het lijkt ons ook zo dat mensen echt moeten leren met een search-engine werken. Sommige mensen vinden de dingen die ze zoeken veel vlugger dan andere mensen. Verschillende mensen gebruiken zeer uiteenlopende methodes om te zoeken en sommigen zijn dus veel sneller bij hun antwoord. Vaak zoekt men volgens ons met te weinig keywords en gebruikt men te weinig van de "operatoren" die de zoekengines aanbieden. Google wordt ook door de meeste mensen als simpeler ervaren, mede omdat ze google gewoon zijn. Ook is het wel redelijk opvallend dat slechts weinig mensen de 'geavanceerde zoekfuncties' weten te vinden, of zelfs nog maar gewoon vermoeden dat deze zouden kunnen bestaan, en bijgevolg dus ook zeer weining gebruiken.