Dubbelblind
Inhoud
Dubbelblind onderzoek is een methode waarbij zowel degene die de test uitvoert als het testonderwerp beide niet weten of ze werken met het te testen voorwerp, of dat ze te maken hebben met een neutrale placebo. Een placebo is een niet werkzaam alternatief voor het te testen voorwerp, wat niet te onderscheiden is van het echte te testen voorwerp. Ik denk dat met deze formulering er misschien al een lampje gaat branden bij een enkele lezer, want hoe ziet een placebo eruit bij een audiovoorwerp? Ik loop een beetje vooruit op de zaken, maar het is goed om dit even in het achterhoofd te onthouden.
De farmaceutische industrie
Het bekende voorbeeld van dubbelblind onderzoek, waar iedereen wel van gehoord heeft, is de farmaceutische industrie. Als aangetoond moet worden dat een nieuwe pil werkzaam is, dan wordt er een test opgezet waarbij in een grote onderzoeksgroep de patiënten door middel van loting ingedeeld worden in twee groepen. De ene helft krijgt een pil met de werkzame stof, de andere helft een identiek uitziend pil zonder werkzame stof. De arts die de patiënt behandeld weet niet welk van de twee pillen toegediend wordt en beoordeelt het resultaat van de individuele behandeling.
Alle resultaten van de twee groepen worden naast elkaar gelegd en met behulp van statistische analyse – en daar valt ook een heleboel over te zeggen, maar voor dit artikel laat ik dat buiten beschouwing – wordt vastgesteld of de pil werkzaam is of niet.
Voorwaarden waaronder een dubbelblind onderzoek wordt uitgevoerd
Er zijn een paar voorwaarden waaraan voldaan moet worden om deze onderzoeksmethode te laten werken:
- De onderzoeksgroep moet groot genoeg zijn om allerlei andere variabelen uit te laten middelen. Denk daarbij aan geslacht, leeftijd en allerlei andere variabelen die de werking van de te onderzoeken stof kunnen beïnvloeden.
- De indeling van patiënten naar een groep moet willekeurig zijn. Aselect noemen we dat, waarbij iedere groep aan de eerste voorwaarde moet blijven voldoen, zonder dat je op basis daarvan de indeling maakt.
- De omstandigheden waaronder de test wordt uitgevoerd moet gecontroleerd of identiek zijn. In geval van een medicijntest klinkt het simpel, maar het voorschrijf- of toedienprotocol van een farmaceutische test is streng opgezet.
- De methode van meten van de resultaten is ook streng gereguleerd. Zeker als je bij de resultaten ook zaken wilt meenemen als ervaring van de patiënt of kwaliteit van leven gedurende de behandeling. Dat zijn zeer subjectieve, maar erg belangrijke aspecten van een dergelijk onderzoek en hoe maak je dat objectiveerbaar in je statische analyse? Daar moet je van tevoren heel goed over hebben nagedacht en de uitvoering van de test moet gegarandeerd gecontroleerd verlopen. Als je in de krant iets leest over vraagtekens bij de werkzaamheid van een nieuw medicijn, of dat achteraf dat in twijfel wordt getrokken, dan gaat het altijd over de geldigheid van de testmethode.
Het placebo-effect
Over de analyse wil ik een kanttekening toevoegen, zeker omdat het woord ‘placebo-effect’ vaak valt in de commentaren. Veel mensen zijn niet op de hoogte dat dubbelblind onderzoek niet is bedacht om het placebo-effect te voorkomen, maar dat placebo-effect één van de variabelen is waar rekening mee gehouden moet worden in de analyse.
Hoe moeten we dit vertalen naar wat wij bij Alpha Audio doen, als we bijvoorbeeld 32 interlinks vergelijken?
Het is erg zwaar om een luister test over te brengen op de lezer.
Hoe moet je zoiets nou beschrijven?
Wat ook zwaar is, is standaardiseren. Iedere audio website moet veel dezelfde woorden gebruiken.
Een wirwar aan hypothesen, een doolhof.
Rare woorden, en verkeerd gehanteerde woorden.
Standaardisatie zal tijd vergen, maak ik alvast een begin.
Bas, hoge tonen, middentonen. Het Hz gebeuren mogen jullie doen.
Bas tonen, middentonen, hoge tonen.
Gebruikte woorden door audiomerken: Standby, Source, Volume etc.
Beschrijving van de luister test.
Wat hoort de tester, en welke woorden gaan gebruikt worden.
Begrijpt de lezer het? Is het boeiend of moet de lezer lachen om de stomme woorden?
Zoals ik eens las dat er artifacten hoorbaar waren bij luidspreker X.
Wat artifacten zijn is dit, het zijn voorwerpen met een bijzondere oorsprong.
Wel had de reviewer kunnen schrijven, er is een kleuring hoorbaar bij luidspreker X. Kleuring is ook zoiets, wat moet ik dan schrijven?
Wat waarneem je nou echt bij luidspreker X?
Een mooi front, diepe bassen, vervorming?
Werk aan de winkel dus. Dus accepteer de methoden van het testen van audio apparatuur, en geniet uiteraard van een stukje goede muziek.
Over helder taalgebruik gesproken: wat is de relatie tussen wat je schrijft en de inhoud van het artikel?
Interessant!
Zelf denk ik dat ons gehoor niet echt geschikt is als “meet” instrument, tenzij je het traint zoals een goede opname technicus of reviewer dat doet.
Veel “audio-science-review trollen” denken daar anders over: geen abx test gedaan? Dan is het niet waar.
Ooit dacht ik ook een beetje zo, maar gelukkig vertrouw ik nu gewoon mijn gehoor en weet ik de grenzen, o.a. dat abx bij mij niet werkt omdat mijn gehoor dingen gaat invullen en vermoeid raakt.
Er is een anecdote dat er op een beurs een abx kon worden gedaan en niemand slaagde totdat Michael Fremer de ruimte betrad die alles goed had. Daarmee is dubbelblind of abx testen wat mij betreft al geen goede wetenschappelijke methode.
ABX is wellicht een betere methode voor testen van audio, maar bijna alle voorwaarden en bedenkingen zoals genoemd gaan op: Wat is de drempelwaarde? Welke andere variabelen moet je voor controleren in je sample, zoals aanleg of ervaring in luisteren?
Dat maakt ABX overigens geen slechte wetenschappelijke methode, het is de uitvoering van de methode waar dan wat op valt af te dingen.
Dag Martijn,
Mooi artikel, goed gebracht vanuit een interessante invalshoek.
Het is helder en klaar geformuleerd zodat het voor iedereen duidelijk is.
Bedankt hiervoor.
Bart
Heel herkenbaar.
Heb in mijn eerste fase van audiogekte heel technisch zitten te luisteren.
Gelukkig kwam daarna het inzicht dat luisteren naar muziek vooral een genot moet zijn. Had wel gevolgen voor mijn hifi-installatie.
Weg de audiostatics na 25 jaar en zware eindversterkers. daarvoor een mooie tweeweg speaker die guitaren ook lekker vet konden laten klinken.
Vind hifi verbeteringen alleen belangrijk wanneer er een nog mooier podium kan geven. en ja dan ga je weer vergelijkend luisteren, maar een waarschuwende stem in mijn achterhoofd, dat het om de muziek moet gaan.
MvG Andre