Vragenlijstonderzoek

Ik val maar meteen met de deur in huis. Het gereken met gegevens uit vragenlijsten kent dezelfde tekortkomingen als het gereken in het "experiment". Opnieuw gaat het over kansen en gemiddeldes bij grote aantallen proefpersonen. Niettemin is vragenlijstonderzoek een andere grote manier van data verzamelen en zeker voor de opkomst van het neuropsychologisch onderzoek een van de belangrijkste methodes. Het werkt ongeveer als volgt:

Je stelt een heleboel mensen via gestandaardiseerde enquêtes vragen over wat ze zouden doen in bepaalde situaties, hoe ze zich voelen, waar ze aan denken, enzovoorts. De antwoorden van een individu zijn natuurlijk subjectief, dus niet naar kijken, en in plaats daarvan ga je weer rekenen met gemiddeldes en eventueel met relaties tussen gemiddeldes . Als je je proefpersonen goed hebt gekozen, zijn de uitkomsten van die berekeningen onafhankelijk van de nukken van individuele personen en daarmee objectief, zo is de gedachte.

Op basis van vragenlijstonderzoek kun je bijvoorbeeld vaststellen dat mensen gemiddeld allemaal in het water zullen springen om een drenkeling te redden, ook al staan er honderd anderen om heen niets te doen. Of je kunt vaststellen dat mensen die meer vlees eten, minder aardig zijn. Dat is allemaal echt onderzocht en er deugde niet veel van. Maar dat is een heel ander verhaal.

 

Meen je wel wat je zegt?

Bij psychologen is genoegzaam bekend dat mensen altijd wel antwoord geven op een vraag, ook al hebben ze nog nooit over die vraag hoeven nadenken in hun leven en is het antwoord daarom van zeer beperkte waarde. Toch is de psycholoog maar wat blij met elke volledig ingevulde vragenlijst. Bijna al die vragenlijsten moeten worden gescoord op een schaaltje (1. mee eens – 2. weet niet – 3. oneens) en dat betekent data, getallen, en dus rekenen, waarmee de schijn van wetenschappelijkheid wordt gevoed. Naar de psychologische waarde van al die vaak gratuit gegeven antwoorden wordt nooit meer omgekeken.

"Wat vindt U van haar?": 1 handig - 2 weet niet - 3 vies

-Bep, wat moet ik hiermee?

-- Weet ik toch niet?

-Oké, vul ik "2" in!

-- Is goed joh!

 

Als je wilt weten wat mensen écht beweegt en bezighoudt, moet je ze verhalen laten vertellen, in hun eigen woorden. Dan kom je dichter bij ervaringen en bij samenhang in ervaringen die mensen ook echt hebben. Maar verhalen laten zich moeilijk omzetten in cijfers en dus wordt deze kwalitatieve manier van data verzamelen door de meeste onderzoekers geschuwd. Het neigt naar subjectiviteit maar het is vooral ook heel veel en onhandig werk. Een vragenlijst met multiple choice vragen is veel en veel eenvoudiger te verwerken tot cijfers.

 

Doe je wel wat je zegt?

Een joekel van een probleem dat hier nog genoemd moet worden, is de vaststelling dat er nogal een verschil kan zitten tussen wat mensen thuis aan de koffie of comfortabel achter een laptop invullen op een vragenlijst, en datgene wat ze daadwerkelijk zouden doen in het donker, in de kou, bij een onstuimige zee. “Tussen droom en daad staan wetten in de weg en praktische bezwaren.” Vreemd genoeg is dat nooit een issue in de onderzoekswereld. Zodra de vragenlijsten binnen zijn, wordt koortsachtig gerekend in de hoop dat SPSS (de statistische software) één of twee sterretjes tevoorschijn tovert bij een getal. Dan heb je beet. Sterretjes betekenen dat de kans op toeval van je resultaat zo klein is dat je ervan mag uitgaan dat je een echt verband gevonden hebt.

Je moet in principe nog kijken of de vragenlijsten wel volledig zijn ingevuld. Vroeger had je een probleem als het niet zo was; tegenwoordig zijn daar met software hippe functies voor zodat je voor ontbrekende antwoorden kunt corrigeren. Je moet het onderhand wel heel bont maken om niet tenminste iets bruikbaars uit je vragenlijsten te kunnen folteren. Of dat nog iets te maken heeft met de echte mensen die de lijsten hebben ingevuld, desnoods op hun kop, onder water, aan het infuus of in de dierentuin; dat doet niet meer ter zake. Als er data zijn, kan het feest beginnen.

 

Mag het nog over psychologie gaan?

De laatste jaren is enquêtes  afnemen moeilijker geworden, eigenlijk onderzoek doen in de psychologie in het algemeen. Om allerlei redenen, maar vooral juridische, zijn er tegenwoordig commissies de bekijken of een voorgesteld onderzoek wel ethisch is. Mensen een jaar lang opsluiten met camera's om te zien wat er gebeurt mag wel bij SBS maar niet in een psychologisch laboratorium. Er zijn verschillende regels over wat wel en niet is toegestaan. Onderzoek bij minderjarigen mag bijna nooit, mogelijk traumatiserend onderzoek mag in principe ook niet, mensen in ongebruikelijke situaties brengen is evenmin snel toegestaan. Het is natuurlijk goed dat niet zomaar alles onderzocht mag worden. De commissies kijken mee welke plannen wel en welke niet door de beugel kunnen.

Maar dat meekijken kost geld en tijd, veel geld en veel tijd zelfs. Daarom zijn er weer voorbereidende commissies die besluiten of je plan naar zo'n strenge commissie moet—met financiële gevolgen dus en met vertraging voor je project. Daar heb je als onderzoeker vaak helemaal geen zin in en/of geen tijd voor en/of geen geld voor. En als student heb je die tijd en dat geld al helemaal niet.  Dus wat doe je dan? Dan stel je projecten voor die niet traumatiserend zijn, bij volwassenen zonder problemen, die je dingen laat doen die ze anders ook gedaan zouden kunnen hebben. Die voorstellen komen relatief snel voorbij de gratis goedkeuring van een voorbereidende commissie. Maar waar gaat zo'n psychologisch vragenlijstonderzoek dan nog over? Nou, het verwordt al heel gauw tot doodnormaal opinie- en marktonderzoek. Maar daar hebben we al genoeg bureaus voor in Nederland, die dat waarschijnlijk nog veel sneller en beter kunnen.

 

Opbeurende conclusie van deze serie

Natuurlijk is niet alles slecht aan de bestaande psychologische praktijken. We hebben wel degelijk ook wat geleerd, al kost het me oprecht moeite om hier nu onderzoeken op te lepelen die de toets van de kritiek hebben doorstaan. Heel wat sexy klassiekers in de geschiedenis van het psychologisch onderzoek blijken bij nader inzien niet repliceerbaar, of ze zijn niet zo overtuigend als men ons wilde doen geloven. Zelfs het beruchte gehoorzaamheidsexperiment van Milgram blijkt geconstrueerd. Maar erger dan dat alles: in hun blinde drift om natuurwetenschapper te spelen, hebben heel veel psychologisch onderzoekers hun centrale onderwerp—de mens—om zeep geholpen, en doen ze nog steeds aan een halfzachte vorm van wetenschap.

Echte experimenten zijn niet mogelijk in de psychologie; dat zou immers betekenen dat we mensen iets opdringen of onthouden, of dat we hun geheugen moeten verwijderen tussen twee condities. Daar is vooralsnog allemaal geen ethische toestemming voor te krijgen is. Psychologen moeten het dus doen, willens en wetens, met quasi-experimenten. Er zijn altijd factoren en effecten die afbreuk doen aan de uitkomsten van het onderzoek.

Met het lot van psychologische enquêtes is het misschien nog wel droeviger gesteld. Ze zijn prima om praktische informatie te verzamelen over medicijngebruik of eetgewoontes. Wanneer het echter gaat om het toelichten van motieven en drijfveren, of om het omschrijven van gevoelens en ervaringen zijn zelfrapportages (en tekst  überhaupt) notoir bedrieglijk. Vaak blijft de binnenwereld van mensen onzeker en zelfs ontoegankelijk. En wat ze zeggen en vinden is vaak zo veranderlijk als het weer. Dat hoort bij de mens en bij het leven! En toch willen onderzoekers in de psychologie dat maar niet accepteren. Het subject moet en zal dood, zoals een krankzinnig bioloog met een teveel aan ambitie die een proefpersoon in fijne reepjes fileert op zoek naar de plek waar het leven zit.

 

Bring it home

Gaat de academische psychologie nog wel over echte mensen?
Heeft de keizer van de academische psychologie nog wel kleren aan in het land van de objectieve meters?

Ik waag het te betwijfelen; een leuke zwembroek heeft hij nog misschien en een mooie muts. Ik wil alvast voorstellen om zijn oude kleren nog eens tegen het licht te houden. Zo slecht waren ze toch niet? Van meet af aan is de psychologie voorgesteld als meer dan meten alleen. Zelfs haar alom erkende founding father, Wilhelm Wundt, eiste naast meetwerk en harde feiten direct óók de studie van de particuliere ervaringen van de mens (Wundt stelde daartoe introspectie voor) én de studie van de mens in zijn sociaal-culturele setting (taal, tradities, religie: de Völkerpsychologie, die zich evenmin als introspectie experimenteel laat vangen en waarover hij twintig dikke delen neerpende). Dat hoorde allemaal tot de nieuwe wetenschap, de academische psychologie.

Ik wil daarom voorstellen om de keizer, naast het goede van zwembroek en muts, weer fatsoenlijk te kleden met spullen die hem passen en hem vervolgens naar huis te rijden.
Ik wil voorstellen om van psychologie, naast het goede van de meetbare-feiten-aanpak, vooral ook weer een geesteswetenschap te maken.

Hoe dat precies moet, en in het besef dat de geesteswetenschappen het momenteel zwaar hebben aan de universiteiten, ga ik dan maar uitzoeken op dit blog.


Het huidige tijdsgewricht in de psychologie wordt wel
the era of the brain genoemd. Neurospychologisch onderzoek heb ik hier nog niet besproken. Dat komt binnenkort nog wel een keer. Er gebeuren soms razend interessante dingen in deze hoek, dat vind ik zeker ook. De vraag is wel of dat nog met recht psychologie is en inmiddels niet vooral medische biologie. Een teken aan de wand is dat wat vroeger nog "geest" of "mind" heette—en lang daarvoor "ziel"—inmiddels een synoniem lijkt zijn van "brein". Wij zijn ons brein, dat neemt bijna niemand letterlijk, behalve een hele zwik psychologen, zo lijkt het.