Een van mijn zielsverwanten is de in 1988 overleden fysicus Richard P. Feynman. Nu getuigt het natuurlijk wel van enige hoogmoed om jezelf te vergelijken met een briljante Nobelprijswinnende natuurkundige, die ook nog eens bekend staat om zijn vermogen duidelijk uit te leggen en om zijn mooie verhalen over van alles en nog wat. Dus laat ik direct toegeven: intellectueel kan Feynman zes rondjes om mij heen lopen voordat ik één stap heb kunnen zetten en als verhalenverteller drie. Ik denk echter dat ik zijn gelijke ben in verontwaardiging over schoolboeken.
In het boek "Surely you're joking mr. Feynman!" is het waar gebeurde verhaal 'Judging books by their covers' opgenomen. (Je kunt hier een licht gewijzigde versie lezen die ik op internet heb gevonden.) Het verhaal is geestig, tragisch, maar vooral zeer leerzaam. Met die kennis kan je niks, want besluitvormingsprocessen laten zich erg slecht bijsturen, maar je herkent tenminste wat er aan de hand is.
Feynman had zich laten overhalen zitting te nemen in een commissie die boeken selecteerde voor scholen in Californië. Zijn subcommissie ging over de wiskundeboeken. Feynman beschrijft heel mooi hoe hij zich persoonlijk door vier meter schoolboeken worstelde en bestookt werd door uitgevers die hem probeerden te beïnvloeden. Je moet dat beslist eens lezen, maar dat is niet waar het mij nu om gaat. Waar het mij wel om gaat, zijn de fouten die Feynman ziet in die schoolboeken en in de oordeelsvorming daarover. Die zijn zo herkenbaar.
Feynman vond de wiskundeboeken:
[…] lousy. They were false. They were hurried. They would try to be rigorous, but they would use examples (like automobiles in the street for ‘sets’) which were almost OK, but in which there were always some subtleties. The definitions weren't accurate. Everything was a little bit ambiguous […]. They were faking it. They were teaching something they didn't understand, and which was, in fact, useless, at that time, for the child. (1)
Dat zelfde gevoel is mij ook heel vaak bekropen met de boeken voor het schoolvak Nederlands. Ik heb daar al eens eerder wat over geschreven. Toen klaagde ik over de methodes Nieuw Nederlands en Laagland. Inmiddels heb ik ook andere methodes bekeken en die zijn helaas niet veel beter. Net als Feynman kan ik me daar verschrikkelijk over opwinden. Hij ontstak regelmatig in woede over de flauwekul waarmee leerlingen opgezadeld worden:
My wife says that during this period it was like living over a volcano. It would be quiet for a while, but then all of a sudden, "BLLLLLOOOOOOWWWWW!!!!" -- there would be a big explosion from the ‘volcano’ below. (2)
Wat echter veel dieper gaat, zijn zijn observaties over het besluitvormingsproces. Die zullen ook voor jullie herkenbaar zijn, want de beschreven gang van zaken is wijd verbreid. Dankzij Feynmans verhaal hebben we nu een naam voor deze wijze van oordeelsvorming: “The Emperor's Nose.”
Feynman had zich dus persoonlijk door al de te beoordelen boeken heen geworsteld. Dat was binnen de commissie echter een hele bijzondere werkwijze. De andere commissieleden lazen de boeken niet zelf, maar deelden exemplaren van de boeken uit aan een achterban van ‘deskundigen’ en verzamelden hun reacties. De cijfers die de deskundigen gaven werden door de commissieleden gemiddeld en ingebracht.
Dit leidde er onder andere toe dat, behalve Feynman, geen van de commissieleden een inhoudelijke toelichting kon geven op een specifiek oordeel en de werkwijze viel geheel door de mand toen er een boek beoordeeld werd waarvan een dummy was ingestuurd. De betreffende uitgever had nog niet zijn hele leergang gereed in druk. Omdat het volgens de procedure verplicht was een complete serie in te sturen, had deze van het nog niet gedrukte boek een versie ingestuurd die bestond uit de band zoals die feitelijk gebruikt zou worden, maar als inhoud uitsluitend blanco bladen had. Dit boek had van de meeste commissieleden een heel mooi cijfer gekregen.
Hoe werkt zo iets?
Dit gebeurt als je je niet zelfstandig een oordeel vormt, maar het af laat hangen van dat van een grote groep mensen waarvan een ieder weet dat zij één van de vele beoordelaren zijn. Een enkeling binnen de groep zal zijn taak zeer serieus opvatten, zoals Feynman deed, maar anderen zullen in de wetenschap dat zij slechts één van de velen zijn die er naar kijken, minder tijd en aandacht in de beoordeling steken. Door middeling worden de serieuze oordelen verontreinigd met gemakzuchtige oordelen en in het geval van de dummy zijn er zelfs uitsluitend gemakzuchtige beoordelingen in de middeling meegenomen.
Feynman vergelijkt deze gang van zaken met de bepaling van de lengte van de neus van de keizer van China. De keizer van China had een goddelijke status en leefde afgeschermd. Bijna niemand had ooit zijn gezicht gezien. Hoe komen we er nu achter hoe lang de neus van de keizer is? Door grote groepen mensen te vragen wat zij er van denken en hun uitspraken te middelen? Of door iemand met een meetlint de neus van de keizer op te laten meten?
Toen ik mijn kritiek op het schoolboek Nieuw Nederlands besprak met een aantal collega’s, wilden ze niet geloven dat het zo beroerd was. Aan dat boek was een hele redactie te pas gekomen en bovendien was het de zevende druk, dus al in handen geweest van talloze docenten en leerlingen.
Precies: een hele redactie en talloze docenten.
Na zijn teleurstellende ervaringen was Feynman uit de commissie gestapt. Toen een in zijn ogen slecht boek als voorkeursboek gekozen dreigde te worden, is hij nog één keer als inspreker naar de commissie geweest. Te vergeefs:
The man who replaced me on the commission said, "That book was approved by sixty-five engineers at the Such-and-such Aircraft Company!" I didn't doubt that the company had some pretty good engineers, but to take sixty-five engineers is to take a wide range of ability -- and to necessarily include some pretty poor guys! It was once again the problem of averaging the length of the emperor's nose, or the ratings on a book with nothing between the covers. [...] I couldn't claim that I was smarter than sixtie-five other guys -- but the average of sixtie-five other guys, certainly! (3)
Shake hands mister Feynman.
1) Richard P. Feyman: "Surely you're joking mr. Feynman!", Adventures of a curious chararcter as told to Ralph Leighton. Edited by Edward Hutchings. London: Vintage, 1992. p. 292.
2) Ibidem.
3) Ibidem. p. 298.