(ix) Preface

"But a major point of this book is precisely that we, all of us, have made the world too much into a computer, and that this remaking of the world in the image of the computer started long before there were any electronic computers. Now that we have computers, it becomes somewhat easier to see this imaginative transformation we have worked on the world. Now we can use the computer itself - that is the idea of the computer - as a metaphor to help us understand what we have done and are doing."(ix)

"The rest of the book contains the major arguments, which are in essence, first, that there is a difference between man and machine, and second, that there are certain tasks which computers ought not be made to do, independent of whether computers can be made to do them."(x)

(1) Introduction

JW was de uitvinder van het programma ELIZA en schrok van de reacties op het programma: het geloof in de mogelijkheden voor psychotherapie ervan (tot op de vervanging van de psychiater door een machine toe), de vermenselijking van iets als een machine met wie je zo dacht men net zo goed kon praten als met echte mensen, en het geloof in de oplossing van het probleem van het begrijpen door computers van natuurlijke taal. Vragen die hij had:

• Wat is er aan die computer dat het idee van de mens als machine een nieuwe plausibiliteit verschaft heeft?
• Hoe kan het dat mensen hun net verworven autonomie zo gemakkelijk overdragen aan een machine als de computer?

In relatie met het laatste citaat uit het voorwoord staan een paar opmerkingen in de introductie:

"One socially significant question I thus intend to raise is over the proper place of computers in the social order. But, as we shall see, the issue transcends computers in that it must ultimately deal with logicality itself - quite apart from whether logicality is encoded in computer programs or not."(13)

M.a.w.: de vraag naar wat computers kunnen en moeten doen loopt uit op nadenken over de plaats van een bepaald soort logische rationaliteit in de samenleving, waarin elk probleem gezien wordt als een technisch probleem dat door experts zo opgelost kan worden met de laatste informatieverwerkende technieken.

"Beginning perhaps with Francis Bacon's misreading of the genuine promise of science, man has been seduced into wishing and working for the establishment of an age of rationality, but with the vision of rationality tragically twisted so as to equate it with logicality. () And so the rationality-is-logicality equation, which the very success of science has drugged us into adopting as virtually an axiom, has led us to deny the very existence of human conflict, hence the very possibility of the collision of genuinely incommensurable human interests and of disparate human values, hence the existence of human values themselves."(13-14)

Hij zegt dat wetenschap langzamerhand is veranderd in een "slow-acting poison"(16) dat andere manieren van begrijpen illegitiem heeft gemaakt. Kunst is amusement geworden, wetenschappelijke kennis zelfs in al zijn oppervlakkigheid populair.

"Belief in the rationality-logicality equation has corroded the prophetic power of language itself. We can count, but we are rapidly forgetting how to say what is worth counting and why."(16)

(17) 1. On tools

Verhaalt over de invloed van de techniek op het leven van mensen. Mumford's Technics and civilization wordt aangehaald over de invloed van de klok, die de tijd losmaakte van menselijke gebeurtenissen (23): de eerste autonome machine die de waarneming van de werkelijkheid door mensen volstrekt veranderde en de directe ervaring van mensen aan de kant zette: mensen gingen eten wanneer een abstract model een bepaalde toestand had bereikt en niet wanneer ze een hongergevoel hadden. Die directe ervaring verdween met name uit de wetenschap, want haar waarnemingen moesten minstens in getallen uitgedrukt kunnen worden.

De computer is meteen als nuttig en onmisbaar gezien, als een oplossing voor problemen die te complex waren geworden voor mensen om op te lossen. Dat is een verkeerde gedachte, aldus JW op p.27 e.v. Al voor de komst van de computer werden reusachtig complexe problemen door mensen hoe dan ook opgelost. Ook tijdens het Manhattan Project is de atoombom gemaakt zonder de hulp van computers, terwijl daarbij toch zeer ingewikkelde berekeningen moesten worden gemaakt. Kopie p.28-31 waar JW laat zien hoe de komst van de computer innovatie afremt, hoe de computer het conservatisme stimuleerde:

"Yes, the computer did arrive 'just in time'. But in time for what? In time to save - and save very nearly intact, indeed, to entrench and stabilize - social and political structures that otherwise might have been either radically renovated or allowed to totter under the demands that were sure to be made on them."(31)

Het invoeren van een nieuw technisch middel dat meer kan zegt niet zo veel.

"But such an improvement in the technique of horoscope casting is irrelevant to the validity of astrological forecasting. If astrology is non-sense, then computerized astrology is just as surely nonsense."(35)

(39) 2. Where the power of the computer comes from

Over beslisregels in spelen, formele taal als spel (het symbolenalfabet van een formele taal als de stukken van een schaakbord en de transitie- of transformatieregels die duidelijk maken welke toestand in een andere mag overgaan door het manipuleren van de symbolen van een alfabet wat ook weer vergelijkbaar is met het manipuleren van de stukken van een schaakspel en de regels daarvoor). Voorbeeld van een spel met de bedoeling dat dat goed gespeeld kan worden door een Turing-machine. Bewerkingen op data en het tijdelijk opslaan van data blijken dan al nodig. Samenvatting van de lijn van denken op p.67. De kernvraag is deze:

"'Are all the decision making processes that humans employ reducible to effective procedures and hence amenable to machine computation?' We have seen that the very idea of an effective procedure is inextricably tied up with the idea of language."(67)

Betekenis is belangrijk hier, terwijl die juist buitengesloten wordt uit formele talen. De natuurlijke taal rondom beslissingen is niet zo ondubbelzinnig. Bovendien laat veel van wat en hoe mensen beslissen zich helemaal niet in taal uitdrukken. Dat geldt ook voor schaken, zoals gebleken is in ervaringen met schaakcomputers.

(73) 3. How computers work

Korte wel duidelijke beschrijving van hoe een computer werkt (signalen, poorten, programma's) in de lijn van wat in het vorige hoofdstuk is uitgelegd. Hogere programmeertalen kunnen erg veel invloed hebben en het ontwerpen ervan brengt dus een grote verantwoordelijkheid met zich mee. Kernvraag op p.103:

"If today's programmers are largely unaware of the detailed structures of the physical machines they are using, of their languages, and of the translators that manipulate their programs, then they must also be largely ignorant of many of the arguments I have made here, particularly of those arguments concerning the universality of computers and the nature of effective procedures. How then do these programmers come to sense the power of the computer?"(103)

En dat is in feite nodig om genoemde verantwoordelijkheid te dragen.

(111) 4. Science and the compulsive programmer

Beschrijft de 'hacker': de pathologische programmeur, die technische hoogstandjes kan leveren op de vierkante millimeter maar geen overzicht heeft van het geheel van een programma. Dat laatste is er de oorzaak van dat deze programmeur in feite een instabiel programma veroorzaakt waaraan hij wel voortdurend zit te sleutelen maar waarvan hij het totaal niet meer overziet omdat hij dat totaal niet ontwerpt. In feite kent hij de toestand en de werking van zijn eigen programma's dus niet en dat is eigenlijk levensgevaarlijk - zoals JW in latere hoofdstukken nog zal uitleggen. Desondanks zijn het deze pathologische technici die in deze samenleving de dienst uitmaken.

"Hence we can make out a continuum. At one of its extremes stand scientists and technologists who much resemble the compulsive programmer. At the other extreme are those scientists, philosophers, artists, and religionists who seek understanding as whole persons and from all possible perspectives. The affairs of the world appear to be in the hands of technicians whose psychic constitutions approximate those of the former to a dangerous degree. Meanwhile the voices that speak the wisdom of the latter seem to be growing fainter."(127)

Een andere belangrijke gedachte die JW de hele tijd zal uitspreken is dat wetenschap alleen maar verder kan komen door de realiteit te vereenvoudigen. Daar is op zich niets op tegen, wanneer wetenschappers niet de fout zouden maken te denken dat ze het over de zeer complexe werkelijkheid en over de mensen als zodanig en in hun geheel hebben. Maar dat is precies wat ze de hele tijd doen.

(132) 5. Theories and models

In feite is dat laatste verder uitgewerkt in dit hoofdstuk, maar dan toegepast op de informatietheorie.

"I will, in what follows, try to maintain the position that there is nothing wrong with viewing man as an information processor (or indeed as anything else) nor with attempting to understand him from that perspective, providing, however, that we never act as though any single perspective can comprehend the whole man. Seeing man as an information processing system does not in itself dehumanize him, and may very well contribute to his humanity in that it may lead him to a deeper understanding of one specific aspect of his human nature. It could, for example, be enormously important for man's understanding his spirituality to know the limits of the explanatory power of an information-processing theory of man. In order for us to know those limits, the theory would, of course, have to be worked out in considerable detail."(140)

Voor JW is een theorie een grammaticaal correcte tekst waarin een verzameling van samenhangende wetmatigheden over de realiteit wordt uitgedrukt. Een theorie beantwoordt niet vragen, maar leidt en stimuleert het onderzoek door uit de theorie allerlei gevolgen en hypothesen af te leiden. Niet één theorie is de juiste, er zijn altijd verschillende theorieën mogelijk, zelfs over hetzelfde deel van de realiteit. Een model hangt nauw samen met een theorie, moet passen in en voldoen aan een theorie, testen in feite de theorie. Een model is wel verklaringsgericht, zoekt wel naar antwoorden. Een model is een simplificatie van de werkelijkheid, en kan daarom nooit alle complexe fenomenen van een deel van de werkelijkheid opnemen.

Ik moet eerlijk zeggen dat ik het verschil tussen theorie en model zoals JW beschrijft niet helemaal zie. Maar ik zit ook niet meer zo in de wetenschapsleer. Echt helder vind ik de tekst op dit punt in ieder geval niet. Wel duidelijk is de steeds terugkerende suggestie dat er niet één theorie is, niet één model is. Of de suggestie dat theorieën en modellen altijd een vereenvoudiging van de complexe werkelijkheid zijn.

(154) 6. Computer models in psychology

Leuke dingen over de volstrekt misplaatste ideeën bij de grote massa over de relativiteitstheorie van Einstein (die daar bijvoorbeeld de ondersteuning van de gedachte uithaalt "dat alles dus relatief is") en anderen. Theorieën kunnen dus gemakkelijk verkeerd opgevat worden en daarmee een even verkeerde maatschappelijke invloed gaan uitoefenen. Vanuit dat perspectief een kritiek op de pretenties van de cognitieve psychologie, althans van de opvattingen die uitgaan van de mens als een informatie verwerkende machine. Feigenbaum over het geheugen wordt besproken. Met name Newell / Shaw / Simon's GPS (General Problem Solver) over het probleem oplossen van mensen wordt onder vuur genomen vanwege de generalistische pretenties van de heren.

Wel interessant is het onderscheid tussen 'performance mode' en 'simulation mode' bij AI dat JW maakt op p.164. Het is heel wat anders de prestaties van schakers te doen evenaren door computers (wat gebeurt via de brute rekenkracht - benadering), dan computers zo ver te krijgen om te imiteren hoe schakers problemen analyseren en oplossingen bedenken en beslissingen nemen.

(182) 7. The computer and natural language

Meer over ELIZA. En dan komen we langzamerhand bij de kerngedeelten van dit boek, dat uiteindelijk toch met name een kritiek is op de pretenties van de 'artificiële intelligentsia' en hun pretenties met AI.

Eerste kritiekpunt: het geheel van menselijke ervaringen en overtuigingen is niet te formaliseren op een manier die voor computers begrijpelijk is. Met als conclusie:

"there are indeed appropriately human objectives that are inappropriate for machines"(198).

Tweede kritiekpunt: AI heeft dan ook nog helemaal niet zo veel opgeleverd, al blijven overtuigde aanhangers ervan natuurlijk zeggen dat dat in de nabije toekomst zeker wel het geval zal zijn. Nu zijn onmogelijkheids-argumenten altijd gemakkelijk te negeren. Wat in ieder geval ontbreekt is een achterliggende theorie over hoe mensen begrijpen. Wat AI levert is niet een alomvattende theorie, maar een opvatting die haar eigen beperktheid niet onderkent.

"At best, what we see here is another example of the drunkard's search. A theory purports to describe the conceptual structures that underlie all human language understanding. But the only conceptual structures it admits as legitimate are those that can be represented in the form of computer-manipulatable data structures. These are then simply pronounced to constitute all the conceptual structures that underlie all of human thought. () The theories - or, perhaps better said, the root metaphors - that have hypnotized the artificial intelligentsia, and large segments of the general public as well, have long ago determined that life is what is computable and only that."(200)

(202) 8. Artificial Intelligence

"Whether or not this program (een machine bouwen die kan leren als een kind - GdG) can be realized depends on whether man really is merely a species of the genus 'information-processing system' or whether he is more than that. I shall argue that an entirely too simplistic notion of intelligence has dominated both popular and scientific thought, and that this notion is, in part, responsible for permitting artificial intelligence's perverse grand fantasy to grow. I shall argue that an organism is defined, in large part, by the problem it faces. Man faces problems no machine could possibly be made to face. Man is not a machine. I shall argue that, although man most certainly processes information, he does not necessarily process it in the way computers do. Computers and men are not species of the same genus."(203)

Volgt eerst een prachtige kritiek op dat hele absurde idee van de meetbaarheid van intelligentie alsof het een ding is dat statisch in een ruimte verblijft. Die ontzettende reductie van het begrijpen van mensen en het oplossen van problemen door mensen naar zo iets als een IQ en de meting daarvan is bespottelijk. En natuurlijk is het precies die reductie van intelligentie die men toepast wanneer men in AI praat over de intelligentie van computers. Hier is werkelijk sprake van de ene dogmatisch opgevatte simplificatie na de andere. Het begrijpen van en het oplossen van problemen door mensen is lichaamsgebonden, is cultuurgebonden, is gebonden aan onbewuste processen die niet meer in woorden te vatten zijn, legt JW verder in het hoofdstuk uit. Daarom zijn vragen als 'Zullen computers mensen ooit voorbijstreven in intelligentie?' steriel en zinloos. JW geeft herhaaldelijk aan dat het eigenlijk belachelijk en obsceen is dat hij hier nog woorden aan vuil moet maken. Hij eindigt dit hoofdstuk met de volgende prachtige woorden:

"What could be more obvious than the fact that, whatever intelligence a computer can muster, however it may be acquired, it must always and necessarily be absolutely alien to any and all authentic human concerns? The very asking of the question, 'What does a judge (or a psychiatrist) know that we cannot tell a computer?' is a monstrous obscenity. That it has to be put into print at all, even for the purpose of exposing its morbidity, is a sign of the madness of our times.

Computers can make judicial decisions, computers can make psychiatric judgments. They can flip coins in much more sophisticated ways than can the most patient human being. The point is that they ought not be given such tasks. They may even be able to arrive at 'correct' decisions in some cases - but always and necessarily on bases no human being should be willing to accept.

There have been many debates on 'Computers and Mind'. What I conclude here is that the relevant issues are neither technological nor even mathematical; they are ethical. They cannot be settled by asking questions beginning with 'can'. The limits of the applicability of computers are ultimately statable only in terms of oughts. What emerges as the most elementary insight is that, since we do not now have any ways of making computers wise, we ought not now to give computers tasks that demands wisdom."(226-227)

Eigenlijk jammer dat hij hier het woordje "now" invoert. Nu is er weer een reactie mogelijk als: ja nu niet, maar in de nabije toekomst zullen computers etc etc. Het bezwaar dat JW maakt is principieel: computers zullen nooit wijs kunnen zijn en moeten dus ook nooit taken opgedragen krijgen die wijsheid veronderstellen.

(228) 9. Incomprehensible programs

Iedereen in het computerwereldje weet dat grote programma's niet meer door één programmeur worden geschreven en dat die programma's in feite een onoverzichtelijke lappendeken vormen van allerlei 'fixes' en 'patches' in het grote totaal. Programma's kunnen daarmee instabiel worden. Desondanks is de maatschappij steeds meer gaan vertrouwen op en afhankelijk geworden van dit soort programma's die als het ware autonoom geworden zijn. Dat bergt een groot gevaar in zich.

Een ander probleem is dat onderzoekers hun gegevens moeten gaan aanpassen aan de mogelijkheden van het computerprogramma dat ze gebruiken, waarmee ze dus tegelijkertijd allerlei andere gegevens moeten laten liggen.

Een derde probleem is het probleem van de verantwoordelijkheid. Mensen verschuilen zich achter computers en computerprogramma's die ze niet meer begrijpen. Mensen verklaren zich onmachtig, worden passief, schuiven de verantwoordelijkheid af, accepteren de mythe van de onvermijdelijkheid van de technische vooruitgang en dat niemand die vooruitgang kan tegenhouden.

"The myth of technological and political and social inevitability is a powerful tranquilizer of the conscience. Its service is to remove responsibility from the shoulders of everyone who truly believes in it. But, in fact, there are actors!"(241)

"The various systems and programs we have been discussing share some very significant characteristics: they are all, in a certain sense, simple; they all distort and abuse language; and they all, while disclaiming normative content, advocate an authoritarianism based on expertise. Their advocacy is, of course, disguised by their use of rhetoric couched in apparently neutral, jargon-laden, factual language (that is, by what the common man calls 'bullshit'). These shared characteristics are, to some extent, separable, but they are not independent of one another. () But these systems are simple in a deeper and more important sense as well. They have reduced reason itself to only its role in the domination of things, man, and, finally, nature."(248-249)

Alle problemen worden tevens vereenvoudigd tot technische problemen door de instrumentele rede. Conflicterende opvattingen worden weggemoffeld onder de suggestie dat er alleen maar sprake is van oplosbare technische problemen.

JW drukt vanaf hier regelmatig uit dat hij niet begrijpt waarom mensen vervallen in dat typische AI-geloof en alle bezwaren wegwimpelen met een argumenten als 'Als wij het niet doen, doen anderen het wel' of 'De technische vooruitgang kan nu eenmaal niet tegengehouden worden'. De massa neemt dat geloof over vanuit een verkeerd ontzag voor wetenschap en voor dingen die ze niet begrijpen als computers.

"The rhetoric of the technological intelligentsia may be attractive because it appears to be an invitation to reason. It is that, indeed. But, as I have argued, it urges instrumental reasoning, not authentic human rationality. It advertises easy and 'scientifically' endorsed answers to all conceivable problems. It exploits the myth of expertise. Here too the corruption of language plays an important role. The language of the artificial intelligentsia, of the behavior modifiers, and of the systems engineers is mystifying. People, things, events are 'programmed', one speaks of 'inputs' and 'outputs', of feedback loops, variables, parameters, processes, and so on, until eventually all contact with concrete situations is abstracted away. Then only graphs, data sets, printouts are left. And only 'we', the experts, can understand them."(253)

"The technologist argues again and again that views such as those expressed here are anti-technological, anti-scientific, and finally anti-intellectual. He will try to construe all arguments against his megalomanic visions as being arguments for the abandonment of reason, rationality, science, and technology, and in favor of pure intuition, feeling, drug-induced mindlessness, and so on. In fact, I am arguing for rationality. But I argue that rationality may not be separated from intuition and feeling. I argue for the rational use of science and technology, not for its mystification, let alone its abandonment. I urge the introduction of ethical thought into science planning. I combat the imperialism of instrumental reason, not reason."(255-256)

(258) 10. Against the imperialism of instrumental reason

Precies dat laatste punt stelt JW centraal in zijn laatste hoofdstuk. Mensen beslissen de hele dag, maar ze kiezen niet meer omdat ze geen verantwoordelijkheid menen te kunnen dragen voor hun handelen. Ook wetenschappers proberen de verantwoordelijkheid af te schuiven door te zeggen dat wetenschap waardevrij is. Natuurlijk is dat in allerlei opzichten onzin: er worden voortdurend keuzen gemaakt en dat kan alleen gebeuren op grond van waarden.