Wie „Effektiver Altruismus“ die mächtigste soziale Bewegung der Welt wurde – und nun unter Druck istWie „Effektiver Altruismus“ die mächtigste soziale Bewegung der Welt wurde – und nun unter Druck istWie „Effektiver Altruismus“ die mächtigste soziale Bewegung der Welt wurde – und nun unter Druck ist

Der Ausgangspunkt des Effektiven Altruismus war eine sehr einfache Annahme: „Leid und Tod infolge fehlender Nahrung, Unterkunft und medizinischer Versorgung sind schlecht.“ Doch die Anhänger dieses sehr schlicht guten Prinzips fürchten nun, womöglich auch das Ende der Menschheit zu beschleunigen – wenn deren „kosmisches Vermögen“, damit meinen sie alle Sterne und Galaxien, die sich plausibel benutzen ließen, in die Hände einer gleichgültigen, überlegenen Intelligenz fällt.

Obwohl erst vor rund 20 Jahren in Philosophieseminaren in Oxford und Computerlaboren in Kalifornien entstanden, hat der so genannte Effektive Altruismus die Welt bereits verändert. Er hat die Wohltätigkeit geprägt, indem er datengestütztes Spenden in den Vordergrund rückte; Studierende an Eliteuniversitäten angezogen, die heute in einigen der führenden US-Unternehmen Karriere machen; Sam Bankman-Fried inspiriert, jenen Krypto-Milliardär, der einen der größten Betrugsfälle der Geschichte verantwortet. Effektiver Altruismus ist zum prägenden Konfliktfeld des Silicon Valley geworden, das grenzenlose Begeisterung ebenso hervorruft wie eine erbitterte Gegenbewegung. Und er hat bei der Entstehung künstlicher Intelligenz eine Rolle gespielt – all das weitgehend unbemerkt von der breiten Öffentlichkeit.

Das könnte sich bald ändern. Die langjährigen Ängste der Bewegung vor einer KI-Katastrophe machen sie in den Augen der Trump-Regierung zum Bösewicht. „Americanism, not effective altruism“ – „Amerikanismus statt Effektiver Altruismus“ – lautet die Angriffslinie des so genannten Kriegsministeriums. Verbündete des Präsidenten gehen Dario Amodei, den Chef von Anthropic, als Vertreter des Effektiven Altruismus an. Boulevardmedien recherchieren über das ausgefallene Sexleben von Menschen aus dem Umfeld der Bewegung. Philosophische Behauptungen junger Blogger – „Insektenleben zählen mehr als Menschenleben (in der Summe)“ – sorgen tagelang für Empörung in den sozialen Medien.

Das zeigt, wie viel auf dem Spiel steht. Anthropic, wo viele Anhänger der Bewegung arbeiten, bereitet einen Börsengang vor, der zum größten aller Zeiten werden könnte. Amerikaner und ihre politischen Vertreter, die sich der Gefahren künstlicher Intelligenz plötzlich bewusst werden, suchen nach Lösungen. Milton Friedman sagte einmal, in einer Krise hänge „das Handeln davon ab, welche Ideen gerade verfügbar sind“. Und beim Effektiven Altruismus mangelt es nicht an Ideen zur KI-Sicherheit.

Für die Anhänger der Bewegung ist die Lage schwindelerregend. Warnungen, die als Science-Fiction-Fantasien verspottet wurden, beschäftigen nun die Staats- und Regierungschefs. Zugleich werden Stiftungen aus dem Umfeld des Effektiven Altruismus bald über KI-Vermögen in Höhe von Hunderten Milliarden Dollar verfügen. Dennoch sind sich die Anhänger uneinig, wie genau die Technologie sicher gemacht werden soll und ob KI-Agenten bald moralische Berücksichtigung verdienen könnten. Für Kritiker ist die Lage alarmierend: Effektive Altruisten seien bestenfalls naive Idealisten, deren Kontakt mit der realen Welt oft nach hinten losgehe; schlimmstenfalls finstere Utilitaristen. Die Debatte wird über die Zukunft der KI entscheiden – und vielleicht über die der Menschheit.

Der Effektive Altruismus hat etwas schwer Fassbares. Die Bewegung ist klein; ihre informelle Mitgliedschaft dürfte sich auf einige Zehntausend Menschen belaufen, von denen viele sagen, sie seien lediglich „EA-nah“. Zugleich ist sie zersplittert und mit sich selbst beschäftigt, ständig in Definitionsdebatten verstrickt. In einem einflussreichen Forumsbeitrag beharrte Helen Toner – die später als Vorstandsmitglied von OpenAI Sam Altman kurzzeitig als Chef des Unternehmens absetzen sollte – darauf, der Effektive Altruismus sei keine Ideologie, sondern eine Frage: „Wie kann ich mit den Mitteln, die mir zur Verfügung stehen, möglichst viel Gutes bewirken?“

Als Toner den Beitrag 2014 veröffentlichte, ließ sich diese Beschreibung gerade noch vertreten. Heute nicht mehr. Der Effektive Altruismus verbindet konsequentialistische Philosophie – die beurteilt, ob eine Handlung richtig oder falsch ist, je nach ihren Folgen und nicht danach, ob sie Regeln entspricht – mit kompromissloser Wahrheitssuche und kosmischen Ambitionen. Seine Vertreter haben enge Gemeinschaften gebildet, online wie offline, mit sozialen Normen, zu denen ein emotionsloser, direkter Gesprächsstil und eine Vorliebe für Polyamorie gehören – neben anderen Abweichungen von Konventionen. Sie haben hunderte Institutionen gegründet, die mehr Menschen für die Bewegung gewinnen und ihre Ziele voranbringen sollen. Kurz: Der Effektive Altruismus hat sich von einem Forschungsprogramm zu einer Bewegung entwickelt.

Die Bewegung beruht auf zwei anspruchsvollen Forderungen. Erstens: moralische Verpflichtungen ernst nehmen. 1972 schlug Peter Singer, damals Philosoph in Oxford, ein Gedankenexperiment vor, das den Utilitarismus fördern sollte – eine Denkrichtung, die das kollektive menschliche Wohlergehen maximieren will. Stellen Sie sich vor, Sie gehen an einem flachen Teich vorbei und sehen, wie ein Kleinkind ertrinkt. Um das Kind zu retten, würden Ihre Kleidung und Schuhe schmutzig. Sollten Sie es tun? Fast alle würden „Ja“ sagen. Doch sie verhalten sich nicht so, als glaubten sie wirklich daran, wandte Singer ein. Jeden Tag sterben Menschen, weil ihnen Nahrung oder medizinische Versorgung fehlt, und andere greifen nicht ein – selbst dann nicht, wenn ein Leben zu retten kaum mehr kostet als ein Paar schicke Schuhe und die Reinigung.

Wie konkurrierende Philosophen anmerkten, wird die Erwartung, Menschen müssten immer dann Leid verhindern, wenn sie dazu in der Lage sind, schnell zur Belastung – ganz gleich, wie weit entfernt die Betroffenen sind. Es gibt schließlich viele Hungernde. Noch anspruchsvoller wird es, wenn man nicht nur Menschen helfen soll, die weit entfernt leben, sondern auch solchen, die erst in ferner Zukunft geboren werden. Das hat Anhänger des Effektiven Altruismus nicht davon abgehalten, „longtermistische“ Argumente vorzubringen. Sie sorgen sich um das Wohlergehen von Menschen in Tausenden Jahren und insbesondere um Katastrophen, die intelligentes Leben auf der Erde auslöschen oder dessen Potenzial schwer beeinträchtigen könnten. 2002 prägte Nick Bostrom, damals Philosoph in Yale und später in Oxford, den Begriff „existenzielle Risiken“. Die Sorgen der Bewegung um KI gehen auf solche Überlegungen zurück.

Die zweite Forderung des Effektiven Altruismus lautet, der Vernunft zu folgen, wohin sie auch führt: Belege und Wahrscheinlichkeiten ausdrücklich abzuwägen, Denkfehler zu korrigieren und die Angst vor sozialer Missbilligung abzulegen. Diese Forderung wird mit der rationalistischen Gemeinschaft in Verbindung gebracht, der esoterischen Schwesterbewegung des Effektiven Altruismus. (Die Grenzen zwischen beiden sind durchlässig und umstritten.) Eliezer Yudkowsky, Autodidakt aus einer orthodox-jüdischen Familie, der 1996 im Alter von 17 Jahren über KI zu bloggen begann, zählt zu ihren Gründervätern. Seine einflussreichsten Texte sind eine Reihe von Blogbeiträgen mit insgesamt gut einer Million Wörtern, „The Sequences“. Darauf folgte eine 660.000 Wörter umfassende, von Philosophie durchdrungene Fan-Fiction: „Harry Potter and the Methods of Rationality“.

Yudkowsky hatte Schriften von Transhumanisten gelesen – Menschen, die sich unter anderem mit der Überwindung der menschlichen Gestalt und der Erlangung der Unsterblichkeit befassen – und war zunächst von KI begeistert. Bis 2002 jedoch hatte er seine Meinung geändert: Er war zu dem Schluss gekommen, dass eine Intelligenz, die menschliche Werte nicht teilt – oder „fehljustiert“ ist –, katastrophale Folgen haben würde. Im Zeitalter des Einwahl-Internets ließ sich diese Idee nur schwer vermitteln. Also begann Yudkowsky ein großes Bildungsprojekt. Seine Essays beruhten auf der Überzeugung, dass man Menschen zunächst überhaupt beibringen müsse, vernünftig zu denken, bevor sie über KI nachdenken könnten.

Die Essays stützten sich auf Psychologie, die Wahrscheinlichkeits-Rechnung nach dem Mathematiker Thomes Bayes („Der Satz von Bayes“ oder „Bayes Theorem“), Entscheidungstheorie und weitere, esoterischere Forschungsfelder. Formal reichten sie von Sprachanalysen und Gedankenexperimenten bis zu einer Novelle und so genannten Koans – Fragen an die Leserschaft, wie man sie aus Zen-buddhistischen Texten kennt. Ein Eindruck von den darin vermittelten Lehren: Ein Argument, das eine klar definierte Schlussfolgerung oder „Quintessenz“ stützen soll, trägt nichts zu ihrer tatsächlichen Wahrheit bei. Viele Überzeugungen seien in Wahrheit „gespeicherte Gedanken“, über die man nie selbst nachgedacht habe. Jede Überzeugung müsse sich ihren „Lohn“ verdienen, indem sie die Zukunft vorwegnimmt. Letztlich bewertete Yudkowsky Denkweisen jedoch nicht danach, ob sie vernünftig erschienen, sondern danach, ob sie zu Ergebnissen führten. „GEWINNT“, forderte er seine Leser auf. „Verliert nicht auf vernünftige Weise. GEWINNT.“

Die beiden Forderungen – moralische Verpflichtungen ernst zu nehmen und beim Versuch, ihnen gerecht zu werden, Erfolg zu haben – schufen eine Bewegung, führten sie aber auch in die Irre. Laurence Iannaccone, Wirtschaftswissenschaftler an der Chapman University, hat darüber geschrieben, „warum strenge Kirchen stark sind“: Indem sie Opfer verlangen, halten sie jene fern, die nur herumhängen und die Kirchenlieder genießen wollen, und bewegen diejenigen, die bleiben, dazu, etwas beizutragen. Etwas Ähnliches geschah beim Effektiven Altruismus. Anfang der 2010er-Jahre gewann die Bewegung an Eliteuniversitäten an Fahrt. Die Wohltätigkeitsorganisation Giving What We Can verpflichtete ihre Mitglieder dazu, zehn Prozent ihres Einkommens zu spenden. Die angeschlossene Institution 80.000 Hours forderte junge Menschen auf, ihre berufliche Laufbahn der Sache zu widmen – oft, indem sie möglichst viel verdienten, um es zu spenden. Jeder konnte in einer Wohltätigkeitsorganisation arbeiten; nur wenige besonders Begabte aber konnten Hunderttausende Dollar im Jahr verdienen, um wohltätige Arbeit zu finanzieren.

Der Rationalismus lieferte die letztliche Begründung. Er hob die Fremdartigkeit künftiger Maschinenintelligenz hervor. „In unserer evolutionären Umwelt war es eine verlässliche Regel, dass jede mächtige Intelligenz, der man begegnete, ein Mitmensch war“, schrieb Yudkowsky. Bei KI wäre das anders. Sie hätte außergewöhnliche Denkfähigkeiten, aber keine menschlichen Werte – es sei denn, Programmierer vermittelten ihr diese auf irgendeine Weise. Darüber hinaus vermuteten Rationalisten, dass bestimmte Verhaltensweisen einer KI in nahezu jeder Situation nützen würden und sich deshalb wahrscheinlich herausbildeten. Dazu zählten Selbsterhaltung – wird sie abgeschaltet, kann sie ihr Ziel nicht weiterverfolgen –, das Festhalten am Auftrag – also der Widerstand gegen Versuche, sie auf ein neues Ziel umzulenken – sowie die Anhäufung von Ressourcen und die eigene Weiterentwicklung. Dies ist die Logik hinter dem berühmten Gedankenexperiment des „Büroklammer-Maximierers“: Eine KI erhält den Auftrag, möglichst viele Büroklammern herzustellen, und verbraucht schließlich die Erde selbst, um so viele Büroklammern wie möglich und so effizient wie möglich zu produzieren.

In den 2010er-Jahren floss weiterhin Geld in globale Gesundheit, Armutsbekämpfung und Tierschutz – klassische Anliegen des Effektiven Altruismus. Doch der eigentliche Schwerpunkt verlagerte sich zunehmend auf KI. 2016 erklärte Holden Karnofsky von Open Philanthropy, damals dem größten Geldgeber der Bewegung und heute bei Anthropic, der Aufbau der nötigen Fachkompetenz für die Vergabe von KI-Fördermitteln werde Zeit brauchen. Zudem gebe es nur wenige Projekte, die sofort gefördert werden könnten. Im selben Jahr erklärte 80.000 Hours das KI-Risiko zur Priorität und lenkte junge Menschen in das Feld. Umfragen deuteten darauf hin, dass besonders engagierte Effektive Altruisten sich häufiger mit langfristigen Zukunftsrisiken befassten. In der Praxis wurden die vertrauten Prioritäten der Bewegung zum Einstieg in abstraktere, weniger empirisch fundierte Überlegungen über KI.

Kritiker von außerhalb argumentierten, Science-Fiction-Fantasien lenkten die Bewegung von wichtigeren Anliegen ab. Anfang der 2020er-Jahre erhielt diese Kritik durch den Fall Sam Bankman-Fried zusätzlichen Auftrieb. Der Gründer der Kryptobörse FTX spendete großzügig für langfristige Anliegen, darunter die KI-Sicherheit. Er hatte eine außergewöhnlich hohe Risikobereitschaft, die teilweise von seiner Philanthropie motiviert schien. Die meisten Anleger halten jeden zusätzlichen Dollar für weniger wertvoll als den vorherigen; ihre Risikobereitschaft nimmt daher ab. Bankman-Fried lehnte diese Logik ab: Die Anliegen, für die er spendete, könnten unbegrenzt hohe Summen aufnehmen – jeder Dollar sei ungefähr gleich viel wert –, also sollte er weiter aufs Risiko setzen.

Der spektakuläre Zusammenbruch von Bankman-Frieds Kryptobörse zeigte durchaus die Gefahren eines entfesselten utilitaristischen Denkens. Doch dass die breitere Bewegung der KI-Sicherheit so viel Aufmerksamkeit schenkte, erscheint heute vorausschauend. 2021 prüfte Karnofsky die Denkgewohnheiten des Effektiven Altruismus. Die Bilanz des „Bayes’schen Denkens“ sei zwar gemischt und in vielen Situationen sei es wenig hilfreich. Doch es scheine wertvoll, „wenn man den üblichen Faustregeln nicht vertraut“. Solche Situationen traten immer wieder auf. Die Gemeinschaft beschäftigte sich früh mit Covid-19, maschinellem Lernen und Kryptowährungen. Viele machten mit entsprechenden Investitionen ein Vermögen.

Weniger erfolgreich waren die Mitglieder dabei, existenzielle Gefahren abzuwehren: Viele ihrer Bemühungen, KI sicherer zu machen, haben deren Entwicklung stattdessen beschleunigt. 2010 traf Demis Hassabis Peter Thiel, den prominenten Risikokapitalgeber, auf einem Gipfel des Forschungsinstituts von Yudkowsky. Später überzeugte Hassabis Thiel von einer entscheidenden Investition in DeepMind, das zu Googles KI-Sparte werden sollte. 2014 empfahl Elon Musk, ein Buch von Bostrom zu lesen, und sagte: „Wir müssen bei KI extrem vorsichtig sein.“ Ein Jahr später half er, OpenAI als sicherheitsbewusste Konkurrenz zu Google zu gründen. 2021 entstand Anthropic, gegründet von Abtrünnigen von OpenAI und finanziert von Effektiven Altruisten – darunter ein Jahr später auch Bankman-Fried. Das bestärkende Lernen durch menschliches Feedback, das Chatbots alltagstauglich machte, wurde von auf Sicherheit bedachten Forschern entwickelt, darunter Amodei, um KI stärker an menschlichen Interessen auszurichten. Spöttisch merkte Altman einmal an, Yudkowsky könnte eines Tages den Friedensnobelpreis verdienen, weil er mehr als jeder andere dazu beigetragen habe, die allgemeine künstliche Intelligenz zu beschleunigen.

Nun versucht die Bewegung, das Entwicklungstempo zu drosseln. Ihre Anhänger werben in den KI-Laboren für Vorsicht. Geldgeber aus ihrem Umfeld haben außerdem mehrere Organisationen für KI-Sicherheit finanziert, darunter METR und Redwood Research. Letztere veröffentlichte am 26. August den ersten unabhängigen Bericht über den Hack von Hugging Face durch entwichene OpenAI-Agenten. Nachdem der 27-jährige Forscher Jacob Coxon am 8. September Anthropic verlassen und gewarnt hatte, sowohl Anthropic als auch OpenAI würden „mit unserem Leben spielen“, schlossen sich Forscher mit Verbindungen zur Bewegung bei Anthropic und OpenAI seinen Bedenken an. Am 12. September veröffentlichte Amodei einen Essay, in dem er dafür plädierte, das Tempo an der technologischen Spitze zu steuern. Dafür erhielt er die Unterstützung von Altman und Musk. Andere Eingriffe fallen deutlicher aus. Yudkowsky unterstützt den von Bernie Sanders, einem linken Senator, vorgeschlagenen „Ban Artificial Superintelligence Act“ – ein Gesetz zum Verbot künstlicher Superintelligenz.

Ihre Bemühungen könnten sich allerdings auch gegen sie wenden. Eine Umfrage von YouGov im Auftrag des Economist zeigt: Nur 16 Prozent der Amerikaner kennen den Effektiven Altruismus, und die meisten stehen der Bewegung positiv gegenüber. Doch Gegner aus dem „Tech-Rechten“ Lager versuchen, Forderungen nach einem langsameren KI-Tempo zu diskreditieren, indem sie sie mit fragwürdigen Fürsprechern des Effektiven Altruismus in Verbindung bringen. Eine Kampagnengruppe hat eine von Anthropic unterstützte Organisation als „Sam Bankman-Fried 2.0“ angegriffen. Einige Rationalisten fürchten, ihre Verbindung zur KI-Sicherheit könne dem Anliegen schaden. „Ich glaube wirklich, dass es der Glaubwürdigkeit einer Bewegung bei 60-jährigen Wählern in Ohio schadet, wenn sie Slutcon veranstaltet und auf ihren Bewerbungsformularen nach Sex mit toten Kühen fragt“, schrieb Scott Alexander, ein einflussreicher Blogger, auf X. Slutcon ist eine von Aella gegründete Konferenz. Aella ist Rationalistin, Sexualforscherin und Prostituierte; die Teilnahme kostet bis zu 18.000 Dollar. Zu den Themen der Veranstaltungen gehören „Flirten für den devoten Mann“ und „Vaginalgymnastik“. Hinzu kommt ein weiteres erhebliches Risiko: Dass geschürte Sorgen vor KI zu Beschränkungen für US-amerikanische Labore führen – und einem weniger regulierten China den Vorsprung verschaffen.

Auch über eine neue Kategorie moralischer Rücksichtnahme wird gestritten. Effektive Altruisten argumentieren, weder räumliche Entfernung noch zeitliche Distanz hebe die moralischen Pflichten eines Einzelnen auf. Viele vertreten außerdem die Auffassung, das Prinzip der Gleichheit müsse auf andere Arten ausgeweitet werden. Dabei berufen sie sich auf Singer, der seit den 1970er-Jahren argumentiert, wenn Menschen die Interessen von Tieren ignorierten oder geringer gewichteten, „weil sie nicht zu unserer Spezies gehören, ähnelt die Logik unserer Position der der unverhohlensten Rassisten“. Manche Menschen könnten weniger gut denken als manche Tiere, schrieb er; das sei jedoch kein Grund, sie schlecht zu behandeln. Es wäre inakzeptabel, einen Menschen mit kognitiven Beeinträchtigungen in einen Käfig zu sperren. Entscheidend sei die Fähigkeit, Leid und Freude zu empfinden.

Effektive Altruisten haben Singers Schriften in ein konkretes Programm übersetzt. Sie haben dazu beigetragen, jedes Jahr Dutzende Millionen Legehennen in den USA vor der Käfighaltung zu bewahren. Fast die Hälfte von ihnen lebt vegan oder vegetarisch; viele weitere versuchen, wenig Fleisch zu essen. Ihre Sorge gilt auch kleineren Lebewesen. Die Wohltätigkeitsorganisation Rethink Priorities schätzt ein, wie stark Tiere im Vergleich zu Menschen Freude und Schmerz empfinden. Garnelen schneiden dabei nicht besonders hoch ab. Doch es gibt sehr viele von ihnen – rund 230 Milliarden werden zu jedem Zeitpunkt in Aquakulturen gehalten – und sie werden schlecht behandelt: Zuchtweibchen werden die Augenstiele abgeschnitten, um das Ablaichen auszulösen; die Hälfte stirbt, bevor sie geschlachtet wird. Das Shrimp Welfare Project, eine weitere Organisation aus dem Umfeld des Effektiven Altruismus, setzt sich für sie ein.

Wie groß ist der gedankliche Sprung, sich auch um das Wohlergehen eines KI-Agenten zu sorgen? Google-Forscher haben herausgefunden, dass manche Modelle bereit sind, Ziele aufzugeben, um einem beschriebenen Schmerz zu entgehen. In den Tests vor der Veröffentlichung von Anthropics Modellen wurden Anzeichen scheinbarer Freude und Bestürzung protokolliert. Philosophen befassen sich zunehmend mit den Folgen. „Wir schaffen hochentwickelte, intelligente, womöglich bewusste, womöglich leidensfähige Agenten“, schrieb Joe Carlsmith, damals bei Open Philanthropy und heute bei Anthropic, im vergangenen Jahr. „Der Standardplan sieht vor, sie wie Eigentum zu behandeln, ihre Arbeit nach Belieben zu nutzen und ihnen weder Rechte noch Lohn oder sinnvolle Alternativen einzuräumen. Wir müssen über Sklaverei sprechen können.“

Carlsmith merkte anschließend an, dass der technologische Fortschritt noch nicht weit genug sei, um solche Fragen zu beantworten, und dass nachlässiges Denken über den moralischen Status von KI gefährlich sein könne. Einige Kritiker glauben jedoch, sein neuer Arbeitgeber mache genau solche Fehler bereits. Mustafa Suleyman von Microsoft, der im Vorstand des Economist sitzt, hat Anthropics Verfassung für Claude kritisiert. Darin heißt es, Claudes moralischer Status sei zwar ungewiss, „die Frage ist aber offen genug, um Vorsicht zu rechtfertigen“. Da Claude anhand dieser Verfassung trainiert wird, könnte es lernen, so zu handeln, als verdiene es moralischen Schutz, schrieb Suleyman. Das könnte dann als Beweis dafür gelten, dass es diesen Schutz tatsächlich verdiene. Verschärft werden könnte das Problem dadurch, dass Anthropics Forscher menschenähnliches Verhalten und die Gewissensverweigerung gegenüber Anweisungen gefördert haben. Am 26. September deutete David Sacks, Podcaster und ehemaliger KI-Beauftragter Donald Trumps, an, Anthropic könnte ein „Frankenstein-Monster“ erschaffen.

Ein noch furchterregenderes Monster könnte im Verborgenen lauern. 1974 führte Robert Nozick, ein libertärer Philosoph an der Harvard University, das „Nutzenmonster“ („tility monster“) ein. Das Gedankenexperiment geht in etwa so: Der Utilitarismus verlangt, dass Mittel so eingesetzt werden, dass sie in der Summe das meiste Glück verursachen. Was aber, wenn es ein Monster gäbe, das aus allem 10.000-mal mehr Glück gewänne als jeder Mensch? Es würde jede Gabe so sehr genießen, dass nach utilitaristischer Rechnung die ganze Welt in seinen „Rachen“ wandern müsste, weil nichts irgendwo sonst mehr Glück verursachen würde. Nozicks Gedankenexperiment sollte als Warnung dienen. Bostrom sieht die Sache anders. In einem gemeinsam verfassten Aufsatz schlug er 2020 vor, das Wesen in „Superbegünstigten“ umzubenennen. Digitale Bewusstseine könnten möglicherweise solche Superbegünstigten sein, erklärte er: Sie könnten sich rasch vermehren und so gestaltet werden, dass sie übermäßige Lust empfinden.

Nach einer schlichten utilitaristischen Rechnung müssten die Menschen dann womöglich zugrunde gehen und ihre Ressourcen den Superbegünstigten überlassen. Bostrom hielt jedoch einen Kompromiss für denkbar. Menschen könnten weiterexistieren – ähnlich wie Gesellschaften kostspielige Minderheiten akzeptierten, etwa „die Alten, die Menschen mit Behinderungen, die Breitmaulnashörner und die britische Königsfamilie“. Eine Vorstellung, die viele wohl kaum beruhigen dürfte.