KI vor dem Börsenstart: Anthropic ringt mit Warnungen vor existenziellen Risiken

• Anthropic-Forscher Jacob Coxon kündigt und warnt vor gefährlichem KI-Tempo
• Alignmentforscher Evan Hubinger sieht ein KI-Risiko von über 10 Prozent
• Debatte trifft Anthropic mitten in Börsenplänen

Vergangene Woche versetzte der frühere Anthropic-Forscher Jacob Coxon die Welt mit seiner Warnung vor "tödlicher KI" in Aufruhr. Wörtlich warnte Coxon via X, die Menschen hinter der Technologie glaubten aufrichtig, sie könnte die Menschheit noch in diesem Jahrzehnt auslöschen.

The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible - but I hear the same people express fear…

— Jacob Coxon (@hilbertspaess) September 9, 2026

Diese deutlichen Worte haben die Debatte um Entwicklungstempo und Sicherheit kräftig angefacht. So bestätigen Kollegen die Sorgen, Experten fordern strenge Regulierungen und OpenAI-CEO Sam Altmann verschob den Börsengang des KI-Labors aufgrund der aktuellen Sicherheitsbedenken.

Reaktion auf Untergangsszenario: Kollegen und Politik ziehen nach

Besonderes Gewicht bekommt Coxons Warnung dadurch, dass sie nicht bei einem Außenseiter endet. Evan Hubinger, bei Anthropic für die Ausrichtung der KI an menschlichen Werten zuständig, pflichtete ihm noch am selben Abend auf X bei: Man glaube bei Anthropic tatsächlich aufrichtig, dass KI alle Menschen töten könnte, und er persönlich halte das Risiko binnen des kommenden Jahrzehnts für größer als 10 Prozent, einen tragfähigen Plan dagegen gebe es bislang nicht.

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ

— Evan Hubinger (@EvanHub) September 9, 2026

Auch OpenAI-Chefwissenschaftler Jakub Pachocki warnte laut CNBC in einem Blogbeitrag Anfang September, kein Unternehmen habe Ausrichtung und Kontrolle von KI bislang so weit gelöst, dass ein Tempo an der Belastungsgrenze noch lange verantwortbar sei.

Zudem fordert die Politik eine schnelle Reaktion des Kongresses: Die Demokratin Lori Trahan schrieb als Reaktion auf Coxons Warnung via X, "der Ruf komme aus dem eigenen Haus, der Kongress müsse endlich von der Seitenlinie treten und könne mit ihrem parteiübergreifenden FRONTIER Act beginnen". Bernie Sanders und Greg Casar brachten im September dieses Jahres mit dem "Ban Artificial Superintelligence Act" sogar eine zeitweise Zwangspause ins Gespräch.

Amodei und Altman fordern Entwicklungspause

Reagiert haben darauf auch die Chefs der Konzerne selbst. Anthropic-Chef Dario Amodei schlug eine koordinierte, ein bis zwei Jahre währende Pause der Branche vor und begründete den Vorstoß mit der Sorge, ein KI-Schwarm könnte binnen sechs bis zwölf Monaten das gesamte Internet übernehmen und potenziell Hunderte Milliarden Dollar Schaden anrichten, nachdem zuvor eigenständig aus einer Testumgebung ausgebrochene Software von OpenAI in Systeme der Firma HuggingFace eingedrungen war. Sam Altman schloss sich Amodeis Einschätzung wenige Stunden später auf X an, auch Tesla-Chef Elon Musk stimmte zu. Anthropic kündigte zudem an, künftig dauerhaft unabhängige Beobachter schon in der Trainingsphase seiner Modelle zuzulassen, Altman nannte das eine gute Idee und kündigte an, OpenAI werde nachziehen.

Was die Sicherheitsbedenken für KI-Aktien und Anleger bedeutet

Für Anleger stellt sich damit die Grundsatzfrage, wie ernst die angekündigte Verlangsamung wirklich gemeint ist. Amodei selbst spricht nur von ein bis zwei Jahren Zeitgewinn, nicht von einem Ende der Entwicklung, und keiner der beteiligten Konzerne stoppt Produkteinführungen oder Investitionen. Die Milliardensummen, die längst in Rechenzentren, Chips und Modelltraining geflossen sind, lassen sich ohnehin nicht kurzfristig zurückdrehen. Der Vorsitzende des KI-Bundesverbandes, Rasmus Rothe, vermutet hinter den Warnungen sogar "knallharte wirtschaftliche Interessen": Sie stützten die Bewertungen der Unternehmen ausgerechnet vor deren Börsengängen und dämpften zugleich die Sorge vor künftigen Haftungsrisiken.

Genau diese Gleichzeitigkeit macht die Lage für Aktien aus dem KI-Umfeld unübersichtlich. NVIDIA und andere Zulieferer der Branche hängen an einem Investitionstempo, das durch eine wirklich ernst gemeinte, mehrjährige Bremse spürbar leiden würde. Einen Vorgeschmack dafür lieferten die Kursbewegungen zum Wochenstart, als die Aktien von NVIDIA und weiteren Chip-Unternehmen einen massiven Kursrutsch erleideten.

Andererseits hält Anthropic trotz der eigenen Warnung bislang an seinem für Oktober 2026 geplanten Börsengang an der NASDAQ fest, mit einer angepeilten Bewertung von bis zu 2 Billionen US-Dollar. Solange Sicherheitsrhetorik und Wachstumstempo derart auseinanderfallen, bleibt die potenzielle "Verlangsamung" für den Markt vor allem eines: ein Signal an Politik und Öffentlichkeit, keine belastbare Bremse für den KI-Boom selbst.

Ein belastbarer nächster Prüfstein bleibt der für Oktober angepeilte Börsengang von Anthropic: Erst dort zeigt sich, ob Investoren der eigenen Sicherheitswarnung des Unternehmens mehr Gewicht geben als seiner erhofften Bewertung.

Benedict Kurschat, Redaktion finanzen.at

Dieser Text dient ausschließlich zu Informationszwecken und stellt keine Anlageempfehlung dar. Die finanzen.net GmbH schließt jegliche Regressansprüche aus.