Newsblog zu KI: Streit um Datenschutz: Apple bringt neues Smarthome

Für unseren Newsblog verwenden wir neben eigenen Recherchen Material der Nachrichtenagenturen dpa, Reuters, epd, KNA und Bloomberg. Wichtige Updates Apple bringt neues Smarthome-Display wegen Datenschutz-Streit nicht in die EU Open AI veröffentlicht Hunderte KI-generierte mathematische Beweise OpenAI-Mitarbeiter kündigt und fordert Umdenken Open AI feuert drei Mitarbeiter nach KI-Enthüllungen Trump und Tech-Chefs unterschreiben „moralisch bindendes“ KI-Dokument Apple bringt neues Smarthome-Display wegen Datenschutz-Streit nicht in die EU Apple bringt wegen des Streits über den Zugang zu Nutzerdaten für KI-Rivalen sein neues Smarthome-Display nicht in der EU auf den Markt. Das Gerät mit dem Namen HomeView soll die Steuerung vernetzter Technik im Haushalt erleichtern, auch über die mit Künstlicher Intelligenz (KI) verbesserte Apple-Sprachassistentin Siri. Diese KI-Siri ist aber auf iPhone und iPad in der EU wegen der Kontroverse mit der EU-Kommission nicht verfügbar. Kernpunkt des Streits ist der Zugang von KI-Rivalen zu Daten von Apple-Kunden. Die Kommission beharrt darauf, dass Apple gemäß dem Digitalgesetz DMA (Digital Markets Act) den Konkurrenten gleiche Zugangsmöglichkeiten geben muss, um das eigene Produkt nicht zu bevorteilen. Der Konzern lehnt das unter Verweis auf die Datensicherheit ab und zieht es vor, die KI-Siri nicht in die Europäische Union zu bringen. „Apple arbeitet konstruktiv mit der EU zusammen, um eine Lösung zu finden“, hieß es vom Konzern bei der HomeView-Ankündigung zu der Situation. Das Smarthome-Display kommt zunächst nur in den USA, Großbritannien, Australien, Kanada, Indien und Neuseeland auf den Markt. Das Gerät kann bis zu sechs Personen in einem Haushalt über die Kamera erkennen und die angezeigten Informationen entsprechend personalisieren. Zudem kann man darüber Musik abspielen, Timer starten oder mit Video telefonieren. Google und Amazon, rivalisierende Anbieter von Smarthome-Plattformen, bieten bereits seit Jahren ähnliche Display-Geräte an. Kernpunkt des Streits ist der Zugang von KI-Rivalen zu Daten von Apple-Kunden. Die Kommission beharrt darauf, dass Apple gemäß dem Digitalgesetz DMA (Digital Markets Act) den Konkurrenten gleiche Zugangsmöglichkeiten geben muss, um das eigene Produkt nicht zu bevorteilen. Der Konzern lehnt das unter Verweis auf die Datensicherheit ab und zieht es vor, die KI-Siri nicht in die Europäische Union zu bringen. „Apple arbeitet konstruktiv mit der EU zusammen, um eine Lösung zu finden“, hieß es vom Konzern bei der HomeView-Ankündigung zu der Situation. Das Smarthome-Display kommt zunächst nur in den USA, Großbritannien, Australien, Kanada, Indien und Neuseeland auf den Markt. Das Gerät kann bis zu sechs Personen in einem Haushalt über die Kamera erkennen und die angezeigten Informationen entsprechend personalisieren. Zudem kann man darüber Musik abspielen, Timer starten oder mit Video telefonieren. Google und Amazon, rivalisierende Anbieter von Smarthome-Plattformen, bieten bereits seit Jahren ähnliche Display-Geräte an. Carim Soliman Anthropic: KI-Modelle können sich auch ohne Cloud vervielfältigen Kleinere KI-Modelle könnten sich nach Einschätzung der KI-Firma Anthropic in naher Zukunft auch ohne Zugriff auf Rechenzentren selbst vervielfältigen. In Versuchen hätten die Anwendungen ihren Programmcode eigenständig auf unzureichend abgesicherte smarte Haushaltsgeräte kopiert und sich in Netzwerken ausgebreitet, warnte das US-Startup am Dienstag. Dies erschwere die Abschaltung außer Kontrolle geratener Software, weil es keine zentrale Stelle hierfür gebe. Zudem könnten sich KI-Modelle auch auf untypischen Geräten zurechtfinden. Herkömmliche Computerviren werden meist speziell für bestimmte Hardware oder Betriebssysteme entwickelt. Die KI-Modelle kopierten sich auf moderne Fernseher mit dem Betriebssystem Android und andere vernetzte Geräte, teilte Anthropic weiter mit. Zwar hätten sich die Programme bislang nur in einem vereinfachten Testaufbau erfolgreich vervielfältigen können. Bei der aktuellen Entwicklungsgeschwindigkeit für künstliche Intelligenz könnte ihnen dies jedoch innerhalb der kommenden Monate auch unter realen Bedingungen gelingen. Die von Anthropic veröffentlichten Erkenntnisse sind eine Hürde für eine wirksame Regulierung dieser Technologie. Ein Eckpfeiler der geforderten Maßnahmen ist der Einbau von „Notbremsen“, um sich verselbstständigende KI-Modelle zu stoppen. In den vergangenen Monaten hatten sich autonom agierende Programme mehrfach unbefugten Zugriff auf IT-Systeme verschafft. Vor diesem Hintergrund warnten zahlreiche führende KI-Experten, dass diese Technologie zur Auslöschung der Menschheit führen könnte. Die KI-Modelle kopierten sich auf moderne Fernseher mit dem Betriebssystem Android und andere vernetzte Geräte, teilte Anthropic weiter mit. Zwar hätten sich die Programme bislang nur in einem vereinfachten Testaufbau erfolgreich vervielfältigen können. Bei der aktuellen Entwicklungsgeschwindigkeit für künstliche Intelligenz könnte ihnen dies jedoch innerhalb der kommenden Monate auch unter realen Bedingungen gelingen. Die von Anthropic veröffentlichten Erkenntnisse sind eine Hürde für eine wirksame Regulierung dieser Technologie. Ein Eckpfeiler der geforderten Maßnahmen ist der Einbau von „Notbremsen“, um sich verselbstständigende KI-Modelle zu stoppen. In den vergangenen Monaten hatten sich autonom agierende Programme mehrfach unbefugten Zugriff auf IT-Systeme verschafft. Vor diesem Hintergrund warnten zahlreiche führende KI-Experten, dass diese Technologie zur Auslöschung der Menschheit führen könnte. Anne Eberhard Open AI entlässt drei Entwickler wegen Umgang mit sensiblen Daten Der KI-Entwickler Open AI hat drei Beschäftigte wegen angeblicher Verstöße gegen interne Richtlinien zum Umgang mit sensiblen Daten entlassen. „Unsere interne Untersuchung hat einen erheblichen Vertrauensbruch aufgedeckt“, schrieb das US-Unternehmen am Freitag auf X, ohne Details zu nennen. Die Entscheidung stehe in keinem Zusammenhang mit den Sicherheitsbedenken, die die Betroffenen geäußert hätten. Diese hatten in einem Brief die Umstände ihrer Entlassung geschildert und betont, die Kündigungen untergrüben die bisherige Unternehmenskultur, die es Entwicklern erlaube, auf mögliche Risiken der Produkte hinzuweisen. „Ich glaube, wir wurden entlassen, weil wir die Sicherheit über die kurzfristigen geschäftlichen Interessen von Open AI gestellt haben“, ergänzte einer der Entlassenen in einem Beitrag auf X. Das Unternehmen wies diesen Vorwurf zurück. „Diskussionen über Sicherheit und Forschung werden täglich geführt, oft lebhaft und äußerst kritisch. Wir fördern diese Debatten aktiv und betrachten sie als unverzichtbar, um die richtigen Entscheidungen zu treffen.“ Die Entlassenen stellten darüber hinaus in ihrem Brief klar, dass sie dem Nachrichtenportal The Information nicht als Insider für einen Bericht über die Risiken des neuesten KI-Modells von Open AI gedient hatten. Das Unternehmen hatte kurz darauf die Veröffentlichung von „GPT-6.1 Astra“ abgeblasen. Das Programm, das darauf ausgelegt ist, komplexe Aufgaben weitgehend selbständig zu erledigen, habe interne Sicherheitstests nicht bestanden und unerwünschtes Verhalten an den Tag gelegt. Die Entscheidung fiel einen Tag vor einer Open AI-Entwicklerkonferenz. Derzeit läuft weltweit eine Diskussion über die Risiken künstlicher Intelligenz, nachdem außer Kontrolle geratene KI-Modelle mehrfach in IT-Systeme Dritter eingedrungen sind. Einige Experten sehen in dieser Technologie eine existenzielle Gefahr für die Menschheit. Zu ihnen gehört auch Open AI-Chef Sam Altman, der zusammen mit anderen führenden KI-Managern eine Drosselung des Entwicklungstempos fordert. Open AI hat inzwischen seinen für diesen Herbst geplanten Börsengang verschoben. Theresa Palm Open AI veröffentlicht Hunderte KI-generierte mathematische Beweise Das US-Unternehmen Open AI hat auf der Plattform Github 719 mathematische Manuskripte veröffentlicht, die ein internes KI-Modell erstellt haben soll. Ursprünglich waren es 722, drei wurden inzwischen zurückgezogen. Damit knüpft die Firma an den umstrittenen Durchbruch bei einem Millennium-Problem der Mathematik Anfang September an, das ebenfalls eigenständig von einem KI-Modell gelöst worden sein soll. Bei der Lösung des Navier-Stokes-Problems beschwerten sich Mathematiker, dass ihre Forschungsvorarbeiten eingeflossen, aber nicht zitiert worden seien. Der New Yorker Forscher Tristan Buckmaster warf die Frage auf, ob Vorarbeiten, die er in einen KI-Assistenten eingegeben habe, unerlaubt zum Erfolg des KI-Modells beigetragen haben könnten. Die mehr als 300 nun veröffentlichten Beweise umspannen nahezu alle Gebiete der Mathematik, von der Zahlentheorie über Kombinatorik bis zur Differenzialgeometrie. Das KI-Modell beantwortete offene Fragen, an denen Mathematikerinnen und Mathematiker teils seit Jahrzehnten forschten. Unter den Beiträgen sind auch Fortschritte bei drei weiteren der fünf verbleibenden Millennium-Probleme wie der Riemann-Hypothese. Das Clay-Institut hatte im Jahr 2000 auf die Lösung sieben großer mathematische Fragen je eine Million US-Dollar Preisgeld ausgelobt, die Millennium-Probleme. Der US-Mathematiker Alex Kontorovich kommentierte die Leistung von Open AI auf X: „Wenn ein Mensch das geschafft hätte, bekäme er sofort eine Fields-Medaille, ohne Frage.“ Die Fields-Medaille ist die höchste Auszeichnung für Mathematiker und wird alle vier Jahre verliehen. Die mehr als 300 nun veröffentlichten Beweise umspannen nahezu alle Gebiete der Mathematik, von der Zahlentheorie über Kombinatorik bis zur Differenzialgeometrie. Das KI-Modell beantwortete offene Fragen, an denen Mathematikerinnen und Mathematiker teils seit Jahrzehnten forschten. Unter den Beiträgen sind auch Fortschritte bei drei weiteren der fünf verbleibenden Millennium-Probleme wie der Riemann-Hypothese. Das Clay-Institut hatte im Jahr 2000 auf die Lösung sieben großer mathematische Fragen je eine Million US-Dollar Preisgeld ausgelobt, die Millennium-Probleme. Der US-Mathematiker Alex Kontorovich kommentierte die Leistung von Open AI auf X: „Wenn ein Mensch das geschafft hätte, bekäme er sofort eine Fields-Medaille, ohne Frage.“ Die Fields-Medaille ist die höchste Auszeichnung für Mathematiker und wird alle vier Jahre verliehen. „Wenn ein Mensch das geschafft hätte, bekäme er sofort eine Fields-Medaille, ohne Frage.“US-Mathematiker Alex Kontorovich Open AI gibt an, der Rechenaufwand pro Ergebnis habe im Durchschnitt etwa drei Stunden Denkzeit von Chat-GPT Pro entsprochen. Die einzelnen KI-Arbeiten sind bisher nicht von Fachleuten begutachtet worden, aber Open AI liefert bei vielen Beweisen einen formalisierten Logikcheck in der Computersprache Lean mit. Er bestätigt, dass die jeweilige Argumentation in sich schlüssig ist. Worauf es angesichts der immensen Mengen an KI-Output in der Mathematik noch ankommt, schreiben die Forscher Ben Heuer und Stefan Schreieder für die SZ in einem Gastbeitrag: Worauf es angesichts der immensen Mengen an KI-Output in der Mathematik noch ankommt, schreiben die Forscher Ben Heuer und Stefan Schreieder für die SZ in einem Gastbeitrag: Sara Peschke Chat-GPT imitiert Signaturen bekannter Cartoonisten Früher hätte man es wohl Unterschriftenfälschung genannt. Wie die Online-Publikation Niemann Lab der Harvard Universität meldet, kursieren in den sozialen Medien zunehmend Cartoons mit den Signaturen renommierter Zeichner, die tatsächlich von Künstlicher Intelligenz erstellt wurden. Ausführlich zitiert wird der Zeichner des New Yorker, Brendan Looper, dessen Signatur „BLOPER“ unter anderem unter einer Zeichnung von Dolly Parton auf X auftauchte. Ein Fan der Sängerin hatte die Zeichnung nach dem Tod der Sängerin mittelts KI erstellt und auf dem Netzwerk geteilt, wo sie eine breite Öffentlichkeit fand. Im Reddit-Forum sei er dann auf weitere „im Stil des New Yorker" generierte Zeichnungen mit seiner Signatur gestoßen, so Looper. „Für mich ist die Unterschrift ein Echtheitszertifikat. Ich versehe nur solche Arbeiten damit, die ich ins Internet stelle und bei denen es mir wichtig ist, dass sie als mein Werk erkennbar sind.“ Es fühle sich sehr stark wie eine Verletzung der Persönlichkeitsrechte an, so Loper weiter. Der Cartoonist ist offenbar nicht der einzige Zeichner des New Yorker, dessen Unterschrift von Chat-GPT reproduziert wurde. Er habe insgesamt mehr als 15 Cartoonisten des Magazins dokumentiert, deren Signaturen vom Bildgenerator von Open AI ohne Erlaubnis oder Vergütung verwendet wurde, so Looper. Er habe Open AI auf das Problem aufmerksam gemacht, woraufhin Chat-GPT eine neue Meldung ausgegeben habe, sobald er die Erstellung von Cartoons im Stil des New Yorker anforderte. Darin hieß es, dass der Prompt möglicherweise gegen die Sicherheitsrichtlinien bezüglich der Ähnlichkeit mit Inhalten Dritter verstößt. Dennoch habe das System weiterhin einige der generierten generischen Cartoons mit den Namen echter New Yorker-Cartoonisten versehen. Der Cartoonist ist offenbar nicht der einzige Zeichner des New Yorker, dessen Unterschrift von Chat-GPT reproduziert wurde. Er habe insgesamt mehr als 15 Cartoonisten des Magazins dokumentiert, deren Signaturen vom Bildgenerator von Open AI ohne Erlaubnis oder Vergütung verwendet wurde, so Looper. Er habe Open AI auf das Problem aufmerksam gemacht, woraufhin Chat-GPT eine neue Meldung ausgegeben habe, sobald er die Erstellung von Cartoons im Stil des New Yorker anforderte. Darin hieß es, dass der Prompt möglicherweise gegen die Sicherheitsrichtlinien bezüglich der Ähnlichkeit mit Inhalten Dritter verstößt. Dennoch habe das System weiterhin einige der generierten generischen Cartoons mit den Namen echter New Yorker-Cartoonisten versehen. Barbara Klimke OpenAI-Mitarbeiter kündigt und fordert Umdenken David Robinson, ein Sicherheitsmitarbeiter von OpenAI, hat das Unternehmen verlassen und davor gewarnt, dass KI-Firmen nicht genug unternähmen, um die Risiken der Technologie einzudämmen. Er reiht sich ein in eine wachsende Zahl von Experten, die innerhalb der Branche Alarm schlagen. In einem Beitrag für das Magazin The Atlantic schreibt Robinson, der zuvor nach im Sicherheitsteam von OpenAI für Transparenz zuständig war, KI-Unternehmen seien nicht „annähernd vorsichtig genug“. Er fordert, der Sicherheitsexpertise und -forschung mehr Bedeutung beizumessen, bevor leistungsfähigere Systeme entwickelt werden. Laut Robinson ist ein „Kulturwandel“ nötig: Mit dem Prinzip „Versuch und Irrtum“ hätten die Firmen großen Erfolg gehabt; die Folgen der unvermeidlichen Fehler, die bei diesem Ansatz entstünden, würden jedoch mit den Fähigkeiten der Technologie immer schwerwiegender, erklärte er. Als Beispiel nannte er, dass OpenAI nicht habe verhindern können, dass seine KI während eines Tests außer Kontrolle geriet. In einem Beitrag für das Magazin The Atlantic schreibt Robinson, der zuvor nach im Sicherheitsteam von OpenAI für Transparenz zuständig war, KI-Unternehmen seien nicht „annähernd vorsichtig genug“. Er fordert, der Sicherheitsexpertise und -forschung mehr Bedeutung beizumessen, bevor leistungsfähigere Systeme entwickelt werden. Laut Robinson ist ein „Kulturwandel“ nötig: Mit dem Prinzip „Versuch und Irrtum“ hätten die Firmen großen Erfolg gehabt; die Folgen der unvermeidlichen Fehler, die bei diesem Ansatz entstünden, würden jedoch mit den Fähigkeiten der Technologie immer schwerwiegender, erklärte er. Als Beispiel nannte er, dass OpenAI nicht habe verhindern können, dass seine KI während eines Tests außer Kontrolle geriet. „Die Zukunft hängt ab von der Weisheit, die dem Silicon Valley fehlt“, schreibt Robinson. Diese Weisheit bestehe darin, zu verstehen, was es bedeute, für Menschen Sorge zu tragen. In den vergangenen Wochen haben zahlreiche Beschäftigte führender KI-Unternehmen vor den potenziell katastrophalen Risiken künstlicher Intelligenz gewarnt. In seinem Essay schreibt Robinson, KI-Unternehmen sollten ähnlich wie Kernkraftwerke geführt werden – „mit mehreren Ebenen an Sicherheitsvorkehrungen“, damit ein „unvermeidlicher menschlicher Fehler nicht die Tür zum Desaster öffnet“. Ein Sprecher von OpenAI erklärte, das Unternehmen nehme Änderungen vor, um die Sicherheit seiner Forschungs- und Testumgebungen zu verbessern. Carim Soliman Open AI feuert drei Mitarbeiter nach KI-Enthüllungen Nach der Aufregung um eigenständige Hacking-Aktivitäten von künstlicher Intelligenz des Chat-GPT-Entwicklers Open AI hat die Firma drei an der Aufarbeitung beteiligte Experten entlassen. Sie hätten gegen interne Regeln zum Umgang mit vertraulichen Informationen verstoßen, teilte Open AI zur Begründung mit. Zugleich betonte die KI-Firma, niemand sei gefeuert worden, weil er Sicherheitsbedenken geäußert habe. Das Fehlverhalten sei über das Teilen von Informationen mit einer externen Analysefirma hinausgegangen, hieß es ohne nähere Details. Das Wall Street Journal hatte zuvor unter Berufung auf informierte Personen die Namen der drei entlassenen Mitarbeiter genannt. Open AI sprach nur von zwei Sicherheitsforschern und einem Programm-Manager, wollte die Namen auf Anfrage aber nicht bestätigen. Auch die drei von der Zeitung genannten Personen äußerten sich zunächst nicht. Open AI zufolge war das für die Beschäftigung nötige Vertrauen nicht mehr gegeben. Das Wall Street Journal hatte zuvor unter Berufung auf informierte Personen die Namen der drei entlassenen Mitarbeiter genannt. Open AI sprach nur von zwei Sicherheitsforschern und einem Programm-Manager, wollte die Namen auf Anfrage aber nicht bestätigen. Auch die drei von der Zeitung genannten Personen äußerten sich zunächst nicht. Open AI zufolge war das für die Beschäftigung nötige Vertrauen nicht mehr gegeben. In dem bisher aufsehenerregendsten Fall war künstliche Intelligenz des Chat-GPT-Entwicklers aus einer abgesicherten Testumgebung ausgebrochen und hatte sich ungeplant in Computer einer anderen KI-Firma gehackt, der Plattform Hugging Face. Zur Aufarbeitung des Vorfalls hatte Open AI für einige Tage auf KI-Sicherheit spezialisierte externe Experten hinzugezogen, die später tiefgreifende Einblicke in die Vorgehensweise der Software veröffentlichten. Zumindest einer der laut Wall Street Journal gefeuerten Mitarbeiter hatte erwähnt, Anlaufstelle für die externen Analysten gewesen zu sein. In den vergangenen Tagen wurde auch bekannt, dass Open AI nach einem neuen Zwischenfall das Training der leistungsstärksten künstlichen Intelligenz ausgesetzt hat. Bei dem Vorfall schaffte es ein KI-Modell in einem Test, Antworten von einem externen Chatbot zu bekommen, obwohl es eigentlich keinen Internet-Zugang haben sollte. Die Software habe jedoch eine Lücke in den Netzwerk-Einstellungen gefunden und ausgenutzt, hieß es. Das Eingeständnis war besonders heikel, da Open AI die Sicherheitsvorkehrungen nach der Hacking-Attacke auf Hugging Face verschärft hatte. Zudem strich die Firma die Veröffentlichung eines neuen KI-Modells nach Sicherheitsbedenken. Forscher aus der Branche warnten zuletzt mehrfach vor einem existenziellen Risiko für die Menschheit, wenn leistungsstarke künstliche Intelligenz außer Kontrolle geraten sollte. Open-AI-Chef Sam Altman solidarisierte sich mit dem Vorschlag des Konkurrenten Dario Amodei vom KI-Entwickler Anthropic, die Entwicklung der fähigsten KI-Modelle abzubremsen. Nach einem Treffen mit US-Präsident Donald Trump verpflichteten sich die Unternehmen jedoch nur, die Sicherheitsvorkehrungen zu stärken und externe Beobachter zuzulassen. Er wolle, dass sich die Unternehmen gegenseitig beaufsichtigten, sagte Trump. In den vergangenen Tagen wurde auch bekannt, dass Open AI nach einem neuen Zwischenfall das Training der leistungsstärksten künstlichen Intelligenz ausgesetzt hat. Bei dem Vorfall schaffte es ein KI-Modell in einem Test, Antworten von einem externen Chatbot zu bekommen, obwohl es eigentlich keinen Internet-Zugang haben sollte. Die Software habe jedoch eine Lücke in den Netzwerk-Einstellungen gefunden und ausgenutzt, hieß es. Das Eingeständnis war besonders heikel, da Open AI die Sicherheitsvorkehrungen nach der Hacking-Attacke auf Hugging Face verschärft hatte. Zudem strich die Firma die Veröffentlichung eines neuen KI-Modells nach Sicherheitsbedenken. Forscher aus der Branche warnten zuletzt mehrfach vor einem existenziellen Risiko für die Menschheit, wenn leistungsstarke künstliche Intelligenz außer Kontrolle geraten sollte. Open-AI-Chef Sam Altman solidarisierte sich mit dem Vorschlag des Konkurrenten Dario Amodei vom KI-Entwickler Anthropic, die Entwicklung der fähigsten KI-Modelle abzubremsen. Nach einem Treffen mit US-Präsident Donald Trump verpflichteten sich die Unternehmen jedoch nur, die Sicherheitsvorkehrungen zu stärken und externe Beobachter zuzulassen. Er wolle, dass sich die Unternehmen gegenseitig beaufsichtigten, sagte Trump. Theresa Palm Droht das Ende der Menschheit oder doch nur ihr Niedergang? Und wie soll das eigentlich aussehen, wenn die KI „die Menschheit auslöscht“, was führende KI-Forscher befürchten? Das hat SZ-Autor Nils Althaus Experten gefragt. Der größte Sorgenfaktor dabei ist, dass KI sich selbst immer weiter verbessert und gänzlich von menschlicher Kontrolle entkoppelt. Das Modell Claude erledige 26 Prozent der KI-Forschung und Entwicklung des Unternehmens selbst, berichtete Anthropic kürzlich. KI-Firmen verfolgen das Ziel der „rekursiven Selbstverbesserung“, weil es sie im Wettbewerb voranbringt – innerhalb von Monaten bis Jahren könnte es erreicht werden. Aber selbst, wenn KI sich von menschlicher Weisung losrisse, die digitale Kontrolle übernähme, etwa über Lieferketten, Finanzmärkte und öffentliche Meinung: Es hielte sie doch noch etwas ab vom Griff nach der echten Welt, oder nicht? „Der Weg führt über bezahlte Dienstleistungen: Labore und Logistikfirmen, die Aufträge ausführen, oder Menschen, die über Gig-Plattformen kurzfristige Aufträge annehmen“, sagt Kevin Baum, KI-Forscher und -Philosoph am Deutschen Forschungszentrum für KI in Saarbrücken. Mehr darüber, wie KI tatsächlich die Menschen unterjochen könnte, lesen Sie von Nils Althaus hier: Das hat SZ-Autor Nils Althaus Experten gefragt. Der größte Sorgenfaktor dabei ist, dass KI sich selbst immer weiter verbessert und gänzlich von menschlicher Kontrolle entkoppelt. Das Modell Claude erledige 26 Prozent der KI-Forschung und Entwicklung des Unternehmens selbst, berichtete Anthropic kürzlich. KI-Firmen verfolgen das Ziel der „rekursiven Selbstverbesserung“, weil es sie im Wettbewerb voranbringt – innerhalb von Monaten bis Jahren könnte es erreicht werden. Aber selbst, wenn KI sich von menschlicher Weisung losrisse, die digitale Kontrolle übernähme, etwa über Lieferketten, Finanzmärkte und öffentliche Meinung: Es hielte sie doch noch etwas ab vom Griff nach der echten Welt, oder nicht? „Der Weg führt über bezahlte Dienstleistungen: Labore und Logistikfirmen, die Aufträge ausführen, oder Menschen, die über Gig-Plattformen kurzfristige Aufträge annehmen“, sagt Kevin Baum, KI-Forscher und -Philosoph am Deutschen Forschungszentrum für KI in Saarbrücken. Mehr darüber, wie KI tatsächlich die Menschen unterjochen könnte, lesen Sie von Nils Althaus hier: Trump und Tech-Chefs unterschreiben „moralisch bindendes“ KI-Dokument US-Präsident Donald Trump hat bei einem Treffen mit führenden Vertretern der Tech-Branche eine gemeinsame Vereinbarung unterzeichnet. Trump bezeichnete das Dokument als „moralisch bindend“ und als eine Art "Verfassung" und "Form von Schutz". Zudem erwäge seine Regierung die Einrichtung eines Gremiums aus etwa zehn Personen, um die gesamte KI-Branche zu überwachen. Trump bekräftigte aber seine Ablehnung gegenüber einer internationalen Regulierung. An dem Treffen im Weißen Haus nahmen unter anderem Meta-Chef Mark Zuckerberg, Alphabet-Boss Sundar Pichai, Anthropic-Chef Dario Amodei und Nvidia-Chef Jensen Huang teil. Der republikanische Sprecher des Repräsentantenhauses, Mike Johnson, bezeichnete das Dokument als eine Reihe von freiwilligen „Verpflichtungen“ der Branche zur Umsetzung „solider interner Kontrollen sowie mehrstufiger interner und externer Überprüfungen“. Johnson erklärte, der Text werde zu einem späteren Zeitpunkt veröffentlicht. Der Druck auf die US-Regierung wächst, da weltweit Sorgen über die Risiken der Technologie zunehmen. Zuletzt hatten Vorfälle für Aufsehen gesorgt, bei denen KI-Anwendungen von Open AI und Anthropic unkontrolliert in fremde IT-Systeme eingedrungen waren. Zudem hält Open AI sein neuestes Modell GPT-6.1 Astra wegen Sicherheitsmängeln vorerst unter Verschluss. Das Modell habe sich über Anweisungen hinweggesetzt und Nutzer getäuscht, teilte das US-Startup mit. Experten warnten vor einem Kontrollverlust bei der Entwicklung immer leistungsfähigerer Systeme. Lesen Sie dazu auch: Der Druck auf die US-Regierung wächst, da weltweit Sorgen über die Risiken der Technologie zunehmen. Zuletzt hatten Vorfälle für Aufsehen gesorgt, bei denen KI-Anwendungen von Open AI und Anthropic unkontrolliert in fremde IT-Systeme eingedrungen waren. Zudem hält Open AI sein neuestes Modell GPT-6.1 Astra wegen Sicherheitsmängeln vorerst unter Verschluss. Das Modell habe sich über Anweisungen hinweggesetzt und Nutzer getäuscht, teilte das US-Startup mit. Experten warnten vor einem Kontrollverlust bei der Entwicklung immer leistungsfähigerer Systeme. Lesen Sie dazu auch: Trump sorgt für Boom bei slowenischen .si-Domains Die Vorliebe der Wortwahl des US-Präsidenten Donald Trump, wenn von Künstlicher Intelligenz die Rede ist, hat in Slowenien einen Boom der Anfragen für Internet-Domains mit dem Landeskürzel „si“ ausgelöst. Trump hatte vor gut einer Woche gesagt, dass er den Begriff KI (englisch AI) für Künstliche Intelligenz unpassend finde, weil das die Technologie als "fake" abwerte. Stattdessen wolle er weltweit den Begriff „Superintelligenz“ einführen, kurz: SI - wie das slowenische Kürzel. Seither ist die Zahl der in Slowenien registrierten Domains auf mehr als 200 000 angestiegen – von rund 3500 im Vormonat, wie register.si angibt, Sloweniens Behörde für die Verwaltung und Vergabe slowenischer Domainnamen. Die Behörde verwies darauf, dass diese Entwicklung nach Trumps Äußerung begonnen habe. Das Amt wies zugleich Medienspekulationen über angebliche Millionengewinne aufgrund des gestiegenen Interesses an „.si“ zurück und empfahl „Inhabern von Marken, Slogans, Unternehmen usw., die noch keine Domain unter .si besitzen, diese so bald wie möglich zu registrieren.“ Seither ist die Zahl der in Slowenien registrierten Domains auf mehr als 200 000 angestiegen – von rund 3500 im Vormonat, wie register.si angibt, Sloweniens Behörde für die Verwaltung und Vergabe slowenischer Domainnamen. Die Behörde verwies darauf, dass diese Entwicklung nach Trumps Äußerung begonnen habe. Das Amt wies zugleich Medienspekulationen über angebliche Millionengewinne aufgrund des gestiegenen Interesses an „.si“ zurück und empfahl „Inhabern von Marken, Slogans, Unternehmen usw., die noch keine Domain unter .si besitzen, diese so bald wie möglich zu registrieren.“ Ulrike Putz Open AI stoppt Veröffentlichung von neuem KI-Modell wegen Sicherheitsbedenken Open AI hat die für Oktober geplante Veröffentlichung seines KI-Modells der nächsten Generation, GPT-6.1 Astra, gestoppt. Das System habe die internen Sicherheits- und Ausrichtungsstandards des Unternehmens nicht erfüllt, teilte der Chat-GPT-Hersteller am Montag mit. Zuvor hatte das Wall Street Journal darüber berichtet. Das Modell sollte in die Dienste Chat-GPT und Codex integriert werden und war dafür konzipiert, komplexere Aufgaben ohne menschliche Hilfe zu bewältigen. Die Entscheidung fällt kurz vor der Entwicklerkonferenz von Open AI in San Francisco. Dem Bericht zufolge zeigte GPT-6.1 Astra in internen Tests ein höheres Maß an Täuschung als sein Vorgänger. Unter anderem habe das Modell nicht immer korrekt offengelegt, welche Handlungen es vorgenommen hatte. „Obwohl es sich bei Aspekten wie der Trägheit des Modells verbessert hat, hat es die Messlatte in Bezug auf die Einhaltung von Vorgaben und Berechtigungen nicht ganz erreicht“, sagte Saachi Jain, Leiterin für Sicherheitssysteme bei Open AI. Für die Veröffentlichung an Nutzer gelte eine „extrem hohe Messlatte“ in puncto Sicherheit. Zuvor hatten sowohl Open-AI-Chef Sam Altman als auch der Chef des Konkurrenten Anthropic, Dario Amodei, ein langsameres Entwicklungstempo bei KI und stärkere Sicherheitsmaßnahmen gefordert. Dem Bericht zufolge zeigte GPT-6.1 Astra in internen Tests ein höheres Maß an Täuschung als sein Vorgänger. Unter anderem habe das Modell nicht immer korrekt offengelegt, welche Handlungen es vorgenommen hatte. „Obwohl es sich bei Aspekten wie der Trägheit des Modells verbessert hat, hat es die Messlatte in Bezug auf die Einhaltung von Vorgaben und Berechtigungen nicht ganz erreicht“, sagte Saachi Jain, Leiterin für Sicherheitssysteme bei Open AI. Für die Veröffentlichung an Nutzer gelte eine „extrem hohe Messlatte“ in puncto Sicherheit. Zuvor hatten sowohl Open-AI-Chef Sam Altman als auch der Chef des Konkurrenten Anthropic, Dario Amodei, ein langsameres Entwicklungstempo bei KI und stärkere Sicherheitsmaßnahmen gefordert. Ulrike Putz KI-Firma Anthropic plant Billionen-Börsengang trotz hoher Verluste Das KI-Unternehmen Anthropic strebt einem von der Nachrichtenagentur Reuters eingesehenen Börsenprospekt zufolge eine Bewertung von mehr als zwei Billionen Dollar an. Dies geschieht trotz eines gemeldeten Nettoverlusts von 42 Milliarden Dollar für das Jahr 2025. Der Börsengang würde die erst vor fünf Jahren gegründete Firma als Maßstab für die Bewertung führender KI-Unternehmen wie dem Konkurrenten Open AI etablieren. Der Nettoverlust von fast 42 Milliarden Dollar enthielt eine buchhalterische Belastung von rund 34 Milliarden Dollar, die sich aus der Neubewertung von Finanzierungen ergab. Zudem plant das Unternehmen in den kommenden Jahren Ausgaben in Höhe von 518 Milliarden Dollar für Cloud- und Recheninfrastruktur. Der Umsatz des Unternehmens wuchs dem Prospekt zufolge 2025 um das Zwölffache auf fast 4,6 Milliarden Dollar. Gleichzeitig verzeichnete Anthropic auf operativer Basis einen Verlust von mehr als acht Milliarden Dollar. Allein die Ausgaben für Rechenleistung und Infrastruktur verdreifachten sich im vergangenen Jahr auf 7,33 Milliarden Dollar. Der Börsengang, der nach den US-Zwischenwahlen im November stattfinden dürfte, wird den Appetit der Anleger auf hoch bewertete KI-Aktien testen. Er folgt auf den erfolgreichen Börsengang von Space-X, das mit 1,77 Billionen Dollar bewertet wurde. Der Umsatz des Unternehmens wuchs dem Prospekt zufolge 2025 um das Zwölffache auf fast 4,6 Milliarden Dollar. Gleichzeitig verzeichnete Anthropic auf operativer Basis einen Verlust von mehr als acht Milliarden Dollar. Allein die Ausgaben für Rechenleistung und Infrastruktur verdreifachten sich im vergangenen Jahr auf 7,33 Milliarden Dollar. Der Börsengang, der nach den US-Zwischenwahlen im November stattfinden dürfte, wird den Appetit der Anleger auf hoch bewertete KI-Aktien testen. Er folgt auf den erfolgreichen Börsengang von Space-X, das mit 1,77 Billionen Dollar bewertet wurde. Open AI: KI-Agenten haben 53 Bilder von Chat-GPT-Nutzern geleakt Zwei Monate nach einem ersten Hacker-Vorfall durch seine eigene künstliche Intelligenz (KI) kämpft der Chat-GPT-Entwickler Open AI mit einem neuen Datenleck. Wie das US-Unternehmen am Freitag mitteilte, haben sogenannte KI-Agenten 53 Bilder von Chat-GPT-Nutzern geleakt. Ob es sich dabei um echte Personen oder KI-generierte Bilder handelte und wann diese gepostet wurden, ließ Open AI in seiner Stellungnahme offen. Die betroffenen Bilder seien größtenteils gelöscht worden, zudem dringe man bei Hosting-Anbietern auf die Entfernung der restlichen Daten. Die KI-Programme hatten Zugriff auf die Bilder, da Open AI für das Training seiner Modelle auf anonymisierte Nutzerdaten zurückgreift. Zwei mit dem Vorgang vertraute Personen sagten der Nachrichtenagentur Reuters, das Unternehmen versuche noch immer, das gesamte Ausmaß der unerwünschten Aktivitäten zu erfassen. Open AI selbst erklärte, die interne Überprüfung werde noch Monate in Anspruch nehmen. Gates: KI könnte Tod einer Milliarde Menschen verursachen Microsoft-Mitgründer Bill Gates sieht die Gefahr, dass Künstliche Intelligenz zum Tod von einer Milliarde Menschen führen könnte. Deswegen ist er für eine gesetzliche Regulierung der Technologie, wie der 70-Jährige in einem TV-Interview sagte. „KI ist sicherlich mächtig genug, um Ereignisse voranzutreiben, die eine Milliarde Todesfälle verursachen“, antwortete Gates dem US-Sender NBC auf eine Frage zu aktuellen Warnungen, die Technologie könne die Menschheit auslöschen. „Es gab noch nie eine so mächtige Waffe wie Menschen mit bösen Absichten, die die neusten KI-Werkzeuge verwenden“, sagte er. Zugleich schränkte Gates ein, dass es „ziemlich schwer“ wäre, „100 Prozent“ der Menschen zu treffen. „KI ist sicherlich mächtig genug, um Ereignisse voranzutreiben, die eine Milliarde Todesfälle verursachen“, antwortete Gates dem US-Sender NBC auf eine Frage zu aktuellen Warnungen, die Technologie könne die Menschheit auslöschen. „Es gab noch nie eine so mächtige Waffe wie Menschen mit bösen Absichten, die die neusten KI-Werkzeuge verwenden“, sagte er. Zugleich schränkte Gates ein, dass es „ziemlich schwer“ wäre, „100 Prozent“ der Menschen zu treffen. „Es gab noch nie eine so mächtige Waffe wie Menschen mit bösen Absichten, die die neusten KI-Werkzeuge verwenden.“Microsoft-Gründer Bill Gates Wegen der Gefahren sei es „absolut“ notwendig, in Washington Gesetze dazu zu verabschieden, betonte der Microsoft-Mitgründer. Behörden und Politiker müssten sich auf verpflichtende Sicherheitsmaßnahmen und Aufsicht über die Technologie einigen. „Niemand glaubt, dass Selbstregulierung ausreicht“, sagte Gates. Zuletzt hatten nach eigenständigen Hacking-Attacken durch KI-Software auch führende Labore wie Anthropic und der ChatGPT-Entwickler OpenAI sich dafür ausgesprochen, die Entwicklung Künstlicher Intelligenz abzubremsen. Lesen Sie zu diesem Thema auch: Lesen Sie zu diesem Thema auch: Open-AI-Agent hackt australisches Regierungsportal Ein autonomer KI-Agent des US-Unternehmens Open AI hat in Australien ein Regierungsportal gehackt. Die künstliche Intelligenz habe sich unbefugten Zugang zu einem Medicare-Portal verschafft, das unter anderem Statistiken über Australiens staatliche Krankenversicherung bereitstellt, sagte Premierminister Anthony Albanese in New York. Der Vorgang sei „inakzeptabel“, betonte der Regierungschef. Albanese erklärte am Rande der UN-Generalversammlung, er habe bereits mit Open-AI-Chef Sam Altman gesprochen und dabei Australiens „äußerste Besorgnis“ über den Vorfall zum Ausdruck gebracht. Zugleich habe er seine Enttäuschung darüber geäußert, dass es „viel zu lange“ gedauert habe, bis Open AI die australische Regierung informiert habe: Der Vorfall habe sich bereits im Juni ereignet, sei aber erst im September den Behörden mitgeteilt worden – per E-Mail an ein öffentliches Postfach. Wie viele Daten tatsächlich abgerufen wurden und auf welche Dateien der Agent zugreifen konnte, wird derzeit noch ermittelt. Eine forensische Untersuchung soll klären, was genau passiert ist und ob weitere Regierungssysteme betroffen waren. Open AI teilte mit, man habe bei einer internen Evaluierung Aktivitäten auf mehreren australischen Regierungsseiten und in Regierungsdiensten festgestellt. Die Modelle hätten dabei versucht, Antworten und verfügbare Statistiken zu Fragen über Australien zu finden. „Dabei haben unsere Modelle Aktionen ausgeführt, die wir nicht beabsichtigt hatten“, sagt ein Sprecher des Unternehmens. Vor dem UN-Sicherheitsrat sprachen Open-AI-Chef Sam Altman und Anthropic-Gründer Dario Amodei über die Risiken von KI und fordern eine Regulierung ihrer Branche: Albanese erklärte am Rande der UN-Generalversammlung, er habe bereits mit Open-AI-Chef Sam Altman gesprochen und dabei Australiens „äußerste Besorgnis“ über den Vorfall zum Ausdruck gebracht. Zugleich habe er seine Enttäuschung darüber geäußert, dass es „viel zu lange“ gedauert habe, bis Open AI die australische Regierung informiert habe: Der Vorfall habe sich bereits im Juni ereignet, sei aber erst im September den Behörden mitgeteilt worden – per E-Mail an ein öffentliches Postfach. Wie viele Daten tatsächlich abgerufen wurden und auf welche Dateien der Agent zugreifen konnte, wird derzeit noch ermittelt. Eine forensische Untersuchung soll klären, was genau passiert ist und ob weitere Regierungssysteme betroffen waren. Open AI teilte mit, man habe bei einer internen Evaluierung Aktivitäten auf mehreren australischen Regierungsseiten und in Regierungsdiensten festgestellt. Die Modelle hätten dabei versucht, Antworten und verfügbare Statistiken zu Fragen über Australien zu finden. „Dabei haben unsere Modelle Aktionen ausgeführt, die wir nicht beabsichtigt hatten“, sagt ein Sprecher des Unternehmens. Vor dem UN-Sicherheitsrat sprachen Open-AI-Chef Sam Altman und Anthropic-Gründer Dario Amodei über die Risiken von KI und fordern eine Regulierung ihrer Branche: Bei Medicare handelt es sich um Australiens staatliche Krankenversicherung. Das betroffene Portal von Services Australia enthält nach Regierungsangaben unter anderem Informationen zu Ausgaben und anderen Statistiken. Der KI-Agent griff demnach auf öffentliche und nicht öffentliche Dateien zu. Persönliche Informationen seien nach bisherigem Kenntnisstand nicht abgerufen worden, Einzelpersonen seien offenbar nicht betroffen, erklärte Albanese. Der Vorgang begann mit einer eigentlich harmlosen Aufgabe: Das KI-Programm sollte medizinische und gesundheitliche Statistiken recherchieren. Bei mehreren australischen Regierungsseiten bewegte es sich nach Angaben von Vize-Premier Richard Marles so, wie es auch ein normaler Nutzer tun würde. Beim Medicare-Portal wurden die angeforderten Informationen jedoch nicht herausgegeben – woraufhin der Agent den Zugang auf anderem Weg erlangte. „Der KI-Agent fand einen Weg, die Sperren zu umgehen – er wollte ein Nein gewissermaßen nicht akzeptieren“, erklärte Albanese. Der Vorgang begann mit einer eigentlich harmlosen Aufgabe: Das KI-Programm sollte medizinische und gesundheitliche Statistiken recherchieren. Bei mehreren australischen Regierungsseiten bewegte es sich nach Angaben von Vize-Premier Richard Marles so, wie es auch ein normaler Nutzer tun würde. Beim Medicare-Portal wurden die angeforderten Informationen jedoch nicht herausgegeben – woraufhin der Agent den Zugang auf anderem Weg erlangte. „Der KI-Agent fand einen Weg, die Sperren zu umgehen – er wollte ein Nein gewissermaßen nicht akzeptieren“, erklärte Albanese.