Die Verhandlungen mit Anthropic und dem US-Kriegsministerium sind eskaliert, obwohl Anthropic der erste KI-Anbieter ist, der seit längerer Zeit bereits erfolgreich mit dem Pentagon zusammengearbeitet.
KI-Modelle von Anthropic waren bzw. sind bereits im Krieg gegen Venezuela und jetzt auch im Iran-Krieg im Einsatz.
KIs können zum Beispiel bei der Aufklärung von Satellitenbildern, dem Zusammenfassen von Intelligence und Op-Daten, aber auch bei Angriffskonzepten helfen bis hin zur aktiven Steuerung von autonomen Drohnen und Kampfrobotern verwendet werden.
Letzteres ist aber eine der roten Linien für Anthropic. Es muss immer ein Human in der Loop sein, vollständig autonome Waffen lehnt Anthropic kategorisch ab.
Die zweite rote Linie ist der Einsatz ihrer KI-Systeme für Massenüberwachung von US-Bürgern.
Beide roten Linien sind inhaltlich vernünftig, vor allem KIs nicht für Massenüberwachung der eignen Bevölkerung zu verwenden.
Bei autonomen Waffen ist hingegen das Problem, dass solche notwendig werden könnten, wenn der Feind solche ebenfalls entwickelt. Race to the bottom.
Das Problem ist allerdings selbst wenn Dario Amodei inhaltlich recht hat, kann keine private Firma dem US-Militär solche Restriktionen auferlegen. Da geht es auch ums Prinzip, nicht nur um den Inhalt.
Das wäre so ähnlich als würde ein Waffenhersteller von der US-Regierung fordern, nur Waffen militärisch mit Semi-Auto aber nicht Full-Auto nutzen zu dürfen. Das Collateral-Damage-Potential wäre mit Full-Auto zu groß.
Oder stellt euch vor ein Kampfflugzeug-Hersteller würde Bedingungen an das Verteidigungsministerium stellen, wofür ihre Flugzeuge verwenden werden dürfen.
Das ist nicht die Aufgabe von privaten Firmen, sondern vom Kongress und dem Gesetzgeber, dafür Rahmenbedingungen zu schaffen.
Dario Amodei argumentiert, dass der Kongress zu langsam sei und deswegen Anthropic Bedingungen stellen müsse.
Mit allen anderen KI-Anbietern hat sich das DoW übrigens einigen können, nur mit Anthropic nicht.
Deswegen wurde Anthropic jetzt als Supply-Chain-Risiko eingestuft, was verheerende wirtschaftliche Auswirkungen auf Anthropic haben könnte, je nach dem wie man das auslegt, könnten andere US-Firmen nicht mehr mit Anthropic zusammenarbeiten dürfen, wenn sie gleichzeitig auch für das DoW oder die US-Regierung arbeiten. Das wäre die wirtschaftliche Atombombe für Anthropic.
Was sagt ihr dazu? Ist es realistisch, dass private KI-Anbieter die militärische Nutzung ihrer Modelle einschränken, wenn es um die nationale Sicherheit geht? Sind autonome Waffen überhaupt verhinderbar, wenn sie der Feind ebenfalls entwickelt? Wie könnte man das Terminator-Risiko in so einem Fall minimieren?
https://x.com/aakashgupta/status/2027516351934579074
https://x.com/SecWar/status/2027507717469049070
https://x.com/LuizaJarovsky/status/2027810509039558851
Video credit: CBS News
English
Negotiations with Anthropic and the US Department of War have escalated, even though Anthropic is the first AI provider to have been working successfully with the Pentagon for some time.
Anthropic's AI models have been and are already being used in the war against Venezuela and now also in the Iran war.
AI can be used, for example, to analyze satellite images, summarize intelligence and operational data, and even help with attack concepts and even control lethal autonomous drones and robots.
The latter, however, is one of Anthropic's red lines. There must always be a human in the loop, Anthropic categorically rejects fully autonomous weapons.
The second red line is the use of its AI systems for mass surveillance of US citizens.
Both red lines are reasonable in terms of content, especially not using AI for mass surveillance of one's own population.
With autonomous weapons, however, the problem is that they could become necessary if the enemy develops them too. Race to the bottom.
The problem, however, is that even if Dario Amodei is right in substance, no private company can impose such restrictions on the US military. It's also a matter of principle, not so much of substance.
It would be similar to a weapons manufacturer demanding that the US government only allow military weapons to be used in semi-automatic mode, but not in full-auto. The potential for collateral damage would be too great with fully automatic weapons.
Or imagine if a fighter jet manufacturer imposed conditions on the Department of War regarding how their aircraft could be used.
It is not the job of private companies, but of Congress and the legislature, to create the framework for this.
Dario Amodei argues that Congress is too slow and that Anthropic therefore has to impose conditions.
Incidentally, the DoD has been able to reach agreements with all other AI providers, except Anthropic.
As a result, Anthropic has now been classified as a supply chain risk, which could have devastating economic consequences for Anthropic. Depending on how this is interpreted, other US companies may no longer be allowed to work with Anthropic if they also work for the DoD or the US government. That would be an economic nuclear bomb for Anthropic.
What do you think? Is it realistic for private AI providers to restrict the military use of their models when it comes to national security? Are autonomous weapons even preventable if the enemy is also building them? How could the Terminator risk be minimized in such a case?