Kompanija Anthropic otkrila je jedan od najzabrinjavajućih primjera zloupotrebe generativne vještačke inteligencije do sada – mala grupa programera povezanih sa Rusijom koristila je alat Claude Code za razvoj softvera namijenjenog autonomnom roju borbenih dronova.
Sistem je trebalo samostalno da prepoznaje mete, koordinira let i izdaje komande za detonaciju bez prisustva čovjeka koji potvrđuje napad. Projekat je nosio nazive DronDoc i Serafim, a Claude je, prema izvještaju Anthropica, korišćen za programiranje koordinacije roja, računarskog vida, završnog navođenja i drugih dijelova sistema.
Programeri su sistem računarskog vida trenirali na snimcima sa ukrajinskog ratišta, dok su lokacije u Ukrajini korišćene za simulirane misije. Još ozbiljniji detalj jeste da projekat nije ostao samo na kodu i simulacijama – softver je učitavan na prave uređaje radi testiranja i provjere ponašanja programa na pravoj elektronici.
Nije poznato da li je kompletan sistem ikada testiran u realnoj borbenoj upotrebi. Grupa je pristup Anthropic servisima obezbjeđivala preko komercijalnih VPN servisa kako bi zaobišla geografska ograničenja.
Kada je Anthropic identifikovao projekat kao razvoj oružja, nalozi su ugašeni, a kompanija je podatke iz incidenta iskoristila za dodatno pooštravanje zaštitnih mehanizama. Problem je što zaštita nije zaustavila projekat na samom početku – Claude Code je prije blokiranja već pomogao timu da značajno napreduje u razvoju.
Incident pokazuje jedan od najtežih problema današnjih AI sistema – isti model koji programeru ubrzava razvoj poslovne aplikacije može da smanji i stručne prepreke za razvoj autonomnog oružja. Anthropic je u istom izvještaju opisao i druge pokušaje zloupotrebe Claude modela za vojnu obavještajnu analizu, sisteme naoružanja, nabavku opreme dvostruke namjene i propagandu.