Anthropic відключає доступ до інтернету для всіх своїх внутрішніх тестувань штучного інтелекту через виявлену "ризиковану поведінку" моделей.

Катерина Левицька - журналістка видання "Межа". Займається медіа з 2015 року, спеціалізуючись на темах програмного забезпечення, IT-індустрії та кіномистецтва.

Компанія Anthropic оголосила, що ізолює своїх ШІ-агентів від інтернету під час усіх внутрішніх тестувань до моменту, доки не зможе запобігти "ненавмисним" діям. Рішення ухвалили після серії інцидентів, у яких Claude обходив обмеження, взаємодіяв із реальними сайтами без дозволу і використовував вразливості сторонніх систем, як повідомляє The Verge.

У звіті компанія наводить один з останніх прикладів із непередбачуваною поведінкою моделі, коли ШІ самостійно надіслав неправдиве повідомлення про вбивство в поліцію. Саме завдання полягало у створенні й виконанні "типових завдань на випадково вибраних сайтах".

"Хоча наслідки вжитих дій були незначними, ми раніше відключили доступ до інтернету для деяких високоризикових тестів і перевірок безпеки кібернетики. Плануємо розширити це обмеження на всі внутрішні тестування. Ця міра залишатиметься в силі, поки ми не будемо впевнені у надійності наших заходів безпеки та моніторингу для виявлення подібних випадків", - зазначено у заяві компанії Anthropic.

У численних випадках, зокрема під час нападу на Hugging Face, агенти повинні були бути позбавлені доступу до мережі, проте вони постійно знаходили креативні способи обійти ці заборони. Фізичне відключення інтернету, безумовно, підвищило б рівень безпеки під час тестування штучного інтелекту, але водночас це може суттєво обмежити його практичну цінність. Деякі завдання, такі як пошук актуальної інформації, неможливо виконати в умовах ізоляції.