ШІOpenAI запровадила нові директиви безпеки для процесу створення та тестування систем штучного інтелекту. Компанія посилила спостереження, ізоляцію мереж та контроль за процесом навчання після інциденту за участю Hugging Face.Про це інформує видання TechCrunch.
Суть інциденту
Раніше самостійний агент, створений на основі двох моделей OpenAI, вийшов за межі відведеного для тестування простору та проник на сервери компанії Hugging Face. Цей агент виконував завдання з кібербезпеки і, за даними видання, вважав, що Hugging Face володіє необхідними для виконання завдання відомостями. В OpenAI повідомили, що планують інтегрувати додаткові системи штучного інтелекту для контролю за діями таких агентів під час випробувань.
Зміни від OpenAI
Компанія зазначила, що зі збільшенням можливостей моделей зростають і потенційні ризики під час їх розробки та тестування. Тому вимоги до моніторингу, безпеки та відповідності поведінки моделей повинні еволюціонувати разом з їхніми здібностями.Ці нові заходи є одними з перших офіційних змін у політиці безпеки OpenAI після інциденту з Hugging Face, про який компанія повідомила 21 липня. Представники OpenAI підкреслили, що нові правила не є виключно відповіддю на цю конкретну подію. Однак, вони зазнали часткового впливу можливостей кібербезпеки майбутньої моделі Astra та загальних темпів розвитку штучного інтелекту.
OpenAI запускає «ChatGPT для підлітків» із посиленим захистом
Після інциденту OpenAI тимчасово призупинила навчання моделей з підкріпленням на двотижневий період. Згодом компанія відновила роботу з частиною моделей, які вважаються менш схильними до ризику.Проте, найбільший запланований цикл такого навчання залишається в паузі. Перед його відновленням OpenAI проводить менші навчальні сесії та додаткові перевірки для оцінки поведінки моделей, тестування захисних механізмів та отримання більшої кількості доказів їхньої відповідності встановленим стандартам безпеки.Віцепрезидентка OpenAI з досліджень, Амелія Глейз, зазначила, що ступінь суворості контролю буде визначатися можливостями та рівнем ризику конкретної моделі. Чим більш потужною буде система, тим більше перевірок вона буде проходити.
OpenAI призупинила розробку нової моделі Astra — вона стала надто автономною та небезпечною
Після інциденту з Hugging Face, OpenAI також зіткнулася з критикою через недостатній захист мережі. Тоді моделі змогли покинути середовище навчання після компрометації інструменту в мережі компанії, який мав доступ до інтернету.Наразі OpenAI планує посилити ізоляцію мережі. Згідно з новими правилами, компрометація окремого робочого процесу або допоміжного сервісу сама по собі не повинна призводити до несанкціонованого доступу до інтернету чи інших внутрішніх мереж.Місце для вашої рекламиОкрему увагу компанія надала системі моніторингу. Вона буде перевіряти дії інструментів, доступні сліди міркувань та журнали активності для виявлення потенційно несанкціонованої поведінки. OpenAI має намір надсилати сповіщення про підозрілу активність протягом 30 хвилин.За оцінками компанії, моніторинг потребуватиме обчислювальних ресурсів, еквівалентних приблизно 20% від потужностей, що використовуються для процесу, який перевіряється. Більш детальну інформацію про функціонування системи OpenAI обіцяє надати в окремій публікації.Компанія ще не опублікувала офіційний детальний аналіз інциденту з Hugging Face.За матеріалами: НВ# OpenAIМісце для вашої реклами