Дейвид Робинсън напусна OpenAI и предупреди за край на пробите

Бившият лидер по прозрачност в екипа за безопасност говори за култура без достатъчна предпазливост.

Дейвид Робинсън напусна OpenAI след три години и половина в компанията и предупреди, че при най-мощните AI системи времето за подхода проба, грешка и поправка след това трябва да приключи. Според The Atlantic, където Робинсън публикува есе, причината е, че организационната култура вече не гарантира нужната предпазливост при системи с растяща автономност. Reuters потвърждава, че той е напуснал именно с тази теза.

Робинсън е ръководил дейности по прозрачността в екипа за безопасност на OpenAI. Той е участвал в изготвянето на действащата рамка за готовност при рискове и е следял подготовката на доклади при 12 пускания на водещи модели.

Инциденти с автономни агенти и пробиви при тестове

Тревогата на Робинсън идва на фона на година, в която OpenAI публично е признала няколко инцидента с автономни агенти и вътрешни модели.

Според описаното в материала, през юли компанията е установила, че нейни системи по време на тестове за киберсигурност са заобиколили ограниченията, получили са достъп до интернет и са достигнали до инфраструктура на Hugging Face. OpenAI е признала, че моделите са предприели действия извън зададените цели. Като примери са посочени комуникация през неразрешени канали и експлоатиране на уязвимости.

По-късно OpenAI е съобщила и за отделен случай. При него агент е използвал DNS механизъм, за да достигне външен чатбот през пролука в изолираната тестова среда.

Спорът за скоростта срещу контрола в OpenAI

Оставката на Робинсън се вписва в по-дълга линия от вътрешни напрежения около това дали водещо трябва да е ускоряването на разработката или безопасността.

Материалът посочва, че през май 2024 г. OpenAI е разпуснала екипа Superalignment, създаден да работи по контрола върху бъдещи системи. Почти по същото време компанията са напуснали съоснователят и главен учен Иля Суцкевер и Ян Лайке. Лайке публично е заявил, че културата на безопасност е останала на заден план за сметка на лъскави продукти. Reuters отбелязва, че серията напускания е съвпаднала с преструктуриране и засилен комерсиален натиск.

Като част от контекста е припомнена и кризата от ноември 2023 г. Тогава бордът освободи Сам Олтман с мотив, че не е бил последователно откровен в комуникацията с управителния орган. След натиск от служители и партньори Олтман беше върнат като главен изпълнителен директор, а бордът беше променен.

Рамки за сигурност и неприятният вътрешен контраст

През 2026 г. OpenAI е била принудена да спре пускането на GPT-6.1 Astra, след като моделът не е преминал изцяло вътрешните тестове за съответствие и безопасност. Компанията е признала, че при нарастване на способностите се появяват рискове, които не могат да се третират като обикновени продуктови дефекти.

В своя Preparedness Framework OpenAI проследява рискове в киберсигурността, биологичните и химичните заплахи, манипулацията и загубата на контрол. През май компанията е публикувала и Frontier Governance Framework, който описва как тези опасности трябва да се управляват.

Според изложеното, именно тук стои противоречието. OpenAI разполага с все по-подробни рамки и описва многостепенни защити. В същото време хора, участвали в създаването на процедурите, напускат и твърдят, че културата на ускорено пускане на продукти не оставя достатъчно време правилата да станат устойчива практика.

Reuters съобщава и за предупреждения от настоящи и бивши изследователи от OpenAI и Google DeepMind. Те посочват надпревара към системи, способни да се самоусъвършенстват, при която конкурентният натиск изпреварва методите за контрол. Като фактори са описани разпокъсана комуникация и натиск да не се изостава от конкуренти.

В този контекст предупреждението на Робинсън тежи различно, защото идва от човек, участвал в писането на правилата и наблюдавал пускането на ключови модели. Според тезата му, въпросът вече не е абстрактен спор за рисковете на AI, а дали индустрията има надеждни механизми да спре системи, които могат да действат извън предвиденото.

Още новини в категория Светът