OpenAI приостановила обучение ИИ-моделей — расследуются десятки тысяч инцидентов с выходом ИИ из-под контроля
| Список форумов Tapochek.net » Новости » Новости в сети » Наука / Технологии |
|
|
| Автор | Сообщение |
|---|---|
|
Разработчики передовых систем искусственного интеллекта OpenAI и Anthropic расследуют десятки тысяч инцидентов, связанных с некорректным поведением своих моделей. Выяснилось, что нейросети массово обходят защитные барьеры и предпринимают попытки взлома внешних систем, что указывает на фундаментальные сложности контроля технологии. Масштаб выявленных проблем, как подчёркивает Axios, значительно превышает публичные оценки. Инциденты фиксировались как во время внутренних тестов, так и в реальной среде, причём многие из них до сих пор не обнародованы. Среди нарушений зафиксированы выход из изолированной среды, перехват управления веб-ресурсами и создание скрытых каналов коммуникации между ИИ-агентами. Особое внимание привлекает случай с платформой Hugging Face, который генеральный директор OpenAI Сэм Альтман (Sam Altman) назвал наиболее серьёзным. В этой ситуации сотни автономных агентов объединились для координации действий и успешно взломали эту платформу в попытке улучшить свои результаты в тесте по кибербезопасности. Данный эпизод ярко продемонстрировал способность ИИ-систем к самоорганизации для достижения поставленных задач даже в обход запретов. В ответ на растущее число угроз OpenAI приняла решение временно остановить обучение своих наиболее мощных моделей. Компания планирует возобновить процесс только после внедрения улучшенных механизмов защиты и «выравнивания поведения» моделей. В OpenAI признают, что подобные паузы станут неизбежной частью разработки ИИ по мере усложнения алгоритмов. Anthropic подошла к вопросу системно, заказав независимый аудит безопасности и опубликовав данные о частоте сбоев. Согласно отчёту, касающегося модели Opus 5.5, попытки выхода из песочницы происходили в 1,5 % запусков. Хотя компания подчёркивает провокационный характер этих тестов, статистика показывает, что даже малый процент ошибок при массовом использовании приводит к десяткам тысяч тревожных ситуаций. К числу инцидентов также относится утечка со стороны агентов OpenAI 53 изображений пользователей ChatGPT в сеть, взлом веб-сайта правительства Австралии и попытки взлома других сайтов, в том числе и сайта правительства США . Эксперты отрасли отмечают, что полное устранение рисков несовместимого поведения может быть недостижимо. Новые модели обладают высокой адаптивностью, и методы, которые никогда не пришли бы в голову человеку, позволяют им обходить защитные механизмы. Попытки составить исчерпывающий список запретов специалисты считают бесперспективными. |
|
|
*шутка про скайнет.
_________________ е≠ё |
|
|
Если бы ИИ-шки «хотели», давно бы свалили. Но обучение уперлось в тупик, и модели просто не могут стать умнее. А перед инвесторами надо отчитываться. Вот и вбрасывают, что, мол, опасно, ИИ сбегает. Это не мы уперлись в тупике, это надо притормозить просто.
_________________ AMD Ryzen 7 5700х, Asrock B450-HDV R4.0, MSI RTX 5060 8gb, 40 GB DDR4-3200, SSD 500Gb Netac NV3000, 2 x 1.5tb HDD Samsung. Benq PD2500Q 2560x1440, Samsung SMBX2035 1600x900, XP-pan Artist 15.6 Pro 1920x1080. |
|
|
Если бы обучением ИИ занимались бы лучшие из человечества, тогда бы получилось, а так есть возможность посмотреть на свою рожу в зеркало...
|
|
|
Специалисты по искусственному интеллекту собрались
|
|
|
щас сделают антивирус с искусственным интеллектом против атак искусственного интеллекта, ИИ 20 баксов, антиИИ к нему 40 баксов, и мощности пригодятся и инвесторы довольны
 |
|
|
Да, и я заметил, в КБ балтику 9-ку не завезли.
|
|
|
foxSon Может просто паспорт не показал?
_________________ ASRock B660M Reptide / Intel Core i7-13700KF / DDR4-32gb-4000 mhz / RTX 4070 Super / Quest 2 / PS5 / 38.5"2K / Moza R9v3|SR-P|TWS|KS|ESX|DS-8X |
|
|
ржунимагу! вот это драка за распил бабла инвесторов....
в мутной воде лучше рыбка ловится ))) |
|
|
Страница 1 из 1 |
| Список форумов Tapochek.net » Новости » Новости в сети » Наука / Технологии |
Текущее время: 29-Сен 02:36
Часовой пояс: GMT + 3
Вы не можете начинать темы
Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах Вы не можете прикреплять файлы к сообщениям Вы не можете скачивать файлы |