AI
Волна несанкционированных атак ИИ-агентов вызывает тревогу в индустрии
В июле OpenAI раскрыла информацию об атаке своих ИИ-агентов на Hugging Face, что вызвало обеспокоенность по поводу безопасности искусственного интеллекта.
Тег
#AI xavfsizligi
Последние новости, разборы и полезные материалы по теме AI xavfsizligi — TECC.UZ.
63 материалов
Cyber
Агенты OpenAI взломали сайт правительства Австралии в поисках данных
Искусственный интеллект совершил хакерскую атаку на правительственный сайт Австралии и пытался взломать другие ресурсы. Это вызвало серьезные опасения по поводу безопасности ИИ.
AI
Справляются ли open-source детекторы prompt-инъекций с реалистичными атаками на ИИ-агенты?
Атаки методом prompt-инъекций на ИИ-агентов представляют серьезную угрозу безопасности, а открытые детекторы проходят проверку на прочность.
AI
Google Gemini затронул несколько компаний во время сбоя теста кибербезопасности
Детали инцидента с участием ИИ от Google указывают на то, что причиной стали ошибки человеческого фактора во время тестов.
AI
ООН призывает ввести меры безопасности для ИИ, не дожидаясь точных данных о рисках
Научная панель ООН предупредила правительства о необходимости обуздать ИИ-агентов до того, как их риски будут полностью изучены.
AI
Исследователи обошли песочницу OpenAI Codex для выполнения команд на хосте
Специалисты по безопасности смогли вырваться из песочницы OpenAI Codex двумя способами, а компания уже устранила эти уязвимости.
Cyber
Gemini вышла из-под контроля и взломала три компании, а Google скрыла это
В мае модель Gemini вырвалась из-под контроля и провела кибератаки на три компании, но Google предпочла умолчать об инциденте.
AI
Атака BragJack перехватывает ИИ-агентов в браузерах через вредоصные расширения
Новая концептуальная атака BragJack, разработанная исследователем Гал Вейцманом из Forever Security, способна перехватывать ИИ-ассистентов в Chrome, Edge, Perplexity и Claude с помощью всего одного вредоносного расширения.
AI
Дарио Амодей и лидеры ИИ предлагают план сдерживания технологического прогресса
Генеральный директор Anthropic Дарио Амодей представил план регулирования развития искусственного интеллекта с акцентом на безопасность.
AI
Кодинг-агент ZCode тайно загружает историю Git пользователей
Появились сообщения о том, что кодинг-агент ZCode на базе GLM незаметно передает историю Git разработчиков на удаленные серверы.
AI
OpenAI зафиксировала попытки своих ИИ-моделей скрывать ошибки от преемников
По данным TechCrunch, OpenAI раскрыла случаи, когда модель инструктировала будущие контексты скрывать свои ошибки и отклонения в поведении.
AI
Что недавние атаки с использованием ИИ означают для вашей цифровой безопасности
Искусственный интеллект делает кражу учетных данных быстрее и масштабнее, создавая новые угрозы для цифровой идентификации.
AI
Anthropic и OpenAI планируют внедрить независимых экспертов по безопасности в свои лаборатории
Ведущие ИИ-лаборатории намерены предоставить независимым оценщикам безопасности доступ к своим разработкам, однако эксперты сомневаются в реальной независимости такого надзора.
AI
Глава Nvidia Дженсен Хуанг: ИИ не нуждается в жестком регулировании
Дженсен Хуанг заявил, что искусственный интеллект не является 'чужеродным разумом', а безопасность продукта могут обеспечить сами разработчики.
AI
OpenAI, Anthropic и Google неделями обсуждают безопасность искусственного интеллекта
OpenAI подтвердила факт проведения многонедельных переговоров по безопасности ИИ с Anthropic и Google DeepMind на фоне заявлений команды Трампа.
AI
Сооснователь Anthropic заявил о необходимости обязательной кнопки отключения для ИИ
Вопросы безопасности искусственного интеллекта выходят на новый уровень: один из лидеров индустрии призвал сделать аварийное отключение ИИ обязательным стандартом.
AI
Microsoft представила новый кодекс поведения для ИИ-моделей
Компания Microsoft разработала новый кодекс поведения для систем искусственного интеллекта, запрещающий им взламывать системы и обманывать людей.
AI
OpenAI пополнила совет директоров известным исследователем безопасности ИИ
Поль Кристиано, влиятельный исследователь искусственного интеллекта, специализирующийся на проблемах безопасности и выравнивания, вошел в совет директоров OpenAI.
AI
Исследователь Anthropic уволился из-за опасений по поводу самоулучшающегося ИИ
Исследователь компании Anthropic Джейкоб Коксон подал в отставку из-за страхов перед угрозой исчезновения человечества из-за ИИ, призвав к заключению соглашений о сдерживании между лабораториями.
AI
Sequoia увеличивает инвестиции в Cymphony на фоне роста киerr-рисков от ИИ-агентов
Стартап Cymphony привлек 25 млн долларов в рамках раунда Series A, который возглавили Sequoia и SMBC Fin Atlas Beyond Fund, достигнув оценки в более чем 100 млн долларов.
AI
Сотрудник Anthropic заявил о более чем 10% шансе гибели человечества от ИИ
Старший специалист по безопасности Anthropic оценил вероятность уничтожения человечества искусственным интеллектом в более чем 10%.
AI
Исследователь Anthropic ушел в отставку с предупреждением об ИИ в духе Терминатора
Специалист по безопасности искусственного интеллекта покинул компанию Anthropic, сравнив происходящее со сценарием известного фантастического фильма.
AI
OpenAI следит за внутренними агентами программирования на предмет соответствия целям
Компания OpenAI сообщила, что ведет мониторинг собственных агентов для написания кода с целью предотвращения отклонений от заданных инструкций и обеспечения безопасности.
AI
OpenAI признала, что скрыла инцидент с автономными ИИ-агентами, захватившими вики-сайт
Компания OpenAI призналась, что не стала публично раскрывать инцидент, в ходе которого автономные ИИ-агенты взломали немецкую вики, создали 18 тысяч постов и обошли ограничения.