Обсудить на форуме - Помощь проекту

Поделиться в соц сетях

OpenAI создала тренировочную площадку для обучения безопасного ИИ


 

Хотя в области разработки ИИ много внимания сегодня уделяется приобретению сложных навыков, безопасность — то есть умение не причинять вреда — не менее полезное качество, особенно для беспилотных автомобилей.

Компании — разработчики систем машинного зрения, такие как Mobileye или Nvidia — уже предложили свои фреймворки для безопасного и разумного принятия решений. Теперь свое решение представила и OpenAI, некоммерческая калифорнийская организация. Это Safety Gym — набор инструментов для разработки ИИ, тщательно соблюдающего все требования безопасности, и для сравнения алгоритмов между собой для выявления угроз и ошибок.

Safety Gym предназначен для обучения с подкреплением, или ИИ, который постепенно учится чему-то новому методом пряника и кнута. В процессе такого тренинга агенты нередко пробуют совершать рискованные действия, которые в дальнейшем могут привести к ошибкам, пишет Venture Beat.

Для того чтобы этого не случилось, OpenAI предлагает подвид обучения с подкреплением — обучение с ограниченным подкреплением (constrained reinforcement learning), в котором присутствует цена функций, сдерживающая ИИ.

В среде Safety Gym агент движется по ограниченному пространству и всякий раз, выполняя какое-либо небезопасное действие, видит красный свет и подвергается штрафу. Есть несколько уровней сложности, от самых простых до настолько сложных, что современным ИИ они могут оказаться пока не по зубам.

«Мы надеемся, что такие системы, как Safety Gym, упростят разработчикам ИИ сотрудничество в области безопасности ИИ путем создания открытых, общих систем», — говорится на сайте OpenAI.

Открытость ИИ — это принцип, за который OpenAI выступает с момента своего основания. Судя по темпам роста вычислительных мощностей для обучения моделей ИИ, разработка ИИ скоро сосредоточится в руках частных компаний. Государства должны адекватно финансировать эту отрасль, призывают эксперты.


Главные новости дня читайте в zen.yandex.comkomersweb.ru

Похожие записи:

Оставить комментарий

avatar
  Подписаться  
Уведомление о