К сожалению, сайт не работает без включенного JavaScript. Пожалуйста, включите JavaScript в настройках вашего броузера.
Наш канал в Telegram
Самое важное о финансах, инвестициях, бизнесе и технологиях
Подписаться

Новости

Кошмар прогресса: окажутся ли роботы-убийцы под запретом

Фото SOPA Images / Getty Images
Фото SOPA Images / Getty Images
Совсем скоро технологии позволят создать автоматическое оружие, которое сможет выбирать и решать вопрос об уничтожении цели независимо от человека. И пока все спорят, насколько это этично, прогресс неумолимо движется вперед

Пока премьер Дмитрий Медведев и Аркадий Волож катались на беспилотном «Яндекс.Такси» по «Сколково», военные инженеры придумывали, как адаптировать технологии беспилотного транспорта для создания нового оружия.

На самом деле, технологии — не совсем то, чем они кажутся. Проблема всей технологической эволюции в том, что грань между коммерческими роботами «для жизни» и военными роботами-убийцами невероятно тонкая, и перейти ее ничего не стоит. Пока что они выбирают маршрут движения, а завтра смогут сами выбирать, какую цель уничтожить.

Это не первый раз в истории, когда технологический прогресс ставит под вопрос само существование человечества: сначала ученые создали химическое, биологическое и ядерное оружие, теперь — «автономное оружие», то есть роботов. Разница лишь в том, что до сего дня бесчеловечным считалось оружие «массового поражения» — то есть не выбирающее, кого ему убивать. Сегодня перспектива изменилась: куда более безнравственным кажется оружие, которое будет убивать с особой разборчивостью, выбирая жертв на собственный вкус. И если какую-нибудь воинственную державу останавливало то, что, примени она биологическое оружие, пострадают все вокруг, то с роботами все сложнее — их можно запрограммировать на уничтожение конкретной группы объектов.

 

В 1942 году, когда американский писатель Айзек Азимов сформулировал три закона робототехники, все это казалось захватывающим, но совершенно нереалистичным. Эти законы гласили, что робот не может и не должен причинять вред или убивать человека. А еще они должны беспрекословно подчиняться воле человека, кроме тех случаев, когда его приказы будут противоречить вышеизложенному императиву. Теперь, когда автономное оружие стало реальностью и вполне может попасть в руки террористов, оказалось, что программисты как-то забыли заложить в его ПО законы Азимова. А значит, роботы могут представлять опасность, и никакие гуманные законы или принципы не смогут их остановить.

Разработанная Пентагоном ракета сама обнаруживает цели благодаря программному обеспечению, искусственный интеллект (ИИ) идентифицирует мишени для британских военных, а Россия демонстрирует беспилотные танки. На разработку роботизированной и автономной военной техники в различных странах тратятся колоссальные средства, хотя увидеть ее в действии мало кому хочется. Как большинство химиков и биологов не заинтересованы в том, чтобы их открытия в итоге были использованы для создания химического или биологического оружия, так и большинство исследователей ИИ не заинтересованы в создании оружия на его основе, потому что тогда серьезный общественный резонанс повредит их исследовательским программам.

 

В своем выступлении в начале Генеральной Ассамблеи Организации Объединенных Наций в Нью-Йорке 25 сентября Генеральный секретарь Антониу Гутерреш назвал технологию ИИ «глобальным риском» наряду с изменением климата и растущим неравенством доходов: «Давайте называть вещи своими именами, — сказал он. — Перспектива, что машины будут определять, кому жить — отвратительна». Вероятно, Гутерреш — единственный, кто может призвать военные ведомства одуматься: ранее он разбирался с конфликтами в Ливии, Йемене и Сирии и занимал должность Верховного комиссара по делам беженцев.

Проблема в том, что при дальнейшем развитии технологий роботы сами смогут решать, кого убивать. И если у одних стран такие технологии будут, а у других нет, то бескомпромиссные андроиды и дроны предрешат исход потенциальной битвы. Все это противоречит всем законам Азимова одновременно. Алармисты могут всерьез тревожиться о том, что самообучаемая нейросеть выйдет из-под контроля и перебьет не только врага, но и всех людей вообще. Однако перспектива даже вполне послушных машин-убийц совсем не радужна.

Наиболее активная работа в области искусственного интеллекта и машинного обучения на сегодняшний день ведется не в военной, а в гражданской сфере — в университетах и компаниях вроде Google и Facebook. Но большая часть этих технологий может быть адаптирована к военному использованию. Это значит, что потенциальный запрет на исследования в этой области, коснется и гражданских разработок.

 

В начале октября неправительственная американская организация «Кампания «Остановить роботов-убийц» отправила письмо в Организацию Объединенных Наций с требованием ограничить разработку автономного оружия на международном законодательном уровне. ООН дала понять, что поддерживает эту инициативу, а в августе 2017 года к ней присоединились Илон Маск и участники Международной конференции ООН по вопросам использования искусственного интеллекта (IJCAI). Но фактически США и Россия выступают против таких ограничений.

Последняя встреча 70 стран-участниц Конвенции о конкретных видах обычного оружия (о «негуманном» оружии) состоялась в Женеве в августе. Дипломаты не смогли достичь консенсуса относительно того, как глобальная политика в отношении ИИ может быть реализована. Некоторые страны (Аргентина, Австрия, Бразилия, Чили, Китай, Египет и Мексика) высказались в поддержку законодательного запрета разработок роботизированного оружия, Франция и Германия предложили ввести добровольную систему таких ограничений, однако Россия, США, Южная Корея и Израиль заявили, что не собираются ограничивать исследования и разработки, которые ведутся в этой области. В сентябре Федерика Могерини, высокопоставленный представитель Европейского союза по вопросам внешней политики и политики безопасности, заявила, что оружие «влияет на нашу коллективную безопасность», поэтому решение вопроса жизни и смерти должно в любом случае оставаться в руках человека.

Холодная война-2018

Должностные лица американских обороны считают, что автономное оружие необходимо Соединенным Штатам, чтобы сохранить свое военное преимущество перед Китаем и Россией, которые также вкладывают деньги в аналогичные исследования. В феврале 2018 года Дональд Трамп потребовал выделить $686 млрд на оборону страны в следующем финансовом году. Эти расходы всегда были довольно высокими и снижались разве что при предыдущем президенте Бараке Обаме. Однако Трамп — неоригинально — аргументировал необходимость их увеличения технологической конкуренцией с Россией и Китаем. В 2016 году в бюджете Пентагона было заложено $18 млрд на разработку автономного оружия в течение трех лет. Это немного, но тут нужно учесть один очень важный фактор.

Большинство разработок в области ИИ в США ведутся коммерческими компаниями, поэтому они оказываются в широком доступе и могут быть проданы в коммерческих целях другим странам. У Пентагона нет монополии на передовые технологии машинного обучения. Американская оборонная промышленность больше не ведет собственные исследования так, как это делалось во время «холодной войны», а использует наработки стартапов из Кремниевой долины, а также Европы и Азии. В то же время в России и Китае такие исследования находятся под строгим контролем оборонных ведомств, что, с одной стороны, ограничивает приток новых идей и развитие технологий, но, с другой, гарантирует госфинансирование и защиту.

По оценке  экспертов The New York Times, военные расходы на автономные военные машины и беспилотные летательные аппараты превысят $120 млрд в течение следующего десятилетия. Это означает, что дискуссия в конечном счете сводится не к тому, стоит ли создавать автономное оружие, а к тому, какую степень независимости ему дать.

 

Сегодня полностью автономного оружия не существует, но заместитель председателя Объединенного комитета начальников штабов генерал Пол Дж. Сельва из ВВС еще в 2016 году заявил, что через 10 лет Соединенные Штаты получат технологию создания такого оружия, которое сможет самостоятельно решить, кого и когда убивать. И пока страны спорят о том, стоит ли ограничивать ИИ или нет, может стать слишком поздно.

Мы в соцсетях:

Мобильное приложение Forbes Russia на Android

На сайте работает синтез речи

иконка маруси

Рассылка:

Наименование издания: forbes.ru

Cетевое издание «forbes.ru» зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций, регистрационный номер и дата принятия решения о регистрации: серия Эл № ФС77-82431 от 23 декабря 2021 г.

Адрес редакции, издателя: 123022, г. Москва, ул. Звенигородская 2-я, д. 13, стр. 15, эт. 4, пом. X, ком. 1

Адрес редакции: 123022, г. Москва, ул. Звенигородская 2-я, д. 13, стр. 15, эт. 4, пом. X, ком. 1

Главный редактор: Мазурин Николай Дмитриевич

Адрес электронной почты редакции: press-release@forbes.ru

Номер телефона редакции: +7 (495) 565-32-06

На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», находящихся на территории Российской Федерации)

Перепечатка материалов и использование их в любой форме, в том числе и в электронных СМИ, возможны только с письменного разрешения редакции. Товарный знак Forbes является исключительной собственностью Forbes Media Asia Pte. Limited. Все права защищены.
AO «АС Рус Медиа» · 2024
16+