Нажмите "Нравится" чтобы следить за страницей CultLook
Нажмите "Подписаться", чтобы следить за новостями CultLook
Олег Демидов
Консультант ПИР-Центра, ведущего российского неправительственного исследовательского центра в сфере глобальной безопасности, и член Экспертного совета ПИР-Центра. Эксперт Консультативной исследовательской сети (RAN) при Глобальной комиссии по управлению Интернетом (GCIG)
Олег демидов

МОРАЛЬНЫЙ КОДЕКС ДЛЯ ТЕРМИНАТОРА:
вопросы ответственности в разработке и применении автономных боевых систем


Терминатор:
Через три года Cyberdyne станет крупнейшим поставщиком оборонных компьютерных систем. Все бомбардировщики стелс будут оснащены компьютерами Cyberdyne и станут полностью беспилотными. После этого их показатели выполнения полетных заданий приблизятся к идеальным. Будет принят Акт о финансировании Skynet. Система будет активирована 4 августа 1997 года. Человек будет исключен из принятия решений по вопросам стратегической обороны. Skynet начнет самообучатья в геометрической прогрессии. Он осознает свое существование в 02:14 по Восточному времени, 29 августа. В панике, военные попытаются отключить систему.
Сара Коннор:
Skynet нанесет ответный удар.
Джон коннор:
Почему по России? Разве русские теперь не наши друзья?
Терминатор:
Потому что Skynet знает, что российский контрудар уничтожит его врагов здесь.

1

Апокалиптический сценарий Кэмерона

Четверть века назад Джеймс Кэмерон с завидным даром провидца описал угрозу, которая захватила умы ученых, дипломатов и пионеров частной ИТ-индустрии лишь в последние годы. Речь идет об активном развитии автономных боевых систем – компьютеризованных комплексов вооружений, в которых программное обеспечение начинает заменять функции оператора-человека. А угрозой – точнее, риском – является потеря контроля над отдельными действиями таких систем, а в долгосрочной проекции с поправкой на появление искусственного интеллекта.

В 2013 г. эта тема зазвучала и с высокой трибуны ООН – специальный докладчик Кристоф Хайнс в своем выступлении призвал государства мира к мораторию на разработку и принятие на вооружение боевых автономных роботизированных систем (БАРС) до того, как будут изучены и выявлены последствия их возможного применения с точки зрения прав человека.

Чуть раньше том же году была запущена международная инициатива "Stop Killer Robots!", которая объединила ряд международных научных и правозащитных организаций, включая Amnesty International, Human Rights Watch, а также Пагуошское движение ученых. Движение преследует примерно те же цели, что озвучил спецдокладчик ООН: запрет на разработку и применение смертоносных автомноных систем как негуманного вида оружия, нарушающего международное гуманитарное право.

The Campaign to Stop Killer Robots calls for a pre-emptive and comprehensive ban on the development, production, and use of fully autonomous weapons, also known as lethal autonomous weapons systems or killer robots. This should be achieved through new international law (a treaty), as well as through national laws and other measures.

We are concerned about weapons that operate on their own without meaningful human control. The campaign seeks to prohibit taking the human 'out-of-the-loop' with respect to targeting and attack decisions on the battlefield.

The Campaign to Stop Killer Robots has been established to provide a coordinated civil society response to the multiple challenges that fully autonomous weapons pose to humanity.
Участники первой Пагуошской конференции ученых. Пагуош, Новая Шотландия, Канада, 7 - 10 июля 1957 г.
Наконец, летом 2015 г. к международным чиновникам и правозащитникам присоединилась мировая научная и бизнес-элита. На сайте организации Future of Life Institute было опубликовано открытое письмо, которое подписали более тысячи человек, включая Илона Маска, Стивена Хокинга, Ноама Хомского, Стива Возняка и других интеллектуальных титанов современности. Авторы письма предостерегают правительства и военных от разработки технологий полностью автономных вооружений, которые могут стать реальностью уже в ближайшие годы. Любопытно, что тревогу бьют ведущие авторитеты в сфере искусственного интеллекта, называя умные и независимые от оператора боевые системы «автоматом Калашникова завтрашнего дня». Авторы письма указывают на то, что автономная боевая техника, будучи не в пример дешевле и доступнее для разработки, чем, например, оружие массового уничтожения (ОМУ), может стать инструментом террора, этнических чисток и военной агрессии в руках диктатур, полевых командиров и радикальных группировок.
AUTONOMOUS WEAPONS: AN OPEN LETTER FROM AI & ROBOTICS RESEARCHERS
Текст письма.

This open letter was announced July 28 at the opening of the IJCAI 2015 conference on July 28.
Journalists who wish to see the press release may contact Toby Walsh.
Hosting, signature verification and list management are supported by FLI; for administrative questions about this letter, please contact Max Tegmark.
Из этого информационного потока складывается достаточно мрачная картина – якобы уже в ближайшие годы стоит готовиться к тому, что апокалиптический сценарий Кэмерона об истреблении людей разумными боевыми машинами претворится в жизнь.

2

А что в реальности – убивает ли людей автоматизированная военная техника?

12 октября 2007 г. военные ЮАР проводили полевые испытания компьютеризированного зенитного орудия Эрликон GDF-005, разработанного швейцарской компанией еще в 1980-х гг. 8 установок в ручном режиме вели огонь по обозначенным целям; все шло штатно, пока одну из пушек не заклинило. После отладки техниками установка внезапно перешла в автоматический режим ведения огня, развернула стволы пушек на 90 градусов влево и открыла стрельбу в направлении остальных орудий, заодно убив 9 и ранив 14 военнослужащих ЮАР за считанные секунды.

Звучит зловеще, но в отчете от января 2008 г. по итогам расследования инцидента утверждается, что причиной неполадки стала механика, а не программное обеспечение – точнее, «неизвестный механический дефект, скрытый производителем». Причиной изначального заклинивания орудия якобы стала деформация пружины ударника.
Эрликон GDF-005
Этот пример хорошо отражает реальное положение дел с компьтеризированными боевыми системами – пока что речь в основном идет о комбинации ошибок оператора (или сбоев на уровне механизмов) с ошибками ПО, контролирующего комплексы вооружений. И здесь встает вопрос - а существуют ли действительно автономные боевые системы на самом деле?
Реален ли Терминатор, о котором предостерегают мир гении Кремниевой долины, чиновники ООН и активисты?
Попытка ответить на этот вопрос ведет к другому вопросу фундаментального порядка – что есть автономность?

15-16 марта 2016 г. в швейцарском городке Версуа прошла уже вторая конференция Международного красного креста по автономным боевым системам, в которой участвовали и представители российского ПИР-Центра. Одной из главных задач участников был ответов на вопрос определения БАРС.

Несмотря на то, что новых вопросов в итоге возникло больше чем ответов, итоги обсуждения отражают общее понимание ситуации, складывающееся на сегодня в международном экспертном сообществе:
Statement of the ICRC, read at the Meeting of Experts on Lethal Autonomous Weapons Systems, held in Geneva from 11-16 April.
1
Говоря о боевых роботизированных системах, нужно отделять собственно автономные системы (БАРС, LAWS) от высокоавтоматизированных компьютеризированных систем. Автоматические функции не равны автономности.
Например, современные гражданские воздушные суда используют сложные и продвинутые системы автопилотирования, которые позволяют пилоту не принимать непосредственного участия в обеспечении большинства полетных функций на протяжении самого полета – а в отдельных случаях и при посадке. С рядом оговорок это применимо и к боевым самолетам с бортовой электроникой последних поколений.
Boeing Sonic Cruiser
Трансзвуковой самолёт, разработку которого начала компания Boeing в конце 1990-х. Отличительной особенностью его была высокая крейсерская скорость, составляющая около 0,95—0,99 Махов (1100км/ч). Предполагалось, что новый лайнер сможет перевозить 200—250 пассажиров на расстояние 11—16 тыс. км и сможет летать на 15—20 % быстрее нынешних самолётов. Boeing объявил о начале разработки в 2001 году.
Но автономным воздушное судно как система от этого не становится – критические функции (взлет, изменение курса и высоты, контроль посадки, реагировагие на внештатные обстоятельства и проч.) по-прежнему выполняет человек, пилот, при помощи экипажа. Кроме того, практически любые автоматические параметры могут быть в любой момент переведены под ручное управление.

Опускаясь к более простому примеру, промышленный автомат, собирающий автомобили на фабрике, иллюстрирует различие еще более четко: он способен выполнять ряд действий без участия человека, но только при соответствующих внешних условиях, только в заданном ему режиме, который он не может менять самостоятельно – и, наконец, сам перечень его функций задан производителем (или/и оператором) и конструкцией и жестко ограничен.
Таким же автоматом по сути являются и некоторые используемые системы вооружений, способных действовать без прямого вмешательства человека – например, автоматическая пулеметная турель Samsung SGR-A1, используемая Республикой Корея для охраны демилитаризованной зоны на границе с КНДР.

Установка, оснащенная датчиками оптического, инфракрасного спектра и проч., способна в автоматическом режиме выявлять цель (нарушителя границы) и вести огонь. Но автономной она от этого не становится, т.к. не имеет системы распознавания «свой-чужой», не имеет системы обратной связи и получения данных извне для оценки ситуации, и не может менять свои функции в меняющейся обстановке (например, при заключении мирного договора и упразднении демилитаризованной зоны). В этом и состоит принципиальное различие между автоматом и интеллектуальной системой: автомат не способен адаптироваться к меняющейся среде и условиям, это просто механизм, заточенный под выполнение одного и того же набора функций.
2
При этом и понятие автономности неоднозначно и имеет несколько градаций применительно к боевым системам. Единой классификации пока не сложилось, но основной критерий – место оператора-человека в петле управления работой системы (loop). С этой точки зрения, существуют следующие варианты уровней автономности:
а
Уровень 0: Полностью управляемые человеком боевые системы (Fully human operated systems). Такие системы не являются ни автономными, ни даже полностью автоматизированными, и выполняют свои функции с дистанционным контролем оператора.

Чтобы понять, насколько такая технология не нова и далека от идеи Терминатора, достаточно упомянуть, что еще в 1930 г. СССР разработал на базе французского «Рено» и испытал танк ТТ-18 с управлением по радиоканалу через шестнадцатикомандную аппаратуру Остехбюро. В общем, игрушечные танки с проводным пультом управления из «Детского мира» конца 1980-х гг. мало чем от него отличаются. Как и сегодняшние гражданские коптеры. Современные дистанционно управляемые боевые системы куда сложнее, эффективнее и смертоноснее, но принцип их работы все тот же.
танк ТТ-18 с управлением по радиоканалу через шестнадцатикомандную аппаратуру
Дополнительно:
б
Уровень 1: Полуавтономные боевые системы (Semi-autonomous systems), работающие по принципу «оператор в петле управления» (man-in-the-loop). Этот класс боевых систем как раз в наибольшей степени отражает сегодняшнее состояние развития военной техники. Яркий пример полуавтономной системы – ударные беспилотники (например, американский Reaper MQ9, бомбящий талибов в Пакистане и Афганистане).

Такие системы обладают рядом автономных функций: например, самостоятельно осуществляют полет с учетом специфики местности и погодных условий, ведут видеонаблюдение поверхности, способны возвращаться на заданные координаты базирования в случае потери связи с оператором или иной внештатной ситуации. Но те или иные критические функции в полуавтономных системах выполняет лишь оператор через системы дистанционного управления. Только человек может отдать Reaper'у команду на огневое поражение наземной цели. Ну и улететь с базы самостоятельно, без приказа, построив себе маршрут и задание, ударный беспилотник не может. Вкратце формула полуавтономных систем такова: «рутинные» функции доверены компьютеру, способному получать извне новые данные, обрабатывать их и подстраивать под них свои действия, а контроль над критическими функциями осуществляет человек.
Ударный беспилотник Reaper MQ9
в
Уровень 2: Полностью автономные системы (Fully autonomous systems) – комплексы, в которых реализован принцип «оператор вне петли контроля» ("man out-of-the-loop"). Это и есть Терминатор. Теоретически, однажды созданная и активированная, такая система способна действовать полностью самостоятельно, решая обширный спектр задач с учетом меняющейся внешней среды и поступающих от ее собственных детекторов новых данных.

Что важно на практике, полностью автономная система сама выполняет критические функции, и прежде всего – функцию атаки, огня по цели. В конечном счете именно возможность автономного выполнения этой функции и определяет БАРС как предмет всей глобальной дискуссии, которая возникла вокруг них за последние годы. Возник специальный термин – автономные боевые системы с критической функцией (AWS with critical function).
Fully autonomous weapons are weapon systems that can select and fire upon targets on their own, without any human intervention. Fully autonomous weapons can be enabled to assess the situational context on a battlefield and to decide on the required attack according to the processed information.
Хотите читать больше?
Подпишитесь на новости CultLook чтобы быть в курсе последних событий, материалов и возможностей!
Возвращаясь к вопросу о реальности Терминатора: на сегодняшний день нет данных о том, чтобы где-либо в мире была создана и принята на вооружение интеллектуальная боевая система с самостоятельной огневой функцией.

3

Делегирование решений

уже в горизонте 10 лет ситуация может измениться: в ряде стран такие системы находятся в стадии разработки. Прежде всего речь идет о различных проектах ударных беспилотников. В Великобритании ведется работа над проектом многоцелевого беспилотникаTaranis, который будет способен решать различные боевые задачи в полностью автономном режиме. Израильский ударный беспилотник Harpy, управляется оператором, однако несет на себе ракетное вооружение, способное захватывать и поражать цель (например, радарные установки) самостоятельно. Возможность создания полностью автономных ударных беспилотников прорабатывается и американскими военными – правда, пока окончательное решение по данному вопросу не принято. «Делегирование машине права принимать смертоносные решения в бою зависит от того, как военные и политические лидеры разрешат соответствующие правовые и этические вопросы», – отмечается в документе «Беспилотные летательные системы, план на 2009-2047 гг.» ВВС США . При этом развитие беспилотных воздушных систем с высокой степенью автономности, но без критических функций в США идет полным ходом. В 2013 г. успешную посадку на борт авианосца в автономном режиме совершил перспективный образец беспилотника X-47B.
Помимо беспилотников, достаточно перспективная ниша для появление БАРС в ближайшем будущем – подводные боевые ракетные и торпедные системы. Технологии в этой сфере развиваются давно, хотя существующие системы едва выходят за рамки высокоавтоматизированных, и в основном ограничиваются функцией распознания цели по определенным типам сигналов и самонаведению.

Таков принцип действия американской морской мины Mark 60 Captor (Кэптор). Мина представляет собой контейнер с торпедой, якорем, а также вычислительной и акустической аппаратурой, необходимой для обнаружения цели, ее захвата и поражения. После сброса мина устанавливается около грунта и переходит в режим выжидания-поиска цели.
В общем-то, речь идет о довольно простом автомате, но сегодняшние возможности создания «умного» ПО и нового поколения датчиков для таких устройств открывают перспективу превращения их в полноценные БАРС.
Много споров ведется о том, подпадают ли под понятие автономных боевых систем существующие и перспективные комплексы ПВО и ПРО. Одна из причин – особенность цикла принятия решений для таких систем, который во многих случаях слишком скоротечен, чтобы допустить возможность ручного контроля со стороны оператора. Так, последние поколения систем перехвата воздушных целей, в том числе ракет малой и средней дальности (израильский «Железный купол» (Iron Dome), российская С-400 «Триумф», а также американские THAAD и различные системы перехвата ракетных, артиллерийских и пушечных целей (C-RAM)) должны за доли секунды просчитывать траекторию цели, двигающейся на высокой – вплоть до сверхзвуковой – скорости и принимать решение о ее перехвате. С учетом активного инвестирования Китаем, Россией и США в гиперзвуковые технологии (до 6-8 и более числе Маха), перспективное поколение систем ПРО должно будет принимать решения еще быстрее. В этих условиях оператор попросту не способен контролировать процесс принятия решения об открытии огня в силу того, что человеческой реакции физически ограничена.


4

Где начинается и заканчивается ответственность?

Парадоксально, но в этой ситуации идея Skynet как автономного ИИ, который взял над собой контроль над принятием стратегических оборонных решений, не так уж далека от действительности. Сегодня системы ПВО объединены в многоуровневые эшелоны, которые должны закрывать от возможных угроз весь периметр национальной территории. Связь, обмен данными и управление такими комплексными и территориально распределенными системами обеспечивается через защищенные радиоканалы и компьютерные сети, которые с каждой модернизацией становятся все «умнее». В военный язык и обиход прочно входят понятия облачных вычислений, роевых структур, военных Больших данных (Big Data), структура управления системами вооружений усложняется, приобретает каскадный и сетецентричный характер. И уже сам по себе этот процесс двигает управление сложными боевыми системами в сторону делегирования все большего числа функций компьютерам, чьи ресурсы и мощности неизмеримо превосходят человеческие возможности.

«Война стала слишком сложна для человека» – вот отправная точка событий известного антиутопического рассказа Харлана Эллисона от 1967 г., в котором три суперкомпьютера противоборствующих держав (Китая, СССР и США), управляющие ядерными арсеналами, объединились чтобы навсегда уничтожить человечество.
В сфере ПРО и ПВО мы понемногу приближаемся к состоянию сложности контроля, продолжая технологическую гонку и создавая оружие, защитить от которого нас могут только аналогичные системы, способные принимать ресурсоемкие решения за доли секунды. Даже если сбросить со счетов реальный ИИ, создание которого может затянуться на многие десятилетия, остается фактор ошибок. Боевая техника тоже может ошибаться, как показывает пример относительно примитивного Эрликона – а ведь такие системы как С-400 или Железный купол сложнее на многие порядки. Были случаи, когда THAAD и другие системы опознавали дружественные воздушные цели как враждебные – правда, до реальных инцидентов дело пока не дошло.
Где начинается и заканчивается ответственность операторов, производителей, военного командования и международного сообщества за разработку и принятие на вооружение БАРС? Пока этот вопрос также относится к категории нерешенных, но за последние несколько лет в рамках различных форумов, экспертных и межправительственных площадок выделился ряд направлений и мыслей для его дальнейшей проработки. Их мы и изложим вместо вывода к статье:
Ответственность военных и всего международного сообщества в смысле соблюдения международного гуманитарного права при использовании БАРС и их принятии на вооружение. Обсуждается целый ряд проблем: отвечают ли роботизированные системы без контроля со стороны оператора принципам гуманности и пропорциональности? Способны ли они будут отличить легитимные цели от нелегитимных и комбатантов от нон-комбатантов на поле боя? Конкретно, непонятно, как обеспечить соблюдение Статьи 48 Дополнительного протокола I к Женевским конвенциям 1949 г. в конфликтах с использованием БАРС. Не больше ясности и по вопросу о соблюдении роботами Статьи 51 (5) того же Доппротокола, которая запрещает атаки, способные нанести урон гражданским лицам или избыточные для достижения военных целей.
На сегодня очевидно одно – ведущие военные державы и оборонные компании не пойдут на радикальный запрет боевых автономных систем. Компьютеризация и автоматизация вооружений – магистральная, неоспоримая тенденция развития современных оборонных технологий, и обратить ее вспять невозможно, даже апеллируя к международным нормам и Женевским конвенциям. Реалистично отстаивать лишь определенные ограничения на инженерные принципы разработки автономных систем с критическими функциями и оперативно-тактические правила их применения.
Из гипотетических преимуществ автономных систем перед солдатами следует отметить любопытный довод, который приводил в своем выступлении спецдокладчик ООН Кристоф Хайнс: роботы не способны ни пытать, ни насиловать людей. Таким образом, отсутствие у БАРС этических критериев и параметров имеет две стороны: оно одновременно чревато избыточными жертвами и непропорциональными действиями на поле боя, и в то же время может помочь избежать гуманитарной катастрофы, которая часто сопутствует вооруженным конфликтам, сопровождаемым пытками, изнасилованиями и мародерством.
Ответственность политических и военных лидеров за управление рисками эскалации международных конфликтов и подрыва международной стабильности в результате инцидентов с БАРС. Речь не обязательно идет о том, как предотвратить создание Skynet и последующее начало глобальной ядерной войны зловещим искусственным интеллектом, реальность одновременно прозаичнее и страшнее. Для того, чтобы спровоцировать машстабный кризис и поставить человечество на грань глобального конфликта, может оказаться достаточно банальной ошибки, сбоя ПО в сложных автономных комплексах.
Наиболее очевидный пример – система ПВО в результате программной ошибки ложно распознает как цель и сбивает дипломатический борт с представителями руководства зарубежного государства, которые прибыли для срочных переговоров по урегулированию политических разногласий и снятию санкций. А если сбой будет каскадным и весь эшелон ПВО определенной модели начнет сбивать гражданские суда в воздушном пространстве страны? Вот и грань ядерной войны безо всякого Skynet. В этом смысле не стоит сбрасывать со счетов и риски перехвата доступа к системам связи и каналам управления БАРС со стороны хакеров, которые преследуют ту или иную цель. В 2015 г. в СМИ уже тиражировались сообщения о взломе немецкой батареи комплексов Patriot вблизи турецкой границы, и это в разгар гражданской войны в Сирии и масштабного кризиса на Ближнем Востоке. Сообщения не подтвердились, но это не значит, что такая ситуация в принципе невозможна. Как и любой процесс, война, в том случае если становится слишком сложной для человека, с какого-то момента начинает развиваться уже независимо от его решений и контроля.
'Hackers' Give Orders to German Missile Battery
German-owned Patriot missiles stationed in Turkey were briefly taken over by hackers, according to media reports on Tuesday.
Read more: http://www.defencetalk.com/hackers-give-orders-to-german-missile-battery-64835/#ixzz47aBPzPH5
Ответственность разработчиков и инженеров ПО для БАРС. Пожалуй, это самая малоосвещенная и «экзотическая» сторона ответственности в вопросе об автономных системах вооружений. Главный парадокс состоит в том, что даже для полностью автономных, самообучаемых систем исходные алгоритмы и «мозги» пишет человек. Даже современное направление машинной разработки ПО не устраняет этот парадокс, т.к. в конце цепочки все равно стоит человек – демиург-создатель исходного кода.
Именно разработчики ПО определяют, что за система будет создана в итоге и каков будет статус оператора относительно петли управления. Как заложить в программу предел на самообучаемость системы, как гарантировать надежную работу систем распознания «друг-враг» на уровне алгоритмов? Как оставить оператору надежную программную лазейку для перехвата контроля над критической функцией системы в любых условиях? Наконец, как защитить БАРС от несанкционированного перехвата?

5
***
«По соседству» с миром софтверных инженеров и разработчиков ОПК расположен другой мир: мир разработки технических стандартов и протоколов для глобального Интернета. Движение этому миру задает странная неформальная структура, известная как Рабочая группа по проектированию Интернет (IETF), объединяющая ведущих сетевых инженеров. Они стояли у истоков Сети 20-30 лет назад и определяют развитие ее стандартизации сегодня. У рабочего процесса IETF есть два ключевых критерия-правила, которыми направляется их деятельность: Рабочий код и приблизительный консенсус. Идеальный технократичный минимализм, позволивший создать Интернет – величайшую и сложнейшую техногенную систему в истории.

Штука в том, что для решения вызовов, связанных с развитием автономной робототехники, этих минималистичных принципов может быть недостаточно. С учетом международно-правовых углов темы БАРС разработчики рано или поздно будут вынуждены соприкоснуться с совершенно чуждым для них миром правовых и этических ограничений, норм и запретов как части ПО и кода. Эта «встреча двух миров» еще не произошла – на мероприятиях по БАРС и в ООН, и в МККК не хватает именно их: разработчиков, которые пишут код для Терминаторов. Поэтому на краткосрочную перспективу полезным начинанием будет попытка сблизить эти два мира – возможно, в итоге некий общий язык между международным правом и рабочим кодом будет найден раньше, чем Skynet осознает себя.

The Internet Engineering Task Force (IETF) has responsibility for developing and reviewing specifications intended as Internet Standards. IETF activities are organized into working groups (WGs). This document describes the guidelines and procedures for formation and operation of IETF working groups. It also describes the formal relationship between IETF participants WG and the Internet Engineering Steering Group (IESG) and the basic duties of IETF participants, including WG Chairs, WG participants, and IETF Area Directors.