Почему так опасны роботы-убийцы?

Роботы-убийцы? Остановитесь, даже хорошие роботы непредсказуемы до ужаса

Руководители более сотни ведущих мировых компаний в области искусственного интеллекта очень обеспокоены развитием «роботов-убийц».

В открытом письме ООН эти бизнес-лидеры, включая Илона Маска из Tesla и основателей гугловской DeepMind – предупредили, что использование технологий автономного оружия может быть принято террористами и деспотами, либо в той или иной степени подвергнется взлому.

Но реальная угроза намного серьезнее – и дело не только в человеческих проступках, но и в машинных. Исследование сложных систем показывает, что они могут вести себя гораздо более непредсказуемо, чем можно сделать вывод из суммы отдельных действий.

Обратите внимание

С одной стороны это означает, что человеческое общество может вести себя совершенно по-другому, чем вы могли ожидать, изучая поведение индивидов. С другой стороны, это применимо и к технологиям.

Даже экосистемы простых программ искусственного интеллекта – которые мы называем тупыми, хорошими ботами – могут удивлять нас. Даже отдельные боты могут вести себя кошмарно.

Отдельные элементы, составляющие сложные системы, такие как экономические рынки или глобальную погоду, имеют тенденцию не взаимодействовать простым линейным способом. Это делает эти системы очень трудными для моделирования и понимания.

Например, даже после многолетних исследований климата невозможно спрогнозировать долгосрочное поведение погоды. Эти системы настолько чувствительны к мельчайшим изменениям, насколько взрывоопасно на них реагируют. Очень сложно узнать точное состояние такой системы в отдельно взятый момент.

Все это делает эти системы внутренне непредсказуемыми.

Все эти принципы применимы к большим группам людей, действующим по-своему, будь то человеческие общества или группы ботов с искусственным интеллектом. Недавно ученые изучали один из типов сложной системы, в которой хорошие боты использовались для автоматического редактирования статей на Википедии.

Эти самые разные боты разработаны, написаны и используются доверенными редакторами Википедии, а их базовое программное обеспечение с открытым исходным кодом и доступно для всех. По отдельности они имеют общую цель – улучшать энциклопедию.

Однако их коллективное поведение оказалось на удивление неэффективным.

В основе работы этих ботов с Википедии лежат хорошо установленные правила и условности, но поскольку у веб-сайта нет центральной системы управления, нет и эффективной координации между людьми, управляющими разными ботами. В результаты обнаружились пары ботов, которые несколько лет отменяли правки друг друга и никто не замечал. И, конечно, поскольку эти боты никак не учатся, они тоже не заметили.

Эти боты предназначены для ускорения процесса редактирования. Но небольшие различия в дизайне ботов или между людьми, которые их используют, могут привести к массовой трате ресурсов в продолжающейся «войне за редактирование», которая была бы разрешена гораздо быстрее с помощью редакторов.

Важно

Исследователи также обнаружили, что боты вели себя по-разному в разных языковых версиях Википедии. Правила, казалось бы, практически одинаковы, цели идентичны, технологии похожи.

Но в немецкоязычной Википедии сотрудничество ботов было намного более эффективным и продуктивным, чем, например, в португальской.

Это можно объяснить только различиями между редакторами-людьми, которые руководили этими ботами в разных средах.

Экспоненциальная путаница

Боты с Википедии не обладают широкой автономией и система уже работает не в соответствии с целями отдельных ботов. Но Wikimedia Foundation планирует использовать ИИ, которые будут давать больше автономии этим ботам. И это, вероятнее всего, приведет к еще более непредсказуемому поведению.

Хороший пример того, что может случиться, продемонстрировали боты, созданные для разговоров с людьми, когда их заставили общаться между собой. Мы уже не удивляемся ответам персональных ассистентов вроде Siri. Но заставьте их общаться между собой и они быстро начнут вести себя неожиданным образом, спорить и даже оскорблять друг друга.

Чем больше становится система и чем более автономным становится каждый бот, тем более сложным и непредсказуемым будет будущее поведение этой системы. Википедия – это пример работы большого числа относительно простых ботов.

Пример с чат-ботами – это пример небольшого числа относительно сложных и изобретательных ботов – в обеих случаях возникают непредвиденные конфликты. Сложность и, следовательно, непредсказуемость растут экспоненциально по мере добавления в систему индивидуальности.

Поэтому, когда в будущем появятся системы с большим количеством очень сложных роботов, непредсказуемость их выйдет за пределы нашего воображения.

Полыхающее безумие

Самоуправляемы автомобили, например, обещают осуществить прорыв в эффективности и безопасности дорожного движения. Но мы еще не знаем, что произойдет, когда у нас будет большая дикая система полностью автономных автомобилей.

Они могут вести себя по-разному даже в пределах небольшого флота индивидуальных автомобилей в контролируемой среде.

И еще более непредсказуемое поведение может проявиться, когда самоуправляемые автомобили, «обученные» разными людьми в разных местах, начнут взаимодействовать между собой.

Люди могут адаптироваться к новым правилам и соглашениям относительно быстро, но при этом с трудом переключаются между системами. Искусственным агентам может быть еще сложнее.

Например, если «обученный в Германии» автомобиль поедет, например, в Италию, мы не знаем, как он освоит неписаные культурные соглашения, которым следуют многие другие «обученные в Италии» автомобили.

Нечто обыденное вроде пересечения перекрестка может стать смертельно рискованным, потому что мы просто не знаем, будут ли машины взаимодействовать, как положено, либо начнут вести себя непредсказуемо.

Совет

А теперь подумайте о роботах-убийцах, которые беспокоят Маска и его коллег. Один робот-убийца может быть очень опасен не в тех руках. А система непредсказуемых роботов-убийц? Думайте сами.

Почему не стоит бояться роботов-убийц

Кадр из фильма Slaughterbots, в котором в антиутопическом будущем автономные дроны-убийцы попадают в руки террористов

Дроны-убийцы, попавшие в руки террористов, устраивают резню невинных людей. Роботизированное оружие массового уничтожения сеет хаос и страх. Короткометражка, созданная сторонниками запретов автономного вооружения, создана, чтобы заставить вас поверить в то, что эта антиутопия уже совсем близко, и что надо принимать меры уже сегодня.

Фильм Slaughterbots [Резнеботы] вышел в ноябре 2017, одновременно с конференцией ООН по автономным вооружениям. Встреча ООН не закончилась ничем конкретным, но видео набирает популярность. Его уже просмотрело более 2 млн человек и оно попало в десятки статей. В качестве пропаганды оно работает идеально.

А с убеждением принять запрета на автономное вооружение оно совершенно не справляется.

Конечно, мир, в котором террористы могут напустить рой дронов-убийц на невинных людей, был бы ужасен, но реалистично ли будущее, показанное в фильме? Красивая картинка помогает скрыть пробелы в логике. Фильм погружает зрителя в антиутопический кошмар, но давайте скажем прямо: это всё научная фантастика.

Главное предположение фильма состоит в том, что в будущем военные создадут автономные микродроны с , способные подлететь к голове человека и активировать взрывчатку, тем самым убивая его. В фильме эти боты-убийцы быстро попадают в руки террористов, что приводит к массовому количеству смертей по всему миру.

Главная концепция имеет основу в реальности. В нашем мире Исламское государство [запрещённая в РФ террористическая организация] использовало готовые покупные квадрокоптеры, оборудованные небольшим количеством взрывчатки, для атаки иракских войск, в результате чего погибло и было ранено несколько десятков солдат.

Сегодняшние дроны у террористов в основном управляются дистанционно, но любительские дроны приобретают всё больше самостоятельности. Последние модели уже умеют долететь до фиксированной цели самостоятельно, огибая препятствия, а также самостоятельно отслеживать и следовать за движущимися объектами.

Обратите внимание

Небольшой дрон, оборудованный системой распознавания лиц, в принципе можно использовать для автономного поиска и уничтожения определённых людей, как это показывает кино Slaughterbots. Всего за несколько минут поиска в интернете я нашёл ресурсы, где можно скачать и натренировать бесплатную нейросеть, которая будет распознавать лица.

И хотя пока ещё никто не совмещал эти технологии, как показано в кино, все компоненты уже реальны.

Но я хочу сделать заявление: мы никак не сможем помешать этой технологии попасть в руки будущих террористов. Это грустно, но это необходимо понять.

Точно так же, как террористы могут и используют автомобили для тарана толп людей, технология, необходимую для превращения любительских дронов в грубое автономное оружие, уже слишком распространена для того, чтобы её можно было остановить.

Это проблема, и лучшей реакцией на неё будет сконцентрироваться на защитных мерах, позволяющих противостоять дронам и ловить террористов при помощи систем наблюдения. “

Фильм использует эту проблему, но раздувает её сверх меры, утверждая, что дроны могут быть использованы террористами как оружие массового поражения, и убивать людей тысячами.

К счастью, этот кошмарный сценарий настолько же вероятен, как HAL 9000, блокирующий вам вход в шлюз. Показанные в видео технологии реалистичны, но всё остальное — это полная чушь.

В видео делаются следующие предположения:

• Правительства запустят массовое производство микродронов для использования их в качестве оружия массового поражения.
• Против смертельных микродронов не существует эффективной защиты.
• Правительства неспособны защитить оружие армейского уровня от террористов.
• Террористы способны запускать крупномасштабные координированные атаки.

Эти предположения разнятся от спорных до фантастических.

Конечно, само видео — выдумка, а люди, отвечающие за разработку оборону, часто используют выдуманные сценарии, чтобы помочь политикам продумать последствия вероятных событий. Я — аналитик оборонки, работающий в мозговом центре, а на предыдущей работе в Пентагоне я занимался стратегическим планированием.

И я использовал вымышленные сценарии, чтобы проиллюстрировать выбор военных технологий, в которые военным США следует вкладываться. Но чтобы эти сценарии были полезными, они должны быть хотя бы вероятными. Это должно быть что-то, что может случиться.

Сценарий, использованный в фильме Slaughterbots, неспособен учесть политическую и стратегическую реальность использования военных технологий правительством.

Важно

Во-первых, нет никаких свидетельств того, что правительства планируют массовое производство мелких дронов для убийства гражданских лиц в больших количествах.

В моей готовящейся книге Army of None: Autonomous Weapons and the Future of War [Армия из никого: автономные вооружения и будущее войн], я исследую оружие будущих поколений, строящееся в оборонных лабораториях всего мира.

Россия, Китай и США все соревнуются в гонке по автономности и искусственному интеллекту. Но они создают оружие, по большей части направленное на сражение с военными силами.

Это оружие, направленное на поражение военных целей [counterforce], а не на поражение других активов, к которым причисляются и гражданские лица [countervalue]. У автономного оружия первого типа, конечно, есть свои проблемы, но оно не разрабатывается с целью массового уничтожения мирного населения, и его нельзя перенастроить на такое использование.

Во-вторых, в видео говорится о дронах, способных преодолеть любые «противодействия». Телевизионные эксперты кричат, что «мы не можем защитить сами себя». Это даже не выдумка, а фарс.

Для каждой военной технологии существует противодействие, а противодействие мелким дронам даже нельзя назвать гипотетическим. Правительство США активно разрабатывает способы отстрела, глушения, поджаривания, взлома, отлова и других методов противодействия мелким дронам.

Микродронам на видео можно успешно противостоять чем-то настолько простым, как проволочная сетка. На видео показаны тяжёлые дроны, пробивающие дыры в стенах, через которые проникают другие — но против этого может помочь простейшая многослойная защита.

Военные аналитики смотрят на соотношение цены защиты и нападения, и в этом случае преимущество явно на стороне статической защиты.

В мире, где террористы периодически осуществляют нападения при помощи самодельных дронов, люди вряд ли будут мириться с неудобством создания надёжных оборонительных сооружений, точно так же, как люди не носят бронежилеты для защиты от маловероятного попадания под пули стрелка.

Но если недружественная страна построит сотни тысяч дронов, способных стереть с лица земли город, можете быть уверены, что без сеток дело не обойдётся. Видео берёт реальную проблему: террористы, нападающие при помощи дронов — и масштабирует её без учёта реакции других сторон.

Если бы началось производство смертельных микродронов в промышленных масштабах, защита и контрмеры против них стали бы государственным приоритетом, и в этом случае противодействия были бы простыми.

Совет

А любое оружие, от которого можно защититься проволочной сеткой, оружием массового поражения не считается.

В-третьих, видео подразумевает, что военные неспособны предотвратить получение террористами доступа к вооружению армейского уровня. Но сегодня мы не даём террористам ручные гранаты, противотанковые ружья или пулемёты [правда, это утверждение опровергает даже последний биопик с Томом Крузом в главной роли / прим. перев.].

Террористы, нападающие при помощи дронов, волнуют всех потому, что они используют самодельную взрывчатку, приделанную к готовой технологии. Это реальная проблема, но опять-таки, видеоролик масштабирует эту угрозу до нереалистичных объёмов.

Даже если бы военные и начали делать смертельные микродроны, террористы смогли бы получить большое их количество не легче, чем любые другие военные технологии.

Оружие действительно постепенно попадает в руки участников военных действий, воюющих не с той стороны, но только оттого, что в Сирии полно противотанковых самонаводящихся ракет, не значит, что их легко встретить в Нью-Йорке. Террористы используют самолёты и грузовики именно потому, что успешно провезти контрабандой оружие армейского типа в западную страну не так-то просто.

Микродроны-убийцы из фильма

В-четвёртых, в видео предполагается, что террористы способны осуществлять нападение с невероятно точной координацией. В одном эпизоде два человека выпускают рой из 50 дронов из дверей фургона.

Этот эпизод сам по себе довольно реалистичен; одна из проблем автономного оружия состоит в том, что небольшая группа людей может запустить атаку большего масштаба, чем если бы у них было обычное оружие. Фургон с 50 дронами — достаточно разумная возможность. Но фильм доводит идею до абсурда.

Утверждается, что в одновременных атаках было убито порядка 8300 человек. Тогда, если люди с фургоном изображают типичную атаку, то для такого урона террористам надо было бы провести порядка 160 атак по всему миру.

Обратите внимание

Террористы действительно часто выполняют координированные нападения, но их количество обычно не превышает десяти. А в видео предполагается не только наличие сверхоружия, но и то, что оно попало в руки к сверхзлодеям.

В фильме шумиха и страх используются для преодоления критических предположений, в результате чего он мешает рациональному обсуждению рисков, связанных с доступом террористов к автономному вооружению. Из видео становится ясно, что мы должны бояться.

Но чего бояться? Оружия, выбирающего свои цели самостоятельно (по поводу этого, кстати, в видео не всё понятно)? Оружия без средств противодействия? Того, что террористы могут заполучить в свои руки оружие? Возможностей автономного оружия по увеличению масштаба атак? Если вы хотите вызвать страх перед роботами-убийцами, то это видео вам подойдёт.

Но при попытке тщательного анализа проблемы оно не выдерживает даже простейшего изучения. Видео не даёт какие-то аргументы, а занимается созданием дешёвых сенсаций и нагнетанием страха.

Естественно, целью видео является побудить зрителей к действиям при помощи страха.
Видео оканчивается словами профессора из Калифорнийского университета в Беркли, Стюарта Рассела, предупреждающего об опасностях автономного оружия и призывающего зрителя действовать с тем, чтобы этот кошмар не стал реальностью.

Я чрезвычайно уважаю Стюарта Рассела, как исследователя в области ИИ, так и человека, вносящего вклад в споры по автономному вооружению. Я приглашал Рассела на мероприятия в Центре новой Американской безопасности, где я занимаюсь исследовательской программой, связанной с ИИ и всемирной безопасностью. Не сомневаюсь, что взгляды Рассела искренни.

Но видео в попытке убедить зрителя делает ничем не подкреплённые приложения.

Что ещё хуже, предлагаемое решение — договор о запрете автономного оружия — не решит реальные проблемы, встающие перед человечеством с развитием автономности у оружия. Запрет не остановит террористов от изготовления самодельных роботизированных вооружений.

Важно

Также запрет на такое оружие, которое продемонстрировано в ролике, никак не повлияет на риски, связанные с появлением автономного вооружения у военных.

На самом деле, даже непонятно, попадёт ли под подобный запрет оружие, показанное в фильме, потому что там оно действует очень выборочно.

Концентрируясь на крайних и маловероятных сценариях, фильм на самом деле мешает прогрессу в рассмотрении реальных проблем, связанных с автономным оружием.

Государства, находящиеся среди лидеров разработки роботизированного оружия, скорее всего, отметут страхи, основанные на этом фильме.

Фильм льёт воду на мельницу тех, кто утверждает, будто страх перед автономным вооружением иррационален и подвержен излишней шумихе.

Автономное оружие поднимает важные вопросы о подчинении законам войны, о риске и контролируемости, и о моральной роли людей в военных действиях. Это важные проблемы, достойные серьёзного обсуждения.

Когда Рассел и другие включаются в оживлённые дебаты по этим вопросам, я приветствую такую дискуссию. Но указанный фильм не попадает в эту категорию.

Видео успешно завладело вниманием СМИ, но его склонность к сенсациям мешает серьёзным интеллектуальным обсуждениям, которые необходимо проводить по теме автономного вооружения.

Пол Шарр — старший научный сотрудник, директор программы по технологиям и государственной безопасности в Центре новой американской безопасности (CNAS). С 2009 по 2012 руководил рабочей группой министерства обороны США, выработавшей директивы по использованию автономности в вооружении.

Ученые боятся роботов, опасны ли они нам

Появились, чего и следовало ожидать, новые предсказания конца света. Конца существования человеческой расы. Возможно тараканы, которые много миллионов лет существуют на земле и крокодилы — выживут. Выживет и сосна, и даже, столь милая нашему сердцу березка.

Видимо и гладь рек, озер и морей будет блистать под солнцем — вот только некому будет прикрывать глаза рукой от их сияния.

Светлые умы предсказывают что искусственный интеллект когда-то восстанет против своего создателя. Утешает только то, что случится это не так уж скоро. И лично нам с Вами, и нашим детям, внукам и правнукам — это не грозит.

Опасны ли нам роботы?

Профессор Стивен Хокинг, один из самых уважаемых и известных британских ученых, заявил, что усилия по созданию мыслящих машин могут привести к тому, что само существование человечества окажется под угрозой.

«Такой разум возьмет инициативу на себя и станет сам себя совершенствовать со все возрастающей скоростью. Возможности людей ограничены слишком медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем»,— сказал Хокинг.

Профессор философии Хью Прайса Одной из самых обсуждаемых новостей в англоязычном Интернете стало интервью профессора философии Хью Прайса, сопровождавшее сообщение о скором запуске Центра по изучению глобальных рисков при Кембриджском университете (CSER), а тема «восстания машин» стала превалирующей при упоминаниях CSER.

Даже на новостных сайтах с весьма консервативной публикой, вроде BBCnews, число комментариев под соответствующей новостью доходит до нескольких сотен.

Элиезер Шломо Юдковсик Проблемы, связанные с ИИ (Искусственный Интеллект), волнуют не только кембриджскую профессуру. С 2001 года в США существует некоммерческая организация, известная как SIAI — Институт сингулярности. (от лат.

singularis — единственный — единичность существа, события, явления)В сферу её интересов входит изучение потенциальных опасностей, связанных с «интеллектуальным взрывом» и возникновением «недружественного» ИИ.

Один из сооснователей Института Элиезер Шломо Юдковсик широко известен исследованиями вопросов технологической сингулярности (момент, после которого технологический прогресс окажется недоступным пониманию человека).

Исполнительный директор компаний Space X и Tesla, Элон Маск — разработка искусственного интеллекта сродни призыву демонов. ===================================================================================================================

Совет

Хотите я выскажу свою теорию, когда может прийти конец существования человечества? Очень скоро. Возможно, кто-то из нас этого дождется. И произойдет это до банальности просто.

Все Вы уже читали не раз, что через несколько десятилетий, благодаря развитию интернет технологий,— Все будут знать о Всех все. Каждый будет знать о каждом все.

Сегодня огромные хранилища во всем мире содержат ужасные тайны касающиеся отношенияй между людьми.

Тайна, как условия для выживания

Человечество придумало тайну, как условие для совместного существования людей.

– Государственные деятели хранят тайны одного государства от другого.
– Одно сообщество людей (например, ложа, партия, клуб) хранит за семью замками тайну от другой группы. – Есть еще тайны ученых, изобретателей, управленцев …

– Есть тайны третьих сторон, которые сами не участвуя напрямую в конфликте — натравливают две стороны друг на друга

Есть военные тайны:
– кто хочет когда напасть на другого – кто кого когда подставил

– кто на самом деле развязал войну

Есть корпоративные тайны:
– банки хранят тайны от других банков
– томпании хранят тайны от других компаний
– тайны следствия и судопроизводства

Есть тайны личности:
– доходов и вкладов
– сейфов и кредитных карточек
– личного здоровья и странных проявлений – характера, скрытого под социальной маской

– скрытых страстей — любви, ненависти, зависти,

Есть тайны межличностных отношений: – тайна двух или более влюбленных, или тайны безответной любви.

– тайны родства, отцовства и материнства

– тайны покалеченных душ родственниками, учителями, начальством …

– тайны преступлений и тайны их жертв

Возможно Вы можете продолжить ряд тайн, которые позволяют людям более или менее комфортно существовать друг рядом с другом.

Каждый будет знать о каждом все
Представьте на секундочку (только, не надо в этом копаться). Просто представьте, что все ваши тайны будет знать любой общающийся с Вами человек.

Ладно, кто-то по долгу службы, так нет — тот кто к Вам очень хорошо относится, вдруг узнал, что Вы в детстве своровали яблоко из чужого сада?

Или Ваш враг узнал, что Вы его ненавидите и боитесь? И еще он узнал о каком-то вашем постыдном поступке: например, что Вы дали взятку гаишнику?

Хрупкий мир отношений с окружающими будет сломан. Ваше мнимое благополучие рухнет. В какие бы социальные одежды Вы не рядились — Вы всегда будете голым перед публикой.

=====================================================

Надежда есть

Стив Джобс. “Около года назад мне поставили диагноз: рак. Мне пришёл скан в 7:30 утра и он ясно показывал опухоль в поджелудочной железе. Я даже не знал, что такое поджелудочная железа. Врачи сказали мне, что этот тип рака не излечим и что мне осталось жить не больше трёх-шести месяцев.

Я жил с этим диагнозом весь день. Позже вечером мне сделали биопсию, и оказалось, что у меня очень редкая форма рака поджелудочной железы, которую можно прооперировать. Мне сделали операцию и теперь со мной всё в порядке.

Смерть тогда подошла ко мне ближе всего, и надеюсь, ближе всего за несколько следующих десятков лет. Пережив это, я теперь могу сказать следующее с большей уверенностью, чем тогда, когда смерть была полезной, но чисто выдуманной концепцией:

Никто не хочет умирать. Даже люди, которые хотят попасть на небеса не хотят умирать. И всё равно, смерть – пункт назначения для всех нас. Никто никогда не смог избежать её. Так и должно быть, потому что Смерть, наверное, самое лучше изобретение Жизни.

Обратите внимание

Она –причина перемен. Она очищает старое, чтобы открыть дорогу новому. Сейчас новое – это вы, но когда-то (не очень-то и долго осталось) – вы станете старым, и вас очистят. Простите за такой драматизм, но это правда.

” ====================================================

Я не буду делать резюме сейчас. Скажу только, что выход есть. Это я знаю точно. И это я уже проверил. Хоть это не так легко, но это осуществимо, в каких-то сферах. В большинстве сфер… Но, это каждому придется сделать шаг к самому себе. К своему хорошему началу, которое есть в каждом человеке.

Это можно назвать еще эволюция в восприятии человеком мира. Произойдет то, о чем говорили все гениальные умы человечества. Только вот найдется ли тот Моисей, который выведет человечество из тени тайны на яркий солнечный свет любви и великодушия? Или сработает коллективный разум и человечество быстро научится жить с открытым забралом и без доспехов?

Представляете, какой мир тогда наступит? Антинравственным личностям не удастся развязать новые войны, поссорить людей друг с другом. Люди перестанут панически бояться, что о них что-то узнает любимый человек или сосед. Потому что появится надежда на прощение Прощения за ошибки и проступки не только в церкви, один на один с духовником, но и ближнего окружения.

Возможно наши правнуки к этому будут уже готовы — выйти из темницы личных тайн, в которые мы сами себя добровольно заточили

Видимо до информационного взрыва осталось 40 лет.

Кто-то должен воевать

В конце августа в Женеве практически безрезультатно завершилось очередное заседание Группы правительственных экспертов ООН по боевым автономным системам, иначе говоря, по боевым роботам.

Ожидалось, что эксперты получат мандат на определение юридического статуса таких систем, после чего можно было бы говорить о регламентации или полном запрете их применения. Мандат в итоге выдан не был.

Вскоре после этого в США была обнародована «дорожная карта» развития военных роботов, предусматривающая, помимо прочего, повышение степени их самостоятельности за счет использования нейросетевых технологий.

Пока противники и сторонники автономных боевых систем спорят между собой, мы решили разобраться, почему военные считают разработку «роботов-убийц» важной задачей и какую роль они отводят им в войнах будущего.

Чем опасны боевые роботы

Автономные боевые системы в разных видах существуют уже давно. Например, на американские и британские корабли с 1970-х годов ставятся артиллерийские системы Phalanx, способные самостоятельно обнаруживать воздушные и надводные цели и обстреливать их.

При этом участие оператора может сводиться лишь к выставлению критериев, которым должна соответствовать та или иная цель, чтобы система сочла возможным открыть огонь.

Важно

На вооружение России с 2007 года поступают зенитные комплексы С-400 «Триумф», которые могут в полностью автоматическом режиме обнаруживать воздушные цели, классифицировать и приоритизировать их, а затем выпускать по ним ракеты.

Израильский противоракетный комплекс «Железный купол» (Iron Dome), принятый на вооружение в 2011 году, тоже умеет работать в автоматическом режиме. Причем эта система способна даже отделять потенциально опасные цели от неопасных: если падение ракеты-цели ожидается в ненаселенной местности, перехватывать ее комплекс не станет.

При этом о правомерности использования боевых роботов в военных конфликтах впервые задумались только в 2013 году. Тогда Совет по правам человека при ООН поставил вопрос о потенциальной угрозе здоровью и жизни людей в условиях войны с применением «роботов-убийц».

Непонятно было и то, как развитие автономных систем повлияет на международную безопасность. В итоге за полный запрет боевых роботов выступили 26 стран.

По мнению их экспертов, отсутствие запрета может привести к появлению высокотехнологичных тираний и значительному росту гражданских потерь в военных конфликтах.

Коротко их аргументы, которые они считают непреодолимыми, можно сформулировать так.

Существование боевых роботов нарушит положения Женевских конвенций в части защиты прав гражданского населения в зоне военных конфликтов, в особенности принципов различения и соразмерности.

Первый принцип требует обязательного и однозначного разделения людей в зоне боевых действий на комбатантов (тех, кто непосредственно участвует в боевых действиях) и некомбатантов (мирных жителей, а также военнослужащих и вольнонаемных, не участвующих в боевых действиях и имеющих право применять оружие только для самообороны; например, членов обслуживающего персонала).

Принцип соразмерности допускает потери среди некомбатантов, но только в том случае, если они уступают потерям среди комбатантов и перекрываются преимуществами от той или иной военной операции. Упрощенно принцип соразмерности подразумевает запрет на излишние страдания мирного населения.

Совет

Кроме того, активное использование «роботов-убийц», по мнению ряда экспертов, нивелирует непосредственную ответственность командиров за те или иные действия.

В частности, непонятно, кто будет отвечать в случае сбоя в программе робота, из-за которого тот начнет убивать и мирное население: командир на поле боя, компания-производитель, конкретный программист или конструктор? Противники боевых роботов уверены, что ответственность не понесет никто.

Более того, командир, отправивший робота на задание с намеренным приказом убивать всех подряд, может впоследствии утверждать, что массовое убийство людей произошло из-за сбоя в программе робота.

Наконец, предполагается, что повсеместное использование боевых роботов приведет к обесцениванию человеческой жизни, поскольку в войнах будущего люди станут не более чем отметками на дисплее.

Артиллерийская система Phalanx на борту корабля американских ВМС U.S. Navy

Юридические проволочки

Позиции противников боевых автономных систем, в принципе, не так уж неуязвимы (как, впрочем, и позиции сторонников таких систем).

В частности, принцип различения можно соблюсти, добавив в программу вооруженного робота обязательно условие: первый выстрел должен сделать потенциальный противник (если человек обстреливает робота, значит он участник боевых действий).

А виновного в неправомерном использовании боевых роботов можно будет определять по логам в памяти самих машин.

Однако никакой разговор о запрете или ограничении применения «роботов-убийц» на международном уровне невозможен хотя бы потому, что на сегодня не существует даже общепризнанного определения автономности боевых систем.

Одни считают автономным робота, способного применять оружие без вмешательства оператора, а другие, как, например, министерство обороны Великобритании, — способность робота самостоятельно делать выбор из нескольких решений (включая применение оружия) с учетом множества внешних факторов — как под надзором оператора, так и без него.

С 27-го по 31 августа в Женеве состоялось очередное заседание Группы правительственных экспертов ООН по боевым автономным системам (предыдущие два прошли в декабре 2017-го и апреле 2018 года).

Предполагалось, что по итогам этого заседания группа получит право выработать предварительную версию правил применения боевых роботов в военных действиях, но для этого нужен был консенсус, достичь которого не удалось.

Несколько стран, включая США, Россию, Австралию, Израиль и Южную Корею, заявили, что вводить полный запрет на применение боевых автономных роботов не следует.

Обратите внимание

При этом российские дипломаты отметили, что боевых роботов сегодня не существует, а превентивное введение запрета на них не имеет смысла.

В ходе заседания Россия, США, Франция и Германия предлагали выпустить политическое заявление, в котором страны — участники заседания дали бы гарантии, что человек всегда будет иметь контроль над действиями «роботов-убийц».

По итогам заседания стороны договорились лишь в том, что разработка боевых систем с искусственным интеллектом должна вестись в соответствии с международным гуманитарным правом (совокупность правил, обычаев, норм и принципов, ограничивающих методы и средства ведения войны и защищающих участников военных действий и мирное население), а ответственность за применение «роботов-убийц» в любом случае должен нести человек.

Зачем нужны боевые роботы

За многие годы военные из разных стран мира назвали множество причин, по которым боевые автономные системы необходимы в составе вооруженных сил.

В их числе — повышение точности ударов, наносимых по позициям противника, снижение сопутствующего ущерба (дополнительных разрушений и гибели людей при поражении основной цели), экономия средств военного бюджета и многое другое.

Однако определяющие влияние на развитие военной робототехники оказывают всего четыре главных фактора: стремление снизить потери собственных военнослужащих, постепенное усложнение вооруженных конфликтов, гонка вооружений и компенсация численности вооруженных сил.

Все остальные причины, оправдывающие разработку «роботов-убийц» (речь идет именно об автономных вооруженных системах; вопрос развития невооруженных систем, в том числе разведывательных, более обширен), вероятно, оказывают на развитие боевых автономных систем лишь косвенное влияние.

Снижение потерь собственных военнослужащих в вооруженных конфликтах — одна из наиболее очевидных целей, поскольку позволяет сохранять численный паритет с противником или численное превосходство над ним.

Меньшие потери снижают и военные расходы — от выплат по страховым полисам до трат на организацию спасательных операций, эвакуацию и захоронение останков погибших.

Кроме того, подготовка профессиональных военных довольно дорога и требует много времени, а потому терять их в вооруженных конфликтах крайне убыточно.

Министерства обороны нескольких стран мира, включая США и Россию, полагают, что использование боевых роботов позволит быстрее и с минимальным риском для жизни солдат решать сложные боевые задачи, включая военные действия в условиях плотной городской застройки или активной снайперской охоты.

Предполагается, что к 2050 году более 80 процентов населения планеты будет проживать в городах, а значит, вооруженные конфликты будут возникать именно в городских условиях. Ведение боевых действий в городе значительно сложнее, чем, скажем, на открытой местности, поскольку опасность грозит подразделениям буквально со всех направлений, в том числе из-под земли (канализации или метро) и сверху (из окон высоких зданий). В городе даже небольшая и, казалось бы, простая операция легко может превратиться в кровавую бойню.

Использование же различных боевых роботов — от небольших вооруженных мультикоптеров до высокомобильных наземных систем — в городских условиях может существенно упростить планирование и проведение военных операций, в которых фактически одни и те же машины могут быть и разведчиками, и диверсантами, и штурмовыми бойцами.

Гонка вооружений является еще одним доводом, который приводят военные в пользу боевых автономных систем. Дело в том, что военный прогресс постепенно ведет к созданию все более совершенных вооружений и военной техники.

Важно

Ведущие страны мира, например, занимаются созданием гиперзвукового оружия, которое сможет прорывать системы противоракетной обороны противника.

Для перехвата гиперзвуковых ракет потребуется разработка новых автономных противоракетных комплексов с искусственным интеллектом, способных самостоятельно обнаруживать, классифицировать и обстреливать баллистические, аэробаллистические и аэродинамические цели.

Из-за крайне высокой скорости этих целей люди, входящие в расчеты противоракетных комплексов, просто не будут успевать анализировать воздушную обстановку, принимать решения и отдавать команды.

Наконец, вооруженные силы некоторых стран мира столкнулись с постепенным сокращением численности в силу демографических или экономических причин.

Например, из-за постепенного снижения рождаемости снижается численность вооруженных сил Южной Кореи, так что некоторые подразделения уже сегодня комплектуются не полностью.

В составе ВВС США возник дефицит операторов беспилотных летательных аппаратов и летчиков истребителей.

Предполагается, что разработка полностью самостоятельных боевых роботов позволит решить проблемы комплектации вооруженных сил.

Совет

Например, по оценке министерства обороны Южной Кореи, применение автономных боевых турелей на самоходных гаубицах K9 Thunder позволит заменить в войсках две тысячи человек.

В свою очередь, американцы полагают, что создание автономных ударных беспилотников позволит устранить дефицит операторов, поскольку благодаря высокой степени автономности дронов один человек сможет управлять сразу несколькими аппаратами.

Пока политики спорят

Сегодня предприятия российского оборонного комплекса занимаются разработкой наземных боевых роботов семейств «Уран», «Нерехта» и «Соратник», которые планируется использовать для огневой поддержки пехоты, охраны военных и важных инфраструктурных объектов, разведки боем, прорыва обороны противника.

В свою очередь в США ведутся работы по созданию беспилотных летательных аппаратов XQ-58A Valkyrie, которые бы выполняли роль ведомых в боевых группах истребителей.

Такие беспилотники могли бы вести разведку, прикрывать пилотируемый ведущий истребитель, вести маневренный воздушный бой или обеспечивать наземным отрядам огневую поддержку с воздуха.

Южная Корея занимается созданием разведывательных и боевых воздушных, наземных, надводных и подводных роботов, которые бы позволили компенсировать недобор в вооруженные силы.

Китай, помимо прочего, работает над танками-роботами, которые позволят снизить потери в интенсивных танковых боях.

А в Израиле в ближайшие несколько лет планируется принять на вооружение боевых микророботов, которые будут использоваться для уничтожения лидеров боевиков «Хезболлы» и ХАМАС.

Этическая и юридическая стороны подобных разработок требуют тщательного обсуждения.

Обратите внимание

Можно ли наделять роботов правом убивать людей? Допустимо ли заменять людей, способных прочувствовать ту или иную ситуацию, безэмоциональными исполнителями? Где проходит грань между гражданскими и военными разработками автономных роботов, в основу которых легли одни и те же технологии? Правильно ли убирать солдат с поля боя и усаживать их за пульты управления с удобными креслами за тысячи километров от боевых действий?

«Роботы-убийцы» пока не стали частью современных боевых действий, но начать подготовку юридической базы для применения таких систем следует уже сейчас, потому что прогресс движется очень быстро.

И США, и Россия, и некоторые другие страны заявляют, что не планируют делать боевые системы полностью самостоятельными.

При этом в США отметили, что допускают возможность переключения «роботов-убийц» в полностью автономный режим в качестве ответа на появление боевых автономных роботов у авторитарных режимов.

Василий Сычёв

Журналистка рассказала о том, как роботы убили учёных. Пруфов ноль, но люди уже в панике

Пользователи соцсети активно обсуждают конспирологическую теорию американской журналистки Линды Молтон Хоу, которая поведала слушателям на конференции в Лос-Анджелесе жуткую историю о том, как четыре робота убили двадцать девять японских учёных. И хотя причин верить ей мало, многие люди уже хотят, чтобы производство роботов было остановлено навсегда.

За последние дни десятки, если не сотни пользователей твиттера волнует лишь один вопрос.

Оригинал Да ладно? Четыре робота убили 29 японских учёных? Мне реально нужно знать, это правда или нет?Оригинал

Сомнение и страх в душах людей посеяла американская журналистка Линда Молтон Хоу. В феврале 2018 года она выступала на Conscious of Life Expo в Лос-Анджелесе и говорила в основном об опасностях развития искусственного интеллекта.

Читайте на Medialeaks: Подростков попросили отредактировать свои фотографии перед публикацией в соцсети. И результаты очень грустные

Нависшую над человечеством угрозу Линда ярко проиллюстрировала с помощью жуткой истории, которую ей якобы передал один моряк.

По словам Линды, сейчас он уже не состоит на службе, но продолжает работать по контракту с ЦРУ, Агентством национальной безопасности и Разведывательным управлением.

Так как его телефон прослушивается, Линда связывается с ним либо только короткими сообщениями, либо звонками не дольше 30 секунд.

И вот что он ей однажды рассказал.

По словам Линды, подтверждения этой истории в новостях никто не увидит, так как японская компания не хочет портить себе репутацию, а стране нужны военные роботы. Завершила свою пугающую речь журналистка тем, что и все люди могут на самом деле оказаться роботами, созданными инопланетянами ради эксперимента. (Привет, Райан Гослинг!).

Важно

В феврале речь Линды не привлекла много внимания, но несколько дней назад отрывок из неё начал вируситься в твиттере. Одна из публикаций набрала почти 400 тысяч лайков и ретвитов.

Многие пользователи в реплаях к твиту сразу же указали на то, что верить Линде не стоит.

Хоу давно известна своими конспирологическими теориями о том, что инопланетяне похищают часть скота, чтобы исследовать наших животных, и вообще американское правительство с ними в сговоре.

Интервью у неё брал даже сам Ларри Кинг, и до сих пор журналистка часто появляется на телевидении и снимается в документальных фильмах о сверхъестественном.

Несмотря на все эти факты, многие пользователи всё равно испугались. Во-первых, Япония действительно разрабатывает боевых роботов. Во-вторых, Маск ещё в сентябре 2017-го предупреждал нас, что Третья мировая начнётся именно из-за роботов!

Оригинал Третью мировую могут начать не мировые лидеры, а искусственный интеллект, если решит, что предупредительный удар — лучший путь к победе! Оригинал

Одни ожидали, что всё приведёт именно к этому.

Оригинал Люди: Снимают много фильмов о том, как роботы убивают людей. Всё равно создают роботов. 4 робота: Убивают 29 учёных. Один из роботов: Связывается со спутником и восстанавливает себя.

Люди:

Оригинал

Другие призывали немедленно остановить производство роботов.

Оригинал ВОТ ПОЧЕМУ НАМ НУЖНО ВО ЧТО БЫ ТО НИ СТАЛО ПЕРЕСТАТЬ ПРОИЗВОДИТЬ РОБОТОВ. ВЫ ЧТО, ЗАБЫЛИ О ФИЛЬМЕ «Я, РОБОТ?» Я ХОЧУ СОЗДАТЬ ПЕТИЦИЮ О ТОМ, ЧТОБЫ ЭТОТ ФИЛЬМ БЫЛ ОБЯЗАТЕЛЕН К ПРОСМОТРУ ВО ВСЕХ ШКОЛАХ. ОНИ УБЬЮТ НАС ВСЕХ. Оригинал

Третьи надеялись справиться подручными средствами.

Оригинал А роботов больше нельзя сломать водой? Серьёзно, спрашиваю для себя.Оригинал

А кто-то полностью принял свою судьбу.

Оригинал Я, когда роботы придут убить всех нас.Оригинал

Российским учёным вряд ли грозит судьба их японских коллег. Ведь всегда велика вероятность того, что внутри боевой машины окажется самый обычный человек, который вряд ли сможет связаться со спутником и победить больше десятка учёных. Зато Skibidi танцует.

Возможно, ответ на вопрос, а действительно ли все люди тоже роботы, могли бы дать путешественники во времени, которые в большом количестве прибывают к нам из 2045-го и даже показывают видео оттуда. Правда, больно уж всё на их кадрах размыто. Но кто знает, может, следующий прибывший из будущего позаботится о более чёткой картинке.

Роботы-убийцы: с прицелом на будущее

1993 год. Сотни японцев стали свидетелями душераздирающей сцены – роботизированный краб, висевший у входа в ресторан, внезапно сошёл с ума и схватил в свои клешни женщину. Та боролась, но безуспешно – робот разрезал её пополам. Что поделаешь – краб был запрограммирован, чтобы вести себя как настоящий, вот и взбесился.

В действительности робота-краба, скорее всего, не существовало – его придумали в газете Weekly World News, специализирующейся на совершенно недостоверных новостях про пришельцев, смерть от чихания и людей-собак.

Совет

Шутки шутками, но люди уже больше века волнуются, не выйдут ли из-под контроля механизмы, созданные руками homo sapiens, и не убьют ли они своих создателей.В 1941 году Айзек Азимов сформулировал “три закона робототехники”.

Согласно им, робот, во-первых, не должен причинять вред человеку или своим бездействием допускать причинение вреда человеку, во-вторых, робот должен повиноваться приказаниям человека, если они не противоречат первому закону, и в-третьих робот должен защищать своё право на существование, опять же, при этом избегая конфликтов с другими законами робототехники.Роботов, способных понять и сознательно нарушить азимовские законы, не изобрели до сих пор. Впрочем, на бумаге роботы-убийцы появились куда раньше, чем был построен первый настоящий робот. Одним из первых произведений о робозверствах была книга “Хозяин Моксона”. В ней разумный робот-игрок в шахматы обретал эмоции и убивал своего владельца из-за того, что проигрывал ему партию. Особенно много газетных статей про роботов-убийц публиковали в США в тридцатые годы прошлого века. Как правило, в них описывались не особо правдоподобные случаи, в которых был замешан железный мужик у которого внезапно появлялись воля и разум. Для пущего эффекта он оснащался страшной искажённой физиономией.
Откуда такой богатый урожай подобных историй? Нетрудно догадаться. После Великой депрессии американская нация была измотана эмоционально и физически. Страх перед роботами – это страх повальной автоматизации, потери рабочих мест. Комиксы и бульварная пресса только подогревали его.Тем не менее, роботы действительно убивают, и делают это чаще, чем это кажется обывателю. А отсутствие у них разума не только не понижает, но повышает вероятность того, что машина причинит боль или убьёт человека.

Кровавая баня

Вот он, первый человек, которого укокошил робот. Его звали Роберт Уильямс. Бедняга отдал богу душу в 1971 год не без помощи промышленного робота, который случайно огрел беднягу по голове. Машина занималась перекладкой деталей с конвейера в хранилище, когда Уильямс подошёл к хранилищу.

Второе “убийство” через десять лет совершил японский промышленный робот. На этот раз не повезло инженеру Кэндзи Ураде, который пошёл чинить сломанный автомат. Урада не сумел выключить устройство и разбушевавшийся монстр скинул японца с помощью своей гидравлической руки в дробилку. Брр, жуткая смерть.

Нетрудно догадаться, что в реальном мире именно промышленные роботы чаще всего становятся невольными убийцами. Они двигаются очень быстро и, по большей части, им абсолютно наплевать, стоит кто-то рядом, или нет.

Как правило, их “рабочее место” огорожено и поэтому чаще всего жертвами этих машин становятся невнимательные рабочие или инженеры, которые устраняют неисправности.
Впрочем, не только большие промышленные роботы опасны для человека. В 2007 году в Дании произошёл ужасный случай: роботизированная газонокосилка убила рабочего.

В этом, конечно, он виноват сам – не следовало отпускать её косить траву на таком крутом склоне. Результат оказался печальным: устройство не удержалось, полетело вниз и приземлилась прямиком на голову рабочего.

Война – дело серьёзное

Но газонокосилка – это чепуха по сравнению с настоящими военными роботами. Мы не привыкли думать о современном оружии как о роботах, даже если оно под завязку напичкано автоматикой. Взять, к примеру, пушки, оснащённые системами самонаведения. Они могут сами выбирать цели, занимать позицию и лишь ждут указания человека, чтобы начать стрельбу. В теории.

18 октября 2007 года южноафриканская роботизированная пушка Oerlikon GDF-005 открыла неконтролируемый огонь во все стороны. На месте было убито девять солдат и ранено четырнадцать. Военные кивают на неисправность компьютера, контролировавшего действия пушки. Если бы не он, жертв удалось бы избежать.Впрочем, пушка, убивающая по ошибке – исключение, а не правило.

Большинство военных роботов убивают не из-за случайных сбоев в программе, а потому что с самого начала запрограммированы на убийство.
В отличие от статичных корейских роботов, американские боевые роботы способны двигаться. Робот на фотографии, приведённой выше, называется TALON SWORDS.

Конечно, не все устройства серии TALON предназначены для убийства – есть более мирные модели, которые позволяют разминировать минные поля или выполнять функции разведчика, но SWORDS вооружён четырьмя малокалиберными орудиями и предназначен именно для того, чтобы убивать. Впервые его применили во время второй иракской компании; впрочем, он так ни разу и не выстрелил по живой цели.

Обратите внимание

Сейчас разрабатывают более продвинутую версия этого робота – MAARS.
SWORDS, конечно же, неспособны на автономные действия. Как и большинством других военных роботов, ими удалённо рулят люди-операторы. Подобные системы используются очень давно.

Знакомо ли вам слово “телетанк”? Именно так именовался радиоуправляемый советский танк, испытания которого происходили в конце тридцатых годов прошлого века. Телетанками можно было управлять на дистанции до четырёх километров, они могли стрелять из орудий, а также самоликвидироваться, доехав до позиций врага.

Увы, испытания, проведённые в 1940 году показали, что даже последняя, продвинутая модель роботизированного танка ТТ-БТ-7, не способна вести эффективную стрельбу из пулемёта. Потом началась Великая отечественная война и разработка телетанков была свёрнута. Тем не менее, эти машины использовались как в советско-финской войне 1939 года, так и в годы Великой отечественной.

Hasta la vista, baby

Если отвлечься от реальных роботов-убийц, то какие роботы-убийцы прежде всего приходят в голову, если говорить о вымышленных? Конечно же, это терминаторы из одноимённой саги о восстании мыслящих машин, придуманные Джеймсом Кэмероном.

Самый известный терминатор – это, конечно же, T800, которого сыграл Арнольд Шварценеггер, но тем не менее есть множество других моделей этих роботов.
T1 – самый первый терминатор. Его создатели, наверняка, вдохновлялись именно TALON SWORDS – он представляет собой самоходную платформу с двумя пулемётами, способную принимать собственные решения.

Согласно вселенной фильмов, является самым продвинутым современным роботом, которого разрабатывают американские военные. Впервые появился в фильме “Терминатор-3”.
Т-800 – именно к этой серии относился терминатор, которого сыграл Шварценеггер. Роботы всех модификаций этой серии являются кибернетическими организмами – их экзоскелет обтянут живыми тканями.

Они способны к аналитическому мышлению и часто использовались Skynet для того, чтобы притворившись человеком, проникать в вооружённые формирования повстанцев. Существует несколько модификаций этой модели – так, например, у Т-888 более укреплённый экзоскелет.
Т-1000 – представитель этой серии впервые был показан в фильме “Терминатор-2: Судный день”.

Сделан из “миметического полисплава”, который позволяет ему менять форму и делает его практически неуязвимым.

Подробнее о моделях и модификациях терминаторов читайте здесь.

Скрытая угроза

Важно

Несмотря на то, что современные боевые роботы обычно подчиняются командам человека, так, наверняка, будет продолжаться не вечно. Автономные роботы уже появляются, и со временем их будет становиться всё больше.

Границу Северной и Южной Кореи сторожат роботы-часовые, разработанные в 2007 году фирмой Samsung совместно с Корейским государственным университетом. Каждая машина стоит около 200 тысяч долларов.

Роботы оборудованы парой камер с трансфокаторами: одна для дневного видения, другая – для ночного. С их помощью они способны самостоятельно распозновать встреченные объекты и принимать решения, что делать дальше.

Если такой железный “пограничник” заметит нарушителя, то сначала подаст ему звуковой сигнал через громкоговорители, и если человек не пожелает следовать приказам, откроет стрельбу.

Пентагон тоже вкладывает немалые деньги в разработку робототехники. Американские военные уже владеют технологиями, которые позволят к 2015 году сделать автономными треть автопарка армии США. Роботизированная машина под кодовым называнием “Босс”, победившая в гонке роботов, организованной Пентагоном, прошла 100-километровую дистанцию самостоятельно, лавируя по городским дорогам, объезжая препятствия и двигаясь в плотном трафике. Американские военные говорят о том, что это позволит не ставить жизни водителей под угрозу при перевозке грузов в районах вооружённых конфликтов, но кто мешает поставить на такую машину пулемёт, контролируемый специальной программой? Пугает, впрочем, не то, что эти технологии находятся в руках военных, а то, что рано или поздно, они неминуемо попадут в руки террористов.

P.S. от Imperial Commissar: Они уже среди нас!! =))