Дмитрий ДРОБНИЦКИЙ, политолог

14.03.2019

Трагедия Boeing 737 Max 8 эфиопских авиалиний вызвала беспрецедентно быструю и масштабную реакцию по всему миру. Операторы многих стран поставили лайнеры данной модели на прикол. Даже американские власти после некоторого раздумья согласились с такой необходимостью.

Временный вывод из эксплуатации воздушных судов какого-либо типа после авиапроисшествия не является чем-то из ряда вон выходящим. Но этот случай особый. Отказ от нового 737-го «Боинга» носит тотальный характер. И неспроста. Хотя международные авиационные инстанции, как обычно, просят не торопиться с выводами и дождаться результатов расследования, однако независимые авиаэксперты и национальные регуляторы большинства стран, использующих «Восьмой Макс», в своих выводах довольно категоричны. В этом самолете обнаружена системная проблема.

Новый 737-й убивает людей второй раз за последние пять месяцев. Похожая авария произошла в октябре в Индонезии с бортом компании Lion Air. Так же, как и в эфиопской трагедии, лайнер повел себя непредсказуемо уже через несколько минут после взлета. В обоих случаях экипажи докладывали о проблеме с пилотированием, запрашивали возвращение в аэропорт, пытались поднять нос самолета, который отказывался набирать высоту, но так и не справились с взбунтовавшейся машиной.

В ноябре международная следственная группа пришла к выводу, что лайнер Lion Air разбился из-за некорректной работы бортового компьютера. Говоря точнее, из-за системы искусственного интеллекта (ИИ), призванной исправлять ошибки пилотирования. На «Восьмом Максе» установлены новые композитные крылья и более мощные, экономичные двигатели. По мнению производителя, обращаться с таким лайнером достаточно легко, но у некоторых пилотов могут возникнуть трудности с маневрированием.

В помощь им и было обновлено программное обеспечение (система MCAS), которое берет контроль на себя, если «решит», что человек управляет судном неадекватно. В частности, если пилот выводит машину на запредельный угол атаки, задирая нос самолета, ИИ его опустит — ​предотвратит срыв в штопор. На деле же в Индонезии и Эфиопии программа тянула нос лайнера вниз, а пилоты изо всех сил пытались его поднять. Но ИИ оказался сильнее человека. Оба самолета разбились под «чутким управлением» компьютера.

После катастрофы в Индийском океане «Боинг» выпустил новые руководства по пилотированию, а также разослал всем эксплуатантам обновленное ПО. Кроме того, с авиаторами провели спецтренинги, призванные обучить их взаимодействию с компьютерной системой нового 737-го. То, что проблема кроется именно в ней, практически ни у кого не вызывает сомнения. В пользу данной версии свидетельствует и тот факт, что «Боинг» решал проблему после индонезийской катастрофы именно обновлением ПО. И теперь собирается сделать это снова в апреле.

Некоторые специалисты полагают, что на трагическое развитие событий повлияла совокупность двух факторов — ​новой конфигурации планера воздушного судна (двигатели и крылья) и несовершенство компьютерного управления. То есть при взлете могла возникнуть ситуация, с которой человек все равно не справился бы. Но и программа действовала ошибочно. Последний вариант еще хуже. Транспортное средство изначально создавалось в расчете на цифровые мозги, а не на человеческие. И вот, исключив человека из системы принятия решений, компьютерный разум убил сотни людей.

Человечество, конечно, не впервые страдает от творений рук своих. Несчастные случаи на производстве — ​регулярное явление с начала промышленной революции. Автокатастрофы происходят по всему земному шару и уносят тысячи жизней. И многие подобные трагедии вызваны техническими неисправностями. Но повинен в них, так или иначе, человек. Исправить их тоже может лишь он. Даже многочисленные аварии широко распиаренного автомобиля Tesla под управлением автопилота обычно связаны с тем, что безответственно вели себя именно люди.

А теперь представьте, что инженер-человек заметил неисправность на конвейере и решил остановить производственную линию, а ИИ запрещает ему это сделать. Или человек, испугавшись опасной ситуации на дороге, начинает тормозить, а «мозг» автомобиля решает: «Ерунда, проскочим!» и отменяет инструкцию водителя… Представьте, наконец, что конвейеры и машины сплошь становятся такими, что люди не могут управлять ими и распознавать их ошибки.

Это принципиально иная ситуация. Иная этически и экзистенциально. Потому что ИИ не знает, что такое смерть, и не осознает ценность человеческой жизни. Каждая задача даже для самого совершенного искусственного интеллекта — ​алгоритмическая. Моральный запрет рисковать человеком не запрограммируешь. Знаменитые три закона робототехники Айзека Азимова заработают только в том случае, если у роботов и правда появится сознание. Но это будет уже совсем другой ад…

Есть и еще один аспект проблемы, связанной с катастрофами 737-го. В создании транспорта, управляемого ИИ, ключевую роль играют программисты, или, как их теперь часто называют, кодеры. Они подарили миру много новинок, которые облегчают и украшают нашу жизнь. Но, в отличие от «инженеров прошлого», у них другая производственная культура. Когда лайнер со 150 пассажирами несется к земле, сделать Undo или нажать Ctrl-Alt-Del, чтобы начать все сначала, не получится.

Это не значит, что надо запретить внедрение ИИ и остальной «цифры» в производство, инфраструктуру и повседневную жизнь. Ни в коем случае! Следующий технологический уклад будет включать в себя искусственный интеллект как важную составную часть. Но успешный переход к такому мироустройству будет зависеть не только от уровня развития технологий, но и от того, смогут ли люди решить этические и культурные проблемы, с ним связанные. Во всяком случае, если они собираются оставаться людьми.

Мнение колумнистов может не совпадать с точкой зрения редакции