Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В конце 1950-х гг. Джон Маккарти мечтал, что однажды его доставит в аэропорт автоматизированное транспортное средство. В 1987 г. Эрнст Дикманнс продемонстрировал фургон «мерседес» с автопилотом на автобане в Германии; он был способен держать ряд, следовать за другой машиной, перестраиваться и совершать обгон [85] Самый ранний отчет о появлении самоуправляемого автомобиля на дороге общего пользования: Ernst Dickmanns and Alfred Zapp, «Autonomous high speed road vehicle guidance by computer vision», IFAC Proceedings Volumes 20 (1987): 221–26. . Через 30 с лишним лет у нас все еще нет полностью автономного автомобиля, но мы к нему намного ближе. Центр разработки давно переместился из научно-исследовательских лабораторий в крупные корпорации. На 2019 г. лучшие тестовые автомобили «намотали» миллионы километров езды по общественным дорогам (и миллиарды километров в дорожных симуляторах) без серьезных инцидентов [86] Показатели безопасности транспортных средств Google (впоследствии Waymo): «Waymo safety report: On the road to fully self-driving», 2018. . К сожалению, некоторые автономные и полуавтономные транспортные средства убили несколько человек [87] На данный момент произошло по меньшей мере две аварии со смертельным исходом для водителя и одна с гибелью пешехода. Привожу несколько ссылок с краткими цитатами, описывающими случившееся. Danny Yadron and Dan Tynan, «Tesla driver dies in first fatal crash while using autopilot mode», Guardian , June 30, 2016: «Датчики автопилота Model S не различили на фоне яркого неба белый автотягач с прицепом, пересекавший перекресток». Megan Rose Dickey, «Tesla Model X sped up in Autopilot mode seconds before fatal crash, according to NTSB», TechCrunch , June 7, 2018: «Начиная с третьей секунды до столкновения и до времени соприкосновения с отбойником скорость Tesla увеличивалась от 100 км/ч до 114 км/ч; предшествующее удару срабатывание тормозов или движения по уклонению от препятствия зафиксированы не были». Devin Coldewey, «Uber in fatal crash detected pedestrian but had emergency braking disabled», TechCrunch , May 24, 2018: «Экстренное торможение не допускается, когда транспортное средство находится под управлением компьютера, с целью снижения риска неустойчивого поведения транспортного средства». .

Почему потребовалось так много времени для достижения безопасной автономной езды? Во-первых, из-за очень высоких требований к результативности. Водители в Соединенных Штатах попадают примерно в одну аварию с человеческими жертвами на 160 млн км пути, что высоко поднимает планку. Чтобы автономные транспортные средства были приняты в эксплуатацию, они должны показывать намного лучшие результаты: скажем, одна авария со смертельным исходом на 1 млрд км, или 25 000 лет безаварийной езды по 40 часов в неделю. Вторая причина заключается в том, что предполагаемый обходной вариант — передача управления человеку, если машина дезориентирована или выходит за рамки безопасных условий эксплуатации, — попросту не работает. Когда машина едет сама, люди отвлекаются от дорожной ситуации и не могут включиться в нее достаточно быстро, чтобы успеть взять управление на себя. Более того, попутчики и пассажиры такси на заднем сиденье вообще не имеют возможности подключиться к управлению машиной, если что-то пошло не так.

Текущие проекты ставят целью достижение автономии четвертого уровня по классификации Общества автомобильных инженеров [88] Ассоциация инженеров-автомобилестроителей (SAE) определяет шесть уровней автоматизации, где уровень 0 соответствует ее отсутствию, а уровень 5 — полной автоматизации: «Постоянное осуществление автоматической системой вождения на всех дорожных покрытиях и при любых погодных условиях всех аспектов задачи динамического вождения, которые могут осуществляться водителем-человеком». . Это означает, что транспортное средство должно быть в любой момент способно двигаться самостоятельно или безопасно остановиться, с учетом географических ограничений и погодных условий. Поскольку погода и дорожная ситуация меняются и могут сложиться необычные условия, с которыми автомобиль уровня 4 не сумеет справиться, человек должен находиться в машине наготове при необходимости взять управление на себя. (Уровень 5, неограниченная автономность, не требует водителя, но еще более труднодостижим.) Автономия уровня 4 далеко выходит за рамки простых рефлекторных задач на соблюдение дорожной разметки и избегание препятствий. Транспортное средство должно, опираясь как на текущие, так и на прошлые наблюдения, оценивать целевые и вероятные будущие траектории движения всех релевантных объектов, в том числе таких, которые могут быть невидимыми. Далее, с помощью опережающего поиска автомобиль должен найти траекторию, оптимизирующую определенную комбинацию безопасности и движения. Некоторые проекты используют более прямые подходы, основанные на обучении с подкреплением (главным образом, разумеется, в симуляторах) и на контролируемом обучении, для которого используются видеозаписи сотен водителей, но не похоже, чтобы эти подходы достигли требуемого уровня безопасности.