Ханна Фрай - Hello World. Как быть человеком в эпоху машин

Вернуться

18

Kerbobotat: “Зашел на Amazon купить бейсбольную биту и получил интересные предложения аксессуаров”, Reddit , 28 Sept. 2013, https://reddit.com/r/funny/comments/1nb16l/went_to_buy_a_baseball_bat_on_amazon_they_have/.

Вернуться

19

Sarah Perez, Uber debuts a “smarter” UberPool in Manhattan, TechCrunch , 22 May 2017, https://techcrunch.com/2017/05/22/uber-debuts-a-smarter-uberpool-in-manhattan/.

Вернуться

20

Слово “теоретически” я употребила неслучайно. Так бывает не всегда. Над некоторыми алгоритмами не один год трудились сотни, а то и тысячи разработчиков, и каждый из них на том или ином этапе добавлял свои операции. С каждой новой строкой кода система становится все более сложной, до тех пор пока логические нити не переплетутся на манер порции спагетти. В конце концов алгоритм приобретает настолько разветвленную структуру, что человеческий разум уже не в силах разобраться в ней и уследить за всеми переходами.

В 2013 году компания Toyota должна была выплатить три миллиона долларов компенсации после автокатастрофы с участием одного из ее автомобилей. Машина неконтролируемо разогналась, хотя сидевшая за рулем женщина жала на педаль тормоза, а вовсе не газа. На суде выступавший свидетелем специалист сказал, что виновата случайная команда, скрытая где-то в путаной схеме программного обеспечения. См. Phil Koopman, A case study of Toyota unintended acceleration and software safety (Pittsburgh: Carnegie Mellon University, 18 Sept. 2014), https://users.ece.cmu.edu/~koopman/pubs/koopman14_toyota_ua_slides.pdf.

Вернуться

21

Эта иллюзия называется “ваза Рубина”, по имени придумавшего ее Эдгара Рубина. (Здесь приведен пример со страницы https://commons.wikimedia.org/wiki/File: Vase_of_rubin.png). Это пример двойственного изображения, или обратимых фигур — вы видите два темных профиля и белую вазу. На этом рисунке очень легко переключиться с одной формы на другую, но, чтобы сместить равновесие в ту или иную сторону, достаточно добавить пару штрихов. Скажем, подрисовать тонкие контуры глаз или оттенить ножку вазы.

Из той же серии пример с распознаванием изображения собаки и машины. Программисты подобрали картинку на стыке двух категорий, внесли одну маленькую поправочку, и, по мнению компьютера, картинка переместилась из одной категории в другую.

Вернуться

22

Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai, One pixel attack for fooling deep neural networks , arXiv:1719.08864v4 [cs.LG], 22 Feb. 2018, https://arxiv.org/pdf/1710.08864.pdf.

На русском языке см. https://habr.com/ru/post/498114/ (Прим. науч. Ред.).

Вернуться

23

Перефразированный комментарий, который дал в 2015 году программист и пионер в области машинного обучения Эндрю Ын. См. Tech Events, ‘GPU Technology Conference 2015 day 3: What’s Next in Deep Learning’, YouTube , 20 Nov. 2015, https://www.youtube.com/watch?v=qP9TOX8T-kI.

Вернуться

24

Международный научный проект OpenWorm преследовал именно такую цель — смоделировать мозг червя. Ученые хотели создать искусственную сеть из 302 нейронов, как в мозге червя C. elegans . Для сравнения, у человека примерно 100 000 000 000 нейронов. См. сайт OpenWorm : http://openworm.org/.

Вернуться

25

Chris Brooke, “I was only following satnav orders” is no defence: driver who ended up teetering on cliff edge convicted of careless driving, Daily Mail , 16 Sept. 2009, http://dailymail.co.uk/news/article-1213891/Driver-ended-teetering-cliff-edge-guilty-blindly-following-sat-nav-directions.html#ixzz59vihbQ2n).

Вернуться

26

Ibid.

Вернуться

27

Robert Epstein and Ronald E. Robertson, The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections, Proceedings of the National Academy of Sciences , vol. 112, no. 33, 2015, pp. E4512–21, http://pnas.org/content/112/33/E4512.

Вернуться

28

Epstein and Robertson, The search engine manipulation effect (SEME).

Вернуться

29

Linda J. Skitka, Kathleen Mosier and Mark D. Burdick, Accountability and automation bias, International Journal of Human — Computer Studies , vol. 52, 2000, pp. 701–717, http://lskitka.people.uic.edu/IJHCS2000.pdf.

Вернуться

30

KW v. Armstrong, US District Court, D. Idaho, 2 May 2012, https://scholar.google.co.uk/scholar_case?case=17062168494596747089&hl=en&as_sdt=2006.

Вернуться

31

Jay Stanley, Pitfalls of Artificial Intelligence Decision making Highlighted in Idaho ACLU Case, American Civil Liberties Union , 2 June 2017, https://aclu.org/blog/privacy-technology/pitfalls-artificial-intelligence-decisionmaking-highlighted-idaho-aclu-case.

Вернуться

32

K. W. v. Armstrong, Leagle.com, 24 March 2014, https://www.leagle.com/decision/infdco20140326c20.

Вернуться

33

Ibid.

Вернуться

34

Stanley, Pitfalls of Artificial Intelligence Decision-making .

Вернуться

35

ACLU, Ruling mandates important protections for due process rights of Idahoans with developmental disabilities , 30 March 2016, https://aclu.org/news/federal-court-rules-against-idaho-department-health-and-welfare-medicaid-class-action.

Вернуться

36

Stanley, Pitfalls of Artificial Intelligence Decision-making .

Вернуться

37

Ibid.

Вернуться

38

Ibid.

Вернуться

39

Ibid.

Вернуться

40

Ibid.