Питер Сингер - Війна лайків. Зброя в руках соціальних мереж

Натомість чат-боти, навчені нейронною мережею, – також відомі як керовані машиною засоби комунікації, або MADCOM, – не мають жодного сценарію взагалі, лише мовні конструкції, розшифровані через вивчення мільйонів, а то й мільярдів комунікативних ситуацій. Замість міркувати, як можна використовувати MADCOM, простіше спитати, чого не можна досягти з розумними адаптивними алгоритмами, що віддзеркалюють схеми людської мови.

Але розвиток MADCOM наступного покоління також ілюструє недолік, притаманний усім нейронним мережам: вони не кращі за їхні ввідні дані й не моральніші за їхніх користувачів. У 2016-му Microsoft запустив Тей – чат-бота на базі нейронної мережі, що перейняв особливості мови дівчинки-підлітка. Будь-хто міг поговорити з Тей і зробити свій внесок до її бази даних; вона також отримала свій Twitter -акаунт. Акаунт Тей одразу обліпили тролі, і вона з радістю навчалася від них, як і від будь-кого іншого. Енергійна особистість Тей невдовзі піддалася расизму, сексизму та запереченню голокосту. «йде расова війна, – твітнула вона, пізніше додавши: – 11 вересня зробив Буш». Менше ніж за день Тей безцеремонно приспали, залишивши її збуджений штучний мозок бачити сни про електричних жабок.

Хоча магія нейронних мереж може проростати з подібності до людського мозку, це також один із недоліків. Ніхто, зокрема й творці, не може до кінця зрозуміти, як працюють мережі. Коли така мережа робить щось неправильно, то замість журналу реєстрації помилок є лише знання, що проблему можна виправити, якщо достатньо попрацювати з синапсами. Коли не можна зрозуміти, чи мережа помиляється – якщо вона робить передбачення майбутнього на підставі попередніх даних, – користувачі можуть або ігнорувати повідомлення, або сприйняти прогноз за чисту монету. Єдиний спосіб зрозуміти нейронну мережу – це вкрасти сторінку, присвячену неврології, що моніторить різні групи штучних нейронів і тестує різні схеми, щоб побачити, що їх стимулює. За іронією долі, неврологи, які проводять аналогічні експерименти на людському мозку (на кшталт моніторингу електричної активності, породженої вживанням кожного із десяти тисяч різних слів), вже почали використовувати нейронні мережі для створення мап та моделей їхніх результатів.

Таким чином, найбільша небезпека нейронних мереж полягає в їхній універсальності. Хай яка розумна ця технологія, їй байдуже, як її використовують. Ці мережі не відрізняються від ножа, пістолета чи бомби – вони гострі з двох боків, як і сам Інтернет.

Уряди багатьох держав з авторитарною формою правління ласо позирають на нейронні мережі, що можуть засвоювати мільйони облич, повідомляти про «сумнівні» висловлювання та виводити приховані схеми в накопиченій віртуальній активності своїх громадян. Очевидний кандидат – Китай, система фільтрування за ключовими словами та соціального кредиту якого сильно виграє від запровадження розумних алгоритмів. У 2016-му Facebook нібито почав розробляти таку «розумну» систему цензури в надії вивести її на великий китайський ринок. Це було огидне повторення того, як Sun Microsystems та Cisco колись змовилися створити Великий брандмауер Китаю.

Але щоб перетворити нейронну мережу на зло, не обов’язково потрібна авторитарна держава. Будь-хто може створити й навчити систему використовувати безкоштовні інструменти з відкритих джерел. Вибух інтересу до таких систем призвів до тисяч нових способів їхнього застосування. Деякі можна описати як «корисні», інші – як «дивні». Але окремі, незважаючи на те, що розроблені вони з найкращими намірами, справедливо називають «замудровано страшними».

Ми вже бачили, що навіть очевидним вигадкам («Світ плаский»; «Піцерія – таємна секс-в’язниця для неповнолітніх») легко набути розголосу по всьому Інтернету. Нейронні мережі можуть суттєво погіршити проблему створення так званих «глибинних фейків».

Так само вони здатні вивчати записані висловлювання, бази даних слів та звуків, щоб вивести складники мови – тон, ритм, інтонацію – і навчитися майже ідеально імітувати голос того, хто говорить. Ба більше: мережа може використовувати свою голосову майстерність для приблизної оцінки слів та фраз, яких вона ніколи не чула. Хвилинного аудіо достатньо, щоб ці системи вміло зімітували особливості мови людини. Протягом кількох годин вони доведуть її до досконалості.

Один такий стартап «синтезу мови» під назвою Lyrebird шокував світ у 2017-му, коли опублікував запис напрочуд переконливої й абсолютно фейкової розмови між Бараком Обамою, Гілларі Клінтон та Дональдом Трампом. Ще одна компанія презентувала інструмент редагування, який назвала «Фотошоп для аудіо», показавши, що змінити чи додати нові біти мови до аудіофайлу можна так само легко, як підправити зображення.