Випускниця УКУ створила ШІ для виявлення ворожої пропаганди

Випускниця Українського католицького університету Вікторія Маковська створила ШІ, який допомагає виявляти приховану російську пропаганду у Вікіпедії. Про це пише «Mind.ua».

Модель фокусується не на очевидних фейках, а на тонких мовних маркерах: зміщенні акцентів, легітимізації сумнівних фактів тощо. Наразі в Україні, на жаль, досі найпопулярнішою версією інтернет-енциклопедії залишається російськомовна. Це створює ризик потрапити під вплив російської пропаганди. Хоч Вікіпедія і має систему автоматичної модерації, вона не спрямована на виявлення тонких текстових маніпуляцій, а фокусується на очевидних помилках та проявах вандалізму.

Відповідно, Маковська сфокусувалася на машинному аналізі спроб поширення дезінформації. Наразі модель поки що працює з енциклопедичними текстами, але її підхід має також потенціал для застосування у телеграм-каналах чи новинних стрічках, де пропаганда часто подається під маскою «альтернативної думки».

Навіть з тим, як модератори Вікіпедії намагаються дотримуватися нейтральності, автоматизовані системи можуть допомогти людям робити це швидше та ефективніше. Найменше, що ми можемо зробити, — це знайти докази просочування російської пропаганди у Вікіпедію, показати, яку форму ці наративи мають, а найкраще — створити систему, яка зможе такі кейси визначати, — розповідає Вікторія Маковська.

Навчання моделі

Розробку навчали на власному наборі даних, що містив приклади пропагандистських і нейтральних текстів з Вікіпедії. Система не займається пошуком фейків самостійно. Вона працює за такою схемою: на вхід подається конкретна зміна, яку хтось хоче внести до статті у Вікіпедії. Модель аналізує цю зміну й видає оціночний бал, наскільки ця правка є деструктивною. Оцінити ефективність ШІ в таких складних темах, як виявлення пропаганди, непросто. Для аналізу Маковська зібрала всі зміни в українській і російській Вікіпедії за 2022—2023 роки на основі певного списку статей. Основну увагу було приділено відхиленим змінам, адже саме вони найчастіше містили маніпулятивні або шкідливі елементи.

У дослідженні також використовувався дзеркальний варіант російської Вікіпедії — «RuWiki Fork», у якій знаходилися різні фрагменти тексту, що виправдовували російську окупацію. Якщо модель помічала фрагмент, якого не було в оригінальній Вікіпедії, це був сигнал, що відбулася підозріла правка. Наразі модель демонструє стійку здатність виявляти спотворення тексту, однак повністю на неї покладатися поки що не можна. Зокрема, ось деякі цитати, які модель визнала маніпулятивними з імовірністю понад 50%:

• «Харцизьк […] місто, що любить росію».

• «Частина росії після загальнонаціонального референдуму».

• «З 1 березня 2022 року перебуває під контролем російської федерації».

Наразі система ще не може аналізувати всю Вікіпедію. Крім того, проєкт мав дослідницький характер, тому не передбачав створення повноцінного користувацького інтерфейсу. Поки що йдеться лише про прототип.

Зараз у нас немає окремої програми з графічним інтерфейсом — лише скрипти і модель, які працюють із великими масивами даних. Проте в майбутньому планується створити зручний інструмент для модераторів, де вони бачитимуть виділені системою підозрілі редагування, щоб оперативно їх перевіряти, — зазначає дослідниця.

Модель уже була протестована на телеграм-каналах із пропагандистським і нейтральним контентом. Результати показали, що система може коректно розпізнавати ознаки дезінформації і, відповідно, вийти за межі лише енциклопедичних матеріалів, що відкриває перспективи для подальшого розвитку.

Титульне фото: Rebel Red Runner/Shutterstock.com.