В «Одноклассниках» заработал ИИ, который будет запрещать комментировать посты пользователям, пишущим «токсичные» фразы

Соцсеть «Одноклассники» отчиталась о внедрении нейросетей для борьбы с «токсичным» контентом. Сообщение об этом появилось в корпоративном блоге компании (дочерняя фирма VK Group). Пользователей, которые веду себя недостаточно дружелюбно, лишают возможности комментировать посты (вводят «мьют»).

Как отметили в фирме, запущенный алгоритм начал временно ограничивать права пользователей писать комментарии, если их заметили за «оскорблениями». В процессе внедрения использовалась модель, созданная с применением «машинного обучения». Согласно пресс-релизу, алгоритм способен автоматически выявлять «токсичные комментарии» и вводить ограничения против авторов. Продолжительность такого «мута» может составлять от одного часа до суток, в зависимости от того, «как часто пользователь оставляет негативные высказывания в адрес других».

Причиной такого решения в компании назвали злость, которая возникает у более чем 40% пользователей соцсети, когда те видят негативные посты в интернете. Нейросети показали 400 тысяч высказываний, которые «можно описать как недружелюбные или провоцирующие негативную дискуссию». 

В фирме утверждают, что количество «токсичных и нежелательных» комментариев сократилось на 47% под постами, фотографиями и видео, где запустили новый алгоритм. Более того, как хвастаются в «Одноклассниках», новая система позволила сократить время обработки жалоб со стороны модерации в три раза. 

Как рассказал директор по продукту фирмы Александр Москвичёв, модель обучали более года. Он признаёт, что систему разработали в надежде вернуть пользователей, которые стали редко заходить в «Одноклассники»: в фирме уверены, что из соцсети уходят именно из-за токсичной среды. Более того, разработчики надеются, что более строгая модерация привлечёт новых пользователей. 

«Мы видим по запросам пользователей, что у нашей аудитории есть потребность в пространстве для безопасного и уважительного общения: треть всех жалоб на платформе связаны с негативными, по мнению пользователей, комментариями, а 80% обращений в службу поддержки по поводу комментариев нацелены против “токсичности”. Мы обучали эту модель больше года и продолжим совершенствовать её в дальнейшем», — говорит Москвичёв.

Недавно соцсеть также начала автоматически скрывать нецензурные слова и размывать изображения «эротического характера». Помимо прочего, нейросети удаляют посты, которые считают изображающими «сцены насилия».