¿Por qué los robots son mejores moderando chats que los humanos?
La iniciativa de Google para financiar proyectos innovadores de medios impresos digitales, Digital News Initiative (DNI), acaba de publicar los resultados de su primer año, y entre los muchos proyectos interesantes se encuentra uno de los principales periódicos españoles El País que adaptó un algoritmo al español llamado Perspective, creado por Jigsaw para la moderación de comentarios en linea.
algoritmo facilita la gestión de la sección de comentarios de los sitios web populares a través de un filtro dinámico capaz de entender si un comentario es tóxico, y si es así, envía un mensaje en tiempo real al autor sugiriendo que realicen cambios, si no lo hacen, se pasará el comentario para su revisión manual antes de su publicación. La versión creada por El País, además de entrenar el algoritmo con su extensa base de datos de comentarios en español, también ha generado un procedimiento para enviar comentarios potencialmente tóxicos a revisores experimentados.
El uso de revisores humanos para moderar los comentarios en los sitios de noticias populares ya no es práctico, mientras que los comentarios moderados potencialmente exponen a los medios a problemas legales, además de crear una atmósfera tóxica. En lospequeños sitio, usan una lista blanca para los contribuyentes regulares que se mantienen dentro de los límites de los buenos modales, junto con la supervisión manual de los demás, así como una lista negra para los reincidentes, pero este enfoque solo es posible con una página relativamente pequeña, que genera alrededor de 24 comentarios por entrada. Si la cantidad de comentarios aumenta a cientos o miles como ocurre en muchos medios, la supervisión manual se vuelve muy costosa y casi imposible de tratar de manera eficiente.
¿Puede un algoritmo de aprendizaje automático realmente distinguir entre comentarios tóxicos y, por ejemplo, ironía, sarcasmo o sátira? Hasta el momento, los resultados no son 100% perfectos, pero los signos indican que esto es perfectamente posible y funciona de manera mucho más eficiente que usar a los humanos, al tiempo que permite clasificar los comentarios en categorías tales como ataques a la identidad de las personas, insultos, blasfemias, amenazas, sexualmente. Contenido explícito, y flirteo o acecho. Además, este es un algoritmo que aprende a medida que los revisores humanos agregan comentarios moderados con resultados positivos o negativos.
Las implicaciones de usar AI para moderar las secciones de comentarios son muy variadas: de alguna manera, estamos diciendo que la mejor manera de controlar una actividad humana de este tipo no es con un policía humano, sino con un robot de combate. En otras palabras, si realmente queremos controlar un foro, no le dejemos el trabajo a las personas, sino a los algoritmos infatigables. El algoritmo es de código abierto y ya está disponible en Github para otros medios que quieran probarlo.
https://github.com/conversationai/perspectiveapi/blob/master/api_reference.md#experimental