Detección computacional de discursos de odio en vídeos cortos para público joven: Comparación de la fiabilidad y el rendimiento de la clasificación humana y mediante modelos de aprendizaje automático en grupos estigmatizados en Instagram, YouTube y TikTok

Los enfoques computacionales para la detección automática del discurso de odio han experimentado un avance significativo con la aparición de los grandes modelos de lenguaje, pero la mayoría de los análisis se han realizado con datos textuales. En esta comunicación, abordamos estas deficiencias comparando la calidad de la identificación de diferentes tipos de discurso de odio en videos cortos que circulan entre el público joven, mediante codificadores manuales y dos modelos de lenguaje multimodales (MLLM) populares. Recopilamos vídeos de los principales influencers dirigidos a audiencias jóvenes en Instagram (nvideos=5.809, nscenes=47.365), YouTube (nvideos=11.048, nscenes=633.529) y TikTok (nvideos=7.308, nscenes=33.599) en España durante 2024. En primer lugar, seleccionamos una muestra de 600 vídeos de cada plataforma para analizarlos con las mismas instrucciones. Analizamos ocho tipos específicos de discurso de odio (racismo y xenofobia, LGBTQ+fobia, machismo, antigitanismo, islamofobia, antisemitismo, discriminación por apariencia y anticlimatismo) mediante dos codificadores manuales capacitados y dos modelos lineales mixtos (gemini-2.0-flash-lite y Qwen2.5-VL-7B). Estimamos la fiabilidad mediante el índice de concordancia intercodificadores y las métricas de rendimiento de los cuatro clasificadores. En segundo lugar, utilizamos Qwen para clasificar el conjunto de datos completo de escenas (duración promedio: 7,37 s en Instagram, 13,93 s en YouTube y 10,71 s en TikTok) con el fin de detectar el nivel de odio a gran escala. En todas las categorías de odio, encontramos que la concordancia entre Human1 y Human2 fue significativamente mayor (Kα = 0,34 a 0,69) que la concordancia entre Gemini y Qwen (Kα = -0,1 a 0,26). En cuanto a la concordancia entre humanos y modelos lineales multinivel (MLLM), y a pesar de la baja fiabilidad, observamos que los humanos tendían a concordar más con Gemini que con Qwen (Humano1 x Gemini: Kα = 0 a 0,5; Humano2 x Gemini: Kα = 0 a 0,6; Humano1 x Qwen: Kα = 0 a 0,2; Humano2 x Qwen: Kα = 0 a 0,3). De forma similar, las métricas de rendimiento mostraron una mayor capacidad predictiva en Humano1 x Humano2 (puntuaciones F1 = 0,35 a 0,75) en comparación con Gemini x Qwen (puntuaciones F1 = 0 a 0,3). Las métricas también fueron ligeramente mejores al comparar los resultados de humanos y Gemini (Humano 1 x Gemini: puntuaciones F1 de 0 a 0,5; Humano 2 x Gemini: puntuaciones F1 de 0 a 0,6) que al compararlos con Qwen (Humano 1 x Qwen: puntuaciones F1 de 0 a 0,3; Humano 2 x Qwen: puntuaciones F1 de 0 a 0,4). Utilizando Qwen, ampliamos el análisis a los vídeos cortos representados por todas las escenas del conjunto de datos y descubrimos que el machismo (odio y discriminación contra las mujeres) era la categoría de odio más relevante en las tres plataformas de redes sociales (Instagram = 8,1 %, YouTube = 9,1 % y TikTok = 11,1 %). Nuestros resultados muestran que la fiabilidad y el rendimiento de la detección de discursos de odio en videos cortos siguen siendo inferiores a los de intentos anteriores con datos textuales y que los humanos aún pueden realizar una mejor clasificación.