Durante su formación para convertirse en moderador de contenido de TikTok, Nasser esperaba enfrentarse a material inquietante. Pero se sorprendió cuando a él y a otros en su clase se les mostraron imágenes de niños sexualmente explícitas y sin censura.
Nasser, que trabajaba para Teleperformance, una empresa de terceros que modera contenido para el gigante de las redes sociales, había sido asignado a un proyecto especial: enseñar a la Inteligencia Artificial (IA) de TikTok a detectar lo peor de lo peor publicado en la aplicación. Apenas unos días después de la incorporación, a él y a sus colegas se les mostraron imágenes gráficas y videos de niños involucrados en actos sexuales (material que se había eliminado de TikTok).
«Tengo una hija y no creo que sea correcto. Somos un montón de extraños viendo esto», dijo a Forbes Nasser, quien dejó Teleperformance en 2020. «No creo que deban usar algo así para entrenar«. (Su apellido y algunos otros en esta historia se han omitido por razones de privacidad).
Whitney Turner, quien trabajó para el programa TikTok de Teleperformance en El Paso durante más de un año y se fue en 2021, también cuenta que le mostraron imágenes de explotación sexual de niños como parte de su capacitación. A Whitney se le dio acceso a una hoja de cálculo compartida que —según explicaron a Forbes ella y otros exempleados— está llena de material que se determinó que viola las pautas de la comunidad de TikTok, incluidos cientos de imágenes de niños desnudos o abusados.
Los exmoderadores dijeron que el documento, llamado «DRR» (Lectura Diaria Requerida, por sus siglas en inglés) todavía era completamente accesible para los empleados tanto de Teleperformance como TikTok este mismo verano. Si bien algunos moderadores que trabajaban en funciones no relacionadas no podían ver este material, las fuentes han explicado a Forbes que cientos de personas en ambas compañías tenían acceso gratuito al documento. El DRR y otros materiales de capacitación se almacenaron en Lark, un software interno para el lugar de trabajo desarrollado por la empresa matriz de TikTok con sede en China, ByteDance.
Whitney estaba tan horrorizada por el manejo del material que informó al FBI y se reunió con un agente en junio. El FBI no ha respondido a las múltiples solicitudes de comentarios sobre si investigará el asunto. «Estaba moderando y pensando: Este es el hijo de alguien. Esta es la hija de alguien. Y estos padres no saben que tenemos esta foto, este video, este trauma, este crimen guardado», explica Whitney a Forbes. «Si los padres supieran eso, estoy bastante seguro de que quemarían TikTok».
«Los padres no saben que tenemos esta foto, este video, este trauma, este crimen. Si los padres supieran eso, estoy bastante seguro de que quemarían TikTok».
Whitney Turner, exmoderadora de TikTok
El presidente global de confianza y seguridad de Teleperformance, Akash Pugalia, ha dicho a Forbes que la compañía no usa videos con contenido explícito de abuso infantil en la capacitación, y que no almacena dicho material en sus «herramientas de calibración». Sin embargo, no ha aclarado cuáles son esas herramientas o lo que hacen. Y se ha negado a responder una lista detallada de otras preguntas sobre cuántas personas tienen acceso a material de abuso sexual infantil a través de DRR y cómo Teleperformance salvaguarda estas imágenes.
TikTok no está solo en su lucha por eliminar el material de abuso sexual infantil. Las plataformas de redes sociales más poderosas del planeta han utilizado durante mucho tiempo el aprendizaje automático y revisores humanos externos para capturar y eliminar dicho contenido antes de que se comparta ampliamente, y muchas empresas trabajan con el Centro Nacional para Niños Desaparecidos y Explotados, o NCMEC (National Center for Missing & Exploited Children), para alertar aplicación de la ley de tales imágenes problemáticas en sus aplicaciones.
Sin embargo, lo que es único es la forma en que TikTok y sus consultores externos manejan este material: un enfoque que, según los expertos, es torpe y arrogante en el mejor de los casos; y dañino y retraumatizante en el peor. Dicen que mostrar imágenes sexuales de niños en entrenamiento de moderación de contenido, censurados o no, solo los vuelve a victimizar. Y almacenar las imágenes en un documento ampliamente accesible es imprudente e innecesario.
El portavoz de TikTok, Jamie Favazza, dice que los «materiales de capacitación de la empresa tienen controles de acceso estrictos y no incluyen ejemplos visuales de MASI», pero admite que trabaja con empresas de terceros que pueden tener sus propios procesos. TikTok se ha negado a responder preguntas sobre cuántos empleados tienen acceso al DRR y dónde está alojado el documento. La empresa matriz de TikTok, ByteDance, proveedora de la plataforma Lark, tampoco ha contestado a las repetidas solicitudes de comentarios.
Libre no vale
Las imágenes de abuso y explotación infantil son ilegales y existen reglas estrictas para manejarlas cuando se descubren. El material debe retirarse inmediatamente y reportarse a CyberTipline del NCMEC, donde el personal luego analiza los archivos y trabaja para rastrear de dónde provienen, de modo que puedan alertar a la agencia de aplicación de la ley correspondiente.
Una vez que una empresa ha informado este material al NCMEC, por ley se le otorga inmunidad para retenerlo durante 90 días para ayudar a las autoridades. Pero la ley federal requiere explícitamente que las empresas «reduzcan al mínimo la cantidad de empleados a los que se les proporciona acceso» a ese contenido, «mantengan los materiales en un lugar seguro» y «se aseguren de que cualquier representación visual se destruya permanentemente.»
Los principales expertos legales y de seguridad online explican que hacer que el contenido abusivo y explotador con menores esté ampliamente disponible para los trabajadores de Teleperformance y TikTok con protecciones laxas va en contra de ese mandato y podría cruzar la línea de un problema de seguridad o privacidad a un crimen.
«Tienes que tener parámetros increíblemente estrictos sobre cómo se mantiene, cómo se ve, cómo se comparte. No es algo que puedas guardar en un ordenador o en un archivo de capacitación», dice la asesora general de NCMEC, Yiota Souras. Souras explica que dependiendo de cómo la compañía preserva y protege el contenido, quién tiene acceso a él, y cómo se distribuye, descarga o replica, la forma de manejar el material de abuso sexual infantil puede ser un delito «¿Qué tan bloqueado está? Libre no vale», dice Souras.
Favazza, de TikTok, explica: «Nuestro objetivo es minimizar la exposición de los moderadores de acuerdo con las mejores prácticas de la industria». Teleperformance no respondió cuando se le preguntó si TikTok había proporcionado a Teleperformance pautas para manejar material de abuso infantil. Pugalia, el líder de confianza y seguridad de la compañía, solo dijo que Teleperformance cumple con las leyes aplicables dondequiera que opere.
«Usar ejemplos de la vida real y exponer esos ejemplos a generaciones de nuevos empleados, eso me parece irresponsable».
David Vladek, exdirector de la Oficina de Protección al Consumidor de la FTC
David Vladek, director de la facultad del Centro de Privacidad y Tecnología de Georgetown Law, añade que si bien es importante que las empresas capaciten a sus empleados y contratistas para que reconozcan las publicaciones que están fuera de los límites, no deberían usar contenido extraído de la plataforma para hacer eso.
«No es difícil idear herramientas de enseñanza que ayuden al personal a delinear entre lo que está bien y lo que no«, apunta Vladek, exdirector de la Oficina de Protección al Consumidor de la Comisión Federal de Comercio. «Pero usar ejemplos de la vida real y exponer esos ejemplos a generaciones de nuevos empleados, eso me parece irresponsable».
Guardianes de Internet
Teleperformance es un titán mundial de servicio al cliente que existe desde la década de 1970. La compañía experimentó un crecimiento récord el año pasado, recaudando más de 8 mil millones de dólarees en ingresos. Cuenta con unos 1,000 clientes que abarcan casi todos los sectores, desde atención médica hasta hotelería, comercio minorista y telecomunicaciones, y solo recientemente agregó las redes sociales a su cartera.
Teleperformance lanzó su brazo «Confianza y seguridad» en 2019, y su programa de moderación con sede en El Paso, Texas, con TikTok, estaba en vivo a fines de ese año, según los ex moderadores que se incorporaron en ese momento. (Ninguna de las compañías dijo cuándo comenzó el contrato). La asociación es una pluma en la gorra de un negocio de décadas ansioso por demostrar que se mantiene al día. El informe anual más reciente de la compañía promociona su asociación con «la plataforma de video de más rápido crecimiento en el mundo» y dice que muchos de sus empleados ahora se hacen llamar «Guardianes de Internet».
Teleperformance le dijo a Forbes que tiene un proceso de reclutamiento integral para moderadores de contenido y que está comprometido con su bienestar. Pero las conversaciones con exempleados revelan hasta qué punto los moderadores estaban poco capacitados y sobrecargados de trabajo.
A medida que TikTok creció rápidamente y aumentó el volumen de contenido en la plataforma, la empresa comenzó a asignar más y más tareas de moderación a Teleperformance, según Richard, exmoderador y supervisor en El Paso que dejó la empresa en julio después de casi tres años allí. Describió un departamento de capacitación caótico plagado de problemas de comunicación y alta rotación que a menudo dejaba a empleados jóvenes o sin experiencia al frente del trabajo. TikTok «apenas tiene control sobre el entrenamiento que se lleva a cabo ahora», dice Richard. Y Teleperformance está «en este punto en el que no pueden administrarlo de manera adecuada o correcta… Simplemente están abrumados».
Angel, quien trabajó en Teleperformance en El Paso desde febrero de 2020 hasta diciembre de 2021, primero como moderador de contenido y luego como gerente, se hizo eco de esos sentimientos y señaló que el brazo de moderación de Teleperformance simplemente no podía manejar el crecimiento explosivo de TikTok. «Estaban bastante dispersos, eso es seguro, al menos en el departamento de capacitación», apunta.
A medida que Teleperformance intensificó su trabajo con TikTok, los moderadores a menudo fueron capacitados y dirigidos por supervisores y otros superiores que no tenían las autorizaciones adecuadas, según Angel. Mientras los capacitadores se apresuraban a traer más moderadores, «fueron presionados por la gerencia para seguir adelante y ayudar a la gente», incluso con una preparación inadecuada, explicó.
Whitney agregó que cuando preguntó a sus jefes «por qué no podíamos ser transparentes con TikTok para hacerles saber que necesitábamos más tiempo y capacitación, me dijeron repetidamente que era porque el contrato estaba firmado [y] se esperaba que cumplieramos con el contrato, o simplemente nos reemplazarían con personas que pudieran hacerlo».
Lectura Diaria Requerida
El llamado «DRR» es uno de varios archivos que los moderadores de TikTok han utilizado como recurso en el trabajo. Ni TikTok ni Teleperformance confirmaron si todavía existe, pero tres exmoderadores que se fueron en mayo, junio y julio pasados dijeron que el DRR estaba en uso cuando se fueron.
Angel y otros exempleados describieron el DRR como una hoja de cálculo llena de ejemplos de contenido infractor que se había eliminado de TikTok. Los moderadores dijeron que recibieron instrucciones de volver a consultarlo para obtener orientación sobre cómo «etiquetar» qué políticas violó ese material. La hoja de cálculo tenía varias pestañas para diferentes tipos de contenido: una relacionada con organizaciones terroristas, otra con desnudez, por ejemplo. El material de abuso sexual infantil también recibió su propia pestaña designada, dice Angel.
Whitney calcula que las imágenes, videos y descripciones de abuso sexual infantil constituían aproximadamente una cuarta parte de la hoja de cálculo, que contenía miles de ejemplos de material violatorio. Ella creía que el DRR se remontaba a cuando TikTok introdujo Teleperformance por primera vez. Marjorie Dillow, quien hasta mayo trabajó como moderadora para otro centro de Teleperformance en Boise, Idaho, se fue con una impresión similar. «Realmente no eliminan nada de ese DRR», dijo.
Con toda esta información, TikTok ha dicho a Forbes que no tiene suficientes detalles para confirmar la existencia de la DRR o responder una lista de preguntas al respecto. Teleperformance también se negó a responder una lista de consultas sobre el documento. Tampoco dijo cuántas personas y empresas tienen acceso a él, dado que vive en el software Lark de ByteDance, y ByteDance ha tenido acceso a los datos de TikTok de EE UU en el pasado, o qué empresa controla el acceso al material. Tampoco dijeron qué tan atrás se encuentran los ejemplos de material de abuso sexual infantil en la RRD, y qué proceso podría haber para purgarlo 90 días después de informarlo, como lo exige la aplicación de la ley.
Si bien aún no existe un conjunto común de mejores prácticas de la industria para manejar este material, el líder de Tech Coalition, un grupo que lucha contra el abuso sexual infantil en línea que cuenta con TikTok como miembro, dijo que existe un marco.
«Hay ciertas leyes que son una especie de líneas claras, como que tienes que mantenerlo durante 90 días, tiene que ser embargado, una vez que te enteras, debes informarlo al NCMEC, generalmente es un delito grave poseer estas cosas», explica Sean Litton, director ejecutivo de la coalición. Pero «cada empresa ha establecido su propia forma de procesarlo«.
«Debido a que la Corte Suprema y todos los demás han reconocido que los sujetos de este contenido son revictimizados cada vez que alguien lo mira, no debe ser discutido a la ligera».
Mary Graw Leary, exfiscal federal
La exfiscal federal Mary Graw Leary, experta en pornografía infantil y explotación que anteriormente ayudó a liderar el trabajo legal del NCMEC, dice que el material de abuso sexual infantil debe tratarse como «contrabando», como armas o drogas. «Si te encuentras con drogas en el lugar de trabajo o en la escuela, y eres subdirector, no las pondrías en tu escritorio y las sacarías en la próxima reunión de profesores para decir: ‘Así es como se ve la cocaína», explicaa. «Del mismo modo, debido a que la Corte Suprema y todos los demás han reconocido que los sujetos de este contenido son revictimizados cada vez que alguien lo mira, no debe ser discutido de manera liviana».
Sobre cuántas personas tienen acceso a la hoja de cálculo DRR, Angel estima que cientos de personas solo en la oficina de El Paso y potencialmente cualquiera que trabaje con TikTok en otras ubicaciones de Teleperformance en EE UU, así como los propios empleados de TikTok. Angel también señala que a pesar de que el sitio de El Paso es «un tipo de oficina sin papel» donde los moderadores atrapados con un teléfono «serían despedidos automáticamente», el trabajo remoto durante la pandemia hizo que esas medidas de privacidad y seguridad fueran más difíciles de aplicar. El setenta por ciento de los 420.000 empleados de Teleperformance trabajaron desde casa en 2021, según el informe anual más reciente de la empresa.
Nasser añade que los empleados remotos podrían acceder a esta hoja de cálculo confidencial desde casa. «Si alguien quisiera, podría levantar su teléfono y simplemente comenzar a grabar lo que sea que esté viendo», dijo. «[Podían] enviárselo a sus amigos o a sus amigos o a quien quisieran. No creo que tengan forma de rastrear nada de esto en Teleperformance».
La exmoderadora AnaSofia Lerma explica a Forbes que a pesar de que le mostraron un video sexual de un niño durante el entrenamiento, nunca se encontró con dicho material mientras trabajaba. Se preguntó por qué se le había pedido que lo viera en primer lugar. «No creo que fuera necesario en absoluto», dijo Lerma, quien trabajó en Teleperformance en 2020. «Si alguien más lo sube, simplemente debería eliminarlo y borrarlo de la existencia. … Me pregunté, ‘¿Por qué están guardando estos videos?. Honestamente tuve que tomarme unos minutos libres».
Whitney, de la oficina de El Paso, dice que aprovechó la oportunidad de ganar 18,50 dólares por hora en Teleperformance, una mejora de un salario anterior de 16 dólares por hora trabajando para una empresa que renueva Walmarts. Un reclutador le dijo a Whitney que sería como «una oficial de policía para TikTok», y la perspectiva de proteger a las personas la entusiasmó. Pero después de pasar poco más de un año en Teleperformance, «he estado luchando para funcionar correctamente», dijo Whitney. Con frecuencia pierde el hilo de sus pensamientos, se llena de rabia al azar y tiene sentimientos de suicidio.
Nasser, un veterano con trastorno de estrés postraumático relacionado con el combate, también ha tenido problemas, ya que algunas de sus experiencias en Teleperformance han resultado ser más desafiantes que su tiempo con el ejército de EE UU. En cuanto a los videos gráficos de los niños que se vio obligado a ver para conseguir el trabajo, dijo: «Solo hablar de eso, mencionarlo solo, sería suficiente». «Sé lo que vimos, y fue bastante horrible», le dijo a Forbes. «No deberíamos haber tenido que ver nada de eso».
