Character.AI ha implementado nuevas funciones de seguridad y políticas para construir e interactuar con las personalidades virtuales impulsadas por IA que aloja. Las nuevas medidas tienen como objetivo hacer que la plataforma sea más segura para todos los usuarios, pero especialmente para los jóvenes. La actualización incluye más control sobre cómo los menores interactúan con el chatbot de IA, una mayor moderación de contenido y una mejor detección de la IA discutiendo temas como el autolesionismo.
Aunque no se menciona en la publicación del blog sobre la actualización, Character AI vinculó el anuncio en una publicación en X expresando condolencias a la familia de un joven de 14 años que pasó meses interactuando con uno de los chatbots de Character.AI antes de quitarse la vida. Su familia ahora ha presentado una demanda contra Character.AI por muerte injusta, citando la falta de salvaguardias para los chatbots de IA como un factor contribuyente a su suicidio.
Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más sinceras condolencias a la familia. Como empresa, tomamos la seguridad de nuestros usuarios muy en serio y seguimos agregando nuevas funciones de seguridad que puedes leer aquí:…23 de octubre de 2024
Guardabarrreras de chat de IA
La publicación de Character AI detalló varias nuevas funciones de seguridad para la plataforma. Por ejemplo, si el modelo detecta palabras clave relacionadas con el suicidio o el autolesionismo, mostrará un mensaje emergente instando al usuario a llamar a la Línea Nacional de Prevención del Suicidio y recursos relacionados. La IA también será mejor para detectar y eliminar contenido inapropiado en una conversación, con una sensibilidad particular cuando los usuarios tienen menos de 18 años.
Presumiblemente, los menores ya tendrían contenido restringido en las conversaciones, pero Character.AI podría haber aumentado esa sensibilidad aún más. En casos donde eso podría no ser suficiente, se han eliminado chatbots enteros.
“Realizamos la detección y moderación proactivas de Personajes creados por usuarios, incluido el uso de listas de bloqueo estándar de la industria y personalizadas que se actualizan regularmente. De manera proactiva, y en respuesta a informes de usuarios, eliminamos Personajes que violan nuestros Términos de Servicio”, explicó Character.AI en su publicación. “Los usuarios pueden notar que recientemente eliminamos un grupo de Personajes que han sido marcados como violatorios, y estos se agregarán a nuestras listas de bloqueo personalizadas en el futuro”.
Otras nuevas funciones se enfocan más en ayudar a los usuarios a mantenerse enfocados. Por lo tanto, verás una notificación cuando hayas pasado una hora en la plataforma preguntando si quieres seguir como una forma de asegurarte de que no pierdas la noción del tiempo. También verás avisos más prominentes que enfatizan que la IA no es una persona real. Ya existen tales avisos en las conversaciones, pero Character.AI quiere hacer imposible ignorarlos.
Estas funciones de seguridad son el reverso de cómo Character.AI ha logrado que interactuar con los chatbots se sienta más como hablar con una persona real, incluidas las voces y las conversaciones de voz bidireccionales disponibles con la función de Llamadas de Personajes. Sin embargo, es probable que la empresa esté ansiosa por garantizar que sus servicios sean lo más seguros posible, y sus movimientos podrían influir en cómo otros en el espacio dan forma a sus propios personajes de chatbot de IA.
También te puede interesar…