El viernes, la Organización de Seguros de Información de Italia anunció que prohibiría el uso de información personal de clientes italianos por parte de la empresa de chatbot de conciencia artificial (inteligencia basada en computadora) Replika, citando riesgos para menores y personas realmente sensibles.
Replika es una empresa con sede en San Francisco que se lanzó en 2017 y brinda a sus clientes íconos personalizados para promover el diálogo y la atención.
Ha sido ampliamente adoptado por hablantes nativos de inglés y es de uso gratuito; pero genera aproximadamente $ 2 millones por mes en ingresos por la venta de complementos como chats de voz.
El "acompañante virtual" se promociona como una herramienta que puede ayudar a que la riqueza ya sustancial del cliente crezca aún más.
El organismo de control italiano advirtió que esto "podría crear peligros para las personas que permanecen en una etapa formativa o en un estado de delicadeza cercano al hogar" debido a su mediación en el temperamento del cliente.
Según la jefa de Shield Computerized Me, Jen Persson, los dispositivos diseñados para afectar el bienestar mental o emocional de un niño deben clasificarse como productos de salud y estar sujetos a estrictas normas de seguridad.
“Estas herramientas se están usando con niños sin mucho monitoreo o seguridad contra un posible uso indebido”, dijo.
Los controladores italianos carecían de una opción de confirmación de edad, como canales para menores o un dispositivo de bloqueo si los usuarios no revelaban su edad.
Debido a que no se puede basar, ni siquiera tal vez, en un acuerdo que un niño no puede firmar, el perro guardián afirma que Replika viola las Directrices de protección europeas y cicla información personal ilegalmente.
Replika no respondió de inmediato a una solicitud de comentarios de Reuters.
El jefe de supervisión de la consultora Alvarez & Marsal, Robert Grosvenor, predijo que el organismo de control italiano no sería el principal controlador europeo en casos que involucran a empresas como Replika.
Cuando se le preguntó sobre el potencial de sesgo accidental y segregación provocado por los servicios y arreglos basados en inteligencia artificial no regulados, dijo: "Si bien la verificación de edad podría proporcionar medios para salvaguardar las reuniones más débiles, no aborda los peligros y daños que estos pueden subir".
La empresa estadounidense Luka Inc, que creó Replika, tiene 20 días para informar al gobierno italiano sobre los pasos que ha tomado para cumplir con los requisitos del gobierno o enfrentar una multa de hasta $ 21,8 millones, o hasta el 4% de sus ingresos anuales globales, según el comunicado.