Apple tratará de evitar falsos positivos en su escaneo de imágenes: reportará a usuarios con más de 30 fotos infractoras en iCloud

La semana pasada Apple dio a conocer su sistema de análisis en iCloud para identificar imágenes de maltrato infantil. Ahora, a través de un documento, la compañía detalló la forma en que esta herramienta funcionará y algo hasta ahora no mencionado, cuál será el límite de coincidencias posibles antes de que la cuenta del usuario sea reportada a las autoridades.

Recordemos: al momento de subir una imagen a iCloud, el dispositivo del usuario ejecutará un análisis para determinar que contenidos hay en ese archivo, similar a categorizar nuestras fotografías por lugar o ubicación. De ser coincidente con alguna denunciada como Material de Abuso Sexual Infantil (CSAM), esta será marcada con un ticket y llegando a un número determinado de reportes, la cuenta del usuario será dada de baja del servicio y se pasará la información a las autoridades.

Apple ofrece nueva información para conocer cómo funciona la herramienta

En un comunicado, la compañía aclara que estas acciones al usuario solo se tomarán cuando alcance el umbral de 30 tickets (por el momento) de imágenes marcadas con contenido de abuso infantil, esto para evitar el margen de error que pueda existir por el sistema.

Solamente cuando la herramienta notifica a Apple que el usuario rebasó el límite tolerado, será cuando puedan desencriptar esas imágenes, pero no el resto del contenido de la galería, únicamente aquellas que fueron marcadas como coincidencias. En este proceso, Apple puede acceder a un derivado de la imagen original, como a una versión de baja resolución en cada coincidencia.

Tras ser desencriptado, el material marcado es revisado por humanos quienes confirman es material reportado como CSAM, tras lo que se procede a deshabilitar la cuenta infractora y a reportarlo a las autoridades. Esto elimina el riesgo de que el sistema automáticamente realice la baja de algún usuario por error, pues en todas las etapas posteriores a la notificación de coincidencias una persona es la encargada de continuar o no el proceso.

Otra información que también se dio a conocer, es que la base de imágenes no puede ser alterada por Apple, pues se alimenta del material que por lo menos dos organizaciones dedicadas a la seguridad infantil identifican. Además, estas organizaciones no deben estar operando bajo la misma jurisdicción, es decir, bajo el mismo gobierno, porque de lo contrario el material es descartado y como último filtro se utilizan auditores que revisan todo el material que se quiere anexar.