La realidad virtual y la realidad aumentada avanzan a pasos gigantescos y para muestra de ello, un botón: alguien ha desarrollado una aplicación que permite escanear objetos de la vida real y "pegarlos" en Photoshop. Sí, tal como lo leen, la evolución del "copia y pega" ya está aquí.
El diseñador y programador Cyril Diagne, ex-director de la Licenciatura de Diseño de Medios e Interacción en la Escuela Cantonal de Arte de Lausana - ECAL y actual residente del proyecto Google Arts, es el responsable de este llamativo proyecto, reportan nuestros compañeros de España.
Su aplicación usa realidad aumentada y machine learning para tomar objetos de la vida real y llevarlos al entorno digital. Así se ve en acción:
El diseñador menciona que su software solo funciona con Photoshop, de momento, y no está disponible comercialmente, ya que aún está en proceso de desarrollo. Sin embargo, posteriormente, al finalizar el proceso, podría funcionar con más programas de edición.
Más importante aún, Diagne explica la "magia" detrás de su desarrollo. Primero está la aplicación desarrollada por el propio diseñador, muy adecuadamente llamada AR-CutPaste, que se encarga de escanear y copiar el objeto real. Luego está Screenpoint, la interfaz que hace posible la interacción entre la app y Photoshop para la sencilla, pero esencial tarea de pegar el objeto en el entorno digital.
The secret sauce here is BASNet (Qin et al, CVPR 2019) for salient object detection and background removal.
— Cyril Diagne (@cyrildiagne) May 3, 2020
The accuracy and range of this model are stunning and there are many nice use cases so I packaged it as a micro-service / docker image: https://t.co/jbAmO89cRy pic.twitter.com/DGe9IffPtS
En tercer lugar está el servicio de detección como tal del objeto y eliminación de fondo, BASNet -siglas para Boundary-Aware Salient Object Detection, una plataforma de redes neuronales de uso abierto y que se vale de machine learning para trasladar solo un objeto en vez de toda la imagen que la app ve con la cámara del dispositivo.
Diagne finaliza su explicación diciendo que todo el proceso tarda menos de 10 segundos en llevarse acabo: aproximadamente 2.5 segundos para cortar la imagen y aproximadamente 4 segundos para pegarla en Photoshop. Apunta que existen maneras de hacer el proceso aún más eficaz, pero hay que trabajar más a fondo en el desarrollo del software.
Así, este diseñador y programador muestra una gran aplicación de estas tecnologías y de las maravillas que pueden lograr con el correcto enfoque y desarrollo. Hasta dónde puede llegar la realidad aumentada, es algo que solo está limitado por la imaginación de los desarrolladores.
