Investigadors de la UPC, l’IRI i l’empresa Crisalix desenvolupen una tecnologia per reconstruir caps en 3D amb alta precisió a partir de tres imatges

Han creat un sistema basat en les xarxes neuronals profundes, que permet reconstruir caps humans en 3D a partir de tan sols tres fotografies, i que ajuda a planificar millor les intervencions de cirurgia estètica i recontructiva. L’article científic on es defineix el mètode ha estat acceptat a l’International Conference on Computer Vision d’enguany i es presentarà al Deep Learning Barcelona Symposium 2021, el 22 de desembre.
Disposar de models precisos del cap en 3D és fonamental en el plantejament d’una cirurgia estètica o reconstructiva, ja que ajuda a planificar millor la intervenció: els pacients poden valorar els efectes de la cirurgia abans d’entrar al quiròfan, i els cirurgians poden anar introduint modificacions fins a ajustar-se al resultat desitjat. Fins ara, aquests models s’obtenien a partir d’imatges d’escàner que l’equip mèdic pren del cap del pacient a través d’un sensor de profunditat, una tècnica que obliga a la presencialitat i que, amb el confinament derivat de la pandèmia per COVID-19, ha suposat un impediment en la programació d’aquest tipus d’intervencions.
Ara, investigadors de Crisalix, la Universitat Politècnica de Catalunya · BarcelonaTech (UPC) i l’Institut de Robòtica i Informàtica Industrial (IRI) —centre mixt del Consell Superior d’Investigacions Científiques (CSIC) i la UPC— presenten un sistema que permet reconstruir caps humans en 3D amb gran precisió a partir de només tres imatges. La tecnologia, coneguda com a H3D-Net, ha estat desenvolupada per l’investigador Eduard Ramon —en el marc del doctorat industrial que du a terme a l’empresa Crisalix—, amb l’assessorament dels professors de la UPC i l’IRI Xavier Giró i Francesc Moreno.
Segons explica Eduard Ramon, “la clau d’aquesta tecnologia és l’ús d’una representació 3D anomenada ‘superfície implícita’, que permet expressar formes molt més complexes que les representacions utilitzades fins ara. Aquest tipus de representació, combinada amb una xarxa neuronal profunda entrenada amb milers de casos, és el que permet obtenir reconstruccions 3D molt precises i robustes a partir de poques imatges”.
Tecnologia que ja s’aplica en intervencions mèdiques
Crisalix és una empresa de simulació estètica 3D, pionera en l’adopció i recerca d’aquestes tecnologies. Acull quatre doctorats industrials, tres d’ells en col·laboració amb la UPC i l’IRI. Justament, la maduresa del seu sistema va permetre que l’empresa pogués adaptar-se ràpidament als confinaments durant la pandèmia de COVID-19 i poder seguir oferint aquest servei, tal com explica l’investigador Xavier Giró, vinculat al Grup de Processament d’Imatge i Vídeo (GPI) de la UPC: “Els models 3D de la forma del cap han ajudat cirurgians plàstics i els seus pacients a planificar millor les seves intervencions en el context de la pandèmia, on no eren possibles les cites presencials. Així, el pacient es podia fer les fotografies ell mateix i li enviava al cirurgià, que creava el model 3D del cap del pacient”.
Giró avança altres aplicacions de l’eina més enllà del camp de la cirurgia estètica o reconstructiva, “com en el desenvolupament d’avatars virtuals per a la indústria de l’entreteniment o la venda de roba en línia”.
Presentació al Deep Learning Barcelona Symposium
La tecnologia H3D-Net, que es va presentar recentment a l’International Conference on Computer Vision, un dels esdeveniments més prestigiosos en l’àmbit de la visió per computador, es presentarà al Deep Learning Barcelona Symposium (DLBCN) 2021 el 22 de desembre, a les 10 h, a Sala d’actes de l’edifici Vèrtex de la UPC, al Campus Diagonal Nord, a càrrecde l’investigador Eduard Ramon.