Un robot che capisce il linguaggio umano: il progetto MaGe della Fondazione Bruno Kessler

TRENTO. Un sistema robotico capace di afferrare oggetti seguendo istruzioni espresse in linguaggio naturale, scritto o parlato: è questa la sfida al centro di MaGe – Make Grasping Easy, un progetto di ricerca sviluppato dall’unità Technologies of Vision (TeV) della Fondazione Bruno Kessler e con il supporto del programma della Fondazione per la valorizzazione della ricerca trentina (Vrt) Caritro, che ha reso possibile l’acquisizione del braccio robotico.

L’obiettivo del progetto è rendere più autonomi e flessibili i sistemi robotici di grasping (procedura che permette ad un robot di determinare il sistema di presa di un oggetto), soprattutto in ambienti non strutturati, come quelli del mondo reale. Per farlo, MaGe integra tre ambiti tecnologici all’avanguardia: visione artificiale tridimensionale, robotica di precisione e modelli linguistici di grandi dimensioni (i cosiddetti Large Language Models).

Il funzionamento è innovativo: il sistema parte da una descrizione testuale e da una rappresentazione visiva dell’ambiente per riconoscere gli oggetti rilevanti, calcolarne la posizione nello spazio e pianificare i movimenti necessari. Il braccio robotico, guidato da queste informazioni, è in grado di eseguire operazioni di manipolazione in modo sicuro ed efficace, traducendo comandi in linguaggio naturale in azioni concrete.

“Il nostro obiettivo è studiare come il linguaggio possa diventare un mezzo efficace per controllare sistemi fisici, anche in contesti complessi – spiega il responsabile dell’unità Tev Fabio Poiesi – l’integrazione tra comprensione semantica e percezione spaziale rappresenta una sfida aperta nella robotica”.

Una delle difficoltà affrontate è la capacità limitata di gestire la dimensione dello spazio, e lo sviluppo di nuovi dataset e strategie dell’addestramento hanno proprio l’obiettivo di migliorare la comprensione delle relazioni geometriche tra oggetti e spazio tridimensionale.

Il sistema si basa su una telecamera 3d che crea una nuvola di punti, da cui vengono estratte informazioni sulla profondità e sul colore. Per garantire una manipolazione precisa, è stato sviluppato un processo di calibrazione tra il sistema di riferimento della telecamera e quello del braccio robotico, che può avvalersi anche di marker visivi.

L’obiettivo del sistema è ottenere una "posa target", una combinazione di posizione e orientamento ottimale per afferrare un oggetto. Il braccio robotico è in grado di calcolare autonomamente le traiettorie per raggiungere questa posa, evitando collisioni sia con l’ambiente circostante che con se stesso, grazie all’uso di algoritmi di cinematica inversa.

Il progetto include una telecamera industriale ad alta precisione, capace di rilevare dettagli con una tolleranza di appena 0,2 mm, e un braccio robotico che può sollevare carichi fino a 5 kg e raggiungere una lunghezza massima di 85 cm.

Il progetto rappresenta un esempio concreto di ricerca applicata all’intersezione tra linguaggio, visione e robotica, un’area ancora poco esplorata in Italia. L’attività dell’unità TeV ha l’obiettivo di contribuire alla definizione di nuove soluzioni per l’interazione tra esseri umani e macchine, in contesti sia industriali che sperimentali.