Minority report style interfaces just took a step closer to reality

Minority report style interfaces just took a step closer to reality

Minority report style interfaces just took a step closer to reality

Minority Report has a lot to answer for, not least the stimulus given to a million articles like this about the future of the human-machine interface. Controlling internet-connected devices with gesture and voice is widely seen as the future but nothing has come close to the slick air interface imagined in Steven Spielberg’s 2002 movie.

Google hasn’t cracked it either – but it’s got something that has potential and it’s already inside an actual product, the Pixel 4 phone.

It’s disarmingly simple too and stems from the idea that the hand is the ultimate input device. The hand, would you believe, is “extremely precise, extremely fast”, says Google. Could this human action be finessed into the virtual world?

Google assigned its crack Advanced Technology and Projects team to the task and they concentrated research on radio frequencies. We track massive objects like planes and satellites using radar, so could it be used to track the micro-motions of the human hand?

Turns out that it can. A radar works by transmitting a radio wave toward a target and then the receiver of that radar intercepts the reflected signal from that target. Properties of the reflected signal include energy, time delay and frequency shift which capture information about the object’s characteristics and dynamics such as size, shape, orientation, material, distance and velocity.

The next step is to translate that into interactions with physical devices.


Google did this by conceiving Virtual Tools: a series of gestures that mimic familiar interactions with physical tools. Examples include a virtual dial that you turn as if miming turning a volume control. The virtual tools metaphor, suggests Google, makes it easier to communicate, learn, and remember interactions.

While virtual, the interactions also feel physical and responsive. Imagine a button between thumb and index finger. It’s invisible but pressing it means there is natural haptic feedback as your fingers touch. It’s essentially touch but liberated from a 2D surface.

“Without the constraints of physical controls, these virtual tools can take on the fluidity and precision of our natural human hand motion,” Google states.

The good news doesn’t end there. Turns out that radar has some unique properties, compared to cameras, for example. It has very high positional accuracy to sense the tiniest motion, it can work through most materials, it can be embedded into objects and is not affected by light conditions. In Google’s design, there are no moving parts so it’s extremely reliable and consumes little energy and, most important of all, you can shrink it and put it in a tiny chip.

Google started out five years ago with a large bench-top unit including multiple cooling fans but has redesigned and rebuilt the entire system into a single solid-state component of just 8mm x 10mm.

That means the chip can be embedded in wearables, phones, computers, cars and IoT devices and produced at scale.

Google developed two modulation architectures: a Frequency Modulated Continuous Wave (FMCW) radar and a Direct-Sequence Spread Spectrum (DSSS) radar. Both chips integrate the entire radar system into the package, including multiple beam-forming antennas that enable 3D-tracking and imaging.


It is making available an SDK to encourage developers to build on its gesture recognition pipeline. The Soli libraries extract real-time signals from radar hardware, outputting signal transformations, high-precision position and motion data and gesture labels and parameters at frame rates from 100 to 10,000 frames per second.

Just imagine the possibilities. In the Pixel 4, Soli is located at the top of the phone and enables hands-free gestures for functions such as silencing alarms, skipping tracks in music and interacting with new Pokémon Pikachu wallpapers. It will also detect presence and is integrated into Google’s Face Unlock 3D facial-recognition technology.

Geoff Blaber, vice president of research for the Americas at analyst CCS Insight, says it’s unlikely to be viewed as game-changing but that marginalises the technology and Google’s ambition for it.

In fact, this radar-based system could underpin a framework for a far wider user interface for any or all digital gadgets. It could be the interface which underpins future versions of Android.

Google has hinted as much. In a web post, Pixel product manager Brandon Barbello said Soli “represents the next step in our vision for ambient computing”.

“Pixel 4 will be the first device with Soli, powering our new Motion Sense features to allow you to skip songs, snooze alarms, and silence phone calls, just by waving your hand. These capabilities are just the start and just as Pixels get better over time, Motion Sense will evolve as well.”

This is a way of describing the volume of internet-connected devices likely to be pervasive in our environment – particularly the smart home – over the next few years. Everything from voice-activated speakers to heating, light control, CCTV and white goods will be linked to the web.

Google makes a bunch of these (from smoke detectors to speakers under its Nest brand) and wants to link them up under its operating system (self-fuelling more data about individuals to refine the user experience). The battle for the smart home will also be fought between Microsoft, Apple, Samsung and Amazon. Soli may be the smart interface that links not just Google products, but perhaps all these systems together.

Of course, it’s early days. The virtual gestures may be intuitive, but we still have to learn to use them; our virtual language needs to be built up. Previous gesture recognition tech like the IR-driven Kinect and the Wii have proved to be an interesting novelty but clunky in practice. Gesture will work best when combined fluently with voice interaction and dovetailed with augmented reality so that we can view and manipulate text, graphics, even video, virtually.

Just like Minority Report – except without the gloves which Tom Cruise’s PreCrime detective wore.

It couldn’t get everything right.





source: https://www.redsharknews.com/technology/item/6724-minority-report-style-interfaces-just-took-a-step-closer-to-reality

La prima operazione con gli ologrammi: salvata bimba con un tumore al cuore

Bimba ha un tumore al cuore: salvata a Milano con il primo intervento con gli ologrammi.

I medici durante l’operazione hanno usato una copia perfetta del cuore della bimba. 


La caduta durante una tranquilla giornata in campagna. La corsa all’ospedale più vicino, in Albania, e il tragico referto dei dottori: una grossa massa tumorale, 5 centimetri per 3, proprio accanto al cuore. Quindi la decisione dei genitori di venire in Italia per dare una possibilità alla loro piccola. Una possibilità che è diventata realtà a Milano.

Miracolo dei medici del Policlinico di San Donato, che sono riusciti a rimuovere un tumore dal cuore di una bimba di sei anni – la piccola Melissa – grazie al primo intervento messo a segno in Italia con l’utilizzo della realtà aumentata.

Si trattava, spiegano dall’ospedale meneghino, di un “tumore al cuore che si manifesta improvvisamente, una diagnosi terribile per una patologia rara definita inoperabile. L’intervento era molto rischioso, la possibilità di intaccare e danneggiare i tessuti circostanti al tumore era alta e la letteratura scientifica – proseguono dalla clinica – è stata di poco aiuto, poiché i casi descritti sono rarissimi”.


Eppure al Policlinico l’équipe guidata dal dottor Alessio Giamberti – responsabile di cardiochirurgia delle patologia congenite – ha trovato il modo di salvare la vita a Melissa. L’intuizione vincente di Giamberti e del dottor Massimo Chessa è stata quella di ricostruire il cuore compromesso di Melissa mediante ologramma, “tecnologia molto performante e plasmabile”.

Gli ingegneri biomedici del Politecnico di Milano – Francesco Sturla, Filippo Piatti, Omar Antonio Pappalardo e Giovanni Rossini – hanno creato una copia perfetta del cuore della bimba permettendo così, ricostruiscono dall’ospedale, “di simulare l’intervento, prima in laboratorio e poi in sala operatoria”.

L’intervento per la rimozione del tumore è perfettamente riuscito, così come il secondo intervento per il posizionamento di un defibrillatore.


“L’ologramma ci ha consentito di visualizzare meglio la conformazione della massa e di decidere quale fosse la miglior via d’accesso e la modalità di intervento. In questo caso la tecnologia è stata davvero cruciale, direi salvavita, perché ci ha dato la certezza di poter enucleare il tumore, fortunatamente benigno, senza provocare danni”, ha spiegato il dottor Giamberti.

“L’ologramma è attualmente la tecnologia migliore al supporto del chirurgo. La rimozione era assolutamente necessaria – ha concluso il medico – poiché la massa crescendo avrebbe potuto ostruire il flusso sanguigno dando origine ad aritmie, talvolta mortali”.

Melissa, grazie al suo ologramma “speciale” e ai suoi angeli custodi col camice, adesso dovrà “soltanto” sottoporsi a controlli periodici, ma potrà avere una vita normale e tornare nella sua casa a festeggiare il suo settimo compleanno.

Foto – L’équipe che ha eseguito l’intervento

equipe operazione ologramma san donato-2



fonte: https://www.milanotoday.it/salute/operazione-cuore-ologramma-realta-aumentata.html

La realtà aumentata di THE ROUND viene premiata

MedagliaIl capo dello Stato Napolitano ha premiato il gruppo “quARte” con la Medaglia del Presidente

della Repubblica, quale premio di rappresentanza all’evento “Arte quantistica, scienza e

realtà aumentata: sinergie d’innovazione” del 9 novembre 2013 a Pietrasanta (Lucca).

L’evento, organizzato da Egocreanet e collaboratori, ha tra gli obiettivi il potenziamento

della creatività scientifica, dell’arte e lo sviluppo della comunicazione attraverso la realtà

aumentata (AR).

Curatori della sezione di realtà aumentata del gruppo “quARte” sono Mirco Compagno

(direttore ricerca e sviluppo di THE ROUND) e Giuliana Guazzaroni (ADAM) che hanno

realizzato, tra le altre cose, il percorso di Macerata Digitale nel centro storico e le performance

su Giuseppe Verdi nella mostra “Muri e divisioni” in Galleria Galeotti, nell’ambito del Festival

Off di Macerata Opera 2013.

Queste due esperienze, presentate entrambe durante il workshop sulla realtà aumentata di

Pietrasanta, sono a tutti gli effetti buone pratiche affinché la tecnologia della realtà aumentata

possa rappresentare un valore aggiunto in settori strategici come la cittadinanza attiva e

la valorizzazione del territorio (Macerata Digitale) oppure la comunicazione dell’arte e del

patrimonio culturale (Performance su Giuseppe Verdi). Tutto ciò rappresenta un’esperienza

sia ludica sia didattica per avvicinare un pubblico più ampio o, comunque, più attento e


La realtà aumentata, come sottolineato nel corso dell’evento, rappresenta un connubio

positivo per una comunicazione innovativa, giocosa e performativa, ma soprattutto capace

di offrire stimoli a differenti settori strategici in rapida crescita, dall’editoria al marketing,

dall’ingegneria alla promozione del territorio.

La medaglia premio del Capo dello Stato al valore di questa ricerca rappresenta un

riconoscimento al lavoro finora svolto sulla AR.

Nei prossimi mesi, il gruppo “quARte” si è prefisso l’obiettivo di dare un impulso ancora

maggiore alla comunicazione in AR in modo che le ricadute effettive portino a nuovi approcci

per rilanciare l’innovazione d’impresa.

In chiusura dei lavori sulla AR è stato lanciato il concorso di idee della comunità

scientifica arxlab (coordinata da Compagno e Guazzaroni), per raccogliere stimoli

utili al raggiungimento dei prossimi obiettivi del gruppo, per parteciparvi: http://


Augmented reality glasses ‘translate foreign menus as you read’

Glasses that can automatically translate foreign menus into the wearer’s own language have been unveiled in Japan.

The next-generation spectacles were revealed at a gadget fair on the outskirts of Tokyo and could be available in time for the city’s hosting of the Olympics in 2020.

An engineer for NTT Docomo demonstrates a headset which can translate foreign-language menus

An engineer for NTT Docomo demonstrates a headset which can translate foreign-language menus

By using augmented reality the glasses can project text in the wearer’s native tongue over unfamiliar signs and menus, potentially proving invaluable for British tourists whose grasp of Japanese is limited.

The invention may be particularly useful for those who journey beyond the most popular destinations in Japan where foreign-language menus are rarely found.

In a statement Japanese telecoms firm NTT Docomo, the company behind the glasses, said: “Character recognition technology enables instant language translation for users travelling abroad and reading restaurant menus and other documents.”

Another function the smart glasses can perform is turning any flat surface into a touchscreen with the wearer using a finger ring to activate animated tags.

(Fonte: Telegraph)