OmniTouch

Jednou z veľkých revolúcií vo výpočtovej technike boli dotykové obrazovky. Priniesli nový spôsob interakcie s počítačom, či už špeciálnym ukazovateľom alebo prstom. V roku 2011 spoločnosť Microsoft zašla ešte ďalej a predstavila OmniTouch, projekt, vďaka ktorému je možné sa dotknúť akéhokoľvek povrchu. Základnou myšlienkou je namontovať na rameno kameru a projektor, ktoré premietajú obrazovku a čítajú stlačenia klávesov používateľa. Možnosti sú nekonečné, čo nám umožňuje premeniť našu ruku, stenu, plachtu alebo akýkoľvek iný povrch na dotykovú obrazovku.

Ako funguje OmniTouch: rozpoznávanie stlačení kláves

Najdôležitejšou časťou projektu OmniTouch je sledovanie polohy a hĺbky prstov, aby ste vedeli, kde sa používateľ dotýka. Na to bola v prototype použitá hĺbkovo citlivá kamera PrimeSense. Na rozdiel od bežného fotoaparátu, ktorý meria farby, PrimeSense meria vzdialenosť každého bodu na obrázku od objektívu fotoaparátu. Presnosť 1 mm a minimálny dosah 20 cm sú hlavné výhody oproti kamere Kinect, ktorá bola pôvodne použitá v projekte.

"

Na lokalizáciu prstov OmniTouch najskôr zachytí hĺbkovú mapu (A). Potom sa vypočíta sklonová mapa>"

V (B) môžete vidieť, že mapa je preložená do farieb: červená znamená, že v kladnom smere osi X alebo Y je menšia hĺbka (nahor alebo doprava) a modrá znamená, že tam je menšia hĺbka v negatívnom smere osi X alebo Y (dole alebo vľavo).Fialová znamená, že v hĺbke nedochádza takmer k žiadnej zmene.

S touto mapou softvér hľadá vertikálne valcové rezy, povrch, ktorý sa približuje ku kamere, potom zostáva a nakoniec sa vzďaľuje. Čo to bolo za prst, keď ním prechádzate z jednej strany na druhú, wow. Na farebnej mape hľadajte červenú časť, potom fialovú časť a potom modrú časť, všetky na rovnakej vertikálnej osi.

Možní kandidáti sú filtrovaní podľa výšky, aby sa odfiltrovalo čokoľvek, čo nemôže byť prstom (napríklad 2-milimetrový valec nemožno rozpoznať ako prst, takže sa zahodí). Na obrázku (C) môžete vidieť všetky identifikované časti prstov.

Keď to urobíte, všetky vertikálne časti sa spoja, aby vytvorili prst (obrázok D). Prsty, ktoré môžu byť príliš krátke, sa vyhodia a predpokladá sa, že keďže je používateľ pravák, najľavejšia časť prsta je špička.A voila, teraz vieme, kam používateľ ukazuje na .

Ako teraz vieme, či sa prst dotýka povrchu? Nazývajú to záplavovou náplňou, ale bude to známejšie, ak vám poviem, že je to ako naplnenie kýblikom farby.

Technika je jednoduchá: nájdite stredný bod prsta a začnite vypĺňať pixely hore, vľavo a vpravo, s toleranciou 13 milimetrov. To znamená, že vypĺňajú pixel iba vtedy, ak je rozdiel medzi jeho hĺbkou a hĺbkou stredu prsta menší ako 13 milimetrov.

Týmto spôsobom, ak sa váš prst ničoho nedotýka, vyplnia sa iba pixely zodpovedajúce vášmu prstu. Ak sa dotknete ruky, naplní sa oveľa viac. Na obrázku môžete vidieť, čo sa stane, ak je prst vo vzduchu (vľavo) alebo sa dotkne ruky (vpravo). Keď prejde určitý okraj vyplnených pixelov, softvér pošle ťuknutie alebo kliknutie na zodpovedajúce miesto.

Ako funguje OmniTouch: Premietanie obrazu

Hoci rozpoznávanie prstov je ústrednou súčasťou, nemôžeme zabúdať, že OmniTouch musí premietať obraz na akýkoľvek povrch. Na to slúži aj hĺbková komora. Všetky povrchy v obraze sú detekované pomocou algoritmu prepojených komponentov, ktorý veľmi efektívne deteguje prepojené body v obraze.

Po odstránení plôch menších ako dlaň pristúpime k fixácii stredu alebo referenčného bodu na premietanie obrazu. Tento bod pomáha zistiť orientáciu povrchu, a preto umožňuje vytvoriť obraz, ktorý nevyzerá skreslene.

Ďalší ťažký bod prichádza, keď príde na zistenie veľkosti povrchu.Keďže okraje povrchov nie je možné dostatočne dobre rozpoznať, OmniTouch používa strednú a štandardnú odchýlku bodov komponentov na ich klasifikáciu do piatich bodov: ruka, rameno, notebook, stena a stôl. Každý z nich má určitú veľkosť a stred pre obrázok.

Softvér generuje obraz, ktorý sa má premietnuť so všetkými údajmi, pričom ho skresľuje tak, aby sa na povrchu zobrazoval správne. Potom odovzdá obraz projektoru, ktorý ho zobrazí na akomkoľvek povrchu.

Presná technológia s mnohými možnosťami

Testy používané na meranie presnosti OmniTouch.

Pri testovaní sa OmniTouch ukázalo ako veľmi presná technológia. Presnosť 96,5%, pokiaľ ide o rozpoznanie kliknutia, veľmi dobrý údaj a ešte viac vzhľadom na to, že ide o prototyp.Čo sa týka veľkosti rozhrania, s tlačidlami s priemerom 2 centimetre by sa dalo rozpoznať 95 % stlačení.

Táto maximálna veľkosť je potrebná pre rozhranie premietané v ruke. Na iných povrchoch ďalej, ako je stôl alebo stena, by sa mohla zmenšiť na 15 milimetrov, čo je viac-menej rovnaká veľkosť odporúčaná pre tlačidlo na bežnej dotykovej obrazovke.

"

Pokiaľ ide o možnosti, sú nekonečné. S prototypom bol vytvorený pultík na maľovanie: na stenu ste kreslili a ľavou rukou ste si vyberali farby. Používa sa aj ako zvýrazňovač>"

Ale najzaujímavejšie je to, čo spomínajú na konci dokumentu: možnosti, ktoré OmniTouch otvára, keď prestaneme uvažovať o dvojrozmerných povrchoch a využijeme tvary tela na zmenu spôsobu komunikujeme s počítačom.

"

OmniTouch je skutočne vzrušujúci projekt, a to ako svojou technikou, tak aj možnosťami. Čoskoro si o ňom opäť povieme v špeciáli Budúcnosť podľa Microsoft>"

V systéme Xataka Windows | Budúcnosť podľa Microsoftu Viac informácií | OmniTouch