Virtuálna, rozšírená a zmiešaná realita ERIK KUČERA MULTIMÉDIÁ A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11

Size: px

Start display at page:

Download "Virtuálna, rozšírená a zmiešaná realita ERIK KUČERA MULTIMÉDIÁ A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11"

Branden Rodgers
5 years ago
Views:

1 Virtuálna, rozšírená a zmiešaná realita ERIK KUČERA MULTIMÉDIÁ A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11

2 Motion capture snímanie pohybu ERIK KUČERA MULTIMÉDIÁ A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11

3 Čo je motion capture? - link

4 Markerové 4 žiadne káble viac osôb naraz treba snímať súborom kamier snímanie aj iného tvaru ako ľud. tela

5 Bezmarkerové 5 na báze MEMS (Microelectromechanical systems) vyžadujú kabeláž (podľa výrobcu viac alebo menej) treba dbať na rušenie EM žiarením uspôsobené na ľudské telo

6 Synertial IGS- Cobra suite 20 rokov skúseností Zákazníci Ubisoft, Škoda, Hyundai, Ford and UQAM Distribúcia a podpora na SVK Unity, Motion Builder, Siemens Jack atď. Použité v Škodovke na meranie pracoviska Cena od tisíc EUR Používa sa spolu so Siemens Jack PSH (tlakové rukavice vo vývoji) štandard na meranie ergonómie

Xsense MVN/Biomech https://www.xsens.com/ Založené v r.

Animation Ich produkty využívajú rôzne známe firmy; publikácie; PhD. práce 39.

7 Xsense MVN/Biomech Založené v r Zameranie: Inertial Sensor Modules, Human Motion Measurement 3D, Character Animation Ich produkty využívajú rôzne známe firmy; publikácie; PhD. práce Euro for the MVN BIOMECH MVN Awinda - nalepovacie pásy ako Perception Neuron MVN Link - lycra suite Bez rukavice

Noitom Perception Neuron https://neuronmocap.

oproti konkurencii - cca 1500 USD Prepojiteľný s Motionbuilder, Unity,

8 Noitom Perception Neuron Čínsky úspešný startup z nedávnej doby Telo aj ruky Cenovo dostupný oproti konkurencii - cca 1500 USD Prepojiteľný s Motionbuilder, Unity, Unreal Spoľahlivosť v priemysle??? Náročný na káble Majú svoj AXIS NEURON SOFTWARE Dostupnosť na Slovensku???

9 Unity + Perception Neuron - link

10 Odbočka: snímanie mozgových signálov ERIK KUČERA MULTIMÉDIÁ A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11

NeuroPlus novinka 2017/2018 Pracuje na spôsobe EEG (Elektroencefalografia),

NeuroPlus headset testovala na deťoch, ktoré trpia poruchou pozornosti či

11 NeuroPlus novinka 2017/2018 Pracuje na spôsobe EEG (Elektroencefalografia), teda na snímaní elektrickej aktivity mozgu pomocou elektród Spoločnosť NeuroPlus headset testovala na deťoch, ktoré trpia poruchou pozornosti či hyperaktivitou Malo by byť dostupné Unity SDK využiteľné vo výskume?

12 Virtuálna, rozšírená a zmiešaná realita ERIK KUČERA MULTIMÉDIÁ A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11

zmyslenom svete, pričom dovoľuje užívateľovi

13 Virtuálna realita Virtuálna realita simuluje fyzickú prítomnosť na miestach v reálnom svete alebo v zmyslenom svete, pričom dovoľuje užívateľovi interakciu s týmto (v tomto) svete Google Cardboard HTC Vive Oculus Rift

video, grafika alebo GPS dáta Rozšírená realita je vrstva obsahu nad reálnym svetom, pričom tento

14 Rozšírená (augmented) realita Rozšírená realita (AR) je živý, priamy alebo nepriamy náhľad na fyzický, reálny svet, ktorý je doplnený (rozšírený) počítačovo generovanými prvkami (CG) ako zvuk, video, grafika alebo GPS dáta Rozšírená realita je vrstva obsahu nad reálnym svetom, pričom tento obsah nie je ukotvený k tomuto svetu alebo jeho časti Prvky reálneho sveta a CG obsah nemôžu reagovať medzi sebou

Zmiešaná (mixed) realita Zmiešaná realita (MR alebo XR) je spojenie reálneho a virtuálneho sveta, čím

medzi sebou v reálnom čase Zmiešaná realita je vrstva umelého (digitálneho) obsahuje v reálnom svete,

Kľúčovou charakteristikou zmiešanej reality je to, že umelý a reálny obsah dokáže medzi sebou

15 Zmiešaná (mixed) realita Zmiešaná realita (MR alebo XR) je spojenie reálneho a virtuálneho sveta, čím nám vznikne nové prostredie a vizualizácia, kde fyzické a digitálne objekty koexistujú a interagujú medzi sebou v reálnom čase Zmiešaná realita je vrstva umelého (digitálneho) obsahuje v reálnom svete, ktorá je ukotvená a interaguje s reálnym svetom. Kľúčovou charakteristikou zmiešanej reality je to, že umelý a reálny obsah dokáže medzi sebou interagovať v reálnom čase Sme prvé univerzitné pracovisko na Slovensku, ktoré sa začalo začiatkom 2017 venovať MR Microsoft HoloLens Windows Mixed Reality Android ARCore Apple ARKit

vždy rozšírená (augmented realita) Microsoft najprv zmiešanou realitou označoval iba HoloLens, teda to, čo bolo v

16 Zmätok v označovaní Predošlé definície nemusí každý dodržiavať, ide o definície od The Foundry (tvorca softvéru pre 3D modelovanie a textúrovanie), ktoré sú však logické Google a Apple nerozlišujú rozšírenú a zmiešanú realitu, pre nich je to vždy rozšírená (augmented realita) Microsoft najprv zmiešanou realitou označoval iba HoloLens, teda to, čo bolo v definícii; neskôr zmiešanou realitou (Windows Mixed Reality) nazýva aj svoje headsety pre virtuálnu realitu... Vysvetlenia podľa Microsoftu:

Zariadenia / technológie virtuálnej reality Headsety

Playstation VR Headsety pre smartfóny Google Cardboard +

Google Daydream Štandardizované VR headsety spojiteľné s

17 Zariadenia / technológie virtuálnej reality Headsety spojiteľné s počítačom / konzolou Oculus Rift HTC Vive Playstation VR Headsety pre smartfóny Google Cardboard + všetky deriváty z rôznych materiálov Samsung Gear VR Google Daydream Štandardizované VR headsety spojiteľné s počítačom pod platformou Windows Mixed Reality Acer, Lenovo, Samsung...

18 Zariadenia / technológie zmiešanej reality Zmiešaná realita cez displej smartfónu Apple ARKit Android ARCore Headsety pre zmiešanú realitu Microsoft HoloLens

19 ARCore - video

Rozlíšenie: 2160x1200 (1080x1200 pre oko)

20 Oculus Rift Samostatné stereoskopické zariadenie pre počítač Priekopník v oblasti VR KickStarter kampaň v roku 2012 Momentálne vlastnené Facebookom Rozlíšenie: 2160x1200 (1080x1200 pre 90 Hz Cena: od 481 EUR ( ) aj s ovládačmi Oculus Touch

Oculus po uvedení ovládačov Oculus Touch ponúka rovnaký zážitok ako HTC Vive Ovládače pre HTC Vive ponúkajú dotykový touchpad, Oculus Rift

21 HTC Vive Prišiel po Oculus Rift, pričom jeho počiatočná výhoda bola v tom, že Oculus ponúkal len sedavý zážitok sedeli ste na stoličke a aplikáciu ovládali s Xbox gamepadom, avšak HTC Vive priniesol pohybové ovládače a room-scale zážitok, čiže detekciu pohybu po miestnosti Oculus po uvedení ovládačov Oculus Touch ponúka rovnaký zážitok ako HTC Vive Ovládače pre HTC Vive ponúkajú dotykový touchpad, Oculus Rift ponúka páčky ako na gamepade Rozlíšenie: 2160x1200 (1080x1200 pre 90 Hz Cena: od 649 EUR ( ) Vývoj zabezpečuje HTC a Valve (Steam VR)

23 HTC Vive - link

Google Cardboard + všetky deriváty Stereoskopické

deriváty z rôznych materiálov, ako Xiaomi VR,

EUR) Podpora Androidu, sčasti ios a Windows 10

24 Google Cardboard + všetky deriváty Stereoskopické okuliare pre mobilný telefón Patria sem všetky deriváty z rôznych materiálov, ako Xiaomi VR, Butterfly VR a podobne (cenovo od takmer 0 po 100 EUR) Podpora Androidu, sčasti ios a Windows 10 Mobile 3 možné typy vstupu: Magnet (slúžiaci ako tlačidlo) v Unity resp. v Androide prakticky deprecated Tlačidlo, ktoré spôsobí dotyk displeja Žiadny (len hlasom)

25 Virtuálna realita v praxi VW Tiguan

26 Samsung Gear VR Stereoskopické okuliare pre mobilné telefóny Samsung Spolupráca s Oculus Obsahuje na boku okuliarov touchpad a tlačidlo back Nové verzie obsahujú aj dedikovaný ovládač Cena okolo EUR

27 Google Daydream Stereoskopické okuliare pre mobilné telefóny Android Snaha o istú štandardizáciu? Podporujú ho len tie najvýkonnejšie telefóny Cena cca 100 EUR Málo rozšírené Dostupný je ovládač

28 Nevýhody HTC Vive, Oculus Rift a ďalších Vzniká množstvo neštandardizovaných prvkov rôzne ovládače (jeden má páčky, druhý touchpad...) Nutnosť mať okolo seba rôzne senzory pre trackovanie pohybu veľké množstvo káblov príprava pred použitím aj 15 minút Zložitý vývoj, nakoľko používajú rôzne ovládače a typy vstupu Pri niektorých nutnosť pripojenia viac než 2 portov (2xUSB a 1xHDMI) Nepohodlné nasadenie na hlavu rôzne popruhy Mnohé nedostatky odstraňuje platforma Windows Mixed Reality a jej štandardizované zariadenia a jednotný ovládač

29 Windows Mixed Reality ERIK KUČERA MULTIMÉDIÁ A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11

Windows Mixed Reality Windows Mixed Reality je softvérovo-hardvérová platforma Microsoftu pre zmiešanú a virtuálnu realitu Kedysi sa nazývala Microsoft Holographic

30 Windows Mixed Reality Windows Mixed Reality je softvérovo-hardvérová platforma Microsoftu pre zmiešanú a virtuálnu realitu Kedysi sa nazývala Microsoft Holographic Platform alebo Windows Holographic Vznik platformy bol oznámený 21. januára 2015 Aplikácie v rámci Universal Windows Platform sú kompatibilné s Windows Mixed Reality

31 Predstavenie Windows Mixed Reality

virtuálnu realitu s jednotným ovládačom Rôzni výrobcovia Holographic

32 Windows Mixed Reality Delí sa na 2 vetvy, ktoré predstavujú virtuálnu a zmiešanú realitu Immersive headsets Štandardizované headset pre virtuálnu realitu s jednotným ovládačom Rôzni výrobcovia Holographic devices Zariadenia pre zmiešanú realitu Jediným zástupcom je zatiaľ Microsoft HoloLens

Windows Mixed Reality Immersive Headsets Štandard pre virtuálnu realitu od Microsoftu Partnerom je už cca 6 výrobcov (ASUS, Lenovo, HP, Dell, Samsung, Acer) Eliminuje

kompatibilita Steam VR Lepšie riešenie uchytenia na hlavu kolieskový systém z Microsoft HoloLens Vyklápateľná predná časť s displejom netreba dávať celý headset dole z hlavy

33 Windows Mixed Reality Immersive Headsets Štandard pre virtuálnu realitu od Microsoftu Partnerom je už cca 6 výrobcov (ASUS, Lenovo, HP, Dell, Samsung, Acer) Eliminuje prakticky všetky nevýhody HTC Vive a Oculus Rift Nižšia cena okolo 350 EUR Jednotný ovládač ponúka touchpad a zároveň páčku (kompatibilný s ovládaním HTC Vive aj Oculus Rift), kompatibilita Steam VR Lepšie riešenie uchytenia na hlavu kolieskový systém z Microsoft HoloLens Vyklápateľná predná časť s displejom netreba dávať celý headset dole z hlavy HLAVNÁ VÝHODA bez externých senzorov odpadá nutnosť zložitého káblovania a rozmiestňovania senzorov po izbe všetky senzory sú v headsete zúročenie skúseností s vývojom Kinect a HoloLens

34 Windows Mixed Reality Immersive Headsets gf

37 Ovládač pre Windows Mixed Reality

38 Samsung HMD Odyssey - video

39 Microsoft HoloLens HoloLens je prvým zariadením pre platformu, ktorú Microsoft nazýva Windows Mixed Reality (predtým Windows Holographic) Toto zariadenie bolo predstavené na "Windows 10: The Next Chapter 21. januára 2015 HoloLens sú stereoskopické 3D okuliare, ktoré dokážu užívateľovi zobraziť zmiešanú (mixed) realitu, čím sa líšia od Oculus Rift alebo Gear VR Prvé development kity boli rozposielané v prvom kvartáli 2016 za cenu cca 3000 USD Na HoloLens tiež fungujú Windows Universal Applications

40 Úvodné video - link

42 Microsoft HoloLens

43 Vlastnosti a spôsoby vstupu

44 Mapovanie prostredia - video

45 Gestá

46 Vývojárske nástroje UWP a Unity

47 Ford a Hololens - link

48 Kompatibilita HoloLens aplikácií s immersive headsetmi

50 Zmiešaná realita na pracovisku

51 Možné vylepšenia do budúcnosti Kompatibilita s Windows Mixed Reality ovládačom Širšie zorné pole (momentálne nie je výrez príliš veľký) Podpora viacerých gest Vyšší výkon Nižšia hmotnosť Nižšia cena...

2016 bolo prijatých 92 žiadostí, v ktorých študenti žiadali spolu 383

52 Grant od Nadácie Tatra Banky na virtuálnu a rozšírenú realitu K termínu uzávierky bolo prijatých 92 žiadostí, v ktorých študenti žiadali spolu ,38 eur Hodnotiaca komisia, zložená z 5 externých expertov, rozdelila sumu eur medzi 16 najlepších projektov

53 Universal Windows Platform ERIK KUČERA MULTIMÉDIA A TELEMATIKA PRE MOBILNÉ PLATFORMY PREDNÁŠKA 11

54 Windows 10 Windows 10 je operačný systém spoločnosti Microsoft, určený pre použitie v Xboxe, stolných počítačoch, notebookoch, tabletoch, smart telefónoch a ďalších zariadeniach, v budúcnosti napríklad aj v hodinkách

zariadeniach od Raspberry Pi 2 (Windows 10 IoT Core) cez mobily, tablety až po

55 Windows Universal Platform (UWP) Windows Universal Applications alebo Windows Universal Platform je označenie aplikácií, ktoré dokážu bežať na rôznych zariadeniach od Raspberry Pi 2 (Windows 10 IoT Core) cez mobily, tablety až po bežné počítače Aplikácie sa programujú pomocou jednotného API v jazykoch C# alebo C++

56 Universal app Počasie

57 Windows 10 IoT Core

58 Windows 10 IoT Core

59 Windows 10 IoT project - video

60 Windows 10 IoT Core - video

61 Satya Nadella: Mobile First, Cloud First Stratégia preniknúť do Internet of Things sa zhoduje s novým heslom spoločnosti Microsoft: Mobile First, Cloud First Microsoft už podľa vlastných slov nechce byť len molochom, ktorý predáva operačný systém a kancelársky balík Windows 10 operačný systém ako služba neustále aktualizácie, Microsoft tvrdí, že Windows 10 je posledná verzia Windowsu a číslovanie stráca zmysel V rebríčkoch roku 2015 jedna z najinovatívnejších spoločností roka najmä vďaka podpore IoT a Windows Universal Platform

62 Spájanie hardvéru a softvéru V istom zmysle sa začína správať ako Apple spája hardvér a softvér Microsoft má momentálne celý svoj produktový rad Wearables Microsoft Band 2 (deprecated) Smartfóny séria Microsoft Lumia (deprecated), v budúcnosti Surface Phone Tablety Surface Pro (2017) Notebook Surface Book with Performance Base, Surface Book 2 Stolný počítač pre profesionálov Surface Studio Dotykový prezentačný panel Surface Hub Zmiešaná / virtuálna realita HoloLens, Mixed Reality Immersive Headsets Herná konzola Xbox One

Project Andromeda Skladací tablet s telefónnymi funkciami Vývoj smartfónov Windows sa skončil, Satya Nadella a Bill Gates boli od začiatku proti nákupu Nokie a vývoju tretieho OS pre smartfóny popri

63 Project Andromeda Skladací tablet s telefónnymi funkciami Vývoj smartfónov Windows sa skončil, Satya Nadella a Bill Gates boli od začiatku proti nákupu Nokie a vývoju tretieho OS pre smartfóny popri ios a Android (nákup pretlačil Steve Ballmer) Microsoft bude vyvíjať v rámci série Surface inovatívne mobilné zariadenia Project Andromeda predstavuje zápisník skladací tablet bežiaci na plnom Windows 10 on ARM Na projekte pracuje aj tvorca Microsoft HoloLens máme čakať holografický displej? Nie je jasný, či ide o Surface Phone alebo Surface Phone bude iné zariadenie, ktoré tiež nemá byť typický smartfón

Microsoft Surface Pro (2017) 12,3 palcový tablet s dokúpiteľným perom a dokúpiteľnou klávesnicou Microsoftom prezentovaný ako konkurent MacBook Air Intel Core M3, Core i5 a Core i7 procesor Core M3 /

65 Microsoft Surface Pro (2017) 12,3 palcový tablet s dokúpiteľným perom a dokúpiteľnou klávesnicou Microsoftom prezentovaný ako konkurent MacBook Air Intel Core M3, Core i5 a Core i7 procesor Core M3 / 128 GB / 4 GB RAM (949 EUR, 854,10 EUR - ISIC) Core i5 / 128 GB / 4 GB RAM (1149 EUR, 1034,10 EUR - ISIC) Core i5 / 256 GB / 8 GB RAM (1449 EUR) Core i7 / 256 GB / 8 GB RAM (1799 EUR) Core i7 / 1 TB / 16 GB RAM (3099 EUR) Dokúpiteľná klávesnica za 179,99 EUR Pero za 109,99 EUR Cena pera a klávesnica išla oproti minulej generácii hore cca dvojnásobne... (pero bývalo dokonca pribalené)

66 Microsoft Surface Pro (2017) - link

67 Microsoft Surface Pro 3 vs. ipad Pro

68 Surface Book vs. Apple fan

Microsoft Surface Studio All-in-one počítač s 28 palcovou dotykovou obrazovkou (4500 x 3000) Konkurent imac V balení je dotykové pero, puk Surface Dial je za príplatok Core i5 / 1 TB / 8 GB RAM / GTX

69 Microsoft Surface Studio All-in-one počítač s 28 palcovou dotykovou obrazovkou (4500 x 3000) Konkurent imac V balení je dotykové pero, puk Surface Dial je za príplatok Core i5 / 1 TB / 8 GB RAM / GTX 965M 2 GB (2999 USD) Core i7 / 1 TB / 16 GB RAM / GTX 965M 2 GB (3499 USD) Core i7 / 2 TB / 32 GB RAM / GTX 980M 4 GB (4199 USD) Hard disky sú hybridné (SDD + klasika) 4 USB 3.0, 1 SD-card slot, mini Displayport WiFi, Bluetooth Klávesnica, myš v balení

70 Microsoft Surface Studio - link

Microsoft Surface Book 2 13,5 alebo 15 palcový notebook s odnímateľným displejom a pribaleným perom Microsoftom prezentovaný ako konkurent MacBook Pro Intel Core i5 a Core i7 procesory a dostupné

71 Microsoft Surface Book 2 13,5 alebo 15 palcový notebook s odnímateľným displejom a pribaleným perom Microsoftom prezentovaný ako konkurent MacBook Pro Intel Core i5 a Core i7 procesory a dostupné verzie aj s dedikovanou grafickou kartou NVIDIA (umiestnená v klávesnici) Ceny od 1499 USD (za verziu Core i5, 256 GB, 8 GB RAM a bez NVIDIA grafiky, 13,5 palca) 1999 USD (za verziu Core i7, 256 GB, 8 GB RAM NVIDIA GTX GB, 13,5 palca) 2499 USD (za verziu Core i7, 256 GB, 16 GB RAM NVIDIA GTX GB, 15 palca) Existujú aj ďalšie varianty okrem uvedených s inou veľkosťou SSD

72 Microsoft Surface Book 2

74 Použité zdroje

Mobile Virtual Reality what is that and how it works? Alexey Rybakov, Senior Engineer, Technical Evangelist at DataArt

Mobile Virtual Reality what is that and how it works? Alexey Rybakov, Senior Engineer, Technical Evangelist at DataArt alexey.rybakov@dataart.com Agenda 1. XR/AR/MR/MR/VR/MVR? 2. Mobile Hardware 3. SDK/Tools/Development