Złożone obrazy 3D w HoloLens 2 z chmurą publiczną
Produkt firmy Microsoft — HoloLens 2 — z mieszaną rzeczywistością jest już dostępny w sprzedaży. Oferuje lepszą rozdzielczość obrazu oraz zwiększone pole widzenia. Urządzenie jest zbudowanie na sprzęcie ARM, aby zwiększyć żywotność baterii.
Działanie HoloLens 2
Współczesne komputery mają zaawansowaną grafikę, są zdolne do błyskawicznego renderowania obrazów w 3D, w jakości zbliżonej do fotograficznej.
Większość możliwości obliczeniowych urządzenia HoloLens koncentruje się na dostarczaniu mapy 3D świata wokół użytkownika, więc przetwarzanie tych danych na nim jest już utrudnione. Jest to jednak kluczowy punkt działania urządzenia, ponieważ dostarczone mapy muszą być powiązane z obecnym punktem widzenia użytkownika. Potrzebne jest więc proces szybkiego renderowania i dostarczania otoczenia do urządzenia. HoloLens nakłada je wtedy na rzeczywiste środowisko. Buduje oczekiwany przez użytkownika widok, wyświetlając go przez holograficzne soczewki na bazie maszyn mikroelektronicznych (MEMS), jako mieszaną rzeczywistość.
Renderowanie w chmurze
Jedną z możliwości szybkiego budowania renderów jest korzystanie z zasobów w chmurze. Można używać GPU — jednostek przetwarzania grafiki — dostępnych na platformie Azure. Platforma Azure z kolei po otrzymaniu danych dotyczących lokalizacji i orientacji może użyć maszyny wirtualnej z serii NV do stworzenia wizualizacji. Następnie przekazuje ją do urządzenia w celu wyświetlenia przy użyciu standardowych formatów modeli.
O ile sama koncepcja i jej budowa brzmi łatwo, to nie ma w tym celu, ponieważ obecnie Microsoft udostępnia ją jako interfejs API platformy Azure. W publicznej wersji zapoznawczej usługa Azure Remote Rendering przetwarza obrazu 3D, przesyłając go strumieniowo do urządzeń jako wysokie jakościowo obrazy 3D.
Azure Remote Rendering
Sposób pracy tej usługi jest stosunkowo prosty. Podstawą jest renderowanie hostowane w chmurze, które pobiera dane ze stanowiska projektowego. Następnie API klienta działające na docelowym urządzeniu używa wykresu sceny, by przewidzieć punkt widzenia użytkownika. Po prognozie wysyła dane do usługi w chmurze. Tam wykorzystując dane do zarządzania usługą zdalnego renderowania, przetwarza na platformie Azure proces renderowania na hostowanym GPU. Gdy Azure Remote Rendering renderuje scenę, dane ze wszystkich układów GPU tworzą obraz. W kolejnym kroku przesyła się go do urządzenia klienta, który łączy go z lokalnym UI i zawartością przed wyświetleniem go użytkownikowi.
Azure Remote Rendering nie jest idealny, zawsze będzie polegał na jakości sieci. Dlatego też wymaga się zaprojektowania opóźnienia, a także przekazania użytkownikom wskazówek. Pozwala to uniknąć gwałtownych ruchów głowy, a także obsługi renderów obliczanych podczas dostarczania wcześniejszych klatek.
Podczas gdy urządzenie HoloLens 2 korzysta z sieci WiFi, można sobie wyobrazić kolejną wersję, HoloLens 3 korzystające z sieci 5G . Jest to scenariusz dostosowany do połączenia urządzeń brzegowych i chmury obliczeniowej.
Obecnie cena Hololens 2 wynosi 3500 USD. Produkt jest dostępny tylko u wybranych sprzedawców.
Źródła:
