Aplikace Skyglass' využívá senzor LiDAR iPhonu pro virtuální produkci v reálném čase. Pojďme se pustit do matic a šroubů této nové filmařské vyhlídky.
NAB je tak velký, že někdy můžete objevit společnosti s jedním členem, kterým se na poslední chvíli podařilo sehnat stánek téměř bez peněz, a někdy jsou ty nejzajímavější. Hlavním problémem je najít je v jeskynních síních této obrovské události.
Letos, prvního NAB za tři roky, se zúčastnilo více než 900 společností, včetně asi 160 firem, které poprvé podnikly. Pokud jste nikdy nebyli v NAB, existují haly – jako například Severní hala – které jsou skutečně masivní.
Společnosti jako Blackmagic Design a Adobe jsou v této hale označené jako Vytvořit v rámci nového způsobu zefektivnění témat společnosti NAB. Existují také sály, které jsou kategorizovány jako Capitalize , Připojit a Inteligentní obsah .
Větší kóje jsou zatíženy směrem k přední části haly a ne k parkovištím za nimi. To znamená, že chůzí směrem dozadu se budky začínají řídnout a začínají se mnohem zmenšovat. Právě zde můžete objevit některé vzrušující, i když začínající technologie.
Skyglass Ryana Burgoyna je jedním z nich. Ryan pracoval pro Apple. Šest let tam pracoval jako vedoucí inženýr v týmu, který vytvořil Reality Composer, nástroj, který vývojářům usnadňuje vytváření aplikací pro AR.
V listopadu 2021 založil Skyglass, aby zpřístupnil virtuální produkční techniky nezávislým filmařům a malým studiím.
Co je Skyglass?
Ryanovou myšlenkou bylo vyvinout aplikaci a cloudovou renderovací službu, která by oslovila tvůrce obsahu, kteří si nemohou dovolit virtuální sadu nebo drahé kamery a jejich sledování. Chtěl použít senzor LiDAR představený na iPhone z iPhone 12.
Popisuje svou vizi,
Jeho myšlenkou bylo použít LiDAR, který měří cestu světla k objektu a z objektu a umístí objekty virtuálně. Jeho aplikace by pak vzala data z LiDAR a poslala je do cloudu, kde by je Unreal Engine vykreslil s perspektivou kamery, kterou LiDAR umožňuje. Toto vykreslení je poté streamováno do telefonu pro komponování v reálném čase s živými záběry.
Ve skutečnosti Skyglass sleduje polohu a orientaci kamery vašeho telefonu a streamuje ji do cloudu, kde se vytvoří vykreslení virtuálního prostředí a odešle se zpět.
Co potřebujete?
Skyglass říká, že vše, co potřebujete, abyste mohli začít s VFX v reálném čase, je iPhone s aplikací Skyglass a připojení k internetu (doporučuje se rychlost stahování alespoň 10 Mbps). Skyglass vyžaduje skener LiDAR dostupný na iPhone 12 Pro, 12 Pro Max, 13 Pro nebo 13 Pro Max.
Skyglass obsahuje knihovnu virtuálních prostředí, ze kterých si můžete vybrat a rozšířit službu. Můžete si dokonce vytvořit své virtuální prostředí vytvořením balíčku Asset Pack a jeho nahráním do Skyglass Cloud nebo Skyglass Server.
Skyglass má svůj vlastní zásuvný modul pro Unreal Engine s názvem Forge, pomocí kterého můžete vytvořit balíček Asset Pack, nebo můžete importovat 3D modely, které jste vytvořili, nebo použít Unreal Asset Marketplace.
Pokud chcete svůj kompozit doladit, můžete si stáhnout pouze destičky pozadí ze Skyglass Cloud nebo Skyglass Server a záběry ze zelené obrazovky ze svého iPhone a importovat je do editorů, jako je Nuke, Fusion, After Effects atd.
Používání jiných fotoaparátů
Existují způsoby, jak používat lepší fotoaparáty než nedávno uvedené iPhony pro Skyglass. To však vyžaduje kalibraci offsetů mezi iPhonem a senzory filmových kamer, například prostřednictvím sítě NDI. Zdá se to být docela komplikované, ale umožňuje vykreslování metadat ostření, clony a zoomu nativních objektivů tak, aby odpovídala vašim pořízeným záběrům.
Doufejme, že se od Ryana dozvíme více o Skyglass a sami si aplikaci vyzkoušíme. Pokud jste na NAB, najděte ho v Severní hale na stánku 1138 nebo se podívejte na jeho webovou stránku www.skyglass.com/.