1. Sběr dat:Shromažďování suroviny
* satelitní snímky: Toto je základní vrstva. Satelitní obrázky s vysokým rozlišením poskytují široký pohled shora dolů na svět. Tyto obrázky jsou zachyceny satelity obíhajícími obíhajícími na Zemi a poskytují komplexní vizuální záznam. Rozlišení se v průběhu let výrazně zlepšilo, což umožnilo podrobněji.
* letecká fotografie: Letadla nebo drony vybavené specializovanými kamerami létají po specifických oblastech a zachycují překrývající se obrázky z různých úhlů. To poskytuje vyšší rozlišení a podrobněji než satelitní snímky.
* Street View Cars &Trekker: Tato vozidla vybavená polí kamer, senzory Lidar (detekce světla a rozsahu) a jednotky GPS jezdí podél silnic a cest, zachycují 360 stupňové panoramaty a podrobné 3D bodové mraky prostředí na úrovni ulice. Trekker je verze batohu pro oblasti nepřístupné pro automobily.
* Fotografie podávané uživatelem: V některých případech společnost Google využívá fotografie s porovnaným uživatelem k vyplnění mezer nebo zlepšení kvality 3D modelů, i když tato data jsou obvykle pečlivě prověřena a integrována.
2. 3D rekonstrukce:Přeměňování obrázků na modely
* fotogrametrie: Toto je základní technika pro vytváření 3D modelů z 2D obrázků.
* detekce funkcí: Software identifikuje klíčové funkce (rohy, hrany, textury) na překrývajících se obrázcích.
* porovnávání funkcí: Poté odpovídá těmto funkcím na více obrázcích a pochopí, jak se stejný bod ve skutečném světě objevuje z různých perspektiv.
* Struktura z pohybu (SFM): Pomocí shodovaných funkcí a známých pozic kamery (z GPS a dalších senzorů) algoritmus rekonstruuje 3D strukturu scény a odhaduje polohu a orientaci kamery pro každý obrázek. Tím se vytváří řídký bod bodu představujícího scénu.
* hustá rekonstrukce: Cloud řídkého bodu se pak používá jako základ k vytvoření hustšího a podrobnějšího bodového cloudu. To vyplní mezery a vytváří úplnější 3D reprezentaci.
* Generování sítě: Nakonec je bodový cloud přeměněn na 3D síť, což je síť vzájemně propojených trojúhelníků, které tvoří povrch 3D modelu.
* lidar (detekce a rozsah světla):
* laserové skenování: Senzory LiDAR emitují laserové impulsy a měří čas potřebnou pro návrat světla. To umožňuje vysoce přesná měření vzdálenosti od objektů.
* Generace bodu bodu: Data LiDAR se používají k vytvoření hustého 3D bodu cloudu představujícího prostředí. To je zvláště cenné pro vytváření přesných 3D modelů terénu a budov a je přesnější než fotogrametrie pro komplexní tvary.
* fúze s snímky: Data LiDAR jsou často kombinována s obratnostmi pro přidání barvy a textury k 3D modelům, což vytváří realističtější vzhled.
* strojové učení a AI: Google používá strojové učení na:
* Zlepšit zpracování obrazu: Zvyšte kvalitu obrazu, snižujte hluk a korejte zkreslení.
* rozpoznávání objektu: Identifikujte a klasifikujte objekty na obrázcích (např. Stromy, budovy, auta, lidé). To umožňuje automatizované označování a anotaci 3D modelů.
* GAP plnění: Vyplňte chybějící data nebo oblasti, kde je 3D rekonstrukce neúplná.
* zlepšení textury: Generujte realistické textury a podrobnosti pro 3D modely.
* generování procedurálních: Vytvářejte 3D modely objektů, které je obtížné přímo zachytit (např. Stromy, vegetace), pomocí algoritmů, které vytvářejí realisticky vypadající reprezentace.
3. Zpracování a optimalizace dat:
* georeferencí: Všechna data jsou přesně georeferenční, což znamená, že je v souladu s globálním souřadnicovým systémem. Tím je zajištěno, že 3D modely jsou přesně umístěny na Zemi.
* fúze dat: Data z různých zdrojů (satelitní snímky, letecká fotografie, Street View, LiDAR) jsou kombinována a integrována za účelem vytvoření úplného a konzistentního 3D modelu.
* Zjednodušení a optimalizace: 3D modely jsou často zjednodušeny a optimalizovány tak, aby zmenšily velikost jejich souboru a zlepšily výkon, přičemž stále udržují vysokou úroveň detailů. To je zásadní pro efektivní streamování dat přes internet.
* texturování: Obrázky jsou „promítnuty“ na 3D síť, aby mu poskytly realistickou barvu a texturu.
4. Displej a vizualizace:
* vykreslování kachlová: 3D svět je rozdělen na dlaždice, což umožňuje efektivní streamování a vykreslování pouze oblastí, které jsou pro uživatele v současné době viditelné.
* Úroveň detailů (LOD): Pro objekty se používají různé úrovně detailů v závislosti na jejich vzdálenosti od uživatele. Vzdálené objekty jsou vykresleny s nižším detailem, zatímco bližší objekty jsou vykresleny s vyšším detailem. To pomáhá zlepšit výkon a snížit množství dat, které je třeba streamovat.
* Realistické techniky vykreslování: Techniky, jako je stínování, osvětlení a stíny, se používají k vytvoření realističtějšího a pohlcujícího zážitku.
Klíčové technologické pokroky umožňují 3D světy Google:
* Zvýšený výpočetní výkon: Masivní výpočetní výkon v datových centrech je zásadní pro zpracování obrovského množství dat zapojených do 3D rekonstrukce.
* Pokroky v počítačovém vidění: Vylepšené algoritmy pro detekci funkcí, porovnávání a 3D rekonstrukci.
* strojové učení: Automatizované zpracování obrázků, rozpoznávání objektů a plnění mezer.
* senzory s vysokým rozlišením: Pokročilé kamery a senzory LiDAR, které zachycují podrobnější a přesnější data.
* efektivní ukládání a streamování dat: Škálovatelná infrastruktura pro ukládání a streamování obrovského množství 3D dat.
Stručně řečeno, 3D svět společnosti Google je výsledkem komplexního a sofistikovaného procesu, který kombinuje pokročilé technologie a techniky, včetně satelitních snímků, letecké fotografie, pouličního pohledu, lidaru, fotogrametrie, strojového učení a efektivního zpracování a streamování dat. Jedná se o nepřetržitý proces sběru, zpracování a zlepšování dat, který se neustále vyvíjí, aby uživatelům poskytoval nejpřesnější a nejpodrobnější znázornění Země.