Integrace 3D modelů do videozáznamu:Expertní sledování kamer s PFTrack – část I

Prozkoumejte nejúčinnější techniky pro bezproblémové prolnutí 3D modelů do živého záznamu.

V současném filmu jsou stvoření, elfové a superhrdinové často vykreslováni ve 3D a složeni do záběrů ze skutečného světa. Úspěch takových záběrů závisí na pečlivé postprodukční práci, která odpovídá barvě, osvětlení a pohybu kamery.

Postprodukce je pouze posledním článkem v řetězci kroků, které zajistí úspěch projektu:

1. Podrobná analýza videoklipů, včetně rozpisu mikroaktivity. Importované klipy mohou před sledováním obdržet korekci barev nebo kalibraci zkreslení objektivu.
2. Export klipu do vyhrazené sledovací aplikace. V této sérii se zaměřujeme na PFTrack od The Pixel Farm.
3. Vytvoření finální scény v 3-D balíčku, jako je Maya, na základě dat PFTrack.

Na obrázku výše filmaři zachytili skutečnou sekvenci a složili ji na digitální pozadí. Byla použita modrá obrazovka, ale výrazné červené křížky představují sledovací značky.

Jakou roli hrají tyto značky?

Proč používat sledovací značky?

Sledovací značky slouží jako referenční body pro fyzickou kameru během natáčení. I když je statické scény nemusí vyžadovat, stávají se nezbytnými pro záběry, které zahrnují pohyb kamery.

Cílem je zaznamenat pohyb skutečné kamery a přenést jej do virtuální kamery – to, čemu se v tomto odvětví říká sledování kamery nebo pohyb po zápase.

Sledování kamery je klíčové ve dvou primárních scénářích:

• Skuteční herci na place s pozadím CGI, jako v příkladu Life of Pi.
• Reálná prostředí s digitálními rekvizitami přidanými v postprodukci.

Bez přesného sledování kamery by integrace záběrů živé akce s 3-D vykreslováním vedlo ke zjevným neshodám.

PFTrack pro sledování kamery

Zatímco mnoho NLE, jako je After Effects, obsahuje základní nástroje pro sledování, PFTrack je specializované řešení široce používané v profesionálních kanálech VFX.

Níže je snímek PFTrack po načtení scény.

Pracovní postup PFTrack založený na uzlech udržuje potrubí organizované. Na levém panelu jsou uvedeny aktivní uzly, uprostřed se zobrazuje stopáž a časová osa a ve spodním panelu se zobrazují ovládací prvky specifické pro uzel.

Nástroj bohatý na funkce

Úplné informace naleznete v oficiální dokumentaci PFTrack zde . Panel uzlu je seskupen do funkčních záložek:

• Sledování
• Řešení
• Zkreslení
• Geometrie
• Fotografie
• Hloubka Z
• Sférický
• Stereo
• Exportovat
• Nástroje
• Python

Klíčové kategorie:

• Sledování extrahuje funkce z klipu. Uživatelé si mohou vybrat automatické sledování nebo ručně umístit vlastní body.
• Řešení vytváří pohyb virtuální kamery ze sledovaných prvků.
• Zkreslení koriguje artefakty čočky, jako je soudkové nebo poduškovité zkreslení.
• Geometrie umožňuje vkládat testovací objekty pro ověření přesnosti sledování.
• Exportovat odesílá data z kamery do Maya, 3DS Max, After Effects atd.
• Nástroje zahrnují „Estimate Focal“ pro opravu nepřesností ohniskové vzdálenosti a „Orient Scene“ pro zarovnání souřadnicového systému.

První kroky

Použijeme klip z knihovny Shutterstock zde . Importujte jej do PFTrack jako sekvenci obrázků a spusťte proces sledování.

Pokročilé algoritmy PFTrack obvykle odhadují správnou ohniskovou vzdálenost automaticky. Pokud potřebujete jemnější kontrolu, Odhad ohniska uzel může upřesnit perspektivu ručním určením úběžníků.

V některých případech – jako jsou snímky pořízené shora – poskytnutí všech tří os (X, Y, Z) poskytuje PFTrack potřebná data.

Automatické vs. sledování uživatelů

PFTrack nabízí obě možnosti Auto a Sledování uživatele uzly. První automaticky identifikuje stabilní prvky; ten vám umožní ručně umístit sledovače pro kritické oblasti.

Pokyny pro ruční umístění:

• Vyberte oblasti s vysokým kontrastem (např. tmavé pixely na světlém pozadí).
• Umístěte fyzické značky na místo, kam chcete vložit 3-D prvky.
• Upravte jas a kontrast v PFTrack, aby byly funkce výraznější.

V našem příkladu jsme přidali 12–17 sledovačů uživatelů podél chodníku, zdi a dalších strategických míst.

Řešení fotoaparátu

Se zavedenými funkcemi Camera Solver uzel odhaduje pohyb virtuální kamery. K provedení výpočtu použijte akci „Vyřešit vše“.

Výstup řešitele používá barevné kódování:

• Zelená – úspěšná projekce.
• Bílá – neaktivní projekce pro aktuální snímek.
• Červená – neúspěšná projekce (chyba> 2 pixely).
• Oranžová – střední chyba (1–2 pixely).

Chcete-li zvýšit přesnost, prozkoumejte Graf chyb . Ořízněte vrcholy s vysokou chybou pomocí nástroje pro ořez a stabilizujte čáru průměrné chyby směrem k nule.

Pokud sledovač trvale funguje špatně, deaktivujte jej na kartě Sledování a vyřešte problém.

Chcete-li nastavit nový počátek, vyberte zelený sledovač a poté klikněte na „Nastavit počátek“ v Camera Solver uzel.

Orientace scény

Se spolehlivým původem, Orient Scene uzel zarovná 3-D mřížku tak, aby odpovídala skutečnému světu.

Vyberte tři přesné sledovače na rovném povrchu (např. chodníku) a nastavte je do roviny X‑Z. Upravte vertikální orientaci mřížky tak, aby ležela v jedné rovině s povrchem.

Testování objektů

Jakmile je mřížka správně orientována, importujte jednoduché 3-D modely pomocí Testovacího objektu uzel pro ověření kvality sledování.

Pro přesné umístění přichyťte objekty k vypočítaným 3-D bodům. Při řešení různých nadmořských výšek – například prahu – přidejte na rohové body sledovací zařízení, postavte hrubý rovnoběžnostěn a umístěte objekt na jeho horní plochu.

Přehrajte celou sekvenci pro potvrzení konzistence. Tato testovací fáze vylučuje osvětlení, textury nebo stíny a zaměřuje se pouze na přesnost polohy.

Od PFTrack k Maye

Posledním krokem v PFTrack je export. Použijte Export uzel pro generování dat kamery a scény ve formátu kompatibilním s vaším 3-D balíčkem. Pro tento výukový program exportujeme do Autodesk Maya.

Když otevřete exportovanou scénu v Maya, animace kamery je již zapečená a vaše 3-D objekty si zachovají svou polohu vzhledem k živému záznamu.

V tuto chvíli jste připraveni použít textury, osvětlení a vykreslit scénu pro finální kompozici.

Tím končí část I našeho seriálu. Nyní víte, jak používat sledování kamery k integraci 3D sítí do skutečných záběrů.

V příštím díle se budeme zabývat:

• Animace 3-D objektů ve videoklipu.
• Realistické 3D osvětlení a techniky vykreslování.
• Tipy, jak dosáhnout bezproblémové integrace mezi 3D záběry a záběry z přímého přenosu.

Pokud se vám tento článek líbil, sledujte mě na LinkedIn pro více informací.

Jste ve vytváření 3-D podkladů noví? Podívejte se na tyto související články:

• Vytvoření pracovního postupu ACES pro realistické osvětlení s 3-D
• Zlepšete kvalitu vykreslování pomocí kompozice vrstev v After Effects
• Od úprav fanoušků Call of Duty po hudební videa pro Russe:Rozhovor s 3-D umělcem Vollutem
• Odemkněte sílu 3-D v After Effects s heliem
• Jak vytvořit skutečný 3-D terén v Blenderu (bez pluginů)