Pokročilé sledování 3D objektů pomocí PFTrack:Část 2

Pojďme pokračovat tam, kde jsme skončili! Tentokrát ukážeme některá vylepšení v integraci 3D a dokončíme náš vlastní videoklip.

V našem předchozím článku této dvoudílné série jsme ukázali některé vynikající funkce v PFTrack. Nejen, že tento software řeší skutečný pohyb kamery, ale také provádí sledování 3D objektů.

V prvním kroku jsme vyšli s krátkým klipem mě na zelené obrazovce. Za druhé jsme představili 3D masku, která musí co nejpřesněji sledovat pohyb mé hlavy. Zatím je to dobré!

Přehráním této krátké sekvence si všimneme, jak jsme přizpůsobili 3D masku rotaci hlavy.

Na masce je však ještě potřeba udělat nějakou práci, protože například tkaničky nemají správný tvar kolem hlavy. Stejně tak chceme klip připravit pro finální render, ale záběr potřebuje nějaké další prvky pro efektní výsledek.

Stručně řečeno, stále potřebujeme další vylepšení a integrace, abychom vytvořili kvalitní 3D práci. To, co jsme právě viděli, je výsledek sledování objektu.

Konečný výsledek bude asi tento:

Než se dostaneme k tomuto konečnému výsledku, je třeba provést mnoho činností.

Toto je kontrolní seznam:

• Řešení pozic krajky
• Vytváření matných geometrií
• Stínování matných geometrií
• Vytvoření stínovací sítě pro masku
• Osvětlení a vykreslování
• Odstranění zelené obrazovky
• Skládání, korekce barev a konečný export

Pusťme se do 3D softwaru a začněme svou cestu!

Přehrávání výstřelu ve 3D softwaru

Po exportu z PFTrack se záběr podle očekávání přehraje v našem preferovaném 3D softwaru. Přesto stojíme před dvěma zásadními problémy.

Boční tkaničky v několika rámech dostatečně nezakrývají hlavu. Ještě horší je, že jsou vidět skrz otvor masky, protože zadní část scény nekryje žádná 3D geometrie.

Pojďme si projít tyto hlavní problémy a najít správnou opravu.

Řešení pozice krajky

Upřímně, tento krok může chvíli trvat, než získáte slušný výsledek. Maska má tři tkaničky – jednu nahoře a dvě po stranách. Musí přesně odpovídat profilu hlavy.

Obecně neexistuje žádný konkrétní nástroj k použití, ale obecně platí, že používání méně destruktivních technik je samozřejmostí. Nezapomeňte klip opakovaně opakovat a zkontrolujte, zda jsou tkaničky na každém snímku na místě.

Máte-li jiné alternativy, vyhněte se použití přímé manipulace s vrcholy k přetvoření tkaniček. V některých případech by to mohlo fungovat – například přesouvání malých částí sítě – ale zde musíme provést velké změny. V závislosti na použitém softwaru byste měli využít modifikátorů, které nezpůsobují ani natahovací efekty, ani celkově podivné deformace.

Například v Maye jsem našel nástroj mřížky jako skvělé řešení. Jednoduše vytvoří přizpůsobitelný počet řídicích vrcholů – neboli bodů mřížky – kolem geometrie, z nichž každý řídí určitou část sítě. V důsledku toho změníte tvar krajky přesouváním bodů mřížky ve 3D prostoru. Tímto způsobem je snadné s modelem manipulovat, aniž by došlo k podivným deformacím.

Vyhladit geometrii použitím několika sochařských nástrojů. Navzdory tomu, že používáte deformátor jako mřížku, můžete přesto zavést nějaké malé natahovací efekty. Aby se tomu zabránilo, Maya nabízí řadu sochařských nástrojů.
Pro mě je to hladké , relaxujte a chytit nástroje dělají svou práci!

Maskování skrytých částí

Pokud uvažujete o vykreslení s maskou a tkaničkami, připravujete si scénu špatně!
Pokud je pravda, že maska skrývá významnou část hlavy, bohužel stále vidíme část tkaniček skrz otvory. Jak tedy můžeme skrýt to, co má být skryto podle úhlu pohledu kamery?

Odpověď je poměrně jednoduchá. Potřebujeme přidat nějaké další sítě fungující jako matné geometrie.

Jednoduše řečeno, vše za matnou geometrií je ze současné perspektivy neviditelné a nevykreslené. Protože se tkaničky objevují skrz otvory, duplikujte část geometrie Jasonovy masky, ale nezapomeňte vyplnit malé otvory. Poté ji umístěte těsně za původní masku.

Pokud to může znít trochu složitě, pojďme si věci usnadnit pomocí samovysvětlujících obrázků.

Zatímco se postava otáčí, tkaničky nejsou vykresleny podle očekávání. Zejména z bočního pohledu pozorujeme krajku na opačné straně – měla by být blokována falešnou 3D hlavou.

Nyní vytvoříme hrubý 3D tvar hlavy, který se chová jako matná geometrie.

Pamatujte, že nesmíte trávit spoustu času zdokonalováním vzhledu těchto geometrií. Jediným požadavkem je co nejlépe se přiblížit tvaru hlavy.

S nastavením jsme téměř hotovi, ale ještě musíme těmto geometriím přiřadit správný shader.
Jak jste si pravděpodobně všimli, při diskusi o těchto sítích hojně používáme termín „matný“.

Zde je tento termín běžně označován jako maska – nezaměňovat s naší Jasonovou maskou – protože brání softwaru vykreslit to, co je za maskou podle aktuálního snímku.

Pojďme se rychle podívat na vlastnosti stínování.

Vlastnosti stínování na dalších geometriích

Nezáleží na tom, zda při práci se stínováním používáte Maya, 3ds Max nebo podobně. Stačí pochopit, jak použít správná nastavení.

V našem případě používáme Arnold jako renderer. Pokud jste více zvyklí používat jiný nástroj, pokračujte!

Arnold nabízí víceúčelový povrchový shader s názvem „aiStandardSurface“. Zaškrtněte „Povolit Matte“ v sekci „Matte“, kde máte také dvě jednoduché možnosti:

• Matná barva
• Matná neprůhlednost

První jmenovaný nastavil barvu – v našem případě čistou černou. Ten má dopad na Alfa kanál .

Abych to shrnul, vytváříme správné maskování z pohledu kamery, ale bez zakrytí původního záznamu.

Protože se například zadní krajka objevuje přes Jasonovu masku na konkrétním rámu, musíme různým geometriím přiřadit černou matnou barvu a nastavit Matte Opacity na 0. Černá barva skryje zadní krajku při vykreslování, zatímco alfa kanál umožní, aby se oči původního záznamu znovu objevily tam, kde by měly být!

Podívejme se na vizuální příklad.

Matte Opacity nastavené na 0 vytváří alfa, kde mají otvory černou barvu. To zaručuje, že původní záběry budou viditelné skrz otvory.

Pokud bychom nastavili Matte Opacity na 1, alfa kanál by byl zcela bílý, což znamená, že by nebylo možné sloučit původní záběry do postprodukce.

Mějte proto na paměti předchozí jednoduché nastavení, které funguje téměř neustále. Musíte integrovat 3D modely s videoklipy.

Jednoduchá síť stínování pro Jasonovu masku

V dnešní době téměř všechna 3D aktiva obsahují správnou sadu PBR textur .

Pro osvěžení vašich nápadů PBR znamená „Physically Based Rendering“, trend v CGI, jehož cílem je zlepšit způsob interakce světla s 3D objekty. To znamená lepší materiály, přesné stínování a tak dále.

Jak již bylo řečeno, Jasonova maska má sadu PBR textur, které jsou:

• mapa Albedo, která obsahuje pouze informaci o barvě
• mapu drsnosti označuje, kde se na povrchu objevují rozmazané nebo ostré odrazy
• mapu metalismu se používá k označení kovových částí pletiva.
• Normální mapa ukládá normály na povrch za účelem simulace falešných detailů, jako jsou hrboly, štěrbiny, nerovnosti atd…

Práce s předchozími texturami znamená přijetí pracovního postupu kov/drsnost.

Albedo mapa je reprezentována nějakou špínou. Změnili jsme hodnoty drsnosti, aby byl odraz rozmazaný a mělký. Kovovost má dopad pouze na kovová tlačítka, zatímco normální mapa ovlivňuje hlavně tkaničky, a to bude vidět na našem finálním renderu.

Zde je stínovací síť v Maye s několika snadnými vylepšeními drsnosti, kovovosti a obecné barvy masky.

Několik úvah o osvětlení

V původní stopáži, jak je zmíněno v části I této série, jsem použil dva softboxy – jeden zleva a jeden zprava. Kromě toho nebylo záměrem přidat na toto téma žádná silná světla. Místo toho softboxy sloužily jako světelné zdroje pro zelenou obrazovku. Ve skutečnosti je odstranění pozadí při skládání mnohem snazší, pokud je zelené pozadí rovnoměrně osvětleno.

To znamená, že protože původní postava nemá příliš silné světlo z přesného směru, máme dostatek prostoru pro přizpůsobení našeho Maya osvětlení. Rozhodl jsem se pro 2bodové schéma osvětlení.

Pak jsem přidal dramatičtější vzhled k masce snížením intenzity světla levé oblasti.

V dalším testu renderu můžete vidět pocit dramatu díky kontrastu a tmavým barvám na látce. Také poměr osvětlení —key to fill — je dostatečně vysoké, aby zvýšilo napětí.

V našem konečném záběru vytvoříme jiný render, ale tímto experimentem jsem vám chtěl ukázat, jak můžete dosáhnout dramatického vzhledu s pouhými dvěma světly a trochou kompozice.

Případně vás zvu k otestování vaší mayské scény pomocí obrázku HDR a vašeho schématu osvětlení.

Čas vykreslit animaci

Pojďme vykreslit Jasonovu masku s pomocí našich předchozích matných geometrií!

V důsledku toho bychom chtěli, aby nezávislá vrstva v After Effects byla složena přes původní záběry.
Dále jsme přidali trochu mlhy z knihovny Shutterstock.

V tuto chvíli je to, co vidíte na videu níže, čistý výsledek z vykreslovače Maya Arnold —dosud nebyly provedeny žádné další opravy.

Z předchozího renderu můžeme testovat krytí a přítomnost správných částí renderu při pohybu masky. Mlha je například vidět skrz otvory masky a krajkový render funguje správně.

Zatím je to dobré!

Nyní následující sekvence obrázků představuje barevnou korekci použitou na masku, aby odpovídala hlavnímu záznamu obrázku na pozadí.

Následující efekty byly použity ke zlepšení integrace s prostředím na pozadí, ale také zvažte současné sladění barev masky s původním záznamem.

Zatímco korekce barev je prvkem v postprodukci, existuje mnoho způsobů, jak dosáhnout dobré integrace.
Obvykle pracuji na komponentách RGB samostatně, pracuji na jednotlivých kanálech. Alternativně, levné a rychlé řešení umožňuje přidat efekt odstínu do cílové vrstvy vzorkováním bílých a černých bodů z jiné.

Vyzkoušejte obě řešení a zhodnoťte, které z nich funguje nejlépe!

Přidání původního záznamu do After Effects

Než se zaměřím na hlavní záznam, rád bych pár slov o odstranění zelené obrazovky z hlavního předmětu.

Jak víte, zelená barva je chromatický klíč a lze je snadno extrahovat pomocí pluginu v After Effects s názvem Keylight —verze 1.2, v mém případě.

Má několik možností, ale celkově je to docela jednoduché. Nastavení se však případ od případu liší. Zde je stručný seznam hlavních základních kroků, které je třeba dodržet.

• Zvedněte barvu z pozadí. Vyberte nejčistší a nejjednotnější oblast zelené obrazovky
• a upravte Zisk obrazovky a Vyvážení obrazovky pro upřesnění výsledku
• V části Korekce barvy okrajů sekce, pohrajte si s téměř všemi parametry. Tato část je klíčová při práci na oblastech blízko okrajů. Bez správného ladění bude váš objekt pravděpodobně představovat evidentní a umělý obrys

Někdy Potlačení barvy okrajů podsekce může pomoci. V mém případě jsem to nevyužil, protože jsem již získal pěkný a vynikající s předchozími možnostmi.

Našel jsem Barevný efekt Lumetri zvláště užitečné. Umožňuje hrát se světly, stíny, bílou, černou, a tak předchozí případ; pomohlo mi to ztlumit zrcadlový odraz na bundě a zároveň nastavit správnou barvu pozadí.

Na posledním obrázku můžete ocenit pěkný přechod bundy směrem k pozadí.

Pojďme znovu přidat masku

Pozadí, maska a původní záběry spolu pěkně ladí. Pokud se znovu podíváte na výslednou kompozici, všimnete si, jak důležité je věnovat čas detailům.

Úklid Animace masky je jedním z prvních úkolů, které je třeba zvážit během prvních fází celého procesu. Jakmile budete mít animaci PFTrack, můžete se setkat s několika snímky k vyleštění.

V mém případě jsem naštěstí neměl téměř žádné problémy, protože sledování geometrie fungovalo dobře od samého začátku – a proto jsme o tom nemluvili.

Nezapomeňte zkontrolovat animaci snímek po snímku a v případě, že výsledek upřesníte, použijte editor ve vašem 3D softwaru.

Dále zvažte práci na detailech, jako je poloha šněrování, která musí odpovídat pohybu hlavy během klipu.

Zde je několik snímků z videa ukazující pozici krajky. Použil jsem jinou LUT, abych přidal více kontrastu.

pokud si všimnete, že pozice krajky potřebuje upravit v několika snímcích, můžete průběžně průběžně v postprodukci přidávat blahodárný efekt zvaný Mesh Warp. Vytváří mřížku, kde každý bod ovládá určitou oblast záznamu – podobně jako Lattice Deformer, který jsme použili v 3D softwaru.

Vzhledem k tomu, že se doporučuje použít jej pro drobné úpravy, zajistěte téměř dokonalou a solidní animaci z 3D softwaru.

Konečné úvahy

Doufám, že jste se z této dvoudílné série hodně naučili a nyní rozumíte pracovnímu postupu zahrnujícímu integraci prvků do vlastních záběrů.

Zde je nový exportovaný klip s větším kontrastem a jinou LUT.

Použili jsme masku zakrývající obličej, takže původní černé značky jsou téměř všechny zakryté, i když se jich v klipu pár objeví, ale vůbec neruší pozornost diváka a ve finálním záběru fungují dobře.

Pokud by byly značky na kůži tak viditelné – což není náš případ – mohli byste použít Content-Aware Fill v After Effects, abyste je odstranili z původní kompozice.

Díky této funkci můžete sledovat masku kolem každé černé značky a After Effects najde nejlepší vzorkovací oblast, kterou lze nahradit.

Pokud vás článek zaujal, zvu vás, abyste mě sledovali na mé stránce Linkedin, kde budou přibývat další novinky.