AI Assistance:Zvyšte zapojení zdarma pomocí funkce Speech-to-Text aplikace Premiere Pro

Pokud jste sledovali úvodní videa na Adobe MAX 2020, pravděpodobně jste si všimli několika trendů formujících se během ukázek produktů.

Mobilní a sociální sítě byly (a vždy budou) ústředními body, ale umělá inteligence (AI) a strojové učení (ML) – neboli Sensei jak se je Adobe rozhodlo označit – postavilo se na scénu mnoha překvapivými způsoby.

Jako vždy byla velká část vysílacího času věnována Photoshopu, který přidal balíček Sensei řízených nástrojů s názvem Neurální filtry které zahrnují převzorkování obrazu, výměnu oblohy a stárnutí na výšku. Ale i když je otočení hodin dopředu zábavné a výměna toho vyfouknutého panoramatu za západ slunce dělá krajinu hezčí, je těžké v těchto nástrojích vidět větší komerční hodnotu. Za tímto účelem byste se měli podívat na nejméně zmiňovanou funkci umělé inteligence v Premiere Pro – převod řeči na text.

Pojďme se podívat na to, proč byste jej mohli chtít, jak jej používat a zda tento nástroj strojového učení může zvýšit vaši produktivitu.

O tom nemluvíme

Pojďme si na chvíli připomenout, že toto není první pokus Adobe uvolnit nástroj pro převod nahraného zvuku na upravitelný text. Analýza řeči byla přidána do Premiere Pro již v roce 2013. Nebylo to...není skvělé.

Když jsem to tehdy testoval, nejlepší popis výsledků, které přinesl, by bylo slovo salát.

Ale abych byl spravedlivý, totéž platilo také o jiném softwaru v té době. Automatický přepis videí na YouTube byl stejně nespolehlivý. Jak řekl jeden komentující „podle mých zkušeností to dělá tak špatnou práci, že čas, který bych potřeboval na opravu, je podstatně víc času, než bych to zabral sám přepsat.“

A to byl ve zkratce ten problém. Nebylo tedy opravdu překvapivé, že společnost Adobe v roce 2014 stáhla analýzu řeči z veřejného vydání a mlčela o této záležitosti, dokud ji v roce 2020 opět nevnesl do centra pozornosti báječný Jason Levine.

Různé tahy

Motivace pro automatické generování titulků bude pravděpodobně záviset na vaší obchodní perspektivě.

Například společnosti jako Google a Facebook to chtějí, protože to umožňuje video indexovat a vyhledávat, což nám umožňuje najít obsah ve videích (a jim prodávat reklamní bloky na základě kontextu).

Ale pro video producenty a distributory přichází potřeba titulků pravděpodobně z jiného místa.

Přístupnost

Zákony týkající se přístupnosti se na celém světě liší, ale nejblíže globálnímu standardu jsou směrnice Web Content Accessibility Guidelines (WCAG) publikované World Wide Web Consortium (W3C). Stojí za zmínku, že část 7.3 aktuálního WCAG uvádí, že média bez titulků jsou považována za kritickou chybu, která automaticky selže v procesu hodnocení.

V USA již FCC stanovila zákonný požadavek, že veškerý televizní obsah vysílaný v Americe musí být opatřen titulky a jakékoli následné streamování tohoto obsahu spadá pod stejná pravidla.

A i když je pravda, že obsah, který je jedinečně vysílán přes internet, nespadá pod tato nařízení, legislativa včetně zákona o Američanech se zdravotním postižením (ADA) již byla úspěšně použita jako základ pro žaloby proti streamovacím platformám jako Netflix a Hulu.

Takže v dnešní době je pravděpodobně bezpečnější předpokládat, že titulky jsou vyžadovány zákonem v zemi/státu, kde působíte, než to zjišťovat složitě.

Sociální média

Zatímco splnění požadavků na přístupnost je vynikajícím odůvodněním pro titulky, je také výhodné pro publikum, které netrpí ztrátou sluchu, zejména pokud jde o videa na sociálních sítích.

Ztlumené automatické přehrávání se rychle stává normou pro video v posouvání sociálních kanálů a odhaduje se, že až 85 procent zhlédnutí videa probíhá s vypnutým zvukem. Pokud tedy chcete zlepšit poměr signálu k šumu obsahu na sociálních sítích, titulky jsou nyní nezbytnou součástí procesu.

Globální dosah

A pro ty z nás, kteří pracujeme s globálními trhy, je již dlouho známo, že titulky jsou nejsnazším způsobem, jak znovu použít váš filmový a videoobsah pro publikum, které mluví jiným jazykem. (Určitě mnohem méně zapojený než dabing a ADR.)

Zatímco některé překladatelské služby mohou pracovat přímo z původního média, nabídka souboru s titulky v původním jazyce může pomoci urychlit proces.

Existují samozřejmě i další důvody, proč se titulky rychle stávají nezbytnou součástí mediální produkce, a to nejen kvůli memům.

Ale i když se potřeby firmy od firmy mohou měnit, základní výhoda je stejná – titulkování vašich médií vám pomůže oslovit větší publikum. A to je dobré pro všechny .

Začněme show

Chcete-li začít, otevřete v Premiere Pro projekt, ke kterému chcete popsat titulky, a aktivujte cílovou sekvenci v zobrazení časové osy.

V závislosti na tom, jak jste svou úpravu strukturovali, může být užitečné malé množství přípravy, než budete pokračovat.

Pokud jste například rozložili více vokálů na samostatné stopy nebo pokud máte kombinaci zpěvu a SFX/hudby na stejném stopu, měli byste strávit nějaký čas označováním vokálních klipů jako Dialogue pomocí základního zvukového panelu (můžete se také rozhodnout ztlumit jakékoli nechtěné stopy na časové ose, pokud je to snazší.) Premiere Pro tak bude vědět, která díla má do exportovaného zvuku zahrnout. analyzuje později.

Pokud také nechcete vytvářet titulky pro celou sekvenci, měli byste nastavit vstupní a výstupní body sekvence posunutím přehrávací hlavy do požadovaných pozic a stisknutím kláves I a O. (Upozorňujeme, že lišta pracovní plochy se pro tuto funkci nepoužívá.)

Až budete připraveni, otevřete okno Text (Okno->Text) a stiskněte Přepis sekvence tlačítko.

Vaše možnosti jsou v tomto bodě jednoduché. Můžete se rozhodnout exportovat mix pouze klipů, které jste označili jako Dialogue, můžete vybrat Mix a vytvořit mix celé sekvence, nebo můžete vybrat konkrétní stopu k exportu z rozbalovací nabídky.

V současné době neexistuje způsob, jak vybrat více zvukových stop pro mix, což by mohlo být nepříjemné, pokud máte více reproduktorů na samostatných stopách. Prozatím ztlumte stopy, které nechcete zahrnout, a vyberte možnost Mix.

Speech-to-Text podporuje působivý výběr jazyků, které pokrývají většinu světové populace. Pozoruhodné výjimky jsou arabština, bengálština a indonéština, ale je zajímavé vidět americké i britské varianty angličtiny. (Jako britský ex-pat žijící v Austrálii u mě ten druhý získává bonusové body.) K účinnosti nástroje se však mohu vyjádřit pouze v angličtině.

Je zajímavé poznamenat, že schopnost Sensei identifikovat různé mluvčí – což bylo výchozí chování v beta verzi – nyní vyžaduje souhlas a není v Illinois k dispozici, pravděpodobně kvůli obavám o soukromí.

Proces přepisu je relativně rychlý, čtyřminutový testovací projekt s duálními reproduktory trvá přibližně dvě minuty a hodinová sekvence trvá 24 minut, což znamená, že doba zpracování je přibližně poloviční oproti běhu.

Převod řeči na text je však (většinou) založen na cloudu a je nemožné předvídat, jaká by mohla být rychlost, kdyby celé členství Adobe Creative Cloud najednou začalo žvýkat výpočetní cykly Sensei ve stejnou dobu. To znamená, že i když bude nutné řazení úloh do fronty, vy a vaše pracovní stanice si budete moci mezitím alespoň uvařit kávu nebo dohnat jiné úkoly.

Vraťte se do práce

Když Sensei skončí s vaším zvukem, karta Přepis na panelu Text se vyplní výsledky.

A i když se váš počet najetých kilometrů může lišit, musím říci, že jsem byl ohromen přesností testů, které jsem provedl. Beta verze, kterou jsem poprvé testoval, byla dobrá – veřejná verze je ještě lepší.

Když se přihlásíte do profilování řečníků, Sensei rozpozná více řečníků a identifikuje je jako Mluvčí 1, Mluvčí 2 atd. Pokud se odhlásíte, bude vedle segmentů odstavců jednoduše uveden Neznámý.

V obou případech je můžete pojmenovat kliknutím na tři tečky v levém sloupci na kartě Přepis a výběrem položky Upravit reproduktory.

Tento nástroj vám umožní ručně opravit případy, kdy Sensei mohl nesprávně identifikovat reproduktory s podobně znějícími hlasy, a vyplatí se tomu věnovat čas, než přejdete do fáze vytváření titulků.

Totéž platí pro čištění přepisů. Pokud jste s analýzou převodu řeči na text neměli velké štěstí, budou ve vašem přepisu chyby. Ty jsou pravděpodobnější u nahrávek s více konverzačním podáním, hlukem na pozadí, neslovníkovými slovy, jako jsou názvy společností, nebo více mluvčích, kteří spolu mluví.

A i když budete moci upravovat text po jeho převedení na titulky, měli byste přepis opravit před dostanete se k dalšímu kroku. Je to proto, že Premiere Pro zachází s přepisem a následnými titulky jako se samostatnými zdroji dat – takže změny jednoho nebudou mít žádný vliv na druhý.

Udělejte si proto čas, abyste svůj přepis upravili správně, protože to bude zdroj, ze kterého budou vytvořeny všechny vaše titulky.

Procházení

Společnost Adobe implementovala některé mimořádně užitečné funkce, které vám pomohou procházet video a zároveň přepisovat.

Pro začátek má Premiere Pro již pracovní plochu Titulky, která rozděluje vaši obrazovku na Text, Základní grafiku, Časovou osu, Projektové koše a Program. I když možná budete chtít vyladit věci tak, aby vyhovovaly vašim preferencím. U mě to vypadá takto…

Jakmile vše nastavíte, je snadné se zorientovat.

Například přesunutí přehrávací hlavy na novou pozici na časové ose automaticky převede přepis do odpovídajícího umístění, a to do té míry, že slovo mluvené v tomto bodě pod přehrávací hlavou je na panelu Přepis zvýrazněno modře. Jakýkoli text, který se nachází před pozicí přehrávací hlavy, je zbarven šedě, což je užitečný doplněk k uživatelskému rozhraní.

Podobně přehrávání nebo čištění časové osy aktualizuje zobrazení přepisu, aby udrželo tempo s přehrávací hlavou.

A funguje to i obráceně, takže výběrem libovolného slova na panelu Přepis se automaticky přesune přehrávací hlava a náhled videa na odpovídající čas v sekvenci. Občas může být trochu pomalá na odezvu – možná proto, že komunikuje se servery Adobe – ale přesto je to vysoce efektivní přístup.

V horním rohu je také pole Hledat, které vám umožní přejít na slova a fráze v přepisu, a také funkce Nahradit, pokud potřebujete opravit opakované chyby.

Osvědčený postup

V této fázi pravděpodobně budete většinu navigace provádět v panelu Přepis; výběrem slova, stisknutím mezerníku spusťte přehrávání, porovnejte to, co slyšíte, s tím, co čtete, poté zastavte a poklepejte na text, abyste provedli jakékoli změny.

Na základě mých zkušeností se vaše změny s největší pravděpodobností zaměří na interpunkci a strukturu vět, nikoli na opravu nesprávných slov. A navzdory Senseiho nejlepšímu úsilí si stále budete muset dát tu práci, abyste věci dostali do stavu připraveného pro titulky.

A to se dá očekávat. Zpracování přirozeného jazyka je neuvěřitelné tvrdý. Poté, co zohledníte akcenty, dialekt, způsoby, tón a důraz, bojují s tím i lidské bytosti. Očekávat od stroje dokonalé výsledky je tedy nereálné. (Důrazně doporučuji zapnout automatické titulky YouTube pro následující příklad videa.)

(Toto je skvělá alternativa – https://youtu.be/Gib916jJW1o)

Přistupujte k této fázi s otevřenou myslí, čerstvým šálkem kávy a pohodlnou židlí. A pokud potřebujete rady ohledně osvědčených postupů pro vytváření titulků, možná si budete chtít nejprve přečíst pokyny pro titulky BBC.

Nezapomeňte také, že data přepisu jsou uložena v souboru projektu Premiere Pro, takže se k nim můžete v případě potřeby vrátit později. Přepis můžete také exportovat jako samostatný, ale proprietární .prtranscript soubor, i když není jasné, jaká by mohla být výhoda tohoto přístupu.

Připraveni?

Až budete přesvědčeni, že je váš přepis tak čistý, jak jen to dokážete, pokračujte a klikněte na Vytvořit titulky tlačítko.

Zde budete mít spoustu možností, včetně možnosti použít styly (za předpokladu, že jste nějaké dříve vytvořili). Můžete definovat maximální délku znaků a minimální dobu trvání titulků, nastavit je na Dvojitý nebo Jeden řádek a dokonce i počet snímků, které mezi ně chcete vložit.

Pokud si v této fázi nejste jisti, co chcete, doporučuji vybrat formát „Titulky“ z rozbalovací nabídky a ujistěte se, že Vytvořit z přepisu sekvence je vybrán přepínač a zbytek ponechte na výchozích hodnotách.

Nebudu trávit mnoho času diskutováním o různých formátech titulků, které převod řeči na text nabízí. Částečně proto, že nejsem odborníkem na rozdíly a vy budete znát požadavky svého projektu lépe než já. Ale hlavně proto, že na tom tolik nezáleží .

Je to proto, že funkce Speech-to-Text aplikace Premiere Pro uchovává data vašeho přepisu nedotčená a přidává vaše titulky do samostatné stopy na časové ose sekvence. (Toto je obrovské zlepšení oproti prvnímu pokusu Premiere Pro o titulky, který začlenil stopu titulků do vrstvy videa.)

Díky tomu můžete generovat titulky v tolika různých formátech, kolik potřebujete. Dokonce i zpětně, pokud by byl váš projekt prodán na území, které používá jiný standard. Zdá se, že počet stop titulků, které můžete přidat, není nijak omezen a formát použitý pro každou stopu titulků je jasně označen.

Pokud začnou být věci nepřehledné, můžete přepnout viditelnost stopy pomocí tlačítka CC v zobrazení časové osy.

Pokud pracujete s cizojazyčnými titulky, může být tento aspekt uživatelského rozhraní mimořádně užitečný, protože vám umožňuje vytvářet vrstvy titulků pro tolik jazyků, kolik potřebujete ve stejné časové ose . Tento přístup má svá omezení, ke kterým se dostanu později, ale z osobní zkušenosti to z celého srdce vítám.

Takže pokračujte a stiskněte tlačítko Vytvořit a sledujte, jak je váš přepis rozdělen na kusy a uspořádán ve formátu, který si vyberete.

Další kolo

Pokud máte nějaké zkušenosti s tvorbou titulků, budete vědět, že dobré titulky vyžadují překvapivou dávku jemnosti.

Není to tak jednoduché, jako rozdělit dialog na věty a zobrazit je na obrazovce tak dlouho, dokud je řečník vysloví.

Musíte dekonstruovat to, co se mluví, do krátkých, srozumitelných částí, které lze číst, aniž byste příliš odváděli pozornost od vizuálních prvků. Interpunkce je neuvěřitelně důležitá a zalomení řádků může znamenat rozdíl mezi porozuměním a zmatením. A abych byl spravedlivý, zdá se, že převod řeči na text v tom dělá rozumnou práci.

Abyste však vyhověli normám pro titulkování, jako jsou standardy FCC, musíte hluk a hudbu přenést v maximální možné míře . A i když je nerozumné očekávat, že Sensei začne označovat zvuky a hudbu (alespoň prozatím), váš titulkovací software by vám měl umožnit začlenit informace mimo dialog.

Po jednom, prosím

Převod řeči na text je bohužel omezen na jeden stopa bez prostoru pro překrývající se prvky.

To znamená, že neexistuje způsob, jak snadno začlenit simultánní reproduktory nebo přidat zvukové nebo hudební identifikátory přes dialog. (Zkoušel jsem je přidat do druhé stopy titulků, ale viditelnost můžete povolit pouze pro jednu stopu najednou.)

Pokud tedy váš projekt vyžaduje soulad s FCC, možná budete muset tuto úlohu předat jinému řešení titulků. Ale i poté můžete stále používat převod řeči na text, abyste získali většinu cesty, a poté výsledky exportovat do textového nebo SRT (SubRip) souboru pro import do jiného nástroje.

Rozdělte rozdíl

Jakmile se pustíte do úpravy titulků generovaných převodem řeči na text, pracovní postup aplikace Premiere Pro dává velký smysl.

Věty jsou rozděleny do krátkých jednořádkových segmentů, které se vejdou i na ty nejmenší obrazovky bez zalamování. A můžete se rozhodnout je sloučit nebo dále rozdělit, pokud ve svém aktuálním stavu tak docela nefungují.

Je také možné přidat nové titulky, za předpokladu, že je na to prostor (výchozí hodnota pro vložený titulek je tři sekundy a pokud si zde nebudete dávat pozor, můžete skončit přepsáním stávajících titulků).

Titulky se také chovají jako jakýkoli jiný prvek na časové ose. Můžete tedy upravit jejich vstupní a výstupní body přetažením úchytů klipů, propojit je s videoklipy, rozdělit je pomocí nástroje Razor nebo dokonce provádět úpravy skluzem, posunutím, vlněním a rolováním.

Pokud se tedy již v sadě nástrojů Premiere Pro orientujete, vaše stávající dovednosti se vám zde budou hodit.

Oprava v post-post

Existuje však omezení úprav stopy, které je jedinečné pro titulky.

Zatímco můžete vybrat a manipulovat s více stopami videa, zvuku nebo obrazu současně, vždy může být aktivní pouze jedna stopa titulků. Pokud potřebujete upravit více stop titulků v různých formátech, budete to muset udělat jednu stopu po druhé.

Ale připadá mi to jako třepení vlasů. Vzhledem k tomu, že proces tvorby titulků obvykle probíhá dlouho poté, co je úprava uzamčena a schválena, je potřeba provést změny ve více formátech titulků by být okrajový scénář.

Otevřeno nebo zavřeno?

Premiere Pro nabízí širokou škálu formátovacích nástrojů pro vaše titulky, včetně možnosti ukládat styly a aplikovat je na budoucí projekty.

Můžete upravit možnosti písma, barvy, stínu, obrysu a pozadí, stejně jako polohu, zarovnání textu a použitelnou oblast titulků. A ty lze přiřadit k jednotlivým titulkům nebo přes celou stopu titulků.

Skryté titulky

Ale rozsah, ve kterém můžete změnit vzhled svých titulků, závisí na tom, zda je zamýšlíte nasadit jako otevřené nebo zavřeno .

Skryté titulky se ukládají jako samostatné soubory – známé také jako soubory vedlejších – a divák je může během přehrávání zapínat a vypínat.

Většinu formátování skrytých titulků zajišťuje přehrávací systém, takže možnosti formátování jsou omezené (a Premiere Pro zobrazí pouze funkce, které podporuje vámi zvolený formát titulků). Ale navzdory názvu lze skryté titulky po dokončení snadněji změnit, protože se obvykle jedná o jednoduchý textový soubor nebo soubor XML.

Otevřít titulky

Naproti tomu otevřené titulky jsou „vypáleny“ do videa, takže jsou vždy viditelné (bez ohledu na platformu přehrávání nebo zařízení) a můžete je naformátovat, jak uznáte za vhodné.

Znamená to také, že můžete vytvořit jednu verzi videa s titulky, která se bude přehrávat na všech videoplatformách.

Výměnou však je, že vaše titulky nelze změnit bez opětovného vykreslení a distribuce celého videa. A pokud pracujete s více jazyky, budete muset vytvořit zcela nová videa pro každý jazyk namísto snadněji spravovatelné sady stop titulků.

Za zmínku také stojí, že velikost otevřených titulků se změní spolu s videem, takže pokud si vaše publikum prohlíží část média 16×9 v zobrazení na výšku na mobilním zařízení, je možné, že vaše titulky budou příliš malé na čtení.

Na tomto základě si můžete myslet, že neexistuje žádný přesvědčivý důvod, proč se rozhodnout pro otevřené titulky u vašeho videoobsahu. Pokud ale publikujete na sociálních sítích, možná se nebudete chtít spoléhat na nástroje pro automatické titulky, které jsou v současnosti vaší jedinou možností na platformách jako Instagram nebo TikTok.

Některé sociální platformy také umožňují přidávat titulky pouze současně s nahráváním videa, což znemožňuje plánování nebo automatické zveřejňování videoobsahu s titulky. Otevřené titulky tedy mohou být stále životaschopnou možností.

Dokončení

Při pohledu na aktuální verzi se zdá, že vaše možnosti exportu byly zredukovány na EBU N19 nebo prostý textový soubor SubRip SRT – formát MacCaption VANC MCC a Vložit do výstupního souboru možnosti nalezené v beta verzi již nejsou dostupné.

To však není tak omezující, jak to zní, protože EBU poskytuje většinu streamovacích a vysílacích služeb a SRT pokrývá většinu online a sociálních videoplatforem.

Co nevidíme, je možnost exportovat pouze stopu titulků z exportního nástroje Premiere Pro nebo Adobe Media Encoder, takže k získání souboru s titulky ve formátu XML musíte vykreslit alespoň zvukový soubor.

Vzhledem k tomu, že můžete exportovat do souborů .srt a .txt z panelu Titulky, zdá se to zvláštní a pravděpodobně se to v budoucnu změní.

Pokud chcete otevřít titulky, stačí vybrat Vypálit titulky do videa volba. A samozřejmě, pokud chcete vytvořit více exportů v různých formátech, můžete je zařadit do fronty v Adobe Media Encoder pro dávkový export. Jen se ujistěte, že jste nejprve nastavili viditelnost požadované stopy titulků na časové ose.

Co chybí?

Během testování beta verze jsem si všiml některých oblastí, ve kterých by společnost Adobe mohla tento nástroj vylepšit, než jej vydá veřejnosti, a až na jednu malou výjimku stále „chybějí“. Takže tady je můj seznam přání:

1. Nastavitelná velikost písma na panelech Přepis a Titulky.
   Velikost textu je aktuálně definována nastavením systému a někdy jsem chtěl velikost písma zvýšit, aby bylo snazší číst při úpravě přepisu.
2. Import skriptu.
   Pokud pracujete se skriptovaným materiálem, pak Speech-to-Text by teoreticky mohl přeskočit proces přepisu a místo toho se zaměřit na načasování. To vám umožní rychle převést to, co již máte, do formátu připraveného pro titulky. (YouTube to již má.)
3. Vlastní formátování podle mluvčího.
   Přestože v přepisu můžete identifikovat mluvčí, neexistuje způsob, jak tato data automaticky přidat do titulků. A pokud titulujete scénu po scéně, může být užitečné mít vlastní umístění titulků pro reproduktory, kteří budou vždy na konkrétní straně snímku.

Ale stojí to za to?

Nemohu říci, jaké máte zkušenosti s převodem řeči na text v Premiere Pro.

Je to automatizace jedním tlačítkem pro všechny vaše potřeby titulkování? Samozřejmě že ne. A věřím, že jsme stále ještě daleko od vybudování systému, který zvládne tento složitý a nekonečně variabilní úkol bez nějakého lidského zásahu.

Ale pro mě se tento nástroj stal standardní součástí mé sady nástrojů ještě předtím, než opustil beta verzi.

Pokud stisknete, Odhaduji, že se zkrátí čas potřebný k titulkování obsahu asi na třetinu toho, co bylo předtím . Není to jediná dostupná možnost – Otter.ai exportuje přepisy do formátu titulků .srt, Digital Anarchy má plugin Premiere Pro s názvem Transcriptive a samozřejmě můžete platit společnostem, aby to udělaly za vás – ale všechny tyto mají nákladovou komponentu, zatímco převod řeči na text je v současnosti zdarma.

Všechno se to vrací ke komentáři, který jsem uvedl na začátku tohoto článku – je snazší používat převod řeči na text, než byste jej přepisovali sami? Pro mě je odpověď velmi pevné ano. So if you’re looking at finding a better way to add accessibility and greater audience engagement to your video projects, Premiere Pro Speech-to-Text is definitely worth a look.

(And if you’re looking for more content on working with audio in Premiere Pro, check out Premiere Pro Mixing Basics and Premiere Pro Audio Tools.)