Tento open-source nástroj AI rychle izoluje vokály v jakékoli písni
Ideální pro vytváření karaoke doprovodných skladeb a mashupů
Rozdělení skladby do samostatných vokálů a nástrojů bylo vždy bolestí producentů, DJů a kohokoli jiného, kdo si chce hrát s izolovaným zvukem. Existujíspousta způsobůale může to být časově náročné a výsledky často nedokonalé. Díky novému nástroji AI s otevřeným zdrojovým kódem je tento složitý úkol rychlejší a jednodušší.
Tento software se nazývá Spleeter a byl vyvinut hudební streamovací službou Deezer pro výzkumné účely. Včera to společnost vydala jakoopen-source balíček, uvedení kódu do provozuGithubpro kohokoli ke stažení a používání. Stačí nakrmit Spleeter zvukový soubor a ten jej rozdělí na dvě, čtyři nebo pět samostatných zvukových stop známých jako stopky. Výsledky nejsou dokonalé, ale jsou mimořádně použitelné a samotný Spleeter je velmi rychlý. Když běží na vyhrazeném GPU, může rozdělit zvukové soubory na čtyři stonky stokrát rychleji než v reálném čase.
Níže si můžete poslechnout příklad softwaru, který pracuje na David Bowie’s Changes. Existuje několik zvukových artefaktů jak v hlasových, tak v pásmových stoncích, ale celkové výsledky jsou fantastické. A pokud Bowie není tvoje věc, tady jedalší příklad Spleeteraza tu nadčasovou baladu lásky a ztráty: Scatman (Ski-Ba-Bop-Ba-Dop-Bop).
Technolog Andy Baio napsal vynikajícípříspěvek na bloguo Spleeterovi se spoustou vlastních příkladů. Baio říká, že izolované vokály produkované softwarem mají někdy robotický autotuned pocit, ale množství krvácení je ve srovnání s jinými řešeními překvapivě nízké. Níže si můžete poslechnout příklad generovaný Baiem se Spleeterem běžícím na Marvin Gaye's I Heard It Through the Grapevine. (Ale určitě klikněte na jeho původní příspěvek, pokud si chcete poslechnout izolovanější vokální stopy od Lil Nas X, Lizzo, Led Zeppelin a dalších.)
démoni duše pcMarvin Gaye - Slyšel jsem to přes vinnou révu
Marvin Gaye (pouze zpěv)
nejrychlejší dns
Marvin Gaye (pouze hudba)
Baio poukazuje na to, že Spleeter bude také velmi užitečný pro kohokoli, kdo chce vytvářet mashupy, protože se předvádí nesvatým spojenímPřátelétematická melodie (Rembrandts I’ll Be There for You) s texty písní We Didn’t Start the Fire od Billyho Joela.
nikdo by neměl mít tento druh mocipic.twitter.com/4vbl2MGK4Z
- Andy Baio (@waxpancake)5. listopadu 2019
Tento nástroj se zdá být mimořádně schopný, ale je třeba ho varovat: k jeho použití budete potřebovat určité technické znalosti. Pokud pravidelně nehrajete se softwarem, jako je Python nebo sada nástrojů AI od Googlu TensorFlow (který se používal k trénování Spleetera), budete si muset stáhnout několik programů, aby vše fungovalo.Amísto přístupnějšího vizuálního rozhraní budete muset pohodlně používat vstup z příkazového řádku (i když velmi jednoduchý).
Deezer poznamenává, že toto není poprvé, co lidé použili strojové učení k automatizaci tohoto úkolu, a že úspěchy společnosti jsou postaveny na mnoha dřívějších výzkumech. Mluvit sThe Vergepřes e-mail hlavní vedoucí výzkumu a výzkumu společnosti Deezer Aurelien Herault říká, že společnost vyškolila svůj software na 20 000 hudebních skladeb s předem izolovanými vokály napříč žánry. Z těchto informací se software naučil, jak izolovat stopy sám.
Celkově je Spleeter dalším fantastickým příkladem toho, jak nástroje AI mohou zjednodušit fiddly kousky kreativní práce. Strojové učení se aktuálně používá k automatizaci řady časově náročných úkolů ododstranění pozadí z obrázkůk upscalingu textur ve starých videohrách. A tyto nástroje se stále častěji začleňují do spotřebitelského softwaru, od Adobe Photoshopu až po nové uchazeče, jako je Runway ML.
Sleep tracker android wear
Deezer říká, že nemá v úmyslu proměnit Spleeter ve spotřebitelský nástroj, ale ostatní by si mohli vzít svou práci a udeřit na ni jednoduché rozhraní. Zřejmé aplikace jsou pro DJe a producenty, kteří chtějí integrovat izolované vokály do mixů, nebo pro lidi, kteří chtějí vytvořit doprovodné karaoke stopy homebrew. (Tyto činnosti nemusí být v souladu s autorským zákonem v závislosti na tom, jak je distribuován finální produkt.)
Samotný Deezer používá Spleeter pro řadu výzkumných aplikací, které pomáhají vylepšit jeho streamovací službu. Interně jej používáme jako nástroj pro předběžné zpracování složitých výzkumných úkolů, jako je kategorizace hudby, přepis a detekce jazyků, říká Herault.
Nebo jej samozřejmě můžete použít k lepšímu zvládnutí Scatmana. Ski-bi dibby dib yo da dub dub.
