AUDIOCRAFT: Generira visokokvalitetni zvuk i glazbu iz teksta

05.08.2023. / 17:45

Autor Krunoslav Ćosić 05.08.2023. / 17:45

Generativni alat za audio i glazbu koristi umjetnu inteligenciju

Izvor: Meta

Meta je ponudila Open-Source MusicGen, AudioGen i EnCodec u istraživačke svrhe kako bi pomogli unaprijediti polje zvuka generiranog umjetnom inteligencijom. Zamislite profesionalnog glazbenika koji može istraživati nove skladbe bez potrebe da odsvira ijednu notu na instrumentu.

Vlasnik male tvrtke s lakoćom može dodati zvučni zapis svom najnovijem videooglasu na Instagramu. Upravo sve to omogućuje AudioCraft; Metin najnoviji AI alat koji generira visokokvalitetan, realističan zvuk i glazbu iz teksta.

AudioCraft se sastoji od tri modela: MusicGen, AudioGen i EnCodec. MusicGen generira glazbu iz tekstualnih upita dok AudioGen, koji je obučen za javne zvučne efekte, generira zvuk iz tekstualnih upita.

Izvor: Meta

Meta je objavila poboljšanu verziju svojeg EnCodec dekodera koji omogućuje kvalitetnije stvaranje glazbe s manje artefakata. Objavljuju i svoje unaprijed obučene modele AudioGen koji vam omogućuju generiranje zvukova iz okoline i zvučnih efekata poput laveža psa, trube automobila ili koraka na drvenom podu.

Istraživači i praktičari dobili su pristup kako bi mogli trenirati vlastite modele sa svojim vlastitim skupovima podataka po prvi put i pomoći će time unaprjeđivanju polja zvuka i glazbe generirane umjetnom inteligencijom.

Već smo vidjeli puno uzbuđenja oko generativne umjetne inteligencije za slike, video i tekst, ali čini se kako interes za zvuk malo zaostaje. To je vrlo komplicirano pa se ljudi ne mogu lako igrati sa zvukom. Generiranje zvuka visoke vjernosti bilo koje vrste zahtijeva modeliranje složenih signala i uzoraka u različitim razmjerima.

Izvor: Meta

Glazba je nedvojbeno najizazovnija vrsta zvuka za generiranje jer se sastoji od lokalnih i dugotrajnih uzoraka, od skupa nota do globalne glazbene strukture s više instrumenata.

AudioCraft je namijenjen za glazbu, zvuk, kompresiju i generiranje. Budući da se lako nadograđuje i ponovno koristi ljudi koji žele izgraditi bolje generatore zvuka, algoritme kompresije ili glazbene generatore mogu sve to učiniti u istoj bazi koda i nadograđivati se na ono što su drugi napravili.