Ez a bejegyzés a következő tartalmat magyarázza el:
- Mi az az OpenAI Jukebox?
- Hogyan működik az OpenAI Jukebox?
- Hogyan használjuk az OpenAI Jukeboxot?
- A Jukebox jellemzői
Mi az az OpenAI Jukebox?
A Jukebox egy mély tanulási rendszer, amely a semmiből képes zenét generálni, bizonyos bevitellel, például szöveggel, műfajjal, előadóval vagy hangulattal. A Jukebox több mint 1,2 millió dalból álló nagy adatkészletet használ különböző forrásokból, például Spotify-ból, YouTube-ból és MIDI-fájlokból, hogy megtanulja a zene mintáit és jellemzőit.
Hogyan működik az OpenAI Jukebox?
A Jukebox három fő összetevőből áll: egy VQ-VAE kódolóból, egy transzformátor dekóderből és egy felsamplerből.
VQ-VAE kódoló
A VQ-VAE kódoló felelős azért, hogy a nyers hangot kisebb dimenziójú reprezentációvá tömörítse, amely megőrzi a zene alapvető információit. A kódoló a vektorkvantálásnak (VQ) nevezett technikát használja, hogy a hang minden egyes szegmensét 2048 token egyikébe képezze le.
Transzformátor dekóder
Ezek a tokenek ezután a transzformátor dekóderbe kerülnek, amely egy neurális hálózat, amely a bemenet és a tanult zenei ismeretek alapján képes token sorozatokat generálni. A dekóder képes olyan tokeneket generálni, amelyek megfelelnek a szövegnek, dallamnak, harmóniának, ritmusnak, hangszínnek és egyéb zenei szempontoknak.
Upsampler
Az upsampler az utolsó komponens, amely a generált tokeneket jó minőségű hanggá alakítja vissza. Az upsampler egy másik VQ-VAE segítségével rekonstruálja a hangot a tokenekből, miközben olyan részleteket és árnyalatokat ad hozzá, amelyek hiányoznak az alsó dimenziós megjelenítésből. Az upsampler további információkat, például műfaji vagy előadói beágyazásokat is felhasználhat a kimenet finomhangolására, és valósághűbbé és változatosabbá tételéhez.
Hogyan használjuk az OpenAI Jukeboxot?
A Jukebox használatához hozzá kell férnie egy nagy teljesítményű GPU-hoz vagy egy felhőalapú számítástechnikai szolgáltatáshoz, amely képes futtatni a Jukebox kódot. Megtalálhatja a szkriptet és az utasításokat a Jukebox telepítéséhez és futtatásához GitHub . Néhány példát is találhat a Jukebox által generált dalokra SoundCloud lent:
A Jukebox segítségével saját dalok létrehozásához meg kell adnia néhány beviteli paramétert, például szöveget, műfajt, előadót vagy hangulatot. Megadhatja a mintavételi hőmérsékletet is, amely szabályozza, hogy a kimenet milyen véletlenszerű és kreatív legyen.
A magasabb hőmérséklet nagyobb változatosságot és újdonságot jelent, míg az alacsonyabb hőmérséklet nagyobb koherenciát és hasonlóságot jelent a bemenettel. Kiválaszthatja a kimenet minőségi és összetettségi szintjét is, 5b (legmagasabb) és 1b (legalacsonyabb) között. A magasabb szint nagyobb pontosságot és részletességet jelent, de több számítási időt és erőforrást is jelent.
Miután beállította a bemeneti paramétereket, futtathatja a Jukebox kódot, és megvárhatja, amíg előállítja a dalt. A beállításoktól és a hardvertől függően ez percektől órákig vagy akár napokig is eltarthat. Ezenkívül kövesse nyomon a folyamatot, és közben hallgassa meg a közbenső mintákat. A generálás végeztével letöltheti a dalt MP3 fájlként, és élvezheti zenei remekművét.
A Jukebox jellemzői
A zenegép különféle célokra használható, például:
- Eredeti zene készítése személyes vagy kereskedelmi használatra
- Meglévő dalok remixelése vagy mintavétele
- Zene generálása meghatározott hangulatokhoz, témákhoz vagy alkalmakhoz
- Különböző zenei műfajok és stílusok felfedezése
- Szórakozni és kreatívnak lenni
Következtetés
A Jukebox egy csodálatos eszköz, amellyel minimális erőfeszítéssel eredeti és változatos zenét hozhat létre. Használhatja különböző műfajokkal és stílusokkal való kísérletezésre, meglévő dalok vagy előadók újrakeverésére, vagy saját érzelmek és ötletek kifejezésére a zenén keresztül. A Jukebox azonban nem tökéletes; néha hibákat, hibákat vagy értelmetlen kimeneteket produkálhat.