Stability AI ujawnia lekki model AI do generowania dźwięku offline

Stability AI, znane z innowacji w generatywnej sztucznej inteligencji, ogłosiło nowy model generowania dźwięku: Stable Audio Open Small. Co wyróżnia to narzędzie, to jego zdolność do działania na smartfonach bez dostępu do internetu, dzięki optymalizacji dla procesorów Arm.

Opracowany we współpracy z producentem chipów Arm, model jest zaprojektowany do generowania krótkich klipów dźwiękowych — próbek, efektów dźwiękowych lub szkiców instrumentalnych o długości do 11 sekund. Według deweloperów, produkcja takiego audio zajmuje mniej niż osiem sekund, nawet na urządzeniach mobilnych. Tę wydajność umożliwia zmniejszenie sieci neuronowej do 341 milionów parametrów i dostosowanie jej do energooszczędnych chipów.

W przeciwieństwie do usług opartych na chmurze, takich jak Suno czy Udio, Stable Audio Open Small działa całkowicie lokalnie. Eliminuje to opóźnienia i zależność od łączności internetowej. Model był trenowany wyłącznie na otwartych zbiorach danych z Free Music Archive i Freesound, co zmniejsza ryzyko naruszenia praw autorskich — co stanowi znaczną różnicę w porównaniu do niektórych konkurentów, którzy polegają na bardziej wątpliwych materiałach szkoleniowych.

Niemniej jednak narzędzie ma swoje ograniczenia: obsługuje tylko polecenia w języku angielskim, nie generuje wokali ani złożonych kompozycji. Warunki użytkowania różnią się — jest darmowe dla startupów i badaczy, ale firmy z rocznym przychodem przekraczającym 1 milion dolarów muszą zakupić licencję komercyjną. Chociaż nie jest to zamiennik dla profesjonalnych studiów, Stable Audio Open Small oferuje praktyczne rozwiązanie do szybkiego tworzenia audio w podróży prosto z telefonu.