텍스트 프롬프트 또는 소리 없는 영상만으로 효과음을 생성해주는 AI모델이라고 합니다. 허깅페이스 데모에서 사용해보실 수 있고, 깃헙은 여기입니다. 로컬에서 사용해보려면 miniforge에 Python 3.9이상, PyTorch 2.5.1이상이 필요하다고 하네요.
허깅페이스에서 돌려봤는데, 효과음이 되게 고음질인 건 아니고 8초 정도의 짧은 영상이지만 인게임 영상 같은 것도 도전해볼만하지 않나...하고 생각했네요. 다만 정말 영상을 인식해서 거기에 어울릴만한 효과음을 넣어주는 건 꽤나 매력적이네요=)