원클릭으로 AI 비디오에 더빙하는 통합 패키지 MMAudio 무료 오픈소스 원클릭 실행 배포 및 라이선스 불필요 [소프트웨어 개망치·R2347]



📚영상 강좌
🕒최근 업데이트: 2024.12.18.
👥예비 창업자 / 1인 미디어 크리에이터 / 직구·역직구 이커머스 셀러 / 부업 희망자

회원 참고 학습 자료
멤버십으로 강의 잠금 해제
🔓
멤버십으로 이 강의를 참고 학습으로 이용하세요
📦
멤버십 가입 — 16742개 강의와 소프트웨어 도구를 참고 학습
🔄
강의는 계속 업데이트 — 회원은 새 자료가 도착하면 바로 참고 학습
공유:

MMAudio는 멀티모달 공동 학습을 기반으로 한 기술로, 비디오-오디오 및 텍스트-오디오의 정밀 합성을 지원하며, 비디오에 음향 효과 더빙을 제공하고 영상 제작, 게임 개발 등 분야에 폭넓게 활용되어 높은 동기화의 시청각 경험을 제공합니다.

효과:

소프트웨어 기능:

비디오-오디오 합성: 비디오 내용과 높은 일치도의 오디오를 자동 생성합니다.
텍스트-오디오 합성: 텍스트 설명에 따라 대응하는 오디오를 생성하며, 순수 텍스트 시나리오에 적합합니다.
멀티모달 공동 학습: 시청각, 오디오 및 텍스트 데이터셋에서 학습하여 다양한 모달 데이터에 대한 처리 능력을 강화합니다.
동기화 모듈: 오디오와 비디오 프레임 또는 텍스트 설명의 정밀 정렬을 보장합니다.

활용 사례:

영상 제작: 음향 효과나 더빙을 자동 생성하여 제작 효율을 높입니다.
게임 개발: 게임 상황에 따라 음향 효과와 배경 음악을 동적으로 생성합니다.
콘텐츠 창작: 숏폼 비디오나 멀티미디어 프로젝트에 적합한 오디오를 빠르게 추가합니다.
교육 및 보조 도구: 교육 비디오나 텍스트 내용에 따라 해설이나 알림음을 생성합니다.
가상 현실 및 증강 현실: 장면과 높은 일치도의 실시간 음향 효과를 제공합니다.

구성 요구 사항:

컴퓨터가 다음 사양을 충족해야 합니다.

운영 체제: Windows 10/11 64비트
그래픽 카드: 최소 12G VRAM의 NVIDIA 그래픽 카드
CUDA >= 12.4
전체 패키지를 압축 해제하면 약 23.6G이므로 하드디스크 공간을 충분히 확보해야 합니다.
컴퓨터에 CUDA가 설치되어 있지 않다면 설치 튜토리얼을 확인하세요:

그래픽 카드 브랜드/모델 및 VRAM 확인 방법:

작업 관리자 열기
'성능' 클릭
'GPU' 클릭
오른쪽 상단에서 그래픽 카드 모델을, 하단에서 VRAM 크기를 확인할 수 있습니다

사용 튜토리얼:

① 통합 패키지를 다운로드한 후 압축 해제;
주의: 폴더 경로와 파일 이름(오디오, 이미지, 동영상 등 파일 이름 포함)에 중국어 문자(한자)가 포함되지 않도록 하세요. 그렇지 않으면 일부 소프트웨어가 인식하지 못해 오류가 발생합니다

② '원클릭 실행.exe'를 더블클릭하면 잠시 후 브라우저에서 자동으로 조작 인터페이스가 열립니다

③ 비디오에서 오디오 생성 및 텍스트에서 오디오 생성 지원

1. 비디오에서 오디오 생성

"비디오 더빙"을 선택하고, 비디오를 업로드하고, 프롬프트를 입력하고(예: waves, 파도), 길이를 설정한 후(전체 비디오를 더빙하려면 비디오 길이 이상으로 설정해야 함), 마지막으로 제출을 클릭하면 생성 결과가 오른쪽에 표시됩니다.

재생하여 확인할 수 있고, 오른쪽 상단의 다운로드 버튼을 클릭하면 지정한 폴더에 저장할 수 있습니다.

생성 결과

비디오 플레이어

2. 텍스트로 오디오 생성

"텍스트로 음향 효과 생성"을 선택하고 프롬프트(예: waves, 파도)를 입력한 후 길이를 설정하고 제출을 클릭하면 생성 결과가 오른쪽에 표시됩니다

재생하여 들어볼 수 있으며, 오른쪽 상단의 다운로드 버튼을 클릭하면 지정한 폴더에 저장할 수 있습니다

음향 효과

 

오픈소스 주소:https://github.com/hkchengrex/MMAudio

관련 강의

이메일