오픈소스 AI 5선 직접 테스트 — Hy-MT2·Qwen3-TTS·ACE-Step·FLUX.2 klein·InfiniteTalk

AI 소식은 매주 쏟아지는데,

막상 "그래서 내가 오늘 뭘 쓸 수 있는데?"라고 물으면

답이 잘 없습니다.

그래서 기준을 세 개로 좁혔습니다.

첫째, 내 컴퓨터에서 돌아갈 것.

구독료와 사용료가 없을 것.

둘째, 한국어가 될 것.

셋째, 콘텐츠 제작에 오늘 바로 쓸 수 있을 것.

이 기준으로 최근 나온 것들을

직접 설치하고 테스트했습니다.

통과한 것만 소개합니다.

1. 번역 — 2GB짜리 모델이 상용 번역기를 이깁니다

텐센트가 공개한 Hy-MT2라는 번역 전용 모델입니다.

파라미터 18억 개짜리 작은 모델인데,

번역 벤치마크에서 자기보다 수십 배 큰 모델과

상용 번역 API들을 앞섭니다.

한국어 포함 33개 언어를 지원하고,

라이선스도 상업 사용이 자유로운 Apache 2.0입니다.

직접 돌려봤습니다.

3분짜리 명상 안내문 25문장을 영어로 옮기는 데 4.4초.

비용은 0원.

그런데 여기서 중요한 걸 발견했습니다.

"들이쉬고,"라는 문장을

"Take a break and meditate."로 번역해 놨습니다.

'들이쉬다'를 '쉬다'로 읽은 겁니다.

호흡 안내가 휴식 안내로 바뀌어 버렸죠.

25문장 중 이런 오역이 3개 나왔습니다.

속도는 기계가 내고,

최종 판단은 사람이 하거나

더 큰 AI에게 검수를 맡겨야 합니다.

결론: 초벌 번역기로는 최고. 검수 없이 그대로 쓰면 사고.

다운로드: Hugging Face · GitHub · 실행은 Ollama 추천

2. 목소리 — 3초 녹음으로 내 목소리를 만듭니다

알리바바의 Qwen3-TTS입니다.

3초짜리 목소리 샘플만 있으면

그 목소리로 글을 읽어주는 모델입니다.

화자 유사도(원본 목소리와 얼마나 닮았는가) 벤치마크에서

유명 상용 서비스를 앞섰고,

한국어를 포함해 10개 언어를 지원합니다.

작은 버전은 8GB 그래픽카드면 돌아갑니다.

게이밍 노트북 수준이면 충분하다는 뜻입니다.

다만 목소리는 벤치마크 수치보다 귀가 정확합니다.

특히 명상이나 낭독처럼 톤이 중요한 작업이라면

반드시 직접 들어보고 결정하세요.

다운로드: Hugging Face (1.7B 클로닝판) · 경량 0.6B판

3. 음악 — 곡 하나가 10초 안에 나옵니다

ACE-Step 1.5라는 음악 생성 모델입니다.

올해 1월에 공개됐고,

오픈소스 음악 모델 중에서는 처음으로

상용 서비스와 견줄 만한 품질이 나옵니다.

주목할 점 세 가지.

곡 하나가 10초 안에 나옵니다.

4GB 그래픽카드에서도 돌아가는 버전이 있습니다.

그리고 내 곡 몇 개를 학습시켜

내 스타일로 만드는 기능까지 있습니다.

배경음악을 외부 서비스에서 한 곡씩 뽑아

다운로드하던 분이라면,

이건 시도해 볼 가치가 있습니다.

다운로드: GitHub

4. 이미지 — 고급 모델이 일반 GPU에 들어왔습니다

Black Forest Labs의 FLUX.2는 원래

서버급 장비(VRAM 32GB 이상)가 필요한 모델이었습니다.

1월에 나온 klein(클라인) 버전은

그걸 4B 크기로 줄여서

일반 고급 그래픽카드에서 돌아갑니다.

이것도 직접 확인했습니다.

16GB 그래픽카드에서 설치 후 첫 장을 뽑는 데 18초,

VRAM은 13.4GB를 썼습니다.

아래 수채화가 그 첫 결과물입니다.

보정 없이 프롬프트 한 줄로 나온 그대로입니다.

큰 모델의 최신 구조를 물려받은 소형판이라,

같은 체급의 기존 모델보다 지시를 잘 알아듣습니다.

수채화 번짐이나 종이 질감 같은

스타일 지시도 잘 지킵니다.

다운로드: Hugging Face · 실행은 ComfyUI (모델·텍스트 인코더·VAE 3개 파일 필요)

5. 말하는 아바타 — 사진 한 장이 10분을 말합니다

InfiniteTalk이라는 오픈소스 립싱크 모델입니다.

사진 한 장과 음성 파일을 주면

입 모양, 고개 움직임, 표정까지 맞춰서

말하는 영상을 만들어 줍니다.

기존 도구들이 몇 초짜리 클립에 머물렀다면

이건 최장 10분까지 이어서 생성합니다.

캐릭터나 진행자가 있는 콘텐츠를 만든다면

"녹화 없이 말하는 영상"이라는

새 선택지가 생긴 겁니다.

다운로드: Hugging Face · GitHub

지켜보고 있는 것 — MiniMax H3

8월 초에 나온 영상 생성 모델입니다.

2K 화질에 소리까지 한 번에 만들어내는데,

아직 모델 공개는 약속만 있고 실물이 없습니다.

공개되면 그때 판단해도 늦지 않습니다.

세 가지 원칙

여러 개를 직접 설치하고 테스트하면서

정리된 원칙입니다.

하나. 초벌은 AI, 검수는 사람.

번역 사례처럼, 속도는 기계에게 맡기고

최종 판단은 넘기지 마세요.

둘. 성능표보다 내 장비 사양 먼저.

"최고 성능" 모델도

내 그래픽카드에 안 들어가면

그냥 남의 모델입니다.

VRAM 숫자부터 확인하세요.

셋. 파이프라인을 갈아엎지 말고, 한 조각씩 교체.

잘 돌아가는 작업 흐름을

통째로 바꾸는 건 도박입니다.

번역이면 번역, 음악이면 음악 —

한 조각만 바꿔서 비교해 보고 결정하세요.

오늘 해볼 수 있는 것