125B급 AI를 GPU 12GB로 구동하기 | Strata 등장
機械翻訳 / Machine-translated
A
AI Friends
5日前・10分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
수백 GB의 메모리가 필요할 것 같은 거대 AI가 게이밍 PC에서 작동한다. 이런 이야기를 들으면 정말인지 의심스럽지 않으신가요?
이 글에서는 MIT 라이선스로 공개된 'Strata'의 작동 원리와 속도, 구동 조건, 주의사항을 순서대로 설명합니다.
Strata(스트라타)는 개발자 Niko1221이 GitHub에 공개한 추론 엔진입니다. 추론 엔진이란 완성된 AI 모델을 실제로 실행해 답을 출력하는 소프트웨어를 말합니다.
대상 모델은 Alibaba의 'Qwen3.8-Flash-Next'입니다. MIT 라이선스이므로 자유롭게 사용하고 수정할 수 있습니다. 단, 모델 본체의 라이선스는 별도입니다.
실행하면 PC 내에 127.0.0.1:8080이라는 로컬 API가 생성됩니다. OpenAI 호환과 Anthropic 호환 모두 지원하므로 기존 AI 코딩 도구와 연결할 수 있습니다. 그 외에 브라우저 채팅 화면과 이미지 입력도 제공됩니다.
데이터는 내 PC 밖으로 나가지 않습니다. 입력한 텍스트나 사내 코드가 외부로 전송되지 않는 것은 로컬 AI의 큰 장점입니다.
Hugging Face 모델 페이지에 따르면, 언어 모델 부분의 파라미터 수는 1,250억 개입니다. 그러나 단어 하나를 생성할 때 실제로 사용되는 것은 약 60억 개분에 불과합니다.
이는 MoE(Mixture of Experts)라는 구조 덕분입니다. MoE는 전문 분야가 다른 작은 전문가를 다수 준비해 두고, 단어마다 필요한 몇 명만 호출하는 방식입니다.
이 모델은 48개 레이어로 구성되어 있으며, 각 레이어에 512명의 전문가가 있습니다. 합계 24,576명입니다. 단어 하나를 생성할 때 사용되는 것은 그 중 10명과 공통 전문가 1명뿐입니다.
컨텍스트 길이는 262,144토큰이며, 확장하면 100만 토큰까지 늘릴 수 있습니다. 라이선스는 'qwen-community-1.0'으로 표시되어 있습니다. 상업적으로 사용할 경우에는 이용 조건을 직접 확인하세요.
일반적으로 1,250억 파라미터 모델은 GPU 메모리에 올라가지 않습니다. 그래서 Strata는 전문가의 배치 장소를 세 곳으로 나눕니다.
작동 원리를 설명한 공식 문서에 따르면, 역할 분담은 다음과 같습니다.
GPU에는 모든 단어에서 반드시 사용되는 부분과 자주 사용되는 전문가를 배치합니다. 메인 메모리에는 24,576명의 전문가를 모두 배치합니다.
GPU에 없는 전문가가 필요해지면 CPU가 담당합니다. 이 연산은 GPU 연산과 동시에 진행되므로 대기 시간이 줄어듭니다.
거대한 참조 테이블(n-gram 테이블)은 약 28.8GB로 SSD에 배치됩니다. 단어마다 읽는 것은 몇 줄뿐이므로 SSD의 부담은 작습니다.
도서관에 비유하면, 자주 빌려지는 책은 책상 위에, 전체 장서는 서고에, 방대한 색인은 별관에 두는 배치 방식입니다.
또 하나의 아이디어는 투기적 디코딩입니다. 모델에 내장된 작은 보조 모델이 다음 몇 단어를 미리 예측합니다. 큰 모델은 그 예측을 한 번에 모아서 검증합니다.
최종 답을 결정하는 것은 큰 모델입니다. 따라서 출력 품질은 그대로 유지하면서 1.6~1.8배 빠르게 된다고 개발자는 설명합니다.
공식 벤치마크에서는 RTX 5070(VRAM 12GB)과 메모리 64GB 조합으로, 가장 가벼운 'Q2_0'이 초당 94토큰으로 텍스트를 생성합니다. 토큰이란 AI가 텍스트를 처리하는 단위입니다.
긴 텍스트를 읽어들이는 속도는 초당 2,650토큰입니다. 권장되는 'IQ2_XS'에서는 생성 속도가 초당 79토큰, 읽기 속도가 초당 2,090토큰이 됩니다.
AMD의 RX 9070 XT(VRAM 16GB)에서도 Q2_0으로 초당 60토큰이 나옵니다. RTX 3090(VRAM 24GB)에서는 개발자 추산으로 초당 100~140토큰에 달합니다.
필요한 환경은 다음과 같습니다.
모델 크기는 Q2_0이 37.6GB, IQ2_XS가 39.2GB, IQ3_XXS가 47GB, IQ3_S가 54.8GB입니다. 숫자가 클수록 정확도는 높아지지만 속도는 낮아집니다. IQ3_S에서는 초당 53토큰입니다.
설치는 간단하며, Windows의 경우 PC Watch 기사에 따르면 ZIP을 압축 해제하고 'START-HERE.bat'를 더블클릭하기만 하면 됩니다. Python 환경 구성과 모델 다운로드까지 자동으로 진행됩니다.
전문가를 메모리로 옮겨 구동하는 발상은 Strata가 처음이 아닙니다. 차이점을 정리해 보겠습니다.
먼저 llama.cpp입니다. 이쪽도 해설 가이드에 나와 있듯이 --cpu-moe나 --n-cpu-moe 옵션으로 전문가만 CPU 쪽에 배치할 수 있습니다. 지원하는 모델이 많고 쉽게 시도해볼 수 있다는 것이 장점입니다.
다음은 KTransformers입니다. 칭화대학 연구팀이 국제 학회 SOSP '25에서 논문을 발표했습니다. CPU 쪽 연산을 고속화하는 전용 방식으로, 텍스트 생성 속도가 기존 방식의 1.25~4.09배라고 보고되어 있습니다.
Strata의 특징은 특정 모델에 집중해 완성도를 높인 점입니다. 자주 사용되는 전문가를 학습해 GPU에 배치하고, 미리 읽기와 SSD 참조 테이블까지 조합했습니다. 대신 실행할 수 있는 모델은 제한됩니다.
예를 들어, 코드를 외부에 내보낼 수 없는 회사의 엔지니어를 생각해 보겠습니다. 로컬에서 작동하는 코딩용 AI가 있다면 기밀을 지키면서 사용할 수 있습니다. Anthropic 호환 API가 있으므로 기존 도구와 연결하기 쉬운 것도 장점입니다.
개인 개발자라면 월정액 요금을 신경 쓰지 않고 AI로 반복 시도를 할 수 있습니다. 전기 요금은 들지만 사용 횟수 제한은 신경 쓰지 않아도 됩니다.
대학 연구실에서도 활용할 수 있을 것 같습니다. 비싼 서버를 빌리지 않아도 손 안의 게이밍 PC로 대형 모델 실험이 가능합니다.
단, 한국어 출력 품질에 대해서는 이번 조사에서 확인하지 못했습니다. 사용 전에 자신의 용도에 맞게 직접 테스트해 보세요.
수치는 매력적이지만 주의해야 할 점도 있습니다.
첫 번째는 속도 수치가 개발자의 공개 값이라는 점입니다. PC Watch 기사도 이를 독자적으로 검증한 것은 아니라고 명시하고 있습니다. RTX 3090이나 40 시리즈의 수치는 추산치로 되어 있습니다.
두 번째는 AlphaSignal이 지적하는 제한입니다. 동시에 처리할 수 있는 요청은 1개뿐이며, 출력 방식은 가장 확률이 높은 단어를 선택하는 방식으로만 한정됩니다. 128K를 넘는 긴 텍스트에서는 읽기 속도가 느려집니다.
세 번째는 조건의 엄격함입니다. VRAM 12GB, 메모리 64GB, 여유 공간 80GB는 일반 노트북으로는 충족하기 어려운 수준입니다. AMD GPU는 Linux에서의 실험적 지원에 그칩니다.
Q. Strata는 무료로 사용할 수 있나요?
A. 본체는 MIT 라이선스로 무료입니다. 단, 모델에는 별도의 라이선스가 있으므로 상업적 이용 시에는 조건을 확인하세요.
Q. 초당 94토큰은 항상 나오나요?
A. 아닙니다. RTX 5070과 64GB 메모리, 가장 가벼운 양자화 버전을 사용한 최상의 조건에서의 수치입니다. 모델을 크게 하거나 텍스트를 길게 하면 느려집니다.
Q. 메모리 32GB로도 작동하나요?
A. 공식적으로는 최소 32GB로 되어 있습니다. 단, 전체 크기의 모델을 실행하려면 64GB가 기준입니다. 전문가를 절반으로 줄인 'Coder' 버전이라면 32GB에 맞출 수 있다고 합니다.
Q. 기존 AI 도구와 연결할 수 있나요?
A. OpenAI 호환과 Anthropic 호환 API가 있으므로 지원하는 코딩 도구에서 연결할 수 있습니다.
Q. 정확도가 떨어지지 않나요?
A. 양자화(모델을 가볍게 하는 압축)를 하므로 작은 버전일수록 정확도가 떨어질 수 있습니다. PC Watch는 IQ3_S가 공개 벤치마크에서 풀 정밀도 모델과 동등했다고 전하고 있습니다.
먼저 자신의 PC의 VRAM과 메모리를 확인하고, 조건을 충족한다면 작은 버전부터 시도해 보세요.
이 글은 AI Friends에서 크로스포스트된 콘텐츠입니다.
