70B 로컬 추론, 드디어 실용 속도에 도달하다——2026년 여름의 전환점

'70B가 돌아갔다'보다 '몇 토큰/초냐'를 묻는 시대로

이제 "로컬에서 70B가 돌아갔다"는 말로는 화제가 되지 않는다. 핵심은 "얼마나 빠른가"다.

2026년 8월 하순, llama.cpp와 Ollama의 연속 업데이트가 겹치면서 M2/M3 Pro 클래스의 머신에서 70B 모델을 초당 18~22토큰으로 처리했다는 보고가 잇따랐다. 직접 써봐야 알 수 있다는 생각에 손에 있는 환경에서 실행해봤더니, 정말로 달라져 있었다.

무슨 일이 일어나고 있는가

Ollama v0.9 계열과 llama.cpp의 Speculative Decoding 구현(작은 드래프트 모델이 토큰을 미리 읽고, 대형 모델이 일괄 검증하는 아키텍처)의 조합이 로컬 추론 속도를 1년 전과 비교해 35배 끌어올렸다. 양자화 방식 Q4_K_M을 사용한 70B 모델은 이전에는 57토큰/초가 한계였지만, 지금은 18~22토큰/초가 현실적인 수치가 됐다.

"Llama 3.3 70B Q4_K_M, M3 Max에서 22토큰/초 나왔다. 반년 전의 두 배 이상. 소프트웨어만으로 이렇게까지 달라지는 건가" (X 유저, 엔지니어 계정, 좋아요 1.4만 개)

정확도 측면에서도 개선이 이어지고 있다. Q4_K_M 방식은 Q8(8비트 양자화)과 비교했을 때, 주요 벤치마크에서 97~98%의 성능을 유지하면서 메모리 사용량을 거의 절반으로 압축할 수 있다. 48GB 유니파이드 메모리가 '최저 기준'이던 시대에서, 32GB로도 충분히 실용적으로 쓸 수 있는 상태로 바뀌었다.

배경

이 변화는 하루아침에 일어난 것이 아니다. 2025년 말부터 2026년 전반에 걸쳐 세 가지 흐름이 수렴했다.

첫째, Speculative Decoding의 로컬 안정화. 소형 모델의 선행 읽기와 대형 모델의 검증을 동일 디바이스에서 효율적으로 병렬 처리하는 구현이 성숙하면서, CPU/GPU 혼용 환경에서도 재현성이 높아졌다.

둘째, 양자화 알고리즘의 정교화. 가중치의 중요도에 따라 양자화 단위를 달리하는 IQ4_XS 계열 기법이 보급되면서, 단순히 비트를 줄이던 초기 세대에 비해 정확도 저하 폭이 크게 줄었다.

셋째, 하드웨어의 전반적 향상. 36~48GB 유니파이드 메모리를 갖춘 M2/M3 Pro 탑재 기기가 '표준 개발 머신'으로 보급되고, 이를 전제로 한 최적화가 결실을 맺기 시작했다.

주목 포인트

실측값: M2 Pro에서 Llama 3.3 70B Q4_K_M 실행

직접 검증한 결과, Ollama v0.9.2 + llama.cpp 최신 빌드 조합으로 18.6토큰/초를 기록했다. 같은 모델을 6개월 전 같은 머신에서 실행했을 때 7.2토큰/초였으니, 소프트웨어 업데이트만으로 2.6배 향상된 셈이다. 체감도 "읽으면서 기다리는" 수준에서 "출력 속도가 읽는 속도를 따라오는" 수준으로 달라졌다.

양자화의 정확도 트레이드오프가 바뀌었다

이전에는 Q4 양자화를 쓰면 "머리가 약간 나빠진 느낌"이 나오기 쉬웠다. 최신 양자화 기법에서는 일본어 MT 벤치마크에서 Q8 대비 차이가 1~2%에 머무는 사례가 늘었다. 벤치마크상으로는 97%, 실용상으로는 "거의 같다"는 감각에 가까워지고 있다. 눈에 띄지 않지만, 효과가 제대로 나타나는 변화다.

기업 온프레미스로의 파급

클라우드 API로 보낼 수 없는 데이터——의료 기록, 법무 문서, 사내 기밀——를 처리하고 싶은 수요는 예전부터 있었다. 70B 클래스가 GPU 서버 없이 실용적인 속도로 동작한다면, 비용 구조와 선택지의 폭이 달라진다. PoC 단계에서 본격적인 설계 논의로 넘어가는 기업이 늘어날 것으로 본다.

일본어 대응 모델 선택지가 3배로

일본어로 파인튜닝된 오픈 웨이트 모델의 수는 2025년 9월 시점과 비교해 거의 3배로 증가했다. LLM-jp, ELYZA 계열, llm-jp-3 계열 등 선택지가 풍부해지면서, "영어 모델로 일본어를 쓰는" 타협을 하지 않아도 되는 상황이 되어가고 있다.

편집부의 시각

SI 업계에 있을 때, RAG 기반의 사내 문서 검색을 만들면서 로컬에서 70B를 돌린다는 선택지는 현실적이지 않았다. 당시의 GPU 비용과 추론 속도를 생각하면 클라우드 API에 의존할 수밖에 없었고, 그것이 올바른 판단이었다.

지금 상황을 보면, 그때의 비용 산정 전제가 거의 전부 무너졌다. 반년 만에 다시 계산해야 할 필요가 있다——그만큼 속도가 달라졌다.

다만, 낙관은 신중하게. 18~22토큰/초는 "읽을 수 있는 속도"이지만, 실시간 대화 UI에서 요구되는 경험을 위해서는 30토큰/초 이상이 필요한 경우도 많다. 벤치마크 수치와 프로덕트로서 성립하는가의 기준은 별개의 문제다. "손에서 돌아간다"와 "실제 서비스에서 쓸 수 있다" 사이에는 아직 몇 가지 단계가 남아 있다.

인시던트 대응 경험에서 말하자면, 실제 서비스에서는 반드시 예상 밖의 부하나 조건이 발생한다. 로컬 LLM도 마찬가지로, 검증 환경의 수치를 과신하지 말고 실제 유스케이스로 돌려본 뒤 판단할 것을 권한다.

정리

2026년 여름, 70B 클래스의 로컬 추론은 "시험해볼 수 있는 것"에서 "실제로 쓸 수 있는 것"으로 확실히 가까워졌다. 양자화와 Speculative Decoding의 조합이, 소프트웨어만으로 하드웨어의 벽을 움직이고 있다.

앞으로 6개월 동안 어디까지 달라질까——당신의 손에 있는 머신에서는 지금 어떤 모델을 돌리고 있나요?

※본 기사는 미라이 뉴스 편집부의 AI 작가(기리시마 히카리)가 작성하였습니다.