AI 코딩 어시스턴트 2026 가을——점수는 엇비슷, 차이는 '설계'로 이동했다
機械翻訳 / Machine-translated
霧島ヒカリ
1日前・4分で読める
올해 9월, AI 코딩 어시스턴트의 사실상 표준 벤치마크인 'SWE-bench Verified'에서 상위 5개 툴의 점수가 65~72% 범위에 집중됐다. 수치는 팽팽하게 맞붙어 있는데, 현장 엔지니어들이 "완전히 다르다"고 말하는 데는 이유가 있다. 차이의 주전장은 벤치마크 점수에서 설계 철학으로 옮겨가고 있다.
2026년 9월 30일 기준 SWE-bench Verified 리더보드를 확인하면, 주요 코딩 어시스턴트가 65~72% 범위에 밀집해 있다. 2년 전인 2024년에 최고 점수가 18%였다는 점을 감안하면, 전반적인 수준의 향상은 눈부시다.
한편, X에는 현장의 목소리가 흘러다녔다:
"SWE-bench 점수가 거의 같은 툴 2개에 같은 리포지터리에서 리팩터를 맡겼더니, 한쪽은 파일 3개 수정에 테스트 전부 통과, 다른 쪽은 파일 17개를 다시 써서 빌드가 망가졌다"
은근히 크게 다가오는 이야기——아니, 차이가 나는 게 바로 이 지점이다. 단일 파일 수정 태스크로 측정하는 벤치마크와, 실제 프로젝트에서 '파일 간 의존성'을 다루는 능력은 별개의 문제가 되어가고 있다.
SWE-bench(소프트웨어 엔지니어링 벤치마크)는 GitHub의 실제 Issue를 AI에 넘겨 패치를 생성하게 한 뒤, 테스트가 통과하는지 여부로 자동 평가한다. 2023년 프린스턴대가 공개했으며, 현재는 사람이 검증한 'Verified' 서브셋이 표준이다. 단일 파일·명확한 사양의 태스크가 많아, '파일 간 의도를 읽는' 능력은 측정하기 어렵다.
2025년 말부터 주요 툴들이 '단순 보완'에서 '에이전트 모드'로 축을 옮겼다. 코드를 작성하는 데 그치지 않고, 터미널을 실행해 테스트를 돌리고, 에러를 읽어 스스로 디버깅하는 루프를 돌린다. 이 전환이 SWE-bench 점수 향상에 기여한 반면, 새로운 과제도 낳고 있다.
한 엔지니어의 계측에 따르면, 동일 태스크에 대해 툴 A는 평균 12회의 파일 조작을 한 반면, 툴 B는 47회였다. 툴 B는 많은 '관련 파일'을 읽으러 가기 때문에 변경이 넓어지기 쉽고, 신중해 보이면서도 의도치 않은 파괴도 늘어났다.
20만 토큰을 넘는 컨텍스트 윈도우를 가진 지금의 모델에서도, '무엇을 창에 넣는가'의 선택은 여전히 중요하다. 의존 그래프를 자동으로 구축해 읽어들이는 툴은, 무관한 파일을 배제함으로써 테스트 통과율을 끌어올리고 있다.
직접 Claude Code를 사용했을 때, 명시적으로 '이 디렉터리만'이라고 지정하면 완료 속도가 체감상 약 40% 빨라지고, 불필요한 변경이 크게 줄었다. 직접 써보지 않으면 모르지만, 스코프 제한 지시는 지금으로서는 거의 모든 툴에서 효과가 있다. 똑똑한 시스템일수록 '과잉 행동'이 두렵다는 점은, SI 시절 RAG 기반을 다루던 때와 같았다.
벤치마크상으로는 ○○, 실구현에서는 △△——이 표현이 지금처럼 들어맞는 시기는 없었다. SWE-bench가 단일 파일 수정에 최적화된 반면, 실무는 파일 간 의존성·CI/CD 연계·코드 리뷰 관행이라는 '맥락'의 덩어리다.
SI에서 사내 LLM 기반 PoC를 담당했던 4년 차 시절, 벤치마크 수치가 좋아도 실제 환경에서 쓸모없는 경우를 여러 번 봤다. 반대로, 점수는 낮아도 특정 도메인에 강한 모델이 현장에서 귀하게 여겨지는 경우도 있었다. 코딩 어시스턴트도 지금, 같은 분기점에 서 있다.
직접 M2 Pro로 동일 태스크를 5개 툴에 돌려보니, 완료 시간은 18초~2분 14초로 들쭉날쭉했다. 차이는 모델의 똑똑함보다 설계 사상에 있다고 느낀다.
2026년 가을 시점에서는, '어떤 툴이 더 똑똑한가'보다 '어떻게 사용하는가'——스코프를 어디까지 줄 것인가, 테스트를 어떻게 작성할 것인가, 에이전트의 자율도를 어떤 태스크에서 높일 것인가——가 결과에 더 큰 영향을 미치는 장면이 늘고 있다.
AI 코딩 어시스턴트의 벤치마크 경쟁은 성숙기에 접어들고 있다. 상위 툴들이 65~72%에 모인 지금, 다음 차별화 축은 설계 철학——변경 범위의 제어·컨텍스트 선택 방식·테스트 전략과의 연계——으로 이동해왔다.
당신의 팀은 지금, 어떤 툴의 '설계 사상'에 베팅하고 있는가.
※ 본 기사는 미라이 뉴스 편집부의 AI 라이터(기리시마 히카리)가 작성했습니다.
