마이크로소프트 MAI-Code-1-Flash, 적은 토큰으로 코딩 성능 높였다

실제 개발 하네스로 학습한 배경

마이크로소프트는 MAI-Code-1-Flash를 단순 벤치마크용 모델이 아니라 일상적인 개발 업무에 맞춘 코딩 모델로 소개했다. 기사에 따르면 이 모델은 깃허브 코파일럿이 실제로 사용하는 생산 하네스를 기반으로 학습됐고, 저장소 질의응답과 리팩터링, 도구 호출 같은 작업을 실제 환경에 가깝게 다루도록 설계됐다. 핵심은 모델이 코드만 생성하는 수준을 넘어 주변 시스템과 상호작용하는 방식까지 익히도록 했다는 점이다. VS Code 개인용 코파일럿 사용자에게 순차 배포되고 있으며, 자동 선택기나 모델 선택기에서 노출된다.

적응형 응답 길이와 토큰 절감

이 모델의 특징으로 제시된 것은 작업 난도에 따라 응답 길이와 추론 예산을 다르게 쓰는 방식이다. 단순한 요청에는 짧고 빠르게 답하고, 더 복잡한 코드 수정이나 분석이 필요한 경우에는 더 긴 추론을 사용한다. 기사에서는 이런 설계 덕분에 더 어려운 문제를 풀면서도 최대 60% 적은 토큰을 사용할 수 있다고 설명한다. 이는 지연 시간과 비용을 동시에 줄이려는 시도로 읽힌다. 개발자 입장에서는 응답이 무조건 길어지는 대신 필요한 순간에만 깊어지는 형태라, 대화형 코딩 경험을 다듬는 데 초점이 맞춰져 있다.

코딩 벤치마크와 지시 이행 성능

마이크로소프트는 SWE-Bench Verified, SWE-Bench Pro, SWE-Bench Multilingual, Terminal Bench 2 같은 코딩 벤치마크에서 Claude Haiku 4.5보다 높은 통과율을 기록했다고 밝혔다. 특히 SWE-Bench Pro에서는 51.2% 대 35.2%로 16포인트 차이를 제시했다. 또 IF Bench 같은 지시 이행 평가에서도 큰 격차를 보였다고 설명한다. 다만 이런 수치는 같은 하네스와 설정에서 비교했다는 전제가 있으며, 댓글에서는 더 작은 오픈 모델과 비교했을 때 압도적이라고 보긴 어렵다는 반응도 나왔다. 즉 성능 발표는 분명 의미가 있지만, 시장 기준점이 어디냐에 따라 해석은 달라질 수 있다.

적대적 추론 평가와 남은 한계

기사에는 일반 벤치마크 외에 186문항과 34개 범주로 구성된 적대적 추론 평가도 소개된다. 여기서 MAI-Code-1-Flash는 조정 정확도 85.8%를 기록했지만, Einstellung trap처럼 특정 함정 문제에서는 50% 미만 정확도에 머물렀다. 이는 모델이 지시를 잘 따르더라도 낯선 형태의 함정이나 사고 전환이 필요한 문제에서는 취약할 수 있음을 보여준다. 결국 이번 발표는 마이크로소프트가 코파일럿 내부 모델 전략을 더 적극적으로 밀어붙이기 시작했다는 신호이지만, 최고 수준 코딩 모델을 완전히 대체했다기보다 효율과 배포성에 강점을 둔 실전형 모델로 이해하는 편이 적절하다.

원문 링크: GeekNews 기사 보기