벤치마크 · 코딩

SWE-bench Multilingual

실제 소프트웨어 저장소의 이슈를 분석하고 코드 패치로 해결하는 능력을 평가합니다. 저장소 탐색부터 구현·테스트까지 이어지는 엔지니어링 완성도를 봅니다.

측정 모델 52개 · 프로필 2개 · 데이터 기준 2026년 10월 9일

LLM Stats 집계 대표

원문 출처 ↗

LLM Stats 공개 리더보드의 독립 프로필입니다. 검증·자기보고 여부를 보존합니다. 높을수록 좋습니다.

현재 최고점: 상용 Claude Opus 5.5 93.9% · 오픈 Hy4-preview 82.9% → 상용이 11%p 앞섭니다.

출시일별 점수와 최고점 흐름

차트를 불러오는 중입니다…

상위 20

차트를 불러오는 중입니다…
출처
1Claude Opus 5.5Anthropic · 상용 APIAPI93.9%1002026-09-22자기보고 ↗
2Claude Sonnet 5.5Anthropic · 상용 APIAPI90.3%972026-09-28자기보고 ↗
3Claude Mythos PreviewAnthropic · 상용 APIAPI87.3%942026-05-28자기보고 ↗
4Claude Opus 4.8Anthropic · 상용 APIAPI84.4%912026-05-14자기보고 ↗
5Claude Haiku 5.5Anthropic · 상용 APIAPI83.7%882026-10-07자기보고 ↗
6Hy4-previewTencent · 오픈 웨이트오픈82.9%852026-08-27자기보고 ↗
7Qwen3.8 FlashAlibaba (Qwen) · 상용 APIAPI81%812026-08-26자기보고 ↗
8Qwen3.8-Flash-NextAlibaba (Qwen) · 오픈 웨이트오픈81%812026-08-24자기보고 ↗
9Laguna-S-2.1Poolside · 오픈 웨이트오픈78.5%762026-07-13자기보고 ↗
10Claude Sonnet 5Anthropic · 상용 APIAPI78.3%722026-06-30자기보고 ↗
11Qwen3.7 MaxAlibaba (Qwen) · 상용 APIAPI78.3%722026-05-19자기보고 ↗
12Claude Opus 4.6Anthropic · 상용 APIAPI77.8%682026-02-05자기보고 ↗
13Kimi-K2.6Moonshot AI (Kimi) · 오픈 웨이트오픈76.7%652026-04-14자기보고 ↗
14DeepSeek-V4-Pro-MaxDeepSeek · 오픈 웨이트오픈76.2%622026-04-23자기보고 ↗
15Hy3Tencent · 오픈 웨이트오픈75.8%572026-07-02자기보고 ↗
16Qwen3.7-PlusAlibaba (Qwen) · 상용 APIAPI75.8%572026-05-31자기보고 ↗
17Qwen3.6 PlusAlibaba (Qwen) · 상용 APIAPI73.8%532026-04-02자기보고 ↗
18DeepSeek-V4-Flash-MaxDeepSeek · 오픈 웨이트오픈73.3%502026-04-23자기보고 ↗
19Kimi-K2.5Moonshot AI (Kimi) · 오픈 웨이트오픈73%472026-01-01자기보고 ↗
20MiniMax-M2.1MiniMax · 오픈 웨이트오픈72.5%442025-12-20자기보고 ↗
21Ling-3.0-flashinclusionAI (Ant) · 오픈 웨이트오픈72.4%412026-08-02자기보고 ↗
22MiMo-V2-ProXiaomi (MiMo) · 상용 APIAPI71.7%382026-03-18자기보고 ↗
23Qwen3.6-27BAlibaba (Qwen) · 오픈 웨이트오픈71.3%352026-04-21자기보고 ↗
24DeepSeek-V4-Flash-0423DeepSeek · 오픈 웨이트오픈70.2%322026-04-23자기보고 ↗
25Qwen3.5-397B-A17BAlibaba (Qwen) · 오픈 웨이트오픈69.3%292026-02-16자기보고 ↗
26Nemotron 3 Ultra (550B A55B)NVIDIA · 오픈 웨이트오픈67.7%262026-06-04자기보고 ↗
27Qwen3.6-35B-A3BAlibaba (Qwen) · 오픈 웨이트오픈67.2%242026-04-15자기보고 ↗
28Qwen3 Max ThinkingAlibaba (Qwen) · 상용 APIAPI66.7%212026-02-13자기보고 ↗
29MAI-Code-1-FlashMicrosoft · 상용 APIAPI65.5%182026-06-02자기보고 ↗
30Kimi K2-Thinking-0905Moonshot AI (Kimi) · 오픈 웨이트오픈61.1%152025-09-05자기보고 ↗
31MiniMax-M2MiniMax · 오픈 웨이트오픈56.5%122025-10-22자기보고 ↗
32Nemotron 3 Super (120B A12B)NVIDIA · 상용 APIAPI45.8%92026-03-11자기보고 ↗
33IBM Granite 4.2 30BIBM · 오픈 웨이트오픈41.9%62026-08-25자기보고 ↗
34Nemotron 3.5 Lightning (30B A3B)NVIDIA · 오픈 웨이트오픈39.3%32026-08-11자기보고 ↗
35IBM Granite 4.2 8BIBM · 오픈 웨이트오픈30.8%02026-08-25자기보고 ↗

HF 리더보드

원문 출처 ↗

같은 Hugging Face 리더보드 데이터셋·과제의 결과만 표시합니다. 높을수록 좋습니다.

출시일별 점수와 최고점 흐름

차트를 불러오는 중입니다…

상위 20

차트를 불러오는 중입니다…
출처
1Hy4-previewTencent · 오픈 웨이트오픈82.9%1002026-08-27확인됨 ↗
2Qwen3.8-Flash-NextAlibaba (Qwen) · 오픈 웨이트오픈81%962026-08-24확인됨 ↗
3Ornith-1.5-397Bornith-ai · 오픈 웨이트오픈79.6%922026-08-18확인됨 ↗
4Ornith-1.0-397Bornith-ai · 오픈 웨이트오픈78.9%882026-06-23확인됨 ↗
5Kimi-K2.6Moonshot AI (Kimi) · 오픈 웨이트오픈76.7%842026-04-14확인됨 ↗
6MiniMax-M2.7MiniMax · 오픈 웨이트오픈76.5%802026-04-09확인됨 ↗
7DeepSeek-V4-ProDeepSeek · 오픈 웨이트오픈76.2%762026-04-22확인됨 ↗
8Hy3Tencent · 오픈 웨이트오픈75.8%722026-07-02확인됨 ↗
9dots3-note-prevdots-studio · 오픈 웨이트오픈75.7%682026-08-09확인됨 ↗
10DeepSeek-V4-FlashDeepSeek · 오픈 웨이트오픈73.3%622026-04-22확인됨 ↗
11GLM-5Z.ai (GLM) · 오픈 웨이트오픈73.3%622026-02-11확인됨 ↗
12Kimi-K2.5Moonshot AI (Kimi) · 오픈 웨이트오픈73%562026-01-01확인됨 ↗
13Ling-3.0-flashinclusionAI (Ant) · 오픈 웨이트오픈72.4%522026-08-02확인됨 ↗
14Ornith-1.5-35B-A3Bornith-ai · 오픈 웨이트오픈71.4%482026-08-18확인됨 ↗
15Qwen3.6-27BAlibaba (Qwen) · 오픈 웨이트오픈71.3%442026-04-21확인됨 ↗
16Ornith-1.0-35Bornith-ai · 오픈 웨이트오픈69.3%382026-06-21확인됨 ↗
17Qwen3.5-397B-A17BAlibaba (Qwen) · 오픈 웨이트오픈69.3%382026-02-16확인됨 ↗
18NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16NVIDIA · 오픈 웨이트오픈67.7%322026-06-03확인됨 ↗
19Qwen3.6-35B-A3BAlibaba (Qwen) · 오픈 웨이트오픈67.2%282026-04-15확인됨 ↗
20Laguna-XS.2Poolside · 오픈 웨이트오픈57.7%242026-04-23확인됨 ↗
21Ornith-1.5-9Bornith-ai · 오픈 웨이트오픈54.4%202026-08-18확인됨 ↗
22Ornith-1.0-9Bornith-ai · 오픈 웨이트오픈52%162026-06-21확인됨 ↗
23Kimi-K2-InstructMoonshot AI (Kimi) · 오픈 웨이트오픈47.3%122025-07-11확인됨 ↗
24NVIDIA-Nemotron-3-Super-120B-A12B-BF16NVIDIA · 오픈 웨이트오픈45.8%82026-03-10확인됨 ↗
25NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16NVIDIA · 오픈 웨이트오픈39.3%42026-08-01확인됨 ↗
26NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4NVIDIA · 오픈 웨이트오픈36.5%02026-08-04확인됨 ↗

마커: 원 = 오픈 웨이트, 사각 = 상용 API, 빈 마커 = 검증되지 않은 값. 점을 누르면 모델 상세로 이동합니다. 백분위는 이 프로필 안에서의 상대 위치입니다.