벤치마크 · 코딩

SWE-bench Verified

실제 소프트웨어 저장소의 이슈를 분석하고 코드 패치로 해결하는 능력을 평가합니다. 저장소 탐색부터 구현·테스트까지 이어지는 엔지니어링 완성도를 봅니다.

측정 모델 95개 · 프로필 2개 · 데이터 기준 2026년 10월 9일

LLM Stats 집계 대표

원문 출처 ↗

LLM Stats 공개 리더보드의 독립 프로필입니다. 검증·자기보고 여부를 보존합니다. 높을수록 좋습니다.

현재 최고점: 상용 Claude Fable 5 95% · 오픈 DeepSeek-V4-Pro-Max 80.6% → 상용이 14.4%p 앞섭니다.

출시일별 점수와 최고점 흐름

차트를 불러오는 중입니다…

상위 20

차트를 불러오는 중입니다…
출처
1Claude Fable 5Anthropic · 상용 APIAPI95%1002026-06-12자기보고 ↗
2Claude Mythos PreviewAnthropic · 상용 APIAPI93.9%982026-05-28자기보고 ↗
3Ember-1Fireworks AI · 상용 APIAPI92.2%962026-09-23자기보고 ↗
4Claude Opus 4.8Anthropic · 상용 APIAPI88.6%952026-05-14자기보고 ↗
5Claude Opus 4.7Anthropic · 상용 APIAPI87.6%932026-04-16자기보고 ↗
6Claude Sonnet 5Anthropic · 상용 APIAPI85.2%912026-06-30자기보고 ↗
7Claude Opus 4.5Anthropic · 상용 APIAPI80.9%892025-11-24자기보고 ↗
8Claude Opus 4.6Anthropic · 상용 APIAPI80.8%882026-02-05자기보고 ↗
9DeepSeek-V4-Pro-MaxDeepSeek · 오픈 웨이트오픈80.6%852026-04-23자기보고 ↗
10Gemini 3.1 ProGoogle · 상용 APIAPI80.6%852026-02-19자기보고 ↗
11MiniMax-M3MiniMax · 오픈 웨이트오픈80.5%822026-06-02자기보고 ↗
12Qwen3.7 MaxAlibaba (Qwen) · 상용 APIAPI80.4%812026-05-19자기보고 ↗
13Inkling-SmallThinking Machines · 오픈 웨이트오픈80.2%782026-07-27자기보고 ↗
14Kimi-K2.6Moonshot AI (Kimi) · 오픈 웨이트오픈80.2%782026-04-14자기보고 ↗
15GPT-5.2OpenAI · 상용 APIAPI80%752025-12-11자기보고 ↗
16Claude Sonnet 4.6Anthropic · 상용 APIAPI79.6%742026-02-17자기보고 ↗
17DeepSeek-V4-Flash-MaxDeepSeek · 오픈 웨이트오픈79%722026-04-23자기보고 ↗
18Qwen3.6 PlusAlibaba (Qwen) · 상용 APIAPI78.8%702026-04-02자기보고 ↗
19DeepSeek-V4-Flash-0423DeepSeek · 오픈 웨이트오픈78.6%682026-04-23자기보고 ↗
20Gemini 3 FlashGoogle · 상용 APIAPI78%652025-12-17자기보고 ↗
21Hy3Tencent · 오픈 웨이트오픈78%652026-07-02자기보고 ↗
22MiMo-V2-ProXiaomi (MiMo) · 상용 APIAPI78%652026-03-18자기보고 ↗
23GLM-5Z.ai (GLM) · 오픈 웨이트오픈77.8%612026-02-11자기보고 ↗
24Qwen3.7-PlusAlibaba (Qwen) · 상용 APIAPI77.7%602026-05-31자기보고 ↗
25InklingThinking Machines · 오픈 웨이트오픈77.6%572026-07-14자기보고 ↗
26Mistral Medium 3.5Mistral AI · 상용 APIAPI77.6%572026-04-29자기보고 ↗
27Muse SparkMeta · 상용 APIAPI77.4%542026-04-08자기보고 ↗
28Qwen3.6-27BAlibaba (Qwen) · 오픈 웨이트오픈77.2%532026-04-21자기보고 ↗
29Kimi-K2.5Moonshot AI (Kimi) · 오픈 웨이트오픈76.8%512026-01-01자기보고 ↗
30Seed 2.0 ProByteDance (Seed) · 상용 APIAPI76.5%492026-02-14자기보고 ↗
31Qwen3.5-397B-A17BAlibaba (Qwen) · 오픈 웨이트오픈76.4%472026-02-16자기보고 ↗
32Gemini 3 ProGoogle · 상용 APIAPI76.2%462025-11-18자기보고 ↗
33Muse-Glimmer-30BMeta · 오픈 웨이트오픈76%442026-08-09자기보고 ↗
34Qwen3 Max ThinkingAlibaba (Qwen) · 상용 APIAPI75.3%422026-02-13자기보고 ↗
35MAI-Thinking-1Microsoft · 상용 APIAPI73.5%392026-06-02자기보고 ↗
36Seed 2.0 LiteByteDance (Seed) · 상용 APIAPI73.5%392026-02-14자기보고 ↗
37Qwen3.6-35B-A3BAlibaba (Qwen) · 오픈 웨이트오픈73.4%372026-04-15자기보고 ↗
38Seed 1.8ByteDance (Seed) · 상용 APIAPI72.9%352026-02-17자기보고 ↗
39MAI-Code-1.1-FlashMicrosoft · 상용 APIAPI72.6%332026-08-11자기보고 ↗
40Qwen3.5-27BAlibaba (Qwen) · 오픈 웨이트오픈72.4%322026-02-24자기보고 ↗
41Qwen3.5-122B-A10BAlibaba (Qwen) · 오픈 웨이트오픈72%302026-02-24자기보고 ↗
42MAI-Code-1-FlashMicrosoft · 상용 APIAPI71.6%282026-06-02자기보고 ↗
43Kimi K2-Thinking-0905Moonshot AI (Kimi) · 오픈 웨이트오픈71.3%262025-09-05자기보고 ↗
44Nemotron 3 Ultra (550B A55B)NVIDIA · 오픈 웨이트오픈70.7%252026-06-04자기보고 ↗
45Solar Pro 4Upstage (Solar) · 상용 APIAPI70.6%232026-08-06자기보고 ↗
46Nova 2 ProAmazon · 상용 APIAPI70%212025-12-02자기보고 ↗
47MiniMax-M2MiniMax · 오픈 웨이트오픈69.4%192025-10-22자기보고 ↗
48Qwen3.5-35B-A3BAlibaba (Qwen) · 오픈 웨이트오픈69.2%182026-02-24자기보고 ↗
49North-Mini-Code-1.0Cohere · 오픈 웨이트오픈67.6%162026-06-05자기보고 ↗
50MiniMax-M2.1MiniMax · 오픈 웨이트오픈67%142025-12-20자기보고 ↗
51Nova 2 LiteAmazon · 상용 APIAPI64.5%122025-12-02자기보고 ↗
52GLM-4.5Z.ai (GLM) · 오픈 웨이트오픈64.2%112025-07-20자기보고 ↗
53GLM-4.5-AirZ.ai (GLM) · 오픈 웨이트오픈57.6%92025-07-20자기보고 ↗
54IBM Granite 4.2 30BIBM · 오픈 웨이트오픈57%72026-08-25자기보고 ↗
55Nemotron 3 Super (120B A12B)NVIDIA · 상용 APIAPI53.7%52026-03-11자기보고 ↗
56Nemotron 3.5 Lightning (30B A3B)NVIDIA · 오픈 웨이트오픈51.6%42026-08-11자기보고 ↗
57IBM Granite 4.2 8BIBM · 오픈 웨이트오픈47.7%22026-08-25자기보고 ↗
58Nemotron 3 Nano (30B A3B)NVIDIA · 상용 APIAPI38.8%02025-12-15자기보고 ↗

HF 리더보드

원문 출처 ↗

같은 Hugging Face 리더보드 데이터셋·과제의 결과만 표시합니다. 높을수록 좋습니다.

출시일별 점수와 최고점 흐름

차트를 불러오는 중입니다…

상위 20

차트를 불러오는 중입니다…
출처
1Ornith-1.5-397Bornith-ai · 오픈 웨이트오픈86%1002026-08-18확인됨 ↗
2Macaron-V1-Coding-Ventimindlab-research · 오픈 웨이트오픈85.6%972026-07-20확인됨 ↗
3Macaron-V1-Ventimindlab-research · 오픈 웨이트오픈85.6%972026-07-20확인됨 ↗
4Ornith-1.0-397Bornith-ai · 오픈 웨이트오픈82.4%942026-06-23인용 ↗
5DeepSeek-V4-ProDeepSeek · 오픈 웨이트오픈80.6%922026-04-22확인됨 ↗
6MiniMax-M3MiniMax · 오픈 웨이트오픈80.5%902026-06-02확인됨 ↗
7Inkling-SmallThinking Machines · 오픈 웨이트오픈80.2%882026-07-27확인됨 ↗
8Kimi-K2.6Moonshot AI (Kimi) · 오픈 웨이트오픈80.2%882026-04-14확인됨 ↗
9DeepSeek-V4-FlashDeepSeek · 오픈 웨이트오픈79%842026-04-22확인됨 ↗
10Ornith-1.5-35B-A3Bornith-ai · 오픈 웨이트오픈79%842026-08-18확인됨 ↗
11MiMo-V2.5-ProXiaomi (MiMo) · 오픈 웨이트오픈78.9%812026-04-27확인됨 ↗
12dots3-note-prevdots-studio · 오픈 웨이트오픈78.4%792026-08-09확인됨 ↗
13Hy3Tencent · 오픈 웨이트오픈78%772026-07-02확인됨 ↗
14GLM-5Z.ai (GLM) · 오픈 웨이트오픈77.8%752026-02-11확인됨 ↗
15InklingThinking Machines · 오픈 웨이트오픈77.6%722026-07-14확인됨 ↗
16Mistral-Medium-3.5-128BMistral AI · 오픈 웨이트오픈77.6%722026-03-31확인됨 ↗
17Qwen3.6-27BAlibaba (Qwen) · 오픈 웨이트오픈77.2%692026-04-21확인됨 ↗
18Qwen3.5-397B-A17BAlibaba (Qwen) · 오픈 웨이트오픈76.4%672026-02-16확인됨 ↗
19Muse-Glimmer-30BMeta · 오픈 웨이트오픈76%652026-08-09확인됨 ↗
20MiniMax-M2.5MiniMax · 오픈 웨이트오픈75.8%632026-02-12인용 ↗
21Ornith-1.0-35Bornith-ai · 오픈 웨이트오픈75.6%622026-06-21인용 ↗
22Macaron-V1-Tallmindlab-research · 오픈 웨이트오픈75.4%602026-07-22확인됨 ↗
23IndustrialCoderMultilingual-Multimodal-NLP · 오픈 웨이트오픈74.8%582026-03-13인용 ↗
24Laguna-M.1Poolside · 오픈 웨이트오픈74.6%562026-06-15확인됨 ↗
25Hy3-previewTencent · 오픈 웨이트오픈74.4%532026-04-13확인됨 ↗
26Step-3.5-FlashStepFun · 오픈 웨이트오픈74.4%532026-02-01인용 ↗
27MiniMax-M2.1MiniMax · 오픈 웨이트오픈74%492025-12-20확인됨 ↗
28Ring-2.6-1TinclusionAI (Ant) · 오픈 웨이트오픈74%492026-05-14확인됨 ↗
29GLM-4.7Z.ai (GLM) · 오픈 웨이트오픈73.8%462025-12-22확인됨 ↗
30Qwen3.6-35B-A3BAlibaba (Qwen) · 오픈 웨이트오픈73.4%442026-04-15확인됨 ↗
31Qwen3.5-27BAlibaba (Qwen) · 오픈 웨이트오픈72.4%422026-02-24확인됨 ↗
32Qwen3.5-122B-A10BAlibaba (Qwen) · 오픈 웨이트오픈72%402026-02-24확인됨 ↗
33NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16NVIDIA · 오픈 웨이트오픈71.9%382026-06-03확인됨 ↗
34Kimi-K2-ThinkingMoonshot AI (Kimi) · 오픈 웨이트오픈71.3%372025-11-04확인됨 ↗
35Laguna-XS-2.1Poolside · 오픈 웨이트오픈70.9%352026-06-20확인됨 ↗
36Kimi-K2.5Moonshot AI (Kimi) · 오픈 웨이트오픈70.8%332026-01-01인용 ↗
37Ornith-1.5-9Bornith-ai · 오픈 웨이트오픈70.6%302026-08-18확인됨 ↗
38Qwen3-Coder-NextAlibaba (Qwen) · 오픈 웨이트오픈70.6%302026-01-30인용 ↗
39Solar-Open2-250BUpstage (Solar) · 오픈 웨이트오픈70.4%272026-07-22확인됨 ↗
40Laguna-XS.2Poolside · 오픈 웨이트오픈69.9%252026-04-23확인됨 ↗
41NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4NVIDIA · 오픈 웨이트오픈69.7%232026-06-03확인됨 ↗
42MiniMax-M2MiniMax · 오픈 웨이트오픈69.4%202025-10-22확인됨 ↗
43Ornith-1.0-9Bornith-ai · 오픈 웨이트오픈69.4%202026-06-21인용 ↗
44Laguna-XS.2MuVeraAI · 오픈 웨이트오픈68.2%172026-04-28인용 ↗
45North-Mini-Code-1.0Cohere · 오픈 웨이트오픈67.6%152026-06-05확인됨 ↗
46Intern-S2-PreviewShanghai AI Lab (InternLM) · 오픈 웨이트오픈64%132026-05-15확인됨 ↗
47openPangu-2.0-Flashopenpangu · 오픈 웨이트오픈63.1%122026-06-30확인됨 ↗
48Ling-2.6-flashinclusionAI (Ant) · 오픈 웨이트오픈61.2%102026-04-28확인됨 ↗
49NVIDIA-Nemotron-3-Super-120B-A12B-BF16NVIDIA · 오픈 웨이트오픈60.5%72026-03-10확인됨 ↗
50NVIDIA-Nemotron-3-Super-120B-A12B-BF16RedHatAI · 오픈 웨이트오픈60.5%72026-03-26인용 ↗
51GLM-4.7-FlashZ.ai (GLM) · 오픈 웨이트오픈59.2%42026-01-19확인됨 ↗
52NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4NVIDIA · 오픈 웨이트오픈52.8%22026-08-04확인됨 ↗
53NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16NVIDIA · 오픈 웨이트오픈51.6%02026-08-01확인됨 ↗

마커: 원 = 오픈 웨이트, 사각 = 상용 API, 빈 마커 = 검증되지 않은 값. 점을 누르면 모델 상세로 이동합니다. 백분위는 이 프로필 안에서의 상대 위치입니다.