벤치마크 · 코딩
SWE-Bench Pro (Public)
실제 소프트웨어 저장소의 이슈를 분석하고 코드 패치로 해결하는 능력을 평가합니다. 저장소 탐색부터 구현·테스트까지 이어지는 엔지니어링 완성도를 봅니다.
측정 모델 10개 · 프로필 2개 · 데이터 기준 2026년 10월 21일
research/deepmind.google 대표
원문 출처 ↗같은 Hugging Face 리더보드 데이터셋·과제의 결과만 표시합니다. 높을수록 좋습니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
| 출처 | ||||||
|---|---|---|---|---|---|---|
| 1 | Grok 4.5xAI · 상용 API | API | 64.7% | 100 | 2026-07-08 | 인용 ↗ |
| 2 | Claude Sonnet 5Anthropic · 상용 API | API | 63.2% | 80 | 2026-06-30 | 인용 ↗ |
| 3 | GPT-5.6 LunaOpenAI · 상용 API | API | 62.7% | 60 | 2026-07-09 | 인용 ↗ |
| 4 | Gemini 3.6 FlashGoogle · 상용 API | API | 58.7% | 40 | 2026-07-21 | 인용 ↗ |
| 5 | Gemini 3.5 FlashGoogle · 상용 API | API | 55.1% | 20 | 2026-05-19 | 인용 ↗ |
| 6 | Gemini 3.1 ProGoogle · 상용 API | API | 54.2% | 0 | 2026-02-19 | 인용 ↗ |
research/deepmind.google
원문 출처 ↗같은 Hugging Face 리더보드 데이터셋·과제의 결과만 표시합니다. 높을수록 좋습니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
| 출처 | ||||||
|---|---|---|---|---|---|---|
| 1 | GPT-5.4 MiniOpenAI · 상용 API | API | 54.4% | 100 | 2026-03-17 | 인용 ↗ |
| 2 | Gemini 3.5 Flash-LiteGoogle · 상용 API | API | 54.2% | 67 | 2026-07-21 | 인용 ↗ |
| 3 | Claude Haiku 4.5Anthropic · 상용 API | API | 39.5% | 33 | 2025-10-15 | 인용 ↗ |
| 4 | Gemini 3.1 Flash-LiteGoogle · 상용 API | API | 38.3% | 0 | 2026-03-03 | 인용 ↗ |
같은 분야의 다른 벤치
마커: 원 = 오픈 웨이트, 사각 = 상용 API, 빈 마커 = 검증되지 않은 값. 점을 누르면 모델 상세로 이동합니다. 백분위는 이 프로필 안에서의 상대 위치입니다.