벤치마크 · 코딩
DeepSWE v1.1
실제 소프트웨어 저장소의 이슈를 분석하고 코드 패치로 해결하는 능력을 평가합니다. 저장소 탐색부터 구현·테스트까지 이어지는 엔지니어링 완성도를 봅니다.
측정 모델 10개 · 프로필 2개 · 데이터 기준 2026년 10월 9일
OpenAI 공개 평가 대표
원문 출처 ↗공급자가 같은 표에서 공개한 특정 평가 설정의 결과입니다. 하네스가 다른 리더보드 점수와 합치지 않습니다. 높을수록 좋습니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
| 출처 | ||||||
|---|---|---|---|---|---|---|
| 1 | GPT-5.6 SolOpenAI · 상용 API | API | 72.7% | 100 | 2026-07-09 | 확인됨 ↗ |
| 2 | Claude Fable 5Anthropic · 상용 API | API | 69.7% | 83 | 2026-06-12 | 인용 ↗ |
| 3 | GPT-5.6 TerraOpenAI · 상용 API | API | 69.6% | 67 | 2026-07-09 | 확인됨 ↗ |
| 4 | GPT-5.6 LunaOpenAI · 상용 API | API | 67.2% | 50 | 2026-07-09 | 확인됨 ↗ |
| 5 | GPT-5.5OpenAI · 상용 API | API | 67% | 33 | 2026-04-23 | 확인됨 ↗ |
| 6 | Claude Opus 4.8Anthropic · 상용 API | API | 59% | 17 | 2026-05-14 | 인용 ↗ |
| 7 | Gemini 3.1 Pro PreviewGoogle · 상용 API | API | 11.8% | 0 | 2026-02-19 | 인용 ↗ |
Google 공개 평가
원문 출처 ↗공급자가 같은 표에서 공개한 특정 평가 설정의 결과입니다. 하네스가 다른 리더보드 점수와 합치지 않습니다. 높을수록 좋습니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
| 출처 | ||||||
|---|---|---|---|---|---|---|
| 1 | GPT-5.6 TerraOpenAI · 상용 API | API | 69.6% | 100 | 2026-07-09 | 인용 ↗ |
| 2 | Gemini 3.7 FlashGoogle · 상용 API | API | 65.3% | 67 | 2026-08-13 | 확인됨 ↗ |
| 3 | Claude Sonnet 5Anthropic · 상용 API | API | 53.8% | 33 | 2026-06-30 | 인용 ↗ |
| 4 | Gemini 3.6 FlashGoogle · 상용 API | API | 48.6% | 0 | 2026-07-21 | 확인됨 ↗ |
같은 분야의 다른 벤치
마커: 원 = 오픈 웨이트, 사각 = 상용 API, 빈 마커 = 검증되지 않은 값. 점을 누르면 모델 상세로 이동합니다. 백분위는 이 프로필 안에서의 상대 위치입니다.