벤치마크 · 멀티모달
SWE-Bench Multimodal
실제 소프트웨어 저장소의 이슈를 분석하고 코드 패치로 해결하는 능력을 평가합니다. 저장소 탐색부터 구현·테스트까지 이어지는 엔지니어링 완성도를 봅니다.
측정 모델 7개 · 프로필 1개 · 데이터 기준 2026년 10월 9일
LLM Stats 집계
원문 출처 ↗LLM Stats 공개 리더보드의 독립 프로필입니다. 검증·자기보고 여부를 보존합니다. 높을수록 좋습니다.
현재 최고점: 상용 Claude Opus 5.5 61.4% · 오픈 Qwen3.8-27B 38.6% → 상용이 22.8%p 앞섭니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
| 출처 | ||||||
|---|---|---|---|---|---|---|
| 1 | Claude Opus 5.5Anthropic · 상용 API | API | 61.4% | 100 | 2026-09-22 | 자기보고 ↗ |
| 2 | Claude Mythos PreviewAnthropic · 상용 API | API | 59% | 83 | 2026-05-28 | 자기보고 ↗ |
| 3 | Claude Sonnet 5.5Anthropic · 상용 API | API | 54.3% | 67 | 2026-09-28 | 자기보고 ↗ |
| 4 | Qwen3.8-27BAlibaba (Qwen) · 오픈 웨이트 | 오픈 | 38.6% | 50 | 2026-08-05 | 자기보고 ↗ |
| 5 | Claude Opus 4.8Anthropic · 상용 API | API | 38.4% | 33 | 2026-05-14 | 자기보고 ↗ |
| 6 | Claude Haiku 5.5Anthropic · 상용 API | API | 30.7% | 17 | 2026-10-07 | 자기보고 ↗ |
| 7 | Claude Sonnet 5Anthropic · 상용 API | API | 28.1% | 0 | 2026-06-30 | 자기보고 ↗ |
같은 분야의 다른 벤치
마커: 원 = 오픈 웨이트, 사각 = 상용 API, 빈 마커 = 검증되지 않은 값. 점을 누르면 모델 상세로 이동합니다. 백분위는 이 프로필 안에서의 상대 위치입니다.