벤치마크 · 추론·지식
NL2Repo
실제 소프트웨어 저장소의 이슈를 분석하고 코드 패치로 해결하는 능력을 평가합니다. 저장소 탐색부터 구현·테스트까지 이어지는 엔지니어링 완성도를 봅니다.
측정 모델 24개 · 프로필 3개 · 데이터 기준 2026년 10월 9일
LLM Stats 집계 대표
원문 출처 ↗LLM Stats 공개 리더보드의 독립 프로필입니다. 검증·자기보고 여부를 보존합니다. 높을수록 좋습니다.
현재 최고점: 상용 Qwen3.8 Max 55.9% · 오픈 DeepSeek-V4.1-Flash 64% → 오픈 모델이 앞섭니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
Z.ai 공개 평가
원문 출처 ↗공급자가 같은 표에서 공개한 특정 평가 설정의 결과입니다. 하네스가 다른 리더보드 점수와 합치지 않습니다. 높을수록 좋습니다.
현재 최고점: 상용 Claude Opus 4.8 69.7% · 오픈 DeepSeek-V4-Pro-0813 61.1% → 상용이 8.6%p 앞섭니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
| 출처 | ||||||
|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.8Anthropic · 상용 API | API | 69.7% | 100 | 2026-05-14 | 인용 ↗ |
| 2 | DeepSeek-V4-Pro-0813DeepSeek · 오픈 웨이트 | 오픈 | 61.1% | 75 | 2026-08-13 | 인용 ↗ |
| 3 | GLM-5.3Z.ai (GLM) · 오픈 웨이트 | 오픈 | 58% | 38 | 2026-08-25 | 확인됨 ↗ |
| 4 | Kimi-K3Moonshot AI (Kimi) · 오픈 웨이트 | 오픈 | 58% | 38 | 2026-06-13 | 인용 ↗ |
| 5 | GLM-5.2Z.ai (GLM) · 오픈 웨이트 | 오픈 | 48.9% | 0 | 2026-06-16 | 확인됨 ↗ |
Qwen 공개 평가
원문 출처 ↗공급자가 같은 표에서 공개한 특정 평가 설정의 결과입니다. 하네스가 다른 리더보드 점수와 합치지 않습니다. 높을수록 좋습니다.
출시일별 점수와 최고점 흐름
차트를 불러오는 중입니다…
상위 20
차트를 불러오는 중입니다…
| 출처 | ||||||
|---|---|---|---|---|---|---|
| 1 | Qwen3.8-27BAlibaba (Qwen) · 오픈 웨이트 | 오픈 | 42.3% | 100 | 2026-08-05 | 확인됨 ↗ |
| 2 | Qwen3.6-27BAlibaba (Qwen) · 오픈 웨이트 | 오픈 | 36.2% | 0 | 2026-04-21 | 확인됨 ↗ |
같은 분야의 다른 벤치
마커: 원 = 오픈 웨이트, 사각 = 상용 API, 빈 마커 = 검증되지 않은 값. 점을 누르면 모델 상세로 이동합니다. 백분위는 이 프로필 안에서의 상대 위치입니다.