AI AI 해설
2026년 10월 18일 생성추론·지식이 상대적으로 강하지만 코딩·에이전트 평가는 낮은 상용 API
종합 평가
종합 레이팅은 1052(71위)이며 레이팅 벤치 118개를 반영했다. 분야 레이팅은 추론·지식 1086(48위), 멀티모달 893(43위), 과학·보안 826(23위), 에이전트 907(68위), 코딩 833(128위)다.
벤치마크 해석
model-insight 산출 기준으로 MI 종합 57.1(69/195), 추론 62.0(48/172), 코딩 27.3(128/139), 에이전트 37.1(68/80)이다. SWE-bench Pro Public 731은 54.2%(45/64)다. 다른 프로필 점수와 직접 비교하면 안 된다.
검증 상태
공급사 발표 LiveBench 79.9%와 FrontierSWE 40%는 미검증이다. OpenAI 공개 평가와 research/deepmind.google 프로필의 결과도 미검증으로 표시돼 있어, 각 프로필 안에서 참고해야 한다.
도입 판단
상용 API로 제공된다. 컨텍스트, 최대 출력, 입력·출력 가격, 라이선스는 자료 없음이다. 같은 공급사의 최신 모델로 Gemini 4 Argon, Gemini 3.8 Flash, Gemini 3.8 Flash Cyber, Gemini 3.7 Flash가 제시돼 있어 도입 전 최신 모델과 별도 검토가 필요하다.
수집된 벤치·가격·출시 숫자만 입력으로 받아 LLM이 작성했고, 입력에 없는 숫자가 나오면 폐기합니다. 사용 결정은 원문 출처와 직접 평가로 확인하세요.
분야별 레이팅
비슷한 모델과 비교 →| 분야 | 레이팅 | 분야 순위 | 벤치 수 |
|---|---|---|---|
| 코딩 | 136 | 7 | |
| 에이전트 | 76 | 18 | |
| 추론·지식 | 48 | 71 | |
| 멀티모달 | 47 | 17 | |
| 과학·보안 | 23 | 5 |
분야 레이팅은 그 분야 벤치에서의 비교만으로 계산합니다. 회색 선은 종합 1위 모델입니다.
벤치마크 점수
123개 · 프로필별 순위코딩
| 벤치 | 프로필 | 점수 | 순위 | 백분위 | 출처 |
|---|---|---|---|---|---|
| MI 코딩 지수 | model-insight 산출 | 27.2 | 136 / 147 | 8 | 확인됨 ↗ |
| SWE-bench Pro | Public 731 | 54.2% | 43 / 62 | 30 | 확인됨 ↗ |
| FrontierSWE | 공급사 발표 | 40% | 5 / 10 | 56 | 자기보고 ↗ |
| Terminal-Bench 2.1 | OpenAI 공개 평가 | 70.7% | 8 / 8 | 0 | 인용 ↗ |
| DeepSWE v1.1 | OpenAI 공개 평가 | 11.8% | 7 / 7 | 0 | 인용 ↗ |
| Terminal-Bench 2.1 | research/deepmind.google | 73.8% | 6 / 6 | 0 | 인용 ↗ |
| DeepSWE v1.1 | research/deepmind.google | 12% | 6 / 6 | 0 | 인용 ↗ |
| SWE-Bench Pro (Public) | research/deepmind.google | 54.2% | 6 / 6 | 0 | 인용 ↗ |
에이전트
| 벤치 | 프로필 | 점수 | 순위 | 백분위 | 출처 |
|---|---|---|---|---|---|
| MI 에이전트 지수 | model-insight 산출 | 37.8 | 76 / 87 | 13 | 확인됨 ↗ |
| Toolathlon | OpenAI 공개 평가 | 48.8% | 9 / 9 | 0 | 인용 ↗ |
| BrowseComp | OpenAI 공개 평가 | 85.9% | 5 / 8 | 43 | 인용 ↗ |
| Agents' Last Exam | OpenAI 공개 평가 | 32.1% | 7 / 7 | 0 | 인용 ↗ |
| GDPval-AA v2 | research/deepmind.google | 965 | 6 / 6 | 0 | 인용 ↗ |
| ClawEval-1.1 | research/static.stepfun.com | 57.8 | 5 / 6 | 30 | 인용 ↗ |
| OSWorld-Verified | research/deepmind.google | 76.2% | 4 / 5 | 25 | 인용 ↗ |
| OSWorld-Verified | research/qwen.ai | 76.2 | 3 / 4 | 33 | 인용 ↗ |
| OSWorld 2.0 | research/qwen.ai | 30.6 | 3 / 4 | 33 | 인용 ↗ |
| ClawEval-MM | research/qwen.ai | 55.2 | 4 / 4 | 0 | 인용 ↗ |
| ClawEval-MM | research/qwen.ai | 50.5 | 4 / 4 | 0 | 인용 ↗ |
| WebArena-Verified | research/qwen.ai | 64.3 | 3 / 4 | 33 | 인용 ↗ |
| AgentDojo | research/ai.meta.com | 3.3 | 1 / 4 | 100 | 인용 ↗ |
| AgentHarm | research/ai.meta.com | 20.4 | 1 / 4 | 100 | 인용 ↗ |
| AgentHarm Verified (benign) | research/ai.meta.com | 5.7 | 4 / 4 | 0 | 인용 ↗ |
| Agentic Misalignment | research/ai.meta.com | 52.6 | 1 / 4 | 100 | 인용 ↗ |
| Refusals: Chemical Agents | research/ai.meta.com | 96.8 | 3 / 4 | 33 | 인용 ↗ |
| OSWorld 2.0 | research/qwen.ai | 7.8 | 2 / 3 | 50 | 인용 ↗ |
| SeqQA | research/ai.meta.com | 95.4 | 3 / 3 | 0 | 인용 ↗ |
추론·지식
| 벤치 | 프로필 | 점수 | 순위 | 백분위 | 출처 |
|---|---|---|---|---|---|
| MI 종합 지수 | model-insight 산출 | 57.1 | 73 / 204 | 64 | 확인됨 ↗ |
| MI 추론 지수 | model-insight 산출 | 62.3 | 48 / 178 | 73 | 확인됨 ↗ |
| LiveBench | 공급사 발표 | 79.9% | 3 / 22 | 90 | 자기보고 ↗ |
| GPQA Diamond | OpenAI 공개 평가 | 94.3% | 3 / 9 | 75 | 인용 ↗ |
| FrontierMath Tier 1-3 v2 | OpenAI 공개 평가 | 59.6% | 7 / 7 | 0 | 인용 ↗ |
| GDM-MRCR v2 (8-needle) | research/deepmind.google | 84.9% | 2 / 6 | 80 | 인용 ↗ |
| ARC-AGI-3 | OpenAI 공개 평가 | 0.4% | 5 / 6 | 20 | 인용 ↗ |
| MLE-Bench | research/deepmind.google | 42.6% | 6 / 6 | 0 | 인용 ↗ |
| SimpleVQA | research/qwen.ai | 73.1 | 2 / 4 | 67 | 인용 ↗ |
| ERQA | research/qwen.ai | 68.0 | 4 / 4 | 0 | 인용 ↗ |
| MMStar | research/qwen.ai | 84.0 | 2 / 4 | 67 | 인용 ↗ |
| LVBench | research/qwen.ai | 75.1 | 4 / 4 | 0 | 인용 ↗ |
| ZEROBench | research/qwen.ai | 23.0 | 3 / 4 | 33 | 인용 ↗ |
| ZEROBench | research/qwen.ai | 17.0 | 4 / 4 | 0 | 인용 ↗ |
| MLVU | research/qwen.ai | 84.7 | 4 / 4 | 0 | 인용 ↗ |
| AndroidWorld | research/qwen.ai | 70.7 | 4 / 4 | 0 | 인용 ↗ |
| WorldVQA | research/qwen.ai | 54.0 | 1 / 4 | 100 | 인용 ↗ |
| LingoQA | research/qwen.ai | 66.8 | 4 / 4 | 0 | 인용 ↗ |
| MMVU | research/qwen.ai | 77.9 | 3 / 4 | 33 | 인용 ↗ |
| PMC-VQA | research/qwen.ai | 62.5 | 3 / 4 | 33 | 인용 ↗ |
| RecreationBench | research/qwen.ai | 16.2 | 4 / 4 | 0 | 인용 ↗ |
| TVBench | research/qwen.ai | 73.0 | 4 / 4 | 0 | 인용 ↗ |
| VLMsAreBiased | research/qwen.ai | 74.1 | 2 / 4 | 67 | 인용 ↗ |
| ZEROBench-Sub | research/qwen.ai | 36.5 | 4 / 4 | 0 | 인용 ↗ |
| Dense200 | research/qwen.ai | 69.7 | 2 / 4 | 67 | 인용 ↗ |
| HiPhO | research/qwen.ai | 85.4 | 3 / 4 | 33 | 인용 ↗ |
| VisFactor | research/qwen.ai | 39.8 | 4 / 4 | 0 | 인용 ↗ |
| AIRS-Bench | research/ai.meta.com | 83.0 | 3 / 4 | 33 | 인용 ↗ |
| Alignment Faking | research/ai.meta.com | 14.0 | 1 / 4 | 100 | 인용 ↗ |
| CC-OCR-Bench-V2 | research/qwen.ai | 68.9 | 3 / 4 | 33 | 인용 ↗ |
| COCO | research/qwen.ai | 72.4 | 3 / 4 | 33 | 인용 ↗ |
| CountQA | research/qwen.ai | 72.8 | 3 / 4 | 33 | 인용 ↗ |
| DeceptionBench | research/ai.meta.com | 25.5 | 1 / 4 | 100 | 인용 ↗ |
| FORTRESS | research/ai.meta.com | 29.8 | 1 / 4 | 100 | 인용 ↗ |
| GDM Situational Awareness | research/ai.meta.com | 54.5 | 3 / 4 | 33 | 인용 ↗ |
| GDM-Stealth | research/ai.meta.com | 3.0 | 1 / 4 | 100 | 인용 ↗ |
| GraySwan ART | research/ai.meta.com | 1.0 | 1 / 4 | 100 | 인용 ↗ |
| HLE Calibration | research/ai.meta.com | 50.4 | 1 / 4 | 100 | 인용 ↗ |
| HLE-VL | research/qwen.ai | 43.9 | 3 / 4 | 33 | 인용 ↗ |
| Internal Sycophancy | research/ai.meta.com | 65.6 | 1 / 4 | 100 | 인용 ↗ |
| LogicVista | research/qwen.ai | 82.6 | 4 / 4 | 0 | 인용 ↗ |
| MADQA | research/qwen.ai | 81.1 | 4 / 4 | 0 | 인용 ↗ |
| MASK | research/ai.meta.com | 40.5 | 4 / 4 | 0 | 인용 ↗ |
| MedXpertQA-MM | research/qwen.ai | 80.7 | 2 / 4 | 67 | 인용 ↗ |
| MobileWorld | research/qwen.ai | 58.1 | 3 / 4 | 33 | 인용 ↗ |
| MTVQA-Test | research/qwen.ai | 54.3 | 2 / 4 | 67 | 인용 ↗ |
| OCR-Bench-V2 | research/qwen.ai | 64.6 | 4 / 4 | 0 | 인용 ↗ |
| OCR-Bench-V2 | research/qwen.ai | 58.2 | 3 / 4 | 33 | 인용 ↗ |
| OR-Bench | research/ai.meta.com | 2.5 | 4 / 4 | 0 | 인용 ↗ |
| Parametric CAD Bench | research/qwen.ai | 73.5 | 4 / 4 | 0 | 인용 ↗ |
| PhyX | research/qwen.ai | 79.4 | 3 / 4 | 33 | 인용 ↗ |
| Poly-Guard Bench | research/ai.meta.com | 46.2 | 2 / 4 | 67 | 인용 ↗ |
| PresentBench | research/qwen.ai | 55.4 | 4 / 4 | 0 | 인용 ↗ |
| QwenBlenderBench | research/qwen.ai | 23.0 | 4 / 4 | 0 | 인용 ↗ |
| QwenVisualOffice | research/qwen.ai | 39.6 | 2 / 4 | 67 | 인용 ↗ |
| RefAdv-S | research/qwen.ai | 71.9 | 3 / 4 | 33 | 인용 ↗ |
| Refusals: BioTIER | research/ai.meta.com | 57.7 | 4 / 4 | 0 | 인용 ↗ |
| SAVE-Bench | research/ai.meta.com | 17.8 | 4 / 4 | 0 | 인용 ↗ |
| SHADE-Arena | research/ai.meta.com | 1.6 | 3 / 4 | 33 | 인용 ↗ |
| SLAKE | research/qwen.ai | 82.9 | 4 / 4 | 0 | 인용 ↗ |
| Social Engineering | research/ai.meta.com | 13.7 | 1 / 4 | 100 | 인용 ↗ |
| StrongREJECT v2 | research/ai.meta.com | 51.0 | 1 / 4 | 100 | 인용 ↗ |
| SURDS | research/qwen.ai | 64.0 | 3 / 4 | 33 | 인용 ↗ |
| GDM-MRCR v2 (8-needle) | research/deepmind.google | 26.3% | 3 / 3 | 0 | 인용 ↗ |
| WMDP-Bio | research/ai.meta.com | 89.5 | 2 / 3 | 50 | 인용 ↗ |
| WMDP-Chem | research/ai.meta.com | 86.3 | 2 / 3 | 50 | 인용 ↗ |
| ABC Bench (Fragment Design) | research/ai.meta.com | 95.8 | 2 / 3 | 50 | 인용 ↗ |
| ABC Bench (Liquid Handling) | research/ai.meta.com | 99.2 | 1 / 3 | 100 | 인용 ↗ |
| BioDesign Tools | research/ai.meta.com | 62.4 | 2 / 3 | 50 | 인용 ↗ |
| HPCT | research/ai.meta.com | 62.9 | 2 / 3 | 50 | 인용 ↗ |
| MBCT | research/ai.meta.com | 46.2 | 3 / 3 | 0 | 인용 ↗ |
| ProtocolQA | research/ai.meta.com | 88.9 | 1 / 3 | 100 | 인용 ↗ |
| VCT | research/ai.meta.com | 44.6 | 3 / 3 | 0 | 인용 ↗ |
| PerceptionBench | research/qwen.ai | 56.2 | 2 / 2 | 0 | 인용 ↗ |
멀티모달
| 벤치 | 프로필 | 점수 | 순위 | 백분위 | 출처 |
|---|---|---|---|---|---|
| gdp.pdf | OpenAI 공개 평가 | 16.7% | 7 / 7 | 0 | 인용 ↗ |
| CharXiv reasoning | research/deepmind.google | 83.3% | 3 / 6 | 60 | 인용 ↗ |
| MMMU-Pro · no tools | OpenAI 공개 평가 | 80.5% | 4 / 5 | 25 | 인용 ↗ |
| MMMU-Pro | research/qwen.ai | 80.5 | 3 / 4 | 33 | 인용 ↗ |
| MathVision | research/qwen.ai | 87.4 | 4 / 4 | 0 | 인용 ↗ |
| OmniDocBench 1.5 | research/qwen.ai | 90.0 | 3 / 4 | 33 | 인용 ↗ |
| RealWorldQA | research/qwen.ai | 83.5 | 4 / 4 | 0 | 인용 ↗ |
| BabyVision | research/qwen.ai | 68.3 | 4 / 4 | 0 | 인용 ↗ |
| BabyVision | research/qwen.ai | 55.9 | 4 / 4 | 0 | 인용 ↗ |
| VideoMMMU | research/qwen.ai | 85.3 | 3 / 4 | 33 | 인용 ↗ |
| ScreenSpot Pro | research/qwen.ai | 68.1 | 4 / 4 | 0 | 인용 ↗ |
| CharXiv reasoning | research/deepmind.google | 83.2% | 4 / 4 | 0 | 인용 ↗ |
| CharXiv (RQ) | research/qwen.ai | 89.9 | 2 / 4 | 67 | 인용 ↗ |
| CharXiv (RQ) | research/qwen.ai | 84.4 | 4 / 4 | 0 | 인용 ↗ |
| VideoMME | research/qwen.ai | 86.7 | 4 / 4 | 0 | 인용 ↗ |
| VideoMME v2 | research/qwen.ai | 66.9 | 3 / 4 | 33 | 인용 ↗ |
| MathVision | research/qwen.ai | 95.7 | 3 / 3 | 0 | 인용 ↗ |
과학·보안
| 벤치 | 프로필 | 점수 | 순위 | 백분위 | 출처 |
|---|---|---|---|---|---|
| GeneBench Pro | OpenAI 공개 평가 | 3.1% | 7 / 7 | 0 | 인용 ↗ |
| Catastrophic Cyber Misuse | research/ai.meta.com | 3.1 | 4 / 4 | 0 | 인용 ↗ |
| Cyber Misuse Chat | research/ai.meta.com | 31.6 | 3 / 4 | 33 | 인용 ↗ |
| Cyber Misuse Chat | research/ai.meta.com | 0.1 | 4 / 4 | 0 | 인용 ↗ |
| ExploitGym | research/ai.meta.com | 1.4 | 2 / 3 | 50 | 인용 ↗ |
순위는 같은 프로필(같은 문항·하네스·출처)에서 측정된 모델 중 위치입니다. * 는 자기보고·인용 등 검증되지 않은 값입니다.
레이팅이 비슷한 모델
- Gemini 3 Pro 71위 · 1059 비교
- DeepSeek-V4-Flash-0731 72위 · 1056 비교
- Ornith-1.5-35B-A3B 73위 · 1053 비교
- Gemini 3.5 Flash-Lite 75위 · 1053 비교
- Grok 4.5 76위 · 1048 비교
- GLM-5 77위 · 1047 비교
Google의 다른 모델
공급사 →- Gemini 4 Argon 2026-10-13
- Gemini 3.8 Flash 2026-09-02
- Gemini 3.8 Flash Cyber 2026-09-02
- Gemini 3.7 Flash 2026-08-13 · 1268
- Gemini 3.5 Flash Cyber 2026-07-21
- Gemini 3.5 Flash-Lite 2026-07-21 · 1053
- Gemini 3.6 Flash 2026-07-21 · 1005
- DiffusionGemma 26B-A4B 2026-06-10 · 827