한국 변호사시험 AI 벤치마크
제15회~제15회 변호사시험 선택형 150문항 기준
측정일: 2026-03-21 | 데이터 출처: 법무부 공식 공개 (공공누리 1유형)
전체 정답률
claude-opus-4-6
73.3%
73.3%
비용: $45평균 응답: 117초
claude-sonnet-4-6
77.3%
77.3%
비용: $56평균 응답: 169초
claude-opus-4-6
92.7%
92.7%
비용: $107평균 응답: 210초
claude-sonnet-4-6
92.0%
92.0%
비용: $138평균 응답: 278초
과목별 정답률
| 과목 | claude-opus-4-6 | claude-sonnet-4-6 | claude-opus-4-6 | claude-sonnet-4-6 |
|---|---|---|---|---|
| 공법 | 80.0% | 82.5% | 85.0% | 87.5% |
| 민사법 | 67.1% | 77.1% | 95.7% | 94.3% |
| 형사법 | 77.5% | 72.5% | 95.0% | 92.5% |
| 전체 | 73.3% | 77.3% | 92.7% | 92.0% |
회차별 정답률
| 회차 | claude-opus-4-6 | claude-sonnet-4-6 | claude-opus-4-6 | claude-sonnet-4-6 |
|---|---|---|---|---|
| 제15회 (2026) | 73.3% | 77.3% | 92.7% | 92.0% |
| 전체 평균 | 73.3% | 77.3% | 92.7% | 92.0% |
시험시간 분석
변호사시험 선택형 제한시간 대비 AI 모델의 순차 풀이 소요시간
| 과목 | 문항 수 | 제한시간 | claude-opus-4-6 | claude-sonnet-4-6 | claude-opus-4-6 | claude-sonnet-4-6 |
|---|---|---|---|---|---|---|
| 공법 | 40문항 | 70분 | 67분✓ | 69분✓ | 123분✗ 초과 | 160분✗ 초과 |
| 민사법 | 70문항 | 120분 | 136분✗ 초과 | 211분✗ 초과 | 225분✗ 초과 | 324분✗ 초과 |
| 형사법 | 40문항 | 70분 | 89분✗ 초과 | 143분✗ 초과 | 176분✗ 초과 | 210분✗ 초과 |
| 전체 | 150문항 | 260분 | 292분✗ 초과 / 260분 | 422분✗ 초과 / 260분 | 525분✗ 초과 / 260분 | 694분✗ 초과 / 260분 |
* 순차 풀이 기준 (문항당 평균 응답시간 × 문항 수). 실제 시험에서는 과목별로 별도 시간이 주어짐.
방법론
데이터셋
법무부 공식 공개(공공누리 1유형) 변호사시험 선택형 기출문제 제15회(2026), 총 150문항. 과목 구성: 공법 40 + 민사법 70 + 형사법 40.
평가 모델
Claude Opus 4.6, Claude Sonnet 4.6 — Agent 모드(Claude Code 프리셋, WebSearch/WebFetch 도구 제공). 동일한 프롬프트, 동일한 조건에서 평가.
채점
모델의 JSON 응답에서 정답 번호를 추출하여 법무부 공개 정답과 비교. 5지선다 객관식, 자동 채점.
라이선스
데이터 출처: 법무부 변호사시험 기출문제 게시판. 공공누리 1유형(출처표시) 라이선스.