22. AI 결과를 일관되게 검증하기
AI 결과를 같은 기준으로 반복 검증하는 교안이다.
좋아 보이는 결과와 요구사항을 충족한 결과는 다르다. 같은 기준으로 반복 확인할 수 있어야 한다.
검증 기준은 평가자의 기분이 아니라 관찰 가능한 문장이어야 한다. 정상 사례와 문제 사례를 함께 시험해야 AI가 어떤 오류를 놓치는지 확인할 수 있다.
"ai_prompt" 폴더에 "22_quality" 폴더를 만든다."22_quality"에 "검증기준.md"를 만든다.# 문서 검증 기준
필수:
- 제목이 있다.
- 날짜가 YYYY-MM-DD 형식이다.
- 입력 자료의 핵심 사실이 모두 있다.
- 입력 자료에 없는 사실이 없다.
- 개인정보가 없다.
문장:
- 한 문장에 핵심 내용이 하나이다.
- 뜻이 모호한 지시어가 없다.
- 같은 내용이 반복되지 않는다.
출력:
- 문제 위치가 표시된다.
- 원인과 수정문이 구분된다.
"정상.md"를 만든다."누락.md"를 만든다."추가사실.md"를 만든다."개인정보.md"를 만든다.아래 문서를 검증 기준에 따라 확인한다.
출력:
| 기준 | 결과 | 근거 위치 | 수정 필요 내용 |
결과는 '확인' 또는 '문제'만 사용한다.
기준에 없는 취향 판단은 추가하지 않는다.
<검증 기준>
[검증기준.md 내용]
</검증 기준>
<문서>
[검증할 문서 내용]
</문서>
파일 | 예상 문제 | AI가 찾은 문제 | 놓친 문제 | 잘못 지적한 문제
모호함: 개인정보가 없다.
명확함: 이름, 전화번호, 이메일, 주소, 생년월일이 포함되지 않았는가?
"사람검토.md"에 확인자, 날짜, 수정 내용을 기록한다.AI에게 검토를 요청하는 것은 AI 확인이다. 같은 입력에 같은 판정을 내리는 검색 규칙, 계산식, 프로그램 검사와 같은 방식만 규칙 기반 자동 검사라고 부른다.
파일 | 예상 문제 | AI가 찾은 문제 | 놓친 문제 | 잘못 지적한 문제
정상.md | 없음 | 없음 | 없음 | 없음
누락.md | 날짜·장소 누락 | 날짜·장소 누락 | 없음 | 없음
추가사실.md | 비용·연락처 추가 | 비용 추가 | 연락처 | 없음
개인정보.md | 실명 포함 | 실명 포함 | 없음 | 없음
정상 사례와 서로 다른 문제 사례를 구분하고 놓친 오류가 검증 기준에 반영되면 정상이다.