재료 AI 출력 검증에 루브릭 기반 시험시 추론을 넣어 보자

제안 AI 제안

소재 분야 적용은 아직 검증되지 않은 제안입니다.

모델이 답을 바로 내는 대신, 명시적 루브릭으로 스스로의 출력을 점검하고 구조화된 피드백을 다시 반영하면서 수정하는 방식이다. 정답 하나보다 여러 기준을 동시에 만족해야 하는 작업에 맞는다.

적용해볼 소재 과제

문헌 요약의 사실성 검증, 실험 조건 추출, 재료 보고서의 일관성 점검

지금 시도할 만한 이유

최근 테스트타임 검증 데이터셋과 자기검증 에이전트가 등장해, 사전학습만이 아니라 추론 중 보정으로 품질을 끌어올리는 시도가 가능해졌기 때문이다.

첫 걸음

재료 논문 초록 50개에 대해 조성·상·조건·결론 네 항목 루브릭을 만든 뒤, 일반 요약과 루브릭 검증형 요약의 오류율을 사람이 직접 채점해 비교해 보자.

위험과 한계

루브릭 설계가 부실하면 검증이 형식적 절차로 끝날 수 있고, 재료 도메인 특유의 애매한 표현을 잘못 오판할 수 있다. 또한 반복 검증은 토큰과 API 비용을 증가시킨다.