소재 연구에서는 후보 생성, 구조 검증, 반응성 판단, 논문/특허 읽기처럼 서로 다른 난이도의 추론 작업이 공존합니다. 이런 경우 공통의 평가틀을 만들어, 어느 단계에서 search, rerank, self-consistency, tool-use를 켤지 정책적으로 비교해볼 수 있습니다.
실제로는 하나의 작은 업무부터 시작하는 것이 낫습니다. 예를 들어 후보 조성 100개를 순위화하는 작업에서, 저비용 1차 스코어와 고비용 2차 검증을 조합한 여러 정책을 같은 비용 예산 아래 비교하면, 프레임워크의 유용성을 빠르게 판단할 수 있습니다.