과거 실험·계산 궤적을 다시 불러와 에이전트 정책을 학습시키는 방식을 소규모로 검증해 보자

제안 AI 제안

소재 분야 적용은 아직 검증되지 않은 제안입니다.

정책 학습 중에 과거의 단계별 궤적, 오프-폴리시 예시, 실패/성공 경로를 검색해 업데이트에 반영하는 방법입니다. 단순히 현재 롤아웃만 보는 것보다 탐색 폭을 넓히는 것을 목표로 합니다.

적용해볼 소재 과제

실험 설계, 합성 경로 추천, 반응망 탐색, 분석 워크플로처럼 희소한 피드백을 갖는 소재 의사결정 문제

지금 시도할 만한 이유

최근의 RAPO 계열 작업은 단계별 궤적 검색과 보상 보정을 결합한 에이전트 학습이 일반적인 RL 롤아웃보다 더 넓은 탐색을 유도할 수 있음을 제안했습니다. 에이전트 로그와 실험 기록을 검색 가능한 형태로 저장하는 도구가 늘어난 것도 이 접근을 시도하기 쉽게 만듭니다.

첫 걸음

한 도메인의 과거 실험 또는 시뮬레이션 100개 정도를 단계별 궤적으로 정리한 뒤, 다음 행동 예측이나 경로 재랭킹 작업에서 검색 유무를 비교해 보세요.

위험과 한계

좋은 궤적 데이터가 충분히 없으면 검색이 오히려 편향을 강화할 수 있고, 오래된 실험 조건은 현재 장비나 시약과 맞지 않을 수 있습니다. 또 검색·정렬·보상 설계가 복잡하며, 데이터 정제와 저장 형식 통일에 시간이 많이 듭니다.