← 연구 아이디어

연구 아이디어

Use in materials 드묾 Maturity 초기 단계

Verify on a small scale a method that reloads past experimental and computational trajectories to train agent policies

검색증강 정책 최적화 · Retrieval-augmented policy optimization

Proposal AI suggestion

Application to materials research remains an unverified proposal.

This is a method that, during policy learning, retrieves past step-by-step trajectories, off-policy examples, and failure/success paths and reflects them in the update. The goal is to broaden the search space compared with looking only at the current rollout.

In materials research, this may be especially well suited to problems with delayed reward signals, such as synthesis planning, reaction-pathway search, and analysis procedures. It may be tried by retrieving step-by-step trajectories that include past experimental notes, simulation logs, and even failed conditions, and using them to generate the next action candidates or as evidence for policy updates.

At first, it is safer not to fully automate the agent itself, but to make 50~200 trajectories already organized by a human searchable and apply them only to a small policy model. After that, one could evaluate whether it “repeats similar failures,” “converges more quickly to successful paths,” and “increases exploration of new combinations.”

Materials problem to try it on
실험 설계, 합성 경로 추천, 반응망 탐색, 분석 워크플로처럼 희소한 피드백을 갖는 소재 의사결정 문제
Why it is worth trying now
최근의 RAPO 계열 작업은 단계별 궤적 검색과 보상 보정을 결합한 에이전트 학습이 일반적인 RL 롤아웃보다 더 넓은 탐색을 유도할 수 있음을 제안했습니다. 에이전트 로그와 실험 기록을 검색 가능한 형태로 저장하는 도구가 늘어난 것도 이 접근을 시도하기 쉽게 만듭니다.
First step
한 도메인의 과거 실험 또는 시뮬레이션 100개 정도를 단계별 궤적으로 정리한 뒤, 다음 행동 예측이나 경로 재랭킹 작업에서 검색 유무를 비교해 보세요.
Risks and limits
좋은 궤적 데이터가 충분히 없으면 검색이 오히려 편향을 강화할 수 있고, 오래된 실험 조건은 현재 장비나 시약과 맞지 않을 수 있습니다. 또 검색·정렬·보상 설계가 복잡하며, 데이터 정제와 저장 형식 통일에 시간이 많이 듭니다.

Evidence Evidence from other fields

아래 링크는 이 기법이 다른 분야에서 통했다는 근거입니다. 소재 분야 적용 결과가 아닙니다.

  1. RAPO/README.md at main · SiweiPro/RAPO · GitHub

Related concepts and practice

AI가 최신 기법을 조사해 제안한 방향입니다. 검증된 결과가 아니며, 시도 여부와 위험은 연구 책임자가 판단해야 합니다.