← 연구 아이디어

연구 아이디어

Use in materials 드묾 Maturity 초기 단계

Introduce a file-based multimodal retrieval agent for long literature and figure tracking

파일 기반 장기 멀티모달 검색 · long-horizon agentic multimodal search

Proposal AI suggestion

Application to materials research remains an unverified proposal.

Instead of keeping images and diagrams in the context, store them in an external file system and keep only short identifiers during the conversation. This is an approach for reducing context bloat by reloading visual materials when needed in long interactions.

In materials research, it is often necessary to reason across papers, supplementary information, figures, microstructures, XRD, spectra, and simulation snapshots. For this task, it may be useful to separate image files and metadata in storage, and design an agent that calls the relevant figure only when needed.

The most practical applications are literature review and data interpretation. For example, one could group figures from multiple papers on a specific composition family and have the agent carry out 50~100 turns of questioning while comparing and explaining them. Evaluation can focus on whether the agent does not lose figure references, does not invoke the same figure redundantly, and continues to cite evidence accurately after long dialogue.

Materials problem to try it on
긴 문헌 검토, 다중 그림 비교, 시각적 증거 추적, 복합 데이터 해석
Why it is worth trying now
최근 멀티모달 검색 에이전트가 긴 horizon에서 동작하도록 설계되었고, 외부 파일 기반 시각 상태 관리가 컨텍스트 한계 문제를 완화할 수 있음이 보였습니다.
First step
한 주제의 논문 10편에서 그림 30~50개를 모아 파일 ID를 붙이고, 에이전트가 특정 그림을 다시 찾아 설명하는 간단한 질의 10개를 시험해 보세요.
Risks and limits
파일 관리와 인덱싱이 번거롭고, 잘못된 파일 매칭이나 누락이 생길 수 있습니다. 또 고해상도 그림이 많으면 저장·검색 비용이 커지고, 소규모 작업에서는 단순한 RAG보다 복잡성이 커질 수 있습니다.

Evidence Evidence from other fields

아래 링크는 이 기법이 다른 분야에서 통했다는 근거입니다. 소재 분야 적용 결과가 아닙니다.

  1. Towards Long-horizon Agentic Multimodal Search

Related concepts and practice

AI가 최신 기법을 조사해 제안한 방향입니다. 검증된 결과가 아니며, 시도 여부와 위험은 연구 책임자가 판단해야 합니다.