Instead of a single model, attach a small multi-LLM selector by role

검색 기반 선택형 다중 LLM 협업 · Scalable multi-LLM collaboration with retrieval-based selection2026.10.19

Proposal AI suggestion

Application to materials research remains an unverified proposal.

This is a method of placing multiple LLMs and selecting the model best suited to each question or subtask through search and exploration-exploitation strategies. It is a design intended to improve task-specific suitability compared with a single model or simple majority voting.

In materials research, please test a setup that assigns frequently separated tasks, for example literature summarization, experiment planning drafts, code writing, and data interpretation, to different models. If a human already knows the strengths of each model, it is better to start the selector with rules plus search rather than full automation.

At the beginning, keep only 2~3 models and record which model performs better for each question type. If you improve the selection logic based on those records, it will be easier to judge cost versus performance later when adding more models.

Materials problem to try it on: 문헌 마이닝, 실험/시뮬레이션 계획, 코드 보조, 보고서 작성처럼 성격이 다른 과제가 섞인 연구실 업무
Why it is worth trying now: 오픈소스 다중 LLM 협업 시스템과 캐시/선택 로직이 공개되어, 연구실 단위의 작은 배치로도 구현 가능해졌습니다. 모델 다양성이 커진 만큼 ‘어느 모델을 언제 쓰는가’가 성능 차이를 만드는 시점이기도 합니다.
First step: 최근 30개의 반복 업무를 모아 문헌/코딩/해석/요약으로 분류한 뒤, 각 유형에 대해 2개 모델만 비교 평가해 보십시오.
Risks and limits: 모델을 여러 개 운영하면 비용, 지연, 관리 복잡도가 빠르게 증가합니다. 선택기가 잘못 고르면 단일 모델보다 나빠질 수도 있고, 평가 데이터가 부족하면 선택 로직을 신뢰하기 어렵습니다.

AI가 최신 기법을 조사해 제안한 방향입니다. 검증된 결과가 아니며, 시도 여부와 위험은 연구 책임자가 판단해야 합니다.

Instead of a single model, attach a small multi-LLM selector by role

Proposal AI suggestion

Evidence Evidence from other fields

Related concepts and practice