Augmenting large language models with chemistry tools
Augmenting large language models with chemistry tools
Section titled “Augmenting large language models with chemistry tools”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: llm-language-reasoning · Tier: recent · Year: 2024 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2304.05376
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”展示如何通过专家设计工具增强LLM，使其在有机合成、药物发现与材料设计中自主规划、执行实验并与机器人平台交互，同时降低非专家门槛并桥接计算与实验化学。
ChemCrow通过整合18个化学工具，使LLM以ReAct方式自主完成合成规划/执行与新分子发现，显著优于纯GPT-4并暴露其评估缺陷。
LLM在化学任务上表现差（如IUPAC转换、计算），缺乏外部知识源；现有计算化学工具分散、学习曲线陡峭且集成困难，导致实验化学中自动化水平低。
LLM与Transformer基础、ReAct/MRKL工具调用范式、有机化学与分子表示（SMILES/IUPAC）、基础机器学习（随机森林）、化学安全常识。
- 提出ChemCrow：集成18个专家工具的LLM化学智能体，覆盖合成、分子、安全与搜索。
- 实现自主规划并在云连接机器人平台（RoboRXN）上执行DEET与三种硫脲有机催化剂合成。
- 人机协作训练模型筛选并指导发现新型发色团。
- 在14个用例上对比评估，显示ChemCrow在复杂任务上优于纯GPT-4；揭示EvaluatorGPT无法可靠区分错误与正确回答。
用户给出自然语言任务；向LLM提供工具名称、描述与输入输出格式；LLM按Thought-Action-Action Input-Observation循环（ReAct风格）推理、选择工具、暂停生成以执行工具、接收Observation后继续迭代，直至给出最终答案；合成任务可调用ReactionExecute连接机器人平台并自动修正无效动作。
关键模块和设计取舍
Section titled “关键模块和设计取舍”工具集分反应（ReactionPlanner、ReactionExecute含ActionCleaner）、分子（Name2SMILES等）、安全、搜索（LitSearch/WebSearch）与标准工具；设计取舍为自然语言易扩展新工具、硬编码安全检查（受控化学品则停止）、迭代适配合成程序以匹配机器人平台约束，而非追求完全端到端无工具。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”无标准公开基准数据集；自定义14个用例（合成规划、分子设计、化学逻辑与知识任务，见Appendix G）。评估采用人类专家三维评分（化学正确性、推理质量、任务完成度）+ EvaluatorGPT；合成成功执行；发色团任务中随机森林RMSE与吸收波长偏差。具体数值待来源核验。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”ChemCrow自主规划并成功在RoboRXN平台执行DEET（驱虫剂）与三种已知硫脲有机催化剂（Schreiner’s、Ricci’s、Takemoto’s）合成；人机协作提出新发色团并实测最大吸收波长336 nm（目标369 nm，模型RMSE 37 nm）；专家评估中ChemCrow在复杂任务上全面优于GPT-4（尤其化学事实性与推理），而EvaluatorGPT因偏好流畅度而误判GPT-4更优；GPT-4存在分子/反应/程序幻觉。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”性能强依赖底层工具质量与代理推理正确性（工具垃圾进垃圾出可致错误结论）；合成程序有时需迭代修正；GPT-4作为评估器不可靠（缺乏领域理解时无法评估事实性）；存在安全风险（非专家操作）与IP归属问题；适用边界为有工具支持的任务，非完全自主实验室，且受限于工具覆盖范围。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”基于ReAct与MRKL的工具增强LLM范式；同期有类似工具增强LLM用于云实验室的工作；整合已有化学AI工具（RXN for Chemistry、AIZynthFinder、OPSIN等）与搜索；对比纯LLM（GPT-4）在化学上的幻觉与工具增强后的提升。
官方代码与复现建议
Section titled “官方代码与复现建议”官方公开代码https://github.com/ur-whitelab/chemcrow-public；完整运行示例https://github.com/ur-whitelab/chemcrow-runs。复现需GPT-4 API、各工具依赖（部分API/专有如RoboRXN），建议先跑公开示例验证工具调用链。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction理解动机与框架；再读Results 2.1（自主合成）与2.2（人机协作发色团）看具体能力；接着2.3评估与Figure 4对比；然后Method/工具描述与Risk Mitigation；最后Appendix G用例与代码仓库。
- Q: ChemCrow的核心工作流是什么？它如何结合工具与推理？ A: 采用ReAct风格的Thought-Action-Action Input-Observation迭代循环：LLM先推理当前状态与目标，选择工具并给出输入，程序执行后返回Observation，继续直至最终答案。
- Q: 论文中实验验证了哪些具体分子的自主合成？ A: 昆虫驱虫剂DEET以及三种硫脲有机催化剂（Schreiner’s、Ricci’s、Takemoto’s），在IBM RoboRXN平台上成功执行。
- Q: 人机协作发现新型发色团的关键结果是什么？ A: ChemCrow清理数据、训练随机森林模型预测吸收最大波长，提出候选分子；人类合成后实测最大吸收波长为336 nm（目标接近369 nm），模型RMSE为37 nm。
- Q: 为什么EvaluatorGPT的评估与人类专家不一致？ A: EvaluatorGPT偏好流畅完整的回答风格，而GPT-4常有幻觉；人类专家更看重化学事实正确性、推理质量与任务完成度，因此更偏好ChemCrow。
- Q: ChemCrow如何缓解安全风险？ A: 硬编码安全指南：执行前检查分子是否为受控化学品，若是则停止并警告；否则提供安全处理建议，并将安全信息纳入最终回答。
- Abstract: By integrating 18 expert-designed tools, ChemCrow augments the LLM performance in chemistry, and new capabilities emerge. Our agent autonomously planned and executed the syntheses of an insect repellent, three organocatalysts, and guided the discovery of a novel chromophore.
- Abstract: Surprisingly, we find that GPT-4 as an evaluator cannot distinguish between clearly wrong GPT-4 completions and Chemcrow’s performance. … Publicly available code can be found at https://github.com/ur-whitelab/chemcrow-public.
- Section 2.1 Autonomous chemical synthesis: ChemCrow found corresponding molecules, planned syntheses, and executed the syntheses on the cloud-connected, proprietary RoboRXN platform from IBM Research. … The four syntheses yielded the anticipated compounds successfully
- Section 2.2 / Figure 3: The proposed molecule … was subsequently synthesized and analyzed, confirming the discovery of a new chromophore with approximately the desired property (measured absorption maximum wavelength of 336nm). … The root mean squared error of the random forest model is 37 nm.
- Section 2.3 / Figure 4: ChemCrow outperforms the tool-less LLM, especially on more complex tasks … GPT-4 only outperforms ChemCrow at easier tasks … humans prefer and highly score ChemCrow’s responses … EvaluatorGPT concludes that on average GPT-4 is a better model
- Section 3 Risk Mitigation: ChemCrow follows a set of hard-coded guidelines … by checking that the queried molecules are not known controlled chemicals and other safety information; execution stops in such a case.
Discovery evidence
Section titled “Discovery evidence”- topic:
decision-task-planning - sources:
openalex - retrieved_at: 2026-07-20
- query: embodied agent task planning decision making
- doi:
10.1038/s42256-024-00832-8 - score_total: 54
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「Augmenting large language models with chemistry tools」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- Augmenting large language models with chemistry tools Andres M. Bran12∗ …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（Augmenting large language models with chemistry tools）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2304.05376] ChemCrow: Augmenting large-language models with chemistry tools — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2304.05376] Untitled Document — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: Augmenting large language models with chemistry tools方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.2（arch）；学习用途摘录。
来源：原论文约 p.3（qualitative）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2024 |
| Authors | Andres M. Bran, Sam Cox, Oliver Schilter, Carlo Baldassari, Andrew Dickson White, Philippe Schwaller |
| arXiv | 2304.05376 |
| DOI | 10.1038/s42256-024-00832-8 |
| Topics | llm-language-reasoning, decision-task-planning |
| Paper | https://arxiv.org/abs/2304.05376 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”llm-language-reasoning: tier=recent rank=4 score=65 — auto refresh 2026-07-19 sources=openalexdecision-task-planning: tier=recent rank=2 score=54 — auto refresh 2026-07-19 sources=openalex
Extract excerpt
Section titled “Extract excerpt”(no PDF text available; metadata-only card)