Program-as-Weights · 研究

用自然语言定义函数,把程序编译成权重

编译一次,保存程序,在本地反复调用。

修复格式错误的 JSON、筛选需要处理的日志、根据用户意图匹配页面——这些函数容易用语言说清楚,却难以写成一套完整的规则。Program-as-Weights(PAW)提出模糊函数编程,把函数说明编译成可保存、可加载、可重复调用的神经程序。

PAW 让大模型承担构建工具的工作。编译器读取函数说明,生成供小模型执行的程序;共享的神经解释器加载程序,处理每一次新输入。函数的行为由文本伪程序和生成的参数共同表达。

例如,定义一个判断消息是否紧急的函数

PAW 论文图 1 用下面的消息分类说明编译与执行的分工。

先把“判断消息是否紧急”编译成一个程序并保存。之后每收到一条消息,就把它交给加载了该程序的小模型。下一条消息继续使用同一个函数。 论文图 1 ↗

PAW 原始论文

首次 arXiv 提交

NeurIPS 2026

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng

Wentao Zhang 为第一作者,与 Liliana Hotsko、Woojeong Kim 贡献相同。

PAW 提出了什么?

训练、编译、执行,各自做什么?

让 AI 构建工具

Yuntian Deng 在 2026 年 6 月 5 日的文章 From AI as Problem Solver to AI as Tool Builder 中提出,让预训练模型生成小型神经程序。人们用自然语言创建和更新这些工具,再把它们放到电脑、手机或机器人上运行。PAW 把这个方向落实为函数、程序、编译器和解释器。

Yuntian Deng ·

工具构建者:文章、研究愿景与 PAW(英文)

Compile by Training:在编译时训练程序

首次 arXiv 提交

EMNLP 2026 System Demonstrations

Compile by Training: Turning Natural-Language Specifications into Local Neural Functions

Yuntian Deng, Pengyu Nie, Stuart Shieber

Compile by Training 延续 PAW 的程序格式和本地解释器。教师模型根据函数说明生成训练样本,PAW 的快速编译器提供初始程序,再用这些样本训练该函数的 LoRA 适配器。训练完成后保存程序,本地执行不再调用教师模型。

继续阅读与使用

神经编译阅读清单 · 全部论文 · 模糊函数指南(英文)

Python SDK ↗ · 使用文档 ↗ · 试用 PAW ↗

引用论文

PAW 的编程范式、编译器与解释器接口、本地神经程序见原始 PAW 论文。在编译阶段生成样本并训练适配器的方法见 Compile by Training。

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng. The Fortieth Annual Conference on Neural Information Processing Systems, 2026.

@inproceedings{zhang2026programasweights,
  title = { {Program-as-Weights: A Programming Paradigm for Fuzzy Functions} },
  author = {Zhang, Wentao and Hotsko, Liliana and Kim, Woojeong and Nie, Pengyu and Shieber, Stuart and Deng, Yuntian},
  year = {2026},
  booktitle = {The Fortieth Annual Conference on Neural Information Processing Systems},
  url = {https://arxiv.org/abs/2607.02512}
}

Compile by Training: Turning Natural-Language Specifications into Local Neural Functions

Yuntian Deng, Pengyu Nie, Stuart Shieber. Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 2026.

@inproceedings{deng-etal-2026-compile,
  title = { {Compile by Training: Turning Natural-Language Specifications into Local Neural Functions} },
  author = {Deng, Yuntian and Nie, Pengyu and Shieber, Stuart},
  year = {2026},
  booktitle = {Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
  publisher = {Association for Computational Linguistics},
  pages = {830--839},
  doi = {10.18653/2026.emnlp-demos.78},
  month = {October},
  address = {Budapest, Hungary},
  isbn = {979-8-89176-461-3},
  editor = {Agrawal, Sweta and Abad, Alberto},
  url = {https://aclanthology.org/2026.emnlp-demos.78/}
}

本页 Markdown · 本页 JSON