# 神经编译与模糊函数编程

[网页](https://programasweights.com/zh/reading-list/) · [English](https://programasweights.com/reading-list/)

一段函数描述，怎样变成可以反复运行的程序？

PAW 把函数描述编译成可保存、可调用的神经程序。超网络和生成式适配器根据任务信息生成权重，上下文压缩把指令保存为可复用的表示。这些方法的区别在于程序的形式、构建的时间，以及每次调用时复用什么。

从 PAW 开始

PAW 将模糊函数定义、程序生成和本地执行连接起来。先读它的编译器与解释器接口，再看各类程序表示和相关方法。

### 训练

训练编译器或解释器，使它们学会生成或执行程序。

### 编译

将一个函数的描述变成程序，保存下来供后续调用。

### 执行

用已保存的程序处理新输入，返回函数输出。

### 神经程序与可复用函数

研究程序怎样表示、保存和组合，以及共享解释器怎样执行它们。

### 权重与适配器生成

根据任务描述、示例或上下文，生成另一个模型使用的参数。

### 上下文压缩

将指令或上下文压缩为激活值或参数更新，在后续调用中复用。

### 参数高效适配

使用 LoRA 权重更新或连续前缀，让冻结的模型执行不同任务。

### 通过训练完成编译

根据函数说明生成样本，再训练一个可保存、可本地执行的程序。

## 论文与引用

## Neural Programmer-Interpreters

作者：Scott Reed, Nando de Freitas

学习由共享循环解释器执行的神经程序，并把程序表示存入程序记忆。

首次 arXiv 提交：2015-11-19。ICLR 2016

与 PAW 的关系：PAW 引用这项关于学习程序表示和共享解释器的研究，并将编译器与解释器接口用于自然语言定义的模糊函数。

程序形式：存在键值记忆中的程序嵌入。

编译输入：程序标识、参数和环境观测。

执行方式：循环解释器调用子程序，并在环境中执行动作。

[论文](https://arxiv.org/abs/1511.06279) · [英文论文条目](https://programasweights.com/reading-list/papers/1511.06279/) · [BibTeX](https://programasweights.com/reading-list/papers/1511.06279/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/1511.06279/citation.csl.json)

## HyperNetworks

作者：David Ha, Andrew Dai, Quoc V. Le

用一个神经网络生成另一个神经网络的权重。

首次 arXiv 提交：2016-09-27。ICLR 2017

与 PAW 的关系：超网络提供权重生成机制。PAW 用这一机制从函数描述生成供小模型执行的适配器。

程序形式：目标网络的权重。

编译输入：层嵌入或当前循环状态。

执行方式：目标网络使用生成的权重完成计算。

[论文](https://arxiv.org/abs/1609.09106) · [英文论文条目](https://programasweights.com/reading-list/papers/1609.09106/) · [BibTeX](https://programasweights.com/reading-list/papers/1609.09106/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/1609.09106/citation.csl.json)

## Prefix-Tuning: Optimizing Continuous Prompts for Generation

作者：Xiang Lisa Li, Percy Liang

训练一段连续前缀向量，让冻结的语言模型适应目标任务。

首次 arXiv 提交：2021-01-01。ACL-IJCNLP 2021

与 PAW 的关系：PAW 把编译器生成的前缀作为神经程序的一种表示，并与生成的 LoRA 适配器进行比较。

程序形式：连续前缀激活值。

编译输入：目标任务的训练样本。

执行方式：冻结的语言模型在生成时读取学到的前缀。

[论文](https://arxiv.org/abs/2101.00190) · [英文论文条目](https://programasweights.com/reading-list/papers/2101.00190/) · [BibTeX](https://programasweights.com/reading-list/papers/2101.00190/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2101.00190/citation.csl.json)

## Learning to Generate Task-Specific Adapters from Task Description

作者：Qinyuan Ye, Xiang Ren

提出 Hypter，根据自然语言任务描述生成适配器，并检验对未见任务的泛化。

首次 arXiv 提交：2021-01-02。ACL-IJCNLP 2021

与 PAW 的关系：PAW 引用这项从描述生成适配器的研究，并进一步建立保存、加载和调用神经函数的编程接口。

程序形式：插入文本到文本模型的瓶颈适配器。

编译输入：自然语言任务描述。

执行方式：BART 加载生成的适配器后执行任务。

[论文](https://arxiv.org/abs/2101.00420) · [英文论文条目](https://programasweights.com/reading-list/papers/2101.00420/) · [BibTeX](https://programasweights.com/reading-list/papers/2101.00420/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2101.00420/citation.csl.json)

## LoRA: Low-Rank Adaptation of Large Language Models

作者：Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen

冻结预训练模型的原始权重，训练低秩权重更新来适应任务。

首次 arXiv 提交：2021-06-17。ICLR 2022

与 PAW 的关系：PAW 用 LoRA 表示程序中的参数部分，由训练好的编译器生成适配器权重。

程序形式：用于更新指定模型权重的低秩矩阵。

编译输入：目标任务的训练样本。

执行方式：语言模型在推理时使用低秩权重更新。

[论文](https://arxiv.org/abs/2106.09685) · [英文论文条目](https://programasweights.com/reading-list/papers/2106.09685/) · [BibTeX](https://programasweights.com/reading-list/papers/2106.09685/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2106.09685/citation.csl.json)

## HyperTuning: Toward Adapting Large Language Models without Back-propagation

作者：Jason Phang, Yi Mao, Pengcheng He, Weizhu Chen

根据几个任务示例，为冻结的语言模型生成前缀或 LoRA 参数。

首次 arXiv 提交：2022-11-22。ICML 2023

与 PAW 的关系：PAW 引用 HyperTuning，讨论从示例生成模型适配参数的方法。

程序形式：生成的前缀或 LoRA 参数。

编译输入：少量任务示例。

执行方式：冻结的 T5 模型使用生成的参数执行任务。

[论文](https://arxiv.org/abs/2211.12485) · [英文论文条目](https://programasweights.com/reading-list/papers/2211.12485/) · [BibTeX](https://programasweights.com/reading-list/papers/2211.12485/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2211.12485/citation.csl.json)

## HINT: Hypernetwork Instruction Tuning for Efficient Zero- & Few-Shot Generalisation

作者：Hamish Ivison, Akshita Bhagia, Yizhong Wang, Hannaneh Hajishirzi, Matthew Peters

把指令和示例转化为前缀、适配器及编码后的指令表示，供多次调用复用。

首次 arXiv 提交：2022-12-20。ACL 2023

与 PAW 的关系：HINT 复用生成的模块和编码后的指令；PAW 保存并复用包含文本与适配参数的程序。

程序形式：前缀、适配器和编码后的指令表示。

编译输入：任务指令和提供的示例。

执行方式：编码器—解码器模型使用生成的模块，并读取缓存的指令表示。

[论文](https://arxiv.org/abs/2212.10315) · [英文论文条目](https://programasweights.com/reading-list/papers/2212.10315/) · [BibTeX](https://programasweights.com/reading-list/papers/2212.10315/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2212.10315/citation.csl.json)

## Learning to Compress Prompts with Gist Tokens

作者：Jesse Mu, Xiang Lisa Li, Noah Goodman

将一段指令压缩为几个可复用的 gist token 激活值。

首次 arXiv 提交：2023-04-17。NeurIPS 2023

与 PAW 的关系：PAW 引用 gisting，讨论如何复用指令计算。Gisting 保存激活值，PAW 保存包含文本与适配参数的程序。

程序形式：少量 gist token 位置上的缓存激活值。

编译输入：指令或提示词。

执行方式：语言模型读取缓存的 gist 表示来生成输出。

[论文](https://arxiv.org/abs/2304.08467) · [英文论文条目](https://programasweights.com/reading-list/papers/2304.08467/) · [BibTeX](https://programasweights.com/reading-list/papers/2304.08467/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2304.08467/citation.csl.json)

## The ALCHEmist: Automated Labeling 500x CHEaper Than LLM Data Annotators

作者：Tzu-Heng Huang, Catherine Cao, Vaishnavi Bhargava, Frederic Sala

让语言模型编写可保存、可本地执行的标注程序，并用弱监督组合多个程序的输出。

首次 arXiv 提交：2024-06-25。NeurIPS 2024

与 PAW 的关系：PAW 评测了 ALCHEmist 风格的方法。ALCHEmist 生成符号代码，PAW 生成由神经解释器执行的程序，两者都构建可复用的工具。

程序形式：符号标注程序。

编译输入：任务描述、标注要求和函数签名。

执行方式：生成的程序在本地标注数据，其输出可进一步用于训练下游模型。

[论文](https://arxiv.org/abs/2407.11004) · [英文论文条目](https://programasweights.com/reading-list/papers/2407.11004/) · [BibTeX](https://programasweights.com/reading-list/papers/2407.11004/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2407.11004/citation.csl.json)

## Generative Adapter: Contextualizing Language Models in Parameters with A Single Forward Pass

作者：Tong Chen, Hao Fang, Patrick Xia, Xiaodong Liu, Benjamin Van Durme, Luke Zettlemoyer, Jianfeng Gao, Hao Cheng

通过一次前向传播，将新上下文转化为低秩参数更新。

首次 arXiv 提交：2024-11-08。ICLR 2025

与 PAW 的关系：Generative Adapter 将上下文信息写入适配器；PAW 把函数的行为编译成程序。

程序形式：可叠加的低秩适配器。

编译输入：文档、示例或对话历史，也支持连续到来的上下文片段。

执行方式：模型通过参数更新中保存的上下文信息回答新输入。

[论文](https://arxiv.org/abs/2411.05877) · [英文论文条目](https://programasweights.com/reading-list/papers/2411.05877/) · [BibTeX](https://programasweights.com/reading-list/papers/2411.05877/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2411.05877/citation.csl.json)

## Text-to-LoRA: Instant Transformer Adaption

作者：Rujikorn Charakorn, Edoardo Cetin, Yujin Tang, Robert Tjarko Lange

用超网络根据任务描述生成 LoRA 适配器，研究适配器压缩和未见任务的适配。

首次 arXiv 提交：2025-06-06。ICML 2025

与 PAW 的关系：PAW 引用 Text-to-LoRA 的适配器生成方法，并发展模糊函数编程、FuzzyBench 和可复用神经程序的接口。

程序形式：生成的 LoRA 矩阵。

编译输入：自然语言任务描述。

执行方式：基础 Transformer 使用生成的 LoRA 执行任务。

[论文](https://arxiv.org/abs/2506.06105) · [英文论文条目](https://programasweights.com/reading-list/papers/2506.06105/) · [BibTeX](https://programasweights.com/reading-list/papers/2506.06105/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2506.06105/citation.csl.json)

## Program-as-Weights: A Programming Paradigm for Fuzzy Functions

作者：Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng

提出模糊函数编程：将自然语言函数说明编译成神经程序，保存后由小模型在本地反复执行。

首次 arXiv 提交：2026-07-02。NeurIPS 2026 (accepted)

与 PAW 的关系：PAW 建立编译器与解释器接口，程序同时包含文本和生成的参数，并提供 FuzzyBench、本地运行接口及图像条件编译。Compile by Training 沿用这一程序格式和运行时。

程序形式：文本伪程序与编译器生成的参数高效模块，如 LoRA 适配器或前缀向量。

编译输入：函数说明，也支持输入输出示例；图像扩展还接收视觉信息。

执行方式：冻结的轻量解释器加载保存的程序，在本地处理新输入。

[论文](https://arxiv.org/abs/2607.02512) · [英文论文条目](https://programasweights.com/reading-list/papers/2607.02512/) · [BibTeX](https://programasweights.com/reading-list/papers/2607.02512/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2607.02512/citation.csl.json)

## Compile by Training: Turning Natural-Language Specifications into Local Neural Functions

作者：Yuntian Deng, Pengyu Nie, Stuart Shieber

根据函数说明生成训练样本，再训练 LoRA 适配器，将一次函数定义构建成可复用的本地神经程序。

首次 arXiv 提交：2026-09-03。EMNLP 2026 System Demonstrations

与 PAW 的关系：在 PAW 的快速编译结果上增加针对当前函数的训练，保留 PAW 的程序格式和解释器接口。

程序形式：包含 LoRA 适配器、运行提示词、函数说明和解释器元数据的 PAW 程序。

编译输入：函数说明指导教师模型生成样本，PAW 快速编译器提供初始适配器与运行提示词。

执行方式：冻结的 Qwen3-0.6B 解释器执行保存的函数，不再调用教师模型。

[论文](https://aclanthology.org/2026.emnlp-demos.78/) · [英文论文条目](https://programasweights.com/reading-list/papers/2609.04199/) · [BibTeX](https://programasweights.com/reading-list/papers/2609.04199/citation.bib) · [CSL-JSON](https://programasweights.com/reading-list/papers/2609.04199/citation.csl.json)