神经程序与可复用函数
阅读清单
论文
阅读 Program-as-Weights 及其相关研究，比较神经程序的表示、编译输入和执行方式。
按主题浏览论文，比较每项工作生成什么、如何执行，以及与 PAW 的联系。
共 13 篇论文
没有找到匹配的论文。
权重与适配器生成
参数高效适配
Prefix-Tuning: Optimizing Continuous Prompts for Generation
训练一段连续前缀向量，让冻结的语言模型适应目标任务。
arXiv 首次提交 2021-01-01 · ACL-IJCNLP 2021
权重与适配器生成
Learning to Generate Task-Specific Adapters from Task Description
提出 Hypter，根据自然语言任务描述生成适配器，并检验对未见任务的泛化。
arXiv 首次提交 2021-01-02 · ACL-IJCNLP 2021
参数高效适配
LoRA: Low-Rank Adaptation of Large Language Models
冻结预训练模型的原始权重，训练低秩权重更新来适应任务。
arXiv 首次提交 2021-06-17 · ICLR 2022
权重与适配器生成
HyperTuning: Toward Adapting Large Language Models without Back-propagation
根据几个任务示例，为冻结的语言模型生成前缀或 LoRA 参数。
arXiv 首次提交 2022-11-22 · ICML 2023
权重与适配器生成
HINT: Hypernetwork Instruction Tuning for Efficient Zero- & Few-Shot Generalisation
把指令和示例转化为前缀、适配器及编码后的指令表示，供多次调用复用。
arXiv 首次提交 2022-12-20 · ACL 2023
上下文压缩
Learning to Compress Prompts with Gist Tokens
将一段指令压缩为几个可复用的 gist token 激活值。
arXiv 首次提交 2023-04-17 · NeurIPS 2023
神经程序与可复用函数
The ALCHEmist: Automated Labeling 500x CHEaper Than LLM Data Annotators
让语言模型编写可保存、可本地执行的标注程序，并用弱监督组合多个程序的输出。
arXiv 首次提交 2024-06-25 · NeurIPS 2024
权重与适配器生成
Generative Adapter: Contextualizing Language Models in Parameters with A Single Forward Pass
通过一次前向传播，将新上下文转化为低秩参数更新。
arXiv 首次提交 2024-11-08 · ICLR 2025
权重与适配器生成
Text-to-LoRA: Instant Transformer Adaption
用超网络根据任务描述生成 LoRA 适配器，研究适配器压缩和未见任务的适配。
arXiv 首次提交 2025-06-06 · ICML 2025
神经程序与可复用函数
Program-as-Weights: A Programming Paradigm for Fuzzy Functions
提出模糊函数编程：将自然语言函数说明编译成神经程序，保存后由小模型在本地反复执行。
arXiv 首次提交 2026-07-02 · NeurIPS 2026 (accepted)
神经程序与可复用函数