斯坦福和OpenAI提出meta-prompting,最强零样本prompting技术诞生了
-
论文标题:Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding -
论文地址:https://arxiv.org/abs/2401.12954 -
项目地址:https://github.com/suzgunmirac/meta-prompting
-
标准 prompting -
零样本思维链 prompting -
专家 prompting -
多人设 prompting
-
Game of 24:目标是使用四个给定数值(每个只能使用一次)构建一个结果为 24 的算术表达式。 -
三个 BIG-Bench Hard(BBH)任务:Geometric Shapes、MultiStep Arithmetic Two 和 Word Sorting;另外还有一个直接从 BIG-Bench 套件获取的推理任务 Checkmate-in-One。 -
Python Programming Puzzles(P3),即 Python 编程题,包含多个难度。 -
Multilingual Grade School Math,即多语言小学数学,这是 GSM8K 数据集的一个多语言版本,包含孟加拉语、日语和斯瓦希里语等语言。 -
Shakespearean Sonnet Writing,即莎士比亚式十四行诗写作,这是该团队创建的一个新任务,目标是写出按「ABAB CDCD EFEF GG」严格押韵的十四行诗,其中应一词不差地包含所提供的三个词。
-
Exact Match (EM),精确匹配 -
Soft Match (SM),软匹配 -
Functionally Correct (FC),功能正确性
(来源:机器之心)