去中心化 LLM 托管平台，加密领域最酷的实验之一。

原文标题：A short report on Bittensor and AI

原文来源：Substack

原文作者：Knower

编译：Luffy

朋友们，好久不见了。我希望你们所有人都能享受到加密货币领域最近一些积极的价格走势。为了获得丰厚的回报，我决定编写一份关于人工智能加密项目 Bittensor 的正式报告。我不是加密货币方面的专家，所以你可能会认为我对人工智能不太熟悉。然而实际上，我在加密货币之外花费了大量空闲时间进行人工智能研究，并且在过去 3-4 个月中一直在熟悉人工智能领域的重要更新、进步和现有基础设施。

尽管有一些措辞并不准确且缺乏分析性的推文，但我还是要澄清事实。阅读完本文内容后，你对 Bittensor 的了解将远远超过预期。这是一份篇幅有点长的报告，我并不是故意堆砌词句，这很大程度上是因为大量的图片和截图。 请不要将文章输入 ChatGPT 来获取摘要，我在这些内容上投入了大量时间，你无法以这种方式了解整个故事。

当我撰写这份报告时，一位朋友（他恰好是一个 Crypto Twitter KOL）告诉我，「人工智能 + 加密货币 = 金融的未来」 。在你阅读本文时，请时刻牢记这一点。

人工智能是加密技术开始统治世界的最后一块拼图，还是只是实现我们目标的一小步？答案要靠你自己去寻找，我只是提供一些值得深思的东西。

背景信息

用 Bittensor 的话说，Bittensor 本质上是一种用于编写众多去中心化商品市场或位于统一代币系统下的「子网络」的语言，其目标是将数字市场力量引导到社会最重要的数字商品——人工智能。

Bittensor 的使命是建立一个去中心化网络，通过独特的激励机制和先进的子网络架构，能够与以前「只有像 OpenAI 这样的巨头公司才能实现的」模型相竞争。最好将 Bittensor 想象成一个由互操作部件组成的完整系统，一台借助区块链构建的机器，以更好地促进人工智能功能在链上的普及。

管理 Bittensor 网络有两个关键参与者，他们是矿工和验证者。矿工是向网络提交预先训练的模型以换取奖励份额的个人。验证器负责确认这些模型输出的有效性和准确性，并选择最准确的输出返回给用户。例如，Bittensor 用户请求 AI 聊天机器人回答涉及衍生品或历史事实的简单问题，无论当前在 Bittensor 网络中运行多少个节点，这个问题都会得到回答。

用户与 Bittensor 网络交互的步骤简单描述如下：用户向验证器发送查询，验证器将其传播给矿工，然后验证器将矿工输出进行排名，排名最高的矿工输出将被发送回给用户。

这一切都非常简单。

通过激励，模型通常提供最佳输出，Bittensor 创建了一个积极的反馈循环，矿工之间相互竞争，引入更精细、更准确和更高性能的模型，以获取更大份额的 TAO（Bittensor 生态代币）并促进更积极的用户体验。

要成为验证者，用户必须成为 TAO 的前 64 位持有者之一，并在 Bittensor 的任何子网络（提供访问各种形式人工智能的独立经济市场）上注册了 UID。例如，子网 1 专注于通过文本提示进行标记预测，子网 5 则专注于图像生成。这两个子网可能使用不同的模型，因为它们的任务截然不同，并且可能需要不同的参数、精度以及其他特定功能。

Bittensor 架构的另一个关键方面是 Yuma Consensus 机制，类似于在整个子网网络中分配 Bittensor 可用资源的 CPU。 Yuma 被描述为 PoW 和 PoS 的混合体，具有在链下传输和促进情报的附加功能。虽然 Yuma 支撑着 Bittensor 的大部分网络，但子网络可以选择加入或不依赖 Yuma 共识。具体细节复杂而模糊，而且有各种各样的子网和相应的 Github，所以如果你只想大致了解的话，知道 Yuma 共识的自上而下的方法就可以了。

但是模型呢？

与普遍看法相反，Bittensor 并不自己训练模型。这是一个极其昂贵的过程，只有较大的人工智能实验室或研究组织才能负担得起，并且可能需要很长时间。我试图对 Bittensor 中是否包含模型训练做出绝对回答，但我唯一的发现并不是结论性的。

去中心化训练机制有点拗口，但其实也不难理解。 Bittensor 验证器的任务是「在 Falcon Refined Web 6T 代币未标记数据集上进行评估矿工生成的模型的连续游戏」，以根据两个标准（时间戳和相对于其他模型的损失）对每个矿工进行评分。损失函数是一个机器学习术语，用于描述某种类型的模拟中预测值与实际值之间的差异，代表给定输入数据和模型输出的错误或不准确程度。

关于损失函数，这是我昨天从 Discord 中获取的 sn9（相关子网络）的最新表现，请记住，最低损失并不一定意味着平均损失：

「如果 Bittensor 本身不训练模型，它还能做什么吗？！」

事实上，大型语言模型（LLM）的「创建」过程分为三个关键阶段，分别是训练、 微调和情境学习（加入一点推理）。

在我们继续进行一些基本定义之前，先看一下 红杉资本 2023 年 6 月关于 LLM 报告，他们的调查结果为：「通常除了使用 LLM API 之外，15% 的公司从头开始或以开源库为基础构建了自定义语言模型。定制模型训练比几个月前显着增加。这需要自己的计算堆栈、模型中心、托管、训练框架、实验跟踪等，这些都来自 Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale 等深受喜爱的公司。」

从头开始构建模型是一项艰巨的任务，85% 的受访创始人和团队不愿意进行这项工作。当大多数初创公司和独立开发人员只想在外部应用程序或基于软件的服务中利用大语言模型时，自托管的、跟踪结果、创建或导入复杂的培训场景和各种其他任务的工作量就太大了。对于人工智能行业 99% 的人来说，创造出与 GPT-4 或 Llama 2 相媲美的东西是不可行的。

这就是为什么像 Hugging Face 这样的平台如此受欢迎，因为你可以在他们的网站下载已经过训练的模型，这个过程对于人工智能行业的人来说非常熟悉和常见。

微调更加困难，但适合那些希望提供特定利基领域的基于大语言模型的应用程序或服务的人。这可能是一家法律服务初创公司开发的聊天机器人，其模型根据各种律师特定的数据和示例进行了微调，或者是一家生物技术初创公司正在开发一个模型，该模型专门根据可能存在的生物技术相关信息进行了微调。

无论目的如何，微调都是为了进一步将个性或专业知识融入你的模型中，使其更适合和更准确地执行任务。虽然不可否认它很有用且更可定制，但每个人都认为它很困难，甚至 a16z 也这么认为：

尽管 Bittensor 实际上并未训练模型，但向网络提交自己模型的矿工声称以某种形式对模型进行微调，尽管这些信息不向公众公开（或至少很难验证）。矿工将其模型结构和功能保密以保护其竞争优势，尽管有些是可以访问的。

我们举一个简单的例子：如果你正在参加一项奖金为 100 万美元的竞赛，每个人都在竞争谁拥有表现最好的 LLM，如果你的所有竞争对手都在使用 GPT-2，你是否会透露你正在使用 GPT-4？虽然事实情况比这个例子所解释的要复杂，但也并没有多大区别。矿工根据其输出准确度获得奖励，这比微调模型较少或平均性能较差的模型的矿工具有优势。

我之前提到过情境学习，这可能是我将介绍的非 Bittensor 信息的最后一部分，但情境学习是一个广泛定义的过程，用于引导语言模型获得更理想的输出。推理是模型在评估输入时不断经历的过程，其训练结果可能会影响输出标记的准确性。虽然培训成本高昂，但只有在模型准备好达到团队在创建模型过程中指定的培训级别时才会进行培训。推理总是在发生，并且使用各种附加服务来促进推理过程。

Bittensor 现状

了解背景知识后，我将探讨有关 Bittensor 子网性能、当前功能以及未来计划的一些细节。说实话，很难找到关于这个主题的高质量文章。幸运的是，Bittensor 社区成员给我发了一些信息，但即便如此，形成意见也需要做很多工作。我潜伏在他们的 Discord 中寻找答案，在这个过程中我意识到我已经成为会员大约一个月了，但没有查看过任何频道（我从不使用 Discord，更多的是 Telegram 和 Slack）。

不管怎样，我决定看看 Bittensor 最初的愿景是什么，我在之前的报告中发现了以下内容：

我将在接下来的几段中介绍它，但可复合的理论并不成立。对这个主题的研究已经有了一些，之前的截图来自将 Bittensor 网络定义为稀疏混合模型（这一概念是一篇 2017 年研究论文提出的）的相同报告。

Bittensor 有很多子网络，足以让我觉得有必要在本报告中专门为它们准备整个一小节篇幅。不管你相信与否，尽管这些对于网络的实用性至关重要并支撑所有技术，但 Bittensor 的网站上没有专门的部分来介绍这些以及它们的运作方式。我甚至在 Twitter 上询问了一下，但似乎子网络的奥秘只有那些在 Discord 中闲逛几个小时并自行学习每个子网络操作的人才能了解。尽管摆在我面前的任务艰巨，我还是做一了些工作。

子网 1（通常缩写为 sn1）是 Bittensor 网络中最大的子网，负责文本生成服务。在 sn1 的前 10 名验证者中（我对其他子网使用相同的前 10 名排名），大约有 400 万个 TAO 质押，其次是 sn5（负责图像生成），它有大约 385 万个 TAO 质押。顺便说一下，所有这些数据都可以在 TaoStats 上找到。

多模态子网络 (sn4) 拥有约 340 万个 TAO，sn3（数据抓取）拥有约 340 万个 TAO，sn2（多模态）拥有约 370 万个 TAO。另一个最近增长迅速的子网络是 sn11，负责文本训练，与 sn1 的 TAO 质押数量相近。

就矿工和验证者活动而言，sn1 也是绝对领先者，拥有超过 40/128 名活跃验证者和 991/1024 名活跃矿工。 Sn11 实际上拥有所有子网中最多的矿工，有 2017/2048 个。下图描述了过去一个半月的子网注册成本：

目前注册一个子网的成本为 182.12 TAO，这个数字比 10 月份 7,800 TAO 的峰值显着下降，尽管我不完全确定这个数字是否准确。无论如何，随着超过 22 个注册子网络以及 Bittensor 日益受到关注，我们很可能会在适当的时候看到更多的子网络被注册。其中一些子网络似乎需要一段时间才能获得关注。

就其他子网络而言，sn9 是一个很酷的子网络，专门用于训练：

以下是对 Bittensor 抓取子网的说明：

子网络模型非常独特，是一种机器学习研究中称为专家混合（MoE）的常见技术的示例，在这个过程中，模型被分成多个部分并提供单独的标记，而不是被分配一整个任务。这对我来说很有趣，因为 Bittensor 不是一个统一的模型，实际上是一个模型网络，这些模型以半随机的方式进行查询。 BitAPI 就是此流程的一个示例，它是一种基于 sn1 构建的产品，可对入站用户查询的前 10 个矿工进行随机抽样。虽然任何给定子网络中可能有数十甚至数百名矿工，但表现最好的模型会获得更多奖励。

目前将多个模型组合或复合多个模型以增加或「堆叠」功能并不可行，这不是大语言模型的工作方式。我尝试与社区成员进行推理，但我认为重要的是要注意，就目前情况而言，Bittensor 不是一个统一模型集合的示例，只是具有不同功能的模型网络。

有些人将 Bittensor 与可访问 ML 模型的链上预言机进行了比较。 Bittensor 将区块链的核心逻辑与子网络的验证分开，在链外运行模型，以适应更多的数据和更高的计算成本，从而实现更强大的模型。你可能还记得，链上完成的唯一过程是推理。请参阅下面的内容了解 Bittensor 的解释：

我认为社区中的很多人都过于专注于试图让每个人相信 Bittensor 将改变世界，而实际上他们只是在努力改变人工智能和加密货币交互的方式方面取得了进展。他们不太可能将矿工上传模型的整个网络改造为一台极其智能的超级计算机——这不是机器学习的工作原理。即使是性能最好、成本最高的可用模型，距离实现通用人工智能 (AGI) 的定义还需要数年时间。

随着机器学习社区不断迭代和新功能的实现，AGI 的定义往往会有所不同，但基本思想是 AGI 能够完全像人类一样推理、思考和学习。其中的核心难题来自这样一个事实：科学家将人类归类为具有意识和自由意志的生物，而这在人类身上很难量化，更不用说强大的神经网络系统了。

就目前而言，子网络是分解与基于人工智能的应用程序相关的各种任务的独特方式，社区和团队有责任吸引希望利用 Bittensor 网络这些核心功能的构建者。

这里还值得补充的是，Bittensor 在加密货币之外的机器学习领域非常高效。 Opentensor 和 Cerebras 早在今年 7 月就发布了 BTLM-3b-8k 开源 LLM。从那时起，BTLM 在 Hugging Face 上的下载量已超过 16,000 次，并获得了非常积极的评价。

有人表示，由于 BTLM 的轻量级架构，BTLM-3b 在与 Mistral-7b 和 MPT-30b 相同的类别中排名靠前，成为「每个 VRAM 的最佳型号」。下面是来自同一条推文的图表，列出了模型及其数据可访问性分类，BTLM-3b 获得了不错的评分：

我在 Twitter 上说过 Bittensor 没有做任何事情来加速人工智能研究，所以我认为我在这里承认自己的错误是唯一正确的。此外，我听说 BTLM-3b 在某些情况下用于验证，因为它价格便宜且在大多数硬件上运行速度快。

TAO 的用途

别担心，我没有忘记代币。

Bittensor 大量借鉴了比特币的灵感，同时也借鉴了 OG 教科书的玩法，融入了非常相似的代币经济结构，即最多 2100 万个 TAO 和每 1050 万个区块减半的机制。截至撰写本文时，流通的 TAO 数量约为 560 万个，市值近 8 亿美元。 TAO 的分配被认为是极其公平的，这份 Bittensor 报告指出早期支持者没有收到任何代币，尽管很难验证真假，但我们相信我们的消息来源。

TAO 既是 Bittensor 网络的奖励代币，也是 Bittensor 网络的访问代币，TAO 持有者能够进行质押、参与治理或使用他们的 TAO 在 Bittensor 网络上构建应用程序。每 12 秒铸造 1 个 TAO，新铸造的代币将平均分配给矿工和验证者。

在我看来，TAO 的代币经济学很容易设想一个通过减半减少释放量导致矿工之间竞争加剧的世界，自然会产生更高质量的模型和更好的整体用户体验。然而，这里还存在一个问题，即较少的奖励会产生相反的效果，并且不会吸引激烈的竞争，而是会导致部署的模型或竞争的矿工数量停滞不前。

我可以继续谈论 TAO 的代币效用、价格前景和增长动力，但前面提到的报告在这方面做得相当好。大多数 Crypto Twitter 已经确定 Bittensor 和 TAO 背后有一个非常可靠的叙述，目前我增加的任何内容都无法进一步锦上添花。从外部角度来看，我想说这些都是相当合理的代币经济学，没有什么不寻常的。不过我还是应该提到，目前购买 TAO 非常困难，因为它尚未在大多数交易所上线。这种情况可能会在 1-2 个月内发生变化，如果币安不尽快上线 TAO，我会感到非常惊讶。

前景

我绝对是 Bittensor 的粉丝，并希望他们能够实现自己的大胆使命。正如该团队在 Bittensor Paradigm 文章中所说，比特币和以太坊是革命性的，因为它们实现了金融获取的民主化，并使完全无需许可的数字市场的理念成为现实。 Bittensor 也不例外，其目标是在庞大的智能网络中实现人工智能模型的民主化。尽管有我的支持，但很明显他们距离他们想要实现的目标还很远，这对于大多数用加密货币构建的项目来说都是如此。这是一场马拉松，而不是短跑。

如果 Bittensor 想要保持领先地位，他们需要继续推动矿工之间的友好竞争和创新，同时扩展稀疏混合模型架构、MoE 构想以及以去中心化方式复合智能的概念的可能性。独自完成所有这些工作已经够困难的了，将加密技术纳入其中会使其更具挑战性。

Bittensor 未来的道路还很漫长。尽管最近几周围绕 TAO 的讨论有所增加，但我认为大多数加密社区并没有完全意识到 Bittensor 当前的工作原理。有一些明显的问题没有简单的解决方案，其中一些是：a) 是否可以实现高质量大规模推理，b) 吸引用户的问题和 c）追求复合大语言模型的目标是否有意义。

不管你是否相信，支持去中心化货币的叙述实际上是一个相当大的挑战，尽管 ETF 的传言让这一切变得容易一些。

建立一个由智能的模型组成的去中心化网络，这些模型可以相互迭代和学习，听起来好得令人难以置信，部分原因是事实确实如此。在当前的背景窗口和大语言模型的限制下，不可能有一个模型能够一遍又一遍地自我改进，直到达到与 AGI 的程度，即使是最好的模型也仍然是有限的。尽管如此，我认为将 Bittensor 构建为一个具有新颖的经济激励和内置可组合性的去中心化 LLM 托管平台不仅仅是积极的，它实际上是目前加密领域最酷的实验之一。

将经济激励融入人工智能系统面临着挑战，Bittensor 表示，如果矿工或验证者试图以任何形式对系统进行博弈，他们将根据具体情况调整激励机制。以下是今年 6 月的示例，代币释放量减少了 90%：

这在区块链系统中是完全可以预料到的，所以我们不要假装比特币或以太坊在其整个生命周期中 100% 都是完美的。

对于局外人来说，加密货币的采用历来都是难以下咽的药丸，而人工智能也同样存在争议，甚至更具争议性。将两者结合起来会给任何人带来维持用户增长和活跃的挑战，这需要一些时间。如果 Bittensor 最终能够实现复合大语言模型的目标，这可能是一件意义非凡的事情。

(来源:比推)