集微网消息，日前英伟达宣布，对适用于边缘AI和机器人的NVIDIA Jetson平台上的两个框架进行大规模扩展。NVIDIAIsaacROS机器人框架已全面上市，NVIDIA Metropolis在Jetson平台上的扩展也即将推出。

为加速边缘AI应用的开发和部署，NVIDIA还创建了一个Jetson生成式AI实验室，以供开发者利用最新的开源生成式AI模型进行开发。

目前，已有超过120万名开发者和1万多家客户选择了NVIDIA AI和Jetson平台，包括亚马逊云科技（AWS）、思科、约翰迪尔、美敦力、百事、西门子等。

随着AI领域的快速发展，其应用场景日益变得复杂，开发者在构建边缘AI应用时也面临着开发周期延长的挑战。为了实时满足客户不断变化的环境、生产线和自动化需求，需要反复对机器人和AI系统进行编程，这不仅非常耗时，还要求开发者具备足够的专业技能。

生成式AI所具有的“零样本学习”能力（即模型能够识别训练中从未见过的特定事物）和自然语言界面能够简化边缘AI的开发、部署与管理。

推动AI领域的变革

生成式AI通过理解人类的语言提示，对模型进行更改，从而极大地提高了易用性。这些AI模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，并借此超越了基于卷积神经网络（CNN）的传统模型。

据ABI Research预测，到2033年，生成式AI将为全球制造业务增收105亿美元。

NVIDIA嵌入式和边缘计算副总裁Deepu Talla表示：“生成式AI具有前所未有的泛用性、易用性和精确性，这将显著加快边缘AI的部署。我们在Jetson平台上对Metropolis和Isaac框架进行了有史以来规模最大的软件扩展，并结合Transformer模型与生成式AI的强大功能来满足这一需求。”

利用边缘生成式AI进行开发

NVIDIA Jetson生成式AI实验室为Jetson开发者提供经过优化的工具和教程，用以部署开源大语言模型（LLM）、以交互方式生成惊艳图像的扩散模型、视觉语言模型（VLM）以及视觉Transformer（ViT）。其中，ViT结合了视觉AI和自然语言处理，可提供对场景的全面理解。

开发者还可以使用NVIDIA TAOToolkit，为边缘应用创建高效而精确的AI模型。TAO提供了一个用于微调和优化ViT、视觉基础模型等视觉AI模型的低代码接口。此外，还可以定制并微调NVIDIA NV-DINOv2等基础模型或Open CLIP等公共模型，用很少的数据创建高度精确的视觉AI模型。现在，TAO还推出了一个基于Transformer的新型缺陷检测模型——Visual ChangeNet。

充分运用全新的Metropolis和Isaac框架

NVIDIA Metropolis能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉AI解决方案，以改善至关重要的运营效率和安全问题。该平台提供了一系列功能强大的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用。

包括宝马集团、百事、克罗格、泰森食品、印孚瑟斯和西门子在内的1,000多家公司正在使用NVIDIA Metropolis开发者工具，通过视觉AI来解决物联网（IoT）、传感器处理和运营方面的难题。NVIDIA Metropolis开发者工具的采用速度日益加快，目前已被希望构建视觉AI应用的用户下载了100多万次。

为了帮助开发者快速构建和部署可扩展的视觉AI应用程序，NVIDIA Jetson平台上的Metropolis API和微服务扩展集将在年底前推出。

数百家客户使用NVIDIA Isaac平台，在农业、仓储自动化、最后一公里配送、服务机器人等多个领域开发了高性能机器人解决方案。

在ROSCon2023上，NVIDIA宣布推出IsaacROS和IsaacSim软件的全新版本，对感知和模拟功能进行了重大改进。基于常用的开源机器人操作系统（ROS）的IsaacROS，为自动化带来了感知能力，让移动的物体有了“眼睛”和“耳朵”。借助GPU加速的GEM所拥有的强大功能（包括视觉里程测量、深度知觉、3D场景重建、定位和规划等），机器人开发者就拥有了为不同应用快速定制机器人解决方案所需要各种的工具。

随着IsaacROS2.0最新版本的发布，IsaacROS已达到生产就绪状态，能够帮助开发者使用Jetson平台创建并推出高性能机器人解决方案。

开源机器人基金会首席技术官Geoff Biggs表示：“ROS在不断发展进化，并为整个机器人社区提供开源软件。NVIDIA此次版本中全新预构建的ROS2软件包将助力广大NVIDIA Jetson开发者社区随时使用ROS2，从而加速这一发展。”

提供新的AI工作流参考

为开发生产级AI解决方案，需要开发和训练针对特定用例定制的AI模型，在平台上实现强大的安全功能，编排应用，管理机队，建立边缘到云的无缝通信等。

NVIDIA推出了一套基于Metropolis和Isaac框架的精选AI工作流参考，帮助开发者快速采用整个工作流或有选择性地集成独立的部分，从而大幅减少开发时间和成本。三个AI工作流包括：网络视频录制、自动光学检测和自主移动机器人。

Tirias Research首席分析师Jim McGregor表示：“NVIDIA Jetson凭借其广泛而多样化的用户群与合作伙伴生态，助推了边缘机器人和AI革命。随着应用需求的日益复杂化，我们需要从根本上转向能够简化和加速边缘部署创建的平台。NVIDIA的这一重要软件扩展为开发者带来了全新的多传感器模型和生成式AI功能。”

NVIDIA推出了一系列系统服务，为每个开发者提供在构建边缘AI解决方案时必不可少的基本功能，简化与工作流的集成，使他们不必再费时费力地从头开始构建这些服务。

全新NVIDIAJetPack6将于今年年底推出，AI开发者将无需全面升级Jetson Linux就能保持在计算领域的最前沿，从而大幅加快开发进度，不再依赖Jetson Linux。JetPack6还将通过与Linux发行版合作伙伴的合作，扩大基于Linux的发行版的选择范围，包括Canonical的优化及经过验证的Ubuntu、WindRiverLinux、并行实时Redhawk Linux以及各种基于Yocto的发行版。

合作伙伴生态系统受益于平台扩展

Jetson合作伙伴生态系统提供了从硬件、AI软件和应用设计服务到传感器、连接和开发者工具的广泛支持。这些创新的合作伙伴作为NVIDIA合作伙伴网络（NPN）中的一部分，是为市场上在售的众多产品提供构件和子系统的中坚力量。

最新版本通过采用更多具有更强性能与功能的AI技术，将助力Jetson合作伙伴加快产品上市并扩大客户群。

独立软件供应商合作伙伴也将能够为Jetson提供更多产品。

(来源：新浪科技)