2371540_zh-CN

[#1]

VLM Edge 工作室

VLM Edge 工作室

VLM Edge Studio 是恩智浦的一个启动器应用程序，用于与在 FRDM i.MX 平台上本地运行的、支持Ara240 DNPU 加速的 视觉语言模型进行交互。

VLM Edge Studio 提供了一个基于 Qt/QML 的图形用户界面，用于模型选择、提示输入以及与边缘本地运行的 VLM 进行可视化交互。它使用基于 REST 的接口和流令牌响应，通过eIQ AAF 连接器与Ara240 Runtime SDK通信。

 

主要功能

• 在支持的 i.MX 平台上进行本地视觉语言模型推理
• Ara240 DNPU 加速
• 基于图形用户界面的模型选择和提示输入
• 流式令牌输出
• 与 eIQ AAF 连接器和 Ara240 Runtime SDK 集成
• 支持使用 USB-C 高清摄像头进行基于摄像头的视觉输入

 

支持的机型

• Qwen2.5-VL-7B-Instruct-Ara240

该模型以兼容 Ara240 的model.dvm 文件形式提供，用于在目标平台上本地执行。

 

基本安装

确保 Ara240 运行时 SDK 已安装在目标板上后，复制 Debian 软件包：

scp vlm-edge-studio.deb root@:

用以下工具安装

dpkg -i vlm-edge-studio.deb

安装可能需要几分钟时间，因为在设置过程中需要提取模型。

 

运行 VLM Edge Studio

启动应用程序：

run_vlm_edge_studio

启动前，请确保 Ara240 运行服务正在运行：

systemctl status rt-sdk-ara2.service --no-pager -l

一旦图形用户界面出现，点击 "加载"（LOAD）即可加载模型。模型准备就绪后，输入提示并提交，即可与 i.MX 平台上的本地 VLM 进行交互。

 

演示视频

在随附的视频中，我展示了如何启动VLM Edge Studio、加载支持的视觉语言模型、提交提示以及如何使用Ara240 DNPU加速与本地运行的模型进行交互。

摘要

VLM Edge Studio 是在使用 Ara240 DNPU 加速的恩智浦 i.MX 平台上评估本地视觉语言模型推理的有用工具。它提供了一个简单的工作流程，可直接在边缘加载模型、输入提示和与视觉语言人工智能交互。

 

链接

• VLM Edge Studio 存储库

ARA2-M2-16G-GTARA240实践培训