2371538_zh-CN

[#1]

LLM Edge 工作室

LLM Edge 工作室

在本篇文章中，我将与大家分享LLM Edge Studio 的快速演示。LLM Edge Studio 是一款恩智浦启动器应用程序，用于测试在 i.MX 平台上本地运行的、支持Ara240 DNPU 加速的大型语言模型。

LLM Edge Studio 提供了一个简单的图形用户界面，用于选择模型、加载模型、输入提示以及直接在边缘与 LLM 交互。它通过eIQ AAF 连接器与Ara240 Runtime SDK通信，使用基于 REST 的接口进行提示提交和令牌流响应。

 

主要功能

• 在支持的 i.MX 平台上进行本地 LLM 推断
• Ara240 DNPU 加速
• 基于图形用户界面的模型选择和提示输入
• 流式令牌输出
• 与 eIQ AAF 连接器和 Ara240 Runtime SDK 集成
• 支持预建的 Debian 软件包安装或从源代码构建

 

支持的机型

• Qwen2.5-coder-1.5B
• Qwen2.5-7B-Instruct

这些模型以兼容 Ara240 的model.dvm 文件提供，用于在目标平台上本地执行。

 

基本安装

确保 Ara240 运行时 SDK 已安装在目标板上后，复制 Debian 软件包：

scp llm-edge-studio.deb root@:

用以下工具安装

dpkg -i llm-edge-studio.deb

安装可能需要几分钟时间，因为所需的模型会在安装过程中下载。

 

运行 LLM Edge Studio

启动应用程序：

run_llm_edge_studio

启动前，请确保 Ara240 运行服务正在运行：

systemctl status rt-sdk-ara2.service --no-pager -l

一旦图形用户界面出现，点击 "加载"（LOAD）即可加载所选模型。模型准备就绪后，输入提示并提交，即可开始与 LLM 互动。

 

演示视频

在随附的视频中，我展示了如何启动LLM Edge Studio、加载支持的模型、提交提示以及查看在带有Ara240 DNPU加速的i.MX平台上本地运行的生成的响应。

 

摘要

LLM Edge Studio 是一款有用的工具，用于在使用 Ara240 DNPU 加速的恩智浦 i.MX 平台上快速评估本地 LLM 推断。它提供了一个简单的工作流程，可直接在边缘进行模型加载、及时测试和观察标记流。

链接

• LLM Edge Studio 存储库：
  https://github.com/nxp-imx-support/llm-edge-studio

ARA2-M2-16G-GTARA240实践培训