FS_LMARM 大模型教学实训平台

本设备是一款深度融合大模型（LLM）、强化学习（RL）、具身智能（Embodied AI）、嵌入式AI与AIoT技术的高性能智能机器人教学平台。系统以RK3588异构多核处理器为核心，集成Ubuntu 20.04嵌入式操作系统与ROS机器人框架，构建面向“感知—决策—控制—交互”全链路的智能体训练实验室环境。

平台采用一体化实验箱设计，集成六自由度开源机械臂、双目深度相机、AIoT无线传感网络、RFID、离/在线语音识别单元等多模态感知模块，支持在边缘端实现大语言模型本地部署（如DeepSeek、Qwen）、视觉-语言多模态理解、语音对话智能体（ASR+LLM+TTS）、基于PPO算法的机械臂强化学习抓取等前沿AI任务。

软件层面覆盖Python基础、PyTorch深度学习、经典CV/NLP算法、STM32嵌入式开发、ROS运动规划、NPU模型加速部署等全栈课程体系，并提供从仿真（Mujoco/PyBullet）到实物（Sim-to-Real） 的完整强化学习训练闭环。通过20+综合项目（如多模态智能助手、AR分拣、大模型驱动机械臂控制等），学生可在真实具身系统中实践大模型代理（Agent）、环境交互策略优化、端到端智能决策等关键技术，全面掌握下一代人工智能系统的开发范式。

1)深度融合了人工智能核心技术，覆盖机器学习、深度学习、计算机视觉、语音技术、大模型、具身智能、强化学习、嵌入式、物联网等多个前沿领域。

2)高性能AI运算单元：搭载主流边缘计算芯片，支持本地大模型部署与推理。

3)实时控制芯片：满足机器人运动控制、传感器融合等高实时性需求。

4)双目深度相机：实现三维空间感知、物体识别与定位。

5)离在线AI语音交互模块：支持语音识别、语义理解与语音合成，适用于智能家居与人机交互场景。

6)RFID模块：具备非接触式身份识别与信息读写能力，为智能仓储和具身智能系统的闭环控制提供关键感知支持。

7)6关节机械臂：实现抓取、分拣、装配等任务，学习正逆解与强化学习，是具身智能研究的理想教学实验载体。

1)多网络识别货物分拣、整理项目：

基于AI计算机视觉+机械臂控制为一体的仓库货物分拣、整理项目，基于TensorFlow、PyTorch、PaddlePaddle多种框架；bayes、SVM、逻辑回归、lenet-5、mobilenet、YOLO等网络通过深度学习神经网络算法识别仓库货物，在终端进行显示及控制，可以通过机械臂将货物进行仓库间的搬运，也可以将仓库内的货物进行整理归位，并且可以直接自己编写识别算法，无需修改界面与项目源码即可直接接入项目中，部署与验证自己算法准确性；

2)AI语音机械臂控制、货物分拣：

可以使用AI离线、AI在线两种方式语音识别+机械臂控制为一体的机械臂控制、货物分拣，用户可以通过语音发布指令控制机械臂执行动作，显示语音信号的处理过程与实时处理图；

3)AR仓库货物分拣

通过AR增强现实技术实现图像识别，创建与现实中物体相关联的虚拟模型，结合鼠标或者手指的动作来操控虚拟物体，进而机械臂也跟随虚拟物体的移动进行相应的动作，也可以通过UI的操作来直接控制机械臂的运动；

4)人脸识别一体机：

结合机械臂运动与移动式侦测摄像头实现人脸检测与识别，并与人脸库的人脸进行对比识别，实现不同人的识别，可查看、录入和删除人脸库人脸，并结合AIoT无线传感单元进行识别到正确的人开门操作；

5)基于YOLOV8的目标检测项目：

基于可移动的摄像头和机械臂YOLOV8算法实现仓库的目标检测，包括：动物识别、水果识别、蔬菜识别、车标识别、汉字识别、英文识别；

6)智能传感器与RFID传感项目：

基于物联网模块的拓扑图，可以显示物联网模块的传感器数据以及控制传感器状态，并且可视化历史数据，基于RFID模块的拓扑图，可以显示RFID卡中的数据；

7)基于YOLO的手势机械臂跟踪

基于双目摄像头拍摄的画面实现YOLO算法手势的检测，并结合PID算法实现6关节度机械臂对手部的三维跟踪，使得手部一直在摄像头的中心；

8)基于实例分割的分割界面案例：

基于分割算法，实现对实验箱摄像头数据的实时实例分割与显示；

9)基于人体骨骼检测的界面案例：

基于人体骨骼检测算法，实现对实验箱摄像头数据的实时人体骨骼检测与显示；

10)机械臂轨迹可视化具身智能应用：

支持3D轨迹展示、DH/MDH参数配置、关节限位设置、轨迹曲线分析及多模式控制 （包括关节控制、动作组执行、逆解轨迹规划等）。界面直观，提供正视图、侧视图、俯视图及坐标信息显示，并支持一键应用、保存配置、恢复默认等功能，适用于教学、科研、工业自动化等多种场景，帮助用户高效完成机械臂运动控制与路径优化。

11)基于NPU的目标检测应用：

基于NPU的实现实时目标识别，基于Python的YOLO部署可以达到50帧/s以上。

12)基于NPU的车牌识别应用：

基于NPU的实现车牌识别，基于Python的YOLO部署可以达到30帧/s以上，基于C++的YOLO部署可以达到50帧/s以上。

13)基于NPU的mobilenet网络部署应用：

基于摄像头与NPU的mobilenet分类网络，基于Python的部署可以达到70帧/s以上。

14)基于NPU的resnet网络部署应用：

基于摄像头与NPU的实现resnet分类网络，基于Python的部署可以达到45帧/s以上。

15)基于NPU的RetinaFace人脸关键点检测应用：

基于摄像头与NPU的RetinaFace人脸与关键点检测，基于Python的部署可以达到29帧/s以上。

16)基于NPU的deeplabv3分割应用：

基于摄像头与NPU的deeplabv3分割网络，基于Python的部署可以达到15帧/s以上。

17)基于NPU的Whisper语音识别应用：

基于NPU的Whisper，在设备上实现语音的录制，并使用本地的Whisper模型进行识别，RTF小于0.3。

18)DeepSeek大模型应用：

将大语言模型部署到高性能边缘计算芯片RK3588 上，实现本地化推理与应用。通过结合硬件加速和软件优化，该项目为提供了一套完整的解决方案，可实现Flask、gradio等方式的部署。

19)多模态大模型应用

将大语言模型部署到高性能边缘计算芯片RK3588 上，可实现纯文本对话，多模态对话等。

20)多模态大模型智能助手应用：

基于大模型的离线语音唤醒、语音识别、语音合成实现大模型的连续对话，并结合摄像头和视觉多模态大模型将摄像头看见的进行描述，并结合Agent实现设备传感器状态获取与控制。