FS_AIARMC 机械臂教学实验箱

机械臂教学实验箱由自研六关节机械臂（含 STM32M4 主控）、双目深度相机（搭载于机械臂）、10.1寸高清显示屏、嵌入式 AI 运算单元、RFID 射频模块、AIoT 无线传感单元、传感器单元等组成。采用机械臂控制技术为核心，融合人工智能（机器学习、深度学习、计算机视觉、大模型）+ 嵌入式 Linux 技术+ 物联网技术 + 边缘 AI 推理技术的一体化架构，同时满足 “机械臂 + 人工智能”“机械臂 + 嵌入式开发”“机械臂 + 物联网协同”“机械臂 + 强化学习” 的基础教学与科研需求。

同时配套设计了系统的 “机械臂全栈开发” 课程体系，涵盖机械臂运动学、机械臂控制算法、机械臂与视觉融合、机械臂与 AI 大模型联动等核心内容；并开发了机械臂正逆解实践、机械臂轨迹规划、机械臂视觉引导抓取、机械臂 + RFID 智能仓储等相关理论及应用实验，还设计了机械臂货物分拣、AI 语音控制机械臂、机械臂 + 大模型智能抓取、基于强化学习的机械臂自主操作等多个创新教学项目，实现从机械臂基础原理到高阶应用的完整学习链路。

1.以机械臂为核心的模块化架构，灵活适配教学场景采用模块化设计，六关节机械臂可与双目相机、AI 运算单元、RFID 模块等组件独立运行或组合使用，可灵活配置为 “机械臂运动学实验箱”“机械臂 + AI 视觉实验箱”“机械臂强化学习实验箱” 等子平台；支持第三方传感器、执行器接入，满足 “机械臂基础控制”“机械臂智能升级” 等不同阶段的教学需求，一套设备可覆盖多门机械臂相关课程，提升设备利用率。同时可组合为人工智能教学实验箱、大模型实验箱、具身智能教学实验箱、强化学习实验箱等，满足不同学习需求。

2.机械臂源码级开放，支持深度开发教学，六关节机械臂采用全自主开发架构，STM32M4 主控源代码开放，同时配套完整的软件开发套件（SDK）与算法库；支持从 “机械臂底层舵机驱动” 到 “高阶 AI 控制算法” 的全链路开发教学，学生可自定义机械臂控制逻辑、优化抓取算法，避免 “黑箱操作”，深化对机械臂控制原理的理解。

3.多模态硬件协同，构建机械臂 “感知 - 决策 - 执行” 闭环围绕机械臂打造多模态协同系统：双目深度相机提供三维空间感知与物体定位，为机械臂提供视觉引导；嵌入式 AI 运算单元支持 YOLO 目标检测、强化学习等算法的实时推理，为机械臂提供决策支持；RFID 模块实现货物身份识别，配合机械臂完成 “标签读取 - 精准抓取 - 分类存放”；离在线 AI 语音交互模块支持语音指令控制机械臂动作，完整覆盖机械臂 “感知环境 - 计算决策 - 执行任务” 的工业级应用逻辑，适配真实机器人教学场景。

4.配套完整课程体系与案例资源，助力教学落地

平台不仅是一套硬件设备，更是一个完整的教学解决方案，提供从到进阶实践的系列课程资源，内置上百个典型实验案例，如目标检测、大模型交流、多模态对话、机械臂正逆解、机械臂轨迹规划等。真正做到“教、学、做”一体化，提升教学效率与学生参与度。

5.注重安全性与稳定性，适配多种应用场景

硬件结构坚固耐用，适用于教学实验室、创客空间、竞赛训练基地等多种环境。软件系统经过严格测试，支持长时间稳定运行，满足高强度实训与科研需求。稳定可靠，易于维护，真正实现“开箱即用，长期可用”。

6.高性能AI运算单元可切换

标配RockchipRK3588，其它的需增配，如RockchipRK3588、JetsonOrin、树莓派5、华为昇腾Atlas

1)多网络识别货物分拣、整理项目：

基于AI计算机视觉+机械臂控制为一体的仓库货物分拣、整理项目，基于TensorFlow、PyTorch、PaddlePaddle多种框架；bayes、SVM、逻辑回归、lenet-5、mobilenet、YOLO等网络通过深度学习神经网络算法识别仓库货物，在终端进行显示及控制，可以通过机械臂将货物进行仓库间的搬运，也可以将仓库内的货物进行整理归位，并且可以直接自己编写识别算法，无需修改界面与项目源码即可直接接入项目中，部署与验证自己算法准确性；

2)AI语音机械臂控制、货物分拣：

可以使用AI离线、AI在线两种方式语音识别+机械臂控制为一体的机械臂控制、货物分拣，用户可以通过语音发布指令控制机械臂执行动作，显示语音信号的处理过程与实时处理图；

3)AR仓库货物分拣

通过AR增强现实技术实现图像识别，创建与现实中物体相关联的虚拟模型，结合鼠标或者手指的动作来操控虚拟物体，进而机械臂也跟随虚拟物体的移动进行相应的动作，也可以通过UI的操作来直接控制机械臂的运动；

4)人脸识别一体机：

结合机械臂运动与移动式侦测摄像头实现人脸检测与识别，并与人脸库的人脸进行对比识别，实现不同人的识别，可查看、录入和删除人脸库人脸，并结合AIoT无线传感单元进行识别到正确的人开门操作；

5)基于YOLOV8的目标检测项目：

基于可移动的摄像头和机械臂YOLOV8算法实现仓库的目标检测，包括：动物识别、水果识别、蔬菜识别、车标识别、汉字识别、英文识别；

6)智能传感器与RFID传感项目：

基于物联网模块的拓扑图，可以显示物联网模块的传感器数据以及控制传感器状态，并且可视化历史数据，基于RFID模块的拓扑图，可以显示RFID卡中的数据；

7)基于YOLO的手势机械臂跟踪

基于双目摄像头拍摄的画面实现YOLO算法手势的检测，并结合PID算法实现6关节度机械臂对手部的三维跟踪，使得手部一直在摄像头的中心；

8)基于实例分割的分割界面案例：

基于分割算法，实现对实验箱摄像头数据的实时实例分割与显示；

9)基于人体骨骼检测的界面案例：

基于人体骨骼检测算法，实现对实验箱摄像头数据的实时人体骨骼检测与显示；

10)机械臂轨迹可视化具身智能应用：

支持3D轨迹展示、DH/MDH参数配置、关节限位设置、轨迹曲线分析及多模式控制 （包括关节控制、动作组执行、逆解轨迹规划等）。界面直观，提供正视图、侧视图、俯视图及坐标信息显示，并支持一键应用、保存配置、恢复默认等功能，适用于教学、科研、工业自动化等多种场景，帮助用户高效完成机械臂运动控制与路径优化。

11)基于NPU的目标检测应用：

基于NPU的实现实时目标识别，基于Python的YOLO部署可以达到50帧/s以上。

12)基于NPU的车牌识别应用：

基于NPU的实现车牌识别，基于Python的YOLO部署可以达到30帧/s以上，基于C++的YOLO部署可以达到50帧/s以上。

13)基于NPU的mobilenet网络部署应用：

基于摄像头与NPU的mobilenet分类网络，基于Python的部署可以达到70帧/s以上。

14)基于NPU的resnet网络部署应用：

基于摄像头与NPU的实现resnet分类网络，基于Python的部署可以达到45帧/s以上。

15)基于NPU的RetinaFace人脸关键点检测应用：

基于摄像头与NPU的RetinaFace人脸与关键点检测，基于Python的部署可以达到29帧/s以上。

16)基于NPU的deeplabv3分割应用：

基于摄像头与NPU的deeplabv3分割网络，基于Python的部署可以达到15帧/s以上。

17)基于NPU的Whisper语音识别应用：

基于NPU的Whisper，在设备上实现语音的录制，并使用本地的Whisper模型进行识别，RTF小于0.3。

18)DeepSeek大模型应用：

将大语言模型部署到高性能边缘计算芯片RK3588 上，实现本地化推理与应用。通过结合硬件加速和软件优化，该项目为提供了一套完整的解决方案，可实现Flask、gradio等方式的部署。

19)多模态大模型应用

将大语言模型部署到高性能边缘计算芯片RK3588 上，可实现纯文本对话，多模态对话等。

20)多模态大模型智能助手应用：

基于大模型的离线语音唤醒、语音识别、语音合成实现大模型的连续对话，并结合摄像头和视觉多模态大模型将摄像头看见的进行描述，并结合Agent实现设备传感器状态获取与控制。