AIRack人工智能一体机

建设背景

　　当前，随着人工智能浪潮地不断掀起，越来越多的用户会接触到AI技术的研发与使用，其中必然涉及大量AI模型（训练完成的算法模型，他人可调用输入后获得输出结果，类似程序中的算法模块）的生产部署。然而，每个不同的AI模型由于输入输出没有标准化的参考依据，定义不清只能依靠使用者的猜测与尝试，通常需要经过2-3天的调试和测试才能部署上线，而面向大量的AI模型时，在调试的同时还需要进行统一管理，其难度可想而知。

　　用户不论作为人工智能的技术设计者或是应用，都希望可以轻松调用第三方的AI模型，实现轻松对接与推理部署，进行高效的资源调度和模型管理，缩短业务上线周期。云创大数据AIRack人工智能一体机因此孕育而生，它主要由人工智能云平台和人工智能服务器两部分组成。

产品简介

　　人工智能云平台是云创大数据自主研发的人工智能部署云平台，针对视频等输入源，依托人工智能服务器和cVideo视频监控平台，面向深度学习场景，整合计算资源以及AI部署环境，实现计算资源统一分配调度、模型流程化快速部署，为AI部署构建敏捷高效的一体化云平台。通过平台定义的标准化输入输出接口，用户仅需几行代码就可以轻松完成AI模型部署，标准化输入获取输出结果，大大减少因为异构模型带来的部署和管理的困难。

　　人工智能平台支持TensorFlow、Caffe、PyTorch等主流框架的模型推理，同时内嵌多种已经训练好的模型可供调用。

人工智能云平台

　　人工智能云平台能够构建物理分散、逻辑集中的GPU资源池，实现资源池统一管理，通过自动化、可视化、动态化的方式，以资源即服务的交付模式，向用户提供服务，并实现平台智能化的运维。平台采用分布式架构设计，部署在云创大数据自主研发的人工智能服务器上，形成一体机集群共同对外提供服务，每个节点都可以提供相应的管理服务，任何单一节点故障都不会引起整个平台的管理中断，平台具备开放性的标准化接口。

人工智能云平台管理界面

　　人工智能云平台主要包括统一接入服务、TensorFlow推理服务、PyTorch推理服务、Caffe推理服务等模块。

人工智能云平台架构

　　1.模型快速部署上线

　　实现模型从开发环境到生产部署的快捷操作，省去繁杂的部署过程，模型部署从几天缩短到几分钟。

　　2.多种输入源支持

　　人工智能云平台内嵌cVideo视频监控云平台，支持GB/T28181协议、Onvif协议、RTSP、各大摄像头厂商SDK等多种视频源。

　　3.分布式架构，服务资源统一、高效分配

　　分布式架构统一分配GPU资源，可根据模型的不同调整资源的配给，支持突发业务对资源快速扩展的需求，实现资源的弹性伸缩。

平台功能

　　1.模型部署

　　（1）模型弹性部署

　　网页直接上传模型文件，一键发布模型，同一模型下有不同版本的模型文件，看实现推理服务的在线升级、弹性QPS扩容。

　　（2）加速执行推理任务

　　人工智能云平台通过自研的cDeep-Serving，不仅同时支持PyTorch、Caffe，推理性能更是TF Serving的2倍以上。

　　2.可视化运维

　　（1）模型管理

　　每个用户都有专属的模型空间，同一模型可以有不同的版本，用户可以随意升级、切换，根据QPS的需求弹性的增加推理节点，方便用户同时调用。

　　（2）设备管理

　　提供丰富的Web可视化图形界面，可直观展示服务器（GPU、CPU、内存、硬盘、网络等）的实时状态。

　　（3）智能预警

　　在设备运行中密切关注设备运行状态的各种数据，智能分析设备的运行趋势，及时发现并预警设备可能出现的故障问题，提醒管理人员及时排查维护，将故障排除在发生之前，避免突然出现故障导致宕机，保证系统能够连续、稳定提供服务。

　　3.人工智能应用软件

　　人工智能云平台内置多种已经训练好的模型文件，提供REST接口调用，方便用户直接实时推理的需求。

　　提供多种深度学习算法模型：

　　（1）人脸识别

　　（2）车牌识别

　　（3）人脸关键点检测

　　（4）火焰识别

　　（5）人体检测

　　以上软件资源用户可一键启动，通过网页或REST 接口调用，助力用户轻松进行深度学习的推理工作。