大数据人工智能\n实验平台

平台简介

　　大数据人工智能实验平台，是面向希望同时开展大数据和人工智能专业教学的院校，而准备的一套软硬件一体化实验平台。高性能的硬件提供可靠的实验环境，丰富的课程软件保障了实践教学需求，用户通过该平台，可便捷地调用所有资源。学校可以利用该平台提供的实验手册和软硬件环境，实现大数据人工智能实验课程的日常教学、考试、科研等需求。

平台架构

　　大数据人工智能实验平台采用Docker+KVM虚拟化技术，通过少量硬件服务器虚拟出大量的实验机器环境，将CPU和GPU资源虚拟化后进行合理分配。可供学生同时拥有多套集群进行基础实验，包括Hadoop、Spark、Python语言、R语言、Caffe、TensorFlow等相关实验集群，可同时为每个学生提供多套集群进行实验，即搭建了一个可供大量学生完成各自大数据人工智能实验的集成环境。平台提供了四种主流的深度学习框架镜像——Caffe、Tensorflow、Keras和Pytorch，镜像中安装了深度学习GPU开发的底层驱动、加速库和深度学习框架，可以通过Docker+KVM虚拟化一键创建实验环境。若用户需要使用其他技术框架，可在已生成环境的基础上安装使用其他深度学习框架。

平台特性

　　● GPU资源共享

　　采用CPU和GPU并行架构，基于两者的虚拟化技术，可以做到“一卡多人”使用，节约了硬件资源，保证了深度学习模型训练所需充足算力的灵活配置。

　　● 开箱即用的环境

　　预装主流的大数据、深度学习软件Hadoop、Spark、Kafka、Storm、Hive、HBase、Zookeeper、Caffe、TensorFlow、Keras、PyTorch等框架，用户可以开箱即用，无需反复的安装操作，即可满足大部分大数据、深度学习实验教学和自主学习的需要。每个用户创建的环境自主独立，互不影响。即使操作不当，环境崩溃，也可销毁重建，恢复初始环境。

　　● 完整的课程体系

　　大数据人工智能实验平台是集实验机器、理论教材、实验手册、视频数据以及师资培训于一体的产品。解决如何开设大数据、人工智能实验课程、需要做什么实验、怎么完成实验等一系列问题，提供完整的大数据、人工智能教学体系及配套资源，包含：大数据和人工智能系列课程、课程教材、教学PPT、课程视频、实验环境、实验手册、实验数据、师资培训等内容。

　　● 科研环境数据

　　提供多种多样的科研环境和训练数据资源，包括科研所需要的人脸数据、交通数据、环保数据、传感器数据、图片数据等。

　　● 大数据人工智能教材

　　大数据人工智能系列教材，由清华大学博士、中国大数据应用联盟人工智能专家委员会主任、中国信息协会教育分会人工智能教育专家委员会主任刘鹏教授主编，由电子工业出版社、清华大学出版社正式出版发行，在京东、当当等平台发售，被国内多所高校采用作为大数据、人工智能相关专业教材使用。

　　● 丰富的实验内容

　　拥有丰富的大数据与人工智能实验，涵盖原理验证、综合应用、自主设计及创新的多层次实验内容，每个实验在线提供详细的实验目的、实验内容、实验原理和实验流程指导，配套相应的实验数据，参照实验手册即可轻松完成每个实验，帮助用户解决大数据实验入门门槛限制。

　　Linux系统实验：基本命令、压缩与解压、软件安装与环境变量设置、文件操作、训练模型常用命令、sed命令等。

　　Python语言编程实验：流程控制、列表和元组、文件操作、正则表达式、字符串、字典等。

　　R语言编程实验：流程控制、文件操作、数据帧、因子操作、函数、线性回归等。

　　大数据处理技术实验：HDFS实验、YARN实验、MapReduce实验、Hive实验、Spark实验、Zookeeper实验、HBase实验、Storm实验等。

　　数据采集实验：网络爬虫原理、爬虫之协程异步、网络爬虫的多进程采集、爬取豆瓣电影信息、爬取豆瓣图书Top250、爬取信息等。

　　数据清洗实验：Excel数据清洗常用函数、Excel数据分裂、Excel快速定位和填充、住房数据清洗、银华基金数据清洗实例、客户签到数据的清洗转换、数据脱敏等。

　　数据标注实验：标注工具的安装与基础操作、车牌夜晚环境标框标注、车牌日常环境标框标注、不完整车牌标框标注、行人标框标注、物品分类标注等。

　　数据分析及可视化实验：JupyterNotebook、Pandas、NumPy、Matplotlib、Scipy、Seaborn、Statsmodel等。

　　数据挖掘实验：决策树分类、随机森林分类、朴素贝叶斯分类、支持向量机分类、K-means聚类等。

　　金融大数据实验：数据抓取、数据分析、时间序列分析、金融风险管理、预测走势、中美实时货币转换等。

　　电商大数据实验：航空公司客户价值分析、基于基站定位数据的商圈分析、员工离职预测、数据分析、电商产品评论数据情感分析、电商打折套路解析等。

　　数理统计实验：高级数据管理、基本统计分析、回归、方差分析、功效分析、中级绘图等。

　　Caffe程序设计实验：Caffe基础、LeNet手写数字识别、MNIST手写数字识别、Python调用训练好的模型实现分类、AlexNet图像分类、Net图像分类、ImageNet图像分类、VGGNet人脸识别、DeepID人脸验证等。

　　TensorFlow程序设计实验：TensorFlow基础、BP手写数字识别、MNIST手写数字识别、单层感知机实现、多层感知机实现、玻尔兹曼机编解码、LeNet手写数字识别、MNIST手写数字识别、AlexNet图像分类、CIFAR-10图像分类等。

　　Keras程序设计实验：Keras基础、学习率衰减、模型增量更新、模型评估、模型训练可视化、图像增强、CNN手写数字识别、MNIST手写数字识别等。

　　PyTorch程序设计实验：PyTorch基础、回归模型、世界人口线性回归、经网络实现自动编码器、RNN手写数字识别、MNIST手写数字识别等。

　　机器学习实验：OpenCV、Numpy、Matplotlib、Pandas、Scipy、PyTesseract的OCR文字识别等。

　　深度学习图像处理实验：MLP的FashionMNIST衣物分类、CNN的CIFAR10图像分类、CNN的花朵图像分类、AlexNet口罩识别、YOLOv3安全背心检测、U-Net医疗图像语义分割等。

　　深度学习自然语言处理实验：jieba句子分词、jieba中文词性标注、jieba中文分词技术、NLP之Word2vec、Word2vec实现词的向量表示、text8实现词的向量表示、利用中文维基百科数据训练词向量模型等。

　　深度学习拓展实验：CapsNet图像分类、Fashion-MNIST图像分类、Bi-LSTM图像分类、涂鸦数据集的图像分类、CNN绘画风格迁移、Pix2Pix图像翻译、Facades图像翻译、改进版Encoder-Decode结构的图像描述、CycleGAN风格变换等。

成功案例

　　西华大学、华侨大学、河南教育学院、重庆工程学院等。