商汤SenseMedia:用AI让机器读懂世界
- 来源:商汤科技
- 2020/10/16 14:20:2731971
【安防展览网 品牌专栏】9月5日,国家广播电视总局广播电视科学研究院(广科院)、商汤科技、成都索贝数码、科大讯飞等五大人工智能技术单位在中国服务贸易交易会(简称服贸会)上正式开启战略合作,加速推动人工智能技术在广电行业的落地。
仪式当天,国家广播电视总局科技司副司长、一级巡视员孙苏川,北京市广播电视局党组书记、局长杨烁莅临现场,与国家广播电视总局广播电视科学研究院总工程师解伟,商汤科技新兴创新事业群总裁柳钢,成都索贝数码科技股份有限公司CTO王炜,科大讯飞股份有限公司消费者BG副总裁、听见科技总经理王玮等共同出席启动仪式。
与此同时,商汤科技近期推出SenseMedia图像视频内容解析平台,依托商汤的人脸识别、图像识别、行为识别、OCR、视频结构化解析及语义理解等多维AI技术,实现对图像视频内容多模态智能解析,协助媒资处理、节目制作,便于快速生产、审阅、发布短视频。
在2020中国服务贸易交易会上,商汤科技展出了SenseMedia智慧媒资能力平台、人物视频翻库引擎、VideoSearch视频搜索剪辑平台,以及SenseSpring深泉智能模型生产平台、SenseAR数字人,深受观众好评。
人工智能+广电,携手助推5G高新视频
人工智能作为新一轮科技革命和产业变革的重要驱动力量,已经成为“新基建”关键内核,并广泛应用于广电行业的采集、制作、汇聚、发布、传播、接收等各个环节。但总体而言,人工智能技术在广电行业的推进仍处于起步阶段,存在专有核心算法欠缺、相关人才匮乏、技术与业务场景对接较为初级等问题。
为加速“人工智能+广电”的深度融合,相关企事业单位决定加强战略合作,共同加强对人工智能技术的研究,推动广电产业链转型升级,打造广电行业人工智能应用规范。国家广播电视总局科技司副司长、一级巡视员孙苏川说:“高新视频有别于传统视频制播、频道概念,它是一套端到端、涵盖云网端的全新的系统,而人工智能技术是高新视频的关键内核之一。希望人工智能先进技术的头部企事业单位,积极参与总局科技司牵头指导的高新视频创新与应用工作组,为我们协调、打通高新视频产业链,建言献策。” 商汤科技新兴创新事业群总裁柳钢表示:“随着5G、4K/8K技术的普及,人工智能与广电行业结合是大势所趋,并将助力整个产业链转型和升级。商汤的智能视觉技术不仅在产业中广泛应用,也被授予“智能视觉国家新一代人工智能开放创新平台”,我们将与合作伙伴继续深入合作,加速推动人工智能技术在广电行业的落地,为我国广电产业及人工智能技术发展作出贡献。”
商汤SenseMedia,用AI让机器读懂世界
SenseMedia拥有强大的视图结构化解析能力引擎,不仅可实现海量非结构化视频图像中特定人物、场景、物体、景别等信息素材提取,还能对视频图像内容进行智能解析,提供智能视频标签、素材快速检索、视频理解等场景赋能。SenseMedia产品架构体系可分为三层:AI算法层、业务逻辑层和服务场景层。
基于全流水线深度学习算法,它拥有“魔法棒”一般的强大功能,且简单易用。例如,SenseMedia通过AI视觉技术自动识别和精准分析内容中特定人物及目标元素,提取出智能视频标签,可以辅助素材快速检索。如果视频画质差怎么办?不用担心,SenseMedia融合了商汤超分辨率技术,通过综合运用AI智能影像增强、分辨率放大、纹理修复、噪点去除、色彩校正等技术手段,高效去除压缩及传输带来的画质问题。
强大的媒资管理,助力广电传媒转型升级
依托商汤自研深度学习训练框架SenseParrots和强大的AI计算平台支撑,SenseMedia还打造了强大的媒体资产管理系统。一方面可实现多维度AI视觉结构化解析标签,对特定人物、表情、动作、景别、物体、事件、场景等各类视频标签片段精准搜索和编辑。目前已累积了上千类强实用性的通用标签。另一方面,SenseMedia平台还提供包括人物视频翻库、历史媒资翻查等媒资管理功能,可实现在*视频库、亿级人脸特征库中以秒级时间返回涉及某人物的所有视频片段,快速完成翻库。
值得一提的是,SenseMedia对于一般的新闻、娱乐视频,系统处理还支持超高并发,可以在并行处理多条视频的情况下实现整体10倍速的视频分析速度。商汤已在广电传媒领域深耕多年,2019年12月,商汤就与中央广播电视总台“超高清视音频制播呈现国家重点实验室”签署合作协议,共同加速探索人工智能在媒体生产、传播、服务中的创新应用,推动 “5G+4K/8K+AI”智能化全媒体发展。随着5G、AI等技术的逐渐成熟,媒体数字化转型势在必行,内容生产与传播方式也在发生变化。未来,人工智能将不断深入到传媒内容的生产、传播、消费和服务等全部流程,成为传媒产业底层的“新基建”。