面向2030 影响数据存储产业的十大应用
- 来源:浪潮
- 2022/1/4 11:23:4534857
早在2020年1月,浪潮信息首席架构师叶毓睿曾经写过《2020:下一个十年,存储发展的趋势是什么》一文,从下往上的视角,谈到未来十年数据存储需要以更高效、更低成本的方式,围绕着数据从产生、存放、保护、优化、利用,直至成为资产的全生命周期,满足数据对存储提出的要求。文章还提出十个存储关键词,分别是:分布式存储、云存储、容器存储、全闪存、AI存储、区块链存储、边缘存储、生物存储或基因存储等等。
这次,我们从上往下,站在业务应用的角度,从各个行业、各个领域筛选正在或可能加速数据存储创新的十大应用,包括:数据仓库、运营商网络云、医学影像、传媒和影视、自动驾驶、智能制造,以及处在萌芽或起步阶段的区块链、图技术、生成式AI、元宇宙等等。
一、商用阶段
1. 金融:数据仓库、数据分析
IDC在《IDC FutureScape:金融行业与支付科技十大预测 -- 中国启示》中提出,到2025年,30%的处于第一梯队银行将基于云部署其数据仓库和数据分析业务。
实时有效的数据分析将为提供客户的规模化共情体验、提高机构运营效率、改善企业风险管理以及前所未有的安全和欺诈检测水平。而金融机构的数据孤岛现状,是实现所有这些能力的一大挑战。基于云的数据部署可以充分利用IT平台丰富的数据管理运营经验和专业知识。而行业用户则可以专注提升数据及数据分析使用者的技能提升,最大程度发挥数据价值。
以交通银行为例,创始于1908年的交通银行,不仅是中国历史最悠久的国有大型商业银行之一,更是数字化、智慧型银行建设的先行者。交通银行坚持“数据驱动发展”战略,通过全量采集、智能处理,将业务数据转化成可以被记录、存储和使用的数据资产,同时推动数据业务化,用数字化思维创新产品设计、重构业务流程。随着数据实时存储、处理需求提升,交通银行基于浪潮集中式存储,加速构建“安全可靠、高效经济”的金融数据存储平台。
2. 通信:网络云
什么是NFV网络云呢?网络云由硬件层、虚拟层和虚拟网元三层以及NFV管理和编排系统组成。从硬件维度看,可以把网络云想象为由一台台计算、存储、网络等物理设备围成的“数据湖”,上面高速运行着来自上层网元及相关业务的数据流,给亿万用户带去丰富、个性化的数据服务。举个例子,当我们上网购物的时候,购物网站数据会从电商平台出发,乘坐通信网络的“摆渡船”渡过网络云到达用户面前。
相比过去打电话、发短信、用彩铃的“老三样”,移动互联网的发展使得人们可以随时随地通过刷微博、看视频、微信沟通和娱乐、浏览网页、地图导航、网上购物、外卖订餐等,这些业务的海量数据都构建在大规模网络云资源池之上。当14亿中国人把衣食住行搬上移动互联网的同时,也给网络云资源池带来巨大挑战。
首先,用户需求动态变化。传统业务流量主要是端到端模式,较为稳定;而互联网流量易受热点内容牵引,数据流复杂多变:比如双十一购物狂潮,电商平台订单创建峰值达到58.3万笔/秒,要求通信网络提供高并发支持;又如优酷春节期间有超过23亿人次上网刷剧、抖音拜年短视频增长超10倍,需要通信网络能够灵活扩充带宽。面对用户动态多变的需求,通信网络需要具备快速洞察和响应用户需求的能力,提供高效、弹性、智能的数据服务。
其次,新技术带来性能刚需。一方面随着物联网技术不断发展,未来十年将有海量设备接入网络,“万物互连”在带来美好憧憬的同时,“机器生产数据”、“机器使用数据”发展新阶段也将带动网络连接数不断增加、数据规模快速扩大。另一方面,一些新业务,如4K/8K视频、虚拟现实游戏等,对网络吞吐量、丢包率、时延等性能指标有更严格的要求。
对此,运营商给出了解决之道:运营商抓住数字经济发展机遇,全力推进“新基建”、融合“新要素”、激发“新动能”,具体包括:夯实“大平台”数字底座,融合数据要素和技术要素助力“大数据”开发利用,通过通信技术与ABCDE(人工智能、区块链、云、大数据、边缘计算等新技术)、业务场景融合创新支撑数字化升级。运营商以智慧中台战略为指引,开展全域数据治理,以全量数据“进得来、管得住、看得见、用得好”为抓手,实现数据从资源向资产、资本转换。在技术方面,运营商推进架构转型,构建全网多中心分布式协同平台,通过“两层一中心”实现数据和管理的统一管控,提升数据储算效能,实现数据自由流动。目前,中国最大的运营商构建了6大区7大资源池,打造了高性能、高可靠、高扩展的超大规模存储资源池,确保亿级用户畅享高速网络。
3. 生物医学:精准医疗、影像云、脑成像
“医疗的背后,是对生命的探索,是对人与自然关系的把握。”《深度医疗》的译者后记中这样写道。
精准医学也被称为“数字医学”,是一个建立在了解个体基因、环境和生活方式基础上的新型疾病治疗和预防方法。它是以个体化医疗为基础,随着基因组测序、生物信息与大数据、云计算等前沿科技的交叉应用而发展起来的新型医学概念与医疗方式。“只有数字化才能成为真正的资源。”本科学计算机,博士攻读医学专业的高峰更深谙数字驱动现代医疗的意义。
比如,医疗影像云。一位肺炎患者的二维CT影像大概在300张左右,做一次三维CT检测则会产生数千幅原始小文件。据此计算,患者拍一次10mm普通CT影像,产生的数据量会在10至32MB;一次1mm的高精度CT检测会有1000多张片子,数据量能达到10GB。
又如,肿瘤大数据。中山六院基于浪潮分布式存储平台构建了癌症数字化生命资源库。通过整合来自高通量检测手段的多组学数据和医疗信息系统中的结构化病历、数字病理、医学影像,实现现有临床资源数字化,做到“有数有据”;基于数字化的生物医学资源构建大数据图谱、开发医学人工智能实现数据知识化,提供辅助精准诊疗手段;通过“互联网+”医院将先进的AI辅助诊疗技术下沉到基层,提高医疗质量。大数据、人工智能技术在精准医学领域的应用,帮助肿瘤患者获得个性化治疗方案,全程数字化让这一切成为可能。
再如,脑科学是人类认知的终极疆域,对于提升人类认知水平、脑疾病诊治和人工智能技术发展具有十分重要的意义。由清华大学科研团队研制出新型超宽视场高分辨率实时显微成像仪器(Real-time Ultra-large-Scale imaging at High-resolution,以下简称RUSH)实现了重大突破,该仪器可实现1平方厘米宽视场、400纳米高分辨率、30帧/秒高帧率、每帧3.36亿像素高分辨率的多维多尺度连续成像能力,将活体动物脑神经观测数据通量由1000万像素/秒提升至100亿像素/秒(相当于20.16GB/s),每天需要处理1.7PB左右数据。这是世界上全球指标国际第一的光学显微镜,视场是同等分辨率下商用显微镜视场的120倍,数据通量是全球第二大高通量显微仪器2p-RAM显微镜的500多倍。
4. 传媒和影视:智能媒体和超高清影视
传媒,尤其是和AI结合的智能媒体,成为新数据时代的应用场景之一,以广电、短视频、直播、在线视频为代表的行业用户加速应用数字化新技术以应对挑战。IDC数据显示,2021年智能媒体解决方案市场规模约为7亿元人民币,预计该市场五年CAGR达46.3%。
技术进步提高了内容的生产、管理、匹配、加载、互动效率,媒体发展趋势主要集中在内容形式视频化、内容生产高速化,以及内容传播的交互性。内容生产和内容分发正在发生着本质的变化,媒体从业者面临学习使用工具以适应新环境的挑战。
在影视领域,以方特动漫3D动画制作为例,近年来以方特动漫为代表的中国动画制作不断摆脱过去模仿的老路,打造出属于中国原创的热门IP故事。据方特动漫介绍,《熊出没》系列发展到现在第七部,在视觉效果层面大体上经历了从懵懂期、高速发展期和成熟期三个阶段,《熊出没7》标志着《熊出没》系列电影进入到成熟期,其背后的相关技术都日臻成熟。以《熊出没7》为例,光角色就包括熊大、熊二、雄鹰、火烈鸟、摇滚狮子等387个,每个角色的塑造都是栩栩如生,像动物毛发单只最高超过上千万根,比肩自然界里真实动物的毛发数量。
5. 交通:自动驾驶、车路协同
据智研咨询数据,2020年全球自动驾驶市场规模超过60亿美元,2035年全球自动驾驶车辆预计超过5400万辆。麦肯锡报告则显示,中国自动驾驶规模将突破万亿美元,有潜力成为世界上最大的自动驾驶汽车市场,并将使中国自动驾驶汽车行业的流动性利润至少增加600亿美元。
车路协同基于云计算、大数据、人工智能、物联网以及新一代通信技术等新兴技术,通过“人-车-路-云”等交通要素的实时信息交互与协同运行。不仅能够提升道路交通安全性,提高交通运行效率,还可助力自动驾驶技术发展,已成为智能交通的重要组成部分。近年来,国家密集发布了多项政策,推动我国车路协同的发展。同时,各地印发的智能网联汽车发展规划及相关政策中,车路协同均被列为视为需突破和大力发展的核心技术。在此背景下,中国车路协同依托智能网联示范区建设与智慧高速建设,正逐步从测试验证走向成熟落地。
从功能实现视角,车路协同主要可以实现交通安全类、交通效率类以及信息服务类三大类的功能。在高速场景和城市道路场景中,车路协同具体实现的应用会有所不同。例如,效率提升类的应用在高速场景中主要包括自由流收费、货车编队驾驶、大交通流量高速公路的主动交通管控等,而在城市场景中则包括了车速引导、车辆编队引导、无信号灯协调通行等。
6. 制造:数字孪生驱动智能制造
什么是数字孪生?Gartner将数字孪生定义为一种旨在了解资产状态、及时应对变化、改善经营和增加价值的实体软件设计模式。目前,各行各业的企业机构都在采用数字孪生,其中制造领域尤为活跃,据Gartner预测,实施物联网的企业机构中有75%已经使用数字孪生或者计划在1年内使用该技术。比如英伟达(NVIDIA)公司在2021年4月新产品发布会上,使用数字孪生技术构建该公司CEO黄仁勋的虚拟人物。此后长达3个多月的时间中,没有人发现英伟达公司使用了虚拟人物进行视频演讲,这表明该公司的数字孪生技术已达到以假乱真的地步。英伟达公司透露,实现这一创举的Omniverse平台已经用于宝马公司的汽车生产线打造数字工厂,并助力爱立信构建数字孪生城市。2021年11月9日,在GTC 大会上,英伟达CEO 黄仁勋公布了一系列最新技术,从自动驾驶汽车到虚拟化身、再到机器人乃至地球气候建模(E-2);其中E-2 项目,即 Earth Two 地球二号,通过建立地球的数字孪生来模拟和预测气候变化。E-2能够在Omniverse中以数百万倍的速度运行Modulus创建的AI物理模型。
数字孪生在智能制造中的优势是显著的,工业界有一种“工业领域1%的革命”的说法,即全球工业生产效率提高1%,成本降低300亿。据Gartner称:“到2021年,一半的大型工业公司将使用数字孪生,从而使这些组织的有效性提高10%。”
数字孪生通过设计工具、仿真工具、物联网等手段,将物理设备的各种属性映射到虚拟空间中,形成一个可拆卸、可复制、可修改、可删除的数字图像,提高了操作者对物理实体的理解。这将使生产更加方便,也将缩短生产周期。当然,数字孪生通过对目标感知数据的实时了解,借助于对经验模型的预测和分析,通过机器学习可以计算和总结出一些不可测量的指标,也可以大大提高对机械设备和过程的理解、控制和预测。
因此,通过对物理空间和逻辑空间中的对象实现深刻的认识、正确的推理和精确的操作,数字孪生可以提高设计、运行、控制和管理的效率,还能提高教育和培训的效率,降低成本和潜在的风险。
中国研发的全数字样机与已经服役的飞机其实就是一种“数字孪生”。早在2000年,中国就创造性地使用了全飞机数字样机的设计制造技术,全机三维数模5万多个结构件、40多万个标准件。
华中科技大学通过数字孪生技术,实现校园的全景式、沉浸式、交互式管理,将物理世界的人、财、物与数字世界的信息充分贯通融合,在数字地图中不但可以查看校园的房屋、资产、门禁、交通、路灯、水电等常态信息数据,还可以实时查看教学和科研活动过程以及参与活动中的人员、设备、状态以及预测等信息。包括虚拟仿真应用在内数字孪生及其他核心业务,就运行在浪潮的中高端存储上。
在中国,随着数字化投资持续增长,制造业进入高质量发展阶段,高端化、智能化、绿色化成为制造业的发展趋势。
智能制造需要个性化、定制化程度高的数据基础设施,汇集不同物联网设备的数据以分析总体运行情况,支持新业务快速部署上线,满足企业生产管控、供应协同和看板管理等需求。
浪潮敏捷供应链获得哈佛商业评论2021“鼎革奖”。浪潮作为全球领先的算力基础设施提供商,基于JDM(联合设计开发,Joint Design Manufacture)模式,构建了敏捷柔性供应链体系,以数字化、智能化的手段,打通需求、研发、生产、交付全流程,整机设计、交付能力全球领先,开创了服务器供应链与生产制造从传统的大规模标准化到大规模定制化的全新时代,为云计算、人工智能时代下,B2B企业解决供应链转型挑战,提供了成功借鉴和示范效应。目前,浪潮服务器年产能提升4倍,生产效率提升30%以上,人力投入减少75%,TCO成本下降31%,交付周期缩短60%,创造了单日10000节点服务器的最高交付部署速度。
无论是数字孪生,还是其他智能制造技术,都将带来数据量的迅猛增长。尤其是数字孪生,因为需要通过物联网按照数分钟,甚至有不少场景需要近乎实时的同步数据,因此非结构化数据的存放需求可能带来十倍甚至百倍的提升;更需要注意的是,这些原始数据是零散的,相互之间看不出关联,需要有机的整理、组织,从而对虚拟模型建模,也即完成从非结构化到结构化的转换,并且再以图形、视频、甚至3D等多维立体的方式呈现。这对存储带来巨大的需求和挑战。
二、新兴应用
尽管新冠所释放的颠覆性力量仍在持续重塑着全球商业生态系统,但一个重要趋势仍未改变:当前全球正稳步迈向数字化、智慧化世界。2021年12月,《“十四五”国家信息化规划》明确提出,“十四五”时期,信息化进入加快数字化发展、建设数字中国新阶段。数据作为新型生产要素,成为让物理世界和数字世界灵魂互通的桥梁。那么数据新型要素需要怎样的新存储呢,未来哪些应用将影响到数据存储产业的发展走势呢?
除了《面向2030:影响数据存储产业的十大应用(上)》里分享的六大商用阶段的主流应用,本篇我们还将分享几个处在萌芽或起步阶段应用,包括区块链、图技术、生成式AI、元宇宙等等。
1. 区块链(未来1-7年)
物理学家张首晟曾提到:“人工智能现在碰到了一个很大的瓶颈,因为如果 AI 要非常大的进步,它必然要需要很大的数据,但是现在的数据提供方都没有足够的激励机制提供极大量的数据”。如何激励数据提供方(也即用户和组织)提供数据,尤其是隐私数据(数据越隐私,价值可能越大)呢?
如何在激励数据提供方分享数据的同时,又能保护隐私呢?答案就是区块链和人工智能的结合。张首晟在文章《区块链技术是互联网世界新的分合转折点》中自己回答到:“一旦有了区块链之后,如果创造数据能被价值化、共识化,就会形成一个大的数据市场,使得人工智能也能够更往前进一步”
区块链解决了数据确权、激励分享、数据资产交易和流转等问题。但区块链要发展,区块链IT基础设施要先行,尤其是其中的重要组成部分 -- 区块链存储。我们可以把它视为去中心化的云基础设施的一部分,或者说是去中心化的云存储。它现在还处在非常早期的阶段,但已经逐渐向我们走来。
Gartner在技术成熟度曲线中,将区块链存储(Distributed Storage in Blockchain)列入科技诞生的促动期 (Technology Trigger),并预计2023~2028年左右,进入到成熟应用的技术阶段,将有大量主流用户开始接纳。
以政府领域为例,近一两年国内各个部委和各地省市,大力推行政府的数字化转型,也即数字政府和数字治理,有望促进政务数据开放共享、数据交换,将催生对具有数据保护防单点的区块链存储的需求;另外随着AR/VR、加密艺术如数字藏品的兴起,数据存放在区块链存储将逐渐成为共识,如何在法规政策的监管合规下,将数据资产留存在国内,也将催生对区块链存储的需求。
又如在金融领域,IDC区块链高级市场分析师洪婉婷表示:“当前,核心企业、金融机构、供应链金融提供商三股势力,纷纷牵头推动以自身业务为核心的、基于区块链的供应链金融平台,在为小微企业提供融资便利的同时,也有效控制了自身业务的不确定性,形成资金闭环,以新型信任技术与模式加强了合作纽带。在疫情常态化的当下,构建区块链信任体系,以此提升产业链的韧性,将成为更多企业的发展选择。”
2. 图技术(未来3-6年)
图技术指图数据管理和分析技术。这些技术能够探索企业机构、人或交易等实体之间的关系。分析数据之间的关系可能需要涉及大量异构数据、存储和分析,而这些都不适合用于关系型数据库。图分析由确定跨数据点“关联性”的模型组成。
本质上,图技术决定了不同数据集之间的“关联性”/关系。以社交媒体分析为例,图技术可以评估不同路径何时通过意想不到的社区成员来传播行为,进而加强对社交媒体网络中影响者和社区的识别。
图技术的潜在应用范围十分广泛,这项技术将需要3至6年的时间才能达到早期多数采用阶段。图技术中将有很大一部分作为现有数据平台的集成组件出售,这些组件均为自主开发或通过专业厂商的转售协议集成。凭借其特定图处理语言和能力、可扩展性以及计算力,图数据库是存储、操作和分析图模型中大量不同观点的理想选择。
3. 生成式AI(未来6-8年)
生成式AI指的是一种从数据中学习对象的特征,并且使用这些特征生成全新的、完全原创且与原始数据相似的工件。
生成式AI领域将在科学发现和技术商业化方面迅速发展。虽然目前这还是一项十分超前的技术,但它已在创造新材料到保护数据隐私等广泛的应用中取得了成功。但生成式AI的安全问题和负面使用(例如深度伪造)可能会减缓其在一些行业的采用。
生成式AI之所以具有很高的影响力,是因为全球正在不断增加对生成式AI方法的探索,并且这项技术在许多行业证明了自己,包括生命科学、医疗健康、制造、材料科学、媒体、娱乐、汽车、能源等行业。
4. 元宇宙(未来3-10年)
2021年“元宇宙”概念引发热议,在资本市场、媒体、互联网公司共同推动下迅速“出圈”,成为年度热点。不久前,全球科技巨头Facebook宣布其业务布局转向元宇宙,甚至将自己的公司名字更改为Meta,引发了各界对元宇宙的强烈关注;今年3月,被誉为最能体现元宇宙概念的游戏《罗布乐思》获得了5.2亿美元融资,该游戏的开发商Roblox上市首日市值突破400亿美元,比一年前估值涨了10倍;字节跳动也以近百亿的价格收购了VR创业公司Pico,彰显其布局元宇宙的决心……国内外各大科技巨头纷纷开启了探索元宇宙的步伐。
据IDC预测,2022年元宇宙数字基础建设参与者将领衔发力。算力、AI、网络通信、区块链等作为元宇宙不可或缺的基础设施组成,对元宇宙后期布局起到至关重要的作用。预计在2022年,以运营商、底层硬件公司、互联网大厂为主的元宇宙基础设施建设参与者会领衔发力,相关的产品研发、操作平台创新、内容升级节奏加快。
数据存储将在元宇宙发展中发挥着关键性作用。一方面,元宇宙相关技术的发展和场景落地,对数据体量和维度将有更高的要求,需要收集用户更多的个人信息。预计,通往较理想元宇宙的状态,将带来数据存储十倍速甚至百倍速的发展;另一方面,数据安全是元宇宙健康有序发展的重要前提。为平衡好数据使用和数据安全,需要前瞻性构建元宇宙相关数据的收集和使用规范。
小结
层出不穷的新应用,对于不同的企业机构而言,不同的应用趋势会产生不同的影响。企业业务增长的不同时期可能需要不同的技术组合,优先考虑哪些趋势需根据CIO和IT领导者对其企业机构短期业务目标和战略业务目标的理解来判定。
随着数字经济将持续高速发展,中国将加大战略性、前瞻性、颠覆性技术的研究力度。《“十四五”国家信息化规划》提出,到2025年数字中国建设取得决定性进展,信息化发展水平大幅提升,数字基础设施全面夯实,数字技术创新能力显著增强,数据要素价值充分发挥,数字经济高质量发展,数字智能效能整体提升。预计到2025年数字经济核心产业增加值占GDP比重将达到10%,关键业务环节全面数字化的企业比例将达到60%。浪潮存储将秉承“云存智用运筹新数据”理念,持续加新存储技术研发投入与创新,以领先的技术赋能千行百业,释放数据要素价值加速行业数字化转型。