智慧城市网

 

　　目前远程运维系统存在开发需求不明确、功能效用参差不齐、设计研发难以评价的问题。本标准研制基于中国烟草机械集团、国投生物投资有限公司、中国铁道科学研究院集团有限公司等的产品化方案实际功能及性能指标，能够为企业研发远程运维系统提供一个自我评价的方法，提升企业自身远程运维服务能力，使标准应用企业摸清远程运维系统水平，明确系统下一步发展方向，提升系统的研发及部署效率。
 

　　本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。
 

　　本文件描述了面向智能制造的远程运维系统评价指标体系。文件适用于拟定智能制造远程运维系统的综合评价方案。
 

　　数据采集类
 

　　1.系统分辨率
 

　　此指标是指系统可以分辨的输入信号最小变化量，用系统可分辨的实际电压表示，单位为V,用于表述远程运维系统针对单一被运维对象采集的最小测量值。
 

　　系统分辨率的指标值由系统数据采集所应用的模数转换器位数决定。
 

　　2.采集精度
 

　　此指标是指远程运维系统工作在额定采集速率下，单次数据采集的转换精度，用于表述远程运维系统单一被运维对象的数据采集的精准程度。
 

　　采集精度指标值计算方法为系统实际输出值与理论输出值之差与满量程比例的百分数。
 

　　3.采样速率
 

　　此指标是指在满足系统精度前提下，系统对输入模拟信号在单位时间内完成采样点采集的次数，采集”包括对被测量进行采样、量化、编码、传输、存储等的全部过程，单位为KSps，用于表述远程运维系统针对单一被运维对象的数据采集的能力。
 

　　采样速率指标值根据远程运维系统的实际应用场景需求决定。
 

　　4.动态范围
 

　　此指标是指远程运维系统采集信号，单位为dB，用于表述远程运维系统数据采集的范围及处理数据采集业务的能力。
 

　　动态范围指标值计算方法为远程运维系统采集信号的最大幅值与远程运维系统采集信号最小幅值比例的分贝数。
 

　　数据分析类
 

　　1.准确率
 

　　此指标是指内各分析模块、模型、算法预测结果中正确的样本占总样本的比例，用于表述远程运维系统各分析模块、模型、算法正确分析的能力。
 

　　准确率指标值计算方法为预测样本中真正类和真负类总数量与预测样本总数比例的百分比。其中预测样本中真正类数量为单次分析中，预测正确的正样本数量。预测样本中真负类数量为单次分析中，预测正确的负样本数量。
 

　　2.真正类率
 

　　此指标是指各分析模块、模型、算法预测结果中预测样本的真正类样本占预测样本中正类样本的比例，二分类问题样本判定规则有两种情况，一种以正类预测结果为正类，一种是以负类预测为正类，用于表述远程运维系统各分析模块、模型、算法正类分析的准确能力。
 

　　真正类率指标值计算方法为预测样本中真正类数量与预测样本中正类样本数量比例的百分比。其中预测样本中正类样本数量，为统一的二分类问题判定规则下，预测样本中判断为正类的样本数量。
 

　　3.假正类率
 

　　此指标是指各分析模块、模型、算法预测结果中预测样本的假正类样本占预测样本中正类样本的比例，二分类问题样本判定规则有两种情况，一种以正类预测结果为正类，一种是以负类预测为正类，用于表述远程运维系统各分析模块、模型、算法正类分析的偏差风险。
 

　　假正类率指标值计算方法为预测样本中假正类数量与预测样本中正类样本数量比例的百分比。其中预测样本中假正类数量，为单次分析中，预测不正确的正样本数量。
 

　　评价方法：
 

　　本体系定量指标需采用相应公式进行定量计算、定性指标可采用德尔菲法、层次分析法、模糊综合法等方法进行用定性评价。
 

　　远程运维系统应用的行业及场景较广泛，因此各行业、各场景的用户对远程运维系统评价的侧重、参数选取各有不同，故本标准不设定等级评定或者优劣比较机制。在评价过程中，评价实施方可根据生产过程实际情况给出个评价指标期望分数值。
 

　　更多详情请见附件。