心理情绪测评系统主要基于语音情绪识别、面肌心理情绪识别、人脸情绪识别、眼动情绪识别等，采用多维度、多模态心理情绪特征、三级数据建模及神经网络计算模型，结合个人常模大数据和多级大数据的分析与管理，实现对测试者的心理情绪做出科学趋向性分析与评估，达到多级数据管理，以及心理测评、心理预警心理干预的一站式解决方案，实现管理者驾驶舱体验式的实时动态数据平台监测的目标。

一、眼动情感识别

人的情感是一种心理和生理的综合体验，往往伴随着生理唤醒和一定的外部表现，研究显示人类80%的交流信息都是情感性的信息。眼睛是生命体感知外界信息的器官，它们可以感知光线，从而进一步从周围环境获取信息，是人类观察世界的主要途径。同时，眼睛缜藏着丰富的心理层面潜在意识信息。这种丰富的意识信息包括了人的情感状态和内心活动，意识信息传达至眼睛，通过不同的眼球运动将信息直观地表达出来。

AI心理情绪测评系统基于眼睛的瞳孔直径、扫视、凝视、眨眼等眼动特征能够反映内在的情感变化，然而这些眼动特征不能全面的刻画眼动状态及运动轨迹，基于眼动数据的情感特征提取方法，得到眼动数据的情感特征提取: 注视事件、瞳孔直径变化率、眨眼变化率以及眼跳速度的够更全面的刻画眼动状态，例如由正或负性情感激引起的瞳了直径明显大于在平静条件下的瞳孔直径，瞳孔对不同情绪的反应后，根据眼动特征(瞳孔直径、扫视、凝视、眨眼)识别情感状态。

通过将眼动状态与用户的情感状态进行映射，表明人的眼动行为能够在某种程度上反映出人的情感状态。事实证实眼部瞳孔大小的变化与情感唤酶呈线性关系，当观看不愉快的图像刺激时，瞳孔会缩小，当观看偷快的图像刺激时，瞳孔就会放大。虽然瞳孔直径反映了情绪变化，但是人的瞳孔直径物理大小差别很大，不能直接用于情感体验的测量。多使用眼跳信号、瞳孔直径、注视信号进行基于眼动的情感识别研究。

二、人脸情感识别

根据面部实时或视频文件识别的情感数据，智慧云天AI情感识别系统根据的情绪建模及神经网络获得被测试者每一时刻或在说话片段中的害怕、排斥、冲突、期待、压力、兴奋、逻辑、比率、概率、分心、犹豫、认知、紧张、坏感、想象、思考、潜意识、潜在情绪等数据。

人脸表情识别是机器视觉和模式识别领域具有较为广泛的应用意义。人脸表情识别技术是一个非常活跃的研究领域，它覆盖了数字图像处理、模式识别、计算机视觉、神经网络、心理学等诸多学科的内容。如今，虽然在这方面的应用已取得了一些的成果，但是FRT在实用应用中仍面临着复杂的问题,因为人脸五官的分布是非常相似的，而且人脸本身又是一个柔性物体，表情、安态的千变万化都给正确识别带来了相当大的麻烦。如何能正确识别大量的人并满足实时性要求是迫切需要解决的问题。

从视频中提取的多帧特征值和智慧云天AI情感识别引擎中标记标记的30万+情感数据库中的值进行比较来完成平静、高兴、吃惊、悲伤、愤怒、厌恶和恐惧7种情感识别功能。

三、语音心理情感识别：

正常状态下，人在说话时心理情感的波动会引起声压、语气、语速、停顿时间和发声器官的微小变化，以及通过人体大脑皮层的生理反应，利用心理学、生理学、神经科学、信号分析处理、人工智能等的诸多前沿科技，检测分析语音中某些特征参数的变化，因此，心理测评系统通过监测这些特征变化实现心理情感分析。

根据当前语音情感分析的不足，心理测评系统通过多年语音情感识别技术的开发经验，结合循环神经网络具有记忆性、参数共享等特征，对序列的非线性特征在学习方面具有一定优势，利用基于LSTM（LongShort-Term Memory）长短期记忆网络，将一种时间循环神经网络，应用于处理和预测时间序列中间隔和延迟相对较长的重要事件，解决长序列训练过程中的梯度消失和梯度爆炸问题。相比普通的RNN，LSTM能够在更长的序列中有更好的表现，通过将卷积操作引入长短时记忆网络中，构建完整的语音心理情感网络模型，将语音进行统一归一化处理，再对统一归一化处理的语音进行分割之后，对割分的语音加窗分帧处理，并建立变长数据的计算方式，将卷积操作引入长短时记忆网络中，实现完整的语音情感识别网络模型，并识别平静、高兴、吃惊、悲伤、愤怒、厌恶和恐惧7种情感功能。

目前市场上语音心理情感分析存在如下问题：

1. 心理情感与语音特征的逻辑关系不够明确；

2. 从语音数据采集到语音特征的提取降噪处理不够导致信息的损失，而损失的信息影响最终心理情感检测的 效果；

3. 分类算法效果一定程度上依赖人为提取的语音特征，算法本身不具有特征学习能力。

根据语音情感数据，智慧云天AI心理测评系统根据的情绪建模及神经网络获得被测试者每一时刻或在说话片段中的害怕、排斥、冲突、期待、压力、兴奋、逻辑、比率、概率、分心、犹豫、认知、紧张、坏感、想象、思考、潜意识、潜在情绪。

(1)系统的识别时延低于250ms.

因为在线语音情感识别，如果时延过高不但影响用户体验，而且对后续的语音情感识别请求的处理时间就更加长，发生堵塞。时延低是系统最重要的要求，要求系统对每个语音情感识别的请求处理时间低于250ms。

(2)能够处理大规模并发任务请求。心理测评系统语音情感识别具有并发任务处理能力。如果对语音情感识别任务的处理是串行的，则依然满足不了大规模的应用。

(3)利用采集针对性的语料进行模型训练，并在引警模块中语音情感特征提取前加入语音降噪处理步骤，提高了情感识别率。原始语音信号从频谱图上可以看到语音数据中含有一些不规则信号的噪声。下图是经过降噪之后的语音信号变得有规律，可以发现降噪效果还是明显的。经过降噪之后重新训练，明显提高模型的效果，说明经过降噪的语音有效降低环境噪声和设备底噪对语音情感识别的影响。

(4)采用群体决策优化神经网络方法。

心理测评系统采用群体决策的方法将训练集按照不同的组合条件，并选出每次交又验证在测试集上识别的模型组成一个神经网络群，当进行识别时，神经网络群中的每个模型分别对当前样本进行判断给出情感标签，最后使用投票的方式给出最终识别结果。

(5) 语音情感识别精度达到达到82%

(6)心理测评系统语音情感识别工作稳定性达到99.5% ，运行可靠且有能力处理大规模并发任务。

-----------------------------------------

（核心技术，转载请注明出处。）