检信专注心理
用技术创新 做行业先驱
检信ALLEMOTION
  • 检信智能ALLEMOTION OS 语音情感识别——语音(声音的预处理)
    检信智能ALLEMOTION OS 语音情感识别——语音(声音的预处理)1. 语音信号(声音是什么)声音是由物体振动产生的声波,是通过介质(空气或固体、液体)传播并能被人或动物听觉器官所感知的波动现象,最初发出振动的物体叫声源。声音(语音消息)的基本模拟形式是一种称为语音信号的声学波。语音信号可以通过麦克风转化成电信号,转换成语音波形图,如下图为消息should we chase的波形图。横坐标表示时间,纵坐标表示振幅。文本should we chase按照发音可以表示成音素的形式[SH UH D - W IY - CH EY S],声波图中的每一段表示一个音素,在ARBAbet音素集中包含近64 = 2^6个符号。声音作为波的一种,频率(声源在一秒内振动的次数)和振幅是描述波的重要属性,频率的大小与我们通常所说的音高对应,而振幅影响声音的大小。声音可以被分解为不同频率不同强度正弦波的叠加,正弦波是频率成分最为单一的一种信号,任何复杂信号都可以看成由许许多多频率不同、大小不等的正弦波复合而成。这种变换(或分解)的过程,称为傅立叶变换,通过这种分解我们可以把时域图转为频域图。正弦信号表达式为y=Asin(ωx+φ)y=Asin⁡(ωx+φ)。其中A表示振幅。ω/2πω/2π表示频率。对于(空气中的)声振动而言,振幅是声压与静止压强之差的最大值。其中声压是声波在空气中传播时形成压缩和稀疏交替变化的压力增值。麦克风录制声音的原理就是将空气中的压力变动波转化成电信号的变动。而我们平常说的声音强度(响亮程度)就是由振幅决定的,声音强度的单位是分贝(dB),计算公式如下,用实测声压和参考声压之比的常用对数(常用对数lg以10为底,自然对数ln以e为底)的20倍来表示。下式中分母是参考值的声压,通常为20微帕,人类能听到的最小声压。分贝表示功率量之比时,等于功率强度之比的常用对数的10倍。分贝表示场量之比时,等于场强幅值之比的常用对数的20倍。语音链(声音是怎么发出的)从语音信号的产生到感知的过程称为语音链,如下图所示:2 下面是语音信号产生的四个步骤:文本:消息以某种形式出现在说话者的大脑中,消息携带的信息可认为有着不同的表示形式,例如最初可能以英语文本的形式表示。假设书面语有32个符号,也就是2^5,用5个bit表示一个符号。正常的平均说话速率为15个符号每秒。上图例子中有15个字母“should we chase”,持续了0.6秒,信息流的速率为15x5/0.6 = 125 bps。音素:为了说出这条消息,说话者隐式地将文本转换成对应口语形式的声音序列的符号表示,即文本符号转成音素符号,音素符号用来描述口语形式消息的基本声音及声音发生的方式(即语速和语调)。ARBAbet音素集中包含近64 = 2^6个符号,用6个bit表示一个音素,上图例子中有8个音素,持续了0.6秒,信息流的速率为8x6/0.6 = 80 bps,考虑描述信号韵律特征的额外信息(比如段长,音高,响度),文本信息编码成语音信号后,总信息速率需要再加上100bps。发音:神经肌肉系统以一种与产生口语形式消息及其语调相一致的方式,移动舌头,唇,牙齿,颌,软腭,使这些声道发声器官按规定的方式移动,进而发出期望的声音。刺激共振:声道系统产生物理生源和恰当的时变声道形状,产生上图所示的声学波形。前两个阶段的信息表示是离散的,用一些简单假设就可以估计信息流的速率。但是后两个阶段信息是连续的,以关节运动的形式发出,想要度量这些连续信息,需要进行恰当的采样和量化获得等效的数字信号,才能估计出数据的速率。事实上,因为连续的模拟信号容易收到噪声的影响,抗噪能力弱,通常会转为离散的数字信号。在第三阶段,进行采样和量化后得到的数据率约为2000bps。在最后一个阶段,数字语音波形的数据率可以从64kbps变化到700kbps。该数据是通过测量“表示语音信号时为达到想要的感知保真度”所需要的采样率和量化计算得到的。比如,“电话质量”的语音处理需要保证宽带为0~4kHz,这意味着采样率为8000个样本每秒(根据香农采样定理,为了不失真地恢复模拟信号,采样频率应该不小于模拟信号频谱中最高频率的2倍),每个样本可以量化成8比特,从而得到数据率64000bps。这种表示方式很容易听懂,但对于大多数倾听者来说,语音听起来与说话者发出的原始语音会有不同。另一方面,语音波形可以表示成“CD质量”,采用44100个样本每秒的采样率,每个样本16比特,总数据率为705600bps,此时复原的声学波听起来和原始信号几乎没有区别。现在在音乐app上下载歌曲的时一般有四种音乐品质选择,标准(128kbps),较高(192kbps),极高(320kbps),无损品质。将消息从文本表示转换成采样的语音波形时,数据率会增大10000倍。这些额外信息的一部分能够代表说话者的一些特征比如情绪状态,说话习惯等,但主要是由简单采样和对模拟信号进行精细量化的低效性导致的。因此,处于语音信号固有的低信息速率考虑,很多数字语音处理的重点是用更低的数据率对语音进行数字表示(通常希望数据率越低越好,同时保证重现语音信号的感知质量满足需要的水平)。3 语音信号中的Analog-Digital Converter,“模-数”变换(声音是怎么保存的)预滤波(反混叠滤波):语音信号在采样之前要进行预滤波处理。目的有两个,一是抑制输入信号各频率分量中频率超过fs/2的所有分量(fs为采样频率),以防止混叠干扰;二是抑制50Hz的电源工频干扰。1.采样:原始的语音信号是连续的模拟信号,需要对语音进行采样,转化为时间轴上离散的数据。采样后,模拟信号被等间隔地取样,这时信号在时间上就不再连续了,但在幅度上还是连续的。经过采样处理之后,模拟信号变成了离散时间信号。采样频率是指一秒钟内对声音信号的采样次数,采样频率越高声音的还原就越真实越自然。在当今的主流采集卡上,采样频率一般共分为22.05KHz、44.1KHz、48KHz三个等级,22.05KHz只能达到FM广播的声音品质,44.1KHz则是理论上的CD音质界限(人耳一般可以感觉到20-20K Hz的声音,根据香农采样定理,采样频率应该不小于最高频率的两倍,所以40KHz是能够将人耳听见的声音进行很好的还原的一个数值,于是CD公司把采样率定为44.1KHz),48KHz则更加精确一些。对于高于48KHz的采样频率人耳已无法辨别出来了,所以在电脑上没有多少使用价值。2.量化:进行分级量化,将信号采样的幅度划分成几个区段,把落在某区段的采样到的样品值归成一类,并给出相应的量化值。根据量化间隔是否均匀划分,又分为均匀量化和非均匀量化。均匀量化的特点为“大信号的信噪比大,小信号的信噪比小”。缺点为“为了保证信噪比要求,编码位数必须足够大,但是这样导致了信道利用率低,如果减少编码位数又不能满足信噪比的要求”(根据信噪比公式,编码位数越大,信噪比越大,通信质量越好)。通常对语音信号采用非均匀量化,基本方法是对大信号使用大的量化间隔,对小信号使用小的量化间隔。由于小信号时量化间隔变小,其相应的量化噪声功率也减小(根据量化噪声功率公式),从而使小信号时的量化信噪比增大,改善了小信号时的信噪比。量化后,信号不仅在时间上不再连续,在幅度上也不连续了。经过量化处理之后,离散时间信号变成了数字信号。3.编码:在量化之后信号已经变成了数字信号,需要将数字信号编码成二进制。“CD质量”的语音采用44100个样本每秒的采样率,每个样本16比特,这个16比特就是编码的位数。采样,量化,编码的过程称为A/D转换,如下图所示。反过程为D/A转换,因为A/D之前进行了预滤波,D/A转换后面还需要加一个平滑滤波器。A/D转换,D/A转换,滤波这些功能都可以用一块芯片来完成,在市面上能买到各种这样的芯片。4 语音信号的预处理(声音的预处理)语音信号的预处理一般包括预加重,分帧,加窗,端点检测。预加重:求语音信号频谱(频谱是指时域信号在频域下的表示方式,关于频域和时域的理解如下图所示),频率越高相应的成分越小,高频部分的频谱比低频部分的难求,为此要在预处理中进行预加重(Pre-emphasis)处理。预加重的目的是提高高频部分,使信号的频谱变得平坦,以便于频谱分析或者声道参数分析。预加重可在语音信号数字化时在反混叠滤波器之前进行,但一般是在语音信号数字化之后。短时分析:语音信号从整体来看是随时间变化的,是一个非平稳过程,不能用处理平稳信号的数字信号处理技术对其进行分析处理。但是,由于不同的语音是由人的口腔肌肉运动构成声道某种形状而产生的响应,这种运动对于语音频率来说是非常缓慢的,所以从另一方面看,虽然语音信号具有时变特性,但是在一个短时间范围内(一般认为在10-30ms)其特性基本保持相对稳定,即语音具有短时平稳性。所以任何语音信号的分析和处理必须建立在“短时”的基础上,即进行“短时分析”。分帧:为了进行短时分析,将语音信号分为一段一段,其中每一段称为一帧,一般取10-30ms,为了使帧与帧之间平滑过渡,保持连续性,使用交叠分段的方法,可以想成一个指针p从头开始,截取一段头为p,长度为帧长的片段,然后指针p移动,移动的步长就称为帧移,每移动一次都截取一段,这样就得到很多帧。加窗:加窗就是用一定的窗函数w(n)来乘s(n),从而形成加窗语音信号sw(n)=s(n)∗w(n),常用的窗函数是矩形窗和汉明窗,用矩形窗其实就是不加窗,窗函数中有个N,指的是窗口长度(样本点个数),对应一帧,通常在8kHz取样频率下,N折中选择为80-160(即10-20ms持续时间)。端点检测:从一段语音信号中准确地找出语音信号的起始点和结束点,它的目的是为了使有效的语音信号和无用的噪声信号得以分离。对于一些公共的语音数据集可以不做这步操作,因为这些语音的内容就是有效的语音信号(可以认为研究人员已经对数据做过端点检测)。语音信号的特征(声音的特征)特征的选取是语音处理的关键问题,特征的好坏直接影响到语音处理(比如语音识别)的精度。然而在语音领域中,没有一个所谓的标准特征集,不同的语音系统选取的特征组合不尽相同。语音的特征一般是由信号处理专家定义的,比较流行的特征是MFCC(梅尔频率倒谱系数)。5 语音情感识别算法常用的机器学习分类器:模式识别领域的诸多算法(传统)都曾用于语音情感识别的研究,比如GMM(高斯混合模型),SVM,KNN,HMM(隐马尔可夫模型)。用LLDs(low level descriptors)和HSFs(high level statistics functions)这些手工设计特征去训练。声谱图+CRNN:最近很多人用声谱图加上CNN,LSTM这些深度学习模型来做。还有手工特征加声谱图一起作为特征放进深度学习模型。也有人用DBN,但是不多。3.手工特征+CRNN:也有人用手工特征加CRNN做。————————————————版权声明:本文为CSDN博主「醒了的追梦人」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    2021-09-20
  • 检信智能ALLEMOTION OS推荐免费下载的语音情感数据库
    检信智能ALLEMOTION OS推荐免费下载的语音情感数据库检信智能ALLEMOTION OS推荐免费下载的语音情感数据库计算机对从传感器采集来的信号进行分析和处理,得出对方正处在的情感状态,这种行为叫作情感识别。目前对于情感识别有两种方式,一种是检测生理信号如呼吸,心律和体温等,另一种是检测情感行为如面部表情识别,语音情感识别和姿态识别。语音情感数据集是研究语音情感识别的重要基础,按照情感描述类型可将数据集分为离散情感数据库和维度情感数据库,前者以离散的语言标签(如高兴,悲伤等)作为情感标注,后者以连续的实数坐标值表示情感。下面介绍一些离散语音情感数据集:Belfast英语情感数据库:40位录音者(20男20女,18-69岁),对五个段落(每个段落7-8个句子)进行演讲录制,演讲者按照五种情感倾向进行演讲:生气(anger),悲伤(sadness),高兴(happiniess),害怕(fear),中性(neutral)。柏林Emo-DB情感数据库:德国柏林工业大学录制,10位演员(5男5女),对10个德语语音进行表演,包含了七种情感:生气(anger),悲伤(sadness),高兴(happiniess),害怕(fear),中性(neutral),厌恶(disgust),无聊(boredom)。共包含800句语料(10 位演员 x10 句话 x7 种情感+100 条某些语句的二次版本),后经过筛选得到500多条,采样率为 48kHz (后压缩至 16kHz),16bit 量化。语料文本的选取遵从语义中性、无情感倾向的原则,且为日常口语化风格,无过多的书面语修饰。语音的录制在专业录音室中完成,要求演员在表演某个特定情感片段前通过回忆自身真实经历或体验进行情绪的酝酿,来增强情绪的真实感。FAU AIBO儿童德语情感数据库:2009年在Interspeech会议上举办Emotion Challenge评比中指定的语音情感数据库。通过儿童与索尼公司的AIBO机器狗进行自然交互,从而进行情感数据的采集。说话人由51名儿童组成,年龄段为10-13岁,其中30个为女性。语料库包含9.2小时的语音,48401个单词。采样频率为48kHz(后压缩至 16kHz),16比特量化。该数据库中情感数据的自然度高,数据量足够大,是较为流行的一个语音情感数据库。CASIA汉语情感数据库:中科院自动化所录制,两男两女录制500句不同的文本,通过演讲者不同的感情演讲得出,最后的语音又人工筛选,得到了大约9600条语句。分为六类情感。ACCorpus系列汉语情感数据库:清华大学和中科院心理研究所合作录制,相对于CASIA录制工作者更多,代表性更强。包含如下 5 个相关子库:ACCorpus_MM 多模态、多通道的情感数据库;ACCorpus_SR 情感语音识别数据库;ACCorpus_SA 汉语普通话情感分析数据库;ACCorpus_FV 人脸表情视频数据库;ACCorpus_FI 人脸表情图像数据库。以 ACCorpus_SR 为例,该子库是由 50 位录音人(25 男25女)对 5类情感(中性、高兴、生气、恐惧和悲伤)各自表演得到,16kHz 采样,16bit 量化。IEMOCAP: 南加利福尼亚大学录制的,10个演员,1男1女演绎一个session,共5个session。录制了将近12小时的数据,有视频,语音,人脸的变动捕捉和文本。包括即兴自发的和照着稿子念的。每个utterance至少三个人评估。包括9种情感(anger,happiness,excitement,sadness,frustration,fear,surprise,other和neural)的离散标签,以及三个维度的维度标签(valence, activation and dominance)。————————————————版权声明:本文为CSDN博主「醒了的追梦人」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/qq_33472146/article/details/96433766
    2021-09-20
  • 检信智能ALLEMOTION OS 语义文本情感识别原理
    检信智能ALLEMOTION OS 语义文本情感识别原理首先,当然是文本预处理输入文本,在将输入文本转化成向量之前,我们需要将标点符号、括号、问号等删去,只留下字母、数字和字符, 同时将大写字母转化为小写,去除停用词。效果如下图然后就是将文本转化为词向量(即汉字要转化为计算机能识别的数字类(矩阵啥的))在将深度学习运用于文本情感分析的过程中,我们需要考虑网络模型的输入数据的形式。在其他例子中,卷积神经网络(CNN)使用像素值作为输入,logistic回归使用一些可以量化的特征值作为输入,强化学习模型使用奖励信号来进行更新。通常的输入数据是需要被标记的标量值。当我们处理文本任务时,可能会想到利用这样的数据管道。但是,这样的处理方式存在着很多问题。我们不能像点积或者反向传播那样在一个字符串上执行普通的运算操作。所以在这里我们不能将字符串作为输入,而是需要将文本转换成计算机可识别的格式,由于计算机只能识别数字,因此我们可以将文本中的每一个词都转化为一个向量,也称作词向量。词向量是用一个向量的形式表示文本中的一个词,通过这种转化方式就能采用机器学习来把任何输入量化成我们需要的数值表示,然后就可以充分利用计算机的计算能力,计算得出最终想要的结果,保证了操作的可行性。如图所示,我们可以将上面的这段文本输入数据转化成一个 16*D 的输入矩阵。我们希望创建这种词向量的方式是可以表示单词及其在上下文中意义的。例如,我们希望单词 “love” 和 “adore” 这两个词在向量空间中是有一定的相关性的,因为他们的意思相似,而且都在类似的上下文中使用,因此他们的空间相距距离会相对较小。而“love”、“adore”这两个单词与单词“baseball”的意思有很大的不同,词性也不相同,那么“love”、“adore”这两个单词的向量与单词“baseball”的向量相距距离就会相对较大。单词的向量表示也被称之为词嵌入。特征提取:为了得到这些词嵌入,我们采用一个很著名的模型 “Word2Vec”。“Word2Vec”是近几年很火的算法,它通过神经网络机器学习算法来训练N-gram 语言模型,并在训练过程中求出word所对应的vector的方法。它是将词表征为实数值向量的一种高效的算法模型,其利用深度学习的思想,可以通过训练,把对文本内容的处理简化为 K 维向量空间中的向量运算,而向量空间上的相似度可以用来表示文本语义上的相似。在这个模型中,每个词的词向量是根据上下文的语境来进行推断的,如果两个词在上下文的语境中可以被互换,那么这就表示这两个词的意思相似,词性相似,那么他们的词向量中相距距离就非常近。在自然语言中,上下文的语境对分析词语的意义是非常重要的。简单来说,Word2Vec这个模型的作用就是从一大堆句子(以 Wikipedia 为例)中为每个独一无二的单词进行建模,并且输出一个唯一的向量,Word2Vec 模型的输出被称为一个嵌入矩阵。该嵌入矩阵将包含训练语料库中每个不同单词的向量。 传统上,嵌入矩阵可以包含超过300万个单词向量。Word2Vec模型是通过对数据集中的每个句子进行训练,在其上滑动一个固定大小的窗口,并试图预测窗口的中心词,给出其他词。使用损失函数和优化程序,该模型为每个唯一字生成向量。这个训练过程的细节可能会变得有点复杂,所以我们现在要跳过细节,但这里主要的一点是,任何深度学习方法对于NLP任务的输入可能都会有单词向量作为输入。后面特征提取这一块,应该会将用word2vec提取的方式改为用doc2vec来提取,不过具体修改时间待定,得看我啥时候能将这一操作学会(哈哈哒)。Google 已经帮助我们在大规模数据集上训练出来了 Word2Vec 模型,它包括 1000 亿个不同的词,在这个模型中,谷歌能创建300万个词向量,每个向量维度为 300。在理想情况下,我们将使用这些向量来构建模型,但是因为这个单词向量矩阵太大了(3.6G),因此在此次研究中我们将使用一个更加易于管理的矩阵,该矩阵由 GloVe 进行训练得到。矩阵将包含 400000 个词向量,每个向量的维数为 50。这里有用到一些.npy文件,是通过glove已经转好的,存为了npy文件。我们将导入两个不同的数据结构,一个是包含 400000 个单词的 Python 列表,一个是包含所有单词向量值的 400000*50 维的嵌入矩阵。结果对比:CNN网络层数包括:卷积层,池化层,全连接层。CNN神经网络模型运用于文本情感分析时效果不如LSTM神经网络模型效果好,经典的CNN模型在文本情感分析正确率只有71.2%,而对经典进行改进之后,增加了卷积层和池化层,CNN模型的正确率得到了提高,但正确率也是只有77.25%,仍然比不上只用了一层LSTM网络的正确率高。从结果对比中我们可以知道,CNN不光可以应用于图像处理领域,也能成功有效地对文本信息进行分析,但LSTM在解决文本情感分析的问题时效果要比CNN好。下面是一些运行结果:训练数据集的结果嗯…,训练了800多个数据,发现最高的时候准确率在百分之七十几,但是绝大多数稳定在百分之五十左右,这个准确度还是有点低的,后面加强学习,改进代码,应该可以将准确度提高。(方法推荐:改改epoch可能会提高准确度,模型收敛+准确率)输出词列表的长度,词向量的维数维度的个数这个项目采用的数据集是IMDB数据集,这个数据集是一个关于电影评论的数据集,在这个数据集上做训练和测试。这个数据集包含 25000 条电影数据,其中 12500 条正向数据,12500 条负向数据。将其中的23000个文本评论作为训练集,将剩下的2000个文本评论作为测试集。下面为正面评价文本和负面评价文本示例总结:将CNN与LSTM两种神经网络模型应用到了文本情感分析的问题当中,使用Word2Vec模型及它的子矩阵GloVe来将文本信息进行预处理,转换成了词向量及向量矩阵,使用了IMDB数据集来对模型进行训练,并用TensorFlow进行建模、训练。版权声明:本文为CSDN博主「醒了的追梦人」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    2021-09-20
  • 检信推出便携一站式智能审讯谈话系统
    检信推出便携一站式智能审讯谈话系统一、产品介绍1、产品功能及应用 检信便携一站式智能审讯/谈话系统主要适用于监督检查、审讯调查部门内审、外查和走读式谈话等场景,主要功能有语音微表情多维度情绪识别、同步录音录像、语音自动识别、智能笔录系统管理、智能康护等功能。督察、审讯/谈话通过语音微表情情绪识别判断谈话中对方的疑点,着重记录下来并在后续的工作中深挖问题来源处所,为督察谈话提供人工智能解决方案;同步录音录像、双份光盘同步刻录和语音自动识别转写文字等功能为案件审讯提供实时证据管理和谈话语音转写自动识别记录,代替原始的人工记录书写功能,增加办案工作效率的同时,也加强了对案件的管理功能,满足衔接司法需要,辅助提高整理笔录工作质量和效率的功能;智能笔录系统管理模块通过审讯/谈话笔录内容的自动语音识别实现笔录内容的自动生成与打印和系统案件的管理。智能康护功能实时监测审讯/谈话对象在审讯/谈话过程中血压、心率、呼吸等生理参数的变化情况,防止在审讯/谈话过程中身体生理参数出现异常。该系统与现有技术相比,通过人工智能技术的应用,以及与办案专家的认知相结合,可以大力提高工作效率、节省人力成本,也是我国目前最先进的一款智能型办案审讯/谈话解决方案,在我国也首次提出并解决了一站式智能办案审讯的技术方案,实现了产品系统的成熟应用。因此,检信智能便携一站式智能审讯/谈话系统从谈话、案件审讯、笔录文档管理等方便实现了移动式与一站式督察与办案等功能的需求,可以广泛应用于公监法、2、内置功能介绍1)内置语音识别功能:无需外接任何设备,开机即可使用离线语音识别功能。语音识别采用离线语音语音库,无需接入互联网,符合监察委保密工作需求。语音识别率可达到95%,满足工作使用需求,实时识别率<0.2秒,体验感好。2)内置角色分离阵列麦克风:无需外接任何设备,配合语音识别服务器,开机即可实现声纹的识别与应用。3、功能参数1)采用嵌入式Linux、Windows双系统操作,超薄设计,内置笔录系统,设备内置4个1080P高清摄像头,Linux内置全向麦克风阵列,Windows内置角色分离麦克风阵列,集语音微表情两维度情绪识别、笔录系统、双光盘刻录、视频显示、硬盘备份、网络传输等功能于一体,安全稳定。2)内置语音识别模型,离线的语音识别引擎模块,设备无需外接任何服务器即可做到离线语音转写。3)内置角色分离麦克风,设备内置双角色分离阵列麦克风,无需外接任何拾音器,配合语音识别引擎即可做到角色分离功能。4)采用嵌入式Linux、Windows双系统操作,超薄设计,内置笔录系统,设备内置4个1080P高清摄像头,Linux内置全向麦克风阵列,Windows内置角色分离麦克风阵列,集双光盘刻录、视频显示、硬盘备份、网络传输等功能于一体,安全稳定。5)设备支持6路网络 1080P高清视频输入,具有HDMI输出接口,分辨率达到1920*1080。6)设备可支持各通道单画面、画中画、三画面、四画面显示模式。7)设备视频编码采用H.264,High Profile,H.265,的视频编码标准。8)设备含有1路音频输入接口,音频编码采用AAC 48KHz采样编码,同时含有1路3.5监听接口,一路内置扬声器。9)设备内置双光驱,将审讯(讯问)现场的音像信息,实时同步直接刻录在光盘中。并且在刻录前自动格式化并检测光盘有效性,对不符合刻录要求的光盘自动弹出,刻录结束后自动封盘。 10)嵌入式Linux内置480G SSD硬盘,Windows内置250GB SSD硬盘,对审讯(讯问)现场的音像信息,实时同步备份,确保数据信息安全存储,同时支持外接移动硬盘进行实 时同步刻录。11)设备采用双光驱,支持直刻支持,支持4.7G单层、单面双层8.5G实时刻录。使用标准4.7G容量DVD光盘,刻录时间1小时至24小时任选二、产品外观展示三、语音微表情智能情绪识别模块1.语音采集实时变换分析:实时显示采集的波形,并显示能量图;同步显示多种参数数据的二维图形并进行系统分析;*分析结果排列、保存和实时的柱形图统计;录音过程可以手动打入标记,方便定位查找该时间点;*采集过程中以及结束后,可以马上点击任何一个分析点,播放同步的语音以及视频;问话模式下,可以不分析不需要的声音;生成的测试案件自动归入录音数据信息库,不用导入即可系统分析。2.录音数据信息库管理和分析:1)管理查找所有的测试案件,可以完善案件和被测人信息,包括查找、导入、增加、修改、删除操作功能,信息包括ID、姓名、年龄、性别、民族、籍贯、婚姻状态、学历、职务、电话、住址、案件、案情、其他、创建时间;*可以直接各种编码格式的视频文件和音频文件;2)分析界面包含各种心理参数的二维波形图、系统特征分析、参数重要性、超标指示和排列次序、分析模式选择、视频显示、统计报告生成,*各种心理参数是明确的中文标识;3)数据同步性:*能绘制并同步显示心理图谱曲线;*语音以及视频微表情同步播放分析;心理参数、系统特征分析、数据指示,语音波形图完全同步,标注信息可以随时插入并同步;4)声纹识别功能,自动把问询人员和被测人员的语音分离;5)语意识别功能,快速把说话内容以文字的形式呈现;6)进行面部表情分析,*获得兴奋、悲哀、愤怒、惊奇、惧怕、厌恶、轻蔑、关注、烦倦、困惑、心率、眼动、微表情强度等参数指标;7)*在要分析的语音段内,可以一帧帧的播放视频,观察微表情和微反应;8)统计报告可以生成为word和pdf格式,*抓取到的微表情自动插入到报告相应的文字下面,以图文的方式直观呈现。3.同步录音录像转换工具:兼容国内所有视频监控和同步录音录像格式,将具有独特的压缩算法的特殊录像格式转换为通用的视频格式,便于管理、播放和选择用于分析;4.音视频分割程序:将长时间的音频和视频文件分割成需要进行分析的片段,支持所有的格式,分割完成的片段,可以直接导入系统数据库并进行分析;常见表情、微表情、微反应图文辅助查询系统,能够对发现的行为、表情进行查询,练习;四、语音识别模块1、本地化部署:系统各组件,包括语音识别引擎、模型训练工具等均能私有化部署2、接口:以API和SDK的方式提供支持HTTP协议和Websocket协议的语音识别调用接口3、兼容性:未来语音平台软件版本升级改造时,需要保证定制化接口的向下版本兼容4、识别效果(16K):在普通话,且没有明显的电流、线路声音和背景噪声的情况下,整体字准确率可达到90%。 验收音频采样格式:16k采样率、16bit采样位深、单通道。5、识别算法:采用最先进的Dfsmn-ctc基于word进行建模,确保识别率和并发能力均行业领先6、中文连续听写:提供中文的连续语音听写功能7、中英文混合听写(16K):提供中英文词级别混读听写功能,例如:你觉得how are you doing是比较private的问题8、数字识别:提供数字串听写功能9、字母识别:提供字母识别功能10、标点智能预测:提供标点智能预测功能11、端点检测:提供端点检测功能,用户语音的起始点、结束点检测12、离线ASR实时率:离线场景下,语音识别引擎的处理效率。离线ASR实时率(RTF)定义为:在确保机器满负荷的工作状态下,语音引擎处理一段时长为a的音频信号所花费的时间b,则实时率为b/a/核数该指标约为0.1713、自主优化能力:提供本地离线版的ASR自助优化能力或工具;14、热词优化能力:支持本地化秒级生效的热词自主优化能力15、语言模型优化能力:支持本地化分钟级的大数量语言模型优化能力(一般几分钟, 30分钟)16、角色分离:具备自动区分问和答2个角色的能力。并且支持自定义修改问和答的名字。五、智能笔录系统模块1、系统采用B/S、C/S结合的架构,PC客户端同时可以使用web浏览器访问、桌面式应用两种工作模式;2、一键式安装,所有的安装文件都在一个可执行的安装EXE程序中,直接按照说明书一步步安装,方便快捷;3、提供了灵活的自定义笔录问话模板,可以自己添加,也可以导入以往的问话模板;4、支持离线语音识别,支持角色分离功能,全自动、半自动的语音转文字,文字自动生成问答的谈话模式;7、支持语音播报,支持精准有感情的朗读告知书等文字;8、支持谈话笔录问答回放;9、支持谈话视频回放;10、支持谈话过程中的语音识别回放;12、支持同步定位谈话回放视频、语音识别、测谎仪数据、笔录,回放做到最大限度还原谈话全过程;14、支持导入导出笔录模板文件,支持导出Word、PDF笔录;15、支持脱网单机设备精致笔录制作;16、支持快速回填过往人员的信息、支持身份证自动读取人员信息;17、支持省市区县多级架构的数据同步;18、支持对同步录音录像设备的实时控制;19、提供简单的数据统计分析;20、支持手动/自动检测笔录进行中的状态并进行暂停谈话操作;功能点1、提供用户分角色,分前后台登录和管理系统;2、提供分用户管理案件、笔录的功能;3、提供一套快速问答笔录制作功能;4、提供详细的案件询问笔录的人员信息、类型、审讯信息输入功能;5、提供方便的自定义笔录类型、笔录模板类型、笔录问答类型功能;6、提供谈话信息查看、谈话笔录查看、谈话问答模板查看和编辑的功能;7、提供全自动、半自动、手动三种谈话笔录制作的功能;8、提供精准的分角色语音识别,语音转文件功能;9、提供低延时高清晰度远程直播画面;10、提供专业的非接触式生理分析数据展示功能,实时监控被询问人的生理状况;11、提供自定义编辑笔录导出模板功能;12、提供完整的笔录,可自定义的笔录文件导出(Word、PDF)功能;13、提供告知书、笔录问答模板、笔录导出模板、谈话笔录的导入导出(Word、PDF)功能;14、提供谈话视频回放、谈话笔录回放、谈话语音识别回放、谈话身心监护回放功能;15、提供谈话回放同步并且联动定位视频、笔录、语音识别、身心监护的功能;16、提供回放身心监护数据排行榜,可以准确定位谈话过程中被询问人的心理波动时刻,提高工作效率;17、提供人员、笔录、模板等相关数据的统计与汇总;18、提供手动/自动检测笔录进行中的状态并进行暂停操作;19、提供实时检测各组件服务的状态,方便判断平台维护;20、提供回放校准录像同步语音识别的同步时间;六、同步录音录像、双份光盘同步刻录系统运行时,启动同步录音录像功能,实现对督察、审讯办案的全程实时保存与备份。七、智能康护功能可以实时监测谈话对象的心率、血压、血氧等生理参数。
    2021-01-29
  • 智能诊断凭声音判断心脏病
    智能诊断凭声音判断心脏病日前医疗机构的研究者发现,心音和心脏病之间可能存在某种关系。这意味着在未来医生可能会把声音分析软件当做一种无创的互补性诊断工具。医疗机构并公布了研究结果。他们在冠状动脉显像仪之前使用一款智能手机 App 来监测声音信号。在这个双盲实验中,有 120 个病人(患有心脏病的志愿者)和相应的对照组参与其中。研究者识别出了一种可能使冠状动脉疾病发生的几率增加 19 倍的声音特征。研究者也识别出 13 种与冠状动脉疾病有关的声音特征。当描述一件消极的经历时,所记录下来的病人声音区别最为明显。“这项研究表明,心音特征和冠状动脉疾病之间可能存在潜在的关系,”研究者在美国心脏协会科学年会的海报上写到,“心音声音特征分析可能辅助医生在表现出胸痛的病人中预测冠状动脉疾病的可能性,尤其是在远程医疗的情况下。”通过使用研究语调,而不是讲话实际内容或语境的技术,这款软件将智能手机和便携式麦克风设备转换成心理健康传感器。这家公司目前已经推出两款免费面向消费者的应用,Moodie 和 Empath,还有一款面向临床医生的叫做 Beyond Clinic。这家公司把它当作衡量情绪的一种方法,并在不同的场合进行展示,比如在工作健康场所或市场调研中,甚至应用于最近特朗普和 Megyn Kelly 之间的采访中。今年 9 月份,推出了一个研究平台,用户可以在上面利用软件来检测身体状况,目的在于通过各种健康相关问题的声音来识别生理指标。目前这家公司已经有相关数据表明,包括帕金森或者其他神经认知情况在内的疾病会对声音产生更加明显的影响。医疗机构的这项发现是全球首例表明声音能够暗示身体疾病的研究。“这项研究已经进行了两年时间,而且我们实际上还需要花更长的时间才能明白其中奥义,不过,我们已经感觉到愿景已经不远。,“如果我们能够找到声音特征和生理症状的相关性,意味着这也可以继续在其他领域进行研究。”这一研究也预示着声音并不一定只能靠医生的耳朵判断,Mor 说,“听起来特别的声音不能被清晰地发出来,也不能被人类的耳朵察觉到,”他说,“这和视力有点类似,我们能看到特定光谱下的物体,但实际上还有更多的物体存在。” Mor 认为 Mayo 医疗机构的研究有机会深入到许多治疗领域,并且有潜力开发出一款应用,能够基于声音提醒人们是否存在患有某种疾病的风险。“这为我们继续研究心脏方面并且开展多中心、多语言研究打开了大门。”Mor 说道。
    2020-01-09
  • 检信,填补国内语音心理分析系统开发空白
    检信,填补国内语音心理分析系统开发空白 检信智能有意集合作伙伴力量,和您一起研发语音、声纹采集分析及技术开发、语音心理分析(语音情绪分析、语音情感分析)系统解决方案,以及其他应用于心理分析领域、刑侦领域及安全监测领域的高科技产品技术开发,包含测谎升级产品、测谎辅助产品、声音技术研究、眼动/瞳孔分析等衍生系列产品。并乐意参与参加各类型技术研讨、心理测试实验室建设、语音心理分析技术培训、公检法系统辅助办案等公共活动,与各位广大爱国同仁一起,为中国自主研发的产品技术科技兴警、科技兴国事业贡献力量!
    2018-12-18