基于深度学习的噪声语音活动检测

这个示例使用:

这个例子展示了如何使用深度学习在低信噪比环境中检测语音区域。该示例使用语音命令数据集训练双向长短期记忆(BiLSTM)网络来检测语音活动。

简介

语音活动检测是许多音频系统的重要组成部分，如自动语音识别和说话人识别。在低信噪比(SNR)的情况下，语音活动检测尤其具有挑战性，在这种情况下，语音会受到噪声的阻碍。

本例使用长短期记忆(LSTM)网络，这是一种非常适合研究序列和时间序列数据的循环神经网络(RNN)。LSTM网络可以学习序列时间步之间的长期依赖关系。LSTM层(lstmLayer(深度学习工具箱))可以看到正向的时间序列，而双向LSTM层(bilstmLayer(深度学习工具箱))可以从正反两个方向看时间序列。本例使用了双向LSTM层。

本例训练一个具有频谱特征特征序列和谐波比度量的语音活动检测双向LSTM网络。

在高信噪比的场景下，传统的语音检测算法可以很好地发挥作用。读一段音频文件，其中的单词之间有停顿。重采样音频到16khz。听录音。

fs = 16 e3;[演讲,fileFs] = audioread (“Counting-16-44p1-mono-15secs.wav”）;演讲=重新取样(演讲、fs、fileFs);演讲=演讲/ max (abs(演讲));声音(演讲中,fs)

使用detectSpeech定位语音区域的功能。的detectSpeech功能正确地识别所有语音区域。

赢得=汉明(50 e - 3 * fs,“周期”）;detectSpeech(演讲、fs、窗口=赢)

用-20分贝信噪比的洗衣机噪音破坏音频信号。听损坏的音频。

(噪音、fileFs) = audioread (“洗衣机- 16 - 8 mono - 200 - secs.mp3”）;噪音=重新取样(噪音、fs、fileFs);信噪比= -20;noiseGain = 10^(-SNR/20) *范数(语音)/范数(噪声);noisySpeech = speech + noiseGain*noise(1:numel(speech));noisySpeech = noisySpeech. / max (abs (noisySpeech));声音(noisySpeech fs)

调用detectSpeech关于噪声的音频信号。在信噪比很低的情况下，该函数无法检测到语音区域。

detectSpeech (noisySpeech fs,窗口=赢)

下载并加载预先训练的网络和配置的audioFeatureExtractor对象。在给定信号输出特征的情况下，训练该网络在低信噪比环境下检测语音audioFeatureExtractor对象。

downloadFolder = matlab.internal.examples.downloadSupportFile (“音频”，“VoiceActivityDetection.zip”）;dataFolder = tempdir;unzip(downloadFolder,dataFolder) netFolder = fullfile(dataFolder，“VoiceActivityDetection”）;负载(fullfile (netFolder“voiceActivityDetectionExample.mat”));

speechDetectNet

层:[6×1 nnet.cnn.layer.Layer] InputNames: {'sequenceinput'} OutputNames: {'classoutput'}

afe

属性窗口:[256×1 double] OverlapLength: 128 SampleRate: 16000 FFTLength: [] SpectralDescriptorInput: 'linearSpectrum' FeatureVectorLength:9 Enabled Features spectralCentroid, spectralCrest, spectralEntropy, spectralFlux, spectralKurtosis, spectralRolloffPoint, spectralSkewness, spectralSlope, harmonicRatio Disabled Features linearSpectrum, melSpectrum, barkSpectrum, erbSpectrum, mfcc, mfccDelta mfccDeltaDelta, gtcc, gtccDelta, gtccDeltaDelta, spectralreduce, spectralFlatness spectralSpread, pitch, zerocrossrate, shortTimeEnergy要提取一个特征，将相应的属性设置为true。例如,obj。MFCC = true，将MFCC添加到已启用的特性列表中。

从语音数据中提取特征并进行归一化处理。定位特征，使时间跨列。

特点=提取(afe noisySpeech);Features = (Features - mean(Features,1))./std(Features，[]，1);特点=功能”;

将特征通过语音检测网络，对每个特征向量是否属于一个语音帧进行分类。

decisionsCategorical =分类(speechDetectNet、特点);

控件分析的一个分析窗口对应每个决策audioFeatureExtractor．复制决策，使它们与音频样本一一对应。画出演讲，嘈杂的演讲，和VAD的决定。

decisionsWindow = 1.2 *(双(decisionsCategorical) 1);decisionsSample = [repelem (decisionsWindow(1)元素个数(afe.Window)),.．.repelem (decisionsWindow(2:结束),元素个数(afe.Window) -afe.OverlapLength)];t =(0:元素个数(decisionsSample) 1) / afe.SampleRate;情节(t, noisySpeech(1:元素个数(t)),.．.t,演讲(1:元素个数(t)),.．.t, decisionsSample);包含(“时间(s)”) ylabel (“振幅”)传说(《吵闹的演讲》，“演讲”，“监督”位置=“西南”）

您还可以在流上下文中使用经过训练的VAD网络。要模拟流环境，首先将语音和噪声信号保存为WAV文件。为了模拟流输入，您将从文件中读取帧并以所需的信噪比混合它们。

audiowrite (“Speech.wav”演讲中,fs) audiowrite (“Noise.wav”、噪音、fs)

要将VAD网络应用于流媒体音频，必须在延迟和准确性之间进行权衡。定义噪声演示中流式语音活动检测的参数。您可以设置测试的持续时间、输入网络的序列长度、序列跳长度和要测试的信噪比。一般来说，增加序列长度可以提高精度，但也会增加延迟。您也可以选择输出到您的设备的信号为原始信号或噪声信号。

testDuration =20.；sequenceLength =400；sequenceHop =20.；信噪比=-20年；noiseGain = 10^(-SNR/20) *范数(语音)/范数(噪声);signalToListenTo =“吵”；

调用流演示助手函数来观察VAD网络在流音频上的性能。使用实时控件设置的参数不会中断流示例。流演示完成后，您可以修改演示的参数，然后重新运行流演示。可以在。中找到流演示的代码支持功能．

helperStreamingDemo (afe speechDetectNet,.．.“Speech.wav”，“Noise.wav”，.．.testDuration、sequenceLength sequenceHop、signalToListenTo noiseGain);

该示例的其余部分将介绍VAD网络的培训和评估。

培训和评估VAD网络

培训:

创建一个audioDatastore指向用于训练LSTM网络的音频语音文件。
创建一个训练信号，由不同持续时间的沉默段分隔的语音段组成。
用洗衣机噪声(信噪比= -10 dB)破坏语音加静默信号。
从噪声信号中提取由频谱特征和谐波比组成的特征序列。
利用特征序列训练LSTM网络识别语音活动区域。

预测:

创建一个audioDatastore的语音文件，用于测试训练的网络，并创建一个测试信号组成的语音由沉默段分隔。
用洗衣机噪声破坏测试信号(信噪比= -10 dB)。
从有噪声的测试信号中提取特征序列。
通过训练过的网络通过测试特征来识别语音活动区域。
将网络的准确性与来自信号加静默测试信号的语音活动基线进行比较。

这里是训练过程的草图。

下面是预测过程的草图。你使用训练过的网络进行预测。

加载语音命令数据集

下载并提取谷歌语音命令数据集[1]．

downloadFolder = matlab.internal.examples.downloadSupportFile (“音频”，“google_speech.zip”）;dataFolder = tempdir;unzip(downloadFolder,dataFolder) dataset = fullfile(dataFolder，“google_speech”）;

创建一个audioDatastore这指向了训练数据集。

adsTrain = audioDatastore (fullfile(数据集,“训练”), Includesubfolders = true);

创建一个audioDatastore这指向验证数据集。

adsValidation = audioDatastore (fullfile(数据集,“确认”), Includesubfolders = true);

创建语音加沉默训练信号

读取音频文件的内容读．得到的样本速率adsInfo结构体。

(数据、adsInfo) =阅读(adsTrain);fs = adsInfo.SampleRate;

使用声音命令收听音频信号。

声音(数据、fs)

绘制音频信号。

timeVector = (1/fs) * (0:numel(data)-1);情节(timeVector、数据)ylabel (“振幅”)包含(“时间(s)”)标题(“音频样本”网格)在

信号有非语音部分(沉默、背景噪声等)，不包含有用的语音信息。方法消除静默detectSpeech函数。

提取数据中有用的部分。定义一个50毫秒的周期汉明窗进行分析。调用detectSpeech没有输出参数来绘制检测到的语音区域。调用detectSpeech再次返回检测到的语音的索引。隔离检测到的语音区域，然后使用声音命令收听音频。

赢得=汉明(50 e - 3 * fs,“周期”）;detectSpeech(数据、fs窗口=赢得);

speechIndices = detectSpeech(数据、fs窗口=赢得);声音(数据(speechIndices (1,1): speechIndices(1、2),fs)

的detectSpeech函数返回紧围绕检测到的语音区域的索引。根据经验，在本例中，将被检测语音的索引每边扩展5帧，可以提高最终模型的性能。将语音索引扩展5帧，然后收听语音。

speech hindices (1,1) = max(speech hindices (1,1) - 5*numel(win)，1);speech hindices (1,2) = min(speech hindices (1,2) + 5*numel(win)，numel(data));声音(数据(speechIndices (1,1): speechIndices(1、2),fs)

重置训练数据存储并打乱数据存储中文件的顺序。

reset(adsTrain) adsTrain = shuffle(adsTrain);adsValidation = shuffle (adsValidation);

的detectSpeech函数计算基于统计的阈值来确定语音区域。您可以跳过阈值计算并加快detectSpeech通过直接指定阈值来实现功能。要确定数据集的阈值，请调用detectSpeech并得到它计算的阈值。取阈值的均值。

T = 0 (500 2);为ii = 1:500 data = read(adsTrain);[~ T (ii)): = detectSpeech(数据、fs窗口=赢得);结束T =意味着(T, 1);重置(adsTrain)

通过组合来自训练数据集的多个语音文件，创建一个1000秒的训练信号。使用detectSpeech删除每个文件中不需要的部分。在语音片段之间插入一段随机的静默时间。

预分配训练信号。

时间= 1000 * fs;audioTraining = 0(持续时间,1);

预分配语音活动训练掩码。掩码中的值1对应于位于语音活动区域的样本。0对应没有语音活动的区域。

maskTraining = 0(持续时间,1);

指定最大静默段持续时间为2秒。

maxSilenceSegment = 2;

通过调用构建训练信号读在循环中的数据存储上。

numSamples = 1;而numSamples < duration data = read(adsTrain);Data = Data ./ max(abs(Data));%规模振幅确定语音区域idx = detectSpeech(数据、fs窗口=赢,阈值= T);%如果检测到语音区域如果~ isempty (idx)将索引扩展5帧Idx (1,1) = max(1, Idx (1,1) - 5*numel(win));idx(1、2)= min(长度(数据),idx(1、2)+ 5 *元素个数(赢得));%隔离讲话data =数据(idx (1,1): idx(1、2);将语音段写入训练信号audioTraining (numSamples: numSamples +元素个数(数据)1)=数据;设置VAD基线maskTraining (numSamples: numSamples +元素个数(数据)1)= true;%随机静默时间numSilenceSamples =兰迪(maxSilenceSegment * fs, 1,1);numSamples = numSamples + numel(data) + numSilenceSamples;结束结束audioTraining = audioTraining(1:持续时间);maskTraining = maskTraining(1:持续时间);

想象一段10秒的训练信号。绘制基线语音活动掩码。

图范围= 1:10*fs;情节((1 / fs) *(范围1)audioTraining(范围);持有在情节((1 / fs) *(范围1)maskTraining(范围),线宽= 2);网格在包含(“时间(s)”)传说(“信号”，“演讲地区”)标题(“训练信号(前10秒)”）;

听训练信号的前10秒。

声音(audioTraining(范围),fs);

在训练信号中添加噪声

通过在语音信号中加入洗衣机噪声，使信噪比为-10 dB，从而用洗衣机噪声破坏训练信号。

读取8千赫的噪声，并将其转换为16千赫。

噪音= audioread (“洗衣机- 16 - 8 mono - 1000 - secs.mp3”）;噪音=重新取样(噪音、2、1);

用噪声破坏训练信号。

噪音=噪音(1:元素个数(audioTraining));信噪比= -10;噪声= 10^(-SNR/20) *噪声*范数(audioTraining) /范数(噪声);audiotrainingnoise = audioTraining + noise;audiotrainingnoise = audiotrainingnoise / max(abs(audiotrainingnoise));

想象一段10秒的训练信号。绘制基线语音活动掩码。

图绘制((1 / fs) *(范围1)audioTrainingNoisy(范围);持有在情节((1 / fs) *(范围1)maskTraining(范围),线宽= 2);网格在包含(“时间(s)”)传说(“噪声信号”，“言语区”)标题(“训练信号(前10秒)”）;

听听训练信号的前10秒。

声音(audioTrainingNoisy(范围)、fs)

注意，您使用无噪声语音加静默信号获得了基线语音活动掩码。确认使用detectSpeech对噪声损坏的信号不产生良好的效果。

speechIndices = detectSpeech (fs, audioTrainingNoisy窗口=赢得);speech hindices (:，1) = max(1,speech hindices (:，1) - 5*numel(win));speech hindices (:，2) = min(numel(audiotrainingnoise)，speech hindices (:，2) + 5*numel(win));noisyMask = 0(大小(audioTrainingNoisy));为ii = 1:size(speech hindices) noisyMask(speech hindices (ii,1):speech hindices (ii,2)) = 1;结束

想象一段10秒的训练信号。绘制分析噪声信号得到的语音活动掩码图。

图绘制((1 / fs) *(范围1)audioTrainingNoisy(范围);持有在情节((1 / fs) *(范围1)noisyMask(范围),线宽= 2);网格在包含(“时间(s)”)传说(“噪声信号”，“屏蔽噪声信号”)标题(“训练信号(前10秒)”）;

创建语音加静默验证信号

创建一个200秒的噪声语音信号来验证训练过的网络。使用验证数据存储。注意，验证和训练数据存储具有不同的扬声器。

预分配验证信号和验证掩码。您将使用此掩码来评估经过训练的网络的准确性。

时间= 200 * fs;audioValidation = 0(持续时间,1);maskValidation = 0(持续时间,1);

通过调用构造验证信号读在循环中的数据存储上。

numSamples = 1;而numSamples < duration data = read(adsValidation);Data = Data ./ max(abs(Data));%正常化振幅确定语音区域idx = detectSpeech(数据、fs窗口=赢,阈值= T);%如果检测到语音区域如果~ isempty (idx)将索引扩展5帧Idx (1,1) = max(1, Idx (1,1) - 5*numel(win));idx(1、2)= min(长度(数据),idx(1、2)+ 5 *元素个数(赢得));%隔离讲话data =数据(idx (1,1): idx(1、2);将语音段写入训练信号audioValidation (numSamples: numSamples +元素个数(数据)1)=数据;设置VAD基线maskValidation (numSamples: numSamples +元素个数(数据)1)= true;%随机静默时间numSilenceSamples =兰迪(maxSilenceSegment * fs, 1,1);numSamples = numSamples + numel(data) + numSilenceSamples;结束结束

通过将洗衣机噪声添加到语音信号中，使信噪比为-10 dB，从而用洗衣机噪声破坏验证信号。为验证信号使用与训练信号不同的噪声文件。

噪音= audioread (“洗衣机- 16 - 8 mono - 200 - secs.mp3”）;噪音=重新取样(噪音、2、1);噪音=噪音(1:持续时间);audioValidation = audioValidation(1:元素个数(噪声));噪声= 10^(-SNR/20) *噪声*范数(audioValidation) /范数(噪声);audiovalidationnoise = audioValidation + noise;audiovalidation嘈杂= audiovalidation嘈杂/ max(abs(audiovalidation嘈杂));

提取训练功能

本例使用以下特性对LSTM网络进行训练:

这个示例使用audioFeatureExtractor为特征集创建一个最优的特征提取管道。创建一个audioFeatureExtractor对象提取特征集。使用256点汉恩窗口，50%重叠。

afe = audioFeatureExtractor (SampleRate = fs,.．.窗口=损害(256“周期”)，.．.OverlapLength = 128,.．..．.spectralCentroid = true,.．.spectralCrest = true,.．.spectralEntropy = true,.．.spectralFlux = true,.．.spectralKurtosis = true,.．.spectralRolloffPoint = true,.．.spectralSkewness = true,.．.spectralSlope = true,.．.harmonicRatio = true);audioTrainingNoisy featuresTraining =提取(afe);

显示特征矩阵的尺寸。第一个维度对应于信号被分解的窗口数(它取决于窗口长度和重叠长度)。第二个维度是本例中使用的特性的数量。

[numWindows, numFeatures] =大小(featuresTraining)

numWindows = 124999

numFeatures = 9

在分类应用中，将所有特征归一化，使其均值为零，标准差为统一是一种很好的做法。

计算每个系数的平均值和标准差，并用它们对数据进行归一化。

M =意味着(featuresTraining, 1);S =性病(featuresTraining [], 1);featuconstrained = (featuconstrained - M) ./ S;

使用相同的过程从验证信号中提取特征。

audioValidationNoisy featuresValidation =提取(afe);featuresValidation = (featuresValidation - mean(featuresValidation,1)) ./ std(featuresValidation，[]，1);

每个特征对应128个数据样本(跳长)。在每一跳中，将预期语音/无语音值设置为这128个样本对应的基线掩码值的模式。将语音/无语音掩码转换为分类掩码。

windowLength =元素个数(afe.Window);hopLength = windowLength - afe.OverlapLength;range = hopLength*(1:size(featuconstrained,1)) + hopLength;maskMode = 0(大小(范围);为index = 1: numl (range) maskMode(index) = mode(maskTraining((index-1)*hopLength+1:(index-1)*hopLength+windowLength));结束maskTraining = maskMode。”;maskTrainingCat =分类(maskTraining);

对验证掩码执行同样的操作。

range = hopLength*(1:size(featuresValidation,1)) + hopLength;maskMode = 0(大小(范围);为index = 1: numl (range) maskMode(index) = mode(maskValidation((index-1)*hopLength+1:(index-1)*hopLength+windowLength)));结束maskValidation = maskMode。”;maskValidationCat =分类(maskValidation);

将训练特征和掩码分割成长度为800的序列，连续序列之间有75%的重叠。

sequenceLength = 800;sequenceOverlap =圆(0.75 * sequenceLength);trainFeatureCell = helperFeatureVector2Sequence (featuresTraining sequenceLength sequenceOverlap);trainLabelCell = helperFeatureVector2Sequence (maskTrainingCat sequenceLength sequenceOverlap);

定义LSTM网络架构

LSTM网络可以学习序列数据时间步之间的长期依赖关系。本例使用双向LSTM层bilstmLayer(深度学习工具箱)从正向和反向两个方向观察序列。

指定输入大小为长度序列9(功能的数量)。指定一个隐藏的双向LSTM层，输出大小为200，并输出一个序列。该命令指示双向LSTM层将输入的时间序列映射为200个特征，并传递给下一层。然后，指定一个输出大小为200的双向LSTM层，并输出序列的最后一个元素。该命令指示双向LSTM层将其输入映射为200个特征，然后为全连接层准备输出。最后，通过包含一个完全连接的大小层来指定两个类2依次为softmax层和classification层。

层= [.．.sequenceInputLayer afe.FeatureVectorLength bilstmLayer(200年,OutputMode =“序列”) bilstmLayer(200年,OutputMode =“序列”) fullyConnectedLayer(2) softmaxLayer classificationLayer];

接下来，为分类器指定训练选项。集MaxEpochs来20.因此，网络在训练数据中进行了20次传递。集MiniBatchSize来64这样网络就能同时观察64个训练信号。集情节来“训练进步”生成随迭代次数增加而显示训练进度的图。集详细的来假禁用打印与图表中显示的数据相对应的表输出。集洗牌来“every-epoch”在每个历元的开始打乱训练序列。集LearnRateSchedule来“分段”每经过一定的代数(10)时，将学习率降低指定的系数(0.1)。集ValidationData到验证预测器和目标。

本例使用自适应力矩估计(ADAM)求解器。ADAM与LSTMs等循环神经网络(rnn)相比，默认的随机动量梯度下降(SGDM)求解器的性能更好。

maxEpochs = 20;miniBatchSize = 64;选择= trainingOptions (“亚当”，.．.MaxEpochs = MaxEpochs,.．.MiniBatchSize = MiniBatchSize,.．.洗牌=“every-epoch”，.．.Verbose = 0,.．.SequenceLength = SequenceLength,.．.ValidationFrequency =地板(元素个数(trainFeatureCell) / miniBatchSize),.．.ValidationData = {featuresValidation。',maskValidationCat。},.．.情节=“训练进步”，.．.LearnRateSchedule =“分段”，.．.LearnRateDropFactor = 0.1,.．.LearnRateDropPeriod = 5);

培训LSTM网络

使用指定的训练选项和层架构训练LSTM网络trainNetwork．由于训练集很大，训练过程可能需要几分钟。

speedupExample =真正的；如果speedupExample [speakhdetectnet,netInfo] = trainNetwork(trainFeatureCell,trainLabelCell,layers,options);显示器(“验证准确性:“+ netInfo。FinalValidationAccuracy +“百分比”。）;其他的负载speechDetectNet结束

“验证精度:91%”。

使用训练网络检测语音活动

使用训练过的网络估计验证信号中的语音活动。将估计的VAD掩码从分类转换为双倍。

EstimatedVADMask =分类(speechDetectNet featuresValidation。');EstimatedVADMask =双(EstimatedVADMask);EstimatedVADMask = EstimatedVADMask。”——1;

根据实际标签和估计标签的向量，计算并绘制验证混淆矩阵。

图confusionchart (maskValidation EstimatedVADMask,.．.title =“验证准确性”ColumnSummary =“column-normalized”RowSummary =“row-normalized”）;

如果您更改了网络或特征提取管道的参数，请考虑使用新的网络和重新保存MAT文件audioFeatureExtractor对象。

resaveNetwork =假；如果resaveNetwork保存(“Audio_VoiceActivityDetectionExample.mat”，“speechDetectNet”，“安全的”）;结束

支持功能

将特征向量转换为序列

函数[序列,sequencePerFile] = helperFeatureVector2Sequence(特性、featureVectorsPerSequence featureVectorOverlap)如果featureVectorsPerSequence <= featureVectorOverlap错误(重叠特征向量的数量必须小于每个序列的特征向量的数量）结束如果~iscell(features) features = {features};结束hopLength = featureVectorsPerSequence - featureVectorOverlap;idx1 = 1;序列= {};sequencePerFile =细胞(元素个数(特性),1);为ii = 1:numel(features) sequencePerFile{ii} = floor((size(features{ii}，2) - featureVectorsPerSequence)/hopLength) + 1;idx2 = 1;为j = 1:sequencePerFile{ii} sequences{idx1,1} = features{ii}(:，idx2:idx2 + featureVectorsPerSequence - 1);% #好< AGROW >Idx1 = Idx1 + 1;idx2 = idx2 + hopLength;结束结束结束

流媒体演示

函数helperStreamingDemo (speechDetectNet afe cleanSpeech,噪音,testDuration, sequenceLength, sequenceHop, signalToListenTo, noiseGain)

创建dsp。AudioFileReader对象，逐帧从语音和噪声文件中读取。

speechReader = dsp.AudioFileReader (cleanSpeech PlayCount = inf);noiseReader = dsp.AudioFileReader(噪音、PlayCount =正);fs = speechReader.SampleRate;

创建一个dsp。MovingStandardDeviation对象和一个dsp。MovingAverage对象。您将使用这些来确定规范化音频特征的标准偏差和平均值。随着时间的推移，统计数据应该会有所改善。

movSTD = dsp。MovingStandardDeviation(方法=“指数权重”ForgettingFactor = 1);movMean = dsp。MovingAverage(Method=“指数权重”ForgettingFactor = 1);

创建三个dsp。AsyncBuffer对象。一个用于缓冲输入音频，一个用于缓冲提取的特征，一个用于缓冲输出缓冲区。输出缓冲区只有在实时可视化决策时才需要。

audioInBuffer = dsp.AsyncBuffer;featureBuffer = dsp.AsyncBuffer;audioOutBuffer = dsp.AsyncBuffer;

对于音频缓冲区，您将缓冲原始的干净语音信号和噪声信号。您将只播放指定的内容signalToListenTo．转换signalToListenTo变量设置为要收听的频道。

channelToListenTo = 1;如果比较字符串(signalToListenTo“清洁”channelToListenTo = 2;结束

创建一个时间范围来可视化原始语音信号、网络应用的噪声信号和网络的决策输出。

范围= timescope (SampleRate = fs,.．.TimeSpanSource =“财产”，.．.时间间隔= 3,.．.BufferLength = f * 3 * 3,.．.YLimits = [1],.．.TimeSpanOverrunAction =“滚动”，.．.ShowGrid = true,.．.NumInputPorts = 3,.．.LayoutDimensions = (3,1),.．.Title =《吵闹的演讲》）;范围。ActiveDisplay = 2;范围。Title =“干净的演讲(原始)”；范围。YLimits = [-1 1];范围。ActiveDisplay = 3;范围。Title =“发现演讲”；范围。YLimits = [-1 1];

创建一个audioDeviceWriter对象来播放扬声器的原始音频或噪声音频。

deviceWriter = audioDeviceWriter (SampleRate = fs);

初始化循环中使用的变量。

windowLength =元素个数(afe.Window);hopLength = windowLength - afe.OverlapLength;myMax = 0;audioBufferInitialized = false;featureBufferInitialized = false;

运行流演示。

抽搐而toc < testDuration读取一帧语音信号和一帧噪声信号。speechIn = speechReader ();noiseIn = noiseReader ();在指定的信噪比下混合语音和噪声。noisyAudio = speech hin + noiseGain*noiseIn;更新一个运行最大值以进行规范化myMax = max (myMax max (abs (noisyAudio)));将有噪声的音频和语音写入缓冲区。写(audioInBuffer [noisyAudio speechIn]);%如果缓冲了足够多的样本，将音频缓冲区标记为初始化并推送读指针%为窗口长度上的音频缓冲区。如果audioInBuffer。NumUnreadSamples >= windowLength && ~audioBufferInitialized audioBufferInitialized = true;读(audioInBuffer windowLength);结束%如果音频缓冲区中有足够的样本来计算一个特征%向量，读取样本，归一化，提取特征向量，并写入%最新的特征向量到特征缓冲区。而(audioInBuffer。NumUnreadSamples >= hopLength) && audioBufferInitialized x = read(audiinbuffer,windowLength + hopLength,windowLength);写(audioOutBuffer x (end-hopLength + 1:,:));noisyAudio = x (: 1);noisyAudio = noisyAudio / myMax;特点=提取(afe noisyAudio);写(featureBuffer特性(2:));结束如果缓冲了足够多的特征向量，标记特征缓冲区。%作为初始化，并为特性缓冲区推入读指针%和音频输出缓冲区(这样它们是同步的)。如果featureBuffer。NumUnreadSamples >= (sequenceLength + sequenceHop) && ~featureBufferInitialized featureBufferInitialized = true;读(featureBuffer sequenceLength - sequenceHop);读(audioOutBuffer (sequenceLength - sequenceHop) * windowLength);结束而featureBuffer。NumUnreadSamples >= sequenceHop && featureBufferInitialized features = read(featureBuffer,sequenceLength,sequenceLength - sequenceHop);特性(isnan(特性))= 0;只使用新功能来更新%标准差和平均值。规范化的特点。localSTD = movSTD(特性(end-sequenceHop + 1:,:));localMean = movMean(特性(end-sequenceHop + 1:,:));features = (features - localMean(end，:)) ./ localSTD(end，:);决定= (speechDetectNet,功能分类');决策=决策(end-sequenceHop + 1:结束);Decision = double(Decision)' - 1;决定= repelem(决定,hopLength);audioHop =阅读(audioOutBuffer, sequenceHop * hopLength);听语音或语音+噪音。deviceWriter (audioHop (:, channelToListenTo));想象演讲+杂音，原始的演讲和语音活动检测。范围(audioHop (: 1), audioHop (:, 2), audioHop(: 1)。*决定)结束结束release(deviceWriter) release(audioOutBuffer) release(audioOutBuffer) release(featureBuffer) release(movSTD) release(movMean) release(scope)结束

参考文献

[1]监狱长P。《语音指令:单词语音识别的公共数据集》，2017年。可以从https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz．版权2017年谷歌。语音命令数据集采用创作共用属性4.0许可