Audio Toolbox™提供了音频处理、语音分析和声学测量的工具。它包括处理音频信号的算法,如均衡和时间拉伸,估计声信号指标,如响度和清晰度,提取音频特征,如MFCC和音高。它还提供先进的机器学习模型,包括i向量和预训练的深度学习网络,包括VGGish和CREPE。工具箱应用程序支持实时算法测试、脉冲响应测量和信号标记。工具箱为ASIO、CoreAudio和其他声卡提供流媒体接口;MIDI设备;以及用于生成和托管VST和音频单元插件的工具。
通过Audio Toolbox,您可以导入、标记和增强音频数据集,以及提取特征来训练机器学习和深度学习模型。提供的预训练模型可以应用于音频记录进行高级语义分析。
您可以实时创建音频处理算法的原型,或者通过将低延迟音频流到声卡和声卡之间,运行自定义的声学测量。您可以通过将算法转换为一个音频插件来验证算法,以便在外部主机应用程序(如数字音频工作站)中运行。插件托管允许您使用外部音频插件作为常规的MATLAB®对象。
开始:
连接到标准音频驱动程序
使用标准的音频驱动程序(如ASIO、WASAPI、CoreAudio和ALSA)跨Windows从声卡(如USB或Thunderbolt™)中读写音频样本®、Mac®和Linux®操作系统。
预训练深度学习模型
使用深度学习来执行复杂的信号处理任务,用一行代码提取音频嵌入。访问已建立的预先训练的网络,如YAMNet、VGGish、CREPE和OpenL3,并在预先配置的特征提取函数的帮助下应用它们。
音频、语音和声学的特征提取
将信号转换为时频表示,如Mel、Bark和ERB谱图。计算倒谱系数,如MFCC和GTCC,以及标量特征,如音高、和声和谱描述符。使用预训练的深度学习模型(VGGish, OpenL3)和i向量系统提取高级特征和信号嵌入。使用兼容的GPU卡加速特征提取。
机器学习模型和训练食谱
用您的音频数据集训练最先进的机器学习。使用已建立的模型系统,例如i向量,用于说话人识别和验证等应用。从工作示例中了解如何为音频、语音和声学应用程序设计和训练高级神经网络和层。
导入、注释和预处理音频数据集
读取、分区和预处理大型音频记录集合。用应用程序手动标注音频信号。使用预先训练的机器学习模型自动识别和分割感兴趣的区域。
扩充和合成音频和语音数据集
使用音高移动、时间拉伸和其他音频处理效果的组合设置随机数据增强管道。使用基于文本到语音的云服务从文本中创建合成语音记录。
通过用户界面进行实时参数调优
自动为音频处理算法的可调参数创建用户界面。测试单独的算法与音频测试台架应用程序和调优参数运行程序与自动生成的交互控件。
参数控制和消息交换的MIDI连接性
利用MIDI控制面交互改变MATLAB算法参数。通过发送和接收任何类型的MIDI消息来控制外部硬件或响应事件。
标准计量与分析
应用声压级(SPL)表和响度表记录或现场信号。用倍频和分数倍频滤波器分析信号。对原始记录应用符合标准的A-, C-或k加权过滤器。测量声音的锐度、粗糙度和波动强度。
脉冲响应测量
用最大长度序列(MLS)和指数扫频正弦信号(ESS)测量声学和音频系统的脉冲和频率响应。开始与脉冲响应测量应用程序。自动化测量通过编程生成激励信号和估计系统响应。
生成音频插件
直接从MATLAB代码生成VST插件、AU插件和独立的可执行插件,而不需要手动设计用户界面。对于更高级的插件原型,生成准备构建的juec++项目(需要MATLAB Coder™)。
托管外部音频插件
使用外部VST和AU插件作为常规的MATLAB对象。更改插件参数和编程处理MATLAB数组。或者,自动化插件参数与用户界面和MIDI控件的关联。主机插件从您的MATLAB代码生成,以提高执行效率。
CPU和GPU目标的代码生成
与MathWorks®编码产品,从2022世界杯八强谁会赢?作为工具箱函数、对象和块提供的信号处理和机器学习算法生成C和c++源代码。生成CUDA的源代码,从选择特征提取函数mfcc
而且melSpectrogram
.
低成本和移动设备
通过使用板载或外部多声道音频接口,在树莓派™上设计原型音频处理。为Android创建交互式控制面板作为移动应用程序®或iOS设备。
实现零延迟的系统
原型音频处理设计具有单样本输入和输出,用于自适应噪声控制、助听器验证或其他需要最小往返DSP延迟的应用。自动目标Speedgoat音频机器和ST发现板直接从Simulink模型。