音频工具箱™는오디오처리,음성분석및음향측정을위한툴을제공합니다。이툴박스에는이퀄라이제이션과타임스트레칭같은오디오신호처리,음량및선명도와같은음향신호메트릭추정,그리고MFCC및피치와같은오디오특징추출을위한알고리즘이포함되어있습니다。또한矢量i와같은고급머신러닝모델과VGGish및绉등의사전훈련된딥러닝신경망도제공합니다。音频工具箱의앱은실시간알고리즘테스트,임펄스응답측정및신호레이블지정작업을지원합니다。툴박스는ASIO, CoreAudio및기타사운드카드에대한스트리밍인터페이스,MIDI기기,그리고威仕特및音频单元플러그인을생성하고호스트하기위한툴을제공합니다。
音频工具箱를사용하면오디오데이터셋을가져오고레이블을지정하고보강할수있을뿐만아니라특징을추출하여머신러닝및딥러닝모델을훈련시킬수도있습니다。제공되는사전훈련된모델을오디오녹음에적용하여하이레벨의미분석을수행할수있습니다。
실시간으로오디오처리알고리즘을프로토타이핑하거나,사운드카드와의저지연오디오스트리밍을통해사용자지정음향측정을실행할수있습니다。알고리즘검증은디지털오디오워크스테이션과같은외부호스트응용프로그램에서실행할오디오플러그인으로변환하여수행할수있습니다。플러그을호스트하여외부오디오플러그을일반matlab®객체로사용할수있습니다。
시작하기:
준오디오드라이버연결
窗户®、Mac®Linux및®운영체제에서표준오디오드라이버(예:ASIO、WASAPI CoreAudio, ALSA)를사용하여USB또는迅雷™등을통해사운드카드에서오디오샘플을읽고쓸수있습니다。
저지연다중채널오디오스트리밍
밀리초단위의양방향지연시간으로MATLAB에서실시간오디오를처리할수있습니다。
사전훈련된딥러닝모델
딥러닝을사용하여한줄의코드로복잡한신호처리작업을수행하고오디오임베딩을추출할수있습니다。YAMNet VGGish,绉및OpenL3와같은기존의사전훈련된신경망을사용하고,미리구성된특징추출함수를활용하여이러한신경망을적용할수있습니다。
오디오,음성및음향의특징추출
신호를梅尔、树皮및ERB스펙트로그램과같은시간-주파수표현으로변환할수있습니다。MFCC및GTCC와같은켑스트럼계수와피치,조화비및스펙트럼설명자와같은스칼라특징을계산할수있습니다。사전훈련된딥러닝모델(VGGish OpenL3)과矢量i시스템을사용하여하이레벨특징과신호임베딩을추출할수있습니다。호환되는gpu카드를활용하여특징추출을가속화할수있습니다。
머신러닝모델및훈련레시피
오디오데이터셋으로첨단머신러닝을훈련시킬수있습니다。화자식별및검증과같은응용분야에矢量i와같은기존모델시스템을사용할수있습니다。작동하는예제를통해오디오,음성및음향응용분야를위한고급신경망과계층을설계및훈련시키는방법을알아볼수있습니다。
오디오데이터셋가져오기,주석추가및전처리
대량의오디오녹음을읽고분할하고전처리할수있습니다。앱을활용하여오디오신호에직접주석을추가할수있습니다。사전훈련된머신러닝모델을사용하여관심역을자동으로식별및분할할수있습니다。
오디오및음성데이터셋대및합성
피치시프팅,타임스트레칭및기타오디오처리효과의조합을사용하여무작위데이터증대작업을설정할수있습니다。클라우드기반텍스트-음성변환서비스를사용하여텍스트에서합성음성녹음을생성할수있습니다。
오디오필터및이퀄라이저
파라메트릭情商,그래픽情商,셸빙및가변기울기필터를모델링하고적용할수있습니다。디지털크로스오버,옥타브및분수옥타브필터를설계하고시뮬레이션할수있습니다。
블록다이어그램을사용한시스템시뮬레이션
动态仿真模块®의오디오처리블록라이브러리를사용하여시스템모델을설계하고시뮬레이션할수있습니다。대화형방식제어및동적플롯을사용하여파라미터를조정하고시스템동작을시각화할수있습니다。
파라미터컨트롤및메시지교환을위한MIDI연결
MIDI컨트롤표면을사용하여MATLAB알고리즘의파라미터를대화형방식으로변경할수있습니다。모든유형의MIDI메시지를송수신하여외부하드웨어를제어하거나이벤트에응답할수있습니다。
준기반측정및분석
녹음된신호또는실시간신호에SPL(음압레벨)측정기와음량측정기를적용할수있습니다。옥타브및분수옥타브필터로신호를분석할수있습니다。원본녹음본에준준수a, c또는k가중필터를적용할수있습니다。음향선명도,거칠기및변동강도를측정할수있습니다。
임펄스응답측정
美国职业足球大联盟(최대길이시퀀스)와ESS(지수스윕정현파곡선)가포함된음향및오디오시스템의임펄스와주파수응답을측정할수있습니다。脉冲响应测量器앱으로시작할수있습니다。프로그래밍방식으로가진신호를생성하고시스템응답을추정하여측정을자동화할수있습니다。
공간임펄스응답을통한효율적,컨벌루션
주파수영역중첩-가산또는중첩——보류구현을사용하여긴임펄스응답을가진신호를효율적으로컨벌루션할수있습니다。자동임펄스응답분할을사용하여지연과계산속도간에절충할수있습니다。
오디오플러그,생성
사용자인터페이스를직접설계할필요없이MATLAB코드에서威仕特플러그인,非盟플러그인,독립형실행파일플러그인을직접생성할수있습니다。더고도화된플러그인을프로토타이핑하려면구축준비된JUCE c++프로젝트를생성할수있습니다。(MATLAB Coder™필)
외부오디오플러그,호스트
외부VST및au플러그matlab객체로사용할수있습니다。플러그인파라미터를변경하고프로그래밍방식으로MATLAB배열을처리할수있습니다。또는플러그인파라미터와사용자인터페이스및MIDI컨트롤의연결을자동화할수있습니다。실행효율성을높이기위해MATLAB코드에서생성된플러그인을호스트할수도있습니다。
CPU및gpu타겟을위한코드생성
MathWorks®코더제품을활용하여툴박스함수,객체및블록으로제공되는신호처리및머신러닝알고리즘에서C및c++소스코드를생성할수있습니다。mfcc
및melSpectrogram
과같은선별된특징추출함수에서cuda소스코드를생성할수있습니다。
저가및모바일기기
온보드또는외부다중채널오디오인터페이스를사용하여覆盆子π™의오디오처리설계를프로토타이핑할수있습니다。安卓®또는iOS기기용모바일앱으로대화형제어판을만들수있습니다。
무지연시스템
적응형잡음제어,보청기검증또는최소양방향DSP지연이필요한기타응용분야에대한단일샘플입출력이포함된오디오처리설계를프로토타이핑할수있습니다。仿真软件모델에서직접Speedgoat오디오기기와圣디스커버리보드를자동으로타겟팅할수있습니다。