音频工具箱

音频工具箱

음성,음향및오디오처리시스템을설계및분석할수있습니다。

시작하기:

오디오,터페이스를통한스트리밍수집및재생

파일과실시간입출력간의저지연다중채널오디오스트리밍을위해표준랩탑및데스크탑의사운드카드에연결할수있습니다。

준오디오드라이버연결

窗户®、Mac®Linux및®운영체제에서표준오디오드라이버(예:ASIO、WASAPI CoreAudio, ALSA)를사용하여USB또는迅雷™등을통해사운드카드에서오디오샘플을읽고쓸수있습니다。

저지연다중채널오디오스트리밍

밀리초단위의양방향지연시간으로MATLAB에서실시간오디오를처리할수있습니다。

4-채널마이크배열로부터의실시간원시입력。

머신러닝및딥러닝

오디오및음성데이터셋에레이블을지정하고,증대하고,생성하고,수집하고,특징을추출하고,시간-주파수변환을계산할수있습니다。统计和机器学习工具箱™,深度学习工具箱™또는기타머신러닝툴로오디오및음성분석을개발할수있습니다。

사전훈련된딥러닝모델

딥러닝을사용하여한줄의코드로복잡한신호처리작업을수행하고오디오임베딩을추출할수있습니다。YAMNet VGGish,绉및OpenL3와같은기존의사전훈련된신경망을사용하고,미리구성된특징추출함수를활용하여이러한신경망을적용할수있습니다。

특정오디오세그먼트에서classifySound로식별되는소리유형을시하는워드클라우드。

오디오,음성및음향의특징추출

신호를梅尔、树皮및ERB스펙트로그램과같은시간-주파수표현으로변환할수있습니다。MFCC및GTCC와같은켑스트럼계수와피치,조화비및스펙트럼설명자와같은스칼라특징을계산할수있습니다。사전훈련된딥러닝모델(VGGish OpenL3)과矢量i시스템을사용하여하이레벨특징과신호임베딩을추출할수있습니다。호환되는gpu카드를활용하여특징추출을가속화할수있습니다。

음성명령의실시간멜스펙트로그램。

머신러닝모델및훈련레시피

오디오데이터셋으로첨단머신러닝을훈련시킬수있습니다。화자식별및검증과같은응용분야에矢量i와같은기존모델시스템을사용할수있습니다。작동하는예제를통해오디오,음성및음향응용분야를위한고급신경망과계층을설계및훈련시키는방법을알아볼수있습니다。

다양한화자가말한여러부분이삽입된음성녹음의파형및각각의다른색으로강조표시된검출된각음성영역에서의각각의화자。

5명의서로다른화자가있는음성신호에서x-Vector를사용하여얻은구분결과。

오디오데이터셋가져오기,주석추가및전처리

대량의오디오녹음을읽고분할하고전처리할수있습니다。앱을활용하여오디오신호에직접주석을추가할수있습니다。사전훈련된머신러닝모델을사용하여관심역을자동으로식별및분할할수있습니다。

音频标签앱의관심mgr .역레이블。

音频标签앱의관심mgr .역레이블。

오디오및음성데이터셋대및합성

피치시프팅,타임스트레칭및기타오디오처리효과의조합을사용하여무작위데이터증대작업을설정할수있습니다。클라우드기반텍스트-음성변환서비스를사용하여텍스트에서합성음성녹음을생성할수있습니다。

음색불변피치시프팅에대한포먼트추정。

오디오처리알고리즘및효과

동적파라미터조정과실시간시각화를통해표준파형을생성하고,일반적인오디오효과를적용하고,오디오처리시스템을설계할수있습니다。

오디오필터및이퀄라이저

파라메트릭情商,그래픽情商,셸빙및가변기울기필터를모델링하고적용할수있습니다。디지털크로스오버,옥타브및분수옥타브필터를설계하고시뮬레이션할수있습니다。

실시간시각화를통한3-대역크로스오버필터의대화형방식조정。

동적범위제어및효과

압축기,리미터,확장기및잡음게이트와같은동적범위처리알고리즘을모델링하고적용할수있습니다。재귀파라메트릭모델로,공잔향을추가할수있습니다。

대화형방식으로압축기의동적응답조정하기。

블록다이어그램을사용한시스템시뮬레이션

动态仿真模块®의오디오처리블록라이브러리를사용하여시스템모델을설계하고시뮬레이션할수있습니다。대화형방식제어및동적플롯을사용하여파라미터를조정하고시스템동작을시각화할수있습니다。

다양한모델계층수준에있는블록및서브시스템,필터응답플롯,그리고파라미터값조정을위한대화형다이얼이포함된사용자인터페이스로구성된仿真软件모델의시각화。

Simulink에서보는다중대역동적범위압축기모델。

실시간오디오프로토타이핑

MATLAB에서대화형방식의실시간청취테스트를통해오디오처리알고리즘을검증할수있습니다。

사용자,터페이스를통한실시간파라미터조정

오디오처리알고리즘의조정가능한파라미터에대한사용자인터페이스를자동으로생성할수있습니다。音频试验台앱을사용하여개별알고리즘을테스트하고자동생성된대화형방식의컨트롤로실행중인프로그램의파라미터를조정할수있습니다。

音频试验台를사용한사용자지정3 -대역파라메트릭EQ의대화형방식조정。

파라미터컨트롤및메시지교환을위한MIDI연결

MIDI컨트롤표면을사용하여MATLAB알고리즘의파라미터를대화형방식으로변경할수있습니다。모든유형의MIDI메시지를송수신하여외부하드웨어를제어하거나이벤트에응답할수있습니다。

키보드MIDI컨트롤러가MIDI메시지를MATLAB세션으로전송하고,이후MATLAB세션이메시지를처리하고음파형을합성하고생성된샘플을스피커를통해재생하는모습을보여주는블록다이어그램。

악기합성기에대해matlab에서작성된MIDI메시지및오디오신호흐름。

음향측정및공간오디오

시스템응답을측정하고,신호를분석하고재며,공간오디오처리시스템을설계할수있습니다。

준기반측정및분석

녹음된신호또는실시간신호에SPL(음압레벨)측정기와음량측정기를적용할수있습니다。옥타브및분수옥타브필터로신호를분석할수있습니다。원본녹음본에준준수a, c또는k가중필터를적용할수있습니다。음향선명도,거칠기및변동강도를측정할수있습니다。

두1/3옥타브대역에걸친다양한SPL측정값의시각화。

임펄스응답측정

美国职业足球大联盟(최대길이시퀀스)와ESS(지수스윕정현파곡선)가포함된음향및오디오시스템의임펄스와주파수응답을측정할수있습니다。脉冲响应测量器앱으로시작할수있습니다。프로그래밍방식으로가진신호를생성하고시스템응답을추정하여측정을자동화할수있습니다。

시간영역과주파수영역에서추정된응답,플로팅할수있는이외의추정된임펄스응답목록이있는메뉴,그리고앱에서사용할수있는기타대화형방식의컨트롤을보여주는脉冲响应测量器앱의화면。

脉冲响应测量器앱。

공간임펄스응답을통한효율적,컨벌루션

주파수영역중첩-가산또는중첩——보류구현을사용하여긴임펄스응답을가진신호를효율적으로컨벌루션할수있습니다。자동임펄스응답분할을사용하여지연과계산속도간에절충할수있습니다。

Y축에대한로그스케일을사용하여시간경과에따른매우긴임펄스응답의절댓값을표시하는MATLAB数字。5초후,플롯은정규화된절댓값이아직초기진폭1000분의의1보다작아지지않았음을보여줍니다。

44100Hz에서22만개의샘플로,또는5초이상지속되는임펄스응답。

공간오디오

다양한앰비소닉음향형식을,코딩하고디코딩할수있습니다。공간적으로샘플링된hrtf(머리전달함수)를보간할수있습니다。

바이노럴마네킹,머리전달함수가알려진3개지점을나타내는구형부채꼴의꼭짓점에위치한3개의스피커,그리고머리전달함수를추정해야하는부채꼴내임의의위치에있는4번째지점을나타내는그림。

HRTF측정값을구할수있는바람직한음원위치및가장가까운각도의예。

오디오플러그,생성및호스트

MATLAB에서작성된오디오처리알고리즘을표준오디오플러그인으로프로토타이핑할수있습니다。외부오디오플러그을일반matlab객체로사용할수있습니다。

오디오플러그,생성

사용자인터페이스를직접설계할필요없이MATLAB코드에서威仕特플러그인,非盟플러그인,독립형실행파일플러그인을직접생성할수있습니다。더고도화된플러그인을프로토타이핑하려면구축준비된JUCE c++프로젝트를생성할수있습니다。(MATLAB Coder™필)

잘알려진디지털오디오워크스테이션인死神내에서사용중인MATLAB에서생성된오디오플러그인의UI。3x3그리드위에다양한슬라이더와노브가배열된UI。

다중대역파라메트릭EQ예제:MATLAB코드에서생성되고死神에서실행되는威仕特플러그인。

외부오디오플러그,호스트

외부VST및au플러그matlab객체로사용할수있습니다。플러그인파라미터를변경하고프로그래밍방식으로MATLAB배열을처리할수있습니다。또는플러그인파라미터와사용자인터페이스및MIDI컨트롤의연결을자동화할수있습니다。실행효율성을높이기위해MATLAB코드에서생성된플러그인을호스트할수도있습니다。

왼쪽에는오디오잡음제거를위한상용오디오플러그인의UI가있으며,잡음억제수준을설정하기위한대형노브가포함되어있습니다。오른쪽에있는몇줄의코드는동일한플러그인을프로그래밍방식으로MATLAB객체로가져와서사용하는방법을보여줍니다。

오디오잡음제거(Accusonus ERA-N)를위한외부威仕特플러그인및MATLAB의프로그래밍방식인터페이스의예。

임베디드및실시간오디오시스템타겟팅

코드생성을사용하여소프트웨어기기에서오디오처리설계를구현하고오디오인터페이스에대한액세스를자동화할수있습니다。

CPU및gpu타겟을위한코드생성

MathWorks®코더제품을활용하여툴박스함수,객체및블록으로제공되는신호처리및머신러닝알고리즘에서C및c++소스코드를생성할수있습니다。mfccmelSpectrogram과같은선별된특징추출함수에서cuda소스코드를생성할수있습니다。

음성명령인식시스템의각예측사이클에서경과된시간을보고하는플롯으로,사용된시간이가용시간인50보다현저히적음을보여줍니다。

딥러닝기반음성명령인식시스템의手臂Cortex-A프로세서에서최적화된구현을위한동적프로파일링

저가및모바일기기

온보드또는외부다중채널오디오인터페이스를사용하여覆盆子π™의오디오처리설계를프로토타이핑할수있습니다。安卓®또는iOS기기용모바일앱으로대화형제어판을만들수있습니다。

树莓派보드사진。

설계프로토타이핑을위한树莓派3보드。

무지연시스템

적응형잡음제어,보청기검증또는최소양방향DSP지연이필요한기타응용분야에대한단일샘플입출력이포함된오디오처리설계를프로토타이핑할수있습니다。仿真软件모델에서직접Speedgoat오디오기기와圣디스커버리보드를자동으로타겟팅할수있습니다。

Baidu
map