Mel-frekvenční cepstrální koeficienty (MFCC, Mel-Frequency Cepstral Coefficients) jsou jednou z nejpopulárnějších a nejčastěji používaných metod pro extrakci charakteristik zvukového signálu, zejména v oblastech jako je rozpoznávání řeči a analýza hudby. MFCC jsou založeny na lidském vnímání zvuku a jeho frekvenčních složek.
Co je MFCC?
MFCC jsou reprezentací krátkodobé výkonové spektra zvukového signálu, která je upravena tak, aby více odpovídala způsobu, jakým lidé vnímají zvuk. Proces výpočtu MFCC zahrnuje několik kroků:
- Rozdělení signálu do rámců: Signál je rozdělen na krátké segmenty (rámce), které se obvykle překrývají.
- Aplikace okenní funkce: Na každý rámec je aplikována okenní funkce (např. Hammingovo okno), aby se snížily okrajové efekty.
- Výpočet Fourierovy transformace: Každý rámec je převeden do frekvenční domény pomocí Fourierovy transformace.
- Aplikace Mel-filtru: Frekvence jsou mapovány na Mel-škálu, která lépe odpovídá lidskému sluchovému vnímání. To se provádí pomocí banky Mel-filtrů.
- Výpočet logaritmu: Výstup z Mel-filtrů je převeden pomocí logaritmické funkce.
- Výpočet diskrétní kosinové transformace (DCT): Na logaritmované Mel-spektrum se aplikuje diskrétní kosinová transformace (DCT), čímž se získají cepstrální koeficienty.
Co jsou MFCC koeficienty?
MFCC koeficienty jsou výsledné hodnoty po aplikaci DCT na logaritmované Mel-spektrum. Tyto koeficienty reprezentují energetické rozložení frekvencí v Mel-škále a poskytují kompaktní popis spektrálního tvaru zvukového signálu. Prvních několik koeficientů obsahuje nejvíce informací o tvaru spektra a jsou nejdůležitější pro rozpoznávání zvuku.
Použití MFCC
MFCC se hojně používají v aplikacích, jako jsou:
- Rozpoznávání řeči
- Hudební informační zpětné získávání (MIR)
- Rozpoznávání žánru
- Identifikace řečníka
- Zvuková klasifikace a detekce
Příklad výpočtu MFCC v Pythonu s knihovnou Essentia
python
import essentia.standard as es
import numpy as np
# Načtení zvukového souboru
loader = es.MonoLoader(filename='audio.wav')
audio = loader()
# Rozdělení signálu do rámců
frame_size = 1024
hop_size = 512
frame_generator = es.FrameGenerator(audio, frameSize=frame_size, hopSize=hop_size)
# Inicializace algoritmu MFCC
mfcc = es.MFCC()
# Průběžná analýza signálu
mfcc_coeffs_list = []
for frame in frame_generator:
windowed_frame = es.Windowing(type='hann')(frame) # Aplikace okenní funkce
spectrum = es.Spectrum()(windowed_frame) # Výpočet spektra
mfcc_coeffs, mfcc_bands = mfcc(spectrum) # Výpočet MFCC
mfcc_coeffs_list.append(mfcc_coeffs)
# Převedení seznamu koeficientů na numpy pole
mfcc_array = np.array(mfcc_coeffs_list)
print("MFCC Coefficients Shape:", mfcc_array.shape)
print("MFCC Coefficients:", mfcc_array)
Tento kód:
- Načte zvukový soubor a rozdělí jej na rámce.
- Na každý rámec aplikuje okenní funkci.
- Vypočítá spektrum pro každý rámec.
- Vypočítá MFCC koeficienty pro každý rámec a uloží je do seznamu.
- Vypíše tvar pole MFCC koeficientů a samotné koeficienty.
Shrnutí
MFCC a jejich koeficienty jsou nástroje pro analýzu a popis zvukových signálů, které jsou široce používány v oblastech rozpoznávání řeči a hudby. Výpočet MFCC zahrnuje několik kroků od rozdělení signálu do rámců až po aplikaci diskrétní kosinové transformace na logaritmované Mel-spektrum.
Mel-frekvenční cepstrum (wikipedie)
V zpracování zvuku je mel-frekvenční cepstrum (MFC) reprezentace krátkodobého výkonového spektra zvuku, založená na lineární kosinové transformaci logaritmického výkonového spektra na nelineární melové škále frekvence.
Mel-frekvenční cepstrální koeficienty (MFCCs) jsou koeficienty, které dohromady tvoří MFC. Jsou odvozeny z typu cepstrální reprezentace zvukového klipu (nelineární „spektrum spektra“). Rozdíl mezi cepstrem a mel-frekvenčním cepstrem spočívá v tom, že v MFC jsou frekvenční pásma rovnoměrně rozmístěna na melové škále, která přibližuje odezvu lidského sluchového systému přesněji než lineárně rozmístěná frekvenční pásma používaná v běžném spektru. Toto frekvenční zkreslení může umožnit lepší reprezentaci zvuku, například při kompresi zvuku, která by mohla potenciálně snížit přenosovou šířku pásma a požadavky na úložiště zvukových signálů.
MFCCs jsou běžně odvozovány následujícím způsobem:
- Proveďte Fourierovu transformaci (ohraničeného úseku) signálu.
- Namapujte výkony spektra získaného výše na melovou škálu, pomocí trojúhelníkových překrývajících se oken nebo alternativně kosinových překrývajících se oken.
- Vezměte logaritmy výkonů na každé z melových frekvencí.
- Proveďte diskrétní kosinovou transformaci seznamu mel logaritmických výkonů, jako by to byl signál.
- MFCCs jsou amplitudy výsledného spektra.
Tento proces může mít různé varianty, například: rozdíly ve tvaru nebo rozmístění oken používaných k mapování škály, nebo přidání dynamických funkcí, jako jsou „delta“ a „delta-delta“ (první a druhé pořadí rozdílů mezi snímky).
- Proveďte Fourierovu transformaci (ohraničeného úseku) signálu.
- Namapujte výkony spektra získaného výše na melovou škálu, pomocí trojúhelníkových překrývajících se oken nebo alternativně kosinových překrývajících se oken.
- Vezměte logaritmy výkonů na každé z melových frekvencí.
- Proveďte diskrétní kosinovou transformaci seznamu mel logaritmických výkonů, jako by to byl signál.
- MFCCs jsou amplitudy výsledného spektra.
Popis poslední ilustrace: transformace
Každý prvek v ilustraci má svůj specifický význam v procesu MFCC:
-
Válce představují filtry melové škály, které jsou aplikovány na spektrum signálu. Tyto filtry pomáhají simulovat způsob, jakým lidské ucho vnímá zvuky různých frekvencí, a jsou rozmístěny rovnoměrně na melové škále, která je založena na lidském vnímání zvuku.
-
Čtverce symbolizují logaritmické výkony jednotlivých filtrů melové škály. Logaritmování výkonů je důležité, protože lidské vnímání zvuku je logaritmické, což znamená, že vnímáme změny v intenzitě zvuku exponenciálně.
-
Kvadranty mohou reprezentovat různé části diskrétní kosinové transformace (DCT), která se používá k převodu logaritmických výkonů filtrů na sady koeficientů, známé jako cepstrální koeficienty. DCT pomáhá odstranit korelaci mezi frekvencemi a produkuje hladký spektrální obraz, který je užitečný pro rozpoznávání vzorů a hlasů.
Tato ilustrace byla vytvořena tak, aby poskytla vizuální reprezentaci toho, jak MFCC extrahuje charakteristiky zvukového signálu pro účely rozpoznávání řeči a zvuků. Je to technické vysvětlení, které se snaží být co nejpřesnější a nejjasnější pro lepší pochopení procesu. Doufám, že toto vysvětlení pomůže objasnit, jak tyto prvky společně pracují na vytvoření MFCC. Pokud máte další otázky nebo potřebujete další vysvětlení, neváhejte se zeptat.
sss
Žádné komentáře:
Okomentovat