Poboljšano izdvajanje parametara karakteristika iz govornih signala korištenjem algoritma strojnog učenja(1)

Abstract: Prepoznavanje govora se odnosi na sposobnost softvera ili hardvera da primi govorni signal, identifikuje karakteristike govornika u govornom signalu i nakon toga prepozna govornika. Općenito, proces prepoznavanja govora uključuje tri glavna koraka: akustičku obradu, ekstrakciju karakteristika i klasifikaciju/prepoznavanje. Svrha ekstrakcije karakteristika je da ilustruje govorni signal korišćenjem unapred određenog broja komponenti signala. To je zato što su sve informacije u akustičnom signalu pretjerano glomazne za rukovanje, a neke informacije su irelevantne u zadatku identifikacije. Ova studija predlaže pristup baziran na mašinskom učenju koji izvodi ekstrakciju parametara karakteristika iz govornih signala kako bi se poboljšale performanse aplikacija za prepoznavanje govora u pametnim gradskim okruženjima u realnom vremenu. Štaviše, princip mapiranja bloka glavne memorije u keš memoriju se efikasno koristi za smanjenje vremena računara. Veličina bloka keš memorije je parametar koji snažno utječe na performanse keš memorije. Konkretno, implementacija ovakvih procesa u sistemima u realnom vremenu zahtijeva veliku brzinu računanja. Brzina obrade igra važnu ulogu u prepoznavanju govora u sistemima u realnom vremenu. Zahtijeva korištenje modernih tehnologija i brzih algoritama koji povećavaju ubrzanje izdvajanja parametara karakteristika iz govornih signala. Problemi sa overklokom tokom digitalne obrade govornih signala tek treba da budu u potpunosti rešeni. Eksperimentalni rezultati pokazuju da predložena metoda uspješno izdvaja karakteristike signala i postiže besprijekorne performanse klasifikacije u poređenju sa drugim konvencionalnim algoritmima za prepoznavanje govora.

Cistanche deserticola

Ključne riječi: prepoznavanje govora; paralelno računanje; distribuirano računarstvo; višejezgarni procesor; ekstrakcija karakteristika; spektralna analiza

1. Uvod

Uspostavljanje komunikacijskih pristupa između ljudi i kompjuterske tehnologije kritičan je zadatak u modernoj umjetnoj inteligenciji. Jedan od najlakših metoda za unos informacija je putem govornih signala. Stoga su tehnologija obrade govornih signala i njeni alati postali neophodan dio informacionog društva. Prepoznavanje govora je bitan istraživački aspekt obrade govornih signala i vitalna tehnika interakcije između čovjeka i računara. Govorni signali sadrže semantičke, lične i ekološke informacije [1]. Opći pristup obradi govornog signala je korištenje kratkoročne analize, u kojoj se signal dijeli na vremenske prozore fiksne veličine, pod pretpostavkom da se parametri signala ne mijenjaju. Između prozora se postavlja preklapanje kako bi se dobio precizniji prikaz signala. Algoritmi za izdvajanje karakteristika kao što su spektralna analiza i linearno predviđanje se primenjuju na svaki prozor. Međutim, ovi procesi također trebaju uzeti u obzir brzinu i vrijeme.

Pustinjski ginseng

Tajming je značajan problem u nekoliko oblasti obrade signala u realnom vremenu. Omjer brzine obrade može se povećati efikasnim korištenjem procesorskih resursa i razvojem novih i brzih algoritama za smanjenje vremena digitalne obrade. Međutim, računarski problemi visokih performansi još uvijek nisu u potpunosti riješeni [2]. Štaviše, značajan napredak je napravljen u automatskom prepoznavanju govora sa razvojem hardvera i softvera za digitalnu obradu signala. Međutim, uprkos ovom napretku, mašine se ne mogu meriti performansama svojih ljudskih kolega u pogledu preciznosti i brzine prepoznavanja, posebno u prepoznavanju govora nezavisno od govornika. Dakle, velika količina istraživanja koja je provedena o prepoznavanju govora fokusirana je na probleme prepoznavanja govora koji su nezavisni od govornika, zbog širokog spektra primjena i ograničenja dostupnih tehnika prepoznavanja govora [3].

Ukratko, glavni doprinosi studije su sljedeći:

Cistanche čaj

Kliknite ovdje da vidite proizvode čaja Cistanche deserticola

【Zatražite više】 Email:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Proces identifikacije osobe po govornim signalima sastoji se od nekoliko faza. Među njima, neki koraci zahtijevaju više vremena za proračun. Ovo je spektralna analiza. Jedan od parametara koji je posebno važan u algoritmima mašinskog učenja je vreme obuke. U ovom radu smo otkrili da je proces izdvajanja karakteristika važan za identifikaciju govornih signala. Osim toga, potrebno je mnogo vremena za mašinsko učenje. Utvrđeno je da se proces spektralne analize sastoji od nezavisnih operacija, te je moguća paralelizacija.

Eksperimenti su pokazali da FFT i DCT spektralne transformacije daju dobre rezultate u spektralnoj analizi. Proces spektralne analize vrijedi za svaki segment govornog signala. Ovo nam omogućava da jasno razlikujemo ove karakteristike od govornog signala. Uz pomoć OpenMP i TBB alata razvijen je algoritam za paralelno računanje koji je omogućio ubrzanje proračuna.

Veličina segmenta je važna kada se govorni signal dijeli na segmente. Tokom eksperimenata je utvrđeno da veličina segmenta govornog signala zavisi od keš memorije centralnog procesora. Konkretno, utvrđeno je da usklađivanje segmenta s veličinom keša u višejezgrenim procesorima ima pozitivan učinak na brzinu računanja u mašinskom učenju.

Predložena je nova metoda paralelne implementacije za spektralne transformacije signala za ekstrakciju parametara karakteristika iz govornih signala korištenjem algoritma strojnog učenja na višejezgrenim procesorima koji koriste TBB i OpenMP.

Takođe je utvrđeno da efektivna upotreba principa mapiranja glavnog memorijskog bloka u keš memoriju i veličina bloka keš memorije može povećati brzinu obrade.

Cistanche dodatak blizu mene-Poboljšanje pamćenja

Ostatak ovog rada organiziran je na sljedeći način. Odjeljak 2 daje pregled postojećih studija za izdvajanje specifičnih svojstava govornog signala. Odjeljak 3 opisuje korake ekstrakcije karakteristika s eksperimentima. Odjeljak 4 predstavlja detaljno predloženi računski algoritam visokih performansi za izdvajanje parametara karakteristika iz govornih signala. Eksperimentalni rezultati zasnovani na našoj implementaciji razmatrani su u Odjeljku 5. Odjeljak 6 naglašava ograničenja predložene metode. Konačno, Odjeljak 7 zaključuje studiju sumiranjem nalaza i navođenjem budućih pravaca istraživanja.

2. Povezani radovi

Trenutno se razvijaju i unapređuju nove metode, algoritmi i modernije aplikacije za segmentaciju govornih signala i proračun parametarskih indikatora odabranih fragmenata, čime se stvara spektrogram govornih signala pomoću spektralne analize [4–7]. Identifikacija zvučnika s različitim glasovnim isječcima širom svijeta je ključan i izazovan zadatak, posebno u izdvajanju snažnih i diskriminativnih karakteristika [8]. Novi Mel Frequency Cepstral Coefficients (MFCC) karakteriše sistem ekstrakcije koji je brži i energetski efikasniji od tradicionalne MFCC realizacije predložili su Korkmaz et al. [9]. Umjesto korištenja visokopropusnog filtera za prenaglašavanje, koristili su niskopropusni filter. Oni su implementirali propusni filter sa visokopropusnim filterom jer je potrebno prethodno naglašavanje da bi se pojačala energija signala na visokim frekvencijama. U našem prethodnom radu [10] predstavili smo novu metodu za identifikaciju zvučnika zasnovanu na MFCC-u. Umjesto da koristimo konvencionalne MFCC-ove, koristimo piksele iz Mel spektrograma kao naš skup karakteristika. Spektrogram je transformiran u 2-D niz za kreiranje novog skupa podataka. Da bi se identificirao govornik, nekoliko algoritama učenja je stavljeno u praksu sa 10-tehnikom unakrsne provjere. Uz pomoć višeslojnog perceptrona (MLP) sa funkcijom aktivacije tanh postignuta je najbolja tačnost od 90,2 posto.

Ekstrakcija karakteristika se postiže promenom talasnog oblika govora u oblik parametarske reprezentacije uz relativno manju brzinu podataka za naknadnu obradu i analizu [11–14]. Pristupi ekstrakcije karakteristika obično daju višedimenzionalni vektor karakteristika za svaki govorni signal. Ekstrakcija karakteristika je najrelevantniji dio prepoznavanja govornika. Osobine govora imaju vitalnu ulogu u odvajanju govornika od drugih. Ekstrakcija karakteristike smanjuje veličinu govornog signala, bez nanošenja bilo kakvog oštećenja snage govornog signala [15–17]. U [18], autori su predstavili novi pristup koji koristi fino podešavanje veličine i parametara pomaka prozora spektralne analize koji se koristi za izračunavanje početne kratkotrajne Fourierove transformacije radi poboljšanja performansi automatskog prepoznavanja govora ovisnog o govorniku. (ASR) sistem. U nedostatku doktora, laici mogu koristiti sisteme za pomoć pri odlučivanju koji su kreirani korištenjem pristupa umjetne inteligencije. Rano i neinvazivno otkrivanje srčanog statusa može se postići pomoću signala fonokardiograma (PCG) [19–21].

Pokazalo se da konvolucione neuronske mreže (CNN) uspješno simuliraju strukturni lokalitet u prostoru karakteristika, kao i da koriste udruživanje unutar područja pristrasne frekvencije kako bi se smanjile translacijske varijacije i prilagodile smetnjama i malim promjenama u prostoru karakteristika [22]. Mukhamadiyev et al. predložio je end-to-end duboku neuronsku mrežu sa skrivenim Markovljevim modelom modela prepoznavanja govora i hibridnu konekcionističku vremensku klasifikaciju (CTC) - mrežu pažnje za uzbekistanski jezik i njegove dijalekte. Predloženi pristup smanjuje vrijeme treninga i poboljšava tačnost prepoznavanja govora efektivnim korištenjem funkcije CTC cilja u treningu modela pažnje [23]. Ekstrakcija i klasifikacija karakteristika pomoću modela jednodimenzionalne konvolucione neuronske mreže (CNN), koji deli zvučne signale srca na normalne i abnormalne, direktno nezavisne od elektrokardiograma (EKG), predložena je u [24]. Oni tvrde da je tačnost klasifikacije veća u 1D CNN-u nego u 2D CNN-u za signale srčanog zvuka koji se koriste u ovoj studiji kada je konvoluciono jezgro manje od 52 jer velika konvoluciona jezgra može dovesti do računske složenosti i oduzima sve više vremena. . U [25], duboka neuronska mreža je obučena da maksimizira posteriornu tačnost sekvenci stanja akustičkih modela u vezi sa sekvencama govornih karakteristika koristeći TIMIT bazu podataka (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Prethodna obrada: Pregled materijala

Cistanche dodatak blizu mene-Poboljšanje pamćenja

U tu svrhu neophodni su razvoj brzih algoritama za izdvajanje parametara karakteristika iz govornih signala i parametarskih reprezentacija, izdvajanje korisnih i informativnih uzoraka za obradu, te razvoj programa za implementaciju spektrograma odabranih akustičkih segmenata.

Sistemi za prepoznavanje govora sastoje se od dva glavna podsistema:

Primarna obrada govornih signala (fonogram);

Klasifikacija akustičkih simbola pomoću inteligentnog algoritma (spektrograma).

Prvi podsistem generiše akustičke simbole kao skup informativnih akustičkih svojstava signala i karakteristika signala. Drugi podsistem konvertuje govorni signal u parametarski oblik na osnovu dobijenih akustičkih karakteristika. Obrada govornog signala sastoji se od sljedećih faza:

Odvajanje granica govornog signala;

Digitalno filtriranje;

Segmentacija;

Primjena prozora za zaglađivanje;

Spektralna transformacija i normalizacija spektralnih frekvencija.

Ovi koraci se intenzivno koriste za izdvajanje parametara karakteristika iz govornih signala, a njihove glavne karakteristike se razmatraju u nastavku.

3.1. Razdvajanje granica

Izdvajanje samo dijelova govora iz dolaznog signala ili određivanje početnih i završnih trenutaka rečenice u bučnom okruženju je bitan zadatak u obradi govora. Za rješavanje ovog problema koriste se sljedeće osobine govornog signala: kratkoročna energija govornog signala, broj tačaka koje se sijeku na nuli, gustina distribucije vrijednosti polja tišine unutar signala i spektralna entropija. Tradicionalni sistemi za prepoznavanje govora koriste tehnike koje se zasnivaju na prolaznoj i spektralnoj energiji signala (npr. detekcija glasovne aktivnosti) za određivanje granica govora iz dolaznih govornih signala [26–28].

Glavni parametri govornog signala su kratkoročna energija govornog signala i broj tačaka koje prolaze kroz nulu. Po pravilu, parametri govornog signala se brzo mijenjaju tokom vremena; stoga je uobičajeno da se govorni signal obrađuje u fragmente dužine od 10 do 30 ms koji se ne preklapaju. Govorni signal je stacionaran unutar ovog opsega, a područja tišine u govornom signalu se uklanjaju izračunavanjem energije prolaza. Algoritam za rješavanje ovog problema podijeljen je na N nizova od 256 kratkoročnih energetskih vrijednosti sljedećeg govornog signala.

Proračun energije svakog fragmenta dijeljenjem govornog signala je prikladan za paralelno i distribuirano računanje. Svaki fragment se samostalno obrađuje. Ako se obrada primjenjuje u n-jezgrenom multiprocesoru, bit će moguće izračunati energiju n fragmenata istovremeno. Stoga je u ovoj fazi moguće povećati efikasnost paralelne obrade [29–32].

3.2. Broj prelaska nule

Prelazak nule je tačka u kojoj se predznak matematičke funkcije mijenja (npr. iz pozitivnog u negativan), što je predstavljeno presjekom ose (nulte vrijednosti) na grafu funkcije [33]. Frekvencija prelaska nule u signalu može biti najjasniji pokazatelj njegovih spektralnih svojstava. Na primjer, broj tačaka koje prolaze kroz nulu u govornom signalu može se odrediti pomoću sljedeće jednačine:

Slika 1. Metoda razdvajanja govora zasnovana na spektralnoj entropijskoj analizi.

3.3. Digitalno filtriranje

Pored tipičnog, korisnog signala, prisutni su i različiti tipovi šuma. Kako buka negativno utiče na kvalitet sistema za prepoznavanje govora, suočavanje sa bukom je goruće pitanje. Za smanjenje nivoa buke u sistemu koriste se dva tipa digitalnih filtera: linijski filter i početni filter. Linearni filter se može smatrati kombinacijom filtara niske i visoke frekvencije jer hvata sve niske i visoke frekvencije. Početno filtriranje se primjenjuje kako bi se smanjio utjecaj lokalnih smetnji na karakteristične oznake koje se koriste za naknadnu identifikaciju. Govorni signal mora biti propušten kroz niskopropusni filter za spektralno poravnanje [35].

3.4. Segmentacija

Segmentacija je proces podjele govornog signala na diskretne fragmente koji se ne preklapaju. Signal se obično dijeli na govorne jedinice kao što su rečenice, riječi, slogovi, fonemi ili čak manje fonetske jedinice. Segmentacija snimaka koji sadrže iskaze brojnih govornika može se sastojati od pripisivanja dijelova iskaza određenim govornicima. Termin "segmentne stanice" se ponekad koristi za podjelu govornog signala u okvire prije njegove parametrizacije [36,37].

3.5. Spektralna transformacija

Potrebno je razlikovati glavne karakteristike govornih signala koje se koriste u kasnijim fazama procesa prepoznavanja govora. Početne karakteristike se određuju analizom spektralnih svojstava govornih signala. Algoritam brze Fourierove transformacije se obično koristi za dobijanje spektralne frekvencije govornog signala [38,39].

3.6. Normalizacija spektralnih frekvencija

Čitav računski proces u inteligentnim algoritmima zasniva se na pokretnim decimalnim brojevima. Stoga su parametri objekata koji se klasifikuju pomoću neuronskih mreža ograničeni na opseg [{{0}}.0, 1.0]. Rezultirajući spektar se normalizira između 0 i 1 za primjenu spektralne obrade pomoću neuronske mreže. Da bi se to postiglo, svaka vektorska komponenta je podijeljena na svoje maksimalne komponente.

Metode spektralne obrade omogućavaju korištenje svih uzoraka podataka koji se dobijaju iz govornog signala. Mnogi govorni signali imaju specifičnu frekvencijsku strukturu i spektralna svojstva. Spektralne metode omogućavaju visokopreciznu obradu govornih signala. Nedostaci spektralne obrade uključuju nisku fleksibilnost lokalnih karakteristika signala, nedostatak spektralnih dimenzija i relativno visoke računske troškove.

Fourierova transformacija, talasna analiza i mnogi drugi algoritmi se intenzivno koriste u spektralnoj obradi govornih signala. Fourierova transformacija se koristi u mnogim poljima nauke, uključujući obradu govora. U obradi govornog signala, Fourierova transformacija pretvara signal iz vremenskog polja u spektralno polje kao frekvencijsku komponentu [40].

U prethodnim studijama, za spektralnu analizu primijenjene su diskretna Fourierova transformacija (DFT), diskretna kosinusna transformacija (DCT), kratkoročna Fourierova transformacija i talasna transformacija. Ove metode su korištene za transformaciju fragmenata govornog signala u frekvencijski domen i izračunavanje spektra. TBB i OpenMP paketi su korišteni za kreiranje paralelnih algoritama za spektralne transformacije. U ovim metodama, komanda dijeli signal u okvire; na primjer, N=16, 32, … ili 4096 za svaki okvir [4]. Veličina svakog kreiranog okvira jednaka je veličini bloka keš memorije jer je keš memorija faktor koji utiče na efikasnost paralelne obrade. Rezultati ubrzanja su prikazani na slici 2.

Slika 2. Rezultati ubrzanja za (a) četiri i (b) osmojezgrene procesore.

Za softversku implementaciju algoritama paralelne obrade izvršena je serijska i paralelna obrada na četvorojezgarnim i osmojezgarnim procesorima, koji su primenjeni pomoću personalnih računara i servera, kako je navedeno u tabeli 1.

Tabela 1. Karakteristike Intel procesora.

Glavna karakteristika DCT algoritma je periodičnost. Prednost DCT-a je u tome što ima tendenciju da koncentriše većinu energije signala na mali broj faktora. Sljedeće jednačine daju elemente matrice koeficijenata:

gdje je L(k) vrijednost DCT-a, k je indeks koeficijenata, x(n) predstavlja stavke podataka, a N je veličina okvira.

Parametri Fourierove analize su osnova metoda koje se koriste za generisanje vektora karakteristika u većini sistema za prepoznavanje govora u digitalnoj obradi govornih signala unutar spektralnog domena. Cepstralni koeficijenti Mel-frekvencije (MFCC) [41] i tehnike linearnog prediktivnog kodiranja (LPC) [42,43] koriste se u Fourierovoj analizi za generiranje slika spektrograma iz govornih signala. Spektri koji su dobijeni pomoću Fourierove analize daju koncizne i precizne informacije o govornom signalu, kao što je ilustrovano na slici 3.

Slika 3. DFT: (a) promjena frekvencijskog opsega u vremenskom domenu i (b) spektrogram.

Za spektralnu analizu u eksperimentima su korišteni dvodimenzionalni (2D) signali. Karakteristike 2D spektralne analize koje se koriste u algoritmima za paralelnu obradu slike pogodne su za paralelnu obradu u višejezgarnim procesorima [38]. Konkretno, vektori i matrice naprijed i inverzne transformacije imaju binarne dimenzije, a kompatibilnost ove višejezgrene procesorske arhitekture može efikasno povećati brzinu računanja. Stoga smo za hardversku implementaciju algoritama koji su korišćeni za obradu 2D signala primenili sekvencijalnu i paralelnu obradu na računaru sa različitim karakteristikama procesora (tabela 2).

Tabela 2. Karakteristike primjene Intel procesora.

Cijeli 2D signal je podijeljen na identične fragmente različitih veličina u svakoj fazi [44]. Vrijednosti odabranih fragmenata bile su između rezolucije piksela od 16 × 16 i 1024 × 1024. Brzina paralelnog DCT algoritma korištenjem OpenMP paketa u usporedbi s onom sekvencijalnog algoritma prikazana je na slici 4. Upotreba paralelne 2D spektralne analize algoritam na višejezgrenim procesorima daje rezultat overkloka koji je blizak broju jezgara.

Slika 4. Rezultati ubrzanja za 2D paralelnu spektralnu analizu.