Synteza mowy - Jolanta Bachan

Synteza mowy
Jolanta Bachan
Synteza mowy
●
System przetwarzania tekstu pisanego na mowę
●
Text-to-Speech (TTS)
●
TTS powinien być w stanie przeczytać każdy
tekst, ale w praktyce nie jest to takie proste do
zrealizowania
2
Synteza mowy
●
●
Parametryczna synteza mowy
●
synteza formantowa
●
synteza artykulacyjna
Konkatenacyjna synteza mowy
●
synteza difonowa
●
synteza trifonowa
●
unit selection
3
Synteza mowy
●
●
Parametryczna synteza mowy
●
synteza formantowa
●
synteza artykulacyjna
Konkatenacyjna synteza mowy
●
synteza difonowa
●
synteza trifonowa
●
unit selection
4
Konkatenacyjna synteza mowy
●
●
Konkatenacyjna synteza mowy łączy mniejsze
jednostki nagranej mowy (difony, trifony, sylaby,
wyrazy) w większą całość (wyrazy, zdania)
System jest oparty na bazie nagrań mowy.
Baza posegmentowana jest na mniejsze
elementy (głoski, difony, wyrazy), z których
później “skleja się” wypowiedzi.
5
Co to jest Close Copy Speech
Synthesis?
6
Close Copy Speech Synthesis
The CCS synthesis system produces a sound
which “repeats an utterance produced by a
human speaker with a synthetic voice, while
keeping the original prosody” (Dutoit, 1996).
7
Manual Close Copy Speech (MCCS)
Resynthesis
8
Komponenty MCCS
●
●
Wejście: Mowa
●
nagrania mowy
●
anotacja nagrań mowy
Syntezator mowy (tu: MBROLA)
●
baza difonów (tzw. głos MBROLI)
●
silnik syntezatora
9
MCCS synthesis
11
Synteza MCCS
●
Monotonny
Monotone
●
Synteza MCCS
MCCS
●
Oryginał
Original recording
12
Zastowowania MCCS
●
Tworzenie bodźców na potrzeby testów
percepcyjnych mowy
●
Narzędzie w nauczaniu fonetyki
●
Eksperymentowanie z prozodią
●
Sprawdzanie anotacji
13
Anotacja mowy w Praacie
14
Anotacja dla syntezy CCS
REQUIRED
FOR
SPEECH
RE-SYNTHESIS
15
Anotacja dla syntezy CCS
REQUIRED
FOR
SPEECH
RE-SYNTHESIS
Pitch
Phones
Durations
16
Format pliku PHO
17
Głoski:
SAMPA
Format pliku PHO
Iloczas
Pozycja F0
Wartość F0
18
Start z MBROLĄ
●
●
bachan.speechlabs.pl/files/2008-0603_JB_OprUzytkowe_MBROLAdownload_insta
lation.pdf
Wykonaj syntezę MCCS
●
●
Przygotuj plik PHO dla poanotowanego pliku dla
języka polskiego lub angielskiego
Stwórz własny plik PHO
19
Ewaluacja syntezy mowy
●
zrozumiałość
●
naturalność
●
skala MOS – Mean Opinion Score, od 1 do 5
20
Do zobaczenia na wykładach!
●
30 listopada, 15:15-16:45, sala 212c
●
prof. Girish Nath Jha
–
●
dr Moses Ekpenyong
–
●
India's Ancient Manuscripts - complexities and challenges
for language informatics
Nwed Usem Ibibio: Towards the Empowerment of
a Non-Major Language
1 grudnia, 10:00-11:30, sala 212c
●
prof. Dafydd Gibbon
–
Digital Humanities – Processing Text and Speech
21