popularyzatorski opis rezultatów projektu

Nr wniosku: 191965, nr raportu: 17219. Kierownik (z rap.): prof. dr hab. Rafał Jacek Delekta
W syntezie dźwięku można wyróżnić dwa główne nurty. Jeden obejmuje metody pozwalające uzyskać nowe i
interesujące brzmienia. Założeniem drugiego jest odtworzenie dźwięku istniejących instrumentów i ich zastąpienie w
sytuacjach, w których nie można z nich skorzystać, np. podczas pracy kompozytora nad utworem na orkiestrę.
Zrealizowany przez nas projekt wpisuje się w drugi z wymienionych nurtów.
Do imitacji instrumentów najczęściej stosuje się sampling. W metodzie tej, naciśnięcie klawisza syntezatora, albo
wpisanie nuty, powoduje odtworzenie dźwięku prawdziwego instrumentu który wcześniej nagrano (tzw. „próbki”). Z
pozoru nie ma tutaj pola do udoskonaleń, ale w rzeczywistości sampling ma swoje słabe strony. Każdorazowe zagranie tej
samej nuty brzmi identycznie – jest to wszak to samo nagranie. Powtarzalność jest nienaturalna, a jej uniknięcie jest
pracochłonne. Wymaga nagrania wielu wariantów i ręcznego przypisania ich tym samym nutom w różnych miejscach
utworu. Drugim problemem jest gra techniką legato, czyli ścisłe łączenie dźwięków. Próbki są dźwiękami nagranymi
osobno, więc zagranie ich sekwencji nie tworzy płynnej linii melodycznej.
W ramach projektu opracowaliśmy nową metodę syntezy dźwięku, do realistycznej imitacji instrumentów dętych
orkiestry symfonicznej. Metoda jest oparta na samplingu, ale rozwiązuje jego główne problemy. W miejsce próbek
pojedynczych nut wykorzystuje próbki zawierające krótkie sekwencje dźwięków. Zachowują one naturalne przejścia
między dźwiękami, pozwalające stworzyć gładką, naturalną melodię – frazę. Sekwencje są łączone „na zakładkę”, czyli
na wspólnym dźwięku. Służy temu specjalnie zaprojektowany algorytm przenikania, dzięki któremu jedna sekwencja
niezauważalnie przechodzi w drugą. Gdyby zapis nutowy utworu wykonać dosłownie, byłby zbyt regularny i
nienaturalny. Żywy muzyk podczas gry delikatnie zmienia tempo, gra ciszej lub głośniej, ostrzej lub bardziej łagodnie.
Nasza metoda symuluje to zachowanie. Wprowadza nieregularności oparte o zbiór tzw. reguł wykonawczych,
określających jak należy grać, w zależności od tego, co aktualnie jest grane (np. gdy dźwięki melodii są coraz wyższe,
można nieco przyspieszyć).
Podobnie jak w przypadku muzyka, który najpierw uczy się utworu, także nasza metoda najpierw dokonuje analizy nut
które ma wykonać. Nie służy więc do gry „w czasie rzeczywistym”, lecz do wykonywania wcześniej zapisanych
utworów. Odpowiednie algorytmy dzielą nuty na frazy, a frazy na segmenty, do których dopasowywane są odpowiadające
im fragmenty sekwencji nut z próbek. Po analizie następuje właściwa synteza. Próbki są przycinane i montowane tak, aby
utwór miał właściwe tempo z wszelkimi założonymi zmianami i niuansami. Zmontowany dźwięk jest w odpowiednich
miejscach wzmacniany lub osłabiany – zgodnie z regułami wykonawczymi. Po tym jest już gotowy do słuchania.
Realizując projekt stworzyliśmy program komputerowy, który demonstruje działanie naszej metody. Nagraliśmy także
potrzebne do niej próbki z sekwencjami dźwięków (dla każdego z 10 nagranych instrumentów zarejestrowaliśmy po
około 5000 – 6000 próbek).
Nasza metoda syntezy może stać się podstawą do opracowania bardziej realistycznych syntezatorów dźwięku i wpłynąć
na rozwój kierunków takich jak dyrygentura (pozwoli lepiej symulować orkiestrę), aranżacja, czy kompozycja (naturalne
brzmienie umożliwi lepszą ocenę pisanego utworu). Jej implementacja może stanowić źródło dźwięku w badaniach z
zakresu analizy muzycznej, inżynierii dźwięku i psychologii słyszenia. Poszczególne z opracowanych przez nas technik i
algorytmów poszerzą zestaw narzędzi analizy muzycznej, inżynierii dźwięku i przetwarzania sygnałów. W ujęciu
najbardziej ogólnym, dzięki naszej metodzie rozszerzy się krąg zastosowań syntezatorów dźwięku, a muzyka grana na
nich będzie brzmiała lepiej.