Marek Chołoniewski Systemy interaktywne I. Interakcja, historia

Marek Chołoniewski Systemy interaktywne I. Interakcja, historia

Marek Chołoniewski
Systemy interaktywne
I. Interakcja, historia
Interakcja towarzyszy człowiekowi od czasów najdawniejszych. Występowała jako naturalna
reakcja na bodźce płynące ze strony naturalnych sił przyrody. Konstrukcja narzędzi, od
najbardziej podstawowych do coraz bardziej złożonych, w tym budowa prostych instrumentów
muzycznych wyznaczała pierwsze formy technologii stosowanej do celów użytkowych i
rytualnych. Synchronizacja czynności manualnych i ruchowych z odbiorem bodźców
słuchowych i wzrokowych tworzyła wczesne formuły interaktywności na różnych poziomach
stosowania.
Integracja tańca, śpiewu i gry na instrumentach muzycznych wyznaczały od początku istnienia
cywilizacji ludzkiej formy sztuki synkretycznej, w której wzajemne pobudzanie, stymulowanie,
dialogowanie, nakładanie, przetwarzanie były jednymi z wielu składników interakcji jako języka i
form komunikacji.
Gra na instrumencie opiera się na szczególnej formie interakcji wykonawczo-słuchowej, gdzie
muzyk jest zarówno wykonawcą, jak i odbiorcą wykonywanej muzyki, za każdym razem staje
się częścią zintegrowanego procesu kreatywno-percepcyjnego. Pobudzanie instrumentu do gry
i równoczesny odbiór dźwięków stanowi podstawowy model interakcji pomiędzy wykonawcą, a
drgającym instrumentem. Podobne zależności występują w innych formach aktywności
człowieka, gdzie wykonywane czynności potwierdzane są na poziomie podstawowych zjawisk
fizycznych przez reakcję przedmiotów, rezonans pomieszczeń, a w przypadku współdziałania
większej ilości osób, grupowego oddziaływania na globalną kreatywność i percepcję.
Interakcja w muzyce i sztuce audiowizualnej z zastosowaniem technologii komputerowej jest
ważną częścią badań i projektowania systemów komputerowych od końca lat 60-tych (Max
Mathews Groove). Dotyczyła głównie synchronizacji czasowej wybranych elementów
przygotowanej wcześniej partytury komputerowej podczas jej koncertowego wykonania. Max
Mathews tworząc podstawowe modele interaktywności pod koniec lat 60-tych rozdzielczość
1
gestu ludzkiego mierzył z dokładnością 256 zmian na sekundę. Ta miara w ostatnich czasach
uległa znacznemu podwyższeniu w zależności od stosowanych technologii, jak i modeli
interaktywności. Ten ostatni element bynajmniej nie podąża ściśle za rozwojem technologii,
raczej poszerza obszar zastosowań interakcji od solowych wykonań koncertowych, po
rozłożone w czasie i przestrzeni projekty interaktywnej sztuki sieciowej.
Modele interaktywności dotyczą zarówno zależności pomiędzy gestem pojedynczego
wykonawcy jak i grupowego współdziałania z instalacją interaktywną, czy wręcz złożonego w
czasie i przestrzeni kompleksowego współdziałania wykonawców i odbiorców będących częścią
złożonych struktur interaktywnych.
Klasyfikacja sztuki interaktywnej dotyczy modeli i strategii interaktywności, technologii urządzeń
i oprogramowania.
Współczesnym synonimem interaktywności jest zdalny, bezdotykowy kontakt ze źródłem
dźwięku, obrazu, instalacją dźwiękową lub audiowizualną, stosującą bardzo różne technologie,
zarówno cyfrowe, jak i mechaniczne, elektryczne, elektromechaniczne, elektromagnetyczne,
elektrostatyczne, elektroniczne i wiele innych pośrednich, mieszanych i interdyscyplinarnych
technologii.
Wiele współczesnych rozwiązań technologicznych pozostaje z jednej strony w analogii do
konstrukcji tradycyjnych instrumentów, z drugiej zaś wprowadza nieznane dotychczas formy
kontroli nad dźwiękiem i obrazem wyznaczając nowe formy interaktywności. Przykładem mogą
być ekrany dotykowe z graficznymi symulacjami tradycyjnych instrumentów, w tym
klasycznych instrumentów klawiszowych, strunowych, dętych i perkusyjnych, zespołów
instrumentalnych, a nawet otwartych przestrzeni z naturalnymi dźwiękami otoczenia.
Dynamiczny rozwój współczesnych systemów dotykowych dostępnych w tabletach, telefonach
komórkowych i różnych formach przenośnych urządzeń integrujących dźwięk i obraz otworzył
nieznane dotychczas możliwości interakcji na poziomie bardzo różnych zastosowań
artystycznych.
Innym przykładem coraz powszechniejszego dostępu do technologii interaktywnych jest
dynamiczny rozwój konsoli gier komputerowych, oraz różnorodnych kontrolerów
projektowanych głównie w celach rekreacyjnych. Poprzez masową produkcję urządzeń
wyposażonych w sensory ruchu, kamery podczerwieni ogólnie dostępne stają się kontrolery
typu Nintendo Wii Remote, Nunchuck, maty taneczne, czy też wprowadzony na rynek w II
połowie 2010 roku kontroler Kinect. Poza głównymi funkcjami obsługi gier komputerowych
mogą one być używane do bardzo nietypowych zastosowań interaktywnych. Instalowane coraz
częściej we współczesnych urządzeniach przenośnych powszechnego użytku (smartfony,
fotograficzne aparaty cyfrowe, odtwarzacze mp3/mp4) akcelerometry/żyroskopy i ekrany
dotykowe wprowadzają nowy standartstandard intuicyjnej obsługi urządzeń poprzez naturalne
tłumaczenie gestu na wybrane zjawiska audiowizualne.
Forma kontaktu z systemem interaktywnym, detekcja ruchu i sposób wyzwalania reakcji
instrumentu, instalacji dźwiękowej wymaga szerszego omówienia.
2
II. Gest
Rozdział ten dotyczy różnych form tłumaczenia gestu na zdarzenia dźwiękowe.
Gest wykonawcy może przyjmować rozmaite formy i odnosić się do różnych tradycji
wykonawczych i kulturowych.
1. Gest muzyczny
Projektowanie współczesnych systemów interaktywnych musi brać pod uwagę formy
gestu ludzkiego, jego możliwości, jak i naturalne ograniczenia.
Gest muzyczny odnosi się do zmiany pozycji rąk, w tym szczególnie ruchu palców. Jest
bezpośrednio związany z budową tradycyjnych i współczesnych instrumentów muzycznych.
Należy rozróżnić różne typy gestu muzycznego powiązanego z techniką gry na poszczególnych
typach instrumentów.
a. gest klawiaturowy
Forma gestu powiązania z grą na klawiaturze, posiada swoje odniesienie do tradycji gry na
instrumentach klawiszowych (organy, klawesyn, fortepian, klawiatura MIDI,etc.).
Gest klawiaturowy wydaje się być najbardziej złożonym gestem dającym możliwość sterowania
10 zdarzeniami równocześnie. Ważnym poszerzeniem tradycyjnych technik gry na klawiaturze
w XX wieku są techniki klasterowe, równoczesna gra na klawiaturze i na strunach, stukanie w
korpus instrumentu.
Rozmiar dłoni wykonawcy, odległości pomiędzy palcami stanowią naturalne ograniczenie
przekładające się na złożoność faktury wykonywanych tradycyjną techniką partytur
muzycznych.
Zastąpienie tradycyjnej klawiatury nowymi klawiaturami dotykowymi, taśmami umożliwiającymi
płynną zmianę wysokości (m.in. Fale Martenota), czy też w latach 60-tych klawiatura Synthi
AKS stanowiła parędziesiąt lat temu alternatywę wymagającą poszerzenia tradycyjnych technik
wykonawczych na klawiaturze, a w przypadku typowej klawiatury MIDI wyposażonej w zestaw
obrotowych i suwakowych kontrolerów.
b. gest dyrygencki
Prototypem bezdotykowego instrumentu interaktywnego był Theremin
(Thereminvox)
skonstruowany w 1920 roku przez Lwa Termena (Leona Theremina). Dwie anteny tłumaczące
ruch rąk wykonawcy na płynne zmiany wysokości i głośności monofonicznej partii elektronicznej
(ton sinusoidalny) są modelem, na podstawie którego tworzono wiele innych bezdotykowych
instrumentów, przede wszystkim ostatnio w erze dynamicznego rozwoju technologii cyfrowej.
3
Theremin jest równocześnie prototypem
sterownika tłumaczącego ruchy rąk, które w
swojej formie najbardziej zbliżone są do
dyrygenckich. Skonstruowany przez Maxa
Mathewsa system Groove posiadał szereg
kontrolerów i był sterowany programem
Conductor, będącym prototypem programu
dyrygenckiego, w którym wirtualna orkiestra
dyrygowana była za pomocą Batuty Radiowej
(Radio Baton). System był wielokrotnie
modyfikowany zachowując podstawowy układ
dwóch anten, przecinających 3-wymiarową
przestrzeń nad poziomą powierzchnią 3wymiarowej anteny odbiorczej. Wygląd Radio
Baton, jak i sposób gry na instrumencie bardziej przypominał grę na kotłach. Niemniej jednak
zasada dyrygowania wcześniej przygotowanymi strukturami dźwiękowymi (w większości
przypadków Max Mathews posługiwał się fragmentami znanych utworów z repertuaru
klasycznego) stanowiła niezwykle przekonujący przykład modelu dyrygenckiego. Analogia
między Thereminem i Batutą Radiową dotyczy głównie konstrukcji 2 anten - sterowników.
Theremin był monofonicznym instrumentem, a Radio Baton od samego początku posiadał
ogromny potencjał do tworzenia nieograniczonych, wielowarstwowych i wieloelementowych
modeli interaktywnych projektów audiowizualnych.
Max Mathews wykonuje “Arię na strunie G” J.S. Bacha za pomocą Radio Baton
c. gest smyczkowy
Ciągłe, posuwiste ruchy ręki z interaktywnym systemem Sensorlab stosuje od lat Franziska
Baumann, szwajcarska flecistka i wokalistka, przetwarzająca w swoich utworach własny głos.
Formy przetworzeń dotyczą manipulacji czasowych, transformacji barwy głosu w kierunku
kategorii bardzo dalekich od wokalnych. Ruchy ręki wykonawcy z przymocowanymi czujnikami
ruchu pozwalają także na kontrolę wielokanałowej przestrzeni dźwiękowej.
Smyczkowanie jako gest interaktywny został wykorzystany w kompozycji Ephreia na kwartet
smyczkowy Michała Pawełka, w którym prawa ręka muzyków kwartetu smyczkowego
wyposażona w czujniki ruchu zamienia pociągnięcia smyczków na sterowanie wybranymi
parametrami przetworzeń dźwięku. Powiązanie naturalnych ruchów rąk wykonawców z
4
wybranymi parametrami przetworzeń, daje w wielu wypadkach niezwykle oryginalny rezultat.
Podstawowy, akustyczny materiał dźwiękowy kwartetu smyczkowego dokonuje płynnego
przejścia w rejony dalekie od brzmienia instrumentów smyczkowych miksując różne kategorie
dźwięków przetworzonych ze strukturami generowanymi interaktywnie.
d. gra na instrumencie dętym
Od lat produkowane na wzór tradycyjnych instrumentów dętych kontrolery, wśród których
najbardziej znany to EWI (Electronic Wind Instrument). Instrument wykorzystuje technikę
wykonawczą stosowaną w wybranych instrumentach dętych, przyjmując kształt fletu (Akai),
saksofonu (m.in. Casio), lub też puzonu (Propeller Trombone Nicolasa Collinsa).
e. gest perkusyjny
Gest perkusyjny jest najbardziej złożonym i w wielu przypadkach łączy różne tradycje
wykonawcze. Kontrolery przyjmują formę instrumentów perkusyjnych o określonej wysokości K.A.T. (marimba MIDI), lub też typowego zestawu perkusyjnego zastąpionego przez zestaw
membran na statywach z czujnikami nacisku (MIDI Drum Set). Warto zauważyć, że zestaw
elektronicznych padów perkusyjnych w swojej podstawowej postaci to pola reagujące na
pojedyncze uderzenia, w swej bardziej zaawansowanej postaci reagujące także na siłę
uderzenia i miejsce uderzenia. Ciekawym rozwiązaniem o bardzo niskiej cenie jest interaktywna
mata taneczna. Klasyczna mata taneczna posiada 10 niezależnych, wyzwalanych polifonicznie
pól uderzenia i w swojej topografii przypomina klasyczny zestaw perkusyjny.
f. gest szarpany
Kontrolery imitujące grę na instrumentach strunowych szarpanych posiadają czujniki napięcia
strun, lub też reagują na ruch wirtualnych strun. ISA Harp Petera Sycha jest kontrolerem MIDI z
16 poziomymi i 16 pionowymi niewidzialnymi strunami “rozciągniętymi” na metalowej ramie.
Instrument poza swoją podstawową formą polifonicznego instrumentu szarpanego jest używany
jako kontroler wideo i tablet dyrygencki.
2. Gest techniczny
Powiązany jest ściśle z obsługą specjalistycznych urządzeń technicznych, odtwarzaczy,
komputerów, kontrolerów MIDI etc. i dotyczy określonych form ruchu ręki. Typowy dla działań
towarzyszących realizacji koncertów muzyki elektroakustycznej gdzie kompozytor, realizator
zajmuje się projekcją dźwięku w wielokanałowej przestrzeni,
równocześnie dokonując korekty barwy, obsługując także
dodatkowej parametry barwy dźwięku na stole mikserskim. Ten
rodzaj współdziałania z odtwarzaną z taśmy lub komputera
kompozycją elektroakustyczną
daleki
jest
od
żywego,
ekspresyjnego wykonania utworu na instrumencie, lub poprzez
system
interaktywny.
Niemniej
jednak
formy
gestów
towarzyszących wykonywaniu muzyki elektroakustycznej w
bardziej tradycyjnej formie zawierają ruchy, które pojawiają się
dość często w obsłudze tabletów graficznych i dotykowych
ekranów
zawierających
symulację
mikserów,
Peter Sych - ISA Harp
wielościeżkowej struktury utworu, wraz z symulacją instrumentów
dającymi możliwość dogrania niektórych partii na żywo.
a. obrotowy, najczęściej stosowany do obsługi pokręteł, suwaków, przycisków,
joysticków itp. Gest obrotowy nie posiada swojego odpowiednika w grze na
instrumentach tradycyjnych, z wyjątkiem gry na lirze korbowej, czy też glissand na
5
harfie. Jest on bezpośrednio kojarzony z obsługą pokręteł różnej wielkości, będących
składową stołów mikserskich, kontrolerów MIDI itd. Gest obrotowy używany jest
bardzo często w wielościeżkowych programach sekwencerowych, obiektowych
systemach programowania jako substytut fizycznych pokręteł.
b. przesuwowy powiązany z obsługą suwaków będących częścią wielu instrumentów i
urządzeń. Jest analogią do gry na instrumentach smyczkowych, puzonie, glissanda
na klawiaturze, a także typowego gestu tanecznego
c. dotykowy jednokrotny to rodzaj gestu cyklicznego mający na celu stopniową
skokową zmianę wybranych wartości. Rozwiązanie typowe dla wielu urządzeń
polegające na zwiększaniu lub zmniejszaniu określonej wartości poprzez wielokrotne
naciskanie na dwa pola + - .
d. dotykowy wielopunktowy (multitouch) jest formą równoczesnego sterowania
wybranych parametrów za pomocą kilku palców. Współczesne systemy umożliwiają
niezależne przesuwanie/otwieranie/zamykanie wybranych parametrów. Technika
multitouch umożliwia równoczesne sterowanie
kilkoma parametrami dostępnymi na ekranie
dotykowym. Stosowany do polifonicznego
sterowania
wielokanałowych
sekwencji.
Jednym z systemów używających multitouch
na iPhonie/iPadzie/iPodzie Touch jest program
Oscemote składający się z 4 niezależnych
paneli sterowania. Każde pole pojawiające po
dotknięciu dowolnego punktu na ekranie może
wysyłać zmienne strumienie danych sterujące
wcześniej zaprogramowanymi parametrami w
odbiorniku, jakim może być dowolny system
pracujący w standarcie OSC lub MIDI.
Tworzenie zmiennych konfiguracji połączeń to
jeden z licznych rozwiązań z zastosowaniem
technologii Multitouch zarówno na coraz
bardziej
dostępnych
przenośnych
urządzeniach z ekranem dotykowym, jak i
Multitouch w programie Oscemote
systemach wyposażonych w monitor dotykowy.
e. parametryczny jest gestem powiązanym z wybranymi elementami wykonywanej
kompozycji. Ten rodzaj gestu ma swoje powiązanie z obsługą urządzeń
technicznych, specjalistycznych, odrębnych systemów specjalnie konstruowanych do
określonych zastosowań interaktywnych
6
Squint
1. Gest taneczny i ruch ciała
Jest ściśle powiązany z tradycją tańca, zarówno klasycznego (balet), współczesnego, kultur
etnicznych jak i naturalnego ruchu aktorów na scenie w teatrze, czy też sztuce performance. Te
formy ruchu stosowane są w sztuce interaktywnej zarówno w swej czystej, fizycznej
(kinetycznej) postaci, będąc poszerzeniem form sztuk performatywnych, czy wreszcie
wykorzystujące naturalny gest i ruch osób wyzwalających dźwięki i obrazy instalacji
interaktywnych.
Ruch całego ciała będący przedłużeniem gestu jest procesem typowym dla tańca, zarówno w
jego tradycyjnych formach, rozwiniętej artystycznie formie jakim jest balet i niezwykle
różnorodnych formach tańca współczesnego, ale także w formach sztuki performance.
Międzynarodowy zespół Squint od dawna stosuje interaktywny kostium Miburi produkowany w
ograniczonej ilości przez firmę Yamaha. Squint łączy taniec interaktywny z grą na instrimentach
akustycznych i interaktywnych kontrolerach (m.in. K.A.T.).
Instalacje interaktywne dostępne dla publiczności posługują się częstokroć podobnymi
rozwiązaniami technologicznymi opartymi na mapowaniu przestrzeni i instalowaniu systemu
czujników ruchu.
Instalacja monitorująca przestrzeń ekspozycji instalacji posługuje się zazwyczaj dwoma
rozwiązaniami technologicznymi:
a. Monitorowanie przestrzeni poprzez systemy sensoryczne określające precyzyjnie ruch
wokół czujnika lub ich zestawu, kalibrowane w określonym zakresie.
- System MCOS zaprojektowany w latach 90-tych przez M. Chołoniewskiego składa się z
szeregu czujników optycznych podłączonych do kontrolera MIDI. Działa poprzez elektroniczne
rozszerzenie funkcji suwaków i pokręteł. Każdy z sensorów kalibrowany jest w zakresie 0 - 127 i
pracuje jako niezależny kontroler MIDI (CC). Strumień danych otrzymywanych z
poszczególnych kontrolerów traktowany jest niezależnie i może być używany do bardzo różnych
zastosowań. W projekcie lighting z 1995 roku trzy sensory optyczne podłączone były do
kontrolera głośności (CC7), modulacji (CC1) oraz PitchBand sterując trzema niezależnymi
strukturami dźwiękowymi.
- W roku 1999 na zamówienie Avantagrde Tirol powstała kompozycja dark&lightZone M.
Chołoniewskiego dla londyńskiego Kwartetu Arditti. Wykonywana była w różnych składach,
7
także przez zespół tańca współczesnego (Stanislaw Wisniewski Compagne) i w formie
interaktywnej instalacji dźwiękowej (Galeria IMT w Londynie).
b. Analiza wybranego fragmentu przestrzeni poprzez kamery wideo.
- David Rokeby zaprojektował jeden z pierwszych interaktywnych systemów wideo
skanujących ruch w przetrzeni już w 1982 roku. Very Nervous System 1 (VNS) będący
początkowo interaktywną instalacją wideo został opracowany jako ogólnie dostępny system
interaktywny. Duet qfwfq 2 (Andrea Pensado, Greg Kowalski) z Bostonu używa systemu
zarówno do performance jak i instalacji interaktywnych.
Memory of Looking Glass - instalacja
1
2
http://homepage.mac.com/davidrokeby/vns.html
www.qfwfqduo.com
8
- Wśród systemów wideo używanych do interakcji znalazły się w okresie późniejszym systemy
Big Eye oraz Imagine opracowane w latach 90-tych w centrum STEIM w Amsterdamie. Od
tamtego czasu pojawiło wiele programów komercyjnych i specjalistycznych systemów
programowania obiektowego, m.in. Jitter 3, będący rozszerzeniem systemu Max/MSP.
- Eric Singer zaprojektował obiekt Cyclops 4 w ramach systemu Max/MSP posiadający wzory
ruchu w przestrzeni dające możliwość skanowania gestów, ruchu postaci i przedmiotów w
kadrze kamery.
- Jednym z ogólnie dostępnych obecnie programów do przetwarzania obrazu wideo jest
system Arkaos Vj 5 pozwalający na łączenie materiału wideo/audio z grafiką, obiektami flash
oraz podłączenie kilku kamer wideo przekazujących obraz na żywo. Materiał wideo w formie
tzw. visuals oraz efektów wideo posiada w swojej wewnętrznej konfiguracji możliwość
sterowania wybranymi parametrami za pomocą kontrolerów MIDI. Wyzwalanie połączonych
obiektów visuals z algorytmami effects odbywa się za pośrednictwem klawiatury komputera
lub klawiatury MIDI, a za pomocą specjalnie zaprojektowanego patcha Max/MSP możliwe
jest też sterowanie całym materiałem za pomocą wybranych kontrolerów MIDI. Zastosowanie
kontrolerów ruchu, połączenie ich z kamerą podłączoną do systemu daje ogromne
możliwości tworzenia wielowarstwowej interakcji.
3
http://cycling74.com/products/maxmspjitter
http://cycling74.com/products/cyclops
5
www.arkaos.net
4
9
Marek Chołoniewski - face
- Program Isadora
6
firmy Troikatronix posiada wiele funkcji skanowania przestrzeni przez
kamerę wideo, Stosowany zarówno do performance interaktywnych jak i instalacji wideo.
- Bardzo
ciekawym rozwiązaniem jest zastosowanie kamery podczerwieni dającej
możliwość skanowania wyciemnionej przestrzeni, reagującej na nieoświetlone obiekty
znajdujące się w ruchu, a więc np. publiczność odwiedzającą miejsce ekspozycji, lub
też ruchome przedmioty będące częścią instalacji.
6
www.troikatronix.com
10
III. Modele interaktywne
Modele interaktywne ukazują zależność pomiędzy ilością równoczesnych akcji i
odpowiadającym im reakcjom dźwiękowym lub audiowizualnym. Ta bardzo ważna część
rozważań dotyczy form konwersji interakcji. Pierwszy i ostatni model w zestawieniu poniżej
obrazują odpowiednio pełną i minimalną kontrolę nad wykonywanymi na żywo strukturami
dźwiękowymi lub audiowizualnymi. Równocześnie pierwszy i ostatni model związane są
odpowiednio z zawężonym i nieograniczonym zakresem materiału dźwiękowego i wizualnego.
Modele interaktywne są otwartą listą określonych kategorii.
1. Model organowy (organ mode) można wyrazić wzorem 1 gest = 1 dźwięk
Jest to klasyczny model sterowania dźwięków syntetycznych z klawiatury MIDI, lub za pomocą
wybranych kontrolerów (np. EWI), stosowany również przy zamianie wysokości dźwięku
akustycznego na jego syntetyczne odpowiedniki w urządzeniu Pitch to MIDI Converter.
W modelu tym zachowujemy pełną kontrolę nad pojedynczym dźwiękiem, jednak posiadamy
poważne ograniczenie dotyczące gęstości i złożoności faktury dźwiękowej i wideo.
2. Model szyfrowany (coded mode) - 1 gest = x dźwięków
Ten model rozwiązuje ograniczenia modelu organowego poprzez wprowadzenie tabel konwersji
i mapowania systemu powiązanego z pojedynczym gestem i wielowarstwowej reakcji systemu.
Jednym z pierwszych zastosowań tego modelu była kompozycja Stanisława Krupowicza
Concerto z 1987 roku. Partia komputera zaprogramowana w systemie MIDI Lisp wykonywana
za pomocą klawiatury MIDI zapisana została w formie tradycyjnej partytury. Nuty partii
komputera nie odpowiadają konkretnym wysokościom dźwięku syntetycznego, lecz uruchamiają
różne sekwencje syntetycznych zdarzeń dźwiękowych. W ten sposób pojedynczy gest
polegający na wciśnięciu jednego klawisza wyzwala większą ilość zdarzeń dźwiękowych,
których złożoność zależy wyłącznie od programisty, kompozytora, autora systemu interakcji.
3. Model dyrygencki (conducting mode)
Pojedynczy gest przekłada się na wybrane grupy parametrów.
Pionierem prac nad dyrygowaniem wirtualną orkiestrą komputerową był Max Mathews i jego
pierwszy system interaktywny Groove skonstruowany w 1969 r. Do najbardziej znanych
kontrolerów Maxa Mathewsa należy Radio Baton sterujący wielopłaszczyznową partią wirtualnej
orkiestry poprzez program Conductor 7.
Kontroler wraz z systemem wielokrotnie prezentowany był w Polsce przez Richarda Boulangera
z Berklee College of Music w Bostonie. Jego kompozycja Shadows na skrzypce i komputer jest
utrzymana w konwencji koncertu skrzypcowego dla solisty wykonującego partię solową i
dyrygenta realizującego partię orkiestry sterowanej za pomocą Batuty Radiowej.
7
www.musanim.com/tapper/ConductorProgram.html
11
Richard Boulanger (Radio Baton) i Barbara Stuhr (skrzypce)
wykonują Shadows R. Boulangera podczas Festiwalu Audio Art w 1993 r.
4. Automatyczny akompaniament - symultaniczne czytanie partytur
Model użyty po raz pierwszy w systemie Synthetic Performer 8Barry Vercoe (IRCAM 1984) i
prezentowany podczas Konferencji Muzyki Komputerowej w Paryżu w 1984 r. Flecista
wykonywał partię fletu wybranych Sonat fletowych Haendla, komputer podążał za wykonawcą
realizując partię klawesynu. System zawierał moduł Learn umożliwiający rozpoznawanie
niuansów interpretacyjnych konkretnego wykonawcy poprzez cykl prób rejestrowanych przez
system komputerowy. Interpretacja dotyczyła w głównej mierze zmian tempa wykonywanej
partytury. Flet wyposażony został dodatkowo w sensory optyczne zwiększające znacznie
precyzję systemu w czasach, gdy tłumaczenie dźwięku akustycznego na informacje cyfrowe
obciążona była sporym marginesem błędu.
Roger Dannenberg w tym samym czasie używał modelu automatycznego akompaniamentu 9.
Sterowanie systemu odbywało się poprzez klawiaturę MIDI i było bardziej precyzyjnym
rozwiązaniem.
5. Muzyka - 1 (music minus one) - tape + organ mode
Połączenie modelu klawiaturowego (organ mode) i modelu odtwarzania (tape mode), bardzo
często stosowany w wykonaniach muzyki zarówno poważnej, jak i rozrywkowej, stanowi typowy
wariant połączenia syntetycznej orkiestry z solowym wykonaniem. Max Mathews zainicjował
wydanie klasycznych koncertów instrumentalnych bez partii solowej do domowego wykonania z
orkiestrą odtwarzaną z płyty.
6. Odtwarzacz (tape mode, player mode)
Ten model stosowany od początku istnienia muzyki na taśmę, wykonywanej podczas koncertów
poprzez uruchomienie odtwarzania magnetofonu, odtwarzacza plików audio w systemie
komputerowym. Gest wykonawcy ogranicza się wyłącznie do początkowego uruchomienia
wcześniej skomponowanej partii taśmy, pliku dźwiękowego poprzez jednokrotne naciśnięcie
przycisku start/play/enter. Historycznym odtwarzaczem muzyki była katarynka, pozytywka, czy
też pianola stosujące mechaniczny zapis muzyki na wałku metalowym.
8
9
www.youtube.com/watch?v=vOYky8MmrEU
http://portal.acm.org/citation.cfm?id=199288.192515
12
Sterowanie na żywo odtwarzaną taśmą z zapisaną muzyką podczas wykonania koncertowego
dotyczy głównie korekcji głośności i dystrybucji dźwięku w wielokanałowym systemie audio.
13
IV. Formy sztuki interaktywnej
1. Performance (Wysyg, dark&lightZone, lighting, Doubles)
Zakłada użycie interaktywnych systemów do tworzenia kompozycji audiowizualnych
przeznaczonych do wykonania koncertowego, performance, happeningu, sztuki akcji, projektu
audiowizualnego. 10
Marek Chołoniewski - WYSYG (1989)
2. Instalacja
Instalacja interaktywna przeznaczona jest do ekspozycji w galerii, przestrzeni otwartej i
cybernetycznej, także poszerzona o urządzenia VR (Virtual Reality) lub bezpośrednio w sieci
internetowej, dostępna za pomocą wydzielonych i specjalnie zaprogramowanych kontrolerów.
Instalacja interaktywna przyjmuje częstokroć formę sztuki wizualnej w stanie zawieszenia,
bezruchu, lub zapętlonego automatu dźwiękowego lub audiowizualnego. Instalacja dźwiękowa
jest rozwinięciem wcześniejszej formy instalacji i jako taka wypełnia przestrzeń, w której jest
ekiponowana eksponowana i wchodzi z nią w nowe relacje. Instalacja dźwiękowa z elementami
interakcji pojawia się też jako specyficzna forma megainstrumentu, dostępnego dla publiczności
10
WYSYG - What You See You Get na światło i komputer (1989)
Wysyg jest nową formą audiowizualnego performance wykorzystującego system “dyrygowania światłem”.
Zmiany światła, uzyskiwane z ruchu lampy trzymanej w ręce odbierane są przez system sensorów
optycznych umocowanych do głowy wykonawcy. Każdy z nich steruje niezależnie wybranym parametrem
wstępnie przygotowanej partytury zapisanej w pamięci komputera.
System działa w następujący sposób:
1. względny czas trwania pojedynczych i złożonych struktur dźwiękowych zależy od częstotliwości
otwierania ust
2. “instrumentacja” i przetworzenia dźwięku zależą od wielkości światła padającego na sensor
umieszczony na szyi wykonawcy
3. projekcja przestrzenna dźwięku zależy od światła dochodzącego do sensorów umieszczonych przy
uszach wykonawcy
Kompozycja Wysyg wykorzystuje dwie abstrakcyjne energie - światło i dźwięk. Figury świetlne są
bezpośrednio tłumaczone na frazy muzyczne. Dosłownie, to co widzisz jest tym co słyszysz (what you
see you get).
14
lub wybranych jej przedstawicieli. Częstokroć instalacja używana jest do koncertów i
performance’ów zmieniając okresowo swoją funkcję czasową podczas wielodniowej ekspozycji.
Marek Chlanda.Marek Chołoniewski - Uszy, oczy, nos - instalacja interaktywna (1988)
National Gallery Haga 1989
Jan Pieniążek - Obiekt S
Festiwal Audio Art w Krakowie 1997
15
3. Gra interaktywna (Small fish, Soundrop)
Częstokroć stanowi poszerzenie formy instalacji, dawniej prezentowana podczas warsztatów,
dystrybucji CD-ROM, obecnie dostępna w formie przygotowanej prezentacji wyzwalanej
poprzez zestaw czujników, mikrofonów, padów, kamer etc.
Soundrop - muzyczna gra interaktywna
4. Partytura interaktywna - muzyka algorytmiczna (Passage)
Podczas wykonania koncertowego kompozycji Passage (2001) generowane są partytury do ich
natychmiastowego wykonania bez możliwości wcześniejszego przygotowania (a’vista). W
kompozycji Passage zestaw czujników przymocowanych do pustych pulpitów zamienia ruchy
rąk wykonawców na materiał nutowy powstającej na żywo partytury.
Idea
16
W kompozycji Passage wybór materiału dźwiękowego opiera się na wstępnym przygotowaniu
określonych sposobów selekcji (algorytmów), które w istocie pozbawiają twórcę (w pozytywnym
tego słowa znaczeniu) możliwości podejmowania indywidualnych decyzji w odniesieniu do
poszczególnych parametrów dzieła muzycznego. Wybór wynika zatem z metody, która,
stosowana ze ścisłą konsekwencją, tworzy określone struktury dźwiękowe. W ten sposób
twórca wyzwala się częściowo od własnych indywidualnych preferencji; wkracza w obszar
eksperymentu, który w przypadku kompozycji Passage został poddany ścisłej kontroli.
Kompozycja jest sumą doświadczeń z wieloletniej pracy nad komputerowymi kompozycjami
algorytmicznymi, w których zniesiony został podział na muzykę instrumentalną i komputerową,
zniesione zostały również granice stylistyczne i materiałowe w odniesieniu do podstawowych
elementów dzieła muzycznego.
Forma utworu
Kompozycja składa się z czterech części: I. Wstęp, II. Teatr Gestów, III. Partytura, IV. Film.
Pierwsze dwie części to performance, w których muzycy poprzez akcje parateatralne sterują
muzycznym systemem komputerowym, tworzącym «na żywo» wielopłaszczyznową strukturę
dźwiękową. Każdy z muzyków realizuje niezależną partię. System komputerowy tworzy
równocześnie partyturę, stanowiącą podstawowy materiał nutowy do wykonania III i IV części
utworu. Muzycy wykonują partie instrumentalne pojawiające się przed nimi na ekranie
zawieszonym nad sceną. Dodatkowo ruch instrumentów i zmiana pozycji muzyków w III części
wpływa na przetwarzanie dźwięków instrumentów akustycznych. Ostatnia, IV część utworu
przyjmuje formę audiowizualnego spektaklu, gdzie do interaktywnej transformacji dźwięków
instrumentalnych dołączona zostaje projekcja filmowa (animacja komputerowa), sterowana
przez ruch muzyków i ich gesty.
Obsada
Passage w swej oryginalnej formie wykonuje oktet składający się z dwóch kwartetów: dętego
drewnianego (flet, obój, klarnet i fagot) i smyczkowego (skrzypce, altówka, wiolonczela i
kontrabas). Ponieważ wszyscy muzycy są równocześnie «performerami», wykonującymi
specyficzny «teatr gestów», ich fizyczne powiązanie z instrumentami, możliwość ruchu wraz z
instrumentem jest jednym z podstawowych założeń technicznych realizowanego utworu.
Obsada zmieniała się wielokrotnie od wykonania solowego po zespoły składające się z
instrumentów etnicznych i własnej konstrukcji.
A vista
Przejście (Passage) z II do III części utworu związane jest z poważnym problemem natury
technicznej. Materiał w postaci tradycyjnie skomponowanej partytury pojawia się na ekranie po
raz pierwszy podczas wykonywania utworu. Kompozycja jest poliwersyjna. Materiał «komponuje
się» za każdym razem w nieco inny sposób. Muzycy wykonują zatem III i IV część a vista.
Przybliżone wykonanie graficznej partytury gestu jest temperowane i uśredniane rytmicznie
przez interaktywny system komputerowy. Koncepcja utworu wyklucza wcześniejsze
przygotowanie indywidualnych partii przez poszczególnych muzyków.
Wykonanie odbywa się z pomocą dyrygenta lub systemu słuchawek z impulsem metronomu
przekazywanym z komputera indywidualnie do każdego z muzyków (zasada ta była wielokrotnie
stosowana w utworze Like Breathing).
Gest
Wyjściowym materiałem źródłowym dla kompozycji Passage jest gest, który przyjmuje dwie
podstawowe formy: - figur geometrycznych, - ekspresji muzycznych.
17
Gest wykonany bliżej (wyżej) źródła światła (high) oznacza wyższą wartość - dźwięk wyższy.
Gest bliżej podłogi, oddalony od źródła światła (low) oznacza wartość niższą - dźwięk niższy.
Interaktywny optyczny system komputerowy reaguje na zmianę położenia ręki oraz na jej
pozycję.”
Do realizacji utworu zaprojektowano patch w systemie Max/MSP, który zamienia gesty
wykonawców na strumień danych przekazywany do programu notacji muzycznej Finale. Do
tego celu można zresztą zastosować dowolny program notacyjny.
5. Instalacja miejska (GPS-Art)
Strategie mapowania przestrzeni miejskiej i sterowania nagraniami dźwięków i obrazu ulic miast
przez samochód wyposażony w interaktywny system GPS.
GPS-Art to nowa dziedzina działań artystycznych opartych na ruchu w otwartej przestrzeni.
GPS-Art to globalny instrumnt interaktywny służący do tworzenia i przetwarzania materiału
dźwiękowego i wizualnego, łączy w sobie elementy instalacji dźwiękowej i wizualnej tworząc
nowe fromy przekazu. Projekt obejmuje działania w gigantycznych skalach plenerowych i
urbanistycznych. Może być realizowany na ziemi, powietrzu, pod wodą, a także w przetsrzenii
kosmicznej.
Wszystkie projektu GPS-Art tworzone są z wykorzystaniem urządzenia GPS-12 (Global
Positioning System) firmy Garmin, z bezprzewodowymi odbiornikami Bluetooth, a także z
wykorzystaniem telefonii komórkowej. GPS-12 określa swe położenie na podstawie pozycji 12
satelitów zawieszonych nad północną półkulą Ziemi. GPS-12 stosowany jest w nawigacji i
określna interaktywnie wiele parametrów topograficznych, m.in. położenie geograficzne (w sklali
od 10m do tysięcy kilometrów), wysokość nad poziomem morza, prędkość i wiele innych.
Pomiary stanowią punkt wyjścia dla wielu różnych działań artystycznych.
W latach 2000 – 2007 koncepcja dztuki GPS-Art realizowana była poprzez serię manewrów
artystycznych GPS-Trans 1 – 8. GPS-Trans to transmisja w czasie i przestrzenii. Wcześniej
nagrywany, montowany i przetwarzany materiał audio, foto i wideo sterowany jest na żywo
poprzez zestaw synchronizowanych ze sobą urządzeń: GPS, telefonów komórkowych, szeregu
systemów komputerowych pełniących funkcję serwerów, odbiorników i stacji przesyłowych i
nadawczych. GPS-Trans realizowany jest równocześnie w otwartej przestrzenii miejskiej
(arenie), skanowanej przez anonimowy samochód-nadajnik z zainstalowanym systemem GPS,
będący głównym wykonawcą kompozycji audiowizualnej/happeningu oraz dwóch
przestrzeniach publicznych, w których znajdują się odbiorcy tego działania. Podstawową
przestrzenią odbioru działania w latach 2000 – 2004 była globalna sieć Internetowa
z dołączoną do niej galerią Bunkier Sztuki w Krakowie. Od 2005 roku główną przestrzenią
odbioru działania GPS-Trans stanowi galeria sztuki:Galeria Krzysztofory i Bunkier Sztuki w
Krakowie, w Warszawie w Zamek Ujazdowski, a w Chicago galeria Deadthech.
Samochód w projekcie pełni w projekcie funkcję wykonawcy grającego na instrumencie, którym
jest całe miasto z wyselekcjonowanymi sektorami, dzielnicami. Mapa miasta stanowi rodzaj
partytury i gigasamplera równocześnie. Parędziesiąt sektorów miasta (w Krakowie 63, a w
Chicago 83) reprezentowanych jest w postaci nagranych wcześniej sekwencji naturalnych
dźwięków otoczenia, głosów ludzi i zwierząt naturalnych szumów miejskich, przejeźdźających
samochodów, odgłosów najbardziej charakterystycznych dla wybranych dzielnic miasta, a od
GPS-Trans 4 simultaniczne nagrania wideo.
Pierwszy projekt GPS-Trans 1 wykonany został w grudniu 2000 roku w postaci czterech bloków
3-godzinnych, w sumie 12 godzin jako połączenie transmisji odgłosów miasta, przetwarzanych i
transmitowanych na żywo przez Internet. Był modelem prywatnego radia internetowego.
Dźwięki ścisłego centrum Krakowa wokół Rynku transmitowane były poprzez 16 telefonów
18
komórkowych miksowanych na żywo poprzez połączenie konferencyjne. Dźwięki poddawane
były przetworzeniom i wysyłane poprzez indywidualny kanał audio do Internetu i odbierane z ok.
14 sekundowym opóźnieniem. Opóźnienie sygnału audio przesyłanego przez Internet,
stanowiącego w tamtych czasach poważny problem techniczny, potraktowano jako walor i
wykorzystano do uruchomienia nowatorskiego procesu artystycznego Internet Delay. Zapętlenie
sygnału audio poprzez kontrolowane na żywo sprzężenie zwrotne (feedback) wykorzystano do
utworzenia innego procesu przetworzenia dźwięku Internet Wave.
GPS-Trans 2 był pełnym połączeniem technologii komórkowej, GPS, oraz zainicjowanego
wcześniej wykorzystania Internetu jako procesora przetwarzania sygnału audio. Najważnejszym
jednak elementem było potraktowanie miasta jako gigasamplera z poruszającym się
samochodem,
pełniącym
rolę
wykonawcy/nadajnika
przesyłającego
koordynaty,
wykorzystywane jako zmienne w tworzeniu na żywo kompozycji muzycznej i audiowizualnej.
Było także traktowane jako forma przewodnika po mieście, nazwane z tego powodu: dźwiękową
mapą miasta Krakowa.
Specjalnie w tym celu utworzony algorytm w programie Max/MSP traktował przestrzeń
urbanistyczną jako 3-wymiarową strukturę porównywalną do gigantycznego namiotu
rozwieszonego nad miastem. Samochód poryuszający się po arenie posiadał maszt wirtualny,
wyznaczający poziom głośności materiału audio z obszaru, w którym się znajdował.
Samochów/nadajnik sygnału GPS odtwarzał/wykonywał wcześniej nagrane dźwięki
z maksymalnym poziomem głośności, podczas gdy dźwięki rejonów sąsiadujących odtwarzane
były z niższą głośnością. Rejony miasta najdalej położone od miejsca przejazdu samochodu
odtwarzane były najciszej. Cały proces wykonywany był na żywo z założeniem, że cały materiał
audio przesyłany jest równocześnie, ale słyszymy głównie dźwięki rejonu miasta, przez który
samochód przejeżdża. Algorytm realizujący te założenia był procesem dynamicznie
zmieniającym wiele koordynatów rónwocześnie realizowanym poprzez specjalnie dedykowane
urządzenia komputerowe. Podczas realizacji projektu GPS-Trans 2 użyto 7 niezależnych
systemów komputerowych.
GPS-Trans 3 do dźwięków miasta dołączył serię zdjęć, których odtwarzanie odbywało się na
zasadzie fotoplastikonu, przy czym szybkość oglądanych w Internecie zdjęć sterowana była na
żywo przez szybkość samochodu/nadajnika/wykonawcy. Zatrzymanie samochodu w
dowolonym miejscu powodowało zatrzymanie procesu odtwarzania zdjęć.
GPS-Trans 3 stanowił audiowizualną mapę miasta Krakowa.
Pierwsze trzy projektu GPS-Trans 1 – 3 emitowany był głównie w Internecie, i wybranej
przestrzeni publicznej, miejskiej galerii Bunkier Sztuki w Krakowie.
Bardzo ważnym elementem wszystkich projektów internetowych jest ich dostępność. Włączenie
działań GPS-Art do określonych działań medialnych od początku istnienia projektu było jednym
z nadrzęnych zadań. GPS-Trans 1 był częścią projektu café 9, a także częścią ekspozycji
dotyczącej nowych mediów w Bunkrze Sztuki w Krakowie.
GPS-Trans 2 emitowany był poprzez czeską rozgłośnię internetową Radio Jeleni.
GPS-Trans 3 był jednym z trzech europejskich projektów będących częścią
międzykontynentalnego
projektu
internetowego
Williama
Duckwortha
Cathedral11
transmitowanego przez serwer Akamai. Oglądalność projektu mierzona była w dziesiątkach
tysięcy odbiorców.
GPS-Trans 4 – 5 zmienił priorytet odbioru ze wskazaniem na określoną, zamkniętą przestrzeń
publiczną (Galeria Krzysztofory, Bunkier Sztuki, Zamek Ujazdowski, Deadtech) z towarzyszącą
tym działaniom transmisją internetową.
Do GPS-Trans 4 zrealizowanego w Galerii Krzysztofory w Krakowie 30 czerwca 2003 roku
dołączono nowy element jakim był obraz wideo. W samochodzie zostały umieszczone 4 kamery
cyfrowe filmujące odpowiedznio: przód, tył oraz lewą i prawą stronę ulic miasta, przez które
przejeźdźał samochód według ściśle określnego planu. Tak nagrany materiał wideo i audio
został następnie wprowadzony do czterech komputerów z podłączonymi do nich czterema
11
www.monroestreet.com/Cathedral
19
projektorami wyświetlającymi nagrane wcześniej filmy na cztery ekrany tworzące czworobok w
Galerii Krzysztofory w Krakowie. Materiał audio wykorzystywany był do przetworzeń na żywo i
miksowany był z muzyką wykonywaną przez zespół Improvisers Ensemble tworzących muzykę
do dźwięków miasta. Odtwarzanie wcześniej nagranego materiału wideo i audio odbywało się
na żywo poprzez ruch samochodu po ulicach wcześniej nagranych przez cztery
zsynchronizowane ze sobą kamery. Tym razem samochód wyposażony był w system GPS
transmitujący koordynaty położenia i szybkości samochodu poruszającego się po mieście. A
więc transmisja w czasie i przetsrzenii. Publiczność poprzez wejście w przestrzeń pomiędzy i na
zewnątrz czterech ekranów stała się żywym i aktywnym uczestnikiem procesu audiowizualnej
transmisji ulic miasta Krakowa. Była częścią ruchu samochodu sterującego na żywo
odtwarzanie materiału audiowizualnego z przeszłości sterowanego w teraźniejszości.
Na podobnych zasadach został przygotowany i wykonany projekt GPS-Trans 6 w Zamku
Ujazdowskim w Warszawie w grudniu ubiegłego roku podczas kolejnej edycji warszawskiego
Festiwalu Audio Art.
GPS-Trans 5 zrealizowany w galerii Bunkier Sztuki 16 stycznia 2005 roku opierał się m.in na
żywej transmisji audio i wideo ulic miasta Luksemburg (Marcin Wierzbicki), które stanowiły
dynamiczną partyturę dla 9-osobowego międzynarodowego zespołu improwizujących muzyków
w składzie: Marek Chołoniewski, Tomek Chołoniewski, Krzysztof Iwanicki, Rafał Mazur, Tomek
Nazarewicz, Keir Neuringer, Sasha Pecaric, Gilad Roth, Łukasz Szałankiewicz.
GPS-Trans 6 wykonany został po raz pierwszy poza Krakowem w Centrum Sztuki
Współczesnej, Zamek Ujazdowski w Warszawie. Nagrane symultanicznie ulice stolicy stanowiły
podstawowy materiał operacji audioziwualnych podczas warszawskiej edycji festiwalu Audio Art
– Przestrzenie Dźwięku. Projekt zrealizował 8 grudnia 2005 roku 4-osobowy zespół w składzie:
Marek Chołoniewski, Marcin Wierzbicki, Maciej Walczak i Jan Chołoniewski.
Kolejna realizacja to GPS-Trans 7 w Deadtech Gallery w Chicago 6 kwietnia 2007 roku. Jedno
z największych miast amerykańskich zostało podzielone na 83 sektory, nagrane setki struktur
dźwiękowych oraz wiele godzin wideo rejestrując centrum miasta na zachód od jeziora
Michigan. Podczas jazdy samochodem z zainstalowanym systemem GPS poczwórna projekcja
wideostanowiła ruchomą partyturę dla 5-osobowego zespołu muzyków pod kierunkiem Ryana
Igebritsena, koordynatora projektu.
Podczas GPS-Trans 8 w Krakowie 7 maja 2007 roku wykonano po raz pierwszy synchronizację
4 miast, które wcześniej brały udział w realizacji działań GPS-Art. W realizacji projektu brał
udział zespół Improvising Artists. Połączono na 4 ekranach projekcje z Krakowa, Warszawy,
Luksemburga i Chicago.
W przygotowaniach i realizacji większości projektów GPS-Trans wzięły udział 4 osoby: Marek
Chołoniewski, Marcin Wierzbicki, Jan Chołoniewski i Ryan Ingebritsen.
W 2009 roku zrealizowano dwie kolejne edycje projektu. 22 marca w ramach
międzynarodowych warsztatów COOP w Centrum Sztuki Solvay w Krakowie odbyła się kolejna
odsłona projektu GPS-Trans 9. Miesiąc później działania sztuki sieciowej z wykorzystaniem
technologii GPS powiązano z festiwalem Multiplace koordynowanym w Bratysławie. Obrazy i
dźwięki Bratysławy, Krakowa i Berlina nakładały się wzajemnie na mapy tych aglomeracji
tworząc niezwykle zróżnicowany pejzaź dźwiękowy nałożony na wyrafinowaną strukturę obrazu
wideo rejestrowaną we wszystkich miastach biorących udział w projekcie GPS-Trans 10.
Translokacja poprzez “multiple mapping” to jedna z metod tworzenia kompleksowych struktur
audiowizualnych koordynowanych na żywo przez samochód przemierzający ulice miasta.
W chwili obecnej trwają ostatnie przygotowania przed premierowym projektem Derive - GPSTrans 11 w Pecs, europejskiej stolicy kultury. Komppozycja zamówiona przez European
Bridges Ensemble zostanie przez ten zespół wraz z kompozytorem i Marcinem Wierzbickim
wykonana 10 grudnia w hallu Uniwersytetu w Pecs.
Ostatnią odsłoną projektu był GPS-Trans 12 we Wrocławiu wykonany podczas ostatniej edycji
festiwalu Musica Electronica Nova. Samochód poruszający się po ulicach Wrocławia sterował
20
przetworzeniami obrazu wraz z kwartetem improwizujących muzyków w klubie Puzzle. Spektakl
zlożony był z dwóch części, z wykorzystaniem materiału dokonanego w ciągu dnia, oraz w nocy
poprzedzającej wykonanie projektu.
Szczegóły na temat wszystkich projektów GPS-Art dostępne na stronie www.gps.art.pl.
6. Interaktywna sztuka sieciowa
jest przeniesieniem terenu działań interaktywnych z realnie istniejących pomieszczeń do
wirtualnej przestrzeni cybernetycznej, w której formy wizualne symulują obiekty, pomieszczenia
i tereny otwarte, jak również odnoszą się do nierealnych form wizualnych poddanych nowym
prawom i regulacjom (Second Life). Projektowanie form sztuki sieciowej stanowi analogię do
świata gier komputerowych, a także daje możliwość sieciowego współdziałania wielu
wykonawców znajdujących się w różnych miejscach na świecie. Tak skonstruowaną jest
aplikacja Magic Piano firmy Smule. Włączając tryb duet mamy możliwość współdziałania z
anonimową osobą połączoną z nami na żywo i równoczesnej gry na 2 wirtualnych fortepianach
w duecie w dwóch różnych miejscach na świecie.
Magic Piano (Smule) iPad
V. Technologie interaktywne
1. Instrument, kontroler
Część fizyczna instrumentu, panel urządzenia, sensor, czujnik, źródło, wejście...
Ta część systemu interaktywnego jest bezpośrednio powiązana z gestem wykonawcy. Te dwa
elementy gest i kontroler wpływają na siebie, zarówno w fazie projektowania, jak i
wykorzystywania określonych parametrów urządzenia. Należy je traktować łącznie. Jednak ich
opis, zasada działania powiązane są z różnymi dziedzinami i w wielu przypadkach są
powiązane z różnymi tradycjami. To jeden z ważniejszych dziedzin integracji sztuki z
technologią. Obecnie stanowi najważniejszą część działalności wielu laboratoriów, studiów
projektowych, instytutów badawczych.
Instrument w swej elektroakustycznej formie rozpadł się już w latach 50-tych na dwie niezależne
części: akustyczną i fizyczną. W klasycznym i analogowym studio elektroakustycznym (lata 50te do końca 70-tych), współczesnym systemie komputerowym (od lat 80-tych) instrument
istnieje głównie w formie czysto akustycznej. Jest nagraniem, próbką i plikiem dźwiękowym o
różnym poziomie złożoności. Nagranie instrumentu może bowiem dotyczyć pojedynczego
dźwięku, motywu, jak i dłuższej frazy, określanej zazwyczaj jako zdarzenie dźwiękowe. Rozpad
jednolitej struktury estetycznej i stylistycznej instrumentu na 2 niezależne, na nowo integrowane
części jest procesem charakterystycznym dla muzyki kreowanej z pomocą urządzeń i procesów
technologii elektroakustycznej i cyfrowej II połowy XX wieku. W chwili obecnej proces ten
związany jest z istnieniem większej ilości warstw, w których samo podstawowe nagranie
21
dźwięku stanowi punkt wyjścia dla bardziej złożonych manipulacji barwowych i przestrzennych.
W rozbudowanych systemach komputerowych przyjmują one postać wtyczek programowych,
znakomicie nadających się do niezależnego i symultanicznego sterowania, będącego składową
wielowarstwowej interakcji.
Drugą część instrumentu stanowi jego fizyczna część, która przyjmuje obecnie różne formy
kontrolerów, od bardzo typowych “instrumentalnych” ekwiwalentów tradycyjnych klawiatur,
przez zestawy mikrofonów, czujników światła i sensorów ruchu po stosowane w nawigacji
systemy GPS.
a. kontroler - instrument. Fizyczna część instrumentu tradycyjnego przyjmuje formę kontrolera
instrumentalnego posiadającego większość najważniejszych elementów jak klawisze, klapki,
membrany, sztabki, ustniki, struny, Przez to kontrolery instrumentalne wykorzystują umiejętność
gry na tradycyjnym instrumencie, Kontroler w formie tradycyjnego instrumentu umożliwia
stosowanie naturalnych technik instrumentalnych pozwalając na wirtuozowskie traktowanie
wykorzystanie interaktywnego systemu komputerowego na wzór gry na instrumencie
tradycyjnym. Najczęściej w taki przypadku stosujemy klawiaturę MIDI, która w swoim
podstawowym użyciu pozwala na wykonywaniu partii instrumentu z dowolnie wybraną barwą
dźwięku, z bogatej palety znanych dźwięków instrumentalnych, dźwięków syntetycznych,
głosów wokalnych, odgłosów przyrody, ale też efektów dźwiękowych, struktur industrialnych,
abstrakcyjnych zdarzeń dźwiękowych. Im bardziej złożone struktury dźwiękowe poddawane
są kontroli poprzez klawiaturę tym bardziej model organowy wspomniany w III rozdziale
przechodzi w model szyfrowany, gdzie pojedynczy gest wyzwala złożoną strukturę, zdarzenie
dźwiękowe. Posługiwanie się klawiaturą (klawiatura MIDI), kontrolerem dętym (EWI),
instrumentami strunowymi bez pudła rezonansowego (Zeta Violin), czy też kontrolerami
perkusyjnymi umożliwia wykorzystanie naturalnych technik instrumentalnych, tym samym
zwiększa atrakcyjność i możliwość wprowadzania niuansów interpretacyjnych, wyrafinowaną
artykulacją i ekspresją trudno dostępną na poziomie technik wykonawczych przy zastosowaniu
nowych kontrolerów obsługiwanych gestem technicznym. Równocześnie jednak przejście z
technik instrumentalnych do globalnego sterowania wybranymi grupami parametrów w modelu
szyfrowanym, dyrygenckim i automatycznego akompaniamentu jest jednak zdecydowanie
bardziej wyrafinowany, otwiera możliwości łączenia i nakładania struktur, grupowego
wyzwalania wcześniej przygotowanych sekwencji zdarzeń.
b. mikrofon, w tym kontaktowy (piezzo) pełniący przede wszystkim funkcję rezonansu
płaszczyzny i przestrzeni (One Piece of Table 12).
Mikrofon akustyczny i kontaktowy dający separację dźwięku od rezonansu otoczenia pełnią te
funkcje, tym samym bardzo dobrze nadają się do specjalistycznych nagłośnień, ale też do
punktowego odbierania drgań instrumentu w określonym miejscu jego korpusu. Przymocowanie
kilku mikrofonów kontaktowych do instrumentu stanowi punkt wyjścia do koncepcji mapowania
instrumentu/obiektu dźwiękowego, gdzie tworzymy specyficzne terytoria na powierzchni
instrumentu dla uzyskania wielopunktowego sterowania. Przy zastosowaniu wielu mikrofonów
kontaktowych podłączonych do interfejsu z wieloma wejściami audio jesteśmy w stanie
utworzyć system polifoniczny, wielokanałowy, gdzie wybrane pola na korpusie instrumentu
traktowane są jak osobne instrumenty z bogactwem brzmieniowym nakładanym na naturalne
12
Marek Chołoniewski - One Piece of Table (1999)
Przeniesienie powierzchni stołu na akustyczną przestrzeń dźwiękową zawieszoną nad stołem poprzez bezpośrednie
podłączenie 4 mikrofonów do 4 głośników umieszczonych na suficie w rogach pomieszczenia. Dźwięki przedmiotów
przesuwanych na stole, odgłosy akcji wykonywanych na blacie są wzmacniane bezpośrednio w 4-kanałowej
przestrzeni akustycznej nad wykonawcami i publicznością. Stół istnieje w dwóch postaciach: realnej wizualnej na
podłodze i wirtualnej, akustycznej na suficie. W utworze stosuję także dźwięki syntetyczne wyzwalane przez
pojedyncze impulsy akustyczne dzięki technice Audio Time Triggering opracowanej w latach 80-tych.
22
brzmienia akustyczne instrumentu. Stosowanie mikrofonów akustycznych o specyficznej
charakterystyce przestrzennej umożliwia także stosowanie ich do zastosowań interaktywnych.
Umieszczenie mikrofonów typu gun shot daje możliwość dyskretnego skanowania przestrzeni
wykonawczej i wprowadza możliwości monitorowania akustycznego całej przestrzeni sceny i
akustycznego mapowania wybranych sektorów.
c. fotorezystor (photocell) używany jako sensor gestu i ruchu tłumaczy ruch w oświetlonej
przestrzeni, daje możliwość tworzenia efektu “rezonansu obrazu”, quadMixer
Fotorezystor jest elementem, którego oporność ulega zmniejszeniu wraz z jego oświetleniem.
Wiązka światła może ulegać zmianie przez przybliżanie i oddalanie źródła światła (Wysyg),
przez jego zasłanianie (Lighting), a także przez odbijanie (dark&lightZone). Można także
wykorzystać naturalne zmiany wielkości światła padającego na fotorezystor będący częścią
instalacji interaktywnej reagującej na zmiany pogody, czy też naturalne zmiany cyklu dobowego
- dzień/noc. Właściwe użycie fotorezystora wiąże się przede wszystkim z doborem właściwego
modelu. Podstawowa wartość fotorezystora to jego oporność. Stosujemy fotorezystory zarówno
o niskiej jak i wysokiej oporności. Fotorezystor działa jako część systemu elektronicznego i jego
funkcja może albo zastępować fizycznie występujące w układzie potencjometry (MCOS), lub
też być oryginalnie zaprojektowana i podłączona do specjalistycznego interface (Arduino).
d. akcelerometer, żyroskop jest czujnikiem ruchu, dokonującym pomiaru pozycji w 3
podstawowych współrzędnych x, y, z. Pamiętać należy, że bardzo trudno zmiany tych
współrzędnych od siebie oddzielić. Odbiór danych z tego urządzenia musi być precyzyjnie
interpretowany. Dobrym rozwiązaniem jest wykorzystywanie zmian parametrów w zawężonym
zakresie. To rozwiązanie ogranicza wprawdzie rozdzielczość układu. Należy równocześnie
pamiętać, że fotorezystor jest elementem analogowym, a więc jego rozdzielczość jest dużo
wyższa niż rozdzielczość cyfrowego odbiornika danych. Zawężanie więc zakresu działania
akcelerometru niekoniecznie musi wpływać na ograniczenie rzeczywistej rozdzielczości układu.
Wykorzystywanie połowy zakresu od środka skali daje nam możliwość oddzielenia od siebie
współrzędnych i pojedynczego przetwarzania ruchu w odniesieniu do każdej współrzędnej.
Czujnik ruchu znajduje się w jednym z najtańszych urządzeń, jakim jest Wii Remote, kontroler
zaprojektowany do konsol gier komputerowych. Posiada szereg czujników znakomicie
nadających się do otwartej formy kontrolera. Dane wysyła poprzez bezprzewodowy port
Bluetooth i może być odbierany przez szereg programów, służących także do konwersji
protokołu OSC na MIDI.
Jednym z nich jest program Osculator nadający się do równoczesnego odbioru danych z kilku
urządzeń wyposażonych w czujnik ruchu (iPhone, iPad, iPod Touch, Wiimote).
Nintendo Wii Remote + Nunchuck
e. podczerwień (IR). ISA Harp jest instrumentem zaprojektowanym przez Petera Sycha.
Oryginalnie służył jako kontroler sterujący 16 strunami harfy MIDI. W późniejszym okresie został
rozbudowany do 32 strun, a ostatnia wersja powiększona do ramy tanecznej otrzymała nazwę
ISA-Door. W pionowej i poziomej ramie instrumentu/kontrolera umieszczonych jest 32
czujników podczerwieni reagujących na przecięcie promieni i tym samym wyzwalających
impulsy sterujące włączeniem i wyłączeniem dźwięku w module MIDI. Typowy układ kontrolera
z podłączonym do niego systemem komputerowym, w którym system czujników podczerwieni
23
pełni funkcję źródła impulsów reagujących na gest konwertowanych na dźwięki w module
dźwiękowym lub systemie komputerowym. W roku 2009 podstawowe funkcje przecięcia
promieni podczerwieni zostały poszerzone o patch w systemie Max/MSP służący do
skanowania szybkości ruchu w synchronizacji z pozycją obydwu rąk wewnątrz ramy ISA Harp.
Algorytm opracowany przez Marcina Pączkowskiego posłużył do realizacji interaktywnej
instalacji audiowizualnej IterEter zamówionej przez Polskie Stowarzyszenie Muzyki
Elektroakustycznej i po raz pierwszy prezentowanej podczas Festiwalu Warszawska Jesień w
2009 roku. Instalacja była eksponowana w dziale muzyki klasycznej w sklepie EMPiK
Megastore w Warszawie przy ul. Marszałkowskiej. Instalacja prezentowana była także na
Festiwalu Audio Art w Krakowie, Festiwalu Muzyki Nowej w Katowicach w 2010 roku oraz
festiwalu Musica Electronica Nova we Wrocławiu w 2011 roku.
Opis instalacji dostępnej w części flashowej na stronie www.pseme.com/itereter najlepiej oddaje
charakter, formę i wewnętrzną strukturę instalacji.
f. ultradźwiękowa technologia stosowana jest przez Zbigniewa Karkowskiego do
performance’ów interaktywnych w ramach performance’ów nieistniejącejgo już zespołu
Sensorband Trio.
Zbigniew Karkowski (Festiwal Audio Art 1995)
Logos Duo z Gandawy ze swoim pionierskim projektem Holosound. Zawieszony na statywie
transmiter ultradźwiękowy odbiera zmiany generowanego przez umieszczone na podłodze trzy
odbiorniki ultradźwiękowe. System komputerowy analizując zmiany fali ultradźwiękowej w
trójwymiarowej bryle pomiędzy transmiterem i odbiornikami stanowi niewidzialny interaktywny
system skanujący ruch wykonawcy.
24
Logos Duo (Festiwal Audio Art 1997)
2. Interface to urządzenie pełniące funkcję konwertera danych otrzymywanych z czujników,
sensorów, wiązki światła podczerwieni, mikrofonów i wielu innych mieszanych technologii na
ogólnie stosowane protokoły jak MIDI, OSC.
a.
Kontroler MIDI poszerzony o wejścia dla fotorezystorów i innych urządzeń o zmiennej
oporności. Stosowany od 2001 roku przez Marka Chołoniewskiego jako alternatywa dla
autorskiego interfejsu skonstruowanego w 1999 roku. Na zdjęciu kontroler Evolution XSession poszerzony o 17 portów bezpośrednio połączonych z 17 potencjometrami
pełniącymi kontrolę wybranych parametrów w różnych aplikacjach audiowizualnych.
b.
MIDI Tron 13 opracowany przez Erica Singera był jednym z pierwszych ogólnie dostępnych
interfejsów zaprojektowanych specjalnie do zastosowań interaktywnych. Łączony z
systemem komputerowym za pomocą portów MIDI posiada 20 wejść/wyjść dowolnie
programowalnych. Do interfejsu dołączony jest patch w Max/MSP umożliwiający pełną
kalibrację systemu.
13
http://eroktronix.com
25
c.
Eobody14 jest konwerterem interaktywnym. W odróżnieniu od MIDI Tron jest urządzeniem
kompletnym i zamkniętym. Umożliwia bezpośrednie połączenie z komputerem za pomocą
portu USB oraz MIDI. Posiada 8 gniazd wejściowych do podłączenia szeregu czujników
specjalnie kalibrowanych dla tego urządzenia. Są to czujniki optyczne, akcelerometry,
czujniki grawitacji, położenia w 3-wymiarze. Łatwy w obsłudze, nie wymaga dodatkowej
kalibracji.
d. I-CubeX 15 jest jednym z najmniejszych systemów zaprojektowanych do różnych
zastosowań interaktywnych. Jednym z naczelnych założeń firmy przy projektowaniu systemu ICubeX była maksymalna miniaturyzacja, wyciszenie działania podzespołów i duża
odporność na zmienne warunki otoczenia. Idealnie nadaje się do umieszczenia z trudno
dostępnych miejscach, jako część kostiumów interaktywnych.
14
15
www.eowave.com/products.php?prod=39
http://infusionsystems.com
26
e.
16
16
Arduino
jest
obecnie
najczęściej
stosowanym
interfejsem
do
zastosowań interaktywnych. Produkowany od lat wytworzył sporą rodzinę urządzeń
elektronicznych z bardzo określonymi parametrami do różnych zastosowań. Arduino jest
otwartym systemem sprzętowym umożliwiających implementację gotowych prostych
aplikacji obsługi czujników podłączanych do wejść i wyjść analogowych oraz cyfrowych.
Może być instalowany przewodowo lub bezprzewodowo. Jego miniaturowa wersja
znakomicie nadaje się do projektowania kostiumów interaktywnych. Jest bardzo
konkurencyjny dla innych rozwiązań ze względu na relatywnie niską cenę.
www.arduino.cc
27
VI. Algorytmy interaktywne
Powstają od bardzo dawna. Jednym z najstarszych systemów szczególnie rozwijanych do
celów interaktywnych jest program, język programowania obiektowego Max/MSP 17. Darmową
alternatywą jest system PureData18. Trzecim poważnym darmowym konkurentem dostępnym
na podstawowe platformy jest SuperCollider 19. Algorytmy interaktywności powstają jednak
niezależnie od stosowanych systemów oprogramowania i dotyczą zasadniczych formuł
estetycznych.
Autorskie metody sterowania strukturami dźwiękowymi i audiowizualnymi powstawały
stopniowo od połowy lat 80-tych w grupach o różnym stopniu zaawansowania:
1. klasyczne
nagłośnienie, rewersja przestrzeni widzialnej
przetworzenie, modulacja, DSP
Pitch to MIDI Converter
Amplitude to CC Converter
2. detekcji
Audio Time Triggering (ATT) - detekcja sygnałem audio
zamienia zdarzenia akustyczne na serie implusów sterujących odtwarzaniem sekwencji
cyfrowych. Premiera 1988 - komputer Yamaha CX5M - kompozycja Follow Me.
(sterowanie MIDI Timing Clock)
Light Time Triggering System (LTTS) - detekcja ruchem
tłumaczy zmiany światła na serie instrukcji sterujących odtwarzaniem komputerowych
sekwencji dźwiękowych. Premiera 1989 - komputer Yamaha CX5M kompozycja Wysyg.
- sterowanie MIDI Timing Clock
Multi Controller Optical System (MCOS) - wielostopniowe sterowanie za pomocą
wybranych kontrolerów - detektorów ruchu
ControllerHierarhicAudioOpticalSystem (CHAOS) jest połączeniem systemu ATT z
MCOS. Stosowany może być w oparciu o dowolnie wybrany interfejs, z zastosowaniem
różnych urządzeń audio i wideo.
3. kompleksowe
MaWe 20 - MultiAplicantWaveEnvironment - Zintegrowany system interaktywny patch w systemie Max/MSP.
Zaprojektowany w 2003 roku przez Marka Chołoniewskiego i Marcina Wierzbickiego system
przeznaczony był do początku do zintegrowanych procesów kompozycyjnych i wykonawczych.
Rozwijany przez ostatnie 8 lat jest ciekawym rozwiązaniem programu muzycznego, w którym
większość procesów kompozycyjnych i wykonawczych dotyczy metod interaktywnych. MaWe
jest patchem w systemie Max/MSP, dostępnym na dwóch podstawowych platformach
systemowych (MacOs, Windows). Przy jego pomocy skomponowano parędziesiąt utworów o
bardzo różnej stylistyce. System MaWe jest syntezą najważniejszych elementów stosowanych
w dźwiękowej sztuce interaktywnej. Może być stosowany zarówno w kompozycjach
muzycznych jak i instalacjach dźwiękowych oraz audiowizualnych (moduł Movie).
17
www.cycling74.com
http://puredata.info
19
http://supercollider.sourceforge.net
20
www.mawesys.com
18
28
W modularnej strukturze systemu MaWe klawiatura komputera pełni funkcję podstawowego
kontrolera. Może być równocześnie dublowana przez klawiaurę MIDI, Pitch to MIDI Converter,
zewnętrzny moduł Amp_to_CC tłumaczący głośność dźwięku na informacje CC. Ważną częścią
systemu jest zestaw wtyczek programowych dostępnych poprzez Plug-ins Manager zawierający
16 wejść dla zestawu oryginalnych algorytmów DSP oraz dający możliwość podłączenia
wtyczek w formacie VST, które mogą być używane zarówno w formie wirtualnych instrumentów
jak i procesorów. Wszystkie zmienne systemu mogą być sterowane przez zewnętrzne
kontrolery dzięki programowalnym modułom: MIDI Module, Action Manager, Polycontroller
Engine i Snapshot Manager. System jest używany od lat zarówno do tworzenia i wykonywania
kompozycji muzycznych, projektów audiowizualnych jak i instalacji interaktywnych,
dźwiękowych i wizualnych.
System został zaprojektowany do obsługi wielokanałowej projekcji dźwięku (surround).
8 wyjściowych kanałów audio może wyznaczać formę przestrzennej projekcji kompozycji
elektroakustycznej lub bryłę struktury przestrzennej interaktywnej instalacji dźwiękową
dostępnej w jednym lub kilku niezależnych od siebie pomieszczeniach. W podobny sposób
możemy zaprojektować rozmieszczenie konstelacji czujników wejściowych, dających
szczególne możliwości synchronizacji zdarzeń, impulsów dostarczanych do systemu z różnych
miejsc, tworząc zintegrowany system przestrzeni interaktywnych.
System MaWe został zaprojektowany jako wszechstronny system interaktywny. Może być
stosowany do działań muzycznych na żywo oraz do rejestracji i przetwarzania materiału
dźwiękowego, do wykorzystania w działaniach studyjnych (np. muzyka na taśmę,
przygotowanie ścieżki dźwiękowej do filmu, etc.). Dzięki modułowi „Movie” może być także
użyty jako kompleksowe narzędzie do tworzenia skomponowanej lub improwizowanej ścieżki
dźwiękowej do filmu. Biorąc pod uwagę różnorodność zastosowań oraz fakt, że program może
być uruchomiony na komputerach o różnej mocy obliczeniowej i parametrach system MaWe
został zaprojektowany w pięciu głównych odmianach, oferujących różny zestaw możliwości przy
różnym obciążeniu procesora. Trzy z tych odmian posiadają dodatkowo opcję 8-kanałowej
projekcji dźwięku.
Głównym zadaniem MaWe jest odtwarzanie i nagrywanie plików dźwiękowych. Jakkolwiek
MaWe oferuje szeroką gamę możliwości w tej dziedzinie, poszczególne moduły spełniają
określone funkcje, a co za tym idzie różnią się pod względem obsługi i wykonywanych zadań.
29
Przygotowany materiał dźwiękowy podczas odtwarzania może być poddawany złożonym
przetworzeniom. Wybrane moduły systemu zostały zaprojektowane do specyficznych
zastosowań. Moduł MIDI posiada funkcję Learn do automatycznego przyporządkowania
kontrolerów i wybranych parametrów sterowania. Szczególnie ważnym w systemie MaWe jest
moduł Action Manager umożliwiający kompleksowe sterowanie wybranymi parametrami.
Połączenie zmiennych obiektów graficznych do zewnętrznych kontrolerów MIDI stanowi
podstawową zasadę tworzenia związków par wybranych kontrolerów 21. Przyporządkowanie
poszczególnych kontrolerów w różnych zakresach i kierunkach dostępny jest poprzez
Polycontroller Engine. Zapis i interaktywne wyzwalanie struktur Macro dostępne jest poprzez
moduł Snaphot Manager.
21
W instalacji qub ISA Harp jest kontrolerem sterującym odtwarzanie parudziesięciu plików audio z
równoczesną projekcją dźwięku w systemie surround z zastosowaniem oryginalnego algorytmu “cienia
rąk” polegającego na pozostawianiu brzmiących ścieżek w miejscach opuszczenia rąk z ramy ISA Harp.
30
VII.
Zastosowania
wybranych projektów
interakcji
do
1. Garage (2000)
interaktywny performance/instalacja, kompozycja audiowizualna na orkiestrę kameralną,
ograniczoną publiczność, samochody i transmisję radiową.
Założenia
Orkiestra wykonuje partyturę specjalnie skomponowaną dla tego projektu. Muzycy znajdują się
w wyciemnionym wielopoziomowym garażu. Samochody poruszające się po garażu
oświetlają muzyków znajdujących się na zakrętach labiryntu wielopiętrowego garażu, sterując
poziomem głośności poszczególnych instrumentów wg podstawowej zasady więcej światła
głośniejsze dźwięki, mniej światła ciszej. Sterowanie głośnością odbywa się poprzez czujniki
światła znajdujące się przed każdym muzykiem. Wykonywanie kompozycji transmitowane jest
na żywo przez lokalną rozgłośnię radiową. Kierowcy i pasażerowie samochodów poruszających
się po garażu słuchają muzyki wykonywanej przez orkiestrę poprzez radioodbiorniki w
samochodach. Są zarówno współwykonawcami utworu jak i jego słuchaczami.
Przestrzeń
Projekt przeznaczony jest do wykonania w wielopiętrowym, wyciemnionym garażu. Dużych
rozmiarów garaż może zastąpić wielopiętrową konstrukcję. Ścieżki garażu są od siebie
odseparowane dla lepszej akustycznej izolacji. Cała przestrzeń musi być całkowicie
wyciemniona. Z tego powodu podziemny garaż najlepiej nadaje się do realizacji projektu. Innym
rozwiązaniem jest realizacja projektu w sezonie zimowym w godzinach wieczornych i nocnych.
Orkiestra
Zespół składa się z 12 - 16 muzyków. Dźwięki instrumentów są transmitowane wyłącznie za
pomocą mikrofonów kontaktowych. Preferowany jest zestawienie instrumentów skrzypcowych z
perkusyjnymi. Muzycy znajdują się na poszczególnych zakrętach garażu. Samochody
przejeżdżające przez kolejne poziomy, lub sektory garażu oświetlają muzyków znajdujących
się na zakrętach. Światło steruje poziomem głośności poszczególnych instrumentów poprzez
system optyczny sterujący niezależnie głośnością sygnału akustycznego każdego instrumentu.
Wszystkie linie z poszczególnych mikrofonów przesyłane są do samochodu transmisyjnego, w
którym odbywa się miksowanie wszystkich instrumentów, Muzycy wykonują swoje partie z
słuchawkami na uszach, w których otrzymują końcowy rezultat wykonywanego utworu, a także
dodatkowe instrukcje dotyczące poszczególnych wejść, dynamiki, a zwłaszcza tempa
wykonywanego utworu.
Wykonania krótkotrwałe i długotrwałe
Ilość samochodów wpuszczanych stopniowo do garażu w pierwszej części utworu powoduje
powolne zagęszczenie faktury i powstanie ogromnej zmienności dynamicznej pomiędzy
poszczególnymi partiami. Wyjeżdżające z garażu samochody powodują rozrzedzenie faktury
utworu.
W przypadku wielogodzinnych wykonań możemy wprowadzić różne stopnie zmienności
wykonywanej wielokrotnie partytury. Niezależnie od ściśle zapisanego materiału muzycznego
otrzymywać będziemy zmienną dynamicznie fakturę utworu.
2. Kłącza (2008) wg Deluze to instalacja interaktywna obejmująca podziemne przestrzenie
Centrum Sztuki Współczesnej w Zamku Ujazdowskim w Warszawie.
Projekt obejmuje liniową i równoczesną synchronizację 16 (8) ścieżek dźwiękowych
przebiegających korytarzami łączącymi pomieszczenia ekspozycyjne wystawy przygotowanej
przez BWA w Białymstoku we wrześniu/październiku b.r.
31
Do realizacji projektu wykorzystane będą technologie interaktywne tworzące jeden
zintegrowany system dźwiękowy wykorzystujący programy Max/MSP (www.cycling 74.com)
oraz Main Stage (www.apple.com).
Poszczególne struktury dźwiękowe będą inicjowane przez publiczność w zależności od miejsca
i szybkości poruszania się w korytarzach i pomieszczeniach końcowych.
Ilość i gęstość struktur dźwiękowych zależeć będzie od ilości osób znajdujących się w
poszczególnych pomieszczeniach ekspozycji. Każda sala ekspozycji dysponować będzie
materiałem adekwatnym do tematów eksponowanych w poszczególnych częściach ekspozycji.
Ruch i bezruch odwiedzających wystawę wprowadzać będą na żywo nawarstwienia i
rozwarstwienia złożonej i cały czas zmieniającej się kompleksowej struktury dźwiękowej. Puste
pomieszczenia zamierać będą w bezgłośnej i wyciszonej strukturze zawieszonej w oczekiwaniu
na kolejne osoby odwiedzające wystawę.
VIII. Sztuka i technologia
System MaWe stanowi oryginalny przykład integracji wielu elementów, które w tradycyjnym
modelu tworzenia kompozycji muzycznej są niedostępne. Modułowy system MaWe jest
“instrumentem” służącym zarówno do komponowania jak i wykonywania muzyki. Linia podziału
pomiędzy tymi procesami jest umowna. Obydwa procesy nakładają się na siebie i wpływają
wzajemnie na siebie, stymulują procesy wzajemnych oddziaływań, równoległych i
komplementarnych. Od kompozytora/wykonawcy zależy, który z używanych procesów
stosowany jest do jakich celów. System MaWe został wykorzystany w wielu profesjonalnych
projektach, a także wielu pracach studenckich. Dostępny jest na stronie www.mawesys.com.
MaWe jest systemem darmowym, ogólnie dostępnym (Mac, Windows) zaprojektowanym także
do działań edukacyjnych. Jest częścią programu projektowania technologii muzycznej
dostępnej zarówno dla wykształconych muzyków, jak i amatorów. O rzeczywistym potencjale
muzycznych programów komputerowych decyduje ich dostępność, łatwość obsługi, a co
najważniejsze szeroki zakres zastosowań artystycznych. Przegląd kompozycji zrealizowanych
za pomocą systemu MaWe najlepiej świadczy o jego wysokich walorach artystycznych.
Łączenie sztuki i technologii jest procesem ciągłym, naturalnie związanym z rozwojem
cywilizacji ludzkiej. Pierwsze instrumenty muzyczne stanowią szczególny przykład
wykorzystania technologii do zaspakajania głównych potrzeb życiowych, wśród których rytualne
formy obrzędowe stanowiły ich szczególny przypadek. Rozwój technologiczny ostatnich dekad,
a zwłaszcza powstanie społeczeństwa informacyjnego uruchomiło szereg procesów znacznie
oddzielających naszą epokę od okresów wcześniejszych.
W procesie tworzenia i wykonywania muzyki koncepcja instrumentu jest szczególnie ważna.
Zastosowanie technologii elektronicznej i komputerowej w tworzeniu i wykonywaniu muzyki było
jedną z zasadniczych przemian estetycznych i stylistycznych w II połowie XX wieku. Proces ten
uległ ogromnemu przyspieszeniu w ostatnich latach.
Zastosowanie systemów i instrumentów interaktywnych w połączeniu z typowym dla muzyki
elektroakustycznej i sztuki audiowizualnej nieograniczonym bogactwem środków brzmieniowych
i wyrazowych spowodował powstanie nowych form interaktywnej sztuki audiowizualnej.
32