Marcin Pączkowski - Utwór na tancerza i media

Marcin Pączkowski - Utwór na tancerza i media

Marcin Pączkowski - Utwór na tancerza i media elektroniczne
Kompozycja integrującą dźwięk, taniec, projekcję wideo i techniki interaktywne. Utwór jest eksploracją doznania
przestrzeni – zarówno akustycznie jak i wizualnie, a także w wymiarze czasu. W utworze dokonana jest próba syntezy
zmian w muzyce, w szczególności elektroakustycznej, dokonującej się na przełomie XX i XXI wieku, ze zmianami w
tańcu, jakie zapoczątkował Merce Cunningham, w połączeniu z najnowszymi technologiami pozwalającymi na
nieosiągalną dotąd interaktywność działań audiowizualnych. Zapoczątkowana przez Cunninghama niezależność ruchu
od muzyki zainspirowała mnie to „zakomponowania” tańca, który wpłynie na kształt pozostałych elementów dzieła.
Ruchy wykonawcy – tancerza będą w czasie rzeczywistym rejestrowane i analizowane za pomocą urządzeń
wykrywających przyspieszenie ruchu (tzw. akcelerometrów) oraz za pomocą techniki śledzenia ruchu w oparciu o
kamerę wideo z percepcją „głębi” (znaną pod nazwą „Kinect” firmy Microsoft). W ten sposób uzyskane dane będą użyte
do generowania oraz kontroli warstwy elektroakustycznej dzieła. Ponadto, zostaną one wykorzystane do sterowania
projekcją wideo, która będzie w czasie rzeczywistym współgrać z tancerzem, amplifikując jego ruchy i wchodząc z nimi
w interakcję. Będzie to możliwe dzięki współdzieleniu przestrzeni wykonawczej między ruchem scenicznym a projekcją
wideo. Proces powstawania utworu będzie odbywał się w czterech fazach. W fazie pierwszej stworzone zostanie
oprogramowanie komputerowe umożliwiające generowanie i manipulowanie dźwiękiem w czasie rzeczywistym w
oparciu o środowisko SuperCollider. Zaimplementowana zostanie też funkcjonalność odpowiedzialna za analizę ruchu,
uczenie maszynowe oraz generowanie wideo. W fazie drugiej idee dotyczące doświadczania przestrzeni będą użyte do
naszkicowania warstwy dźwiękowej oraz choreograficznej utworu. W fazie trzeciej, warstwa choreograficzna zostanie
wprowadzona do komputera za pomocą technik śledzenia ruchu. W ten sposób uzyskane dane zostaną poddane
analizie z użyciem uczenia maszynowego, które pozwoli na wykrycie charakterystycznych układów kinetycznych. W
fazie czwartej uzyskane dane zostaną użyte do wygenerowania pełnej warstwy dźwiękowej (w oparciu o pierwotny szkic
oraz dane z analizy ruchu) oraz do wygenerowania warstwy wideo, która będzie wyświetlona bezpośrednio na stroju
tancerza, poruszając się razem z nim. Rozszerzenie warstwy dźwiękowej oraz wprowadzenie wideo wpłynie również na
samą choreografię, co z kolei wytworzy wielowymiarowy system połączeń i relacji pomiędzy poszczególnymi warstwami
dzieła, gdyż zmodyfikowana choreografia będzie ponownie kształtować ostateczną warstwę dźwiękową oraz wideo. Taki
system rozszerza pojęcie współpracy między kompozytorem i wykonawcą o element maszynowy, rozszerzający
możliwości twórcze człowieka oraz czynnie uczestniczący w samym procesie kreacji dzieła. Eksploracja takiego
systemu, jego możliwości ekspresyjnych i wykonawczych, jest integralnym elementem całego projektu. Na każdym
etapie powstawania dzieła stworzone oprogramowanie będzie uzupełniane o wymaganą funkcjonalność. Zrealizowane
dzieło będzie miało długość ok. 20 minut. Zaprezentowane zostanie na scenie przez jednego tancerza, będącego
równocześnie wykonawcą audiowizualnej partii elektronicznej. Podczas wykonania odbywać się będzie analiza obrazu z
kamery wideo (w celu śledzenia i analizy ruchu tancerza), projekcja wideo w tej samej przestrzeni oraz sześciokanałowa
projekcja warstwy dźwiękowej w technice Ambisonics, będącej centralnym elementem kompozycji.
Utwór powstał w ramach programu “Zamówienia kompozytorskie 2013” Instytutu Muzyki i Tańca.
Marcin Paczkowski - The piece for dancer and electronics.
The composition integrating sound, dance, video projection and interactive techniques. The piece is an exploration of the
experience - both audibly and visually, as well as time. The work is an attempt to synthesize the music changes in our
time, in particular electronic, making at the turn of the century, with the changes in the modern dance tradition, started
the Merce Cunningham, combined with the latest technology allowing for previously unattainable interactive audiovisual
activities. Pioneered by Cunningham autonomy of the music inspired me to composing the dance that will affect the
shape of the rest of the work. Motions of the performer - dancer in real time will be recorded and analyzed using speed
capture detection devices (called accelerometers ) and using technique of motion tracking based on the video camera to
the perception of "depth " (known as " Kinect " from Microsoft). In this way, the data received will be used to generate
and control the electro-layers of work. In addition, they will be used to control video projections that will interact in real
time with a dancer, amplifying his movements and entering interaction. This will be possible thanks to the shared space
between the executive stage motion and video projections. The perfomance of the piece consists form four movements.
The first phase will be the developement of computer software allowing generation of manipulated sound in real-time
based on SuperCollider environment. Implemented functionality will also be responsible for motion-trackin analysis ,
machine learning, and video projection. The second movement is the idea of space experience with sound track and
dance arrangement. In the third phase, the choreography will be introduced to the computer using tracking techniques .
In this way, the resulting data will be analyzed using machine learning that will enable the detection of characteristic
kinetic systems. In the fourth phase, the resulting data will be used to create a full sound layer (based on the original
sketch and data from motion analysis) and to generate the video track, which will be displayed directly on a dancer, and
following him. Extension of the sound layer and the introduction of the video will also affect the same choreography,
which in turn will create a multi-dimensional system of connections and relationships between the different elements of
the composition, modified choreography with sound and video. This system extends the concept of collaboration
between composer and performer exented by machine aspect, expanding the creative possibilities of a man, and actively
participated in the process of creation of the work. Exploration of such a system , it offers expressive and regulations, is
an integral part of the project. At each stage of the works of art created software will be updated with the required
functionality. The lenght of the work is about 20 minutes performed by a dancer, with electronics. Video projection
synchronized with six channel audio ambisonic projection.
The piece was commissioned by the Institut for Music and Dance in frame of “Composers commissions” program 2013.