Innleiing
Dei første 35 leveåra til filmen var utan synkronisert lyd. Ein hadde gjerne ein kommentator som fortalde tilskodarane kva som skjedde og las dialogen mellom skodespalarane. Seinare kom ein på å skriva utsegnene ned og visa dei i sjølve filmen. Det var òg vanleg å få ein musikar til å akkompagnera filmen med musikk som passa til stemninga, helst på orgel eller piano. Seinare kunne ein laga lydspor som gjekk samtidig som filmen. Men det er først i dei seinare åra at teknologien tillot synkronisert inn- og avspeling av lyd og bilete. Mitt mål er å skilje og sette saman visuelle og auditive element, som eit middel for kontroll og innflyting på den samla opplevinga me mottek frå ein audiovisuell kjelde, òg kjend som synkrese.
Synkrese og synergi
Den franske avantgardekomponisten, forfattaren og teoretikaren, Michel Chion har vore ein pioner innan det audiovisuelle fagområdet. Han har utvikla fleire sentrale teoriar, blant anna noko han kallar for synkrese (satt saman av orda syntese og synkron). Han definerar det som:
The spontaneous and irresistible mental fusion, completely free of any logic, that happens between a sound and a visual when these occur at exactly the same time» [chion:1994].
Mitt mål er å forske vidare på nettopp dette, ideen om at det er dukkar opp ein ekstra effekt i samansmeltinga av lyd og bilete. Det interessante er om denne effekten kan minne om synestesi, å oppleve noko spontant og sanseleg som du ikkje rår over sjølv. Og i kva grad synkrese kan bli brukt som eit middel for å formidle synestesi.
Det er ein kjend sak at lyd kan påvirke eit publikum til å tolke bilete annleis. Forholdet mellom lyd og bilete i film er tett knytt opp mot kvarandre. Poenget her er at effekten ikkje berre er assosiativ, der du overførar verdiar frå den eine kanalen til den andre, men synergetisk, at dei er samvirkande. Denne synergetiske effekten har blitt forska på i ei rekke vitenskapelege studiar, i lys av multisensorisk oppleving:
Spatially and temporally coincident acoustic and visual information are often bound together to form multisensory percepts [anderson:2004].
Forskning viser og at jo meir den audiovisuelle informasjonen er synkronisert, jo meir vil det trigge dei multisensoriske nervecellene:
For example, if some multisensory cell responds to a light flash in the upper right portion of the visual field, that cell will respond to a sound only if it too comes from the same vicinity. Additionally, when visual and auditory inputs occur simultaneously, a multisensory cell responds more strongly than when either input occurs alone. (Sekuler, R. & Blake, R. 1985, p104).
McGurk-effekten er eit ekspempel på korleis hjernen vår blandar informasjon frå to kanalar til ein ny heilskap. Ved bruk av eit talespor og eit nærklipp av ein person som uttalar eit ord som ikkje samsvarar med lyden, oppstår ei tredje oppfatting av lyd. Heilt konkret vert det synt eit videoklipp med nærbilete av eit ansikt som uttalar «ga» som er lydlagt med lyden «ba», noko som resulterar i at me oppfattar det som «da». [mcgurk:1976].
Fruktene av tvangsekteskap
Sjølv om lyden og biletet ikkje høyrer i lag, synt kvar for seg, vil synkronisering oppmuntre hjernen til tilskodaren å lage ei kopling, i den grad desse to tilsynelatande separerte sekvensane, kan bli sett på som ein heilskap.
Synchresis is perceptually founded on the process of cross-modal binding, where percepts in different modes are «bound» into recognition as a single entity. Binding feels good – some neuroscientists theorise that it activates our limbic pleasure circuits (see Ramachandran and Hirstein, «The Science of Art» [pdf]). Binding is marked subjectively by a flash of recognition, an «a-ha» moment or a sense of noesis, or revelation. Perhaps the affect of tightly fused audiovisual experiences is related to the perceptual process of binding? – gestaltpsykologi [synchresis, australian]
Chion hadde ei øving han kalla for «Forced Marriage» som involverte avspeling av same filmsekvens, med ulike lydspor. Dette gjorde han for å undersøke relasjonen mellom det som vart forandra og det som vart skapa [chion:1994].
Mitt prosjekt er som ei forlenging av dette, eg ynskjer å studere korleis lyd og bilete kan operere i saman og fråskild og sjå kva effekt det har på vår oppfatting av innhaldet, om ein kan lytte til straumen av bilete, og betrakte lydlandskapet, noko som krev ei grad av sansekryssing av tilskodaren.
Eg ynskjer gjennom ulike øvingar, å tileigne meg ein form for basiskunnskap om rørsle, storleik, tekstur, rytme etc. som kan overførast til kva som helst anna område. Vidare vil eg jobbe med behandling av desse øvingane og sette det saman på ein slik måte at det kan gi ei interessant oppleving av sansekryssing for tilskodaren.
Kjelder:
[anderson:2004] T.S. Andersen, K. Tiippana and M. Sams, Factors influencing audiovisual fission and fusion illusions, Cognitive Brain Research, 21(3), p. 301-308, 2004.
[chion:1994:1] Michel Chion, Audio-Vision: Sound on the Screen, p. xviii, New York: Columbia University Press, 1994.
[mcgurk:1976] H. McGurk and J. MacDonald, Hearing lips and seeing voices, Nature, 246, p. 746-748, 1976.
[sekuler, R and Blake, R, Perception, Alfred A. Kopf, New York 1985, p. 104 [in Abbado, A 1988].
Tags: masterproject, perception, synchronized, text