Notice: Only variables should be assigned by reference in /home/oda/oda.hveem.no/wp-content/object-cache.php on line 30

Notice: register_sidebar vart oppkalla på feil måte. Ingen id var definerte i argument-arrayen for sidekolonna «Sidemeny 1». Fell tilbake til «sidebar-1». Sett id til «sidebar-1» manuelt for å få vekk denne meldinga og beholde innhaldet i sidekolonna. Sjå Feilsøking i WordPress for meir informasjon. (Denne meldinga vart lagd til i versjon 4.2.0.) in /home/oda/oda.hveem.no/wordpress/wp-includes/functions.php on line 3838
Eit studie i synkrese og framprovosert synestesi » Synestetisk design
januar 21, 2011 Off

Eit studie i synkrese og framprovosert synestesi

By in Teori

Innleiing

Dei første 35 leveåra til filmen var utan synkronisert lyd. Ein hadde gjerne ein kommentator som fortalde tilskodarane kva som skjedde og las dialogen mellom skodespalarane. Seinare kom ein på å skriva utsegnene ned og visa dei i sjølve filmen. Det var òg vanleg å få ein musikar til å akkompagnera filmen med musikk som passa til stemninga, helst på orgel eller piano. Seinare kunne ein laga lydspor som gjekk samtidig som filmen. Men det er først i dei seinare åra at teknologien tillot synkronisert inn- og avspeling av lyd og bilete.  Mitt mål er å skilje og sette saman visuelle og auditive element, som eit middel for kontroll og innflyting på den samla opplevinga me mottek frå ein audiovisuell kjelde, òg kjend som synkrese.

Synkrese og synergi

Den franske avantgardekomponisten, forfattaren og teoretikaren, Michel Chion har vore ein pioner innan det audiovisuelle fagområdet. Han har utvikla fleire sentrale teoriar, blant anna noko han kallar for synkrese (satt saman av orda syntese og synkron). Han definerar det som:

The spontaneous and irresistible mental fusion, completely free of any logic, that happens between a sound and a visual when these occur at exactly the same time» [chion:1994].

Mitt mål er å forske vidare på nettopp dette, ideen om at det er dukkar opp ein ekstra effekt i samansmeltinga av lyd og bilete. Det interessante er om denne effekten kan minne om synestesi, å oppleve noko spontant og sanseleg som du ikkje rår over sjølv. Og i kva grad synkrese kan bli brukt som eit middel for å formidle synestesi.

Det er ein kjend sak at lyd kan påvirke eit publikum til å tolke bilete annleis. Forholdet mellom lyd og bilete i film er tett knytt opp mot kvarandre. Poenget her er at effekten ikkje berre er assosiativ, der du overførar verdiar frå den eine kanalen til den andre, men synergetisk, at dei er samvirkande. Denne synergetiske effekten har blitt forska på i ei rekke vitenskapelege studiar, i lys av multisensorisk oppleving:

Spatially and temporally coincident  acoustic and visual information are often bound together to form multisensory  percepts [anderson:2004].

Forskning viser og at jo meir den audiovisuelle informasjonen er synkronisert, jo meir vil det trigge dei multisensoriske nervecellene:

For example, if some multisensory cell responds to a light flash in the upper right portion of the visual field, that cell will respond to a sound only if it too comes from the same vicinity. Additionally, when visual and auditory inputs occur simultaneously, a multisensory cell responds more strongly than when either input occurs alone. (Sekuler, R. & Blake, R. 1985, p104).

McGurk-effekten er eit ekspempel på korleis hjernen vår blandar informasjon frå to kanalar til ein ny heilskap. Ved bruk av eit talespor og eit nærklipp av ein person som uttalar eit ord som ikkje samsvarar med lyden, oppstår ei tredje oppfatting av lyd. Heilt konkret vert det synt eit videoklipp med nærbilete av eit ansikt som uttalar «ga» som er lydlagt med lyden «ba», noko som resulterar i at me oppfattar det som «da». [mcgurk:1976].

Fruktene av tvangsekteskap

Sjølv om lyden og biletet ikkje høyrer i lag, synt kvar for seg, vil synkronisering oppmuntre hjernen til tilskodaren å lage ei kopling, i den grad desse to tilsynelatande separerte sekvensane, kan bli sett på som ein heilskap.

Synchresis is perceptually founded on the process of cross-modal binding, where percepts in different modes are «bound» into recognition as a single entity. Binding feels good – some neuroscientists theorise that it activates our limbic pleasure circuits (see Ramachandran and Hirstein, «The Science of Art» [pdf]). Binding is marked subjectively by a flash of recognition, an «a-ha» moment or a sense of noesis, or revelation. Perhaps the affect of tightly fused audiovisual experiences is related to the perceptual process of binding? – gestaltpsykologi [synchresis, australian]

Chion hadde ei øving han kalla for «Forced Marriage» som involverte avspeling av same filmsekvens, med ulike lydspor. Dette gjorde han for å undersøke relasjonen mellom det som vart forandra og det som vart skapa [chion:1994].

Mitt prosjekt er som ei forlenging av dette, eg ynskjer å studere korleis lyd og bilete kan operere i saman og fråskild og sjå kva effekt det har på vår oppfatting av innhaldet, om ein kan lytte til straumen av bilete, og betrakte lydlandskapet, noko som krev ei grad av sansekryssing av tilskodaren.

Eg ynskjer gjennom ulike øvingar, å tileigne meg ein form for basiskunnskap om rørsle, storleik, tekstur, rytme etc. som kan overførast til kva som helst anna område. Vidare vil eg jobbe med behandling av desse øvingane og sette det saman på ein slik måte at det kan gi ei interessant oppleving av sansekryssing for tilskodaren.

Kjelder:

[anderson:2004] T.S. Andersen, K. Tiippana and M. Sams, Factors influencing audiovisual fission and fusion illusions, Cognitive Brain Research, 21(3), p. 301-308, 2004.

[chion:1994:1] Michel Chion, Audio-Vision: Sound on the Screen, p. xviii, New York: Columbia University Press, 1994.

[mcgurk:1976] H. McGurk and J. MacDonald, Hearing lips and seeing voices, Nature, 246, p. 746-748, 1976.

[sekuler, R and Blake, R, Perception, Alfred A. Kopf, New York 1985, p. 104 [in Abbado, A 1988].

Tags: , , ,

Comments are closed.


Warning: Parameter 1 to W3_Plugin_TotalCache::ob_callback() expected to be a reference, value given in /home/oda/oda.hveem.no/wordpress/wp-includes/functions.php on line 3510