Notice: Only variables should be assigned by reference in /home/oda/oda.hveem.no/wp-content/object-cache.php on line 30

Notice: register_sidebar vart oppkalla på feil måte. Ingen id var definerte i argument-arrayen for sidekolonna «Sidemeny 1». Fell tilbake til «sidebar-1». Sett id til «sidebar-1» manuelt for å få vekk denne meldinga og beholde innhaldet i sidekolonna. Sjå Feilsøking i WordPress for meir informasjon. (Denne meldinga vart lagd til i versjon 4.2.0.) in /home/oda/oda.hveem.no/wordpress/wp-includes/functions.php on line 3853
Audiovisuell komposisjon » Synestetisk design
januar 6, 2011 Off

Audiovisuell komposisjon

By in Teori

Slektskapet mellom audio- og visuelt materiell er komplekst. Dei gir båe effektar for seg sjølv, om dei vert oppfatta isolert. Desse effektane er vanskelege å diskutere i seg sjølv, til trass for åtskiljinga. I kombinasjon vert det endå verre. Chion [1] hevdar at når audio- og visuelt materiell vert samanspleisa, så fører dette til nye verknadar. Desse nye verknadane gjer prosessen særs kompleks. Dette har imidlertid ikkje hindra kreative utøvarar å utforske det audiovisuelle språket. Eit språk som krev ei forståing av denne kompliserte og kombinerte audiovisuelle effekten. Denne utøvinga av audiovisuell komposisjon er eit tverrfagleg studie som verken høyrer heime i det visuelle fagområdet, (som visuell kunst, film og design) eller i det soniske fagområdet (som musikk og lyd). I si samanstilling fell det mellom to stolar.

Å skape samsvar i tid (synkronisere)

Bilete og lyd i kombinasjon kan enten samsvare eller kontrastere kvarandre. Lipscomb hevdar at det er ein samanheng mellom synkonisering av audiovisuelle komponentar og effektiviteten av oppfattinga av stoffet. Når lydsignal samsvarar sterkt med visuelle signal, synte publikum (organisert i grupper i forhold til bakgrunn og opplæring) å sanse med større effektivitet.

Calculation… revealed that subject ratings of synchronization and effectiveness shared a strong positive relationship (r = .96). Therefore, AV combinations that were rated high in synchronization also tended to be rated high on effectiveness and vice versa. (Lipscomb, 2005 s. 60)

Desse funna står i motsetnad til kritikken av «Mickey Mousing». I animasjon og film, er «Mickey Mousing» (synkronisert, speila, eller parallell handling) ein teknikk som synkroniserar den tilhøyrande musikken med den visuelle handlinga på skjermen. Omgrepet kjem frå dei tidlegaste filmane til Walt Disney, der musikken nesten utelukkande etterliknar den aninerte rørsla til figurane. Musikken vart brukt til å forsterke ei handling ved å etterlikne visuell rytme med ein nøyaktig, samsvarande auditiv rytme. Teknikken vart mykje brukt i 1930- og 1940-åra, spesielt av Max Steiner, men er nesten avvist i dag, særleg av seriøse filmar, på grunn av overforbruk. «Mickey Mousing» vert og brukt som eit kritikkomgrep når ei visuell handling, utan god grunn, vert duplisert med samsvarande musikk eller tekst, og når denne duplikasjonen er meir ein veikskap enn ein styrke. Newlin har lista opp seks andre funksjonar som musikk kan yte i tillegg til duplikasjon. Kritikk av denne teknikken kan sporast tilbake til så tidleg som 1946. [3]

Til forsvar av denne teknikken skriv Birtwistle:

The close matching of musical sound and image is seen in negative terms: «… because of the implication that exact illustration is a rather tedious and silly way to relate music and image.» (Curtis, S in Altman, R 1992, p201) Mickey Mousing is poor practice. It is considered unsubtle, unnecessary and creates humour when none is required…(however) Mickey Mousing punctures the bubble in which western music has placed itself, forcing an acknowledgement of an «outside», an other: in this case, the visual. Not only does Mickey Mousing destroy the notion of an isolated specificity, of an abstraction from all else, but it also introduces ideas of other kinds of structuration, other ways of considering structure, other ways of thinking music, and other ways of thinking about music. (Birtwistle 2002 p26)

Så, ifølge Birtwistle, er det eit ynskje om å opretthalde eit skilje mellom den musikalske og visuelle kunst som har sprunge ut frå separate eksisterande tradisjonar. Kritikarane til «Mickey Mousing»  (nøye planlagt synkronisasjon på tvers av uttrykksformene), deler dette synet. Så på den eine sida så har du Lipscomb som hevdar ein viss effektivitet, når audiovisuelt materiell vert synkronisert, medan Birtwistle og kritikarane av «Mickey Mousing» hevdar effekten av synkronisasjon kan minne meir om banalitet. Kanskje nettopp det å kunne balansere denne grensa mellom banalitet og effektivitet er hovedfaktoren for å vera ein god komponist av audiovisuelt materiell?

Lipscomb påpeikar i konklusjonen i skrivet om audiovisuelle relasjonar, at sjølv om inntaket av audiovisuelt materiell er naturleg i vårt dagaleg liv, er er det svært lite forskning som vert gjort for å analysere denne dynamikken.

..given the sociological significance of the cinematic experience, it is quite surprising that there is still only a small amount of research literature available addressing issues involved in the cognitive processing of ecologically valid audio- visual stimuli. (Lipscomb 2005 p65)

Nyare forskning ved Shimojo Psychophysics Laboratory understreker behovet for vidare forskning på dette området. «Visual Illusion Induced by Sound» [4] er eit bevis på at audiovisuelt materiell vert behandla i kombinasjon, ikkje separat, og at denne kombinasjonen kan endre oppfatninga av informasjonen som vert synt. I eitt eksperiment, der eitt enkelt lysglimt er ledsaga av fleire auditive pip, vert lysglimtet oppfatta som fleire lysglimt, til trass for at det berre er eitt. Dette demonstrerar at informasjon vert tolka annleis i kombinasjon av kvarandre, at eit auditivt signal kan føre til ein visuell illusjon. Dette er jo ikkje så hårreisande nyhende når alt kjem til alt, for når kunne me stole på sanseinntrykka våras uansett? Men poenget her er at lyd og bilete i kombinasjon gir ein forskjelleg erfaring enn om dei vert vist separert.

Dette er nettopp poenget til Chion [1]. Han skriv i boka «Sound on Screen» om «added value», at teknikken der kominasjonen av lyd og bilete skapar ei tredje, audiovisuell form. Noko som moderne medieverksemder og annonsørar utnyttar for å skape ein unik identitet. Lyd synkronisert med abstrakt grafikk er ein vanleg teknikk for å skape audiovisuell ikonografi. Mange filmdistributørar og TV-selskap har audiovisuelle logoar som er med på spreie identiteten utad. Påverknadskraften av å vise audiovisuelt materiell i kombinasjon er ikkje mykje forska på, men likevel er det i hjerta av moderne kommunikasjon.

«…if some multisensory cell responds to a light flash in the upper right portion of the visual field, that cell will respond to a sound only if it too comes from the same vicinity. Additionally, when visual and auditory inputs occur simultaneously, a multisensory cell responds more strongly than when either input occurs alone.» [5] (Sekuler, R. & Blake, R. 1985, p104).

Me har tusenvis av nerveceller i hjernen vår. Nervecella har til oppgåve å ta opp inntrykk frå kroppen og omgjevnadane, bearbeide inntrykka og sende dei nødvendege impulsane til musklar og kjertlar så organismen vert sett i stand til å tilpasse seg forholda. [6] Me har spesialiserte nerveceller, celler som f.eks. tek seg av oppfattinga av lyd i seperasjon i frå bilete, og oppfattinga av bilete i seperasjon frå lyd. I tillegg har me óg multisensoriske celler, som nettopp tek seg av oppfattinga av kombinasjonsininntrykk som f.eks. audiovisuelt materiell.

Forskning viser at dei multisensoriske cellene i hjernen reagerer direkte på audiovisuell oppleving, og at desse cellene reagerer sterkare når ting skjer samtidig og/eller synes å komme frå same kilde, noko som støtter Lipscomb sine funn om effektivitet knytt til synkronisering. [7]

Kva fordel har det å stimulere desse multisensoriske cellene? Og er det dette masterprosjektet mitt skal gå ut på? Kva har det å seie for utviklinga av språk, dans og andre kunstformar? Kan me oppfatte fortare informasjon som er presentert multisansbart? Kan me hugse det betre? Jamfør synestesi og hukommelse?

Kjelder:

[1] Chion, Michael. Sound on Screen.

[2] Lipscomb, 2005

[3] Wikipedia: Mickey Mousing

[4] Visual Illusion Induced by Sound

[5] Perceptual Correspondences of Abstract Animation and Synthetic Sound

[6] Store norske leksikon: nervecelle

[7] Wikipedia: Multimodal Integration

Tags: , , ,

Comments are closed.


Warning: Parameter 1 to W3_Plugin_TotalCache::ob_callback() expected to be a reference, value given in /home/oda/oda.hveem.no/wordpress/wp-includes/functions.php on line 3525