„A plasztikus kompozíció művészete abból áll, hogy a néző figyelmét végigvezetjük pontosan azon az útvonalon, amelyet a mű szerzője előírt, pontosan abban a sorrendben, ahogy előírta. Ez vonatkozik a szem mozgására a vászon felületén, amennyiben a művet festmény formájában fejezte ki az alkotó, vagy a képernyő felületére, ha filmes képkockákról beszélünk.” (Eisenstein) Eisenstein, Sergei. M.: The Film Sense. (trans. J. Leyda) London, England: Faber and Faber, 1943. p. 148.  1

A kognitív filmelmélet egyik fő szándéka, hogy megértsük a filmnézés közben zajló kognitív folyamatokat, valamint azt, hogy mindezek hogyan kapcsolódnak a filmkészítők szándékaihoz és döntéseihez. A filmelméleti szakemberek már számos intellektuális módszerrel közelítettek ehhez a kérdéshez, többek közt elemezték a filmet a pszichoanalízis, a filozófia, a szoros formális elemzés eszközeivel, valamint kulturális és társdalami elméletek alkalmazásával.Bordwell, D. – Carroll, N.: Post-theory. Reconstructing film studies. Madison, WI: University of Madison Press, 1996. p. 444.  2 Ezek az elméleti kutatások számos gazdag és részletes hipotézist eredményeztek arról, hogy a filmkészítő döntései hogyan befolyásolhatják a nézőket, de ezeket a feltevéseket aztán általában nem követi további vizsgálódás. Ahhoz, hogy bizonyítékot találjanak ezen feltevések igazolására vagy cáfolására, a kognitív filmelmélet kutatói az empirikus pszichológia, valamint a kognitív tudomány és a kognitív idegtudomány társtudományainak módszereihez és elméleteihez folyamodhatnak. Ahhoz azonban, hogy az empirikus pszichológia módszereit a kognitív filmelmélet kérdéseire alkalmazhassuk, szükség van egy keretre, amely megmutatja, hogyan lehet egyik tudományterület kérdéseit rávetíteni egy másikra.

Ebben a fejezetben a kognitív komputációs filmelméleti (Cognitive Computation Cinematics, CCC) megközelítéséről lesz szó. A CCC-szemlélet három, hagyományosan elkülönülő megközelítésen keresztül háromszögeli annak megértését, hogyan is nézzük a filmeket, ezek 1) a kognitív pszichológia és a hipotézisvizsgálat ehhez kapcsolódó módszerei, 2) az audiovizuális elemzésben és számítógépes modellezésben használt komputációs módszerek, valamint 3) a filmek formális és statisztikai elemzése.Salt, B.: Film style and technology. History and analysis III. Totton, Hampshire, England: Starword, 2009.  3 Ezeket a módszereket változó mértékben lehet kombinálni attól függően, hogy milyen kérdést vizsgálunk. Ha például azt szeretnénk megérteni, hogy bizonyos vágástípusok miért „láthatatlanabbak” a nézők számára, mint mások, a CCC-szemlélet keretében először empirikus vizsgálatot folytatnánk: a nézőket utasíthatjuk arra, hogy keressék a vágásokat a filmben, a különböző vágástípusok esetén tapasztalt reakcióidőket pedig le lehetne mérni, és össze lehetne hasonlítani.Pl. Smith, T. J. – Henderson, J. M.: Edit blindness: The relationship between attention and global change blindness in dynamic scenes. Journal of Eye Movement Research 2 (2008) no. 2. pp. 1–17.  4 Ezek után a találati arányokat meg lehetne vizsgálni úgy, hogy felvesszük a néző szemmozgását az egyes vágások előfordulásakor, és számítógépes módszerek segítségével megvizsgáljuk, hogy a vágás során lezajló szemmozgások hogyan magyarázhatók primitív audiovizuális jellegzetességekkel, mint amilyenek a mozgás és a hangosság.Ld. Mital, P. K. – Smith, T. J. – Hill, R. L., – Henderson, J. M.: Clustering of gaze during dynamic scene viewing is predicted by motion. Cognitive Computation 3 (2011) no. 1. pp. 5–24.  5 Végezetül megvizsgálhatnánk az ilyen vágások történeti evolúcióját úgy, hogy azonosítjuk és statisztikai szempontból elemezzük az ilyen vágások gyakoriságát egy filmkorpuszon belül (azaz cinemetrikus elemzést végzünk).Ld. Cutting, J. E. – DeLong, J. E. – Nothelfer, C. E.: Attention and the evolution of Hollywood film. Psychological Science 21 (2010) no. 3. pp. 440–447.  6 Akár kombináljuk ezt a három megközelítést egyetlen projekten belül, akár összevetjük különböző kutatások eredményeit, azonosíthatóvá válnak a filmes technikák kognitív motivációi, valamint ezek története és funkciója a filmstílusokon belül.

Ahhoz, hogy elkezdhessük a filmnézés kérdéseit vizsgálni, a választott empirikus módszereknek meg kell ragadniuk a filmkészítő és a néző közötti dinamikus kölcsönhatást, amely kulcsfontosságú a filmes élmény megalkotásában. Mivel a filmek snittek gyors egymásutánjából állnak, amelyeket vágások (két felvétel közötti pillanatnyi átmenetek) kötnek össze, és ahol az egyes felvételek átlagos hosszúsága nem haladja meg a négy másodpercet,Cutting, J. E. – Brunick, K. L. – DeLong, J. E. – Iricinschi, C. – Candan, A.: Quicker, faster, darker: Changes in Hollywood film over 75 years. i-Perception 2 (2011) pp. 569–576.  7 a módszereknek, amelyekkel azt szeretnénk megismerni, hogyan befolyásolják a rendezői döntések a nézői kogníciót, másodperces vagy ezredmásodperces időbeli felbontással kell működniük. A kognitív pszichológia és az idegtudomány különféle technikákat kínál, amelyek hasznosnak bizonyulhatnak a nézői kogníció szondázásához: introspekció/önértékelés, magatartásvizsgálat (mint például az emlékezet vagy a reakcióidő vizsgálatai), biofiziológiai felvételek (pl. pulzusfigyelés vagy galvanikus bőrreakció), elektrofiziológia (pl. eseményhez kötött potenciálok [ERP-k]) és agyi képalkotás.Áttekintésért ld. Smith, T. J. – Levin, D. – Cutting, J. E.: A window on reality: Perceiving edited moving images. Current Directions in Psychological Science 21 (2012) pp. 101–106.  8 Az összevágott képsorok megértését vizsgáló kísérletek során általában bemutatnak egy filmklipet, majd néhány perc késleltetés után tesztelik a néző memóriáját.Pl. Frith, U. – Robson, J. E.: Perceiving the language of films. Perception 4 (1975) no. 1. pp. 97–103.  9 A megértés és az összevágott képsor pillanatnyi észlelése közötti kapcsolatot inkább az észlelés eredményeképpen létrejövő emlékből kell kikövetkeztetni, nem pedig menet közben, a filmélmény alatt tesztelni. Más technikák, mint például a funkcionális mágneses rezonanciavizsgálat (fMRI) folyamatos mérést biztosítanak a néző agyi aktivitásáról egy film közben, amiből kikövetkeztethető a menet közben zajló kognitív feldolgozás.Pl. Hasson, U. – Landesman, O. – Knappmeyer, B. – Valines, I., Rubin, N. – Heeger, D. J.: Neurocinematics: The neuroscience of film. Projections: The Journal of Movies and Mind 2 (2008) no. 1. pp. 1–26.  10 De az fMRI-ben eleve meglévő késés (az fMRI a vér oxigénszintjének növekedését méri, a változás jelzése pedig nagyjából két-három másodpercet vesz igénybe) miatt nehéz a rövid rendezői döntéseket egy-egy bizonyos változáshoz kötni, mely az agyi működésben jelentkezik. Arra van szükség, hogy valós időben mérhessük, miképpen néznek és dolgoznak fel a nézők egy filmet. Ilyen technikát pedig a szemkövetés tud nyújtani.

Mi a szemkövetés?

A szemkövetés a néző szemének mozgását követi egy vizuális elrendezéssel kapcsolatosan, legyen az az elrendezés egy jelenet a valós világban, egy asztallap, esetleg számítógépen vagy mozivásznon prezentált ingerek. A szemmozgás rögzítésére szolgáló módszerek már több mint száz éve léteznek,Wade, N. J. – Tatler, B. W.: The moving tablet of the eye: The origins of modern eye movement research. New York, NY: Plenum Press, 2005.  11 de az elmúlt két évtizedet megelőző időszakban ezek a technikák mind rendkívül invazívak és kényelmetlenek voltak a felhasználók számára. Például az egyik legelső, úttörő kísérletet az orosz tudós, Alfred Yarbus végezte arról, hogyan szemléljük a természetes jeleneteket. Ehhez olyan technikát használt, amelyben egy miniatűr lencsét erősítettek a néző szemére tapadókoronggal. A néző fejét ezután rögzítették, hogy mozdulatlan maradjon, a lencsébe pedig fénysugarat irányítottak. Ahogy a szem mozgott, a visszavert fénysugár nyomot hagyott egy fényérzékeny lemezen, így rögzítve a szem mozdulatait.Yarbus, A. L.: Eye movements and vision. New York, NY: Plenum Press, 1967.  12 Ma is használnak egy hasonlóan invazív technikát, amelynek során huzalkarikát ágyaznak egy kontaktlencsébe, amelyet aztán a néző érzéstelenített szemére illesztenek, a néző fejét pedig mágneses mezőbe helyezik (szklerális kontaktlencse/mágneses keresőhuzal-követés). Az ilyen technikák rendkívül precízek, de megkívánják a néző fejének rögzítését, és így hosszas használat során rendkívül kényelmetlenek lehetnek.

Szerencsére a modern videokamerás és számítógépes technológia már elért arra a pontra, ahol rendelkezésre áll egy alternatív, nem invazív szemmozgáskövető módszer: a videóalapú, kombinált pupilla/szaruhártya-visszaverődés követése. Ez a technológia arra a tényre épít, hogy az emberi szemre irányított infravörös sugárzás nagyon specifikus visszaverődési mintázatot mutat. Az infravörös (IR) sugárzást meleg fényforrások generálják, de ez az emberi szem számára láthatatlan. Ha az emberi szemet infra- vörös sugárzással világítjuk meg, az áthalad a pupillán, és nem verődik vissza, ami sötét pupillát eredményez, majd a szem külső részén (a szaruhártyán) törik meg, az így megjelenő csillanást pedig corneális reflexnek hívják. A szem forgásával a pupilla a szemmel együtt forog, a csillanás azonban az infravörös forráshoz képest mindig ugyanabban a helyzetben marad. Ha azonosítjuk a pupilla középpontjának elmozdulását a csillanáshoz képest, akkor meg tudjuk határozni a szem mozgásának pontos vektorát két dimenzióban. Ezeket a vektorokat egy kétdimenziós (2D) síkhoz – mint amilyen például egy filmvászon vagy a számítógép képernyője – viszonyítva kalibrálhatjuk azzal, hogy megkérjük a résztvevőket, nézzenek egy sor (általában öt-kilenc) pontra a képernyőn. A számítógép arra használja ezeket a pontokat, hogy segítségükkel megépítse a szem mozgásának modelljét, valamint kikövetkeztesse a néző fókuszpontját (azaz azt a pontot, ahová a néző szeme mutat), és ezt tekintetpontként visszatükrözze a képernyőre.A szemkövetés technológiájának további részleteiért, valamint a szemkövetési kutatások kivitelezéséről szóló információért lásd: Duchowsky, A.: Eye tracking methodology: Theory and practice (2nd ed.). London, England: Springer-Verlag, 2007., vagy: Holmqvist, K. – Nyström, M. – Andersson, R. – Dewhurst, R. – Jarodzka, H. – van de Weijer, J.: Eye tracking: A comprehensive guide to methods and measures. Oxford, England: Oxford University Press, 2011.  13

Miért kell rögzíteni a néző szemmozgását?

A filmnézés fizikai élménye kívülről meglehetősen passzív tevékenységnek tűnik, a néző azonban igen aktív. A nézőnek gyors egymásutánban érkező audiovizuális információkat kell feldolgoznia; észlelnie kell a képernyőn bemutatott dolgokat; meg kell értenie az ábrázolt karaktereket, helyeket és cselekményeket; és a film teljes ideje alatt foglalkoznia kell a narratíva megalkotásával. Egy külső szemlélő számára mindezen belső cselekvések kizárólagos külső jelei az arckifejezések, a test mozgásai, a fiziológiai változások (pl. pulzus, izzadás, a pupilla tágulása), az önkéntelen hangok (pl. nevetés, sikoly) és a szemmozgás. Egy film közben a nézők másodpercenként kettő-öt alkalommal mozgatják a szemüket a képernyő különböző pontjaira. Egy átlagos kilencvenperces játékfilm esetén ez összesen 21 600 szemmozgást eredményez.

Minden szemmozgás a vizuális feldolgozás egy új fázisát jelzi. Az emberi éleslátás korlátai miatt nem vagyunk képesek az egész vizuális jelenetet minden részletében egyszerre átlátni, így mozgatnunk kell a szemünket, hogy folyamatosan feldolgozhassuk a jelenet bennünket érdeklő részleteit. A digitális fényképezőgépekben lévő fényérzékeny chipekkel ellentétben az emberi szem hátsó részén található fényérzékeny felület (a retina) nem egyenletesen érzékeny a rá vetülő fényre. A fényérzékeny sejtek eloszlása miatt a retina csakis a középpontjában képes magas felbontású színinformációt feldolgozni. A retinában kétféle fényérzékeny sejt található: a pálcikák, amelyek gyenge fényben működnek, és a csapok, amelyek a nappali és a színes látásért felelősek. A pálcikák és a csapok nem egyenletes eloszlásban találhatók meg a retinán, ugyanis a perifériát elsősorban pálcikák borítják, míg a csapok a retina egy kis központi részére koncentrálódnak, amelyet foveának hívnak. Ez a terület a látószögnek csupán két foknyi területét foglalja el, ez egy jelenet akkora részének felel meg, amelyet egy kartávolságra kinyújtott hüvelykujj nagyjából lefed. Az észlelt kép felbontása nagyobb, ha a csapok dolgozzák fel, így a felbontás gyorsan csökken, ahogy egyre távolabb történik a foveától. A foveától öt foknyi távolságra a felbontás 70 százalékkal csökken, húsz foknál pedig 90 százalékkal (ahol a 360 fok a néző fejét vízszintesen körbeíró körWertheim, T.: Über die indirekte Sehschärfe. Z Psychologie, Physiologie, Sinnesorg 7 (1894) no. 1. pp. 121–187.  14). Ennek eredményeképpen csak a foveára vagy annak közvetlen környékére vetített jelenetrészletről rendelkezünk magas felbontású színes információval.

Amikor a szemünk a tér egy pontján stabilizálódik (ez a fixáció), vizuális információ kódolása történik.Henderson, J. M. – Hollingworth, A.: The role of fixation position in detecting scene changes across saccades. Psychological Science 10 (1999) no. 5. pp. 438–443.  15 Az egyes fixációk átlagosan 330 ezredmásodpercig tartanak (amikor a szem egy statikus vizuális jelenetre fókuszál),Rayner, K.: Eye movements in reading and information processing. 20 years of research. Psychological Bulletin 124 (1998) no. 3. pp. 372–422.  16 és a vizuális inger és a nézési feladat komplexitásától függően változik az időtartama.Henderson, J. M.: Human gaze control during real-world scene perception. Trends in Cognitive Sciences 7 (2003) no. 11. pp. 498–504.  17 Ahhoz, hogy feldolgozza a jelenet egy új részét, a szemnek el kell fordulnia, hogy az új célpont vetüljön a foveára. Ezeket a gyors szemmozgásokat szakkádoknak nevezzük, amelyek húsz-ötven ezredmásodpercig tartanak, és nagyjából négy foknyi távolságot jelentenek.Rayner, K.: Eye movements in reading and information processing. 20 years of research. Psychological Bulletin 124 (1998) no. 3. pp. 372–422.  18 Amennyiben a figyelmünk célpontja nagy szakkádot igényel (>30 fok), vagy a jelenlegi látómezőnkön (120 fok) kívül esik, a szem mozgását a fej és/vagy a test elfordítása fogja kísérni.Tatler, B. W. – Land, M. F.: Vision and the representation of the surroundings in spatial memory. Philosophical Transactions of the Royal Society B 366 (2011) pp. 596–610.  19 Amikor a nézők egy mozi vetítőtermében ülnek, a vászon által elfoglalt szög valószínűleg nagyobb lesz harminc foknál, mivel egy vetítőterem hátsó sorában az ajánlott minimális betekintési szög harmincöt fok; minél közelebb ül a néző a vászonhoz, annál nagyobb lesz a betekintési szög a vászon egyik oldalától a másikig.THX. (2012). THX tech pages. http:www. cinemaequipmentsales.com/athx2.html (Utolsó letöltés dátuma: 2012. 02. 13.)  20 A közönség nagy része számára a vászon lényegesen nagyobb betekintési szöget fog bezárni, ami miatt a szakkádikus szemmozgás mellett szükségessé válik a fej elforgatása ahhoz, hogy a vászon szélét is kényelmesen láthassák.

Amikor szakkádikus szemmozgást végzünk, a szemünk általában nyitva van, de a világ összefolyik a retinánkon. Ez azért történik, mert a szakkádok közben gyakorlatilag lezár a vizuális érzékenységünk, ezt a folyamatot pedig szakkádikus elnyomásnak nevezzük.Matin, E.: Saccadic suppression: A review and an analysis. Psychological Bulletin 81 (1974) no. 12. pp. 899–917.  21 Ennek a folyamatnak az eredményét magunk is megtapasztalhatjuk, ha belenézünk a tükörbe, miközben egyik szemről a másikra szakkádikus mozgást végzünk. Ha megfigyelünk valaki mást, miközben ezt csinálja, akkor látni fogjuk az illető szemét mozgás közben, de ha a saját szemünket nézzük, akkor csak a fixációkat fogjuk látni.

A fixációk és szakkádok sorozata letapogatási mintázatot hoz létre: ez mutatja meg azokat a helyeket, ahová a néző szeme mutatott egy nézési periódus során, és a jelenet azon részeit, amelyeket a néző a legnagyobb valószínűség szerint megfigyelt, észlelt és kódolt az emlékezetében, valamint azt is, hogy a jelenet mely részeit nem figyelte meg. A vizuális figyelem képes észrevétlenül váltani a fixációból annak érdekében, hogy növelje a perifériás elemek feldolgozását, de az olyan kutatások, amelyekben a résztvevők szabadon mozgathatták a szemüket, bebizonyították, hogy az észrevétlen figyelem nem mutat ilyen letapogató magatartást, ehelyett csupán a következő szakkád célpontjára vált át.Deubel, H. – Schneider, W. X.: Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research 36 (1996) no. 12. pp. 1827–1837.; Kowler, E. – Anderson, E. – Dosher, B. – Blaser, E.: The role of attention in the programming of saccades. Vision Research 35 (1995) no. 13. pp. 1897–1916.  22 A perifériás vizuális információ feldolgozása leginkább a jövőbeni szakkádcélpontok kiválasztására irányul, valamint követi a mozgó célpontokat, és kiszűri a lényeget a jelenetek kategóriájáról, elrendezéséről, valamint nagy vonalakban a tárgyakról.Áttekintésért ld. Findlay, J. M. – Gilchrist, I. D.: Active vision. The psychology of looking and seeing. Oxford, England: Oxford University Press, 2003.  23 Így tehát ha tudjuk, hogy valaki mire fixált, akkor arról is képet kaphatunk, hogy mit dolgozott fel részletesen,Henderson, J. M.: Visual attention and eye movement control during reading and picture viewing. In: K. Rayner (ed.): Eye movements and visual cognition: Scene perception and reading. New York, NY: Springer-Verlag, 1992. pp. 260–283.  24 ez a megfigyelés pedig minden szemmozgáskutatás sarokköve.

Fontos ismerni a nézők letapogatási mintázatát, amelyet egy filmes képsor megtekintése közben hoznak létre; mivel a legtöbb snitt rövid, a nézők a vászonnak csak egy apró részére tudnak majd figyelni. Egy átlagos vetítőteremben, amelyben egy tizenkét méter széles vásznat tíz és fél méterről nézünk, ez a régió a tekintenünk középpontjában a teljes mozivászon területének csupán 0,19 százalékát jelenti. Figyelembe véve, hogy a legtöbb, ma gyártott filmben az átlagos snittek hossza kevesebb, mint négy másodperc,Cutting, J. E. – Brunick, K. L. – DeLong, J. E.: The changing poetics of the dissolve in Hollywood film. Empirical Studies in the Art 26 (2011) pp. 149–169.  25 a nézők legfeljebb húsz fixációra lesznek képesek, amivel a vászonnak csupán a 3,8 százalékát tekintik át. Ez a rendkívül alacsony érték felhívja arra a figyelmet, mennyire fontos a filmkészítők számára, hogy minden pillanatban pontosan tudják, hová fog nézni a közönség. Ha a nézők egy képsorban épp azokat az elemeket nem veszik észre, amelyek a legfontosabb vizuális információt hordozzák, akkor nem fogják megérteni a snittet sem, így pedig egyre inkább összezavarodhatnak, és kevésbé élvezik a filmet.

A rejtélyes képesség, ami segít megtudni, hova nézünk

A filmelméletben már évtizedek óta jelen van a vágy arra, hogy a kutatók megtudják, hova is néznek a nézők egy film közben, de csak a közelmúltban jelent meg az a technológia, amely lehetővé teszi, hogy kövessük a szemet filmnézés közben. Az orosz rendező és filmtudós, Szergej Eisenstein már 1943-ban írt a vizuális észlelésről és arról, milyennek tervezi nézői szemmozgásmintáit.Eisenstein: The film sense.  26 Hipotézisének részeként még egy diagramot is készített arról, hogyan képzeli a nézők szemének mozgását egyik filmje, a Jégmezők lovagja (Alexander Nyevszkij, 1938) egyik jelenete során. A diagram megmutatja, hogy Eisenstein arra számított, a nézők a kompozíció kulcsfontosságú elemeit fogják majd követni, mint amilyenek a karakterek, a cselekmények, a textúrák és a perspektívák, valamint hogy a szemmozgások számának növekedése és csökkenése a vásznon tükrözni fogja a filmzene áramlását is, ezzel „audiovizuális kapcsolatokat” hozva létre.ibid. pp. 154–216.  27 Barbara Anderson egy 1980-ban megjelent, nagyszerű meglátásokkal teli cikkében újragondolja Eisenstein tekintetanalízisét, és tesztelhető hipotézist állít fel arról, hogyan kellene nézni a képsorokat. A tanulmány megírásakor azonban a technológia még csupán azt tette lehetővé, hogy állóképeken vizsgálják a tekintetet, Andersonnak pedig ki kellett jelentenie: „Egy ilyen, kontrollált körülmények között végrehajtott kísérlet nem csupán segítene jobban megérteni a vizuális észlelést, hanem a filmelmélet területe számára is rendkívül fontos folyományai lennének.”Anderson, B. F.: Eye movement and cinematic perception. Journal of the University Film Association 32 (1980) nos. 1–2. pp. 23–26.  28

A vágás elméletében hasonló prognózisok bukkannak fel a nézői tekintet viselkedéséről. Edward Dmytryk leírta, hogyan lehet jól vágni egy bizonyos nézőpontra abból a szempontból, hogy mennyi időbe telik a nézőknek elmozdítani a szemüket: „A vágáshoz rögzítjük azt a képkockát, amelyben a színész szeme »megfagyott«, hozzáadunk még három vagy négy kockát, hogy a nézőnek legyen ideje reagálni és mozgatni a szemét, miközben követi a színész tekintetét, és ezen a ponton kell megejteni a vágást.”Dmytryk, E.: On filmmaking. London, England: Focal Press, 1986. p. 444.  29 Három-négy képkocka (125-167 ezredmásodperc, másodpercenként huszonnégy képkocka esetén) hasonló ahhoz a minimális időtartamhoz, amennyi egy szakkádikus szemmozgás végrehajtásához szükséges (100-130 ezredmásodperc).Fischer, B. – Ramsperger, E.: Human express saccades. Extremely short reaction times of goal directed eye movements. Experimental Brain Research 57 (1984) pp. 191–195.  30 Dmytryk úgy számította ki a saját szakkádjainak idejét, hogy még csak szemkövetőt sem látott soha! Úgy tartják, hogy ez a „rejtélyes képesség, amellyel rávehetjük az agyunkat, hogy »figyelje meg és jegyezze le« a [saját] szemünk automatikus válaszait”,Pepperman, R. D.: The eye is quicker. Film editing: Making a good film better. Studio City, CA: Michael Wiese Productions, 2004. p. 11.  31 a jó vágó egyik meghatározó tulajdonsága. A vágás elméletében gyakran tárgyalják az előre megjósolt szemmozgásokat, valamint ezek sebességét és korlátait.Block, B.: The visual story. Seeing structure of film, TV, and new media. Burlington, MA: Focal Press, 2001.; Murch, W.: In the blink of an eye. A perspective on film editing. Los Angeles, CA: Silman-James Press, 2001. [Magyarul: Murch, W.: //Egyetlen szempillantás alatt. Gondolatok a filmvágásról.// (trans. Edelényi János) Budapest: Francia Új Hullám Kiadó, 2010.]; Pepperman: The eye is quicker.; Reisz, K. – Millar, G.: Technique of film editing. London, England: Focal Press, 1953.  32 Mostanáig azonban egyik olyan megérzést vagy előrejelzést sem tesztelték empirikusan, amely arra irányult, hogyan nézik a filmeket a nézők.

Hogyan nézik az emberek a filmeket?

A filmnézés közbeni szemkövetés legkorábbi alkalmazásai viszonylag kevés eredményt tudtak felmutatni, mivel a technikai problémák akadályozták azt, hogy pontosan rögzítsék a tekintet viselkedését a mozgóképen, ezt követően pedig elemezhessék a letapogatási mintázatot. Néhány kutatás azt írta le, hogyan viselkedik az egyedi tekintet bizonyos filmek egyes képsorain, és meg sem próbálták számszerűsíteni a különbségeket.Klin, A. – Jones, W. – Schultz, R. – Volkmar, F. – Cohen, D.: Visual fixation patterns during viewing of naturalistic social situations as predictors of social competence in individuals with autism. Archives of General Psychiatry 59 (2002) no. 9. pp. 809–816.; Treuting, J.: Eye tracking and cinema: A study of film theory and visual perception. Society of Motion Picture and Television Engineers 115 (2006) no. 1. pp. 31–40.  33 Az ilyen leírásokat kvalitatívnak nevezik, és megkülönböztetik a kvantitatív módszerektől, amelyek a különbségeket igyekeznek lemérni. A kvalitatív analízis egy példáját Treuting kutatásaTreuting: Eye tracking and cinema.  34 mutatja be. Treuting tizennégy résztvevő szemét követte, miközben a résztvevők olyan játékfilmekből származó klipeket néztek, mint például A remény rabjai (The Shawshank Redemption, 1994) és a Harry Potter és a bölcsek köve (Harry Potter and the Philosopher’s Stone, 2001). Treuting nem adott mennyiségi meghatározásokat a nézők tekintetének viselkedéséhez a különböző klipekkel kapcsolatban, de az egyes klipeken belül leírta a megfigyelhető tendenciákat, mint például azt, hogy látszólag az arcok és a mozgó tárgyak élveztek prioritást, különösen a Harry Potter-filmben lévő kviddicsmeccs során. A nézési viselkedés ilyen leírásai specifikus klipek esetében hasznos kiindulópontot nyújtanak, de olyan sok tényező kap szerepet az egyes snittek megkomponálásában és a narratívában való elhelyezésében, amelyek mind vezethetik a nézők figyelmét, hogy ezek alapján nehéz arra következtetni, hogyan alakulna a nézői viselkedés más klipek esetén. Ahhoz, hogy ezt megtehessük, több néző viselkedését kell számszerűsítenünk egy bizonyos filmes tartalommal vagy filmes jellegzetességgel kapcsolatban.

A tekintet viselkedésének számszerűsítésére módszer lehet az, ha megmérjük az összes néző kollektív magatartását. Ez a technika meglepően hasznos eredményekkel szolgált, mivel, ellentétben a tekintet viselkedésével statikus jelenetek szemlélése közben, a filmnézők tekintetviselkedése rendkívüli mértékű koordinációt mutat.Dorr, M. – Martinetz, T. – Gegenfurtner, K. R. – Barth, E.: Variability of eye movements when viewing dynamic natural scenes. Journal of Vision 10 (2010) no. 28. pp. 1–17.; Goldstein, R. B. – Woods, R. L. – Peli, E.: Where people look when watching movies. Do all viewers look at the same place? Computers in Biology and Medicine 37 (2006) no. 7. pp. 957–964.; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion. pp. 5–24.; Smith, T. J. – Henderson, J. M.: Attentional synchrony in static and dynamic scenes. Journal of Vision 8 (2008) no. 6. p. 773.; Stelmach, L. B. – Tam, W. J. – Hearty, P. J. (1991): Static and dynamic spatial resolution in image coding. An investigation of eye movements. Konferenciaelőadás a Human Vision, Visual Processing, and Digital Display II. című konferencián.; Tosi, V. – Mecacci, L. – Pasquali, E.: Scanning eye movements made when viewing film. Preliminary observations. International Journal of Neuroscience 92 (1997) nos. 1–2. pp. 47–52.  35 A statikus vizuális jelenetek esetében általában egyetértés van arról, hogy a kép mely részei szolgálnak egyetemes érdekességgel (pl. arcok és feladatvégzéssel kapcsolatos tárgyak). Amikor azonban filmet nézünk, a nézők tekintete figyelmi szinkronicitást mutat: a tekintetek spontán módon ugyanarra a helyre csoportosulnak.Smith – Henderson: Attentional synchrony in static and dynamic scenes.  36 Az 1. ábra jól láthatóan illusztrálja a figyelmi szinkronicitást a Dreamwork Animation Csizmás, a kandúr (Puss in Boots, 2011) című filmjének előzetese közben. Észrevehetjük, hogy a figyelempontok (fényes foltok) bármelyik pillanatban csak a vászon apró részét foglalják el, a hőtérkép pedig megmutatja, milyen szorosan egymás mellé gyűlnek a tekintetek; a legtöbb egyetlen foltba tömörül.

1. ábra: Tizenhat néző tekintetének viselkedése, miközben egy klipet néztek a Csizmás, a kandúr (2011) előzeteséből. Az egyes nézők tekintetét egy-egy kis kör jelzi, a fényes pontok csoportjai pedig figyelmi szinkronictiást jeleznek, ahol a nézők a képernyőnek ugyanarra a pontjára fixálnak ugyanabban az időpontban.

Stelmach és munkatársai voltak az elsők, akik megfigyelték a filmnézés közben lezajló figyelmi szinkronicitást.Stelmach et al.: Static and dynamic spatial resolution in image coding. Stelmach és munkatársai úgy utaltak erre, hogy „jelentős fokú egyetértés állt fenn a nézők között azt illetően, hogy hová néztek”, nem pedig figyelmi szinkronicitásként. (Smith – Henderson: Attentional synchrony in static and dynamic scenes.)  37 Őket az érdekelte, hogy fel lehet-e használni a nézői figyelem viselkedését a videotömörítés sávszélességének csökkentésére azzal, ha előre meg tudják jósolni, a vászonnak mely területein történik majd a legnagyobb valószínűség szerint fixáció, és csak ezeket renderelnék részletesen. Amikor huszonnégy résztvevőt felkértek arra, hogy szabadon tekintsenek meg tizenöt darab 45 másodperces videoklipet, azt figyelték meg, hogy jelentős egyetértés mutatkozott a nézők között arról, hogy hova néznek. Goldstein, Woods és PeliGoldstein et al.: Where people look when watching movies.  38 húsz felnőttnek mutattak meg hat hosszú klipet hollywoodi filmekből, és arra jutottak, hogy a nézési idő több mint felében az összes néző esetén a fixáció eloszlása a képernyő kevesebb mint 12 százalékát foglalta el. Ezt követően számos más típusú mozgóképen is megfigyelték a figyelem szinkronicitását, többek közt játékfilmeknél is,Carmi, R. – Itti, L.: Visual causes versus correlates of attention selection in dynamic scenes. Vision Research 46 (2006) p. 4333.; Goldstein et al.: Where people look when watching movies.; Hasson et al.: Neurocinematics. The neuroscience of film.; Marchant, P. – Raybould, D. – Renshaw, T. – Stevens, R.: Are you seeing what I’m seeing? An eye-tracking evaluation of dynamic scenes. Digital Creativity 20 (2009) no. 3. pp. 153–163.; May, J. – Dean, M. P. – Barnard, P. J.: Using film cutting techniques in interface design. Human-Computer Interaction 18 (2003) pp. 325–372.; Nyström, M. – Holmqvist, K.: Effect of compressed offline foveated video on viewing behavior and subjective quality. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMCCAP) 6 (2010) no. 1. pp. 1–16.; Smith, T. J.: An attentional theory of continuity editing. (PhD disszertáció, University of Edinburgh, Edinburgh, England, 2006.).; Smith – Henderson: Attentional synchrony in static and dynamic scenes. p. 773.; Stelmach et al.: Static and dynamic spatial resolution in image coding.; Tosi et al.: Scanning eye movements made when viewing film.  39 televíziós programoknál,Sawahata, Y. – Khosla, R. – Komine, K. – Hiruma, N. – Itou, T. – Watanabe, S. et al.: Determining comprehension and quality of TV programs using eye-gaze tracking. Pattern Recognition 41 (2008) no. 5. pp. 1610–1626.  40 valamint valós eseményekről készült vágatlan videóknál is.Cristino, F. – Baddeley, R.: The nature of the visual representations involved in eye movements when walking down the street. Visual Cognition 17 (2009) nos. 6–7. pp. 880–903.; Smith – Henderson: Attentional synchrony in static and dynamic scenes. p. 773.; t’ Hart, B. M. – Vockeroth, J. – Schumann, F. – Bartl, K. – Schneider, E. – König, P. et al.: Gaze allocation in natural stimuli. Comparing free exploration to head-fixed viewing conditions. Visual Cognition 17 (2009) nos. 6–7. pp. 1132–1158.  41

Amikor Dorr és munkatársai módszeresen összehasonlították a figyelmi szinkronicitást különböző típusú mozgóképek esetén, arra jutottak, hogy a hollywoodi filmek esetén megfigyelt figyelmi szinkronicitás mértéke csökkent a dinamikus jelenetekről szóló vágatlan videók esetén.Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.  42 Mindegyik típusú mozgóképben előfordultak olyan pillanatok, amelyek során a nézőknek akár 80 százaléka is a vászon ugyanazon részére nézett ugyanabban az időpontban, de az összes nézési idő aránya, amikor ez megtörtént, lényegesen nagyobb volt a professzionálisan megkomponált hollywoodi filmek esetén, mint a naturalisztikusabb videóknál. Ezek az eredmények arra utalnak, hogy a filmek kompozíciója és vágása okozza a figyelmi szinkronicitást. Ahhoz, hogy ezt az előrejelzést sikeresen alkalmazhassuk, meg kell értenünk, hogyan befolyásolják különböző vizuális elemek azt, hogy hová kerül a fixáció a dinamikus jelenetek során.

Látni a mise-en-scène-t

A fixáció helye egy vizuális jelenetben a saját belső terveink, vágyaink és nézési feladataink összjátékának következményeként alakul ki (ami endogén kontroll néven ismert, mivel belső eredetű), emellett pedig közrejátszanak még az audiovizuális jelenet olyan sajátosságai is, mint a lumineszcencia, a szín, a szélek és a mozgás (amit exogén kontrollnak nevezünk, mivel külső eredetűPashler, H.: Attention. Hove, England: Psychology Press, 1998.  43).A jelenetek audioelemei szintén befolyásolhatják a vizuális figyelmet és azt, hogy hová fixálunk. A filmekben a diegetikus hangok, a dialógus, a képernyőn kívüli hangok és az olyan nem diegetikus hangok alkalmazása, mint például a filmzene vagy a narráció, befolyásolhatják, hogyan figyelnek a nézők a filmre. Azonban sokkal kevesebb empirikus kutatás foglalkozott eddig azzal, hogyan befolyásolják az audioelemek a vizuális figyelmet, így én legfőképp a vizuális behatásokra fókuszálok ebben a fejezetben. Az audiovizuális elemek kombinált hatása a nézési viselkedésre a mozgóképek esetén olyan kutatási téma, amely bőven megérett a jövőbeli vizsgálódásra (ld. Shimamura: Psychocinematics. Issues and directions. In: Shimamura (ed.): Psychocinematics. Exploring Cognition at the Movies. pp. 1–26.). Michel Chion Audio-Vision (1990) című kötete remek bevezetést nyújt abba a témába, hogy milyen szerepet játszik a hang a filmes élményben. (Chion, M.: Audio-vision. Sound on screen. New York, NY: Columbia University Press, 1990.)  44 A filmkészítésben az exogén tényezőkre gondolhatunk a film mise-en-scène-jeként: ami a díszletet, jelmezt, világítást és elrendezést illető rendezői döntéseknek köszönhetően megjelenik a filmkockán.Bordwell, D. – Thompson, K.: Film art: An introduction. New York, NY: McGraw Hill, 2001. p. 189.  45 Az eredeti francia kifejezés nyomán a mise-en-scène szó szerint „színrevitelt” jelent, és azon rendezői döntések eredménye, amelyek arra vonatkoznak, hogyan jelenjen meg a narratív cselekmény a vásznon és a film során. Az olyan egyedi döntések, mint például egy jelmez színe és a kamerabeállítás, amelyen ez megjelenik, befolyásolni fogják a végső filmes képet, amely a nézők elé kerül, és amelyre a nézők a szemük mozgatásával és a tartalom észlelésével fognak reagálni. Két, filmelmélettel foglalkozó kutató, Bordwell és Thompson már megfogalmazott egy hipotézist a mise-en-scène és a figyelem közötti kapcsolatról, amely szerint a film mise-en- scène-jének részei a figyelmünket és a szemünket a képernyő bizonyos részeire vonhatják. Azt illetően, hogy mely részek a leghangsúlyosabbak, a látás tudományát említik: „Alapvetően a vizuális rendszerünk a változás észlelésére van ráhangolódva mind időben, mind térben. A szemünk és az agyunk alkalmasabb a különbségek észrevételére, mint arra, hogy egyforma, elhúzódó ingerekre koncentráljon. Így a mise-en-scène elemek felkeltik a figyelmünket a fényben, a formában, a mozgásban és a kép más aspektusaiban beálló változások eszközével.”ibid. p. 189.  46

Már Bruce Block is észrevette, milyen befolyással bírnak alapvető vizuális elemek a film mise-en-scène-jének révén. Ő úgy véli, hogy a nézők szemét elsődlegesen a mozgás vonzza, ezután pedig a vásznon jelen lévő fényes pontok és az arcok.Block: The visual story. p. 132.  47 Treuting kvalitatív kísérletet tett arra,Treuting: Eye tracking and cinema.  48 hogy tesztelje Block hipotéziseit, így előfordulásokat keresett mozgásra, ragyogásra és az arcokra a szem mozgásadataiban. Megerősítette, hogy a tekintet az arcok felé terelődik, és sikerült beazonosítani olyan pillanatokat a filmekben, amikor a tekintetet mintha a mozgás vonzotta volna. Ő azonban kevesebb bizonyítékot talált arra, hogy a ragyogás és a színek milyen befolyással bírnak. Treuting ezen kísérlete arra, hogy megfigyelje a vizuális elemek és a tekintet közötti kapcsolatot, jól bemutatja, milyen korlátozottak a kvalitatív módszerek. Ha nem számszerűsítjük az egyes vizuális elemek független hatását, akkor lehetetlen megtudni, hogy azokat meg lehet-e ismételni a filmekben is. Például Steven Spielberg Schindler listája (Schindler’s List, 1993) című filmje fekete-fehérben mesél arról, hogyan kísérelte meg egy ember megmenteni a zsidókat a koncentrációs táborokból a náci uralom alatt álló Lengyelországban. Az egyik emlékezetes jelenetben Spielberg úgy emel ki egy kislányt a krakkói gettó káoszából, hogy annak piros kabátját színesben ábrázolja a monokróm háttér előtt. Egy későbbi jelenetben újra megpillantjuk a kislány kabátját egy halomnyi holttest között – a szín ilyen szívbe markoló használata kiemelt egyetlen karaktert az elveszett lelkek arctalan tömegéből. A kabát megdöbbentő kontrasztot alkot a szürke háttérrel, és valószínűleg gyorsabban a lányra irányítja a tekintetet, mint ahogy a piros kabát nélkül történt volna. Azonban csak akkor tudhatjuk meg, mennyire erős a piros kabát mint a figyelmet irányító utasítás, ha meg tudjuk mérni a relatív különbséget eközött és a teljes kép színe között. Vajon a lány/rejtélyes alak piros kabátja a Ne nézz vissza! (Don’t Look Now, 1973) című filmben hasonló módon ragadja meg a figyelmet még úgy is, hogy azt a filmet színesben forgatták? A piros kabát látszólag ott is hasonló célt szolgál, mint a Schindler listájában, azaz a néző tekintetét az apró alakra irányítja Velence kusza sikátoraiban és csatornáin, miközben a Donald Sutherland által játszott gyászoló apa nemrég elhunyt lánya szellemét üldözi. De a piros szín szimbolikus célt is szolgál a Ne nézz vissza! esetében, mivel a piros jelképezi a rémületet, a halált és azt a mentális gyötrelmet, amelyet Donald Sutherland karaktere és annak felesége éreznek, miközben lassan sodródnak a tragédia felé, amelyet a piros kabátos alak kergetése jelképez. A piros szín eme szimbolikus funkciója talán nagyobb súllyal bír, mint a szín figyelemvezérlő szerepe.

Ahhoz, hogy eljuthassunk onnan, hogy kvalitatív módon leírjuk, hogyan befolyásolhatják az egyes vizuális elemek – mint például a piros szín – a nézői tekintetet oda, hogy tesztelhető hipotéziseink legyenek, számszerűsítenünk kell a vizuális elemek és a nézői tekintet viselkedése közötti kapcsolatot. Szerencsére a gépi látás révén rendelkezünk olyan eszközökkel, amelyek bármilyen digitális képet képesek alkotóelemeire bontani, mint például világosság, szín, szélek és így tovább, és mérni tudják ezek kapcsolatát a fixáció helyével. Minden digitális színes képet, legyen az álló vagy dinamikus, pixelekben tárolnak, amelyekhez három- vagy négykomponensű színcsatornák tartoznak: RGB (piros, zöld, kék) vagy CMYK (cián, bíbor, sárga, fekete). Mindegyik színcsatornához tartozik egy érték (általában 0 és 255 között a 8 bites színmélység esetén), amely megmutatja a pixelen jelenlévő szín mennyiségét. Egy pixel világossága (vagy lumineszcenciája) a színcsatornák kombinációjából jön létre, és gondolhatunk rá úgy, mintha nagyjából a fehér mennyiségének felelne meg ugyanazon kép szürkeárnyalatos verziójában. A lumineszcencia és a színcsatornák megközelítik az emberi retina fotoreceptorainak fényérzékenységét.Palmer, S. E.: Vision science. Photons to phenomenology. Boston, MA: MIT Press, 1999.  49 Ha kombináljuk ezeket az alapvető elemeket térben és időben, akkor használhatunk numerikus algoritmusokat, hogy beazonosítsunk olyan alacsony szintű vizuális elemeket, mint például az irányított szélek, sarkok, időbeli változások („villanás”) vagy a mozgás.Marr, D. C.: Vision: A computational investigation into the human representation and processing of visual information. Cambridge, MA: MIT Press, 1982.  50 Az emberi elsődleges látókéreg hasonló módon dolgoz fel egy vizuális jelenetet, és egyes vélekedések szerint az ilyen alacsony szintű vizuális elemek közötti vetélkedés befolyásolja azt, hogyan oszlik el a figyelmünk.Koch, C. – Ullman, S.: Shifts in selective visual-attention. Towards the underlying neural circuitry. Human Neurobiology 4 (1985) no. 4. pp. 219–227.  51 Az alacsony szintű elemek súlyozott kombinációja létrehoz egy térképet a feltűnő képi tartalmakról (száliencia): ez egy nézőpontfüggő térbeli térkép a jelenetről, amelyben minden lokációnál egy érték jelöli azt, hogy az adott lokáció mennyire „ugrik ki”, és mennyire valószínű, hogy exogén módon megragadja a figyelmünket.Itti, L. – Koch, C.: Computational modelling of visual attention. Nature Reviews Neuroscience 2 (2001) no. 3. pp. 194–203.  52 A szálienciatérképen elért legmagasabb pontszámok lesznek a következő szakkád célpontjai, a szemek arra a helyre mozdulnak, és a szálienciatérkép újrakalkulálódik az új nézőpontnak megfelelően.

Az első olyan felmérések, amelyek azt vizsgálták, hogy vajon a számítógépes térképek a lényeges képi tartalmakról meg tudják-e jósolni a fixáció helyét statikus jelenetekben, bizonyos mértékű sikerrel jártak. Amikor a résztvevők nézési feladat nélkül állóképeket néztek, az olyan, alacsony szintű tulajdonságok, mint a szélek, a világosság kontrasztja és a sarkok, lényegesen nagyobb fixációt eredményeztek, mint a kontroll-lokációk.Baddeley, R. J. – Tatler, B. W.: High frequency edges (but not contrast) predict where we fixate. A Bayesian system identification analysis. Vision Research 46 (2006). pp. 2824–2833.; Krieger, G. – Rentschler, I. – Hauske, G. – Schill, K. –Zetzsche, C.: Object and scene analysis by saccadic eye-movements. An investigation with higher-order statistics. Spatial Vision 13 (2000) nos. 2–3. pp. 201–214.; Mannan, S. – Ruddock, K. H. – Wooding, D. S.: Automatic control of saccadic eye movements made in visual inspection of briefly presented 2-D images. Spatial Vision 9 (1995) no. 3. pp. 363–386.; Mannan, S. K. – Ruddock, K. H. – Wooding, D. S.: The relationship between the locations of spatial features and those of fixations made during visual examination of briefly presented images. Spatial Vision 10 (1996) no. 3. pp. 165–188.; Mannan, S. K. – Ruddock, K. H. – Wooding, D. S.: Fixation sequences made during visual examination of briefly presented 2D images. Spatial Vision 11 (1997) no. 2. pp. 157–178.; Parkhurst, D. J. – Niebur, E.: Scene content selected by active vision. Spatial Vision 6 (2003) pp. 125–154.; Reinagel, P. – Zador, A. M.: Natural scene statistics at the centre of gaze. Network. Computer and Neural Systems 10 (1999) pp. 1–10., Tatler, B. W. – Baddeley, R. J. – Gilchrist, I. D.: Visual correlates of fixation selection. Effects of scale and time. Vision Research 45 (2005) no. 5. pp. 643–659.  53 Későbbi kísérletek azonban arra jutottak, hogy a statikus száliencia nem befolyásolja a fixáció helyét, amikor az konfliktusba kerül a nézési feladattal vagy a jelenet szemantikájával.Buswell, G. T.: How people look at pictures. A study of the psychology of perception in art. Chicago, IL: University of Chicago Press, 1935.; Castelhano, M. S. – Mack, M. – Henderson, J. M.: Viewing task influences eye movement control during active scene perception. Journal of Vision 9 (2009) pp. 1–15.; Einhauser, W. – Spain, M. – Perona, P. Objects predict fixations better than early saliency. Journal of Vision 8 (2008) no. 14. pp. 11–26.; Henderson, J. M. – Brockmole, J. R. – Castelhano, M. S. – Mack, M.: Visual saliency does not account for eye movements during visual search in real-world scenes. In: R. P. G. van Gompel – M. H. Fischer – W. S. Murray – R. L. Hill (eds.): Eye movements. A window on mind and brain. Oxford, England: Elsevier, 2007.; Henderson, J. M. – Malcolm, G. L. – Schandl, C.: Searching in the dark. Cognitive relevance drives attention in real-world scenes. Psychonomic Bulletin & Review 16 (2009) pp. 850–856.; Torralba, A. – Oliva, A. – Castelhano, M. S. – Henderson, J. M.: Contextual guidance of eye movements and attention in real-world scenes. The role of global features in object search. Psychological Review 113 (2006) no. 4. pp.; Yarbus: Eye movements and vision.  54 Mi egy sor tanulmányban mutattuk meg, hogy még ha egy statikus jeleneten belül növelhető is mesterségesen egy tárgy szálienciája azzal, hogy megnöveljük a lumineszcenciáját,Walther, D. – Koch, C.: Modeling attention to salient proto-objects. Neural Networks 19 (2006) pp. 1395–1407.  55 ez akkor sem növeli azt az arányt vagy időt, mely a tárgy fixációjára jut, ha a néző egy másik tárgyat keres.Smith, T. J. – Henderson, J. M.: The causal influence of visual salience on gaze guidance during scene search and memorisation. Konferenciaelőadás az Object, Perception, Attention and Memory Conference című konferencián. St. Louis, Missouri, 2010.  56 Ha eltávolítjuk a természetes tárgyszálienciát, annak nem lesz hatása a fixáció valószínűségére vagy idejére, de ha növeljük egy keresett tárgy szálienciáját, az oda fogja hozzá vezetni a szemet.ibid.  57 A bizonyítékok arra mutatnak, hogy az ilyen fajta statikus, alacsony szintű vizuális elemeknek, amelyek hozzájárulnak a film mis-en-scène-jéhez, nagyon kevés ráhatásuk van a tekintetre, kivéve, ha a lényeges (száliens) képi tartalom egyébként is érdekes a néző számára, mint például a piros kabátos lány a Schindler listájában.

A mozgás illesztése

Annak az elemzése, ahogy a statikus, alacsony szintű vizuális elemek hatnak a néző tekintetére, figyelmen kívül hagyja azt a kritikus alkotóelemet, amely a filmet megkülönbözteti a fényképészettől: az időbeli változást. Ahogy már Bordwell és Thompson is megjegyezték, „vizuális rendszerünk a változás észlelésére van ráhangolódva mind időben, mind térben”.Bordwell – Thompson: Film art: An introduction. p. 189.  58 A térbeli változás kontrasztot teremt a statikus elemek között, mint például egy sötét szoba világos része, élénk színek fakó háttér előtt vagy a kompozícióban fellépő kiegyensúlyozatlanság, amely az élek (pl. tárgyak vagy textúrák) sűrű előfordulása miatt jön létre a képkocka egyik részében. Összehasonlításképpen az időbeli változás lumineszcenciát vagy színváltozásokat hoz létre, és legfőképpen pedig mozgást. A mozgás előfordulhat egyrészt optikai áramlási mező formájában,Gibson, J. J.: The ecological approach to visual perception. Boston, MA: Houghton Mifflin, 1979.  59 amelyet a kamera mozgása hoz létre, vagy egy tárgy mozgásával a kamerához képest, vagy a kettő kombinációjaként. Közismert, hogy milyen haszna van a filmekben a mozgásnak a néző figyelmének befolyásolásában: „Ha nem számítjuk a képsorok és az önálló jelenetek elején és végén előforduló vágásokat, a reakciók vagy válaszok miatti vágásokat és a dialógusok közbeni vágásokat, akkor a vágónak azon színész mozgását kell keresnie, aki a néző figyelmét élvezi, és ezt a mozgást kell felhasználni arra, hogy ez idézze elő az egyik jelenetről a másikra való vágást. Nagyobb léptékű cselekvéseknél ez könnyebb lesz, de a színész valamely testrészének a legkisebb mozdulata is elegendő lehet arra, hogy egy »sima« vagy láthatatlan vágás apropójaként szolgáljon… Itt azt lényeges megfontolni, hogy épp elegendő mozgás legyen ahhoz, hogy az felkeltse a néző figyelmét”.Dmytryk: On filmmaking. pp. 435–436.  60 A Dmytryk által ismertetett vágási technikát mozgásillesztő vágásnak (vagy mozgásban vágásnak, match-on-action) hívják. A mozgásillesztő vágást tartják a legsimább átmenetnek egy cselekvés két nézőpontja között, ami megteremti a kontinuitást a néző számára: „a szemlélő azon illúzióját, hogy egy folyamatos cselekvésrész egyszer sem szakad meg.”Reisz – Millar: Technique of film editing. p. 216.  61 Úgy vélik, hogy még az olyan legapróbb mozdulat is, mint a fej elfordítása, a színész tekintetének elmozdulása, arckifejezések vagy a pislogás is lehetőséget ad a mozgásillesztő vágásra.Murch: In the blink of an eye.; Pepperman: The eye is quicker.; Reisz – Millar: Technique of film editing.  62

Ahhoz, hogy tesztelhessük a mozgásillesztő vágások hatékonyságát, elvégeztünk egy kísérletet, amelyben a résztvevőket arra utasítottuk, hogy keressenek vágásokat olyan, játékfilmekből származó ötperces klipekben, mint például a Szárnyas fejvadász (Blade Runner, 1982) és a Dogville – A menedék (Dogville, 2003). Ahogy a mozgásillesztő vágás elmélete is megjósolja, a résztvevőknek nem sikerült észrevenniük a mozgásillesztő vágások harmadát, összevetve a jelenetek közötti vágásokkal, amelyeknek csak a tizedét nem vették észre.Smith – Henderson: Edit blindness.  63 Az illesztő vágás előtti hirtelen mozgás és a mozgás folytatódása a vágás után mintha elfedné a vágást, így pedig a nézők nehezebben veszik észre.

Az ilyen audiovizuális események és a filmes kontinuitás észlelése közötti kapcsolatot a filmes kontinuitás figyelemelmélete (Attentional Theory of Cinematic Continuity, AToCC)Smith, T. J.: Attentional theory of cinematic continuity. Projections 6 (2012) no. 1. pp. 1–27.  64 fogalmazta meg. Az AToCC érvei szerint a kontinuitás létrehozásában a nézői figyelem a kritikus alkotóelem: a nézőnek azt kell éreznie, hogy a figyelme tisztán áramlik a vágás előtti fő tartalomról a következő felvétel célpontjára. A vágás motivációját vagy a narratíván, a dialóguson, a képen kívüli audiojeleken, vagy a mozgáson keresztül kell megalapozni, ezek a jelek pedig az új felvétel fő tartalmára irányítják a néző figyelmét. A mozgás kritikus szerepet játszik az AToCC-ben, mivel azt feltételezzük, hogy az irányítja a figyelmi szinkronicitást, és megbízható jeleket nyújt, melyeket a vágó a figyelem irányítására használhat.

Például a Csizmás, a kandúr előzetesében a főszereplő, Csizmás úgy jelenik meg, hogy épp egy városon sétál keresztül, és először a kalapját dobja oda egy csapat rajongó nőnek, majd a kardját egy csapat gyereknek, a kard pedig röptében szétvág egy pinyátát (1. ábra). A jelenetben a cselekvés nagyfokú kontinuitása érződik, de valójában hat, gyors egymásutánban következő snitt alkotja. A kontinuitás benyomásáról a mozgásillesztő vágás gondoskodik: az első átmenet egy rántott svenk (a kamera gyors, vízszintes elforgatása), amely a kalapot követi, amint az Csizmástól a nőkhöz repül, akik a svenk közben válnak láthatóvá. A második cselekvés két vágás során jelenik meg: először repül a kard, aztán pedig eltalálja a pinyátát. Annak érdekében, hogy megvizsgálhassuk, hogy ez a snitt hogyan vezeti a nézők figyelmét és teremti meg a látszólagos kontinuitás folyamatát, egyenként követtük tizenhat felnőtt szemmozgását, miközben az előzetest nézték.A szemkövetést egy Eyelink 1000 asztali rendszerrel (SR Research) végeztük, a nézők fejét pedig álltámasszal stabilizáltuk, 60 cm nézési távolságban. A filmet 21 colos képernyőn vetítettük, 1280x1024-es képernyőfelbontásban, a videó felbontása pedig 1280x720 fps volt (letterbox széles vásznon). A hőtérképek CARPE (Mital, P. K. – Smith, T. J. – Hill, R. L. – Henderson , J. M.: Clustering of gaze during dynamic scene viewing is predicted by motion. Cognitive Computation 3 (2011) no. 1. pp. 5–24.) felhasználásával készültek. A szemmozgásokról készült videó itt érhető el: http://vimeo.com/25033301 (utolsó letöltés: 2022. 11. 20.)  65 Ha a tizenhat résztvevő tekintetét visszavetítjük a filmre, és a tekintetek sűrűségét az előzetes minden kockáján hőtérképen ábrázoljuk, akkor tisztán láthatjuk a figyelmi szinkronicitást a vágáson belül és a vágások során (1. ábra). Amikor Csizmás a képernyő bal oldala felé dobja a kalapját, a kamera balra svenkel, hogy kövesse, a nézői tekintet szakkádja pedig a kalap irányába mozdul, amikor megpróbálja azt követni (1. ábra, a–d). Amikor a kamera megállapodik azon a nőn, aki elkapja a kalapot, a nő fejének képernyőn elfoglalt helye pontosan megegyezik azzal, ahol a néző tekintete volt a kalap követése során, így sima átmenet jön létre, ahogy a figyelem a kalapról a nő arcára vetül (e). A tekintet aztán újra elmozdul a mozgás irányába, a jelenetben szereplő többi arcra kerül a fixáció, majd az előtérben lévő macskára, aki Csizmás érzéseinek tényleges célpontja (f). Egy újabb rántott svenkkel visszatérünk Csizmásra, a tekintet pedig gyorsan visszavált rá a képernyő középpontjában (g). Csizmás a képernyő jobb oldala felé dobja a kardját, ami után mozgásillesztő vágással egy nagyon rövid közelit láthatunk a kardról a levegőben (h; még egy másodpercig sem tart). A mozdulat túl gyors, a kard pedig túl kicsi ahhoz, hogy a nézők erre irányítsák a szakkádot, így a közeli ehelyett ugyanoda pozicionálja a kardot, ahol Csizmás volt, hogy így hozza létre a kontinuitást a figyelemben. A nézői tekintet kissé a képernyő jobb oldala felé mozdul, ahogy a kard eltűnik a képernyőről, a tekintet pedig az egyik gyerek arcán landol a mozgásillesztő vágás után (i). Miután a kard átrepült a néző látóterén, átvágta a pinyátát, és beleállt a fába, a nézői tekintet visszafelé játssza le az f felvételen megfigyelt mintát, és a szakkád újból a mozgás irányába tevődik, a fixáció pedig a jelenetben részt vevő többi gyerek arcán jön létre (j). Az egész, meglehetősen gyors jelenet során a vágó pontosan látta előre, hogyan fogják a nézők a jelenetet nézni, milyen részletek fogják őket érdekelni, és hová mozdul majd a szemük, így pedig a nézői figyelem révén meg tudta teremteni a cselekvések kontinuitását. Az AToCC-ben ez a kulcsfontosságú módszer a kontinuitás megteremtésére.Smith: Attentional theory of cinematic continuity.  66

A figyelemről szóló alapvető szakirodalom bizonyítékai is alátámasztják a filmkészítők bizalmát abban, hogy a mozgás ereje megragadja a figyelmet. Szórványos ingereket felhasználó kutatások vagy egyszerű vizuális sorozatok keresése is megmutatta, hogy a mozgás az egyik legerősebb faktor, amely a nézési feladattól függetlenül a vizuális figyelmet befolyásolja.Wolfe, J. M. – Horowitz, T. S.: What attributes guide the deployment of visual attention and how do they do it? Nature Reviews Neuroscience 5 (2004) pp. 1–7.  67 Az ilyen kísérletek csak annyit árulnak el, hogyan működik a mozgás viszonylagos elszigeteltségben, egy filmben azonban a mozgás csupán egyetlen elem egy komplex audiovizuális jeleneten belül. Honnan tudjuk, hogy az, ha egy színész hirtelen elfordítja a fejét, majd megragadja a néző figyelmét egy filmben?

Egy friss tanulmányban, a Dinamikus képek és szemmozgások (Dynamic Images and Eye Movements, DIEM) nevű projektben kollégáimmal az alacsony szintű vizuális elemek, mint például a lumineszcencia, szín, szélek és mozgás tekintetre és figyelmi szinkronicitásra gyakorolt befolyását vizsgáltuk mozgóképek megtekintése során. 251 ember szemmozgását vettük fel, miközben rövid, nagy felbontású tévés és filmes klipeket néztek számos különböző kategóriából, például filmelőzeteseket, videoklipeket, híreket, sportot, dokumentumfilmeket, természetfilmeket és oktatási célú videókat.A szemmozgásokat egy Eyelink 1000 (SR Research) szemkövetővel vettük fel, a videókat pedig egy 21 colos Viewsonic Monitoron vetítettük, ahol az asztal felbontása 1280x960 volt 120 Hz-nél, 90 cm nézési távolságból. A tekintet helyét ezután rá lehet vetíteni a hozzá tartozó képkockára, hogy bemutassuk, hová figyelt a néző. További részletekért lásd: Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  68 A klipek széles skálája és a nézők nagy száma lehetővé tette, hogy megvizsgáljuk, hova néznek az emberek filmnézés közben, mennyire hasonló több néző tekintete, és milyen vizuális elemek jelezték előre a tekintetüket. A tekintetről szóló összes adatot, a forrásként használt videoklipeket és az ezek eredményeként az egyes klipek közben tapasztalt nézési viselkedésről készült vizualizációt nyilvánosan is hozzáférhetővé tettük egy nyílt forráskódú korpuszban.A projektről részletesebb információ található a DIEM honlapján (http://thediemproject.wordpress.com/), valamint a tekintet viselkedésének vizualizációjában (http://vimeo.com/visualcognition/videos). (utolsó hozzáférés: 2022. 11. 20.)  69

Annak érdekében, hogy megérthessük a figyelmi szinkro- nicitás okát, minden egyes képkockát felbontottunk azokra az alacsony szintű vizuális elemekre, amelyek a képet alkotják (lumineszcencia és kétopponensű színcsatornák), ezután pedig általános algoritmusokat használtunk a számítógépes látás területéről, hogy olyan, neurológiailag valószerű közepes szintű vizuális elemeket számíthassunk ki, mint például a szélek, az irányított szélek, a sarkok és a mozgás. Ezek után úgy számoltuk ki, hogy az egyes elemek milyen hatással lehetnek a nézői tekintetre, hogy összehasonlítottuk az elemek értékeit a videó olyan helyein, amelyeken nézői fixáció alakult ki a kontrollhelyeken mért értékekkel. Az elemzés arra engedett következtetni, hogy az olyan, alacsony színtű elemek, mint például a lumineszcencia és a szín, nem jelzik előre a tekintetet. Ezzel szemben azonban a mozgás nagyon is előrejelzi a tekintetet, különösen, amikor a képkockában egyetlen, intenzíven mozgó pont található egy statikus háttér előtt (így jön létre a mozgáskontraszt). Az ilyen képkockák nagyfokú figyelmi szinkronicitást eredményeznek, mivel az összes néző ugyanarra a helyre néz ugyanabban az időben.Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  70 Ebből arra következtethetünk, hogy a jeleneteken belüli mozgás nagy szerepet játszik annak befolyásolásában, hogy hová néztek a nézők, miközben szabadon megtekintették a DIEM korpuszban található videókat. Már más kutatások is kimutatták, hogy a mozgás és a dinamikus száliencia (a mozgás és más statikus vizuális elemek kombinációja) hasonló befolyással bír a tekintet viselkedésére szabad nézés közben.Berg, D. J. – Boehnke, S. E. – Marino, R. A. – Munoz, D. P. – Itti, L.: Free viewing of dynamic stimuli by humans and monkeys. Journal of Vision 9 (2009) no. 5. pp. 1–15.; Carmi, R. – Itti, L.: The role of memory in guiding attention during natural vision. Journal of Vision 6 (2006) pp. 898–914.; Carmi – Itti: Visual causes versus correlates of attention selection in dynamic scenes.; Itti, L.: Quantifying the contribution of low-level saliency to human eye movements in dynamic scenes. Visual Cognition 12 (2005) no. 6. pp. 1093–1123.; Itti, L.: Quantitative modelling of perceptual salience at human eye position. Visual Cognition 14 (2006) nos. 4–8. pp. 959–984.; Le Meur, O. – Le Callet, P. – Barba, D.: Predicting visual fixations on video based on low-level visual features. Vision Research 47 (2007) pp. 2483–2498.; t’ Hart et al.: Gaze allocation in natural stimuli: Comparing free exploration to head-fixed viewing conditions. pp. 1132–1158.; Vig, E. – Dorr, M. – Barth, E.: Efficient visual coding and the predictability of eye movements on natural movies. Spatial Vision 22 (2009) no. 2. pp. 397–408.  71

Fontos megjegyezni, hogy a nézési viselkedés előrejelzésének nem a mozgás mint olyan a kritikus komponense, hanem a mozgáskontraszt: az, ahogy a mozgás eloszlása változik a képkockán belül. Ha a kameramozgás miatt a képernyő minden egyes pixelje magas mozgásértékkel rendelkezne, akkor a mozgás nem jelezné előre a tekintet helyét. De amikor a képernyő vagy a vászon apró része mozgásban van a statikus háttérhez képest, akkor a mozgáskontraszt nagysága megbízhatóan előrejelzi a tekintet helyét az összes néző esetén, és így figyelmi szinkronicitáshoz vezet.Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  72 Ez a bizonyíték támogatni látszik a filmkészítők megérzéseit arról, hogy milyen ereje van a legkisebb mozgásnak is abban, hogy magára vonja a nézők figyelmét és elrejtse a vágást.Dmytryk: On filmmaking.; Murch: In the blink of an eye. [Murch: //Egyetlen szempillantás alatt//]; Pepperman: The eye is quicker.; Reisz – Millar: Technique of film editing.  73

Vágjunk a közepébe

A tekintetre ható exogén befolyások akkor a legerősebbek, ha közvetlenül egy vágás után következnek, erejük pedig egyre csökken a snitt előrehaladtával, ahogy a nézők megismerkednek a snitt tartalmával.Carmi – Itti: Visual causes versus correlates of attention selection in dynamic scenes.; Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  74 Az új snittek kezdetén éri el a legmagasabb értéket a szakkádfrekvenciaGermeys, F. – d’Ydewalle, G.: The psychology of film. Perceiving beyond the cut. Psychological Research 71 (2007) no. 4. pp. 458–466.; May et al.: Using film cutting techniques in interface design.; Smith – Henderson: Edit blindness.  75 és a figyelmi szinkronicitás, idővel pedig csökkennek.Carmi – Itti: Visual causes versus correlates of attention selection in dynamic scenes.; Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.; Smith – Henderson: Attentional synchrony in static and dynamic scenes. p. 773.  76 Már Hochberg és Brooks is megjósolták, hogy egy snitt alatt csökken az exogén kontrol: „A vizuális lendület az ösztönző arra, hogy információt szerezzünk, ezt pedig (…) tükröznie kell a pillantások gyakoriságának (…) A vizuális lendület feltehetően annál inkább csökken, minél tovább nézi a képernyőt a néző, és megnő akkor, ha nő azon helyeknek a száma, amelyeket a néző megnézhet azért, hogy nem fölösleges információhoz jusson.”Hochberg, J. – Brooks, V.: Film cutting and visual momentum. In: J. W. Senders – D. F. Fisher – R. A. Monty (eds.): Eye movements and the higher psychological functions. Hillsdale, NJ: Lawrence Erlbaum, 1978. p. 295. * Olyan görbe, többnyire egyenes, amelyet egy függvény grafikonja határértékben megközelít, de nem éri el. [– //A szerk//.]  77 Akkoriban a szemkövetési technológia nem tette lehetővé, hogy Hochberg és Brooks kövessék a nézők szemmozgását filmnézés közben, így ehelyett diákat mutattak be a nézőknek, amelyeken régi magazinokból, háztartási eszközöket bemutató katalógusokból és egyetemi évkönyvekből származó képek szerepeltek. Azt figyelték meg, hogy a szakkádok gyakoriságában beálló csúcs, amelyet megjósoltak, az egyes képek felbukkanásakor következett be, amit aztán nagyjából négy másodpercig tartó lineáris csökkenés követett, majd a szakkádok gyakorisága nem nőtt tovább (aszimptota^* jelent meg), és alacsony maradt egészen addig, amíg a kép látható volt a képernyőn. A szakkádok gyakorisága nagyobb volt az olyan képek esetén, amelyeken több érdeklődési központ volt (főleg arcok), vagy amikor az érdeklődési központok ellensúlyt alkottak a képernyő közepéhez képest, valamint a rövidebb időtartamú látványok esetén.ibid.  78 A szerzők úgy gondolták, hogy a szakkádok gyakoriságának csökkenése közvetlen bizonyítéka annak, hogy minden snitt limitált mennyiségű olyan információt tartalmaz, mely a néző számára releváns, és miután a nézők minden információforrásra ráfixáltak, a snitt „filmes szempontból halott” lett.ibid. p. 294.  79 A vágó úgy optimalizálhatja a filmek vizuális lendületét, ha az új információkra vág, vagy a régi információt újrakeretezi, miután a néző már kimerítette annak információ- tartalmát. Így a vágó „életben tudja tartani” a képet, a néző tekintete aktív marad, a figyelmi szinkronicitás pedig a maximumon marad az egész film során.

Hasonló változást fedeztek fel a szakkádok gyakoriságában a nézési idő előrehaladtával akkor is, amikor a nézőknek statikus jeleneteket kellett megfigyelniük.Antes, J. R.: Time course of picture viewing. Journal of Experimental Psychology 103 (1974) no. 1. pp. 62–70.; Buswell: How people look at pictures.; Unema, P. J. A. – Pannasch, S. – Joos, M. – Velichovsky, B. M.: Time course of information processing during scene perception. The relationship between saccade amplitude and fixation duration. Visual Cognition 12 (2005) pp. 473–494.  80 A vélekedés szerint a nézők először egy ambiens feldolgozási fázisba kerülnek, amelynek során nagy és gyakori szakkádokat végeznek a kép körül, hogy összeállítsanak egy kezdeti reprezentációt arról, miként van a jelenet elrendezve, és mit tartalmaz.Unema et al.: Time course of information processing during scene perception.  81 Idővel aztán a néző belép a feldolgozás fokális fázisába, ahogy a szakkádok gyakorisága és amplitúdója csökken és a nézők hosszabb ideig fixálnak alacsonyabb számú tárgyra. Tekintve, hogy a jelenet statikus, a nézők előbb-utóbb kimerítik annak információtartalmát, és visszatérnek korábban már megtekintett területekhez.Yarbus: Eye movements and vision.  82 Úgy vélik, hogy annak aránya, amennyiszer a nézők a tekintetüket váltogatják, és amennyi időt az egyes fixációkban töltenek, a fixáció közbeni információfeldolgozás, valamint a jelenetben fennmaradó információ egyik tényezője lehet (lásd Nuth- mann és Henderson munkáját,Nuthmann, A. – Smith, T. J. – Engbert, R. – Henderson, J. M.: CRISP: A computational model of fixation durations in scene viewing. Psychological Review 117 (2010) no. 2. pp. 382–405.  83 melyben áttekintik, milyen tényezők befolyásolják a szakkádok időzítését a természetes jelenetek során).

Ehhez képest a mozgóképekben megvan annak a lehetősége, hogy folyamatosan frissítsék a képek információtartalmát egy képsor alatt a kamera mozgatása vagy a cselekvések megkoreografálása révén. Úgy tűnik azonban, hogy miközben a néző egyre jobban megismeri a snittet, és csökken az exogén tényezők hatása, mindez azt eredményezi, hogy a néző tekintetének helye egyre gyakrabban változik, a szakkádok gyakorisága pedig csökken.Carmi – Itti: Visual causes versus correlates of attention selection in dynamic scenes.; Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  84 Jelenleg még nem világos, hogy vajon a nézők a mozifilmek megtekintése során is átesnek-e az ambiens és a fokális fázison, de a figyelmi szinkronicitásban idővel beálló változás arra utal, hogy változik a nézési stratégia. A figyelmi szinkronicitás csúcsa a vágás után 533 ezredmásodperccel következik be, ami arra utal, hogy a nézők az első vagy a második szakkáddal megtalálják az új képsor fő tényezőit.Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  85 Ha a jelenet ezután nem sokkal véget ér, akkor a figyelmi szinkronicitás garantált. Ahogy nő a jelenet időtartama, úgy nő a nézői tekintetek váltakozása is. Ez azonban nem azt jelenti, hogy 533 ezredmásodperc lenne a snittek optimális hossza, mivel a nézőknek idő kell, hogy megértsék az új snitt tartalmát, ne csak a fő tényezőket találják meg benne. A filmelőzetesekhez hasonló, gyorsan vágott képsorok nagymértékű figyelmi szinkronicitást mutatnak, de a tekintet nagyrészt áll, és a képernyő középpontjára fókuszál, mivel minden vágás a képernyőnek pontosan ugyanazon a pontján mutatja be az új információt, mint az előző snittben.Dorr et al.: Variability of eye movements when viewing dynamic natural scenes; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion  86

A vizuális lendület fenntartása és az információ megjelenítésének optimális aránya a filmek során nem csupán abból állhat, hogy a snittek időtartamát azok tartalmához igazítjuk. Azt is figyelembe kell venni, hogy a nézők figyelme természetes módon hezitálhat. Cutting és munkatársai rámutattak, hogy a hollywoodi vágási mintázatok idővel olyan beágyazott minták felé tendálnak, amelyekben a snittek hossza az emberi figyelem természetes fluktuációját tükrözi.Cutting – Brunick – DeLong: The changing poetics of the dissolve in Hollywood film.; Cutting et al.: Quicker, faster, darker.; Cutting – DeLong – Nothelfer: Attention and the evolution of Hollywood film.  87 Egy 1935 és 2010 között készült, 160 filmből álló korpuszban beazonosítottak minden egyes snittet, hogy aztán minden filmet eltérő hosszúságú snittek sorozatára bontsanak fel. Ezek után mintákat azonosítottak a sorozatban úgy, hogy minden snitt hosszát összevetették az őt követő snitt hosszával (lag 1), az azt követő snittel (lag 2), az azt követő snittel (lag 3) és így tovább, egészen a film legvégégig (lag N). Ezek az összevetések aztán rávilágítottak, hogy a közelmúltban készült filmek egyre erősödő tendenciát mutatnak arra, hogy hasonló hosszúságú snitteket csoportosítsanak egymás mellé. Például az energikus akciójelenetekben általában sok rövid snitt található, de ezeket egyre növekvő időtartamú snittek fogják közre, ahogy távolodunk a leginkább akciódús periódustól. Hasonló mintázatokat figyeltek meg az emberi reakcióidőt mérő tesztek során is, és a kutatók úgy vélik, hogy ezek a minták irányítják azt is, hogy milyen mértékben hozzáférhető a figyelem az érzékszervi információk feldolgozására.Gilden, D. L.: Cognitive emission of 1/f noise. Psychological Review 108 (2001) pp. 33–56.  88 Ha Cuttingnak és munkatársainak igaza van, akkor ez arra enged következtetni, hogy a film úgy fejlődik, hogy kompatibilis legyen a nézők kogníciójával. A nézők figyelme lehet a kulcsfontosságú tényező abban, hogy a filmben elérhető audiovizuális információ sikeresen átkerüljön a néző mentális tapasztalataiba. Akkor jöhet létre optimális kommunikáció, ha az információ bemutatásának tempója megegyezik a nézői figyelem térbeli és időbeli korlátaival mind láthatatlanul, a feldolgozó erőforrások tekintetében, mint pedig láthatóan, azt illetően, hová is irányul a tekintet.

A középpontra nézni

Ahogy korábban már említettük, a gyors vágásokkal teli jelenetek, mint például a filmelőzetesek, nagymértékű aránytalanságot eredményeznek abból a szempontból, hogy a nézői tekintetet a képernyő vagy a vászon középpontja felé irányítják.Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.; Le Meur et al.L Predicting visual fixations on video based on low-level visual features.; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  89 Ez a centrális tendencia nem csak a gyorsan váltakozó képsoroknál fordul elő. Hasonló aránytalanságot figyeltek meg a statikus jelenetek esetén is,Tatler et al: Visual correlates of fixation selection.  90 és a vélekedések szerint ez valamennyire független a kép kompozíciójától.Tatler, B. W.: The central fixation bias in scene viewing: Selecting an optimal viewing position independently of motor biases and image feature distributions. Journal of Vision 7 (2007) no. 14. pp. 1–17.  91 A filmekben kifejezetten hangsúlyos ez az arányeltolódás a középpont felé.Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.; Goldstein et al.: Where people look when watching movies.; Le Meur et al.: Predicting visual fixations on video based on low-level visual features.  92 A DIEM projektben mi is leírtuk ezt az eltolódást, és arra jutottunk, hogy ez általános jelenség minden videó esetén, függetlenül azok tartalmától, vágásától vagy kompozíciójától.Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  93 A középpont felé történő arányeltolódás világosan látható a tekintetek eloszlásában a DIEM korpuszban található videókból készült válogatásban (2. ábra; bal oldali oszlop). A tekintetek eloszlása csak abban az esetben mozdul el a képernyő vagy a vászon középpontjától, amikor a videó kompozíciója több érdeklődési középpontból áll, mint például a két játszó gyerek az 1. videóban, vagy a multi-frame kompozíció a 2. videóban. Ettől eltekintve a középpont felé tendáló arányeltolódás minden videóban jelen van, különösen közvetlenül a vágás után, amikor a vágást követő első egy-két szakkád a képernyő közepe felé tendál. A középponti eltolódás csökken a snitt következő másodpercében, ahogy a nézők a képkocka különböző részeire néznek. A vágást közvetlenül követő, középpont felé tolódás emellett nagyfokú figyelmi szinkronicitást eredményez a képernyő középpontjában. A DIEM korpuszban ezt a súlyozott klaszterkovarianciával fejeztük ki: kiszámoltuk az optimális klasztereket, amelyek leírják az egyes képkockákra eső tekintetek eloszlását, így a méret (kovariancia) és a nézők számának kombinációja az egyes klaszterekben (súly) megadja a figyelmi szinkronicitás egyetlen mérőszámmal megadott mértékét, ahol az alacsonyabb értékek több figyelmi szinkronicitásra utalnak, míg a magasabb értékek kevesebb figyelmi szinkronicitást jeleznek (azaz a tekintet jobban eloszlik a képkockánibid.  94). A 2. ábra (jobb oldali oszlop) mutatja a különböző mértékű súlyozott klaszterkovariancia gyakoriságát egy bizonyos film esetén. Az olyan filmek, amelyek a középpont irányába nagyobb arányeltolódást mutatnak, mint például A Quantum csendje (Quantum of Silence, 2008) előzetese (2. ábra, 4. film), vagy kevesebb fokális tárgyat (azaz érdeklődési tárgyat) mutatnak be, mint például a 3. filmben szereplő két teniszezőt, alacsonyabb súlyozott klaszter- kovarianciát mutatnak a nagyfokú figyelmi szinkronicitás miatt.

2. ábra: A DIEM adatbázisból származó mintavideók, amelyekre rávetítettük negyvenkét néző tekintetének helyét egy bizonyos képkockán. A tekintetek csoportosulását hőtérképként ábrázoltuk (középső oszlop), a klaszterkovarianciáját (azaz kiterjedését) pedig arra használtuk, hogy megmérjük, mennyi figyelmi szinkronicitás mutatkozik az összes néző esetén. A klaszter-kovarianciák eloszlása lehetővé teszi, hogy meglássuk a különbséget a videók között (jobb oldali oszlop). A bal oldali oszlop azt mutatja, hogyan oszlott el a tekintet a videó során, ami jelzi, hogy a képernyő azon pontján több fixáció jött létre. Az ábrát Mital – Smith – Hill – Henderson (2010) munkája alapján engedéllyel módosítottuk.

A vágás utáni kezdeti arányeltolódást a középpont felé betudhatnánk egyszerűen annak is, hogy a képkockák hajlamosak az érdeklődést felkeltő tárgyakat, mint például az arcokat a képernyő középpontjában vagy annak közelében elhelyezni. Miután egy kutatás szisztematikusan elemezte azokat a tényezőket, amelyek hozzájárulnak a dinamikus jelenetekben felbukkanó, középpontot hangsúlyozó aránytalansághoz, az eredmények megerősítették, hogy ez részben valóban annak köszönhető, hogy a fokális, előtérbe állított tárgyakat a képernyő középpontjában helyezik el.Tseng, P. H. – Carmi, R. – Cameron, I. G. M. – Munoz, D. P. – Itti, L.: Quantifying centre bias of observers in free viewing of dynamic natural scenes. Journal of Vision 9 (2009) no. 7. pp. 1–16.  95 Ez a kutatás azonban arra is rámutatott, hogy a nézők egy-egy vágás után hajlamosak a képernyő középpontjára orientálni a tekintetüket, függetlenül a tartalomtól.

A tekintet középpont irányába történő eltolódása megerősíti azt a művészi, fotós és filmes hiedelmet, mely szerint a képkocka közepe privilegizált pozíció. Rudolf Arnheim The Power of the CenterArnheim, R.: The power of the center. Berkeley, CA: University of California Press, 1988.  96 című, a térbeli kompo- zícióról szóló klasszikus művében szót ejtett arról az esztétikai élvezetről, amelyet az okoz, ha egy kompozícióban a fokális tárgy a képkivágás középpontjában helyezkedik el. Arnheim úgy vélte, hogy a középpont tartja meg a kompozíció stabilitását és egyensúlyát, és ha ide helyezünk tárgyakat, akkor a középpont a lehető legnagyobb vizuális fontosságot kölcsönzi nekik. Arnheim megfigyelését támogatták azok az elemzések is, amelyek az emberi arcok elhelyezését vizsgálták klasszikus portrékon. Tyler például arra jutott,Tyler, C. W.: Painters centre one eye in portraits. Nature 392 (1998) pp. 877–878.  97 hogy a két szem egyike jellemzően a festmény függőleges középvonalán helyezkedik el, ha az arc előre néz. Amikor az arcot profilból ábrázolták, akkor jellemzően az egyetlen látható szem vagy a száj esett a függőleges középvonalra.

Tyler munkája megerősíti a művészeknek a középpont erejébe vetett hitét, valamint a konvencióhoz való ragaszkodásukat, de nem bizonyítja, hogy az effajta központi kompozíciók a leginkább kellemesek esztétikai szempontból. Egy ennek némileg ellentmondó kompozíciós szabály, a harmadolás szabálya szerint az esztétikai szempontból legkellemesebb kompozíciók a fókuszban lévő tárgyat a függőleges és vízszintes harmadolóvonalak találkozásában helyezik el. Képzeljük el, hogy a képernyőt három egyforma méretű oszlopra és három egyforma méretű sorra osztjuk. Ezek az oszlopok és sorok négy helyen metszik egymást: jobbra fent, balra fent, jobbra lent és balra lent. A művészi megérzés évszázadokon keresztül azt súgta, hogy egy tárgy esztétikailag kellemes elhelyezése úgy lehetséges, ha a tárgy középpontja a jobb felső vagy bal felső pozícióba kerül. A harmadolás szabályát támogató empirikus bizonyítékot szolgáltatnak olyan kutatások, amelyek összehasonlították a nézői preferenciákat eredeti festmények és azok tükörképei között.Például: Levy, J.: Lateral dominance and aesthetic preference. Neuropsychologia 14 (1976) pp. 431–445.  98 A nézők azokat a festményeket részesítik előnyben, amelyeknek lényeges tartalma a képkivágás jobb oldalára esik, ez a preferencia pedig talán az agyféltekei dominancia eredménye lehet, mivel a balkezes nézők az ellenkező preferenciát mutatják.ibid.  99

A középpont felé húzó arányeltolódás és a harmadolás szabálya közötti látszólagos konfliktust nemrég vizsgálták meg egy elegáns pszichofizikai kutatásban, mely az esztétikai preferenciákról szólt.Palmer, S. E. – Gardner, J. S. – Wickens, T. D.: Aesthetic issues in spatial composition: Effects of position and direction on framing single objects. Spatial Vision 21 (2008) nos. 3–5. pp. 421–449.  100 Palmer és munkatársai kutatások sorozatában azt kérdezték a résztvevőktől, hogy melyik tetszik nekik jobban két egyszerű képalternatíva közül. A képek csak abban különböztek egymástól, hogy a képkivágáson belül hol helyezkedett el a fokális tárgy. Amikor a tárgynak világos főiránya volt, például a képen szereplő személy vagy állat előrenézett (azaz a néző felé), akkor a legkellemesebb pozíciónak a képernyő közepét ítélték. Ez a középponti arányeltolódás azonban eltűnt, ha a tárgyat profilból ábrázolták: a balra néző tárgyakat a képernyő jobb oldalán találták kellemesnek, míg a jobbra néző tárgyakat a bal oldalon. Palmer és munkatársai arra a következtetésre jutottak, hogy a kompozíció esztétikai preferenciája az iránytól függ, amerre a fókuszban lévő tárgy néz, a nézők pedig azt részesítik előnyben, ha a tárgy a képernyővel szemben helyezkedik el. Ez a tényező magyarázza azt, hogyan lehet összeegyeztetni a középponti arányeltolódást és a harmadolás szabályát attól függően, hogy merre néz a fokális tárgy.

Ehhez hasonló szisztematikus kutatás nem létezik azt illetően, hogy miként befolyásolja a kompozíció az esztétikumot a filmekben. Az AToCCSmith: Attentional theory of cinematic continuity.  101 viszont amellett érvel, hogy a színészek arca ne kerüljön a középpontba annak érdekében, hogy a nézők figyelmét arra a helyre irányítsák, ahol a következő snitt célja várhatóan megjelenik majd. A rejtett figyelmet a színész tekintetének irányába terelik, hogy simább átmenet jöjjön létre a snittek között, megteremtve így a kontinuitást. Például a Rekviem egy álomért (Requiem for a Dream, 2000) című filmben az egyik színész tekintete a képernyőn kívüli részre irányul, ami vágásokon átívelő lassú orientációhoz vezet, és ahhoz, hogy nehéz megtalálni a következő snitt fokális tárgyát.ibid.  102 Míg azonban a színész tekintetének iránya a legtöbb közeli felvételen a képernyő területére esik, a színészek feje pedig majdnem a képernyő középpontjában van, a színészek szeme egészen közel lehet a képernyő középpontjához. Mivel a nézők tekintetének elsődleges célpontja a színészek szeme, ez megmagyarázhatja a nézői tekintetben tapasztalható középpont felé irányuló arányeltolódást, amelyet a DIEM korpuszban figyelhetünk meg.Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  103 A továbbiakban szükség van arra, hogy részletesen elemezzünk létező filmeket és empirikus manipulációkat, ahogy Palmer, Gardner és Wickens is tették,Palmer et al.: Aesthetic issues in spatial composition.  104 hogy ezt a hipotézist filmeken is tesztelhessük.

Nézni, ahogy emberek embereket néznek

A DIEM korpuszból származó tekintetadatok elemzése azt mutatja, hogy arányeltolódás áll fenn az olyan kompozíciós elemek esetében, mint a képernyők középpontja és az alacsony szintű vizuális elemek, mint például a mozgás, de nem sikerül beazonosítani az olyan típusú tartalmak befolyását, amelyeket általában figyelembe veszünk a filmek tárgyalásakor (pl. emberek, cselekvések és narratívák). Teljesen elképzelhető, hogy ha azt meg is tudjuk jósolni, hogy a mozgás alapján hova fogunk nézni, az nem jelenti szükségszerűen, hogy a mozgás vonzza a figyelmet ezekre a helyekre. Lehetséges, hogy a mozgás egyszerűen csak egybeesik azokkal a tényezőkkel, amelyek igazából érdekelnek bennünket. Például ha megnézzük a 2. ábrát (középső oszlop), akkor világos, hogy a tekintet leginkább az emberek és az arcuk köré gyűlik. A legtöbb filmben és televíziós sorozatban az emberek és az állatok a fő érdeklődési pontok, amelyek köré a snitteket komponálják. A dráma a karakterek arcán ábrázolt érzelmek, kifejezések és gondolatok által válik megragadhatóvá.Hitchcock, A.: Hitchcock on Hitchcock: Selected Writings and Interviews. University of California Press, 1995.  105 A filmkészítő fő feladata, hogy „elrendezze ezeket az ovális alakzatokat a filmvászon négyszögletes alakzatán belül”.ibid.  106 A snittkompozíció, a világítás és a mélységélesség gondos kialakítása meg fogja változtatni egy snitt alacsony szintű vizuális elemeit, és az arcok felé tereli a tekintetet, de maga az arc szintén erősen vonzza a figyelmet.Birmingham, E. – Bischof, W. F. – Kingstone, A.: Gaze selection in complex social scenes. Visual Cognition 16 (2008) pp. 341–355.; Castelhano, M. S. – Wieth, M. S. – Henderson, J. M.: I see what you see: Eye movements in real-world scenes are affected by perceived direction of gaze. In: Paletta, I. – Rome, E. (eds.): Attention in cognitive systems. Berlin, Germany: Springer, 2007. pp. 252–262.; Yarbus: Eye movements and vision.  107 Az emberi arc és test mozgása potenciális információforrásként szolgál vagy az illető személy beszédén keresztül, vagy azon keresztül, ahogy a személy interakcióba lép a környezetével. A mozgás előrejelezheti, hogy hová nézünk, de lehet, hogy mi azért nézünk oda, mert az emberek és az ő cselekvéseik érdekelnek, nem maga a mozgás.

3. ábra: Bal oldal: a plánok méretei. Az összes plán méretét egy átlagos emberi alakhoz viszonyítjuk, mintha az alak a
snitt fő fókuszmélységében helyezkedne el, a képkivágás teteje pedig egy vonalban van az alak feje tetejével. Jobbra fent: A tekintet
klaszterkovarianciája a plánok függvényeként. Jobbra lent: Példák a következő plánokra: közeli vagy premier plán (CU), félközeli vagy szekond plán (CMS), és totál (LS), szuperközeli (XCU); félalakos (MS); amerikai plán (MLS); nagytotál (XLS); a képen emberalak nem szerepel (NA).

Ahhoz, hogy megvizsgálhassuk az emberek és az arcok befolyását a tekintet viselkedésére a DIEM korpuszban, a korpusz videóinak alcsoportjaiban minden snittet kategorizáltunk a bennük található plánok mérete alapján.Részletekért lásd: Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  108 A plánok mérete vagy a kamera és a szereplő távolsága a filmelméletben és a filmkészítésben hagyományosan használt mérték annak leírására, hogy egy emberalakból mennyi látszik egy snittben.Salt: Film style and technology.  109 Például a 3. ábrán (jobbra lent) bemutatott három snitt egyre növekvő plánt mutat, mivel először egy ember arcát látjuk (közeli vagy premier plán), aztán a felsőtestét (szekond plán vagy félközeli), majd pedig az egész testét (totál plán). Ha a legtöbb snitten az érdeklődés fő tárgya az emberi arc, ahogy a tekintet viselkedését statikus jelenetekben vizsgáló korábbi kísérletekBirmingham et al.: Gaze selection in complex social scenes.; Castelhano et al.: I see what you see.; Yarbus: Eye movements and vision.  110 alapján megjósolhatnánk, akkor a plán emberi alakhoz viszonyított mérete közvetlen következményekkel jár azt illetően, hova figyelnek a nézők, és hova csoportosul a tekintet egy bizonyos snitten belül. Mi pontosan ezt figyeltük meg a DIEM korpuszban. Amikor a snittben nem szerepelt ember („NA” a 3. ábrán, jobbra fent), akkor volt a legmagasabb a tekintet klaszter-kovarianciája (azaz a legkisebb a figyelmi szinkronicitás). Ahogy csökkent a plán mérete, úgy csökkent a klaszter-kovariancia is. A legnagyobb figyelmi szinkronicitás a félközeli plánok esetén jelent meg. Az ilyen plánokban általában egyetlen színész jelenik meg, aki vagy a kép közepén, vagy a középponttól kissé távolabb jelenik meg, és vagy a kamerával beszél (pl. televíziós híradásokban, ahogy azt a 3. ábra is mutatja, jobbra lent), vagy egy, a képernyőn nem látható karakterrel. A színész arca a képernyőnek csak kis területét foglalja el, és elég kicsi ahhoz, hogy egyetlen fixáció alatt teljes egészében megtekinthető legyen. Legjobb tudomásom szerint nincs olyan filmelmélet, amely megjósolná a félközeli plánok ilyenfajta elsődleges szerepét a snittet figyelő nézők figyelmének koordinálásában.

Amint a plán mérete félközelinél kisebb lesz, az arc nagyobbá válik, és a képernyő nagyobb részét foglalja el, így a néző arra kényszerül, hogy az arc körül szakkádoljon annak érdekében, hogy minden részletet meg tudjon nézni (pl. bal szem, jobb szem, orr, száj stb.). Mivel itt már nincs egyetlen érdeklődési pont, a klaszter-kovariancia újra megnő. Ez nyilvánvaló bizonyítéka annak, hogy a nézők tekintetének viselkedése és a figyelmi szinkronicitás a film pillanatról pillanatra kibontakozó információtartalmához kötött. Az olyan, alacsony szintű tényezők, mint például a mozgás, ugyan előrejelezhetik, hová néznek a nézők, de annak oka, hogy miért is néznek oda, igazából véletlen egybeesés is lehet a mozgás és azon szociális tényezők között, amelyek ténylegesen érdeklik a nézőket.

Miért is nézünk?

Mostanáig úgy beszéltünk a filmnézésről, mintha az tisztán repetitív feladat lenne: a vágások új audiovizuális információval szolgálnak, amelyekre mi a szemünkkel reagálunk az olyan, alacsony szintű vizuális tényezők alapján, mint a mozgás, és olyan érdeklődési tárgyakat keresünk, mint például az arcok. Mindezek alapján úgy tekinthetnénk a filmnézőkre, mintha oktalan robotok lennének mindennemű akarat vagy alanyi cselekvőképesség nélkül. Ugyanakkor rendkívül motivált nézők vagyunk. Azért nézünk, mert követni akarjuk a narratívát, meg akarjuk érteni a karakterek tetteit, érezni akarjuk azokat az érzéseket, amelyeket éreznünk kell, mindenekfelett pedig élvezni akarjuk a filmet. Ezeknek a motivációknak elég erős endogén indíttatást kellene biztosítaniuk ahhoz, hogy megkeressük a narratívához kapcsolódó információkat. De vajon van-e bizonyítéka az endogén tekintetkontrollnak a filmnézés során? Úgy tűnik, hogy Bordwell és Thompson szerint van: „A nézés céltudatos; azt, hogy mit nézünk, az arra vonatkozó feltételezéseink és elvárásaink vezetik, hogy mit kell keresnünk. Ez utóbbit előzetes művészeti tapasztalatainkra és a valódi világban szerzett élményeinkre alapozzuk. Amikor egy filmes képet nézünk, számos tényezőn alapuló hipotéziseket formálunk.”Bordwell – Thompson: Film art: An introduction. p. 189.  111 Már a legkorábbi szemkövető kísérletekBuswell: How people look at pictures.; Yarbus: Eye movements and vision.  112 óta ismert, hogy az endogén tényezők erős befolyással bírnak a tekintet viselkedésére statikus jelenetek megtekintése közben. Az endogén tekintetkontroll leghíresebb korai bizonyítéka Alfred Yarbus orosz pszichológustól származik. Yarbus lejegyezte a nézők szemmozgását, mialatt Ilja Repin Váratlan látogató (1884–1888) című képét nézték, amelyen egy katonai ruhát viselő férfi belép egy gyéren bútorozott szobába, ahol a döbbent család köszönti. Amikor a nézőket egyszerűen csak arra utasították, hogy szabadon tekintsék meg a képet, a legtöbb időt azzal töltötték, hogy az arcokat, a ruházatot és az olyan, előtérben lévő tárgyakat nézték, mint például a bútorok, a háttérre, a falakra vagy a padlóra viszont nagyon kevés időt fordítottak.ibid.  113 Yarbus kísérletének kulcsfontosságú újdonsága azonban a következő lépésben rejlett. Ezután ugyanis arra utasította a nézőket, hogy még hat alkalommal tekintsék meg a képet, különböző nézési instrukciók mellett. Minden instrukció radikálisan megváltoztatta, hogy hová néztek a nézők. A tekintetüket a nézési feladat szempontjából releváns tárgyakra irányították, például az arcokra, ha a kort kellett meghatározni, a ruhákra, ha az öltözetre kellett emlékezniük, és a bútorokra, valamint a háttér részleteire, amikor a tárgyak helyére kellett emlékezniük. Yarbus bizonyítéka világosan megmutatta, hogy a nézési feladatnak közvetlen befolyása van arra, hogy hová nézünk statikus jelenetek megtekintésekor.

A mozgóképek esetén az olyan, átmeneti tényezők, mint a mozgás megnövekedett exogén kontrollja jelentheti azt, hogy az endogén kontrollnak kisebb befolyása van a tekintet pozicionálására. Úgy tűnik, ezt a hipotézist támogatja a figyelmi szinkronicitás magas foka is, amelyet a vágással szerkesztett mozgóképek megtekintése közben figyeltek meg.Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.; Goldstein et al.: Where people look when watching movies.; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion; Smith – Henderson: Attentional synchrony in static and dynamic scenes.; Stelmach et al.: Static and dynamic spatial resolution in image coding.; Tosi et al.: Scanning eye movements made when viewing film.  114 Ha a tekintet endogén kontroll alatt állna, akkor az egyedi variabilitás, amely alapján egyes nézők bizonyos pillanatokban előnyben részesítettek bizonyos képi tényezőket, csökkentené a figyelmi szinkronicitást. A szabad megtekintés elemzése nem engedi meg az exogén és endogén tényezők elkülönítését, mivel előfordulhat, hogy ami a nézőket érdekli, az ugyanaz, mint ami vizuálisan szembeötlő.

Ahhoz, hogy különválasszuk az endogén tényezőket az exogén tényezőktől, vagy a nézési körülményeket, vagy pedig a néző mentális állapotát kell manipulálnunk. Például ahogy nő egy dinamikus jelenet lejátszási ideje, úgy csökken az exogén tényezők befolyása, mivel nő annak mértéke, ahogy a néző megérti a jelenet tartalmát, a jövőbeni eseményekkel kapcsolatos elvásárokat, és egyre jobban megismeri a vizuális tényezőket. Az endogén tényezők növekedése nagyobb variabilitást idéz elő a tekintetben.Carmi – Itti: The role of memory in guiding attention during natural vision.; Carmi – Itti: Visual causes versus correlates of attention selection in dynamic scenes.; Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.; Mital et al.: Clustering of gaze during dynamic scene viewing is predicted by motion.  115 Ennek eredményeképpen a vágatlan mozgóképek átlagosan kisebb figyelmi szinkronicitást mutatnak, mint a vágott jelenetek.Dorr et al.: Variability of eye movements when viewing dynamic natural scenes.  116

A jelenetek tartalma az ismételt megnézések révén is egyre ismerősebbé válhat a nézők számára. Dorr és munkatársai bizonyították, hogy amennyiben a nézők többször néznek meg vágatlan naturalisztikus videókat és hollywoodi filmelőzeteseket, idővel csökken a figyelmi szinkronicitás.ibid.  117 Ez azonban lehet rövid távú hatás is, mivel ha az ismétlések között eltelt egy nap, akkor a figyelmi szinkronicitás visszatért a kezdeti szintre.ibid.  118 Ez a jelenség, mely szerint a figyelmi szinkronicitás többszöri megnézés esetén csökken, utalhat arra, hogy a szembeszökő jellegzetességek kevesebb figyelmet kapnak, a háttér pedig többet. Egy ilyen kutatási eredmény alátámasztaná azt az anekdotikus megfigyelést, mely szerint lehetséges új részleteket észrevenni egy filmben, ha többször nézzük meg. Ez egyúttal azt is megmagyarázhatja, hogy miért könnyebb észrevenni a kontinuitási hibákat ismételt megnézések alkalmával. Az első megnézés során a tekintetet a szembeszökő részletek vonzzák, és amint megszereztük az ezekből származó információt, akkor már figyelmen kívül hagyhatjuk a szembeszökő részleteket, és a figyelmünket a háttérnek szentelhetjük. A kontinuitási hibák felfedezésének ilyen mintázatát Jon Sandys, a Movie MistakesSandys, J.: Movie Mistakes: Take 4. UK: Virgin Books, 2005.  119 című könyv szerzője is megerősítette, aki a kontinuitási hibák felfedezésének és katalogizálásának szakértője. Sandys (egy privát közlésben) elmondta, hogy a legtöbb hibát először úgy veszik észre, hogy „úgy érzik, valami nem klappol”, és csak akkor tudják ténylegesen megtalálni, ha újra lejátsszák az adott jelenetet. Korábbi számításaink szerint, mivel a látás élességének vannak korlátai, valamint a szemünket is időbe telik elmozdítani, egy átlagos snitt alatt a képernyő területének csupán 3,8 százalékára tudunk ráfixálni. Így aztán bőven marad még képernyőhely, amelyet későbbi újranézések során felfedezhetünk.

Egy másik módszer arra, hogy elválasszuk az endogén kontrollt az exogén kontrolltól, az, ha megváltoztatjuk a nézési feladatot (ahogyan Yarbus is tette). Egy előzetes vizsgálat során manipuláltuk a nézési feladatot, miközben a nézők természetes jelenetekről készült, statikus kameraállásból rögzített vágatlan videókat néztek.Smith, T. J. – Mital, P. K.: Watching the world go by: Attentional prioritization of social motion during dynamic scene viewing. [Konferencia-absztrakt]. Journal of Vision 11 (2011) no. 11. p. 478.  120 A nézők vagy feladat nélkül tekintették meg a videókat, vagy megpróbálták felismerni a videóban szereplő helyszínt. Annak érdekében, hogy azonosítani tudják, a nézőknek az olyan statikus elemekre kellett koncentrálniuk a tekintetüket, mint például az épületek, az utcák, a jelzőtáblák, a fák és így tovább, és figyelmen kívül kellett hagyniuk az embereket és a forgalmat. A nézők meglepő módon képesek voltak figyelmen kívül hagyni azokat a mozgó elemeket, amelyek korábban, a szabad nézés közben előrejelezték a tekintet helyét. A tekintet aktívan elkerülte az embereket, és a mozgás ebben az esetben már nem jelezte előre a tekintet helyét, a figyelmi szinkronicitás pedig majdnem olyan alacsony szintre csökkent, amilyet a statikus jeleneteknél lehet megfigyelni.ibid.  121 Még ennél is meglepőbb volt, hogy mi történt, miután a résztvevők megnyomták azt a gombot, amellyel a helyszín felismerését jelezték: a tekintet azonnal visszatért a mozgásra. Ezek az előzetes eredmények arra utalnak, hogy az exogén kontrollt felülírhatja a megfelelő nézési feladat, de az alapértelmezett érdeklődésünk az emberekre és azok cselekvéseire irányul.

Az, hogy a kísérletben használt dinamikus jelenetekből hiányzott a vágás és a szándékos kompozíció, talán magyarázhatja azt, hogy a nézési feladat miért tud olyan könnyen felülkerekedni az exogén faktorokon. Létező játékfilmeket kellene felhasználni annak vizsgálatára, hogy a nézési feladatnak vajon egy normál film közben is hasonló hatása van-e a nézési viselkedésre. Spanne próbálkozott efféle manipulációval,Spanne, J. G.: Task impact on cognitive processing of narrative fiction film. (Mesterszakos diplomamunka, Lund University, Lund). 2006.  122 amikor az Armageddon (1998) és a Drágán add az életed! (Die Hard, 1988) című filmekből használt fel klipeket. Azt az utasítást adta a kísérlet résztvevőinek, hogy vagy nézzék szabadon a klipeket, és döntsék el, hogy meg akarják-e nézni a film többi részét, vagy pedig alkossanak véleményt az egyes klipekben megjelenő nőkről. Az eredmények azt mutatták, hogy a nézési feladat sokkal kisebb hatással volt a tekintetre, mint amit a vágatlan képsorok esetén figyeltünk meg.Smith – Mital: Watching the world go by.  123 A világos nézési feladat jelenléte a figyelmi szinkronicitás csökkenéséhez vezetett, ugyanakkor a feladat hatása változó volt az egyes klipek és a konkrét snittek tartalma esetén.Spanne: Task impact on cognitive processing of narrative fiction film.  124 A Spanne által megadott példák – például egy közeli Bruce Willis arcáról az Armageddonban, mely minden feltétel esetén alacsony figyelmi szinkronicitáshoz vezet – azt mutatják, hogy az exogén befolyások fluktuálhatnak a film során. Az olyan rendezői döntések, mint a mise-en-scène, a jelenet elrendezése és a vágás mind befolyásolhatják az exogén tényezők kiemelkedését és annak valószínűségét, hogy ezek el tudják csábítani a tekintetet attól, hogy befejezze a nézési feladatot. Az ezen a területen végzett kutatások azonban még legjobb esetben is gyerekcipőben járnak, és további feladatmanipuláció, illetve a fixáció körüli vizuális tényezők elemzése szükséges ahhoz, hogy ki tudjuk bogozni az endogén/exogén tényezőket filmnézés közben.

Zárásképpen el kell ismernünk a legfontosabb endogén faktort, amely befolyásolhatja azt, hogyan nézünk filmeket: ez pedig a narratíva. Bár a narratívát vizsgáló filmelméleti kutatásokból valószínűleg több van, mint a film más aspektusait vizsgálókból összesen, gyakorlatilag nem létezik olyan kognitív kutatás, amely azt vizsgálná, hogyan észlelünk filmes narratívákat. Néhány kognitív pszichológus már vizsgálta, hogyan észlelünk vizuális narratívákat, és hogyan emlékszünk rájuk,Kraft, R. N.: Rules and strategies of visual narratives. Perceptual and Motor Skills 64 (1987) no. 1. pp. 3–14.; Kraft, R. N. – Cantor, P. – Gottdiener, C.: The coherence of visual narratives. Communication Research 18 (1991) no. 5. pp. 601–615.; Magliano, J. P. – Zacks, J. M.: The impact of continuity editing in narrative film on event segmentation. Cognitive Science 35 (2011) no. 8. pp. 1–29.; Zacks, J. M. – Magliano, J. P.: Film understanding and cognitive neuroscience. In: Melcher, D. P. – Bacci, F. (eds.): Art and the Senses. New York, NY: Oxford University Press, 2009. pp. 435–454.; Zacks, J. M. – Speer, N. K. – Swallow, K. M. – Maley, C. J.: The brain’s cutting-room floor: Segmentation of narrative cinema. Frontiers in Human Neuroscience 4 (2010).  125 de legjobb tudomásom szerint senki sem vizsgálta azt, hogy a narratív megértés hogyan befolyásolja azt, ahogyan filmeket nézünk. Annak fényében, amit a tekintetre ható endogén befolyásról tudunk, és a bizonyíték fényében, amely a dinamikus jelenetek közbeni információszerzésre vonatkozik, nagyon valószínű, hogy a sikeres narratívamegértés egyértelmű összetevője a nézői tekintetnek. Például gyorsabban megkeresünk-e egy karaktert, ha tudjunk, hogy ő a gyilkos egy film noirban? Keressük-e a jelenetben a bombát, ha egy korábbi jelenetben már láttuk, ahogy elrejtik? Hosszabban nézünk-e egy olyan karaktert, aki iránt empátiát érzünk? Megtagadjuk-e, hogy olyasmire nézzünk, amivel kapcsolatban arra számítunk, hogy ijesztő vagy kényelmetlen lesz (gondoljunk a fogászati/kínzás jelenetre a Maraton életre-halálra [//Marathon Man//] című 1976-os filmből)? Egy filmes narratíva sikeres megértéséhez szükséges, hogy a néző foglalkozzon a releváns információk megszerzésével, megértésével és megtartásával. Ennek a nézői tekintetben nyilvánvalónak kellene lennie, de eddig még senki sem demonstrálta.

Konklúzió

Egy külső szemlélő számára a filmnézők meglehetősen passzívnak tűnhetnek. Ennek a fejezetnek az volt a célja, hogy bemutassa, milyen hihetetlenül aktívak a nézők abból a szempontból, ahogy a tekintetüket mozgatják a vásznon vagy a képernyőn, és ahogy kognitív módon feldolgozzák a bemutatott információt. A narratíva megalkotása együttműködést igénylő folyamat, amelyben a filmkészítőnek megfelelő módon be kell mutatnia a releváns audiovizuális információt, a nézőnek pedig aktív módon meg kell szereznie és kódolnia kell ezt az információt. Számos rendezői döntés, mint például a mise-en-scène, a vágás és a cselekmény elrendezése befolyásolja azt, ahogy a vizuális információ megjelenik, és azt, hogy ez milyen módon befolyásolhatja, hova néz a néző exogén módon. A fejezetben a kognitív komputációs filmelmélet (CCC) megközelítését alkalmaztuk, és megpróbáltuk megerősíteni a filmkészítők arra vonatkozó megérzéseit, hogy a mozgás, az elemek kontrasztja és az arcok hogyan befolyásolják a nézők figyelmét, ehhez pedig szemkövetést, valamint videós tartalmak számítógépes látáselemzésének kombinációját használtuk. Ezek az elemzések felvetik, hogy érdekes interakció áll fenn a néző megértése, valamint az olyan vizuális elemek között, mint a mozgás és a jelenetek szemantikája, melyek ingadozhatnak a film során. A szemkövetésben megvan a potenciál arra, hogy akár önmagában használható vizsgálati módszer legyen, vagy hogy a jövőben funkcionális agyi képalkotó/elektro- fiziológiai módszerekkel együtt alkalmazzák. A tekintetről szóló adatok intuitív természete közvetlen betekintést enged abba, hogy mik a néző tapasztalatai a filmnézés során anélkül, hogy az empirikus pszichológia komplex kvantitatív aspektusait kelljen bevetni. Amikor azonban a tekintetből származó adatokat lebontjuk az azt alkotó szemmozgásokra, és összekapcsoljuk a jelenetek alacsony szintű vagy szemantikus elemeivel, az így levonható következtetések potenciálja határtalan. Remélem, hogy még sokáig fogok embereket nézni, akik olyan embereket néznek, akik filmeket néznek.Köszönöm Parag K. Mitalnak a kézirat egy korábbi változatához fűzött megjegyzéseit, valamint a Dinamikus Képek és Szemmozgásadatok (DIEM: http://thediemproject.wordpress.com/) kiterjesztett elemzésében való közreműködését, valamint Rachel Sandercocksnak az adatgyűjtést. A DIEM projektet a Leverhume Trust finanszírozta (Ref F/00–158/BZ), a projektet pedig Prof. John M. Hendersonnal és Robin Hill-lel folytattuk, Antje Nuthmann és Melissa Võ közreműködésével.  126

Hudácskó Brigitta fordítása

Vissza