Doğu Erdener
Yrd. Doç .Dr.

Türkçede bir şeyi iyi duymaya çalıştığımızda kullandığımız bir tabir vardır: “kulak kabartmak”. Esas itibariyle bu tip tabir ve atasözlerini ilk telaffuz edenlerin içgörü ve yaratıcılıklarına hayran kalmamak elde değil. Bu tabirde tabii ki belli bir mantık da var. Neticede gerçekleşmesi gereken amel işitmek ise, tabiatı ve fonksiyonu itibariyle kabarması gereken organ kulak oluyor. Lakin duyuların entegrasyonu artık çok da yeni bir bilgi değil. Pek çoğumuz, mesela karnımızın çok aç olduğu bir durumda bir pizza resmi gördüğümüzde, o pizzanın tadını ya da kokusunu algılamış olabiliriz. Konuşma algısı da işte tam manasıyla böyle bir düzlemde gerçekleşen bir süreç. Diğer bir deyişle, özellikle yüz yüze olduğumuz iletişim durumlarında bize söylenenleri duymakla kalmayıp bir de üstüne üstlük görüyoruz. Yani bir yerde göz de kabartmış oluyoruz, sadece işittiğimizi düşündüğümüz şeylere. Şimdi doğal olarak sorulacaktır: birincisi, bu nasıl oluyor? İkincisi, bu ne işe yarıyor? Adı işitsel-görsel konuşma algısı olan bu araştırma alanı esas itibariyle pek göze batmasa da çok sıkı bir disiplinler-arası çalışma platformu. Psikologların yanı sıra, mühendislere, dilbilimcilere ve farklı pek çok alandan uzmana bu alan içinde rastlamak mümkün. Mevzunun disiplinler arası boyutunu irdelemeye kalkışacak olursak yazının erişeceği uzunluktan ötürü sanırım mutsuz bir editör ile karşı karşıya kalma riskimiz var. O yüzden işittiğimizi nasıl “gördüğümüz” konusuna değinerek doğrudan konuya girelim.

Bu mevzunun esasında bu yazıda uğruna yeni bir paragraf açmaya değecek bir hikâyesi var. Sene 1976. İngiltere’de Surrey Üniversitesi’nin Psikoloji bölümünde araştırmalarını sürdüren Harry McGurk ve asistanı John MacDonald bebeklerde görsel algı gelişimi üzerine daha sonra McGurk’ün de tam olarak hatırlayamadığı bir deney için, içinde [ba], [da] ve [ga] hecelerinin kaydedildiği videobantlar hazırlarlar. Bu bantlardaki ses ve görüntü kayıtlarını sadece [ba] ve [ga] hecelerini içerecek şekilde bir dizi uyaran tasarlarlar. O zaman elbette cep telefonu, dizüstü bilgisayar, tablet vs yok. Artık kimsenin anımsamadığı 386, 486 onlar bile yok. Bantlar kampüste bu işleri yapan bir teknisyene gönderilir ve McGurk sıkı sıkı tembih eder telefonda: “bu kayıtlarda sadece [ba] ve [ga] hecelerinin ses ve görüntüleri birbirleriyle kurgulanacak. [da] kayıtlarına hiçbir şekilde dokunulmayacak”. Yani istenilen işitsel [ba] + görsel [ga] ve işitsel [ga] + görsel [ba] şekilden hece kurguları yapılması, [da] hecelerine ise karışılmamasıydı. Aradan bir zaman geçer ve bantlar McGurk’ün laboratuvarına ulaşır. Bantları izleyen McGurk oldukça kızar. Zira izlediği kayıtlardan bazılarında [da] hecesi kullanılmıştır. Buna kızan McGurk telefona sarılır ve teknisyene neden tembih ettiği halde [da] hecesini kullandığını sorar. Teknisyen ise McGurk’e aynen kendisinden istendiği üzere [ba] – [ga] kombinasyonlarını kurguladığını söyler ve tartışma da neyse ki fazla da uzamadan biter. McGurk bir yandan kızadursun, asistanı John MacDonald da kayıtları izler ve bir süre sonra koşarak McGurk’ün yanına gelir ve derhal kayıtları bir daha izlemesini, hatta izlerken önce gözünü kapatarak, sonra da açarak izlemesini söyler. Durum hayret vericidir. Teknisyen masumdur. Aynen McGurk’ün istediği gibi hazırlamıştır bantları. Olan, özellikle de işitsel [ba] + görsel [ga] ile alakalı olarak, şudur: [ba] ve [ga] heceleri görsel ve işitsel boyutta birbirlerinden farklı olmakla birlikte, [ba] işitsel olarak [da] hecesine (burada teknik pek çok detaya girmediğimizin altını çizelim), [ga] hecesi de görsel olarak [da] hecesine benzemektedir. Dolaysıyla işitsel [ba] ve görsel [ga] kombinasyonunun [da] algısına yol açmakta olduğunu anlar araştırmacılar.[1]

Hemen kolları sıvayan ikili tasarladıkları yeni deneyle (eskisinin ne olduğunu unutacak kadar heyecanlanmışlardır) bir grup çocuk ve yetişkin örneklemde bu uyaranları test ederler ve iki bulguya ulaşırlar. Birincisi, işittiğimiz konuşma gördüğümüzden etkileniyor. Katılımcıların büyük bir çoğunluğu tıpkı McGurk gibi [da] olarak algılarlar uyaranları. İkincisi ise, yaş ile birlikte bu etkinin arttığı görülmüştür (McGurk ve MacDonald, 1976). Her iki bulgu da akabinde gerçekleştirilen pek çok çalışmada ve farklı dil gruplarında tekrar tekrar ortaya konulmuştur. Tabii ki normal konuşma ortamında gördüğümüz ve işittiğimiz iki ayrı şey değil. Gene de bu illüzyon ve müteakip çalışmalarda kullanılan yöntemlerle de ortaya konulduğu üzere normal dinleme koşullarında da yüz ve dudak hareketlerinden konuşma algısı sürecinde faydalınılmaktadır. Gürültülü ortamlarda görsel konuşma bilgisinden faydalanıldığı ise ta 1950’lerin ortalarında gösterilmişti (Sumby ve Pollack, 1954).

E peki bu görsel konuşma bilgisi ne işe yarar gerçek hayatta? Bu konu da aslında tıpkı konunun disiplinler arası boyutu gibi oldukça uzun bir yazıya vesile olacak bir bilgi birikimine ev sahipliği yapmakta. Konuşma terapisi (Dodd, McIntosh, Erdener ve Burnham, 2008), yabancı dil eğitimi (Hazan ve ark. 2005), interaktif bilgi sistemleri (The Thinking Head Project, 2007) ve içinde olası klinik uygulamaların da bulunduğu (Erdener ve Yordamlı, 2016; Dodd vd., 2008) daha pek çok farklı alan örneklendirilebilir. Burada örnek olarak yabancı dil ediniminden iki söz ederek yazıyı ufaktan nihayete bağlayalım. Yabancı dil edinimi ile ilgili olarak şunu bir önbilgi şeklinde ilave etmek gerekiyor ki McGurk illüzyonu dediğimiz şey her dilde aynı şekilde işlemiyor. Aralarında Türkçenin de bulunduğu (Erdener, 2015) pek çok dilde (İngilizce, Almanca, Macarca, vb.) bu illüzyon gerçekleşirken, Çince gibi bazı açılardan görsel bilginin daha az işlendiği dillerde izafi olarak daha az gözlemlenmektedir (Sekiyama, 1997).[2] Bunun manası esas olarak deneysel olan bu bulguların uygulama mecrasına doğru sirayet etmeleridir. Buradaki söz konusu uygulamalı alan ikinci dil edinimi olmaktadır. 1990’ların sonundan bu yana yapılan çalışmalar göstermektedir ki konvansiyonel olarak sadece işitsel boyuta ağırlık verilen yabancı dil derslerinde görsel konuşma bilgisi ile ilgili farkındalık arttırıldığında hatta sadece bu bilgi sağlandığında özellikle telaffuz, anlama gibi boyutlarda manidar bir olumlu farklılık meydana gelmektedir (Hazan, Sennema, Iba ve Faulkner, 2005). İngilizce, Türkçe gibi bazı dillerin öğretilmesinde görsel bilgi faydalı olabilirken (Erdener ve Burnham, 2005), tonlamalı diller dediğimiz Çince veya Tay dili gibi dillerde görsel bilgiye ihtiyaç gerekmeyebilmektedir. Ki tüm bu dilleri öğrenen kişi sayısının beşeri olarak iyice küçülen gezegenimizde günbegün arttığı düşünülecek olursa bu tip yeni deneysel bulgulara, Türkçe de dâhil farklı dil ortamlarında, daha çok ihtiyaç duyulacağı aşikârdır.

Uzun lafın kısası, yeni bir dil öğrenmeye kalktığınızda, konuşmasını pek de anlamadığınız biriyle karşılaştığınızda veya gürültülü bir yerlerdeyken gözünüzün de duyduğundan emin olunuz.

Kaynaklar

Dodd, B., McIntosh, B., Erdener, D. ve Burnham, D. (2008). Perception of the auditory-visual illusion in speech perception by children with phonological disorders. Clinical Linguistics and Phonetics, 22, 69-82.

Erdener, D. ve Yordamlı, A. (2016). Auditory-visual speech perception in bipolar disorder. In C.Pracana (Ed.) Proceedings of InPact 2016 International Psychological Applications Conference and Trends. (137-141) Lisbon, Portugal: World Institute for Advanced Research and Science.

Erdener, D. ve Burnham, D. (2005). The role of audiovisual speech and orthographic information in nonnative speech production. Language Learning, 55, 191-228.

Erdener, D. (2015). Türkçede McGurk İllüzyonu. Türk Psikoloji Dergisi, 30, 19-27.

Hazan, V., Sennema, A., Iba, M. ve Faulkner, A. (2005). Effect of audiovisual perceptual training on the perception and production of consonants by Japanese learners of English. Speech Communication, 47, 360-378.

McGurk ve MacDonald (1976). Hearing lips and seeing voices. Nature, 264, 746-748.

Sekiyama, K. (1997). Cultural and linguistic factors in audiovisual speech processing: The McGurk effect in Chinese subjects. Perception & Psychophysics, 59, 73-80.

Sumby, W.H. ve Pollack, I. (1954). Visual contribution to speech intelligibility in noise. Journal of the Acoustical Society of America, 26, 212-215.

The Thinking Head Project (2016). http://thinkinghead.sourceforge.net/ Erişim Tarihi: 24 Kasım 2016.

[1] Kolay anlaşılabilmesi açısından McGurk illüzyonunun bir örneği için bkz. https://www.youtube.com/watch?v=jGaTC0yx30s

[2] Çince lehçeleri, Tay dili gibi bazı dillerde leksikal tonlama dediğimiz, hece üzerinde taşınan ve anlam farklılıklarını sağlayan unsurlar. Örnek olarak bkz. https://www.youtube.com/watch?v=4dLV9QjhHME