Farelerin Beyin Sinyallerinden 10 Saniyelik Videolar Yeniden Oluşturuldu

Bilim insanları, farelerin görsel korteksindeki binlerce nöronun aktivitesini analiz ederek hayvanlara izletilen doğal videoları yalnızca beyin sinyallerinden yeniden oluşturmayı başardı. University College London (UCL) öncülüğünde ve Imperial College London katkısıyla yürütülen araştırmada, daha önce eğitimde kullanılmayan görüntüler için de 10 saniyelik video dizileri üretildi.

eLife dergisinde yayımlanan çalışma, beynin dış dünyadan gelen görsel bilgiyi nasıl temsil ettiğini incelemek için geliştirilen yöntemin kapsamını ortaya koydu. Araştırmacılar, farelerin ne düşündüğünü doğrudan görüntüye dönüştüren bir sistem geliştirmedi; kontrollü laboratuvar koşullarında, hayvanlara gerçekten gösterilen görüntülerin görsel kortekste oluşturduğu sinirsel etkinliği çözümledi.

ARAŞTIRMA 10 FAREDEN ELDE EDİLEN VERİLERLE YÜRÜTÜLDÜ

Çalışmada kullanılan veri seti, farelere doğal görüntülerden oluşan gri tonlu videolar izletilirken kaydedilen beyin aktivitesini içeriyordu. Görsel bilgi işleme süreçlerinde önemli rol oynayan birincil görsel korteksteki nöronlar, iki fotonlu kalsiyum görüntüleme yöntemiyle izlendi.

Bu teknikte, sinir hücrelerinin etkinliği sırasında ortaya çıkan kalsiyum değişimleri mikroskobik olarak takip ediliyor. Araştırmacılar, her fare için yaklaşık 8 bin nöronun aktivitesinden yararlandı. Kayıtlar, yaklaşık 630’e 630 mikrometre büyüklüğündeki bir alanda, farelerin birincil görsel korteksinin sınırlı bir bölümünden elde edildi.

Araştırmanın yazarları Joel Bauer, Troy W. Margrie ve Claudia Clopath olarak açıklandı. Veriler, daha önce farklı ekipler tarafından oluşturulan Sensorium 2023 veri setinden sağlandı. Çalışmada toplam 10 fareye ait kayıtlar bulunsa da video yeniden oluşturma performansının temel değerlendirmesinde 5 fareden alınan 50 video klibi kullanıldı.

MODEL BEYİN AKTİVİTESİNİ TAHMİN EDEREK TERSİNE ÇEVRİLDİ

Araştırmacılar önce, belirli bir video gösterildiğinde farelerin nöronlarının nasıl tepki vereceğini tahmin eden dinamik bir sinirsel kodlama modeli kullandı. Bu model, yalnızca videonun içeriğini değil, farelerin göz bebeği hareketleri, göz bebeği çapı ve koşma hızı gibi bazı davranışsal verileri de hesaba katacak şekilde tasarlandı.

Daha sonra süreç tersine çevrildi. Başlangıçta tek renkli ve boş bir video oluşturuldu. Algoritma, bu videodaki pikselleri adım adım değiştirerek modelin ürettiği sinirsel tepkinin, deney sırasında kaydedilen gerçek beyin aktivitesine mümkün olduğunca yaklaşmasını sağladı.

Başka bir ifadeyle sistem, “Bu beyin aktivitesini oluşturabilecek video nasıl görünmüş olabilir?” sorusuna matematiksel olarak yanıt aradı. Araştırmacılar, farklı modellerin ürettiği sonuçları bir araya getirerek görüntüdeki yüksek frekanslı gürültüyü azaltmayı ve yeniden oluşturulan videonun doğruluğunu artırmayı hedefledi.

10 SANİYELİK VİDEOLAR 30 KARE HIZINDA YENİDEN ÜRETİLDİ

Yöntemle, farelerin görsel korteksindeki tek denemelik nöron aktivitelerinden 10 saniye uzunluğunda videolar yeniden oluşturuldu. Videolar saniyede 30 kare hızında üretildi. Araştırmacılar, yeniden oluşturulan görüntülerin orijinal videolarla hem mekânsal hem de zamansal açıdan benzerlik taşıdığını bildirdi.

Orijinal ve yeniden oluşturulan videoların pikselleri karşılaştırıldığında ortalama mekânsal-zamansal korelasyon yaklaşık 0,57 olarak ölçüldü. Yalnızca kareler arasındaki mekânsal benzerlik değerlendirildiğinde ise ortalama korelasyon yaklaşık 0,51 seviyesinde gerçekleşti. Bu değerler, sistemin görüntülerin genel hareketini, parlaklık değişimlerini ve önemli görsel yapılarını belirli ölçüde yakalayabildiğini gösterdi.

Bununla birlikte araştırmacılar, yeniden oluşturmanın videodaki her ayrıntıyı eksiksiz biçimde kopyalamadığını vurguladı. Görsel kortekste kaydedilen alan, videonun tamamını eşit düzeyde temsil etmiyordu. Bu nedenle görüntünün bazı kenar bölgelerinde daha düşük doğruluk ve anlamsız sonuçlar oluşabildi.

EĞİTİMDE KULLANILMAYAN GÖRÜNTÜLERDE DE ÇALIŞTI

Çalışmanın dikkat çeken yönlerinden biri, sistemin yalnızca eğitim sırasında kullanılan videoları eşleştirmekle sınırlı kalmaması oldu. Model yeterli düzeyde eğitildikten sonra, daha önce eğitim verileri arasında bulunmayan yeni bir video farelere izletildi ve bu videoya ait beyin aktivitesinden 10 saniyelik yeni bir görüntü dizisi oluşturuldu.

Bu özellik, yöntemi basit bir görüntü tanıma veya önceden belirlenmiş seçenekler arasından seçim yapma sisteminden ayırıyor. Araştırmacıların amacı, yalnızca “hangi video izlendi?” sorusunu yanıtlamak değil, nöronların temsil ettiği görsel içeriği mümkün olduğunca yeniden kurmak olarak açıklandı.

DAHA FAZLA NÖRON, DAHA İYİ YENİDEN OLUŞTURMA

Araştırmada nöron sayısının yeniden oluşturma kalitesi üzerindeki etkisi de incelendi. Yaklaşık 8 bin nörondan oluşan veri kümesinin yarısı çıkarıldığında video korelasyonundaki düşüş yaklaşık yüzde 10 oldu. Nöronların dörtte üçü çıkarıldığında ise performans kaybı yaklaşık yüzde 24,9’a ulaştı.

Bu sonuçlar, beynin görsel temsillerini daha ayrıntılı çözümleyebilmek için geniş nöron topluluklarından veri alınmasının önemli olduğunu gösterdi. Araştırmacılar, mevcut yaklaşımın daha yüksek çözünürlükte ve daha geniş bir görsel alanı kapsayacak şekilde geliştirilmesi gerektiğini belirtti.

AMAÇ İNSAN DÜŞÜNCELERİNİ VİDEOYA ÇEVİRMEK DEĞİL

Çalışmanın sonuçları, insanların düşüncelerinin veya hayallerinin doğrudan videoya dönüştürülebildiği anlamına gelmiyor. Deney, farelere önceden gösterilen doğal videolarla, görsel korteksten alınan yoğun ve ayrıntılı nöron kayıtlarıyla gerçekleştirildi. Ayrıca modelin davranışsal verilerden de yararlanması, yöntemin yalnızca ham beyin sinyalinden bağımsız şekilde çalışmadığını gösteriyor.

Araştırmacılar, beynin gördüğü dünyayı bir kamera gibi eksiksiz kaydetmediğini belirtiyor. Görsel sistem bazı bilgileri öne çıkarırken bazılarını filtreleyebiliyor veya dönüştürebiliyor. Yeni yöntemin, bu farkın yanı sıra dikkat, görsel yanılsamalar ve öğrenme sırasında beyindeki görsel temsillerin nasıl değiştiğini incelemek için kullanılabileceği ifade edildi.

SONRAKİ AŞAMA ÇÖZÜNÜRLÜĞÜ VE GÖRSEL ALANI ARTIRMAK

UCL ekibi, gelecekte yöntemin daha yüksek çözünürlüklü görüntüler üretmesini ve görsel sahnenin daha geniş bölümünü kapsamasını hedefliyor. Araştırmacılar ayrıca, deney sırasında ölçülen beyin aktivitesi ile modelin beklediği aktivite arasındaki farkları kullanarak beynin görsel bilgiyi nasıl değiştirdiğini incelemek istiyor.

Dolayısıyla çalışma, farelerin ne gördüğüne ilişkin görsel bir tahmin üretmenin ötesinde, görme deneyiminin beyinde nasıl temsil edildiğini araştırmak için yeni bir araç sunuyor. Elde edilen sonuçlar, görüntü yeniden oluşturma tekniklerinin sinirbilimdeki kullanım alanlarının genişleyebileceğine işaret ediyor.