Ne ölçüldü, ne ölçülmedi

Açılış sahnesi

Aslı, Antalya'da bir danışmanlık merkezinin üst katında ayda bir hafta sonu dizim atölyesi yürütüyor ve bir salı akşamı yeni dönemin tanıtım metnini yazıyor. Metnin son satırına eğitiminde sık duyduğu bir cümleyi koyuyor: "Etkisi Heidelberg Üniversitesi'nin randomize kontrollü çalışmasıyla bilimsel olarak kanıtlanmıştır." Göndermeden önce metni, bir hastanede çalışan klinik psikolog arkadaşı Bora'ya okutmak istiyor.

Bora ertesi sabah iki dosya gönderiyor. Biri 2013'te yayımlanmış Heidelberg çalışması, öteki 2024'te yayımlanmış başka bir randomize çalışma. Notu kısa: "İkisi de randomize. Birini metne koyuyorsan ötekini de oku, sonra ikisinin de neyi ölçtüğüne bak." Aslı ikinci dosyanın özetini açtığında, seminer grubunun kendi içinde iyileştiğini ama iki grup karşılaştırıldığında hiçbir sonuçta anlamlı bir fark bulunmadığını okuyor.

O akşam iki dosyayı yan yana koyup tanıtım metninin son satırını siliyor. Yerine ne yazacağını bilmiyor: elinde "kanıtlanmıştır" diyebileceği bir çalışma yok, ama "çürütülmüştür" diyebileceği bir çalışma da yok.

Bu derste ne olacak

Aslı'nın masasındaki iki dosyayı ve çevrelerindeki literatürü birlikte okuyacağız. Önce iki soruyu ayıracağız: dizim katılımcılara iyi geliyor mu, ve iyi geliyorsa ekolün söylediği nedenle mi? Ardından Heidelberg çalışmalarını sınırlarıyla, fark bulamayan çalışmayı, iki derlemeyi ve olumsuz etki bildirimlerini okuyacağız. En sonda dokuz soruluk bir okuma listesi kuracağız.

Buradan aile diziminin kanıt durumunu adlarla ve sayılarla, abartmadan ve küçültmeden anlatmayı ve bir tanıtım metnindeki kanıt cümlesini sınamayı götüreceksin.

Sıfır noktası

Bir yöntem hakkında iki ayrı soru sorulabilir ve birinin cevabı ötekini vermez. Sonuç sorusu, yönteme katılan insanların sonrasında katılmayanlara göre daha iyi olup olmadığını, ne kadar ve ne kadar süre için sorar. Mekanizma sorusu ise iyileşmenin yöntemin önerdiği nedenden gelip gelmediğini sorar; aile dizimi için bu, dolanıklığın çözülmesi, ailedeki düzenin yerine oturması ya da temsilcinin bir alandan bilgi alması demektir.

Tıp tarihi bu iki sorunun ayrı yürüyebildiğini gösterir: aspirin yetmiş yılı aşkın bir süre ağrıya karşı kullanıldı ve nasıl etki ettiği ancak John Vane'in 1971'de prostaglandin üretimini baskıladığını göstermesiyle anlaşıldı. Tersi de olabilir: anlattığı neden yanlış olan bir yöntemin katılımcıları ilgi gördükleri ya da bir değişim bekledikleri için iyileşebilir.

Önceki derste bilen alanın henüz sınanmamış bir isim olduğunu gördük; bu ders aynı ayrımı sonuç tarafında kuruyor, çünkü dizim üzerine yapılmış kontrollü çalışmaların hemen hepsi birinci soruyu soruyor.

Mekanizma

Ekol ne iddia ediyor

Bert Hellinger'in öğretisi, dizimin neden işe yaradığına dair ayrıntılı bir açıklama sunar. Gunthard Weber'in 1993'te derlediği Zweierlei Glück ve Hellinger'in 1994 tarihli Ordnungen der Liebe kitabı, ailede her üyenin bir yeri olduğunu, dışlanan birinin yükünün sonraki kuşaklarda birine geçebildiğini ve dizimin bu dolanıklığı görünür kılıp bir çözüm resmine taşıdığını anlatır. Bu açıklamada iyileşme özgül bir şeyden, doğru düzenin bulunmasından gelir.

Uygulayıcıların güveni ise çoğunlukla odada gördüklerinden gelir; Alman Sistemik Terapi, Danışmanlık ve Aile Terapisi Derneği (DGSF) 6 Şubat 2013 tarihli basın bülteninde, uygulayıcıların dizimin işe yaradığına her zaman inandığını, bilim insanlarının ise kuşkulu olduğunu yazıyor. Bir kolaylaştırıcının izlenimi gerçek bir gözlemdir, ama atölyeye gelmemiş birinin aynı aylarda ne yaşayacağını göstermez.

Heidelberg: ilk randomize çalışma

Akademinin ilk dersinde özetini gördüğün çalışmaları burada içinden okuyoruz. Heidelberg Üniversite Hastanesi'nin Tıbbi Psikoloji Enstitüsü'nde Jan Weinhold, Christina Hunger, Jochen Schweitzer ve arkadaşlarının yürüttüğü çalışma, aile dizimini sınayan ilk randomize kontrollü çalışma; ilk sonuçları 2013'te Journal of Counseling Psychology'de yayımlandı. Genel nüfustan iki yüz sekiz yetişkin katıldı, yüzde yetmiş dokuzu kadındı. Her katılımcı önce kendi rolünü seçti: kendi dizimini kuracak etkin katılımcı mı olacak, yoksa yalnızca izleyecek gözlemci mi? Ardından kura ile iki gruba ayrıldılar. Yüz dört kişi üç günlük bir dizim seminerine katıldı, yüz dört kişi ise dört ay sonra seminere alınmak üzere bekleme listesine yazıldı; her iki grupta altmış dört etkin katılımcı ve kırk gözlemci vardı.

Birincil ölçüt, katılımcıların kendi doldurduğu ve psikoterapi araştırmalarında yaygın kullanılan Outcome Questionnaire (OQ-45.2) anketiydi. Seminer grubunun psikolojik işlevselliği bekleme listesine göre iki hafta sonra d = 0,45, dört ay sonra d = 0,46 etki büyüklüğüyle anlamlı biçimde iyileşti; psikolojik sıkıntı ve güdüsel uyumsuzluk ölçümleri de aynı yönde çıktı ve hiçbir yan etki bildirilmedi. Etki büyüklüğü d, iki grup arasındaki farkı standart sapma cinsinden verir; bu değerler küçük ile orta arası sayılır. 2014'te Family Process'te yayımlanan ikinci makale, aynı katılımcılarda kişinin ailesi gibi sosyal sistemlerinde aidiyet, özerklik, uyum ve güven duygusunu ölçtü ve iki haftada d = 0,61, dört ayda d = 0,53 buldu.

Takip burada bitmedi. 2015'te yayımlanan üçüncü makale seminer grubunu sekiz ve on iki ay sonra yeniden ölçtü ve iyileşmenin sürdüğünü bildirdi (d = 0,41 ve 0,40). Christina Hunger-Schoppe'nin 2020'de yayımladığı toplu makale beş yıllık takibi de içeriyor: seminer grubu ile sonradan seminere giren bekleme listesi birlikte yüz otuz yedi kişi olarak ölçüldü, psikolojik işlevsellik başlangıç düzeyine dönmüştü, sosyal sistemlerdeki deneyim ise d = 0,48 ile iyileşmiş duruyordu. Bu alanın en uzun takibi, ama bir karşılaştırma grubu olmadan yapıldı.

Heidelberg'in sınırları

Aslı'nın cümlesinin ne kadarını bu çalışmanın taşıdığını görmek için kuruluşuna bakmak gerekiyor. Karşılaştırma grubu bekleme listesiydi. Bekleme listesi zamanın kendi etkisini, yani insanların zorlandıkları bir dönemden sonra kendiliğinden toparlanmasını kontrol eder; ama üç gün boyunca bir grubun içinde dinlenmenin, ilgi görmenin ve bir şey olacağını beklemenin etkisini kontrol etmez. İyileşmenin dizime özgü bir şeyden mi, yoksa herhangi bir yoğun grup deneyiminden mi geldiğini ayırmak için aynı süre ve yoğunlukta başka bir grup çalışmasıyla karşılaştırma gerekirdi.

Makale çalışmayı tek kör olarak tanımlıyor, ama ölçümlerin hepsi katılımcıların kendi doldurduğu anketlerdi ve hiçbir katılımcı seminere gidip gitmediğini bilmeden yanıt veremezdi. Üç gününü bir seminere vermiş birinin "daha iyiyim" demesi beklentiyle yukarı çekilebilir; sosyal sistemler anketi de aynı ekibin ilk kez kullandığı yeni bir araçtı.

Çalışma tek merkezliydi ve seminerleri iki kişi yürüttü: psikolog ve psikoterapist Diana Drexler ile psikiyatrist Gunthard Weber. Weber, Hellinger'in öğretisini ilk kez toplayan Zweierlei Glück'ün derleyicisi; çalışma, ekole çok yakın iki deneyimli ustanın seminerini ölçüyor, ortalama bir kolaylaştırıcınınkini değil. DGSF'nin bülteni sınırı kendisi de çiziyor: sonuçlar en azından deneyimli seminer liderleri ve ağırlıkla üniversite eğitimli, dizime önceden aşina, klinik olarak ortalamanın üstünde zorlanmayan bir örneklem için geçerli. Van Bebber ve arkadaşlarının 2024 tarihli, Hunger-Schoppe'nin de yazarları arasında olduğu bir çalışma protokolüne göre katılımcıların yüzde sekseni daha önce dizime katılmıştı.

Sekiz ay, on iki ay ve beş yıllık ölçümlerde karşılaştırma grubu yoktu, çünkü bekleme listesindekiler dördüncü ayda kendi seminerlerine katılmıştı; bu sonuçlar yalnızca grubun kendi başlangıcına göre değişimini gösteriyor. Araştırma, Alman Araştırma Kurumu'nun (DFG) "Ritüel Dinamiği" özel araştırma alanı içinde "Sistemlerde ritüeller" başlığıyla desteklendi ve ekibin başındaki Schweitzer o sırada DGSF'nin başkanıydı. Bu çalışmayı geçersiz kılmaz, ama araştırmacı bağlılığı (researcher allegiance) denen etkeni hesaba katmayı gerektirir.

Kırk gözlemci ayrıca dikkat istiyor. Seminer grubundaki yüz dört kişinin kırkı kendi meselesini dizmedi, ama başkalarının dizimlerinde temsilci olarak yer almış olabilirler; dergi makalelerinin özetleri ve 2021 derlemesinin çalışma tablosu ise etkiyi yalnız grubun bütünü için veriyor, etkin katılımcılarla gözlemcileri ayrı raporlamıyor. Yani raporlanan şey kendi dizimini yaptırmanın değil, üç günlük bir seminere katılmanın etkisi. Gözlemcilerin ne ölçüde iyileştiği bilinseydi, iyileşmenin kendi diziminden mi yoksa seminerin kendisinden mi geldiğine dair bir ipucu olurdu; bu sayılar dergi özetlerinde ve derlemede ayrı raporlanmıyor. DGSF'nin Şubat 2013 tarihli basın bülteni iyileşmeyi etkin katılımcılar için ayrıca anıyor, ama gözlemciler için bir sayı vermiyor.

Fark bulamayan çalışma

Bora'nın gönderdiği ikinci dosya, Barna Konkolÿ Thege ve Gergely Sándor Szabó'nun 2024'te Journal of Psychiatric Research'te yayımladığı çalışma. Çalışma önceden kaydedilmişti; yani ölçütleri ve analiz planı, sonuçlar görülmeden kamuya açık bir kayıt sistemine yazılmıştı. Pandemi koşullarına uyarlanmış, tek günlük bir dizim biçimi sınandı: seksen kişi kura ile seminere ya da yine bir bekleme listesine ayrıldı, yüzde seksen beşi takipte kaldı ve bir ile altı ay sonra ölçüldü.

Seminer grubunun genel psikopatolojisi kendi başlangıcına göre anlamlı biçimde azaldı, bir ayda d = 0,41 ve altı ayda d = 0,31; ama yazarlar iyileşmelerin küçük olduğunu ve altıncı ayda çoğunun kaybolduğunu yazıyor. Daha önemlisi, iki grubun zaman içindeki değişimini birbiriyle karşılaştıran analizde hiçbir sonuçta anlamlı bir fark çıkmadı. Bir grubun kendi içinde iyileşmesi yöntemin işe yaradığını göstermeye yetmez, çünkü randomize çalışmanın asıl sorusu iki grup arasındaki farktır; Aslı'nın ilk okumada kaçırdığı ayrım buydu.

Bu sonucun da sınırları var. Yazarlar istatistiksel gücün düşük olduğunu, yani seksen kişinin küçük bir farkı yakalayamayabileceğini kendileri belirtiyor; müdahale pandemi yüzünden protokolden önemli ölçüde sapmıştı ve yazarlar sonucu bu uyarlamanın olası bir bedeli olarak yorumluyor. Konkolÿ Thege yönteme hasım bir araştırmacı da değil; aşağıdaki olumlu sonuçlu derlemenin ve olumlu sonuç bildiren bir izleme çalışmasının da ilk yazarı.

Derlemeler ve kalite değerlendirmeleri

Konkolÿ Thege, Carla Petroll, Carlos Rivas ve Salome Scholtens'in 2021'de Family Process'te yayımladığı sistematik derleme ölçütlere uyan on iki çalışma buldu: on bağımsız örneklem, beş yüz altmış sekiz katılımcı. On iki çalışmanın dokuzu müdahale sonrasında anlamlı bir iyileşme bildirdi ve anlamlı yarar göstermeyenler, yöntem kalitesi daha düşük çalışmalardı. Genel psikopatoloji üzerine beş çalışmayı birleştiren meta-analiz orta düzeyde bir etki buldu (Hedges g = 0,531; güven aralığı 0,387–0,676). Yazarlara göre veriler dizimin genel nüfusta etkili olduğu yönüne işaret ediyor, ama kanıtın miktarı ve kalitesi düşük.

Daha sert bir değerlendirme Nisan 2026'da geldi. Filipe Luis Souza ve arkadaşları, önceden kaydedilmiş bir protokolle yalnızca randomize çalışmaları taradı; her çalışmanın yanlılık riskini Cochrane'in RoB 2 aracıyla, kanıtın kesinliğini GRADE sistemiyle değerlendirdi. Bütün çalışmaları yüksek yanlılık riskli, bütün karşılaştırmaları çok düşük kesinlikte buldular ve hiçbir koşul için klinik öneride bulunulamayacağını yazdılar. Bu metin medRxiv'de yayımlanmış, henüz hakem değerlendirmesinden geçmemiş bir ön baskı (preprint); özeti dahil edilen çalışmaların sayısını vermiyor.

İki derleme farklı tonlarda konuşuyor ama çelişmiyor: ilki etkinin yönünü öne çıkarıp kaliteyi uyarı olarak ekliyor, ikincisi kalitenin yönü okumaya izin vermediğini söylüyor.

Olumsuz etkiler

Heidelberg makalelerinin üçünde de aynı cümle geçiyor: hiçbir yan etki bildirilmedi. 2021 derlemesi daha ayrıntılı bir tablo veriyor: on iki çalışmanın yedisi olası olumsuz etkileri araştırdı ve bunların dördü, katılımcıların küçük bir bölümünde, yüzde beş ile sekiz arasında, müdahaleyle ilişkili olabilecek hafif ya da orta düzeyde olumsuz etkiler bildirdi. Konkolÿ Thege, Somogyi ve Szabó'nun 2022 tarihli izleme çalışması ise yüz iki katılımcıda olumsuz etkileri etkin biçimde aradı ve sıklık ile şiddet bakımından başka psikoterapi biçimlerinde bildirilenlerle karşılaştırılabilir buldu.

"Yan etki bildirilmedi" ile "yan etki arandı ve bulunmadı" aynı cümle değil. Olumsuz etkiyi sistemli bir soruyla aramayan bir çalışmada pek çok olumsuz deneyim kayda hiç geçmez. Yüzde beş ile sekiz, onamda söylenmesi gereken bir sayı: yirmi kişilik bir atölyede bir ya da iki kişi.

Ne ölçülmedi

Bu çalışmaların hiçbiri dolanıklığın varlığını, düzenin bir çözüm resminde yerine oturduğunu ya da temsilcinin bir alandan bilgi aldığını ölçmedi; ölçülen, katılımcıların seminerden sonra kendileri hakkında ne söylediğiydi. Grup, ilgi ve beklenti, iyileşmeyi ekolün mekanizmasına başvurmadan açıklayabilecek adaylar; ekolün mekanizması da bir aday.

Bu adayları birbirinden ayıracak tasarım, yani dizimi aynı süre ve yoğunlukta başka bir grup çalışmasıyla karşılaştıran randomize bir çalışma, bu derste okuduğumuz yayınların hiçbirinde yok. Buradan Aslı'nın masası için bir kural çıkıyor: olumlu bir sonuç çalışması "dolanıklık çözüldü" cümlesinin kanıtı olamaz, fark bulamayan bir çalışma da "ekolün açıklaması yanlış" cümlesinin kanıtı olamaz.

Bir çalışmayı kendin okumak

Aslı'nın Bora'dan öğrendiği şey bir sonuç değil, bir okuma biçimi oldu. Bir çalışmanın özetini açtığında şu soruları sırayla sorabilirsin:

1. Katılımcılar gruplara kura ile mi ayrıldı, yoksa kendileri mi seçti? Kendi seçtilerse gruplar arasındaki fark, kimin seminere gitmeyi seçtiğinden de gelebilir.
2. Karşılaştırma grubu ne aldı: hiçbir şey mi, bekleme listesi mi, yoksa aynı yoğunlukta başka bir çalışma mı?
3. Sonucu kim ölçtü: katılımcının kendi doldurduğu bir anket mi, yoksa kimin hangi grupta olduğunu bilmeyen bir değerlendirici mi?
4. Kaç merkezde, kaç kolaylaştırıcıyla ve kimlerle yürütüldü; örneklem klinik bir grup mu, yoksa dizime aşina gönüllüler mi?
5. Örneklem, beklenen farkı yakalayacak kadar büyük müydü ve kaç kişi takipten düştü?
6. Bildirilen etki iki grup arasındaki fark mı, yoksa bir grubun kendi başlangıcına göre değişimi mi; güven aralığı ne kadar geniş?
7. Takip ne kadar sürdü ve son ölçümde karşılaştırma grubu hâlâ var mıydı?
8. Olumsuz etkiler sistemli bir soruyla arandı mı?
9. Çalışma önceden kaydedildi mi, araştırmacılar ve finansman yönteme ne kadar yakın?

Heidelberg birinci soruya güçlü, ikinci ve üçüncüye zayıf cevap verir; pandemi çalışmasında ön kayıt güçlü, beşinci soru zayıf yandır. Listeyi 2021 derlemesindeki g = 0,531'e uyguladığında altıncı soru öne çıkıyor: birleştirilen beş çalışmanın yalnız ikisi kontrollüydü (Weinhold 2013 ve psikiyatri ayaktan hastalarıyla yapılmış, randomize olmayan Krüger ve Schmidt-Michel 2003; ikincisinin etkisi tek başına anlamlı değildi), üçü tek grubun öncesi ile sonrasını karşılaştırıyordu ve etki, tasarıma göre ya kontrol grubuna ya da katılımcıların kendi başlangıcına göre hesaplandı. Derleme kontrollü çalışmalar için g = 0,50, kontrolsüzler için g = 0,55 buldu ve ikisini istatistiksel olarak farklı bulmadı; ama bu ortak sayının bir bölümü, doğal seyri ve ortalamaya dönüşü ayıramayan tasarımlardan geliyor.

Kaynaklardan okuma

Usta katmanı

Kolaylaştırıcının kendi gözlemi iki yanılgıya açıktır. İnsanlar atölyeye çoğunlukla zor bir dönemin ortasında gelir ve zor dönemler hiçbir şey yapılmasa da çoğu zaman hafifler; buna doğal seyir denir. Ortalamaya dönüş ise istatistiksel bir olgu: bir ölçümde olağandışı yüksek çıkan bir sıkıntı puanı, ikinci ölçümde salt ölçümün dalgalanması yüzünden ortalamaya yaklaşır. Kura ile ayrılmış bir bekleme listesi ikisini de iki gruba eşit dağıtır ve Heidelberg'in değeri buradan gelir: seminer grubu aynı dönemde bekleyenlerden daha çok iyileşti, yani bu fark ne doğal seyirle ne de ortalamaya dönüşle açıklanabilir.

Aslı'nın sildiği satırın yerine yazabileceği metin kanıtı iki yönüyle taşımalı: "Randomize bir çalışmada dizim seminerine katılanlar, bekleme listesindekilere göre kendi bildirimlerinde küçük ile orta arası bir iyileşme gösterdi. Başka bir randomize çalışmada gruplar arasında fark bulunmadı ve derlemeler kanıtın kalitesini düşük değerlendiriyor. Katılımcıların küçük bir bölümünde hafif ya da orta düzeyde olumsuz etkiler bildirildi. Bu atölye bir psikoterapi değildir ve süren bir tedavinin yerine geçmez."

Atölyenin ilk saatinde Deniz "Bu bilimsel olarak kanıtlanmış mı?" diye sorduğunda Aslı aynı bilgiyi kısaca verebilir: "Kanıtlanmış da diyemem, çürütülmüş de; çalışmalar var ama kalitesi düşük. Bir şey ağır gelirse istediğin an durabilirsin." Neyi bilmediğini açıkça söylemek Aslı'nın otoritesini zayıflatmıyor.

Yaygın hatalar

Uygulama

Kilit özet

1. Sonuç sorusu ile mekanizma sorusu ayrıdır; birinin cevabı ötekini vermez.
2. Heidelberg'de (Weinhold ve arkadaşları 2013) iki yüz sekiz yetişkin seminere ya da bekleme listesine ayrıldı ve seminer grubu küçük ile orta arası bir iyileşme gösterdi; beş yılda, karşılaştırma grubu olmadan ölçüldüğünde, psikolojik işlevsellik başlangıç düzeyine döndü.
3. Sınırları somut: bekleme listesi, öz bildirim, tek merkez, ekole yakın iki kolaylaştırıcı, dizime aşina bir örneklem ve kendi dizimi kurulmamış kırk gözlemci.
4. Konkolÿ Thege ve Szabó'nun 2024 tarihli ön kayıtlı çalışmasında seminer grubu kendi içinde iyileşti ama gruplar arasında anlamlı fark çıkmadı; gücü düşüktü ve protokol pandemiyle değişmişti.
5. Konkolÿ Thege ve arkadaşlarının 2021 derlemesi orta düzeyde bir etki (g = 0,531) ve düşük kaliteli kanıt buldu; Souza ve arkadaşlarının 2026 ön baskısı bütün karşılaştırmaları çok düşük kesinlikte değerlendirdi.
6. Olumsuz etkileri arayan yedi çalışmanın dördü katılımcıların yüzde beş ile sekizinde hafif ya da orta düzeyde olumsuz etki bildirdi; "yan etki bildirilmedi", "arandı ve bulunmadı" demek değildir.
7. Aslı'nın metni ne "kanıtlanmıştır" ne "çürütülmüştür" diyebilir; dürüst metin olumlu sonucu, fark bulamayan çalışmayı, kaliteyi ve olumsuz etki ihtimalini birlikte söyler.

Sonraki derse köprü

Bu derste kanıtı sayılar üzerinden okuduk. Bir oran seyrek ama ağır bir olay hakkında pek az şey söyler, tek bir ağır olay da kendi başına bir oran vermez; üstelik burada ölçülen her şey yöntemle ilgiliydi, kurucusunun ne söylediğiyle değil.

Sonraki ders bu iki boşluğa bakıyor: Hellinger'in cinsel istismar ve Hitler üzerine en çok tartışılan ifadelerini kendi kitaplarından ve onları aktaran eleştirmenlerden okuyacak, basına yansımış bir zarar vakasını da eleştirmenleri ve savunucularıyla birlikte ele alacağız. Soru, bir alıntının kitapta mı, aktarımda mı, yoksa ondan varılan yargıda mı durduğu olacak.