Yeniden üretilebilirlik - Reproducibility

Tekrarlanabilirlik , bilimsel yöntemi destekleyen temel bir ilkedir . Bir çalışmanın bulgularının tekrarlanabilir olması, bir deney veya gözlemsel çalışma veya bir veri setinin istatistiksel analizi ile elde edilen sonuçların , çalışma tekrarlandığında yüksek derecede güvenilirlikle tekrar elde edilmesi gerektiği anlamına gelir. Farklı çoğaltma türleri vardır, ancak tipik olarak çoğaltma çalışmaları, aynı metodolojiyi kullanan farklı araştırmacıları içerir. Sadece bir veya birkaç başarılı tekrardan sonra bir sonuç bilimsel bilgi olarak kabul edilmelidir.

Daha dar bir kapsamla, hesaplamalı bilimlerde tekrarlanabilirlik getirildi : Herhangi bir sonuç, tüm veriler ve kodlar, hesaplamaların aynı sonuçlarla tekrar yürütülebileceği şekilde kullanılabilir hale getirilerek belgelenmelidir.

Tekrarlanabilirlik ve tekrarlanabilirlik terimleri, tekrarlanabilirlik bağlamında kullanılır, aşağıya bakınız.

Son yıllarda, yayınlanan birçok bilimsel sonucun tekrarlanabilirlik testini geçemediği ve bir tekrarlanabilirlik veya tekrarlanabilirlik krizine yol açtığına dair artan bir endişe var .

Tarih

Boyle'un hava pompası, 17. yüzyıl açısından, sonuçların tekrarlanabilirliğini zorlaştıran karmaşık ve pahalı bir bilimsel cihazdı.

Bilimde tekrarlanabilirliği önemini vurgulamak için ilk İrlandalı kimyagerdi Robert Boyle de, İngiltere'de 17. yüzyılda. Boyle'un hava pompası , o zamanlar çok tartışmalı bir kavram olan vakum oluşturmak ve incelemek için tasarlandı . Gerçekten de, René Descartes ve Thomas Hobbes gibi seçkin filozoflar , boşluğun varlığının olasılığını inkar ettiler. Bilim tarihçileri Steven Shapin ve Simon Schaffer , 1985 tarihli Leviathan and the Air-Pump adlı kitaplarında , Boyle ve Hobbes arasındaki görünüşte boşluğun doğası hakkındaki tartışmayı, temelde yararlı bilginin nasıl elde edilmesi gerektiğine dair bir argüman olarak tanımlarlar. Deneysel yöntemin öncüsü olan Boyle, bilginin temellerinin, tekrarlanabilirlikleriyle bilimsel bir topluluk için inandırıcı hale getirilebilecek deneysel olarak üretilmiş gerçeklerden oluşturulması gerektiğini savundu. Boyle, aynı deneyi tekrar tekrar tekrarlayarak gerçeğin kesinliğinin ortaya çıkacağını savundu.

17. yüzyılda inşa edilmesi karmaşık ve pahalı bir cihaz olan hava pompası, aynı zamanda belirli bir bilimsel olgunun tekrarlanabilirliği konusunda belgelenmiş ilk anlaşmazlıklardan birine yol açtı. 1660'larda, Hollandalı bilim adamı Christiaan Huygens , Amsterdam'da kendi hava pompasını inşa etti , ilki Boyle ve o zamanki asistanı Robert Hooke'un doğrudan yönetimi dışında . Huygens, "anormal süspansiyon" olarak adlandırdığı ve hava pompasının içindeki bir cam kavanozda suyun havaya kalktığı görünen (aslında bir hava kabarcığı üzerinde asılı duran) bir etki bildirdi, ancak Boyle ve Hooke bu fenomeni kendi pompalarında tekrarlayamadı. Shapin ve Schaffer'ın tanımladığı gibi, "olgu, mevcut iki pompadan biri ile İngiltere'de üretilmedikçe, o zaman İngiltere'de hiç kimse Huygens'in iddialarını veya pompayı çalıştırma konusundaki yetkinliğini kabul etmeyecekti". Huygens nihayet 1663'te İngiltere'ye davet edildi ve kişisel rehberliği altında Hooke, anormal su süspansiyonunu kopyalamayı başardı. Bunu takiben Huygens, Kraliyet Cemiyeti'nin Yabancı Üyesi seçildi . Bununla birlikte, Shapin ve Schaffer, "tekrarlamanın başarılması, koşullu yargılama eylemlerine bağlıydı. Replikasyonun ne zaman elde edilip edilmediğini söyleyen bir formül yazılamaz”.

Bilim felsefecisi Karl Popper ünlü 1934 kitabında kısaca kaydetti Bilimsel Keşif Mantık “non-tekrarlanabilir tek oluşumları bilime önemli değildir,” diye. İstatistikçi Ronald Fisher yaptığı 1935 kitabında yazdığı Deneylerin The Design modern bilimsel uygulamanın temellerini ayarlamak, hipotez testi ve istatistiksel anlamlılık bir deney yapmak için biliyorum ne zaman bir fenomen deneysel kanıtlanabilir olduğunu söyleyebiliriz”diye, hangi bize istatistiksel olarak anlamlı sonuçlar vermekte nadiren başarısız olacaktır”. Bu tür iddialar , modern bilimde, tekrarlanabilirliğin (mutlaka yeterli olmasa da ) bilimsel bir gerçeği ortaya koymak ve pratikte herhangi bir bilgi alanında bilimsel otorite kurmak için gerekli bir koşul olduğuna dair ortak bir dogmayı ifade eder . Bununla birlikte, yukarıda Shapin ve Schaffer tarafından belirtildiği gibi, bu dogma örneğin istatistiksel anlamlılık gibi nicel olarak iyi formüle edilmemiştir ve bu nedenle bir gerçeğin tekrarlanabilir olarak kabul edilmesi için kaç kez tekrarlanması gerektiği açıkça belirlenmemiştir.

Tekrarlanabilirlik, tekrarlanabilirlik

Bu ilgili terimler, geniş veya gevşek bir şekilde tekrarlanabilirlik ile eş anlamlıdır (örneğin, genel halk arasında), ancak genellikle aşağıdaki gibi daha kesin anlamlarda faydalı bir şekilde farklılaştırılırlar.

Deneysel veya gözlemsel çalışmaların tekrarlanabilirliği ile bağlantılı olarak doğal olarak iki ana adım ayırt edilir: Bunu başarmak için yeni veriler elde edildiğinde, tekrarlanabilirlik terimi sıklıkla kullanılır ve yeni çalışma orijinalin bir tekrarı veya tekrarıdır . Orijinal çalışmanın veri setini tekrar aynı prosedürlerle analiz ederken aynı sonuçları elde eden birçok yazar, tekrarlanabilirlik terimini hesaplamalı araştırmalarda kullanımından kaynaklanan dar, teknik anlamda kullanır. Tekrarlanabilirlik , deneyin aynı araştırmacı tarafından aynı çalışma içerisinde tekrarlanması ile ilgilidir . Orijinal, geniş anlamda tekrarlanabilirlik, ancak bağımsız bir araştırma ekibi tarafından gerçekleştirilen bir çoğaltma başarılı olursa kabul edilir .

Ne yazık ki, tekrarlanabilirlik ve tekrarlanabilirlik terimleri bazen bilimsel literatürde bile araştırmacıların daha kesin kullanımı zorlamada başarısız olduklarında ters anlamlarla karşımıza çıkmaktadır.

Tekrarlanabilirlik ve tekrarlanabilirlik ölçüleri

Kimyada, tekrarlanabilirlik ve tekrarlanabilirlik terimleri belirli bir nicel anlamla kullanılır: Laboratuvarlar arası deneylerde, ölçümlerin değişkenliğini değerlendirmek için bir kimyasal maddenin konsantrasyonu veya başka bir miktarı farklı laboratuvarlarda tekrar tekrar ölçülür. Daha sonra aynı laboratuvarda elde edilen iki değer arasındaki farkın standart sapmasına tekrarlanabilirlik denir. Farklı laboratuvarlardan alınan iki ölçüm arasındaki farkın standart sapmasına tekrarlanabilirlik denir . Bu önlemler daha genel kavram ile ilgilidir varyans bileşenleri içinde metroloji .

Tekrarlanabilir araştırma

Tekrarlanabilir araştırma yöntemi

Vadeli tekrarlanabilir araştırmalar bilimsel sonuçlar onların kesinti tamamen şeffaf olduğunu şekilde belgelendirilmesi gerektiği fikrini ifade eder. Bu, verileri elde etmek için kullanılan yöntemlerin ayrıntılı bir açıklamasını ve sonuçları hesaplamak için tüm veri kümesini ve kodu kolayca erişilebilir hale getirmeyi gerektirir. Bu, açık bilimin temel parçasıdır .

Herhangi bir araştırma projesini sayısal olarak yeniden üretilebilir kılmak için genel uygulama, tüm veri ve dosyaların açıkça ayrılmasını, etiketlenmesini ve belgelenmesini içerir. Tüm işlemler tam olarak belgelenmeli ve mümkün olduğu kadar otomatik hale getirilmeli ve mümkün olduğunda manuel müdahaleden kaçınılmalıdır. İş akışı, bir adımdaki ara çıktıların doğrudan bir sonraki adıma girdi olarak beslenmesi için birleştirilen daha küçük adımlardan oluşan bir dizi olarak tasarlanmalıdır. Versiyon kontrolü, proje geçmişinin kolayca gözden geçirilmesine ve değişikliklerin şeffaf bir şekilde belgelenmesine ve izlenmesine izin verdiği için kullanılmalıdır.

Tekrarlanabilir araştırma için temel bir iş akışı, veri toplama, veri işleme ve veri analizini içerir. Veri toplama, öncelikle anketler, saha gözlemleri, deneysel araştırmalar veya mevcut bir kaynaktan veri elde etme gibi birincil bir kaynaktan birincil verilerin elde edilmesinden oluşur. Veri işleme, ilk aşamada toplanan ham verilerin işlenmesini ve gözden geçirilmesini içerir ve veri girişi, veri işleme ve filtrelemeyi içerir ve yazılım kullanılarak yapılabilir. Veriler sayısallaştırılmalı ve veri analizi için hazırlanmalıdır. Veriler, rakamlar ve tablolar da dahil olmak üzere nicel sonuçlar gibi araştırmanın istenen sonuçlarını üretmek için istatistikleri veya verileri yorumlamak veya görselleştirmek için yazılım kullanılarak analiz edilebilir. Yazılım ve otomasyon kullanımı, araştırma yöntemlerinin tekrarlanabilirliğini artırır.

R Markdown dili veya Jupyter notebook gibi bu tür belgeleri kolaylaştıran sistemler vardır . Açık Bilim Çerçeve tekrarlanabilir araştırmaları desteklemek için bir platform ve kullanışlı araçlar sağlar.

Pratikte tekrarlanabilir araştırma

Psikoloji, yeniden üretilemez sonuçlarla ilgili içsel endişelerin yenilendiğini gördü ( tekrarlamaların başarı oranlarına ilişkin ampirik sonuçlar için tekrarlanabilirlik krizi girişine bakın ). Araştırmacılar, 2006 yılında yapılan bir çalışmada, Amerikan Psikoloji Derneği (APA) ampirik makalelerinden bir yayının 141 yazarından 103'ünün (%73) altı aylık bir süre boyunca verileriyle yanıt vermediğini gösterdi. 2015 yılında yayınlanan bir takip çalışmasında, APA dergilerindeki 394 makale yazarından 246'sının verilerini talep üzerine paylaşmadığı (%62) tespit edildi. 2012 tarihli bir makalede, araştırmacıların çalışmalarıyla birlikte verileri yayınlamaları önerildi ve bir gösteri olarak bir veri seti yayınlandı. 2017'de Scientific Data'da yayınlanan bir makale, bunun yeterli olmayabileceğini ve tüm analiz bağlamının açıklanması gerektiğini öne sürdü.

Ekonomide, yayınlanan araştırmaların inanılırlığı ve güvenilirliği ile ilgili endişeler dile getirilmiştir. Diğer bilimlerde, tekrarlanabilirlik temel olarak kabul edilir ve genellikle araştırmanın yayınlanması için bir ön koşuldur, ancak ekonomik bilimlerde çok önemli bir öncelik olarak görülmez. Hakemli ekonomi dergilerinin çoğu, yayınlanan sonuçların tekrarlanabilir olmasını sağlamak için herhangi bir önemli önlem almamaktadır, ancak en iyi ekonomi dergileri zorunlu veri ve kod arşivlerini benimsemeye başlamıştır. Araştırmacıların verilerini paylaşmaları için çok az teşvik var veya hiç teşvik yok ve yazarlar, verileri yeniden kullanılabilir formlarda derleme maliyetlerini üstlenmek zorunda kalacaklar. Dergilerin yalnızca bir bölümünün veri kümeleri ve program kodu için yeterli ifşa politikaları olduğundan ve uysalar bile yazarlar sıklıkla bunlara uymadığından veya yayıncı tarafından zorunlu tutulmadığından, ekonomik araştırma genellikle tekrarlanabilir değildir. 37 hakemli dergide yayınlanan 599 makaleden oluşan bir araştırma, bazı dergilerin önemli uyum oranları elde etmesine rağmen, önemli bir kısmının yalnızca kısmen uyumlu olduğunu veya hiç uymadığını ortaya koydu. Bir makale düzeyinde, ortalama uyum oranı %47.5 idi; ve dergi düzeyinde, ortalama uyum oranı %38'di ve %13 ile %99 arasında değişiyordu.

PLOS ONE dergisinde yayınlanan 2018 tarihli bir araştırma , bir halk sağlığı araştırmacısı örneğinin % 14,4'ünün verilerini veya kodlarını veya her ikisini birden paylaştığını buldu.

Artık daha geniş bir girişimin, EQUATOR Ağının bir parçası olan CONSORT girişiminden başlayarak, tıp literatüründe uzun yıllardır raporlamayı ve dolayısıyla tekrarlanabilirliği iyileştirmeye yönelik girişimler olmuştur . Bu grup son zamanlarda dikkatini, özellikle biyomedikal araştırmalar olmak üzere araştırmalardaki israfı daha iyi raporlamanın nasıl azaltabileceğine çevirdi.

Tekrarlanabilir araştırma, farmakolojideki yeni keşiflerin anahtarıdır . Bir Faz I keşfini, bir ilaç ticari üretime doğru geliştikçe Faz II reprodüksiyonları izleyecektir. Son yıllarda Faz II başarısı %28'den %18'e düştü. 2011 yılında yapılan bir araştırma, tıbbi çalışmaların %65'inin yeniden test edildiğinde tutarsız olduğunu ve yalnızca %6'sının tamamen tekrarlanabilir olduğunu buldu.

Kayda değer tekrarlanamaz sonuçlar

Hideyo Noguchi , frenginin bakteriyel etkenini doğru bir şekilde tanımlamasıyla ünlendi , ancak aynı zamanda bu etkeni laboratuvarında kültürleyebileceğini de iddia etti. Başka hiç kimse bu ikinci sonucu üretemedi.

Mart 1989'da, Utah Üniversitesi'nden kimyagerler Stanley Pons ve Martin Fleischmann, ancak bir nükleer süreç (" soğuk füzyon ") ile açıklanabilecek aşırı ısı üretimini bildirdiler . Ekipmanın basitliği göz önüne alındığında, rapor şaşırtıcıydı: esasen ağır su ve elektroliz sırasında üretilen döteryumu hızla emen bir paladyum katot içeren bir elektroliz hücresiydi . Haber medyası deneyler hakkında geniş çapta haber yaptı ve dünya çapındaki birçok gazetede ön sayfalarda yer aldı (bakınız basın konferansıyla bilim ). Sonraki birkaç ay boyunca başkaları deneyi tekrarlamaya çalıştı, ancak başarısız oldu.

Nikola Tesla , 1899 gibi erken bir tarihte, gazla doldurulmuş lambaları kablo kullanmadan 40 km'den fazla bir mesafeden yakmak için yüksek frekanslı bir akım kullandığını iddia etti . 1904 yılında inşa Wardenclyffe Kulesi üzerinde Long Island göndermek ve elektrik bağlantısı olmadan güç almaya yönelik araçlara göstermek için. Tesis hiçbir zaman tam olarak faaliyete geçmedi ve ekonomik sorunlar nedeniyle tamamlanamadı, bu nedenle ilk sonucunu tekrarlamak için hiçbir girişimde bulunulmadı.

Aksi kanıtların asıl iddiayı çürüttüğü diğer örnekler:

Ayrıca bakınız

Referanslar

daha fazla okuma

Dış bağlantılar