Dağıtılmış arama motoru - Distributed search engine
Bir dağıtılmış arama motoru bir olan arama motoru merkezi bir sunucu yoktur. Geleneksel merkezi arama motorlarından farklı olarak, tarama , veri madenciliği , dizin oluşturma ve sorgu işleme gibi işler , tek bir kontrol noktasının olmadığı, merkezi olmayan bir şekilde birkaç eş arasında dağıtılır .
Tarih
Rorur
Rorur projesinin kısa vadeli hedefi, merkezi olmayan bir şekilde sıradan insanların bilgisayarlarından oluşan bir ağ üzerinde çalışan dağıtılmış bir arama motoru oluşturmaktır. Katılımcı düğümlerin sayısı yeterince büyükse ve kötü niyetli düğümlerin oranı hesaplanabilir bir eşiği aşmazsa, rekabetçi bir gecikme ve istenen sıralamanın teslimi sağlanabilir https://rorur.com/whitepaper . Mimari, geliştirme ve bakım için kamu katkısına dayanan açık kaynaklı algoritmalar üzerine kuruludur. Katılanları ve katkıda bulunanları teşvik etmek için, reklamlardan elde edilen gelir, düğüm sahipleri arasında dağıtılır. Uzun vadeli hedef, insan-web etkileşimine yardımcı olmak için kişisel bilgi grafikleri oluşturan ve koruyan yerleşik kişisel arama aracılarına sahip olmaktır.
Ön arama
Presearch, çeşitli kaynaklardan gelen sonuçları toplayan, topluluk tarafından işletilen dağıtılmış bir ağ tarafından desteklenen bir arama motorudur. Bu, https://engine.presearch.org/search adresindeki aramaları güçlendirir. Bunun, her düğümün küresel bir merkezi olmayan dizin üzerinde işbirliği yaptığı bir öncü olması planlanmıştır.
YaCy
15 Aralık 2003'te Michael Christen , heise çevrimiçi forumlarında , sonunda YaCy adlı P2P tabanlı bir arama motorunun geliştirildiğini duyurdu .
çiy
Akademik literatürde tartışılan dağıtılmış arama motoru için teorik bir tasarım.
arar
Seeks, açık kaynaklı bir web arama proxy'si ve web araması için ortak dağıtılmış bir araçtı. 2016 yılında kullanılabilir bir sürüme sahip olmaktan çıktı.
altarama
Nisan 2000'de birkaç programcı ( Gene Kan , Steve Waterhouse dahil ) InfraSearch adlı Gnutella tabanlı bir P2P web arama motoru prototipi oluşturdu . Teknoloji daha sonra Sun Microsystems tarafından satın alındı ve JXTA projesine dahil edildi . Katılımcı web sitelerinin veritabanlarında , InfraSearch web sitesi aracılığıyla erişilebilen bir P2P ağı oluşturarak çalıştırılması gerekiyordu .
açık kola
31 Mayıs 2000'de Steelbridge Inc. , işbirlikçi bir dağıtımcı açık kaynak arama motoru olan OpenCOLA'nın geliştirildiğini duyurdu. Kullanıcının bilgisayarında çalışır ve web sayfalarını tarar ve kullanıcının opencola klasörüne koyduğu bağlantıları ve P2P ağı üzerinden ortaya çıkan dizini paylaşır .
FARO
Şubat 2001'de Wolf Garbe, eşler arası arama motoru fikrini yayınladı , 2004'te Faroo prototipini başlattı ve 2005'te piyasaya sürdü.
Hedefler
Dağıtılmış bir arama motoru oluşturmanın hedefleri şunları içerir:
1. topluluk tarafından desteklenen bağımsız bir arama motoru oluşturmak;
2. açık kaynaklı yazılıma güvenerek arama işlemini açık ve şeffaf hale getirmek;
3. reklam gelirini daha sağlam web altyapısı oluşturmaya yardımcı olabilecek düğüm sağlayıcılara dağıtmak;
4. Araştırmacıların açık kaynaklı ve genel olarak sürdürülebilen sıralama algoritmalarının geliştirilmesine katkıda bulunmalarına ve algoritma parametrelerinin eğitimini denetlemelerine izin vermek.
Zorluklar
1. İşlenecek veri miktarı çok büyük. Görünür ağın boyutunun yaklaşık 10 milyar sayfaya yayılmış 5PB olduğu tahmin ediliyor.
2. Dağıtılmış işlemin gecikme süresi, ticari arama motorlarının gecikme süresi ile rekabet edebilir olmalıdır.
3. Kötü niyetli kullanıcıların dağıtık veri yapılarını veya rankı bozmasını engelleyen bir mekanizma geliştirilmelidir.