Grub distributed web crawling

selfdestruct.net logia seuratessa tuli vastaan mielenkiintoinen projekti.
Grub indeksoi webbiä hajautetusti, vähän samaan tapaan, kuin [email protected] etsii örkkejä avaruudesta.

1,942 clients running – crawling 54,354,049 URLs in the last 24 hours.

3 vastausta artikkeliin “Grub distributed web crawling”

  1. Grub on ihan hauska idea, mutta sitten herää toki kysymys että miksi auttaisimme ilmaiseksi Looksmarttia…

  2. Kas, tuotahan en tullut tietenkään ajatelleeksi :)
    Olin niin tohkeissani muuten hyvästä ideasta.

    Tulikin tuossa mieleeni, että miten projektille käy, kun alkaa tulemaan huijattuja tuloksia, kuten esim. [email protected]:lla kävi tuossa taannoin.
    Voisinkin haksoroida Grubin opensource clientin lähettämään selfdestruct.net viittauksia 24h ajan ;)

  3. Heh, itsekin lueskelin Grubista Slashdotissa. Toi sun haksorointi kikka ei toimis, kun ne lähettää samat urlit muutamalle clientille aina indeksoitavaksi, jotta väärät syötteet hokataan.
    Grubin ideana nähtävästi laittaa se isompien webhostaus mestojen lähelle pyörimään ja näin ISP:t jne pystyy tarjoamaan ”hakukonelisäpalveluja”. sellaisena se varmasti toimiskin ihan hyvin, jos vain google ja muut isot mestat ostaisivat dataa looksmartilta.

Kommentit on suljettu.