Grub distributed web crawling

selfdestruct.net logia seuratessa tuli vastaan mielenkiintoinen projekti.
Grub indeksoi webbiä hajautetusti, vähän samaan tapaan, kuin Seti@Home etsii örkkejä avaruudesta.

1,942 clients running - crawling 54,354,049 URLs in the last 24 hours.

Comments 3

  1. akisan wrote:

    Heh, itsekin lueskelin Grubista Slashdotissa. Toi sun haksorointi kikka ei toimis, kun ne lähettää samat urlit muutamalle clientille aina indeksoitavaksi, jotta väärät syötteet hokataan.
    Grubin ideana nähtävästi laittaa se isompien webhostaus mestojen lähelle pyörimään ja näin ISP:t jne pystyy tarjoamaan ”hakukonelisäpalveluja”. sellaisena se varmasti toimiskin ihan hyvin, jos vain google ja muut isot mestat ostaisivat dataa looksmartilta.

    Posted 22 Huh 2003 at 6:25
  2. samik wrote:

    Grub on ihan hauska idea, mutta sitten herää toki kysymys että miksi auttaisimme ilmaiseksi Looksmarttia…

    Posted 22 Huh 2003 at 10:48
  3. toni wrote:

    Kas, tuotahan en tullut tietenkään ajatelleeksi :)
    Olin niin tohkeissani muuten hyvästä ideasta.

    Tulikin tuossa mieleeni, että miten projektille käy, kun alkaa tulemaan huijattuja tuloksia, kuten esim. Seti@Home:lla kävi tuossa taannoin.
    Voisinkin haksoroida Grubin opensource clientin lähettämään selfdestruct.net viittauksia 24h ajan ;)

    Posted 22 Huh 2003 at 12:50

Post a Comment

Your email is never published nor shared.