Eigene WWW Suchmaschine

Dieses Thema im Forum "Internet, lokale Netzwerke und Wireless Lan" wurde erstellt von Freakazoid, 11.05.2004.

  1. #1 Freakazoid, 11.05.2004
    Freakazoid

    Freakazoid inkompatibel

    Dabei seit:
    18.04.2003
    Beiträge:
    341
    Zustimmungen:
    0
    Hallo,

    ich bin gestern Abend auf die Idee gekommen, das Internet selbst nach Webseiten suchen zu lassen und wollt mal fragen, ob damit jemand schon Erfahrungen gesammelt hat!?!

    Ich habe mir dafür mal "larbin" runtergeladen und installiert, läuft auch recht gut, nur habe ich noch ein paar Fragen dazu. (Habe es erstmal nach 9std. abgebrochen, weil ich mir dafür einen extra Rechner einrichten werde)

    1. Wenn ich larbin starte, fängt er an das (komplette!!!) Web zu durchsuchen. Wie lange kann das dauern, mit einer normalen ADSL-Verbindung, bis er fertig ist? (Ich rechne mit knapp einer Woche)

    2. Wenn larbin dann endlich mal fertig sein sollte, wie geht es dann weiter? Hab ich dann z.B. ein Webinterface, das ich aufrufen kann, um meine Suchanfragen loszuwerden? Oder was soll ich sonst mit den fifoxxxxxx Files machen?

    3. Gibt es auch Seiten, die komplette Suchergebnisse zum Download anbieten, um selbst nicht das Internet durchsuchen zu müssen.

    4. Was gibt es ausser larbin noch für Programme, die ich für mein Vorhaben benutzen kann? Welches ist gut, welches nicht?

    5. Mit wieviel Festplattenspeicher müßte ich in etwa rechnen?

    6. Legalität, sollte doch kein Problem sein, oder? Sonst würde Google z.B. sich ja auch strafbar machen.

    7. Kennt jemand gute Seiten, die sich mit dem Thema beschäftigen?

    gruß, Freakazoid
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. Riebl

    Riebl Foren As

    Dabei seit:
    15.03.2004
    Beiträge:
    79
    Zustimmungen:
    0
    nur eine woche zum durchsuchen? und dann das ganze auch noch aktuell halten? und vorallem wozu dieser riesen aufwand? lol
     
  4. tr0nix

    tr0nix der-mit-dem-tux-tanzt

    Dabei seit:
    11.07.2003
    Beiträge:
    1.585
    Zustimmungen:
    0
    Ort:
    Schweiz, Opfikon/Glattbrugg
    forget it ;)
     
  5. ozoon

    ozoon Chefdiplomat

    Dabei seit:
    13.04.2003
    Beiträge:
    434
    Zustimmungen:
    0
    Ort:
    AUT
    why?
     
  6. rhythm

    rhythm evolution now!

    Dabei seit:
    02.05.2004
    Beiträge:
    172
    Zustimmungen:
    0
    Ort:
    /home
    google hat derzeit 4.285.199.774 seiten im index. diese seiten müssen abgefragt, durchsucht, gespeichert und indiziert werden. daraufhin werden die vorhanden links weiterverfolgt.
    das aufkommende datenvolumen und die anforderungen an den server dürften, die möglichkeiten einer privat-person bei weitem übersteigen.

    es ist sicherlich sehr interessant, dass im kleinen rahmen zu testen, aber an einen wirklichen gebrauch glaube ich nicht.

    korrigiert mich, wenn ich falsch liege...
     
  7. #6 Freakazoid, 11.05.2004
    Freakazoid

    Freakazoid inkompatibel

    Dabei seit:
    18.04.2003
    Beiträge:
    341
    Zustimmungen:
    0
    Aktuell halten wollte ich das ganze nicht, wollte halt nur mal schauen, was man für Seiten findet, wenn man sich nicht auf Google und CO verläßt. Das ganze wär auch nur erstmal für mich ganz alleine. Wenn es 2 Wochen dauern würde hätte ich damit auch nicht wirklich ein Problem. Würde es dann, falls ich darin Vorteile sehen sollte, jedes halbe Jahr durchgeführen.

    Ja, ist schon verdammt viel, was Google da gesammelt hat. Interessant wäre dafür ein privater Cluster, aber daraus wird wohl nichts werden. Darum hatte ich ja auch Frage Nr.3 gestellt. Meine größte Angst hab ich davor, den Rechner dafür Wochen arbeiten zu lassen und anschliessend vielleicht nichts mit den fifoxxxxxx Files (von larbin) anfangen zu können. Vielleicht darf ich dann auch noch das geheule von meinem Provider anhören, aber machen will ich das immernoch. Werde mir morgen auch einen alten 200mhz-rechner dafür einrichten, der dann die ganze Zeit laufen kann.
     
  8. #7 ma-games, 11.05.2004
    ma-games

    ma-games Kapuziner-Trinker

    Dabei seit:
    19.12.2003
    Beiträge:
    315
    Zustimmungen:
    0
    Ort:
    Lichtenfels in Bayern
    Vielleicht könntest du ja ein Projekt daraus machen. Das ganze also als Verteiltes System auf mehreren Rechnern laufen lassen. Das sich also prinzipiell jeder dir anschließen kann und dir Rechnen- und Netzpower zur Verfügung stellt. Also so wie auch bei Seti@home oder ähnlichen Projekten. Vielleicht gibts ja auch sowas schon.
    Aber gänzlich allein? Ich bezweifle das das viel bringt.
     
  9. rhythm

    rhythm evolution now!

    Dabei seit:
    02.05.2004
    Beiträge:
    172
    Zustimmungen:
    0
    Ort:
    /home
    du kannst zum mindest in etwa ausrechnen, wieviel transfervolumen auf dich zukommt. daraus kannst du dann auch errechnen, wieviel speicherplatz du benötigst und vor allem wie lange es dauert die seiten anzufordern...

    gehen wir von den 4.285.199.774 seiten aus, bei denen du jeweils etwa 50 kb lädst. das wären 214259988700 kb daten. da du mit dsl etwa 90kb/s lädst würde das auf 2380666541,11 sekunden dauern. das sind 27554,01 tage in denen du 204334,24 gb daten laden würdest. 8o

    liege ich mit meiner rechnung in etwa richtig, oder kann man das so nicht machen? :rolleyes:
     
  10. #9 ma-games, 11.05.2004
    ma-games

    ma-games Kapuziner-Trinker

    Dabei seit:
    19.12.2003
    Beiträge:
    315
    Zustimmungen:
    0
    Ort:
    Lichtenfels in Bayern
    Ich schätze nur das es bei weit weniger als 90kb/s liegen wird. Ansonsten richtig!!??!
     
  11. #10 bananenman, 11.05.2004
    Zuletzt bearbeitet: 11.05.2004
    bananenman

    bananenman Routinier

    Dabei seit:
    07.03.2004
    Beiträge:
    410
    Zustimmungen:
    0
    ich denke auch, dass der versuch eine private suchmaschine für das internet aufzusetzen wenig sinn macht. was anderes ist das bei internen (man beachte den kleinen aber feinen unterschied) netzen - also im lan. in größeren firmen-lans läuft sowas tatsächlich gelegentlich, und stellt die firmen-eigenen seiten für mitarbeiter gebündelt zur verfügung.

    ansonsten kann ich dir (sofern du von google weg willst) nur die metager empfehlen - meiner meinung nach die beste aller suchmaschinen.

    mfg

    bananenman
     
  12. Andre

    Andre Foren Gott
    Moderator

    Dabei seit:
    01.04.2002
    Beiträge:
    3.876
    Zustimmungen:
    0
    ich finde dir Idee eigentlich echt witzig...
    mann müsste einen haufen dsl-büchsen clustern oder sowas...
     
  13. #12 Freakazoid, 12.05.2004
    Freakazoid

    Freakazoid inkompatibel

    Dabei seit:
    18.04.2003
    Beiträge:
    341
    Zustimmungen:
    0
    Also....
    ich glaub ich werd das wohl doch nicht durchziehen, wurde überzeugt, daß das doch ein wenig zu überdimensional für eine Privatperson ist. Ein Cluster wäre zwar noch eine interessante Sache, aber starten will solch eine Aktion auch nicht. DANKE für eure Antworten.
     
  14. rhythm

    rhythm evolution now!

    Dabei seit:
    02.05.2004
    Beiträge:
    172
    Zustimmungen:
    0
    Ort:
    /home
    auch wenn in meiner rechnung zahlen aufgetaucht sind, die wohl etwas "gigantisch" sind, finde ich die idee nicht schlecht. in kleinerem massstab ist das sicherlich ein interessantes projekt. :]
     
  15. Anzeige

    Vielleicht findest du HIER Antworten.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  16. #14 Freakazoid, 12.05.2004
    Freakazoid

    Freakazoid inkompatibel

    Dabei seit:
    18.04.2003
    Beiträge:
    341
    Zustimmungen:
    0
    Auf jeden Fall ist das was ein internes Firmennetzwerk oder so, aber das ganze Internet abzusuchen ist doch ein wenig zu viel. Falls jemand mal ein Clusterproject starten will, bin ich gerne dabei.
     
  17. rhythm

    rhythm evolution now!

    Dabei seit:
    02.05.2004
    Beiträge:
    172
    Zustimmungen:
    0
    Ort:
    /home
Thema:

Eigene WWW Suchmaschine

Die Seite wird geladen...

Eigene WWW Suchmaschine - Ähnliche Themen

  1. In eigener Sache: Neue, stark verbesserte Suchfunktion

    In eigener Sache: Neue, stark verbesserte Suchfunktion: Pro-Linux läuft nun mit der erneuerten Version 1.5 des Content Management Systems NB3. Die wichtigste sichtbare Änderung ist die neue, auf der...
  2. Western Digital widmet dem Raspberry Pi eine eigene Festplatte

    Western Digital widmet dem Raspberry Pi eine eigene Festplatte: Der Festplattenhersteller Western Digital (WD) gibt die Verfügbarkeit einer 314 GByte großen Festplatte für den Raspberry Pi bekannt. Weiterlesen...
  3. Pale Moon 26 mit eigener Browser-Engine fertiggestellt

    Pale Moon 26 mit eigener Browser-Engine fertiggestellt: Die Entwickler von Pale Moon haben eine überarbeitete Version des Browsers, der von Firefox abgeleitet ist, freigegeben. Das Pale Moon-Projekt...
  4. Intel veröffentlicht eigene Linux-Distribution für die Cloud

    Intel veröffentlicht eigene Linux-Distribution für die Cloud: Intel hat kürzlich mit »Clear Linux Project for Intel Architecture« eine eigene Linux-Distribution veröffentlicht, die für die eigene...
  5. LLVM entwickelt eigenen ELF-Linker

    LLVM entwickelt eigenen ELF-Linker: Wie das LLVM-Projekt bekannt gab, steht mit »lld« ein alternativer Linker bereit, der sich vor allem durch seine gesteigerte Geschwindigkeit...