Yacy - Opensource Konkurenz für Google

Dieses Thema im Forum "Internet, lokale Netzwerke und Wireless Lan" wurde erstellt von MrFenix, 28.05.2007.

  1. #1 MrFenix, 28.05.2007
    Zuletzt bearbeitet: 28.05.2007
    MrFenix

    MrFenix Executor

    Dabei seit:
    16.10.2004
    Beiträge:
    480
    Zustimmungen:
    0
    Ort:
    Siegen, NRW
    Hi,
    nach einigem Abi-Wegbleiben (erfolgreich) melde ich mich auch nochmal zu Wort. Wollte mal auf www.yacy-websuche.de aufmerksam machen: Ein Projekt, eine P2P Websuche zu erstellen, die auf Opensourcebasis irgendwann einmal dem Google Tyrannen Konkurrenz machen könnte. Habs bei der Boardsuche nicht finden können.. hoffe es wurde nicht schonmal gepostet.
    Leibe Grüße,
    MrFenix

    PS.: Läuft übrigens perfekt ohne großes installieren; einfach tar.gz als User angemeldet ins Homeverzeichnis entpacken und # ./startYacy.sh - Erspart im Vergleich zu z.B. der Gentoo installation, die nur über Overlays läuft, Arbeit.
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. #2 bitmuncher, 28.05.2007
    Zuletzt bearbeitet: 28.05.2007
    bitmuncher

    bitmuncher Der Stillgelegte

    Dabei seit:
    08.05.2007
    Beiträge:
    3.171
    Zustimmungen:
    0
    So wie die sich derzeit entwickeln, werden sie keine Konkurrenz für Google.

    1. Man muß es installieren.
    2. Zu langsame Entwicklung (Firefox-Toolbar nur für Firefox 1.5)
    3. Unübersichtliche Downloadseite (überfordert den Otto-Normaluser).
    4. Keine IE-Toolbar.
    5. Total unübersichtliche Konfiguration, vollgepackt mit Fachbegriffen.
     
  4. Mike1

    Mike1 Niederösterreicher

    Dabei seit:
    21.12.2006
    Beiträge:
    1.376
    Zustimmungen:
    0
    Ort:
    Österreich
  5. #4 schwedenmann, 28.05.2007
    schwedenmann

    schwedenmann Foren Gott

    Dabei seit:
    18.11.2003
    Beiträge:
    2.635
    Zustimmungen:
    2
    Ort:
    Wegberg
    Yacy

    Hallo


    Ich habe jetzt mal testweise den link von @mike1 ausprobeirt und bin maßlos enttäuscht.


    Ich hatte bei Text jweils Liutger, Tassillokelch und Arnegundis eingegeben und nichts, absolut keine URL bekommen.


    mfg
    schwedenmann
     
  6. Mike1

    Mike1 Niederösterreicher

    Dabei seit:
    21.12.2006
    Beiträge:
    1.376
    Zustimmungen:
    0
    Ort:
    Österreich
    das liegt wohl daran das das Projekt anscheinend noch nicht besonders alt und viel genutzt ist...
    je mehr User umso mehr und besser die Ergebnisse...
     
  7. #6 bitmuncher, 28.05.2007
    bitmuncher

    bitmuncher Der Stillgelegte

    Dabei seit:
    08.05.2007
    Beiträge:
    3.171
    Zustimmungen:
    0
    Mike1: Nun, man muß theoretisch für eine normale Suche nichts installieren. Tut man es aber nicht, fehlt ein Knoten im P2P-Netzwerk, der Informationen zur Verfügung stellen könnte. Daher sollte man es installieren, sonst nutzt man das Projekt ja einfach nur aus. Außerdem ändert das nichts an der Tatsache, daß es diverse andere Punkte gibt, die der Verbreitung entgegen sprechen. Die oben genannten waren ja nur einige. Neben ihnen gibt es noch andere:

    1. Schlecht zu merkende Domain.
    2. Es müßten erstmal hunderttausende Leute dieses Tool nutzen, es im Senior-Modus zur Verfügung stellen und Seiten indizieren, die bisher noch nicht indiziert sind bevor es einigermaßen annehmbare Ergebnisse liefert.
    3. Wer es hostet muß es regelmäßig pflegen. Läßt man die Default-Einstellungen und hat keine ellenlangen Blacklists drin, sind 60% der indizierten Seiten Porno-Seiten, die dann auch noch auf den "empfohlenen Seiten" auftauchen. Das erste, was dort bei mir stand war irgendeine Inzest-Seite und erst der Download einer Blacklist des Gentoo-Knotens verschaffte dort Abhilfe. Man kann den Knoten, die ihre Blacklists zum Download anbieten aber nicht "ansehen" was sie für Seiten unterbinden. Man hat dadurch außerdem kaum Kontrolle über die Indizes, die geführt werden und kann sich im Zweifel dadurch strafbar machen, da man (ohne sichtbaren Hinweis) Seiten verlinkt, die evtl. strafbare Inhalte haben.
    4. Enormer Traffic-Verbrauch, wenn man die Default-Einstellungen läßt. Ein 2-stündiger Testlauf auf einem Rootie sorgte dafür, daß das Teil die kompletten 2 Stunden 3MB/s an Traffic gefressen hat.

    Die Idee ist eigentlich ja ganz gut, aber sie hat einige Punkte, an denen es krankt. Der Otto-Normaluser wird sich das Teil nämlich nicht installieren und das ist nunmal der Großteil der Suchmaschinen-Nutzer.
     
  8. #7 MrFenix, 28.05.2007
    Zuletzt bearbeitet: 28.05.2007
    MrFenix

    MrFenix Executor

    Dabei seit:
    16.10.2004
    Beiträge:
    480
    Zustimmungen:
    0
    Ort:
    Siegen, NRW
    @ Bitmuncher: Eigentlich sollte das alles en Grund und kein Hinderniss sein. Die Idee an sich ist gut. Und besonders wenn man sowas liest wie:
    Ich persönlich will bei so Sachen alles tun um von Google weg zu kommen. Deshalb "promote" ich das ganze auch hier. Je mehr es benutzen, desto besser wird es.
     
  9. #8 bitmuncher, 28.05.2007
    bitmuncher

    bitmuncher Der Stillgelegte

    Dabei seit:
    08.05.2007
    Beiträge:
    3.171
    Zustimmungen:
    0
    Sorry, aber 10GB Traffic pro Stunde (180MB pro Minute) sind mir einfach zuviel um sowas zu promoten, sonst hätte ich auch kein Problem damit einen Knoten im Senior-Modus mit schneller Anbindung zur Verfügung zu stellen. In der FAQ wird der verbrauchte Traffic auch totgeschwiegen, so daß man nicht weiß, ob dieses Problem nur bei der Erst-Indizierung auftritt, oder ob das immer soviel frißt.

    Ja, sie mögen am Anfang sein, aber ohne tausende von Knoten werden sie irgendwann an die Grenzen der Kapazitäten stoßen und deswegen denke ich, daß sie Google in Hinsicht der Datenmengen, die zur Verfügung stehen, nicht einholen können.

    Ich werde jedenfalls mal durchrechnen, was der Spaß pro Monat kosten würde und evtl. stelle ich einen Knoten mit 50GB Quota zur Verfügung. Wie gesagt, finde ich die Idee ansich nicht schlecht, glaube halt nur nicht wirklich, daß sich das durchsetzen kann.
     
  10. #9 MrFenix, 28.05.2007
    MrFenix

    MrFenix Executor

    Dabei seit:
    16.10.2004
    Beiträge:
    480
    Zustimmungen:
    0
    Ort:
    Siegen, NRW
    Ich vermisse den Owner Match Support von IPTables. Damit könnte man den Traffic passend priorisieren und Maxima festlegen. Mal austüfteln was sich da so machen lässt.

    Dazu kommt ja noch (für Privatleute) die einfache Proxy option: Man kann Yacy ja beim normalen Surfen als Proxy benutzen und damit indizieren lassen ohne extra Traffic zu vergeuden.
     
  11. #10 bitmuncher, 29.05.2007
    bitmuncher

    bitmuncher Der Stillgelegte

    Dabei seit:
    08.05.2007
    Beiträge:
    3.171
    Zustimmungen:
    0
    So, ich hab jetzt mal testweise einen Yacy aufgesetzt. Restriktet habe ich ihn auf 12 PPM. Nach nunmehr knapp einem Tag Laufzeit verbraucht das Ding 586MB Festplattenplatz und im Durchschnitt 80kb/s Traffic. Nach einem Monat werden also hochgerechnet ca. 16,5GB Speicher weg sein.

    Und genau wegen solcher Sachen denke ich, daß sich dieses Tool nicht durchsetzen wird. Ich werde es noch eine Weile laufen lassen, aber wenn es mir zuviel wird, werde ich den Crawler definitiv abschalten. Solange ist die Suchseite unter www.subnetworx.de erreichbar.
     
  12. Anzeige

    Vielleicht findest du HIER Antworten.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  13. #11 bitmuncher, 03.06.2007
    Zuletzt bearbeitet: 03.06.2007
    bitmuncher

    bitmuncher Der Stillgelegte

    Dabei seit:
    08.05.2007
    Beiträge:
    3.171
    Zustimmungen:
    0
    So, ich hab das Ding jetzt ein paar Tage laufen lassen. In der Zwischenzeit wurden knapp 450.000 Seiten indiziert. Allerdings ist diese Applikation maximal für den privaten Einsatz brauchbar. Von einem Hosting auf einem Server würde ich abraten. Der RAM-Verbrauch wird enorm und irgendwann ist der Rechner nur noch am Swappen, wodurch die Last enorm in die Höhe steigt. Der Server ist daher dann nur noch mit Yacy beschäftigt und alles andere wird enorm verlangsamt. Sowas ist für einen dauerhaften Betrieb einfach nicht tragbar. Bei 450.000 Seiten sind 512MB RAM komplett voll und zusätzlich werden 100MB Swap belegt, Tendenz steigend.
     
  14. #12 Orbiter, 16.06.2007
    Orbiter

    Orbiter Grünschnabel

    Dabei seit:
    16.06.2007
    Beiträge:
    1
    Zustimmungen:
    0
    bei Google zahlst du für 1/2 Mio Links 30000 Euro:
    http://www.google.de/intl/de/enterprise/gsa/index.html
    wenn du sie selber verwalten willst. Na gut du bekommst einen Server dazu, der ist aber nicht so viel wert. Bitte vergleiche diese fette Hardware mit deinem Server: da sind die von dir oben genannten Resourcen doch nicht so fett, oder?

    Du hast inzwischen 1 Mio Links in deiner DB, also liefert dir dein Peer einen industriellen Wert von 60000 Euro -- kostenlos. Das gibts sonst nirgendswo. Dafür ist es doch ein nettes Spielzeug, oder?
     
Thema:

Yacy - Opensource Konkurenz für Google

Die Seite wird geladen...

Yacy - Opensource Konkurenz für Google - Ähnliche Themen

  1. Opensource-DVD 41.0 und Opensource-DVD Spiele 4.6

    Opensource-DVD 41.0 und Opensource-DVD Spiele 4.6: Die Opensource-DVD, eine Sammlung von freier Software für Windows, ist in der Version 41.0 mit über hundert Aktualisierungen erschienen. Auch die...
  2. Opensource-DVD 40.0 und Opensource-DVD Spiele 4.5

    Opensource-DVD 40.0 und Opensource-DVD Spiele 4.5: Die Opensource-DVD, eine Sammlung von freier Software für Windows, ist in der Version 40.0 mit über 200 Aktualisierungen erschienen. Auch die...
  3. Opensource-DVD 38.0 und Opensource-DVD Spiele 4.4

    Opensource-DVD 38.0 und Opensource-DVD Spiele 4.4: Die Opensource-DVD, eine Sammlung von freier Software für Windows, ist in der Version 38.0 mit über 120 Aktualisierungen erschienen. Auch die...
  4. Opensource-DVD 37.0 und Opensource-DVD Spiele 4.3

    Opensource-DVD 37.0 und Opensource-DVD Spiele 4.3: Die Opensource-DVD, eine Sammlung von freier Software für Windows, ist in Version 37.0 mit über 150 Aktualisierungen erschienen. Auch die...
  5. Opensource-DVD 36.0 und Opensource-DVD Spiele 4.2

    Opensource-DVD 36.0 und Opensource-DVD Spiele 4.2: Die Opensource-DVD, eine Sammlung von freier Software für Windows, ist in Version 36.0 mit fast hundert Aktualisierungen erschienen. Auch die...