Mindmap des Internets

Always-Godlike

Always-Godlike

Das Freak
moin Unixboardler,

für ein Referat über Web 2.0 hab ich ein bisschen recherchiert und bin auf dieses Bild gestoßen:
http://upload.wikimedia.org/wikipedia/commons/d/d2/Internet_map_1024.jpg

Jetzt frag ich mich, ob man so etwas ähnliches auch mit Webseiten machen kann (vorerst mal nur Domainnamen^^) und diese dann in ner Mindmap miteinander verlinken kann, je nachdem welche Seite nen Link auf ne andere Seite hat.
Mir ist bewusst, dass das sehr viele Adressen sind die durchforstet werden müssen, aber dazu hab ich ja einen HomeServer der sich grad langweilt :P Zudem wird der nur nachts laufen, wenn keiner die Leitung braucht :brav:

Programmiertechnisch hab ich mir das so gedacht:
Durchforsten der Webseiten und ausfiltern der Links, sowie der Besuch der neuen Links => Shell-Skript
Speicherung der Daten => MySQL-Datenbank
Auswertung der Daten sowie erstellen einer SVG-Grafik => PHP

Was haltet ihr von so einem Projekt, habt ihr irgendwelche Vorschläge, Kritiken oder kennt ihr vielleicht schon ein Projekt mit dem selben Inhalt?

Gruß Always-Godlike

PS: Das hier wäre schon ein schöner Thread für "Projekte" :oldman
 
Wenn ich das so sehe kommt mir gleich unser IRC Sozibot in den Sinn. Abgesehen davon. Würde es nicht schneller gehen die DB dieses Projektes (auf dem Bild) einzulesen und die Domainnames zu den IP's zu suchen? Natürlich müsste man die DB von denen erst bekommen.

Gruss Style

PS: Forum für Projekte und Projekt Ideen fände ich nicht schlecht. Aber man sollte klare Regeln haben um Aktive, Inaktive und Ideen von einander trennen zu können. Z.B. mit dem jeweiligen Thread Icon oder so.
 
Ich dachte eine IP kann mehrere Domains haben? Davon abgesehen brauch ich die DB von denen nicht, da kann ich einfach ne Schleife machen, die von 0.0.0.0 auf 255.255.255.255 hochzählt (wobei einige IP-Adressen natürlich nicht vergeben sind). Sind ja "nur" 255 hoch 4 = 4.228.250.625 Möglichkeiten :)

Kann man irgendwie alle Domainnamen rausfinden die zu einer IP gehören?

Problem bei dieser Methode wäre dann noch, dass ich Webseiten irgendwie miteinander verlinken muss. Das wollte ich ja darüber regeln, wer auf wen linkt.

Gruß Always-Godlike
 
Das mit dem HTML-Baum sieht ja mal interessant aus, fehlt jetzt noch ne Beschriftung welche Kugel für welches Element steht. Und die xkcd-Comics sind ja wohl die Klassiker der InternetMap^^

Werde wohl aus Zeitgründen erst in den Osterferien mit der Realisierung anfangen, aber will halt jetzt schon Ideen sammeln.
 
Ich denk mal das müsste so ähnlich funktionieren wie ne Suchmaschine das auch macht. Du programmierst einen Crawler, der URLS abklappert und denen dann immer folgt. Dabei protokolliert der dann halt nur keine Suchwörter, sondern muss sich merken, über welchen Link er wohin kommt.

Sollte doch gehen, oder?
 
@Alway Godlike: Meinst du so etwas?

Siehe dazu den Seitenzusammenhang.
Diese Grafik wurde mit der P2P-Suchmaschiene Yacy erstellt.
Diese Crawl ganz normal von einem Startpunkt alle Seiten mit einer bestimmten Tiefe und Verlink die Hauptdomain dann mit anderen Domains auf die die Seite verweist und erstellt diese Grafik.

Das ist aber natürlich nur ein "Zusatzfeature" von Yacy. Die Hauptaufgabe von Yacy ist natürlich das erstellen eines Indexes. Daher für diese Aufgabe eher ungeeignet.

Bye
Floh1111
 
ja, genau so etwas meinte ich. Danke für den Link. Mal gucken was sich drauß machen lässt.

Gruß Always-Godlike
 
Anmelden, um zu antworten.

Neueste Themen

Zurück
Oben