Proxy server Session ID wegschneiden

Dieses Thema im Forum "Web- & File-Services" wurde erstellt von Muling, 10.05.2010.

  1. #1 Muling, 10.05.2010
    Zuletzt bearbeitet: 10.05.2010
    Muling

    Muling Doppel-As

    Dabei seit:
    07.01.2008
    Beiträge:
    124
    Zustimmungen:
    0
    Ort:
    Luxemburg
    Hallo,

    Ich habe folgendes Problem: Ich betreibe einen kleine Suchmaschine für ein Intranet.

    Das ganze funktioniert bei normalen URLs sehr gut, aber wenn eine session id übergeben wird meint der crawler bei jedem crawlen es sei eine neue URL und schreibt so doppelten Content in den Index.

    Beispiel:

    Ein Forum gibt dem Crawler eine session id, die URL lautet dann


    EDIT: Da die Forensoftware die Links kürzt, das ganze ohne http://

    seite.domain/viewtopic.php?t=4387&sid=92de355c247dc43d84e1d2562b10882a

    Wenn er dann die Seite erneut besucht lautet die URL z.b.

    seite.domain/viewtopic.php?t=4387&sid=c574bd0e3d9b3c9686f4d044b5165bb1

    Die sid besteht aus 32 alphanumerischen Zeichen, von 0-9 und a-f.

    Der meint dann es wäre ne völlig neue Seite und indiziert sie neu... Kann man da einen Proxy vorschalten der die Session IDs rausfiltert oder sowas ähnliches?

    Der Crawler ist übrigens Yacy, und da gibts leider keine Möglichkeit Session IDs zu normalisieren, man kann nur die ganze Seite vom crawlen ausschließen :/

    Vielen Dank, Muling
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
Thema:

Proxy server Session ID wegschneiden

Die Seite wird geladen...

Proxy server Session ID wegschneiden - Ähnliche Themen

  1. Proxyserver Squid: "Normalmode" + transparent auf Port 80 kombinieren möglich?

    Proxyserver Squid: "Normalmode" + transparent auf Port 80 kombinieren möglich?: Hi. Ist es möglich, bei einem Squid Proxyserver eine "normale" Installation zu machen, wo man im Browser die Proxy Zugangsadten machen muss. Und...
  2. Proxy-, DHCP-, DNS-Server für Lan-Party

    Proxy-, DHCP-, DNS-Server für Lan-Party: Guten Morgen, wie der Titel schon sagt, will ich für die kommende LAN-Party einen Server einrichten. Das ich dafür Linux benutze ist außer...
  3. Proxy Server - Linux OS

    Proxy Server - Linux OS: Hallo, ich würde gerne einen Proxy server aufsetzen. Da ich nicht so viele Resourcen zur verfügung habe wollte ich einen Proxy als...
  4. Rechtliche frage zu Proxy Server + Squid

    Rechtliche frage zu Proxy Server + Squid: Hey. Da ich ja weiß das wenn ich ein Proxy server leite ich Loggen muss usw wollte ich fragen wie es aussieht wenn es nur paar leute sind?...
  5. [How-To]Squid-Proxy auf Uni Server

    [How-To]Squid-Proxy auf Uni Server: Hallo Zusammen , ich versuche seit geraumer Zeit den Squid-Proxy auf unserem Uni-Server (Unix version ist mir leider nicht bekannt) zum laufen...