mit perl auf websiten zugreifen

D

d3f3nd3r

Mitglied

• 13.05.2008

• #1

heo

ich würde gerne ein perl skript schreiben, dass daten einer webseite auswertet (und diese auch automatisch herunterlädt!)

leider habe ich keine ahnung wie ich das realisieren könnt, hat jemand tipps?

mfg

 

okar

Jungspund

• 13.05.2008

• #2

was willst denn herunterladen? Nur die Pagesourcen oder auch Sachen wie Bilder und sowas?
ich würde mal zu den Modulen HTTP::Request und HTTP::Response raten, am besten ein bisschen auf cpan.org stöbern.
http://search.cpan.org/~gaas/libwww-perl-5.812/lib/HTTP/Request.pm

 

bitmuncher

Foren Gott

• 13.05.2008

• #3

Mit dem Perl-Modul 'WWW::Mechanize' ist das ziemlich einfach. Findest du bei CPAN recht gut dokumentiert. Kleines Beispiel:

Code:

use WWW::Mechanize; # Modul benutzen

# die URL, die wir bearbeiten wollen
my $url = "http://www.meinserver.tld/";

# Mechanize-Instanz erstellen
my $mech = WWW::Mechanize->new();

# Seite der URL einlesen
$mech->get($url);

# Inhalt der Seite in eine Variable packen
my $content = $mech->content();

# Inhalt in ein Array packen
my @lines = split(/\n/, $content);

foreach my $line (@lines) {
  # mach irgendwas mit $line
}

Selbst Formulare ausfüllen ist total simpel:

Code:

use WWW::Mechanize; # Modul benutzen

# die URL, die wir bearbeiten wollen
my $url = "http://www.meinserver.tld/";

# Mechanize-Instanz erstellen
my $mech = WWW::Mechanize->new();

# Seite der URL einlesen
$mech->get($url);

# Formular ausfuellen und absenden
$mech->submit_form(form_number => 1, # eine Seite kann ja mehrere form-Tags haben
    fields => {
        namevonfeld1 => 'wertdenwireintragenwollen1',
        namevonfeld2 => 'wertdenwireintragenwollen2'
    });
my $content = $mech->content; # ergebnis nach dem absenden des formulars holen
...

 

blue-dev

stranger with blue eyes

• 15.05.2008

• #4

bitmuncher schrieb:

Mit dem Perl-Modul 'WWW::Mechanize' ist das ziemlich einfach. Findest du bei CPAN recht gut dokumentiert.

Zum Vergrößern anklicken....

Kann ich bitmuncher nur zustimmen, wenn ich auch libwww (LWP) bevorzuge. Beide funktionieren aber kaum anders.
Cpan Seite: http://search.cpan.org/~gaas/libwww-perl-5.812/lib/LWP.pm

 

D

d3f3nd3r

Mitglied

• 26.05.2008

• #5

ja danke WWW::Mechanize hat toll funktioniert.

Jetzt nur noch eine Frage, hat jemand Erfahrung, mit Skripten, die sich auf einer HP anmelden? Gibt es da etwas zu beachten?

mfg

 

uzumakinaruto

Tripel-As

• 26.05.2008

• #6

@d3f3nd3r wieso nicht wget???

Code:

wget http://www.example.de/login.php --post-data 'user=USERNAME&password=PASSWORD'

 

saeckereier

Graue Eminenz

• 26.05.2008

• #7

Weils so weit möglich zu vermeiden ist externe Tools aufzurufen? (Performanz, Sicherheit, Shell Escaping, Umwandeln/Parsen der Ausgabe)

 

D

d3f3nd3r

Mitglied

• 26.05.2008

• #8

ja ich würde den vorher vorgestellten mechanismus auch auf webseiten anwenden, bei denen man sich zuerst anmelden muss...

 

bitmuncher

Foren Gott

• 26.05.2008

• #9

Ich habe WWW::Mechanize auch schon für Anmeldungen benutzt. Einfach mittels des oben genannten Mechanismus das Login-Formular ausfüllen und dir den neuen Content holen.

 

Zuletzt bearbeitet: 26.05.2008

D

d3f3nd3r

Mitglied

• 27.05.2008

• #10

ja aber das problem ist, ich möchte nicht nur die seite nach dem login sehen, da würde ich so etwas wie sessionmanagement benötigen und da wäre es intressant wie man das mit perl realisiert...

mfg

 

bitmuncher

Foren Gott

• 27.05.2008

• #11

Dann schau dir mal WWW::Kontent::Session an. Das dürfte für ein ganz einfaches Session-Handling reichen, denke ich. Alternativ greifst du auf die Funktionalitäten des CGI-Moduls zurück.

 

D

d3f3nd3r

Mitglied

• 28.05.2008

• #12

ja aber das schaut mir ja serverseitig aus.
normalerweise kenne ich ja die session id nicht, bzw wie kann ich die benötigten parameter bekommen?

(es geht um einen mediawiki bot)

 

saeckereier

Graue Eminenz

• 28.05.2008

• #13

Benutze LWP::UserAgent und gib ihm ein Cookie Jar. Damit hast du Sessions, die per Cookie kommen erledigt. Für alle anderen Arten von Sessions musst du dir wohl anschauen, wie diese auf der Seite realisiert werden. Da es keinen Standard per se gibt, sieht das schlecht aus. Meistverwendet werden angehängte URL Parameter (Bsp.: index.html?s=43597834509234590354 ), Cookies oder unsichtbare Formulare die die Session ID beim POST mitsenden.

 

D

d3f3nd3r

Mitglied

• 28.05.2008

• #14

also ich arbeite jetzt gerade mit LWP::UserAgent.
Nur eine Frage: Wie fülle ich Formulare richtig aus?

Das fragliche Formular hat zwei intressante Eingabefelder (aber auch noch 2 unwichtige), nämlich wpName und wpPassword. Das Ziel des Formulars (action=..) ist /infopedia/index.php?title=Spezial:Anmelden&action=submitlogin&type=login.

Ich hab mir gedacht, ich schicke mit POST einfach die zwei Felder rüber aber das hat nicht funktioniert....

hier mein code :

require LWP::UserAgent;
use HTTP::Cookies;

$cookie_jar = HTTP::Cookies->new(
file => "$ENV{'HOME'}/lwp_cookies.dat",
autosave => 1,
);
my $ua = LWP::UserAgent->new;

$ua->cookie_jar($cookie_jar);

my %login = ("wpName" => "d3f3nd3r",
"wpPassword" => "passs");

my $url = "http://foo.com/infopedia/index.php?title=Spezial:Anmelden&action=submitlogin&type=login";

my $response = $ua->post($url,%login);

Zum Vergrößern anklicken....

jemand eine Idee wie ich einfach das Formular ausfüllen kann (in WWW::Mechanize Art...) ?

 

saeckereier

Graue Eminenz

• 28.05.2008

• #15

[strike]Einfach in die Doku von LWP::UserAgent gucken??[/strike]

Sorry, hatte nicht ganz gelesen, genauso wie du's geschrieben hast hätte ich es auch erwartet. Eventuell kannst du ja mal das ganze auf ein Test PHP Skript loslaufen lassen und dir anzeigen lassen, was ankommt?

EDIT: Poste mal bitte die HTML Quelle des Login Formulars

 

Zuletzt bearbeitet: 28.05.2008