Script zum HTML-Download (mit Formular)

Dieses Thema im Forum "Shell-Skripte" wurde erstellt von chri9u, 22.03.2008.

  1. chri9u

    chri9u Greenhorn

    Dabei seit:
    26.07.2007
    Beiträge:
    15
    Zustimmungen:
    0
    Ort:
    Lucerne
    Hi @all

    Ich möchte ein Script zum Download von HTML-Seiten erstellen. Das Problem ist jedoch, dass man sich auf dieser Seite zuerst anmelden muss (die Anmeldung funktioniert mit POST, die Felder heissen 'nickname' und 'password'). Natürlich habe ich bereits per Google gesucht und schon viel probiert. Bisher versuchte ich es, per 'wget' oder 'curl' zu realisieren.
    Kennt da jemand eine Lösung?

    MfG,
    Christoph
     
  2. Anzeige

    Schau dir mal diese Kategorie an. Dort findest du bestimmt etwas.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  3. #2 Wolfgang, 22.03.2008
    Wolfgang

    Wolfgang Foren Gott

    Dabei seit:
    24.04.2005
    Beiträge:
    3.978
    Zustimmungen:
    0
    Ort:
    Erfurt
    Auch für dich gilt:
    Lies das hier
    Dann eine Lösung, die nicht spekulativ ist.

    Wolfgang
     
  4. chri9u

    chri9u Greenhorn

    Dabei seit:
    26.07.2007
    Beiträge:
    15
    Zustimmungen:
    0
    Ort:
    Lucerne
    oo.. wieder was frisches gelernt ^^. Ok: ich nutze Ubuntu 7.10 und die Shell SH (erste Scriptzeile #!/bin/sh).

    Merci,
    MfG
     
  5. sinn3r

    sinn3r Law & Order
    Moderator

    Dabei seit:
    28.12.2006
    Beiträge:
    2.764
    Zustimmungen:
    0
    Ort:
    Wentorf
    Dann wird auch das folgende bei dir stehen ;)
    Code:
    {-basti-|-firefly-} => [~]
    (21:55:58) ls -al /bin/sh
    lrwxrwxrwx 1 root root 4 2008-01-09 23:47 [COLOR="Cyan"]/bin/sh[/COLOR] [COLOR="Red"]->[/COLOR] [COLOR="Lime"]dash[/COLOR]
    Folglich nutzt du die dash (ist bei Ubuntu eigentlich normal, aber lieber noch mal mit dem oben genannten Befehl testen ;) )
     
  6. chri9u

    chri9u Greenhorn

    Dabei seit:
    26.07.2007
    Beiträge:
    15
    Zustimmungen:
    0
    Ort:
    Lucerne
    stimmt so:

    Code:
    chrigu@chrigu-laptop:~$ ls -al /bin/sh
    lrwxrwxrwx 1 root root 4 2007-10-21 16:52 /bin/sh -> dash
    thx für die Hilfsbereitschaft :)

    MfG
     
  7. #6 Wolfgang, 23.03.2008
    Wolfgang

    Wolfgang Foren Gott

    Dabei seit:
    24.04.2005
    Beiträge:
    3.978
    Zustimmungen:
    0
    Ort:
    Erfurt
    Was waren deine Versuche mit wget?

    Beispielsweise mit wget:
    Code:
    wget --http-user=username --http-passwd=password "http://<URL>'
    
    Gruß Wolfgang
     
  8. #7 BloodyMary, 23.03.2008
    BloodyMary

    BloodyMary Pornophon

    Dabei seit:
    15.03.2005
    Beiträge:
    615
    Zustimmungen:
    1
    Ort:
    Bayern
    Die Frage ist, wie das Script funktioniert das das Formular weiterverarbeitet.
    wenn die abgesendete URL z.B. ist: http://yourdomain.de/auswertung.php?username=yourname&password=yourpassword, dann wären die variablen ja $_REQUEST['username'] und $_REQUEST['yourpassword']
    Es gibt tools mit denen man in z.B. Fiorefox diese Felder noch nachträglich verändern kann, vielleicht kann das auch dein downloadmanager. aria2c kann z.B. auch was mit cookies machen vielleicht ist das etwas was du brauchst
     
  9. Anzeige

    Vielleicht findest du HIER Antworten.
    Registrieren bzw. einloggen, um diese und auch andere Anzeigen zu deaktivieren
  10. #8 Wolfgang, 23.03.2008
    Wolfgang

    Wolfgang Foren Gott

    Dabei seit:
    24.04.2005
    Beiträge:
    3.978
    Zustimmungen:
    0
    Ort:
    Erfurt
    Hallo
    Für Postdaten kennt wget die Option: --post-data
    Code:
    wget --post-data ’username=foo&password=geheim&moredatefield=bar' "http://foo.bar/"
    Wolfgang
     
  11. #9 chri9u, 23.03.2008
    Zuletzt bearbeitet: 23.03.2008
    chri9u

    chri9u Greenhorn

    Dabei seit:
    26.07.2007
    Beiträge:
    15
    Zustimmungen:
    0
    Ort:
    Lucerne
    nein, die Daten werden per $_POST['...'] geholt (die oben erwähnte POST-Methode). Ich weiss, dass ich mit wget POST-Variablen übergeben kann, nur möchte ich anschliessend das Ergebnis direkt downloaden.

    MfG

    EDIT: Der obige Beitrag wurde zur gleichen Zeit erstellt. Merci.
    .
    .
    .
    EDIT (autom. Beitragszusammenführung) :
    .

    So. Ich habe jetzt endlich eine Lösung gefunden. Das heisst, ich habe den HTTP-Request falsch geschrieben...

    Code:
    curl -d "action=login&target=-&nickname=NICKNAME&password=PASSWORD" -c "cookies.txt" "URL"
    curl -b "cookies.txt" "URL" -o "output.htm"
    Der erste Befehl meldet mich auf einer Seite an und generiert ein Cookie, mit dem zweiten werden die Seiten herunter geladen (sendet Cookie).

    Vielen Dank,
    MfG,
    Christoph
     
Thema:

Script zum HTML-Download (mit Formular)

Die Seite wird geladen...

Script zum HTML-Download (mit Formular) - Ähnliche Themen

  1. Bräuchte Hilfe bei Backupscript mittels Bash und cronjob

    Bräuchte Hilfe bei Backupscript mittels Bash und cronjob: Es soll für bestimmte Ordner Archivierung aller Dateien(Logfiles), die älter als 30 Tage sind machen. Am besten einmal täglich nachts irgendwann....
  2. Bashscript aus Debian6 läuft nicht auf Debian7

    Bashscript aus Debian6 läuft nicht auf Debian7: Hallo an alle, nachdem ich ein Skript von squeeze auf wheezy kopiert habe und ausführte, erschienen gleich wilde Fehlermeldungen, nach denen ich...
  3. Shell Script Problem

    Shell Script Problem: Hallo zusammen, ich arbeite momentan mit einem Plagiat Tool, die ich über Git Bash ausführe. Es wird im Endeffekt ein Link generiert, die ich...
  4. Externes Programm mit Script ausführen?

    Externes Programm mit Script ausführen?: Hallo, ich würde gern ein Script zum klonen von festplatten schreiben z.B. mit dem Programm Mondo Rescue. Ist es möglich externen Programmen...
  5. sh Script zum Autostart

    sh Script zum Autostart: hallo liebe Mitglieder, wenn ich unter Linux eins meiner Shell Skripte im Autostart haben will nutze ich immer die @reboot Funktion im crontab....