geht es auch schneller?

Diskutiere geht es auch schneller? im Shell-Skripte Forum im Bereich Programmieren unter Linux/Unix; Moin, ich suche nach einem schnelleren Lösung. Für Webseitenstatistik muss ich nach 2 Strings suchen, das ich auch mit grep mache. Das Logfile...

  1. #1 Linuxneuling, 16.10.2009
    Zuletzt bearbeitet: 16.10.2009
    Linuxneuling

    Linuxneuling Tripel-As

    Dabei seit:
    09.02.2004
    Beiträge:
    249
    Zustimmungen:
    0
    Moin,

    ich suche nach einem schnelleren Lösung. Für Webseitenstatistik muss ich nach 2 Strings suchen, das ich auch mit grep mache. Das Logfile vom Webserver hat rund 600 000 bis 1 Mio Zeilen, mit grep filtere ich nach 2 Strings in eine Datei. Leider erfasst grep ALLE Zeilen, die abc enthalten. Um genau die gewünschte Zeilen zu erhalten kann ich mit cut -d" " -f7 lösen. Jedoch wenn ich es wie folgend ausführe, dauert es ewig:

    Code:
     cat 2009-10-14-grep.log | while read LINE; do if echo $LINE | cut -d" " -f7 | grep abc > /dev/null; then echo $LINE >> output_abc.log; fi; done
    
    
    .
    .
    .
    EDIT (autom. Beitragszusammenführung) :
    .

    habe das problem schon mit awk wie folgend gelöst!

    Code:
    time awk '$7 ~ /abc/{print}' 2009-10-14-access.log > output_abc.log
    
     
  2. #2 saeckereier, 17.10.2009
    saeckereier

    saeckereier Graue Eminenz

    Dabei seit:
    08.05.2005
    Beiträge:
    1.920
    Zustimmungen:
    0
    Ort:
    Im schönen Norden
    Wofür war denn da die Schleife?? cut kann doch auch mehr als eine Zeile bearbeiten oder nicht?
     
  3. #3 Linuxneuling, 19.10.2009
    Linuxneuling

    Linuxneuling Tripel-As

    Dabei seit:
    09.02.2004
    Beiträge:
    249
    Zustimmungen:
    0
    Hier wird im Feld 7 nach einem String gesucht und das Ergebnis sollte die ganze Zeile sein, nicht nur Feld 7...
     
  4. #4 saeckereier, 19.10.2009
    saeckereier

    saeckereier Graue Eminenz

    Dabei seit:
    08.05.2005
    Beiträge:
    1.920
    Zustimmungen:
    0
    Ort:
    Im schönen Norden
    Das erklärts, hab es nicht genau gelesen. Das Problem ist natürlich, dass pro Zeile drei Prozesse gestartet werden, das kann nicht performant erfolgen.
     
Thema:

geht es auch schneller?

Die Seite wird geladen...

geht es auch schneller? - Ähnliche Themen

  1. Afänger braucht Hilfe - /temp ist voll, kde geht nicht, wie weiter ??

    Afänger braucht Hilfe - /temp ist voll, kde geht nicht, wie weiter ??: Hallo allerseits Erstmal möchte ich mich kurz vorstellen, bin schliesslich neu hier: Ich bin 25, Student, und was Linux angeht bis jetzt fast...
  2. perl : geht es auch einfacher ?

    perl : geht es auch einfacher ?: Hi ich habe folgende Aufgabenstellung und bin der meinung das ich sie wohl zu kompliziert gelöst habe, gibt es da einen einfacheren / saubereren...
  3. Welcher DVBT stick? oder geht meiner auch?

    Welcher DVBT stick? oder geht meiner auch?: Hi, da ich ein exwindows user bin habe ich einen DVBT stick der Windows kompatibiel ist aber nicht linux siehe hersteller seite :...
  4. Gehts auch ohne ESD?

    Gehts auch ohne ESD?: hallo an alle, gehts auch ohne esd? ich setzte gnome als desktopumgebung ein. natuerlich wünsche ich mir auch sound unter gnome. bis heute...
  5. [Debian] Gehts auch mit KDE?

    [Debian] Gehts auch mit KDE?: Hi, hab n Debian System ohne GUI hier als so ne Art Server, den ich immer per Rcon bediene... Wollt mir jetz mal zum Spaß eine Debian mit GUI auf...