Programm um mehrere Suchmaschine abzufragen ?

schwedenmann

schwedenmann

Foren Gott
Hallo

Kennt jemand ein Programm unter Linux, mit dem ich mehrere Suchmaschinen nach einem Oberbegriff suchen lassen kann und dann das Ergebnis in einer Liste speichert, als Text- oder Htmldokument, z.B.


Mfg
schwedenmann
 
moin moin

ich hab mal schnell nen python script geschrieben. hoffe das erfüllt deine anforderungen.

Code:
import httplib
import sys

SEARCH_SITES = [('www.google.de','/search?q='), ('de.search.yahoo.com','/search?p=')]
SUFFIX = ['Google', 'Yahoo']
results = []

def getResults(searchWord):
    
    connections = []
    for i in range(len(SEARCH_SITES)):
        connections.append(httplib.HTTPConnection(SEARCH_SITES[i][0]))
        
    i=0    
    for item in connections:
        for each in searchWord:
            item.request('GET', SEARCH_SITES[i][1] + each)
            r = item.getresponse()
            results.append(r.read())
        i+=1
        
    i,j=0,0    
    for each in results:
        f = file('/Users/HL/Desktop/site-'+SUFFIX[j]+'-'+searchWord[i]+'.html', 'w')
        f.write(each)
        f.close()
        if i == len(searchWord)-1:
            i = 0
            j += 1
        else:
            i += 1
        
if __name__=='__main__':
    
    s = []
    for i in range(1, len(sys.argv)):
        s.append(sys.argv[i]) 
    getResults(s)

du müsstest noch den pfad unter dem die files gespeichert werden sollen anpassen und eventuell die suchmaschinen deiner wahl hinzufügen.


aufruf: python scriptname [suchbegriff1] [suchbegriff2] ...



Gruß HL
 

Ähnliche Themen

Wie große mengen an Daten schnell durchsuchen?

Samba Server funktioniert nach Installation von Nextcloud 26 nicht mehr

Kernel Kaltstart / reboot?

mehrere Textdateien gleichzeitig öffnen.

Programm zur Bildbearbeitung gesucht!

Zurück
Oben