User-agent:  Mediapartners-Google* 
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /homepage/home_gesperrt.asp    # nicht indexieren
Disallow: /error.asp    # nicht indexieren
Disallow: /correct/ # nicht indexieren
Disallow: /map/ # nicht indexieren

User-agent: twiceler
Crawl-delay: 5Disallow: /aachen-sucharchiv/
Disallow: /aalen-sucharchiv/
Disallow: /albstadt-sucharchiv/
Disallow: /altenburg-sucharchiv/
Disallow: /arnsberg-sucharchiv/
Disallow: /aschaffenburg-sucharchiv/
Disallow: /augsburg-sucharchiv/
Disallow: /bad-homburg-sucharchiv/
Disallow: /bad-kreuznach-sucharchiv/
Disallow: /bad-oeynhausen-sucharchiv/
Disallow: /bad-salzuflen-sucharchiv/
Disallow: /baden-baden-sucharchiv/
Disallow: /bamberg-sucharchiv/
Disallow: /bautzen-sucharchiv/
Disallow: /bayreuth-sucharchiv/
Disallow: /bensheim-sucharchiv/
Disallow: /bergheim-sucharchiv/
Disallow: /bergisch-gladbach-sucharchiv/
Disallow: /berlin-sucharchiv/
Disallow: /bielefeld-sucharchiv/
Disallow: /bocholt-sucharchiv/
Disallow: /bochum-sucharchiv/
Disallow: /bonn-sucharchiv/
Disallow: /bottrop-sucharchiv/
Disallow: /brandenburg-sucharchiv/
Disallow: /braunschweig-sucharchiv/
Disallow: /bremen-sucharchiv/
Disallow: /bremerhaven-sucharchiv/
Disallow: /bruchsal-sucharchiv/
Disallow: /castrop-rauxel-sucharchiv/
Disallow: /celle-sucharchiv/
Disallow: /chemnitz-sucharchiv/
Disallow: /coburg-sucharchiv/
Disallow: /cottbus-sucharchiv/
Disallow: /cuxhaven-sucharchiv/
Disallow: /darmstadt-sucharchiv/
Disallow: /delmenhorst-sucharchiv/
Disallow: /dessau-sucharchiv/
Disallow: /detmold-sucharchiv/
Disallow: /dinslaken-sucharchiv/
Disallow: /dorsten-sucharchiv/
Disallow: /dortmund-sucharchiv/
Disallow: /dreieich-sucharchiv/
Disallow: /dresden-sucharchiv/
Disallow: /dueren-sucharchiv/
Disallow: /duesseldorf-sucharchiv/
Disallow: /duisburg-sucharchiv/
Disallow: /elmshorn-sucharchiv/
Disallow: /emden-sucharchiv/
Disallow: /erfurt-sucharchiv/
Disallow: /erlangen-sucharchiv/
Disallow: /essen-sucharchiv/
Disallow: /esslingen-sucharchiv/
Disallow: /ettlingen-sucharchiv/
Disallow: /euskirchen-sucharchiv/
Disallow: /fellbach-sucharchiv/
Disallow: /flensburg-sucharchiv/
Disallow: /frankfurt-oder-sucharchiv/
Disallow: /frankfurt-sucharchiv/
Disallow: /frechen-sucharchiv/
Disallow: /freiberg-sucharchiv/
Disallow: /freiburg-sucharchiv/
Disallow: /friedberg-sucharchiv/
Disallow: /friedrichshafen-sucharchiv/
Disallow: /fuerth-sucharchiv/
Disallow: /fulda-sucharchiv/
Disallow: /gelsenkirchen-sucharchiv/
Disallow: /gera-sucharchiv/
Disallow: /giessen-sucharchiv/
Disallow: /gladbeck-sucharchiv/
Disallow: /goeppingen-sucharchiv/
Disallow: /goerlitz-sucharchiv/
Disallow: /goettingen-sucharchiv/
Disallow: /goslar-sucharchiv/
Disallow: /grevenbroich-sucharchiv/
Disallow: /guetersloh-sucharchiv/
Disallow: /gummersbach-sucharchiv/
Disallow: /hagen-sucharchiv/
Disallow: /halle-sucharchiv/
Disallow: /hamburg-sucharchiv/
Disallow: /hameln-sucharchiv/
Disallow: /hamm-sucharchiv/
Disallow: /hanau-sucharchiv/
Disallow: /hannover-sucharchiv/
Disallow: /hattingen-sucharchiv/
Disallow: /heidelberg-sucharchiv/
Disallow: /heilbronn-sucharchiv/
Disallow: /herford-sucharchiv/
Disallow: /herne-sucharchiv/
Disallow: /hilden-sucharchiv/
Disallow: /hildesheim-sucharchiv/
Disallow: /hof-sucharchiv/
Disallow: /ingolstadt-sucharchiv/
Disallow: /iserlohn-sucharchiv/
Disallow: /jena-sucharchiv/
Disallow: /kaiserslautern-sucharchiv/
Disallow: /karlsruhe-sucharchiv/
Disallow: /kassel-sucharchiv/
Disallow: /kaufbeuren-sucharchiv/
Disallow: /kempten-sucharchiv/
Disallow: /kerpen-sucharchiv/
Disallow: /kiel-sucharchiv/
Disallow: /kirchheim-sucharchiv/
Disallow: /kleve-sucharchiv/
Disallow: /koblenz-sucharchiv/
Disallow: /koeln-sucharchiv/
Disallow: /konstanz-sucharchiv/
Disallow: /krefeld-sucharchiv/
Disallow: /landshut-sucharchiv/
Disallow: /langenfeld-sucharchiv/
Disallow: /langenhagen-sucharchiv/
Disallow: /leipzig-sucharchiv/
Disallow: /leonberg-sucharchiv/
Disallow: /leverkusen-sucharchiv/
Disallow: /lippstadt-sucharchiv/
Disallow: /loerrach-sucharchiv/
Disallow: /ludwigsburg-sucharchiv/
Disallow: /ludwigshafen-sucharchiv/
Disallow: /luebeck-sucharchiv/
Disallow: /luedenscheid-sucharchiv/
Disallow: /lueneburg-sucharchiv/
Disallow: /luenen-sucharchiv/
Disallow: /magdeburg-sucharchiv/
Disallow: /mainz-sucharchiv/
Disallow: /mannheim-sucharchiv/
Disallow: /marburg-sucharchiv/
Disallow: /marl-sucharchiv/
Disallow: /meerbusch-sucharchiv/
Disallow: /memmingen-sucharchiv/
Disallow: /minden-sucharchiv/
Disallow: /moenchengladbach-sucharchiv/
Disallow: /moers-sucharchiv/
Disallow: /muelheim-sucharchiv/
Disallow: /muenchen-sucharchiv/
Disallow: /muenster-sucharchiv/
Disallow: /neu-ulm-sucharchiv/
Disallow: /neubrandenburg-sucharchiv/
Disallow: /neumuenster-sucharchiv/
Disallow: /neunkirchen-sucharchiv/
Disallow: /neuss-sucharchiv/
Disallow: /neustadt-sucharchiv/
Disallow: /neuwied-sucharchiv/
Disallow: /norderstedt-sucharchiv/
Disallow: /nordhorn-sucharchiv/
Disallow: /nuernberg-sucharchiv/
Disallow: /oberhausen-sucharchiv/
Disallow: /oberursel-sucharchiv/
Disallow: /offenbach-sucharchiv/
Disallow: /offenburg-sucharchiv/
Disallow: /oldenburg-sucharchiv/
Disallow: /osnabrueck-sucharchiv/
Disallow: /paderborn-sucharchiv/
Disallow: /passau-sucharchiv/
Disallow: /pforzheim-sucharchiv/
Disallow: /pirmasens-sucharchiv/
Disallow: /pirna-sucharchiv/
Disallow: /plauen-sucharchiv/
Disallow: /potsdam-sucharchiv/
Disallow: /pulheim-sucharchiv/
Disallow: /radebeul-sucharchiv/
Disallow: /ratingen-sucharchiv/
Disallow: /recklinghausen-sucharchiv/
Disallow: /regensburg-sucharchiv/
Disallow: /remscheid-sucharchiv/
Disallow: /reutlingen-sucharchiv/
Disallow: /rheine-sucharchiv/
Disallow: /rosenheim-sucharchiv/
Disallow: /rostock-sucharchiv/
Disallow: /saarbruecken-sucharchiv/
Disallow: /salzgitter-sucharchiv/
Disallow: /schwaebisch-gmuend-sucharchiv/
Disallow: /schweinfurt-sucharchiv/
Disallow: /schwerin-sucharchiv/
Disallow: /siegburg-sucharchiv/
Disallow: /siegen-sucharchiv/
Disallow: /sindelfingen-sucharchiv/
Disallow: /singen-sucharchiv/
Disallow: /soest-sucharchiv/
Disallow: /solingen-sucharchiv/
Disallow: /speyer-sucharchiv/
Disallow: /stolberg-sucharchiv/
Disallow: /stralsund-sucharchiv/
Disallow: /stuttgart-sucharchiv/
Disallow: /trier-sucharchiv/
Disallow: /troisdorf-sucharchiv/
Disallow: /tuebingen-sucharchiv/
Disallow: /ulm-sucharchiv/
Disallow: /unna-sucharchiv/
Disallow: /velbert-sucharchiv/
Disallow: /viersen-sucharchiv/
Disallow: /waiblingen-sucharchiv/
Disallow: /weiden-sucharchiv/
Disallow: /weimar-sucharchiv/
Disallow: /weinheim-sucharchiv/
Disallow: /wesel-sucharchiv/
Disallow: /wetzlar-sucharchiv/
Disallow: /wiesbaden-sucharchiv/
Disallow: /wilhelmshaven-sucharchiv/
Disallow: /willich-sucharchiv/
Disallow: /witten-sucharchiv/
Disallow: /wolfsburg-sucharchiv/
Disallow: /worms-sucharchiv/
Disallow: /wuerzburg-sucharchiv/
Disallow: /wuppertal-sucharchiv/
Disallow: /zwickau-sucharchiv/

User-agent: twiceler
Crawl-delay: 5