User-agent: * # directed to all spiders # Disallow: /cgi-bin/ # robots von cgi-bin ausschliessen Disallow: /stats/ # robots von statistik ausschliessen Disallow: / # robots ueberhaupt ausschliessen - bis die seiten # 'fertig' sind