robots.txt now bans all robots
authorNeil Smith <neil.git@njae.me.uk>
Wed, 8 Jan 2014 14:17:16 +0000 (14:17 +0000)
committerNeil Smith <neil.git@njae.me.uk>
Wed, 8 Jan 2014 14:17:16 +0000 (14:17 +0000)
public/robots.txt

index 1a3a5e4dd2502ac121c22f743c4250e254a94eeb..b19a37782ced13159dfea2756ebdaeef5bcfa046 100644 (file)
@@ -1,5 +1,5 @@
 # See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
 #
 # To ban all spiders from the entire site uncomment the next two lines:
-User-agent: *
-Disallow: /
+User-agent: *
+Disallow: /