bigfozzy.com

[bigfozzy]

http://bigfozzy.com/Articles/Based/Content/disallow_robots_txt.php

[Expert]

роботсом можно закрыть доступ именно боту, но если урл попадет куда-то в сеть и будет проиндексирован, то по линку все равно придут.... Это официально заявил Гугл кстати. Не помню линка на первоисточник, но на searchengines.ru тема обсуждалась весьма активно.