Я хотел бысоздать общедоступный сайт Google Apps(т.е. пользователям не нужно проходить аутентификацию для доступа к контенту) при сохраненииполитика исключения поисковых роботов и ботов с помощью Robots.txt. Кто-нибудь знает как это сделать?
решение1
robots.txt не препятствует использованию сайта интерактивными браузерами. Он используется только роботами, такими как сканеры, фидридеры, рекурсивные инструменты загрузки (хотя последние позволяют пользователю переопределить его).