¿/?q=search/ significa que no puedo rastrear los sitios web de búsqueda que terminan en =search/? ¿Puedo eliminar una URL que termina en =0#search?
Respuesta1
Primero que nada es un robots.TXT. A continuación, proporcionar algo allí no significa mágicamente que "no se pueda realizar la búsqueda en la web". Es sólo una directiva que los robots deben seguir. Pero no les impedirá recuperar esas URL si así lo desean (es decir, algunos buscadores web y scripts maliciosos podrían simplemente ignorar su archivo robots.txt o incluso usar información del mismo para obtener la información que desea proteger).
Y respondiendo a tu pregunta, no puedes especificar un ancla con robots.txt. Esto ha sido respondido aquí:https://stackoverflow.com/questions/53676849/robots-txt-handling-a-in-a-url
Además de especificar una directiva Disallow en robots.txt no incluye la ubicación. Es solo una coincidencia de subcadena en cualquier parte de la URL.