/?q=search/ significa que não posso raspar os sites de pesquisa que terminam com =search/ ? Posso raspar um URL que termina com =0#search ?
Responder1
Primeiro de tudo é um robôé.TXT. Em seguida, fornecer algo ali não significa magicamente que você "não pode raspar a pesquisa na web". É apenas uma diretriz a ser seguida pelos robôs. Mas isso não os impedirá de buscar esses URLs se quiserem (ou seja, alguns buscadores e scripts maliciosos da Web podem simplesmente ignorar seu robots.txt ou até mesmo usar informações dele para buscar informações que você deseja proteger).
E respondendo à sua pergunta, você não pode especificar uma âncora com o robots.txt. Isso foi respondido aqui:https://stackoverflow.com/questions/53676849/robots-txt-handling-a-in-a-url
Além de especificar uma diretiva Disallow no robots.txt não inclui localização. É apenas uma correspondência de substring em qualquer lugar do URL.