/?q=search/ は、 =search/ で終わる検索 Web サイトを Web スクレイピングできないことを意味しますか? =0#search で終わる URL をスクレイピングできますか?
答え1
まず第一にそれはロボットだs.txt に何かを入力すると、魔法のように「検索を Web スクレイピングできない」というわけではありません。これは、ロボットが従うべき指示にすぎません。ただし、ロボットが望む場合にそれらの URL を取得することを止めることはできません (つまり、悪意のある Web フェッチャーやスクリプトは robots.txt を無視したり、そこから情報を使用して保護したい情報を取得したりする可能性があります)。
ご質問への回答ですが、robots.txt でアンカーを指定することはできません。これについては、こちらで回答されています:https://stackoverflow.com/questions/53676849/robots-txt-handling-a-in-a-url
robots.txt で Disallow ディレクティブを指定すると、場所は含まれません。URL 内の任意の場所の部分文字列の一致だけになります。