/?q=search/ 是否意味著我無法抓取以 =search/ 結尾的搜尋網站？我可以抓取以 =0#search 結尾的 URL 嗎？
答案1
首先它是機器人s。接下來，在其中提供某些內容並不神奇地意味著您「無法透過網頁抓取搜尋」。這只是機器人要遵循的指令。但如果他們願意的話，這不會阻止他們獲取這些 URL（即某些惡意 Web 獲取程式和腳本可能會忽略您的 robots.txt，甚至使用其中的資訊來獲取您想要保護的資訊）。
並回答您的問題，您無法使用 robots.txt 指定錨點。這已經在這裡得到了回答：https://stackoverflow.com/questions/53676849/robots-txt-handling-a-in-a-url
除了在 obots.txt 中指定指令 Disallow 之外，不包含位置。它只是 URL 中任意位置的子字串匹配。