Tidian Spider 已开始进行初期的数据收集工作
从今天(2010年4月2日)开始,信息学竞赛题典蜘蛛可能会访问你的网站,抓取和信息学竞赛相关的试题和网页。初期所涉及的范围是非常小的。
在信息学竞赛题典的 Spider 爬过你的网站时,你的网站日志会收到一个有如下 User-agent 的记录。
User-agent: Tidianbot/1.0(+https://ceeji.net/blog/spider, By Ceeji)
有任何相关问题,可以与我联系。
本蜘蛛遵循蜘蛛禁止协议(robots.txt),如果您不希望被收录,请编辑您的robots 文件,如:
User-agent: Tidianbot/1.0
Disallow: /
© 转载需附带本文链接,依据 CC BY-NC-SA 4.0 发布。