Tidian Spider 已开始进行初期的数据收集工作

从今天(2010年4月2日)开始,信息学竞赛题典蜘蛛可能会访问你的网站,抓取和信息学竞赛相关的试题和网页。初期所涉及的范围是非常小的。

在信息学竞赛题典的 Spider 爬过你的网站时,你的网站日志会收到一个有如下 User-agent 的记录。

User-agent: Tidianbot/1.0(+https://ceeji.net/blog/spider, By Ceeji)

有任何相关问题,可以与我联系。

本蜘蛛遵循蜘蛛禁止协议(robots.txt),如果您不希望被收录,请编辑您的robots 文件,如:

User-agent: Tidianbot/1.0

Disallow: /

本文版权遵循 CC BY-NC-SA 4.0发布,转载需附带本文链接。

当前页阅读量为: