Tidian Spider 已開始進行初期的數據收集工作

從今天(2010年4月2日)開始,信息學競賽題典蜘蛛可能會訪問你的網站,抓取和信息學競賽相關的試題和網頁。初期所涉及的範圍是非常小的。

在信息學競賽題典的 Spider 爬過你的網站時,你的網站日誌會收到一個有如下 User-agent 的記錄。

User-agent: Tidianbot/1.0(+https://ceeji.net/blog/spider, By Ceeji)

有任何相關問題,可以與我聯繫。

本蜘蛛遵循蜘蛛禁止協議(robots.txt),如果您不希望被收錄,請編輯您的robots 文件,如:

User-agent: Tidianbot/1.0

Disallow: /

当前页阅读量为: