Tidian Spider 已开始进行初期的数据收集工作

从今天(2010年4月2日)开始,信息学竞赛题典蜘蛛可能会访问你的网站,抓取和信息学竞赛相关的试题和网页。初期所涉及的范围是非常小的。

在信息学竞赛题典的 Spider 爬过你的网站时,你的网站日志会收到一个有如下 User-agent 的记录。

User-agent: Tidianbot/1.0(+https://ceeji.net/blog/spider, By Ceeji)

有任何相关问题,可以与我联系。

本蜘蛛遵循蜘蛛禁止协议(robots.txt),如果您不希望被收录,请编辑您的robots 文件,如:

User-agent: Tidianbot/1.0

Disallow: /

题外话:我帮你整理了包括 AI 写作、绘画、视频(自媒体制作)零门槛 AI 课程 + 国内可直接顺畅使用的软件。想让自己快速用上 AI 工具来降本增效,辅助工作和生活?限时报名

当前页阅读量为: