Tidian Spider 已开始进行初期的数据收集工作
从今天(2010年4月2日)开始,信息学竞赛题典蜘蛛可能会访问你的网站,抓取和信息学竞赛相关的试题和网页。初期所涉及的范围是非常小的。
在信息学竞赛题典的 Spider 爬过你的网站时,你的网站日志会收到一个有如下 User-agent 的记录。
User-agent: Tidianbot/1.0(+https://ceeji.net/blog/spider, By Ceeji)
有任何相关问题,可以与我联系。
本蜘蛛遵循蜘蛛禁止协议(robots.txt),如果您不希望被收录,请编辑您的robots 文件,如:
User-agent: Tidianbot/1.0
Disallow: /
题外话:我帮你整理了包括 AI 写作、绘画、视频(自媒体制作)零门槛 AI 课程 + 国内可直接顺畅使用的软件。想让自己快速用上 AI 工具来降本增效,辅助工作和生活?限时报名。
© 转载需附带本文链接,依据 CC BY-NC-SA 4.0 发布。