新闻动态
新闻动态
- 为什么好多人不承认大众审美就是喜欢白皮?
- 网络小白如何建立一个网站,供别人下载文件(主要是PDF和MP3)?
- 为什么人到中年,很少有身材苗条的?
- 6 月 18 日苏炳添跑出 11 秒 37 未能进入决赛,这是否意味着职业生涯已经进入新阶段?
- 如何看待日本小学校园餐只有一小块鸡肉?
- 前后楼怎么共享宽带?
- 学生校服如何隐藏内衣痕迹?
- 5挺马克沁机枪,能否击败50万重骑兵?
- 江苏一医院称负债 4400 多万全员解聘,具体是怎么回事?医院这么做合法吗?
- 鱼缸能不能做到一直不换水还很清澈?
联系我们
邮箱:youweb@qq.com
手机:13988888888
电话:020-88888888
地址:广东省广州市番禺经济开发区
公司动态
12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?
作者:admin 发布时间:2025-06-22 17:35:17 点击:
你当然可以爬12306。
要不携程飞猪去哪网这些的数据是哪来的。
这种爬虫反而给12306省流量。
因为如果没有第三方网站,所有查火车信息的流量(哪怕不买票)就都得是12306接收。
而这些网站虽然在抢票的时候会浪费一些流量(卡放票时间反复刷票),但是如果有人只查票不买票,则对12306的流量消耗为0。
不过你要是一天爬它几亿次,就别怪晶哥抓你了。
。
新闻资讯
-
2025-06-21 11:10:18如何看待《捞女游戏》(已改名为《情感反诈模拟器》)定档 6 月 19 日?
-
2025-06-21 09:50:17如何系统性的学习RAG、Agent、MCP?
-
2025-06-21 10:00:18字节引入Rust是否代表J***a的缺点Go也没解决?
-
2025-06-21 11:00:18有没有什么冷门的高颜值女演员?
-
2025-06-21 10:30:18鸿蒙电脑会在国内逐渐取代windows电脑吗?
-
2025-06-21 11:05:17golang总体上有什么缺陷?
相关产品