爬虫高级之header表头加Host和Upgrade-Insecure-Requests: 1

爬虫高级之header表头加Host和Upgrade-Insecure-Requests: 1本文介绍了在爬取 51job 网站数据时遇到的数据重复及显示不正确问题 并分享了解决方案 通过设置特定 headers 参数 如 Host 和 Upgrade Insecure Requests 成功获取了正确的数据

大家好,欢迎来到IT知识分享网。

在爬取51jb时遇到的问题
1.爬出的数据是重复的
2.数据显示不正确
解决方法
headers = { 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36", "Host":"search.51job.com", "Upgrade-Insecure_Requests":"1" } url="https://js.51jobcdn.com/in/js/2016/layer/area_array_c.js?" r = requests.get(url, headers=headers) print(r.content.decode('gbk')) 
加入”Host”:”search.51job.com”和 “Upgrade-Insecure_Requests”:“1”

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/135261.html

(0)
上一篇 2025-07-05 22:10
下一篇 2025-07-05 22:15

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信