大家好,欢迎来到IT知识分享网。
在爬取51jb时遇到的问题
1.爬出的数据是重复的
2.数据显示不正确
解决方法
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36", "Host":"search.51job.com", "Upgrade-Insecure_Requests":"1" } url="https://js.51jobcdn.com/in/js/2016/layer/area_array_c.js?" r = requests.get(url, headers=headers) print(r.content.decode('gbk'))
加入”Host”:”search.51job.com”和 “Upgrade-Insecure_Requests”:“1”
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/135261.html