大家好，欢迎来到IT知识分享网。
笔趣阁爬虫
import requests import time from bs4 import BeautifulSoup import os def Get_content(url): urls2=[] res=requests.get(url).content.decode('gbk') soup=BeautifulSoup(res,"html.parser") contents=soup.find_all("div",attrs={
"class":"nav"}) for content in contents: lis=content.find_all("li") for li in lis: urls2.append(li.a.get("href")) return urls2 def Get_url3(urls): urls3=[] for url in urls: res = requests.get(url).content.decode('gbk') soup = BeautifulSoup(res, "html.parser") # contents=soup.find_all("div",attrs={
"class":"l"}) #热门小说 contents2=soup.find_all("div",attrs={
"class":"r"}) #玄幻小说,仙侠小说，都市言情小说 contents3=soup.find_all("div",attrs={
"class":"novelslist"}) #更新小说 contents4=soup.find_all("div",attrs={
"id":"newscontent"}) for i,content in enumerate(contents): dts=content.find_all("dt") for dt in dts: try: urls3.append(dt.a.get("href")) except Exception as e: print(i) for c in contents2: lis=c.find_all("li") for li in lis: urls3.append(li免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/106981.html
