WCI指数相关数据半自动化统计

大家好，欢迎来到IT知识分享网。

前言

学校部门要求计算学校公众号的wci指数，而这首先需要获取公众号一段时间内消息的阅读量、点赞数、在看数、以及是否为头条。学校历年都是让学生人力去统计，我试着人力统计了一下，真是又费时又费力，于是尝试整一个爬虫用来获取这几个指标。

参考文章：爬取微信公众号发布的所有文章（包括阅读数，在看数，点赞数）_爬取微信公众号文章-CSDN博客

工具

微信无法像浏览器一样直接通过控制台查看网络通信，因此需要抓包软件，这里使用的是Fiddler,其他抓包软件，类似burpSuit，应该也可以

关键

本次抓包的关键在于：在哪里可以抓到包？

微信内容的展示分两处，如图

左边的是在微信内置浏览器中展示，而右边的是在微信app的框架中展示

其中，左边展示的内容是可以抓到包的，而右边不行（可能也只是我的技术没到）

因
此最主要的一点就是如何在左边（微信内置浏览器中）查看公众号的消息列表

如何获取在内置浏览器中打开公众号的消息列表

经过我的实验，所有公众号消息列表的url的格式为

https://mp.weixin..com/mp/profile_ext?action=home&__biz=MzkwMTUxMzEwMw==&uin=&key=&devicetype=Windows+11+x64&version=f&lang=zh_CN&a8scene=7&session_us= 

根据此值重构链接，然后把链接发送给微信好友，就可以在内置浏览器中打开公众号的消息列表了

然后就可以开始研究抓哪些包了

整理思路

“3”：第一次打开时的整个界面，包括网页框架以及公众号的前十条内容

“7”：作用不详，据其url中的action为“urlcheck”，猜测其是检测该url是否正确

“8”，“38”，“44”，“90”：json文件，其中部分包含文章信息，部分不包含

观察包含文章信息的json文件的url，发现样式比较统一，并且可以直接使用浏览器进行访问 @

抓取多个公众号的多条消息，大致分析出url的如下信息

1.使用GET方法，链接为/mp/profile_ext

2.具有值的参数如下

根据以上信息，只需获取一个公众号消息的原始请求，就可以在配置后使用爬虫获取其所有的历史消息

接着分析这个json文件

比较重要的有

以上是对于消息列表的处理，接下来是对单个消息的处理，

打开任意一篇公众号的文章，抓包，发现对于点赞、观看、在看数来源于/mp/getappmsgext的链接

这个请求使用的是post方法，在url中的有意义参数有

由于是post,所有除url的参数外，还需要注意param,参考文章爬取微信公众号发布的所有文章（包括阅读数，在看数，点赞数）_爬取微信公众号文章-CSDN博客中提到的请求设置方式，再加上相关的cookie和data

基于以上信息，就可以开始着手写爬虫了

代码编写

import requests import json import re from openpyxl import Workbook from datetime import datetime import time #结果保存在文件同目录下的result.xlsx #------------------------以下为自定义配置部分--------------- # 时间间隔 starttime = "2023-1-1" #统计开始时间,年月日以-分割 endtime = "2024-1-1" #统计结束时间，格式同上,置空时即视为程序执行时间 # 起始的偏移量，如未理解代码逻辑，则置0即可 offset = 0 #url配置，请将公众号抓到的包的链接复制于此处 #（请确保基础路径是https://mp.weixin..com/mp/profile_ext） # 此处的链接在浏览器直接打开的结果如图5 all_link = "https://mp.weixin..com/mp/profile_ext?action=getmsg&__biz=MzkwMTUxMzEwMw==&f=json&offset=10&count=10&is_ok=1&scene=&uin=MTEyNOTI4N%3D%3D&key=72871c9ef4aad071fa2aac825d375ec78c6c11ba412f14bbcb2533af3c8b7f6156ec356de127f71e88dd0b64c2af109cee96acefd0544e6aeb52bcb3d74df69647c26b0fcdf3091d3816d66a5f70b977da97c9a7aec5052af9a10d664dba18e9cc1a69c8d7cc4a00f26004bcbe7215c90ecf0cedb3bf1c&pass_ticket=4EIV4uG5foBxl%2Bm02hTwXzNCw2wJk%2BBqp%2Fi%2BAYopOIgLccQ%2FY52S9WZHwjQ9YThxlxLyDgD2Gs5AvWQJtxzb2g%3D%3D&wxtoken=&appmsg_token=1253_ldTkMaQxVEVucYqTFt6Iamcqsjr6pqOkukOsFg~~&x5=0&f=json" #---------------若未理解程序代码逻辑,以下部分请勿修改----------------- #通过all_link获取链接 def get_url(link): pattern = r'(.+?)&offset=(\d+)(.+)$' match = re.match(pattern,link) before = "" after = "" if match: before = match.group(1) before += "&offset=" after = match.group(3) return before,after def get_base_info(url): __biz = "" uni = "" key = "" pass_ticket = "" appmsg_token = "" # 定义正则表达式 regex = re.compile(r'__biz=([^&]+).*?uin=([^&]+).*?key=([^&]+).*?pass_ticket=([^&]+).*?appmsg_token=([^&]+)') # 匹配正则表达式 match = regex.search(url) # 提取参数值 if match: __biz = match.group(1) uni = match.group(2) key = match.group(3) pass_ticket = match.group(4) appmsg_token = match.group(5) return __biz,uni,key,pass_ticket,appmsg_token def get_passage_info(url): mid = "" idx = "" sn = "" # 定义正则表达式 regex = re.compile(r'mid=(\d+).*?idx=(\d+).*?sn=([^&]+)') # 匹配正则表达式 match = regex.search(url) # 提取参数值 if match: mid = match.group(1) idx = match.group(2) sn = match.group(3) return mid,idx,sn #TODO:测试变量 complete_num=0 def get_result(url,Cookies,params): #请求头 headers = { 
    "Cookie":Cookies, "User-Agent": "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 NetType/WIFI MicroMessenger/7.0.20.1781(0xB) WindowsWechat(0xf) XWEB/8519 Flue" } data = { 
    "is_only_read": "1", "is_temp_url": "0", "appmsg_type": "9", 'reward_uin_count': '0' } params["mid"],params["idx"],params["sn"]=get_passage_info(url) # post请求提交后，将返回的respone转为json url = "http://mp.weixin..com/mp/getappmsgext" time.sleep(2) #请求频繁频率 2s：无频繁; 1s：34条后显示频繁;1.5: 35条后显示频繁；1.75s:37条后出现问题 obj = requests.post(url, headers=headers, data=data, params=params).json() # print(obj) try_time=1 #用来防止死循环 if not("appmsgstat" in obj) : print("进行"+str(complete_num)+"条后出现问题") while((not("appmsgstat" in obj))and try_time<10): #有时会请求频繁导致请求失败则需要先暂停一段时间 print("发生错误，响应结果为:"+str(obj)) print("进程将于20秒后尝试重新请求") time.sleep(20) print("第"+str(try_time)+"次尝试") obj = requests.post(url, headers=headers, data=data, params=params).json() try_time+=1 if try_time==10: return "这一条请人工检测","这一条请人工检测","这一条请人工检测" # 获取到阅读数 read_num = obj['appmsgstat']['read_num'] # 获取到点赞数 like_num = obj["appmsgstat"]["old_like_num"] # 获取到在看数 reading_num = obj["appmsgstat"]["like_num"] return read_num,like_num,reading_num if __name__ == '__main__': #构建url # url = baseurl + "&__biz=" + __biz + "&f=json&offset=" + offset + "&count=" + count + "&is_ok=1&scene=&uin=" + uni + "&key=" + key + "&pass_ticket" + pass_ticket + "&wxtoken=&appmsg_token=" + appmsg_token + "&x5=0&f=json" #url1+offset值+url2即为最终使用url __biz,uni,key,pass_ticket,appmsg_token=get_base_info(all_link) pre_url,aft_url = get_url(all_link) Cookies = "pgv_pvid=; wxuin=; lang=zh_CN; rewardsn=; wxtokenkey=777; devicetype=Windows11x64; version=f; appmsg_token="+appmsg_token+"; pass_ticket="+ pass_ticket+"; wap_sid2=CLXs5ZkEEooBeV9ISEwtOXlldXJXMG9HMzhLdzQtLWxvQ3llSmJ4aTFpV0doTXl4VUZ6VklTd3RRNzk1aXh6ancySHc3VkRzVldsbWw2OVQzQ21NaDVzMW5oaEZnRFJNT2luSk10dGFqVU1ITVJQZFN2RTJhczZDVUttYmsxUTZWQTRFUXpndkhUMmdzTVNBQUF+MILUvK0GOA1AAQ==" params = { 
    "__biz": __biz, "mid": "", "sn": "", "idx": "", "key": key, "pass_ticket": pass_ticket, "appmsg_token": appmsg_token, "uin": uni, "wxtoken": "777" } #构建时间戳 start_time_stamp = int(datetime.strptime(starttime,"%Y-%m-%d").timestamp()) if endtime : end_time_stamp = int(datetime.strptime(endtime,"%Y-%m-%d").timestamp()) else : end_time_stamp = int(datetime.now().timestamp()) # 创建Excel文件和工作表 workbook = Workbook() worksheet = workbook.active # 添加表头 worksheet.append(["offset","标题", "URL", "时间","是否为头条","阅读量","点赞数","在看数"]) flag = True #是否继续循环 # 发送GET请求 while(flag): url = pre_url + str(offset) + aft_url print("正在进行的offset为"+str(offset)) # print(data) time.sleep(1) response = requests.get(url) # 解析JSON响应 data = response.json() if data.get("general_msg_list", "")=="": print("请求出现错误,可能是url错误或过期") print("目前offset为"+str(offset)) flag = False break # 提取所需数据 msg_list = json.loads(data.get("general_msg_list", "")) entries = msg_list.get("list", []) # 如果遍历完了该公众号所有的内容，那么其entries长度就为0 if len(entries)==0: flag = False break # 遍历每个条目并写入Excel for entry in entries: app_msg_ext_info = entry.get("app_msg_ext_info", { 
   }) comm_msg_info = entry.get("comm_msg_info", { 
   }) title = app_msg_ext_info.get("title", "") content_url = app_msg_ext_info.get("content_url", "") datetime_str = comm_msg_info.get("datetime", "") # 将datetime字符串转换为datetime对象 if datetime_str: datetime_obj = datetime.fromtimestamp(int(datetime_str)) tempstamp =datetime_obj.timestamp() datetime_str = datetime_obj.strftime("%Y-%m-%d") if tempstamp>end_time_stamp: print("文章的时间为:"+ datetime_str +",不在要求时间") continue if tempstamp<start_time_stamp: flag = False break if content_url!="": #有时候出现一些为0的项，难以理解 read_num,like_num,reading_num = get_result(content_url,Cookies,params) #添加当日头条 worksheet.append([offset,title,content_url,datetime_str,"是",read_num,like_num,reading_num]) complete_num+=1 workbook.save("result.xlsx") print(title) print("时间: "+datetime_str) #添加非头条 childs = app_msg_ext_info.get("multi_app_msg_item_list",[]) for child in childs: title = child.get("title","") print(title) content_url = child.get("content_url","") read_num,like_num,reading_num = get_result(content_url,Cookies,params) worksheet.append([offset,title,content_url,datetime_str,"否",read_num,like_num,reading_num]) complete_num+=1 workbook.save("result.xlsx") if offset == 10: #莫名其妙地，10后的下一个是21，而不是20 offset +=11 else: offset +=10 workbook.save("result.xlsx") 

结语

通过这个代码可以获得公众号指定时间内发送的所有消息的相关数据，由于wci指数的计算公式在不断更新换代，在此就没有融入，还请读者根据这些数据自行计算。