参考资料:Python技术之巅
可能要pip install lxml 等库
本脚本基于python3运行,脚本路径D:\python\ ,以下是脚本内容
----------------------------------------------------------------------------------------
#coding:utf-8
import time
from selenium import webdriver
from lxml import etree
#这里一定要设置编码格式,防止后面写入文件时报错
import sys
#reload(sys)
#( "utf-8" )
#python3默认系统编码就是utf-8
friend=[1] # 朋友的QQ号,朋友的空间要求允许你能访问
user=[2] # 你的QQ号
pw=[3] # 你的QQ密码
#获取浏览器驱动
#driver = webdriver.Firefox()
driver = webdriver.Chrome()
#driver = webdriver.Chrome()
# 浏览器窗口最大化
#driver.maximize_window()
# 浏览器地址定向为qq登陆页面
driver.get(";)
# 所以这里需要选中一下frame,否则找不到下面需要的网页元素
driver.("login_frame")
# 自动点击账号登陆方式
driver.find_element_by_id("switcher_plogin").click()
# 账号输入框输入已知qq账号
driver.find_element_by_id("u").send_keys(user)
# 密码框输入已知密码
driver.find_element_by_id("p").send_keys(pw)
# 自动点击登陆按钮
driver.find_element_by_id("login_button").click()
# 让webdriver操纵当前页
driver.()
# 跳到说说的url, friend你可以任意改成你想访问的空间
driver.get("; + friend + "/311")
next_num = 0 # 初始“下一页”的id
while True:
# 下拉滚动条,使浏览器加载出动态加载的内容,
# 我这里是从1开始到6结束 分5 次加载完每页数据
for i in range(1,6):
height = 20000*i#每次滑动20000像素
strWord = "window.scrollBy(0,"+str(height)+")"
driver.execute_script(strWord)
(4)
# 很多时候网页由多个<frame>或<iframe>组成,webdriver默认定位的是最外层的frame,
# 所以这里需要选中一下说说所在的frame,否则找不到下面需要的网页元素
driver.("app_canvas_frame")
selector = e)
divs = ('//*[@id="msgList"]/li/div[3]')
#这里使用 a 表示内容可以连续不清空写入
with open('D:\python\qq_word.txt','a') as f:
for div in divs:
qq_name = div.xpath('./div[2]/a/text()')
qq_content = div.xpath('./div[2]/pre/text()')
qq_time = div.xpath('./div[4]/div[1]/span/a/text()')
qq_name = qq_name[0] if len(qq_name)>0 else ''
qq_content = qq_content[0] if len(qq_content)>0 else ''
qq_time = qq_time[0] if len(qq_time)>0 else ''
print (qq_name,qq_time,qq_content)
f.write(qq_content+"\n")
# 当已经到了尾页,“下一页”这个按钮就没有id了,可以结束了
if driver.('pager_next_' + str(next_num)) == -1:
break
# 找到“下一页”的按钮,因为下一页的按钮是动态变化的,这里需要动态记录一下
driver.find_element_by_id('pager_next_' + str(next_num)).click()
# “下一页”的id
next_num += 1
# 因为在下一个循环里首先还要把页面下拉,所以要跳到外层的frame上
driver.()
----------------以上是代码内容--------------------------------------------
在cmd命令行执行脚本
python d:/python/ "你朋友qq号" "你的qq号" "你的qq密码"
下面是命令行运行的结果:
web界面可能会因为你多次测试登录触发安全机制要扫码登录,没问题手机qq扫二维码登录就是。
生成词云
生成词云需要用到的库:
wordcloud, 生成词云
matplotlib, 生成词云图片
jieba ,这个库可用可不用,但我因为中文一直显示不出来,后来加上了这个库,就能显示中文了。
pip install wordcloud
pip install matplotlib
pip install jieba
代码名字ciyun.py以下是代码
---------------------------------------------------------
#coding:utf-8
"""
使用结巴分词生成云图
说明这里
1.生成词云一定要设置字体样式,否则汉字出现乱码或者不显示
2.我不知道为什么本机一直显示不了中文,后面我加了jieba分词词库就可以显示中文了
"""
from wordcloud import WordCloud
import ma as plt
import jieba
#生成词云
def create_word_cloud(filename):
text= open("{}".format(filename)).read()
# 结巴分词
wordlist = jieba.cut(text, cut_all=True)
wl = " ".join(wordlist)
# 设置词云
wc = WordCloud(
# 设置背景颜色
background_color="white",
# 设置最大显示的词云数
max_words=2000,
# 这种字体都在电脑字体中,一般路径
font_path='C:\Windows\Fonts\;,
height= 1200,
width= 1600,
# 设置字体最大值
max_font_size=100,
# 设置有多少种随机生成状态,即有多少种配色方案
random_state=30,
)
myword = wc.generate(wl) # 生成词云
# 展示词云图
(myword)
("off")
()
wc.to_file('d:\python\;) # 把词云保存下
if __name__ == '__main__':
create_word_cloud('d:\python\qq_word.txt')
------------------------------以上是代码---
执行代码
C:\Users\huangshumao>python d:\python\ciyun.py
Building prefix dict from the default dictionary ...
Dumping model to file cache C:\Users\HUANGS~1\AppData\Local\Temp\jieba.cache
Loading model cost 0.868 seconds.
Prefix dict has been built succesfully.
附上我代码目录截图
---------------------
版权声明:本文为CSDN博主「运维自动化&云计算」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
原文链接: