沉心最近在看知乎盐选,的确是有的文章写的很不错,不过大多数都是需要vip才能看,又想看文章又不舍得花钱,在经历一番强烈的心理挣扎后,毅然决然的决定了————花1.8元开8天的盐选会员,此时鄙人内心一顿狂喜(又可以学习到新知识了)。

鄙人之前学过一丢丢Python爬虫,因此便有了一个大胆的想法(嘻嘻嘻)

所以就想试试手,把盐选文章内容爬取下来,一开始还好说。

直接用requests_html就能爬下来,但是后面的内容就需要开会员才能爬了,哈哈此时沉心已开会员。所以就找了一下关于python爬虫模拟登录的代码,发现大部分的都是比较麻烦的,而我本人又比较懒,所以就找了一个简单的方法,使用别人的开源库。DecryptLogin这个库是一个开源的模拟登陆的库,目前支持许多的网站模拟登陆了,所以就决定使用这个进行测试。
from DecryptLogin import login

首先呢先把库导入进去,然后通过内置的函数进行模拟登陆。
lg = login.Login()
_, loginstauts = lg.zhihu(username='', password='', mode='pc')
然后模拟登录,发现可行,于是就决定使用这个库来进行模拟登陆了。
但是没想到我当时以为离成功就差一步的时候,现实给我来了一记头槌,使用xpath一直获取不到内容,然后库给的示例发现并不是很能看懂,顶多看个意思,然后自己尝试发现并不可行,不是这个错误就是那个错误。
之后呢,本来以为要在这里卡很久的我,突然在下午的时候想到了去看这个库的代码,看看里面都调用了什么内容。
import requests
没想到调用了requests库,这下好办了,直接使用requests库的方法就行了。
headers = { 'user-agent': "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"}这个是设置一下useragent(请求头),之后只需要请求一下数据即可
url2 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742849583083520"
r = loginstauts.get(url2, headers=headers)
wenzi = r.text
之后我们直接.text就能获取html页面的所有内容了,不过很明显,带着各类html标签的内容不是我们想要的,我一开始都是用的requests_html,本来还以为requests有xpath功能呢,没想到并没有,一开始看都推荐的是
from lxml import etree这个,但是我比较想找一个简单的,所以百度一查发现了
from bs4 import BeautifulSoup这个,很nice。soup = BeautifulSoup(wenzi, 'lxml', from_encoding='utf8')texts = soup.find_all('p')for text in texts: print(text.get_text())这样我们就能读取所有的内容了,不过其实当时还遇到了一个问题,就是使用find_all这个方法之后使用.string属性的话,获取到的内容为none百度查过大部分人说是因为有br标签,但是自己也看过并没有,所以并没有找到什么原因,后来在csdn的一篇文章里的评论看到了一个大佬说的.get_text()方法,换成这个没想到就出结果了,难以想象。
其实看代码只是几行,但是确实是心血,哈哈。
毕竟中途也遇到了许多的问题,不过幸好大部分都解决了,没解决的也都有替换的方法。不过说真的,想要学习编程还是需要有一个好的环境,毕竟在学习的路上会遇到很多的问题,如果百度没查到,那么就需要去查论坛,去提问,去询问了。

没想到我在写草稿的时候,就把进阶给想出来了,不过其实这个进阶应该很容易想出来,就是通过一个链接来获取其余内容的链接。

from DecryptLogin import login
from bs4 import BeautifulSoup
import re
import base64
lg = login.Login()
_, loginstauts = lg.zhihu(username='', password='', mode='pc')
headers = {
    'user-agent': "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"
}
url1 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742737682350080"
url2 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742849583083520"
# 获取链接
r = loginstauts.get(url1, headers=headers)
wenzi = r.text
soup = BeautifulSoup(wenzi, 'lxml')
lianjie = soup.textarea
lianjie = str(lianjie)
pattern = re.compile('"next_section":{"url":"(.+)","is_end":') #正则匹配链接所在的文字
result = pattern.findall(lianjie)
texts = soup.find_all('p')
for text in texts:
    with open("yanxuan.txt", 'a', encoding='utf-8') as file_object:
        file_object.write(text.get_text()+" ")
list = result.pop(0)
print(list)
for link in range(0, 9):
    r2 = loginstauts.get(list, headers=headers)
    wenzi = r2.text
    soup = BeautifulSoup(wenzi, 'lxml')
    lianjie = soup.textarea
    lianjie = str(lianjie)
    pattern = re.compile('"next_section":{"url":"(.+)","is_end":')  # 正则匹配链接所在的文字
    result = pattern.findall(lianjie)
    list = result.pop(0)
    texts = soup.find_all('p')
    for text in texts:
        with open("yanxuan.txt", 'a', encoding='utf-8') as file_object:
            file_object.write(text.get_text()+" ")
        # print(text.get_text())
  
# print(list)
# r2 = loginstauts.get(list, headers=headers)
# wenzi2 = r2.text
# soup2 = BeautifulSoup(wenzi2, 'lxml')

这就是进阶的代码了,就是通过文章的第一个链接来继续获取其余连接的内容,不过还是有一些问题,比如说我循环的长度是通过我看目录看出来的,而不是自动得出的,不知道大佬看后有没有更好的办法呢?

文章名: 《python 爬取知乎盐选文章内容 》
本站为非盈利性个人博客
本站部分资源整合转载于网络,如果侵犯了您的权利,请及时联系我删除!
如果我的文章打动了你的内心或者对你有帮助请不妨打赏我一杯咖啡!
Last modification:December 22nd, 2020 at 05:58 pm
如果觉得我的文章对你有用,请随意赞赏