Web_Crawler_tutorial_1

2019-11-11 阅读量

爬虫教程-静态网页篇

最近课比较多，写教程的话还是从最熟悉的开始吧，照理来说学校课程上教的是最熟悉的，不过说实话对新手不太友好而且实用性属实8行。爬虫对新手还是很友好的辣，只要你有一点点的python基础就行哦。

说到爬虫，还是不得不提一哈，python做爬虫（尤其是咱这种业余菜鸟玩玩的）真是太方便了，一个requests.get加上目标网址就可以动手嘿嘿嘿辣（当然要注意，在网站后加个/robots.txt看看啥子能爬啥子不能爬哦）

1
2

r=requests.get('https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_10600332758289859960%22%7D&n_type=0&p_from=1')     #最好按F12复制一哈你的user-agent，要不然别人一眼就看出来你是爬虫辣，咱好歹欲拒还迎一哈
text=r.content        #content大概是网页源码之类的东西，text好像也行

这里我们先随手点一个网页，把作者最新文章标题爬下来（当然我也不知道爬这个有什么用😓，单纯是个例子，意思到了就行，你们懂的）

看到这个网址属实一堆乱码，难以描述,看到这里相信大家都难顶了，当然我也难顶了，因为这个网页看起来又是一个给网址取中文名的（应该是吧，有不对可指正，后同），然后一堆不可描述……

但是！！！没有关系，因为这个网址再怎么唬人，都要屈服于Ctrl+C、Ctrl+V大法的yin威之下

1 2	url ='https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_10600332758289859960%22%7D&n_type=0&p_from=1' r=requests.get(url)

这个时候就要隆重介绍一下极其知名的工具人——status_code!!!
我们只需小小地print一下，就像这样

1	print(r.status_code)

可以看到

我们是冠军！我们又是冠军！！我们总是冠军！！！（大雾）不过出现200就代表着你已经成功访问了，如果是其他数字的话，我也记不下来建议百度一哈，像我这种随手点进去的新闻一般没什么反爬机制，你可以不用user-agent模仿浏览器访问，接下来看看我们访问了啥好东西吧

……好吧，看上去十分不友好，但是！！！没有关系，python写爬虫就是这么方便！！！确保你命令行上pip能用，输入：pip install beautifulsoup4，安装后在py文件内引入，然后对响应回来的content解析：

from bs4 import BeautifulSoup
#部分省略
soup=BeautifulSoup(r.content,'lxml')
print(soup)

看看结果：

是不是好看多了？好歹有中文了是吧再接下来我们调用,beautifulsoup中自带的select方法，记得先用F12查一查最新新闻是咋样的，我查到的是在h3标签里，class="item-title"，把参数传进去就行啦

1	txts=soup.select('h3',class_="item-title")

是不是更好看了一点。再接下来我们用正则表达式把无关项去掉（可以稍微自己学一哈，普通用用不难）

1	pattern=r'<h3.?target="_blank">(.?)</a></h3>'

最终代码如下：

import requests
import re
from bs4 import BeautifulSoup

url ='https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_10600332758289859960%22%7D&n_type=0&p_from=1'
r=requests.get(url)
soup=BeautifulSoup(r.content,'lxml')
txts=soup.select('h3',class_="item-title")
pattern=r'<h3.*?target="_blank">(.*?)</a></h3>'
for txt in txts:
    txt=str(txt)
    txt=re.findall(pattern,txt)
    print(txt)

最终结果就出来辣，我们又是冠军！我们总是冠军！！！

不过现在纯静态用的已经不多了，下次介绍一哈更先进的哦，大部分社交评论网站都在用的好东西！（坏笑中

本文作者： ljq
本文链接： https://4mmmm.github.io/2019/11/11/Web-Crawler-tutorial-1/
版权声明： 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。转载请注明出处！

感谢有你，伴我成长