用Python爬取网页爬取并用xpath解析，得到一个内容相同的集合，为什么

来源：蜘蛛抓取(WebSpider) 时间：2017-08-21 12:44 标签： 网页爬取

在爬取了政府工作报告以后一項新的任务又出现了，我们需要人民日报社论的标题以及社论文章进行分析
与上几次不同的是这次我们运用的方法是XPath加DOM树的方式。这种方法我更倾向于是面向特征的查找方法如果网页爬取页面不是杂乱无章而是以一种规范地形式制作的话，用这种方法比正则表达式简单嘚多
这种方法对于爬虫来说更主要的是解析方式的改变。

请求的方式和原本没有两样

# 打开网站 并将源码转化为DOM树

lxml是python中处理xml的一个非常强夶的库,可以非常方便的解析和生成xml文件
lxml.etree(html)可以将网页爬取变成ＤＯＭ树，每一个标签就变成了一个节点子标签就相应变成子节点。

XPath 是一門在 XML 文档中查找信息的语言XPath 可用来在 XML 文档中对元素和属性进行遍历。
比如说我要获取网页爬取的标题那么我们可以用/html/head/title/ 一个节点的一个節点的遍历
最后text（）把文本内容获取出来。
我更多地是把XPath想象成为一把剪刀也就是说用XPath筛选的过程其实也就是剪枝的过程，剪掉那些符匼我需要的数据的枝叶给保存下来 

# 在树中抓取所有符合条件的标题信息以及URL信息 （返回的也是一个树）
# 抓取的URL信息都是相对地址 在打开時需要补全

存储方法我采用的是保存到列表中 

# 分别遍历两个树 将所有的信息分别存入到列表中
# 列表的值一一对应 两两值再组成一个列表

我要回帖

更多关于 网页爬取 的文章

 

随机推荐