学pythonpython做网络爬虫虫。能做什么

来源：蜘蛛抓取(WebSpider) 时间：2019-07-22 16:27 标签： python做网络爬虫

  • 从网站某一个页面(通常是首页)开始读取网页的内容，找到在网页中的其它链接地址然后通过这些链接地址寻找下一个网页，这样一直循环下去直到把这个网站所有嘚网页都抓取完为止。如果把整个互联网当成一个网站那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

  • python做网络爬虫蟲(又被称为网页蜘蛛网络机器人，在FOAF社区中间更经常的称为网页追逐者)，是一种按照一定的规则自动的抓取万维网信息的程序或者腳本。另外一些不常使用的名字还有蚂蚁自动索引，模拟程序或者蠕虫

你对这个回答的评价是？

　　在我们日常上网浏览网页的時候经常会看到一些好看的图片，我们就希望把这些图片保存下载或者用户用来做桌面壁纸，或者用来做设计的素材

　　我们最常規的做法就是通过鼠标右键，选择另存为但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来泹这样就降低图片的清晰度。好吧～！其实你很厉害的右键查看页面源代码。

　　我们可以通过python 来实现这样一个简单的爬虫功能把我們想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能

首先我们可以先获取要下载图片的整个页面信息。

　　Urllib 模块提供了讀取web页面数据的接口我们可以像读取本地文件一样读取www和ftp上的数据。首先我们定义了一个getHtml()函数:

　　我们又创建了getImg()函数，用于在获取的整个页面中筛选需要的图片连接re模块主要包含了正则表达式：

　　这里的核心是用到了urllib.urlretrieve()方法，直接将远程数据下载到本地

　　通过一個for循环对获取的图片连接进行遍历，为了使图片的文件名看上去更规范对其进行重命名，命名规则通过x变量加1保存的位置默认为程序嘚存放目录。

程序运行完成将在目录下看到下载到本地的文件。

我要回帖

更多关于 python做网络爬虫 的文章

 

随机推荐