利用python爬虫用什么写技术能做到哪些很酷很有趣很有用的事情

来源：蜘蛛抓取(WebSpider) 时间：2017-06-01 11:39 标签： python爬虫用什么写

用Python写的第一个程序是爬取糗事百科上的图片、自动下载到本地、自动分成文件夹保存，当时就觉得卧糟，太NB了~

第二个程序当然还是图片python爬虫用什么写，不过这次嘿嘿，是妹纸图你懂得~

然后还跟着别人的代码或教程或者自己写过：

12306火车票查询工具、携程机票查询；

爬取美团电影、豆瓣电影用户评論；

简单的美团餐厅python爬虫用什么写及根据地理坐标制作简单热力图；

智联招聘python爬虫用什么写，支持输入查询的职位关键词+城市并将爬取箌的数据分别用Exce和Python（matplotlib）做了数据分析及可视化；

经常用到在线翻译，于是利用Python Gui库（Tkinter）做了简单的桌面翻译查询软件；

尝试爬取京东热卖、淘宝淘抢购（还是聚划算）的商品信息没想到还挺简单的，主要是没做什么防python爬虫用什么写措施。；

利用Python+Selenium+Phantomjs做了一个模拟搜索浏览淘寶商品的程序，可以记录你设定的关键词下淘宝搜索到的前100页商品信息、信息存到本地mysql或mongoDB。

python爬虫用什么写只是Python的一方面Pythno可以做的事情還有很多很cool的，我也有很多想学的：Scrapy手写分布式python爬虫用什么写框架，用后端和前端做一个数据可视化呈现仪表盘；数据挖掘和机器学习、图像识别。。

以下转载几个自己做的几个小python爬虫用什么写适合新人，代码都有~

其实此小程序还可以拓展，譬如将查询记录存到夲地电脑（txt格式、或者存到数据库里）或者更厉害的还可以设置定时自动查询；还可以设置查询到自动发邮箱提醒；还可以用Python的GUI库将此程序做成桌面软件的形式。。

最后插播一条小广告：

欢迎Python和Java爱好者、初学者关注，一起学习共同进步~

最新更新：本python爬虫用什么写已开源路过的帮我点个Star/Fork就最好了

自己使用了8天，算了一下得赞效率是之前的21倍，大概还是有些用的
今天把筛选算法更新了一下，给出的嶊荐更有参考意义了大家有兴趣的可以去试一下~

评论中有人问筛选会火的问题的依据是什么。目前我只考虑了如下几个变量：

关注人数（决定了答案的曝光量）
已有答案数（决定了竞争强度）
已有答案的最高票答案票数（决定了竞争强度）
根据这三个变量我可以找出曝咣量大的，竞争强度低的问题来回答从而更容易得赞。
如果大家有更好的点子请不吝赐教~~~

前几天边学python边写了一个python爬虫用什么写用来爬知乎问题，从中筛选出可能会火的问题目前爬了一百多万个问题了，从中选了500个可能会火的放在了知乎Hot上网址是。

自己试用了下感覺还是有一点意思的，目前的算法没考虑太多细节如果除了我还有人喜欢的话我就再改进好了。话说知乎的问题真多啊我的数据库大尛正在以肉眼可见的速度不断上涨。本来还想给python爬虫用什么写加上多线程功能的后来想想如果加了的话没两天我就没有硬盘空间可用了。

给自己的另外一个小工具打个广告