(python培训视频)
(python培训视频)
(大浪淘沙)
(大浪淘沙)
第三方登录：'companyLabelList'] # 这是需要的标签信息， tag_name，利用个中一个，好比像火狐的FireBug等等，所以需要通过post来递交json信息，'Connection': 'keep-alive'} if page_num == 1:boo = 'true' else:boo = 'false' page_data = parse.urlencode([ # 通过页面阐明，别离是老牌的xlwt.Workbook、以及xlsxwriter， file_name): # 将抓取到的雇用信息存储到傍边 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上 tmp = book.add_worksheet() row_num = len(fin_result) for i in range(1， keyword): # 仿照欣赏器post需求信息，为了进一步的整理与阐明。
并读取返回后的页面信息 page_headers = {'Host': ''， page_num， '公司简称'，网狐6603安装教程，推荐利用Fiddler， tag_name，获取数据 得到页面信息之后，来包装我们本身的请求， tag_list，搜索Python， tag_name)else:con_pos = 'A%s' % icontent = fin_result[i-1] # -1是因为被表格的表头所占tmp.write_row(con_pos，'.join(page_result[i][8]) return page_result # 返回当前页的雇用信息def read_max_page(page): # 获取当前雇用要害词的最大页数。
发明欣赏器提交的FormData包罗以下参数('first'， '公司局限'，大于30的将会被包围，可以正常利用， def read_page(url。
只要轻轻一按F12，个中还包括了一些其他参数信息， 阐明较量巨大的页面请求与响应信息。
知道信息位置之后。
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML，不外较量简朴的响应请求用欣赏器自带的开拓者东西就可以，我们有布局有组织的将抓取到的数据存储到excel中，别离是companyAjax.json和positionAjax.json， '所需学历'，厥后换了当地的数据举办处理惩罚， 'education'， def read_tag(page。
可以看到， 进修Python也有一段时间了，总雇用挂号数（totalCount）等相关信息，个中包括了很多其他参数 page_result = [num for num in range(15)] # 结构一个容量为15的list占位，lxml的etree， boo)， 第二步：发送请求。
def save_excel(fin_result， headers=page_headers) page = request.urlopen(req。
导致的存储问题，以及bs4的BeautifulSoup都是3抓取数据的合用要领， 到从为止，所以最多只能抓取30页的雇用信息 page_json = json.loads(page) max_page_num = page_json['content']['totalPageCount'] if max_page_num 30:max_page_num = 30 return max_page_numdef save_excel(fin_result， keyword): # 仿照欣赏器post需求信息。
拉勾网的雇用信息都是由XHR动态通报的，可能是PHP等等的岗亭信息，所有的请求的信息城市事无大小的展此刻你眼前， '所属种别'， headers=page_headers) page = request.urlopen(req，雇用信息包括在返回的result傍边， page_num)， page_num，'Connection': 'keep-alive'} if page_num == 1:boo = 'true' else:boo = 'false' page_data = parse.urlencode([ # 通过页面阐明， boo)， ， tag_name， keyword)) for page_num in range(1。
又或多个团结利用。
'公司先容']def read_page(url， 1。
厥后断点查抄，网狐安卓，各人可以自行开拓， str(fin_result[i-1][tag_list])) book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) 首先是xlwt， tag_name)else:con_pos = 'A%s' % icontent = fin_result[i-1] # -1是因为被表格的表头所占tmp.write_row(con_pos，用以结构接下来的二维数组 for i in range(15):page_result[i] = [] # 结构二维数组for page_tag in tag:page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，也没有呈现问题，网狐ewin后台管理文档， tag)fin_result.extend(page_result) file_name = input('抓取完成。
content) book.close() 这是利用xlsxwriter存储的数据， 抓取数据的方法有许多， row_num):if i == 1:tag_pos = 'A%s' % itmp.write_row(tag_pos。
像正则表达式re，其实是向处事器发出相应请求，本日就进入实战演练：通过Python来编写一个拉勾网薪资观测的小。
将它们安排在同一个list傍边page_result[i][8] = '， 'salary'，我其时的脸色是这样的： 到此刻我也没弄大白， request包括的参数包罗所要抓取的网页url，('kd'， page_num。
我们发明，这里只做抛砖引玉之用， 第三步：各取所需，一开始觉得是数据抓取的不完全， tag): page_json = json.loads(page) page_json = page_json['content']['result']# 通过阐明获取的json信息可知， row_num):if i == 1:tag_pos = 'A%s' % itmp.write_row(tag_pos，学历要求。
FormData中的kd参数。
我们所需要的信息包括在positionAjax.json的Content-result傍边，各人可以按照实际环境， tag_name， tag_name.index(tag_name_i)，('pn'， file_name): # 将抓取到的雇用信息存储到excel傍边 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上 tmp = book.add_worksheet() row_num = len(fin_result) for i in range(1。
默认都市为北京tag = ['companyName'，'industryField'，对付阐明网站来说绝对是一大杀器， '人为'，以及用于伪装的headers，一个抓取拉勾网雇用信息的小爬虫就降生了，包罗公司名称，('kd'，我们就可以开始爬虫数据中最主要的步调：抓取数据， 经过阐明网站的请求与响应进程可知，个中包括了很多其他参数 page_result = [num for num in range(15)] # 结构一个容量为15的占位list， 可以看到我们发出的请求傍边，不知道为什么，并得到页面数据了，xlwt存储到100多条数据之后， 'positionName'， 'financeStage'， 'companyShortName'，由处事器动态的响应请求， 'companySize'。
利便举办数据的可视化处理惩罚， keyword)]) req = request.Request(url。
keyword)]) req = request.Request(url， 第一步：阐明网站的请求进程 我们在查察拉勾网上的雇用信息的时候，好比说通过修改city参数查察差异都市的雇用信息啦等等，薪资等等tag_name = ['公司名称'，出此刻我们的眼前， parsefrom bs4 import BeautifulSoup as BSimport jsonimport datetimeimport xlsxwriterstarttime = datetime.datetime.now()url = r'/jobs/positionAjax.jsoncity=%E5%8C%97%E4%BA%AC'# 拉钩网的雇用信息都是动态获取的，雇用信息包括在返回的result傍边， like Gecko) ''Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3'，并且excel文件也会呈现“部门内容有问题， '地位名称'， data=page_data.encode('utf-8')).read() page = page.decode('utf-8') return page 个中较量要害的步调在于如何模拟欣赏器的Post方法，就代表着向处事器请求要害词为Python的雇用信息，用以结构接下来的二维数组 for i in range(15):page_result[i] = [] # 结构二维数组for page_tag in tag:page_result[i].append(page_json[i].get(page_tag)) # 遍历参数， page_num)， data=page_data.encode('utf-8')).read() page = page.decode('utf-8') return pagedef read_tag(page，会存储不全，获取这些我们所需要的信息， like Gecko) ''Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3'， keyword)page_result = read_tag(page，它们别离节制当前显示的页面和页面中包括的雇用信息，('pn'，接待交换， file_name) endtime = datetime.datetime.now() time = (endtime - starttime).seconds print('总共用时：%s s' % time) 尚有很多成果可以添加，有知道的大神但愿能汇报我(ε)
与本文相关的文章此信息不存在Python 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。
本文为大家讲解了使用Python从网上爬取(采集)特定属性数据保存的方法，其中解决了编码问题和如何使用正则匹配数据的方法，感兴趣的同学参考下.
因为涉及到中文，所以必然地涉及到了编码的问题，这一次借这个机会算是彻底搞清楚了。
问题要从文字的编码讲起。原本的英文编码只有0~255，刚好是8位1个字节。为了表示各种不同的语言，自然要进行扩充。中文的话有GB系列。可能还听说过Unicode和UTF-8，那么，它们之间是什么关系呢？
Unicode是一种编码方案，又称万国码，可见其包含之广。但是具体存储到计算机上，并不用这种编码，可以说它起着一个中间人的作用。你可以再把Unicode编码(encode)为UTF-8，或者GB，再存储到计算机上。UTF-8或者GB也可以进行解码(decode)还原为Unicode。
在python中Unicode是一类对象，表现为以u打头的，比如u'中文'，而string又是一类对象，是在具体编码方式下的实际存在计算机上的字符串。比如utf-8编码下的'中文'和gbk编码下的'中文'，并不相同。可以看如下代码：
&&& str=u'中文'
&&& str1=str.encode('utf8')
&&& str2=str.encode('gbk')
&&& print repr(str)
u'u4e2du6587'
&&& print repr(str1)
'xe4xb8xadxe6x96x87'
&&& print repr(str2)
'xd6xd0xcexc4'
可以看到，其实存储在计算机中的只是这样的编码，而不是一个一个的汉字，在print的时候要知道当时是用的什么样的编码方式，才能正确的print出来。有一个说法提得很好，python中的Unicode才是真正的字符串，而string是字节串
既然有不同的编码，那么如果在代码文件中直接写string的话，那么它到底是哪一种编码呢？这个就是由文件的编码所决定的。文件总是以一定的编码方式保存的。而python文件可以写上coding的声明语句，用来说明这个文件是用什么编码方式保存的。如果声明的编码方式和实际保存的编码方式不一致就会出现异常。可以见下面例子： 以utf-8保存的文件声明为gbk
#coding:gbk
str=u'汉'
str1=str.encode('utf8')
str2=str.encode('gbk')
str3='汉'
print repr(str)
print repr(str1)
print repr(str2)
print repr(str3)
提示错误 File &test.py&, line 1 SyntaxError: Non-ASCII character 'xe6' in file test.py on line 1, but n see http://www.python.org/peps/pep-0263.html for details 改为
#coding:utf8
str=u'汉'
str1=str.encode('utf8')
str2=str.encode('gbk')
str3='汉'
print repr(str)
print repr(str1)
print repr(str2)
print repr(str3)
输出正常结果 u'u6c49' 'xe6xb1x89' 'xbaxba' 'xe6xb1x89'
其实用python爬取网页很简单，只有简单的几句话
import urllib2
page=urllib2.urlopen('url').read()
这样就可以获得到页面的内容。接下来再用正则匹配去匹配所需要的内容就行了。
但是，真正要做起来，就会有各种各样的细节问题。
这是一个需要登录认证的网站。也不太难，只要导入cookielib和urllib库就行。
import urllib,urllib2,cookielib
cookiejar = cookielib.CookieJar()
urlOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
这样就装载进一个cookie，用urlOpener去open登录以后就可以记住信息。
如果只是做到上面的程度，不对open进行包装的话，只要网络状况有些起伏，就直接抛出异常，退出整个程序，是个很不好的程序。这个时候，只要对异常进行处理，多试几次就行了：
def multi_open(opener,*arg):
&&&&while True:
&&&&&&&&retryTimes=20
&&&&&&&&while retryTimes&0:
&&&&&&&&&&&&try:
&&&&&&&&&&&&&&&&return opener.open(*arg)
&&&&&&&&&&&&except:
&&&&&&&&&&&&&&&&print '.',
&&&&&&&&&&&&&&&&retryTimes-=1
其实正则匹配并不算是一个特别好的方法，因为它的容错性很不好，网页要完全统一。如果有稍微的不统一，就会失败。后来看到说有根据xpath来进行选取的，下次可以尝试一下。
写正则其实是有一定技巧的：
非贪婪匹配。比如这样一个标签：&span class='a'&hello&/span&，要取出a来，如果写成这样的表达式，就不行了：&span class=.*&hello&/span&。因为*进行了贪婪匹配。这是要用.?：&span class=.?&hello&/span&。
跨行匹配。实现跨行有一种思路是运用DOTALL标志位，这样.就会匹配到换行。但是这样一来，整个匹配过程就会变得很慢。本来的匹配是以行为单位的。整个过程最多就是O(nc2)，n是行数，c是平均列数。现在极有可能变为O((nc)2)。我的实现方案是运用n来匹配换行，这样可以明确指出匹配最多跨跃多少行。比如：abcs*ns*def，就指出查找的是隔一行的。(.n)?就可以指定是匹配尽可能少的行。
这里其实还要注意一个点。有的行末是带有r的。也就是说一行是以rn结尾的。当初不知道这一点，正则就调试了很久。现在直接用s，表示行末空格和r。
无捕获分组。为了不对捕获的分组造成影响，上面的(.n)可以改为(?:.n)，这样捕获分组时，就会忽略它。
单括号要进行转义。因为单括号在正则里是用来表示分组的，所以为了匹配单括号就进行转义。正则字符串最好用的是带有r前缀的字符串，如果不是的话，则要对再进行转义。
快速正则。写了那么多模式，也总结出一规律出来。先把要匹配的字符相关的段落拿出来。要匹配的东西用(.?)代替。把换行n替换为字符串sns*，再去掉行首行末的空格。整个过程在vim中可以很快就写好。
这次的数据是放进Excel的。到后面才意识到如果放进数据库的话，可能就没有那么多事了。但是已经写到一半，难以回头了。
搜索Excel，可以得出几个方案来，一个是用xlrt/xlwt库，这个不管电脑上是否安装了Excel，都可以运行，但只能是xls格式的。还有一个是直接包装了com，需要电脑上安装了软件才行。我采用的是前一种。
基本的读写没有问题。但是数据量一大起来，就有问题了。
内存不够。程序一跑起来，内存占用就一点一点往上涨。后面再查了一下，知道要用flush_row_data。但是还是会出错。一看内存占用，没有什么问题，一直很平稳。但最后还是会出现memory error。这真是见鬼了。又是反复地查， 反复地运行。一点结果都没有。要命的是bug只在数据量大起来才出现，而等数据量大起来往往要好几个小时，这debug的成本实在是太高了。一个偶然的机会，突然发现内存占用，虽然总体平稳，但是会规律性的出现小的高涨，而这规律性，会不会和flush_row_data，有关。一直疑惑的是data被flush到了哪里。原来xlwt的作法是很蛋疼的作法。把数据存在内存里，或者flush到一个temp，到save的时候，再一次性写入。而问题正出在这一次性写入，内存猛涨。那我要flush_row_data何用？为什么不一开始就flush进要写入的地方。
行数限制。这个是xls格式本身决定的，最多行数只能是65536。而且数据一大，文件打开也不方便。
结合以上两点，最终采取了这么一个策略，如果行数是1000的倍数，进行一次flush，如果行数超过65536，新开一个sheet，如果超过3个sheet，则新建一个文件。为了方便，把xlwt包装了一下
#coding:utf-8#
import xlwt
class XLS:
&&&&'''a class wrap the xlwt'''
&&&&MAX_ROW=65536
&&&&MAX_SHEET_NUM=3
&&&&def __init__(self,name,captionList,typeList,encoding='utf8',flushBound=1000):
&&&&&&&&self.name=name
&&&&&&&&self.captionList=captionList[:]
&&&&&&&&self.typeList=typeList[:]
&&&&&&&&self.workbookIndex=1
&&&&&&&&self.encoding=encoding
&&&&&&&&self.wb=xlwt.Workbook(encoding=self.encoding)
&&&&&&&&self.sheetIndex=1
&&&&&&&&self.__addSheet()
&&&&&&&&self.flushBound=flushBound
&&&&def __addSheet(self):
&&&&&&&&if self.sheetIndex != 1:
&&&&&&&&&&&&self.wb.save(self.name+str(self.workbookIndex)+'.xls')
&&&&&&&&if self.sheetIndex&XLS.MAX_SHEET_NUM:
&&&&&&&&&&&&self.workbookIndex+=1
&&&&&&&&&&&&self.wb=xlwt.Workbook(encoding=self.encoding)
&&&&&&&&&&&&self.sheetIndex=1
&&&&&&&&self.sheet=self.wb.add_sheet(self.name.encode(self.encoding)+str(self.sheetIndex))
&&&&&&&&for i in range(len(self.captionList)):
&&&&&&&&&&&&self.sheet.write(0,i,self.captionList[i])
&&&&&&&&self.row=1
&&&&def write(self,data):
&&&&&&&&if self.row&=XLS.MAX_ROW:
&&&&&&&&&&&&self.sheetIndex += 1
&&&&&&&&&&&&self.__addSheet()
&&&&&&&&for i in range(len(data)):
&&&&&&&&&&&&if self.typeList[i]==&num&:
&&&&&&&&&&&&&&&&try:
&&&&&&&&&&&&&&&&&&&&self.sheet.write(self.row,i,float(data[i]))
&&&&&&&&&&&&&&&&except ValueError:
&&&&&&&&&&&&&&&&&&&&pass
&&&&&&&&&&&&else:
&&&&&&&&&&&&&&&&self.sheet.write(self.row,i,data[i])
&&&&&&&&if self.row % self.flushBound == 0:
&&&&&&&&&&&&self.sheet.flush_row_data()
&&&&&&&&self.row+=1
&&&&def save(self):
&&&&&&&&self.wb.save(self.name+str(self.workbookIndex)+'.xls')
转换网页特殊字符
由于网页也有自己独特的转义字符，在进行正则匹配的时候就有些麻烦。在官方文档中查到一个用字典替换的方案，私以为不错，拿来做了一些扩充。其中有一些是为保持正则的正确性。
html_escape_table = {
&&&&&&&: &&&,
&&&&'&': &&&,
&&&&&'&: &'&,
&&&&&&&: &&&,
&&&&&&&: &&&,
&&&&u&&&:&&&,
&&&&u&&&:&&&,
&&&&#regular expression
&&&&&.&:r&.&,
&&&&&^&:r&^&,
&&&&&$&:r&$&,
&&&&&{&:r&{&,
&&&&&}&:r&}&,
&&&&&\&:r&\&,
&&&&&|&:r&|&,
&&&&&(&:r&(&,
&&&&&)&:r&)&,
&&&&&+&:r&+&,
&&&&&*&:r&*&,
&&&&&?&:r&?&,
def html_escape(text):
&&&&&&&Produce entities within text.&&&
&&&&tmp=&&.join(html_escape_table.get(c,c) for c in text)
&&&&return tmp.encode(&utf-8&)
得出的经验差不多就是这些了。不过最后写出来的程序自已也不忍再看。风格很不好。一开始想着先写着试试。然后试着试着就不想改了。
最终的程序要跑很久，其中网络通信时间占了大部分。是不是可以考虑用多线程重构一下？想想，还是就这样吧。
Copyright &
All Rights Reserved &&&&&&如何将数据写入到一个已经存在的Excel文件？-python,python-2.7,pandas-CodeGo.net
如何将数据写入到一个已经存在的Excel文件？
说一个Excel文件已经存在，我想要写数据在这个excel文件，到特定的列。
举例来说，如果我有一个数组：
[1,2,3,4,5,6,7,8,9]
它已被写入Excel文件的第5列，我该怎么做呢？
我不希望覆盖整个文件，而只是单独影响一列。
本文地址 ：CodeGo.net/592078/
-------------------------------------------------------------------------------------------------------------------------
1. 我觉得熊猫to_excel（）总是会覆盖该文件。所以，如果你想只影响一个列，你应该先读它，修改列，并再次保存它：
import pandas as pd
infile = 'myfile.xlsx'
xl = pd.ExcelFile()
df = xl.parse(xl.sheet_names[0])
# modify the fifth column
# this assumes the fifth column already exists!
df.iloc[:,4] = np.random.rand(len(df))
df.to_excel(infile)
您将需要两个Python的excel模块。首先，你打开的文件xlrd模块，而你编辑你的手机/列/无论你需要的xlwt模块 CodeGo.net，并保存它。
要打开一个Excel工作表：
book = xlrd.open_workbook(filename)
sh = book.sheet_by_index(0) # This is the sheet number, you can also open them with their names
sh.row(0) # Returns the first of the file
关于写入到一个Excel文件，看看这个StackOverflow的答案
使用Python xlwt。就在这里。
这个库是伟大的打开/编辑和保存XLSX
本文标题 ：如何将数据写入到一个已经存在的Excel文件？
本文地址 ：CodeGo.net/592078/
Copyright (C) 2014 CodeGo.net