Python检测网站链接是否已存在
作者：jerrylsxu
字体：[ ] 类型：转载 时间：
Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。通过本文给大家介绍Python检测网站链接是否已存在的相关内容，需要的朋友一起学习吧
Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。
Python由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。
像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议。
早就听说Python语言操作简单，果然名不虚传，短短几句，就实现了基本的功能。
要检测目标网站上是否存在指定的URL，其实过程很简单：
1、获得指定网站网页的HTML代码
2、在HTML代码中查找指定的URL
3、如果存在，OK；否则，Error
整个程序引用了两个lib库，urllib2和sgmllib。
urllib2库主要定义了一些访问URL（基本通过HTTP）的函数与类。
sgmllib库主要负责解析HTML代码。
import urllib
from sgmllib import SGMLParser
class URLLister(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self,attrs):
href=[v for k,v in attrs if k=='href']
if (href[].count('http://网站URL')==):
self.urls.extend(href)
links = ['/',
'http://www.sohu.net',
'http://www..com',
'http://www..com',]
for eachlink in links:
f = urllib.urlopen(eachlink)
if f.code ==:
parser = URLLister()
parser.feed(f.read())
if (len(parser.urls)&=):
print 'The link from '+eachlink+' is OK!'
print 'The link from '+eachlink+' is ERROR!'
这其中几个主要函数：
1、urllib2.urlopen(url[, data][, timeout])//打开一个URL
2、SGMLParser.feed(data) //获得需要解析的HTML数据
3、SGMLParser.start_tag(attributes) //指定需要解析的HTML标签，在本程序中，我们调用了start_a,说明我们需要解析HTML代码中&a&标签。通过查找&a&标签中href属性的value，可以获得该网页上所有链接的信息，只要我们指定的URL存在，就OK了。
这其实是一个很小的脚本，但也让我激动不已。一来，我已经跨进了Python的世界，并用它解决了实际工作中的问题，二来，它的简单语法、缩进格式着实让我眼前一亮。今后，希望能够多多使用Python,解决实际工作中的种种问题，做到学以致用.
以上内容是针对Python检测网站链接是否已存在的相关介绍，希望对大家有所帮助！
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具1865人阅读
写了一个测试网站的脚本，用多线程跑的，每个线程每秒去取一次网页，因为这个脚本用到了线程啊，time，ulrlib这些东西，也许对其他人会有用，贴出来吧。
另外一个原因是，通过这个脚本，发现python的效率真的不错，无论是开发效率还是执行效率。之前完全没用过python的thread和time，一边看python&programing，一边写，也就一个小时的功夫，看上去效果还不错。
代码如下：
#!/usr/local/bin/python
#FileName = test_Web.py
#get from db
#put into db
import thread, time, urllib
id_index = 100000
id_count = 20000
id_max = id_index+id_count
time_begin = time.time()
bStop = False
def openurl():
&sock = urllib.urlopen(&&)
&htmlSource = sock.read()
&#print htmlSource
&sock.close()&
def opengeturl(id):
&strUrl = && % id
&print strUrl
&sock = urllib.urlopen(strUrl)
&htmlSource = sock.read()
&#print htmlSource
&sock.close()&
def child( myID ):&&&&&&&&# this function runs in threads
&while( True ):
&&global id_index
&&global id_max
&&global id_count
&&global time_begin
&&global bStop
&&global i_cnt
&&if( i_cnt & id_count ):
&&&now = time.time()
&&&i_handle_time = now - time_begin
&&&if( bStop == False ):
&&&&print &%d rows cost %f second& % ( id_count, i_handle_time )
&&&bStop = True
&&#id_index = id_index + 1
&&i_cnt = i_cnt + 1
&&print &[%d] ==& %d& % (myID, id_index)
&&opengeturl(id_index)
&&time.sleep(1)
for i in range( 500 ):&&&&&&&# spawn 3 threads
&thread.start_new( child, (i,) )
time.sleep(1000000)
print 'Main thread exiting.'&&& &&&&# don't exit too early
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：173240次
积分：2354
积分：2354
排名：第12332名
转载：333篇
(4)(7)(4)(42)(20)(37)(5)(24)(17)(48)(64)(45)(19)对于自动化来说，测试报告是必须的，在敏捷化的团队中，团队中的成员需要自动化这边提供自动化的测试报告，来判断系统的整体质量以及下一步的测试策略。单元测试库生成测试输出到控制台的窗口上，但是这样的结果看起来比较费力，很显然，控制台日志的输出的信息并不是个好的注意，那么好的注意应该是生成html页面的测试报告，这样的报告看起来更加清晰，庆幸的是unittest的单元测试库扩展的HTMLTestRunner.py，可以生成html的自动化报告。 一、HTMLTestRunner.py
HTMLTestRunner是Python标准库中单元测试模块的扩展，它生成易于使用的html测试报告, HTMLTestRunner.py文件下载地址为：/software/HTMLTestRunner.html，下载HTMLTestRunner.py文件后，把HTMLTestRunner文件放到C:\Python27\Lib的目录下即可。 运行cmd，输入python，导入import HTMLTestRunner，无任何的错误提示信息，就表示成功，见截图：
HTMLTestRunner.py实现html的测试报告，具体见如下的测试实例代码：#coding:utf-8fromselenium import
webdriverfromtime import
sleep,time,ctimeimport
unittestfromPage import
threadingimport
HTMLTestRunner class DemoPage(unittest.TestCase,BasePage.Page):
def setUp(self):
self.driver=webdriver.Firefox()
self.driver.implicitly_wait(30)
self.driver.maximize_window()
self.driver.get('')
def testTitle(self,value='testData'):
self.assertTrue(self.driver.title
in self.getXmlData(value) )
def testUrl(self):
print self.driver.current_url
def tearDown(self):
self.driver.close()
self.driver.quit() if__name__=='__main__':
suite=unittest.makeSuite(DemoPage)
#定义自动化报告目录
filename='D:\\git\\PyCharm\\SeleniumHq\\Test-report\\Report.html'
fp=file(filename,'wb')
runner=HTMLTestRunner.HTMLTestRunner(
stream=fp,
title=u'自动化测试报告',
description=u'自动化测试报告'
runner.run(suite) 执行成功后，自动化的测试报告在D:\\git\\PyCharm\\SeleniumHq\\Test-report目录下的Report.html，打开Report.html的文件，就可以看到如下的自动化测试报告的截图了：
python自动化测试(python-selenium)　
　文章为作者独立观点，不代表大不六文章网立场
python-selenium使用Python语言，介绍Python语言与Selenium,Appium的API的交互以及其他，来玩转web平台，移动平台的自动化测试。热门文章最新文章python-selenium使用Python语言，介绍Python语言与Selenium,Appium的API的交互以及其他，来玩转web平台，移动平台的自动化测试。本帖子已过去太久远了，不再提供回复功能。