Python知识点解析之urlopen()详解

在爬虫开发中，我们进场要使用urllib中的urlopen()和request.get()方法请求或获取一个网页的内容。Urliopen打开的UIR网址，url参数可以是一个字符创url或者是一个request对象，返回的网页内容实际上市没有被解码的。下面就具体为大家分享一下urlopen()的内容吧。

Urlopen介绍

urllib.request.urlopen()函数用于实现对目标url的访问。其函数原型如下：urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)

其中url是需要打开的网址；data是Post提交的数据；timeout：设置网站的访问超时时间。同时需要说明的是直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，需要decode（）解码，转换成str类型。

函数参数介绍

1. url 参数：目标资源在网路中的位置。可以是一个表示URL的字符串（如：https://www.boxuegu.com）；也可以是一个urllib.request对象。

2. data参数：data用来指明发往服务器请求中的额外的参数信息（如：在线翻译，在线答题等提交的内容），data默认是None，此时以GET方式发送请求；当用户给出data参数的时候，改为POST方式发送请求。

3. cafile、capath、cadefault 参数：用于实现可信任的CA证书的HTTP请求。（基本上很少用）

4. context参数：实现SSL加密传输。（基本上很少用）

返回处理方法详解

urlopen返回对象提供方法：

read() ,readline() ,readlines() ,fileno() ,close() ：对HTTPResponse类型数据进行操作。

info()：返回HTTPMessage对象，表示远程服务器返回的头信息。

getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到。

geturl()：返回请求的url。

版本区别

python2和python3在导入urlrequest的方式是不一样的。

python2中：import urllib2

而python3里面把urllib分开了，分成了urlrequest和urlerror，在这里我们只需导入urlrequest即可。from urllib.request import urlopen

以上就是为大家介绍的python爬虫开发中的urlopen()的介绍。现在python编程语言应用率越来越高，也因此越来越多的朋友加入到python的学习之中。Python具有极其广泛的应用：人工智能、数据分析、爬虫、全站开发、自动化运维、自动化测试等等。