一点睛
urllib库里还提供了parse这个模块，它定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及链接转换。
它支持如下协议的URL处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet和wais。
本篇详细介绍urlparse()。
二 urlparse()详解
1代码1
from urllib.parse import urlparse# 该方法可以实现URL的识别和分段result = urlparse('/index.html;user?id=5#comment')# 这里我们利用urlparse()方法进行了一个URL的解析。首先，输出了解析结果的类型，然后将结果也输出出来。print(type(result), result)
2结果1
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py<class 'urllib.parse.ParseResult'> ParseResult(scheme='http', netloc='', path='/index.html', params='user', query='id=5', fragment='comment')
3说明1
可以看到，返回结果是一个ParseResult类型的对象，它包含6部分，分别是scheme、netloc、path、params、query和fragment。
观察一下该实例的URL：/index.html;user?id=5#comment
可以发现，urlparse()方法将其拆分成了6部分。
大体观察可以发现，解析时有特定的分隔符。比如，://前面的就是scheme，代表协议；第一个/前面便是netloc，即域名；分号;后面是params，代表参数。
所以，可以得出一个标准的链接格式，具体如下：
scheme://netloc/path;parameters?query#fragment
一个标准的URL都会符合这个规则，利用urlparse()方法可以将它拆分开来。
4urlparse()的API
urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
可以看到，它有3个参数。
urlstring：这是必填项，即待解析的URL。
scheme：它是默认的协议（比如http或https等）。假如这个链接没有带协议信息，会将这个作为默认的协议。
allow_fragments：即是否忽略fragment。如果它被设置为False，fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。
5代码2
from urllib.parse import urlparseresult = urlparse('/index.html;user?id=5#comment', scheme='https')print(result)
6结果2
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.pyParseResult(scheme='https', netloc='', path='/index.html', params='user', query='id=5', fragment='comment')
7说明2
提供的URL没有包含最前面的scheme信息，但是通过指定默认的scheme参数，返回的结果是https。
scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息，就会返回解析出的scheme。
8代码3
result = urlparse('/index.html;user?id=5#comment', scheme='https')
9结果3
ParseResult(scheme='http', netloc='', path='/index.html', params='user', query='id=5', fragment='comment')
10说明3
scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息，就会返回解析出的scheme。
11代码4
# allow_fragments：即是否忽略fragment。如果它被设置为False，# fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。from urllib.parse import urlparseresult = urlparse('/index.html;user?id=5#comment', allow_fragments=False)print(result)
12结果4
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.pyParseResult(scheme='http', netloc='', path='/index.html', params='user', query='id=5#comment', fragment='')
13代码5
from urllib.parse import urlparseresult = urlparse('/index.html#comment', allow_fragments=False)print(result)
14结果5
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.pyParseResult(scheme='http', netloc='', path='/index.html#comment', params='', query='', fragment='')
15说明5
当URL中不包含params和query时，fragment便会被解析为path的一部分。
16代码6
from urllib.parse import urlparseresult = urlparse('/index.html#comment', allow_fragments=False)print(result.scheme, result[0], loc, result[1], sep='\n')
17结果6
18说明6
返回结果ParseResult实际上是一个元组，我们可以用索引顺序来获取，也可以用属性名获取。
如果觉得《爬虫urllib库parse模块的urlparse详解》对你有帮助，请点赞、收藏，并留下你的观点哦！
