本文实例讲述了Python3使用正则表达式爬取内涵段子的方法。分享给大家供大家参考,具体如下:
似乎正则在爬虫中用的不是很广泛,但是也是基本功需要我们去掌握。
先将内涵段子网页爬取下来,之后利用正则进行匹配,匹配完成后将匹配的段子写入文本文档内。代码如下:
# -*- coding:utf-8 -*- from urllib import request as urllib2 import re # 利用正则表达式爬取内涵段子 url = r'http://www.neihanpa.com/article/list_5_{}.html' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0', } file_name = '内涵段子.txt' for page in range(2): # 2表示页数,可以自行调整 fullurl = url.format(str(page+1)) request = urllib2.Request(url=fullurl, headers=headers) response = urllib2.urlopen(request) html = response.read().decode('gbk') # re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串,如果没有则下一行重新匹配 # 如果加上re.S 则是将所有的字符串作为一个整体进行匹配 pattern = re.compile(r'<div\sclass="f18 mb20">(.*"//img.jbzj.com/file_images/article/201804/2018422114322164.jpg" alt="" />PS:这里再为大家提供2款非常方便的正则表达式工具供大家参考使用:
JavaScript正则表达式在线测试工具:
http://tools.jb51.net/regex/javascript正则表达式在线生成工具:
http://tools.jb51.net/regex/create_reg更多关于Python相关内容可查看本站专题:《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
最新资源
- 博主分享《美末2RE》PS5 Pro运行画面 玩家仍不买
- 《双城之战2》超多新歌MV发布:林肯公园再次献声
- 群星《说唱梦工厂 第11期》[320K/MP3][63.25MB]
- 群星《说唱梦工厂 第11期》[FLAC/分轨][343.07M
- 群星《闪光的夏天 第5期》[320K/MP3][79.35MB]
- 秀兰玛雅.1999-友情人【大旗】【WAV+CUE】
- 小米.2020-我想在城市里当一个乡下人【滚石】【
- 齐豫.2003-THE.UNHEARD.OF.CHYI.3CD【苏活音乐】
- 黄乙玲1986-讲什么山盟海誓[日本东芝版][WAV+CU
- 曾庆瑜1991-柔情陷阱[台湾派森东芝版][WAV+CUE]