抓取豆瓣电影TOP100
一、分析豆瓣top页面，构建程序结构
1.首先打开网页http://movie.douban.com/top250"htmlcode">
http://movie.douban.com/top250"title">肖申克的救赎</span>
<span class="title"> / The Shawshank Redemption</span>
如图，因为有一些英文名等描述，通过正则抓取有些干扰，可能还需要后续过滤。根据以上信息，此程序主要分以下3个步骤：
二、构建url地址池
- 抓取top100电影名称
- 依次打印输出
依次写出代码
1.构建url地址池。代码如下：
import urllib2 import re # ----------确定url地址池------------ pre_url = 'http://movie.douban.com/top250"htmlcode"># ------------抓取top100电影名称---------- top_content = [] top_tag = re.compile(r'<span class="title">(.+"htmlcode">top_num = 1 for item in top_content: print 'Top' + str(top_num) + ' ' + item top_num += 1三、整理代码
我还是python新手，还没有太多的pythonic思想，也没有代码优化技巧，只能说是整理。
其次，个人习惯，在简单的代码里面我还是喜欢少用函数，尽量不隐藏代码的逻辑。
以下代码请参考，并欢迎提意见，希望得到大家的意见，谢谢！
整理后的代码如下：# coding=utf-8 ''' 本代码为自动抓取豆瓣top100电影代码 @pre_url url地址前缀，在这里为http://movie.douban.com/top250"title">(.+"title">(.+"htmlcode">import urllib.request import re import time #获取输入的帖子单页html def getHtml2(url2): html2=urllib.request.urlopen(url2).read().decode('utf-8') return html2 #抽取图片相关列表，并下载图片 def gettopic(html2): reg2=r'http://www.douban.com/group/topic/\d+' topiclist=re.findall(reg2,html2) x=0 #限制下载的图片数 for topicurl in topiclist: x+=1 return topicurl #下载图片到本地 def download(topic_page): reg3=r'http://img3.douban.com/view/group_topic/large/public/.+\.jpg' imglist=re.findall(reg3,topic_page) i=1 download_img=None for imgurl in imglist: #取图片ID为文件名 img_numlist=re.findall(r'p\d{7}',imgurl) for img_num in img_numlist: download_img=urllib.request.urlretrieve(imgurl,'D:\python\code\girls\%s.jpg'%img_num) time.sleep(1) i+=1 print(imgurl) return download_img #调用函数 page_end=int(input('请输入结束时的页码：')) num_end=page_end*25 num=0 page_num=1 while num<=num_end: html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num) topicurl=gettopic(html2) topic_page=getHtml2(topicurl) download_img=download(topic_page) num=page_num*25 page_num+=1 else: print('采集完成！')