本着周末逛贴吧看图片，发现电脑运行内存太小，网页加载太慢，一怒之下写个爬虫把图片都下载到本地慢慢看
得到结果如下：
千张内涵图随意浏览
程序第一个选项：
对应的贴吧是：
第二个选项：
对应的贴吧是
抓取的对象为楼主所发的图片：
好的，开搞：
下面是基于python3写的
通过观察，得到爬虫思路为：
思路
1、搜索什么贴吧kw2、贴吧内的什么贴qw3、进入贴吧href="/p/4、图片<img src="5、页数pn=第一步思路是构造网址，观察看到贴吧网址为：
代码为
# 输入的文字转码kw = input("请输入贴吧：")qw = input("请输入进入的贴：")qw = urllib.parse.quote(qw.encode('gbk'))kw = urllib.parse.quote(kw.encode('gbk'))# 抓取的页数page = input("你要抓取的页数（每页10个贴）：")# 构造一级网址url_1 = "http://tieba.baidu.com/f/search/res?isnew=1&kw=" + str(kw) + "&qw=" + str(qw) + "%ED&rn=10&un=&only_thread=1&sm=1&sd=&ed=&pn=" + str(page) 第二观察解析的网址
每个网址的子贴吧都包含href="/p/
就写个正则：
1 # 第一次网址匹配 2 def reg_1(html_1):3 reg = r'(href="/p/)(.+?)(pid)'4 all = re.compile(reg);5 alllist = re.findall(all, html_1)6 return alllist
得到全部的搜索吧的网址了
那么就解析getHtml()
解析后观察发现楼主的图片都有<img src="
再写个正则：
1 # 第二次网址匹配 2 def reg_2(html_2):3 reg = r'(
页数的正则也包含：共有....页
那么写个正则：
1 # 贴的页数匹配 2 def reg_page(html_page):3 reg = r'(共有.+?)(\d+)(.+?页)'4 all = re.compile(reg);5 alllist = re.findall(all, html_page)6 return alllist
思路搞定
爬虫步骤为：
1、先进去得到每一张图片的网址
2、楼主的图片末尾有pic_type，其他人发的没有3、得到全部图片保存之4、最后再一起下载将所有图片的网址保存到一个txt
保存完后再一起下载
这里可以开个线程池
太麻烦不搞了
就直接保存下载
1 # 将image网址写入txt2 for x in range(0,len(infoarr_2)):3 save_path = "../imageurl.txt"4 file_path = open(save_path, 'w')5 txt = str(txt) + '\n' + str(infoarr_2[x])6 if txt:7 file_path.write(txt)8 file_path.close()
我保存在imageurl里面
数组是infoarr_2
注意每一次写入都会清空txt，所以我写成：
txt = str(txt) + '\n' + str(infoarr_2[x])
最后最后下载
1 file = open('../imageurl.txt', 'r') 2 data = file.read().split('\n') 3 imaurl = [] 4 num = 0 5 for y in range(0, len(data)): 6 imaurl.append(data[y]) 7 for imgPath in imaurl: 8 try: 9 # 将图片写入ima文件夹10 filess = open("../img/" + str(num) + ".jpg", 'wb')11 filess.write(urllib.request.urlopen(imgPath).read())12 filess.close()13 14 print("正在下载" + imgPath)15 num = num + 116 except Exception as err:17 print(err)18 pass 完美解决
看图去
软件已经打包到github
自行下载
https://github.com/TTyb/