爬虫福利一 之 27报网MM

  • Coder.Bing 发布于 2019-09-25 13:41:20
  • 分类：编程语言
  • 评论(0)

付费节点推荐

免费节点

节点使用教程

  1. import os
  2. import time
  4. import requests
  5. from lxml import etree
  8. class MeiZiSpider(object):
  9. """27 bao website MM spider"""
  10. def __init__(self):
  11. self.base_url = 'https://www.27bao.com/meinv/list_1.html'
  12. # self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"}
  13. self.headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)'}
  15. # 构建url的前缀
  16. self.url_prefix = 'https://www.27bao.com'
  18. # 构建第二层url的前缀
  19. self.inner_url_prefix = 'https://www.27bao.com/meinv/'
  21. # 构建点开每个美女内部的所有url
  22. self.inner_url = 'https://www.27bao.com/meinv/56870_{}.html'
  24. # 文件保存的路径
  25. # linux路径
  26. # self.path = '/home/python/Desktop/27baomeimei/'
  27. # windows路径
  28. self.path = 'C:/Users/Nick/Desktop/27baomeimei/'
  30. def send_first_req(self):
  31. """发送第一层请求，返回首页响应的html内容"""
  33. html_str = requests.get(self.base_url, headers=self.headers).content.decode()
  35. return html_str
  37. def get_total_page(self):
  38. """获取网站美女图片总页数"""
  40. # 模拟发送请求, 返回响应数据(便于提取总页数)
  41. html_str = self.send_first_req()
  43. # 将返回的 html字符串 转换为 element对象
  44. element_obj = etree.HTML(html_str)
  46. # 提取末页的url, 再切片提取最大页数
  47. total_page = element_obj.xpath('//*[@id="pages"]/a[9]/@href')[0].split('_')[-1].split('.')[0]
  48. print('========该网站美女图片目前共有 {} 页========'.format(total_page))
  50. return total_page
  52. def get_each_girl_url(self, each_page_url):
  53. """第一层解析 ---> 获取每一页每个女孩的url"""
  55. # 用于存放拼接后每个女孩的url
  56. girl_url_list = []
  58. # 模拟发送请求, 返回响应数据(便于提取url)
  59. html_str = self.send_request(each_page_url)
  61. # 将返回的 html字符串 转换为 element对象
  62. element_obj = etree.HTML(html_str)
  64. # 提取所有url后缀 ---> 列表
  65. url_postfix = element_obj.xpath('/html/body/div[2]/div[2]/ul/li/a/@href')
  67. # 提取每个妹妹的标题, 便于后面命名
  68. url_title_li = element_obj.xpath('/html/body/div[2]/div[2]/ul/li/p/a/text()')
  70. # 遍历提取的url列表, 拼接完整的url, 并保存列表中
  71. for url in url_postfix:
  72. # 添加拼接后的url到列表
  73. girl_url_list.append(self.url_prefix + url)
  74. # print(girl_url_list)
  76. title_and_url_li = list(zip(url_title_li, girl_url_list))
  77. # print(title_and_url_li)
  79. return title_and_url_li
  81. def send_request(self, url):
  82. """发送第二层请求，返回响应的html内容"""
  83. # print(url)
  84. try:
  85. response = requests.get(url, headers=self.headers, timeout=5)
  86. except:
  87. return None
  88. # html_str = response.content.decode()
  89. html_str = response.content
  91. return html_str
  93. def parse_data(self, html_str):
  94. """第二层解析 ---> 获取当前女孩的每个url"""
  96. # 将返回的 html字符串 转换为 element对象
  97. element_obj = etree.HTML(html_str)
  98. each_image = element_obj.xpath('/html/body/div[3]/center/img/@src')[0]
  99. # print(each_image)
  100. return each_image
  102. def save_file(self, image_data, title, image_name):
  104. # 如果目录不存在, 就新建
  105. if not os.path.exists(self.path + title):
  106. os.makedirs(self.path + title)
  107. # 切换到新建目录下
  108. os.chdir(self.path + title)
  109. # for i in range(1, int(total_page) + 1):
  110. # image_name = str(i) + '.jpg'
  111. with open(image_name, 'wb') as f:
  112. f.write(image_data)
  114. def download(self):
  115. total_page = self.get_total_page()
  116. # 开循环, 爬取每个页面的每个妹妹的所有图片
  117. for page in range(1, int(total_page) + 1):
  118. print('\n正在爬取第 {} 页...\n'.format(page))
  119. # 构建每一页的url
  120. each_page_url = 'https://www.27bao.com/meinv/list_{}.html'.format(page)
  121. title_and_url_li = self.get_each_girl_url(each_page_url)
  123. # 遍历获取每个妹妹的总url
  124. for girl_url in title_and_url_li:
  125. # print(girl_url[1])
  126. # image_list = []
  128. html_str = self.send_request(girl_url[1])
  129. print('正在爬取的地址: {}'.format(girl_url[1]))
  131. # 获取目前爬取的美女内部总页数
  132. inner_total_page = etree.HTML(html_str).xpath('//*[@id="pages"]/a[last()-1]/text()')[0]
  133. print('\n目前爬取的美女图片共有 {} 张\n'.format(inner_total_page))
  135. # 循环并构造每一张图片的url, 请求, 解析, 并保存
  136. image_data = None
  137. for inner_page in range(1, int(inner_total_page) + 1):
  138. print('正在爬取 {} 第 {} 张图片...'.format(girl_url[0], inner_page))
  139. # 构造第二页以后的每个url
  140. each_image_url = girl_url[1].split('.html')[0] + '_{}.html'
  141. if inner_page == 1:
  142. # 获取第一页的url, 因为第一页和其他页的规律不一样，所以这里单独出来
  143. each_image_url = self.parse_data(html_str)
  144. # html_str = self.send_request(each_image_url)
  145. image_data = self.send_request(each_image_url)
  146. else:
  147. each_image_url = each_image_url.format(inner_page)
  148. # print(each_image_url)
  149. html_str = self.send_request(each_image_url)
  150. image = self.parse_data(html_str)
  151. image_data = self.send_request(image)
  153. # 如果请求图片的url在5秒之内无响应, 立即终止当前妹妹所有url的循环
  154. if image_data is None:
  155. print('当前MM的url无响应，正在跳转到下一个MM的url\n')
  156. break
  157. # 拼接保存图片的名称
  158. image_name = str(inner_page) + '.jpg'
  159. try:
  160. # 切换图片保存目录
  161. os.chdir(self.path + girl_url[0])
  162. # 判断文件是否存在, 存在则不再保存, 跳过
  163. if os.path.exists(image_name):
  164. print('第 {} 张已保存, 跳过...'.format(inner_page))
  165. continue
  166. except Exception as e:
  167. print('目录 {} 不存在, 正在新建...'.format(e))
  169. # 保存图片到本地
  170. self.save_file(image_data, girl_url[0], image_name)
  171. # image_list.append(image)
  172. # print(image_list)
  173. if image_data:
  174. print('\n{} 的所有图片已全部爬取完毕...\n'.format(girl_url[0]))
  176. # 休眠5秒中, 避免请求一直处于长连接导致ip被封
  177. time.sleep(10)
  180. if __name__ == '__main__':
  181. MeiZiSpider().download()

未经允许不得转载：Bcoder资源网 » 爬虫福利一 之 27报网MM

相关推荐

赞 (0)
分享到：更多 ()
标签：

相关推荐

评论 0

评论前必须登录！

登陆 注册