Python爬虫综合:爬4K高清壁纸

首先先申明一下,这个爬壁纸其实是需要会员的,因为你是否可以下载是在服务器那边判断的,我这边也没有办法,不过它这个终身的vip只要30元,所以还是挺划算的,这里我打算把它大概2400多张4K动漫壁纸都下下来,为了让我们看起来更友好,我们每隔一秒下一张吧。

好了,现在开干!

这里我还是直接贴代码,其他的东西也没什么好解释的。

# -*- coding:UTF-8 -*-
import requests, json, os, time
from threading import Thread
from bs4 import BeautifulSoup
from contextlib import closing#这个是图片下载的库

class img(object):
    def __init__(self):
        self.target = "http://pic.netbian.com/4kdongman/"
        self.urls = []
        self.names = []
        self.headers = {'Cookie':'你的cookie数据'}

    def geturl(self):
        for index in range(1, 116):
            if index != 1:
                target = self.target + 'index_' + str(index) + '.html'
            else:
                target = self.target
            req = requests.get(url=target)
            req.encoding = 'GBK'
            bf = BeautifulSoup(req.text, 'lxml')
            bf = bf.find_all("div", class_='slist')[0].find_all('a')
            for each in range(len(bf)):
                text = bf[each].attrs['href']
                self.names.append(text[8:text.find('.')])
                self.urls.append("http://pic.netbian.com/downpic.php?id=" + text[8:text.find('.')])

    def download(self, url, name):  # 这里就是下载图像的函数,配合多线程使用,使下载速度加倍
        print ('正在下载:%s' % name)
        if not os.path.exists('img'):  # 这里是创建文件夹
            os.makedirs('img')
        # 这里就是换一个路径,下载到img下
        with closing(requests.get(url=url, stream=True, headers=self.headers)) as r:  # 这里就是下载图片的代码了
            with open('img/%s.jpg' % name, 'ab+') as f:  # 这里是保存图片
                for chunk in r.iter_content(chunk_size=1024):  # 下面都是下载图片数据的代码,所以不解释
                    if chunk:
                        f.write(chunk)
                        f.flush()

    def moredown(self):
        self.geturl()
        threads = []  # 这里我们使用多线程,要把这些线程放到列表里
        for i in range(len(self.urls)):  # 我们要下多少图片就开多少线程
            t = Thread(target=self.download(self.urls[i], self.names[i]))  # 把函数加到线程里面
            t.start()  # 开始线程
            threads.append(t)  # 把线程都加到列表里面,方便后面判断是否下载完毕
            time.sleep(1)
        for t in threads:
            t.join()  # 这里就是等待线程结束的代码
        print ("下载完成")


if __name__ == "__main__":
    a = img()
    a.moredown()

实际效果如上图,这次爬2400多张图片每张大小大概为4M可能会下大概9G的数据,如果那边的服务器不把我封掉的话。。这个就真的非常爽了

几分钟后:好吧我承认我还是太天真了,原来这个会员虽然是永久的但是每天只能下200张图片,所以这次只爬了197张大概721M左右。

所以,我还要继续盘它,我们这次爬那些不要钱的动漫壁纸,大概也有2000多张,这次我就对他不客气了,不延时直接下,看一下总共多大。

等了20多分钟,终于把所有图片都爬完了,没想到别人的服务器居然没有封我,这次总共爬了2098张图片,大概有1个G吧。

好了,到这里就结束了,下次我还要继续接着爬4k的壁纸,一天下两百多张还是挺不错的。

点赞
  1. 江小腾说道:

    这么确定爬的图片是我们想要的

发表评论

昵称和uid可以选填一个,填邮箱必填(留言回复后将会发邮件给你)
tips:输入uid可以快速获得你的昵称和头像

Title - Artist
0:00