B站2千万视频信息爬虫

此文首发于我的个人博客:zhang0peter的个人博客


声明

  • 代码、教程均为本人原创,且仅限于学习交流,请勿用于任何商业用途!

数据结果在最下面。

准备工作

我使用的是Python3,数据库用的是Python自带的sqlite,使用requests库爬取。
安装需要的库

pip install requests

直接刷新视频页面来获取视频信息太慢,通过api地址能快速获取视频信息。
如:https://api.bilibili.com/x/web-interface/archive/stat?aid=19801429,
在浏览器中打开这个页面,可以获取json格式的数据:

{
  "code":0,
  "message":"0",
  "ttl":1,
  "data":{
    "aid":19801429,
    "view":583,
    "danmaku":4,
    "reply":2,
    "favorite":378,
    "coin":6,
    "share":6,
    "now_rank":0,
    "his_rank":0,
    "no_reprint":0,
    "copyright":2}
}

使用requests库获取数据,用concurrent.futures的多线程来加快爬取的速度,我采用的是32线程爬取。

数据获取

B站对爬虫采取的是一旦发现,就封ip半小时到1天不等的时间。
但是如果使用代理,爬取总共数量1900万(在2018年2月24,B站视频av号已经到2000万了)个视频信息需要花费很多时间。
幸运的我发现我的服务器爬取B站视频信息不会被封ip,于是我就把爬虫放到服务器上跑了整整5天,获得了1300万条有效数据。数据库文件有300M,GitHub无法上传,

数据处理

我使用的是SQLite Studio进行数据库操作

查询播放量前十的视频

查询收藏数前十的视频

aid号与播放量关系

可以从下图看出,随aid号的增加,视频的平均播放量在变少,爆款视频也在变少。
我认为主要原因是B站UP主变多,把许多大的UP主的粉丝分流了部分。
画图代码见 aid号与播放量关系.py

爬虫代码见 bilibili-spider.py

GitHub项目地址:https://github.com/zhang0peter/bilibili-video-information-spider

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页