肥宅钓鱼网
当前位置: 首页 钓鱼百科

python 抓取网易云(Python爬取周杰伦MojitoMV弹幕)

时间:2023-08-13 作者: 小编 阅读量: 1 栏目名: 钓鱼百科

作者|黄伟呢来源|数据分析与统计学之美6月12日凌晨0点,周杰伦最新单曲《Mojito》正式上线,仅上线1小时销售量就超过百万张,预计今天这首单曲的销量仍然会继续攀升。杰伦的上一首单曲《说好不哭》是在2019.9发布的,这首歌是与老搭档方文山搭档的歌曲,当时这首歌在QQ音乐上的销量超过了1500万张,创造历史新高。而新歌《Mojito》则是与另外一位搭档黄俊郎合作的单曲,相信这首歌肯定也会有不错的销量。

作者 | 黄伟呢

来源 | 数据分析与统计学之美

6月12日凌晨0点,周杰伦最新单曲《Mojito》正式上线,仅上线1小时销售量就超过百万张,预计今天这首单曲的销量仍然会继续攀升。这次新歌的歌名叫做《Mojito》,翻译成中文是莫吉托,一种巴西鸡尾酒,怪不得观看这首歌MV的时候,感受到一股很浓烈的异域风情呢。

杰伦的上一首单曲《说好不哭》是在2019.9发布的,这首歌是与老搭档方文山搭档的歌曲,当时这首歌在QQ音乐上的销量超过了1500万张,创造历史新高。而新歌《Mojito》则是与另外一位搭档黄俊郎合作的单曲,相信这首歌肯定也会有不错的销量。

好了回归到正题,既然这首歌大家反应这么大,那么大家都是怎么评论这首歌曲的呢?我们爬取了B站上面的弹幕数据,看看粉丝们都说了什么。

B站弹幕的爬取

B站的网页确实变化的很快,我还记得5月份的时候,弹幕的接口数据还找得到。然而今天我找了好久都没有找到,难道是今天的状态不行?没关系,在网页中虽然没找的这个弹幕数据的接口,但是我们之前找到了,我们直接拿过来用就好了。

爬取B站弹幕数据的API:https://api.bilibili.com/x/v1/dm/list.so?oid=XXX

从上述网址中我们看到了一个叫做oid的东西,后面是一串数字,不同的网页有着不同的数字串,因此我这里用“XXX”代替了。我们现在就要思考的是,这个oid我们应该怎么获取呢?不要着急下面带大家一步步查找。

我们要想知道这个oid是什么,首先要获取到cid。弹幕数据的接口我们虽然找不到,但是目录页接口还是可以找到的,网址如下。通过这个网址我们可以获取到我们要的那个cid,cid这个键对应的值,就是我们要的oid数字串。

https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp

注意:由于这个MV只有一个完整的视频,所以这里只有一个cid,如果一个视频是分不同小节发布的,这里就会有多个cid,不同的cid代表不同的视频。

我们将上面接口的url地址和拿到的oid数字串进行拼接,就可以得到这首MV弹幕的真正地址啦,现在把地址提供给大家。我们只需要请求这个网址,解析网页后就可以获取我们想要的数据啦。

https://api.bilibili.com/x/v1/dm/list.so?oid=201056987

这里还有最后一点需要提醒大家的。观察目录页的那个接口(网址如下),里面有一串字符串BV1PK4y1b7dt,我们先不管这个参数是什么,我们只关心这个字符串从哪里来的呢?

https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp

最后我们观察这首MV的原始网址(网址如下),原来这个字符串就在这首MV的原始网址中。好了,说到这里,我就将B站弹幕数据爬取的一些参数的来龙去脉,给大家讲清楚了,下面我们开始代码部分吧。

https://www.bilibili.com/video/BV1PK4y1b7dt?t=1

代码如下:

import requestsimport jsonimport chardetimport refrom pprint import pprint# 1.根据bvid请求得到ciddef get_cid:url = 'https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp'res = requests.get(url).textjson_dict = json.loads(res)#pprint(json_dict)return json_dict["data"][0]["cid"]# 2.根据cid请求弹幕,解析弹幕得到最终的数据"""注意:哔哩哔哩的网页现在已经换了,那个list.so接口已经找不到,但是我们现在记住这个接口就行了。"""def get_data(cid):final_url = "https://api.bilibili.com/x/v1/dm/list.so?odan_mu.txt", mode="w", encoding="utf-8") as f:for i in data:f.write(i)f.write("\n")cid = get_ciddata = get_data(cid)save_to_file(data)

结果如下:

词云图的制作

# 1 导入相关库import pandas as pdimport jiebafrom wordcloud import WordCloudimport matplotlib.pyplot as pltfrom imageio import imreadimport warningswarnings.filterwarnings("ignore")# 2 读取文本文件,并使用lcut方法进行分词with open("dan_mu.txt",encoding="utf-8") as f:txt = f.readtxt = txt.splitdata_cut = [jieba.lcut(x) for x in txt]data_cut# 3 读取停用词with open(r"G:\6Tipdm\wordcloud\data\stoplist.txt",encoding="utf-8") as f:stop = f.readstop = stop.splitstop = [" ","道","说道","说"]stop# 4 去掉停用词之后的最终词s_data_cut = pd.Series(data_cut)all_words_after = s_data_cut.apply(lambda x:[i for i in x if i not in stop])# 5 词频统计all_words =for i in all_words_after:all_words.extend(i)word_count = pd.Series(all_words).value_counts# 6 词云图的绘制# 1)读取背景图片back_picture = imread(r"G:\6Tipdm\wordcloud\jay1.jpg")# 2)设置词云参数wc = WordCloud(font_path="G:\\6Tipdm\\wordcloud\\simhei.ttf",background_,max_words=2000,mask=back_picture,max_font_size=200,random_state=42)wc2 = wc.fit_words(word_count)# 3)绘制词云图plt.figure(figsize=(16,8))plt.imshow(wc2)plt.axis("off")plt.showwc.to_file("ciyun.png")

结果如下:

从词云图可以看到,整个弹幕屏幕都是表达了粉丝对于《Mojito》这首歌的热爱,可能有些词语显得有些莫名其妙,像震动、手机等词语,但是看过MV的人都知道确实都是赞美之词。

首先,啊啊啊这个感叹词出现的次数是最多的,难道大家是刚刚听到这首歌,惊喜之情无法用言语来表达?只好借用这样的感叹词来表达自己内心的激动?这可不是我的风格,我要是喜欢就会用直白的话表达出来。

其次,手机、震动这样的词出现的也很多。我刚刚看到这样的词语时候,我很莫名其妙。一首新歌MV和手机震动有啥关系呢?这原来是一个梗,恕我当时也没怎么关注,含义就是:周杰伦新歌销量太好,网友调侃便说杰伦手机一直在震动。如果你也不知道这是一个什么梗,提供一个网址给大家了解一下。

https://www.ixiumei.com/a/20190917/364084.shtml

我们还可以注意到,有一个词的频率出现次数也是很高的,那就是爷青回。哈哈,刚刚看到这个词语的人肯定是很懵逼的,这是什么意思呢?其实就是爷的青春回来了的意思。不得不说周杰伦的歌确实影响了我们这一代人,新歌一发布,不少人感叹:杰伦,回不去了吗?虽然我们的年纪在慢慢长大,但是我们却始终习惯停留在青春的状态。当然像爱、好听、粉、亿遍这样的词语大家也都知道是什么意思,我也就不详细说明了,总的来说从整个词云图来看,基本上是0差评。《Mojito》整首歌给我的感觉就是节奏欢快,周杰伦虽然成了无数人的青春,不少人也是感叹青春回不去了吗?但是在这个炎炎夏日聆听这首欢快的歌曲,也是及其不错的。

☞那些被大数据时代抛弃的人

☞反转!物联网火爆,开发者却太难了!

☞TypeScript 热度超 C 与 Python、Go 开发收入高、运维吃香,调查了 65000 名开发者有这些发现!

☞一篇与众不同的 String、StringBuilder 和 StringBuffer 详解

☞利用 AssemblyAI 在 PyTorch 中建立端到端的语音识别模型

☞赠书 | 供应链金融模式有哪些?区块链在供应链金融中如何应用?

    推荐阅读
  • 格列佛游记第四次出游到了哪里(世界上最好玩儿的探险故事)

    这部小说在1726首次出版,讲述了一个叫格列佛的英国男人从1699到1715年共十六年在海外漂流游历小人国、大人国、飞岛国、慧骃国等几个国家的经历。很快,他被送到了小人国国王那里,经过一系列啼笑皆非的,实际上是搞笑的因为大小对比而产生的乐事,格列佛在小人国算是站住了脚。

  • 梁怎么组词(汉字梁怎么组词)

    梁怎么组词鼻梁[bíliáng]鼻的上端。自鼻根至鼻尖的部分。脊梁骨[jǐlianggǔ]一般指脊柱。小孩刚出生的脊椎数量是32-33。正梁[zhèngliáng]架在屋架或山墙上面最高的一根横木。也叫大梁、脊檩。国家栋梁[guójiādòngliáng]比喻能担当国家重任的人才。绕梁之音[ràoliángzhīyīn]形容美妙动听的歌声或琴声。逼上梁山[bīshàngliángshān]由《水浒传》中林冲等人为官府所迫、上梁山造反的故事而来。后常比喻被迫进行反抗或不得不做某事。

  • 椿树的寓意 椿树的寓意象征是什么

    椿树寓意是健康和长寿,这种树木其实在农村是比较常见的,椿树在春季的时候会长出嫩芽,长出嫩芽之后这种嫩芽就可以直接采摘下来作为蔬菜来吃。将嫩芽采下来之后洗干净了,然后用开水烫一烫就可以炒鸡蛋,吃了吃起来比较清爽可口,当然也可以炒肉吃或者是将其剁碎了之后,跟鸡蛋和面粉一起混合搅拌做成饼炸着吃,口感也是很不错的。

  • 2022珠海大爱无疆保险个人现金投保指南(时间+对象+方式)

    2022珠海大爱无疆保险个人现金投保指南(一)适用人群珠海市所有基本医疗保险参保人,2021年已参加项目且符合续保条件的除外。注意事项:参保人2021年已正常参保且仍符合投保条件的以及2021年底已申请2022年预投保的无需再次办理,系统将自动续保并划扣2022年度保费,但选择医保pos机刷卡的,须到“大爱无疆”服务窗口刷卡缴费,或在“大爱无疆”服务平台修改缴费方式授权中国人寿从绑定的银行借记卡账户扣缴保费。

  • 关于欢庆六一儿童节的绘画(国庆节绘画)

    教学工具卡纸、记号笔、水彩笔、剪刀等观察与讨论六一儿童节快到啦!会议决定以每年的6月1日为国际儿童节。作品完成图课堂点评1、在今天的美术课程中,我们以六一儿童节的礼物为主题,绘制出了一幅新颖别致的创作,通过使用巧妙的折叠方式塑造出一个有趣的礼物盒,并在礼物盒内添加多样丰富的礼品,激发了小朋友们丰富的想象力和动手热情的同时锻炼了小朋友们色彩搭配能力和综合创作的能力。

  • 金心巴西铁的繁殖方法(金心巴西铁的繁殖方法是什么)

    跟着小编一起来看一看吧!金心巴西铁的繁殖方法金心巴西铁繁殖主要是用扦插法进行的。扦插时要选没有病虫害的茎干进行,剪成5-10厘米的小段备用。准备渗水性能好的基质,将其平放在上面就行。期间注意保湿保温处理,温度要在25度到30度之间,基质要处在微湿状态,这样大概需要一月左右的时间,就可长出新根,50天后就可盆栽。

  • 迷你世界附魔的狙击枪介绍(新道具红包狙击枪)

    只有我们想不到,没有迷你世界不存在的道具,接下来小编说的这个就更神奇了,可以撕开时空裂缝。首先我们先找到这张黑科技地图,然后打开背包,找到一个叫做红包激光的道具,这就是我们本期要讲的神奇道具。我们如果用这把枪对着地上发射激光,就会看到地上撕开了一道大口子,而且可以连续撕开,变成一个大坑。但是它最大的功能还不是这个,配合另外一个道具,这把枪就能带我们穿越时空。

  • 等腰直角三角形性质是什么(等腰直角三角形是什么性质)

    接下来我们就一起去了解一下吧!等腰直角三角形性质是什么等腰直角三角形是一种特殊的三角形,具有所有三角形的性质:稳定性,两直角边相等。直角边夹亦直角锐角45,斜边上中线角平分线垂线。三线合一,等腰直角三角形斜边上的高为外接圆的半径r,那么设内切圆的半径r为1,则外接圆的半径r就为,所以r:r=1:。

  • 镁在空气中燃烧的现象(镁在空气中燃烧是什么样的现象)

    镁在空气中点燃,发出耀眼光芒,有白色固体(白烟)生成,我来为大家科普一下关于镁在空气中燃烧的现象?扩展资料体育用途:在紧张运动几小时前注射镁化合物,或在紧张运动后注射以弥补镁的流失。体操运动员常涂碱式碳酸镁来增加摩擦力。镁离子在光合和呼吸过程中,可以活化各种磷酸变位酶和磷酸激酶。同样,镁也可以活化DNA和RNA的合成过程。镁是叶绿素的合成成分之一。

  • 三年驾龄一般跑多少公里(为啥驾龄越长越胆小)

    看完才知道,为啥驾龄越长越胆小1引言相比欧美来说,中国汽车工业发展较晚,很多人买车时都是人生第一辆车。大多数人无论对于汽车原理还是汽车驾驶经验方面,仅仅停留在驾校学的那一星半点。如果没有靠谱的“老司机”带路,难免会踩到大大小小的坑。而让各位老铁们少踩坑、多了解汽车知识,正是我们“汽车”的初衷。个人认为地图APP最主要的功能之一是可以显示实时路况。高速行驶更是如此。