慕课网160万用户数据分析
in 数据分析技术 with 4 comments

慕课网160万用户数据分析

in 数据分析技术 with 4 comments

慕课网介绍

慕课网——www.imooc.com,是垂直的互联网IT技能免费学习网站。以独家视频教程、在线编程工具、学习计划、问答社区为核心特色。在这里,你可以找到最好的互联网技术牛人,也可以通过免费的在线公开视频课程学习国内领先的互联网IT技术。

慕课网课程涵盖前端开发、PHP、Html5、Android、iOS、Swift等IT前沿技术语言,包括基础课程、实用案例、高级分享三大类型,适合不同阶段的学习人群。以纯干货、短视频的形式为平台特点,为在校学生、职场白领提供了一个迅速提升技能、共同分享进步的学习平台。

我自己就是慕课网的忠实用户啊……

慕课网

项目介绍

随便做着玩玩的,爬虫的项目地址:https://github.com/airingursb/imooc-spider

欢迎Star~

注意,慕课网具有反爬机制,据本人经验,爬了1.2万条左右(历时1小时),会被封IP,并且是封禁一周(幸好不是永久……别问我是怎么知道的!)

所以在爬的过程中,也是比较艰难的,如果去爬免费代理池,基本上平均40秒才能爬到一条数据,效率极其之慢!于是去某宝购买了动态VPS,配合ADSL拨号精灵与定时任务,爬了四天左右,把160w条用户数据给拿下来了。

这只是第一步而已。终极目标是分析出用户的智慧图谱。

今天爬完数据之后,花了几十分钟的时间,对数据进行了简单的统计。接下来,就来粗略地看一看这些数据吧。(以下数据均为2016年5月抓取,数据保证不超过1%的遗漏,后续会逐步放出完整的数据分析)

用户性别

本次抓取的总人数为1618362,其中男性1403359人,占86.71%,女性215003人,占13.29%。果然,IT界基本都是屌丝男……

用户工作

总共数据量:1618362,其中有效的数据量为:694075。

职业 人数 占比
学生 334140 48.1%
Web前端工程师 69390 10.0%
Java开发工程师 65053 9.4%
移动开发工程师 36866 5.3%
PHP开发工程师 31241 4.5%
产品经理 19609 2.8%
UI设计师 14393 2.1%
Linux系统工程师 11522 1.7%
软件测试工程师 11110 1.6%
页面重构设计 10075 1.5%
js工程师 7749 1.1%
交互设计师 6051 0.9%
其他 76875 11.1%

可以看出,学生是慕课网的主力军啊。剩下的Java与Web前端各分江山。另外,我简单分析了下性别与工作的关系,发现程序媛的主要职业为:软件测试与Web前端工程师。所以各位妹子们也可以考虑一下这两个方向。

用户地区分布

北上广用户最多,其次是沿海与中东部地区。这里做了个性别与地域的交互地图,看官们可以简单看看。以后如果想找自己另一半的程序媛,可以去广东或者北京~

小结

这一节仅仅是简单的数据概览,后续的还有课程分析等等。因为要考研,所以没有多少时间。不知道什么时候会出结果,不过只要我有时间就会做的~

恩恩,老套路,本项目仅供学习使用!期待您的关注。(´◡`)

Responses
  1. 请问图表用的是什么框架?

    Reply
    1. @远哥制造

      图表是用echarts做的:echarts.baidu.com

      Reply
  2. 涛涛涛

    有没有更新的统计?

    Reply
    1. @涛涛涛

      emmm,木有…

      Reply
bst g22 jinniu lilai opebet orange88 vinbet xbet yuebo zunlong shijiebei bet007 hg0088 ju111 letiantang m88 mayaba qg777 qianyiguoji sbf777 tengbohui tlc ule weilianxier waiweitouzhu xingfayule xinhaotiandi yinheyule youfayule zhongying 2018shijiebei w88 18luck 188bet beplay manbet 12bet 95zz shenbo weide1946 ca88 88bifa aomenxinpujing betway bodog bt365 bwin tongbao vwin weinisiren 88jt fenghuangyule hongyunguoji 918botiantang huanyayule jianada28 jixiangfang libo long8 hongzuyishi zuqiutouzhu