正确的提示信息
扫码打开虎嗅APP
从思考到创造
打开APP
资讯
视频
车与出行
年轻一代
十亿消费者
前沿科技
财经
娱乐淘金
医疗健康
文化教育
出海
金融地产
企业服务
创业维艰
社交通讯
全球热点
生活腔调
榜单
虎嗅视界
24小时
活动
妙投APP
虎嗅智库
登录
极速注册
取消
搜索历史
删除
完成
全部删除
数码
互联网
数码
互联网
热搜词
生活态度
区域经济
投资人
投资市场
生活腔调
反垄断
OpenAI
谷歌
印度
账号或密码错误
2014-07-22 11:20
大数据泡沫时代:是时候对大数据回归理性了
jensen111
大数据时代来临,社会对数据人才的理解和评价存在泡沫,是时候需要回归到理性。从智联网的招聘信息看到,很多公司招聘高级数据分析,都特别提出类似的要求:熟练使用SAS、SPSS、R等工具。这些软件都是统计软件,里面的算法都是上个世纪不懂公司业务的人弄出来的。既然是统计领域的知识,为什么特别强调这部分知识呢?其他知识重要性都较轻吗?公司不需要?
很多公司招高级数据分析如此,阿里巴巴数据分析专家卢辉写的书也有类似的问题。很多人都有光环效应(他们认为由于阿里的数据厉害,所以阿里的数据分析专家写的都是对的,其实阿里发展好,是整个团队多年努力出来的)。目前开始有些相对聪明的人慢慢从这个泡沫中从模糊中感觉到不妥,而我本身就是读统计的,由于敢于说真话让我先后被两个中国新闻人物器重和教导。经验不是一篇文章就能说清楚,我这里只说说我对阿里巴巴数据分析专家卢辉著的书《数据挖掘与数据化运营实战》,下文简称卢书的一些看法,希望推动社会对数据人员的认识更理性。
笔者去年年底看了卢书,有些地方跟笔者有共识,但是书上也有很多问题。
先举个例子,大家都知道同样头晕,病根可能是不同的,所以学医的学生全部科目都要学,实习要全部科室都走一趟。如果医生知识面不够广的话,就容易误诊。如果你同意上面例子的话,那么统计方面,知识面不够广就会有问题,这结论大家就能理解了。
例如卢书第17页提到“数据挖掘很多时候并不需要特别专业的统计背景作为必要条件,不过需要强调的是基本的统计知识和技能是必需的”。什么才算基本?懂法律才算最基本吧?统计法规定统计的职权是调查、报告、监督看出,国家强调的是调查,不是统计分析。而第2章提到统计分析与数据挖掘的差异以及书后面介绍的内容,看出卢书作者对统计的认识只停留是统计分析上。这样有什么问题呢?
第6章数据挖掘项目完整应用案例演示,提到某公司存在用户流失的情况,大家都很自然想到调查原因,有些原因可以通过分析日志记录的用户行为数据就能知道大概的问题,也可能公司并没有相关的数据,需要做调查,包含市场调查或业务调查。不论是否有相关的用户行为数据,都属于统计这个大范围内。
但是卢书在第6章提到的方法,浪费大量人力物力,却没得到大家真正关心的答案。书中介绍的做法是:“本案例主要集中是3个方面:1、模型投入应用后提前锁定有高流失风险的高活跃用户群体;2、可以将建模过程中发现的有价值的,最可能影响流失的重要字段和指标选择性地提供给运营方;3、针对影响流失的核心指标和字段,可以提供给业务方,作为参考线索。”也就是花了很多的时间和人力成本却没直接回答流失原因,对于没有相关的数据,不懂调查也不想做调查的人就说这不是他们的工作范围。
另外,卢书封面写“以业务为核心,以思路为重点,以挖掘技术为辅佐”,这点笔者同意,但是书中内容多处违背这个道理。例如按照“以业务为核心,以思路为重点”的说法,业务分析和报告应该是具有逻辑性,可读性。但是卢书中第17页提到“神经网络挖掘技术,它里面的隐蔽层就是一个黑箱,没有人能在所有的情况下读懂”“在实践应用中,这种情况常会让习惯统计分析公式的分析师或者业务人员感到困惑”“只要模型能正确预测客户行为”“业务部门、运营部门不了解技术细节,又有何不可呢?”按照“以业务为核心,以思路为重点”的说法,计算不符合业务逻辑的情况是应该选择其他方法去实现,但卢书采用了“以挖掘技术为主,思路为辅”的做法,以只要能正确预测用户行为试图让大家觉得这样做可行。试想如果黑箱算法预测的结果出了问题,容易查问题和解决吗?
面对着业务人员对他们使用的计算不理解时,卢书第59页提到的做法是“业务团队”“应该具备”“能理解数据分析师的分析报告”。这再一次为上一个说不清的问题找了个借口。真正以“以业务为核心,以思路为重点”的做法,是要求数据分析师的报告要让业务团队的人看得懂。统计法规定统计的职权是调查、报告、监督。报告最起码就是要让别人看得懂,有可读性。卢书把这个逻辑颠倒了。强调使用SAS、SPSS、R等工具进行分析的数据分析师、数据挖掘,他们做的报告也偏向于卢书提到的情况,甚至干脆不写报告。
数据分析、数据挖掘是这几年才新兴的职位,他们使用的只是统计知识中很少一部分的内容加上互联网需要的知识,但是统计的其他知识都没用吗?社会对数据人员的评价高还是对统计的评价高?统计局做人口调查应该是家喻户晓的常识,为什么很多数据人员不愿意提,甚至希望与调查划清界线。面试过很多公司的数据分析,他们都说自己很喜欢统计,当深入问的时候,原来他们只喜欢数据分析那部分工作,这反映社会现状和教育问题了。他们只做了统计工作中,报告职能里面数据分析的工作而已,但是要求社会给予的报酬只是统计的小部分吗?目前社会对哪个的评价更高呢?
调查有多辛苦,你懂的。
本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
支持一下
赞赏
0人已赞赏
分享至:
0
大 家 都 在 看
大数据行业里的两大误区
r4200
16:30
这个世界正变得更加真实,还是更多偏见?
造就Talk
调研报告越多,洞察力越差?
时光笔记簿©
ChatGPT能为投顾做些什么?
星海笔记©
干货:如何学习商业分析(八)
职场旋风
投了很多钱,数据项目为什么还是失败了?
商业评论
ChatGPT也涨不动了
深燃
流量为王?编辑部的“数字权力”争夺战
普林斯顿读书汇©
数据分析师:GPT可以辅助,但无法替代我
边码故事
号称超越GPT-4的大模型们,有多少靠的是“抄袭”
AppSo
行业调研方法论教程:如何做好前期准备工作?
互联网怪盗团
01:20:30
#AI有多智能
AI技术的“纺织业”是什么?
大咖说小编
04:29
#AI有多智能
生成式AI为什么需要被管起来?
脑极体
12:13
#AI有多智能
只需一招,教你如何跟ChatGPT抢工作
投资人黄海
01:22:16
#内幕大揭秘
数据服务公司,怎么从一到十?
潘乱
10:14
最性感的数据行业到底是做什么的?
小Lin说
08:04
#AI有多智能
只知道GPT?盘点13个王炸金融AI工具
毯叔盘钱
09:45
#风口浪尖
ESG高薪挖人才背后:碳中和浪潮涌动
MSC咨询
01:04:03
#敲黑板划重点
什么问题是关键问题?如何提出关键问题?
大咖说小编
28:20
#内幕大揭秘
一个视频,带你了解23个临床研发职位
咸鱼堡的医药海滩
大 家 都 在 搜
生活态度
区域经济
投资人
投资市场
生活腔调
反垄断
OpenAI
谷歌
印度
APP内打开
好的内容,值得赞赏
您的赞赏金额会直接进入作者的虎嗅账号
自定义
支付:
元
匿名赞赏
支付