《数据分析思维课》读书笔记

增加收入

降低成本

第一步，把理想与现状对比（As Is -- To Be）

第二步，6W2H 法

工具是为数据分析服务的，数据分析的目的是为解决问题服务的，一切还是要回归问题本身，想明白“我想要什么”

一手数据

二手数据

趋势分析法

快照扩展法

衍生指标法

三点注意事项

宏观数据

互联网数据

行业数据库

企业数据

投融投资数据

情节（陈述） - 起伏（惊喜） - 结尾（结论）

篇幅

标题

换位思考

干系人态度

一图解千愁

现状分析：
运营投入成本过高无法使公司盈利

解决之道：
盈利需要断舍离，提升线索 ROI

特别分析：
如何发现公司的宝藏客户

落地建议与讨论：
打通内部运营数据，深入行业解决方案

总结：
客户潜力巨大，练好内功，目标投入减半，收入翻番

联合国一直在公布偷渡溺亡的难民数字，但直到那名叙利亚儿童死后被冲上岸，各国政府和民众才真正改变对待难民的态度，它胜过一切冷冰冰的数据

我们需要的是故事，因为只有故事，才能达到共情、建立人与人之间的连接、让他们站在你这边

“精”就是少投入、少耗资源、少花时间，尤其减少不可再生的资源的投入和耗费；“益”就是多产出经济效益，实现企业的升级目标。

在进行数据实践时不要选一个巨大的目标，而是去选择一系列快速的实验，小步快跑来迭代验证你的数据理论

不要想着憋大招，进行一个巨大的流程或者产品方面的修改，这样很容易当时间都过去之后，才发现方向的错误

“无论多坏的改变都会有人受益，不论多好的改变都会使一些人受损。不害人的需求是不完整的需求”

5类人群

一个人从认知到最后的实践，中间有很长的一段距离

同样，前期你对创新者进行大量数据思维和实践的布道，这一步是加强他们对整个数据实验的认知，影响创新者对这个实验付出的努力程度以及承担风险和获得收益的态度

数据实验要快速迭代，所以在没有得到对方深度认可之前，你宁可花一些时间去进行说服和沟通。一旦实验开始，要的就是最后的结果，好的结果哪怕是一点点，也比做再多的 PPT 都有用

问题场景：分析自身业务

要分析一件事情或者一个产品是否有竞争优势，最基础的分析部分就是资源以及分配方法

V 表示价值性（value）

R 表示稀缺性（rarity）

I 代表可模仿性（imitability）

O 代表组织性（organization）

进一步分析

问题场景：整体业务赛道与竞争情况

这个模型是由迈克尔·波特（Michael Porter）于 20 世纪 80 年代初提出。它是一个最常见的竞争分析方式，这个五力的强度越强，代表这个行业里的竞争力越激烈，你面对的挑战越大，也就是你现在的赛道是红海。当然红海也证明这个市场是有刚需的，不代表你不能胜利。你可以找到其中一些突破点来颠覆这个市场，比如今日头条就是通过推荐算法颠覆了以门户网站为主要信息获取的方式，从而获得了成功

五力

进一步分析

问题场景：整体业务场景与竞争优劣态势

SWOT 分析是一个典型的拿公司和周围环境比对的一个分析，它从内部环境、外部环境、好影响和坏影响做了一个矩阵图，这样的话就可以针对 S （Strengths）优势、W （Weaknesses）劣势、O （Opportunities）机会、T （Threats）威胁这 4 个元素进行分析

进一步分析

问题场景：如何打动你的决策者

同理心地图是一种通过换位思考的方式，了解别人所处的状态和情绪的方法。我们通过想法、所见、所言所为、所闻去分析对方到底会怎么看这件事。这样能让我们深刻理解对方的想法和所处环境，换位思考，最终引导对方做出对自己有利的决策

要素

进一步分析

问题场景：产品市场营销分析

4P 竞争分析是在产品、价格、渠道、销售加上目标和提供的价值这几个层次下，看自身公司和竞争对手之间的关系，制定相关策略来决定我们的产品营销应该有哪一种定位

4P

进一步分析

问题场景：拓展思路，获得新观点

我们在想新方法时，总有那么一些思路枯竭、缺乏灵感的时刻。这个模型就是为了给你像挤牙膏一样，再挤出新的一些想法

方法

进一步分析

问题场景：新观点创意和商业模式评估

这个框架是从 Simple（简单）、Unexpected（意外）、Credible（可信）、Combine（整合）、Emotion（情感）、Story（故事）、Secret（神秘）6 个视角来客观判断创新点子。这个框架可以发现你的创意哪里不足，方便你立刻补充

6个视角

进一步分析

问题场景：产品布局，产品当中的业务布局，它是散点图的变种，气泡图

一个赛道里会有各种各样的产品，一个产品会有各种各样的功能，我们每个产品的功能和它的活跃度以及这个产品任何两位维度的评估组合起来就是产品矩阵
你要有一个产品全局观，可以用气泡的大小表示用户活跃规模，横轴代表变现能力，纵轴是导流能力，让人一目了然公司的产品布局或者内部产品功能矩阵的情况

进一步分析

问题场景：分析自身商业模式

商业模式画布可以非常方便地对公司的商业模式进行一个整体的梳理。它通过 9 个关键的因素来分析一个公司整体的脉络，这 9 个元素分别是 KP（ Key Partnerships）关键合作伙伴、 KA（Key Activities）关键活动、 KR（Key Resources ）关键资源、VP（Value Propositions）价值主张、CR（ Customer Relationships）客户关系、 CH（Channels） 渠道通路、CS（Customer Segments）客户人群、CS（ Cost Structures）成本结构、RS（Revenue Streams）收入来源

这个画布的最底层是公司的整体的收支逻辑，左侧是公司的组织能力，右侧是针对客户的价值主张和如何采取措施。你可以根据你个人、公司、部门的情况通过这个图把整个业务的逻辑梳理出来

进一步分析

问题场景：设计整体客户营销策略

一个客户在购买你的产品的时候是先注意到你的产品，然后产生一些兴趣，当这些兴趣转化成欲望的时候，他才会有购买的行为。或者当他对你的产品有印象后，再见到你的产品时，他会产生购买的行动

AIDMA 这个策略就是将你换到客户的位置上，根据各个阶段（也就是注意、兴趣、欲望、记忆、行动）来具体分析如何获得用户的关注，最后让用户产生购买行为。我们可以在这个表里写下每个客户在当时的情况以及当时他的需求，针对这种情况和需求，你去设计如何让客户获得你产品的各种特性和信息

进一步分析

问题场景：获取客户的各个阶段

AARRR 也叫做“海盗模型”，它把获得客户到最后变成收入之间分成了 5 个阶段，包括获得客户阶段、让用户活跃起来的阶段、留存住客户的阶段、产生购买用户的阶段以及用户传播阶段。通过这 5 个阶段，我们可以把用户从开始和你接触到最后你可以从用户身上盈利的这一整体流程，在模型里阐释清楚。你可以设置每个阶段的目标以及要用户体验到的内容，最终我们可以通过数据分析来看差距

进一步分析

问题场景：确定目标是否明确

每次我们在制定目标的时候，你可能经常会听到你的领导说这个目标并不 SMART，他不是说你不聪明，而是指你的目标无法很明确地传达给下属和团队

SMART 原则就是首先要具体（Specific），结果可衡量（Measurable），制定的目标应该是可实现的（Achievable），所有的这些动作和言论都是结果导向（Result based），所有的目标都是有时效性的（Time-bound）。符合这 5 个因素，才能够把我们的目标写得更清楚

进一步分析

问题场景：反思和改进自己的业务

PDCA 来自著名的戴明环，它是将一个任务按照顺序从计划到执行到检查，再到改善行动，重新去规划，而且不是运行一次就结束，是不停地循环下去

你可以在这个框架里填写要去反复执行来提高的目标，做相应的计划（Plan），再根据设计和布局进行具体运作，实现计划中的内容（Do），再检查和总结我们能否达到目标，找到哪些对了哪些错了（Check），最后，对总结检查的结果进行处理（Act），然后再做新的行动计划（PDCA）。注意每一个动作里面的每一个目标都要有明确的数字，而不是简单去定性问题

进一步分析

问题场景：分拆工作职责，进行工作协同

在做一件事情的时候，往往会有很多人或者很多部门参与，这时候处理好人和人、部门和部门之间的关系就非常重要了

4个角色

注意

进一步分析

问题场景：寻找做事情的优先级和边界

一个人或者一个公司，都会有想做的事（Will）和自己能做的事（Can）和我们必须要做的事（Must），那么我们可以通过这个框架和团队一起头脑风暴，找到我们做事情的优先级

这三个方向的交集就是我们最高优先级要做的事情。在我们的团队能力提高之后，我们“能做”的这个圈就会越来越大；随着我们业务规模的扩大，我们必须做的事情会变多；随着我们公司市值和愿景上升，我们想做的事情也会越来越多。所以这三个圈中间的交集交得越多越大，我们公司和个人其实发展得也就越好

进一步分析

使用的不是非常复杂的 NoSQL 编程语言，而是用的很简单的 SQL 语言

宽表查询速度非常快，全球第一

ClickHouse 整体部署和维护安装比较简单，在数据量不是特别大的时候，一台服务器就可以搞定，普通的运维人员就可以维护

更多针对的是个人数据

数据量大

每行的信息量（也叫熵）很小

需要人工智能的数据挖掘算法

业务支撑
【辅助决策类动作，我们现在很多时候被大数据遮蔽了双眼，忽视了小数据的价值，以为传统数据分析理论是初级，最终是要走向人工智能的，
其实这是两条平行的路，走在不同场景的应用中】

企业经营范围内的数据

数据量小

数据价值（熵）会非常大

数据分析理论

内核动力

平均住房面积

平均工资

算数平均值

几何平均值

平方平均值

调和平均值

加权平均值

1. 平均值是用所有样本数据计算的，容易受到极端值的影响。在不少情况下，平均值是没有价值的，它无法客观准确地反映数据整体情况

2. 整体平均值是在数据呈均匀分布或者正态分布的情况下才会有意义，如果忽略整个数据的分布情况，只提平均值，其实是没有意义的

3. 整体平均值不能代表各分组情况，分组结论和整体平均值结论可能会大相径庭

1951 年由 E.H. 辛普森提出

在分组比较中都占优势的一方，有的时候在总评中反而是失势的一方

“质”（命中率）与“量”（投球数）是两个维度的数据，如果全部合并成“质”（命中率）这个维度的数据，那就会出错了

启示

“质”与“量”是不等价的。所以当你不被大部分人所理解时，有可能是因为你选的路是一条少数人走的路。平均值和辛普森悖论告诉我们要抓大放小，不要因为某一个单项优势就洋洋得意，也不要因为局部失败就一蹶不振。生活，要有一颗平常心，我们的目标是让我们这一生的“人生平均值”逐步提高

只有对符合均匀分布和正态分布的整体使用均值才有意义，沟通交流只有基于共识才能有效，否则人们要么在寻求达成共识的路上，要么话不投机半句多

聚类和关联算法背后的哲学逻辑，断舍离，人的一生非常短暂，在值得投入的人和事情上面深度投入，不值得的事情一分钟都嫌多

先胖不算胖，后胖压倒炕

赢得了每一场战役，却最终输掉了整个战争

整体的平均值不一定能代表整体，还要考虑个体是否符合均匀分布或正态分布。用平均值来评价缺乏起伏的一生无可厚非，对于大起大落的人生则有失公允

我们还远未到盖棺定论的时候。依据辛普森悖论的提示，找到隐藏在整体平均值下的分组平均值，也就找到了自己的优势和劣势。你可以选择填补自己的短板，也可以根据比较优势理论，将资源投入到你更擅长的事情上，猛投2分球。哪种选择更好？这是另一个价值观上的取舍，但至少要先认识到自己有选择

贪心策略适用的前提是：局部最优策略能导致产生全局最优解。没有这个前提，会走入局部最优整体劣势的错误结果

对于数据的合理解读，比获得数据、罗列数据更为重要

国家的政策也正由局部最优向整体最优调度，我们自己耐心做好自己的人生优化，拥抱整体胜利

我们在去抛硬币的时候，虽然每次抛出正反面的概率应该各是 50%，但是我们抛 10 次却不一定是 5 次正面、5 次反面——因为我们抛硬币的次数不够多，最后反映出来的结果也并不够客观。换句话说，你看到的结果都是各种偶然的极端情况。

大数定律是由瑞士数学家雅各布·伯努利提出来并验证的，它的核心逻辑是说当随机事件发生的次数足够多时，发生的频率才会趋近于预期的概率

理解这个“足够多”，其实也就是我们理解这个问题的关键。“足够多”数学上叫“无穷大”，生活里也会叫做“足够大”。你有没有想过，那么数量多大才叫“足够大”呢？10 次肯定是不行的，那应该是 100 次，还是 1000 次？

小数定律是科学家阿莫斯·特沃斯基等人在研究“赌徒谬误”时做出的一个总结

那么我们在赌场里玩轮盘赌大小时，如果前面开的都是“大”，那我们接下来应该向“小”去加倍下注。因为理论上长期来看出现“大”和“小”的概率应该是趋于一致的，所以未来出现“小”的概率应该增大。是不是事情真会像我们想的那样呢？还真不一定，这就是一个典型的对大数定律的误读，它叫赌徒谬误，我把它叫做“小数陷阱”。

就拿轮盘赌来讲，虽然前面轮盘转出几轮“大”了，但其实后面每一次转出来“小”的概率还是不变的 50%，也就是说每次的事件其实和上一次的事件是独立且随机的，并不是前面都是“大”，后面开“小”的概率就会高

1. 对于大数定律来说，我们做事不要轻易跟风

2. 对于小数陷阱来说，我们要保持一颗平常心

3. 建立自己的“大数据定律”来规避“小数陷阱”

若干年前，读基督山伯爵，小说最后大仲马指出“等待和希望”是人类所有智慧的集合，从此这2个词作为我的人生座右铭，支撑我走过多个灰暗阶段。今天又得一词，慎始敬终，指导如何做事的终极智慧

多数人的数据思维错误
①迷信小概率事件的幸运
②轻视小概率事件的风险
③忽略大数定律下，艰苦学习不断超越自己这条路，比一次次抄近路宽敞得多快的多

如果有两种或两种以上的方式去做某件事情，而其中一种选择方式将导致灾难，则必定有人会做出这种选择

其他诠释

期望值

概念区分

当样本量 N 趋近无穷大的时候，样本的平均值无限接近数学期望（日常计算时时候相等）。这句话是不是听着很熟？
对，这就是大数定律（Law of Large Numbers，LLN）

1. 人都有一个特殊的心理机制，那就是倾向于记住一些不好的事情；坏事情的心理影响大于好事情的心理影响

2. 你在担心一件事情的发生之时，这件事情已经具备了发生的大多数条件【要不然也不会担心】

3. 墨菲定律的原理其实是由我们对于好事情和坏事情的期望值差异造成的。简单讲，印象深刻再加上担心的时候概率高，自然也就担心什么发生什么了。

方法

生活中的应用

1. 对平均值来说，你要学会为不同事物去分组，用更细分的数据来看待问题

2. 对于大数定律来说，要成事，其实需要我们不要有赌徒心态，要学会持续投入

3. 而对于期望值来说，平衡预期和未雨绸缪这两个词，希望你能够在生活中灵活运用

没有事情可以一蹴而就（平均值），我们需要努力足够多的次数（大数定律），学会规避风险（期望值）
这样最终在若干年后，企业和个人才能有一份满意的企业 / 个人数据报表

做最坏的打算，做最好的准备，这正是墨菲定律准备方法

破解墨菲定律，无非就是降低期望值和多做准备，而总在担心是不会改变结果的

随机

对照试验

所谓伪随机，就是看上去产生的过程似乎是随机的，但实际上是确定的

案例

医疗行业的临床医学

生物科学的基因遗传学

还是互联网黑客增长理论当中的 A/B 测试

幸存者偏差就是当取得资讯的渠道仅来自幸存者时，我们得出的结论可能会与实际情况存在偏差。因为这样做看上去结果的确是由随机对照试验产生，但在逻辑上是错误的，这其实是在用结果来倒推整个前期数据的产生过程

只要样本量足够大，就一定会出现一个“幸运儿”，能够“碰巧地”预测对所有的场景。

在章鱼保罗之外，其实有很多的预测者“牺牲”在了随机概率里，它们不够“幸运”不能被我们看见，只有章鱼保罗足够幸运，成为了能够被我们看到的“幸存者”。另外，从章鱼保罗自身的预测结果来看，你会发现其实我们只是看到了它预测成功的部分，忽略了它也有预测不成功的时候，这也是另一种幸存者偏差。

当我们不知道客观世界里一个问题的真正答案的时候，可以通过少量的数据来验证非常大的数据规律

并没有“预言帝”和“赌神”的存在，我们看到的只是大规模数据背后的“幸存者”

当你再看到类似“读书无用论”、“工作都是别人的好”之类的说法时，请你留个心眼，想想我们这节课讲的知识，这些说法到底是不是一种幸存者偏差？

当你看到一些“成功学大师”向你兜售一些成功心法时，不要盲从所谓的权威，如果有可能，我们最好站得高一些，从多个经济周期的维度去评判某件事物或者某个人

不要总想着如何从成功者那里学习如何成功，也要从失败的人那里总结为什么会失败，因为成功很大程度上来说，就是一个去避免失败的过程。毕竟别人的成功你不一定能复制，但别人踩的坑，你若不注意，很大几率你也会摔一跤【查理·芒格的思想亦如是】

1. 在我们工作和生活当中，一定要注意不能犯同样的“错误”——采用非随机的结果来证明我们的观点，更不能用幸存者偏差——拿结果倒推原因来解释我们的一些结论

2. 注意自己“不犯错”是一方面，另一方面我们也要学会“发现错误”，学习前人失败的经验教训

我们村二狗子大学毕业找不到工作，去工地搬砖了个，所以上学无用。用单个个体得出某结论，非常荒谬，这个过程忽略了沉默的数据
还有女博士，前几年似乎被黑的也挺狠

事实上，“沉默的数据”永远要比实验数据更多，一定意义上来说我们得到的结论都存在一定的“偏差”，也就是通俗意义上讲的“认知局限”，只不过随着大数据的不断发展，这种局限性和偏差越来越小

直方图最早是由数据统计学家 Karl Pearson 在 1891 年引入，它可以用来统计现实生活中各种各样的数据分布情况

直方图可以让你从混沌的数据里面找到其中的规律

简单区分直方图与柱状图

从直方图体现出来呈指数下降或者上升的分布形式，科学家们把它叫做“幂律分布”

幂率分布也叫做指数分布，你会发现在这种分布里，X 轴的开始的地方数值很高（或很低），然后以指数级的下降（或上升）到 X 轴的末尾段，按照统计学定义叫做：“分布密度函数是幂函数的分布”

马太效应

二八法则简单来说，就是 20% 的人占了 80% 的资源，剩下 80% 的人分最后 20% 的资源。这个法则诞生于帕累托的花园。有一天帕累托偶然发现，自己园子里绝大部分的豌豆是由园子里极少部分豌豆荚产生

法则的背后原理就是幂律分布

在互联网领域里才会有这么一句话：一个领域只有第一、第二，没有第三

幂律分布与帕累托法则其实都强调了重要的少数和琐碎的多数，从某种意义上来讲，世界从来都不是平衡的

启示

工作中的应用

天之道，损有余而补不足；人之道，损不足而济有余。越是自然形成的越符合正态分布，越是人为制造的越符合幂律分布【天之道，均值回归；人之道，马太效应】

最早用正态曲线描述数据的人，就是那位你我都熟知的德国著名数学家高斯，为了纪念他，有时候我们也把正态分布称为高斯分布。在德国，十马克的纸币上都留有高斯的头像和正态分布的曲线

正态分布这个名字不是高斯取的，而是由达尔文的表兄弟弗朗西斯·高尔顿命名。高尔顿开创了遗传学的统计研究，并用正态曲线来表明他的研究结果，这个名字后来广为流传

定义：如果一个量是由许多微小的独立随机因素影响的结果，那么就可以认为这个量具有正态分布

两头低、中间高然后左右轴对称的钟形曲线

应用

大数定律研究的是随机变量序列依概率收敛到其均值的算术平均，说白了就是为了说明频率在概率附近摇摆，也为我们将频率当作概率提供了依据

大数定律在抛骰子这件事上，大数定律说的是只要你抛的次数足够多，骰子每一个面向上的概率应该都是 1/6

而中心极限定理要求的是独立随机样本，在中心极限定理下，随着样本数量趋于无穷大，独立随机样本和独立随机样本和的分布会越来越像正态分布

中心极限定理。比如你抛 6 次骰子发现求和是 18，你又抛 6 次发现加起来是 20，你又抛了 6 次，这次发现加起来是 25。如果你抛的次数足够多，你把 18、20、25 等这些数据画出一个图来，这个图是符合正态分布的

大数定律和中心极限定理说的不是一个维度的事情。大数定律算的是概率，中心极限定理算的是样本和的分布

拉普拉斯分布是一个“凸”字形的塔尖儿曲线，从左到右，斜率先缓慢增大再快速增大，到达最高点后变为负值继续先快速减小，最后再缓慢地减小，所以有点像“往里边凹陷的金字塔”

对比正态分布的概率密度函数图像，我们可以看到拉普拉斯分布图像是尖峰厚尾的，塔尖上的那些，就是我们看到的稀缺资源

全国的城市房价分布、一个城市当中的小区房价分布现在也是符合拉普拉斯分布的。因为在信息透明和市场竞争的情况下，工资、房价、股票都会符合一个特点：越塔尖的个体越具有资源吸附能力。那么在整体资源恒定的情况下，这已经不是一个简单的符合随机分布的市场了，简单来讲，“大势”变了

“Work Hard, Play Hard”，因为这句话背后的含义其实是指当你要获得更多的自由的时候，你也要付出同等的甚至更多的自律（控制自己既能使劲玩也能使劲工作）。当今社会的人才分布是呈拉普拉斯分布的，我们要争取做顶尖，这样才会有更多的资源和机会

三个原则

趋势

常见雷区（错误点）

离散系数 = 标准差 / 平均值

规避了单位或者其他因素的这些差异

衡量数据的差异程度

衡量一个人或者一个团队的稳定性

代表着一个行业里面的波动情况

标准差是针对确切一次的已知统计结果，反映的是在一次统计中，个体之间的离散程度，也可以说标准差是针对具体实例的描述性统计

标准差（Standard deviation）= 一次统计中个体分数间的离散程度，反映了个体对样本整体均值的代表性，用于描述统计

标准误差代表一种推论的估计，它反映的是多次抽样当中样本均值之间的离散程度，也就是反映这次抽样样本均值对于总体期望均值的代表性，它主要是用于推断整体情况预测和推算使用

标准误差（Standard error）= 多次抽样中样本均值间的离散程度，反映了样本均值对总体均值的代表性，用于推论统计

标准差针对已经发生的事情，它是平均值的一个补充标准。而标准误差是多次抽样当中对样本离散程度的描述，用于推论中使用

我们常见的六希格玛（Six Sigma），其实就是指所有的产品质量问题需要控制在 6 个标准误差里面

你听到的产品质量或者运维故障控制在 3 个 9 或者 5 个 9，说的也是误差范围。5 个 9 的意思就是 99.99966% 的产品是没有品质问题的

在一个标准误差范围里，大概就是图里面的 68.3%；两个标准误差范围里也就是距离均值（标准件）的 95.4%；三个标准误差就是 99.7%；6 个标准误差（也就是 6-sigma）也就代表着要控制到在生产的产品中，有 99.99966% 的产品是没有品质问题的（每一百万件产品中只有 3.4 件有缺陷）。

我们中国人其实是比较喜欢“中庸”的这种感觉，用标准差的视角来看，就是自己做事做人的标准差要小

“严于律己，宽于待人”

《行为科学统计精要》

标准差让我想起了一个词，叫“长期主义”，大部分时间变化不大的情况下长期做一件事情

简单随机抽样

系统抽样

分层抽样

整群抽样

舍恩伯格《大数据时代》的三个思维

大数据并不是否定统计学，大数据是一个综合了统计学、工程学、人工智能等的综合学科，扩展了这些学科的边界。

需要抽样的原因

蓄水池算法

过采样和欠采样

古人说“管中窥豹，可见一斑”，那么对应到我们的数据分析上，说的就是合适的数据抽样算法能够由点及面地看到事物的全貌。

上证指数

用户忠诚度指数

智商

数字中国，最关键的是各种指数的定义和修正机制的建设

德鲁克说过，如果一件事你无法衡量它，你就无法增长它。指数的作用便是如此

典型的因果倒置就是天亮了鸡就开始打鸣，但是我们不能说是因为鸡打鸣导致了天亮

往往由于我们对事实的逻辑不清楚，我们会把事件的结果当成原因，这就会导致我们得到一些荒唐的结论（鸡打鸣导致天亮）。最终，如果我们按照这个数据结论进行操作，往往得不到我们想要的结果，还可能造成严重的危害

所以当我们看到数据结果的时候，一定要仔细推敲其中的业务逻辑，同时进行反向测试

因果是充分条件，而不是必要条件

不要轻易下因果关系的结论，相关并非因果。

当我们在日常生活和工作当中看到两个数据强相关的时候，即使不能把它们当成因果关系，也可以顺藤摸瓜找到可能的原因，再用业务逻辑或者实验去验证这个可能的原因是否为真实原因。缺乏业务逻辑的数据，永远只会是数据。缺乏数据的业务逻辑，也永远只是在纸上的一个业务逻辑图而已

统计数据本身因果逻辑成立，但是以偏概全

伯克松悖论指的是当不同个体被纳入研究样本的机会不同时，研究样本中的两个变量 X 和 Y 表现出统计相关，而总体中 X 和 Y 却不存在这种相关性

看上去有因果关系的数据，还要看数据集的比对性才可以给出数据最终的结果

很多统计结果其实是被操纵的，他们把某些机缘巧合之下比较好的结果的相关数据放到一起，去证明一个不可能的事情，但是如果你再换一组数据，那么你就没有办法证明这个因果关系

在看最终数据分析报告的时候，一定要看它的数据是不是先有枪眼再画靶子，或者先找到满意的结果再给你看统计数据，我们需要的是通过大量的随机样本给出的结果

有一些数据在分析和统计时，由于时间长度不够，会造成数据统计的结果不准确。这个在学术上我们叫做“替代终点问题”（ surrogate endpoint problem）

所以对于现在各种各样的保健品，如果它的宣传的作用是可以延年益寿的话，那大部分都是收你“智商税”的，因为这种测试非常难以完全实现。即使服用这些药物的人最后长寿了，那也不能够代表这两种之间存在着因果关系，很有可能只是前面讲到的相关性

风险投资人在选择创业公司的时候，其实是靠大的方向和辨识团队来进行投资，而不是靠具体某些数据来表明这个创业公司是否靠谱。因为相对一个创业公司来讲，公司的成立时间太短了，公司的数据不代表趋势，这就是替代终点问题

1. 打篮球真的能让人长高吗？这很有可能是因为长高的人都会去打篮球，而不是打篮球让人长高——因果倒置

2. 喝咖啡可以长寿？常喝咖啡的人一般都是白领阶级，他们的营养供给更高，所以他们可以长寿，而不是因为咖啡让他们长寿——相关性而非因果关系

3. 吃不吃早饭其实和你肥不肥胖没有什么关系，运动健康才和你的肥胖有关系——相关性而非因果关系

4. 爱笑的女孩子通常运气都不会太差？爱笑的女孩其实运气也有差的，最后她就不笑了，事实是因为运气好的女孩她们才会爱笑——因果倒置

5. 会撒娇的女人更好命？女人好不好命其实与另一半或者周围的人和环境更有关系，而不是和你会不会撒娇有关系【环境、另一半好，更可能允许撒娇】——需要找到遗漏的 X 变量

6. 所以看上去是虱子使人健康，其实是体温高导致虱子不栖息在人身上。所以，岛上居民的结论应该是看到没有虱子的人应该让他去就医，因为他发生了疾病。在原始部落并没有体温计，这个结论的确可以帮助到他们，而不是盲目的相信“虱子让人健康”

星座判断人的性格，以偏概全，和广告投放的例子类似。星座判断的比较准的人会告诉别人，不准的人一般不会宣传出来。得到的结果是星座判断人的性格很准。另外，星座判断人的性格，有些性格写的比较模棱两可，让人看了之后会往上想，确实是那样

所谓的“星座判断性格”其实可以用巴纳姆效应（Barnum effect）来解释，也就是说人很容易相信一个笼统的一般性的人格描述，并认为它特别适合自己并准确地揭示了自己的人格特点，即使内容空洞。而在实际的生活环境中，也有很多处事圆滑的人善于用这类的说辞来社交周旋

星座其实是心理学和统计学的博弈

很多事情并不是因为有兴趣才做的好，而是因为做的好才有兴趣

准确率 = 预测正确的样本数量 / 预测总的样本数量

精确率，英文叫做 precision，也叫作 P 值、查准率

精确率为预测正确的正例 (TP) 在所有预测为正例的样本中出现的概率，即分类正确的正样本个数占分类器判定为正样本的样本个数的比例

精确率 =TP（指马为马）/(TP（指马为马）+FP（指鹿为马）)

召回率（recall，也叫作查全率）。召回率用官方的说法是预测正确的正例 (TP) 在原始的所有正例样本中出现的概率，即分类正确的正样本个数占真正的正样本个数的比例

召回率 =TP（指马为马）/(TP（指马为马）+FN（指马为鹿）)

置信区间估计是参数估算的一种，它是用一个区间来估计参数值，英文叫做 confidence interval 也就是一定信心下的区间。这个信心我们可以用前面讲到的准确率来去衡量，这个时候准确率有了一个新名字，叫做置信度。刚刚提到的 95%、100% 就是置信度，[0，750]和[600，630]就是置信区间

准确率衡量整体准确情况

精确率规避指鹿为马

召回率是保证马都能认出来，避免指马为鹿

置信区间和置信度是用来表示识别出来的范围以及你在这个范围内的信心

生活和工作做决策的时候也是如此，现实世界里很少有“两好选其优”的机会，大部分都是“两害取其轻”。究竟哪个害处更大不可接受，我们要自己衡量好

线性回归对异常值影响非常敏感，往往一个异常值就把一个预测带歪了

所以我们在做分析的时候，经常会先通过聚类或者后续其他算法剔除这些异常点。当然，很多时候你并不确定这些点到底是异常值还是实际数据的规律，所以你需要非常有经验的数据分析师和算法专家来参与

数据挖掘难的不是算法，而是准确去掉异常点、找到影响因子这些算法之前的数据准备工作

用于分类问题

在使用这种多项式回归的时候，最常见出现的问题就是过拟合和欠拟合

只能够推断出一个变量对另一个变量有依赖关系，但并不代表他们之间就会有因果关系，因果关系的确立必须是来自统计之外的一些业务依据

两个变量之间有回归逻辑，不代表着两个变量之间有因果逻辑

身材高大的双亲，子女不一定高；身材矮小的双亲，孩子也不一定矮。高尔顿把这个现象叫做回归平凡，后来的统计学家把它叫做“均值回归”，意思就是实际发生的数据比我们理论上的预测更加接近平均值，整体趋势上会慢慢向一个平均值发展

对于任何优秀的人和团队来说，很多时候其实是运气、能力、时机多种因素来造就成功的。好的没你想得那么好，差的也没有你想得那么差，最终还是会回到平均水平

我们不要过分夸大优秀者的能力，也不要因为某几次失败就一蹶不振，过度小看自己。只要你不懈努力，就算你现在在谷底，也最终会到达平均值水平，甚至超过平均值

所以对我们自己的工作和生活来讲，用一颗平常心不断去提高自己的平均线水平才是正确选择

1. 选大哥，找聚类中心的问题

2. 找小弟，解决距离表示的问题

3. 帮派会议，聚类收敛方法问题

世间万物都有一定的联系，你应该听说过这样一个说法：一只南美洲热带雨林的蝴蝶扇动了几下翅膀，两周后美国得克萨斯州就形成了一个龙卷风

当你去美国沃尔玛超市，你会看到一个非常有趣的现象：货架上啤酒和尿布经常放在一起售卖。这两个看上去是完全不相关的东西，为什么会放到一起卖呢

支持度（support）：某个商品组合出现的次数与总次数之间的比例，也就是这个商品组合整体发生的概率怎样

置信度（confidence）：购买了商品 A 后有多大概率购买商品 B，也就是在 A 发生的情况下 B 发生的概率是多少【条件概率】

提升度（lift）：衡量商品 A 的出现对商品 B 的出现概率提升的程度

如果支持度很小，证明大多数人不会将这种组合进行购买。如果置信度低，代表即使两个商品销量都不错，但他俩的关系也不紧密。我们想要做的是要找到置信度高且支持度高的场景

如果一个组合是频繁组合，则它所有的非空子集也是频繁组合——连坐，一家子都是明星组合，任何跳出来两个人也都是明星组合

如果一个非空组合是非频繁组合，则其所有的父集也是非频繁组合——连坐，如果有一个人不是明星，他和谁组合都不会是明星组合

这种方法能够帮我们去掉很多没有必要测试的组合。这样我们再去分析余下组合的支持度和置信度，就可以得到我们的最终要的规则了

Apriori 算法的优点是可以产生相对较小的候选集，而它的缺点是要重复扫描数据库，且扫描的次数由最大频繁项目集中项目数决定，因此 Apriori 适用于最大频繁项目集相对较小的数据集中。后续的 FP-growth 算法修正了这些问题。当然用于关联规则挖掘算法还有很多，例如 setm、Eclat 等等

1. 找出所有频繁组合

2. 由频繁组合产生规则，从中提取置信度高的规则

它需要有足够的数据才能发现这些规则，而在现实世界中想获得这些足够的数据可不容易。而且如果获取的数据出现偏差，关联规则会容易得到错误的结果，还可能生成太多无用的规则

所以在使用关联规则算法之前一定要通过业务的梳理，先规避掉有偏差的脏数据，选择最终真正对业务有用的规则

其实我们要和关联算法一样，把和你关联关系最强的那些事情把握住，把关联不强的这些事情舍弃掉。我们的一生非常短暂，学完这节课，你可以试试用关联算法的思想，盘一盘你现在手里的资源，看看能不能用“连坐”算法把整体无关的事务、人脉做到断舍离，留下精力把和你最强的关联关系的事情做好

蒙特卡罗算法原理其实很简单，就是每次计算都尽量尝试找更好的结果路径，但不保证是最好的结果路径。用这样寻找结果的方法，无论何时都会有结果出来，而且给的时间越多、尝试越多，最终会越近似最优解

举个例子，我们现在要用蒙特卡洛算法找到一个有 500 个苹果的筐里，最大的苹果。正常来讲，我们每次从筐中拿一个苹果 A， 然后下一次再随机从筐中拿出另一个苹果 B， 如果 B 比 A 大的话，就把 A 扔到另一个筐里，手里只拿着 B。这样如果我们拿了 500 次的话，最后留在手里的一定是最大的那个苹果

其实蒙特卡洛方法的理论基础就是我们前面讲过的大数定律。根据这个定律我们知道当随机事件发生的次数足够多时，发生的频率就会趋近于预期的概率

可以通过在正方形以及内切圆内进行随机打点，来计算圆周率

每次计算都尝试找到最好的答案，但不保证这次计算就能找到最好的答案，尝试次数越多，越有机会找到最优解

举个例子，假如有一把锁，给我 100 把钥匙，其中只有 1 把钥匙可以开锁。于是我每次随机抽 1 把钥匙去试，打不开就再换 1 把。我尝试的次数越多，打开锁的机会就越大。但在打开之前，那些错的钥匙都是没有用的。这个挨个尝试换钥匙开锁的算法，就是拉斯维加斯算法

如果问题要求在有限时间和尝试次数内必须给出一个解，但不要求是最优解，那就用蒙特卡罗算法。反之，如果问题要求必须给出最优解，但对时间和尝试次数没有限制，那就用拉斯维加斯算法

把这两种算法对应到工作和生活中，对拉斯维加斯算法来说，有些事情我们是需要精益求精，无论花多少时间都得把这件事情做细致做准确，否则后果可能会非常严重；有些地方反而是需要蒙特卡洛算法，在事情有大概比较清晰的方案的时候，要快速决策，否则如果把时间耽误了，反而最后获得的结果会更糟

有一种创业方法叫做“精益”创业，其实核心思想就是和蒙特卡洛算法类似：在有限的时间和有限的资源情况下，不要一直思考或者规划找到“最优解”，而是通过快速迭代原型产品，通过用户的反馈不断地修正自己产品的方案，以达到在有限的时间和有限的资源情况下得到较为不错的结果

蒙特卡洛算法是我们一直去努力，努力到自己满意了就可以停下来；而拉斯维加斯算法就要一直去努力，如果找不到最佳答案就誓不罢休

对于管理企业来说，我们要高维度思考，不要把我们的有限的时间和精力浪费在不必要的事情上，整体的做事思路是抓大放小。而重要的事情要用拉斯维加斯算法一通到底，任何细节都不要放过，确保随机事件的正确性

“完成比完美更重要。”（Done is better than perfect.）但完成之后不要忘记持续迭代，趋向完美

在我们工作和日常生活当中也有很多“马尔可夫链”：你现在的状态其实大部分都是由你上一个状态决定，没有人会走背字一直失败，也没有人能幸运到一直成功

你可以仔细想想，真正的失败，很多时候都是自己遇到失败后从此一蹶不振，走不出来失败的这个状态才造成的。“没有迈不过去的坎”这句话用马尔可夫链的视角来看，那就是现在自己的状态，只和自己上一个状态相关，和整体无关。所以吸取完教训后，调整好现在的心态，用现在去影响你的未来。

“Tomorrow is another day”——你的未来只取决于你当下在做什么，而不是过去你曾经做过什么，毕竟“明天，是新的一天”

在实际算法的应用过程当中，还有一种通过集体智慧来构成的复合算法，它可以寻找大量人群当中的行为数据模型规律，达成普通算法从单体上无法达到的效果。这种算法当中，最著名的一个算法就是协同过滤算法。

协同过滤算法源于 1992 年，最早被施乐公司发明并用于个性化推送的邮件系统（施乐公司就是那个发明了 GUI 界面，被乔布斯发现并创造了 MAC OS 的公司）。最早这个算法是让用户从几十种主题里面去选 3~5 种自己感兴趣的主题，然后通过协同过滤算法，施乐就根据不同的主题来筛选人群发送邮件，最终达到个性化邮件的目的

到 1994 年的时候，协同过滤算法开始引入集体智慧的概念，也就是用更多的人群和数据去获取相关的知识。它允许用户贡献自己的一些行为和反馈，从而创造一个比任何个人和组织更强大机制，自动给用户发送喜欢的文章

基于这个思路，施乐发明了著名的 GroupLens 系统。在这个系统里面，用户每读完一条新闻都会给一个评分，系统会根据这些评分来确定这些新闻还可以推送给谁。你看，今日头条的想法其实施乐在 1994 年就实现了

推荐系统需要同时具备速度快和准确度高两个特点（需要在用户打开网站几秒钟就要推荐所感兴趣的内容或者物品），而协同过滤算法正好满足了这两点要求，这也是这个算法经久不衰的原因。

亚马逊的网络书店，你每次去选择一本你喜欢感兴趣的书籍，马上就会看到下面有关于“浏览此商品的顾客也同时浏览”的推荐

B 站会根据你自己的资料和类似的人浏览的视频来帮你找到可能感兴趣的视频，例如你喜欢二次元，你看到的推荐大部分都是二次元的视频；像我这样技术宅的，给我推荐的就都是各种技术类型的视频

基于用户的协同过滤算法（User-based Collaborative Filtering）

基于物品的协同过滤算法（Item-based Collaborative Filtering）

基于数据模型的协同过滤算法（Model-based Collaborative Filtering）

这个算法就像是一个溺爱你的妈妈，永远会给你想要的东西，它并没有价值观，你会被“惯”得越来越没有节制，把时间全都花费到各种各样的短视频、小文章、和你钟爱的小圈子里，但最终你并没有什么拓展和收获

它不是一个严肃的爸爸，能告诉你你应该去学什么、哪些价值观是对的，这些其实是协同过滤算法无法做到的，只有通过人的选择和经验才能告诉你，你应该去学什么，而不是拼命满足你自己的某些爱好

你自己的心态应该更加开放，不要一股脑地追主流，毕竟主流和大众的不一定是最适合自己的，我们的圈子当中应该有个性化的东西

我们的价值观也应该更加地开放，不能就沉浸在自己的小圈子里。因为协同过滤给我们的都是我们所喜欢的东西，它的价值观并不一定是最好的，我们应该开放心态去接受和尝试各种各样新的主流的非主流的物品，用我们自己的经历和人生去判断

我们更不要沉浸在某些短视频或者网站根据我们兴趣推荐的碎片化文章里。因为它给我们带来的不是推荐，而是去束缚、固化我们的思维，让我们成为这个时代里的“井底之蛙”。毕竟我们要主导自己的人生，而不是让算法去主导我们的人生

人类一直在寻求一套能够替代人类自身的机制

1950 年，图灵发表了《Computing Machinery and Intelligence》其中提到了仿真游戏，这就是广为人知的图灵测试。图灵测试是指如果有一台机器能够与人类展开对话，且不能被辨别出来是机器的身份，那么就称为这个机器具有智能

1956 年，马文·闵斯基、约翰·麦卡锡和另两位资深科学家克劳德·香农以及内森·罗彻斯特组织的达特茅斯会议里正式把人工智能提出来，自此 AI（Artificial Intelligence）的名字和任务得以确定

最近 10 年出现可以打败人类自身的算法，是得益于 2006 年加拿大多伦多大学教授、机器学习领域泰斗、神经网络之父—— Geoffrey Hinton 和他的学生 Ruslan Salakhutdinov 在顶尖学术刊物《科学》上发表了一篇文章，该文章提出了深层网络算法，并在 2012 年利用 CNN 算法碾压了过去数年的分类等机器学习算法，取得 AlexNet 第一名，引起了人工智能的新一轮潮流

它们都是模拟人脑的多个神经元多层次连接方式，通过大量反复的反馈和计算来实现最后效果

RNN（Recurrent Neural Network）循环神经网络

CNN（Convolutional Neural Network）卷积神经网络

算法解决问题的三步走

当我们遇到类似像围棋这种非常复杂的博弈类问题的时候，我们其实很难用单一的某种算法来解决。我们会做一个算法系统，发挥每一段不同算法的优势，最终得到我们想要的答案

阿尔法狗最终的形态是由 4 个深度学习算法的大脑，加上一个蒙特卡罗树搜索的算法组成的

模拟人玩游戏

自动驾驶

画水墨画

医疗探索

尽管人工智能算法可以在很多有规则的竞争里超过人类，甚至现在很多人对人类十分悲观，觉得总有一天人工智能会像电影里那样奴役人类，但我一直都不这样认为。因为人工智能算法是没有灵魂的，因为它所有的计算其实本质上还是一个分类模拟器

人工智能算法是一个有监督的学习算法，无论通过什么样的方式去模拟，它都无法通过一个有规则的算法去适配当今无规则的现实世界，更无法去模拟人们的感情、灵感和创造力。所以我们不要“机械”地活着，要往生活里多注入一些热爱和创新才好。数据给你一双看透本质的眼睛，算法让你看清数据背后现实世界的规律