手机浏览器扫描二维码访问
1.1什么是因果推断
因果推断用于衡量一个行为的价值。即判断一个“因”能导致多少“果”。
比如说我今晚复习数学,明天数学考试能提升多少分。这是一个很难回答的问题,因为我无法同时知道不复习和复习后,我分别能考多少分,当前时刻我只能做一种选择并得到一个结果,另一个选择的结果是永远不可知的,这在因果推断里叫做反事实(conterfactual)。
因果推断往往会衍生出一个研究方向,因果发现。即判断一个行为是否和一个事件互为因果(推断是判断带来了多少果,发现是判断是否为因果)。比如冰棍卖的多和电费高往往同时出现,但他们不是因果关系,因为这种现象主要是天气热带来的。
1.2为什么要研究因果
1.2.1因果性≠相关性[2]
设想一个场景:大数据发现,穿鞋睡觉的人第二天往往会头疼。因此我们可以得出穿鞋睡觉和头疼相关,但这显然是反直觉的,客观规律告诉我们穿鞋睡觉不应该导致头疼。那但数据上为什么会呈现出这个现象呢?
原来是穿鞋睡觉的人大多都喝酒了,所以,真正导致头疼的其实是“隐藏”变量-是否喝酒。(这在因果推断里叫混淆变量,confounder)
深入思考一下,我们为什么会得出”因为穿鞋睡觉所以头疼“的错误结论,那是因为我们隐含的观察到“不穿鞋睡觉不头疼“,两组数据对比下得出结论。但是这个结论错误的关键是,两个集合里喝酒的人分布是不一致的,真实的因果是喝酒所以头疼,因此这里会有数学上的“辛普森悖论”。
因此,这个场景我们只能说穿鞋睡觉和头疼有相关性,但不能说他们互为因果。即相关≠因果
1.2.2因果推断>相关性分析
为了对比因果推断和其他的机器学习问题,学术界提出了三层的因果之梯[3][4]:
相关(Association,观察):解释p(y|x),即已知x的条件下,y会怎么样。这是大部分场景下机器学习所面对的问题,如上一节所述,相关≠因果,故常规的机器学习方法无法处理因果问题。以上面的case为例,假设x=穿鞋睡觉,y=头疼,则该层级会看到两者相关性很高的“假象”。
干预(Intervention,行动):解释p(y|do(x),z),即做某个行为x后,y是怎么样的。比如上面的例子,干预穿鞋睡觉的行为x,单独分析穿鞋睡觉(即do(x)=1)和不穿鞋睡觉(do(x)=0),在不同喝酒状态下的头疼(y)分布。这个层面可以分析出穿鞋睡觉对头疼可能无影响。但无法判断每个人穿鞋睡觉会不会导致头疼,因为观察不到。
反事实(Counterfactual,想象):解释行为x对结果y的影响,即我做了x和不做x,对结果y的影响程度。这是因果推断要解决的问题,比如上面的例子,我不仅看到每个人不穿鞋睡觉头不痛的现象,还能反事实的推断出每个人穿鞋睡觉头不疼,进而得出穿鞋睡觉对头疼的具体影响程度。
上面的解释说明,相关<干预<反事实(即解决反事实问题的方法可以处理干预和相关问题,反之不成立)。传统的机器学习方法是处理相关性问题的,而因果推断关注反事实层。因此因果推断能解释的事情,将比传统的机器学习方法更“高级”,也更贴合日常的需要
2.基础理论
2.1业界流派
因果推断是根据一个结果发生的条件对因果关系得出结论的过程。存在两种研究方法[5]
实验性研究:通过大量随机对照实验(RCT)得出结论。因果推断的难点在于反事实,因此对照实验需要“足够随机”。对上面的例子而言,我们需要在实验组和对照组中确保喝酒的比例是均等的。这是代价昂贵且费时费力的。
观测性研究:对于已有的观测数据,通过建模进行因果关系的研究。这种方式对数学的要求较高且存在准确率的问题,但可操作性强。
显然,实验性研究是理论上最完美的方式,但实际中我们不可能穷举类似“喝酒状态”这种影响因和果的因素,随机对照试验的成本是极大的,仅存在理论的可能。业界的研究重点是,如何优化观测性研究的方法,使其准确度逐步逼近实验性研究。
当前,观测性研究存在两大流派,分别是pearl创立的结构因果图模型(SCM)和Rubin创建的潜在结果模型(RCM)。[6][7]
2.2变量定义与说明
为了便于后续介绍,这里先对因果推断的常用变量做一个说明。黑色粗体为重要定义,TreatmentEffect是衡量干预效果的指标,也是我们期望优化的目标以及模型的输出[5][7][8][9]
2.3因果分析流程
介绍推断的具体方法之前,我们先说明因果分析的流程。如下图,主要有两个步骤[1][10]:
Identification(因果识别):基于观测数据,输出不同干预下的统计分布(即“原因因子”状态不同时结果因子的分布),以分布的gap作为衡量因果关系的依据。SCM模型主要解决这部分问题(并不是说SCM不能做后续的推断)
Estimation(因果推断):根据统计结果,做反事实的推断,以反事实与观测的gap作为效果大小的衡量,这个过程叫Estimation。RCM模型重点在这部分
想减肥想减肥好吃,防护服减减肥进去刺骨寒风
喜欢觉醒失败后我回山里种田请大家收藏:()觉醒失败后我回山里种田
易婚之年,禁欲霸总夜夜癫 烈虎军 御兽系统?白毛小萝莉罢了 HP:月下满河星 综影视:宠妃当道 飞升九重 院士13岁!八零小村姑轰动全国 穿成带崽女配后我被总裁们疯抢 浴火重生,凤女也恐婚 养仙系统:摆烂后的逆袭之路 被校花所吸引,她问我还不表白? 被读心后,我成了夫家的团宠 开局三个村民:我的帝国时代 南明崛起 天涯何处不相顾 危险关系:禁欲上司夜痴缠 占有,撕碎,吞噬 请叫我倒霉者 惊天大瓜!小弃儿竟是大佬儿子 重生之七零后的修行之旅
虞珂穿书了,穿成了真假千金文里的炮灰真千金。不仅如此,还全家惨死,身边更是炮灰云集,死的一个比一个惨,她撸起袖子决定拯救这群小可怜,结果第一次,她被人从楼上推下来摔死了。第二次,她被人拿刀砍死了。第三次,她被人绑架后扔海里喂鱼了。虞珂悟了,让他们通通都去死,老娘不救了,她收拾东西连夜跑路。第一次,她当社畜,...
夏小汐墨夜霆简介emspemsp(又名花似烟情柳似心)(主角名夏小汐墨夜霆)被亲妹妹算计,抢走家族荣誉还不算,连青梅竹马的未婚夫也被抢走!夏小汐发誓,要报仇!伙同男闺蜜制造复仇计划,咦?结婚证上这是谁?一不留神嫁给男闺蜜...
十六岁时被告知自己是变种人,从此我告别平凡的高中生活,进入特工学院开始了严酷的训练。在这里,每个学生面临的,除了体内变异动物基因的激活,还有为了仅有的一个特工名额的生死决斗。而踏着同伴的鲜血走到...
岑溪一个现代成年人,穿越到架空的古代也就算了,居然还穿到了十三岁孩子的身体。不仅被迫接受了邻居大娘的托孤,要嫁给傻子!随便在门口捡了个哑巴,居然是来讨债的王爷!好吧,这些都认了。那为什么还有一个小毛孩,吵吵嚷嚷要傻子退婚?!关键小毛孩的身份还惹不起,因为他可是皇后托孤给自己的!岑溪哀嚎,她这是什么奇特的托孤体质?!女版诸葛亮?!小毛孩和她的债主王爷争江山,这个局她怎么破?!傲娇王爷笑眯眯凑过来。这局,本王来破!岑溪推开近在咫尺的俊脸。你?!一边待着去!傲娇王爷蹲在屋顶,偷看自己媳妇睡觉。怎料到,媳妇身边躺着那个粘人精傻子!顿时酸的咬牙切齿!主子,属下把那傻子抗走,换主子去睡。傲娇王爷小嘴一撇。那多不好。翌日,某王爷被一脚踹下床去~如果您喜欢农门娇女之逆袭小王妃,别忘记分享给朋友...
密爱100分总裁宠妻无下限简介emspemsp顾小夕很不解,不就是聚了一次餐吗?她怎么就跑到别人户口本上去了。还有。这个宠妻指数爆表,男性荷尔蒙直线递增的男人。真的是她结婚证对象?顾小夕这辈子走过最长的路,就是聂霆深的套路。聂霆深。一个以...
偶尔能做预知梦的大哥文能飞针走线纳鞋底子武能打遍村中无敌手的二姐过目不忘尤其喜欢数钱的三哥以及穿越后突然就发现自己能听懂鼠语的穿越小妞种田?灾荒?战乱?不怕,看一家子奇葩凑到一起,如何发家致富逆天改命!田小满表示老天爷啊,自己就是普普通通穿个越,怎么穿着穿着就有点一发不可收拾,带全家崛起了呢!...