汽车资讯
栏目导航
  1. 社会新闻
  2. 历史咨询
  3. 女性生活
  4. 热透新闻
  5. 法律在线
  6. 军事新闻
  7. 财经资讯
  8. 金融新闻
  9. 星声星语
  10. 娱乐新闻

汽车资讯

主页 > 汽车资讯 >

ICLR 2020 反事实因果理论如何帮助深度学习?_科技

发布日期:2020-05-20 09:36   来源:未知   阅读:

以深度学习为代表的表示机器学习取得了巨大的成功,尤其是在特征提取的能力方面。但是与此同时,一个巨大的问题是深度神经网络的黑箱问题和不稳定性问题。其中的一个根本原因,是基于相关性的统计模型容易学习到数据中的“伪关系(spurious relation)”,而非因果关系,从而降低了泛化能力和对抗攻击的能力。

以深度学习为代表的表示机器学习取得了巨大的成功,尤其是在特征提取的能力方面。但是与此同时,一个巨大的问题是深度神经网络的黑箱问题和不稳定性问题。其中的一个根本原因,是基于相关性的统计模型容易学习到数据中的“伪关系(spurious relation)”,而非因果关系,从而降低了泛化能力和对抗攻击的能力。

一个潜在的方向,就是采用从 90 年代以来以 Judea Pearl 为代表的研究者们提出的因果推断理论来改进现有的表示学习技术。然而,因果分析框架和表示学习并非天生相容。因果分析通常是基于抽象的、高层次的统计特征来构建结构因果图;而表示学习则基于海量数据提取具体的、低层次的表示特征来辅助下游任务。为了结合这两者,MILA 的 Yoshua Bengio 提出了 System 2 框架,Max Planck Institute 的 Bernhard Sch?lkopf 提出的因果表示学习框架。这两者实际上的思考是一致的。

在本文中,我们将会讨论 ICLR 2020 上因果表示学习的 2 项有代表性的工作:如何利用因果理论中的反事实(counterfactual)框架来提高算法的稳定性和可解释性。

Learning the Difference That Makes A Difference with Counterfactually-Augmented Data

近年来,深度学习在自然语言处理领域获得了巨大的成功。但是,质疑声也一直不绝于耳,尤其是关于深度学习容易学习到语言数据集上的伪关系(spurious relation)的问题一直没有得到解决。因果推断理论告诉我们,这是由于混杂因子(confounding)造成的。