一个忙碌的夏天为AMISTAD实验室演讲
2022年9月27日
2022年7月, AMISTAD实验室派出了两名学生, Nico Espinosa Dice和Ramya Ramalingam, 在2022年国际神经网络联合会议上展示他们冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司监督学习的信息论泛化界限的研究, 在帕多瓦, 意大利. 由谷歌和英伟达赞助, 会议由国际神经网络学会和帕多瓦大学主办, 世界上第五古老的大学, 哥白尼曾经是这里的学生,伽利略曾经是数学系的主席.

学生们展示了他们的论文, “通过偏见和能力的约束泛化误差”(与Megan Kaye ' 22和CS教授乔治Montanez共同撰写)面向大学生和教授的国际观众. 在论文中, 他们利用机器学习文献中的最新理论成果,推导出一种学习算法在训练中没有见过的新例子上的表现有多差的界限. AMISTAD认为,记忆能力过剩的算法会成为死记硬背的学习者,无法泛化到新的例子, 他们证明了低容量直接限制了未来的泛化误差. 这项工作是第一次在算法搜索框架中引入泛化界限, 一个将机器学习和人工智能理解为一种反馈信息搜索过程的正式系统.
Dice是康奈尔计算机学院(Cornell CS)的一名即将入学的博士生,他将在一家加密货币初创公司延期一年,Ramalingam是宾夕法尼亚大学(University of Pennsylvania)的一名计算机科学博士生. 这次演讲得到了利兹学生会议基金的慷慨支持, HMC的数学系和计算机科学系, 以及教师启动资金.
- 论文:Ramalingam R, 埃斯皮诺萨骰子N, 凯米, Montanez G, 通过偏差和容量的边界泛化误差.2022年国际神经网络联合会议(IJCNN 2022), 7月18日至22日,意大利帕多瓦.
- 摘要:冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司通过算法容量和归纳偏置的向量表示来推导学习算法的泛化界. 利用算法搜索框架, 将机器学习作为一种搜索的形式, 冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司根据偏差的向量表示和假设与数据集之间的互信息,提出了对泛化误差上界的统一解释.
8月. 2, 24岁的William Yik和21岁的Rui-Jie Yew Scripps (AMISTAD的校友,现在是麻省理工学院计算机科学系的硕士生)向来自世界各地的近200名研究人员展示了他们的研究 AAAI/ACM人工智能、伦理与社会会议. 会议, AAAI组织, ACM, 和ACM SIGAI, 是在牛津大学举行的, Keble大学, 世界上最古老、最负盛名的大学之一. 会议赞助商包括美国国家科学基金会、谷歌、Meta、索尼和IBM.

会议的焦点是人工智能系统的伦理和社会问题, 两份报纸都找到了积极响应的读者. Yik的论文专注于训练数据中的偏见问题,并开发了发现它的方法. 他的工作是2021年夏季研究的一部分, 还有来自比奥拉大学的学生Limnanthes Serafini和Timothy Lindsey. 乔治Montanez. 本文提出了新的统计假设检验,以排除数据集的来源是否可以合理地认为是无偏的, 使用易于指定的例子来说明无偏见的生成是什么样子的. 这种方法不同于该领域的典型工作, 谁经常检查机器学习系统输出的公平性,而不是它们的输入. Yew的工作提出了一种减轻人工智能系统危害的公共政策方法, 利用现有合同法的灵感.
Yik的 论文(附短片); 以外行的方式介绍工作.
- 引文:使用双分布假设检验识别数据偏差
William Yik, Limnanthes Serafini, Timothy Lindsey和George D. Montanez
2012年AAAI/ACM人工智能、伦理与社会学术会议论文集
2022年7月. 831 - 844页. http://doi.org/10.1145/3514094.3534169 - 摘要:随着机器学习模型在重要决策过程中的应用越来越广泛, 识别和减轻潜在偏见来源的需求已大大增加. 使用双分布(指定复杂度)假设检验, 冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司在不需要训练模型的情况下,根据提出的分布识别训练数据中的偏差, 将冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司的方法与常见的基于输出的公平性测试区分开来. 此外, 冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司的方法允许冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司返回给定数据集的“最接近的合理解释”, 潜在地揭示了产生它们的过程中潜在的偏见. 冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司还表明,该假设检验的二项变化可用于识别某些方向的偏差, 或者走向某种结果, 然后再给出一个最接近可信的解释. 这种二项变化的好处与其他假设检验进行了比较, 包括准确的二项式. 最后,使用两个真实世界的数据集展示了冰球突破正规网站9170-冰球突破正规网站9170网址(中国)有限公司的方法的潜在工业应用.