自动机器学习第一次!KDD首次开办AutoML竞赛

AI资讯1年前 (2023)发布 AI工具箱
264 0 0

KDD首次,也是自动机器学习的首次。

2019年国际数据挖掘顶级会议KDD (ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING),已正式公布了KDD Cup 2019三项重大比赛。

其中,首次引入的AutoML Competition挑战赛。

现在,数据集已放出,挑战赛已开赛,7月16日将开始评审,7月20日会宣布KDD Cup冠军。

第一名将获得15000美元奖金。

比赛详情

本次AutoML竞赛由第四范式和微软承办,参赛选手将利用时序关系数据,设计一个能够自主(无人为干预)实现监督学习的AutoML计算机程序。

该比赛将聚焦在二分类问题,且时序关系数据均来自实际业务场景。

根据大多数实际应用的时间属性,数据集按时间顺序划分为训练集和测试集。

训练集和测试集都由一个主表、一组相关表和一个关系图组成:

主表包含带有样本标记、部分特征和时序标签的实例,用于二分类。

相关表包含了主表中实例的重要辅助信息,可用于提高预测效果。相关表中的字段可能含有时间标签,意味着该表中的信息与时间有关。

不同表中数据之间的关系用关系图描述。需要注意的是,任何两个表(主表或相关表)都可以有一个关系,任何一对表最多只能有一个关系。

主办方保证训练集和测试集的关系图是相同的。

参赛者需要提交通过主表、相关表和关系图自动构建机器学习模型的AutoML方案。

一旦经过训练,模型将以测试主表(不包括样本标记)、相关表和关系图作为输入,并预测测试集的样本标记。参赛者提交的方案将在受限制的计算资源和时间内进行测试。

为了让参赛者能够更好的开发并评估方案,主办方提供了10个时序关系数据集,其中5个公共数据集,5个私有数据集。

数据集地址如下:

https://www.4paradigm.com/competition/kddcup2019#data

比赛流程

本次挑战赛分为Feedback(反馈)、Check(校验)、AutoML(盲测)3个阶段。

Feedback阶段,参赛者基于公开数据集设计并提交AutoML方案。

Check阶段,方案在参赛者无法看到效果的条件下,在私有数据集上进行测试,确保方案在下一阶段顺利运行。

AutoML阶段将测试方案在私有数据集上的性能,无需人为干预情况下完成训练和预测,最终按照AUC进行排名。

具体时间表为:

2019年4月1日:比赛开始,发布公共数据集。参与者可以开始提交代码并在排行榜上获得即时反馈信息。

2019年6月27日:Feedback阶段结束,Feedback阶段的代码自动迁移到Test阶段。

2019年7月7日:Check阶段结束,主办方开始代码验证。

2019年7月11日:提交报告的截止日期。

2019年7月16日:AutoML阶段结束,开始评审流程。

2019年7月20日:宣布KDD Cup冠军。

2019年8月4日:在KDD上举办颁奖仪式

奖金情况:

  • 第一名:15000美元
  • 第二名:10000美元
  • 第三名:5000美元
  • 第4-10名:每人500美元

报名资质

最后,再介绍下报名资质:

本次竞赛将在CodaLab竞赛平台上进行。

本次竞赛对所有感兴趣的研究人员、专家和学生完全开放,竞赛组委会成员及相关人员不得参赛。

参赛者可以由一人或多人组成的团队提交方案。

每个团队都需要指定领队,负责与组织者沟通。

一个人只能加入一个团队。

根据AutoML阶段的最终得分来选出比赛的胜利者。

若最终比分相同,则优先考虑解释性更好的方案。

每个参赛团队都必须提供描述其最终解决方案的简短报告(情况说明书)。

通过参加本次竞赛,您将授权组织者权利,对您提交的作品以进行评估和赛后研究。

所有参赛队伍必须在Check阶段两周前至少有一次成功的代码提交,否则视为无效队伍,不参与最终评测。

传送门:

https://www.4paradigm.com/competition/kddcup2019#data

© 版权声明

相关文章

暂无评论

暂无评论...