中科闻歌获CCF大数据与计算智能大赛之“AI法官”单项赛二等奖
前日,2017第五届中国计算机学会(CCF)大数据与计算智能大赛(Big Data & Computing Intelligence Contest,简称“BDCI”)总决赛在江苏常熟正式落幕,全球数千支参赛队伍从初赛、复赛到决赛经历了为期3个多月的激烈比拼,中科闻歌团队在“让AI当法官”这一赛题中表现出色,最终获得单项赛题二等奖,与第一名仅相差0.01分。参赛队伍由中科闻歌技术骨干刘帅朋、研究科学家孔庆超博士组成,王磊博士担任指导老师。
中科闻歌技术骨干刘帅朋(左一)、研究科学家孔庆超博士(左二)在总决赛颁奖现场
随着行业AI的迅速发展,国外已经出现了IBM Ross这样的AI律师,国内类似的应用仍处于尝试和探索阶段,本赛题意在通过模型识别发现案件事实描述与罚金范围和相关法律条文之间的关联,从而实现对新案件的罚金额度范围和对应的相关法律条文进行预测。本赛题共吸引了包括北京大学、北京航空航天大学、哈尔滨工业大学、大连理工大学等知名大学和企业在内的共计400余支队伍、近千名人员的参与。
图 “让AI当法官赛题分析”
CCF大数据与计算智能大赛(BigData&ComputingIntelligenceContest,简称“BDCI”)是由中国计算机学会(CCF)主办,中国计算机学会大数据专家委员会(CCF-TFBD)、中国计算机学会高性能计算专业委员会、中国计算机学会中文信息技术专业委员会、中国计算机学会数据库专业委员会、YOCSEF、DataFountain及中关村大数据产业联盟共同承办,是大数据及人工智能领域算法挑战及应用创新的大型赛事,在国内大数据与数据科学赛事领域具有较高的影响力。本届大赛还邀请到了包括中国工程院院士李国杰、中国科学院外籍院士戴建平在内的众多领域专家担任评委和嘉宾。
参赛算法简介
1模型算法
经过对赛题任务的分析,我们针对每项任务各自制定多套解决方案。从原理上主要分为两种,第一种是基于历史的判决结果训练机器学习模型预测结果;第二种是依据法律三段论,根据法律规范和法律事实得到裁判结果。具体来说:
针对罚金预测任务
方案一是将其作为一个多类别的文本分类任务;
方案二是利用人工制定一些推理规则,利用案件的事实描述和法律法规描述来推理罚金范围;
针对法条预测任务
方案一是将其作为Multi-label的文本分任务;
方案二是借鉴推荐系统中的思路,利用协同过滤推荐算法预测法条标签;第三种思路使用法条和案情描述的匹配程度自动判断。
任务一:罚金预测
首先介绍基于统计机器学习的算法模型,模型主要包含一下几个模块:
1、数据预处理,主要任务包括中文分词,数据清洗、停用词过滤等;
2、特征工程,包括特征提取,特征选择,特征权重量化以及特征规范化等,主要目的是将分结构化的文本数据转换为结构化数值数据;
3、模型构建, 主要步骤包括模型选择,参数调节,模型训练,模型验证等;
4、预测判别, 任务是利用上面步骤中训练好的模型对未知样本进行预测。
处理流程如下▼
图 基于统计机器学习的罚金预测模型
除此之外我们还尝试了基于深度学习的算法模型,具体如下图所示:
图 基于深度学习的罚金预测模型
我们从F1值、内存消耗、模型训练速度和显存消耗4个方面对不用模型进行了对比,结果如图所示。可以发现我们所使用的方法(LR)在各个方面都明显优于其他模型。
任务二:法条预测
针对法条预测任务,我们使用的是基于OneVsRest的多标签预测框架,该框架包含以下几个处理步骤,文本预处理和特征抽取两部分与罚金预测中使用的方法类似,与罚金预测不同的是,OneVsRest框架将多标签分类问题转换为多个二分类问题,在本任务中,即针对每个法条建立一个二分类问题。
在本任务中,我们选择线性核SVM来对问题建模求解。一个需要注意的问题是,以上二分类问题中存在严重的类不均衡现象。经过试验对比,我们最终选择了基于代价敏感的方法来解决这一问题。
除此之外,我们还尝试了一些其他算法进行法条预测,包括:
1、法条自动推理的方法;
2、基于推荐的算法,计算目标案情描述和训练集中各个案情描述的相似度,并综合相似度信息和对应案情描述法条信息做预测
3、基于深度学习的分类方法,类似与之前罚金预测的text CNN模型
4、其他多标签分类方法,包括ML-kNN、Label Powerset等。
下面分别从模型复杂度、是否包含训练过程、运行速度、预测效果等4个方面对以上提到的方法进行比较:
通过对比我们发现,总的来说基于OneVSRest框架的模型表现最好。
2方案优势
下面主要从速度和效果两个方面讨论我们所提出的方案的潜力。
在速度方面,我们所提出的方案具有很好的并行潜力,Logistic Regression在map/reduce和spark中框架中都有很好的分布式实现方案。
另外,我们所提出的方案还可融合领域知识库,比如体内酒精浓度大于80mg/100ml时可判为酒驾,在遇到此类案情描述后,根据领域知识则可直接判断罚金数和所适用的法条,所得到的结果比模型预测更为准确。
在效果方面,我们所提出的方案还可以通过挖掘新特征,如话题特征、词向量特征,调整参数、进行多模型融合等,来得到更好的预测效果。
3应用价值
总结下,我们模型具有训练时间短、资源占用少、算法效果好、可解释性强和提升潜力大等众多优点,具有很高的应用价值,适合工业界生产环境中应用。