1. 首页
  2. 智能硬件

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

在日前结束的第25届国际模式识别会议(ICPR2020)上,深兰科技DeepBlueAI团队同台竞技联想、华南理工、合合等队伍,摘得“图表信息提取竞赛”总成绩的冠军。

在日前结束的第25届国际模式识别会议(ICPR2020)上,深兰科技DeepBlueAI团队同台竞技联想、华南理工、合合等队伍,摘得“图表信息提取竞赛”总成绩的冠军。

该竞赛由6个赛道7个子任务组成,其中赛道6有两个子任务,每个子任务又分Adobe Synth、UB PMC两个数据集。7个子任务按照数据集单独计分,最终按照总分进行排名。最终,DeepBlueAI团队拿下4个赛道冠军,以总分35分拿到总成绩第一名。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

ICPR2020图表信息提取

竞赛冠军方案

该比赛各任务涵盖图表分类、案例分析、图元素提取等,数据类别存在着分布极为不均衡的问题。

7个赛道分别为:赛道一,图表分类;赛道二,检测并识别图表中的文字区域;赛道三,识别图表图像中文本功能/角色;赛道四,对坐标轴上刻度点进行检测并与刻度标签文本框关联;赛道五,关联图例标签文本与图例样式元素;赛道六,第一个子任务对图表元素进行检测与分类,第二个子任务提取用于生成图表图像的原始数据。

下面对比较有竞争力的三、四、五、六赛道的解决方案进行技术分享。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

赛道三

赛道三以文本位置和文本内容为输入,识别图表图像中每个文本的角色,6个类别如图所示。我们的方法包括两个步骤:特征提取和分类器分类。使用文本属性来定义特征向量,使用的分类器是Random Forest [1]和LightGBM [2]。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

特征由文本框属性和文本内容组成,这些特征可分为三组。第一组包含框的长宽比、文本是否为数字、文本是否为多行、文本角度、文本长度和图表类型。第二组包括文本框的三种相对位置信息,也就是相对于全局边框、原点和图例的位置。第三组包含水平/垂直对齐文本框的数量和对齐文本框的水平/垂直范围,判断框是否对齐时,分别使用文本框的中心点、左上角和右下角。

使用随机森林和LightGBM对文本角色进行分类。随机森林的一个优点是在缺少特征的情况下仍然具有良好的性能,LightGBM具有训练效率高、精度高等优点。在训练模型时,每个类别的损失权重与输入数据的频率成反比。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

赛道四

赛道四需要检测出每个X轴或Y轴上的刻度点并与对应的刻度标签文本框关联。该赛道使用修改后的F-measure对每个轴评分,然后对所有轴进行得分平均。对每个检测到的刻度点,根据其距离真实刻度点之间的距离,给出0到1之间的评分。Precision计算方法为评分总和除以预测数。召回率的计算方法是得分的总和除以真实标注刻度点的数量。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

对于该任务,我们将整个任务拆分为刻度点检测和匹配两个步骤。

在刻度点检测任务中,我们将该任务视为标准的关键点估计问题。参考CenterNet,使用DLA-34作为backbone,从底层添加更多的跳转连接,并在上采样阶段将每个卷积层替换为可变形的卷积层,最后获得尺寸为1/4的输出特征图,然后将特征图送入头部分支。在头部分支中,包括三个分支。首先是刻度点检测分支,在此分支中预测的热图中的峰值对应于刻度点的位置,并通过两个不同的特征图将点分类为X轴或Y轴的刻度点。为了恢复由输出步幅引起的离散化误差,在Offset分支中预测了修正刻度点位置的偏移量。在第三个分支中(OTB),预测了刻度点到刻度标签文本框中心的偏移,该偏移仅在训练阶段使用。

为了训练刻度点检测分支,我们使用Focal Loss作为损失函数来进行逐像素逻辑回归。为了训练Offset分支,我们使用在人脸Landmark定位任务中提出的Wing Loss,其设计目的是提高深度神经网络针对中小型误差的学习能力,并使用Smooth L1作为训练OTB分支的损失函数。

在检测出X轴与Y轴上的刻度点后,首先使用线性分布检查来过滤掉异常检测点,然后基于刻度点与标签文本框之间X轴或Y轴的L1距离,将刻度点和标签文本框进行匹配。

在Adobe Synth,UB PMC验证集及Test Challenge阶段不同实验得分如表1,2所示,可以看出不使用预训练模型与添加OTB分支能够取得更好的得分。最后通过模型融合我们在测试阶段分别取得了99.90%与81.28%的成绩,取得第一。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

表1

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

表2

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

赛道五

赛道五将图例标签文本与图例中相应的样式元素相关联。我们采用先检测图例元素,然后匹配图例元素和图例标签的方法。为了进一步提高匹配精度,同时检测图例对和图例元素,图例对的检测结果辅助匹配过程。

我们的方法分为三个步骤:

使用与赛道三相同的方法对文本框进行分类,然后筛选出图例标签类别的文本框。

用CenterNet [3]检测图例元素和图例对两个类别,图例对通过合并图例元素和相应文本的边框获得。

匹配图例元素和图例标签,对于每个图例标签,如果存在图例元素在同一个图例对中,则该图例标签和图例元素配对,然后使用匈牙利算法匹配剩余的图例元素和图例标签。为了减少赛道三的分类错误对赛道五结果的影响,加入了后处理,对于赛道三的结果中没有图例标签的图像,如果同时检测到图例元素和图例对,则将图例元素与所有文本框进行匹配。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

赛道六

赛道六第一个子任务的目标,是对图表中绘图区域中的每个元素进行检测和分类,第二个子任务输出用于生成图表图像的原始数据,且在元素的表示形式中包含框和点两种类型。我们将对这两个子任务进行整体介绍。

赛道六的评价指标比较复杂,概括为采用检测到的元素与真实标注元素之间的欧氏距离或者IOU评价检测的得分,通过每个分组中的点与真实标注每个分组中点匹配程度,与提取到的坐标轴坐标系的数据和真实数据之间的误差,计算分组得分与数据提取得分。

我们分别通过基于框的检测算法和基于点的检测算法来检测元素。为了检测框表示的元素,我们使用目标检测算法CenterNet进行检测。为了检测点表示的元素,我们使用与赛道四中相同的点检测算法,并删除OTB分支。

在解决了检测问题之后,为了将检测到的元素进行分组(比如检测到的同一条曲线上的点,应该被分为同一组)。对于水平框和垂直框,我们可以按X轴或Y轴的L1距离对框进行分组,但是对于“线和散点图”而言,则更为复杂。我们分别提取检测到的元素的颜色直方图特征和Hog特征,然后使用K-means对它们进行聚类分组。

通过检测我们可以得到元素在图像坐标系中的位置表示,为了获得绘制图表图像时所使用的原始元素数据,我们需要将图像坐标系表示的元素转化为轴坐标系表示。经过分析,我们将UB PMC数据集分为五个类别,将Adobe Synth数据集分为八个类别,然后分别处理每个类别。对于数据序列,如果x值为数字值,则通过插值计算x轴值。如果x值为字符串值,则使用L1距离查找最接近的字符内容。

最终在测试阶段我们使用单模型取得了76.43%与61.18%的得分,位列第三。

深兰科技摘得“图表信息提取竞赛”总成绩的冠军

参考文献:

1. Breiman L. Random forests[J]. Machine learning, 2001, 45(1): 5-32.

2. Ke G, Meng Q, Finley T, et al. Lightgbm: A highly efficient gradient boosting decision tree[C]//Advances in neural information processing systems. 2017: 3146-3154.

3. Zhou X, Wang D, Kr¨ahenb¨uhl P. Objects as points[J]. arXiv preprint arXiv:1904.07850, 2019.

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/zhinengyingjian/16203.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code