2023年11月28日,中电信人工智能科技有限公司(以下简称:电信AI公司)成立。它是中国电信开展大数据及人工智能业务的科技型、能力型、平台型专业公司。2023年,电信AI公司在全球21场顶级AI竞赛中屡获殊荣,申请专利100余项。同时,该公司在CVPR、ACM MM、ICCV等权威会议和期刊上发表了30余篇论文,充分展现了国资央企在人工智能领域的实力和决心。
该公司注册资本为30亿元,前身为中国电信集团的大数据和AI中心。作为一家专注于人工智能技术研发和应用的公司,他们致力于核心技术的研究、前沿技术的探索以及产业空间的拓展,旨在成为百亿级的人工智能服务提供商。在过去两年里,该公司自主研发了星河AI算法仓赋能平台、星云AI四级算力平台以及星辰通用基础大模型等一系列创新的成果。目前,公司员工规模超过800人,平均年龄仅31岁。其中,研发人员占比高达80%,且70%的员工来自国内外知名互联网企业和AI领军企业。为了加速大模型时代的研发进程,公司拥有超过2500块等效于A100的训练卡,并配备了300多名专职数据标注人员。此外,公司还与上海人工智能实验室、西安交通大学、北京邮电大学、智源研究院等科研机构紧密合作,结合中国电信6000万视联网和数亿用户场景,共同推动人工智能技术的创新和应用。
【赛事概览与团队背景】
AI City Challenge由英伟达、亚马逊、马里兰大学等发起,自2017年起,每年举办一次。该挑战赛主要集中在智能交通相关的车流统计、车辆重识别、跨摄像头跟踪、异常事件分析等应用场景,被誉为“智能交通视频分析界的ImageNet竞赛”。
由中国电信AI公司行人算法方向的成员组成的TeleAI团队,参加了本次比赛。该团队在计算机视觉技术这个研究方向深耕,积累了丰富的经验。他们的技术成果已在城市治理、交通治安等多个业务领域中广泛应用,持续服务海量的用户。TeleAI团队以本次CVPR 2023 AI CITY CHALLENGE的Detecting Violation of Helmet Rule for Motorcyclists赛道为契机,实现在智慧安防领域技术的自我突破。
首先,我们采用目标检测网络DETA来预测视频中所有对象的位置和类别,并通过两个模型的集成来提高准确性和鲁棒性。鉴于乘客类别训练数据的稀缺性,我们设计了基于目标跟踪的乘客召回模块(PRM),显著提升了乘客类别的召回率。最后,引入了类别细化模块(CRM),结合视频中的时间信息来校正类别。在AI City Challenge 2023 Track5中,我们提出的框架在挑战的公共排行榜上取得了显著的成绩。
在不同的光照条件和摄像机角度下精确检测是否佩戴头盔是一项具有挑战性的任务。首先,在交通监控系统中,摄像头通常安装在相对较高的位置,导致视频分辨率较低。此外,如图1所示,光照、天气、模糊等因素也会增加识别的难度。为了克服这些复杂场景并提高模型的鲁棒性,我们采用了模型集成[4]的策略,详细内容将在第3.2节中进行描述。
如表1所示,我们对训练数据集中每个类别的目标数量进行了统计,发现存在严重的类别不平衡问题,尤其是在Passenger 2的数据相对较少。具体而言,Passenger 2仅出现在两个视频中,分别是005.mp4和091.mp4。我们在图2中对样本进行了可视化,观察到在005.mp4中,Passenger 2是摩托车前面的一个小孩,这会使模型对该目标的识别变得非常困难。而在091.mp4中,Passenger 2位于摩托车后部,这种情况则相对符合我们的预期。
MHOD框架的概述如图3所示,通常包括三个主要部分。首先,我们采用集成技术来提高性能。在第二部分中,执行乘客召回模块(PRM),旨在提高乘客类别的召回率。第三部分是类别细化模块(CRM),致力于减少同一轨迹中类别的切换次数。所有这些模块和组件将在接下来的章节中进行详细描述。
其中,bi是相应的边界框信息,fi是时间帧,v是视频的帧长度。在获取检测结果后,我们得到一个边界框b = (cls, xc, yc, w, h, s),其中cls是边界框的类别ID,(xc, yc)是中心点的位置,(w, h)是边界框的宽度和高度,s是置信度分数。我们进行非极大值抑制(nms)以过滤重叠的检测框,这些框可能涉及相同的对象。因此,通过使用nms从两个独立模型提取的最终预测通常被表述如下:
其中,Z代表最终的预测。E1和E2都是在AI City Challenge数据集上微调的DETA模型。
基于表1中呈现的训练集统计结果,Passenger 2的样本数量极少。因此,我们采用后处理技术来优化Passenger 2的检测边界框。我们使用在COCO数据集[9]上预训练的开源框架Detectron2 [17]来获取人的边界框集合P = {p1, p2, p3, · · · },其中p = {xc, yc, w, h, s, f}。从Z中获取摩托车的边界框集合M = {m1, m2, m3, · · · }。对于M中的每个mi,在满足以下条件时,记录与mi匹配的所有pj ∈ P:
其中,α是控制IoU大小的系数,iou(x, y)表示边界框x和y之间的交并比(IoU)。使用SORT [2]来预测人的边界框的轨迹,并记录人的运动方向,之后根据连续帧之间的相关性计算每个边界框的运动方向,Passenger 2是轨迹方向上的最后一个人的边界框。此外我们在训练集上训练一个分类网络,用于判断Passenger 2是否佩戴头盔。
本次挑战赛使用的评估指标是mAP,即所有目标类别上平均精度(Precision-Recall曲线下的面积)的均值。
模型在AI City Challenge数据集上经过8个epochs的微调,使用Adam优化器,学习率为5e-6,权重衰减为1e-4。在训练过程中,图像的短边尺度从[720, 768, 816, 864, 912, 960, 1008, 1056, 1104, 1152, 1200]中随机选择,而长边不超过2000像素。在测试阶段,短边被固定为1200像素。模型加载了在Objects365 [16]数据集上预训练的参数。对于用于集成的两个模型,它们在初始化阶段的查询方面有所不同,分别设置为300和900。
对于判断是否戴头盔的分类模型,采用了在ImageNet预训练的ResNet-18 [8],并在AI City Challenge数据集上进行微调。输入分辨率为256×192,训练和测试数据集的比例为9:1。使用CosineAnealingLR的学习率衰减策略进行100个epochs的训练,学习率为0.04,权重衰减为5e-4。
Table 2是消融实验的结果。集成模型会比DETA的基线高17.14%。PRM模块也会显著提升算法效果。此外,我们对训练集中的090.mp4进行了可视化,可以看到第12帧(图5a)中id为42的对象预测类别是DHelmet,但在的第24帧(图5b)中,它被预测为P1NoHelmet,使用CRM策略可以将该错误预测修正为DHelmet。
所提出的方法在AI City Challenge 2023的Track5验证集上进行评估。如表3所示,我们的方法取得0.8340的分数。
我们的优异成绩充分彰显了团队方法的卓越效能,成功地将实际业务中积淀的算法、技巧以及算法逻辑应用到国际竞技舞台,实现了电信AI公司在智慧安防、城市治理领域的巨大突破。电信AI公司一贯坚守“技术源自业务,服务于业务”的发展理念,将竞赛视为检验和提升技术能力的至关重要平台。积极参与竞赛的过程中,我们持续优化和完善技术方案,为客户提供更高质量的服务,同时也为整个团队成员提供了珍贵的学习和成长机会。这一过程不仅不断提升了我们的竞争实力,也推动着整个团队在不断挑战中迈向更加辉煌的发展。
本文地址:https://www.badfl.com/article/5b5b8142f1d4e8901071.html