腾讯AI Lab今日宣布将于9月底开源“Tencent ML-Images”项目,该项目由多标签图像数据集ML-Images,以及业内目前同类深度学习模型中精度最高的深度残差网络ResNet-101构成。
据悉,ML-Images包含了1800万图像和1.1万多种常见物体类别,足以满足一般科研机构及中小企业的使用场景。此外,腾讯AI Lab还将提供基于ML-Images训练得到的深度残差网络ResNet-101。该模型具有优异的视觉表示能力和泛化性能,在当前业内同类模型中精度最高,将为包括图像、视频等在内的视觉任务提供强大支撑,并助力图像分类、物体检测、物体跟踪、语义分割等技术水平的提升。
当前业内公开的最大规模的多标签图像数据集是谷歌公司的Open Images, 包含900万训练图像和6000多物体类别。腾讯AI Lab此次开源的ML-Images数据集包括1800万训练图像和1.1万多常见物体类别,或将成为新的行业基准数据集。除了数据集,腾讯AI Lab团队还将在此次开源项目中详细介绍:
1)大规模的多标签图像数据集的构建方法,包括图像的来源、图像候选类别集合、类别语义关系和图像的标注。在ML-Images的构建过程中,团队充分利用了类别语义关系来帮助对图像的精准标注。
2)基于ML-Images的深度神经网络的训练方法。团队精心设计的损失函数和训练方法,可以有效抑制大规模多标签数据集中类别不均衡对模型训练的负面影响。
3)基于ML-Images训练得到的ResNet-101模型,具有优异的视觉表示能力和泛化性能。通过迁移学习,该模型在ImageNet验证集上取得了80.73%的top-1分类精度,超过谷歌同类模型(迁移学习模式)的精度,且值得注意的是,ML-Images的规模仅为JFT-300M的约1/17。这充分说明了ML-Images的高质量和训练方法的有效性。详细对比如下表。
腾讯AI Lab团队还将基于Tencent ML-Images的ResNet-101模型迁移到很多其他视觉任务,包括图像物体检测,图像语义分割,视频物体分割,视频物体跟踪等。这些视觉迁移任务进一步验证了该模型的强大视觉表示能力和优异的泛化性能。“Tencent ML-Images”项目未来还将在更多视觉相关的产品中发挥重要作用。注:微软ResNet-101模型为非迁移学习模式下训练得到,即1.2M预训练图像为原始数据集ImageNet的图像。
自2016年腾讯首次在GitHub上发布开源项目(http://github.com/Tencent),目前已累积开源覆盖人工智能、移动开发、小程序等领域的57个项目。为进一步贡献开源社区,腾讯相继加入Hyperledger、LF Networking和开放网络基金会,并成为LF深度学习基金会首要创始成员及Linux基金会白金会员。作为腾讯“开放”战略在技术领域的体现,腾讯开源将继续对内推动技术研发向共享、复用和开源迈进,向外释放腾讯研发实力,为国内外开源社区提供技术支持,注入研发活力。