强安智云科技

直达 HyperAI超神经数据集传送门：

　　数据集 - 超神经

　　人脸识别是计算机视觉项目的应用之一。在人脸识别的训练中，训练的数据量大、质量稳定、没有「杂质」，是研究中非常好的优质数据库。

　　VGG-Face2 人脸识别数据集

　　VGG-Face2 数据集，是一个人脸图片数据集。

　　数据集中图像均来自 Google 图片搜索。数据集中的人在姿势、年龄、种族和职业方面有很大差异。

　　VGG-Face2 Dataset

　　发布机构： 牛津大学

　　包含数量： 331 万张图片

　　数据格式： images

　　数据大小： 37.49 GB

　　发布时间： 2017 年

　　下载地址：VGG-Face2 人脸识别数据集 - 数据集下载 - 超神经

　　Helen 人脸数据集

　　HELEN 数据集由 2,330 张 400*400 像素的人脸图像组成。该数据集包括 2,000 张训练图像和 330 张测试图像，带有高度准确的、详细和一致的人脸主要组成部分标注。

　　Helen Dataset

　　发布机构： 伊利诺斯大学

　　包含数量： 2,330 张 400*400 像素的人脸图像

　　数据格式： images

　　数据大小： 1.02 GB

　　发布时间： 2012 年

　　下载地址：Helen 人脸数据集 - 数据集下载 - 超神经

　　FairFace 人脸数据集

　　FairFace 是一个更种族均衡的人脸图像数据集。 该数据集包含 108,501 张图片，设及 7 个不同种族群体（白人、黑人、印度人、东亚人、东南亚人、中东人和拉丁裔）。

　　FairFace Dataset

　　发布机构： 加州大学洛杉矶分校

　　包含数量： 108,501 张图片

　　数据格式： images

　　数据大小： 2.49 GB

　　发布时间： 2020 年

　　下载地址： FairFace 人脸数据集 - 数据集下载 - 超神经

　　姿态估计是利用某种几何模型或结构来表示物体的结构和形状。 当前存在的难点包括背景复杂、复杂姿态样本少等。

　　MPI-INF-3DHP 3D 人体姿态估计数据集

　　MPI-INF-3DHP 是一个 3D 人体姿态估计数据集，图像有室内和室外环境。 该数据集包含 130 多万帧图像，由 14 个摄像角度记录 8 位参与者的 8 类活动。

　　MPI-INF-3DHP Dataset

　　发布机构： 萨尔州大学

　　包含数量： 130 多万帧图像

　　数据格式： video

　　数据大小： 21.77 GB

　　发布时间： 2016 年

　　下载地址：MPI-INF-3DHP 3D 人体姿态估计数据集 - 数据集下载 - 超神经

　　HandNet 手部姿势数据集

　　HandNet 手部姿势数据集包含 10 位参与者的手在 RealSense RGB-D 相机前非刚性变形的深度图。该数据集共包含 214,971 张深度图，其中训练集 202,198 张，测试集 10,000 张，验证集 2,773 张。

　　HandNet Dataset

　　发布机构： 以色列理工学院

　　包含数量： 214,971 张图像

　　数据格式： images

　　数据大小： 12.85 GB

　　发布时间： 2015 年

　　下载地址：HandNet 手部姿势数据集 - 数据集下载 - 超神经

　　3DPW 姿态数据集

　　3DPW 全称 3D Poses in the Wild，是首个具有精确 3D 姿态的户外数据集，可用于解决姿态估计问题。 该数据集包括 60 个视频序列，3D 人体扫描和 3D 人物模型。

　　3DPW Dataset

　　发布机构： 汉诺威莱布尼兹大学

　　包含数量： 60 个视频序列

　　数据格式： video

　　数据大小： 4.55 GB

　　发布时间： 2018 年

　　下载地址： 3DPW 姿态数据集 - 数据集下载 - 超神经

　　人工智能在自动驾驶与可以担任驾驶员这一角色，通过对道路上发生的各种状况信息进行搜集、分析和处理，做出操作代替人为操控。

　　Comma.ai 自动驾驶视频数据集

　　Comma.ai 数据集是一个用于自动驾驶的视频数据集。 包含共计 7.25 小时的视频，该数据集包含 10 个以 20Hz 频率记录的视频。该数据集还包括如汽车时速、加速度、转向角、GPS 坐标、陀螺仪角度等的测量值。

　　Comma.ai Dataset

　　发布机构： Comma.ai 公司

　　包含数量： 7.25 个小时视频

　　数据格式： video

　　数据大小： 44.96 GB

　　发布时间： 2016 年

　　下载地址： Comma.ai 自动驾驶视频数据集 - 数据集下载 - 超神经

　　Argoverse 自动驾驶数据集

　　Argoverse 数据集包含 3D Tracking 和 Motion Forecasting 两部分。

　　Argoverse 3D tracking 数据集包含 113 个场景的 3d 跟踪注释。 每个片段长度为 15-30 秒，共计包含 11319 个跟踪对象。在训练集和测试集的每个片段场景中包含了五米内的所有物体的注释，可被理解为检测汽车可驾驶区域（5 米）的所有物体，以 3d 框架形式展现。该数据集可被自动驾驶等领域使用。

　　Argoverse Motion Forecasting 数据集为运动预测类模型的数据集， 包含 327793 个场景，每个场景时常 5 秒，且包含以 10 Hz 采样的每个跟踪对象的 2D 鸟瞰图。该数据集是由超过 1000 小时的街道驾驶所获取，可用于自动驾驶等领域的研究。

　　Argoverse Dataset

　　发布机构： ARGO AI

　　包含数量： 超过 3 万个场景

　　数据大小： 260.38 GB

　　发布时间： 2019 年

　　下载地址：Argoverse自动驾驶 - 数据集下载 - 超神经

　　Talk2Car 自动驾驶数据集

　　Talk2Car 数据集是一个对象引用数据集，包含了用自然语言为自动驾驶汽车编写的命令，即乘客可以通过说话的形式对自动驾驶汽车下达命令。

　　Talk2Car 数据集建立在 nuScenes 数据集之上，包括一套广泛的传感器模式，即语义地图、GPS、激光雷达、雷达和带有 3D bounding box 标注的 360° RGB 图像。

　　Talk2Car Dataset

　　发布机构： 比利时鲁汶大学

　　数据格式： images

　　数据大小： 1.65 GB

　　发布时间： 2019 年

　　下载地址：Talk2Car 自动驾驶数据集 - 数据集下载 - 超神经

　　搜索或下载数据集，访问以下链接：

　　数据集 - 超神经

　　欢迎有志于自动驾驶研发的同学（全职&实习）加入Nullmax，点击查看岗位招聘详情！在自动驾驶领域，目标检测是一项富有挑战性的工作，尤其是一些出现频率较低的特殊目标，常因数据不足导致检测效果一般。

　　去年，Nullmax感知团队提出了一项针对少见目标检测的数据增强方法，并将相应数据集开源上线，为行业解决数据缺乏难题，应对长尾挑战提供研究参考。

　　对于自动驾驶车辆而言，准确识别各类目标和障碍物信息，可以有效保障行驶安全。因此感知系统既要检测一些路上常见的目标，比如车辆、行人、交通标识等，也要检测了一些少见的目标，比如锥形筒、交通警示桶、三角警示牌，等等。

　　这些检测少见目标的神经网络模型，和其他常见目标的检测模型一样，需要大量的标注数据进行训练。但这类目标出现概率很低，所以获取训练数据需要耗费大量的成本和时间。

　　因此，Nullmax的感知团队提出了一种基于交通场景信息的数据增强方法，通过Copy-Paste方式零成本生成高度逼真的训练样本，解决少见目标检测的数据难题。实验结果显示，Nullmax的新方法可以显著提升少见目标检测的任务效果。

　　同时，Nullmax建立了专用于自动驾驶少见目标检测的数据集Rare Object Dataset（ROD），并已正式开源上线。ROD是该细分领域内的首个公开数据集，可以为目标检测、数据增强等方面的研究者提供稀缺的数据，研究特殊目标检测相关课题。

　　ROD数据集现已开放下载：  https://nullmax-vision.github.io/

　　01  ROD自动驾驶数据集

　　Nullmax推出的ROD是一个多样化的真实世界数据集，当中包含大量训练图像和验证图像，并对小车、卡车、巴士、行人和自行车这5类常见目标进行了相应标注。

　　此外，ROD还提供了3类典型少见目标的掩膜，可用于少见目标检测和数据增强方法的研究，当中包括大约1000个锥形筒、100个交通警示桶和50个三角警示牌的掩膜数据。

　　ROD具有良好的数据多样性，覆盖了自动驾驶的不同场景。它包含了不同的道路级别，包括高速公路、快速路、城市街道以及乡村道路；不同的天气状况，比如晴天、阴天和雨天；以及不同的时间段，包括白天、傍晚和夜间。

　　02  基于交通场景信息的数据增强

　　为了解决少见目标检测的数据难题，Nullmax的感知团队提出了结合交通场景的数据增强方法，通过简单有效的Copy-Paste增强方式生成逼真的训练数据，获得了出色的检测效果。

　　这项研究获得了ICRA 2022收录，全文地址：https://arxiv.org/pdf/2205.00376.pdf

　　通常来说，训练样本较少的目标检测任务可以看作是面向不平衡或长尾的数据集。有一些研究者，通过重采样训练数据和调整损失函数权重来解决这个问题，但这类方法对于专家经验较为依赖。

　　数据增强是解决数据稀缺问题的另一个研究方向，旨在通过最小代价生成大量带标注的训练样本。数据增强大致可以分为图像级增强和实例级增强，当包含特定目标类别的图像级训练数据达到一定数量时，前者是一种有效的方法；反之，则是实例级数据增强更为适合。

　　Nullmax采用的Copy-Paste方式，就是一种常见的实例级数据增强，它从源域复制特定目标类别的实例掩膜粘贴到目标域。通过系统性的研究，我们证明了在自动驾驶领域，通过结合交通场景信息的Copy-Paste数据增强方式，可以达到出色的少见目标检测性能。

　　具体来说，Nullmax利用源域的目标掩膜进行实例级变换，创建逼真的目标实例。并将交通场景信息用作全局的几何约束，将局部自适应的实例掩膜粘贴到目标图像上，生成训练数据。最后，再通过局部和全局的一致性保证训练数据的质量和真实度。

　　Nullmax提出的方法包括了3个主要环节：

　　(1) 收集目标实例掩膜和背景图像。在Nullmax的研究中，所有的背景图像来自于不同的真实交通场景。以锥形筒为例，它会涵盖不同的类型、颜色和大小。

　　(2) 通过理解交通场景信息，计算实例掩膜的粘贴位置。在背景图像上随机粘贴目标，效率低下，而且目标之间的关联可能与真实交通场景不符。Nullmax的方法以交通环境信息为约束，考虑相机内外参，进行实例掩膜的叠加。

　　(3) 对实例掩膜进行局部自适应转换。为了确保目标掩膜无缝粘贴到背景图像中，Nullmax使用了一系列局部自适应的数据增强策略：基于感知的景深，缩放粘贴对象；应用多种实例级混合策略，确保图像接缝尽量平滑；以及局部自适应的颜色变换（HSV）。

　　实验显示，Nullmax提出的数据增强方法在锥形筒检测中取得了出色效果，并且这一方法也能够推广至其他类型的少见物体检测任务当中。

　　此外，Nullmax也研究了各组件的效果，分析了方法中实例掩膜域、实例掩膜数量和强化训练图像数量的敏感性，证明了这一方法可为少见物体检测任务提供有效的训练图像。未来，我们希望通过增量训练对少见目标检测展开进一步研究，欢迎感兴趣的朋友关注交流！

　　最全自动驾驶数据集总结这个应该是我知道的比较全面的总结了，而且开源，还可以自己添加漏掉的数据集。

　　当今社会，自动驾驶技术已成为汽车产业的未来趋势。但是，要想让自动驾驶车辆真正上路行驶，离不开大规模的高质量数据集的支撑。

　　本文将为您介绍43个经典、热门的自动驾驶数据集，希望对您在选择适合的数据集时有所帮助。（篇幅较长，建议收藏细看~）

　　● 发布方：加州理工学院

　　● 发布时间：2009

　　● 简介： 加州理工学院行人数据集由大约 10 小时的 640x480 30Hz 视频组成，该视频取自在城市环境中通过常规交通行驶的车辆。注释了大约 250,000 帧（在 137 个大约分钟长的片段中），总共 350,000 个边界框和 2300 个独特的行人。注释包括边界框和详细的遮挡标签之间的时间对应关系。更多信息可以在我们的 PAMI 2012 和 CVPR 2009 基准测试文件中找到。

　　● 下载地址：https://opendatalab.org.cn/Caltech_Pedestrian_Detection_etc

　　● 论文地址： http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/CVPR09pedestrians.pdfhttp://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/PAMI12pedestrians.pdf

　　● 发布方：马克斯普朗克信息学研究所

　　● 发布时间：2010

　　● 简介： 新的TUD-布鲁塞尔数据集是从布鲁塞尔市中心的一辆驾驶汽车记录的。该集包含508图像对 (每秒一对及其原始视频的后继图像)，分辨率为640 × 480，带有1326注释的行人。由于行人从多个角度以非常小的比例出现，因此数据集具有挑战性。

　　● 下载地址： https://opendatalab.org.cn/TUD-Brussels_Pedestrian

　　● 论文地址： https://www.mpi-inf.mpg.de/fileadmin/inf/d2/wojek/wojek09cvpr.pdf

　　● 发布方：中国国家自然科学基金

　　● 发布时间：未知

　　● 简介： 中国交通标志数据集，TSRD包括包含58个标志类别的6164个交通标志图像。将图像分为两个子数据库，分别为训练数据库和测试数据库。训练数据库包括4170图像，而测试数据库包含1994图像。所有图像都注释了符号和类别的四个corrdinates。

　　● 下载地址： https://opendatalab.org.cn/TSRD

　　● 发布方：中国国家自然科学基金

　　● 发布时间：未知

　　● 简介： 中国交通标志数据集，TSDD包括包含多种标志的10000交通场景图像。图像是在不同的时间，天气条件，照明条件以及移动模糊条件下收集的。

　　● 下载地址： https://opendatalab.org.cn/TSDD

　　● 发布方：中国国家自然科学基金

　　● 发布时间：未知

　　● 简介： 中国交通标志数据集，TPD包括包含各种类型的交通面板的2329交通图像，这些图像是在各种不同的情况下收集的，例如天气条件，光照，不同的环境，局部occluon等。

　　● 下载地址： https://opendatalab.org.cn/TPD

　　● 发布方：ISTI-CNR

　　● 发布时间：2016

　　● 简介： CNRPark EXT是一个数据集，用于在164个停车位的停车场上建立的空置和占用停车位的大致150,000个标记图像 (补丁) 的停车场的视觉占用检测。

　　● 下载地址： https://opendatalab.org.cn/CNRPark-EXT

　　● 发布方：中国科学技术大学 · 邢台金融控股集团

　　● 发布时间：2018

　　● 简介： 中国城市停车数据集（CCPD）是用于车牌检测和识别的数据集。它包含超过 25 万张独特的汽车图像，带有车牌位置注释。

　　● 下载地址： https://opendatalab.org.cn/CCPD

　　● 论文地址： http://openaccess.thecvf.com/content_ECCV_2018/papers/Zhenbo_Xu_Towards_End-to-End_License_ECCV_2018_paper.pdf

　　● 发布方：清华大学 · 巴斯大学

　　● 发布时间：2018

　　● 简介： 尽管在交通标志检测和分类领域取得了可喜的成果，但很少有作品为现实世界的图像同时提供这两个任务的解决方案。我们为这个问题做出了两个贡献。首先，我们从100000腾讯街景全景图创建了一个大型交通标志基准，超越了以前的基准。它提供包含30000交通标志实例的100000图像。这些图像涵盖了照度和天气条件的大变化。基准中的每个交通标志都带有类标签，其边界框和像素掩码。我们把这个基准叫清华-腾讯100K。

　　● 下载地址： https://opendatalab.org.cn/Tsinghua-Tencent_100K_Tutorial

　　● 论文地址： https://d-nb.info/1165656485/34

　　● 发布方：上海美国学校浦西校区

　　● 发布时间：2019

　　● 简介： 一个行人交通信号灯数据集，包含在上海数百个十字路口拍摄的 5000 多张照片。

　　● 下载地址： https://opendatalab.org.cn/PTL

　　● 论文地址： https://arxiv.org/pdf/1907.09706v1.pdf

　　● 发布方：西安交通大学 · 长安大学

　　● 发布时间：2019

　　● 简介： BLVD 是视觉认知计算与智能车辆实验室收集的大规模 5D 语义数据集。该数据集包含 654 个高分辨率视频剪辑，这些剪辑来自中国智能汽车验证中心 (IVPCC) 所在的中国江苏省常熟市，总帧数为 120k。RGB 数据和 3D 点云的帧速率为 10fps/秒。该数据集包含完全注释的帧，产生 249,129 个 3D 注释、4,902 个用于跟踪的独立个体，总长度为 214,922 个点、6,004 个用于 5D 交互式事件识别的有效片段，以及 4,900 个用于 5D 意图预测的个体。根据物体密度（低和高）和光照条件（白天和夜间），这些任务包含在四种场景中。

　　● 下载地址： https://opendatalab.org.cn/BLVD

　　● 论文地址： https://arxiv.org/pdf/1903.06405v1.pdf

　　● 发布方：加州大学伯克利分校 · 康奈尔大学 · 加州大学圣地亚哥分校 · Element, Inc

　　● 发布时间：2020

　　● 简介： 我们构建了最大的驾驶视频数据集 BDD100K，包含 10 万个视频和 10 个任务，以评估图像识别算法在自动驾驶方面的令人兴奋的进展。该数据集具有地理、环境和天气的多样性，这对于训练不太可能对新条件感到惊讶的模型很有用。基于这个多样化的数据集，我们为异构多任务学习建立了一个基准，并研究了如何一起解决这些任务。我们的实验表明，现有模型需要特殊的训练策略来执行此类异构任务。BDD100K 为未来在这个重要场所的学习打开了大门。更多详细信息请参见数据集主页。

　　● 下载地址： https://opendatalab.org.cn/BDD100K

　　● 论文地址： https://arxiv.org/pdf/1805.04687v2.pdf

　　● 发布方：南加州大学 · 滴滴实验室

　　● 发布时间：2021

　　● 简介： D ²-City是一个大型驾驶视频数据集，提供10,000多个行车记录仪视频记录在720p HD或1080p FHD。大约1000个视频在所有道路对象的每个帧中都带有检测和跟踪注释，包括边界框以及汽车，货车，公共汽车，卡车，行人，摩托车，自行车，敞开式和封闭式三轮车，叉车的跟踪id，以及大型和小型街区。视频的一些剩余部分带有在关键帧中注释的道路对象。

　　● 下载地址： https://opendatalab.org.cn/D_square-City

　　● 论文地址： https://arxiv.org/pdf/1904.01975.pdf

　　● 发布方：华为

　　● 发布时间：2021

　　● 简介： ONCE（One millioN sCenEs）是自动驾驶场景下的3D物体检测数据集。ONCE 数据集由 100 万个 LiDAR 场景和 700 万个对应的相机图像组成。这些数据选自 144 个驾驶小时，比 nuScenes 和 Waymo 等其他可用的 3D 自动驾驶数据集长 20 倍，并且是在一系列不同的地区、时期和天气条件下收集的。由组成：100 万个 LiDAR 帧，700 万个相机图像 200 平方公里的驾驶区域，144 个驾驶小时 15k 个完全注释的场景，分为 5 个类别（汽车、公共汽车、卡车、行人、骑自行车的人） 多样化的环境（白天/夜晚、晴天/雨天、城市/郊区）。

　　● 下载地址： https://opendatalab.org.cn/ONCE

　　● 论文地址： https://arxiv.org/pdf/2106.11037v3.pdf

　　● 发布方：印度理工学院 · 东京大学 · UrbanX Technologies

　　● 发布时间：2021

　　● 简介： 道路损坏数据集 2020 (RDD-2020) 其次是一个大规模的异构数据集，包含使用智能手机从多个国家收集的 26620 张图像。这些图像是从印度、日本和捷克共和国的道路上收集的。

　　● 下载地址： https://opendatalab.org.cn/RDD-2020

　　● 论文地址： https://arxiv.org/ftp/arxiv/papers/2209/2209.08538.pdf

　　● 发布方：华为诺亚方舟实验室 · 中山大学 · 香港中文大学

　　● 发布时间：2021

　　● 简介： 我们引入了一个新的大规模2D数据集，名为SODA10M，其中包含10m个未标记图像和具有6个代表性对象类别的20k个标记图像。SODA10M旨在促进自动驾驶中自我监督学习和领域适应的重大进步。它是迄今为止最大的2D自动驾驶数据集，将成为社区更具挑战性的基准。

　　● 下载地址： https://opendatalab.org.cn/SODA10M

　　● 论文地址： https://arxiv.org/pdf/2106.11118.pdf

　　● 发布方：Facebook Reality Labs

　　● 发布时间：2022

　　● 简介： 多光谱图像对可以提供组合信息，使对象检测应用在开放世界中更加可靠和健壮。为了充分利用不同的模态，作者提出了一种简单而有效的跨模态特征融合方法，称为跨模态融合变压器 (CFT)。与以前基于CNNs的工作不同，我们的网络在Transformer方案的指导下，在特征提取阶段学习远程依赖关系并集成全局上下文信息。更重要的是，通过利用变压器的自我关注，网络可以自然地同时执行模态内和模态间融合，并可靠地捕获RGB和热域之间的潜在相互作用。从而大大提高了多光谱目标检测的性能。在多个数据集上进行的大量实验和消融研究表明，该方案是有效的，并获得了最先进的检测性能。我们的代码和模型可在https://github.com/DocF/多光谱-对象检测。

　　● 下载地址： https://opendatalab.org.cn/Mapillary_Traffic_Sign_Dataset

　　● 发布方：本田欧洲研究所 · 马克斯普朗克智能系统研究所

　　● 发布时间：2013

　　● 简介： KITTI Road 是道路和车道估计基准，由 289 个训练图像和 290 个测试图像组成。它包含三种不同类别的道路场景：* uu - 城市未标记 (98/100) * um - 城市标记 (95/96) * umm - 城市多标记车道 (96/94) * 城市 - 地面以上三者的组合事实已通过图像的手动注释生成，可用于两种不同的道路地形类型：道路 - 道路区域，即所有车道的组成，车道 - 自我车道，即车辆当前所在的车道继续行驶。地面实况仅用于训练图像。

　　● 下载地址： https://opendatalab.org.cn/KITTI_Road

　　● 论文地址： http://www.cvlibs.net/publications/Fritsch2013ITSC.pdf

　　● 发布方：Tusimple

　　● 发布时间：2017

　　● 简介： 复杂性: 良好和中等天气条件不同的白天2车道/3车道/4车道/或更多高速公路。不同的交通状况 数据集大小: 培训: 3626视频剪辑，3626带注释的帧 测试: 2782视频剪辑 摄像机和视频剪辑: 20帧的1s剪辑摄像机的视图方向非常接近行驶方向 注释类型: 车道标记的折线。

　　● 下载地址： https://opendatalab.org.cn/tusimple_lane

　　● 论文地址： https://arxiv.org/pdf/1907.01294

　　● 发布方：上海人工智能实验室 · 上海交通大学 · 商汤科技研究所

　　● 发布时间：2022

　　● 简介： OpenLane 是迄今为止第一个真实世界和规模最大的 3D 车道数据集。我们的数据集从公共感知数据集 Waymo Open Dataset 中收集有价值的内容，并为 1000 个路段提供车道和最近路径对象（CIPO）注释。简而言之，OpenLane 拥有 200K 帧和超过 880K 仔细注释的车道。我们公开发布了 OpenLane 数据集，以帮助研究界在 3D 感知和自动驾驶技术方面取得进步。

　　● 下载地址： https://opendatalab.org.cn/OpenLane

　　● 论文地址： https://arxiv.org/pdf/2203.11089.pdf

　　● 发布方：上海人工智能实验室

　　● 发布时间：2023

　　● 简介： 全球首个自动驾驶道路结构感知和推理基准。数据集的首要任务是场景结构感知和推理，这需要模型能够识别周围环境中车道的可行驶状态。该数据集的任务不仅包括车道中心线和交通要素检测，还包括检测到的对象的拓扑关系识别。

　　● 下载地址： https://opendatalab.org.cn/OpenLane-V2

　　● 发布方：波恩大学

　　● 发布时间：2019

　　● 简介： 我们提出了一个基于 KITTI Vision Benchmark 的大规模数据集，并使用了里程计任务提供的所有序列。我们为序列 00-10 的每个单独扫描提供密集注释，这使得能够使用多个顺序扫描进行语义场景解释，如语义分割和语义场景完成。剩余的序列，即序列 11-21，被用作测试集，显示大量具有挑战性的交通情况和环境类型。未提供测试集的标签，我们使用评估服务对提交进行评分并提供测试集结果。

　　● 下载地址： https://opendatalab.org.cn/SemanticKITTI

　　● 论文地址： https://arxiv.org/pdf/1904.01416v3.pdf

　　● 发布方：Argo AI

　　● 发布时间：2019

　　● 简介： Argoverse 1开源数据集合包括: 具有113 3D注释场景的3D跟踪数据集 具有324,557场景的运动预测数据集 Argoverse 2开源数据集合包括: 具有1,000 3D注释场景的传感器数据集-每个场景都具有激光雷达，环形摄像头和立体声传感器数据 具有20,000个未标记场景的Lidar数据集，适用于自我监督学习 运动预测数据集，具有250,000有趣的驾驶场景，其属性比其前身Argoverse 1运动预测数据集更丰富 具有1,000场景的地图更改数据集，其中200描述了自映射以来更改的场景。

　　● 下载地址： https://opendatalab.org.cn/Argoverse1

　　● 论文地址： https://openaccess.thecvf.com/content_CVPR_2019/papers/Chang_Argoverse_3D_Tracking_and_Forecasting_With_Rich_Maps_CVPR_2019_paper.pdf

　　● 发布方：Google · Waymo LLC

　　● 发布时间：2020

　　● 简介： Waymo Open数据集由两个数据集组成，具有高分辨率传感器数据和用于2,030片段的标签的感知数据集，以及具有对象轨迹和用于103,354片段的相应3D地图的运动数据集。2022年4月，我们扩展了感知数据集，以包括关键点标签，2d到3D关联标签，3D语义分割标签以及针对3D摄像机检测挑战的新测试集。2022年6月，我们扩展了感知数据集，以包括2D视频全景分割标签。本数据集包含Motion的V1.1版本，Perception v1.4.0版本。

　　● 下载地址： https://opendatalab.org.cn/Waymo

　　● 论文地址： https://openaccess.thecvf.com/content_CVPR_2020/papers/Sun_Scalability_in_Perception_for_Autonomous_Driving_Waymo_Open_Dataset_CVPR_2020_paper.pdf

　　● 发布方：Google · Waymo LLC

　　● 发布时间：2023

　　● 简介： 这个数据集包含了Motion v1.2，添加了激光雷达数据和车道。将 tf_examples 中的最大地图点数增加到 30k，并将采样减少到 1.0m 以增加地图覆盖范围，因此覆盖范围与场景原型格式的数据集相等。

　　● 下载地址： https://opendatalab.org.cn/Waymo_Motion_Dataset_v1.2

　　● 发布方：APTIV Company

　　● 发布时间：2020

　　● 简介： nuScenes数据集是一个大规模的自动驾驶数据集。该数据集具有用于在波士顿和新加坡收集的1000场景的3D边界框。每个场景长20秒，注释为2Hz。这导致总共28130个用于训练的样本，6019个用于验证的样本和6008个用于测试的样本。该数据集具有完整的自动驾驶车辆数据套件: 32光束激光雷达，6个摄像头和具有完整360 ° 覆盖的雷达。3D对象检测挑战评估10个类别的性能: 汽车，卡车，公共汽车，拖车，建筑车辆，行人，摩托车，自行车，交通锥和障碍物。

　　● 下载地址： https://opendatalab.org.cn/nuScenes

　　● 论文地址： https://arxiv.org/pdf/1903.11027v5.pdf

　　● 发布方：达姆施塔特工业大学 · 马克斯普朗克信息学研究所

　　● 发布时间：2016

　　● 简介： Cityscapes是一个大型数据库，专注于对城市街道场景的语义理解。它为分为8个类别 (平面，人类，车辆，构造，对象，自然，天空和虚空) 的30个类提供语义，实例和密集的像素注释。数据集由大约5000个精细注释图像和20000个粗糙注释图像组成。在几个月，白天和良好的天气条件下，在50个城市中捕获了数据。它最初被记录为视频，因此手动选择帧以具有以下功能: 大量动态对象，不同的场景布局和不同的背景。

　　● 下载地址： https://opendatalab.org.cn/CityScapes

　　● 论文地址： https://arxiv.org/pdf/1604.01685v2.pdf

　　● 发布方：亚琛工业大学

　　● 发布时间：2020

　　● 简介： 该数据集包含两个合成的、语义分割的道路场景图像子集，它们是为开发和应用论文“A Sim2Real Deep Learning Approach for the Transformation of Images from Multiple Vehicle-Mounted Cameras to a Semantically Segmented”中描述的方法而创建的。该数据集可以通过 Github 上描述的 Cam2BEV 方法的官方代码实现来使用。

　　● 下载地址： https://opendatalab.org.cn/Cam2BEV

　　● 论文地址： https://arxiv.org/pdf/2005.04078v1.pdf

　　● 发布方：Lyft

　　● 发布时间：2020

　　● 简介： 该数据集包括我们的自动车队遇到的汽车，骑自行车的人，行人和其他交通代理的运动日志。这些日志来自通过我们团队的感知系统处理原始激光雷达、摄像机和雷达数据，非常适合训练运动预测模型。该数据集由捕获自动驾驶车辆周围环境的170,000场景组成。每个场景都会编码给定时间点车辆周围的状态。 该基线解决方案对来自包含在数据集内的代理位置的200万多个样本进行训练。该模型一次预测单个代理。首先，栅格生成一个鸟瞰图 (BEV) 自顶向下的栅格，该栅格对所有代理和地图进行编码。网络根据此栅格推断代理的未来坐标。

　　● 下载地址： https://opendatalab.org.cn/Lyft_Level_5_Prediction

　　● 论文地址： https://arxiv.org/pdf/2006.14480v2.pdf

　　● 发布方：香港大学

　　● 发布时间：2022

　　● 简介： Deepconcident数据集是第一个用于自动驾驶的大规模事故数据集，该数据集包含全面的传感器集，并支持各种自动驾驶任务。值得注意的是，对于我们设计的每个场景，我们都有四个数据收集工具，其中两个设计用于相互碰撞，另外两个分别跟随。因此，deep事故还可以支持多车辆合作自动驾驶。(1) 各种事故场景，每种情况下的四种数据收集车辆提供不同的视角，并实现多车辆协作自动驾驶。(2) 131k带注释的激光雷达样本 (3倍nuScenes) 和791k带注释的带有细粒度对象注释的摄像机图像 (总共六个类别: 汽车，货车，卡车，行人，骑自行车的人，摩托车)。(3) 支持许多任务: 3D物体检测和跟踪 (基于激光雷达、基于多视图图像和基于单目图像) 、BEV语义和实例分割 (基于多视图图像) 、运动预测。(4) 各种场景发生的地方、天气、一天中的时间。

　　● 下载地址： https://opendatalab.org.cn/DeepAccident

　　● 发布方：卡内基梅隆大学

　　● 发布时间：2021

　　● 简介： 全传感器套件 (3倍激光雷达、1倍SPAD激光雷达、4倍雷达、5倍RGB、5倍深度相机、IMU、全球定位系统) 高密度远距离激光雷达点云 来自SPAD-LiDAR的多回波点云 每个具有1000帧 (100 s) 的100序列 不包括车祸和违反交通规则在内的分布数据 用于5个摄像机视点的500,000注释图像 每个LiDAR/雷达传感器的100,000个带注释的帧 26M 2D/3D边界框精确注释为4个对象类别 (汽车、骑自行车的人、摩托车、行人) 跨时间注释对象身份以形成轨迹 对象属性，如截断/遮挡百分比、角和线速度、加速度、制动、转向、油门 顺序点云泛光分割: 为所有序列中的23个语义类注释的所有点; 属于前景对象的点也为唯一实例类注释。 视频全景分割: 为所有视频中的23个语义类注释的所有像素。属于前景对象的像素也被注释为一个唯一的实例类。 可免费用于非商业和商业用途。

　　● 下载地址： https://opendatalab.org.cn/AIOdrive

　　● 论文地址： https://www.xinshuoweng.com/papers/AIODrive/arXiv.pdf

　　● 发布方：奥迪

　　● 发布时间：2020

　　● 简介： 我们已经发布了奥迪自动驾驶数据集 (A2D2)，以支持从事自动驾驶的初创公司和学术研究人员。为车辆配备多模式传感器套件，记录大型数据集并对其进行标记是耗时且费力的。我们的数据集消除了这种高进入壁垒，并使研究人员和开发人员可以专注于开发新技术。数据集具有2D语义分割，3D点云，3D边界框和车辆总线数据。

　　● 下载地址： https://opendatalab.org.cn/A2D2

　　● 论文地址： https://arxiv.org/pdf/2004.06320.pdf

　　● 发布方：普渡大学 · 美国沃尔沃汽车技术公司 · Luminar Technologies

　　● 发布时间：2020

　　● 简介： Cirrus数据集包含6,285对RGB、LiDAR高斯和LiDAR均匀帧。Cirrus已在整个250米激光雷达有效范围内为八个对象类别 (如下所述) 进行了注释。它包括高速公路和低速城市道路场景。所有图像都经过了匿名化过程，模糊了人脸和车牌，以消除个人身份信息。

　　● 下载地址： https://opendatalab.org.cn/Cirrus

　　● 论文地址： https://arxiv.org/pdf/2012.02938.pdf

　　● 发布方：卡内基梅隆大学

　　● 发布时间：2018

　　● 简介： 从宽基线、未校准和非同步的相机中观察到的多个动态刚性物体（例如车辆）的快速准确的 3D 重建具有挑战性。一方面，特征跟踪在每个视图中都能很好地工作，但由于视野重叠有限或由于遮挡，很难在多个摄像机之间进行对应。另一方面，深度学习的进步导致强大的检测器可以跨不同的视点工作，但对于基于三角剖分的重建仍然不够精确。在这项工作中，我们开发了一个框架来融合单视图特征轨迹和多视图检测到的部分位置，以显着改善移动车辆的检测、定位和重建，即使在存在强遮挡的情况下也是如此。我们通过重建 3 分钟窗口内通过的 40 多辆车辆，在繁忙的交通路口展示了我们的框架。

　　● 下载地址： https://opendatalab.org.cn/CarFusion

　　● 论文地址： http://openaccess.thecvf.com/content_cvpr_2018/papers/Reddy_CarFusion_Combining_Point_CVPR_2018_paper.pdf

　　● 发布方：Motional

　　● 发布时间：2021

　　● 简介： nuPlan是世界上第一个自动驾驶的大型规划基准。尽管越来越多的基于ML的运动计划人员，但缺乏已建立的数据集，仿真框架和指标限制了该领域的进展。用于自动驾驶车辆运动预测的现有基准 (Argoverse，Lyft，Waymo) 集中在其他代理的短期运动预测上，而不是自我车辆的长期计划。这导致以前的工作使用具有L2-based指标的开环评估，这些指标不适合公平评估长期计划。我们的基准测试通过提供培训框架来开发基于机器学习的计划者，轻量级闭环模拟器，特定于运动计划的指标以及可视化结果的交互式工具，克服了这些限制。

　　● 下载地址： https://opendatalab.org.cn/nuPlan-v1

　　● 论文地址： https://arxiv.org/pdf/2106.11810.pdf

　　● 发布方：Motional

　　● 发布时间：2021

　　● 简介： nuPlan v1.1 数据集对 v1.0 数据集进行了多项改进——场景标记频率显着增加，场景标记性能得到改进，交通灯标签和计划路线现在更加准确。有关如何开始的信息，请参阅位于http://github.com/motional/nuplan-devkit的开发工具包。

　　● 下载地址： https://opendatalab.org.cn/nuPlan-v1.1

　　● 发布方：浙江大学 · 伦敦帝国理工学院 · 百度

　　● 发布时间：2018

　　● 简介： Q-Traffic 是一个大规模的交通预测数据集，由三个子数据集组成：查询子数据集、交通速度子数据集和路网子数据集。

　　● 下载地址： https://opendatalab.org.cn/Q-Traffic

　　● 论文地址： https://arxiv.org/pdf/1806.07380v1.pdf

　　● 发布方：马克斯普朗克智能系统研究所 · 伊利诺伊大学厄巴纳香槟分校

　　● 发布时间：2022

　　● 简介： TransFuser: 模仿基于变压器的传感器融合用于自动驾驶，用于端到端自动驾驶的多模态融合变压器 为了生成基于交叉点的方案的路线，我们检查通过生成的方案有效的交叉点的所有遍历，并包括这些用于训练。在8个公共城镇地图上，我们通过交叉路口获得了大约2500条这样的路线。这些路线的平均长度为100m。由于其他情况，我们的数据集中有大量的交叉路口，因此我们沿着弯曲的高速公路收集场景1和3的数据。大约有500条这样的路线。平均路线长度为400m，并且该场景在路线的中间产生。最后，由于更改车道具有挑战性，因此我们提取了类似于场景1和场景3的弯曲路线，但包括沿路线而不是CARLA场景的车道更改。大约有500条车道变更路线，平均长度为400m。每条这样的路线都有2个车道变更，一个在起点，一个在中途点。

　　● 下载地址： https://opendatalab.org.cn/transfuser_carla

　　● 论文地址： https://arxiv.org/pdf/2205.15997.pdf

　　● 发布方：宾夕法尼亚大学

　　● 发布时间：2019

　　● 简介： Multi Vehicle Stereo Event Camera (MVSEC) 数据集是一组数据，旨在为基于事件的摄像机开发新颖的 3D 感知算法。立体事件数据从汽车、摩托车、六轴飞行器和手持数据中收集，并与激光雷达、IMU、运动捕捉和 GPS 融合，以提供地面真实姿态和深度图像。

　　● 下载地址： https://opendatalab.org.cn/MVSEC

　　● 论文地址： https://arxiv.org/pdf/1801.10202v2.pdf

　　● 发布方：密歇根大学 · 福特汽车公司研究

　　● 发布时间：2020

　　● 简介： 我们提供了一个基于改装的福特F-250皮卡的自主地面车辆试验台收集的数据集。该车辆配备了专业 (Applanix POS LV) 和消费者 (Xsens mti-g) 惯性测量单元 (IMU)，Velodyne 3D-lidar扫描仪，两个推扫帚前视Riegl激光雷达和一个Point Grey Ladybug3全向摄像机系统。在这里，我们提供了来自安装在车辆上的这些传感器的时间记录数据，这些数据是在2009年11月到12月期间在福特研究园区和密歇根州迪尔伯恩市中心驾驶车辆时收集的。这些数据集中的车辆路径轨迹包含几个大型和小型环路闭合，这对于测试各种最先进的计算机视觉和SLAM (同时定位和映射) 算法应该是有用的。数据集的大小很大 (约100 GB)，因此在下载数据集之前，请确保您有足够的带宽。

　　● 下载地址： https://opendatalab.org.cn/Ford

　　● 论文地址： https://arxiv.org/pdf/2003.07969.pdf

　　● 发布方：罗彻斯特理工学院

　　● 发布时间：2020

　　● 简介： 收集车祸数据集 (CCD) 用于交通事故分析。它包含由安装在驾驶车辆上的行车记录仪拍摄的真实交通事故视频，这对于开发有安全保障的自动驾驶系统至关重要。 CCD 区别于现有数据集，用于多样化的事故注释，包括环境属性（白天/夜晚、下雪/下雨/良好的天气条件）、是否涉及自我车辆、事故参与者和事故原因描述。

　　● 下载地址： https://opendatalab.org.cn/CCD

　　● 论文地址： https://arxiv.org/pdf/2008.00334v1.pdf

　　● 发布方：哈佛大学 · 富士通研究所 · CBMM & MIT · 麻省理工学院计算机科学与人工智能实验室

　　● 发布时间：2021

　　● 简介： 我们引入了一个具有挑战性的新数据集，用于同时进行对象类别和视点分类——Biased-Cars 数据集。我们的数据集具有照片般逼真的户外场景数据，可对场景杂乱（树木、街道设施和行人）、汽车颜色、对象遮挡、不同背景（建筑物/道路纹理）和照明条件（天空地图）进行精细控制。 Biased-Cars 由 5 种不同汽车模型的 15K 图像组成，这些图像是从多个尺度的 0-90 度方位角和 0-50 度天顶角之间变化的视点看到的。我们的数据集提供了对类别、视点和其他场景参数的联合分布的完全控制，并且使用基于物理的渲染确保了照片的真实感。

　　● 下载地址： https://opendatalab.org.cn/Biased-Cars

　　● 论文地址： https://arxiv.org/pdf/2007.08032v3.pdf

　　● 发布方：弗吉尼亚大学 · 伊利诺伊大学厄巴纳香槟分校 · 莱斯大学

　　● 发布时间：2021

　　● 简介： EyeCar数据集包含来自20名参与者的3.5小时凝视行为（汇总和原始），以及超过315，000个追尾碰撞视频帧。它包含 21 个在各种交通、天气和日光条件下拍摄的前视视频。每个视频长度为 30 秒，包含典型的驾驶任务（例如，车道保持、并入和制动），以结束追尾碰撞。

　　● 下载地址： https://opendatalab.org.cn/EyeCar

　　● 论文地址： https://arxiv.org/pdf/1912.07773v4.pdf

　　● 发布方：香港中文大学 · 加州大学

　　● 发布时间：2022

　　● 简介： 我们从YouTube上抓取第一视图驾驶视频。收集总长度超过120小时的134视频。如图1所示，这些视频涵盖了具有各种天气条件 (晴天，雨天，下雪等) 和区域 (农村和城市地区) 的不同驾驶场景。我们每一秒钟采样一个帧，得到130万帧的数据集。我们将YouTube驾驶数据集分为具有70% 数据的训练集和具有30% 数据的测试集，并在训练集上进行ACO的训练。

　　● 下载地址： https://opendatalab.org.cn/YouTube_Driving_Dataset

　　● 论文地址： https://arxiv.org/pdf/2204.02393.pdf