Cityscapes：自动驾驶研究绕不开的街景数据集

做计算机视觉的，特别是搞语义分割和自动驾驶感知的，基本都知道 Cityscapes。这个数据集 2016 年发布，到现在引用量已经非常高，是城市街景理解领域的基准之一。

数据集有什么

Cityscapes 收录了 50 个欧洲城市的街道立体视频，从中抽取帧进行标注。数据分几个层级：

精细标注：5000 张图片，每张都有像素级的多边形标注，涵盖人、车、建筑、道路等 30 个类别。这是最核心的部分，训练和验证都靠它。

粗略标注：另外有约 2 万张图片做了粗标注，适合做弱监督训练或者数据增强。

3D 标注：车辆的 3D 边界框标注，做 3D 目标检测的研究者会用到。

行人标注：基于 CityPersons 标准的行人边界框，做行人检测的可以直接拿来用。

除了标注数据，还提供了左右眼立体图像、视差深度图、相机标定参数、GPS 轨迹等配套数据。数据类型比较全，基本覆盖了自动驾驶感知的主要需求。

配套工具链

光有数据不够，Cityscapes 还提供了一套 Python 工具包 cityscapesscripts，用 pip 直接装：

pip install cityscapesscripts

工具包包含这些功能：

数据查看：csViewer 可以可视化图片和标注叠加效果，调试的时候很有用。

格式转换：把多边形标注转成训练用的标签图，支持语义分割和实例分割两种格式，还能转成 COCO 全景分割格式。

评估脚本：官方提供了像素级语义分割、实例级语义分割、全景分割、3D 目标检测四种评估脚本。提交到官网服务器评测也是用这套标准。

数据下载：csDownload 命令行工具可以直接下载数据集包。

数据组织方式

数据按 {类型}/{划分}/{城市} 的目录结构组织。划分上分 train（2975 张）、val（500 张）、test（1525 张）、train_extra（19998 张粗标注）。test 集的标注不公开，需要提交到官网评测。

环境变量 CITYSCAPES_DATASET 指向数据根目录，工具脚本会自动读取这个路径，不用每次手动指定。

怎么用

典型的使用流程是：下载数据集，用工具包把标注转成模型需要的格式（比如把多边形转成 train ID 的 PNG 图），然后训练模型，最后用官方评估脚本在验证集上跑指标。正式提交就上传到官网。

数据集本身按自己的许可协议发布，工具包是 MIT 协议，可以自由使用和修改。

适合谁

做语义分割研究的，这个数据集基本是必跑的 baseline。做自动驾驶感知的，Cityscapes 的场景和标注质量都很接近实际需求。做迁移学习的，可以先在 Cityscapes 上预训练，再在目标数据集上微调。

Star 数 2300 多，看着不多，但在学术圈这个引用量和使用率是很高的。很多顶会论文的实验部分都会在 Cityscapes 上报告结果。

如果你的研究涉及城市街景理解，这个数据集值得花时间熟悉一下。工具包的文档写得比较清楚，上手不难。

上报告结果。

如果你的研究涉及城市街景理解，这个数据集值得花时间熟悉一下。工具包的文档写得比较清楚，上手不难。