文章

都柏林市中心的激光雷达点云

高精度、多样化、密集标注的市中心激光扫描数据集

通过伊曼Zolanvari，Atteyeh Natanzi • 2020年1月7日,

都柏林市的密集注释地面真相激光雷达数据集是关于精度、密度和类别多样性的第一个同类数据集。等级标签提供了极好的潜力，各种应用在城市科学。

激光雷达数据采集技术的进步大大增加了获得的空间数据量，人工处理的成本越来越高。人工智能(AI)现在已经开始为分析和利用这些大数据集提供具有成本效益的解决方案。人工智能可以用于场景理解，准确检测物体和分类3D资产。这些是一些应用的重要基础，包括自主导航、智能机器人、城市规划、应急管理，甚至森林监测。这类应用中最流行的3D空间信息类型是激光雷达和图像数据。本文描述了2019年生成的密集注释的地面真相激光雷达数据集。这些带标签的数据集是由都柏林的激光雷达数据生成的，这些数据是在2015年与都柏林的航拍图像一起捕获的。这两个数据集都是公开可用的，本文包括了它们的url。

With two thirds of the world’s population already living in urban areas, and a further increase of two billion predicted by 2050, the number of megacities (i.e. with populations of more than ten million) is predicted to increase to 41 in the next decade (UN 2014). Most of these cities had less than 2 to 3 million inhabitants in 1950, which means that their infrastructure is totally unable to support such huge growth. To plan sustainable growth of such urban areas, geometrically accurate three-dimensional (3D) models are essential for city planning. Accurate spatial modelling and interventions related to city planning are especially challenging as most parts of cities are largely undocumented, and the cost of collecting the relevant data through traditional mapping methods is typically very high. In such cases, remote-sensing technologies offer cost-effective alternatives.

激光雷达、激光扫描和摄影测量是当前技术中杰出的解决方案。最新的激光雷达扫描仪能够以点云的形式每秒捕获大约100万个地理参考点。这种点云可以通过三个主要来源获得:a)地面激光扫描(TLS)，通常从街道的角度，可以收集大部分垂直立面的数据，但很少收集任何屋顶、阳台和其他水平平面的数据;b)移动激光扫描(Mobile laser scanning, MLS)，汽车或其他车辆(如自主巡逻，甚至船只)使用相同的TLS特性进行300米以内的较短距离的测量;和c)机载激光扫描(ALS)，它可以包含全波形数据和良好的鸟瞰视图，但通常有限的facade数据。ALS通常用于获取大面积(如整个城市区域)的数据。

都柏林数据集

2007年和2015年晚些时候，都柏林大学学院城市建模小组占据了爱尔兰共和国都柏林的大城市数据集，在德布拉·拉德弗教授的监督下。数据集包括激光扫描点云（即LIDAR） - 如图1所示 - 以及空中图像（即垂直，倾斜图像和视频数据）。随着数据集概述的镜头，与2007年的初始捕获相比，2015年数据集的密度非常好。2015年数据集是曾经收集的最密度的城市空中激光脉云之一（超过1.4亿点）平均点密度为250至348点/米²．本项目初始数据集为5.6km²一架直升机在平均飞行高度300米的高度对都柏林市中心的ALS设备进行了扫描。该数据是在2015年3月收集的，因为当时都柏林的植被很少，因此建筑上的阴影也很少。

虽然数据集的主要输出是生成激光雷达点云，但安装的摄像机也在飞行过程中捕获图像数据。图像数据集由4,471幅地理参考RGB图像组成，分辨率为9,000x6,732像素，地面采样距离为3.4cm，采用TIFF格式。地理信息在EXIF元数据中作为GPS信息给出，用于捕获的相机是徕卡RCD30。该数据集还包括4,033张斜角JPEG图像，分辨率为7,360x4,912，由两个人拍摄尼康D800E.相机。图像数据集的总大小约为830GB。所有的激光雷达和图像数据都可以在纽约大学的数据库里访问。

除了这个数据集，乔纳森·伯恩博士等人在2017年还用无人机拍摄了平均海拔约30米的都柏林三一学院(TCD)校园的航拍图像，并生成了基于图像的点云。这个数据集对于比较2015年和2017年的校园会很有趣。

注释的原因

激光扫描数据在点云中没有固有的分类信息，点云之间也没有任何预定义的关系。因此，为了在各种应用中使用这些点，必须对数据进行分类，并提取所需的局部特征。尽管在大规模准确和快速捕获激光雷达数据的技术方面取得了进展，但对获得的巨大数据集的自动分析和理解仍在发展中。

传统的数据集处理方法通常使用几何拟合(例如几何拟合)。RANSAC)或区域增长。这些方法用于粗分割，作为数据集(如建筑物、街道等)分类的第一步。一般来说，粗分割之后是基于特定应用中用于提取较小对象(如窗户、门或烟囱)的算法的显式特征提取。尽管有上述技术，机器学习(ML)和人工智能似乎是更有效和成本效益更高的方法。例如，可以训练神经网络(NN)，在最少的人工干预下智能地检测和分类数据集中的3D资产。然而，训练神经网络模型的关键是要有一个准确、多样化和注释良好的地面真相数据集。因此，在城市尺度上获取全3d、密集和非合成的标记点云非常重要，其中包括各种城市元素(各种类型的屋顶、建筑立面、窗户、树木和人行道)。然而，生成这样详细的标记数据集是困难和昂贵的。虽然已经有好几次尝试生成这样的带标签的数据集，包括使用半自动摄影测量或形态学方法，但对常用数据集的回顾表明，没有一种可以完全满足所有需求。

一个新注释的大规模点云

iman zolanvari等。al。提供了一部小说标签数据集（图3），来自Trinity学院都柏林都柏林的上述LIDAR数据。在该项目中，在13个课程中，手动标记为100,000个对象超过2.6亿次激光扫描点。这些类包括从粗（即建筑物，植被和地面）到精致水平的分层细节水平（例如，窗户，门和树木）。

第一个关卡产生了一个粗糙的标签，包括四个类别:建筑、地面、植被和未定义。“建筑”指的是各种形状的可居住的城市建筑(如住宅、办公室、学校和图书馆)。“Ground”主要包含在地面上的点。“植被”类由各种可分离的植物组成。最后，“未定义”点是那些最不值得包含的元素，如城市元素(如垃圾箱、装饰雕塑、汽车、长椅、杆子、邮筒和非静态物体)。大约10%的总分被标记为未定义的，它们大多是河流、铁路和建筑工地。在第二阶段，将第一阶段的前三个类别划分为一系列精细化的类。建筑分为屋顶和立面。植被分为可分离的植物(即乔木和灌木)。地面分为街道、人行道和草地。 The third level includes any types of doors and windows placed in the roofs (dormers and skylights) and facades. Each class could be extracted separately or in a combination of other classes for various applications. Figure 4 shows the labelling order of the dataset.

标签的一代

为了生成标签，初始的Lidar数据集被划分为13个子块(约1900万个点)用于标注。该过程从将数据导入到CloudCompare.2.10.1软件。然后利用分割和切片工具对点进行粗手工分割，将点分为建筑、植被和地面三类，并进行相应的标注。接下来，这个过程继续到第三级最精细的细节(如窗户和门)。因此，该管道为每个点生成一个惟一的标签。在适当的监督下，整个过程花费了2500多个小时，并经过多次仔细的交叉检查，以将错误程度降到最低。

注释数据集包括都柏林市中心不同类型的历史和现代城市元素。建筑类型包括办公室、商店、图书馆和住宅。这些建筑从独立的、半独立的到排屋，可以追溯到不同的时代(从17世纪开始)^th21世纪的建筑^圣-Century乔治的码头复合体）。这一详细的标签数据集是关于课程的准确性，密度和多样性的首先，特别是在其城市规模覆盖范围内。等级标签为城市科学中各种分类和语义分割应用提供了出色的潜力。

应用程序和更多信息

标记数据集的主要目标是训练卷积神经网络(convolutional neural network, CNNs)，用于对海量点云数据中的城市元素进行分类。例如，可以使用带标签的数据集进行培训和使用PINETNET.、PointNet++和So-Net。这些网络能够基于由街道、人行道和植被组成的地面层次的语义分割，为几个重要的应用(如机器人或自主导航)分类城市元素。这些都是自主导航行业的基本要素。此外，植被类对树木的检测非常有益，它可以用于监测城市甚至森林地区的植物健康。例如，2015年至2017年，无人机和直升机数据中应用的变化检测技术可以清楚地显示被移除树木的位置、大小和数量。白色的点(如树和建筑)表示在2015年扫描项目之后被删除的内容(图5)。关于数据集的更多信息(如视频的进一步描述，学术论文的链接和下载链接)可以在这里找到bit . ly / GIM_magazine．