CN101842661A - 将范围传感器数据映射在图像传感器数据上的方法及布置 - Google Patents

将范围传感器数据映射在图像传感器数据上的方法及布置 Download PDF

Info

Publication number
CN101842661A
CN101842661A CN200780101325A CN200780101325A CN101842661A CN 101842661 A CN101842661 A CN 101842661A CN 200780101325 A CN200780101325 A CN 200780101325A CN 200780101325 A CN200780101325 A CN 200780101325A CN 101842661 A CN101842661 A CN 101842661A
Authority
CN
China
Prior art keywords
range sensor
data
cloud
computing machine
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780101325A
Other languages
English (en)
Inventor
克日什托夫·米克萨
拉法尔·扬·格利什琴斯基
卢卡什·彼得·塔博罗维斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tele Atlas BV
Original Assignee
Tele Atlas BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tele Atlas BV filed Critical Tele Atlas BV
Publication of CN101842661A publication Critical patent/CN101842661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供将来自第一范围传感器(3(1))的第一范围传感器数据映射到来自相机(9(j))的图像数据的方法及布置。所述方法包含：接收来自装载于移动***上的位置确定装置的时间及位置数据以及来自装载于所述移动***上的所述第一范围传感器(3(1))的所述第一范围传感器数据及来自装载于所述移动***上的所述相机(9(j))的所述图像数据；在所述第一范围传感器数据内识别与至少一个对象相关的第一点云；基于所述第一点云产生与所述对象相关的遮掩；将所述遮掩映射在与来自所述至少一个相机(9(j))的所述图像数据中存在的相同的所述对象相关的对象图像数据上；对所述对象图像数据的至少一部分执行预定图像处理技术。

Description

将范围传感器数据映射在图像传感器数据上的方法及布置
技术领域
本发明涉及借助移动车辆(例如移动测绘***(MMS))上的图像传感器(如相机)捕获并处理图像及范围传感器数据且将这些数据映射在由定位于相同移动车辆上的至少一个范围传感器获得的范围传感器数据上的领域。
在一实施例中，本发明还涉及从此类图像中移除隐私敏感数据的领域。所述隐私敏感数据可涉及正相对于固定世界(即，全球)移动的对象。
背景技术
在一些MMS应用中，本发明将尤其捕获建筑物立面及其它固定对象(如树木、街道标志及街灯)的图片，所述图片稍后在用于(例如)汽车导航***中的“真实世界”2D及/或3D街道图像中使用。接着，向具备此一导航***的汽车的驾驶员显示这些图像，使得所述驾驶员在所述导航***的屏幕上看到与在透过所述汽车的窗户观察时的真实世界视图对应的2D及/或3D图像。此类图片还可用于除了汽车导航***以外的应用中，举例来说，用于可作为独立***或作为联网环境中的协作***而在计算机上玩的游戏中。此一环境可以是因特网。如下文所呈现的本发明的解决方案不限于特定应用。
然而，数百万个此类MMS图像可含有无意中存在于所述图像上的隐私信息，例如人的面部及可读汽车牌照。并不想要在此类隐私或其它不合意的信息仍完整无损的情况下在公共应用中使用此类图像。举例来说，报纸已作出关于由GoogleTM发布的街道地图视图中所使用的图像中存在此类不合意信息的报导。在真实世界状况中拍摄的图像表示在MMS附近的静态及移动对象。在所述图像中，具有此类隐私或其它不合意的信息的对象可相对于固定世界为静态或移动对象。人们必须在由MMS上的相机拍摄的图像中识别此类对象。一些现有技术应用已设法仅在图像性质的基础上识别移动对象并基于图像序列中的色彩像素性质来确定其移动轨迹。然而，此一途径仅在可依序在多于两个图像上确定对象以确定轨迹的情况下起作用。
其他人已揭示其中使用其它类型的传感器来确定对象相对于布置有此类传感器的车辆的短时间轨迹近似的***。此类传感器可包含激光扫描仪、雷达***及立体摄像机。举例来说，EP 1418444的引言中提到了此类***。此文献涉及其中对象相对于车辆的相对位置和速度较重要(举例来说)以避免车辆与对象之间的事故的实时应用。所述文献未揭示可如何将由传感器获得的位置和速度数据映射在由立体摄像机获得的图像数据上。此外，其未揭示如何确定此类对象的绝对位置和绝对速度。此处，“绝对”将被理解成相对于如由地球及固定到地球的对象(如建筑物、交通标志、树木、山脉等)确定的固定真实世界为绝对的意义。此一真实世界可(举例来说)由GPS***所使用的参考格栅界定。此外，此文献未解决如何处理由摄像机拍摄的图像中的隐私敏感数据。
举例来说，共同待决的专利申请案PCT/NL2006/050264中描述使用激光扫描仪数据来帮助识别建筑物占用面积的位置。
发明内容
本发明的目标为提供一种允许由一个或一个以上相机拍摄的一系列图像中存在的的对象的精确检测的***及方法，所述一个或一个以上相机在其正移动时拍摄图片，例如，这是因为其定位于移动测绘***上。
为此目的，本发明提供一种计算机布置，其包括处理器及连接到所述处理器的存储器，所述存储器包括计算机程序，所述计算机程序包括经布置以允许所述处理器执行以下操作的数据及指令：
●接收来自装载于移动***上的位置确定装置的时间及位置数据以及来自装载于所述移动***上的至少第一范围传感器的第一范围传感器数据及来自装载于所述移动***上的至少一个相机的图像数据；
●在所述第一范围传感器数据内识别与至少一个对象相关的第一点云；
●产生与所述对象相关且基于所述第一点云的遮掩；
●将所述遮掩映射在与来自所述至少一个相机的所述图像数据中存在的相同的所述对象相关的对象图像数据上；
●对所述对象图像数据的至少一部分执行预定图像处理技术。
所述位置数据可含有定向数据。
所述范围传感器提供与不同对象相关的此类点云。由于对象并不位于相同位置上，因此与此类点云中的每一者相关的点向所述范围传感器显示清晰的不同距离及/或方位(取决于所述点属于哪一对象)。因此，使用相对于所述范围传感器的这些范围差，可容易地制成与不同对象相关的遮掩。接着，可将这些遮掩应用到由所述相机拍摄的图像以在所述图像中识别对象。此结果为识别那些对象且比仅依赖于图像数据早的可靠方式。
如果对象不正相对于固定世界移动，那么此一方法证明为极其有效。然而，此类对象可正移动。那么，减小了此一检测的精确度。因此，在一实施例中，本发明涉及如上文所界定的计算机布置，其中所述计算机程序经布置以允许所述处理器执行以下操作：
●接收来自装载于所述移动***上的第二范围传感器的第二范围传感器数据；
●在所述第二范围传感器数据内识别与所述相同的至少一个对象相关的第二点云；
●根据所述第一点云及所述第二点云计算所述至少一个对象的运动向量；
●在使用所述运动向量的同时，将所述遮掩映射在所述对象图像数据上。
在此实施例中，所述***确定对象在拍摄图像时的绝对位置及绝对速度，且所述***使用对象的移动轨迹的短时间近似。即，由于连续图像与连续范围传感器扫描之间所涉及的时间周期极短，因此人们可假设所有运动均为大体线性的且可极精确地识别正相对于固定世界移动的对象。为此目的，其使用至少两个范围传感器的范围传感器扫描，由于所述至少两个范围传感器为间隔开的且为不同定向，因此其提供可容易地用于识别对象的位置及移动的数据。此减少了与仅基于图像性质来识别移动对象并基于图像序列中的色彩像素性质确定其移动轨迹相关的问题，如根据现有技术所已知。
此外，当使用极准确的方法来确定正支撑相机及传感器的MMS***的绝对位置和速度时，还可获得MMS***附近的存在于由相机拍摄的图像上的对象的至少一点的极准确的绝对位置及短时间轨迹估计。此允许图像像素的3D位置的重构(此改进此类图像的值)且允许由车辆的驾驶员所看到的所谓的道路走廊中存在的对象的经改进的重构。不仅可使用图像滤波技术，且还可添加空间特征(如空间间隔、实际大小、大小变化)以近似对象的主轴或对象的参考点。此增加滤波的值。
通过向图像添加3D空间方面(即，通过向图像中的对象添加z分量)，甚至可有效地分离具有相同色彩空间性质的对象(例如，近的灌木丛与远的树木)。
像素可与(绝对)空间中的位置相关联。通过这样做，可将一个图像分析及滤波(如面部检测或文本检测)的结果容易地传送且应用到具有到绝对空间的相同映射的其它图像。
在一些情况下，可选择并使用具有不可读取性质的一个图像上的ROI(感兴趣的区域)来确定另一图像的ROI中的相同性质。举例来说，可将两个或两个以上不同图像的ROI映射到空间中的相同ROI且可将来自第二图像的性质应用到在时间上更早或更晚地拍摄的图像。因此，使用范围传感器测量可链接对多个图像执行的算法。
可在使用任一类型的范围传感器(例如激光扫描仪、雷达或激光雷达)的同时应用本发明的原理。可由包含空降车辆的任一适合车辆所携载的任一类型的相机拍摄图像。
MMS***上的相机可及时拍摄相继图片，使得其再现具有相同场景的重叠部分的数个图片。在此类重叠部分中，可存在因此将在数个图片中显示出的对象。如果将对此一对象应用图像滤波技术，那么通过使用本发明的方法仅需对这些图片中的一者(通常为在时间首次拍摄的图片)中的对象应用此技术。此将导致可用于其所存在于的所有图片中的图像经处理对象。此节省显著计算时间。
当对象的速度相对于相机的速度较大时，重要因子是对象的所观察到的大小，这是因为两者之间的速度差越大，所观察到的大小与实际大小的偏差越大。因此，如果人们希望将范围传感器数据映射在图像数据上，那么必须对此效应进行补偿。因此，在进一步实施例中，根据短时间轨迹数据确定对象的大小。在此实施例中，对象的移动估计的短时间近似允许计算机布置将形状校正程序应用到与(快速)移动对象相关联的点云(由范围传感器获得)，从而导致此类点云与由相机拍摄的图像中的对象之间的较佳对应。
附图说明
将参照一些图式详细地解释本发明，所述图式仅打算显示本发明的实施例而非限制范围。本发明的范围在所附权利要求书中且由其技术等效内容加以界定。
所述图式显示：
图1显示具有相机及激光扫描仪的MMS***；
图2显示位置和定向参数的图示；
图3显示在其车顶上具备两个相机及两个范围传感器的汽车的示意性俯视图；
图4a显示执行本发明可借助的计算机布置的图示；
图4b显示根据本发明实施例的基本过程的流程图；
图5显示非移动对象的图像；
图6显示由范围传感器中的一者获得的与在图5的图像上可见的相同的场景相关的范围传感器数据的实例；
图7显示可如何使用图6的数据来产生遮掩；
图8显示可如何使用图7的遮掩在图5中所示的图像中识别对象；
图9显示使图8中所示的对象的图像模糊的结果；
图10显示由相机中的一者拍摄的图片的实例；
图11显示由范围传感器中的一者获得的与在图10的图像上可见的相同的场景相关的范围传感器数据的实例；
图12显示可如何使用图11的数据来产生遮掩；
图13显示可如何使用图12的遮掩在图10中所示的图像中识别对象；
图14显示根据本发明实施例的基本过程的流程图；
图15a到15c显示在连续时间瞬间对象相对于具备一相机及两个范围传感器的汽车的位置；
图16显示对象的范围传感器测量点云；
图17显示如在模型中用于计算对象的质心的圆柱体；
图18显示指向不同方向的两个范围传感器；
图19显示如何在使用图12中所示的遮掩且使用移动对象的速度估计的同时在图像中识别所述对象；
图20显示如由遮掩识别的对象；
图21显示使图20中所示的对象的图像模糊的结果；
图22显示可如何确定移动对象的真实大小和形状。
具体实施方式
本发明主要涉及处理由移动测绘***(MMS)上的相机拍摄的图像的领域。更具体来说，在一些实施例中，本发明涉及增强此类图像或在此类图像中识别(移动)对象以及消除这些图像中的隐私敏感数据。然而，并不排除所附权利要求书的范围所涵盖的其它应用。举例来说，所述相机可由任一其它适合车辆(如空降车辆)携载。
图1显示采取汽车1形式的MMS***。汽车1具备一个或一个以上相机9(I)(I＝1，2，3，...I)及一个或一个以上激光扫描仪3(j)(j＝1，2，3，...J)。在本发明的上下文中，如果必须识别移动对象，那么使用来自至少两个或两个以上激光扫描仪3(j)的信息。汽车1可由驾驶员驾驶着沿感兴趣的道路行驶。激光扫描仪3(j)可由任一种类的范围传感器替代，所述任一种类的范围传感器允许针对某一组方位检测所述范围传感器与由所述范围传感器感测的对象之间的距离。此一替代范围传感器可以是(举例来说)雷达传感器或激光雷达传感器。如果使用雷达传感器，那么其范围和方位测量数据应与如可借助激光扫描仪获得的那些范围和方位测量数据相当。
此处术语“相机”被理解为包含任一类型的图像传感器，包含(举例来说)LadybugTM。
汽车1具备多个车轮2。此外，汽车1具备高精确度位置/定向确定装置。此一装置经布置以提供关于汽车1的位置和定向的6自由度数据。图1中显示一实施例。如图1中所示，所述位置/定向确定装置包括以下组件：
●GPS(全球定位***)单元，其连接到天线8且经布置以与多个卫星SLk(k＝1，2，3，...)通信且根据从卫星SLk接收的信号计算位置信号。所述GPS单元连接到微处理器μP。所述微处理器μP经布置以存储从所述GPS单元接收的随时间而变的数据。此数据将被发送到外部计算机布置以供进一步处理。在一实施例中，基于从所述GPS单元接收的信号，所述微处理器μP可确定将在汽车1中的监视器4上显示的适合显示信号，从而告知驾驶员汽车的所在位置及所述汽车可能正沿哪个方向行进。
●DMI(距离测量仪器)。此仪器是通过感测车轮2中的一者或一者以上的旋转次数来测量汽车1行进的距离的里程表。所述DMI还连接到所述微处理器μP。所述微处理器μP经布置以存储从所述DMI接收的随时间而变的数据。此数据也将被发送到外部计算机布置以供进一步处理。在一实施例中，所述微处理器μP在根据来自所述GPS单元的输出信号计算显示信号的同时考虑到由所述DMI测量的距离。
●IMU(惯性测量单元)。此一IMU可实施为经布置以测量旋转加速度的三个回转仪单元及沿三个正交方向的三个平移加速计。所述IMU还连接到所述微处理器μP。所述微处理器μP经布置以存储变化从所述IMU接收的随时间而变的数据。此数据也将被发送到外部计算机布置以供进一步处理。
如图1中所示的***(举例来说)通过借助安装于汽车1上的一个或一个以上相机9(i)拍摄图片来收集地理数据。所述相机连接到所述微处理器μP。此外，在汽车1正沿感兴趣的道路行驶时，激光扫描仪3(j)拍摄激光样本。因此，所述激光样本包括与同这些感兴趣的道路相关联的环境相关的数据且可包含与建筑物大厦、与树木、交通标志、停泊的车、人等相关的数据。
激光扫描仪3(j)还连接到所述微处理器μP且将这些激光样本发送到所述微处理器μP。
通常想要从三个测量单元GPS、IMU及DMI尽可能精确地提供位置和定向测量。在相机9(i)拍摄图片且激光扫描仪3(j)拍摄激光样本时测量这些位置和定向数据。存储所述图片及所述激光样本两者以供稍后在所述微处理器μP的适合存储器中结合在拍摄这些图片及激光样本时收集的汽车1的对应位置和定向数据使用。及时从所述GPS、IMU、DMI、相机9(i)及激光扫描仪3(j)中收集所有数据的替代方式为给所有这些数据加时间戳并将所述时间戳数据连同其它数据一起存储于所述微处理器的存储器中。可替代地使用其它时间同步标记。
所述图片及激光样本包含(举例来说)关于建筑物大厦立面的信息。在一实施例中，激光扫描仪3(j)经布置以产生具有最小50Hz及1deg分辨率的输出以产生方法的足够密集的输出。例如由SICK生产的MODEL LMS291-S05的激光扫描仪能够产生此输出。
图2显示可从图1中所示的三个测量单元GPS、DMI及IMU获得哪些位置信号。图2显示微处理器μP经布置以计算6个不同参数，即，相对于预定坐标***中的原点的3个距离参数x、y、z及分别为ωx、ωy、ωz的3个角度参数，其分别表示绕x轴、y轴及z轴的旋转。z方向与重力向量的方向一致。
图3显示具有两个范围传感器3(1)、3(2)(其可以是激光扫描仪但另一选择为可以是(举例来说)雷达)及两个相机9(1)、9(2)的MMS。两个范围传感器3(1)、3(2)布置于汽车1的车顶上，使得在相对于汽车1的行驶方向观看时其指向汽车1的右侧。借助SD1指示范围传感器3(1)的扫描方向而借助SD2指示范围传感器3(2)的扫描方向。相机9(1)也向右侧观看，即，其可垂直于汽车1的行驶方向指向。相机9(2)沿行驶方向观看。此设置适于其中车辆在右车道中行驶的所有那些国家。在相机9(1)及激光扫描仪3(1)、3(2)定位于汽车车顶的左侧上的意义上，所述设置优选地针对其中车辆在街道的左侧上行驶的那些国家而改变(同样，“左”是相对于汽车1的行驶方向界定的)。应理解，所属领域的技术人员可使用许多其它配置。
汽车1中的微处理器可实施为计算机布置。图4a中显示此一计算机布置的实例。
在图4a中，给出计算机布置10的概略图，其包括用于实施算术运算的处理器11。
处理器11连接到多个存储器组件，包含硬磁盘12、只读存储器(ROM)13、电可擦除可编程只读存储器(EEPROM)14及随机存取存储器(RAM)15。并不一定需要提供所有这些存储器类型。此外，这些存储器组件无需在物理上接近于处理器11定位而是可远离处理器11定位。
处理器11还连接到(例如)用户用来输入指令、数据等的构件，如键盘16及鼠标17。也可提供所属领域的技术人员已知的其它输入构件，例如触摸屏、轨迹球及/或话音转换器。
提供连接到处理器11的读取单元19。读取单元19经布置以从数据载体(如软磁盘20或CDROM 21)读取数据及可能地在所述数据载体上写入数据。其它数据载体可以是磁带、DVD、CD-R、DVD-R、存储棒等，如所属领域的技术人员已知。
处理器11还连接到打印机23以在纸张上以及向显示器18打印输出数据，所述显示器例如是监视器或LCD(液晶显示器)屏幕或所属领域的技术人员已知的任何其它类型的显示器。
处理器11可连接到扩音器29。
处理器11可借助I/O构件25连接到通信网络27，例如，公共交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、因特网等。处理器11可经布置以通过网络27与其它通信布置通信。当车辆在沿街道移动的同时收集数据时，这些连接可不均实时地连接。
数据载体20、21可包括呈数据及指令形式的计算机程序产品，其经布置以给所述处理器提供执行根据本发明的方法的能力。然而，另一选择为，此计算机程序产品可经由电信网络27下载。
处理器11可实施为独立***，或实施为多个各自经布置以实施较大计算机程序的子任务的平行操作处理器，或实施为具有数个子处理器的一个或一个以上主处理器。本发明的部分功能性甚至可由通过网络27与处理器11通信的远程处理器实施。
可以看出，当应用于汽车1中时，所述计算机布置不需要具有图4a中所示的所有组件。举例来说，那么所述计算机布置不需要具有扩音器及打印机。至于汽车1中的实施方案，所述计算机布置需要至少处理器11、用以存储适合程序的某一处理器及用以从操作者接收指令及数据并向所述操作者显示输出数据的某一种类的接口。
为对分别由相机9(i)、激光扫描仪3(j)及位置/定向测量装置拍摄的图片、扫描及所存储的位置和定向数据进行后处理，将使用与图4a中所示的布置类似的布置，但此布置将不定位于汽车1中而是可方便地定位于建筑物中用于离线后处理。将由相机9(i)、扫描仪3(j)及位置/定向测量装置拍摄的图片、扫描及位置/定向数据存储于存储器12到15中的一者中。此存储可经由首先将所述图片、扫描及位置/定向数据存储于DVD、存储棒或类似物上或从存储器12、13、14、15中传输其(可能以无线方式)来完成。优选地还给所有测量加时间戳且还存储这些各种时间测量。
在本发明的实施例中，图1中所示的布置应能够在由相机9(i)拍摄的图像中区别某些对象。应尽可能精确地确定其绝对位置及(任选地)其在拍摄所述图像时的绝对速度。举例来说，应对其进行识别以处理其中的至少部分，使得经处理的部分对于观看者不再清晰可见。举例来说，此类部分可与人面部、汽车牌照号码、公告牌中的政治声明、商业宣告、商标名称、有版权对象的可辨识特性等相关。在处理图像期间的一个动作可以是在由相机9(i)拍摄的图像中将与建筑物立面相关的数据忽略。即，与建筑物立面相关的数据在最终的应用中保持不变。可通过使用共同待决的专利申请案PCT/NL2006/050264中所描述及所主张的方法来获得关于此类建筑物立面在何处的位置数据。当然，可在本发明的上下文内使用用以识别建筑物立面的位置的其它技术。在移除此建筑物立面数据的情况下，移除隐私敏感数据将仅与移动测绘***与此类立面之间存在的对象相关。
此类对象可相对于固定世界而为移动对象。此类移动对象可以是人及汽车。在图像中识别移动对象可比识别固定对象困难。通过仅使用一个激光扫描仪3(j)，人们可识别非移动对象并将其适当地映射到图像，但在图像中识别移动对象且接着处理其中的若干部分极为困难。因此，在与具有某一速度的对象相关的实施例中，本发明涉及具有一个或一个以上相机9(i)及两个或两个以上激光扫描仪3(j)的MMS。接着，使用相同对象但从两个不同激光扫描仪3(j)中产生的的两个点云来确定移动对象的短时间轨迹，其将用于估计所述对象的随时间而变的位置。接着将使用对所述对象的随时间而变的位置的此一估计在由相机9(i)在还收集激光扫描仪数据的时间周期中收集的图像中识别所述对象。
图4a中所示的计算机布置经编程以提供根据本发明的某一功能性。本发明涵盖至少两个方面：与非移动对象相关的功能性及与移动对象相关的功能性。与非移动对象相关的功能性概述于图4b中所呈现的流程图中而与移动对象相关的功能性概述于图14中所呈现的流程图中。
首先，图4b显示其中显示在计算机布置10上执行的本发明的基本动作的流程图。在详细地解释图4b的动作之前，此处将对其进行简要叙述。
在动作30中，计算机布置10接收来自范围传感器3(i)及相机9(j)的数据以及来自装载于MMS上的位置/定向确定装置的位置/定向及时间数据。
在动作32中，处理器在从范围传感器3(i)中导出的数据中识别不同对象(如图5中所示的汽车)。
在动作36中，计算机布置10基于来自范围传感器数据的数据产生一个或一个以上对象的遮掩。
在动作38中，计算机布置10将这些遮掩映射在如由一个或一个以上相机9(j)拍摄的图片中的对应对象上，从而考虑到测量的不同时间及位置且还考虑到对象的移动。
在动作40中，计算机布置10处理图片中在由遮掩指示的界线内的至少一部分，这样以致使所述对象内的隐私敏感数据难以辨认。
现在，更详细地解释这些动作中的每一者。为此目的，参照图5到9。图5显示其上具有一些汽车的图片。图5的图片是借助相机9(2)拍摄的。第一可见汽车(存在于点线矩形内)具有其细节为清晰可见的牌照。从隐私观点来看，必须移除此类细节。如在计算机布置10上运行的程序识别所述对象或者在一实施例中识别所述对象内与可涉及隐私敏感信息且应被处理的部分。在图5的情况下，所述程序在所述图片中识别整个汽车或牌照并处理所述整个汽车或所述牌照以使其难以辨认。图6到9解释可如何完成此动作。
图6显示与图5中所示的场景相同但由范围传感器3(1)拍摄的图片。所述范围传感器的扫描点包含同范围传感器3(1)与所述汽车之间的距离相关的距离数据。
如图4b的动作30中所指示，将图5及6中所示的数据传输到计算机布置10。除了这些图5及6中所示的数据以外，还将随时间而变且由装载于MMS上的位置确定/定向装置获得的位置和定向数据传输到计算机布置10。此还适用于相机9(i)及范围传感器3(j)相对于所述位置确定/定向装置的位置的位置。可经由任一已知方法来完成动作30中数据到计算机布置10的传输，举例来说，经由如由汽车1中的MMS获得的数据的无线传输或经由中间媒体(如DVD、蓝光盘、存储棒等)。
在动作32中，在所述范围传感器数据中识别对象。优选地，计算机布置10应用立面预测方法，即，用以识别其中定位了建筑物立面的位置的方法。如上所指示，通过使用共同待决的专利申请案PCT/NL2006/050264中所描述及所主张的方法来获得关于此类建筑物立面在何处的位置数据。当然，可在本发明的上下文内使用用以识别建筑物立面的位置的其它技术。如果这样，那么可忽略与由相机9(i)拍摄的图像中的建筑物立面相关的数据不予任何进一步处理，例如从这些图像中移除隐私敏感数据。还可以直接的方式移除与地面相关的数据。举例来说，计算机布置10可使用以下事实：MMS正在地面上移动且因此其知道地面相对于相机9(i)及范围传感器3(j)的位置。因此，可将地面近似为MMS在其上移动的平面。如果需要，那么也可考虑到斜坡测量。可在由范围传感器3(j)获得的点云中找到移动测绘***与此类立面之间的固定及移动对象，所述范围传感器允许将图像像素映射到适当空间位置。
可以看出，处理器可使用范围传感器数据来扩增用于确定对象相对于移动测绘***的图像点位置的摄影测量方法。在此一动作中，可检测移动对象以及固定对象。此外，可估计此一移动对象所跟随的轨迹。
优选地，程序将预滤波过程应用到范围传感器数据以识别感兴趣的对象。此为较适合且高效的，从而需要较少的处理时间，这是因为与对象相关的范围传感器数据一般将包括比与相同对象相关的相机图像数据少的数据。所述预滤波过程可基于对象的动态特征、基于对象的大小及/或对象的位置特性。此可导致需要进一步处理的一个或一个以上选定对象。将对相同对象的相机图像数据执行此进一步处理且此进一步处理可包含应用任一已知的场景分解技术在图像内识别(例如)与文本及/或人面部相关的部分。此图像检测技术根据现有技术为已知的且此处不需要进一步解释。实例为：基于聚类及/或RANSAC的搜索模型。
范围传感器的扫描点包含同范围传感器3(1)与图10的汽车之间的距离相关的距离数据。基于此及其它所收集的测量，计算机布置10可处理范围传感器的扫描点以识别汽车的随时间而变的位置以及其速度向量。如动作36中所指示，计算机布置10接着确定对象的3D轨迹，其通过时间参数化使得位置与来自由相机9(i)收集的图像的点相关联以产生可用于使图10中所示的图片中的汽车模糊(或执行任一其它适合图像处理技术)的遮掩，以获得图5的图片中不再存在隐私敏感数据的情形。在变换成相机9(2)的图像的位置时，所述遮掩的位置将同与所述汽车相关的范围传感器的扫描点的位置重合。图7中显示此一遮掩。
在动作38中，计算机布置10将此遮掩映射在图5中所示的图像上。如图8中所示，以此方式，计算机布置10使用所述遮掩来确立图5的图像中的汽车的界线。
在所述界线内，在动作40中，计算机布置10可执行任一所需图像处理技术以确立关于所述汽车在所述界线内的任一所需结果。举例来说，如果存在足够的重叠图像或如果存在有关场景的其它信息使得可在根本看不见对象的情况下复制所述场景，那么可从图像中完全移除此一汽车(或任一其它对象)。因此，在此实施例中，计算机布置10在图像数据中移除对象图像数据，并用在所述对象原本不存在的情况下相机9(2)原本可见的数据替换由相机9(2)摄取的场景中的对象图像数据。
另一图像处理技术为使与所述对象相关的图像模糊，使得隐私数据不再可见。此显示于图9中。然而，可使用具有使图像的至少一部分不可见/不可辨识的效应的其它图像处理技术，如使所述部分散焦(参见例如：http://www.owlnet.rice.edu/～elec431/ projects95/lords/elec431.html)或用不显示任何隐私细节的标准图像部分替代所述部分。举例来说，可用不具有牌照的标准汽车的图像替代完整汽车。或者，如果已在汽车的图片内识别牌照，那么可仅使所述牌照模糊或仅用白板或用具有非私人牌照号码的板替代所述牌照。“像素化(pixelat)”可以是将要使用的适合替代技术，其将位图中的像素划分成矩形或圆形单元且接着通过用最小、最大或平均像素值(取决于所选择的效应)填充那些单元来重新创建图像(来源：http://www.leadtools.com/SDK/ Functions/Pixelate.htm)。
在一实施例中，处理器11经布置以使用图像处理分析技术在图像内识别包括隐私敏感数据或将要移除的其它数据的子对象。举例来说，在处理器11上运行的程序可经布置以通过寻找如眼睛、耳朵、鼻子等面部特征来识别人的面部。市场上可得到进行此操作的程序，例如，可在英特尔(Intel)图像处理库中得到。另一选择为或另外，在处理器11上运行的程序可经布置以识别具有文本的部分。也可在市场上得到进行此操作的程序，例如，微软(Microsoft)提供可在此处使用的图像处理库。可在以下网站上找到其它技术：http://en.wikipedia.org/wiki/face_detection，其提到以下链接：http://www.merl.com/reports/docs/TR2004-043.pdf、http://www.robots.ox.ac.uk/～cvrg/ trinity2003/schneiderman_cvpr00.pdf。
另一选择为或另外，在处理器11上运行的程序可经布置以识别具有文本的部分。可在市场上得到进行此操作的程序，例如，http://en.wikipedia.org/wiki/ Optical_character_recognition提供可在此处使用的图像处理库。确实存在辨识汽车上的牌照(其上的字符)的程序。以此方式，可识别人们希望移除或模糊的牌照及宣告。人们希望移除或模糊的隐私敏感数据还可与私人电话号码相关。
可以看出，相机9(j)将连续拍摄MMS的周围环境的图像。在许多情况下，此将产生具有场景的重叠部分的数个相继图像。因此，可存在其中具有相同对象的数个图像。本发明的优点为其再现关于对象在所有这些图像中的位置的信息。仅需对这些图像中的一者(通常为在时间上首次拍摄的图像)中的对象应用一次图像处理技术而非对所有那些图像中的相同对象均应用图像处理技术。接着，也可在其它图像中的任一者中使用经处理对象。此减少处理时间。如果需要识别N个对象且在K个连续图像中对其进行处理，那么使用本发明会导致仅对这N个对象进行一次对象分析，即，由计算机布置10对范围传感器数据所执行。计算机布置10不需要针对所有K个连续图像重复此操作。
在图5到9的实例中，汽车为沿街道停泊的静止不动的对象。这些图中所示的图像为已由前视相机9(2)拍摄的图像的右部分。一旦识别，即处理所述对象以修改其中的应不可再辨识的信息。图10到21与其中存在正相对于固定世界移动的对象的另一实例相关。同样，这些图中所示的图像为已由前视相机9(2)拍摄的图像的右部分。所述实例与场景中存在的正在行走的人相关，由于MMS快速移动且因此所述场景存在于由相机9(2)拍摄的图片中。出于处理图像中与那人的面部相关的至少部分使得其将不可再辨识且因此保护那人的隐私的目的，需要识别那人。
图10显示由汽车1的前侧上的相机9(2)拍摄的人的图片。相机9(2)拍摄比范围传感器3(1)、3(2)中的任一者早的人的图片。举例来说，范围传感器3(1)也已但在时间上稍晚地感测到所述人。图11显示由范围传感器3(1)检测的扫描点。这些扫描点中的一些扫描点与在图10中也为可见的人相关。图10与11的比较将显示图10中的人的图像与同图11中所示的相同人相关的范围传感器的点之间存在移位。
范围传感器的扫描点包含同范围传感器3(1)与人之间的距离相关的距离数据。基于此及其它所收集的测量，计算机布置10可处理范围传感器的扫描点以识别人的位置。对于固定对象，计算机布置10可接着将所述对象的激光扫描仪点调整到与在由相机9(2)收集的图像中所看到的相同的位置以产生可用于从图10中所示的图片中抹除人(或执行任一其它适合图像处理技术)的遮掩，以获得图10的图片中不再存在隐私敏感数据的情形。在变换成相机9(2)的图像时，所述遮掩的位置将同与所述人相关的范围传感器的扫描点的位置重合。图12中显示此一遮掩。然而，如果所述对象(在此情况下为人)曾正在移动，那么计算机布置10将基于范围传感器的扫描点抹除关于所述人的信息且所述人的一部分(即，左部分)将保留在图像上。此显示于图13中。这是因为所述人已在相机图像的时间与激光扫描的时间之间移动。
可以看出，已展现了具有相机的***，所述相机与激光扫描仪搭配且同步使得其提供范围传感器数据与图像数据之间的直接相关性。例如，已在以下网站上显示此类***：http://www.imk.fhg.de/sixcms/media.php/130/3d_cameng.pdf及http://www.3 dvsystems.com/technology/3D％20Camera％20for％20Gaming-l.pdf。市场上的其它***包括借助将来自特殊红外相机的图像与从正常CCD传感器获得的数据合并的z距离扩增的相机图像。然而，此类***具有低分辨率及高价格。对于移动对象，本发明涉及通用得多的解决方案且仍通过使用经估计短时间轨迹针对对象的运动进行调整而获得来自范围传感器的点云到来自相机的图像的适当映射。
因此，想要不仅基于范围传感器的数据产生此一遮掩且还确定界定在由相机9(i)中的至少一者拍摄的至少一个图像中可见的对象在所述对象由所述相机摄取的时间与所述对象由范围传感器3(j)中的一者扫描的时间之间的移动量及方向的运动轨迹数据。下文将解释可如何通过使用至少两个范围传感器9(i)来确定此一运动向量。在下文的解释中，假设鉴于所涉及的短时标，对象的运动为线性的。然而，本发明不限于此实施例。另一选择为，可将对象的运动估计为非线性轨迹，其中(例如)通过由多于两个范围传感器3(j)产生的扫描来确定此一轨迹。
首先，图14显示其中显示在计算机布置10上执行的本发明的基本动作的流程图。图14中所示的方法动作与图4b中的大体相同。差异为动作32与36之间的方法动作34。在动作34中，由计算机布置10计算一个或一个以上移动对象的运动向量。此外，在动作38中，计算机布置10将动作36中所产生的遮掩映射在由一个或一个以上相机9(j)拍摄的图片中的对应移动对象上，从而考虑到测量的不同位置且还考虑到对象的移动。
现在，更详细地解释(尤其是)动作34。
上文已参照图4b解释了动作30及32。
针对动作34中所执行的计算对象的运动轨迹，做出以下假设：在移动对象由相机3(j)中的一者摄取与由范围传感器9(i)中的两者或两者以上感测的时间之间，所述移动对象在很大程度上不改变其行进速度及方向。因此，假设运动向量在所述时间期间为大致恒定的。可以说使用“短时间轨迹近似”，其鉴于连续图片与扫描之间所涉及的短时间周期而为极好近似。因此，可通过根据来自两个不同范围传感器9(i)的连续扫描确定运动向量来估计所述运动向量的量值和方向。
可以看出，在替代实施例中，可使用三个或三个以上范围传感器。如果这样，那么可使用多于两个范围传感器扫描来识别对象的移动，从而产生比通过使用两个范围传感器获得的更高阶的对对象移动轨迹的近似。
当对象正移动且首先由范围传感器3(1)并接着由范围传感器3(2)扫描时，那么所述对象的位置在两个扫描之间应不同。此示意性地显示于图15a、15b、15c中。在图15a中，在时间t1处，所述对象被范围传感器3(1)看到。在图15b中，在比时间t1晚的时间t2处，所述对象未被范围传感器3(i)中的任一者看到而是仅处于相机9(1)的视场中。在图15c中，在比时间t2晚的时间t3处，所述对象处于范围传感器3(2)的视场中。
可以看出，图15a及15c显示“位置不确定性”区域，其指示范围传感器3(i)可不以100％精确度识别所述对象的位置。这是由于范围传感器(例如激光扫描仪)需要数次扫描所述对象来对其进行识别的事实所致。此花费一些时间。在此时间周期中，所述对象可自身移动。如下文将参照图22解释，可检测到快速移动的对象比实际上大。那么使用质心的概念来识别移动可导致误差，然而，可通过将在下文解释的形状校正技术来校正所述误差。
下文将解释计算机布置10可如何使用范围传感器扫描数据来导出对象的运动向量。导出此之后，计算机布置10可计算对象的速度及对象的位置。假设问题仅为2D，这是因为人们可假设道路上的大多数对象仅在平面上移动。当然，本发明的原理可扩展为包含“飞行”对象，即，移动但不接触地面的对象。
将由范围传感器3(1)扫描的第一场景与由范围传感器3(2)扫描的第二场景进行比较。如果对象已移动，那么其在所述第二场景中无法处于与所述第一场景中的位置相同的位置中。
计算机布置10可以如下方式执行比较两个范围传感器点云的扫描。首先，计算机布置10计算两个点云集，从而表示所述点云集之间的差：
DIFF1＝scan1-scan2；
DIFF2＝scan2-scan1；
其中：scan2＝第二范围传感器3(2)的扫描中的点云
      scan1＝第一范围传感器3(1)的扫描中的点云
可以看出，在执行此集操作之前，所述点云中的点与其正确位置相关联。接着，执行所述方程式再现表示在两个不同时刻处的移动对象的两个点云集。由于实际上移动对象在空间上为单独的，因此这两个点云集的对应部分在空间上也为单独的，此允许计算机布置10将其有效地分解成表示单独移动对象的点集。通过在DIFF1及DIFF2两者中应用这些操作，计算机布置10获得表示相同对象的两个点云集。
可应用所属领域的技术人员已知的任一分解技术。一般来说，可使用以下技术。将第一范围传感器3(1)的范围传感器扫描分成个别点云，其中每一个别点云与单个对象相关。为进行此操作，将在平面绝对世界坐标上具有类似布局且彼此相距范围距离内的点聚合(聚类)在一起，依据扫描中的序列位置及/或到范围传感器的距离，针对每一点群组自适应地确定所述范围距离，且由于移动对象将为特别分离的，因此到属于其它群组的点的平均距离显著不同。
由分解方法产生的第一场景及第二场景中的所检测到的对象通过比较两个场景中的对象特性以在两个场景中找到相同对象来加以分析。关于每一点群组的形状对其进行分析。计算机布置10针对每一群组计算其是否与某一基本形状配合，如盒子、圆柱体、球体、平面等。针对每一群组，用此一基本形状替代所述群组且计算机布置10存储所述基本形状的基本特征，如高度、直径、宽度等。接着，计算机布置10针对由第二范围传感器3(2)进行的扫描重复相同程序。计算机布置10现在能够通过比较存在于两个扫描中的基本形状来比较两个扫描中的所检测到的对象且接着使两个扫描中的不同对象匹配或配合。
计算机布置10可使用各种已知技术来确定那两个集中的匹配对。举例来说，可应用扩展到3D的经修改豪斯道夫距离测量(参见例如http://citeseer.ist.psu.edu/cache/ papers/cs2/180/http:zSzzSzwww.cse.msu.eduzSzpripzS zFileszSzDubuissonJain.pdf/ a-modified-hausdorff-distance.pdf)。
场景中的每一对象具有所有场景中均存在的特性点。举例来说，对象的适合特性点为给对象定界的形状的质心，可基于识别为属于此一对象的点云子集计算所述质心。可添加对象的指示(例如)对象的比例的一些形状特性作为特性点。当对象为人时，可由圆柱体(其中直径及高度对应于人体的平均大小)近似所述人。在人群中，人们可如此接近彼此以致计算机布置10不能将个人与人群分开。那么，可将此一人群作为一单个对象来分析。在此单个对象中，无法检测个别面部。仍然，可需要从显示此一人群的图像中移除隐私敏感数据。此可通过使整个人群模糊来解决。另一选择为，可像素化与人群相关的图像部分。作为进一步替代方案，即使在人群中，也可使用上文所提到的面部检测技术在与人群相关的图像中识别面部部分，之后是通过图像处理技术使那些面部模糊、用某一种类的标准面部图片等替代那些面部。如果自动图像处理不产生可接受的结果，那么可替代地执行手动图像处理。
在大多数情况下，关于使由范围传感器3(1)进行的第一扫描中所检测到的基本形状与由范围传感器3(2)进行的第二扫描中所检测到的基本形状配合不存在多义性。如果存在多义性，那么其可通过借助应用于候选者的对象辨识技术扩展此方法来解决，所述候选者用于匹配图像部分(感兴趣的区域)中的对象并比较由相机9(j)做出的图像中的每一者中的每一对象的ROI的色彩空间中的图像性质。如果仍保留多义性，那么也可应用手动介入。
接着，计算机布置10确定对象的绝对位置，即，两个场景中的质心的位置。下文将参照图16及17解释可如何计算质心。
可以任一已知方式根据也从MMS接收的位置数据确定对象的绝对位置，所述位置数据链接到相机9(j)拍摄图片且范围传感器3(i)进行扫描的时间，如所属领域的技术人员已知。可以国际专利申请案PCT/NL2006/000552中所详细解释的方式执行根据所接收的MMS数据计算绝对位置。
计算机布置10可将对象的运动向量作为相同对象在第一场景与第二场景中的两个绝对位置之间的差来计算。对象在场景中的位置可与对象的质心在此场景中的位置相关。以对象的速度不会快速改变为假设(其在时间周期t1到t3中且还在接近于此周期的时间处为有效的假设)，计算机布置10可使用所述运动向量计算对象在任一时间处的位置。如上文看出，当场景中存在数个移动对象时，某一多义性可导致对哪一质心与哪一对象相关进行分析。当开始对运动向量的计算时，假设已解决此多义性且已正确地识别所有对象，例如，通过使用点云特性等，如上文所解释。
计算机布置10在使用以下计算的同时计算来自图15b的位置(x2，y2)。
计算机布置10使用以下数据：
(x1，y1)＝对象在时间t1处的绝对位置，其由计算机布置10根据从范围传感
          器3(1)接收的位置数据(其是相对于汽车1的)及汽车1在时间
          t1处的绝对位置数据(其由图1中所示的位置确定装置计算)计算；
          国际专利申请案PCT/NL2006/000552中描述使用如图2中所示的位
          置确定装置计算汽车1的位置的适合方法，然而，可使用其它方法。
(x3，y3)＝对象在时间t3处的绝对位置，其由计算机布置10根据从范围传感
          器3(2)接收的位置数据(其是相对于汽车1的)及汽车1在时间
          t3处的绝对位置数据(其由图1中所示的位置确定装置计算)计算；
t1＝范围传感器3(1)感测对象的时间；此时间已由汽车1中的微处理器记录且
          稍后也已存储于计算机布置10的存储器中；
t2＝相机9(1)摄取对象的时间；此时间已由汽车1中的微处理器记录且稍后也
          已存储于计算机布置10的存储器中；
t3＝范围传感器3(2)感测对象的时间；此时间已由汽车1中的微处理器记录且
          稍后也已存储于计算机布置10的存储器中；
在计算中，已假设汽车1的速度在周期t1到t3期间为大致恒定的。
计算机布置10如下计算对象在时间t2处的位置(x2，y2)。其以通常已知的用于根据在时间Δt期间的行进距离Δs计算对象的速度V的方程式开始：
V = Δs Δt
可将速度V视为与对象相关的运动向量。将V分解成x，y分量(Vx，Vy)，将Δs分解成x，y分量Δsx，Δsy，且用t3-t1替代Δt再现：
V x = Δ s x Δt = x 3 - x 1 t 3 - t 1
V y = Δ s y Δt = y 3 - y 1 t 3 - t 1
根据此，可导出(x2，y2)，如下：
x 2 = V x · ( t 2 - t 1 ) + x 1 = x 3 - x 1 t 3 - t 1 · ( t 2 - t 1 ) + x 1
y 2 = V y · ( t 2 - t 1 ) + y 1 = y 3 - y 1 t 3 - t 1 · ( t 2 - t 1 ) + y 1
以上所计算的位置(xi，yi)与有关对象的质心相关。做出以下假设：质量均匀地分布在有关对象上且对象的形状大致未改变。如果情况并非如此，那么所计算的质心实际上是对象中心。出于计算运动向量的目的，这并不重要。
可以称来自范围传感器3(i)的与一个特定对象在时刻ti处相关的所有扫描数据形成测量点的“点云”。图16显示此一点云。与一个对象相关的每一所扫描点(通过以上所解释且由计算机布置10执行的分解方法获得)借助与任意原点(例如，由针对汽车1界定的位置界定)成距离ri的小圆圈指示。计算机布置10针对每一此点云计算质心。对于如人的对象，计算机布置10还计算近似那人的圆柱体，如图12中所示。其它对象可由其它外形近似。外形与质心一起形成对对象的描述。
此一云的点的几何质心
Figure GPA00001115787700161
是根据下式得出的
r 0 → = Σ k → r k → k
可以看出，范围传感器3(i)可沿不同方向观察，如图18中所示意性地指示。在图18中，点线圆圈指示对象。范围传感器3(1)沿相对于相机9(1)的观看方向具有角度α的方向观察，且范围传感器3(2)沿相对于相机9(1)的观看方向具有角度β的方向观察。可显示，当两个角度α、β均为0°时，计算机布置10可根据从范围传感器3(i)接收的数据最精确地计算对象的位置。然而，本发明不限于此值。事实上，为精确地计算速度，由a+d+b指示的距离应尽可能大同时保持与轨迹的时间为短的假设一致。
在动作36中，计算机布置10产生由与一个对象相关的一个云内的扫描点的至少一部分界定的遮掩。图19显示用于与图10中所示的人相关的像素云的此遮掩。所述遮掩是根据同与图像中的相同对象相关联的对象相关的一个像素云导出的。所使用的遮掩具有固定形状，此对于那些即使其正在移动在所涉及的时标期间也大致不改变其形状的对象很有效，所述所涉及的时标对于其中对象仅正缓慢移动的那些情况证明是适合的假设。如果对象正快速移动，那么由范围传感器3(i)检测到的其形状应首先由计算机布置10校正。下文将参照图22解释可如何完成此操作。
在动作38中，计算机布置10在使用所计算的运动向量的同时将此遮掩映射在如图10中所示的图像中的位置(x2，y2)上。如图20中所示，以此方式，计算机布置10使用所述遮掩确立图10的图像中的对象的界线。
在所述界线内，在动作40中，计算机布置10可执行任一所需图像处理技术以确立关于所述对象在所述界线内的任一所需结果。
如上所指示，一个此种图像处理技术为使与所述对象相关的图像模糊，使得隐私数据不再可见。此显示于图21中。然而，同样，可使用具有使图像的至少一部分不可见/不可辨识的效果的其它图像处理技术，如使所述部分散焦(参见例如：http://www.owlnet.rice.edu/～elec431/projects95/lords/elec431.html)或用不显示任何隐私细节的标准图像部分替代所述部分。举例来说，可用木偶的标准面部替代人的面部。“像素化”可以是将要使用的适合技术，如已针对图4b评述。
在一实施例中，处理器11经布置以在移动对象内识别包括隐私敏感数据或将要移除的其它数据的子对象。举例来说，在处理器11上运行的程序可经布置以通过寻找如眼睛、耳朵、鼻子等面部特征来识别人的面部。市场上可得到进行此操作的程序。微软提供可在此处使用的图像处理库。可在以下网站上找到其它技术：http://en.wikipedia.org/wiki/face_detection，其提到以下链接：http://www.merl.com/reports/docs/TR2004-043.pdf、http://www.robots.ox.ac.uk/～cvrg/ trinity2003/schneiderman_cvpr00.pdf。
另一选择为或另外，在处理器11上运行的程序可经布置以识别具有文本的部分。可在市场上得到进行此操作的程序，例如，http://en.wikipedia.org/wiki/ Optical_character_recognition提供可在此处使用的图像处理库。确实存在辨识汽车上的牌照(其上的字符)的程序。举例来说，此类程序用于具有速度限制的道路段上。以此方式，可识别人们希望移除或模糊的牌照、电话号码及宣告。
迄今，已论述了如何处理非移动对象及移动对象。然而，当移动对象相对于MMS本身的速度快速移动时，由范围传感器3(j)观察到的所述对象的大小将与其实际大小有偏差。举例来说，正超过MMS或被MMS超过的汽车继续由范围传感器3(j)在比原本静止不动或几乎静止不动的情况下的长的时间周期内扫描。因此，此一汽车看上去比其实际长。如果汽车正沿相反方向移动，那么发生相反效应。对于由相机9(i)拍摄的图片，此算不上问题，这是因为相机具有高快门速度：所述图片将显示汽车的实际大小。
汽车的实际大小与由范围传感器3(j)观察到的点云中汽车的大小之间的差异会导致根据范围传感器数据导出的太小或太大的遮掩。因此，在计算机布置10上运行的程序必须对此所观察到的大小误差进行补偿。此将在动作36中完成。
图22解释可如何确定快速移动对象的速度及大小以及(任选地)形状。所述图的上部部分与MMS超过汽车相关，而所述图的下部部分与汽车沿相反方向超过相关。
移动对象的所观察到的长度由范围传感器中的一者的扫描时间tscanning确定。图22的上部部分显示其中范围传感器3(1)第一次检测汽车的情形。范围传感器3(1)的扫描时间为由范围传感器3(1)进行的第一次检测与最后一次检测(图22中未显示最后一次检测)之间的时间。
汽车的实际速度Vreal由下式界定：
Vreal＝VMMS+Vrelative
其中：
Vreal＝汽车的实际速度
VMMS＝MMS的速度，其根据位置确定装置数据确定
Vrelative＝汽车相对于MMS的速度的相对速度，其在使用用于计算图10的人的速度的相同公式的同时计算
根据范围传感器数据及位置确定装置数据计算的汽车的所观察到的长度Lobserved从下式得出：
Lobserved＝VMMS·tscanning
然而，汽车的实际长度Lreal从下式得出：
Lreal＝Lobserved-Lcorr
其中Lcorr为由于汽车具有其自身的速度而进行的校正且等于：
Lcorr＝Vreal·tscanning
因此，汽车的实际长度从下式得出：
Lreal＝(VMMS-Vreal)·tscanning
应注意，在此后一方程式中，汽车的实际速度Vreal在汽车正沿与MMS相同的方向行驶的情况下应从MMS的速度中减去且在其正沿相反方向行驶的情况下应加上。汽车是正沿相同方向还是正沿相反方向行驶基于两个范围传感器3(1)、3(2)的数据从速度计算中得出。
一旦已确立汽车的实际长度Lreal，在动作36中，计算机布置10在计算遮掩的同时即考虑到此。即，举例来说，所述计算机布置将遮掩的长度乘以因子F，所述因子等于：
F＝Lreal/Lobserved
在动作38中使用如此获得的遮掩。
概述.
上文已解释，本发明涉及在由移动汽车(例如，MMS)上的一个或一个以上数码相机拍摄的图像内确定对象(如立面、道路设备、人行道及车辆)的位置。使用布置于所述汽车上的一个或一个以上范围传感器来产生遮掩，所述遮掩可用于在此一图像中识别对象且接着对此类对象或其部分执行图像处理动作。可使用包括附接到此一MMS的两个或两个以上范围传感器(如激光扫描仪或其它范围传感器)的布置来近似图像中可能移动的对象的大小及轨迹，所述两个或两个以上范围传感器产生与由安装于所述MMS上的相机摄取的相同场景的扫描。在使用(例如)任一已知的建筑物/立面检测算法并在由相机拍摄的图片内识别对象(在使用范围传感器数据的同时)且随后将一个或一个以上图像处理滤波器应用到此类对象时，可实现以下优点：
1.通过改变图像上的隐私敏感部分或其它不合意部分的分辨率或其它图像视觉特性保护那些部分。
2.与一个图像中的对象或其部分相关的图像部分在关于其中的不合意数据被处理之后可用于显示相同对象的其它MMS收集的图像中。因此，对对象执行的任一图像处理动作仅需应用一次且不需要在不同的图像中重新应用。
3.可区别范围传感器点中的静态对象以及缓慢及快速移动的对象。可确定其实际长度及实际速度。
4.可基于通过所确定的长度及速度值以及激光扫描与图像捕获之间的时间差调整对相机图像的激光扫描检测来精确地遮掩所述图像中的对象。
5.可移除汽车与立面之间的区中的不期望的对象且可处理来自另一图像或来自当前图像的信息以替换前景图像。

Claims (25)

1.一种计算机布置(10)，其包括处理器(11)及连接到所述处理器的存储器(12；13；14；15)，所述存储器包括计算机程序，所述计算机程序包括经布置以允许所述处理器(11)执行以下操作的数据及指令：
接收来自装载于移动***上的位置确定装置的时间及位置数据以及来自装载于所述移动***上的至少第一范围传感器(3(1))的第一范围传感器数据及来自装载于所述移动***上的至少一个相机(9(j))的图像数据；
在所述第一范围传感器数据内识别与至少一个对象相关的第一点云；
产生与所述对象相关且基于所述第一点云的遮掩；
将所述遮掩映射在与来自所述至少一个相机(9(j))的所述图像数据中存在的相同的所述对象相关的对象图像数据上；
对所述对象图像数据的至少一部分执行预定图像处理技术。
2.根据权利要求1所述的计算机布置(10)，其中所述计算机程序经布置以允许所述处理器(11)执行以下操作：
接收来自装载于所述移动***上的第二范围传感器(3(2))的第二范围传感器数据；
在所述第二范围传感器数据内识别与所述相同的至少一个对象相关的第二点云；
根据所述第一点云及第二点云计算所述至少一个对象的运动向量；
在使用所述运动向量的同时，将所述遮掩映射在所述对象图像数据上。
3.根据权利要求2所述的计算机布置(10)，其中所述计算机程序经布置以允许所述处理器(11)执行以下操作：
基于所述第一范围传感器数据及第二范围传感器数据计算所述对象的实际大小；
在产生所述遮掩的同时，使用所述实际长度。
4.根据权利要求3所述的计算机布置(10)，其中所述计算机程序经布置以允许所述处理器(11)执行以下操作：
基于所述第一范围传感器数据及第二范围传感器数据中的一者计算所述对象的所观察到的大小；
基于所述所观察到的长度及所述实际长度计算所述遮掩。
5.根据权利要求2或3所述的计算机布置，其中所述处理器(11)以在来自所述至少第一及第二范围传感器(3(i))的所述范围传感器数据内检测到的任一对象的运动速度和方向大致恒定为假设计算所述运动向量。
6.根据权利要求2到5中任一权利要求所述的计算机布置，其中所述识别所述第二点云包括将所述至少一个对象与固定到地球的参考对象区别开。
7.根据前述权利要求中任一权利要求所述的计算机布置，其中所述识别所述第一点云包括将所述至少一个对象与固定到地球的参考对象区别开。
8.根据权利要求6或7所述的计算机布置，其中所述参考对象为建筑物。
9.根据前述权利要求中任一权利要求所述的计算机布置，其中所述预定图像处理技术包含使所述至少一个部分模糊、使所述至少一个部分散焦及用预定图像数据替代所述至少一个部分中的至少一者。
10.根据前述权利要求中任一权利要求所述的计算机布置，其中所述计算机程序经布置以允许所述处理器(11)通过使用对象辨识技术及字符辨识技术中的至少一者来识别所述至少一个部分。
11.根据前述权利要求中任一权利要求所述的计算机布置，其中所述至少一个部分包含隐私敏感数据。
12.根据前述权利要求中任一权利要求所述的计算机布置，其中所述对象图像数据属于某一场景，所述预定图像处理技术包含在所述图像数据中移除所述对象图像数据并用在所述对象原本不存在的情况下在所述场景中原本为可见的数据替换所述场景中的所述对象图像数据。
13.根据前述权利要求中任一权利要求所述的计算机布置，其中所述图像数据与多个图像相关，所述多个图像中的每一者均显示所述相同对象，且所述处理器(11)经布置以通过对所述多个图像中的一者中的所述对象图像数据的至少所述部分执行所述预定图像处理技术的所述动作而产生经处理对象图像，并用所述经处理对象图像替代所述多个图像中的其它图像中的所述对象。
14.一种包括根据前述权利要求中任一权利要求所述的计算机布置及移动***的数据处理***，所述移动***包括用于提供所述时间及位置和定向数据的位置确定装置、用于提供所述第一范围传感器数据的至少第一范围传感器(3(i))及用于提供所述图像数据的至少一个相机(9(j))。
15.一种将来自第一范围传感器(3(1))的第一范围传感器数据映射到来自至少一个相机(9(j))的图像数据的方法，所述第一范围传感器(3(1))及所述至少一个相机(9(j))两者以彼此固定的关系定位于移动***上，所述方法包含：
接收来自装载于所述移动***上的位置确定装置的时间及位置数据以及来自装载于所述移动***上的所述第一范围传感器(3(1))的所述第一范围传感器数据及来自装载于所述移动***上的所述至少一个相机(9(j))的所述图像数据；
在所述第一范围传感器数据内识别与至少一个对象相关的第一点云；
产生与所述对象相关且基于所述第一点云的遮掩；
将所述遮掩映射到与来自所述至少一个相机(9(j))的所述图像数据中存在的相同的所述对象相关的对象图像数据上；
对所述对象图像数据的至少一部分执行预定图像处理技术。
16.根据权利要求15所述的方法，其中所述方法包含：
接收来自装载于所述移动***上的第二范围传感器(3(2))的第二范围传感器数据；
在所述第二范围传感器数据内识别与所述相同的至少一个对象相关的第二点云；
根据所述第一点云及第二点云计算所述至少一个对象的运动向量；
通过使用所述运动向量将所述遮掩映射到所述对象图像数据上。
17.根据权利要求16所述的方法，其中所述方法包含：
基于所述第一范围传感器数据及第二范围传感器数据计算所述对象的实际大小；
在产生所述遮掩的同时，使用所述实际大小。
18.一种包括可由计算机布置加载的数据及指令的计算机程序产品，从而允许所述计算机布置执行根据权利要求15到17所述的方法中的任一者。
19.一种具备根据权利要求18所述的计算机程序产品的数据载体。
20.一种计算机布置(10)，其包括处理器(11)及连接到所述处理器的存储器(12；13；14；15)，所述存储器包括计算机程序，所述计算机程序包括经布置以允许所述处理器(11)执行以下操作的数据及指令：
接收来自装载于移动***上的位置确定装置的时间及位置数据、来自装载于所述移动***上的至少第一范围传感器(3(1))的第一范围传感器数据及来自装载于所述移动***上的第二范围传感器(3(2))的第二范围传感器数据；
在所述第一范围传感器数据内识别与至少一个对象相关的第一点云；
在所述第二范围传感器数据内识别与所述相同的至少一个对象相关的第二点云；
根据所述第一点云及第二点云计算所述至少一个对象的运动向量。
21.根据权利要求20所述的计算机布置，其中所述计算机程序产品经布置以允许所述处理器(11)执行以下操作：
在计算所述第一点云中的第一质心及所述第二点云中的第二质心的同时，计算所述运动向量，及
确立所述第一质心与所述第二质心之间的路径长度。
22.根据权利要求20或21所述的计算机布置，其中所述计算机程序经布置以允许所述处理器(11)执行以下操作：
基于所述第一范围传感器数据及第二范围传感器数据计算所述对象的实际长度。
23.一种计算对象的运动向量的方法，其包含：
接收来自装载于移动***上的位置确定装置的时间及位置数据、来自装载于所述移动***上的至少第一范围传感器(3(1))的第一范围传感器数据及来自装载于所述移动***上的第二范围传感器(3(2))的第二范围传感器数据；
在所述第一范围传感器数据内识别与至少一个对象相关的第一点云；
在所述第二范围传感器数据内识别与所述相同的至少一个对象相关的第二点云；
根据所述第一点云及第二点云计算所述至少一个对象的运动向量。
24.一种包括可由计算机布置加载的数据及指令的计算机程序产品，从而允许所述计算机布置执行根据权利要求23所述的方法。
25.一种具备根据权利要求24所述的计算机程序产品的数据载体。
CN200780101325A 2007-11-07 2007-11-07 将范围传感器数据映射在图像传感器数据上的方法及布置 Pending CN101842661A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/NL2007/050541 WO2009061174A1 (en) 2007-11-07 2007-11-07 Method of and arrangement for mapping range sensor data on image sensor data

Publications (1)

Publication Number Publication Date
CN101842661A true CN101842661A (zh) 2010-09-22

Family

ID=39638574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780101325A Pending CN101842661A (zh) 2007-11-07 2007-11-07 将范围传感器数据映射在图像传感器数据上的方法及布置

Country Status (10)

Country Link
US (1) US9880010B2 (zh)
EP (2) EP2261604B1 (zh)
JP (1) JP2011505610A (zh)
CN (1) CN101842661A (zh)
AT (2) ATE514055T1 (zh)
AU (1) AU2007361324A1 (zh)
CA (1) CA2705019A1 (zh)
DE (1) DE602007012321D1 (zh)
ES (1) ES2359852T3 (zh)
WO (1) WO2009061174A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102756744A (zh) * 2011-04-27 2012-10-31 天宝导航有限公司 铁路轨道监控
CN103733077A (zh) * 2011-06-09 2014-04-16 Jmr公司 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品
CN103884335A (zh) * 2014-04-09 2014-06-25 北京数联空间科技股份有限公司 基于二维码地理信息标志的遥感与摄影测量定位方法
CN103890606A (zh) * 2011-10-20 2014-06-25 罗伯特·博世有限公司 用于使用雷达-光学成像融合来创建地图的方法和***
CN105629276A (zh) * 2014-11-25 2016-06-01 精工爱普生株式会社 位置计算方法以及位置计算装置
CN107734294A (zh) * 2017-09-26 2018-02-23 中国科学院长春光学精密机械与物理研究所 监控图像复原***及方法
TWI664388B (zh) * 2018-02-20 2019-07-01 日商三菱電機股份有限公司 Measurement monitoring device and measurement monitoring program product
CN112753212A (zh) * 2018-09-26 2021-05-04 祖克斯有限公司 图像扫描线时间戳

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2263380A1 (en) 2008-04-18 2010-12-22 Tele Atlas B.V. Method of using laser scanned point clouds to create selective compression masks
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
FR2946312B1 (fr) * 2009-06-08 2012-10-12 Peugeot Citroen Automobiles Sa Procede de determination de distance inter vehicules
US8743201B2 (en) * 2010-09-27 2014-06-03 National Applied Research Laboratories Time-Sequential multi-spectrum imaging device
US20120121166A1 (en) * 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for three dimensional parallel object segmentation
CN103119932B (zh) * 2010-11-15 2016-08-10 三菱电机株式会社 车载用图像处理装置
EP2495980A1 (en) * 2011-03-02 2012-09-05 Thomson Licensing System and method for capturing a stereoscopic dataset
US10235577B1 (en) 2011-03-17 2019-03-19 UtopiaCompression Corporation Maneuverless passive range estimation using monocular image sequences
US9342746B1 (en) * 2011-03-17 2016-05-17 UtopiaCompression Corporation Maneuverless passive range estimation using monocular image sequences
JP5748521B2 (ja) 2011-03-29 2015-07-15 株式会社トプコン レーザスキャナ及び動体検知方法
US8565958B1 (en) * 2011-06-02 2013-10-22 Google Inc. Removing extraneous objects from maps
AT511733B1 (de) * 2011-08-12 2013-05-15 Riegl Laser Measurement Sys Verfahren zum erzeugen einer verbesserten abtastpunktewolke
CN102589529B (zh) * 2012-02-13 2014-04-30 武汉大学 扫描近景摄影测量方法
US9129211B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
JP5993597B2 (ja) * 2012-03-29 2016-09-14 株式会社デンソーウェーブ 目標移動体検知方法
DE102012009688B4 (de) * 2012-05-09 2016-01-07 Db Systel Gmbh Verfahren, Signalfolge sowie Rechneranlage zum Erstellen, Verwalten, Komprimieren und Auswerten von 3D-Daten eines dreidimensionalen Geländemodells und ein Computerprogramm mit Programmcode zur Durchführung des Verfahrens auf einem Computer
US9014903B1 (en) * 2012-05-22 2015-04-21 Google Inc. Determination of object heading based on point cloud
US8977003B1 (en) * 2012-07-17 2015-03-10 Google Inc. Detecting objects in a sequence of images
US8953843B1 (en) 2012-07-17 2015-02-10 Google Inc. Selecting objects in a sequence of images
WO2014028009A1 (en) 2012-08-15 2014-02-20 Empire Technology Development Llc Digital media privacy protection
JP2014078910A (ja) * 2012-10-12 2014-05-01 Sony Corp 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20140163885A1 (en) * 2012-12-07 2014-06-12 Caterpillar Inc. Terrain map updating system
GB201301281D0 (en) 2013-01-24 2013-03-06 Isis Innovation A Method of detecting structural parts of a scene
GB201303076D0 (en) 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
JP6202517B2 (ja) * 2013-03-07 2017-09-27 株式会社国際電気通信基礎技術研究所 地図作成装置、地図作成プログラムおよび地図作成方法
CN104113678A (zh) * 2013-04-17 2014-10-22 腾讯科技（深圳）有限公司 图像的等距采集实现方法及***
CN103325255B (zh) * 2013-06-29 2016-01-20 佘若凡 基于摄影测量技术进行区域交通状况检测的方法
US20150042243A1 (en) 2013-08-09 2015-02-12 Texas Instruments Incorporated POWER-OVER-ETHERNET (PoE) CONTROL SYSTEM
JP6096626B2 (ja) * 2013-09-20 2017-03-15 株式会社東芝 計測支援装置、方法及びプログラム
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
US9436180B1 (en) * 2014-04-11 2016-09-06 Google Inc. Location-based privacy
GB201409625D0 (en) 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
EP3009983A1 (en) * 2014-10-13 2016-04-20 Conti Temic microelectronic GmbH Obstacle detection apparatus and method
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
DE102015217492A1 (de) * 2015-09-14 2017-03-16 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs
CN105243119B (zh) * 2015-09-29 2019-05-24 百度在线网络技术（北京）有限公司 确定图像的待叠加区域、叠加图像、图片呈现方法和装置
CN106373118B (zh) * 2016-08-30 2017-09-22 华中科技大学 可有效保留边界和局部特征的复杂曲面零件点云精简方法
US10496831B2 (en) * 2016-09-20 2019-12-03 Intel Corporation Dynamic electronic display privacy filter
CN107945198B (zh) * 2016-10-13 2021-02-23 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
DE102016220521A1 (de) 2016-10-19 2018-04-19 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs sowie Fahrerassistenzsystem für ein Kraftfahrzeug
US10571556B2 (en) * 2017-09-18 2020-02-25 United States Of America As Represented By Secretary Of The Navy Frequency modulated continuous wave radar detector
JP6907061B2 (ja) * 2017-07-21 2021-07-21 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
EP3631508A4 (en) * 2017-07-31 2020-06-24 SZ DJI Technology Co., Ltd. MOTION-BASED PRECISION CORRECTION IN POINT CLOUDS
US10628920B2 (en) 2018-03-12 2020-04-21 Ford Global Technologies, Llc Generating a super-resolution depth-map
US20210072398A1 (en) * 2018-06-14 2021-03-11 Sony Corporation Information processing apparatus, information processing method, and ranging system
US20210318121A1 (en) * 2018-08-30 2021-10-14 Jakarto Cartographie 3D Inc. Method and system for generating an electronic map and applications therefor
CN109188457B (zh) * 2018-09-07 2021-06-11 百度在线网络技术（北京）有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
US10582137B1 (en) 2018-09-26 2020-03-03 Zoox, Inc. Multi-sensor data capture synchronizaiton
US11451688B2 (en) 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
JP6990859B2 (ja) * 2018-09-28 2022-01-12 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
JP7095537B2 (ja) * 2018-10-02 2022-07-05 トヨタ自動車株式会社 画像処理装置、プログラム、情報処理システム、及び制御方法
CN109343572B (zh) * 2018-12-20 2021-07-30 深圳市道通智能航空技术股份有限公司 一种无人机自主降落方法、装置及无人机
CN109739256B (zh) * 2018-12-20 2022-04-19 深圳市道通智能航空技术股份有限公司 一种无人机降落避障方法、装置及无人机
CN109686444A (zh) * 2018-12-27 2019-04-26 上海联影智能医疗科技有限公司 用于医学图像分级的***和方法
DE102019204602B4 (de) 2019-04-01 2020-10-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten
WO2020243059A1 (en) * 2019-05-29 2020-12-03 Apple Inc. Obfuscating location specific data associated with a physical environment
US11195064B2 (en) * 2019-07-11 2021-12-07 Waymo Llc Cross-modal sensor data alignment
CN110533087B (zh) * 2019-08-16 2023-04-07 成都电科慧安科技有限公司 一种基于速度矢量人群聚类的分类方法
CN110619666B (zh) * 2019-09-20 2022-05-27 阿波罗智能技术(北京)有限公司 用于标定相机的方法及装置
WO2021261680A1 (ko) 2020-06-26 2021-12-30 주식회사 에스오에스랩 센서 데이터 공유 및 활용 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
DE10021250A1 (de) 2000-04-22 2001-10-25 Francotyp Postalia Gmbh Anordnung zur Poststückdetektierung
DE10158990C1 (de) * 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
US6959099B2 (en) * 2001-12-06 2005-10-25 Koninklijke Philips Electronics N.V. Method and apparatus for automatic face blurring
US7893959B2 (en) * 2002-01-22 2011-02-22 Sanyo Electric Co., Ltd. Video display system for correcting the position and size of mask images
US20070201694A1 (en) * 2002-06-18 2007-08-30 Bolle Rudolf M Privacy management in imaging system
KR100660351B1 (ko) * 2002-07-10 2006-12-21 하만 베커 오토모티브 시스템즈 게엠베하 물체의 삼차원 전자 모델 발생 시스템
US7583275B2 (en) * 2002-10-15 2009-09-01 University Of Southern California Modeling and video projection for augmented virtual environments
JP2004144719A (ja) 2002-10-28 2004-05-20 Matsushita Electric Works Ltd 超音波アレイセンサによる物***置・形状の計測方法及びその計測装置
DE10252323A1 (de) 2002-11-11 2004-05-19 Ibeo Automobile Sensor Gmbh Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeuges
FR2853121B1 (fr) 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
JP4402998B2 (ja) * 2004-03-29 2010-01-20 三菱電機株式会社 マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US7187809B2 (en) * 2004-06-10 2007-03-06 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
US7940302B2 (en) * 2004-09-15 2011-05-10 The Regents Of The University Of California Apparatus and method for privacy protection of data collection in pervasive environments
JP4450206B2 (ja) * 2004-12-24 2010-04-14 株式会社デンソー プローブシステム
US8203609B2 (en) * 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US8126190B2 (en) * 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
WO2007027847A2 (en) * 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
WO2007030026A1 (en) * 2005-09-09 2007-03-15 Industrial Research Limited A 3d scene scanner and a position and orientation system
WO2008048088A1 (en) 2006-10-20 2008-04-24 Tele Atlas B.V. Computer arrangement for and method of matching location data of different sources
US8098282B2 (en) * 2007-07-13 2012-01-17 Honeywell International Inc. Privacy zone algorithm for ptz dome cameras
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102756744A (zh) * 2011-04-27 2012-10-31 天宝导航有限公司 铁路轨道监控
CN102756744B (zh) * 2011-04-27 2015-03-04 天宝导航有限公司 铁路轨道监控
CN103733077A (zh) * 2011-06-09 2014-04-16 Jmr公司 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品
CN103733077B (zh) * 2011-06-09 2015-04-29 Jmr公司 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品
US9221481B2 (en) 2011-06-09 2015-12-29 J.M.R. Phi Device for measuring speed and position of a vehicle moving along a guidance track, method and computer program product corresponding thereto
CN103890606A (zh) * 2011-10-20 2014-06-25 罗伯特·博世有限公司 用于使用雷达-光学成像融合来创建地图的方法和***
CN103890606B (zh) * 2011-10-20 2019-02-22 罗伯特·博世有限公司 用于使用雷达-光学成像融合来创建地图的方法和***
CN103884335A (zh) * 2014-04-09 2014-06-25 北京数联空间科技股份有限公司 基于二维码地理信息标志的遥感与摄影测量定位方法
CN105629276A (zh) * 2014-11-25 2016-06-01 精工爱普生株式会社 位置计算方法以及位置计算装置
CN107734294A (zh) * 2017-09-26 2018-02-23 中国科学院长春光学精密机械与物理研究所 监控图像复原***及方法
TWI664388B (zh) * 2018-02-20 2019-07-01 日商三菱電機股份有限公司 Measurement monitoring device and measurement monitoring program product
CN112753212A (zh) * 2018-09-26 2021-05-04 祖克斯有限公司 图像扫描线时间戳

Also Published As

Publication number Publication date
ES2359852T3 (es) 2011-05-27
EP2261604A1 (en) 2010-12-15
ATE497146T1 (de) 2011-02-15
US9880010B2 (en) 2018-01-30
DE602007012321D1 (de) 2011-03-10
ATE514055T1 (de) 2011-07-15
JP2011505610A (ja) 2011-02-24
US20100296705A1 (en) 2010-11-25
EP2208021A1 (en) 2010-07-21
AU2007361324A1 (en) 2009-05-14
WO2009061174A1 (en) 2009-05-14
CA2705019A1 (en) 2009-05-14
EP2208021B1 (en) 2011-01-26
EP2261604B1 (en) 2011-06-22

Similar Documents

Publication Publication Date Title
CN101842661A (zh) 将范围传感器数据映射在图像传感器数据上的方法及布置
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10366508B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
CN109084746A (zh) 用于具有辅助传感器的自主平台引导***的单目模式
CN101617197A (zh) 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据
CN108406731A (zh) 一种基于深度视觉的定位装置、方法及机器人
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN109298629A (zh) 用于为自主和非自主位置意识提供鲁棒跟踪的容错
JP6975513B2 (ja) カメラベースの自動化された高精度道路地図の生成システム及び方法
KR20110076899A (ko) 이미지를 블러링하기 위한 방법 및 장치
CN103680291A (zh) 基于天花板视觉的同步定位与地图绘制的方法
CN208323361U (zh) 一种基于深度视觉的定位装置及机器人
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
JP3641750B2 (ja) 地図経路等情報管理システム
Gao et al. 3D reconstruction for road scene with obstacle detection feedback
CN113807282A (zh) 一种数据处理方法、设备以及可读存储介质
JP2006113645A (ja) 移動軌跡解析方法
KR20210051484A (ko) 3차원 특징점 지도 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
Mann et al. Extension of Direct Sparse Odometry with Stereo Camera and Inertial Sensor
WO2020129715A1 (ja) 画像補正装置、画像補正方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1148345

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20100922

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1148345

Country of ref document: HK