CN109509274A - 使驾驶员辅助***的环境信息数据减少的方法和设备 - Google Patents

使驾驶员辅助***的环境信息数据减少的方法和设备 Download PDF

Info

Publication number
CN109509274A
CN109509274A CN201811074702.9A CN201811074702A CN109509274A CN 109509274 A CN109509274 A CN 109509274A CN 201811074702 A CN201811074702 A CN 201811074702A CN 109509274 A CN109509274 A CN 109509274A
Authority
CN
China
Prior art keywords
image
feature
vehicles
optical sensor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811074702.9A
Other languages
English (en)
Other versions
CN109509274B (zh
Inventor
V·绍博
S·西蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109509274A publication Critical patent/CN109509274A/zh
Application granted granted Critical
Publication of CN109509274B publication Critical patent/CN109509274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/005—Statistical coding, e.g. Huffman, run length coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于对驾驶员辅助***的基于特征的环境信息进行数据减少的在训练阶段中的方法、在实施阶段中的方法和设备。所述在训练阶段中的方法包括以下步骤：借助光学传感器从第一位置拍摄(100)交通工具的环境的第一图像，借助所述光学传感器从与所述第一位置不同的第二位置拍摄(200)所述交通工具的环境的第二图像，借助用于特征提取的算法求取(300)代表所述第一图像的特征并且求取代表所述第二图像的特征，选择(400)所述第一图像和所述第二图像的满足预限定的评价标准的特征，和求取(500)所述第一图像和所述第二图像的被选择的特征之间的显著的相似性并且储存代表所述显著的相似性的参考标准。

Description

使驾驶员辅助***的环境信息数据减少的方法和设备
技术领域
本发明涉及用于对驾驶员辅助***的基于特征的环境信息进行数据减少的两种方法和一种设备，其中，第一种方法涉及驾驶员辅助***的训练阶段，第二种方法涉及驾驶员辅助***的实施阶段。
背景技术
在现有技术中，借助传感器感测交通工具的环境和由传感器信息导出对所述交通工具控制的自动介入具有重大意义。以这种途径可以实现驾驶员辅助***，该驾驶员辅助***例如能够提高安全性或者驾驶舒适性。这样的驾驶员辅助***例如是罗伯特·博世公司的“家庭区域泊车助手(Homezone Parkassistent)”，该***能够从固定的起始位置和目标位置出发自动地实施重复的泊入过程。对此前提是，首先执行手动的训练驾驶，在该手动的训练驾驶中，泊车辅助***感测所需要的沿着交通工具的运动路径(也称为“轨迹”)的环境信息，将其分析评估并且存储用于稍后的沿着所述运动路径的自动泊入过程。
尤其与基于传感器的驾驶员辅助***结合，在感测环境信息时，有时可以产生代表所述环境信息的大的数据量。因为驾驶员辅助***通常以嵌入式***的形式实现，所以通常仅可提供勉强分配的技术资源(存储器、计算能力等)，因为各个构件成本由于高件数通常要保持得低。由于该原因，尤其这样的嵌入式***的可提供的非易失性存储器，如闪存或EPROM存储器通常尺寸设计得非常小。为了仍然能够持久地存储基于传感器的驾驶员辅助***的潜在大的数据量，因此需要附加措施，以便能够将所有必要的数据保存在可提供的存储器中。为此目的，通常使用用于数据减少(有损)和数据压缩(无损)的方法。根据感测到的和要存储的数据类型，在现有技术中已知的用于数据减少和数据压缩的方法允许或多或少地减少原始数据量。尤其在使用已知的用于图像信息或移动图像信息的数据减少方法时，以这种途径来执行的数据减少可能不足以能够将剩余的数据完整地保存在预给定的非易失性存储器中。其原因在于，这些数据减少方法旨在尽可能完整地获得所述图像信息(图像分辨率、图像内容等)。
在使用这些用于在嵌入式***中进行图像处理的方法时，这可以导致，图像信息或者必须在附加的处理步骤中被进一步减少(这通常只有通过附加地摒弃可能重要的图像信息才能实现)，或者必须通过匹配于所述数据量的更大的存储器来代替对于具体应用情况而言尺寸过小的非易失性存储器，这将伴随着更高的成本。
除由于存储容量原因而减小所述数据量的目标以外，被减小的数据量在数据传递方面也可以是有利的，因为较小的数据量通常需要较低的数据传递率。这例如在处理器和内部的或外部的存储器之间进行数据交换时可以是重要的，因为在这里也可以通过使用性能强度较小的(嵌入式)***实现节约成本。
发明内容
因此，本发明的任务是，在基于特征的环境信息的存储方面优化在现有技术中已知的用于数据减少或者数据压缩的方法。
根据本发明，上述任务通过用于对交通工具的驾驶员辅助***的基于特征的环境信息进行数据减少的方法来解决。该方法设置，借助交通工具的光学传感器从第一位置拍摄该交通工具的环境的第一图像。在此，所述光学传感器例如可以是驾驶员辅助***的摄像机，该摄像机布置交通工具上的适合部位处，使得能够优化地感测所需要的环境信息。该方法在下一个方法步骤中设置，从第二位置拍摄交通工具的环境的第二图像，所述第二位置与所述第一位置不同。以泊车辅助***为例，这能够通过以下方式来实现：交通工具首先被驾驶到要由使用者确定的起始位置中。优选地，与上面所说明的家庭区域泊车辅助***相关地，所述起始位置是紧邻近泊车场所(例如距离10m至100m)的区域。这例如可以是在道路旁场地上的车库入口的起点，在所述车库入口处，使用者使交通工具减速或者停止，以便指导该交通工具用于自动的泊入过程。随后，使用者可以借助相应的使用者动作将泊车辅助***置于训练模式中。因此，为了训练目的，使用者可以一次或者多次手动地实施所希望的泊入过程，而泊车辅助***借助摄像机感测该过程。例如可以按照交通工具所走过的、预限定的不同路段执行交通工具环境的第一和第二图像的拍摄，所述路段分别被确定用于所述第一和第二图像。
在下一个方法步骤中，从被拍摄的图像中提取特征(也称为“features”)，所述特征以适合的方式代表所述图像或者包含在其中的环境信息。特征数据例如可以通过分析评估单元被求取，该分析评估单元是驾驶员辅助***的组成部分。后面的方法步骤的基础是，将原始图像信息转换为通过所述特征确定的特征空间。提取和处理特征数据的优点之一在于，能够有针对性地从任意数据源中获取专用的信息，由此，一方面发生对各应用所需的重要信息的过滤，另一方面实现这些信息的改进的可比性。
优选地，被提取的特征，例如关于各个图像点或者整个图像区域的亮度、对比度的信息或者色彩信息，以特征矢量的形式被汇总。对于求出适合的特征和/或特征矢量的例子还在下面的公开文献中被讨论：
-维杰·钱德拉赛卡(Chandrasekhar,Vijay)等，Compressed histogram ofgradients:A low-bitrate descriptor(压缩的梯度直方图：低比特率描述符)，国际计算机视觉期刊96.3(2012)：384-399，
-米娜·马卡尔(Makar,Mina)等，Compression of image patches for localfeature extraction(用于局部特征提取的图像补丁的压缩)2009年IEEE国际声学、语音和信号处理会议，IEEE，2009，和
-纪荣嵘(Ji,Rongrong)等，Location discriminative vocabulary coding formobile landmark search(用于移动地标搜索的位置判别词汇编码)，国际计算机视觉期刊96.3(2012)：290-314。
被提取的特征矢量优选以特征矩阵(也称为“feature map”)的形式被汇总。根据本发明，该特征矩阵的维度依据原始图像的维度。即由M×N个图像元素组成的图像被转换为包含M×N个图像矢量的特征矩阵。然而，该特征矩阵的维度并不强制性地关联该图像的维度。
根据本发明，在下一个方法步骤中，对特征矩阵进行过滤，以便能够以数据减少为目标而摒弃所述特征矩阵的可能不需要的信息。为此目的，能够以预限定的评价标准来评价特征矩阵的各个元素和/或区域。不满足所述评价标准的元素在特征矩阵中被标记为无效的。图像点或图像区域的对比度信息构成优选的评价标准。具有高对比度的区域通常包含对于根据本发明的方法而言重要的信息，其中，具有低对比度的区域可以被摒弃。在此，对比度被评价为高还是低，可以取决于图像传感器的噪声。当对比度也可能由图像传感器的噪声引起时，该对比度可以被评价为过低。从具有处于图像传感器噪声水平上的相应低对比度的图像区域中不能够获得特别可靠的信息，因此，这样的图像区域或者特征矩阵元素可以被标记为无效的。所述对比度信息例如能够直接从特征矩阵中得出，只要该对比度信息在特征提取的过程中已作为独立特征被提取。替代地或附加地，所述对比度信息也可以从所述原始图像信息中求取。对于图像的维度和配属于它的特征矩阵的维度相同的情况，从所述图像中求出的对比度信息可以直接传递到特征矩阵的元素上，使得特征矩阵的相应的元素或者区域只要不满足所述评价标准，就可以被标记为无效的。
在下一个方法步骤中，将第一图像的被过滤的特征矩阵与第二图像的被过滤的特征矩阵进行比较。目标是，在被提取的特征的基础上鉴别在不同位置上拍摄的图像的特征之间的最大可能的相似性并且选择这些相似性。这些相似性通常构成交通工具环境的重要对象，泊车辅助***可以在成功结束训练阶段之后在自动泊入过程期间根据所述重要对象来定向。未以相似的形式既包含在第一图像的特征矩阵中又包含在第二图像的特征矩阵中的特征或者特征矢量，在针对这两个图像的合成特征矩阵中被标记为无效的。为了确定特征和/或特征矢量之间的相似性，可以使用由现有技术已知的相似性量度或者间距量度。
通过将不相似的或者仅弱相似的特征在所述合成特征矩阵中标记为无效和/或移除，通常生成所谓的稀疏矩阵，因为该稀疏矩阵仅还部分地带有特征信息，而矩阵的大部分被标记为无效并且不再包含特征信息。以这种途径，代表所述合成特征矩阵的数据量被进一步减少。在此，根据合成特征矩阵在存储器中的组织(Organisation)已经可以实现所需要的存储器空间的物理减少，其方式是：例如只有重要的特征信息才以链表的形式被连接。因此，不重要的特征信息不再是所述合成特征矩阵的组成部分(甚至不呈被标记为无效数据的形式)并且因此也不再要求存储空间。除特征数据作为链表的组织外，上面所说明的方法步骤然而也可以用作在接下来要执行的压缩过程的准备，该压缩过程然后实现所需要的存储空间的真正的物理减少。
内部存储器通常尺寸小，但提供了以下优点：内部存储器具有快速的连接，即可以特别快地实现对所述内部存储器的读写过程。这样快速地访问非易失性存储器(其可以是小尺寸或者大尺寸的)是不可能的。因此，分析评估单元的对上面所说明的方法步骤的运算操作的中间结果保存在内部的易失性存储器中。被最大程度减少的特征数据在训练阶段结束时才写入到非易失性存储器中。
在此，根据本发明的方法不局限于拍摄和处理第一和第二图像。有利地，与泊车辅助***的训练阶段关联地，在训练阶段期间拍摄多个图像并且进行上面所说明的方法步骤。
下面示出本发明的优选的扩展方案。
在另一优选的实施方式中，通过使用已知的压缩方法进一步减少通过根据本发明方法选择的特征数据。为此目的，例如可以使用游程编码，游程编码尤其可以特别高效地压缩稀疏矩阵的数据。这是可能的，因为矩阵的不带有特征信息的元素(所述元素例如被“0”值占用)通常占据矩阵的连续区域，使得“0”值的重复出现被游程编码以缩短的形式在说明该值和该值出现的频率的情况下代表。如果在特征矩阵中例如出现彼此相继的未占用元素的项，如“000000”，则该序列被游程编码以压缩的形式表示为“6×0”，这在此意思是“六乘零”。
对于游程编码替代地或附加地，也可以使用熵编码，如由现有技术已知的哈夫曼(Huffman)编码。哈夫曼编码通过下述方式实现数据压缩：经常出现的符号通过较短的编码字来代表，而较少出现的符号通过较长的编码字来代表。这尤其可以在压缩特征矩阵的被标记为无效的特征矢量时导致数据的高效压缩。
在根据本发明的方法的另一优选的实施方式中，在相对于起始位置达到不同的预限定的距离时借助光学传感器执行第一和第二图像的拍摄。在现代交通工具中，在交通工具的不同的总线***上通常也可提供关于交通工具走过的路段的数据。这些数据可以借助数据输入端被提供给泊车辅助***，使得所述泊车辅助***能够在交通工具运动时获知交通工具从起始位置出发走过的路段。因此，泊车辅助***例如可以在到起始位置间距为1m的距离时拍摄第一图像并且在到起始位置间距为2m时拍摄第二图像。可能地，可以在每次进一步远离起始位置一米时分别再拍摄另外的图像。在这方面可以考虑，允许各个拍摄之间的距离变化。例如当交通工具在训练驾驶期间驶过弯道时。在这里可以有意义的是，缩短所述拍摄之间的距离，因为通过弯道行驶引起环境信息的快速的水平改变，由此，在各个拍摄之间的间距过大的情况下，也许不能够感测到重要的环境信息。优选地，各个图像之间的要选择的间距位于50cm至2m之间。
在另一有利的实施方式中，对于上面所说明的相对于起始位置的预限定的距离替代地或附加地，在预限定的时刻执行所述拍摄。因此，第一图像的拍摄例如可以在训练驾驶开始之后1s后进行并且第二拍摄在再过一秒后进行。当没有或只有不准确的关于走过的路段的信息可提供给泊车辅助***时，这尤其是有利的。
在另一有利的实施方式中，各个拍摄之间的时间间隔可以被如此程度地缩短，使得在训练驾驶期间执行连续的图像拍摄。优选地，这通过使用视频摄像机来实现，该视频摄像机设置为用于以1/24s或者1/25s的时间间隔来拍摄环境的图像。在训练驾驶期间产生连续的图像拍摄提供以下优点：从起始位置出发到目标位置的几乎无空缺的环境信息可提供用于分析评估。对此前提是存在足够大的易失性存储器，在该易失性存储器中能够缓存所述视频录像。因此可能的是，在结束训练驾驶之后，从视频数据中求出最佳地或者明确地代表交通工具的运动路径的各个图像。在按照预限定的距离和/或预限定的时刻拍摄图像的情况下可以发生，在实施阶段中可能未感测到对于自动泊入过程有用的环境信息。与此相比，视频录像允许事后优化选择各个图像，然后对所述各个图像进行上面所说明的用于特征提取的方法。以这种方式可以优化环境信息的质量并且由此更可靠地执行所述自动泊入过程。除提高环境信息的可靠性以外，所述方法也可以导致提高的数据减少，其方式是：在从所述视频录像中选择各个图像时，不但考虑环境信息的质量，而且考虑所述环境信息在根据本发明的用于数据减少的方法方面的适用性。
代替事后分析评估所述视频录像，也可以连续地进行该视频录像的分析评估。该过程具有以下优点：不需要大的易失性存储器。在此，对于第二图像的拍摄而言，一再以短的时间间隔、例如1/25s拍摄图像作为候选，并且立即对所述作为候选的图像分别进行分析评估。根据分析评估来决定，当前图像是否被用作第二图像。若不能，那么该图像被立即摒弃(即不再占用存储器)并且随后拍摄的图像被考虑用于重新分析评估。在所述分析评估时复查，所述候选图像和所述第一图像之间是否存在显著区别。若存在，则该候选图像可以被选作第二图像。例如，如果图像内容由于交通工具运动了例如一米而相应地改变，则存在显著区别。这可以借助本领域技术人员已知的例如通过求取光流的图像序列分析来实现。
根据本发明的第二方面，提出在实施阶段中用于对驾驶员辅助***的基于特征的环境信息进行数据减少的方法。所述方法设置，借助交通工具的光学传感器拍摄该交通工具环境的图像。在此，所述光学传感器例如可以是驾驶员辅助***的摄像机，该摄像机布置在交通工具上的适合部位处，使得能够优化地感测所需要的环境信息。
在本方法开始时，交通工具位于起始位置中，该起始位置最大程度地与在之前所说明的用于泊车辅助***的训练阶段中的交通工具起始位置相一致。因为在训练阶段中和在实施阶段中分别手动地操控用于交通工具的起始位置，所以对所述起始位置设置预限定的容差范围，为了执行自动泊入过程，交通工具必须位于所述容差范围内。在下一个方法步骤中，如在训练阶段中那样，将图像信息转换为特征空间，其方式是：对原始图像的每个图像点提取预限定的特征，将所述预限定的特征又以特征矢量的形式存储在特征矩阵中。在下一个方法步骤中，对所述特征矢量进行过滤，其方式是：所有不满足预限定的评价标准的特征矢量在所述特征矩阵中被标记为无效的。
在下一个方法步骤中，将特征矩阵的剩余的有效特征矢量与在训练阶段期间创建的、描述环境的特征矩阵比较。通过使用适合的间距量度或者相似性量度能够以这种途径求取与储存在存储器中的特征矩阵的尽可能最大的一致性。所求得的与储存的特征矩阵之一的一致性允许求得交通工具的当前位置。这又允许根据求得的位置数据在交通工具从预限定的起始位置到在训练阶段中确定的目标位置的路径上自动地控制该交通工具。
根据本发明的第三方面，提出一种设备，该设备包括数据输入端、分析评估单元和数据输出端。所述分析评估单元设置为用于与所述数据输入端连接地借助光学传感器拍摄交通工具环境的图像。所述光学传感器例如可以是摄像机。此外，分析评估单元还设置为用于借助图像分析方法从拍摄的图像中提取特征并且在所述特征对于上面所说明的泊车辅助***的重要性方面评价这些特征。此外，所述分析评估单元设置为用于：在泊车辅助***的训练阶段中求取两个图像的被标记为重要的特征之间的相似性，并且将所述相似性以代表该相似性的数据形式保存在附接到分析评估单元上的存储器单元中。此外，分析评估单元设置为用于：在泊车辅助***的实施阶段中，求取感测到的图像中的一个图像的重要特征和之前在训练阶段中拍摄到的图像的储存在存储单元中的重要特征之间的相似性。
此外，分析评估单元还设置为用于将在训练阶段中求出的特征经由数据输出端保存在存储单元中，并且将在实施阶段中求出的特征的相似性经由数据输出端以信号形式发送给车辆控制装置，所述车辆控制装置实施自动泊入过程。
附图说明
下面参考标准附图详细说明本发明的实施例。附图示出了：
图1阐明在训练阶段中本发明方法的实施例的步骤的流程图；
图2阐明在实施阶段中本发明方法的实施例的步骤的流程图；
图3根据本发明的设备的组件的示意性总览图；和
图4用于交通工具的家庭区域泊车辅助***的示例性的训练驾驶。
具体实施方式
图1示出阐明在训练阶段60中的本发明方法的实施例的步骤的流程图。在此，在步骤100中，借助光学传感器20从第一位置81拍摄交通工具70的环境的第一图像。在步骤200中，借助光学传感器20从与第一位置81不同的第二位置82拍摄交通工具70的环境的第二图像。在步骤300中，借助分析评估单元10提取代表所述第一图像的特征。此外，提取代表所述第二图像的特征。被提取的特征以用于所述第一图像的特征矩阵和用于所述第二图像的特征矩阵的形式保存在易失性存储器30中，该易失性存储器附接到分析评估单元10上。在步骤400中，对第一和第二图像的各个区域根据其对比度信息借助分析评估单元10来评价。具有低对比度的区域在易失性存储器30中的相应特征矩阵中被标记为无效的，因为它们通常不包含对于泊车辅助***重要的信息。在步骤500中，对所述第一和第二图像的之前被评价的特征矩阵借助关于两个矩阵之间的相似性的特征比较来检查。在此，不具有显著相似性的区域在合成特征矩阵中被标记为无效的。具有重要一致性的区域不改变地被采纳到合成特征矩阵中。在此，所述合成特征矩阵在其创建过程中同样保存在易失性存储器30中。在完全求出所述合成特征矩阵之后，将该合成特征矩阵保存在非易失性存储器40中。
图2示出阐明在实施阶段中的本发明方法的实施例的步骤的流程图。在此，在第一步骤100中，借助光学传感器20从位置81拍摄交通工具70的环境的图像。在步骤600中，借助分析评估单元10提取代表所述图像的特征。被提取的特征以特征矩阵的形式保存在易失性存储器30中，该易失性存储器附接到分析评估单元10上。在步骤700中，对图像的各个区域根据其对比度信息借助分析评估单元10来评价。具有低对比度的区域在易失性存储器30中的特征矩阵中被标记为无效的，因为它们通常不包含对于泊车辅助***重要的信息。在步骤800中，对所述图像的被评价的特征与参考标准进行比较，所述参考标准以选择的特征的形式代表在训练阶段60中拍摄的多个图像。
图3示出根据本发明的设备50的组件的示意性总览图，该设备包括分析评估单元10、数据输入端11和数据输出端12。所述分析评估单元包括用于求取和评价特征数据的处理器，所述特征数据从附接到分析评估单元10的数据输入端11上的摄像机20的信号中被提取。此外，根据本发明的设备还包括(优选内部的)易失性存储器和非易失性存储器30,40，所述存储器经由数据输出端12和13附接到分析评估单元10上。
图4示出用于交通工具70的家庭区域泊车辅助***的示例性训练驾驶60。家庭区域训练驾驶包括交通工具70在要被使用者选择的家庭区域起始位置91中的减速或者停止。通过随后的使用者动作开始家庭区域训练驾驶60。在此，使用者沿着通向要被使用者选择的家庭区域目标位置92的适合的运动路径90控制交通工具70。现在，借助布置在交通工具70上的光学传感器20在预限定的位置80处对交通工具70的环境进行拍摄，所述拍摄通过泊车辅助***的分析评估单元例如按照结合图1所公开的方法被处理。

Claims (10)

1.一种用于在训练阶段(60)中对驾驶员辅助***的基于特征的环境信息进行数据减少的方法，所述方法具有以下步骤：
·借助光学传感器(20)从第一位置(81)拍摄(100)交通工具(70)的环境的第一图像，
·借助所述光学传感器(20)从与所述第一位置(81)不同的第二位置(82)拍摄(200)所述交通工具(70)的环境的第二图像，
·借助用于特征提取的算法求取(300)代表所述第一图像的特征并且求取代表所述第二图像的特征，
·标记(400)所述第一图像和所述第二图像的不满足预限定的评估标准的特征，和
·选择(500)所述第一图像和所述第二图像的具有高相似性并且借助特征比较未被标记的特征。
2.根据权利要求1所述的方法，所述方法此外包括通过使用游程编码和/或熵编码来无损地压缩代表被选择的特征的数据。
3.根据前述权利要求中任一项所述的方法，其中，在达到相对于起始位置(91)的不同的预限定的距离(81,82)时执行所述第一图像和所述第二图像的拍摄(100,200)。
4.根据前述权利要求中任一项所述的方法，其中，所述第一图像和所述第二图像的拍摄(100,200)之间的预限定的距离相应于50cm至2m的间距。
5.根据前述权利要求中任一项所述的方法，其中，所述起始位置(91)通过与“家庭区域”的预限定的空间关系来标记。
6.根据前述权利要求中任一项所述的方法，其中，在相对于起始时刻的不同的预限定的时刻触发所述第一图像和所述第二图像的拍摄(100,200)。
7.根据前述权利要求中任一项所述的方法，其中，所述光学传感器(20)是摄像机。
8.根据前述权利要求中任一项所述的方法，其中，借助所述光学传感器(20)执行连续的图像感测用于生成视频录像并且执行连续地分析评估所述视频录像，其中，分别决定，所述视频录像的最新图像是否被用作所述第一图像或者所述第二图像。
9.一种用于在实施阶段中对驾驶员辅助***的基于特征的环境信息进行数据减少的方法，所述具有以下步骤：
·借助光学传感器拍摄(100)交通工具的环境的图像，
·借助用于特征提取的算法求取(600)代表所述图像的特征
·标记(700)所述图像的不满足预限定的评价标准的特征，和
·将所述图像的被评价的特征与参考标准比较(800)，所述参考标准以选择的特征形式代表在训练阶段(60)中拍摄的多个图像。
10.一种用于对基于特征的环境信息进行数据减少的设备(50)，所述设备包括：
·数据输入端(11)，
·分析评估单元(10)和
·数据输出端(12)，其中，
所述分析评估单元(10)设置为用于，
·与所述数据输入端(11)连接地借助光学传感器(20)从第一位置(81)并且从与所述第一位置不同的第二位置(82)拍摄(100,200)交通工具(70)的环境的图像，
·从所述图像中求取特征并且在所述特征的重要性方面评价这些特征，其中，不重要的特征被标记为无效的，
·求取两个图像的标记为重要特征之间的相似性和/或求取感测到的图像中的一个图像的重要特征和之前在训练阶段(60)中拍摄到的图像的储存在存储单元中的重要的特征之间的相似性，和
·将不同图像的重要特征之间的显著相似性经由所述数据输出端(12)保存在所述存储单元中和/或传送给驾驶员辅助***的控制功能。
CN201811074702.9A 2017-09-14 2018-09-14 使驾驶员辅助***的环境信息数据减少的方法和设备 Active CN109509274B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017216267.8 2017-09-14
DE102017216267.8A DE102017216267B4 (de) 2017-09-14 2017-09-14 Verfahren und Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems

Publications (2)

Publication Number Publication Date
CN109509274A true CN109509274A (zh) 2019-03-22
CN109509274B CN109509274B (zh) 2022-03-15

Family

ID=65441944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811074702.9A Active CN109509274B (zh) 2017-09-14 2018-09-14 使驾驶员辅助***的环境信息数据减少的方法和设备

Country Status (4)

Country Link
US (1) US10733768B2 (zh)
JP (1) JP2019075097A (zh)
CN (1) CN109509274B (zh)
DE (1) DE102017216267B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892130A (zh) * 2019-06-07 2022-01-04 马自达汽车株式会社 移动体外部环境识别装置
CN114915646A (zh) * 2022-06-16 2022-08-16 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170253237A1 (en) * 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
DE102016213495A1 (de) * 2016-07-22 2018-01-25 Robert Bosch Gmbh Fahrassistenzverfahren, Fahrassistenzsystem und Fahrzeug
CN111160762B (zh) * 2019-12-27 2023-04-28 哈尔滨工业大学 基于驾驶人生理数据的驾驶适宜性评价方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
JP2002197476A (ja) * 1996-01-11 2002-07-12 Sony Corp 情報登録方法及び装置、情報提供方法及び装置、表示方法及び装置
US20070071290A1 (en) * 2005-09-28 2007-03-29 Alex Shah Image Classification And Information Retrieval Over Wireless Digital Networks And The Internet
CN102945552A (zh) * 2012-10-22 2013-02-27 西安电子科技大学 基于自然场景统计中稀疏表示的无参考图像质量评价方法
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
DE102015203016A1 (de) * 2015-02-19 2016-08-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
CN106447646A (zh) * 2016-06-28 2017-02-22 中国人民解放军陆军军官学院 一种用于无人机图像的质量盲评价方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09284570A (ja) * 1996-04-09 1997-10-31 Sony Corp 画像信号符号化方法及び画像信号復号化方法
DE102004018288A1 (de) * 2004-04-15 2005-11-03 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur näherungsweisen Indentifizierung eines Objekts
JP2006139424A (ja) * 2004-11-10 2006-06-01 Sharp Corp 生体認証装置
DE102006046843A1 (de) * 2006-10-02 2008-04-03 Robert Bosch Gmbh Verfahren zur Erkennung eines Umfelds
JP5782708B2 (ja) * 2010-12-03 2015-09-24 日産自動車株式会社 走行支援装置
JP2012150552A (ja) * 2011-01-17 2012-08-09 Horiuchi Denki Seisakusho:Kk 物体認識処理装置及び物体認識処理方法
JP6429466B2 (ja) * 2013-11-19 2018-11-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP6746306B2 (ja) * 2015-12-03 2020-08-26 アルパイン株式会社 自動運転制御支援装置および自動運転制御支援方法
CN108292140B (zh) * 2015-12-09 2022-03-15 深圳市大疆创新科技有限公司 用于自动返航的***和方法
JP6564713B2 (ja) * 2016-02-01 2019-08-21 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法
CN109791414A (zh) * 2016-09-26 2019-05-21 深圳市大疆创新科技有限公司 基于视觉着陆的方法和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197476A (ja) * 1996-01-11 2002-07-12 Sony Corp 情報登録方法及び装置、情報提供方法及び装置、表示方法及び装置
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
US20070071290A1 (en) * 2005-09-28 2007-03-29 Alex Shah Image Classification And Information Retrieval Over Wireless Digital Networks And The Internet
CN102945552A (zh) * 2012-10-22 2013-02-27 西安电子科技大学 基于自然场景统计中稀疏表示的无参考图像质量评价方法
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
DE102015203016A1 (de) * 2015-02-19 2016-08-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
CN106447646A (zh) * 2016-06-28 2017-02-22 中国人民解放军陆军军官学院 一种用于无人机图像的质量盲评价方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892130A (zh) * 2019-06-07 2022-01-04 马自达汽车株式会社 移动体外部环境识别装置
CN114915646A (zh) * 2022-06-16 2022-08-16 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置
CN114915646B (zh) * 2022-06-16 2024-04-12 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置

Also Published As

Publication number Publication date
DE102017216267A1 (de) 2019-03-14
US10733768B2 (en) 2020-08-04
CN109509274B (zh) 2022-03-15
DE102017216267B4 (de) 2020-02-06
US20190080482A1 (en) 2019-03-14
JP2019075097A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
CN109509274A (zh) 使驾驶员辅助***的环境信息数据减少的方法和设备
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN108961312B (zh) 用于嵌入式视觉***的高性能视觉对象跟踪方法及***
US9542609B2 (en) Automatic training of a parked vehicle detector for large deployment
KR20190069457A (ko) 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
JP2019087229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
EP2874097A2 (en) Automatic scene parsing
CN102422325B (zh) 用于识别对象及另一低级别对象的模式识别装置及其方法
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
US11189007B2 (en) Real-time generation of functional road maps
CN110120024A (zh) 图像处理的方法、装置、设备和存储介质
CN106250838A (zh) 车辆识别方法及***
CN109543691A (zh) 积水识别方法、装置以及存储介质
US10796434B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
US11308324B2 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
CN111928857A (zh) 一种动态环境中实现slam定位的方法及相关装置
CN117036895B (zh) 基于相机与激光雷达点云融合的多任务环境感知方法
JP2008033818A (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
EP2919450B1 (en) A method and a guided imaging unit for guiding a user to capture an image
Abirami et al. Accurate vehicle number plate recognition and real-time identification using raspberry pi
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
Yasser et al. Egyart_classify: an approach to classify outpainted Egyptian monuments images using GAN and ResNet
Sari et al. Traffic sign detection and recognition system for autonomous RC cars
DE112021004501T5 (de) Modellierung der fahrzeugumgebung mit einer kamera
KR20220057878A (ko) 딥러닝 기반의 분류 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant