CN110121055B - 用于对象识别的方法和设备 - Google Patents

用于对象识别的方法和设备 Download PDF

Info

Publication number
CN110121055B
CN110121055B CN201910103102.9A CN201910103102A CN110121055B CN 110121055 B CN110121055 B CN 110121055B CN 201910103102 A CN201910103102 A CN 201910103102A CN 110121055 B CN110121055 B CN 110121055B
Authority
CN
China
Prior art keywords
camera
image
input data
reading
data signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910103102.9A
Other languages
English (en)
Other versions
CN110121055A (zh
Inventor
G.布洛特
R.博尔歇斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110121055A publication Critical patent/CN110121055A/zh
Application granted granted Critical
Publication of CN110121055B publication Critical patent/CN110121055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于对象识别的方法，其中，所述方法首先具有读取的步骤，其中读取输入数据信号145以及用于调整摄像机105，110的拍摄特性的确定的摄像机调节参数140。所述输入数据信号145在此代表待识别的对象107，117的由至少一个摄像机105，110拍摄的图像135。最后，所述方法具有识别的步骤，其中，在神经网络125中在使用所述确定的摄像机调节参数140的情况下识别所述对象107，117。

Description

用于对象识别的方法和设备
技术领域
本发明从根据独立权利要求所述类型的一种设备或一种方法出发。计算机程序也是本发明的主题。
背景技术
已知以下设备，所述设备借助神经网络识别和分类对象。
DE 10 2009 055 127 Al描述一种视频监视***，所述视频监视***用于探测和跟踪显眼的对象，其中，借助探测装置根据预给定的模型描述探测对象并且在确定的时间段上由跟踪装置跟踪对象，其中，所述跟踪装置检测多个跟踪参数并且与探测装置反馈式耦合，使得在重复的探测的情况下，跟踪参数被输送给探测装置并且被考虑用于对象的探测。视频监视***可选地构造为学习或自学习***。
发明内容
在此背景下，借助在此提出的方案提出根据独立权利要求的用于对象识别的方法、使用所述方法的设备以及最后相应的计算机程序。通过在从属权利要求中列出的措施能够实现在独立权利要求中说明的设备的有利的扩展方案和改进方案。
对于借助人工神经网络实现的对象识别在使用摄像机调节参数的情况下扩展多个输入数据信号，使得能够实现对象和/或人的改善的识别和/或重新识别，这尤其对于自主驾驶和安全监视的主题领域意义重大。
提出一种用于对象识别的方法，其中，所述方法具有以下步骤：
读取至少一个输入数据信号以及用于调整摄像机的拍摄特性的确定的、尤其分配给所述至少一个输入数据信号（145）的摄像机调节参数，其中，所述输入数据信号代表对象的由至少一个摄像机拍摄的图像；以及
在神经网络中在使用所述确定的摄像机调节参数的情况下并且尤其在使用所述至少一个输入数据信号的情况下识别所述对象。
对象例如可以是待识别的人和/或待识别的车辆。摄像机可以是摄影技术的设备，所述设备在摄影胶卷上或者电子式地在磁性视频带或数字存储介质上记录静态的或运动的图像，或者通过接口可以传送静态的或运动的图像。摄像机尤其可以是环境传感器摄像机，所述环境传感器摄像机布置在车辆上并且被构造用于，持续地检测并提供车辆环境的图像信息或图像。替代地，摄像机可以是摄像机网络的监视摄像机，所述监视摄像机用于观察监视区域并且被构造用于，跟踪位于监视区域中的显眼的人并且将该人的图像序列和/或视频序列转发给中央单元。摄像机调节参数可以是用于调整摄像机的拍摄特性的调节参数，其中，关于曝光、对比度、颜色表示、光圈开口、增益和/或像素误差和/或关于颜色修正/Color Correction（Tone Mapping：色调匹配）的信息和/或图像重复频率和/或关于曝光时间的信息和/或模拟/数字转换器调整和/或关于白平衡的信息和/或红外过滤调整和/或焦点调整和/或关于时间上的噪声过滤（Noise Reduction：降噪）的信息，将所述摄像机调节参数应用或匹配于通过摄像机拍摄的图像。神经网络可以是人类大脑的人工抽象模型，该人工抽象模型由具有人工节点、一种神经元的多个层组成。神经网络在此尤其可以具有输入与输出层，在输入与输出层之间可以布置有多个中间层。输入层的节点可以通过训练来在不同的路径上通过中间层的节点与输出层的节点连接。在此适用：神经网络具有越多的节点和层，就可以描绘越复杂的实情。
在此提出的方法方案的优点尤其在于，借助神经网络的对象识别不仅可以在基于视频的监视技术中而且可以在汽车领域中使用。在基于视频的监视技术中，可以通过确定用于主动的摄像机调节的摄像机调节参数来如下训练神经网络：将可用的数据量人工地增加至监视区域中被探测的人。基于该人工地增加的数据量，可以生成更鲁棒的和照明不变的特征以便进行人重新识别。由此，可以例如无缝地通过整个摄像机网络来跟踪所探测的人，而不丢失人的身份或者将该人与另一个被跟踪的人混淆。在汽车领域中，借助神经网络的对象识别尤其适合于自主驾驶的用于自动识别对象、如道路交通中的停车指示牌和交通信号灯的子领域。此外，可以将在此提出的方法方案有利地应用在汽车领域中，以便识别行人和因此避免事故。在基于视频的监视技术的领域中以及在汽车领域中，可用的摄像机的数目是可计数的。在此，由于一目了然数目的摄像机而尤其已知，所述摄像机在调节技术上如何工作。摄像机调节对于能够将参数用于更高效的机器场景解释是意义重大的。目标是，在使用摄像机调节的情况下使将神经网络用于对象识别的应用更鲁棒并且尤其对于自主驾驶能够实现实时天气识别。
根据一种实施方式，所述方法可以具有在使用所述对象的所读取的多个图像的情况下确定用于调整所述摄像机的拍摄特性的摄像机调节参数的步骤，其中，尤其在所述读取的步骤中将所述确定的摄像机调节参数应用于读取至少一个另外的输入数据信号。在此，摄像机调节参数首先用于使人的和/或对象的所拍摄的或待拍摄的图像匹配于所拍摄的或待拍摄的场景的当前测量的曝光比例并且可以根据将来所预期的曝光比例来匹配摄像机调节参数。通过摄像机的借助摄像机调节参数的预测性调节，在快速变化的场景的情况下最优地满足多种多样的要求。
根据一种实施方式，在所述读取的步骤中，作为摄像机调节参数可以使用亮度和/或对比度和/或颜色表示和/或光圈开口和/或增益和/或关于颜色修正/Color Correction（Tone Mapping：色调匹配）的信息和/或图像重复频率和/或关于曝光时间的信息和/或模拟/数字转换器调整和/或关于白平衡的信息和/或红外过滤调整和/或焦点调整和/或关于时间上的噪声过滤（Noise Reduction：降噪）的信息和/或像素误差。通过关于照明、对比度、颜色表示、光圈开口、增益和像素误差来应用或匹配人和/或对象的所拍摄的或待拍摄的图像，实现数据变化性的提高，这引起：通过神经网络改善地识别人和/或对象以及重新识别人和/或对象。迄今为止，已经借助最新的摄像机尝试尽可能好地成像人类的待成像的场景。在这种情况下，重点是对于人眼的优化，而不是对于人工智能、例如神经网络的优化。然而，由此有意识地考虑图像中的优化，所述优化虽然帮助人类，但从自学习机器角度不带来任何优点。在此，例如可以提及色调匹配，色调匹配的任务仅仅是，对于人类而言最好地匹配图像中的对比度/动态范围。
根据一种实施方式，在所述读取的步骤中，可以使所述摄像机调节参数与所述神经网络的层的第一半中的节点和/或所述神经网络的层的第二半中的节点耦合。神经网络具有多个节点，所述多个节点布置在层中并且通常在固定的层次中相互连接。节点在此大多在两个层之间连接，但在很少的情况下也在一个层内连接。在这些层之间，所述一个层的每个节点也总是与最近的层的所有节点连接。从输入层开始，例如图像信息通过一个或多个中间层流动直至输出层。最后，输出层学习了：哪些图像特性和特征构成对象，例如车辆和/或人。
根据一种实施方式，在所述读取的步骤中，可以以565-格式读取形成所述输入数据信号的图像的每个像点，其中，在所述识别的步骤中以所述565-格式处理所述像点。通常，处理***在其处理期间以888-RGB-格式内插输入数据信号的像点。但是，对于神经网络的所谓的“深度学习”，以565-格式无内插地处理像点的训练可以带来明显的优点，因为内插还没有发生，通过所述内插否则可能出现高的信息损失。
根据一种实施方式，在所述读取的步骤中，以RGB-格式或YUV-格式读取所述输入数据信号，尤其其中，以每个颜色通道16比特或12比特的分辨率读取所述输入数据信号。比特深度在此涉及每个颜色或灰度分级的色调的数目。在此，摄像机大多以12-16比特提供未加工的输入数据信号。通过多种多样的变换——所述变换通过摄像机调节在时间上匹配，可以将该范围减少到8比特。16到8比特的匹配在此动态地在多种多样的调节环内进行。但是，对于神经网络的人工智能，原则上，12-16比特的更高的分辨率可供使用。
根据一种实施方式，可以至少重复地和/或周期性地重复所述读取的步骤。在此，神经网络的一个重要的优点在于，一旦所读取的数据的范围以及数据变化性由于摄像机调节参数的应用而增加，通常就进一步改进对象识别的结果。
根据一种实施方式，可以借助训练的步骤来训练神经网络以便由所述输入数据信号识别对象，其中，所述训练的步骤在使用所述摄像机调节参数的情况下进行。对于训练，神经网络的每个层的相对简单地构造的节点收集相邻的多个节点的数据，所述节点通过加权的连接与所述相邻的多个节点耦合并且根据简单的规则来连接这些数据。尽管单个节点的复杂性相对低，但是通过其相互连接，总体上可观地提高了神经网络的性能。节点在训练期间根据十万个至百万个示例来学习：首先从原始信息读出简单的模式和结构并且然后总是由它们形成更复杂的典型的特征，以便能够解决对象识别的所提出的任务。
根据一种实施方式，可以在车辆的计算单元和/或位置固定的摄像机网络的中央计算单元中实施所述读取的步骤。在此提出的方案的这样的实施方式提供以下优点：在车辆外部的计算单元和/或位置固定的摄像机网络的中央计算单元中预处理数据意味着在车辆自身中和/或在摄像机自身中的较低的计算需求并且能够实现与此相关的较低的能量消耗或者将资源用于其他功能的可能性。此外，车辆外部的计算单元和/或位置固定的摄像机网络的中央计算单元具有相比车辆内部的和/或摄像机内部的计算机更大的可用计算能力。
根据一种实施方式，可以在所述识别的步骤中识别人和/或车辆作为对象。在此，所提出的方法由于自动化的特征提取而尤其适合于计算机视觉的任务，例如对象识别和/或人重新识别。神经网络在训练时自主学习：应如何应用集成的摄像机调节参数，以便能够成功地执行对象识别。
在此提出的方案还实现一种设备，所述设备被构造用于在相应的装置中执行、控制或者实现在此提出的用于对象识别的方法的变型方案的步骤。也可以通过本发明的以用于对象识别的设备形式的实施变型方案快速和高效地解决本发明所基于的任务。
为此，用于对象识别的设备可以具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元、用于从传感器读取传感器信号或用于输出数据信号或控制信号到执行器的至传感器或执行器的至少一个接口和/或用于读取或输出数据的至少一个通信接口，其嵌入到通信协议中。计算单元可以是例如信号处理器、微控制器等等，其中，存储单元可以是闪存、EEPROM或磁性存储单元。通信接口可以被构造用于无线地或有线地读取或输出数据，其中，可以读取或输出有线的数据的通信接口可以例如以电的方式或以光学的方式从相应的数据传输线路读取这些数据或将这些数据输出到相应的数据传输线路中。
用于对象识别的设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。用于对象识别的设备可以具有能够按硬件方式和/或按软件方式构造的接口。在按硬件方式构造的情况下，接口例如可以是所谓的***ASIC的包括用于对象识别的设备的最不同功能的部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立器件组成。在按软件方式构造的情况下，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
具有程序代码的计算机程序产品或者计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或者存储介质，如半导体存储器、硬盘存储器或光学存储器上并且用于尤其当在计算机或者设备上实施程序产品或者程序时执行、实现和/或控制根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在下面的描述中进一步阐述在此提出的方案的实施例。其中：
图1示出根据一个实施例的基于用于对象识别的设备进行对象识别的示意性的***结构；
图2示出根据一个实施例的用于对象识别的方法的简化的示意性的***流程；
图3示出根据一个实施例的用于阐述在基于视频的监视技术上在进行对象识别和/或人重新识别时借助摄像机调节参数的主动的摄像机调节的含义的示图；以及
图4示出根据一个实施例的用于对象识别的一个实施例的流程图。
在本发明的有利的实施例的后续描述中，对于在不同附图中示出并且起类似作用的元件使用相同的或类似的附图标记，其中不重复描述这些元件。
具体实施方式
图1示出根据一个实施例的基于用于对象识别的设备100进行对象识别的示意性的***结构。因为在此提出的方法方案不仅可以应用在基于视频的监视技术中而且可以应用在汽车领域中，所以该***结构首先包括监视摄像机105以及此外环境传感器摄像机110，该监视摄像机根据一个实施例是摄像机网络的部分，所述环境传感器摄像机作为环境传感器布置在车辆115上并且用于检测车辆115的环境。示意性的***结构此外具有用于对象识别的设备100，所述设备根据一个实施例布置在外部的计算单元120上，其中，外部的计算单元120此外具有人工神经网络125。
监视摄像机105在待通过监视摄像机105监视的区域中探测显眼的人107。监视摄像机105紧接着读取多个图像信号130，其中，图像信号130代表所探测的人107的由监视摄像机105拍摄的各一个图像135。监视摄像机105现在被构造用于在使用人107的所读取的多个图像135的情况下确定用于调整所述摄像机105的拍摄特性的摄像机调节参数140。作为摄像机调节参数140，在此可以使用亮度和/或对比度和/或颜色表示和/或光圈开口和/或增益和/或关于颜色修正/Color Correction（Tone Mapping：色调匹配）的信息和/或图像重复频率和/或关于曝光时间的信息和/或模拟/数字转换器调整和/或关于白平衡的信息和/或红外过滤调整和/或焦点调整和/或关于时间上的噪声过滤（Noise Reduction：降噪）的信息和/或像素误差。接下来，监视摄像机105将人107的所读取的多个图像135以多个输入数据信号145以及摄像机调节参数140的形式提供给用于对象识别的设备110的读取装置150。
环境传感器摄像机110——其作为环境传感器布置在车辆115上——探测车辆115的环境中的对象117。环境传感器摄像机110紧接着读取多个图像信号130，其中，图像信号130代表所探测的对象117的由环境传感器摄像机110拍摄的各一个图像135。环境传感器摄像机110现在被构造用于在使用对象117的所读取的多个图像135的情况下确定用于调整所述环境传感器摄像机110的拍摄特性的摄像机调节参数140。作为摄像机调节参数140，在此可以使用亮度和/或对比度和/或颜色表示和/或光圈开口和/或增益和/或关于颜色修正/Color Correction（Tone Mapping：色调匹配）的信息和/或图像重复频率和/或关于曝光时间的信息和/或模拟/数字转换器调整和/或关于白平衡的信息和/或红外过滤调整和/或焦点调整和/或关于时间上的噪声过滤（Noise Reduction：降噪）的信息和/或像素误差。接下来，环境传感器摄像机110将对象117的所读取的多个图像135以多个输入数据信号145以及摄像机调节参数140的形式提供给用于对象识别的设备100的读取装置150。
用于对象识别的设备100具有读取装置150和识别装置155。读取装置150被构造用于读取多个输入数据信号145以及用于调整摄像机105、110的拍摄特性的确定的摄像机调节参数140。多个输入数据信号145在此代表待识别的人107的和/或待识别的对象117的由摄像机105、110中的至少一个拍摄的图像135，其中，输入数据信号145由监视摄像机105以及车辆115的环境传感器摄像机110提供给读取装置150。读取装置150此外被构造用于，将所读取的摄像机调节参数140用于读取至少一个另外的输入数据信号145。此外，读取装置150被构造用于，以565-格式读取待识别的人107的和/或待识别的对象117的构成输入数据信号145的图像135的每个像点。因此，读取装置150此外被构造用于，以RGB-格式或YUV-格式读取输入数据信号145，尤其其中，以每个颜色通道16比特的分辨率读取输入数据信号145。根据一个实施例，使所述摄像机调节参数140与所述神经网络125的层的第一半中的至少一个节点160耦合。神经网络125由多个节点组成。这些节点用于从环境或其他节点接收信息以及将信息以修改的形式转发给其他节点或环境。识别装置155最后被构造用于，在神经网络125中在使用确定的摄像机调节参数140的情况下识别人107和/或对象117。作为对象117在此尤其可以识别另外的车辆117。识别装置155可以尤其基于神经网络125的先前的训练、在使用摄像机调节参数140的情况下识别人107和/或对象117。然后，将对象识别的结果以对象输出信号165的形式提供给显示装置170以便显示所识别的人107和/或所识别的对象117，其中，对象输出信号165代表按百分比的说明：所识别的对象117以什么概率例如是人107和/或车辆117。替代地，在不使用概率的情况下，也可以使用得分。
图2示出根据一个实施例的用于对象识别的方法的简化的示意性的***流程200。***流程200具有输入数据信号145、摄像机调节参数140、神经网络125的输入层205、神经网络125的中间层210和输出层215以及对象输出信号165和用于显示所识别的对象显示装置170，其中，中间层210和输出层215根据一个实施例在图2中图形汇总。
输入数据信号145代表待识别的对象的由至少一个摄像机拍摄的图像，所述图像尤其由车辆的环境传感器摄像机和/或由监视摄像机提供。经典的、用于借助神经网络125进行对象识别的方法具有二维图像（RGB）作为输入数据信号145，所述二维图像表示在神经网络125的输入层205中。少量方案使用例如由云点组成的三维信息（RGB-D），因为当今的计算硬件还受限制。在这里示出的***流程200中，不仅以RGB-格式而且以RGB-D-格式读取输入数据信号145，尤其其中，以每个颜色通道16比特的分辨率读取输入数据信号145。用于调整摄像机的拍摄特性的摄像机调节参数140可以在神经网络125中作为所谓的早融合或晚融合或混合融合来读取，其中，在早融合的情况下，使所述摄像机调节参数140与所述神经网络125的层的第一半中的节点耦合以及在晚融合的情况下使所述摄像机调节参数140与所述神经网络125的层的第二半中的节点耦合。根据一个实施例，摄像机调节参数140已经与神经网络125的第一输入层205耦合。在能够进行对象识别之前，在使用摄像机调节参数140的情况下训练神经网络125以便由输入数据信号145识别对象。神经网络125的输入层205在此用作信息流的起点。输入数据信号145和摄像机调节参数140由在输入层205的起始的节点接收并且在最后经加权地转交给第一中间层210的节点。在此，输入层205的一个节点将相应的信息转发给第一中间层210的所有节点。在输入层205和输出层215之间，在每个神经网络125中存在至少一个中间层210。存在越多的中间层210，神经网络125就越深，因此，在英语上，也提及所谓的“深度学习”。理论上，神经网络125中的可能的中间层210的数目不受限制。然而实际上，待添加进来的每个中间层210也引起所需要的计算能力的上升，所述计算能力对于神经网络125的运行是必需的。输出层215位于一个或多个中间层210之后并且形成神经网络125中的最后的层。布置在输出层215中的节点分别与最后的中间层210的所有节点连接。输出层215是神经网络125中信息流的终点并且包含通过神经网络125的信息处理的结果。信息处理的结果然后以对象输出信号165的形式输出给显示装置170以用于显示所识别的对象，其中，对象输出信号165代表按百分比的说明：所识别的对象以什么概率例如是人或车辆。替代地，可以使用得分（相似程度）代替概率。
机器场景解释可以基于近年来变得更快速的硬件和在上面已经提到的“深度学习”的领域中的大的成功而取得巨大的进步。在“深度学习”之前的时期中的信息处理***随着在此期间的自学习方法而不再能够跟得上。“深度学习”描述机器学习的子领域并且利用人工神经网络125以及大的数据量来训练人工智能。在“深度学习”时，预给定输入数据——所述输入数据以附加的标签来注释，例如车辆或人，并且算法独立学习：根据训练材料例如识别车辆，或者对语义的场景内容分段或者在人重新识别时区分人。因为所述方法仅仅以数据驱动的方式工作，所以在盎格鲁萨克森空间中由引领的计算机与软件公司使用用户的图像用于训练神经网络125，以便达到高的性能并且因此也能够成功地分析和归纳新的未见过的输入图像。输入数据由手机和拍摄设备中的百万种不同的摄像机拍摄。因此，各式各样的不同的传感器可供使用并且神经网络125可以根据多种多样的传感器的数据来成功地工作。
图3示出根据一个实施例的用于阐述在基于视频的监视技术上在进行对象识别和/或人重新识别时借助摄像机调节参数的主动的摄像机调节的含义的示图。该示图在此具有所拍摄的四个图像片段305、310、315、320，所述四个图像片段由摄像机网络的监视摄像机在四个不同的时刻拍摄。
接下来在图像片段305、310、315、320中可视化场景，在所述场景中，监视摄像机在时间上已经借助摄像机调节参数进行调节。在图像片段305、310、315、320上可见由监视摄像机探测的人107，该人越过确定的时间段沿着运动轨迹330被跟踪。经放大的左边的图像340示出所拍摄的四个图像片段305、310、315、320的重叠的总场景。四个图像片段305、310、315、320在各四个不同的时刻被拍摄，其中，图像片段305在时刻t-3首先被拍摄，跟着的是在时刻t-2的图像片段310，跟着的是在时刻t-1的图像片段315。在时刻t拍摄的图像片段320示出最新的图像片段。在此可以很好地识别，在所示出的图像片段305、310、315、320中颜色和亮度在时间上略微改变。经典的当今的用于对象识别和/或用于人重新识别的方案在此具有问题，所述方案想要在摄像机网络的第二监视摄像机中重新找到人107，因为图像片段305、310、315、320中的颜色和边缘强度在时间上改变。借助在此提出的将摄像机调节包括在内，神经网络可以独立地学习应对摄像机调节并且学习：一旦摄像机已经进行调节，则场景已经改变。
在图3中还示出用于激活摄像机调节的函数345，所述函数的x轴根据一个实施例说明亮度参数并且其y轴说明时间变化过程。函数345的图形350在此示出摄像机调节的激活，其中，变得明显的是，随着时间推移，对于所拍摄的四个图像片段305、310、315、320中的每个，摄像机调节主动地改变了。
借助摄像机调节，在使用确定的摄像机调节参数的情况下，在所拍摄的每个图像片段305、310、315、320中改变监视摄像机的拍摄特性，使得在时刻t-2、t-1和t借助神经网络产生用于对象识别的训练的新的数据。摄像机调节参数可以涉及用于使亮度和/或对比度和/或颜色表示和/或光圈开口和/或增益和/或像素误差和/或关于颜色修正/ColorCorrection（Tone Mapping：色调匹配）的信息和/或图像重复频率和/或关于曝光时间的信息和/或模拟/数字转换器调整和/或关于白平衡的信息和/或红外过滤调整和/或焦点调整和/或关于时间上的噪声过滤（Noise Reduction：降噪）的信息匹配于图像片段305、310、315、320的参数。
通过借助摄像机调节参数来主动控制摄像机调节，此外可以明显提高沿着人107的运动轨迹330的数据变化性。通过人工增加的数据，可以借助神经网络训练用于对象识别和/或用于人重新识别的更鲁棒的模型。摄像机调节的主动控制具有对摄像机图像的显示的直接作用。通过中断主动的摄像机调节，不再能够进行有意义的数据增加，这将明显减小对象识别的和/或人重新识别的准确性。
图4示出根据一个实施例的用于对象识别的方法400的一个实施例的流程图。可以在使用在图1中提出的用于对象识别的设备的情况下使用所述方法400。
在所述方法400的排在前面的步骤405中，在使用对象的所读取的多个图像的情况下确定用于调整所述摄像机的拍摄特性的摄像机调节参数。作为摄像机调节参数，在此可以使用亮度和/或对比度和/或颜色表示和/或光圈开口和/或增益和/或像素误差和/或关于颜色修正/Color Correction（Tone Mapping：色调匹配）的信息和/或图像重复频率和/或关于曝光时间的信息和/或模拟/数字转换器调整和/或关于白平衡的信息和/或红外过滤调整和/或焦点调整和/或关于时间上的噪声过滤（Noise Reduction：降噪）的信息。方法400接着具有步骤410，其中，读取多个输入数据信号以及确定的摄像机调节参数，以便调整摄像机的拍摄特性。在此，输入数据信号代表待识别的对象的由至少一个摄像机拍摄的图像。现在，摄像机调节参数可以在步骤410中用于读取至少一个另外的输入数据信号。此外，在步骤410中，以565-格式（YcbCr，见ITU-RBT））读取构成输入数据信号的图像的每个像点。此外，在方法400的步骤410中，以RGB-格式读取所述输入数据信号，尤其其中，以每个颜色通道16比特的分辨率读取所述输入数据信号。最后，在方法400的步骤410中，使所述摄像机调节参数与所述神经网络的层的第一半中的节点和/或所述神经网络的层的第二半中的节点耦合。尤其在车辆的计算单元和/或位置固定的摄像机网络的中央计算单元中实施并且重复和/或周期性重复地实施方法400的步骤410。接下来，方法400具有步骤415，其中，训练神经网络以便由所述输入数据信号识别对象。在此，在使用摄像机调节参数的情况下进行步骤415。方法400最后具有步骤420，其中，在神经网络中在使用确定的摄像机调节参数的情况下识别对象。作为对象，在此尤其可以识别人和/或车辆。
如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则这可以解读为：实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。

Claims (13)

1.一种用于对象识别的方法(400)，其中，所述方法(400)具有以下步骤：
读取(410)至少一个输入数据信号(145)以及用于调整至少一个摄像机(105，110)的拍摄特性的确定的摄像机调节参数(140)，其中，所述输入数据信号(145)代表对象(107，117)的由所述摄像机(105，110)拍摄的至少一个图像(135)；以及
在基于所述对象的至少一个图像和所述确定的摄像机调节参数的神经网络(125)中在使用所述对象的至少一个图像和用于拍摄所述对象的至少一个图像的所述确定的摄像机调节参数(140)的情况下识别(420)所述对象(107，117)。
2.根据权利要求1所述的方法(400)，所述方法具有在使用所述对象(107，117)的所读取的多个图像(135)的情况下确定(405)用于调整所述摄像机(105，110)的拍摄特性的摄像机调节参数(140)的步骤，其中，在所述读取(410)的步骤中将所述确定的摄像机调节参数(140)应用于读取至少一个另外的输入数据信号(145)。
3.根据以上权利要求中任一项所述的方法(400)，其中，在所述读取(410)的步骤中，作为摄像机调节参数(140)使用亮度和/或对比度和/或颜色表示和/或光圈开口和/或增益和/或像素误差和/或关于颜色修正的信息和/或图像重复频率和/或曝光时间和/或模拟/数字转换器调整和/或关于白平衡的信息和/或红外过滤调整和/或焦点调整和/或关于时间上的噪声过滤的信息。
4.根据权利要求1或2所述的方法(400)，其中，在所述读取(410)的步骤中，使所述摄像机调节参数(140)与所述神经网络(125)的层的第一半中的节点(160)和/或所述神经网络(125)的层的第二半中的节点耦合。
5.根据权利要求1或2所述的方法(400)，其中，在所述读取(410)的步骤中，以565-格式读取构成所述输入数据信号(145)的图像(135)的每个像点，其中，在所述识别(420)的步骤中以所述565-格式处理所述像点。
6.根据权利要求1或2所述的方法(400)，其中，在所述读取(410)的步骤中，以RGB-格式或YCbCr读取所述输入数据信号(145)，其中，以每个颜色通道16比特或12比特的分辨率读取所述输入数据信号(145)。
7.根据权利要求1或2所述的方法(400)，其中，至少重复和/或周期性地重复所述读取(410)的步骤。
8.根据权利要求1或2所述的方法(400)，所述方法具有训练(415)所述神经网络(125)以便由所述输入数据信号(145)识别对象(107，117)的步骤，其中，所述训练(415)的步骤在使用所述摄像机调节参数(140)的情况下进行。
9.根据权利要求1或2所述的方法(400)，其中，在车辆(115)的计算单元(120)和/或位置固定的摄像机网络的中央计算单元中实施所述读取(410)的步骤。
10.根据权利要求1或2所述的方法(400)，其中，在所述识别(420)的步骤中识别人和/或车辆作为对象(107，117)。
11.一种用于对象识别的设备(100)，所述设备被设置用于在相应的单元中实施和/或控制根据以上权利要求中任一项所述的方法(400)的步骤。
12.一种机器可读的存储介质，在所述存储介质上存储有计算机程序，所述计算机程序被设置用于在相应的单元中实施和/或控制根据以上权利要求1至10中任一项所述的方法(400)的步骤(410，420)。
13.根据权利要求12所述的机器可读的存储介质，其中所述存储介质是非易失性存储介质。
CN201910103102.9A 2018-02-07 2019-02-01 用于对象识别的方法和设备 Active CN110121055B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018201909.6 2018-02-07
DE102018201909.6A DE102018201909A1 (de) 2018-02-07 2018-02-07 Verfahren und Vorrichtung zur Objekterkennung

Publications (2)

Publication Number Publication Date
CN110121055A CN110121055A (zh) 2019-08-13
CN110121055B true CN110121055B (zh) 2023-06-30

Family

ID=67308522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910103102.9A Active CN110121055B (zh) 2018-02-07 2019-02-01 用于对象识别的方法和设备

Country Status (3)

Country Link
US (1) US10735660B2 (zh)
CN (1) CN110121055B (zh)
DE (1) DE102018201909A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6942472B2 (ja) * 2017-01-13 2021-09-29 キヤノン株式会社 映像認識装置、映像認識方法及びプログラム
WO2023145599A1 (ja) * 2022-01-25 2023-08-03 株式会社Preferred Networks 画像処理装置、画像処理方法、画像処理プログラム及びロボット制御システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280376A (ja) * 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
DE102015207026A1 (de) * 2015-04-17 2016-10-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern eines Erfassungssystems zum Erfassen eines Umfelds eines Fahrzeugs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173682A (ja) * 2003-12-08 2005-06-30 Olympus Corp 対象識別装置、対象識別システム、対象識別方法および対象識別プログラム
DE102009055127A1 (de) * 2009-12-22 2011-06-30 Robert Bosch GmbH, 70469 Vorrichtung und Verfahren zum Überwachen von Videoobjekten
JP2011254311A (ja) * 2010-06-02 2011-12-15 Aisin Seiki Co Ltd 車両周辺画像処理装置
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
CN104252056B (zh) * 2014-09-18 2017-07-04 京东方科技集团股份有限公司 一种基板的检测方法及装置
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法
CN107346426B (zh) * 2017-07-10 2021-03-16 深圳市海清视讯科技有限公司 一种基于摄像机人脸识别的人脸信息收集方法
US10885712B2 (en) * 2017-07-12 2021-01-05 Nio Usa, Inc. Camera pose estimation method for augmented reality manual for cars

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280376A (ja) * 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
DE102015207026A1 (de) * 2015-04-17 2016-10-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern eines Erfassungssystems zum Erfassen eines Umfelds eines Fahrzeugs

Also Published As

Publication number Publication date
US10735660B2 (en) 2020-08-04
DE102018201909A1 (de) 2019-08-08
CN110121055A (zh) 2019-08-13
US20190246041A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
US11074470B2 (en) System and method for automatically improving gathering of data using a data gathering device
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
US9928708B2 (en) Real-time video analysis for security surveillance
EP3561727A1 (en) A device and a method for extracting dynamic information on a scene using a convolutional neural network
CN111582201A (zh) 一种基于几何注意力感知的车道线检测***
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
GB2550032A (en) Method for detecting contamination of an optical component of a surroundings sensor for recording the surrounding area of a vehicle, method for the machine
KR20180048407A (ko) 차선 검출 장치 및 방법
US10929715B2 (en) Semantic segmentation using driver attention information
US11436839B2 (en) Systems and methods of detecting moving obstacles
CN113396423A (zh) 处理来自基于事件的传感器的信息的方法
CN110121055B (zh) 用于对象识别的方法和设备
KR20200054367A (ko) 객체 검출 장치 및 그 방법
Alkhorshid et al. Road detection through supervised classification
CN112385208B (zh) 图像识别装置以及图像识别方法
US20200274997A1 (en) Automatic lighting and security device
JP7384158B2 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
KR20060121503A (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
US20210110218A1 (en) Environment sensing method and device, control method and device, and vehicle
US20160364604A1 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
Kanáliková et al. Parking system with image processing
KR102633340B1 (ko) 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치
EP4198817B1 (en) System, method, and computer program for retraining a pre-trained object classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant