CN115883985A - 图像处理***、移动体、图像处理方法和存储介质 - Google Patents

图像处理***、移动体、图像处理方法和存储介质 Download PDF

Info

Publication number
CN115883985A
CN115883985A CN202211168070.9A CN202211168070A CN115883985A CN 115883985 A CN115883985 A CN 115883985A CN 202211168070 A CN202211168070 A CN 202211168070A CN 115883985 A CN115883985 A CN 115883985A
Authority
CN
China
Prior art keywords
image
image recognition
unit
recognition result
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211168070.9A
Other languages
English (en)
Inventor
森真起子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN115883985A publication Critical patent/CN115883985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种图像处理***、移动体、图像处理方法和存储介质。所述图像处理***包括：多个摄像单元，其被配置为拍摄包括低失真区域和高失真区域的光学图像；第一图像识别单元，其被配置为对从所述摄像单元获得的图像数据中的至少部分区域进行图像识别，并输出第一图像识别结果；第二图像识别单元，其被配置为对从所述摄像单元中的至少一个摄像单元获得的图像数据中的比所述部分区域更宽的区域中的图像数据进行图像识别，并输出第二图像识别结果；以及整合处理单元，其被配置为输出基于所述第一图像识别结果和所述第二图像识别结果进行整合后的图像识别结果。

Description

图像处理***、移动体、图像处理方法和存储介质
技术领域
本发明涉及用于进行图像识别的图像处理***、移动体、图像处理方法和存储介质。
背景技术
近年来，已存在用电子后视镜替换运载工具中所装备的后视镜(观后镜)的需求。日本特开2010-95202公开了一种电子后视镜***，其包括适于将运载工具外部的后侧作为摄像范围进行摄像的摄像单元以及布置在运载工具内部的显示单元，并且使得驾驶员能够通过摄像单元所拍摄到的图像在运载工具内部的显示器上的显示来检查运载工具外部的后方状况。
另一方面，存在一种后侧检查***，其使得驾驶员能够在运载工具后退移动等时检查运载工具后方的盲角。日本特开2004-345554公开了一种后侧检查***，其包括被放置成对运载工具后方的一侧进行摄像的照相机，并且用于使得驾驶员能够通过拍摄图像在运载工具内部的显示来检查后退移动时的运载工具后方的盲角。
要求如上所述的适于拍摄电子后视镜所用的图像的摄像单元具有用于使得驾驶员能够更准确地检查离驾驶员相对较远的后方状况的高分辨率。另一方面，要求后侧检查***所用的照相机对更宽的范围进行摄像，以检查包括运载工具后方的盲角和后方横向侧的更宽范围中的安全性，从而避免后退移动时的碰撞。
因此，如果电子后视镜***和后侧检查***同时装备在运载工具中、并且电子后视镜***所用的照相机和后侧检查***所用的照相机是单独装备的，则运载工具内图像处理***变得复杂。在通过布置多个照相机以对运载工具周围的状况进行摄像来进行自动驾驶等的自动驾驶***中类似地发生这样的问题。
尽管可以通过采用使用诸如鱼眼镜头等的超广角镜头的照相机来减少要放置在运载工具中的照相机的数量以解决该问题，但仍难以在可以获得宽视角的同时获得具有高分辨率的图像。如果在使用鱼眼镜头的***中进行图像识别、并且在不进行任何失真校正的情况下执行图像识别，则存在图像的周边部中的识别准确度可能下降的可能性。
另一方面，如果在失真校正之后执行图像识别，则存在根据图像大小或分辨率、处理负荷可能变大并且可能需要长时间的可能性。此外，如果对多个照相机所拍摄的多个图像进行失真校正，则存在处理负荷可能变得更大的问题。
因此，本发明的一个目的是实现图像识别准确度和处理速度之间的平衡。
发明内容
根据本发明一方面的一种图像处理***，其包括：至少一个处理器或电路，其被配置为用作：多个摄像单元，其被配置为拍摄包括低失真区域和高失真区域的光学图像；第一图像识别单元，其被配置为对从所述摄像单元获得的图像数据中的至少部分区域进行图像识别，并输出第一图像识别结果；第二图像识别单元，其被配置为对从所述摄像单元中的至少一个摄像单元获得的图像数据中的比所述部分区域更宽的区域中的图像数据进行图像识别，并输出第二图像识别结果；以及整合处理单元，其被配置为输出基于所述第一图像识别结果和所述第二图像识别结果进行整合后的图像识别结果。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是用于说明根据第一实施例的运载工具1和照相机单元11至14之间的位置关系的图。
图2A和图2B是用于说明照相机单元11至14的光学特性的图。
图3是用于说明根据第一实施例的图像处理***100的结构的框图。
图4是用于说明照相机处理单元31至34的处理流程的流程图。
图5是用于说明整合处理单元40的处理流程的流程图。
图6是用于说明整合处理单元40的整合处理流程的流程图。
图7是用于说明根据第一实施例的图像显示方法的示例的流程图。
图8A至图8E是用于说明根据第一实施例的高分辨率区域、低分辨率区域和多个类型的显示区域的关系的图。
图9A是用于说明具有基准视角的图像的显示示例的图，图9B是用于说明具有窄视角的图像的显示示例的图，并且图9C是用于说明具有宽视角的图像的显示示例的图。
图10A是用于说明第一显示单元50的显示画面501的显示示例的图，并且图10B是用于说明第二显示单元51的显示画面511的显示示例的图。
图11A是用于说明后退移动时的具有窄视角的图像85B的示例的图，并且图11B是示出后退行驶所用的具有宽视角的图像86B的示例的图。
具体实施方式
在下文，参考附图，将使用实施例来说明本发明的有利模式。在各图中，将相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的说明。
[第一实施例]
在第一实施例中，将说明用于利用少量照相机来平衡电子后视镜所用的高清显示和用于检查诸如后侧等的运载工具周围的宽范围显示的改进了的方法。
图1是用于说明第一实施例中的运载工具1(例如，汽车)和照相机单元11至14之间的位置关系的图。运载工具1作为移动体操作，并且所有照相机单元11至14作为摄像装置操作。
在第一实施例中，如图1所示，照相机单元11、12、13和14分别安装在作为移动体的运载工具1的前侧、右侧、后侧和左侧。注意，尽管在第一实施例中图像处理***包括四个照相机单元，但图像处理***所具有的照相机单元的数量不限于四个。图像处理***可以是包括一个或多于一个照相机单元的任何图像处理***。
照相机单元11至14分别是为了将作为移动体的运载工具1的前方、右侧、左侧和后侧作为摄像范围进行摄像所安装的。照相机单元11至14中的每一个具有基本上类似的组件。例如，照相机单元11至14中的每一个包括用于拍摄光学图像的摄像装置和用于在摄像装置的受光面上生成光学图像的光学***。例如，照相机单元11至14中的每一个所具有的光学***被安装成使得其光轴基本上是水平的。
照相机单元11至14中的每一个所具有的光学***被配置为能够在光轴的周围以窄视角获得高清图像，并且以宽视角获得具有低分辨率的拍摄图像。注意，在图1中，11a至14a示出可以拍摄到高分辨率图像的摄像视角，而11b至14b示出可以拍摄到低分辨率图像的摄像视角。
接着，将参考图2A和图2B来说明照相机单元11至14所具有的光学***的光学特性。尽管照相机单元11至14所具有的光学***的光学特性可以不相同，但在第一实施例中假定照相机单元11至14所具有的光学***的光学特性基本上相同。因此，将在图2A和图2B中说明照相机单元11所具有的光学***的光学特性作为示例。
图2A是示出在照相机单元11所具有的光学***的摄像装置的受光面上的各半视角处的像高y作为等高线的图。图2B是表示投影特性的图，该投影特性表示照相机单元11所具有的光学***的像高y与半视角θ之间的关系。图2B是以如下方式示出的，其中半视角(由光轴和入射光束形成的角度)θ被示出为横轴，并且照相机单元11的传感器平面上(像面上)的成像高度(像高)y由纵轴限定。
照相机单元11所具有的光学***被配置成使得如图2B所示，投影特性y(θ)在小于预定半视角θa的区域中和在等于或大于半视角θa的区域中不同。因此，当像高y相对于每单位的半视角θ的增加量被定义为分辨率时，分辨率根据区域而不同。
也可以说，局部分辨率由投影特性y(θ)的半视角θ处的微分值dy(θ)/dθ表示。换句话说，可以说，图2B中的投影特性y(θ)的倾斜度越大，分辨率越高。此外，可以说，作为图2A中的等高线的各半视角处的像高y的间隔越大，分辨率越高。
在第一实施例中，当半视角θ小于预定半视角θa时在传感器平面上生成的中心附近的区域被称为高分辨率区域10a，并且半视角θ等于或大于预定半视角θa的外部附近的区域被称为低分辨率区域10b。注意，高分辨率区域10a中的视角与摄像视角11a相对应，而低分辨率区域10b中的视角与摄像视角11b相对应。
注意，在第一实施例中，高分辨率区域10a是失真量相对较小的低失真区域，而低分辨率区域10b是失真量相对较大的高失真区域。因此，在第一实施例中，高分辨率区域和低分辨率区域可以分别被称为低失真区域和高失真区域。
照相机单元11所具有的光学***被配置成使得高分辨率区域(低失真区域)10a中的投影特性y(θ)大于f×θ(f是照相机单元11所具有的光学***的焦距)。此外，高分辨率区域(低失真区域)中的投影特性y(θ)被设置为不同于低分辨率区域(高失真区域)中的投影特性。
当θmax被定义为照相机单元11的光学***所具有的最大半视角时，期望θa和θmax之间的比θa/θmax等于或大于预定下限值，并且例如，期望预定下限值为0.15至0.16。
此外，期望θa和θmax之间的比θa/θmax等于或小于预定上限值，并且例如为0.25至0.35。如果例如θa被设置为90°、预定下限值被设置为0.15、并且预定上限值被设置为0.35，则期望将θa确定在13.5°至31.5°的范围内。
此外，照相机单元11所具有的光学***被配置成使得其投影特性y(θ)也满足以下表达式：
Figure BDA0003862212140000061
这里，f是如上所述的照相机单元11所具有的光学***的焦距，并且A是预定常数。可以通过将下限值设置为1来获得比基于具有相同最大成像高度的正交投影方式(y＝f×sinθ)的鱼眼镜头的中心分辨率更高的中心分辨率，并且可以通过将上限值设置为A来在获得与鱼眼镜头的视角等同的视角的同时维持令人满意的光学性能。仅需要考虑到高分辨率区域和低分辨率区域中的分辨率之间的平衡来确定预定常数A，并且期望预定常数A为1.4至1.9。
通过如上所述配置光学***，可以在高分辨率区域10a中获得高分辨率，并且可以在低分辨率区域10b中减少像高y相对于每单位的半视角θ的增加量并对更宽的视角摄像。因此，可以在将与鱼眼镜头的宽视角等同的宽视角设置为摄像范围的同时在高分辨率区域10a中获得高分辨率。
在第一实施例中，在高分辨率区域(低失真区域)中设置作为正常摄像所用的光学***的投影特性的与中心投影方法(y＝f×tanθ)和等距投影方法(y＝f×θ)的特性接近的特性，并且由此可以获得低光学失真并由此获得高清显示。因此，可以获得在从视觉上识别诸如前方运载工具和跟随运载工具等的周围运载工具时的自然远近感，并且在抑制图像质量的劣化的同时获得令人满意的可视性。
注意，由于可以通过任何投影特性y(θ)获得类似的效果、只要该投影特性满足上述表达式1的条件即可，因此第一实施例不限于图2B所示的投影特性。注意，在第一实施例中，具有满足上述表达式1的条件的投影特性y(θ)的光学***可以被称为不同视角镜头。
注意，照相机单元11至14所具有的光学***的高分辨率区域10a的视角分别与摄像视角11a至14a相对应，并且照相机单元11至14所具有的光学***的低分辨率区域10b的视角分别与摄像视角11b至14b相对应。
接着，将参考图3来说明第一实施例中的图像处理***100的结构。图3是用于说明第一实施例中的图像处理***100的结构的框图。
在图3中，图像处理***100装备在运载工具1中。照相机单元11至14中的每一个包括摄像单元21至24中的任一个和照相机处理单元31至34中的任一个。摄像单元21至24中的每一个包括不同视角镜头21c至24c中的任一个和摄像装置21d至24d中的任一个。
摄像装置21d至24d例如包括CMOS图像传感器或CCD图像传感器。这里，摄像单元21至24中的每一个用作图像获取单元，并且从拍摄包括低失真区域和高失真区域的光学图像的摄像装置21d至24d中的任一个获取图像数据。
作为光学***的不同视角镜头21c至24c中的每一个由一个或多于一个光学透镜构成，具有满足上述表达式1的条件的投影特性y(θ)，并且在摄像装置21d至24d中的任一个的受光面上生成包括低失真区域和高失真区域的光学图像。摄像装置21d至24d中的每一个对光学图像进行光电转换并输出摄像数据。
在摄像装置21d至24d的各个受光面上针对各像素排列了例如RGB滤色器。RGB排列例如是拜耳排列。因此，摄像装置21d至24d中的每一个被配置成使得例如根据拜耳排列，从预定行连续输出R、G、R、G像素数据并且从下一行连续输出G、B、G、B像素数据。
照相机处理单元31至34中的每一个与摄像单元21至24中的任一个一起容纳在照相机单元11至14中的任一个的壳体中。照相机处理单元31至34中的每一个处理从摄像单元21至24中的任一个输出的摄像数据。
照相机处理单元31至34中的每一个包括图像处理单元31a至34a中的任一个、识别单元31b至34b中的任一个以及照相机信息单元31c至34c中的任一个。图像处理单元31a至34a分别对从摄像单元21至24输出的摄像数据进行图像处理。注意，照相机处理单元31的一部分或全部可以由摄像装置21d至24d内部的层叠信号处理单元来实现。
例如，图像处理单元31a至34a中的每一个对从摄像单元21-24中的任一个根据拜耳排列所输入的图像数据进行解拜耳处理，并将该图像数据转换成基于RGB光泽格式的图像数据。此外，图像处理单元31a至34a中的每一个可以进行白平衡调整、增益/偏移调整、伽马处理、颜色矩阵处理和无损压缩处理等。
识别单元31b至34b中的每一个根据由图像处理单元31a至34a中的任一个进行了图像处理之后的失真校正之前的图像数据来对预定对象(例如，汽车、人或障碍物等)进行图像识别。例如，识别单元31b至34b中的每一个在无需对与低分辨率区域相对应的图像数据进行失真校正的情况下在失真校正之前的图像数据的状态下对该图像数据进行图像识别，并输出第一图像识别结果。
注意，识别单元31b至34b中的每一个对至少从高分辨率区域10a获得的失真校正之前的图像数据进行图像识别处理，并且识别预定目标。因此，可以在仅提取高分辨率区域10a之后进行图像识别处理。
在这种情况下，识别单元31b至34b中的每一个还可以对从低分辨率区域10b获得的失真校正之前的图像数据进行图像识别处理。然而，由于尚未对失真校正之前的图像数据进行失真校正，因此不同视角镜头的周边部的图像具有大的失真，并且识别的可靠度下降。
注意，识别单元31b至34b中的每一个可以提取从高分辨率区域10a获得的失真校正之前的图像数据，并且仅对从高分辨率区域10a获得的失真校正之前的图像数据进行图像识别处理。在这种情况下，期望提取的区域具有矩形形状以供图像识别处理用。
如果提取的区域具有矩形形状，则提取区域可以仅是高分辨率区域10a内部的一部分(例如，内接在高分辨率区域10a中的矩形形状)，或者可以是包括高分辨率区域10a和低分辨率区域10b这两者的矩形。
这里，识别单元31b至34b用作第一图像识别单元，其中第一图像识别单元用于在由图像获取单元获取到的图像数据内的至少部分区域中的图像数据中进行图像识别，并输出第一图像识别结果。注意，在第一实施例中，部分区域是与低失真区域相对应的区域。
识别单元31b至34b中的每一个将对象的类型和坐标的集合作为识别结果发送到整合处理单元40。另一方面，识别单元31b至34b中的每一个从整合处理单元40的整合控制单元41c接收预测信息，该预测信息是对象的类型和与对象的移动方向有关的信息或优先识别区域信息的集合。后面将说明预测信息。
在第一实施例中，前侧安装的照相机单元11的识别单元31b的输出也被直接供给到行驶控制单元(ECU)60。这是因为可能存在如下的情况：需要基于由识别单元31b获得的识别障碍物等的结果来立即停止行驶，或者需要控制行驶以避开障碍物。
照相机信息单元31c至34c中的每一个将照相机单元11至14中的任一个的照相机信息预先保持在存储器(诸如ROM等)中。各照相机信息包括不同视角镜头21c至24c中的任一个的光学特性、摄像装置21d至24d中的任一个的像素数、伽马特性、感光度特性、帧频以及照相机单元的运载工具坐标中的附接坐标和姿势信息。
此外，各照相机信息可以包括与当由图像处理单元31a至34a中的任一个生成失真校正之前的图像数据时的图像处理方法和图像格式有关的信息。注意，附接坐标和姿势坐标是相对于运载工具1的相对坐标。此外，各照相机信息是摄像单元21至24中的任一个特有的信息且彼此不同，并且该信息被发送到整合处理单元40且在整合处理单元40进行图像处理时被参考。
注意，用作计算机的CPU和用作存储介质并存储计算机程序的存储器并入在照相机处理单元31至34中的每一个的内部。此外，各CPU被配置为通过执行存储器中的计算机程序来控制照相机处理单元31至34中的每一个中所包括的各组件。
注意，在第一实施例中，图像处理单元31a至34a和识别单元31b至34b例如使用诸如专用电路(ASIC)或处理器(可重构处理器、DSP、图形处理单元(GPU))等的硬件。因此，可以实现高分辨率区域中的图像识别的速度提高，并且提高可以避免事故的可能性。
整合处理单元40包括片上***(SOC)/现场可编程门阵列(FPGA)41、用作计算机的CPU 42和用作存储介质的存储器43。
CPU 42通过执行存储器43中所存储的计算机程序来对整个图像处理***100进行各种控制。注意，在第一实施例中，整合处理单元40容纳在与照相机单元所用的壳体分开的壳体中。
SOC/FPGA 41包括图像处理单元41a、识别单元41b和整合控制单元41c。图像处理单元41a从照相机处理单元31至34中的每一个获取失真校正之前的图像数据，并且从照相机信息单元31c至34c中的每一个获取照相机单元11至14中的每一个的照相机信息。
如上所述，各照相机信息包括不同视角镜头21c至24c的光学特性、摄像装置21d至24d的像素数、光电转换特性、γ特性、感光度特性、失真校正之前的图像数据的格式信息。此外，各照相机信息包括照相机单元的运载工具坐标中的附接坐标和姿势信息。
图像处理单元41a在从摄像单元21至24中的每一个的低分辨率区域10b获得的图像数据中进行失真校正。在第一实施例中，由于从高分辨率区域10a获得的图像数据基本上不包括失真，因此图像处理单元41a不进行失真校正。
然而，图像处理单元41a也可以对从高分辨率区域10a获得的图像数据进行简化的失真校正。图像处理单元41a将失真校正之后的摄像单元21至24中的每一个的低分辨率区域10b中的图像数据与高分辨率区域10a中的图像数据合成，使得这两者平滑地连接，并且由此生成针对摄像单元21至24中的每一个的整体图像。
注意，如果对低分辨率区域10b中的图像数据和从高分辨率区域10a获得的图像数据这两者进行失真校正，则可以直接对从图像处理单元31a至34a中的每一个获得的失真校正之前的图像数据进行失真校正。
识别单元41b对在至少对低分辨率区域进行失真校正之后的针对摄像单元21至24中的每一个的整体图像(包括图像的周边部)进行图像识别处理，并且在针对摄像单元21至24中的每一个的整体图像中对预定对象(例如，汽车、人或障碍物)进行图像识别。例如，识别单元41b至少对与低分辨率区域(高失真区域)相对应的图像数据进行失真校正，然后对该图像数据进行图像识别，并输出第二图像识别结果。
注意，如果要对整体图像(包括图像的周边部)进行图像识别处理，则识别单元41b可以参考识别单元31b至34b的识别结果(目标的类型和坐标)。这里，识别单元41b用作第二图像识别单元，该第二图像识别单元用于对由图像获取单元获取到的图像数据中的比由第一图像识别单元进行了图像识别的部分区域更宽的区域中的图像数据进行图像识别，并输出第二图像识别结果。
第二图像识别单元对与作为低失真区域的高分辨率区域10a和作为高失真区域的低分辨率区域10b相对应的图像数据进行图像识别，并输出第二图像识别结果。
图像处理单元41a可以合成多个摄像单元的图像、使得这些图像彼此连接并生成全景合成图像。在这种情况下，期望彼此连接的多个摄像单元的各个图像的摄像视角的至少一部分被设置为具有量等于或大于预定量的相互重叠区域。
识别单元41b可以对全景合成图像进行图像识别。以这种方式，例如，可以进行跨多个摄像单元的视角摄像的对象的图像识别。这是因为，可能存在如下的情况：尽管存在从来自摄像单元的各个整体图像不能知晓对象的整体图片的情况，但基本上整个对象出现在全景合成图像中并且可以在图像处理中进行图像识别。
例如，如果识别单元31b至34b的识别结果不同于识别单元41b的识别结果，则整合控制单元41c通过采用可靠度更高的识别结果来输出整合图像识别结果。
例如，可以将对象占据由识别单元31b至34b识别的图像的比例与相同对象占据由识别单元41b识别的图像的比例进行比较，并且具有更高比例的识别结果可以被判断并采用为具有更高的可靠度。
可替代地，在横跨高分辨率区域和低分辨率区域两者的对象的情况下，识别单元41b的识别结果可以被判断并采用为具有比识别单元31b至34b的识别结果更高的可靠度。
可替代地，如果由识别单元31b至34b识别的对象的位置在图像的周边部，则可以判断为可靠度低，并且识别单元41b的识别结果可以被判断并采用为具有更高的可靠度。
可替代地，识别单元41b可以在对低分辨率区域进行了失真校正的状态下仅对低分辨率区域进行图像识别，并且如果存在横跨低分辨率区域和高分辨率区域的对象，则可以对该目标进行图像识别。例如，在假定对于仅存在于高分辨率区域中的对象、由识别单元31b至34b进行的识别的可靠度更高的情况下，可以进行控制，使得识别单元41b不进行图像识别处理。
这里，整合控制单元41c用作整合处理单元，该整合处理单元用于输出基于第一图像识别结果的可靠度和第二图像识别结果的可靠度进行整合后的图像识别结果。
整合控制单元41c生成如下的图像数据，该图像数据用于将摄像单元21至24中的每一个的整体图像和全景合成图像等中的期望图像显示在第一显示单元50和第二显示单元51等上。此外，整合控制单元41c生成用于以强调的方式显示所识别的对象的框、与目标的类型、大小、位置和速度等有关的信息和警报等所用的CG。
此外，进行用于将这样的CG和文本叠加在图像上的显示处理等。如果例如运载工具1是警用运载工具，则可以识别其他运载工具的车牌和驾驶员的面部图像，经由网络访问警用服务器等进行查询，并将运载工具的所有者和驾驶员的姓名显示在第一显示单元50和第二显示单元51等上。这里，第一显示单元50和第二显示单元51中的至少一个显示图像数据并显示整合后的图像识别结果。
在第一实施例中，整合控制单元41c被配置为在多个照相机单元之间共享与所识别的对象有关的信息。例如，假定由照相机单元14识别的对象已被识别为在照相机单元11的视角的方向上移动。在这种情况下，整合控制单元41c将对象的类型以及包括与对象的移动方向有关的信息或优先识别区域信息的预测信息发送到照相机单元11的识别单元31b。
照相机单元11的识别单元31b参考从整合控制单元41c接收到的预测信息来进行识别操作。如果例如从整合控制单元41c接收到的预测信息是与目标的移动方向有关的信息，则基于该信息来预测对象将出现在照相机单元11的视角中的哪个位置。
整合控制单元41c可以将优先识别区域信息作为预测信息进行发送。例如，优先识别区域信息包括对象将出现在照相机单元11的摄像视角中的哪个区域以及对象将何时出现。如果接收到优先识别区域信息作为预测信息，则照相机单元11的识别单元31b预测到在预测的定时对象将出现在优先识别区域中的可能性高，然后进行图像识别。
整合控制单元41c根据基于CAN、FlexRay或以太网等的通信协议来与行驶控制单元(ECU)60等进行通信。整合控制单元41c由此基于来自行驶控制单元(ECU)60等的运载工具控制信号来进行适当地改变要显示的信息的显示处理。例如，整合控制单元41c根据通过运载工具控制信号获取到的运载工具1的移动状态来改变要显示在显示单元上的图像的范围。
注意，行驶控制单元(ECU)60是装备在运载工具1中、并且包含用于全面进行运载工具1的驾驶控制和方向控制等的计算机和存储器的单元。例如将与运载工具1的行驶(移动状态)有关的信息(诸如行驶速度、行驶方向、换挡杆、换挡、方向指示器状态、以及由地磁传感器等获得的运载工具1的朝向)作为运载工具控制信号从行驶控制单元(ECU)60输入到整合处理单元40。
相反，整合控制单元41c将诸如由识别单元41b识别的预定对象(障碍物等)的类型、位置、移动方向和移动速度等的信息发送到行驶控制单元(ECU)60。因此，行驶控制单元(ECU)60进行避开障碍物所需的控制，诸如运载工具1的停止或驾驶或者行驶方向的改变等。这里，行驶控制单元(ECU)60用作用于基于整合后的图像识别结果来控制运载工具1的移动的移动控制单元。
例如，第一显示单元50以显示画面面向运载工具1的后侧的状态安装在运载工具1的驾驶员座椅的前方上部在运载工具宽度方向上的中央附近，并且用作电子后视镜。注意，当使用半反射镜等并且第一显示单元50不用作显示器时，可以采用第一显示单元50可以用作反射镜的配置。例如，第一显示单元50可以包括触摸面板或操作按钮，并且被配置为能够获取来自用户的指示并将该指示输出到整合控制单元41c。
例如，第二显示单元51安装在运载工具1的驾驶员座椅的前侧在运载工具宽度方向上的中央附近的操作面板的周围。注意，在作为移动体的运载工具1中装备有导航***和音频***等。
另外，例如，还可以在第二显示单元上显示来自导航***、音频***和行驶控制单元(ECU)60的各种控制信号等。例如，第二显示单元包括触摸面板或操作按钮，并且被配置为能够获取来自用户的指示。
在第一实施例中，第一显示单元50和第二显示单元51包括液晶显示器或有机EL显示器作为显示面板。注意，在第一实施例中，显示单元的数量不限于两个。可以使用一个显示单元，或者可以使用三个或多于三个显示单元。
在第一实施例中，整合处理单元40中所包括的组件的一些或全部可以通过硬件来实现，或者可以通过使CPU 42执行存储器43中所存储的计算机程序来实现。作为硬件，可以使用专用电路(ASIC)或处理器(可重构处理器、DSP)等。
在第一实施例中，由图像处理单元31a至34a进行的图像处理的一部分或全部可以由整合处理单元40的图像处理单元41a进行。在第一实施例中，例如，图像获取单元和第一图像识别单元容纳在同一照相机单元的壳体中，并且照相机单元和第二图像识别单元容纳在不同的壳体中。
尽管在第一实施例中整合处理单元40装备在作为移动体的运载工具1中，但例如整合处理单元40中的图像处理单元41a、识别单元41b和整合控制单元41c的处理的一部分可以经由网络由外部服务器等进行。
在这种情况下，例如尽管作为图像获取单元的摄像单元21至24装备在运载工具1中，但例如照相机处理单元31至34和整合处理单元40的功能的一些可以由诸如外部服务器等的外部装置处理。
记录单元61将由整合处理单元40生成的摄像单元21至24中的每一个的整体图像以及全景合成图像记录在记录介质中。此外，记录单元61将用于表示所识别的目标的预定框、文本和警报等的CG以及第一显示单元50和第二显示单元51等上所显示的叠加有CG的图像连同时钟时间、GPS和信息等一起记录。
整合处理单元40还可以再现记录单元61中所记录的过去信息，并将该过去信息显示在第一显示单元50和第二显示单元51上。
通信单元62用于经由网络与外部服务器等进行通信，并且可以将记录在记录单元61中之前的信息和记录单元61中所记录的过去信息发送到外部服务器等，并将这两者保存在外部服务器等中。
相反，也可以从外部服务器等获取拥堵信息和各种信息，并将该信息经由整合处理单元40显示在第一显示单元50和第二显示单元51上。
如上所述，在失真校正之前的图像数据的状态下对高分辨率区域10a进行图像识别处理。这使得能够进行快速识别，并且可以通过在失真校正之后进行图像识别处理来提高从低分辨率区域10b获得的失真校正之前的图像数据的识别准确度。
此外，由于摄像装置的识别单元在失真校正之前的图像数据的状态下通过使用硬件对高分辨率区域10a进行图像识别处理，因此在第一实施例中可以更快速地进行高分辨率区域10a的图像识别。
注意，由识别单元31b至34b进行的图像识别处理的一部分或全部可以由整合处理单元40的识别单元41b进行。然而，在这种情况下，识别单元41b可以通过在失真校正之前的图像数据的状态下对高分辨率区域10a进行图像识别处理来在短时间内快速获得图像识别结果。另一方面，在失真校正之后对从低分辨率区域10b获得的失真校正之前的图像数据进行图像识别处理。
注意，可以使用机器学习来进行由识别单元31b至34b或识别单元41b进行的图像处理。作为使用机器学习的识别方法，可以使用任何识别方法，只要该识别方法使用对象检测算法即可。
例如，可以使用You Only Look Once(YOLO)、基于区域的卷积神经网络(R-CNN)、快速R-CNN、更快的R-CNN或单激发多盒检测器(SSD)等。注意，通过使用机器学习，即使在一定程度上原样使用失真图像，也可以提高图像识别率。
图4是用于说明第一实施例中的照相机处理单元的处理流程的流程图。图4中的处理流程例如通过照相机处理单元31至34内的CPU执行存储器中的计算机程序，由硬件结合CPU和GPU等以帧为单位进行控制。
一旦图像处理***100接通，硬件就被重置，并且流程开始。之后，每次输入正交同步信号时，都执行图4中的流程，并且在步骤S41(摄像步骤或获取步骤)中，照相机处理单元31至34分别通过使用摄像单元21至24来获取拍摄图像。
在步骤S42中，照相机处理单元31至34内的图像处理单元31a至34a进行诸如解拜耳处理和白平衡调整等的图像处理，并且生成失真校正之前的图像数据。
在步骤S43(第一图像识别步骤)中，识别单元31b至34b基于失真校正之前的图像数据从至少高分辨率区域10a进行预定对象的图像识别。在步骤S43中，对步骤S41中获取到的图像数据内的包括低失真区域的至少部分区域中的图像数据进行图像识别，并且输出第一图像识别结果。
注意，识别单元31b至34b可以如上所述仅从高分辨率区域10a对预定对象进行图像识别，或者也可以对周围的低分辨率区域10b中的图像进行图像识别。
在步骤S44中，将图像识别之后的对象的类型和坐标(或目标的区域的信息)作为集合发送到整合处理单元40。
图5是用于说明第一实施例中的由整合处理单元40进行的处理流程的流程图。图5中的处理流程通过整合处理单元40的CPU 42执行存储器43中的计算机程序来控制。
在步骤S51中，整合处理单元40获取照相机处理单元31至34的照相机信息单元31c至34c中的每一个的照相机信息。
在步骤S52中，基于照相机信息中的光学特性和摄像装置的像素数等来计算失真校正参数。注意，代替计算失真校正参数，可以预先准备坐标转换表，并且可以使用坐标转换表来进行失真校正。
此外，可以在失真校正时进行插值。此外，在步骤S52中，还基于照相机信息中的各照相机单元的运载工具坐标中的附接坐标和姿势信息来计算用于合成来自多个照相机单元的图像的合成参数。
在步骤S53中，将步骤S52中计算出的失真校正参数以及合成参数设置在整合处理单元40内部的图像处理单元41a中。
在步骤S54中，计算用于定位失真校正之后的低分辨率区域的坐标和未被进行失真校正的高分辨率区域的坐标的坐标转换表达式。此外，计算用于定位在合成来自多个照相机单元的图像时的坐标的坐标转换表达式，并且将这些坐标转换表达式设置在整合控制单元41c中。另外，可以在这些坐标转换表达式中进行插值。
在步骤S55中，基于照相机信息中的摄像装置的感光度特性和伽马特性等生成图像处理参数。此时，可以生成图像处理参数，使得通过统计地处理失真校正之前的图像数据来提高图像识别率。
在步骤S56中，将在步骤S55中生成的图像处理参数设置在整合处理单元40内部的图像处理单元41a中。
图6是用于说明第一实施例中的由整合处理单元40进行的整合处理流程的流程图。图6中的处理流程例如通过整合处理单元40的CPU 42执行存储器43中的计算机程序，由硬件结合CPU和GPU等以帧为单位进行控制。
在步骤S61中，整合处理单元40通过使用照相机处理单元31至34来获取失真校正之前的图像数据。
在步骤S62中，整合处理单元40的图像处理单元41a对失真校正之前的图像数据进行图像处理，进行失真校正，并且还合成来自多个照相机单元的图像。作为此时的失真校正参数和合成参数，使用步骤S53中设置的参数。注意，步骤S62用作用于合成由多个照相机单元拍摄到的多个图像数据的合成步骤。
在步骤S63(第二图像识别步骤)中，整合处理单元40的识别单元41b对失真校正之后的低分辨率区域(高失真区域)中的图像数据以及其他图像数据进行图像识别。在第二图像识别步骤中，对作为获取步骤的步骤S41中获取到的图像数据内的比在第一图像识别步骤中在步骤S43中进行识别的部分区域更宽的区域中的图像数据进行图像识别。
此外，还通过对通过合成来自多个照相机单元的图像数据所获得的合成图像进行图像识别，对横跨从多个照相机单元获得的多个图像数据的对象进行图像识别。此外，还对跨多个照相机单元移动的对象进行图像识别。
在步骤S64中，整合处理单元40的识别单元41b获取由照相机处理单元31至34的识别单元31b至34b对失真校正之前的各图像数据进行的图像识别的结果(所识别的对象及其坐标)。注意，步骤S64和S65与步骤S61至S63并行进行。
在步骤S65中，将由照相机处理单元31至34的识别单元31b至34b识别的对象的坐标转换成失真校正之后的坐标。
在步骤S66(整合处理步骤)中，将照相机处理单元31至34的识别单元31b至34b的图像识别结果与整合处理单元40的识别单元41b的图像识别结果彼此进行比较，并且生成最终识别结果。
此时，如上所述，基于各个图像识别结果的可靠度来生成最终识别结果。如果例如识别单元31b至34b的识别结果不同于识别单元41b的识别结果，则采用具有更高可靠度的识别结果。
在步骤S67中，生成用于以强调的方式显示图像识别之后的对象的框，并且将该框叠加在失真校正之后的图像上。
在步骤S68中，将图像以叠加有框的方式显示在第一显示单元50或第二显示单元51等上。此时，第一显示单元50或第二显示单元51等上所显示的图像的显示区域以及识别单元31b至34b和41b的识别区域根据运载工具1的移动状态而改变。后面将说明其细节。
在步骤S69中，生成相对于运载工具1的坐标的图像识别之后的对象的坐标。注意，步骤S69和S70与步骤S67和S68并行进行。
在步骤S70中，将步骤S69中生成的对象相对于运载工具1的坐标以及对象的类型发送到行驶控制单元(ECU)60。
在步骤S71中，如果存在照相机单元之间移动的对象，则预测该对象的移动方向和速度。例如，整合控制单元41c识别跨多个图像数据移动的对象并预测其运动。注意，步骤S71和S72与步骤S69和S70并行进行。
在步骤S72中，将对象的类型以及与移动方向等有关的信息或与优先识别区域有关的预测信息发送到相应的照相机单元。以这种方式，可以提高照相机单元侧的针对对象的图像识别的准确度。之后，图6中的流程图结束。
注意，图6中的流程图例如以帧为单位执行。此外，图6中的并行处理可以通过硬件处理并行处理的至少一个处理来实现。
图7是用于说明第一实施例中的图像显示方法的示例的流程图。图7说明图6中的步骤S68的细节，并且图7中的处理流程例如通过整合处理单元40的CPU 42执行存储器43中的计算机程序以帧为单位来控制。
图8A至图8E是用于说明第一实施例中的高分辨率区域、低分辨率区域和多个类型的显示区域的关系的图。图8A是用于说明照相机单元11、12和14的具有基准视角的显示区域82的示例的图，并且图8B是用于说明照相机单元11、12和14的具有窄视角的显示区域83的示例的图。
图8C是用于说明照相机单元11、12和14的具有宽视角的显示区域84的示例的图，并且图8D是用于说明照相机单元13后方的具有窄视角的显示区域85的示例的图。此外，图8E是用于说明照相机单元13后方的具有宽视角的显示区域86的示例的图。
在图8A至图8E中，附图标记81表示摄像装置的受光面，附图标记10a表示图2A所述的高分辨率区域(低失真区域)，并且附图标记10b表示低分辨率区域(高失真区域)。然而，在通常显示的图像中不显示上述的高分辨率区域(低失真区域)10a和低分辨率区域(高失真区域)10b之间的边界。
然而，上述边界可以根据需要以叠加的方式显示在图像上。在第一实施例中，由识别单元41b识别的区域例如是整个显示区域。此外，由识别单元31b至34b识别的区域例如具有内接在显示区域内的高分辨率区域10a中的矩形形状。如图8A至图8E所示，可以切换多个类型的显示区域，并且基于来自行驶控制单元(ECU)60的运载工具控制信息来切换这些显示区域。
在图7的步骤S73中，CPU 42从行驶控制单元(ECU)60获取运载工具控制信息。如上所述，运载工具控制信息例如包括与运载工具1的行驶有关的信息，诸如行驶速度、行驶方向、换挡杆、换挡和方向指示器等。
在步骤S74中，CPU 42基于运载工具控制信息来判断运载工具1是否处于前进行驶状态。如果判断为运载工具1处于前进行驶状态(步骤S74中为“是”)，则CPU 42进入步骤S75。如果判断为运载工具1不是处于前进行驶状态(步骤S74中为“否”)，则CPU 42进入步骤S80。
在步骤S75中，CPU 42判断路线是否正在改变。如果判断为路线正在改变(步骤S75中为“是”)，则CPU 42进入步骤S76。如果判断为路线没有改变(步骤S75中为“否”)，则CPU42进入步骤S79。
在步骤S76中，CPU 42判断前进行驶速度是否大于预定阈值V1。如果判断为前进行驶速度大于预定阈值V1(步骤S76中为“是”)，则CPU 42进入步骤S78。如果判断为前进行驶速度不大于预定阈值V1(步骤S76中为“否”)，则CPU 42进入步骤S77。
在步骤S77，CPU 42使第一显示单元50显示具有基准视角的图像。例如，CPU 42使第一显示单元50显示图8A中的具有基准视角的显示区域82中的图像。
图9A、图9B和图9C是用于说明第一显示单元50的显示示例的图。图9A是用于说明具有基准视角的图像的显示示例的图，图9B是用于说明具有窄视角的图像的显示示例的图，并且图9C是用于说明具有宽视角的图像的显示示例的图。
在图9A中，附图标记501表示第一显示单元50的显示画面。附图标记82R表示左侧的照相机单元14的具有基准视角的图像，附图标记82C表示正面的照相机单元11的具有基准视角的图像，并且附图标记82R表示右侧的照相机单元12的具有基准视角的图像。
如果例如在第一显示单元50上显示图8A中的具有基准视角的显示区域82中的图像，则例如如图9A那样显示图像。例如，左侧的照相机单元14的具有基准视角的图像82L、正面的照相机单元11的具有基准视角的图像82C和右侧的照相机单元12的具有基准视角的图像82R从左侧起按该顺序排列，并且显示在第一显示单元50的显示画面501上。
图10A是用于说明第一实施例中的第一显示单元50的显示画面501的显示示例的图。图10B是用于说明第一实施例中的第二显示单元51的显示画面511的显示示例的图。
如图10A所示，如果在步骤S76中判断为前进行驶速度不大于预定阈值V1，则将具有基准视角的图像82L、82C和82R排列并显示在第一显示单元50的显示画面501上。
注意，在图10A中，附图标记82B是后侧所用的照相机单元13的具有基准视角的图像，并且被作为画中画显示在第一显示单元50的显示画面501上。在第一实施例中，如果在步骤S76中判断为前进行驶速度不大于预定阈值V1，则将照相机单元13的具有基准视角的图像82B显示在第一显示单元50上。
在步骤S78中，CPU 42使第一显示单元50显示图8B所示的具有窄视角的显示区域83中的图像。与显示区域82相比，显示区域83在上侧更宽并且在左右方向上的宽度更窄。此外，左侧的照相机单元14的具有窄视角的图像83L、正面的照相机单元11的具有窄视角的图像83C以及右侧的照相机单元12的具有窄视角的图像83R以如图9B那样排列的方式显示。
由于以这种方式如果前进行驶速度大于预定阈值V1(例如，60km)则视野变窄，因此如果进行如图9B那样的显示，则可以容易且快速地查看所需的信息。
在步骤S79中，CPU 42使第一显示单元50显示图8C所示的具有宽视角的显示区域84中的图像。与显示区域82相比，显示区域84在左右方向上的宽度更宽，并且在下方向上被加宽。如图9C所示，例如，左侧的照相机单元14的具有宽视角的图像84L、正面的照相机单元11的具有宽视角的图像84C和右侧的照相机单元12的具有宽视角的图像84R排列并显示在第一显示单元50的显示画面501上。
此外，例如，如果路线正向左侧改变，则以图9C中的排列方式显示的三个图像可以以相对于显示画面501的中心向左偏离的方式显示。相反，如果路线正向右侧改变，则以图9C中的排列方式显示的三个图像可以以相对于显示画面501的中心向右偏离的方式显示。
这种显示可以提高可视性。由于在路线正在改变时显示具有宽视角的图像，因此可以更容易地查看周围的安全性。此外，由于显示视角在下侧变宽的图像，因此可以更容易地查看道路上的障碍物。
在步骤S80中，CPU 42判断后退行驶速度是否大于预定速度V2(例如，10km)。如果判断为后退行驶速度大于预定速度V2(步骤S80中为“是”)，则CPU 42进入步骤S82。如果判断为后退行驶速度不大于预定速度V2(步骤S80中为“否”)，则CPU 42进入步骤S81。
在步骤S81中，CPU 42使第二显示单元51的显示画面511如图10B那样显示在后退行驶所用的上下方向上具有窄视角的显示区域85中的图像(如图8D所示的图像)。图10B示出当运载工具1后退移动时在第二显示单元51的显示画面511上显示的画面的示例，并且例如以叠加的方式显示用于将运载工具1引导到停车场的引导512。
图11A是用于说明在后退移动时的上下方向上具有窄视角的图像85B的示例的图，并且将如图11A那样在上下方向上具有窄视角的图像85B显示在第二显示单元51的显示画面511上。
在步骤S82中，CPU 42使第二显示单元51的显示画面511如图11B那样显示后退行驶所用的上下方向上具有宽视角的图像86B(诸如图8E所示的图像等)。这里，图11B是示出第一实施例中的后退行驶所用的具有宽视角的图像86B的示例的图。
如图8E所示，后退行驶所用的具有宽视角的显示区域86与后退行驶所用的具有窄视角的显示区域85相比具有在上下方向上加宽的视角。这是为了在后退行驶速度大于预定速度V2的情况下通过进一步的后退显示来容易地查看障碍物。
注意，尽管在第一实施例中后退行驶所用的具有宽视角的显示区域86的左右宽度与后退行驶所用的具有窄视角的显示区域85的左右宽度相同，但显示区域86的左右宽度可以比显示区域85的左右宽度窄。
以这种方式，在本实施例中，如上所述，高分辨率区域(低失真区域)10a被配置为具有近似于正常摄像所用的光学***的中心投影方法(y＝f×tanθ)或等距投影方法(y＝f×θ)的投影特性。
因此，第一显示单元50上显示的例如电子后视镜所用的图像与低分辨率区域(高失真区域)10b相比具有更高的分辨率，并且可以以更高的清晰度显示运载工具1的正面、横向侧和后侧上的更多地点。
此外，由于高分辨率区域10a包括小的光学失真，因此也可以将第一显示单元50上所显示的电子后视镜所用的图像以存在小失真的状态显示，并且驾驶员可以以更自然的远近感查看运载工具1的周围。
此外，由于在失真校正之前的图像数据的状态下对高分辨率区域10a进行图像识别，因此可以将在对周围运载工具的车牌、人和障碍物等进行图像识别时的图像识别定时设置得更早，并且提高图像识别准确度。
由于第一实施例中的高分辨率区域10a被配置为包括小的光学失真、并且可以在失真校正之前的图像数据的状态下进行图像识别，因此可以减少图像识别的处理负荷并以高速进行图像识别。因此，可以基于图像识别结果在早期阶段发现障碍物，并且及时进行用于避开障碍物的操作。
如果以这种方式使用第一实施例中的配置，则可以在例如沿高速公路高速行驶时获得巨大效果。注意，尽管在第一实施例中描述了使用多个照相机单元的示例，但该配置在仅包括一个照相机单元的***中也是有效的。
如上所述，在第一实施例中，利用少量照相机同时获取到电子后视镜所用的高清显示和用于检查运载工具的诸如后侧等的周围的宽范围显示，并且根据运载工具控制状态来改变要输出的图像的提取区域。此外，基于运载工具1的行驶速度信息(包括运载工具1的移动状态)来改变显示视角。因此，驾驶员可以根据运载工具控制状态来容易地检查更重要的范围。
此外，通过根据运载工具1的移动状态改变提取区域，来改变图像识别区域。例如，通过根据运载工具1的移动状态改变提取区域，来改变要在显示单元上显示的图像的显示区域以及第一图像识别单元和第二图像识别单元的识别区域，因此可以以较少的浪费进行高效的图像识别。注意，显示区域和识别区域可以不相同。
注意，在第一实施例中，不仅可以改变提取区域，而且可以改变分辨率。例如，在高速行驶时，显示视角可能变窄，并且周围视角的分辨率可能降低。
尽管在第一实施例中说明了将速度信息用作运载工具控制状态的情况作为示例，但例如可以从摄像单元21至24或其他传感器获取运载工具的周围中的障碍物信息，并且可以基于障碍物信息来改变显示区域。
注意，在第一实施例中说明了图像处理***装备在诸如运载工具1等的移动体中的示例。然而，第一实施例中的移动体不限于诸如汽车等的运载工具，并且可以是诸如火车、船舶、飞行器、机器人或无人机等的任何移动体，只要该移动体移动即可。
此外，第一实施例中的图像处理***包括装备在这种移动体中的任何图像处理***。另外，还可以将第一实施例应用于远程控制移动体的情况。
注意，在第一实施例中说明了将摄像单元21至24用作图像获取单元的示例。然而，图像获取单元可以是任何图像获取单元，只要该图像获取单元获取由拍摄包括低失真区域和高失真区域的光学图像的摄像装置所生成的图像数据即可，并且例如可以是经由网络获取如上所述的图像数据的图像获取单元。可替代地，图像获取单元可以通过再现记录介质中所记录的如上所述的图像数据来获取该图像数据。
[第二实施例]
可以使用程序来实现以上在第一实施例中所述的各种功能、处理和方法中的至少一个。在下文，在第二实施例中，用于实现以上在第一实施例中所述的各种功能、处理和方法中的至少一个的程序将被称为“程序X”。
此外，在第二实施例中，用于执行程序X的计算机将被称为“计算机Y”。个人计算机、微计算机或中央处理单元(CPU)等是计算机Y的示例。诸如上述实施例中的图像处理***等的计算机也是计算机Y的示例。
以上在第一实施例中所述的各种功能、处理和方法中的至少一个可以通过计算机Y执行程序X来实现。在这种情况下，程序X经由计算机可读存储介质被供给到计算机Y。
第二实施例中的计算机可读存储介质包括硬盘装置、磁存储装置、光存储装置、光磁存储装置、存储卡、ROM和RAM等中的至少一个。此外，第二实施例中的计算机可读存储介质是非暂时性存储介质。
尽管已经参考典型实施例说明了本发明，但应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的说明，以包含所有这类修改、等同结构和功能。
本申请要求2021年9月24日提交的日本专利申请2021-155833的权益，其全部内容通过引用而被包含于此。

Claims (20)

1.一种图像处理***，包括：
至少一个处理器或电路，其被配置为用作：
多个摄像单元，其被配置为拍摄包括低失真区域和高失真区域的光学图像；
第一图像识别单元，其被配置为对从所述摄像单元获得的图像数据中的至少部分区域进行图像识别，并输出第一图像识别结果；
第二图像识别单元，其被配置为对从所述摄像单元中的至少一个摄像单元获得的图像数据中的比所述部分区域更宽的区域中的图像数据进行图像识别，并输出第二图像识别结果；以及
整合处理单元，其被配置为输出基于所述第一图像识别结果和所述第二图像识别结果进行整合后的图像识别结果。
2.根据权利要求1所述的图像处理***，还包括：
至少一个处理器或电路，其被配置为用作：
合成单元，其被配置为合成所述摄像单元摄像得到的多个图像数据，
其中，所述第二图像识别单元基于所述合成单元合成后的图像数据来识别横跨所述多个图像数据的对象。
3.根据权利要求1所述的图像处理***，其中，所述整合处理单元预测移动目标的运动。
4.根据权利要求1所述的图像处理***，其中，所述部分区域是与所述低失真区域相对应的区域。
5.根据权利要求1所述的图像处理***，其中，所述第二图像识别单元对与所述低失真区域和所述高失真区域相对应的图像数据进行图像识别，并输出所述第二图像识别结果。
6.根据权利要求1所述的图像处理***，其中，所述摄像单元包括：
光学***，用于形成所述光学图像；以及
摄像装置，用于拍摄所述光学***所生成的光学图像。
7.根据权利要求6所述的图像处理***，其中，所述摄像单元和所述第一图像识别单元容纳在同一照相机单元的壳体中。
8.根据权利要求7所述的图像处理***，其中，所述照相机单元和所述第二图像识别单元容纳在单独的壳体中。
9.根据权利要求1所述的图像处理***，其中，所述第一图像识别单元在不进行失真校正的情况下对与所述低失真区域相对应的图像数据进行图像识别，并输出所述第一图像识别结果。
10.根据权利要求1所述的图像处理***，其中，所述第一图像识别单元在失真校正之前的状态下对与所述低失真区域相对应的图像数据进行图像识别，并输出所述第一图像识别结果。
11.根据权利要求1所述的图像处理***，其中，所述第二图像识别单元在对所述高失真区域进行失真校正之后的状态下对与所述高失真区域相对应的图像数据进行图像识别，并输出所述第二图像识别结果。
12.根据权利要求1所述的图像处理***，其中，所述整合处理单元输出基于所述第一图像识别结果的可靠度和所述第二图像识别结果的可靠度进行整合后的图像识别结果。
13.根据权利要求1所述的图像处理***，其中，所述至少一个处理器或电路被配置为还用作：
显示单元，其被配置为显示所述摄像单元所拍摄到的图像数据以及整合后的图像识别结果。
14.根据权利要求13所述的图像处理***，
其中，所述摄像单元装备在移动体中，以及
所述整合处理单元根据所述移动体的移动状态来改变所述显示单元上所要显示的图像的显示区域以及所述第一图像识别单元和所述第二图像识别单元所识别的识别区域。
15.根据权利要求6所述的图像处理***，
其中，在所述光学***的焦距被定义为f、半视角被定义为θ、像平上的像高被定义为y、并且表示像高y和半视角θ之间的关系的投影特性被定义为y(θ)的情况下，所述低失真区域中的y(θ)大于f×θ且不同于所述高失真区域中的投影特性。
16.根据权利要求15所述的图像处理***，其中，所述低失真区域被配置为具有近似于中心投影方法或等距投影方法的投影特性。
17.根据权利要求15所述的图像处理***，
其中，在θmax被定义为所述光学***所具有的最大半视角并且A被定义为预定常数的情况下，所述图像处理***被配置为满足下式：
Figure FDA0003862212130000031
18.一种移动体，其由图像处理***控制，所述图像处理***包括：
至少一个处理器或电路，其被配置为用作：
多个摄像单元，其被配置为拍摄包括低失真区域和高失真区域的光学图像；
第一图像识别单元，其被配置为对从所述摄像单元获得的图像数据中的至少部分区域进行图像识别，并输出第一图像识别结果；
第二图像识别单元，其被配置为对从所述摄像单元中的至少一个摄像单元获得的图像数据中的比所述部分区域更宽的区域中的图像数据进行图像识别，并输出第二图像识别结果；以及
整合处理单元，其被配置为输出基于所述第一图像识别结果和所述第二图像识别结果进行整合后的图像识别结果，
其中，所述移动体包括：所述移动体中所装备的所述图像处理***的所述摄像单元，以及
所述移动体还包括：移动控制单元，其被配置为基于整合后的图像识别结果来控制所述移动体的移动。
19.一种图像处理方法，包括以下步骤：
利用多个摄像单元拍摄包括低失真区域和高失真区域的光学图像；
进行用于识别所述拍摄中获得的图像数据内的至少部分区域中的图像数据、并输出第一图像识别结果的第一图像识别；
进行用于识别所述拍摄中获得的图像数据中的比所述部分区域更宽的区域中的图像数据、并输出第二图像识别结果的第二图像识别；以及
进行用于输出基于所述第一图像识别结果和所述第二图像识别结果进行整合后的图像识别结果的整合处理。
20.一种非暂时性计算机可读存储介质，其被配置为存储计算机程序，所述计算机程序包括用于执行以下处理的指令：
利用多个摄像单元拍摄包括低失真区域和高失真区域的光学图像；
进行用于识别所述拍摄中获得的图像数据内的至少部分区域中的图像数据、并输出第一图像识别结果的第一图像识别；
进行用于识别所述拍摄中获得的图像数据中的比所述部分区域更宽的区域中的图像数据、并输出第二图像识别结果的第二图像识别；以及
进行用于输出基于所述第一图像识别结果和所述第二图像识别结果进行整合后的图像识别结果的整合处理。
CN202211168070.9A 2021-09-24 2022-09-23 图像处理***、移动体、图像处理方法和存储介质 Pending CN115883985A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021155833A JP7500527B2 (ja) 2021-09-24 2021-09-24 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2021-155833 2021-09-24

Publications (1)

Publication Number Publication Date
CN115883985A true CN115883985A (zh) 2023-03-31

Family

ID=83271205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211168070.9A Pending CN115883985A (zh) 2021-09-24 2022-09-23 图像处理***、移动体、图像处理方法和存储介质

Country Status (4)

Country Link
US (1) US20230098424A1 (zh)
EP (1) EP4156127A1 (zh)
JP (1) JP7500527B2 (zh)
CN (1) CN115883985A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023178051A (ja) * 2022-06-03 2023-12-14 キヤノン株式会社 移動体、移動体の制御方法、及びコンピュータプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004345554A (ja) 2003-05-23 2004-12-09 Clarion Co Ltd 車両後方モニタ装置及び車両後方モニタシステム
JP4816431B2 (ja) 2006-12-04 2011-11-16 株式会社ニコン モニタリングシステム、ドライビングアシストシステム
JP2010095202A (ja) 2008-10-19 2010-04-30 Alpine Electronics Inc ルームミラー位置後視カメラ画像表示装置
JP4970516B2 (ja) 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP2012178639A (ja) 2011-02-25 2012-09-13 Fujitsu Ten Ltd 画像処理装置、駐車制御システム、及び、画像処理方法
JP2013012849A (ja) 2011-06-28 2013-01-17 Kyocera Corp 撮像システム
US9299260B2 (en) * 2011-09-29 2016-03-29 Toyota Jidosha Kabushiki Kaisha Image display device, and image display method
JP6630999B2 (ja) 2014-10-15 2020-01-15 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
WO2017122552A1 (ja) * 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
JP6819514B2 (ja) 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
CN110178369B (zh) 2017-12-19 2021-07-27 松下知识产权经营株式会社 摄像装置、摄像***以及显示***
JP2020187409A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 画像認識装置、固体撮像装置、および画像認識方法
JP7231888B2 (ja) 2020-03-30 2023-03-02 Ｊｆｅスチール株式会社 方向性電磁鋼板の製造方法

Also Published As

Publication number Publication date
JP7500527B2 (ja) 2024-06-17
US20230098424A1 (en) 2023-03-30
EP4156127A1 (en) 2023-03-29
JP2023046965A (ja) 2023-04-05

Similar Documents

Publication Publication Date Title
US7728879B2 (en) Image processor and visual field support device
KR20230058190A (ko) 촬상 장치 및 전자 기기
CN115866418A (zh) 图像处理***、移动体、图像处理方法和存储介质
CN115883985A (zh) 图像处理***、移动体、图像处理方法和存储介质
JP2024063155A (ja) 移動体、画像処理方法、およびコンピュータプログラム
US20240114253A1 (en) Movable apparatus and installation method for imaging device
US20230096414A1 (en) Camera unit installing method, moving device, image processing system, image processing method, and storage medium
EP4286223A1 (en) Movable apparatus, control method for movable apparatus, and storage medium
JP4747670B2 (ja) 画像処理装置
US12028603B2 (en) Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
EP4408006A1 (en) Image processing system, movable apparatus, image processing method, and storage medium
US20230100099A1 (en) Image processing system, image processing method, and storage medium
US20240259671A1 (en) Image processing system, movable apparatus, image processing method, and storage medium
US20240177492A1 (en) Image processing system, image processing method, and storage medium
EP4258653A1 (en) Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium
CN118413752A (zh) 图像处理***、可移动设备、图像处理方法和存储介质
US20240114252A1 (en) Movable apparatus and installation method for imaging device
JP2023047328A (ja) 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム
US20230007190A1 (en) Imaging apparatus and imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination