WO2022049880A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2022049880A1
WO2022049880A1 PCT/JP2021/024502 JP2021024502W WO2022049880A1 WO 2022049880 A1 WO2022049880 A1 WO 2022049880A1 JP 2021024502 W JP2021024502 W JP 2021024502W WO 2022049880 A1 WO2022049880 A1 WO 2022049880A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
range
unit
processing unit
Prior art date
Application number
PCT/JP2021/024502
Other languages
English (en)
French (fr)
Inventor
フェリペ ゴメズカバレロ
春樹 的野
健 永崎
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112021003430.8T priority Critical patent/DE112021003430T5/de
Publication of WO2022049880A1 publication Critical patent/WO2022049880A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to, for example, an in-vehicle image processing device for image-based obstacle detection and recognition in an environment near the own vehicle.
  • an object detection device using an image has been used to detect moving objects and obstacles in the vicinity.
  • the image-based object detection device described above can be used in surveillance systems that detect intrusions or anomalies, or in-vehicle systems that support safe driving of vehicles.
  • such devices display the surrounding environment to the driver and / or detect moving or static objects (obstacles) around the vehicle and have the potential for collisions between the vehicle and the obstacles. It is configured to notify the driver of certain risks and automatically stop the vehicle based on the decision system to avoid a collision between the vehicle and an obstacle.
  • obstacles moving or static objects
  • the apparatus disclosed in Patent Document 1 projects an image within a predetermined distance from a dump truck (working machine) among the acquired images onto a first projection plane parallel to the road surface to obtain a first bird's-eye view image.
  • Image composition that combines the scale change part that expands the display ratio of the area other than the area closer to the dump track than the obstacle in the second bird's-eye view image, and the first bird's-eye view image and the second bird's-eye view image after the display ratio is changed.
  • Patent Document 1 provides a camera image to the driver based on the road shape obtained from the map, not depending on the current conditions of the environment in which the vehicle is traveling and the relationship with the own vehicle. It only changes the orientation and posture of.
  • the provided image is used for object detection, it is difficult to pinpoint the location of the detected object without the use of an external distance measurement sensor, which can increase the complexity and cost of the system. There is.
  • the system is used in scenarios where near-distance detection needs to be supported, while at the same time vehicle speed changes and the current state of the road generate changes in the initially set sensor attitude parameters with the in-vehicle sensor and the road. If it affects the spatial relationship between the current state of the system, the system's hardware configuration must include a large amount of line memory to handle the image transformations that correspond to each sensor attitude change, and ultimately It affects the range and amount of data required to support a given near-distance detection range, increasing the overall cost of the system. On the other hand, if external changes (such as camera attitude changes) are not supported and dealt with correctly, object detection performance and distance calculation accuracy will deteriorate, producing incorrect object detection results and overall system confidence. May be less sexual.
  • An object of the present invention is that image processing (eg, affine conversion) can be performed separately by either one or two processing units, and at the same time, sensor attitude parameters calculated in real time based on the traverse environment, etc. External factors or data can be used to dynamically adjust the range and / or size of the image processed by each image processor, especially for scenarios that require proximity detection, such as intersection scenarios.
  • image processing device capable of reducing the amount of line memory used in the hardware configuration of the system while maintaining the accuracy of object detection and the accuracy of the calculated distance to the detected object. ..
  • the image processing apparatus has a first image processing unit that performs image processing on a first portion that is at least a part of an image captured by a camera, and the first portion is the image.
  • a second image processing unit that performs image processing on a second portion of the image that is different from the first portion, and an image range transmitted to the first image processing unit according to the camera attitude parameter.
  • a processing range allocation unit that determines the ratio of the image range transmitted to the second image processing unit.
  • the image processing device can reduce the amount of line memory used in the hardware configuration of the system and support scenarios that require near-distance detection.
  • This is a first image processing unit (which can be optimized to process a specific range of an image) and a second image processing unit (first image processing) based on the camera attitude parameters calculated by the camera attitude parameter calculation unit.
  • the amount of memory resources used for image processing purposes by dynamically adjusting (percentage) the image range processed by (which can be optimized to process a specific range of the image that is different from the range of the part). This is because can be dispersed. Therefore, even if the environmental conditions in which the device moves (runs) change, the accuracy of object detection and position determination performed by the obstacle detection unit can be maintained.
  • image processing is performed separately by either one or two processing units and calculated in real time based on the traverse environment, especially for intersection scenarios where near distance detection is required.
  • image processing is performed separately by either one or two processing units and calculated in real time based on the traverse environment, especially for intersection scenarios where near distance detection is required.
  • it is a diagram illustrating an image space acquired by a sensor and then calculated by the compositing unit based on the results of the image processing unit, and a difference calculated by the image calculating unit.
  • the image processing unit 110 has a configuration in which a CPU, RAM, ROM, etc. are connected via a bus, and the CPU executes various control programs stored in the ROM to operate the entire system. To control. Further, a part or all of the functions executed by the CPU (for example, the function of the first image processing unit among the image processing units described later) may be realized by an FPGA or the like.
  • two camera sensors (hereinafter, may be simply referred to as a camera or a sensor) are paired as a single in-vehicle stereo camera and correspond to the sensing unit 111. ..
  • this does not limit the devices used in other configurations in which a single monocular camera is used as the sensing unit 111.
  • FIG. 1 is a block diagram showing a configuration of an image processing device according to an embodiment of the present invention.
  • the image processing device 110 of the present embodiment is mounted on, for example, a vehicle (own vehicle), performs image processing (for example, affine conversion) on the surrounding image captured by the camera sensor (sensing unit 111), and temporally (for example, affine conversion). It is a device that detects and recognizes obstacles (surrounding objects reflected in images) using the differences between multiple processed images with different times.
  • the image processing device 110 includes a sensing unit 111 including two camera sensors located at the same height, an image acquisition unit 121, a camera attitude parameter calculation unit 131, a processing range allocation unit 141, and a first image processing unit 151. , A second image processing unit 152, a synthesis unit 161, an image calculation unit 171, an obstacle detection unit 181 and a control application processing unit 191.
  • the image acquisition unit 121 processes the image acquired by one or both camera sensors corresponding to the sensing unit 111 in order to adjust the image characteristics for further processing. This process includes, but is not limited to, image resolution adjustment that allows the input image to be reduced or enlarged to change the resulting image size, and identification of the input image from the original input image for further processing.
  • Image interest area selection may be included to crop (crop) the area of. The parameters used for image resolution adjustment and image interest area selection can be controlled based on the current operating environment and conditions (speed, turning speed, etc.).
  • the camera attitude parameter calculation unit 131 includes a camera pitch angle (horizontal axis rotation), a camera roll angle (vertical axis (front-back axis) rotation), and a camera.
  • a camera pitch angle horizontal axis rotation
  • a camera roll angle vertical axis (front-back axis) rotation
  • a camera has the ability to calculate any of all camera orientation parameters for flat ground, as defined by the yaw angle (vertical axis rotation) of.
  • This process includes, but is not limited to, external sensor information (vehicle suspension system, vehicle internal sensors that provide speed / turning speed / yaw rate, inertial measurement sensors, position) to obtain the desired parameters.
  • the "camera attitude parameter” refers to a set of values and parameters used to represent the position and orientation (direction) of the camera in a three-dimensional space with respect to a specific position or plane.
  • this parameter can include translational parameters X, Y, and Z that can be used to describe the position of the camera with respect to the road, as well as a rotational parameter pitch, which describes the orientation of the camera in three-dimensional space. Yaw and roll can be included.
  • the processing range allocation unit 141 is based on the camera posture parameter calculated by the camera posture parameter calculation unit 131 (for example, the camera posture parameter calculated while the vehicle equipped with the image processing device 110 is running (moving)). It has a function of dynamically calculating at least one range in the space of the image acquired and processed by the image acquisition unit 121.
  • the calculated range is not limited to this, but for example, the memory can be adjusted by adjusting the near range (range relatively close to the camera) and the range far (range relatively far from the camera).
  • Real-world distance ranges mapped to acquired images that distribute resources, and how they process an image or part of an image by a first image processing unit 151 and a second image processing unit 152. Can represent what is used for.
  • the following is an example of processing range allocation that adjusts the near-range and far-range ranges using the sensor's real-world distance and viewing angle.
  • the minimum visible distance of the system and the desired maximum visible distance are calculated based on the camera's vertical field of view (eg 20deg) and the default camera attitude parameters.
  • a range of real-world distances in space is set for the neighborhood distance range.
  • This neighborhood distance range can be set based on the amount of image data covered in that range when mapping the covered real-world distance to the image plane. This is also the amount of data that the system can handle, based on the amount of memory available to the device (eg, a given distance along the Z axis from the minimum visible distance covers a given height with pixels).
  • the far range can be set to cover the range from the end of the near range to the maximum visible distance.
  • the mapping to the image plane for each of the near and far range can be recalculated as the camera orientation changes as the visible distance changes.
  • the effectiveness of each range can be estimated. For example, in the current camera orientation, if a predetermined real-world distance range is not visible to the sensor, that range can be disabled.
  • the first image processing unit 151 is a predetermined range of images acquired and processed by the image acquisition unit 121, calculated by the processing range allocation unit 141, and used by the second image processing unit 152. Has the ability to perform the desired image processing on different ranges.
  • This image processing may include, but is not limited to, image affine transformations such as rotation, scale, shear, and bird's-eye view transformations where flat ground is considered the reference.
  • the geometric formula or transformation table may be pre-computed or adjusted.
  • the first image processing unit 151 is processed based on a predetermined range on the image that can correspond to a specific range of the actual space in front of the vehicle, for example, a distance in the real world. Because the amount of image data is less than the amount of data required for the near range, it can be optimized for the far range to which processing speed and / or hardware specific optimizations can be applied.
  • the second image processing unit 152 is a predetermined range of the image acquired and processed by the image acquisition unit 121, calculated by the processing range allocation unit 141, and used by the first image processing unit 151. Has the ability to perform the desired image processing on different ranges.
  • This image processing may include, but is not limited to, image affine transformations such as rotation, scale, shear, and bird's-eye view transformations where flat ground is considered the reference.
  • the geometric formula or transformation table may be pre-computed or adjusted.
  • the second image processing unit 152 is processed based on a predetermined range on the image that can correspond to a specific range of the actual space in front of the vehicle, for example, a distance in the real world. Since the amount of image data is greater than the amount of data required for the far range, it can be optimized for near range to which memory access and data processing optimizations that need to be dynamically fine-tuned can be applied.
  • the compositing unit 161 has a function of creating a composite image using the results of the first image processing unit 151 and the second image processing unit 152.
  • the general characteristics of the resulting composite image eg, image size, region of interest
  • the synthesizer 161 will always have 500 pixels regardless of the dynamically set range. Outputs 500 per image.
  • the images generated by the first image processing unit 151 and the second image processing unit 152 are combined, they are the same size as a predetermined expected output image size (500 ⁇ 500 pixels in this example). ), Because they are generated as expected to correspond to a complete composite image. In the above case, even when only one of the result image of the first image processing unit 151 and the result image of the second image processing unit 152 is generated based on the range calculated by the processing range allocation unit 141. apply.
  • images CT21 and CT22 acquired during different periods of time where the calculated ranges may differ are processed using a bird's-eye view transform to result in composite image CT31 and composite image CT32 with the same general characteristics. It should be noted that it can be implemented even when the general image characteristics of the composite image change dynamically.
  • the image calculation unit 171 has a function of calculating a difference image representing a discrepancy between at least two images created by the composition unit 161.
  • Known methods including but not limited to, simple interpixel difference calculations and filter-based image difference calculations can be applied to the difference calculations.
  • the difference image CT4 showing the difference data P0D which can be generated from the pedestrian P0 and the difference data OB0D which can be generated from the predetermined object OB0 is a composite image CT31 corresponding to the previous period and the current period. It is calculated based on the composite image CT32 corresponding to, and by using the motion data of the own vehicle to adjust / align the image before performing the image difference calculation process.
  • Obstacle detection unit 181 uses, but is not limited to, a difference image and uses a known clustering technique that takes into account the distance between points (pixels) (eg, K-means algorithm). Using the method of creating a cluster of difference pixels that are close to each other and can represent an object obstacle on the road, the image acquired by the image acquisition unit 121 and the image calculated by the image calculation unit 171 are used. , Has a function of detecting a three-dimensional object reflected in an image and calculating its position.
  • "obstacle detection” means target object detection (position in image space), target object identification (for example, automobile / vehicle, two-wheeled vehicle, bicycle, pedestrian, pole, etc.), three-dimensionally. It refers to the process of at least executing the tasks of measuring the distance of the target object from the own vehicle in space and calculating the speed / speed of the target object.
  • the control application processing unit 191 has a function of determining a control application performed by the vehicle equipped with the image processing device 110 according to the obstacle recognized by the obstacle detection unit 181.
  • FIGS. 4A to 4B show normal traverse motion (FIG. 4 (a)), braking motion (FIG. 4 (b)) and acceleration motion (FIG. 4 (c)). Shows the same scenario with different slopes of vehicle V with respect to road R1 representing, resulting in changes in camera attitude parameters. Only the camera attitude parameter for the optical axis 12, called the pitch angle ( ⁇ A , ⁇ B , ⁇ C ), is described, but with other yaw or roll angles without changing the nature of the described processing. A so-called camera attitude parameter can be considered.
  • the scenes reflected in the image acquired by the sensor corresponding to the sensing unit 111 are shown by CT11, CT12, and CT13, respectively, and in each case, each is based on the inclination of the camera attitude parameter calculated by the camera attitude parameter calculation unit 131.
  • the processing range calculated by the processing range allocation unit 141 in the case is indicated by IR1, IR2, and IR3, respectively.
  • the calculation processing executed by the processing range allocation unit 141 can be summarized as follows (based on the current camera attitude parameters).
  • the vehicle V is moving toward the intersection.
  • the inclination of the vehicle V with respect to the road represents a neutral position (eg, an inclination of 0 degrees).
  • the camera attitude parameter calculation unit 131 uses the pitch angle used by the processing range allocation unit 141 to calculate the appropriate and unique image range IR11 corresponding to the distant distance range and the image range IR12 corresponding to the near distance range. Acquire ( ⁇ A ).
  • the resulting image range IR11 is then used by the first image processing unit 151 to perform a bird's-eye view image conversion process for each region of the image while applying processing speed and / or hardware-specific optimization. Can be done.
  • the obtained image range IR12 can be used by the second image processing unit 152 to perform a bird's-eye view image conversion process for each region of the image while applying memory access and data processing optimization. This is because the amount of image data processed with reference to the distance in the real world is larger than the amount of data required for the distant distance range.
  • the camera attitude parameter calculation unit 131 uses the pitch angle used by the processing range allocation unit 141 to calculate the appropriate and unique image range IR21 corresponding to the distant distance range and the image range IR22 corresponding to the near distance range.
  • Acquire ( ⁇ B ) Due to the change in the inclination of the vehicle V described by the pitch angle ( ⁇ B ), the data corresponding to the near distance range becomes visible from the sensing unit 111, so that the calculated image range IR22 dynamically increases. Therefore, it needs to be processed to cover the current scenario.
  • the resulting image range IR21 is then used by the first image processing unit 151 to perform a bird's-eye view image conversion process for each region of the image while applying processing speed and / or hardware-specific optimization. Can be done. Further, the obtained image range IR22 can be used by the second image processing unit 152 to perform bird's-eye view image conversion processing for each region of the image while applying memory access and data processing optimization. This is because the amount of image data processed with reference to the distance in the real world is larger than the amount of data required for the distant distance range.
  • the camera attitude parameter calculation unit 131 acquires the pitch angle ( ⁇ C ) used by the processing range allocation unit 141 to calculate the appropriate and unique image range IR 31 corresponding to the distant distance range. Since the data corresponding to the near distance range cannot be seen in the sensing unit 111 due to the change in the inclination of the vehicle V described by the pitch angle ( ⁇ C ), the calculated image range IR31 dynamically increases and its position. Is updated. The range corresponding to the neighborhood range is also calculated, but in this case the range is marked as invalid because all the area covered by the calculated neighborhood range is outside the effective area of the image. Not used for further processing.
  • the resulting image range IR31 is then used by the first image processing unit 151 to perform a bird's-eye view image conversion process for each region of the image while applying processing speed and / or hardware-specific optimization. Can be done. In this particular case, no further processing is performed by the second image processing unit 152.
  • the final composite image is created by the composite unit 161 by acquiring the results of the first image processing unit 151 and the second image processing unit 152.
  • the image calculation unit 171 calculates a difference image using the composite image, and the calculated difference image is used by the obstacle detection unit 181 to execute obstacle detection.
  • the result is finally used by the control application processing unit 191 to determine the control application to be executed by the vehicle V.
  • the image processing device 110 for obstacle detection and obstacle recognition is The sensing unit 111, which can capture an image of the scene in front of the device to which the device is attached, An image acquisition unit 121 that processes an image acquired by the sensing unit 111 and adjusts its characteristics (including, but not limited to, image size, image resolution, and image interest region).
  • the camera attitude parameter calculation unit 131 that performs any or all calculations of the camera attitude parameters defined by the camera pitch angle (horizontal axis rotation), camera roll angle (vertical axis rotation), and camera yaw angle (vertical axis rotation).
  • Two different ranges of images acquired by the image acquisition unit 121 which are processed by the first image processing unit 151 and the second image processing unit 152, based on the camera attitude parameters calculated by the camera attitude parameter calculation unit 131.
  • the processing range allocation unit 141 that executes the calculation, and Predetermined image processing (eg, geometry) on the image acquired and processed by the image acquisition unit 121 based on the range calculated by the processing range allocation unit 141 different from the range used by the second image processing unit 152.
  • the first image processing unit 151 that executes the target image conversion), Predetermined image processing (eg, geometry) on the image acquired and processed by the image acquisition unit 121 based on the range calculated by the processing range allocation unit 141 that is different from the range used by the first image processing unit 151.
  • the second image processing unit 152 that executes the target image conversion) and From the results obtained by the first image processing unit 151 and the second image processing unit 152, the compositing unit 161 that executes a single compositing and the compositing unit 161 For calculating a desired image used as an input for the obstacle detector 181, including, but not limited to, a differential image representing the difference between at least two images created by the synthesizer 161.
  • Image calculation unit 171 and An obstacle detection unit 181 that executes object detection and object recognition using the image acquired by the image acquisition unit 121 and the result of the image calculation unit 171 and It comprises a control application processing unit 191 that determines a control application to be executed by the device provided with the image processing device 110 based on current conditions that may include at least the output from the obstacle detection unit 181.
  • the image processing device 110 is a first image that performs image processing (for example, bird's-eye view image conversion processing) on a first portion (for example, a distant distance range) that is at least a part of an image captured by a camera.
  • image processing for example, bird's-eye view image conversion processing
  • the second portion for example, a proximity distance range
  • image processing for example, bird's-eye view image conversion processing
  • a processing range that determines the ratio of the image range transmitted to the first image processing unit 151 and the image range transmitted to the second image processing unit 152 according to the second image processing unit 152 and the camera attitude parameter.
  • the allocation unit 141 and the like are provided.
  • the first image processing unit 151 optimized for processing the long-distance range data and the second image processing unit 152 optimized for processing the near-range range data Distributing the amount of memory resources used for image processing purposes by dynamically adjusting the image range (ratio) to be created based on the camera attitude parameter calculated by the camera attitude parameter calculation unit 131. Therefore, it is possible to maintain the accuracy of object detection and position determination performed by the obstacle detection unit 181 even when the environmental conditions in which the device moves (runs) change.
  • the configuration and operation of the image processing device 110 for obstacle detection and obstacle recognition according to the present embodiment have been described above.
  • the image processing apparatus 110 according to the present embodiment separately performs image processing by either one or two processing units and is based on a traverse environment, especially for an intersection scenario where near-distance detection is required.
  • By dynamically adjusting the range and / or size of the image processed by each image processor using external factors such as sensor orientation parameters calculated in real time the accuracy and detection of object detection It is possible to reduce the amount of line memory used in the hardware configuration of the system while maintaining the accuracy of the calculated distance to the object.
  • the present invention is not limited to the above-described embodiment, and includes various modified forms.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
  • Image processing device 111 Sensing unit 121 Image acquisition unit 131 Camera posture parameter calculation unit 141 Processing range allocation unit 151 First image processing unit 152 Second image processing unit 161 Synthesis unit 171 Image calculation unit 181 Obstacle detection unit 191 Control application processing Department

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

１つまたは２つの処理部のいずれかによって別々に画像処理（例えば、アフィン変換）を実行することができ、同時に、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因またはデータを使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することができ、特に交差点シナリオなどの近傍距離検出が必要なシナリオのために、物体検出の精度と検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することができる画像処理装置を提供する。カメラ姿勢パラメータに応じて、第１画像処理部１５１に送信される画像範囲と第２画像処理部１５２に送信される画像範囲の割合を決める処理範囲割り当て部１４１を備える。

Description

画像処理装置
　本発明は、例えば、自車両の近傍の環境における画像ベースの障害物検出および認識のための車載用画像処理装置に関する。
　近年、近傍の移動物体および障害物を検出するために、画像を用いた物体検出装置が使用されている。上述の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは自動車の安全な運転を支援する車載システムの用途に使用することができる。
　車載用途では、このような装置は、周囲の環境を運転者に表示し、および/または車両周囲の移動物体または静的物体（障害物）を検出し、自車両と障害物との衝突の潜在的なリスクを運転者に通知し、決定システムに基づいて、車両を自動的に停止して、自車両と障害物との衝突を回避するように構成されている。
　例えば、特許文献１に開示される装置は、取得した画像のうち、ダンプトラック（作業機械）から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する第一俯瞰画像生成部と、所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する第二俯瞰画像生成部と、第二俯瞰画像中の障害物よりダンプトラックに近い領域以外の領域の表示比率を拡大する縮尺変更部と、第一俯瞰画像と表示比率変更後の第二俯瞰画像とを合成する画像合成部とを備えることで、広大で変化の少ない環境で用いられる作業機械において、作業機械から離れた障害物をドライバに適切に提示する。
特開２０１８－１７０５５７号公報
　しかしながら、特許文献１に記載された装置は、車両が走行している環境の現在の条件および自車両との関連によるのではなく、地図から取得した道路形状に基づいて運転者に提供するカメラ画像の向きおよび姿勢を変更するのみである。提供された画像が物体検出に使用される場合、外部距離測定センサを使用せずに検出された物体の位置を正確に特定することは困難であり、システムの複雑さおよびコストを増加させる可能性がある。
　したがって、例えば、近傍距離検出をサポートする必要があるシナリオでシステムが使用され、同時に車両速度の変化および道路の現在の状態が、最初に設定されたセンサ姿勢パラメータの変化を生成する車載センサと道路の現在の状態との間の空間的関係に影響する場合、システムのハードウェア構成は、各センサ姿勢の変化に対応する画像変換を処理できるように大量のラインメモリを含める必要があり、最終的に所定の近傍距離検出範囲をサポートするために必要な範囲とデータ量に影響し、システム全体のコストが増加する。一方、外部の変化（カメラ姿勢の変化など）がサポートされず、正しく対処されていない場合、オブジェクト検出性能および距離計算精度が低下し、誤った物体検出結果を生成し、システムの全体的な信頼性が低下する可能性がある。
　本発明の目的は、１つまたは２つの処理部のいずれかによって別々に画像処理（例えば、アフィン変換）を実行することができ、同時に、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因またはデータを使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することができ、特に交差点シナリオなどの近傍距離検出が必要なシナリオのために、物体検出の精度と検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することができる画像処理装置を提供することである。
　上記目的を達成すべく、本発明に係る画像処理装置は、カメラで撮像された画像の少なくとも一部である第１部分を画像処理する第１画像処理部と、前記第１部分が前記画像の一部である場合、前記画像のうち前記第１部分とは異なる第２部分を画像処理する第２画像処理部と、カメラ姿勢パラメータに応じて、前記第１画像処理部に送信される画像範囲と前記第２画像処理部に送信される画像範囲の割合を決める処理範囲割り当て部と、を備える。
　本発明に係る画像処理装置は、この構成の採用により、システムのハードウェア構成で使用されるラインメモリ量を削減し、近傍距離検出が必要なシナリオをサポートできる。これは、カメラ姿勢パラメータ算出部によって計算されたカメラ姿勢パラメータに基づいて、第１画像処理部（画像の特定の範囲を処理するように最適化できる）および第２画像処理部（第１画像処理部の範囲とは異なる画像の特定の範囲を処理するように最適化できる）によって処理される画像範囲（の割合）を動的に調整することにより、画像処理目的で使用されるメモリリソースの量を分散できるためである。したがって、デバイスが移動（走行）する環境条件が変化しても、障害物検出部によって実行される物体検出および位置特定の精度を維持できる。
　本発明によれば、特に近傍距離検出が必要とされる交差点シナリオのために、１つまたは２つの処理部のいずれかによって別々に画像処理を実行するとともに、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因を使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することにより、物体検出の精度ならびに検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することが可能となる。
　上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施形態に係る画像処理装置の概略構成図である。 ピッチ、ヨー、ロールのカメラ姿勢パラメータと３次元空間上のその関係を説明する図であり、（ａ）はピッチのカメラ姿勢パラメータ、（ｂ）はヨーのカメラ姿勢パラメータ、（ｃ）はロールのカメラ姿勢パラメータを説明する図である。 例示的なシナリオにおいて、センサにより取得され、次に画像処理部の結果に基づいて合成部により計算された画像空間、そして画像算出部により算出された差分を説明する図である。 車両が交差点に接近し、カメラ姿勢パラメータが計算され、さらなる処理のために画像処理範囲を得るために使用されるシナリオの３つの異なるケースを示し、（ａ）は通常時、（ｂ）はブレーキ動作時、（ｃ）は加速動作時を示す図である。
　以下、本発明の画像処理装置の好ましい実施形態について図面を参照して説明する。
　図１から図４を参照して、本実施形態の画像処理装置１１０の構成および性能について説明する。図示は省略するが、画像処理装置１１０は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。また、CPUが実行する機能の一部または全部（例えば、後述する画像処理部のうちの第１画像処理部の機能）は、FPGAなどによって実現されてもよい。
　以下に説明する構成では、２台のカメラセンサ（以下、単にカメラもしくはセンサと称することがある）が単一の車載ステレオカメラとして一対とされ、センシング部１１１に対応していることに注意されたい。ただし、これは、単一の単眼カメラがセンシング部１１１として使用される他の構成で使用される装置を制限するものではない。
　図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１１０は、例えば車両（自車両）に搭載され、カメラセンサ（センシング部１１１）で撮像した周囲の画像に画像処理（例えば、アフィン変換）を実行し、時間的に（時刻が）異なる複数の処理画像の差分を用いて障害物（画像に映る周囲の物体）を検出および認識する装置である。
　図１において、画像処理装置１１０は、同じ高さに位置する２つのカメラセンサを含むセンシング部１１１、画像取得部１２１、カメラ姿勢パラメータ算出部１３１、処理範囲割り当て部１４１、第１画像処理部１５１、第２画像処理部１５２、合成部１６１、画像算出部１７１、障害物検出部１８１、および制御アプリケーション処理部１９１を備える。
（画像取得部）
　画像取得部１２１は、さらなる処理のために画像特性を調整するために、センシング部１１１に対応する一方または両方のカメラセンサにより取得された画像を処理する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力画像から入力画像の特定の領域を切り取る（トリミングする）画像関心領域選択が含まれ得る。画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境および条件（速度、旋回速度など）に基づいて制御できる。
（カメラ姿勢パラメータ算出部）
　カメラ姿勢パラメータ算出部１３１は、図２（ａ）～（ｃ）に示されるように、カメラのピッチ角（水平軸回転）、カメラのロール角（縦軸（前後方向軸）回転）、およびカメラのヨー角（垂直軸回転）によって定義される、平坦な地面に対する全てのカメラ姿勢パラメータのいずれかを計算する機能を有する。この処理には、これに限定されるものではないが、所望のパラメータを得るための外部センサ情報（車両のサスペンションシステム、速度/旋回速度/ヨーレートを提供する車両の内部センサ、慣性測定センサ、位置センサなど）の使用、またはステレオマッチング処理から取得された距離データに基づく車両の前方の道路の、少なくとも自車両の前方の道路に対する装置のピッチ角およびロール角を計算するために使用される形状推定が含まれ得る。上述のカメラ姿勢パラメータを計算する他の方法も含めることができる。
　なお、「カメラ姿勢パラメータ」は、特定の位置または平面に関して３次元空間でカメラの位置および向き（方向）を表すために使用される値やパラメータの集合を指す。例えば、このパラメータには、道路に対するカメラの位置を記述するために使用できる並進パラメータＸ、Ｙ、およびＺを含めることができるとともに、３次元空間のカメラの向きを記述する回転パラメータであるピッチ、ヨー、およびロールを含めることができる。
（処理範囲割り当て部）
　処理範囲割り当て部１４１は、カメラ姿勢パラメータ算出部１３１により算出されたカメラ姿勢パラメータ（例えば、当該画像処理装置１１０を搭載した車両の走行中（移動中）に計算したカメラ姿勢パラメータ）に基づいて、画像取得部１２１により取得されて処理された画像の空間における少なくとも１つの範囲を動的に計算する機能を有する。計算された範囲は、これに限定されるものではないが、例えば、近傍距離範囲（カメラに相対的に近い距離範囲）および遠方距離範囲（カメラから相対的に遠い距離範囲）を調整してメモリリソースを分散する、取得された画像にマッピングされた現実世界の距離範囲、ならびに、それらが第１画像処理部１５１および第２画像処理部１５２によって画像または画像の一部を処理するためにどのように使用されるかを表し得る。
　センサの現実世界の距離および視野角を使用して近傍距離範囲および遠方距離範囲を調整する処理範囲割り当ての例は、次のとおりである。カメラの垂直視野（例えば、20deg）およびデフォルトのカメラ姿勢パラメータに基づいて、システムの最小可視距離および所望の最大可視距離が計算される。次に、計算された最小可視距離および最大可視距離に基づいて、現実世界の距離の空間内の範囲が近傍距離範囲に対して設定される。この近傍距離範囲は、カバーされた現実世界の距離を画像平面にマッピングするときに、その範囲でカバーされる画像データの量に基づいて設定できる。これは、装置によって使用できるメモリの量に基づいて、システムによって取り扱えるデータの量にもなる（例えば、最小可視距離からＺ軸方向の所定の距離は、ピクセルで所定の高さをカバーするなど）。遠方距離範囲は、近傍距離範囲の終わりから最大可視距離までの範囲をカバーするように設定できる。現実世界の距離範囲が設定されると、近傍距離範囲および遠方距離範囲の各々のための画像平面へのマッピングは、可視距離が変化するにつれてカメラ姿勢が変化するときに再計算できる。同時に、各範囲の有効性を推定できる。例えば、現在のカメラ姿勢では、所定の現実世界の距離範囲がセンサから見えない場合、その範囲を無効に設定できる。
（第１画像処理部）
　第１画像処理部１５１は、画像取得部１２１により取得されて処理された画像の所定範囲であって、処理範囲割り当て部１４１により計算され、かつ、第２画像処理部１５２により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。
　この画像処理は、これに限定されるものではないが、回転、スケール、シアー、および平坦な地面が基準と見なされる俯瞰画像変換などの画像アフィン変換を含み得る。そのような場合、幾何学公式または変換テーブルは、事前に計算または調整され得る。俯瞰画像変換のケースの場合、第１画像処理部１５１は、車両の前方の実際の空間の特定の範囲に対応し得る画像上の所定の範囲、例えば、現実世界の距離を基準にして処理される画像データの量が、近傍距離範囲に必要なデータの量よりも少ないため、処理速度および/またはハードウェア固有の最適化を適用できる遠方距離範囲に最適化され得る。
（第２画像処理部）
　第２画像処理部１５２は、画像取得部１２１により取得されて処理された画像の所定範囲であって、処理範囲割り当て部１４１により計算され、かつ、第１画像処理部１５１により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。
　この画像処理は、これに限定されるものではないが、回転、スケール、シアー、および平坦な地面が基準と見なされる俯瞰画像変換などの画像アフィン変換を含み得る。そのような場合、幾何学公式または変換テーブルは、事前に計算または調整され得る。俯瞰画像変換のケースの場合、第２画像処理部１５２は、車両の前方の実際の空間の特定の範囲に対応し得る画像上の所定の範囲、例えば、現実世界の距離を基準にして処理される画像データの量が、遠方距離範囲に必要なデータの量よりも多いため、メモリアクセスおよび動的に微調整する必要のあるデータ処理の最適化を適用できる近傍距離範囲に最適化され得る。
（合成部）
　合成部１６１は、第１画像処理部１５１および第２画像処理部１５２の結果を用いて合成画像を作成する機能を有する。本装置構成では、結果としての合成画像の一般的な特性（例えば、画像サイズ、関心領域）は、処理範囲割り当て部１４１により計算された動的に変化する１つまたは複数の範囲の影響を受けない。すなわち、例えば、期待される出力が画像算出部１７１により処理される５００ピクセル画像当たり５００である所与の装置構成の場合、合成部１６１は、動的に設定された範囲に関係なく常に５００ピクセル画像当たり５００を出力する。これは、第１画像処理部１５１および第２画像処理部１５２により生成された画像は、纏められるとき、それらは所定の予期される出力画像サイズと同じサイズ（この例の場合は５００×５００ピクセル）になるため、それらは完全な合成画像に相当することが予想されるように生成されるためである。上述の場合は、処理範囲割り当て部１４１により算出された範囲に基づいて、第１画像処理部１５１の結果画像または第２画像処理部１５２の結果画像のいずれか一方のみが生成される場合にも当てはまる。
　出力例が図３に示される。図３では、計算された範囲が異なり得る異なる期間中に取得された画像ＣＴ２１およびＣＴ２２は、俯瞰変換を用いて処理され、同じ一般的特性を有する合成画像ＣＴ３１および合成画像ＣＴ３２をもたらす。合成画像の画像一般特性が動的に変化する場合も実装できることに注意する必要がある。
（画像算出部）
　画像算出部１７１は、合成部１６１により作成された少なくとも２つの画像間の不一致を表す差分画像を計算する機能を有する。これに限定されるものではないが、単純な画素間差分計算およびフィルタベースの画像差分計算を含む既知の方法を、差分計算に適用できる。例えば、図３に示されるように、歩行者Ｐ０から生じ得る差分データＰ０Ｄおよび所定の物体ＯＢ０から生じ得る差分データＯＢ０Ｄを示す差分画像ＣＴ４は、以前の期間に対応する合成画像ＣＴ３１および現在の期間に対応する合成画像ＣＴ３２に基づいて、並びに、画像差分計算処理を実行する前に、画像を調整/位置合わせするために自車両の運動データを使用することによって、計算される。
（障害物検出部）
　障害物検出部１８１は、これに限定されるものではないが、差分画像を使用して、点（画素）間の距離を考慮した既知のクラスタリング手法を使用して（例えば、K-meansアルゴリズム）、互いに近く、道路の上の対象障害物を表し得る差分画素のクラスターを作成する方法を使用し、画像取得部１２１により取得された画像と、画像算出部１７１により算出された画像とを用いて、画像に映る立体物を検出し、その位置を計算する機能を有する。なお、本明細書において、「障害物検出」とは、対象物体検出（画像空間内の位置）、対象物体識別（例えば、自動車/車両、二輪車両、自転車、歩行者、ポールなど）、３次元空間での自車両からの対象物体の距離測定、対象物体の速度/速さ計算のタスクを少なくとも実行する処理を指す。
（制御アプリケーション処理部）
　制御アプリケーション処理部１９１は、障害物検出部１８１により認識された障害物に応じて、当該画像処理装置１１０が搭載された車両が行う制御アプリケーションを決定する機能を有する。
　ここで、画像処理装置１１０を車両Ｖの周囲を監視するシステムとして適用した場合について、図４（ａ）～（ｂ）を参照して説明する。図４（ａ）、図４（ｂ）および図４（ｃ）は、通常のトラバース運動（図４（ａ））、ブレーキ動作（図４（ｂ））および加速動作（図４（ｃ））を表す道路Ｒ１に対して異なる傾斜の車両Ｖを有し、カメラ姿勢パラメータの変化をもたらす同じシナリオを示す。ピッチ角（θＡ、θＢ、θＣ）と呼ばれる、光軸１２に対するカメラ姿勢パラメータのみが記載されているが、記載された処理の性質を変更することなく、他のヨー角またはロール角と呼ばれるカメラ姿勢パラメータを考慮することができる。センシング部１１１に対応するセンサにより取得された画像に映るシーンは、それぞれＣＴ１１、ＣＴ１２、ＣＴ１３で示され、各ケースでカメラ姿勢パラメータ算出部１３１により算出されたカメラ姿勢パラメータの傾きに基づいて、各ケースで処理範囲割り当て部１４１により算出された処理範囲は、それぞれＩＲ１、ＩＲ２、ＩＲ３で示される。
　処理範囲割り当て部１４１によって実行される計算処理は、おおよそ以下のようにまとめることができる（現在のカメラ姿勢パラメータに基づいて）。
　まず、幾何学式を用いて、車両Ｖに搭載されたセンシング部１１１を起点として持つ３次元平面における遠方距離範囲の開始位置と終了位置に対応する画像内の位置（画像範囲の割合に対応）を計算し、計算された始点と終点をカバーし、画像取得部１２１により取得されて処理された画像の有効領域内にあるエリアとして処理範囲を設定することにより、遠方距離処理範囲を求める。計算された遠方距離範囲によりカバーされる全エリアが画像の有効領域内に収まらない場合、その範囲は無効としてマークされ得るため、以降の処理には使用されない。
　次いで、幾何学式を用いて、車両Ｖに搭載されたセンシング部１１１を起点として持つ３次元平面における近傍距離範囲の開始位置と終了位置に対応する画像内の位置（画像範囲の割合に対応）を計算し、計算された始点と終点をカバーし、画像取得部１２１により取得されて処理された画像の有効領域内にあるエリアとして処理範囲を設定することにより、近傍距離処理範囲を求める。計算された近傍距離範囲によりカバーされる全エリアが画像の有効領域の外にある場合、その範囲は無効としてマークされ得るため、以降の処理には使用されない。
　以下に説明するケースでは、車両Ｖは交差点に向かって移動している。図４（ａ）に記載されているケースでは、道路に対する車両Ｖの傾斜は、中立位置（例えば、0度の傾斜）を表す。この場合、カメラ姿勢パラメータ算出部１３１は、遠方距離範囲に対応する適切で固有の画像範囲ＩＲ１１および近傍距離範囲に対応する画像範囲ＩＲ１２を計算するために処理範囲割り当て部１４１により使用されるピッチ角（θＡ）を取得する。次いで、得られた画像範囲ＩＲ１１は、第１画像処理部１５１により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。さらに、得られた画像範囲ＩＲ１２は、第２画像処理部１５２により使用されて、メモリアクセスおよびデータ処理最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。これは、現実世界の距離を参照して処理される画像データ量は、遠方距離範囲に必要なデータ量よりも大きくなるためである。
　図４（ｂ）に記載されているケースでは、道路に対する車両Ｖの傾斜は、ブレーキ動作によって引き起こされる。この場合、カメラ姿勢パラメータ算出部１３１は、遠方距離範囲に対応する適切で固有の画像範囲ＩＲ２１および近傍距離範囲に対応する画像範囲ＩＲ２２を計算するために処理範囲割り当て部１４１により使用されるピッチ角（θＢ）を取得する。ピッチ角（θＢ）で記載される車両Ｖの傾斜の変化のため、近傍距離範囲に対応するデータがセンシング部１１１から見えるようになるため、計算された画像範囲ＩＲ２２は動的に増加し、したがって、現在のシナリオをカバーするために処理する必要がある。次いで、得られた画像範囲ＩＲ２１は、第１画像処理部１５１により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。さらに、得られた画像範囲ＩＲ２２は、第２画像処理部１５２により使用されて、メモリアクセスおよびデータ処理最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。これは、現実世界の距離を参照して処理される画像データ量は、遠方距離範囲に必要なデータ量よりも大きくなるためである。
　図４（ｃ）に記載されているケースでは、道路に対する車両Ｖの傾斜は、加速動作によって引き起こされる。この場合、カメラ姿勢パラメータ算出部１３１は、遠方距離範囲に対応する適切で固有の画像範囲ＩＲ３１を計算するために処理範囲割り当て部１４１により使用されるピッチ角（θＣ）を取得する。ピッチ角（θＣ）で記載される車両Ｖの傾斜の変化のため、近傍距離範囲に対応するデータがセンシング部１１１に見えなくなるため、計算された画像範囲ＩＲ３１は動的に増加し、その位置が更新される。近傍距離範囲に対応する範囲も計算されるが、この場合、計算された近傍距離範囲によってカバーされる全ての領域が画像の有効領域の外側にあるため、その範囲は無効としてマークされ、したがって、更なる処理のために使用されない。次いで、得られた画像範囲ＩＲ３１は、第１画像処理部１５１により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。この特定のケースでは、第２画像処理部１５２によってさらなる処理は実行されない。
　上記の全てのケースでは、最終的な合成画像は、第１画像処理部１５１および第２画像処理部１５２の結果を取得することにより、合成部１６１によって作成される。次に、画像算出部１７１は、合成画像を使用して差分画像を算出し、算出した差分画像は、障害物検出部１８１により使用されて、障害物検出を実行する。その結果は、最終的に、制御アプリケーション処理部１９１により使用されて、車両Ｖによって実行されるべき制御アプリケーションを決定する。
　以上で説明したように、図１に示される本実施形態に係る障害物検出および障害物認識のための画像処理装置１１０は、
　当該装置が取り付けられているデバイスの前のシーンの画像を取り込むことができるセンシング部１１１と、
　センシング部１１１によって取得された画像を処理し、その特性（これらに限定されないが、画像サイズ、画像解像度、および画像関心領域を含む）を調整する画像取得部１２１と、
　カメラピッチ角（水平軸回転）、カメラロール角（縦軸回転）、およびカメラヨー角（垂直軸回転）によって定義されるカメラ姿勢パラメータのいずれかまたは全ての計算を実行するカメラ姿勢パラメータ算出部１３１と、
　カメラ姿勢パラメータ算出部１３１によって計算されたカメラ姿勢パラメータに基づいて、画像取得部１２１によって取得された画像のうち第１画像処理部１５１および第２画像処理部１５２によって処理される２つの異なる範囲の計算を実行する処理範囲割り当て部１４１と、
　第２画像処理部１５２によって使用される範囲とは異なる処理範囲割り当て部１４１によって計算された範囲に基づいて、画像取得部１２１によって取得されて処理された画像に所定の画像処理（例えば、幾何学的画像変換）を実行する第１画像処理部１５１と、
　第１画像処理部１５１によって使用される範囲とは異なる処理範囲割り当て部１４１によって計算された範囲に基づいて、画像取得部１２１によって取得されて処理された画像に所定の画像処理（例えば、幾何学的画像変換）を実行する第２画像処理部１５２と、
　第１画像処理部１５１および第２画像処理部１５２によって得られた結果から、単一合成を実行する合成部１６１と、
　障害物検出部１８１のための入力として使用される所望の画像（これに限定されないが、合成部１６１によって作成された少なくとも２つの画像間の差分を表す差分画像を含み得る）を計算するための画像算出部１７１と、
　画像取得部１２１によって取得された画像ならびに画像算出部１７１の結果を使用して、物体検出および物体認識を実行する障害物検出部１８１と、
　障害物検出部１８１からの出力を少なくとも含み得る現在の条件に基づいて、当該画像処理装置１１０が備えられるデバイスによって実行される制御アプリケーションを決定する制御アプリケーション処理部１９１と、を備える。
　すなわち、本実施形態に係る画像処理装置１１０は、カメラで撮像された画像の少なくとも一部である第１部分（例えば、遠方距離範囲）を画像処理（例えば、俯瞰画像変換処理）する第１画像処理部１５１と、前記第１部分が前記画像の一部である場合、前記画像のうち前記第１部分とは異なる第２部分（例えば、近傍距離範囲）を画像処理（例えば、俯瞰画像変換処理）する第２画像処理部１５２と、カメラ姿勢パラメータに応じて、前記第１画像処理部１５１に送信される画像範囲と前記第２画像処理部１５２に送信される画像範囲の割合を決める処理範囲割り当て部１４１と、を備える。
　上記の処理を採用することにより、遠方距離範囲データを処理するように最適化された第１画像処理部１５１および近傍距離範囲データを処理するように最適化された第２画像処理部１５２によって処理される画像範囲（の割合）を、カメラ姿勢パラメータ算出部１３１によって計算されたカメラ姿勢パラメータに基づいて、動的に調整することにより、画像処理目的に使用されるメモリリソースの量を分配することが可能であり、したがって、デバイスが移動（走行）する環境条件が変化した場合でも、障害物検出部１８１によって実行される物体検出および位置特定の精度を維持することが可能である。
　以上、本実施形態に係る障害物検出および障害物認識のための画像処理装置１１０の構成および動作について説明した。本実施形態に係る画像処理装置１１０は、特に近傍距離検出が必要とされる交差点シナリオのために、１つまたは２つの処理部のいずれかによって別々に画像処理を実行するとともに、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因を使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することにより、物体検出の精度ならびに検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することが可能となる。
　現時点で考えられる本発明の好適な実施形態について説明したが、本実施形態に対して様々な変更を加えることができ、本発明の真の精神および範囲内の全ての変更は、添付の特許請求の範囲内にあることが意図される。
　また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１１０　画像処理装置
１１１　センシング部
１２１　画像取得部
１３１　カメラ姿勢パラメータ算出部
１４１　処理範囲割り当て部
１５１　第１画像処理部
１５２　第２画像処理部
１６１　合成部
１７１　画像算出部
１８１　障害物検出部
１９１　制御アプリケーション処理部

Claims (5)

  1. 　カメラで撮像された画像の少なくとも一部である第１部分を画像処理する第１画像処理部と、
    　前記第１部分が前記画像の一部である場合、前記画像のうち前記第１部分とは異なる第２部分を画像処理する第２画像処理部と、
    　カメラ姿勢パラメータに応じて、前記第１画像処理部に送信される画像範囲と前記第２画像処理部に送信される画像範囲の割合を決める処理範囲割り当て部と、を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記画像の第１部分は、前記カメラから相対的に遠い遠方距離範囲であり、前記画像の第２部分は、前記カメラに相対的に近い近傍距離範囲である画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記第１画像処理部および前記第２画像処理部の画像処理は俯瞰画像変換処理である画像処理装置。
  4. 　請求項１に記載の画像処理装置において、
    　前記第１画像処理部および前記第２画像処理部の画像処理の結果を用いて合成画像を作成する合成部と、
    　前記合成部によって作成された少なくとも２つの合成画像間の不一致を表す差分画像を算出する画像算出部とをさらに備える画像処理装置。
  5. 　請求項１に記載の画像処理装置において、
    　前記処理範囲割り当て部は、前記カメラを搭載した車両の走行中に計算した前記カメラ姿勢パラメータに応じて、前記第１画像処理部に送信される画像範囲と前記第２画像処理部に送信される画像範囲の割合を動的に決める画像処理装置。
PCT/JP2021/024502 2020-09-02 2021-06-29 画像処理装置 WO2022049880A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112021003430.8T DE112021003430T5 (de) 2020-09-02 2021-06-29 Bildverarbeitungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020147801A JP7436331B2 (ja) 2020-09-02 2020-09-02 画像処理装置
JP2020-147801 2020-09-02

Publications (1)

Publication Number Publication Date
WO2022049880A1 true WO2022049880A1 (ja) 2022-03-10

Family

ID=80491023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024502 WO2022049880A1 (ja) 2020-09-02 2021-06-29 画像処理装置

Country Status (3)

Country Link
JP (1) JP7436331B2 (ja)
DE (1) DE112021003430T5 (ja)
WO (1) WO2022049880A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588301A (zh) * 2022-09-08 2023-01-10 合肥师范学院 基于交通摄像头的骑车人检测分析方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223227A (ja) * 1996-02-15 1997-08-26 Honda Motor Co Ltd 車両用環境認識装置
JP2005148817A (ja) * 2003-11-11 2005-06-09 Nissan Motor Co Ltd 車両用画像処理装置
JP2017037401A (ja) * 2015-08-07 2017-02-16 株式会社デンソー 走行環境認識装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6715205B2 (ja) 2017-03-29 2020-07-01 日立建機株式会社 作業機械の周囲画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223227A (ja) * 1996-02-15 1997-08-26 Honda Motor Co Ltd 車両用環境認識装置
JP2005148817A (ja) * 2003-11-11 2005-06-09 Nissan Motor Co Ltd 車両用画像処理装置
JP2017037401A (ja) * 2015-08-07 2017-02-16 株式会社デンソー 走行環境認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588301A (zh) * 2022-09-08 2023-01-10 合肥师范学院 基于交通摄像头的骑车人检测分析方法及***

Also Published As

Publication number Publication date
JP7436331B2 (ja) 2024-02-21
DE112021003430T5 (de) 2023-04-27
JP2022042386A (ja) 2022-03-14

Similar Documents

Publication Publication Date Title
JP6830936B2 (ja) ダイクロイックミラーを使用する、自律走行車のための３ｄ−ｌｉｄａｒシステム
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
JP6910973B2 (ja) 車両制御装置及びその制御方法並びに車両制御システム
US20180268699A1 (en) Mobile body spatial information calculation apparatus and collision avoidance system
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
JP6952899B2 (ja) ヘッドアップディスプレイ
CN108367710B (zh) 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质
JP6337811B2 (ja) 画像処理装置及び画像処理方法
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
KR102331000B1 (ko) 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치
US20220044032A1 (en) Dynamic adjustment of augmented reality image
JP2016131367A (ja) 移動体システム
WO2019053922A1 (ja) 画像処理装置
US20190100141A1 (en) Ascertainment of Vehicle Environment Data
WO2022049880A1 (ja) 画像処理装置
US10831203B2 (en) Vehicle controller and method
CN112129313A (zh) 基于惯性测量单元的ar导航补偿***
US11607999B2 (en) Method and apparatus for invisible vehicle underbody view
CN114119724A (zh) 一种调整用于自动驾驶的高度图的网格间距的方法
WO2020110435A1 (ja) 外界認識装置
JP7278740B2 (ja) 移動体制御装置
KR102625203B1 (ko) 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법
US11845429B2 (en) Localizing and updating a map using interpolated lane edge data
WO2021106510A1 (ja) 障害物認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21863938

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21863938

Country of ref document: EP

Kind code of ref document: A1