WO2022049880A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2022049880A1 WO2022049880A1 PCT/JP2021/024502 JP2021024502W WO2022049880A1 WO 2022049880 A1 WO2022049880 A1 WO 2022049880A1 JP 2021024502 W JP2021024502 W JP 2021024502W WO 2022049880 A1 WO2022049880 A1 WO 2022049880A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image processing
- range
- unit
- processing unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Definitions
- the present invention relates to, for example, an in-vehicle image processing device for image-based obstacle detection and recognition in an environment near the own vehicle.
- an object detection device using an image has been used to detect moving objects and obstacles in the vicinity.
- the image-based object detection device described above can be used in surveillance systems that detect intrusions or anomalies, or in-vehicle systems that support safe driving of vehicles.
- such devices display the surrounding environment to the driver and / or detect moving or static objects (obstacles) around the vehicle and have the potential for collisions between the vehicle and the obstacles. It is configured to notify the driver of certain risks and automatically stop the vehicle based on the decision system to avoid a collision between the vehicle and an obstacle.
- obstacles moving or static objects
- the apparatus disclosed in Patent Document 1 projects an image within a predetermined distance from a dump truck (working machine) among the acquired images onto a first projection plane parallel to the road surface to obtain a first bird's-eye view image.
- Image composition that combines the scale change part that expands the display ratio of the area other than the area closer to the dump track than the obstacle in the second bird's-eye view image, and the first bird's-eye view image and the second bird's-eye view image after the display ratio is changed.
- Patent Document 1 provides a camera image to the driver based on the road shape obtained from the map, not depending on the current conditions of the environment in which the vehicle is traveling and the relationship with the own vehicle. It only changes the orientation and posture of.
- the provided image is used for object detection, it is difficult to pinpoint the location of the detected object without the use of an external distance measurement sensor, which can increase the complexity and cost of the system. There is.
- the system is used in scenarios where near-distance detection needs to be supported, while at the same time vehicle speed changes and the current state of the road generate changes in the initially set sensor attitude parameters with the in-vehicle sensor and the road. If it affects the spatial relationship between the current state of the system, the system's hardware configuration must include a large amount of line memory to handle the image transformations that correspond to each sensor attitude change, and ultimately It affects the range and amount of data required to support a given near-distance detection range, increasing the overall cost of the system. On the other hand, if external changes (such as camera attitude changes) are not supported and dealt with correctly, object detection performance and distance calculation accuracy will deteriorate, producing incorrect object detection results and overall system confidence. May be less sexual.
- An object of the present invention is that image processing (eg, affine conversion) can be performed separately by either one or two processing units, and at the same time, sensor attitude parameters calculated in real time based on the traverse environment, etc. External factors or data can be used to dynamically adjust the range and / or size of the image processed by each image processor, especially for scenarios that require proximity detection, such as intersection scenarios.
- image processing device capable of reducing the amount of line memory used in the hardware configuration of the system while maintaining the accuracy of object detection and the accuracy of the calculated distance to the detected object. ..
- the image processing apparatus has a first image processing unit that performs image processing on a first portion that is at least a part of an image captured by a camera, and the first portion is the image.
- a second image processing unit that performs image processing on a second portion of the image that is different from the first portion, and an image range transmitted to the first image processing unit according to the camera attitude parameter.
- a processing range allocation unit that determines the ratio of the image range transmitted to the second image processing unit.
- the image processing device can reduce the amount of line memory used in the hardware configuration of the system and support scenarios that require near-distance detection.
- This is a first image processing unit (which can be optimized to process a specific range of an image) and a second image processing unit (first image processing) based on the camera attitude parameters calculated by the camera attitude parameter calculation unit.
- the amount of memory resources used for image processing purposes by dynamically adjusting (percentage) the image range processed by (which can be optimized to process a specific range of the image that is different from the range of the part). This is because can be dispersed. Therefore, even if the environmental conditions in which the device moves (runs) change, the accuracy of object detection and position determination performed by the obstacle detection unit can be maintained.
- image processing is performed separately by either one or two processing units and calculated in real time based on the traverse environment, especially for intersection scenarios where near distance detection is required.
- image processing is performed separately by either one or two processing units and calculated in real time based on the traverse environment, especially for intersection scenarios where near distance detection is required.
- it is a diagram illustrating an image space acquired by a sensor and then calculated by the compositing unit based on the results of the image processing unit, and a difference calculated by the image calculating unit.
- the image processing unit 110 has a configuration in which a CPU, RAM, ROM, etc. are connected via a bus, and the CPU executes various control programs stored in the ROM to operate the entire system. To control. Further, a part or all of the functions executed by the CPU (for example, the function of the first image processing unit among the image processing units described later) may be realized by an FPGA or the like.
- two camera sensors (hereinafter, may be simply referred to as a camera or a sensor) are paired as a single in-vehicle stereo camera and correspond to the sensing unit 111. ..
- this does not limit the devices used in other configurations in which a single monocular camera is used as the sensing unit 111.
- FIG. 1 is a block diagram showing a configuration of an image processing device according to an embodiment of the present invention.
- the image processing device 110 of the present embodiment is mounted on, for example, a vehicle (own vehicle), performs image processing (for example, affine conversion) on the surrounding image captured by the camera sensor (sensing unit 111), and temporally (for example, affine conversion). It is a device that detects and recognizes obstacles (surrounding objects reflected in images) using the differences between multiple processed images with different times.
- the image processing device 110 includes a sensing unit 111 including two camera sensors located at the same height, an image acquisition unit 121, a camera attitude parameter calculation unit 131, a processing range allocation unit 141, and a first image processing unit 151. , A second image processing unit 152, a synthesis unit 161, an image calculation unit 171, an obstacle detection unit 181 and a control application processing unit 191.
- the image acquisition unit 121 processes the image acquired by one or both camera sensors corresponding to the sensing unit 111 in order to adjust the image characteristics for further processing. This process includes, but is not limited to, image resolution adjustment that allows the input image to be reduced or enlarged to change the resulting image size, and identification of the input image from the original input image for further processing.
- Image interest area selection may be included to crop (crop) the area of. The parameters used for image resolution adjustment and image interest area selection can be controlled based on the current operating environment and conditions (speed, turning speed, etc.).
- the camera attitude parameter calculation unit 131 includes a camera pitch angle (horizontal axis rotation), a camera roll angle (vertical axis (front-back axis) rotation), and a camera.
- a camera pitch angle horizontal axis rotation
- a camera roll angle vertical axis (front-back axis) rotation
- a camera has the ability to calculate any of all camera orientation parameters for flat ground, as defined by the yaw angle (vertical axis rotation) of.
- This process includes, but is not limited to, external sensor information (vehicle suspension system, vehicle internal sensors that provide speed / turning speed / yaw rate, inertial measurement sensors, position) to obtain the desired parameters.
- the "camera attitude parameter” refers to a set of values and parameters used to represent the position and orientation (direction) of the camera in a three-dimensional space with respect to a specific position or plane.
- this parameter can include translational parameters X, Y, and Z that can be used to describe the position of the camera with respect to the road, as well as a rotational parameter pitch, which describes the orientation of the camera in three-dimensional space. Yaw and roll can be included.
- the processing range allocation unit 141 is based on the camera posture parameter calculated by the camera posture parameter calculation unit 131 (for example, the camera posture parameter calculated while the vehicle equipped with the image processing device 110 is running (moving)). It has a function of dynamically calculating at least one range in the space of the image acquired and processed by the image acquisition unit 121.
- the calculated range is not limited to this, but for example, the memory can be adjusted by adjusting the near range (range relatively close to the camera) and the range far (range relatively far from the camera).
- Real-world distance ranges mapped to acquired images that distribute resources, and how they process an image or part of an image by a first image processing unit 151 and a second image processing unit 152. Can represent what is used for.
- the following is an example of processing range allocation that adjusts the near-range and far-range ranges using the sensor's real-world distance and viewing angle.
- the minimum visible distance of the system and the desired maximum visible distance are calculated based on the camera's vertical field of view (eg 20deg) and the default camera attitude parameters.
- a range of real-world distances in space is set for the neighborhood distance range.
- This neighborhood distance range can be set based on the amount of image data covered in that range when mapping the covered real-world distance to the image plane. This is also the amount of data that the system can handle, based on the amount of memory available to the device (eg, a given distance along the Z axis from the minimum visible distance covers a given height with pixels).
- the far range can be set to cover the range from the end of the near range to the maximum visible distance.
- the mapping to the image plane for each of the near and far range can be recalculated as the camera orientation changes as the visible distance changes.
- the effectiveness of each range can be estimated. For example, in the current camera orientation, if a predetermined real-world distance range is not visible to the sensor, that range can be disabled.
- the first image processing unit 151 is a predetermined range of images acquired and processed by the image acquisition unit 121, calculated by the processing range allocation unit 141, and used by the second image processing unit 152. Has the ability to perform the desired image processing on different ranges.
- This image processing may include, but is not limited to, image affine transformations such as rotation, scale, shear, and bird's-eye view transformations where flat ground is considered the reference.
- the geometric formula or transformation table may be pre-computed or adjusted.
- the first image processing unit 151 is processed based on a predetermined range on the image that can correspond to a specific range of the actual space in front of the vehicle, for example, a distance in the real world. Because the amount of image data is less than the amount of data required for the near range, it can be optimized for the far range to which processing speed and / or hardware specific optimizations can be applied.
- the second image processing unit 152 is a predetermined range of the image acquired and processed by the image acquisition unit 121, calculated by the processing range allocation unit 141, and used by the first image processing unit 151. Has the ability to perform the desired image processing on different ranges.
- This image processing may include, but is not limited to, image affine transformations such as rotation, scale, shear, and bird's-eye view transformations where flat ground is considered the reference.
- the geometric formula or transformation table may be pre-computed or adjusted.
- the second image processing unit 152 is processed based on a predetermined range on the image that can correspond to a specific range of the actual space in front of the vehicle, for example, a distance in the real world. Since the amount of image data is greater than the amount of data required for the far range, it can be optimized for near range to which memory access and data processing optimizations that need to be dynamically fine-tuned can be applied.
- the compositing unit 161 has a function of creating a composite image using the results of the first image processing unit 151 and the second image processing unit 152.
- the general characteristics of the resulting composite image eg, image size, region of interest
- the synthesizer 161 will always have 500 pixels regardless of the dynamically set range. Outputs 500 per image.
- the images generated by the first image processing unit 151 and the second image processing unit 152 are combined, they are the same size as a predetermined expected output image size (500 ⁇ 500 pixels in this example). ), Because they are generated as expected to correspond to a complete composite image. In the above case, even when only one of the result image of the first image processing unit 151 and the result image of the second image processing unit 152 is generated based on the range calculated by the processing range allocation unit 141. apply.
- images CT21 and CT22 acquired during different periods of time where the calculated ranges may differ are processed using a bird's-eye view transform to result in composite image CT31 and composite image CT32 with the same general characteristics. It should be noted that it can be implemented even when the general image characteristics of the composite image change dynamically.
- the image calculation unit 171 has a function of calculating a difference image representing a discrepancy between at least two images created by the composition unit 161.
- Known methods including but not limited to, simple interpixel difference calculations and filter-based image difference calculations can be applied to the difference calculations.
- the difference image CT4 showing the difference data P0D which can be generated from the pedestrian P0 and the difference data OB0D which can be generated from the predetermined object OB0 is a composite image CT31 corresponding to the previous period and the current period. It is calculated based on the composite image CT32 corresponding to, and by using the motion data of the own vehicle to adjust / align the image before performing the image difference calculation process.
- Obstacle detection unit 181 uses, but is not limited to, a difference image and uses a known clustering technique that takes into account the distance between points (pixels) (eg, K-means algorithm). Using the method of creating a cluster of difference pixels that are close to each other and can represent an object obstacle on the road, the image acquired by the image acquisition unit 121 and the image calculated by the image calculation unit 171 are used. , Has a function of detecting a three-dimensional object reflected in an image and calculating its position.
- "obstacle detection” means target object detection (position in image space), target object identification (for example, automobile / vehicle, two-wheeled vehicle, bicycle, pedestrian, pole, etc.), three-dimensionally. It refers to the process of at least executing the tasks of measuring the distance of the target object from the own vehicle in space and calculating the speed / speed of the target object.
- the control application processing unit 191 has a function of determining a control application performed by the vehicle equipped with the image processing device 110 according to the obstacle recognized by the obstacle detection unit 181.
- FIGS. 4A to 4B show normal traverse motion (FIG. 4 (a)), braking motion (FIG. 4 (b)) and acceleration motion (FIG. 4 (c)). Shows the same scenario with different slopes of vehicle V with respect to road R1 representing, resulting in changes in camera attitude parameters. Only the camera attitude parameter for the optical axis 12, called the pitch angle ( ⁇ A , ⁇ B , ⁇ C ), is described, but with other yaw or roll angles without changing the nature of the described processing. A so-called camera attitude parameter can be considered.
- the scenes reflected in the image acquired by the sensor corresponding to the sensing unit 111 are shown by CT11, CT12, and CT13, respectively, and in each case, each is based on the inclination of the camera attitude parameter calculated by the camera attitude parameter calculation unit 131.
- the processing range calculated by the processing range allocation unit 141 in the case is indicated by IR1, IR2, and IR3, respectively.
- the calculation processing executed by the processing range allocation unit 141 can be summarized as follows (based on the current camera attitude parameters).
- the vehicle V is moving toward the intersection.
- the inclination of the vehicle V with respect to the road represents a neutral position (eg, an inclination of 0 degrees).
- the camera attitude parameter calculation unit 131 uses the pitch angle used by the processing range allocation unit 141 to calculate the appropriate and unique image range IR11 corresponding to the distant distance range and the image range IR12 corresponding to the near distance range. Acquire ( ⁇ A ).
- the resulting image range IR11 is then used by the first image processing unit 151 to perform a bird's-eye view image conversion process for each region of the image while applying processing speed and / or hardware-specific optimization. Can be done.
- the obtained image range IR12 can be used by the second image processing unit 152 to perform a bird's-eye view image conversion process for each region of the image while applying memory access and data processing optimization. This is because the amount of image data processed with reference to the distance in the real world is larger than the amount of data required for the distant distance range.
- the camera attitude parameter calculation unit 131 uses the pitch angle used by the processing range allocation unit 141 to calculate the appropriate and unique image range IR21 corresponding to the distant distance range and the image range IR22 corresponding to the near distance range.
- Acquire ( ⁇ B ) Due to the change in the inclination of the vehicle V described by the pitch angle ( ⁇ B ), the data corresponding to the near distance range becomes visible from the sensing unit 111, so that the calculated image range IR22 dynamically increases. Therefore, it needs to be processed to cover the current scenario.
- the resulting image range IR21 is then used by the first image processing unit 151 to perform a bird's-eye view image conversion process for each region of the image while applying processing speed and / or hardware-specific optimization. Can be done. Further, the obtained image range IR22 can be used by the second image processing unit 152 to perform bird's-eye view image conversion processing for each region of the image while applying memory access and data processing optimization. This is because the amount of image data processed with reference to the distance in the real world is larger than the amount of data required for the distant distance range.
- the camera attitude parameter calculation unit 131 acquires the pitch angle ( ⁇ C ) used by the processing range allocation unit 141 to calculate the appropriate and unique image range IR 31 corresponding to the distant distance range. Since the data corresponding to the near distance range cannot be seen in the sensing unit 111 due to the change in the inclination of the vehicle V described by the pitch angle ( ⁇ C ), the calculated image range IR31 dynamically increases and its position. Is updated. The range corresponding to the neighborhood range is also calculated, but in this case the range is marked as invalid because all the area covered by the calculated neighborhood range is outside the effective area of the image. Not used for further processing.
- the resulting image range IR31 is then used by the first image processing unit 151 to perform a bird's-eye view image conversion process for each region of the image while applying processing speed and / or hardware-specific optimization. Can be done. In this particular case, no further processing is performed by the second image processing unit 152.
- the final composite image is created by the composite unit 161 by acquiring the results of the first image processing unit 151 and the second image processing unit 152.
- the image calculation unit 171 calculates a difference image using the composite image, and the calculated difference image is used by the obstacle detection unit 181 to execute obstacle detection.
- the result is finally used by the control application processing unit 191 to determine the control application to be executed by the vehicle V.
- the image processing device 110 for obstacle detection and obstacle recognition is The sensing unit 111, which can capture an image of the scene in front of the device to which the device is attached, An image acquisition unit 121 that processes an image acquired by the sensing unit 111 and adjusts its characteristics (including, but not limited to, image size, image resolution, and image interest region).
- the camera attitude parameter calculation unit 131 that performs any or all calculations of the camera attitude parameters defined by the camera pitch angle (horizontal axis rotation), camera roll angle (vertical axis rotation), and camera yaw angle (vertical axis rotation).
- Two different ranges of images acquired by the image acquisition unit 121 which are processed by the first image processing unit 151 and the second image processing unit 152, based on the camera attitude parameters calculated by the camera attitude parameter calculation unit 131.
- the processing range allocation unit 141 that executes the calculation, and Predetermined image processing (eg, geometry) on the image acquired and processed by the image acquisition unit 121 based on the range calculated by the processing range allocation unit 141 different from the range used by the second image processing unit 152.
- the first image processing unit 151 that executes the target image conversion), Predetermined image processing (eg, geometry) on the image acquired and processed by the image acquisition unit 121 based on the range calculated by the processing range allocation unit 141 that is different from the range used by the first image processing unit 151.
- the second image processing unit 152 that executes the target image conversion) and From the results obtained by the first image processing unit 151 and the second image processing unit 152, the compositing unit 161 that executes a single compositing and the compositing unit 161 For calculating a desired image used as an input for the obstacle detector 181, including, but not limited to, a differential image representing the difference between at least two images created by the synthesizer 161.
- Image calculation unit 171 and An obstacle detection unit 181 that executes object detection and object recognition using the image acquired by the image acquisition unit 121 and the result of the image calculation unit 171 and It comprises a control application processing unit 191 that determines a control application to be executed by the device provided with the image processing device 110 based on current conditions that may include at least the output from the obstacle detection unit 181.
- the image processing device 110 is a first image that performs image processing (for example, bird's-eye view image conversion processing) on a first portion (for example, a distant distance range) that is at least a part of an image captured by a camera.
- image processing for example, bird's-eye view image conversion processing
- the second portion for example, a proximity distance range
- image processing for example, bird's-eye view image conversion processing
- a processing range that determines the ratio of the image range transmitted to the first image processing unit 151 and the image range transmitted to the second image processing unit 152 according to the second image processing unit 152 and the camera attitude parameter.
- the allocation unit 141 and the like are provided.
- the first image processing unit 151 optimized for processing the long-distance range data and the second image processing unit 152 optimized for processing the near-range range data Distributing the amount of memory resources used for image processing purposes by dynamically adjusting the image range (ratio) to be created based on the camera attitude parameter calculated by the camera attitude parameter calculation unit 131. Therefore, it is possible to maintain the accuracy of object detection and position determination performed by the obstacle detection unit 181 even when the environmental conditions in which the device moves (runs) change.
- the configuration and operation of the image processing device 110 for obstacle detection and obstacle recognition according to the present embodiment have been described above.
- the image processing apparatus 110 according to the present embodiment separately performs image processing by either one or two processing units and is based on a traverse environment, especially for an intersection scenario where near-distance detection is required.
- By dynamically adjusting the range and / or size of the image processed by each image processor using external factors such as sensor orientation parameters calculated in real time the accuracy and detection of object detection It is possible to reduce the amount of line memory used in the hardware configuration of the system while maintaining the accuracy of the calculated distance to the object.
- the present invention is not limited to the above-described embodiment, and includes various modified forms.
- the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
- each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
- SSD Solid State Drive
- control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
- Image processing device 111 Sensing unit 121 Image acquisition unit 131 Camera posture parameter calculation unit 141 Processing range allocation unit 151 First image processing unit 152 Second image processing unit 161 Synthesis unit 171 Image calculation unit 181 Obstacle detection unit 191 Control application processing Department
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
1つまたは2つの処理部のいずれかによって別々に画像処理(例えば、アフィン変換)を実行することができ、同時に、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因またはデータを使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することができ、特に交差点シナリオなどの近傍距離検出が必要なシナリオのために、物体検出の精度と検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することができる画像処理装置を提供する。カメラ姿勢パラメータに応じて、第1画像処理部151に送信される画像範囲と第2画像処理部152に送信される画像範囲の割合を決める処理範囲割り当て部141を備える。
Description
本発明は、例えば、自車両の近傍の環境における画像ベースの障害物検出および認識のための車載用画像処理装置に関する。
近年、近傍の移動物体および障害物を検出するために、画像を用いた物体検出装置が使用されている。上述の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは自動車の安全な運転を支援する車載システムの用途に使用することができる。
車載用途では、このような装置は、周囲の環境を運転者に表示し、および/または車両周囲の移動物体または静的物体(障害物)を検出し、自車両と障害物との衝突の潜在的なリスクを運転者に通知し、決定システムに基づいて、車両を自動的に停止して、自車両と障害物との衝突を回避するように構成されている。
例えば、特許文献1に開示される装置は、取得した画像のうち、ダンプトラック(作業機械)から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する第一俯瞰画像生成部と、所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する第二俯瞰画像生成部と、第二俯瞰画像中の障害物よりダンプトラックに近い領域以外の領域の表示比率を拡大する縮尺変更部と、第一俯瞰画像と表示比率変更後の第二俯瞰画像とを合成する画像合成部とを備えることで、広大で変化の少ない環境で用いられる作業機械において、作業機械から離れた障害物をドライバに適切に提示する。
しかしながら、特許文献1に記載された装置は、車両が走行している環境の現在の条件および自車両との関連によるのではなく、地図から取得した道路形状に基づいて運転者に提供するカメラ画像の向きおよび姿勢を変更するのみである。提供された画像が物体検出に使用される場合、外部距離測定センサを使用せずに検出された物体の位置を正確に特定することは困難であり、システムの複雑さおよびコストを増加させる可能性がある。
したがって、例えば、近傍距離検出をサポートする必要があるシナリオでシステムが使用され、同時に車両速度の変化および道路の現在の状態が、最初に設定されたセンサ姿勢パラメータの変化を生成する車載センサと道路の現在の状態との間の空間的関係に影響する場合、システムのハードウェア構成は、各センサ姿勢の変化に対応する画像変換を処理できるように大量のラインメモリを含める必要があり、最終的に所定の近傍距離検出範囲をサポートするために必要な範囲とデータ量に影響し、システム全体のコストが増加する。一方、外部の変化(カメラ姿勢の変化など)がサポートされず、正しく対処されていない場合、オブジェクト検出性能および距離計算精度が低下し、誤った物体検出結果を生成し、システムの全体的な信頼性が低下する可能性がある。
本発明の目的は、1つまたは2つの処理部のいずれかによって別々に画像処理(例えば、アフィン変換)を実行することができ、同時に、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因またはデータを使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することができ、特に交差点シナリオなどの近傍距離検出が必要なシナリオのために、物体検出の精度と検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することができる画像処理装置を提供することである。
上記目的を達成すべく、本発明に係る画像処理装置は、カメラで撮像された画像の少なくとも一部である第1部分を画像処理する第1画像処理部と、前記第1部分が前記画像の一部である場合、前記画像のうち前記第1部分とは異なる第2部分を画像処理する第2画像処理部と、カメラ姿勢パラメータに応じて、前記第1画像処理部に送信される画像範囲と前記第2画像処理部に送信される画像範囲の割合を決める処理範囲割り当て部と、を備える。
本発明に係る画像処理装置は、この構成の採用により、システムのハードウェア構成で使用されるラインメモリ量を削減し、近傍距離検出が必要なシナリオをサポートできる。これは、カメラ姿勢パラメータ算出部によって計算されたカメラ姿勢パラメータに基づいて、第1画像処理部(画像の特定の範囲を処理するように最適化できる)および第2画像処理部(第1画像処理部の範囲とは異なる画像の特定の範囲を処理するように最適化できる)によって処理される画像範囲(の割合)を動的に調整することにより、画像処理目的で使用されるメモリリソースの量を分散できるためである。したがって、デバイスが移動(走行)する環境条件が変化しても、障害物検出部によって実行される物体検出および位置特定の精度を維持できる。
本発明によれば、特に近傍距離検出が必要とされる交差点シナリオのために、1つまたは2つの処理部のいずれかによって別々に画像処理を実行するとともに、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因を使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することにより、物体検出の精度ならびに検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することが可能となる。
上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の画像処理装置の好ましい実施形態について図面を参照して説明する。
図1から図4を参照して、本実施形態の画像処理装置110の構成および性能について説明する。図示は省略するが、画像処理装置110は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。また、CPUが実行する機能の一部または全部(例えば、後述する画像処理部のうちの第1画像処理部の機能)は、FPGAなどによって実現されてもよい。
以下に説明する構成では、2台のカメラセンサ(以下、単にカメラもしくはセンサと称することがある)が単一の車載ステレオカメラとして一対とされ、センシング部111に対応していることに注意されたい。ただし、これは、単一の単眼カメラがセンシング部111として使用される他の構成で使用される装置を制限するものではない。
図1は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置110は、例えば車両(自車両)に搭載され、カメラセンサ(センシング部111)で撮像した周囲の画像に画像処理(例えば、アフィン変換)を実行し、時間的に(時刻が)異なる複数の処理画像の差分を用いて障害物(画像に映る周囲の物体)を検出および認識する装置である。
図1において、画像処理装置110は、同じ高さに位置する2つのカメラセンサを含むセンシング部111、画像取得部121、カメラ姿勢パラメータ算出部131、処理範囲割り当て部141、第1画像処理部151、第2画像処理部152、合成部161、画像算出部171、障害物検出部181、および制御アプリケーション処理部191を備える。
(画像取得部)
画像取得部121は、さらなる処理のために画像特性を調整するために、センシング部111に対応する一方または両方のカメラセンサにより取得された画像を処理する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力画像から入力画像の特定の領域を切り取る(トリミングする)画像関心領域選択が含まれ得る。画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境および条件(速度、旋回速度など)に基づいて制御できる。
画像取得部121は、さらなる処理のために画像特性を調整するために、センシング部111に対応する一方または両方のカメラセンサにより取得された画像を処理する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力画像から入力画像の特定の領域を切り取る(トリミングする)画像関心領域選択が含まれ得る。画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境および条件(速度、旋回速度など)に基づいて制御できる。
(カメラ姿勢パラメータ算出部)
カメラ姿勢パラメータ算出部131は、図2(a)~(c)に示されるように、カメラのピッチ角(水平軸回転)、カメラのロール角(縦軸(前後方向軸)回転)、およびカメラのヨー角(垂直軸回転)によって定義される、平坦な地面に対する全てのカメラ姿勢パラメータのいずれかを計算する機能を有する。この処理には、これに限定されるものではないが、所望のパラメータを得るための外部センサ情報(車両のサスペンションシステム、速度/旋回速度/ヨーレートを提供する車両の内部センサ、慣性測定センサ、位置センサなど)の使用、またはステレオマッチング処理から取得された距離データに基づく車両の前方の道路の、少なくとも自車両の前方の道路に対する装置のピッチ角およびロール角を計算するために使用される形状推定が含まれ得る。上述のカメラ姿勢パラメータを計算する他の方法も含めることができる。
カメラ姿勢パラメータ算出部131は、図2(a)~(c)に示されるように、カメラのピッチ角(水平軸回転)、カメラのロール角(縦軸(前後方向軸)回転)、およびカメラのヨー角(垂直軸回転)によって定義される、平坦な地面に対する全てのカメラ姿勢パラメータのいずれかを計算する機能を有する。この処理には、これに限定されるものではないが、所望のパラメータを得るための外部センサ情報(車両のサスペンションシステム、速度/旋回速度/ヨーレートを提供する車両の内部センサ、慣性測定センサ、位置センサなど)の使用、またはステレオマッチング処理から取得された距離データに基づく車両の前方の道路の、少なくとも自車両の前方の道路に対する装置のピッチ角およびロール角を計算するために使用される形状推定が含まれ得る。上述のカメラ姿勢パラメータを計算する他の方法も含めることができる。
なお、「カメラ姿勢パラメータ」は、特定の位置または平面に関して3次元空間でカメラの位置および向き(方向)を表すために使用される値やパラメータの集合を指す。例えば、このパラメータには、道路に対するカメラの位置を記述するために使用できる並進パラメータX、Y、およびZを含めることができるとともに、3次元空間のカメラの向きを記述する回転パラメータであるピッチ、ヨー、およびロールを含めることができる。
(処理範囲割り当て部)
処理範囲割り当て部141は、カメラ姿勢パラメータ算出部131により算出されたカメラ姿勢パラメータ(例えば、当該画像処理装置110を搭載した車両の走行中(移動中)に計算したカメラ姿勢パラメータ)に基づいて、画像取得部121により取得されて処理された画像の空間における少なくとも1つの範囲を動的に計算する機能を有する。計算された範囲は、これに限定されるものではないが、例えば、近傍距離範囲(カメラに相対的に近い距離範囲)および遠方距離範囲(カメラから相対的に遠い距離範囲)を調整してメモリリソースを分散する、取得された画像にマッピングされた現実世界の距離範囲、ならびに、それらが第1画像処理部151および第2画像処理部152によって画像または画像の一部を処理するためにどのように使用されるかを表し得る。
処理範囲割り当て部141は、カメラ姿勢パラメータ算出部131により算出されたカメラ姿勢パラメータ(例えば、当該画像処理装置110を搭載した車両の走行中(移動中)に計算したカメラ姿勢パラメータ)に基づいて、画像取得部121により取得されて処理された画像の空間における少なくとも1つの範囲を動的に計算する機能を有する。計算された範囲は、これに限定されるものではないが、例えば、近傍距離範囲(カメラに相対的に近い距離範囲)および遠方距離範囲(カメラから相対的に遠い距離範囲)を調整してメモリリソースを分散する、取得された画像にマッピングされた現実世界の距離範囲、ならびに、それらが第1画像処理部151および第2画像処理部152によって画像または画像の一部を処理するためにどのように使用されるかを表し得る。
センサの現実世界の距離および視野角を使用して近傍距離範囲および遠方距離範囲を調整する処理範囲割り当ての例は、次のとおりである。カメラの垂直視野(例えば、20deg)およびデフォルトのカメラ姿勢パラメータに基づいて、システムの最小可視距離および所望の最大可視距離が計算される。次に、計算された最小可視距離および最大可視距離に基づいて、現実世界の距離の空間内の範囲が近傍距離範囲に対して設定される。この近傍距離範囲は、カバーされた現実世界の距離を画像平面にマッピングするときに、その範囲でカバーされる画像データの量に基づいて設定できる。これは、装置によって使用できるメモリの量に基づいて、システムによって取り扱えるデータの量にもなる(例えば、最小可視距離からZ軸方向の所定の距離は、ピクセルで所定の高さをカバーするなど)。遠方距離範囲は、近傍距離範囲の終わりから最大可視距離までの範囲をカバーするように設定できる。現実世界の距離範囲が設定されると、近傍距離範囲および遠方距離範囲の各々のための画像平面へのマッピングは、可視距離が変化するにつれてカメラ姿勢が変化するときに再計算できる。同時に、各範囲の有効性を推定できる。例えば、現在のカメラ姿勢では、所定の現実世界の距離範囲がセンサから見えない場合、その範囲を無効に設定できる。
(第1画像処理部)
第1画像処理部151は、画像取得部121により取得されて処理された画像の所定範囲であって、処理範囲割り当て部141により計算され、かつ、第2画像処理部152により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。
第1画像処理部151は、画像取得部121により取得されて処理された画像の所定範囲であって、処理範囲割り当て部141により計算され、かつ、第2画像処理部152により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。
この画像処理は、これに限定されるものではないが、回転、スケール、シアー、および平坦な地面が基準と見なされる俯瞰画像変換などの画像アフィン変換を含み得る。そのような場合、幾何学公式または変換テーブルは、事前に計算または調整され得る。俯瞰画像変換のケースの場合、第1画像処理部151は、車両の前方の実際の空間の特定の範囲に対応し得る画像上の所定の範囲、例えば、現実世界の距離を基準にして処理される画像データの量が、近傍距離範囲に必要なデータの量よりも少ないため、処理速度および/またはハードウェア固有の最適化を適用できる遠方距離範囲に最適化され得る。
(第2画像処理部)
第2画像処理部152は、画像取得部121により取得されて処理された画像の所定範囲であって、処理範囲割り当て部141により計算され、かつ、第1画像処理部151により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。
第2画像処理部152は、画像取得部121により取得されて処理された画像の所定範囲であって、処理範囲割り当て部141により計算され、かつ、第1画像処理部151により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。
この画像処理は、これに限定されるものではないが、回転、スケール、シアー、および平坦な地面が基準と見なされる俯瞰画像変換などの画像アフィン変換を含み得る。そのような場合、幾何学公式または変換テーブルは、事前に計算または調整され得る。俯瞰画像変換のケースの場合、第2画像処理部152は、車両の前方の実際の空間の特定の範囲に対応し得る画像上の所定の範囲、例えば、現実世界の距離を基準にして処理される画像データの量が、遠方距離範囲に必要なデータの量よりも多いため、メモリアクセスおよび動的に微調整する必要のあるデータ処理の最適化を適用できる近傍距離範囲に最適化され得る。
(合成部)
合成部161は、第1画像処理部151および第2画像処理部152の結果を用いて合成画像を作成する機能を有する。本装置構成では、結果としての合成画像の一般的な特性(例えば、画像サイズ、関心領域)は、処理範囲割り当て部141により計算された動的に変化する1つまたは複数の範囲の影響を受けない。すなわち、例えば、期待される出力が画像算出部171により処理される500ピクセル画像当たり500である所与の装置構成の場合、合成部161は、動的に設定された範囲に関係なく常に500ピクセル画像当たり500を出力する。これは、第1画像処理部151および第2画像処理部152により生成された画像は、纏められるとき、それらは所定の予期される出力画像サイズと同じサイズ(この例の場合は500×500ピクセル)になるため、それらは完全な合成画像に相当することが予想されるように生成されるためである。上述の場合は、処理範囲割り当て部141により算出された範囲に基づいて、第1画像処理部151の結果画像または第2画像処理部152の結果画像のいずれか一方のみが生成される場合にも当てはまる。
合成部161は、第1画像処理部151および第2画像処理部152の結果を用いて合成画像を作成する機能を有する。本装置構成では、結果としての合成画像の一般的な特性(例えば、画像サイズ、関心領域)は、処理範囲割り当て部141により計算された動的に変化する1つまたは複数の範囲の影響を受けない。すなわち、例えば、期待される出力が画像算出部171により処理される500ピクセル画像当たり500である所与の装置構成の場合、合成部161は、動的に設定された範囲に関係なく常に500ピクセル画像当たり500を出力する。これは、第1画像処理部151および第2画像処理部152により生成された画像は、纏められるとき、それらは所定の予期される出力画像サイズと同じサイズ(この例の場合は500×500ピクセル)になるため、それらは完全な合成画像に相当することが予想されるように生成されるためである。上述の場合は、処理範囲割り当て部141により算出された範囲に基づいて、第1画像処理部151の結果画像または第2画像処理部152の結果画像のいずれか一方のみが生成される場合にも当てはまる。
出力例が図3に示される。図3では、計算された範囲が異なり得る異なる期間中に取得された画像CT21およびCT22は、俯瞰変換を用いて処理され、同じ一般的特性を有する合成画像CT31および合成画像CT32をもたらす。合成画像の画像一般特性が動的に変化する場合も実装できることに注意する必要がある。
(画像算出部)
画像算出部171は、合成部161により作成された少なくとも2つの画像間の不一致を表す差分画像を計算する機能を有する。これに限定されるものではないが、単純な画素間差分計算およびフィルタベースの画像差分計算を含む既知の方法を、差分計算に適用できる。例えば、図3に示されるように、歩行者P0から生じ得る差分データP0Dおよび所定の物体OB0から生じ得る差分データOB0Dを示す差分画像CT4は、以前の期間に対応する合成画像CT31および現在の期間に対応する合成画像CT32に基づいて、並びに、画像差分計算処理を実行する前に、画像を調整/位置合わせするために自車両の運動データを使用することによって、計算される。
画像算出部171は、合成部161により作成された少なくとも2つの画像間の不一致を表す差分画像を計算する機能を有する。これに限定されるものではないが、単純な画素間差分計算およびフィルタベースの画像差分計算を含む既知の方法を、差分計算に適用できる。例えば、図3に示されるように、歩行者P0から生じ得る差分データP0Dおよび所定の物体OB0から生じ得る差分データOB0Dを示す差分画像CT4は、以前の期間に対応する合成画像CT31および現在の期間に対応する合成画像CT32に基づいて、並びに、画像差分計算処理を実行する前に、画像を調整/位置合わせするために自車両の運動データを使用することによって、計算される。
(障害物検出部)
障害物検出部181は、これに限定されるものではないが、差分画像を使用して、点(画素)間の距離を考慮した既知のクラスタリング手法を使用して(例えば、K-meansアルゴリズム)、互いに近く、道路の上の対象障害物を表し得る差分画素のクラスターを作成する方法を使用し、画像取得部121により取得された画像と、画像算出部171により算出された画像とを用いて、画像に映る立体物を検出し、その位置を計算する機能を有する。なお、本明細書において、「障害物検出」とは、対象物体検出(画像空間内の位置)、対象物体識別(例えば、自動車/車両、二輪車両、自転車、歩行者、ポールなど)、3次元空間での自車両からの対象物体の距離測定、対象物体の速度/速さ計算のタスクを少なくとも実行する処理を指す。
障害物検出部181は、これに限定されるものではないが、差分画像を使用して、点(画素)間の距離を考慮した既知のクラスタリング手法を使用して(例えば、K-meansアルゴリズム)、互いに近く、道路の上の対象障害物を表し得る差分画素のクラスターを作成する方法を使用し、画像取得部121により取得された画像と、画像算出部171により算出された画像とを用いて、画像に映る立体物を検出し、その位置を計算する機能を有する。なお、本明細書において、「障害物検出」とは、対象物体検出(画像空間内の位置)、対象物体識別(例えば、自動車/車両、二輪車両、自転車、歩行者、ポールなど)、3次元空間での自車両からの対象物体の距離測定、対象物体の速度/速さ計算のタスクを少なくとも実行する処理を指す。
(制御アプリケーション処理部)
制御アプリケーション処理部191は、障害物検出部181により認識された障害物に応じて、当該画像処理装置110が搭載された車両が行う制御アプリケーションを決定する機能を有する。
制御アプリケーション処理部191は、障害物検出部181により認識された障害物に応じて、当該画像処理装置110が搭載された車両が行う制御アプリケーションを決定する機能を有する。
ここで、画像処理装置110を車両Vの周囲を監視するシステムとして適用した場合について、図4(a)~(b)を参照して説明する。図4(a)、図4(b)および図4(c)は、通常のトラバース運動(図4(a))、ブレーキ動作(図4(b))および加速動作(図4(c))を表す道路R1に対して異なる傾斜の車両Vを有し、カメラ姿勢パラメータの変化をもたらす同じシナリオを示す。ピッチ角(θA、θB、θC)と呼ばれる、光軸12に対するカメラ姿勢パラメータのみが記載されているが、記載された処理の性質を変更することなく、他のヨー角またはロール角と呼ばれるカメラ姿勢パラメータを考慮することができる。センシング部111に対応するセンサにより取得された画像に映るシーンは、それぞれCT11、CT12、CT13で示され、各ケースでカメラ姿勢パラメータ算出部131により算出されたカメラ姿勢パラメータの傾きに基づいて、各ケースで処理範囲割り当て部141により算出された処理範囲は、それぞれIR1、IR2、IR3で示される。
処理範囲割り当て部141によって実行される計算処理は、おおよそ以下のようにまとめることができる(現在のカメラ姿勢パラメータに基づいて)。
まず、幾何学式を用いて、車両Vに搭載されたセンシング部111を起点として持つ3次元平面における遠方距離範囲の開始位置と終了位置に対応する画像内の位置(画像範囲の割合に対応)を計算し、計算された始点と終点をカバーし、画像取得部121により取得されて処理された画像の有効領域内にあるエリアとして処理範囲を設定することにより、遠方距離処理範囲を求める。計算された遠方距離範囲によりカバーされる全エリアが画像の有効領域内に収まらない場合、その範囲は無効としてマークされ得るため、以降の処理には使用されない。
次いで、幾何学式を用いて、車両Vに搭載されたセンシング部111を起点として持つ3次元平面における近傍距離範囲の開始位置と終了位置に対応する画像内の位置(画像範囲の割合に対応)を計算し、計算された始点と終点をカバーし、画像取得部121により取得されて処理された画像の有効領域内にあるエリアとして処理範囲を設定することにより、近傍距離処理範囲を求める。計算された近傍距離範囲によりカバーされる全エリアが画像の有効領域の外にある場合、その範囲は無効としてマークされ得るため、以降の処理には使用されない。
以下に説明するケースでは、車両Vは交差点に向かって移動している。図4(a)に記載されているケースでは、道路に対する車両Vの傾斜は、中立位置(例えば、0度の傾斜)を表す。この場合、カメラ姿勢パラメータ算出部131は、遠方距離範囲に対応する適切で固有の画像範囲IR11および近傍距離範囲に対応する画像範囲IR12を計算するために処理範囲割り当て部141により使用されるピッチ角(θA)を取得する。次いで、得られた画像範囲IR11は、第1画像処理部151により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。さらに、得られた画像範囲IR12は、第2画像処理部152により使用されて、メモリアクセスおよびデータ処理最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。これは、現実世界の距離を参照して処理される画像データ量は、遠方距離範囲に必要なデータ量よりも大きくなるためである。
図4(b)に記載されているケースでは、道路に対する車両Vの傾斜は、ブレーキ動作によって引き起こされる。この場合、カメラ姿勢パラメータ算出部131は、遠方距離範囲に対応する適切で固有の画像範囲IR21および近傍距離範囲に対応する画像範囲IR22を計算するために処理範囲割り当て部141により使用されるピッチ角(θB)を取得する。ピッチ角(θB)で記載される車両Vの傾斜の変化のため、近傍距離範囲に対応するデータがセンシング部111から見えるようになるため、計算された画像範囲IR22は動的に増加し、したがって、現在のシナリオをカバーするために処理する必要がある。次いで、得られた画像範囲IR21は、第1画像処理部151により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。さらに、得られた画像範囲IR22は、第2画像処理部152により使用されて、メモリアクセスおよびデータ処理最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。これは、現実世界の距離を参照して処理される画像データ量は、遠方距離範囲に必要なデータ量よりも大きくなるためである。
図4(c)に記載されているケースでは、道路に対する車両Vの傾斜は、加速動作によって引き起こされる。この場合、カメラ姿勢パラメータ算出部131は、遠方距離範囲に対応する適切で固有の画像範囲IR31を計算するために処理範囲割り当て部141により使用されるピッチ角(θC)を取得する。ピッチ角(θC)で記載される車両Vの傾斜の変化のため、近傍距離範囲に対応するデータがセンシング部111に見えなくなるため、計算された画像範囲IR31は動的に増加し、その位置が更新される。近傍距離範囲に対応する範囲も計算されるが、この場合、計算された近傍距離範囲によってカバーされる全ての領域が画像の有効領域の外側にあるため、その範囲は無効としてマークされ、したがって、更なる処理のために使用されない。次いで、得られた画像範囲IR31は、第1画像処理部151により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。この特定のケースでは、第2画像処理部152によってさらなる処理は実行されない。
上記の全てのケースでは、最終的な合成画像は、第1画像処理部151および第2画像処理部152の結果を取得することにより、合成部161によって作成される。次に、画像算出部171は、合成画像を使用して差分画像を算出し、算出した差分画像は、障害物検出部181により使用されて、障害物検出を実行する。その結果は、最終的に、制御アプリケーション処理部191により使用されて、車両Vによって実行されるべき制御アプリケーションを決定する。
以上で説明したように、図1に示される本実施形態に係る障害物検出および障害物認識のための画像処理装置110は、
当該装置が取り付けられているデバイスの前のシーンの画像を取り込むことができるセンシング部111と、
センシング部111によって取得された画像を処理し、その特性(これらに限定されないが、画像サイズ、画像解像度、および画像関心領域を含む)を調整する画像取得部121と、
カメラピッチ角(水平軸回転)、カメラロール角(縦軸回転)、およびカメラヨー角(垂直軸回転)によって定義されるカメラ姿勢パラメータのいずれかまたは全ての計算を実行するカメラ姿勢パラメータ算出部131と、
カメラ姿勢パラメータ算出部131によって計算されたカメラ姿勢パラメータに基づいて、画像取得部121によって取得された画像のうち第1画像処理部151および第2画像処理部152によって処理される2つの異なる範囲の計算を実行する処理範囲割り当て部141と、
第2画像処理部152によって使用される範囲とは異なる処理範囲割り当て部141によって計算された範囲に基づいて、画像取得部121によって取得されて処理された画像に所定の画像処理(例えば、幾何学的画像変換)を実行する第1画像処理部151と、
第1画像処理部151によって使用される範囲とは異なる処理範囲割り当て部141によって計算された範囲に基づいて、画像取得部121によって取得されて処理された画像に所定の画像処理(例えば、幾何学的画像変換)を実行する第2画像処理部152と、
第1画像処理部151および第2画像処理部152によって得られた結果から、単一合成を実行する合成部161と、
障害物検出部181のための入力として使用される所望の画像(これに限定されないが、合成部161によって作成された少なくとも2つの画像間の差分を表す差分画像を含み得る)を計算するための画像算出部171と、
画像取得部121によって取得された画像ならびに画像算出部171の結果を使用して、物体検出および物体認識を実行する障害物検出部181と、
障害物検出部181からの出力を少なくとも含み得る現在の条件に基づいて、当該画像処理装置110が備えられるデバイスによって実行される制御アプリケーションを決定する制御アプリケーション処理部191と、を備える。
当該装置が取り付けられているデバイスの前のシーンの画像を取り込むことができるセンシング部111と、
センシング部111によって取得された画像を処理し、その特性(これらに限定されないが、画像サイズ、画像解像度、および画像関心領域を含む)を調整する画像取得部121と、
カメラピッチ角(水平軸回転)、カメラロール角(縦軸回転)、およびカメラヨー角(垂直軸回転)によって定義されるカメラ姿勢パラメータのいずれかまたは全ての計算を実行するカメラ姿勢パラメータ算出部131と、
カメラ姿勢パラメータ算出部131によって計算されたカメラ姿勢パラメータに基づいて、画像取得部121によって取得された画像のうち第1画像処理部151および第2画像処理部152によって処理される2つの異なる範囲の計算を実行する処理範囲割り当て部141と、
第2画像処理部152によって使用される範囲とは異なる処理範囲割り当て部141によって計算された範囲に基づいて、画像取得部121によって取得されて処理された画像に所定の画像処理(例えば、幾何学的画像変換)を実行する第1画像処理部151と、
第1画像処理部151によって使用される範囲とは異なる処理範囲割り当て部141によって計算された範囲に基づいて、画像取得部121によって取得されて処理された画像に所定の画像処理(例えば、幾何学的画像変換)を実行する第2画像処理部152と、
第1画像処理部151および第2画像処理部152によって得られた結果から、単一合成を実行する合成部161と、
障害物検出部181のための入力として使用される所望の画像(これに限定されないが、合成部161によって作成された少なくとも2つの画像間の差分を表す差分画像を含み得る)を計算するための画像算出部171と、
画像取得部121によって取得された画像ならびに画像算出部171の結果を使用して、物体検出および物体認識を実行する障害物検出部181と、
障害物検出部181からの出力を少なくとも含み得る現在の条件に基づいて、当該画像処理装置110が備えられるデバイスによって実行される制御アプリケーションを決定する制御アプリケーション処理部191と、を備える。
すなわち、本実施形態に係る画像処理装置110は、カメラで撮像された画像の少なくとも一部である第1部分(例えば、遠方距離範囲)を画像処理(例えば、俯瞰画像変換処理)する第1画像処理部151と、前記第1部分が前記画像の一部である場合、前記画像のうち前記第1部分とは異なる第2部分(例えば、近傍距離範囲)を画像処理(例えば、俯瞰画像変換処理)する第2画像処理部152と、カメラ姿勢パラメータに応じて、前記第1画像処理部151に送信される画像範囲と前記第2画像処理部152に送信される画像範囲の割合を決める処理範囲割り当て部141と、を備える。
上記の処理を採用することにより、遠方距離範囲データを処理するように最適化された第1画像処理部151および近傍距離範囲データを処理するように最適化された第2画像処理部152によって処理される画像範囲(の割合)を、カメラ姿勢パラメータ算出部131によって計算されたカメラ姿勢パラメータに基づいて、動的に調整することにより、画像処理目的に使用されるメモリリソースの量を分配することが可能であり、したがって、デバイスが移動(走行)する環境条件が変化した場合でも、障害物検出部181によって実行される物体検出および位置特定の精度を維持することが可能である。
以上、本実施形態に係る障害物検出および障害物認識のための画像処理装置110の構成および動作について説明した。本実施形態に係る画像処理装置110は、特に近傍距離検出が必要とされる交差点シナリオのために、1つまたは2つの処理部のいずれかによって別々に画像処理を実行するとともに、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因を使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することにより、物体検出の精度ならびに検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することが可能となる。
現時点で考えられる本発明の好適な実施形態について説明したが、本実施形態に対して様々な変更を加えることができ、本発明の真の精神および範囲内の全ての変更は、添付の特許請求の範囲内にあることが意図される。
また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
110 画像処理装置
111 センシング部
121 画像取得部
131 カメラ姿勢パラメータ算出部
141 処理範囲割り当て部
151 第1画像処理部
152 第2画像処理部
161 合成部
171 画像算出部
181 障害物検出部
191 制御アプリケーション処理部
111 センシング部
121 画像取得部
131 カメラ姿勢パラメータ算出部
141 処理範囲割り当て部
151 第1画像処理部
152 第2画像処理部
161 合成部
171 画像算出部
181 障害物検出部
191 制御アプリケーション処理部
Claims (5)
- カメラで撮像された画像の少なくとも一部である第1部分を画像処理する第1画像処理部と、
前記第1部分が前記画像の一部である場合、前記画像のうち前記第1部分とは異なる第2部分を画像処理する第2画像処理部と、
カメラ姿勢パラメータに応じて、前記第1画像処理部に送信される画像範囲と前記第2画像処理部に送信される画像範囲の割合を決める処理範囲割り当て部と、を備える画像処理装置。 - 請求項1に記載の画像処理装置において、
前記画像の第1部分は、前記カメラから相対的に遠い遠方距離範囲であり、前記画像の第2部分は、前記カメラに相対的に近い近傍距離範囲である画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1画像処理部および前記第2画像処理部の画像処理は俯瞰画像変換処理である画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1画像処理部および前記第2画像処理部の画像処理の結果を用いて合成画像を作成する合成部と、
前記合成部によって作成された少なくとも2つの合成画像間の不一致を表す差分画像を算出する画像算出部とをさらに備える画像処理装置。 - 請求項1に記載の画像処理装置において、
前記処理範囲割り当て部は、前記カメラを搭載した車両の走行中に計算した前記カメラ姿勢パラメータに応じて、前記第1画像処理部に送信される画像範囲と前記第2画像処理部に送信される画像範囲の割合を動的に決める画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112021003430.8T DE112021003430T5 (de) | 2020-09-02 | 2021-06-29 | Bildverarbeitungsvorrichtung |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020147801A JP7436331B2 (ja) | 2020-09-02 | 2020-09-02 | 画像処理装置 |
JP2020-147801 | 2020-09-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022049880A1 true WO2022049880A1 (ja) | 2022-03-10 |
Family
ID=80491023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/024502 WO2022049880A1 (ja) | 2020-09-02 | 2021-06-29 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7436331B2 (ja) |
DE (1) | DE112021003430T5 (ja) |
WO (1) | WO2022049880A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115588301A (zh) * | 2022-09-08 | 2023-01-10 | 合肥师范学院 | 基于交通摄像头的骑车人检测分析方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09223227A (ja) * | 1996-02-15 | 1997-08-26 | Honda Motor Co Ltd | 車両用環境認識装置 |
JP2005148817A (ja) * | 2003-11-11 | 2005-06-09 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP2017037401A (ja) * | 2015-08-07 | 2017-02-16 | 株式会社デンソー | 走行環境認識装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6715205B2 (ja) | 2017-03-29 | 2020-07-01 | 日立建機株式会社 | 作業機械の周囲画像表示装置 |
-
2020
- 2020-09-02 JP JP2020147801A patent/JP7436331B2/ja active Active
-
2021
- 2021-06-29 WO PCT/JP2021/024502 patent/WO2022049880A1/ja active Application Filing
- 2021-06-29 DE DE112021003430.8T patent/DE112021003430T5/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09223227A (ja) * | 1996-02-15 | 1997-08-26 | Honda Motor Co Ltd | 車両用環境認識装置 |
JP2005148817A (ja) * | 2003-11-11 | 2005-06-09 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP2017037401A (ja) * | 2015-08-07 | 2017-02-16 | 株式会社デンソー | 走行環境認識装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115588301A (zh) * | 2022-09-08 | 2023-01-10 | 合肥师范学院 | 基于交通摄像头的骑车人检测分析方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP7436331B2 (ja) | 2024-02-21 |
DE112021003430T5 (de) | 2023-04-27 |
JP2022042386A (ja) | 2022-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6830936B2 (ja) | ダイクロイックミラーを使用する、自律走行車のための3d−lidarシステム | |
KR102275310B1 (ko) | 자동차 주변의 장애물 검출 방법 | |
JP4052650B2 (ja) | 障害物検出装置、方法及びプログラム | |
JP6910973B2 (ja) | 車両制御装置及びその制御方法並びに車両制御システム | |
US20180268699A1 (en) | Mobile body spatial information calculation apparatus and collision avoidance system | |
CN111034186B (zh) | 周围车辆显示方法及周围车辆显示装置 | |
JP6952899B2 (ja) | ヘッドアップディスプレイ | |
CN108367710B (zh) | 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质 | |
JP6337811B2 (ja) | 画像処理装置及び画像処理方法 | |
US11325470B2 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle | |
KR102331000B1 (ko) | 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 | |
US20220044032A1 (en) | Dynamic adjustment of augmented reality image | |
JP2016131367A (ja) | 移動体システム | |
WO2019053922A1 (ja) | 画像処理装置 | |
US20190100141A1 (en) | Ascertainment of Vehicle Environment Data | |
WO2022049880A1 (ja) | 画像処理装置 | |
US10831203B2 (en) | Vehicle controller and method | |
CN112129313A (zh) | 基于惯性测量单元的ar导航补偿*** | |
US11607999B2 (en) | Method and apparatus for invisible vehicle underbody view | |
CN114119724A (zh) | 一种调整用于自动驾驶的高度图的网格间距的方法 | |
WO2020110435A1 (ja) | 外界認識装置 | |
JP7278740B2 (ja) | 移動体制御装置 | |
KR102625203B1 (ko) | 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법 | |
US11845429B2 (en) | Localizing and updating a map using interpolated lane edge data | |
WO2021106510A1 (ja) | 障害物認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21863938 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21863938 Country of ref document: EP Kind code of ref document: A1 |