WO2022080049A1 - 物体認識装置 - Google Patents
物体認識装置 Download PDFInfo
- Publication number
- WO2022080049A1 WO2022080049A1 PCT/JP2021/033256 JP2021033256W WO2022080049A1 WO 2022080049 A1 WO2022080049 A1 WO 2022080049A1 JP 2021033256 W JP2021033256 W JP 2021033256W WO 2022080049 A1 WO2022080049 A1 WO 2022080049A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- region
- unit
- reliability
- calculation unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Definitions
- the present invention relates to an object recognition device.
- Patent Document 1 discloses an object recognition method in a stereo camera having a stereo region where the fields of view overlap and a monocular region where the fields of view do not overlap.
- Patent Document 1 it is assumed that an object moves from the monocular region to the stereo region, and it is determined whether or not the object detected in the monocular region enters the stereo region in the next frame, and when it is determined that the object enters the stereo region. From the next frame onward, the type of object is determined based on the parallax information.
- Patent Document 1 recognizes the object based on the parallax information in the stereo region.
- the object region imaged in the stereo region is only a part, so that the type is determined based on the partial information, and stable recognition becomes an issue.
- an object of the present invention is to provide an object recognition device that recognizes an imaged object straddling a visual field overlapping region and a visual field non-overlapping region with high accuracy.
- the object recognition device of the present invention that solves the above problems includes a three-dimensional information acquisition unit that acquires three-dimensional information from the field overlap region of the first sensor and the second sensor, and the first sensor and the second sensor.
- the visual field overlapping region and the visual field non-overlapping region are based on the information acquired by the texture information acquisition unit that acquires the texture information of the visual field overlapping region and the visual field non-overlapping region of the sensor, and the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit.
- An object detection unit that detects an object imaged in a region
- a first reliability calculation unit that calculates a first reliability that is an object identification result based on the three-dimensional information of the field overlap region, and the field of view.
- the reliability calculation unit having a second reliability calculation unit that calculates the second reliability that is the identification result of the object based on the texture information of the overlapping region and the non-overlapping area of the visual field, and the reliability calculation unit. It is characterized by including an object type specifying unit that specifies the type of the object based on the reliability.
- FIG. 3 is a flowchart relating to detection of a three-dimensional object of the object recognition device according to the embodiment disclosed in FIG. It is a flowchart of the weight calculation with respect to the identification score of the object recognition apparatus in the embodiment disclosed in FIG. It is a flowchart about the vehicle control of the object recognition apparatus in the embodiment disclosed in FIG.
- FIG. 1 is a functional block diagram showing the configuration of the object recognition device 1 of the first embodiment.
- the object recognition device 1 of the present embodiment is mounted on, for example, a vehicle of the own vehicle, and performs a process of recognizing and identifying an object existing in front of the own vehicle.
- the object recognition device 1 is composed of a camera, a computer, a memory, a storage device, and the like, and the computer operates as various functional units by executing a control program stored in the memory and the like.
- the object recognition device 1 has a first sensor 100, a second sensor 101, a three-dimensional information acquisition unit 102, and a texture information acquisition unit 103 as functional units realized by the operation of a camera or a computer. It has an object detection unit 104, a reliability calculation unit 105 composed of a first reliability calculation unit 106 and a second reliability calculation unit 107, an object type identification unit 108, and a vehicle control unit 109.
- the first sensor 100 and the second sensor 101 are composed of a camera capable of acquiring images, a millimeter-wave radar capable of acquiring three-dimensional information, Lidar, and the like.
- the first sensor 100 and the second sensor 101 have a configuration capable of acquiring texture (luminance) information and three-dimensional information.
- texture luminance
- the first sensor 100 and the second sensor 101 include a visual field overlapping region that shares a visual field with each other and a visual field non-overlapping region that does not overlap the visual fields.
- the field of view in the present invention is not limited to the field of view of the image, but is a broad concept indicating the detection range of the sensor.
- the 3D information acquisition unit 102 acquires 3D information based on at least one information of the first sensor 100 and the second sensor 101. Specifically, when the first sensor 100 and the second sensor 101 are composed of two cameras, triangulation is performed based on the positional relationship of each camera and the internal parameters of the cameras. Acquire 3D information. When the first sensor 100 is a millimeter wave radar and the second sensor 101 is a camera, the measurement result of the millimeter wave radar is acquired as three-dimensional information.
- the texture information acquisition unit 103 acquires the texture information of the object as at least one information of the first sensor 100 and the second sensor 101.
- the image information acquired by the first sensor 100 and the second sensor 101 becomes the texture information.
- the first sensor 100 is a millimeter wave radar and the second sensor 101 is a camera
- the image information acquired by the second sensor 101 becomes the texture information.
- the object detection unit 104 detects an object based on the information acquired by the three-dimensional information acquisition unit 102 and the texture information acquisition unit 103.
- the detection position may be expanded based on the texture information after performing the detection process based on the three-dimensional information, or the object may be detected based on the texture information and then the detection position may be determined based on the three-dimensional information. You may correct it.
- As a method for detecting an object based on 3D information there is a clustering method for 3D information. Further, when the first sensor and the second sensor are cameras, the three-dimensional information is projected onto the two-dimensional image information, a distance image or a parallax image is generated, and a clustering process for the distance or the parallax is performed. You may detect the object with.
- a method of detecting an object based on texture information there is a means by statistical machine learning. Further, the template image for the object to be recognized may be calculated in advance, and the object may be detected by template matching.
- the reliability calculation unit 105 calculates the identification score (identification result) of the object based on the texture information and the first reliability calculation unit 106 that calculates the identification score (identification result) of the object based on the three-dimensional information. It is composed of a reliability calculation unit 107.
- the first reliability calculation unit 106 calculates the first reliability based on the three-dimensional information of the region detected by the object detection unit 104, and performs the object identification process based on the first reliability.
- machine learning can be used by inputting the output distance of the millimeter wave radar, the point cloud information of the lidar, the distance information of the stereo camera, and the like.
- a distance image or a parallax image may be generated by superimposing the acquired three-dimensional information on the two-dimensional image, and identification processing may be performed based on the generated distance image or parallax image.
- the second reliability calculation unit 107 calculates the second reliability based on the texture information of the region detected by the object detection unit 104, and performs the object identification process based on the second reliability.
- the object identification process may be template matching using a specific template, or object identification may be performed by statistical machine learning.
- the object type specifying unit 108 specifies the object type of the object based on the reliability calculated by the reliability calculation unit 105. Specifically, the identification score, which is the reliability calculated by the first reliability calculation unit 106 and the second reliability calculation unit 107, is integrated, and the type with the maximum integrated identification score and the score of that type are obtained. Output.
- the vehicle control unit 109 determines the risk of collision with the object from the recognized three-dimensional position of the object, and implements vehicle control when it is determined that there is a possibility of collision. Further, the vehicle control method to be implemented can be selected according to the score output by the object type specifying unit 108.
- FIG. 2 is a scene in which the vehicle V100 is traveling in the adjacent overtaking lane.
- the own vehicle is traveling in the left lane, and the vehicle V100 is traveling in the right lane in front of the own vehicle in the same direction as the own vehicle.
- F101 shows the field of view overlapping area of the two cameras, and is an area where not only texture information but also three-dimensional information can be acquired. Further, F100 and F102 indicate non-overlapping visual field areas of the two cameras, and are areas in which only texture information can be acquired.
- R100 indicates a region of the vehicle V100 from which the three-dimensional information captured in the visual field overlapping region F101 can be acquired, and R101 is the entire vehicle V100 imaged across the visual field overlapping region F101 and the visual field non-overlapping region F102. It is an area where texture information can be acquired.
- the object recognition device 1 of the operation example 1 has a texture acquisition process (P101), a parallax calculation process (P102), a three-dimensional object detection process (P103), a parallax score calculation process (P104), a texture score calculation process (P105), and a weight calculation.
- the process (P106), the type determination process (P107), and the vehicle control process (P108) are performed in order, and the vehicle control of the own vehicle is performed for the vehicle V100.
- the texture information of the images in the regions of F100, F101, and F102 in FIG. 2 captured by the two cameras is acquired.
- the corresponding point search for the two cameras is performed, and the parallax, which is the offset on the images of the first camera and the second camera, is calculated.
- the validity / invalidity determination of parallax is carried out.
- the corresponding point search it is determined that the parallax of the matching score above the threshold value is valid, and the parallax of the matching score below the predetermined value is invalid.
- the distance from the camera is also measured based on the calculated parallax information, the position / posture of the camera, and the information of the internal parameters of the camera.
- FIG. 4 shows a processing flow of the three-dimensional object detection processing (P103).
- the parallax grouping process (P201) is first performed (first detection process).
- the object region R100 of the visual field overlapping region shown in F101 of FIG. 2 is specified by clustering the same parallax on the parallax image.
- a three-dimensional object filtering process (P202) is performed (second detection process).
- P202 only the objects detected around the boundary of the visual field overlapping region shown in F101 of FIG. 2 are extracted. As a result, only the objects that are likely to be imaged across the field of view overlapping area and the field of view non-overlapping area are extracted.
- the processing area expansion process (P203) is performed on the extracted object.
- the field of view overlapping area F101 and the area R103 including the vehicle V100 imaged across the field of view non-overlapping area F102 are set based on the object area R100 detected in the field of view overlapping area F101.
- the distance to the object is measured, and the processing area is set according to the distance and the camera parameters.
- the object re-detection process (P204), an object is detected by analyzing the texture information of the region R103.
- a convolutional neural network is used as a detection method.
- the image position on the upper left and the image position on the lower right of the object are output.
- the area R101 of the vehicle V100 imaged across the field of view overlapping area F101 and the field of view non-overlapping area F102 can be specified.
- the object identification process is performed based on the parallax information of the object region R100 detected by the three-dimensional object detection process (P103).
- a convolutional neural network is used to identify the object, and the identification score Score_D is output.
- the object identification process is performed based on the texture information of R101 detected by the three-dimensional object detection process (P103).
- a convolutional neural network is used to identify the object, and the identification score Score_T is output.
- FIG. 5 shows a processing flow of the weight calculation processing (P106).
- the number of pixels Area_D which is the area of the object area R100, which is the processing area, is calculated.
- Area_D the number of pixels Area_V determined to be valid at the time of parallax calculation is calculated. According to Area_V / Area_D (the number of pixels Area_V is divided by the number of pixels Area_D), the parallax density Density_D is calculated.
- the number of pixels Area_T in the area R101 is calculated.
- the parallax / texture weight calculation process (P303) is performed.
- the weight Weight_D for Score_D and the weight Weight_T for Score_T are obtained.
- Weight_D and Weight_T are calculated according to the following equation.
- Weight_D (Area_D) / (Area_D + Area_T) * Density_D ...
- Weight_T (Area_T) / (Area_D + Area_T) ... (2)
- the discrimination score Score_D calculated by the parallax score calculation process (P104), the discrimination score Score_T calculated by the texture score calculation process (P105), and the weights Weight_D and Weight_T calculated by the weight calculation process (P106) are used.
- the object identification score Total_Score is calculated, and the type of the object is specified.
- the object identification score Total_Score is calculated by the following formula.
- Total_Score Score_D * Weight_D + Score_T * Weight_T ... (3)
- Total_Score is calculated according to the equation (3), compared with a predetermined threshold value, and if it is equal to or higher than the threshold value, it is determined that the object is a recognition target.
- FIG. 6 shows a processing flow of vehicle control processing (P108).
- the three-dimensional position measurement process (P401) the three-dimensional position to the object is measured based on the distance information calculated by the parallax calculation process (P102) and the detection result of the three-dimensional object detection process (P103). Specifically, the distance to the object is calculated by acquiring the median value of the distance information with respect to the detected object area R100. In addition, the three-dimensional position of the object is calculated based on the calculated distance to the object and the horizontal position and the vertical position on the image.
- the vehicle control content determination process determines what kind of vehicle control is to be performed for the vehicle based on the identification score Total_Score in the type determination process (P107).
- the vehicle control content is determined based on two threshold values, the brake execution threshold value Brake_Thre and the warning execution threshold value Warning_Thre.
- the brake execution threshold value Brake_Thre and the alarm execution threshold value Warning_Thre have a relationship of Brake_Thre> Warning_Thre, and in the case of Total_Score> Brake_Thre, brake control is selected as the control content.
- brake control is selected as the control content.
- Warning_Thre> Total_Score it is determined that the vehicle control is not performed, and the vehicle control process (P108) is terminated.
- the vehicle control execution determination process (P403) is executed.
- the possibility of an object colliding is determined based on the three-dimensional position information of the object in the past frame and the object in the current frame. Specifically, curve fitting processing is performed on the movement locus of the object from the three-dimensional position information of the past frame and the current frame. Similarly, the future movement locus of the own vehicle is estimated from the current vehicle speed sensor and yaw rate sensor.
- the object recognition device 1 of the present embodiment has the limited discriminant information acquired from the field of view overlapping area, the field of view overlapping area, and the field of view for the object imaged across the field of view overlapping area and the field of view non-overlapping area.
- the recognition process in combination with the wide-area texture information acquired from the non-overlapping area, the object can be recognized more stably.
- the object is detected based on the parallax information, and then the object is detected by analyzing the texture information.
- texture analysis which generally has a high processing load, is performed, and it is possible to reduce the processing load.
- weighting is performed according to the area where the parallax is acquired and the area where the texture is acquired.
- the object can be recognized more stably when the area where the parallax is acquired and the area where the texture is acquired are significantly different and the reliability of the identification score itself is different.
- the weight for the discrimination score of parallax is adaptively applied even when the effective parallax differs from frame to frame at night or in the rain. Can be adjusted. This makes it possible to recognize an object with high accuracy even at night or in the rain.
- the vehicle control content is changed according to the recognition score of the object. As a result, it is possible to prevent erroneous execution of brake control when the reliability of recognition is low.
- FIG. 7 shows a conceptual diagram of the weight calculation process (P106).
- I101 is a texture image (luminance image) used in the texture score calculation process (P105)
- I102 is a parallax image used in the parallax score calculation process (P104).
- the weights Weight_D and Weight_T are output as the texture information used in I101 and the parallax information used in I102 as inputs to the convolutional neural network.
- the convolutional neural network used in the weight calculation process (P106) is learned as shown in FIG. 7.
- the learning not only the texture information and the parallax information shown in the luminance image I101 and the parallax image I102, but also the identification score Score_T based on the texture and the identification score Score_D based on the parallax are used as inputs.
- the luminance image I101 and the parallax image I102 are input to the convolutional neural network, Weight_T and Weight_D are output, and Score_T and Score_D are calculated according to the equation (3). Learning is performed so that the misidentification rate of the calculated integrated score is minimized.
- texture information and parallax information can be analyzed, and weights can be adaptively output based on the analysis results.
- the weight is weakened for patterns that the identification process is not good at, and the weight is increased for the patterns that the identification process is good at. It becomes possible to recognize an object with higher accuracy.
- FIG. 8 shows a conceptual diagram of the parallax score calculation process (P104).
- R200 shows a field overlap region in which parallax is calculated.
- R202 indicates a region of the visual field non-overlapping region detected in the three-dimensional object detection process (P103).
- the parallax score calculation process (P104) first, the lateral center position R203 of the region detected in the three-dimensional object detection process (P103) is estimated. Then, the parallax shown in the visual field overlapping region R200 is folded back with reference to the lateral center position R203.
- the parallax image shown in the visual field overlapping region R200 is inverted to the right with the lateral center position R203 as the axis, and the parallax image is expanded to the visual field non-overlapping region R202. Then, the parallax information in the region R202 of the non-overlapping visual field region is calculated. In the parallax score calculation process (P104), the discrimination process is performed based on the parallax information R204 acquired from the visual field overlapping region and the visual field non-overlapping region.
- the weight Weight_D is calculated based on the parallax information R204 acquired from the visual field overlapping region and the visual field non-overlapping region.
- the area Area_D from which the parallax is acquired is the number of pixels of R204.
- Area_V used for density calculation is calculated by folding back valid / invalid information of parallax.
- Weight_D is calculated based on the calculated Area_D and Area_V.
- the left-right symmetry of the object is assumed, and the parallax folding process is performed with reference to the center position of the object.
- parallax information that cannot normally be calculated in the non-overlapping visual field region can be acquired by utilizing the information in the overlapping visual field region.
- the identification process can be performed based on the parallax information over a wider area, and the recognition performance can be improved.
- FIG. 9 shows the processing flow of the three-dimensional object detection processing (P103) in the operation example 4.
- the object detection process based on the texture information is first performed, and the detection frame is corrected by analyzing the parallax information in the region where the object is detected.
- the texture analysis process (P501) an object is detected by a convolutional neural network in which texture information is input.
- An object filtering process (P502) is performed on the detected area.
- it is determined whether or not the detected object is included in the visual field overlapping region.
- the parallax analysis process (P503) analyzes the parallax image and corrects the region detected by the texture analysis process (P501).
- the amount of change in parallax is used for parallax image analysis. Labeling pixels whose parallax values of adjacent pixels are separated by a certain amount or more. For example, by scanning an image in the horizontal direction and coloring (labeling) the pixels whose distance difference from the adjacent pixels is equal to or greater than the threshold value, a line is drawn along the boundary between the three-dimensional object and the background. A straight line fitting process is performed on the labeled pixels, the obtained straight line is determined to be the end of the object, and the detection result of the texture analysis process (P501) is corrected. With this correction, the detection frame can be moved to the edge of the object.
- the object area detected by the texture analysis process is corrected by analyzing the parallax.
- the difference in distance between a three-dimensional object and the background is generally large. Therefore, the object region can be detected more accurately by correcting the boundary of the object based on the parallax.
- the difference between the operation example 1 and the operation example 5 in the vehicle control process (P108) is the method of measuring the three-dimensional position of the object.
- FIG. 10 shows a method of measuring the three-dimensional position of the object in the operation example 5.
- the parallax acquisition area / density calculation process P601
- the parallax acquisition area Area_D and the parallax density Density_D (density information) in the acquired region are calculated.
- the texture acquisition area calculation process (P602)
- the area Area_T for acquiring the texture is calculated.
- the distance measurement method determination process P603
- the acquisition area information or density information of the three-dimensional information used by the first reliability calculation unit 106 and the acquisition area information of the texture information used by the second reliability calculation unit 107 are used.
- a process of changing the method of determining the three-dimensional position of the object is performed.
- the calculation is performed by the following equation based on the area Area_D for acquiring the parallax, the parallax density Density_D, and the area Area_T for acquiring the texture.
- ⁇ is a parameter that adjusts the reliability of texture and parallax, and an appropriate value is determined by experiment.
- the three-dimensional position of the object is measured by the texture-based ranging method. That is, when the range of the obtained parallax image is narrower than the predetermined value, the texture-based ranging method is selected.
- the condition of the equation (4) is not satisfied, the three-dimensional position of the object is measured by the parallax-based ranging method. That is, when the range of the obtained parallax image is wider than a predetermined value, the parallax-based distance measuring method is selected.
- the three-dimensional position of the object is measured based on the parallax information in the overlapping visual fields.
- the distance to the object is calculated by acquiring the median value of the parallax information of the detected object area.
- the three-dimensional position of the object is calculated based on the calculated distance to the object and the horizontal position and the vertical position on the image.
- the distance of an object is measured based on the detection position information of the object in the non-overlapping visual field area.
- the road surface estimation process P605
- the parallax information in the field overlap region is analyzed, and the distance information of the road surface is acquired for each vertical position on the image.
- the lower end position of the object in the field overlap region is determined to be the ground contact position. Then, the distance information of the object is estimated based on the distance information of the road surface estimated by the road surface estimation process (P605) and the information of the ground contact position of the object. The three-dimensional position of the object is acquired based on the estimated distance information.
- the distance calculation method of the object is adaptively switched according to the number of parallax and the number of textures that can be acquired.
- the distance calculation based on the texture information is performed to accurately calculate the three-dimensional position to the object. be able to.
- the above equation (4) can be changed to the condition of the following equation (5). Score_D ⁇ * (Score_T) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (5)
- ⁇ is a parameter for adjusting the reliability of texture and parallax, and an appropriate value is determined by experiment.
- the distance measuring method can be switched according to the identification score. If the discrimination score based on parallax is low, it can be judged that the reliability of parallax itself is low. Therefore, it is possible to reduce the error of distance estimation due to erroneous parallax information. Further, the distance measurement method can be changed according to the following equation instead of the equations (4) and (5).
- the present invention is not limited to the above-described embodiments, and various designs are designed without departing from the spirit of the present invention described in the claims. You can make changes.
- the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
- it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
- First sensor 101
- Second sensor 102
- Three-dimensional information acquisition unit 103
- Texture information acquisition unit 104
- Object detection unit 105
- Reliability calculation unit 106
- First reliability calculation unit 107
- Second reliability calculation unit 108
- Object type identification Unit 109
- Vehicle control unit vehicle control device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本発明は、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識する物体認識装置の提供を目的とする。本発明の物体認識装置は、第一のセンサ100と第二のセンサ101の視野重複領域から3次元情報を取得する3次元情報取得部102と、第一のセンサと第二のセンサの視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部103と、3次元情報取得部とテクスチャ情報取得部が取得した情報に基づき視野重複領域と視野非重複領域に撮像された物体を検出する物体検出部104と、視野重複領域の3次元情報に基づいて物体の識別結果の信頼度を算出する第一の信頼度算出部106と、視野重複領域と視野非重複領域のテクスチャ情報に基づいて物体の識別結果の信頼度を算出する第二の信頼度算出部107と、信頼度に基づき物体の種別を特定する物体種別特定部108を備える。
Description
本発明は、物体認識装置に関する。
自動運転の実現や交通事故防止のために、広角なセンシング領域における立体物の認識技術に期待が寄せられている。広角なセンシングを実現するため、特許文献1では視野が重複するステレオ領域と視野が重複しない単眼領域を持つステレオカメラにおける、物体の認識手法を開示している。特許文献1では、単眼領域からステレオ領域に物体が移動することを想定し、単眼領域で検出した物体が次回のフレームにおいてステレオ領域に進入するか否かを判定し、進入すると判定された場合に次回のフレーム以降では視差の情報に基づき物体の種別を判定する。
そのため、物体がステレオ領域と単眼領域を跨ぐ形で撮像される場合、特許文献1では、ステレオ領域の視差の情報に基づき物体を認識することとなる。しかしながら、物体がステレオ領域に進入したフレームでは、ステレオ領域に撮像される物体領域は一部のみとなるため、部分的な情報に基づき種別を判定することとなり、安定的な認識が課題となる。
本発明は、このような課題に鑑み、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識する物体認識装置の提供を目的とする。
本発明は、このような課題に鑑み、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識する物体認識装置の提供を目的とする。
上記課題を解決する本願発明の物体認識装置は、第一のセンサと第二のセンサの視野重複領域から3次元情報を取得する3次元情報取得部と、前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備えることを特徴とする。
本発明によれば、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識することができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下に、本発明の実施形態について詳細に説明する。
(実施例1)
図1は、実施例1の物体認識装置1の構成を示す機能ブロック図である。
本実施形態の物体認識装置1は、例えば自車の車両に搭載され、自車の前方に存在する物体を認識して識別する処理を行う。物体認識装置1は、カメラ、コンピュータ、メモリおよび記憶装置などで構成されており、コンピュータが、メモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。
図1は、実施例1の物体認識装置1の構成を示す機能ブロック図である。
本実施形態の物体認識装置1は、例えば自車の車両に搭載され、自車の前方に存在する物体を認識して識別する処理を行う。物体認識装置1は、カメラ、コンピュータ、メモリおよび記憶装置などで構成されており、コンピュータが、メモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。
図1に示すように、物体認識装置1は、カメラやコンピュータの動作により実現される機能部として第一のセンサ100、第二のセンサ101、3次元情報取得部102、テクスチャ情報取得部103、物体検出部104、第一の信頼度算出部106と第二の信頼度算出部107から構成される信頼度算出部105、物体種別特定部108、及び車両制御部109を有している。
第一のセンサ100と第二のセンサ101は、画像を取得可能なカメラや、3次元情報を取得可能なミリ波レーダやLidar等によって構成される。第一のセンサ100と第二のセンサ101は、テクスチャ(輝度)の情報と3次元情報を取得できる構成を有している。一例として2台のカメラの組み合わせからなる構成(いわゆるステレオカメラ)や、カメラとミリ波レーダの組み合わせからなる構成がある。第一のセンサ100と第二のセンサ101は、互いに視野を共有している視野重複領域と、視野を重複していない視野非重複領域を備えている。なお、本発明における視野とは、画像の視野に限定されるものではなく、センサの検出範囲を示す広い概念である。
3次元情報取得部102では、第一のセンサ100と第二のセンサ101の少なくとも1つの情報に基づき3次元情報を取得する。具体的には、第一のセンサ100と第二のセンサ101が2台のカメラから構成されている場合には、それぞれのカメラの位置関係とカメラの内部パラメータに基づき三角測量を実施することで3次元情報を取得する。また、第一のセンサ100がミリ波レーダであり、第二のセンサ101がカメラである場合には、ミリ波レーダの測定結果を3次元情報として取得する。
テクスチャ情報取得部103では、第一のセンサ100と第二のセンサ101の少なくとも1つの情報として物体のテクスチャ情報を取得する。第一のセンサ100と第二のセンサ101が2台のカメラから構成されている場合には、第一のセンサ100と第二のセンサ101で取得した画像情報がテクスチャ情報となる。また、第一のセンサ100がミリ波レーダであり、第二のセンサ101がカメラである場合には、第二のセンサ101で取得した画像情報がテクスチャ情報となる。
物体検出部104では、3次元情報取得部102とテクスチャ情報取得部103で取得した情報に基づき物体を検出する。物体の検出方法として、3次元情報に基づき検出処理を実施したのち、テクスチャ情報に基づき検出位置を拡張しても良いし、テクスチャ情報に基づき物体を検出したのち、3次元情報に基づき検出位置を補正しても良い。3次元情報に基づく物体の検出方法として、3次元情報のクラスタリング手法がある。また、第一のセンサと第二のセンサがカメラである場合に、3次元情報を2次元の画像情報に投影し、距離画像若しくは視差画像を生成し、距離若しくは視差に対するクラスタリング処理を実施することで物体を検出してもよい。テクスチャ情報に基づく物体の検出の方法として、統計的な機械学習による手段がある。また、認識する物体に対するテンプレート画像を事前に計算しておき、テンプレートマッチングにより物体を検出してもよい。
信頼度算出部105は、3次元情報に基づき物体の識別スコア(識別結果)を算出する第一の信頼度算出部106とテクスチャ情報に基づき物体の識別スコア(識別結果)を算出する第二の信頼度算出部107から構成される。第一の信頼度算出部106では、物体検出部104で検出した領域の3次元情報に基づき第一の信頼度を算出し、第一の信頼度による物体の識別処理を実施する。3次元情報に基づく識別処理では、ミリ波レーダの出力距離や、Lidarの点群情報、ステレオカメラの距離情報などを入力とした機械学習を用いることができる。その他にも、取得した3次元情報を2次元の画像上に重畳することで距離画像や視差画像を生成し、生成した距離画像や視差画像に基づき識別処理を実施しても良い。第二の信頼度算出部107では、物体検出部104で検出した領域のテクスチャ情報に基づき第二の信頼度を算出し、第二の信頼度による物体の識別処理を実施する。物体の識別処理は特定のテンプレートを利用したテンプレートマッチングでも良いし、統計的な機械学習により物体の識別を実施しても良い。
物体種別特定部108では、信頼度算出部105で算出した信頼度に基づき物体の物体種別を特定する。具体的には、第一の信頼度算出部106と第二の信頼度算出部107で算出した信頼度である識別スコアを統合し、統合した識別スコアが最大となる種別とその種別のスコアを出力する。
車両制御部109では、認識した物体の3次元位置から物体との衝突リスクを判定し、衝突する可能性があると判断された場合に、車両制御を実施する。また、物体種別特定部108が出力したスコアに応じて、実施する車両制御方法を選択することができる。
(動作例1)
次に、図2に示すシーンにおける本実施形態の物体認識装置1の動作例を、図3のフローチャートを参照して詳細に説明する。以降の動作例では、物体認識装置1は車両の前方を監視する形式で設置されているものとする。また、第一のセンサ100と第二のセンサ101は両方ともカメラとして説明する。
次に、図2に示すシーンにおける本実施形態の物体認識装置1の動作例を、図3のフローチャートを参照して詳細に説明する。以降の動作例では、物体認識装置1は車両の前方を監視する形式で設置されているものとする。また、第一のセンサ100と第二のセンサ101は両方ともカメラとして説明する。
図2は、隣接する追い越し車線を車両V100が走行しているシーンである。自車は、左側のレーンを走行しており、車両V100は、自車の前方で右側のレーンを自車と同じ方向に向かって走行している。F101は2台のカメラの視野重複領域を示しており、テクスチャ情報だけでなく3次元情報を取得可能な領域である。また、F100とF102は2台のカメラの視野非重複領域を示しており、テクスチャ情報のみ取得可能な領域となっている。R100は車両V100のうち、視野重複領域F101に撮像された3次元情報を取得可能な領域を示しており、R101は視野重複領域F101と視野非重複領域F102に跨り撮像された車両V100の全体の領域でありテクスチャ情報を取得可能な領域となっている。
動作例1の物体認識装置1は、テクスチャ取得処理(P101)、視差算出処理(P102)、立体物検出処理(P103)、視差スコア算出処理(P104)、テクスチャスコア算出処理(P105)、重み算出処理(P106)、種別判定処理(P107)、及び車両制御処理(P108)を順に実施し、車両V100に対する自車の車両制御を実施する。
テクスチャ取得処理(P101)では、2台のカメラで撮像された図2におけるF100、F101、及びF102の領域における画像のテクスチャ情報を取得する。
視差算出処理(P102)では、2台のカメラに対する対応点探索を実施し、第一カメラと第二カメラの画像上でのオフセットである視差を算出する。ここで、視差の有効・無効判定を実施する。対応点探索を実施した際に、閾値以上のマッチングスコアの視差は有効だと判定し、所定値以下のマッチングスコアの視差は無効だと判定する。また、算出した視差の情報と、カメラの位置・姿勢、カメラの内部パラメータの情報とに基づいてカメラからの距離も測定する。
立体物検出処理(P103)では、視差情報による物体の初期検知を行い、その後、テクスチャ情報に基づく検知枠の拡張を実施することで画像上における物体の領域を特定する。図4に立体物検出処理(P103)の処理フローを示す。
立体物検出処理(P103)では、初めに視差グルーピング処理(P201)を実施する(第一の検出処理)。視差グルーピング処理では視差画像上の同一視差をクラスタリングすることで図2のF101に示す視野重複領域の物体領域R100を特定する。次に、立体物フィルタリング処理(P202)を実施する(第二の検出処理)。立体物フィルタリング処理(P202)では、図2のF101に示す視野重複領域の境界周辺で検出された物体のみを抽出する。これにより、視野重複領域と視野非重複領域に跨り撮像される可能性の高い物体のみを抽出する。物体を抽出することができた(条件該当する)場合、抽出された物体に対して、処理領域拡張処理(P203)を実施する。処理領域拡張処理(P203)では、視野重複領域F101で検出された物体領域R100に基づき視野重複領域F101、及び視野非重複領域F102に跨り撮像された車両V100を包含する領域R103を設定する。領域R103の設定方法として、物体までの距離を測定し、距離とカメラパラメータに従い処理領域を設定する。物体再検知処理(P204)では、領域R103のテクスチャ情報を解析することで物体を検出する。検出する方法として、畳込みニューラルネットワークを用いる。畳込みニューラルネットワークでは、物体の左上の画像位置と右下の画像位置を出力する。畳込みニューラルネットワークの出力により、視野重複領域F101、及び視野非重複領域F102に跨り撮像された車両V100の領域R101を特定することができる。
視差スコア算出処理(P104)では、立体物検出処理(P103)で検出した物体領域R100の視差情報に基づき物体の識別処理を実施する。物体の識別には畳込みニューラルネットワークを用い、識別スコアScore_Dを出力する。
テクスチャスコア算出処理(P105)では、立体物検出処理(P103)で検出したR101のテクスチャ情報に基づき物体の識別処理を実施する。物体の識別には畳込みニューラルネットワークを用い、識別スコアScore_Tを出力する。
重み算出処理(P106)では、視差スコア算出処理(P104)で算出した識別スコアScore_Dとテクスチャスコア算出処理(P105)で算出した識別スコアScore_Tを統合する際の重みを計算する。図5に重み算出処理(P106)の処理フローを示す。視差取得面積・密度計算処理(P301)では、処理領域である物体領域R100の面積である画素数Area_Dを計算する。また、Area_Dのうち、視差計算時において有効だと判定された画素数Area_Vを計算する。Area_V/Area_Dに従い(画素数Area_Vを画素数Area_Dで割り算し)、視差密度Density_Dを計算する。テクスチャ取得面積計算処理(P302)では、領域R101の画素数Area_Tを計算する。その後、視差・テクスチャ重み計算処理(P303)を実施する。視差・テクスチャ重み計算処理(P303)では、Score_Dに対する重みWeight_D、及びScore_Tに対する重みWeight_Tを求める。Weight_D、及びWeight_Tは次式に従い計算する。
Weight_D = (Area_D)/(Area_D+Area_T)* Density_D・・(1)
Weight_T = (Area_T)/(Area_D+Area_T)・・(2)
Weight_D = (Area_D)/(Area_D+Area_T)* Density_D・・(1)
Weight_T = (Area_T)/(Area_D+Area_T)・・(2)
種別判定処理(P107)では、視差スコア算出処理(P104)で算出した識別スコアScore_Dとテクスチャスコア算出処理(P105)で算出した識別スコアScore_Tと重み算出処理(P106)で算出した重みWeight_D、Weight_Tに基づき、物体の識別スコアTotal_Scoreを算出し、物体の種別を特定する。物体の識別スコアTotal_Scoreは次式により計算する。
Total_Score = Score_D*Weight_D + Score_T*Weight_T・・(3)
式(3)に従いTotal_Scoreを計算し、所定の閾値と比較し、閾値以上であった場合に、認識対象の物体であると判定する。
Total_Score = Score_D*Weight_D + Score_T*Weight_T・・(3)
式(3)に従いTotal_Scoreを計算し、所定の閾値と比較し、閾値以上であった場合に、認識対象の物体であると判定する。
車両制御処理(P108)では、物体までの距離情報に基づき物体の衝突する可能性を判定し、衝突する可能性があると判断された場合に車両制御を実施する。図6に車両制御処理(P108)の処理フローを記載する。3次元位置計測処理(P401)では、視差算出処理(P102)で計算した距離情報と立体物検出処理(P103)の検出結果に基づき物体までの3次元位置を測定する。具体的には、検出した物体領域R100に対する距離情報の中央値を取得することで、物体までの距離を計算する。また、計算した物体までの距離と画像上での横方向位置と縦方向位置に基づき物体の3次元位置を計算する。車両制御内容決定処理(P402)では、種別判定処理(P107)での識別スコアTotal_Scoreに基づいて車両に対してどのような車両制御を実施するかを決定する。車両制御内容決定処理(P402)では、ブレーキ実施閾値Brake_Threと警報実施閾値Warning_Threの2つの閾値に基づき車両制御内容を決定する。ブレーキ実施閾値Brake_Threと警報実施閾値Warning_ThreはBrake_Thre>Warning_Threの関係にあり、Total_Score>Brake_Threの場合には制御内容としてブレーキ制御を選択する。一方で、Brake_Thre>Total_Score>Warning_Threの場合には、制御内容として警報制御を選択する。また、Warning_Thre>Total_Scoreの場合には、車両制御を実施しないと判断し、車両制御処理(P108)を終了する。車両制御内容決定処理(P402)でブレーキ制御、若しくは警報制御が選択された場合、車両制御実施判定処理(P403)を実行する。車両制御実施判定処理(P403)では、過去フレームと今回フレームの物体の3次元位置情報に基づき物体の衝突する可能性を判断する。具体的には、過去フレームと今回フレームの3次元位置情報から物体の移動軌跡に対して、曲線フィッティング処理を実施する。同様に、現在の車速センサ、ヨーレートセンサから自車両の将来の移動軌跡を推定する。曲線フィッティングにより求めた曲線と自車両の移動軌跡が交わる時刻が等しい場合に、衝突する可能性があると判断する。衝突すると判断された場合に、車両制御内容決定処理(P402)で決定した車両制御内容を実施する。
以上より、本実施形態の物体認識装置1は、視野重複領域と視野非重複領域に跨り撮像された物体に対して、視野重複領域から取得される限定的な視差情報と、視野重複領域及び視野非重複領域から取得される広域のテクスチャ情報と、を組み合わせ認識処理を実施することで、より安定的に物体を認識できる。
また、立体物検出処理では、視差情報に基づき物体の検出を実施し、その後テクスチャ情報を解析することで物体を検出する。これにより、一般に処理負荷の高いテクスチャ解析を実施する領域を限定することができ、処理負荷を低減することができる。
また、視差に基づく識別スコアとテクスチャに基づく識別スコアとを統合する際に、視差を取得した面積とテクスチャを取得した面積に応じて重みづけを実施する。これにより、視差を取得した面積とテクスチャを取得した面積が大きく異なり、識別スコア自体の信頼度が異なる場合に対して、より安定的に物体を認識することができる。また視差の重みを計算する際、面積だけでなく視差の密度を考慮することで、夜間や雨などで有効な視差がフレーム毎に異なる場合に対しても、適応的に視差の識別スコアに対する重みを調整することができる。これにより、夜間や雨などでも高精度に物体を認識することができる。
また、車両制御を実施する際に物体の認識スコアに応じ車両制御内容を変更する。これにより、認識に対する信頼度が低い場合に対して誤ってブレーキ制御を実行することを防止することができる。
(動作例2)
次に、物体認識装置1の2つめの動作例に関して述べる。動作例2の処理フローは図3に示した動作例1の処理フローと同一であり、重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例2における重み算出処理(P106)に関してのみ説明する。
次に、物体認識装置1の2つめの動作例に関して述べる。動作例2の処理フローは図3に示した動作例1の処理フローと同一であり、重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例2における重み算出処理(P106)に関してのみ説明する。
動作例2の重み算出処理(P106)では、統計的な機械学習により視差スコアとテクスチャスコアの重みを計算する。図7に重み算出処理(P106)の概念図を示す。図7においてI101はテクスチャスコア算出処理(P105)で利用するテクスチャ画像(輝度画像)であり、I102は視差スコア算出処理(P104)で利用する視差画像を示している。重み算出処理(P106)では、I101で利用したテクスチャ情報とI102で利用した視差情報を畳込みニューラルネットワークへの入力として、重みWeight_D、及びWeight_Tを出力する。重み算出処理(P106)で利用する畳込みニューラルネットワークは、図7に示すように学習される。学習では入力として、輝度画像I101、及び視差画像I102に示すテクスチャ情報と視差情報だけでなく、テクスチャに基づく識別スコアScore_T、及び視差に基づく識別スコアScore_Dを利用する。輝度画像I101、及び視差画像I102を畳込みニューラルネットワークに入力し、Weight_T、及びWeight_Dを出力し、Score_T、及びScore_Dと式(3)に従い統合スコアを計算する。計算した統合スコアの誤識別率が最小化されるように学習を実施する。
動作例2では、テクスチャ情報と視差情報を解析し、解析した結果に基づき適応的に重みを出力することができる。特に、入力情報と識別スコアの関係を考慮した学習を実施することで、識別処理が苦手とするパターンなどに対しては重みを弱め、識別処理が得意とするパターンに対しては重みを強めることができるようになり、より高精度に物体を認識することができる。
(動作例3)
次に、物体認識装置1の3つめの動作例に関して述べる。動作例3の処理フローは図3に示した動作例1の処理フローと同一であり、視差スコア算出処理(P104)、及び重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例3における視差スコア算出処理(P104)、及び重み算出処理(P106)に関してのみ説明する。
次に、物体認識装置1の3つめの動作例に関して述べる。動作例3の処理フローは図3に示した動作例1の処理フローと同一であり、視差スコア算出処理(P104)、及び重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例3における視差スコア算出処理(P104)、及び重み算出処理(P106)に関してのみ説明する。
視差スコア算出処理(P104)では、視野重複領域で取得した視差情報を視野非重複領域に拡張する。視差スコア算出処理(P104)の概念図を図8に示す。図8において、R200は視差が算出された視野重複領域を示している。R202は立体物検出処理(P103)において検出された視野非重複領域の領域を示している。視差スコア算出処理(P104)では初めに、立体物検出処理(P103)において検出された領域の横方向中心位置R203を推定する。そして、横方向中心位置R203を基準に、視野重複領域R200に示す視差を折り返す。つまり、視野重複領域R200に示す視差画像を、横方向中心位置R203を軸にして右側に反転させ、視差画像を視野非重複領域R202まで広げる処理を行う。そして、視野非重複領域の領域R202における視差情報を計算する。視差スコア算出処理(P104)では、視野重複領域と視野非重複領域から取得した視差情報R204に基づき識別処理を実施する。
重み算出処理(P106)では、視野重複領域と視野非重複領域から取得した視差情報R204に基づき重みWeight_Dを計算する。視差を取得した面積Area_DはR204の画素数である。また、密度計算に利用するArea_Vは、視差の有効・無効情報も折り返すことで計算する。計算したArea_DとArea_Vに基づきWeight_Dを計算する。
動作例3では、物体の左右対称性を仮定し、物体の中心位置を基準とした視差の折り返し処理を実施する。これにより、視野非重複領域では通常算出できない視差情報を、視野重複領域の情報を活用して取得できる。これにより、より広域の視差情報に基づき識別処理を実施することが可能となり、認識性能を向上させることができる。
(動作例4)
次に、物体認識装置1の4つめの動作例に関して述べる。動作例4の処理フローは図3に示した動作例1の処理フローと同一であり、立体物検出処理(P103)で実施する処理内容が異なる。そのため、以降では動作例4における立体物検出処理(P103)に関してのみ説明する。
次に、物体認識装置1の4つめの動作例に関して述べる。動作例4の処理フローは図3に示した動作例1の処理フローと同一であり、立体物検出処理(P103)で実施する処理内容が異なる。そのため、以降では動作例4における立体物検出処理(P103)に関してのみ説明する。
動作例4における立体物検出処理(P103)の処理フローを図9に示す。立体物検出処理(P103)では、初めにテクスチャ情報に基づく物体の検出処理を実施し、物体が検出された領域における視差情報を解析することで検知枠を補正する。テクスチャ解析処理(P501)では、テクスチャ情報を入力とした畳込みニューラルネットワークにより物体を検出する。検出した領域に対して、物体フィルタリング処理(P502)を実施する。物体フィルタリング処理(P502)では、検出した物体が視野重複領域に含まれるか判定する。含まれる(条件該当する)と判断された場合には視差解析処理(P503)を実施し、含まれない(条件該当しない)場合には立体物検出処理(P103)を終了する。視差解析処理(P503)では、視差画像を解析し、テクスチャ解析処理(P501)で検出した領域を補正する。視差画像の解析には、視差の変化量を利用する。隣接する画素の視差値が一定以上離れている画素をラベリングする。例えば画像を横方向に走査し、隣接する画素との距離の差が閾値以上の画素に色づけ(ラベリング)をすることによって、立体物と背景との境界に沿って線が描かれる。このラベリングされた画素に対して直線フィッティング処理を実施し、求めた直線を物体の端であると判断し、テクスチャ解析処理(P501)の検出結果を補正する。この補正により、検知枠を物体の端まで寄せることができる。
動作例4では、テクスチャ解析処理により検出した物体領域を、視差を解析することで補正する。立体物と背景の距離差は一般に大きくなる。そのため、視差に基づき物体の境界を補正することでより正確に物体領域を検出することができる。
(動作例5)
次に、物体認識装置1の5つめの動作例に関して述べる。動作例5の処理フローは図3に示した動作例1の処理フローと同一であり、車両制御処理(P108)で実施する処理内容が異なる。そのため、以降では動作例5における車両制御処理(P108)に関してのみ説明する。
次に、物体認識装置1の5つめの動作例に関して述べる。動作例5の処理フローは図3に示した動作例1の処理フローと同一であり、車両制御処理(P108)で実施する処理内容が異なる。そのため、以降では動作例5における車両制御処理(P108)に関してのみ説明する。
車両制御処理(P108)における、動作例1と動作例5の差異は、物体の3次元位置の計測方法である。動作例5における物体の3次元位置の測定方法を図10に示す。視差取得面積・密度計算処理(P601)では、視差を取得する面積Area_Dと取得した領域における視差密度Density_D(密度情報)を計算する。次に、テクスチャ取得面積計算処理(P602)では、テクスチャを取得する面積Area_Tを計算する。距離測定方法決定処理(P603)では、第一の信頼度算出部106で利用した3次元情報の取得領域情報若しくは密度情報と第二の信頼度算出部107で利用したテクスチャ情報の取得領域情報に基づき物体の3次元位置の決定方法を変更する処理を行う。具体的には、距離測定方法決定処理(P603)では、視差を取得する面積Area_D、視差密度Density_D、テクスチャを取得する面積Area_Tに基づき、次式により計算する。
Area_D * Density_D < α * (Area_T) ・・・・・(4)
Area_D * Density_D < α * (Area_T) ・・・・・(4)
ここで、αはテクスチャと視差の信頼度を調整するパラメータであり、実験により適切な値を決定する。式(4)の条件を満たす場合にテクスチャベース測距方式により物体の3次元位置を計測する。つまり、得られる視差画像の範囲が所定値よりも狭い場合にはテクスチャベース測距方式が選択される。一方、式(4)の条件を満たさない場合に視差ベース測距方式により物体の3次元位置を計測する。つまり、得られる視差画像の範囲が所定値以上広い場合には、視差ベース測距方式が選択される。視差ベース測距方式では視野重複領域の視差情報に基づき物体の3次元位置を計測する。検出した物体領域の視差情報の中央値を取得することで、物体までの距離を計算する。そして、計算した物体までの距離と画像上での横方向位置と縦方向位置に基づき物体の3次元位置を計算する。テクスチャベース測距方式では視野非重複領域の物体の検知位置情報に基づき物体の距離を測定する。路面推定処理(P605)では、視野重複領域における視差情報を解析し、画像上での各縦方向位置に対して路面の距離情報を取得する。接地位置特定処理(P606)では、視野重複領域における物体の下端位置を接地位置と判定する。そして、路面推定処理(P605)で推定した路面の距離情報と物体の接地位置の情報に基づき物体の距離情報を推定する。推定した距離情報に基づき物体の3次元位置を取得する。
動作例5では、取得できる視差数とテクスチャ数に応じ、適応的に物体の距離算出方法を切り替える。物体から取得できる視差の数が非常に限定的であり、視差により物体の距離を正確に算出できない場合に、テクスチャ情報に基づく距離算出を行うことで、物体までの3次元位置を正確に算出することができる。
また、上記した式(4)は以下の式(5)の条件に変更することもできる。
Score_D < β * (Score_T) ・・・・・(5)
また、上記した式(4)は以下の式(5)の条件に変更することもできる。
Score_D < β * (Score_T) ・・・・・(5)
ここで、βはテクスチャと視差の信頼度を調整するパラメータであり、実験により適切な値を決定する。式(5)により、識別スコアに応じて測距方式を切り替えることができる。視差に基づく識別スコアが低いということは、視差自体の信頼度が低いと判断できる。そのため、誤った視差情報による距離推定の誤差を低減することができる。
また、式(4)、及び式(5)ではなく、次式に従い距離の測定方法を変更することができる。
Density_D ≦ 0 ・・・・・(6)
また、式(4)、及び式(5)ではなく、次式に従い距離の測定方法を変更することができる。
Density_D ≦ 0 ・・・・・(6)
上記式(6)では、Density_Dが0よりも値が大きい場合、つまり有効な視差値が1つ以上あった場合に、視野重複領域の視差情報に基づき距離推定を実施する。これにより、視野非重複領域において他の物体の遮蔽により接地位置を特定できないような場面に対しても、視野重複領域の視差情報を利用することで物体の3次元位置を測定することができる。
以上、実施例1を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。
本願発明の構成や詳細には、本願発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100 第一のセンサ
101 第二のセンサ
102 3次元情報取得部
103 テクスチャ情報取得部
104 物体検出部
105 信頼度算出部
106 第一の信頼度算出部
107 第二の信頼度算出部
108 物体種別特定部
109 車両制御部(車両制御装置)
101 第二のセンサ
102 3次元情報取得部
103 テクスチャ情報取得部
104 物体検出部
105 信頼度算出部
106 第一の信頼度算出部
107 第二の信頼度算出部
108 物体種別特定部
109 車両制御部(車両制御装置)
Claims (10)
- 第一のセンサと第二のセンサの視野重複領域から3次元情報を取得する3次元情報取得部と、
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備えることを特徴とする物体認識装置。 - 前記物体種別特定部は、前記信頼度算出部が算出した信頼度に対する重みを推定し、推定した前記重みに基づいて前記第一の信頼度算出部と前記第二の信頼度算出部で算出した前記第一の信頼度と前記第二の信頼度を統合することで物体種別を特定することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体種別特定部は、前記第一の信頼度算出部で利用した3次元情報の取得領域情報若しくは密度情報と前記第二の信頼度算出部で利用したテクスチャ情報の取得領域情報により前記重みを推定することを特徴とする、請求項2に記載の物体認識装置。
- 前記物体種別特定部は、前記第一の信頼度算出部で利用した3次元情報と前記第二の信頼度算出部で利用したテクスチャ情報を入力とする畳込みニューラルネットワークにより前記重みを推定することを特徴とする、請求項2に記載の物体認識装置。
- 前記第一の信頼度算出部は、前記物体検出部で検出した物体の中心位置に基づき前記視野重複領域から取得した3次元情報を前記視野非重複領域に拡張し、前記視野重複領域と前記視野非重複領域に拡張された前記3次元情報により前記第一の信頼度を算出することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体検出部は、前記3次元情報取得部で取得した情報に基づき前記物体の領域を検出する第一の検出処理を実施し、前記第一の検出処理により検出された前記物体の領域を含む領域のテクスチャ情報に基づき前記物体を検出することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体検出部は、前記テクスチャ情報取得部で取得した情報に基づき前記物体の領域を検出する第二の検出処理を実施し、前記第二の検出処理により検出された前記物体の領域に含まれる領域の視差情報に基づき前記第二の検出処理の検出結果を補正することで前記物体を検出することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体検出部は、前記第一の信頼度算出部で利用した3次元情報の取得領域情報若しくは密度情報と前記第二の信頼度算出部で利用したテクスチャ情報の取得領域情報に基づき物体の3次元位置の決定方法を変更することを特徴とする、請求項1に記載の物体認識装置。
- 前記第一のセンサと前記第二のセンサは、それぞれ画像を撮像するカメラであることを特徴とする、請求項1に記載の物体認識装置。
- 請求項1に記載の物体認識装置の前記物体検出部で検出した物体の位置と、前記信頼度算出部で算出した前記信頼度と、前記物体種別特定部で特定した物体の種別の情報と、に基づき車両を制御する車両制御部を備え、
前記車両制御部は、前記信頼度の値に応じ、車両制御内容を変更することを特徴とする、車両制御装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112021004200.9T DE112021004200T5 (de) | 2020-10-14 | 2021-09-10 | Objekterkennungsvorrichtung |
CN202180067146.6A CN116348937A (zh) | 2020-10-14 | 2021-09-10 | 物体识别装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020172983A JP7499140B2 (ja) | 2020-10-14 | 2020-10-14 | 物体認識装置 |
JP2020-172983 | 2020-10-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022080049A1 true WO2022080049A1 (ja) | 2022-04-21 |
Family
ID=81208370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/033256 WO2022080049A1 (ja) | 2020-10-14 | 2021-09-10 | 物体認識装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7499140B2 (ja) |
CN (1) | CN116348937A (ja) |
DE (1) | DE112021004200T5 (ja) |
WO (1) | WO2022080049A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024150471A1 (ja) * | 2023-01-13 | 2024-07-18 | 日立Astemo株式会社 | 画像処理装置及び画像処理方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023166065A (ja) * | 2022-05-09 | 2023-11-21 | 日立Astemo株式会社 | 異常診断装置 |
JP2023180611A (ja) * | 2022-06-10 | 2023-12-21 | 日立Astemo株式会社 | 環境認識装置および環境認識方法 |
JP2024097571A (ja) * | 2023-01-06 | 2024-07-19 | 株式会社日立製作所 | 環境認識装置並びに環境認識方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079582A (ja) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | 物体を検出する装置、方法及びプログラム |
JP2019106026A (ja) * | 2017-12-13 | 2019-06-27 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
JP2019522287A (ja) * | 2016-07-12 | 2019-08-08 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 移動体により取得された画像を処理する方法及びシステム |
JP2020016628A (ja) * | 2018-07-27 | 2020-01-30 | 日立オートモティブシステムズ株式会社 | 距離算出装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6014440B2 (ja) | 2012-09-26 | 2016-10-25 | 日立オートモティブシステムズ株式会社 | 移動物体認識装置 |
-
2020
- 2020-10-14 JP JP2020172983A patent/JP7499140B2/ja active Active
-
2021
- 2021-09-10 WO PCT/JP2021/033256 patent/WO2022080049A1/ja active Application Filing
- 2021-09-10 DE DE112021004200.9T patent/DE112021004200T5/de active Pending
- 2021-09-10 CN CN202180067146.6A patent/CN116348937A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079582A (ja) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | 物体を検出する装置、方法及びプログラム |
JP2019522287A (ja) * | 2016-07-12 | 2019-08-08 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 移動体により取得された画像を処理する方法及びシステム |
JP2019106026A (ja) * | 2017-12-13 | 2019-06-27 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
JP2020016628A (ja) * | 2018-07-27 | 2020-01-30 | 日立オートモティブシステムズ株式会社 | 距離算出装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024150471A1 (ja) * | 2023-01-13 | 2024-07-18 | 日立Astemo株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7499140B2 (ja) | 2024-06-13 |
CN116348937A (zh) | 2023-06-27 |
DE112021004200T5 (de) | 2023-06-15 |
JP2022064388A (ja) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022080049A1 (ja) | 物体認識装置 | |
EP2422320B1 (en) | Object detection device | |
US10922561B2 (en) | Object recognition device and vehicle travel control system | |
JP7025912B2 (ja) | 車載環境認識装置 | |
US8406472B2 (en) | Method and system for processing image data | |
US6744380B2 (en) | Apparatus for monitoring area adjacent to vehicle | |
JP5939357B2 (ja) | 移動軌跡予測装置及び移動軌跡予測方法 | |
CN115668182A (zh) | 自主车辆环境感知软件架构 | |
US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
US20060220912A1 (en) | Sensing apparatus for vehicles | |
US10422871B2 (en) | Object recognition apparatus using a plurality of object detecting means | |
JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
EP3282389B1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
US20200125865A1 (en) | Roadside Object Detection Device, Roadside Object Detection Method, and Roadside Object Detection System | |
CN111164648A (zh) | 移动体的位置推断装置及位置推断方法 | |
JP2018048949A (ja) | 物体識別装置 | |
CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及*** | |
Michalke et al. | Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP2020201746A (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
CN116385997A (zh) | 一种车载障碍物精确感知方法、***及存储介质 | |
WO2024150471A1 (ja) | 画像処理装置及び画像処理方法 | |
EP2919191A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
JP2024100124A (ja) | 画像処理装置及び画像処理方法 | |
JP2023040685A (ja) | 障害物検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21879791 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21879791 Country of ref document: EP Kind code of ref document: A1 |