WO2010146695A1 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- WO2010146695A1 WO2010146695A1 PCT/JP2009/061127 JP2009061127W WO2010146695A1 WO 2010146695 A1 WO2010146695 A1 WO 2010146695A1 JP 2009061127 W JP2009061127 W JP 2009061127W WO 2010146695 A1 WO2010146695 A1 WO 2010146695A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- camera
- unit
- vanishing point
- image processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Definitions
- the present invention relates to an image processing apparatus for processing an image.
- an image taken by a plurality of cameras installed around a moving body is used to display an overhead view (bird's-eye view) as if the moving body was taken from above, and a 360-degree panoramic image is displayed by combining the images.
- Technology is widespread.
- the camera position x coordinate, y coordinate, z coordinate
- angle Parameters such as depression angle ⁇ , rotation angle ⁇ , and pan angle ⁇ are used.
- each parameter of the camera varies depending on the installation conditions and includes an installation error. Therefore, calibration for accurately obtaining each parameter of the camera is required.
- a moving body equipped with a camera is calibrated using a special jig at the time of shipment. However, the camera parameters gradually change due to deterioration over time after shipment or deterioration of the camera mounting portion.
- the distance calculation result from the camera to the object extracted on the image changes, so that the bird's-eye view image and the panoramic image are not properly displayed. Therefore, it is desirable to perform camera calibration even after shipment. In addition, it is difficult to use a special jig after shipment, and it is required to perform calibration without using a special jig.
- the above-described conventional technology is based on the premise that the road surface in the image photographed by the camera is a flat surface, and that the shape assumed by the white line and the paint is satisfied.
- the conventional technique cannot be applied when the above-mentioned premise is not satisfied.
- the conventional technology cannot be applied in the same manner when the other vehicle blocks the paint or the white line.
- the situation where white lines and paint are distorted and the situation where other vehicles block the paint and white lines often occur in the actual traffic environment.
- the present invention has been made in view of the above, and provides an image processing apparatus and an image processing method capable of accurately determining the execution time of calibration after shipment without being influenced by an actual traffic environment. Objective.
- this image processing apparatus obtains an image taken while the moving body is traveling from a camera installed on the moving body, and integrates the acquired images.
- An accumulator that generates an image; a vanishing point identifying unit that extracts a luminance edge from the accumulated image and identifies an intersection of each straight line determined based on the luminance edge as a vanishing point; and the vanishing point coordinates and reference coordinates
- a determination unit that determines whether or not the parameter of the camera has an appropriate value.
- the image processing apparatus can accurately determine the calibration execution time after shipment without being influenced by the actual traffic environment.
- FIG. 1 is a diagram illustrating the configuration of the image processing apparatus according to the first embodiment.
- FIG. 2 is a diagram for explaining camera parameters.
- FIG. 3 is a diagram illustrating the configuration of the calibration apparatus according to the second embodiment.
- FIG. 4 is a diagram (1) for explaining the outline of the processing of the calibration apparatus.
- FIG. 5 is a diagram (2) for explaining the outline of the processing of the calibration apparatus.
- FIG. 6 is a diagram showing a vehicle traveling straight.
- FIG. 7 is a diagram illustrating an example of an image captured by the camera.
- FIG. 8 is a diagram illustrating an example of a monochrome image of 720 ⁇ 480 pixels.
- FIG. 9 is a diagram illustrating a configuration of the image integration average processing unit.
- FIG. 9 is a diagram illustrating a configuration of the image integration average processing unit.
- FIG. 10 is a diagram for explaining the processing of the lens distortion correction unit.
- FIG. 11 is a diagram for explaining the processing of the edge extraction unit.
- FIG. 12 is a flowchart illustrating a processing procedure of the calibration apparatus.
- FIG. 13 is a flowchart illustrating a processing procedure of the traveling state determination unit.
- FIG. 14 is a diagram illustrating a hardware configuration of a computer constituting the calibration apparatus according to the embodiment.
- FIG. 1 is a diagram illustrating a configuration of the image processing apparatus according to the first embodiment.
- the image processing apparatus 100 includes a camera 10, an integrating unit 110, a vanishing point specifying unit 120, and a determining unit 130.
- the accumulating unit 110 is a processing unit that acquires an image taken while the moving body is traveling from the camera 10 installed on the moving body and generates an accumulated image obtained by integrating the acquired images.
- the vanishing point specifying unit 120 is a processing unit that extracts a luminance edge from the integrated image and specifies an intersection of each straight line determined based on the luminance edge as a vanishing point.
- the determination unit 130 is a processing unit that determines whether the camera parameter is an appropriate value based on the coordinates of the vanishing point and the reference coordinates.
- the image processing apparatus 100 since the vanishing point is obtained from the integrated image, it is possible to determine whether or not to calibrate the camera after shipment without depending on the actual traffic environment.
- FIG. 2 is a diagram for explaining camera parameters.
- the parameters of the camera 10 are the camera coordinate system X, Y, and Z axes with the camera 10 as the origin, the depression angle ⁇ indicating the angle around the X axis of the camera, and the rotation indicating the angle around the Z axis.
- An angle ⁇ and a pan angle ⁇ indicating an angle around the Y axis are included.
- the Z axis corresponds to the optical axis of the camera 10.
- FIG. 3 is a diagram illustrating the configuration of the calibration apparatus according to the second embodiment.
- the calibration device 200 includes a camera 10, a rudder angle sensor 11, a vehicle speed sensor 12, a traveling state determination unit 201, an image processing unit 202, a luminance image conversion unit 203, an image integration average processing unit 204, A lens distortion correction unit 205 is included.
- the calibration apparatus 200 includes an edge extraction unit 206, a vanishing point extraction unit 207, a vanishing point storage unit 208, an error determination unit 209, an HMI 210, a correction processing unit 211, and a camera parameter storage unit 212. It is assumed that the calibration device 200 is installed in a vehicle, for example.
- 4 and 5 are diagrams for explaining the outline of the processing of the calibration apparatus.
- the calibration apparatus 200 integrates the images taken by the camera 10 and averages the integrated images to generate an integrated and averaged luminance image.
- the luminance image that has been integrated and averaged is referred to as an integrated average image (step S10).
- the calibration apparatus 200 according to the second embodiment generates an integrated average image by integrating 1024 frame images and dividing the luminance value of each pixel of the integrated image by 1024.
- the calibration apparatus 200 performs lens distortion correction on the integrated average image in consideration of the lens distortion of the camera 10 (step S11).
- the calibration apparatus 200 extracts an edge from the integrated average image by performing a filtering process on the integrated image after the lens distortion correction (step S12).
- an integrated average image from which edges are extracted is referred to as an edge image.
- the calibration apparatus 200 calculates a straight line connecting the edge point sequences included in the edge image as an erasure line. Moreover, the calibration apparatus 200 calculates the intersection of each vanishing line as a vanishing point (step S13). The calibration apparatus 200 compares the calculated vanishing point with the reference vanishing point, and determines that the calibration is to be executed when the distance between the vanishing points is equal to or greater than a threshold value.
- FIG. 6 is a diagram showing a vehicle traveling straight. Since the stationary object photographed by the camera 10 installed in the vehicle moves relatively in the direction opposite to the movement of the vehicle, a trajectory parallel to the moving direction is drawn in the image of the camera 10. Therefore, when the integrated average image is generated from the image captured by the camera 10, the luminance gradient extending in the direction not coincident with the traveling direction of the vehicle is averaged as shown in FIG. 4, and only the luminance gradient parallel to the moving direction is obtained. It remains strong.
- the calibration apparatus 200 when the calibration apparatus 200 obtains a luminance edge by filtering the luminance gradient, the luminance edge coincides with the vanishing line generated by the movement of the vehicle.
- the calibration apparatus 200 can determine the vanishing point by calculating the intersection of each vanishing line.
- the camera 10 is a camera that captures images.
- the camera 10 outputs the captured video data to the image processing unit 202 and the luminance image conversion unit 203.
- FIG. 7 is a diagram illustrating an example of an image captured by the camera.
- the steering angle sensor 11 is a sensor that detects the steering angle of the vehicle.
- the rudder angle sensor 11 outputs rudder angle data to the traveling state determination unit 201.
- the vehicle speed sensor 12 is a sensor that detects the speed of the vehicle.
- the vehicle speed sensor 12 outputs vehicle speed data to the traveling state determination unit 201.
- the traveling state determination unit 201 is a processing unit that determines whether the current traveling state of the vehicle is suitable for calculating the vanishing point based on the steering angle data and the vehicle speed data. Specifically, the traveling state determination unit 201 has an absolute value of the current steering angle that is less than a reference steering angle (for example, 1 deg), and an absolute value of the current speed that is greater than or equal to a reference speed (for example, 30 km / s). In this case, it is determined that it is suitable for calculating the vanishing point.
- a reference steering angle for example, 1 deg
- a reference speed for example, 30 km / s
- the traveling state determination unit 201 is not suitable for calculating the vanishing point when the current absolute value of the steering angle is greater than or equal to the reference steering angle, or when the absolute value of the current speed is less than the reference speed. judge.
- the traveling state determination unit 201 determines that it is suitable for calculating the vanishing point, it sets the flag of the image integration average processing unit 204 to ON.
- the traveling state determination unit 201 determines that it is not suitable for calculating the vanishing point, it sets the flag of the image integration average processing unit 204 to OFF.
- the image processing unit 202 is a processing unit that analyzes the video output from the camera 10 based on the camera parameters stored in the camera parameter storage unit 212. For example, the image processing unit 202 identifies the coordinates of the white line on the image, and when the white line enters a predetermined range on the image, determines that the vehicle has deviated from the lane and warns the user. Alternatively, the image processing apparatus 202 may detect an obstacle included in the video and output a collision warning to the user.
- the luminance image conversion unit 203 is a processing unit that converts the video output from the camera 10 into a monochrome image of 720 ⁇ 480 pixels and outputs the converted monochrome image to the image integration average unit 204.
- FIG. 8 is a diagram illustrating an example of a monochrome image of 720 ⁇ 480 pixels. It is assumed that each pixel of the monochrome image has 8-bit information (luminance value).
- the image integration average processing unit 204 is a processing unit that sequentially acquires monochrome images from the luminance image conversion unit 203, integrates and averages the monochrome images, and generates an integration average image.
- the image integration average processing unit 204 outputs the integration average image to the lens distortion correction unit 205.
- the image integration average processing unit 204 integrates the monochrome images acquired from the luminance image conversion unit 203 while the flag is on.
- the image integration average processing unit 204 discards the monochrome image acquired from the luminance image conversion unit 203 while the flag is off, without integrating the monochrome image.
- FIG. 9 is a diagram illustrating a configuration of the image integration average processing unit 204.
- the image integration average processing unit 204 includes a frame buffer 204a, an image integration unit 204b, a frame counter 204c, an image output unit 204d, and an initialization unit 204e.
- the frame buffer 204a is a two-dimensional memory having 720 ⁇ 480 storage areas. Each storage area of the frame buffer 204a stores 20-bit information.
- the image integration unit 204b acquires a monochrome image from the luminance image conversion unit 203, adds each luminance value of the monochrome image and each luminance value of the frame buffer 204a, and returns the addition result to the corresponding storage area of the frame buffer 204a. It is a processing unit that repeatedly executes processing.
- the image integration unit 204b adds the luminance value acquired from the frame buffer 204a and the luminance value (8 bits) of the pixel in the n-th row and m-th column of the monochrome image, and the result of addition is added to the n-th row m of the frame buffer 204a. Store in the storage area of the column.
- the image integration unit 204b repeatedly executes the above addition processing every time a monochrome image is acquired from the luminance image conversion unit 203 while the flag of the image integration unit 204b is on.
- the image integration unit 204b adds 1 to the number of frames of the frame counter 204c every time the addition process is executed. While the flag of the image integration unit 204b is on, the vehicle is traveling straight ahead.
- the image integration unit 204b discards the acquired monochrome image without executing the above addition processing when the monochrome image is acquired from the luminance image conversion unit 203 when the flag of the image integration unit 204b is off. To do. While the flag of the image integration unit 204b is in the OFF state, the vehicle is not traveling straight ahead.
- the frame counter 204c is a storage unit that stores the accumulated number of frames.
- the initial value of the number of frames stored in the frame counter 204c is 0.
- the image output unit 204d acquires the addition value (20 bits) stored in each storage area of the frame buffer 204a, and divides each addition value by 1024 (16 bits). This is a processing unit that generates an integrated average image by shifting to the right.
- the image output unit 204d outputs the integrated average image to the lens distortion correction unit 205.
- the image output unit 204d generates a cumulative average image, and then outputs a control signal to the initialization unit 204e.
- the initialization unit 204e acquires a control signal from the image output unit 204d, the initialization unit 204e sets information of each storage area of the frame buffer 204a to 0 and sets the number of frames of the frame counter 204c to 0.
- the lens distortion correction unit 205 is a processing unit that corrects the lens distortion of the integrated average image when the integrated average image is acquired from the image integrated average processing unit 204.
- the lens distortion correction unit 205 outputs the accumulated average image with the lens distortion corrected to the edge extraction unit 206.
- the lens distortion correction unit 205 corrects the lens distortion of the integrated average image, thereby converting the projection of the integrated average image into an ideal perspective projection.
- the lens distortion correction unit 205 has a conversion table, and corrects the integrated average image based on the conversion table.
- FIG. 10 is a diagram for explaining the processing of the lens distortion correction unit 205.
- the conversion table stores the coordinates before correction and the coordinates after correction in association with each other. For example, in the first row of the conversion table, the x and y coordinates before correction are (10, 2), and the x and y coordinates after correction are (0, 0).
- the lens distortion correction unit 205 refers to the first row of the conversion table, and moves the luminance value of the coordinate (10, 2) of the integrated average image to the coordinate (0, 0).
- the lens distortion correction unit 205 refers to other rows in the same manner, and corrects the integrated average image by moving the luminance value of the integrated average image to another coordinate.
- the lens distortion correction unit 205 may sequentially correct the accumulated average image based on lens distortion data including the incident angle and the image height instead of using the conversion table.
- the edge extraction unit 206 is a processing unit that acquires a corrected integrated average image from the lens distortion correction unit 205 and executes an filtering process on the integrated average image to generate an edge image obtained by extracting edges from the integrated average image. is there.
- the edge extraction unit 206 outputs the edge image to the edge extraction unit 206.
- FIG. 11 is a diagram for explaining the processing of the edge extraction unit 206.
- the edge extraction unit 206 applies a filter to the accumulated average image, multiplies each value of the filter by each luminance value on the corresponding accumulated average image, and adds the multiplication results. Then, the edge extraction unit 206 sets the luminance value corresponding to the center block of the filter to 128 when the result of adding the multiplication results exceeds a certain threshold (for example, 100). On the other hand, the edge extraction unit 206 sets the luminance value corresponding to the central block of the filter to ⁇ 128 when the result of adding the multiplication results is a certain threshold value (for example, ⁇ 100) or less. If each multiplication result does not satisfy any of the conditions, the luminance value corresponding to the center block of the filter is set to zero.
- a certain threshold for example, 100
- the luminance value of the a-th row and the b-th column is B ab
- the result of adding the multiplication results is A.
- A ⁇ 1 ⁇ B 11 + ⁇ 1 ⁇ B 12 + ⁇ 1 ⁇ B 13 + 0 ⁇ B 21 + 0 ⁇ B 22 ++ 0 ⁇ B 23 + 1 ⁇ B 31 + 1 ⁇ B 32 + ⁇ 1 ⁇ B 33 It becomes.
- Edge extraction unit 206 when A is, for example, 100 or more as the case of positive, it sets the luminance value corresponding to the B 22 to 128, when A is as -100 or less if negative, corresponds to B 22
- the luminance value to be set is set to -128, otherwise the luminance value is set to 0.
- the edge extraction unit 206 generates an edge image by moving the filter on the integrated average image and sequentially setting the luminance value of the integrated average image.
- the vanishing point extraction unit 207 is a processing unit that acquires an edge image from the edge extraction unit 206 and calculates the coordinates of the vanishing point based on the edge image.
- the vanishing point extraction unit 207 calculates a vanishing line by connecting the point sequence of the luminance value 128 included in the edge image with a straight line. Further, the vanishing point extraction unit 207 calculates a vanishing line by connecting the point sequence of the luminance value ⁇ 128 included in the edge image with a straight line.
- the vanishing point extraction unit 207 may use a well-known Hough transform when calculating the vanishing line from the point sequence.
- the vanishing point extraction unit 207 obtains the intersection of each vanishing line, and uses the coordinates of the obtained intersection as the coordinates of the vanishing point.
- the vanishing point extraction unit 207 outputs the coordinates of the vanishing point to the error determination unit 209.
- the vanishing point extraction unit 207 also outputs vanishing line information to the error determination unit 209.
- the vanishing point storage unit 208 is a storage unit that stores the coordinates of the vanishing point serving as a reference.
- the reference vanishing point coordinates are referred to as reference vanishing point coordinates.
- the error determination unit 209 is a processing unit that compares the vanishing point coordinates acquired from the vanishing point extraction unit 207 with the reference vanishing point coordinates to determine whether to readjust the parameters of the camera 10. The error determination unit 209 determines that the parameter needs to be readjusted when the distance between the vanishing point coordinate acquired from the vanishing point extraction unit 207 and the reference vanishing point coordinate is equal to or greater than the threshold value. If the error determination unit 209 determines that parameter readjustment is necessary, the error determination unit 209 outputs information indicating that parameter readjustment is necessary to the HMI 210 and the correction processing unit 211. In addition, the error determination unit 209 outputs the coordinates of the vanishing point to the correction processing unit 211.
- the HMI (Human Machine Interface) 210 displays information indicating that the parameter needs to be readjusted via the image processing unit 202 when information indicating that the parameter needs to be readjusted is obtained from the error determination unit 209. It is a processing unit that displays (not shown).
- the correction processing unit 211 is a processing unit that corrects the parameter stored in the camera parameter storage unit 212 when information indicating that the parameter needs to be readjusted is acquired from the error determination unit 209.
- the correction processing unit 211 calculates a deviation between the vanishing point coordinates acquired from the error determination unit 209 and the reference vanishing point coordinates of the vanishing point storage unit 208, and corrects the parameter based on the calculated deviation. Specifically, in the XY coordinate system (the X axis is the parallel direction of the image and the Y axis is the vertical direction of the image), the correction processing unit 211 shifts the X axis between the vanishing point coordinates and the reference vanishing point coordinates Xs, Y The axis deviation Ys is calculated.
- ⁇ tan ⁇ 1 (Ys / Ly) Calculated by Lx and Ly are focal lengths of the camera 10.
- the correction processing unit 211 corrects the parameter by adding ⁇ to the depression angle ⁇ of the parameter stored in the camera parameter storage unit 212 and adding ⁇ to the pan angle ⁇ . Further, the correction processing unit 211 stores the vanishing point coordinates acquired from the error determination unit 209 in the vanishing point storage unit 208 as the reference vanishing point coordinates after the parameter correction is completed. The correction processing unit 211 discards the past reference vanishing point coordinates stored in the vanishing point storage unit 208.
- the camera parameter storage unit 212 is a storage unit that stores parameters of the camera 10.
- the camera parameter storage unit 212 may store the three-dimensional coordinates (x, y, z) of the camera 10 in addition to the parameters described above.
- FIG. 12 is a flowchart showing a processing procedure of the calibration apparatus 200.
- the calibration apparatus 200 acquires video data from the camera 10 (step S101), and sequentially converts the video data into a monochrome image (step S102).
- the calibration apparatus 200 integrates the images, averages the integrated images (step S103), and corrects the lens distortion of the integrated average image (step S104).
- the calibration apparatus 200 extracts an edge from the integrated average image (step S105), and calculates the coordinates of the vanishing point (step S106).
- the calibration apparatus 200 compares the reference vanishing point coordinates with the current vanishing point coordinates to determine whether or not the distance between the vanishing point coordinates is equal to or greater than a threshold (step S107).
- the calibration device 200 ends the process when the distance of each vanishing point coordinate is less than the threshold (No in step S108).
- Step S108 when the distance between the vanishing point coordinates is equal to or greater than the threshold (Yes in Step S108), the calibration apparatus 200 notifies that the readjustment is necessary (Step S109), and corrects the camera parameters (Step S109). S110).
- FIG. 13 is a flowchart illustrating a processing procedure of the traveling state determination unit 201.
- the traveling state determination unit 201 acquires the steering angle and the vehicle speed from the steering angle sensor 11 and the vehicle speed sensor (step S201), and determines whether or not the absolute value of the steering angle is less than 1 deg. (Step S202).
- the traveling state determination unit 201 sets the flag of the image integration average processing unit 204 to OFF (step S204) when the absolute value of the steering angle is 1 deg or more (step S203, No). When the absolute value of the steering angle is less than 1 deg (step S203, Yes), the traveling state determination unit 201 determines whether the absolute value of the vehicle speed is 30 km or more (step S205).
- the driving state determination unit 201 proceeds to step S204 when the absolute value of the vehicle speed is less than 30 km (step S206, No). On the other hand, when the absolute value of the vehicle speed is 30 km or more (step S206, Yes), the traveling state determination unit 201 sets the flag to on (step S207).
- the calibration apparatus 200 identifies the disappearance line by integrating and averaging the images while the vehicle is traveling, so that the flat road surface or the parallel roadside line (white line) is used. Since the movement disappearance line can be calculated even in a situation where there is no traffic, the calibration can be appropriately executed after shipment without being influenced by the actual traffic environment. That is, the camera parameters can be accurately corrected regardless of the traffic environment.
- the calibration device 200 interrupts the integration of images based on the steering angle and the vehicle speed output from the steering angle sensor 11 and the vehicle speed sensor 12, so that the vanishing point is shifted. It is possible to avoid accumulating the video of the disclosed line.
- the traveling state determination unit 201 may determine the traveling state of the vehicle using another sensor, for example, an acceleration sensor or a gyro sensor.
- each component of each illustrated apparatus is functionally conceptual and does not necessarily need to be physically configured as illustrated.
- the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
- the server may have a function corresponding to the processing unit 211, and the server may perform correction of the parameter by transmitting each image such as an image captured by the camera and parameters to the server. good.
- each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
- FIG. 14 is a diagram illustrating a hardware configuration of a computer constituting the calibration apparatus 200 according to the embodiment.
- the computer (calibration device) 300 includes an input device 301, a monitor 302, a camera 303, various sensors 304 such as a steering angle sensor and a vehicle speed sensor, and a RAM (Random Access Memory) 305.
- the computer 300 also includes a ROM (Read Only Memory) 306, a communication control device 307 that communicates with other devices, a media reading device 308 that reads data from a storage medium, a CPU (Central Processing Unit) 309, and an HDD (Hard Disk Drive). 310).
- Each device 301 to 310 is connected to a bus 311.
- the HDD 310 stores a calibration program 310b that exhibits the same function as that of the calibration device 200 described above.
- the calibration process 309a is activated.
- the calibration process 309a includes a running state determination unit 201, an image processing unit 202, a luminance image conversion unit 203, an image integration average processing unit 204, a lens distortion correction unit 205, an edge extraction unit 206, as illustrated in FIG. It corresponds to the vanishing point extraction unit 207, the error determination unit 209, the HMI 210, and the correction processing unit 211.
- the HDD 310 stores various data 310 a corresponding to information stored in the vanishing point storage unit 208 and the parameter storage unit 212.
- the CPU 309 reads out various data 310 a stored in the HDD 310, stores it in the RAM 305, and corrects parameters based on the various data 305 a stored in the RAM 305, images taken by the camera 303, and information from the various sensors 304. To do.
- the calibration program 310b shown in FIG. 14 is not necessarily stored in the HDD 310 from the beginning.
- a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into a computer, or a hard disk drive (HDD) provided inside or outside the computer.
- the calibration program 310b is stored in the “fixed physical medium” of “the other computer (or server)” connected to the computer via a public line, the Internet, a LAN, a WAN, or the like. The computer may read out and execute the calibration program 310b from these.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
キャリブレーション装置(200)は、画像積算平均処理部(204)が、画像を積算・平均化した積算平均画像を生成し、エッジ抽出部(206)が積算平均画像からエッジを抽出する。消失点抽出部(207)が、エッジから消失線を算出し、消失線の交点の座標を消失点の座標として特定する。そして、誤差判定部(209)が、現在の消失点の座標と、過去の消失点の座標とを比較して、カメラのパラメータを補正するか否かを判定し、判定結果に応じて、補正処理部(211)がカメラのパラメータを補正する。
Description
本発明は、画像を処理する画像処理装置等に関する。
近年、移動体の周囲に設置した複数のカメラが撮影した画像を用いて、移動体を上方から撮影したような俯瞰(鳥瞰)図や、各画像を合成して360度のパノラマ画像を表示する技術が普及している。このように、カメラが撮影した画像を俯瞰図などに変換する場合や、各画像を合成してパノラマ画像を表示するためには、カメラの位置(x座標、y座標、z座標)や角度(俯角ψ、回転角φ、パン角θ)等のパラメータを用いる。
移動体にカメラを設置する場合、カメラの各パラメータは取り付け条件によって異なり、取り付け誤差を含むため、カメラの各パラメータを正確に求めるためのキャリブレーションが必要となる。カメラを搭載する移動体については、出荷時に特殊な冶具を利用してキャリブレーションを行う。しかし、出荷後の経年劣化やカメラ取り付け部分の劣化などによりカメラのパラメータが徐々に変化する。
例えば、カメラの角度に変化が生じると、カメラから画像上で抽出した対象物までの距離算出結果が変化してしまうので、俯瞰画像やパノラマ画像が適切に表示されなくなる。そのため、出荷後もカメラのキャリブレーションを実行することが望ましい。なお、出荷後は、特殊な冶具を利用することが困難であり、特殊な冶具を利用しないでキャリブレーションを実行することが求められる。
出荷後にキャリブレーションを行う技術として、移動体が走行する直線道路の左右の白線を抽出し、抽出した白線に基づいてカメラのキャリブレーションを実行する技術が考案されている。また、路面にペイントされた標識の幾何形状を用いてカメラのキャリブレーションを実行する技術も知られている。
しかしながら、上述した従来の技術では、カメラで撮影した画像中の路面が平面であることや、白線やペイントが想定した形状を満たしていることを前提としている。しかし、前記前提を満たしていない場合には、従来の技術を適用することが出来ないという問題があった。
また、白線やペイントが想定した形状を満たしていたとしても、ペイントや白線を他車両が遮っている場合には、同様に従来の技術を適用することが出来ない。このように、白線やペイントが歪んでいることや、ペイントや白線を他車両が遮るような状況は、実際の交通環境では多々発生する状況である。
従って、カメラのパラメータがずれていたとしても、キャリブレーションを実行可能な状況になかなかめぐり合うことが出来ず、キャリブレーションを適切に実行できていない。
本発明は、上記に鑑みてなされたものであって、実際の交通環境に左右されないで、出荷後のキャリブレーションの実行時期を正確に判定可能な画像処理装置および画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、この画像処理装置は、移動体に設置されたカメラから当該移動体の走行中に撮影された画像を取得し、取得した画像を積算した積算画像を生成する積算部と、前記積算画像から輝度エッジを抽出し、当該輝度エッジに基づいて決定した各直線の交点を消失点として特定する消失点特定部と、前記消失点の座標と基準座標とを基にして、前記カメラのパラメータが適切な値であるか否かを判定する判定部とを有することを要件とする。
本発明にかかる画像処理装置は、実際の交通環境に左右されないで、出荷後のキャリブレーションの実行時期を正確に判定することが出来る。
以下に、本発明にかかる画像処理装置および画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例1にかかる画像処理装置の構成を示す図である。図1に示すように、この画像処理装置100は、カメラ10、積算部110、消失点特定部120、判定部130を有する。
積算部110は、移動体に設置されたカメラ10から移動体の走行中に撮影された画像を取得し、取得した画像を積算した積算画像を生成する処理部である。
消失点特定部120は、積算画像から輝度エッジを抽出し、輝度エッジに基づいて決定した各直線の交点を消失点として特定する処理部である。
判定部130は、消失点の座標と基準座標とを基にして、カメラのパラメータが適切な値であるか否かを判定する処理部である。
上記の画像処理装置100によれば、積算画像から消失点を求めるので、実際の交通環境に左右されないで、出荷後にカメラのキャリブレーションを実行すべきか否かを判定できる。
まず、カメラのパラメータについて説明する。図2は、カメラのパラメータを説明するための図である。図2に示すように、カメラ10のパラメータは、カメラ10を原点とするカメラ座標系X、Y、Z軸において、カメラのX軸周りの角度を示す俯角ψ、Z軸周りの角度を示す回転角φ、Y軸周りの角度を示すパン角θを有する。なお、Z軸はカメラ10の光軸に対応する。
次に、本実施例2にかかるキャリブレーション装置の構成について説明する。図3は、本実施例2にかかるキャリブレーション装置の構成を示す図である。図3に示すように、このキャリブレーション装置200は、カメラ10、舵角センサ11、車速センサ12、走行状態判定部201、画像処理部202、輝度画像変換部203、画像積算平均処理部204、レンズ歪み補正部205を有する。また、キャリブレーション装置200は、エッジ抽出部206、消失点抽出部207、消失点格納部208、誤差判定部209、HMI210、補正処理部211、カメラパラメータ格納部212を有する。キャリブレーション装置200は、例えば、車両内に設置されているものとする。
ここで、各処理部の詳細な説明を行う前に、キャリブレーション装置200の処理の概要について説明する。図4および図5は、キャリブレーション装置の処理の概要を説明するための図である。
図4に示すように、キャリブレーション装置200は、カメラ10が撮影した画像を積算し、積算した画像を平均化することで、積算平均した輝度画像を生成する。以下の説明において、積算平均した輝度画像を積算平均画像と表記する(ステップS10)。例えば、本実施例2にかかるキャリブレーション装置200は、1024フレームの画像を積算し、積算した画像の各画素の輝度値を1024で割ることで、積算平均画像を生成する。
キャリブレーション装置200は、カメラ10のレンズ歪みを考慮して、積算平均画像に対するレンズ歪み補正を実行する(ステップS11)。
続いて、図5に移行する。キャリブレーション装置200は、レンズ歪み補正後の積算画像にフィルタリング処理を実行することで、積算平均画像からエッジを抽出する(ステップS12)。以下の説明において、エッジを抽出された積算平均画像をエッジ画像と表記する。
キャリブレーション装置200は、エッジ画像に含まれるエッジの点列をつないだ直線を消失線として算出する。また、キャリブレーション装置200は、各消失線の交点を消失点として算出する(ステップS13)。キャリブレーション装置200は、算出した消失点と基準消失点とを比較し、各消失点の距離が閾値以上となる場合に、キャリブレーションを実行すると判定する。
図6は、直進している車両を示す図である。車両に設置されたカメラ10に撮影された静止物体は、相対的に車両の動きの逆方向に移動するため、カメラ10の画像中で、移動方向と平行な軌跡を描く。従って、カメラ10が撮影した画像から積算平均画像を生成すると、図4に示したように、車両の進行方向と一致しない方向に伸びる輝度勾配は平均化され、移動方向と平行な輝度勾配のみが強く残る。
そして、図5で説明したように、キャリブレーション装置200が、輝度勾配をフィルタリングすることで、輝度エッジを求めると、この輝度エッジは、車両の動きによって生成された消失線と一致する。キャリブレーション装置200は、各消失線の交点を算出することで、消失点を決定することが出来る。
続いて、図3に示した各処理部の説明を行う。カメラ10は、映像を撮影するカメラである。カメラ10は、撮影した映像のデータを画像処理部202、輝度画像変換部203に出力する。図7は、カメラが撮影した映像の一例を示す図である。
舵角センサ11は、車両の舵角を検出するセンサである。舵角センサ11は、舵角のデータを走行状態判定部201に出力する。車速センサ12は、車両の速度を検出するセンサである。車速センサ12は、車速のデータを走行状態判定部201に出力する。
走行状態判定部201は、舵角のデータおよび車速のデータを基にして、現在の車両の走行状態が、消失点の算出に適しているか否かを判定する処理部である。具体的に、走行状態判定部201は、現在の舵角の絶対値が基準舵角(例えば、1deg)未満であり、かつ、現在の速度の絶対値が基準速度(例えば、30km/s)以上の場合に、消失点の算出に適していると判定する。
一方、走行状態判定部201は、現在の舵角の絶対値が基準舵角以上である場合、または、現在の速度の絶対値が基準速度未満の場合に、消失点の算出に適していないと判定する。
走行状態判定部201は、消失点の算出に適していると判定した場合には、画像積算平均処理部204のフラグをオンに設定する。走行状態判定部201は、消失点の算出に適していないと判定した場合には、画像積算平均処理部204のフラグをオフに設定する。
画像処理部202は、カメラパラメータ格納部212に格納されたカメラのパラメータを基にして、カメラ10から出力された映像を解析する処理部である。例えば、画像処理部202は、白線の画像上の座標を特定し、白線が画像上の所定範囲に進入した場合に、車両が車線を逸脱したと判定し、ユーザに警告を行う。または、画像処理装置202は、映像に含まれる障害物を検出し、ユーザに衝突警報を出力してもよい。
輝度画像変換部203は、カメラ10から出力される映像を、720×480画素のモノクロ画像に変換し、変換したモノクロ画像を画像積算平均部204に出力する処理部である。図8は、720×480画素のモノクロ画像の一例を示す図である。なお、モノクロ画像の各画素は、それぞれ8bitの情報(輝度値)を有しているものとする。
画像積算平均処理部204は、輝度画像変換部203から順次モノクロ画像を取得し、各モノクロ画像を積算、平均化することで、積算平均画像を生成する処理部である。画像積算平均処理部204は、積算平均画像をレンズ歪み補正部205に出力する。
なお、画像積算平均処理部204は、フラグがオンになっている間に輝度画像変換部203から取得したモノクロ画像を積算する。画像積算平均処理部204は、フラグがオフになっている間に輝度画像変換部203から取得したモノクロ画像は、積算せず、破棄する。
ここで、画像積算平均処理部204の構成について説明する。図9は、画像積算平均処理部204の構成を示す図である。図9に示すように、この画像積算平均処理部204は、フレームバッファ204a、画像積算部204b、フレームカウンタ204c、画像出力部204d、初期化部204eを有する。
フレームバッファ204aは、720×480個の記憶領域を有する二次元メモリである。フレームバッファ204aの各記憶領域は、それぞれ20bitの情報を記憶する。
画像積算部204bは、モノクロ画像を輝度画像変換部203から取得し、モノクロ画像の各輝度値と、フレームバッファ204aの各輝度値とを加算し、加算結果をフレームバッファ204aの該当記憶領域に戻す処理を繰り返し実行する処理部である。
具体的に、画像積算部204bは、フレームバッファ204aのn行目m列目(n=1~480、m=1~720)の記憶領域に記憶された20bitの輝度値を取得する。画像積算部204bは、フレームバッファ204aから取得した輝度値と、モノクロ画像のn行目m列目の画素の輝度値(8bit)とを加算し、加算結果を、フレームバッファ204aのn行目m列目の記憶領域に格納する。
画像積算部204bは、画像積算部204bのフラグがオン状態で、輝度画像変換部203からモノクロ画像を取得する度に、上記の加算処理を繰り返し実行する。そして、画像積算部204bは、加算処理を実行するたびにフレームカウンタ204cのフレーム数に1を加算する。画像積算部204bのフラグがオン状態の間は、車両は直進走行中である。
なお、画像積算部204bは、画像積算部204bのフラグがオフ状態で、輝度画像変換部203からモノクロ画像を取得した場合には、上記の加算処理を実行することなく、取得したモノクロ画像を破棄する。画像積算部204bのフラグがオフ状態の間は、車両は直進走行中ではない。
フレームカウンタ204cは、積算したフレーム数を格納する記憶部である。フレームカウンタ204cに格納されるフレーム数の初期値は0となる。
画像出力部204dは、フレームカウンタ204cのフレーム数が1024となった時点で、フレームバッファ204aの各記憶領域に記憶された加算値(20bit)を取得し、各加算値をそれぞれ1024で割る(16bit右シフトする)ことで、積算平均画像を生成する処理部である。画像出力部204dは、積算平均画像をレンズ歪み補正部205に出力する。画像出力部204dは、積算平均画像を生成した後に、初期化部204eに制御信号を出力する。
初期化部204eは、画像出力部204dから制御信号を取得した場合に、フレームバッファ204aの各記憶領域の情報を0に設定すると共に、フレームカウンタ204cのフレーム数を0に設定する。
図3の説明に戻る。レンズ歪み補正部205は、画像積算平均処理部204から積算平均画像を取得した場合に、積算平均画像のレンズ歪みを補正する処理部である。レンズ歪み補正部205は、レンズ歪みを補正した積算平均画像をエッジ抽出部206に出力する。
レンズ歪み補正部205が積算平均画像のレンズ歪みを補正することで、積算平均画像の投影を理想的な透視法投影に変換する。
具体的に、レンズ歪み補正部205は、変換テーブルを有し、変換テーブルに基づいて、積算平均画像を補正する。図10は、レンズ歪み補正部205の処理を説明するための図である。図10に示すように、変換テーブルは、補正前の座標と、補正後の座標とを対応付けて記憶している。例えば、変換テーブルの1行目では、補正前のx、y座標が(10、2)であり、補正後のx、y座標が(0、0)となっている。
レンズ歪み補正部205は、変換テーブルの1行目を参照し、積算平均画像の座標(10、2)の輝度値を、座標(0、0)に移す。レンズ歪み補正部205は、他の行も同様に参照し、積算平均画像の輝度値を他の座標に移すことで、積算平均画像を補正する。
なお、レンズ歪み補正部205は、変換テーブルを用いる代わりに、入射角と画像高からなるレンズ歪みのデータを基にして、逐次積算平均画像の補正を行っても良い。
エッジ抽出部206は、レンズ歪み補正部205から補正後の積算平均画像を取得し、積算平均画像にフィルタリング処理を実行することで、積算平均画像からエッジを抽出したエッジ画像を生成する処理部である。エッジ抽出部206は、エッジ画像をエッジ抽出部206に出力する。
図11は、エッジ抽出部206の処理を説明するための図である。エッジ抽出部206は、積算平均画像にフィルタをあて、フィルタの各値と該当する積算平均画像上の各輝度値を乗算し、各乗算結果を足し合わせる。そして、エッジ抽出部206は、各乗算結果を足し合わせた結果が、一定の閾値(例えば100)を越えた場合に、フィルタの中心ブロックに対応する輝度値を128に設定する。一方、エッジ抽出部206は、各乗算結果を足し合わせた結果が、一定の閾値(例えば-100)以下になる場合に、フィルタの中心ブロックに対応する輝度値を-128に設定する。各乗算結果がいずれの条件も満たさない場合は、フィルタの中心ブロックに対応する輝度値を0に設定する。
例えば、フィルタと重なる積算平均画像の領域において、a行目b列目の輝度値をBabとし、各乗算結果を足し合わせた結果をAとすると、
A=-1×B11+-1×B12+-1×B13+0×B21+0×B22++0×B23+1×B31+1×B32+-1×B33
となる。エッジ抽出部206は、Aが正の場合として例えば100以上の場合に、B22に対応する輝度値を128に設定し、Aが負の場合として例えば-100以下の場合に、B22に対応する輝度値を-128に設定し、それ以外の場合は輝度値を0に設定する。
A=-1×B11+-1×B12+-1×B13+0×B21+0×B22++0×B23+1×B31+1×B32+-1×B33
となる。エッジ抽出部206は、Aが正の場合として例えば100以上の場合に、B22に対応する輝度値を128に設定し、Aが負の場合として例えば-100以下の場合に、B22に対応する輝度値を-128に設定し、それ以外の場合は輝度値を0に設定する。
エッジ抽出部206は、フィルタを積算平均画像上にて移動させ、順次積算平均画像の輝度値を設定することで、エッジ画像を生成する。
図3の説明に戻る。消失点抽出部207は、エッジ抽出部206からエッジ画像を取得し、エッジ画像に基づいて消失点の座標を算出する処理部である。消失点抽出部207は、エッジ画像に含まれる輝度値128の点列を直線でつなぐことで、消失線を算出する。また、消失点抽出部207は、エッジ画像に含まれる輝度値-128の点列を直線でつなぐことで、消失線を算出する。消失点抽出部207は、点列から消失線を算出する場合に、周知のHough変換を利用しても良い。
消失点抽出部207は、消失線を算出した後に、各消失線の交点を求め、求めた交点の座標を消失点の座標とする。消失点抽出部207は、消失点の座標を誤差判定部209に出力する。また、消失点抽出部207は、消失線の情報も誤差判定部209に出力する。
消失点格納部208は、基準となる消失点の座標を格納する記憶部である。以下の説明において、基準となる消失点の座標を基準消失点座標と表記する。
誤差判定部209は、消失点抽出部207から取得した消失点の座標と、基準消失点座標とを比較して、カメラ10のパラメータを再調整するか否かを判定する処理部である。誤差判定部209は、消失点抽出部207から取得した消失点の座標と、基準消失点座標との距離が閾値以上の場合に、パラメータの再調整が必要であると判定する。誤差判定部209は、パラメータの再調整が必要であると判定した場合に、パラメータの再調整が必要である旨の情報を、HMI210、補正処理部211に出力する。また、誤差判定部209は、消失点の座標を補正処理部211に出力する。
HMI(Human Machine Interface)210は、誤差判定部209からパラメータの再調整が必要である旨の情報を取得した場合に、画像処理部202を介して、パラメータの再調整が必要である旨をディスプレイ(図示略)に表示する処理部である。
補正処理部211は、誤差判定部209からパラメータの再調整が必要である旨の情報を取得した場合に、カメラパラメータ格納部212に格納されたパラメータの補正を行う処理部である。
補正処理部211は、誤差判定部209から取得した消失点の座標と、消失点格納部208の基準消失点座標とのずれを算出し、算出したずれに基づいて、パラメータの補正を行う。具体的に、補正処理部211は、XY座標系(X軸は画像の平行方向、Y軸は画像の垂直方向)において、消失点の座標と基準消失点座標とのX軸のずれXs、Y軸のずれYsを算出する。
例えば、補正処理部211は、ずれ角Δψ、Δθを
Δψ=tan-1(Xs/Lx)
Δθ=tan-1(Ys/Ly)
により算出する。なお、Lx、Lyはカメラ10の焦点距離である。
Δψ=tan-1(Xs/Lx)
Δθ=tan-1(Ys/Ly)
により算出する。なお、Lx、Lyはカメラ10の焦点距離である。
補正処理部211は、カメラパラメータ格納部212に格納されたパラメータの俯角ψにΔψを加え、パン角θにΔθを加えることで、パラメータを補正する。また、補正処理部211は、パラメータの補正が完了した後に、誤差判定部209から取得した消失点の座標を、基準消失点座標として、消失点格納部208に格納する。なお、補正処理部211は、消失点格納部208に格納されていた過去の基準消失点座標を破棄する。
カメラパラメータ格納部212は、カメラ10のパラメータを格納する記憶部である。カメラパラメータ格納部212は、上述したパラメータのほかに、カメラ10の3次元座標(x、y、z)も記憶しておいても良い。
次に、本実施例2にかかるキャリブレーション装置200の処理手順について説明する。図12は、キャリブレーション装置200の処理手順を示すフローチャートである。図12に示すように、キャリブレーション装置200は、カメラ10から映像データを取得し(ステップS101)、映像データをモノクロ画像に逐次変換する(ステップS102)。
キャリブレーション装置200は、画像を積算し、積算した画像を平均化し(ステップS103)、積算平均画像のレンズ歪みを補正する(ステップS104)。キャリブレーション装置200は、積算平均画像からエッジを抽出し(ステップS105)、消失点の座標を算出する(ステップS106)。
キャリブレーション装置200は、基準消失点座標と現在の消失点の座標を比較して、各消失点座標の距離が閾値以上となるか否かを判定する(ステップS107)。キャリブレーション装置200は、各消失点座標の距離が閾値未満の場合に(ステップS108,No)、処理を終了する。
一方、キャリブレーション装置200は、各消失点座標の距離が閾値以上の場合に(ステップS108,Yes)、再調整が必要である旨を通知し(ステップS109)、カメラのパラメータを補正する(ステップS110)。
次に、図3の走行状態判定部201の処理手順について説明する。図13は、走行状態判定部201の処理手順を示すフローチャートである。図13に示すように、走行状態判定部201は、舵角センサ11および車速センサから舵角、車速を取得し(ステップS201)、舵角の絶対値が1deg未満であるか否かを判定する(ステップS202)。
走行状態判定部201は、舵角の絶対値が1deg以上の場合に(ステップS203,No)、画像積算平均処理部204のフラグをオフに設定する(ステップS204)。走行状態判定部201は、舵角の絶対値が1deg未満の場合に(ステップS203,Yes)、車速の絶対値が30km以上であるか否かを判定する(ステップS205)。
走行状態判定部201は、車速の絶対値が30km未満の場合に(ステップS206,No)、ステップS204に移行する。一方、走行状態判定部201は、車速の絶対値が30km以上の場合に(ステップS206,Yes)、フラグをオンに設定する(ステップS207)。
上述してきたように、本実施例2にかかるキャリブレーション装置200は、車両走行中の画像を積算・平均化することで、消失線を特定するので、平坦な路面や平行な路側線(白線)が無い状況でも動きの消失線を算出することができるので、実際の交通環境に左右されないで、出荷後にキャリブレーションの適切に実行することが出来る。すなわち、交通環境に左右されないで、カメラのパラメータを正確に補正することが出来る。
また、本実施例2にかかるキャリブレーション装置200は、舵角センサ11、車速センサ12から出力される舵角、車速に基づいて、画像の積算を中断するので、消失点にずれを生じさせるような線開示の映像を積算してしまうことを回避することができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例1、2以外にも種々の異なる形態にて実施されてよいものである。そこで、以下では実施例3として本発明に含まれる他の実施例を説明する。
(1)走行状態の判定について
上記の実施例2では、走行状態判定部201が、舵角センサ11、車速センサ12を用いて車両が直進しているか否かを判定していたがこれに限定されるものではない。走行状態判定部201は、その他のセンサ、例えば、加速度センサやジャイロセンサを用いて、車両の走行状態を判定しても良い。
上記の実施例2では、走行状態判定部201が、舵角センサ11、車速センサ12を用いて車両が直進しているか否かを判定していたがこれに限定されるものではない。走行状態判定部201は、その他のセンサ、例えば、加速度センサやジャイロセンサを用いて、車両の走行状態を判定しても良い。
(2)システムの構成など
本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
例えば、図3にて説明した輝度画像変換部203、画像積算平均処理部204、レンズ歪み補正部205、エッジ抽出部206、消失点抽出部207、誤差判定部209、消失点格納部208、補正処理部211に対応する機能をサーバに持たせ、かかるサーバに、カメラの撮影した画像や、パラメータ等の各データを送信することで、サーバが、パラメータの補正を実行するように構成しても良い。
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図14は、実施例にかかるキャリブレーション装置200を構成するコンピュータのハードウェア構成を示す図である。図14に示すように、このコンピュータ(キャリブレーション装置)300は、入力装置301、モニタ302、カメラ303、舵角センサ、車速センサ等の各種センサ304、RAM(Random Access Memory)305を有する。また、コンピュータ300は、ROM(Read Only Memory)306、他の装置と通信を行う通信制御装置307、記憶媒体からデータを読み取る媒体読取装置308、CPU(Central Processing Unit)309、HDD(Hard Disk Drive)310を有する。各装置301~310は、バス311に接続する。
HDD310には、上記したキャリブレーション装置200の機能と同様の機能を発揮するキャリブレーションプログラム310bが記憶されている。CPU309がキャリブレーションプログラム310bを読み出して実行することにより、キャリブレーションプロセス309aが起動される。ここで、キャリブレーションプロセス309aは、図3に示した、走行状態判定部201、画像処理部202、輝度画像変換部203、画像積算平均処理部204、レンズ歪み補正部205、エッジ抽出部206、消失点抽出部207、誤差判定部209、HMI210、補正処理部211に対応する。
また、HDD310は、消失点格納部208、パラメータ格納部212に記憶される情報に対応する各種データ310aを記憶する。CPU309は、HDD310に格納された各種データ310aを読み出して、RAM305に格納し、RAM305に格納された各種データ305aおよびカメラ303に撮影された画像、各種センサ304からの情報に基づいて、パラメータを補正する。
ところで、図14に示したキャリブレーションプログラム310bは、必ずしも最初からHDD310に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ(HDD)などの「固定用の物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータに接続される「他のコンピュータ(またはサーバ)」などにキャリブレーションプログラム310bを記憶しておき、コンピュータがこれらからキャリブレーションプログラム310bを読み出して実行するようにしてもよい。
10,303 カメラ
11 舵角センサ
12 車速センサ
100 画像処理装置
110 積算部
120 消失点特定部
130 判定部
200 キャリブレーション装置
201 走行状態判定部
202 画像処理装置
203 輝度画像変換部
204 画像積算平均処理部
205 レンズ歪み補正部
206 エッジ抽出部
207 消失点抽出部
208 消失点格納部
209 誤差判定部
210 HMI
211 補正処理部
212 カメラパラメータ格納部
300 コンピュータ
301 入力装置
302 モニタ
304 各種センサ
305 RAM
306 ROM
307 通信制御装置
308 媒体読取装置
309 CPU
309a キャリブレーションプロセス
310 HDD
310a 各種データ
310b キャリブレーションプログラム
311 バス
11 舵角センサ
12 車速センサ
100 画像処理装置
110 積算部
120 消失点特定部
130 判定部
200 キャリブレーション装置
201 走行状態判定部
202 画像処理装置
203 輝度画像変換部
204 画像積算平均処理部
205 レンズ歪み補正部
206 エッジ抽出部
207 消失点抽出部
208 消失点格納部
209 誤差判定部
210 HMI
211 補正処理部
212 カメラパラメータ格納部
300 コンピュータ
301 入力装置
302 モニタ
304 各種センサ
305 RAM
306 ROM
307 通信制御装置
308 媒体読取装置
309 CPU
309a キャリブレーションプロセス
310 HDD
310a 各種データ
310b キャリブレーションプログラム
311 バス
Claims (8)
- 移動体に設置されたカメラから当該移動体の移動中に撮影された画像を取得し、取得した画像を積算した積算画像を生成する積算部と、
前記積算画像から輝度エッジを抽出し、当該輝度エッジに基づいて決定した各直線の交点を消失点として特定する消失点特定部と、
前記消失点の座標と基準座標とを基にして、前記カメラのパラメータが適切な値であるか否かを判定する判定部と
を有することを特徴とする画像処理装置。 - 前記積算部は、速度センサから前記移動体の移動速度を取得し、取得した移動速度が規定の速度以上の間に、前記カメラから取得した画像を積算することで前記積算画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記積算部は、舵角センサから前記移動体の舵角を取得し、取得した舵角が規定の舵角未満の間に、前記カメラから取得した画像を積算することで前記積算画像を生成することを特徴とする請求項2に記載の画像処理装置。
- 前記消失点の座標と前記基準座標との差に基づいて、前記カメラのパラメータを補正する補正部を更に有することを特徴とする請求項3に記載の画像処理装置。
- 画像処理装置が、
移動体に設置されたカメラから当該移動体の移動中に撮影された画像を取得し、取得した画像を積算した積算画像を生成する積算ステップと、
前記積算画像から輝度エッジを抽出し、当該輝度エッジに基づいて決定した各直線の交点を消失点として特定する消失点特定ステップと、
前記消失点の座標と基準座標とを基にして、前記カメラのパラメータが適切な値であるか否かを判定する判定ステップと
を含んだことを特徴とする画像処理方法。 - 前記積算ステップは、速度センサから前記移動体の移動速度を取得し、取得した移動速度が規定の速度以上の間に、前記カメラから取得した画像を積算することで前記積算画像を生成することを特徴とする請求項5に記載の画像処理方法。
- 前記積算ステップは、舵角センサから前記移動体の舵角を取得し、取得した舵角が規定の舵角未満の間に、前記カメラから取得した画像を積算することで前記積算画像を生成することを特徴とする請求項6に記載の画像処理方法。
- 前記消失点の座標と前記基準座標との差に基づいて、前記カメラのパラメータを補正する補正ステップを更に含むことを特徴とする請求項7に記載の画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011519373A JP5375958B2 (ja) | 2009-06-18 | 2009-06-18 | 画像処理装置および画像処理方法 |
PCT/JP2009/061127 WO2010146695A1 (ja) | 2009-06-18 | 2009-06-18 | 画像処理装置および画像処理方法 |
US13/325,703 US9412168B2 (en) | 2009-06-18 | 2011-12-14 | Image processing device and image processing method for camera calibration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/061127 WO2010146695A1 (ja) | 2009-06-18 | 2009-06-18 | 画像処理装置および画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/325,703 Continuation US9412168B2 (en) | 2009-06-18 | 2011-12-14 | Image processing device and image processing method for camera calibration |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010146695A1 true WO2010146695A1 (ja) | 2010-12-23 |
Family
ID=43356033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/061127 WO2010146695A1 (ja) | 2009-06-18 | 2009-06-18 | 画像処理装置および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9412168B2 (ja) |
JP (1) | JP5375958B2 (ja) |
WO (1) | WO2010146695A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140043473A1 (en) * | 2011-04-25 | 2014-02-13 | Nikhil Gupta | Method and system for dynamically calibrating vehicular cameras |
JP2014115793A (ja) * | 2012-12-10 | 2014-06-26 | Mitsubishi Electric Corp | 画像処理装置および画像処理方法 |
EP2720213A4 (en) * | 2011-06-13 | 2015-03-11 | Nissan Motor | DEVICE FOR DETERMINING A ROAD PROFILE, VEHICLE INTERNAL IMAGE RECOGNITION DEVICE, APPARATUS FOR ADJUSTING A PICTURE BASE AXIS AND TRACE RECOGNITION METHOD |
KR20150064767A (ko) * | 2013-12-03 | 2015-06-12 | 팅크웨어(주) | 전자 장치 및 그의 제어 방법 |
EP2887315A1 (en) | 2013-12-20 | 2015-06-24 | Panasonic Intellectual Property Management Co., Ltd. | Calibration device, method for implementing calibration, program and camera for movable body |
KR101677232B1 (ko) | 2015-11-27 | 2016-11-30 | 중앙대학교 산학협력단 | 자동차 카메라 보정 장치 및 방법 |
JP2018117218A (ja) * | 2017-01-17 | 2018-07-26 | トヨタ自動車株式会社 | 車両用運転支援装置 |
KR101989370B1 (ko) * | 2019-02-19 | 2019-06-14 | 주식회사 리트빅 | 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법 |
CN109997150A (zh) * | 2017-01-04 | 2019-07-09 | 高通股份有限公司 | 用于对道路特征进行分类的***和方法 |
JP2020098591A (ja) * | 2018-12-18 | 2020-06-25 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 画像センサの外因性パラメータを較正するための方法及び装置 |
WO2023026626A1 (ja) * | 2021-08-24 | 2023-03-02 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理システム、信号処理方法及びプログラム |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
JP5923422B2 (ja) * | 2012-09-24 | 2016-05-24 | クラリオン株式会社 | カメラのキャリブレーション方法及び装置 |
US9135705B2 (en) * | 2012-10-16 | 2015-09-15 | Qualcomm Incorporated | Sensor calibration and position estimation based on vanishing point determination |
WO2014142367A1 (ko) * | 2013-03-13 | 2014-09-18 | 엘지전자 주식회사 | 전자 기기 및 그것의 제어 방법 |
JP6326624B2 (ja) * | 2014-04-02 | 2018-05-23 | パナソニックIpマネジメント株式会社 | キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えたカメラ及びプログラム |
KR102225620B1 (ko) * | 2014-04-03 | 2021-03-12 | 한화테크윈 주식회사 | 카메라 모델링 시스템 |
US9674433B1 (en) * | 2014-07-24 | 2017-06-06 | Hoyos Vsn Corp. | Image center calibration for a quadric panoramic optical device |
KR101748269B1 (ko) * | 2015-11-11 | 2017-06-27 | 현대자동차주식회사 | 자율 주행 차량의 조향 제어 방법 및 장치 |
US11158088B2 (en) | 2017-09-11 | 2021-10-26 | Tusimple, Inc. | Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment |
US11089288B2 (en) * | 2017-09-11 | 2021-08-10 | Tusimple, Inc. | Corner point extraction system and method for image guided stereo camera optical axes alignment |
JP7003669B2 (ja) * | 2018-01-10 | 2022-01-20 | 株式会社アイシン | 表面検査装置、及び表面検査方法 |
JP7191671B2 (ja) * | 2018-12-19 | 2022-12-19 | フォルシアクラリオン・エレクトロニクス株式会社 | キャリブレーション装置、キャリブレーション方法 |
JP7217577B2 (ja) * | 2019-03-20 | 2023-02-03 | フォルシアクラリオン・エレクトロニクス株式会社 | キャリブレーション装置、キャリブレーション方法 |
JP7132271B2 (ja) * | 2020-03-31 | 2022-09-06 | 本田技研工業株式会社 | 挙動制御システム |
CN112183512B (zh) * | 2020-12-02 | 2021-11-19 | 深圳佑驾创新科技有限公司 | 摄像头标定方法、装置、车载终端和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0777431A (ja) * | 1993-09-08 | 1995-03-20 | Sumitomo Electric Ind Ltd | カメラ姿勢パラメータ算出方法 |
JPH09189517A (ja) * | 1996-01-09 | 1997-07-22 | Toyota Motor Corp | 撮像装置 |
JP2000011133A (ja) * | 1998-06-19 | 2000-01-14 | Toshiba Corp | 移動物体検出装置及びその方法 |
JP2000242899A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Electric Corp | 白線認識装置 |
JP2002259995A (ja) * | 2001-03-06 | 2002-09-13 | Nissan Motor Co Ltd | 位置検出装置 |
JP2003329411A (ja) * | 2002-05-14 | 2003-11-19 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5638116A (en) | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
JP3841142B2 (ja) | 2000-02-16 | 2006-11-01 | 三菱自動車工業株式会社 | 車両用撮像装置 |
JP3822468B2 (ja) * | 2001-07-18 | 2006-09-20 | 株式会社東芝 | 画像処理装置及びその方法 |
US7424133B2 (en) * | 2002-11-08 | 2008-09-09 | Pictometry International Corporation | Method and apparatus for capturing, geolocating and measuring oblique images |
JP4019933B2 (ja) | 2002-12-26 | 2007-12-12 | 日産自動車株式会社 | 車両用レーダ装置およびレーダの光軸調整方法 |
JP4314979B2 (ja) * | 2003-11-25 | 2009-08-19 | 株式会社デンソー | 白線検出装置 |
JP4820221B2 (ja) * | 2006-06-29 | 2011-11-24 | 日立オートモティブシステムズ株式会社 | 車載カメラのキャリブレーション装置およびプログラム |
ATE531196T1 (de) * | 2007-08-03 | 2011-11-15 | Panasonic Corp | Bilderzeugungsvorrichtung, bilderzeugungsverfahren und entsprechendes programm |
-
2009
- 2009-06-18 WO PCT/JP2009/061127 patent/WO2010146695A1/ja active Application Filing
- 2009-06-18 JP JP2011519373A patent/JP5375958B2/ja not_active Expired - Fee Related
-
2011
- 2011-12-14 US US13/325,703 patent/US9412168B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0777431A (ja) * | 1993-09-08 | 1995-03-20 | Sumitomo Electric Ind Ltd | カメラ姿勢パラメータ算出方法 |
JPH09189517A (ja) * | 1996-01-09 | 1997-07-22 | Toyota Motor Corp | 撮像装置 |
JP2000011133A (ja) * | 1998-06-19 | 2000-01-14 | Toshiba Corp | 移動物体検出装置及びその方法 |
JP2000242899A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Electric Corp | 白線認識装置 |
JP2002259995A (ja) * | 2001-03-06 | 2002-09-13 | Nissan Motor Co Ltd | 位置検出装置 |
JP2003329411A (ja) * | 2002-05-14 | 2003-11-19 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10640041B2 (en) | 2011-04-25 | 2020-05-05 | Magna Electronics Inc. | Method for dynamically calibrating vehicular cameras |
US11554717B2 (en) | 2011-04-25 | 2023-01-17 | Magna Electronics Inc. | Vehicular vision system that dynamically calibrates a vehicular camera |
US11007934B2 (en) | 2011-04-25 | 2021-05-18 | Magna Electronics Inc. | Method for dynamically calibrating a vehicular camera |
US20140043473A1 (en) * | 2011-04-25 | 2014-02-13 | Nikhil Gupta | Method and system for dynamically calibrating vehicular cameras |
US10202077B2 (en) | 2011-04-25 | 2019-02-12 | Magna Electronics Inc. | Method for dynamically calibrating vehicular cameras |
US9357208B2 (en) * | 2011-04-25 | 2016-05-31 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
EP2720213A4 (en) * | 2011-06-13 | 2015-03-11 | Nissan Motor | DEVICE FOR DETERMINING A ROAD PROFILE, VEHICLE INTERNAL IMAGE RECOGNITION DEVICE, APPARATUS FOR ADJUSTING A PICTURE BASE AXIS AND TRACE RECOGNITION METHOD |
JP2014115793A (ja) * | 2012-12-10 | 2014-06-26 | Mitsubishi Electric Corp | 画像処理装置および画像処理方法 |
KR102299081B1 (ko) * | 2013-12-03 | 2021-09-08 | 팅크웨어(주) | 전자 장치 및 그의 제어 방법 |
KR20150064767A (ko) * | 2013-12-03 | 2015-06-12 | 팅크웨어(주) | 전자 장치 및 그의 제어 방법 |
EP2887315A1 (en) | 2013-12-20 | 2015-06-24 | Panasonic Intellectual Property Management Co., Ltd. | Calibration device, method for implementing calibration, program and camera for movable body |
US9336595B2 (en) | 2013-12-20 | 2016-05-10 | Panasonic Intellectual Property Management Co., Ltd. | Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function |
KR101677232B1 (ko) | 2015-11-27 | 2016-11-30 | 중앙대학교 산학협력단 | 자동차 카메라 보정 장치 및 방법 |
CN109997150B (zh) * | 2017-01-04 | 2023-10-24 | 高通股份有限公司 | 用于对道路特征进行分类的***和方法 |
CN109997150A (zh) * | 2017-01-04 | 2019-07-09 | 高通股份有限公司 | 用于对道路特征进行分类的***和方法 |
JP2018117218A (ja) * | 2017-01-17 | 2018-07-26 | トヨタ自動車株式会社 | 車両用運転支援装置 |
CN111336951B (zh) * | 2018-12-18 | 2021-12-21 | 大陆汽车有限责任公司 | 用于校准图像传感器的外部参数的方法和设备 |
CN111336951A (zh) * | 2018-12-18 | 2020-06-26 | 大陆汽车有限责任公司 | 用于校准图像传感器的外部参数的方法和设备 |
KR102365501B1 (ko) * | 2018-12-18 | 2022-02-21 | 콘티넨탈 오토모티브 게엠베하 | 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치 |
US11393126B2 (en) | 2018-12-18 | 2022-07-19 | Continental Automotive Gmbh | Method and apparatus for calibrating the extrinsic parameter of an image sensor |
KR20200075766A (ko) * | 2018-12-18 | 2020-06-26 | 콘티넨탈 오토모티브 게엠베하 | 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치 |
JP2020098591A (ja) * | 2018-12-18 | 2020-06-25 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 画像センサの外因性パラメータを較正するための方法及び装置 |
KR101989370B1 (ko) * | 2019-02-19 | 2019-06-14 | 주식회사 리트빅 | 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법 |
WO2023026626A1 (ja) * | 2021-08-24 | 2023-03-02 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理システム、信号処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2010146695A1 (ja) | 2012-11-29 |
US20120081512A1 (en) | 2012-04-05 |
JP5375958B2 (ja) | 2013-12-25 |
US9412168B2 (en) | 2016-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5375958B2 (ja) | 画像処理装置および画像処理方法 | |
US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
JP6995188B2 (ja) | 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器 | |
JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
US8670590B2 (en) | Image processing device | |
EP3859593A1 (en) | Vehicle feature acquisition method and device | |
JP6086424B2 (ja) | 車載画像処理装置 | |
JP2007034989A (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
JP2018092596A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム | |
JP6152261B2 (ja) | 車載用駐車枠認識装置 | |
JP2008309519A (ja) | 画像処理を用いた物体検出装置 | |
JP2017211200A (ja) | カメラ校正装置及びカメラ校正方法 | |
CN108082192B (zh) | 车道偏离预警方法及装置 | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP2011175572A (ja) | 車線認識装置 | |
JP2014106739A (ja) | 車載画像処理装置 | |
JP7259309B2 (ja) | 画像処理装置および画像処理方法 | |
JP2014130429A (ja) | 撮像装置及び立体物領域検出用プログラム | |
JP2007018451A (ja) | 道路区画線検出装置 | |
US11403770B2 (en) | Road surface area detection device | |
JP6032141B2 (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
JP4026641B2 (ja) | 物体検出装置、および物体検出方法 | |
CN113903103A (zh) | 局部图像生成装置、局部图像生成方法以及存储介质 | |
JP2016111585A (ja) | 画像処理装置、システム、画像処理方法、およびプログラム | |
JP6477246B2 (ja) | 路面標示検出装置及び路面標示検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09846188 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2011519373 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09846188 Country of ref document: EP Kind code of ref document: A1 |