WO2019054636A1 - 차량용 카메라 캘리브레이션 장치 및 그 방법 - Google Patents

차량용 카메라 캘리브레이션 장치 및 그 방법 Download PDF

Info

Publication number
WO2019054636A1
WO2019054636A1 PCT/KR2018/009001 KR2018009001W WO2019054636A1 WO 2019054636 A1 WO2019054636 A1 WO 2019054636A1 KR 2018009001 W KR2018009001 W KR 2018009001W WO 2019054636 A1 WO2019054636 A1 WO 2019054636A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
image
camera
new
correction
Prior art date
Application number
PCT/KR2018/009001
Other languages
English (en)
French (fr)
Inventor
이준석
전병찬
하정목
김희수
Original Assignee
(주)베이다스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)베이다스 filed Critical (주)베이다스
Priority to DE112018000107.5T priority Critical patent/DE112018000107T5/de
Priority to CN201880002468.0A priority patent/CN109791700A/zh
Priority to US16/315,941 priority patent/US11398051B2/en
Publication of WO2019054636A1 publication Critical patent/WO2019054636A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a vehicle camera calibration apparatus and a method thereof, and more particularly to a vehicle camera calibration apparatus and method for automatically calibrating an external parameter of a camera
  • the present invention relates to a vehicle camera calibration apparatus and a method thereof.
  • each shot image acquired from a plurality of cameras is inputted together with various information, and real-time spatial information is changed from the information of each shot image stored in the camera to a preset common coordinate system of the vehicle, It is possible to display an appropriate top view image to the driver by matching a plurality of captured images based on the information.
  • a camera calibration is required to correct the mounting error of the camera as a preliminary problem.
  • a specific reference pattern such as a cherker board is installed on the ground, and a method of acquiring information by using the photographed pattern image after photographing the reference pattern is used.
  • the camera information acquiring method using the conventional specific reference pattern has an advantage of obtaining precise camera information since the relative position of a specific marker such as a pattern can be precisely known in advance, There is a problem in that it is troublesome to carry out the work after securing a large space enough to be installed in the portable terminal.
  • a related prior art is Korean Patent Laid-Open No. 10-2008-0028531 (published on Apr. 4, 2008).
  • the present invention relates to an image sensing apparatus for sensing an image of a driving lane of a vehicle from a plurality of cameras mounted on the vehicle during driving of the vehicle, detecting a lane on the lane from the sensed image, It is an object of the present invention to provide a vehicle camera calibration device and a method thereof, which can quickly and easily perform calibration of a camera in which a physical mounting error has occurred due to vehicle operation, even during traveling of a vehicle.
  • a vehicle camera calibration apparatus comprising: a camera module that acquires an image of a lane photographed by a plurality of cameras mounted on a vehicle; Output module; a lane detecting module for detecting lanes from the image input from the input / output module and extracting feature points of the lane; and a lane equations and lanes using the initial camera information and external parameter information in the input image from the input / And a camera correction module for calculating the width and then correcting the image by estimating a new external parameter.
  • the input / output module includes a video input / output unit for receiving an image from the camera module or outputting a corrected image to the outside, and a storage unit for receiving and storing the changed external parameter information and the corrected image from the camera correction module can do.
  • the lane detecting module includes an image processor for removing noise from an image input from the input / output module, a frame accumulator for accumulating images processed by the image processor in successive frames when the lane is a dotted line, An edge detector for detecting an edge of an image of the image accumulated in the frame accumulator and extracting a feature point, and a lane determining unit for determining a lane of the feature point extracted by the edge detector.
  • the camera correction module may include an image conversion unit that extracts feature points of a lane from a received image using initial camera information and external parameter information, and then converts the feature points into a top view image; A parameter estimator for estimating a new external parameter using the equation of the lane calculated by the equation calculator, and a correction unit for correcting the image using the new external parameter estimated by the parameter estimator, Section.
  • a method of calibrating a camera for a vehicle comprising the steps of: detecting a lane by receiving an image obtained from a camera module; And calculating a lane width and a lane width from the top view image transformed in the image transforming step; and calculating a new lane width using a lane equation calculated in the equation calculating step, A parameter estimation step of estimating an external parameter, and an image correction step of correcting the image using the new external parameter estimated in the parameter estimation step.
  • the lane detecting step may include an image processing step of removing noise from an image input from the input / output module, a step of accumulating the image in the image processed in the image processing step as a continuous frame when the lane is a dotted line, An edge detecting step of detecting an edge and extracting a minutia point from an image of the image accumulated in the frame accumulating step and a lane determining step of determining a lane at the minutiae extracted in the edge detecting step can do.
  • the image processing step may be performed by performing an algorithm for smoothing an object boundary in an image to remove noise.
  • noise is removed by changing the size of an image in order to prevent an edge of the divided lane from being detected as an edge in the obtained image.
  • the frame accumulating step in order to make the dotted lane appear as a solid lane in the obtained image, all the pixel values are compared in the image of the accumulated image, and the largest pixel value is stored in the new image .
  • the edge detection step may include detecting an edge using an algorithm, and then extracting the center coordinates of the edge and the edge as feature points.
  • the lane-determining step may include detecting an outline of a longest line among the lines indicated by the feature points extracted in the edge detection step and determining the outline as a lane.
  • the equation of the lane calculated in the equation calculating step may be expressed by a linear equation or a multidimensional equation.
  • the parameter estimating step may include a step of correcting the pitch Rx, yaw Ry and roll Rz of the front camera of the vehicle and the correction information of the pitch Rx, yaw Ry, roll Rz,
  • the correction information of the pitch Rx, the yaw Ry and the roll Rz of the front camera of the vehicle and the correction information of the pitch of the rear camera and the pitch of the rear camera are determined, (Rz), yaw (Ry) and roll (Rz), and then returns to the image conversion step.
  • the method of calculating the correction information of the pitch Rx between the front camera and the rear camera in the primary correction step may be such that the new pitch Rx is corrected until the following Equation 1 is satisfied, And the process is repeated.
  • G l is the slope of the left lane and G r is the slope of the right lane.
  • a method for calculating correction information of a yaw (Ry) between the front camera and the rear camera in the first and second correction steps is performed by correcting a new yaw until the following equation (2) is satisfied, And then the process returns to the image conversion step and the process is repeated.
  • W l is the width of the left lane and W r is the width of the right lane.
  • the method of calculating the correction information of the roll (Rz) of the front camera and the rear camera in the primary correction step may be modified by correcting a new roll (New Rz) until the following equation (3) is satisfied, And the process is repeated.
  • G l is the slope of the left lane and G r is the slope of the right lane.
  • the method of calculating the correction information of the positional shift (Tz) of the rear camera in the secondary correction step may be such that the new positional shift (New Tz) is corrected until the following equation (4) is satisfied, And the process is repeated again.
  • C f is the width between the left lane and the right lane in the front lane and C r is the width between the left lane and the right lane in the rear lane.
  • the method of calculating correction information of the pitch (Rx) of the left camera in the third correction step modifies a new pitch (New Rx) until the following equation (5) is satisfied, and then returns to the image conversion step (Rx) of the right camera in the third correction step is calculated by correcting a new pitch (New Rx) until the following equation (6) is satisfied, and then the image transformation step And the process is repeated.
  • x 1 is the left x coordinate of the left lane of the front lane
  • x 2 is the right x coordinate of the left lane of the front lane
  • x 5 is the left x coordinate of the left lane of the back lane
  • x 6 is the right x coordinate
  • X 3 is the left x coordinate of the right lane of the front lane
  • x 4 is the right x coordinate of the right lane of the front lane
  • x 7 is the left x coordinate of the right lane of the back lane and x coordinate of the right lane of the right lane of the x 8 back lane to be.
  • the method for calculating the correction information of the yaw rate (Ry) of the left camera in the third correction step modifies the new yaw until the following equation (7) is satisfied, and then returns to the image conversion step (Ry) of the right camera in the third correction step is calculated by correcting the new yaw (New Ry) until the following equation (8) is satisfied, And the process is repeated.
  • x 11 is the left x coordinate of the left lane of the front lane
  • x 22 is the right x coordinate of the left lane of the preceding lane
  • x 55 is the left x coordinate of the left lane of the back lane
  • x 66 is the right x coordinate of the left lane of the back lane
  • X 33 is the left x coordinate of the right lane of the front lane
  • x 44 is the right x coordinate of the right lane of the preceding lane
  • x 77 is the left x coordinate of the right lane of the rear lane
  • x 88 is the right lane of the right lane of the back lane Coordinates.
  • the method of calculating the correction information of the roll (Rz) of the left camera in the third correction step may be modified by correcting a new roll (New Rz) until the following equation (9) is satisfied, (Rz) of the right camera in the third correction step is calculated by correcting a new roll (New Rz) until the following equation (10) is satisfied, and then the image transformation step And the process is repeated.
  • G l is the slope of the left lane and G r is the slope of the right lane.
  • the method of calculating the correction information of the positional movement (Tz) of the left camera in the third correction step may be modified by correcting the new position movement (New Tz) until the following Equation (11) is satisfied, (Tz) of the right camera in the third correction step is calculated by correcting the new position movement (New Tz) until the following equation (12) is satisfied And the process may be returned to the image conversion step.
  • x 111 is the left x coordinate of the left lane ahead drive
  • x 222 is the right x coordinates of the left lane and the front drive
  • x 555 is the left x coordinate is x 666 for the left lane and the right x coordinates of the left lane
  • x 999 It is left x coordinate of the left lane and drive back x 10 is the right x-coordinate of the left lane, rear drive
  • x 333 is the left x coordinate of the right lane drive forward
  • x 444 is the right x-coordinate of the right lane drive forward
  • x 777 Is the left x coordinate of the right lane
  • x 888 is the right x coordinate of the right lane
  • x 11 is the left x coordinate of the right lane
  • x 12 is the right x coordinate of the right lane.
  • an image of a driving lane of a vehicle is captured from a plurality of cameras mounted on a vehicle, a lane is detected from the captured image, and an external parameter
  • the calibration of the camera can be performed quickly and easily without stopping the vehicle.
  • the present invention carries out the camera calibration during running of the vehicle, there is no need to perform a secondary operation such as securing a space and installing a calibration pattern after stopping the vehicle for correction of the camera mounted on the vehicle, It is possible to reduce the time and cost required for the correction.
  • FIG. 1 is a schematic view of a vehicle camera calibration apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of calibrating a camera for a vehicle according to an embodiment of the present invention.
  • FIG. 3 is a flowchart showing detailed steps of the lane detection step shown in FIG. 2.
  • FIG. 3 is a flowchart showing detailed steps of the lane detection step shown in FIG. 2.
  • FIG. 4 is a flowchart showing the detailed steps of the parameter estimation step shown in FIG.
  • Fig. 5 is a photograph showing a case where the pitch Rx of the front and rear cameras is different from the image acquired from the camera module shown in Fig. 1.
  • Fig. 5 is a photograph showing a case where the pitch Rx of the front and rear cameras is different from the image acquired from the camera module shown in Fig. 1.
  • Fig. 6 is a photograph showing a case where the yaw (Ry) of the front and rear cameras is different from the image acquired from the camera module shown in Fig.
  • FIG. 7 is a photograph showing a case where the rolls Rz of the front and rear cameras are broken in the image acquired from the camera module shown in Fig.
  • FIG. 8 is a photograph showing a case where the positional movement (Tz) of the rear camera is incorrect in the image acquired from the camera module shown in Fig.
  • FIG. 9 is a photograph showing a case where the pitch Rx of the left and right cameras is different from the image acquired from the camera module shown in FIG.
  • FIG. 10 is a photograph showing a case where the yaw rate Ry of the left and right cameras is incorrect in the image acquired from the camera module shown in Fig.
  • FIG. 11 is a photograph showing a case where the rolls Rz of the left and right cameras are broken in the image acquired from the camera module shown in Fig.
  • FIG. 12 is a photograph showing a case where the positional shift (Tz) of the left and right cameras is incorrect in the image acquired from the camera module shown in FIG.
  • FIG. 1 is a schematic diagram of a vehicle camera calibration apparatus according to an embodiment of the present invention.
  • the camera calibration apparatus for a vehicle includes a camera module 100 for acquiring an image of a lane taken from a plurality of cameras mounted on the vehicle, Output module 200 for detecting a lane from an image input from the input / output module 200 and extracting feature points of a lane, a lane detecting module A camera correction module 300 for calculating a lane equation and a lane width using initial camera information and external parameter information in the image input from the input / output module 200, 400).
  • the camera module 100 is a device having a plurality of cameras mounted at arbitrary positions of the vehicle.
  • the camera module 100 performs a function of acquiring an image of a lane photographed from the plurality of cameras.
  • And four cameras are mounted on the front, rear, left, and right sides of the vehicle. By doing so, the surroundings of the vehicle can be visualized by eliminating the square at the time of photographing the peripheral area of the vehicle.
  • this is merely an embodiment, and the number of cameras mounted on the vehicle can be increased or decreased.
  • the camera of the camera module 100 may use a wide-angle lens having a larger viewing angle than a normal lens or a fisheye lens having an extra-wide angle of view exceeding 180 degrees. By doing so, it is preferable that all of the vehicle surroundings are photographed when each camera image is matched in order to generate a top view image in the future.
  • the camera of the camera module 100 It goes without saying that the present invention can be applied regardless of the angle of view.
  • the attitude information of each camera (Ry), a roll (Rz), and an external parameter indicating the degree of movement of the back camera and the left and right cameras at a specific position.
  • a straight lane in a straight lane will always appear vertically when viewed from the top view image, and all four lanes visible on the four straight lanes will be present. At this time, if the camera calibration is correct, it will appear as one lane and if the camera calibration is incorrect, it will be seen as several lanes. By using these characteristics, it is possible to estimate several external parameters.
  • the camera module 100 and the input / output module 200 may be connected by wire or wirelessly to transmit images photographed by the camera.
  • the input / output module 200 is a module for receiving the image obtained from the camera module 100 or outputting the corrected image transmitted from the camera correction module 400 to be described later to an output device capable of recognizing by the user, Unit 210 and a storage unit 220.
  • the video input and output unit 210 receives an image photographed by the camera of the camera module 100 and transmits the image to the image processing unit 310 of the lane detection module 300 or the correction unit 440 of the camera correction module 400 When the corrected image is stored in the storage unit 220 to be described later, the image is received and output to an external device such as a monitor that can be recognized by the user. At this time, the video input / output unit 210 may perform an image preprocessing process by an image filter if necessary.
  • the storage unit 220 stores the corrected image in the correction unit 440 of the camera correction module 400 as well as the new camera estimated by the parameter estimation unit 430 of the camera correction module 400, Information about external parameters can also be stored.
  • the storage unit 220 stores information on internal parameters such as a focal length, a principal point, a distortion coefficient, and the like corresponding to the intrinsic characteristics of a plurality of camera lenses of the camera module 100,
  • the first external parameter information of the camera such as the initial attitude information and the position information of a plurality of cameras of the camera.
  • the first camera information and the first external parameter information stored in the storage unit 220 are provided to the camera correction module 400 to be described later and are used to estimate new external parameters. May be provided for processing in various devices such as a top view system, a panoramic view system, and the like.
  • the lane detecting module 300 can detect a lane from an image input from the input / output module 200 and extract feature points of the lane.
  • the lane detecting module 300 includes various algorithms for performing the functions, An image processor 310, a frame accumulator 320, an edge detector 330, and a lane determiner 340.
  • the image processing unit 310 includes an image processing algorithm for removing noise from the image input from the image input / output unit 210 of the input / output module 200 and performing image processing for more clearly showing the boundary of the road lane .
  • the algorithm that the image processing unit 310 described below uses to remove noise from the image and to perform the image processing is not limited to the algorithm described below as an embodiment of the present invention, It is natural that it can be replaced with any number of algorithms.
  • the image processing unit 310 may convert the color image input from the image input / output unit 210 to a monochrome image for noise removal and image processing in the embodiment of the present invention. That is, the image processing unit 310 may use the input color image as it is for the above noise removal and image processing, or may convert the input color image into a monochrome image.
  • the image processing unit 310 may apply an algorithm to remove noise from the image as described above. For example, in an embodiment of the present invention, a morphology operation and median filtering may be performed.
  • the morphological operation performed in the image processing unit 310 is an erosion operation and an expansion operation as a type of image filter used in a preprocessing process such as noise removal and feature point extraction prior to image separation, that is, full-scale image processing.
  • a morphology opening is performed after the morphology closing.
  • the closing of the image performed by the image processing unit 310 softens the boundaries of the objects shown in the image, thus smoothing the boundaries and eliminating discontinuous data in the image.
  • the size of the object can be preserved while noise is removed by the morphology opening performed after the closing of the image processing unit 310.
  • the image processing unit 310 may perform median filtering in addition to sequentially applying a morphology opening after the closing of the morphology in an embodiment of the present invention.
  • the image processing unit 310 can remove noise by changing the size of the image after the median filtering is performed.
  • the edge detecting part 330 detects the split part as an edge
  • the lane determining part 340 The lane recognition rate is lowered so as to prevent the lane recognition rate from dropping by eliminating the noise of the cracked portion of the lane.
  • the frame accumulation unit 320 accumulates the images processed by the image processing unit 310, that is, when the lane indicated by the noise-removed image is a dotted line, as consecutive frames, In the case of a straight line, the image processed by the image processing unit 310 passes through the frame accumulation unit 320 and is transmitted to the next edge detection unit 330.
  • the frame accumulation unit 320 exemplifies accumulation of four frames in one embodiment of the present invention.
  • the number of accumulated frames is only an example, and it can be changed as much as necessary.
  • the reason why the frame accumulator 320 accumulates the image frames as described above is to make the dotted lanes shown in the image look like the real lane. This is because it is possible to more easily and accurately determine and detect the lane in the real lane when the lane determining unit 340 determines the lane.
  • the accumulation of frames in the frame accumulation unit 320 may be performed by comparing all the pixel values in the images of four consecutive images with no noise removed, that is, four accumulated images, and storing the largest pixel value in the new image Make the dotted lane in the image look like the solid lane.
  • the edge detector 330 detects an edge at a lower end portion of an image of the image accumulated in the frame accumulator 320 and extracts a feature point.
  • the edge detection unit 330 may define a region excluding the regions except for the regions to be a region of interest (ROI) in order to reduce the amount of computation since the lane in the image of the accumulated image exists only in the lower half portion and the upper portion is sky.
  • ROI region of interest
  • the edge detection unit 330 detects a boundary between the road color and the lane color so that the edge is strongly displayed through the image processing. Then, the edge detection unit 330 detects the edge of the canine edge The edge is detected using an algorithm.
  • the reason why the edge detection unit 330 uses the CannyEdge algorithm is that the error rate and the position of the edge points are accurate.
  • the CannyEdge algorithm is exemplified as the edge detection algorithm used in the edge detection unit 330, it is needless to say that other algorithms can be used as many as necessary.
  • the edge detection unit 330 then extracts the center coordinates of the edge and the edge as feature points because the edge is not only the lane of the image but also the noise of the vehicle of the image. Therefore, in order to reduce such a wide edge, Coordinates.
  • the edge detection unit 330 extracts the center coordinates of the edge and the edge as feature points, the lane of the image is represented by one continuous long line, and the noise is not displayed or displayed short.
  • the lane determining unit 340 determines lanes at the feature points extracted by the edge detecting unit 330.
  • the lane determining unit 340 may determine the lane of the lane by the lane departing from the edge detecting unit 330. For example, It is possible to detect the outline of the longest line among the appearing lines and judge it as a lane.
  • the lane determining unit 340 finds two contours in the images acquired from the front and rear cameras of the camera module 100 and finds one contour in the images acquired from the left and right cameras. This is because the front and rear cameras have two lanes on the left and right sides and one lane on the left and right cameras.
  • the lane determining unit 340 determines the outline thus determined as a lane.
  • the camera correction module 400 performs a function of correcting the external parameters of the four cameras mounted on the front, rear, left and right sides of the vehicle using the lane detected by the lane detecting module 300, An equation calculating unit 420, a parameter estimating unit 430, and a correcting unit 440.
  • the camera correction module 400 calculates the lane equations and lane widths using the initial camera information and the external parameter information in the image received from the input / output module 200, estimates new external parameters using the lane equations and lane widths, and corrects the images .
  • the lane on the top view image will be on the same straight line and appear vertically when converted to the top view image.
  • the external parameters are not accurate, so that the lane on the top view image does not exist in a straight line. Therefore, by using this point, it is possible to estimate the external parameter of the changed camera.
  • the image converting unit 410 extracts the feature points of the lane on the input image using the initial camera information and the external parameter information, and converts the feature points into a top view image.
  • the image converting unit 410 is based on a top view image that is vertically displayed when converting a received image into a top view image.
  • any other top view image can be used.
  • the top view image in which the vehicle is viewed vertically, the top view image may also be constructed so that the vehicle is viewed horizontally. Note that the formula for the slope, It is defined differently.
  • a transformed top view image is constructed so that the vehicle is viewed horizontally, the slope becomes perpendicular to the slope of the transformed top view image so that the vehicle is viewed vertically, and the formula for the corresponding slope is also different.
  • the top view image described below is based on the conversion of the vehicle so as to be viewed vertically, and the slope and the formula are also based on the converted image.
  • this is merely an embodiment of the present invention, and it is of course also possible that the vehicle may be based on a transformed top view image.
  • the equation calculating unit 420 calculates the equation of the lane by fitting the minutiae by line fitting in the transformed top view image.
  • a least mean square (LMS) algorithm may be used for line fitting.
  • LMS least mean square
  • the above lane equation can be a linear equation, and it can be a non-linear multidimensional equation.
  • the parameter estimating unit 430 estimates a new external parameter using the equation of the lane calculated by the equation calculating unit 420.
  • the correction unit 440 corrects the image using the new external parameter estimated by the parameter estimation unit 430 and transmits the corrected image to the storage unit 220.
  • FIG. 2 is a flowchart illustrating a method of calibrating a vehicle camera according to an embodiment of the present invention.
  • the method of calibrating a camera for a vehicle includes a lane detecting step S510, an image converting step S520, an equation calculating step S530, Step S540 and image correction step S550.
  • the lane detecting module 300 detects the lane, And may include an image processing step S511, a frame accumulating step S512, an edge detecting step S513, and a lane determining step S514.
  • the image processing step S511 is a step in which the lane detecting module 300 removes noise from the image received through the image processing unit 310 and performs image processing for clearly showing the boundary portion of the lane of the road.
  • the image processing unit 310 may convert the color image input from the image input / output unit 210 to a monochrome image for noise removal and image processing in the embodiment of the present invention. That is, the image processing unit 310 may use the input color image as it is for the above noise removal and image processing, or may convert the input color image into a monochrome image.
  • an algorithm for smoothing an object boundary in an image may be performed in order to remove noise.
  • a morphology operation is performed. You can also perform median filtering to remove additional noise.
  • the image processing step S511 may remove the noise by changing the size of the image subjected to the median filtering in order to prevent the edge of the divided lane from being detected as an edge in the obtained image.
  • the present invention is not limited to the above-mentioned morphology operation algorithm and median filtering algorithm performed in the image processing step S511, and another algorithm that performs the corresponding function may be used.
  • the lane detecting module 300 accumulates the noise-removed images as a continuous frame through the frame accumulating unit 320 And if it is a straight line, the next step is carried out immediately.
  • the edge detection step S513 is a step in which the lane detection module 300 detects an edge at the lower end portion of the image of the image accumulated through the edge detection unit 330 and performs extraction of the feature point.
  • the center coordinates of the edge and the edge may be extracted as feature points.
  • a Canny edge algorithm may be used.
  • the lane determining step S514 is a step in which the lane detecting module 300 determines a lane at a feature point extracted by the edge detecting unit 330 through the lane determining unit 340.
  • the lane determining unit 340 may determine the lane in the minutiae point as described above. In an embodiment of the present invention, S514, the lane determining unit 340 detects an outline of the longest line among the lines indicated by the feature points extracted from the edge detecting unit 330 and judges it as a lane.
  • the image conversion step S520 is a step of extracting feature points of the lane from the input image using the initial camera information and the initial external parameter information stored in the image conversion unit 410 of the camera correction module 400 and converting the feature points into a top view image .
  • the lane on the top view image is present on the same straight line and appears vertically when converted to the top view image.
  • the camera of the camera module 100 whose position is changed due to physical force
  • the lane on the image does not exist in a straight line.
  • the image conversion step (S520) converts the inputted image into a top view image so as to estimate the changed external parameters of the camera in the subsequent step.
  • the equation calculating step S530 is a step of calculating a lane equation and a lane width from the transformed top view image in the image transforming step 520.
  • the equation and the lane width are used to estimate a new external parameter at a later step .
  • the equation calculating unit 420 of the camera correcting module 400 line-fitting feature points in the top view image converted by the image transforming unit 410 to calculate a lane equation
  • a least mean square (LMS) algorithm may be used for line fitting.
  • LMS least mean square
  • the equation of the lane calculated in the equation calculating step S530 may be a linear equation in the embodiment of the present invention and may be a non-linear multidimensional equation.
  • the calculated equation when the equation of the lane is a linear equation Can be expressed by the following equation (1).
  • the x and y values in the equation (1) are determined values obtained from the image, and obtaining a and b from the values is a goal of the equation calculating step, , And b denotes y-intercept of the lane.
  • the x and y values which are coordinate points of the previously obtained lanes, we can obtain the lane equations a and b using line fitting.
  • the parameter estimating step S540 is a step of estimating a new external parameter using the lane equation and the lane width calculated in the equation calculating step S541, S542), a third correction step S543, and a storing step S544.
  • step S510 image conversion step S520, and equation calculation step S530 are common.
  • the lanes of the front camera, the rear camera, the left camera, and the right camera are detected in the primary correction step S541, the secondary correction step S542, and the third correction step S543,
  • the process of transforming and finding the lane equations and lane widths can be performed separately at each stage.
  • the lane detecting step S510, the image converting step S520, and the equation calculating step S530 are represented as one, and in practice, the first correcting step S541, the second correcting step S530, The image conversion step S520 and the equation calculation step S530 are separately performed for each camera in the third correction step S543 and the third correction step S543.
  • the primary correction step S541 it is determined whether the correction information of the pitch Rx, yaw Ry and roll Rz of the front camera of the vehicle is correct (S541a1), and the pitch Rx, yaw Ry of the rear camera (Ry) and roll (Rx) of the front camera of the vehicle if the correction information of the roll (Rz) is correct (S541b1) Rz are computed in step S541a2 and the correction information for the pitch Rx, yaw Ry and roll Rz of the rear camera is calculated S541b2. Then, the process returns to the image conversion step S520, And the lane equations and lane widths are obtained, and then the primary correction step S541 is performed again.
  • a step S541a1 of judging whether the correction information of the pitch Rx of the front camera of the vehicle is correct or a step S541b1 of judging whether the correction information of the pitch Rx of the rear camera is correct in the primary correcting step S541 is as follows .
  • FIG. 5 shows a case where the pitch Rx of the front camera and the pitch Rx of the rear camera are different from each other.
  • the pitch Rx of the front and rear cameras is smaller than the ground truth value
  • the right image in FIG. 5 is a case where the pitch Rx of the front and rear cameras is larger than the ground truth value which is the actual reference value.
  • step S541a2 of calculating the correction information of the pitch Rx of the front camera of the vehicle in the primary correction step S541 and the step S541b2 of calculating the correction information of the pitch Rx of the rear camera are steps Is obtained by estimating the pitch Rx of the new front and rear cameras as shown in Equation (2).
  • New Rx pitch of new front and rear camera
  • an equation calculation step S530 is performed to generate a top view image again using the pitches of the new front and rear cameras (New Rx) and calculate a lane equation in the top view image.
  • a step S541a1 of judging whether the correction information of the pitch Rx of the camera is correct or a step S541b1 of judging whether the correction information of the pitch Rx of the rear camera is correct is repeated.
  • FIG. 6 shows a case where the yaw rate Ry of the front and rear cameras of the vehicle is different.
  • the yaw rate Ry of the front and rear cameras is larger than the ground truth value
  • (Ry) of the front and rear cameras is smaller than the ground truth value which is the actual reference value.
  • the widths of the left and right lanes in the lanes shown above and below the vehicle are different from each other.
  • New Ry New front and rear camera.
  • the step S541a1 for determining whether the correction information of the roll Rz of the front camera of the vehicle is correct in the primary correction step S541 is as follows.
  • step S542 the position of the rear camera of the vehicle is moved (step S542) (S542a2) and then returns to the image conversion step (S520).
  • the step S542a1 of determining whether the correction information of the rear camera of the vehicle is correct in the secondary correction step S542 is as follows.
  • the method S542a2 for calculating the correction information of the positional movement Tz of the rear camera in the secondary correction step S542 is performed after the new position movement New Tz is corrected until the following equations 8 and 9 are satisfied And then returning to the image conversion step and repeating the process.
  • New Tz Movement of new front and rear camera
  • the third correction step S543 determines whether correction information of the pitches Rx, Ry, Rz, and Tz of the left and right cameras of the vehicle is correct (S543a1, 543b1) If the information is correct, the process proceeds to the next step. If not, the correction information of the pitch Rx, yaw, roll Rz and position shift Tz of the left and right cameras of the vehicle is calculated S543a2 and S543b2, The process returns to the conversion step S520.
  • Steps S543a1 and S543b1 for determining whether the correction information of the pitch Rx of the right and left cameras is correct in the third correction step S543 are as follows.
  • the pitch Rx of the left and right cameras of the vehicle is different.
  • the pitch Rx of the left and right cameras is larger than the ground truth value which is the actual reference value.
  • the pitch Rx of the left and right cameras is smaller than the ground truth value which is the actual reference value.
  • the method of calculating the correction information of the pitch Rx of the left camera in the third correction step S543 (S543a2) corrects the new pitch New Rx until the following equations 10 and 11 are satisfied, And then returning to the conversion step S520 and repeating the process.
  • New Rx pitch of new left camera
  • Pre Rx The pitch of the left camera before it is repeated
  • x 2 x coordinate of the right lane of the left lane ahead
  • the method (S543b2) for calculating the correction information of the pitch Rx of the right camera in the third correction step S543 is a step of correcting the new pitch New Rx until the following equations (12) and (13) are satisfied, And then returning to the image conversion step and repeating the process.
  • New Rx pitch of new right camera
  • Pre Rx pitch of the right camera before repeating
  • Steps S543a1 and S543b1 for determining whether the correction information of the yaw Ry of the left and right cameras are correct in the third correction step S543 are as follows.
  • FIG. 10 shows a case where the yaw rate Ry of the left and right cameras of the vehicle is wrong.
  • the yaw rate Ry of the left and right cameras is larger than the true ground truth value.
  • (Ry) of the left and right cameras is smaller than the ground truth value which is the actual reference value.
  • (x 22 -x 11 ) and (x 66 -x 55 ) are the same or (x 44 -x 33 ) and (x 88 -x 77 ) .
  • the method (S543a2) of calculating the correction information of the yaw (Ry) of the left camera in the third correction step (S543) corrects the new yaw (New Ry) until the following equations (14) and And then returning to the conversion step S520 and repeating the process.
  • New Ry New left camera.
  • Pre Ry The left camera before repeating.
  • the method (S543b2) for calculating the correction information of the yaw of the right camera in the third correction step S543 corrects the new yaw until the following equations (16) and (17) are satisfied, And then returning to the image conversion step and repeating the process.
  • New Ry The new right camera.
  • x 88 x coordinate of the right lane of the rear lane
  • Steps S543a1 and S543b1 for determining whether the correction information of the roll Rz of the right and left cameras are correct in the third correction step S543 are as follows.
  • FIG. 11 shows a case where the roll Rz of the left and right cameras of the vehicle is broken.
  • the roll Rz of the left and right cameras is larger than the ground truth value as an actual reference value, And the roll Rz of the left and right cameras is smaller than the true ground truth value.
  • 1 / G l and 1 / G r have a large value and 1 / G l and 1 / G r are close to 0 when the roll Rz is correct do.
  • the method of calculating the correction information of the roll Rz of the left camera in the third correction step S543 (S543a2) corrects the new roll New Rz until the following equations (18) and (19) are satisfied, And then returning to the conversion step and repeating the process.
  • the method (S543b2) of calculating the correction information of the roll Rz of the right camera in the third correction step S543 is a step of correcting the new roll New Rz until the following equations (20) and (21) are satisfied, And then returning to the image conversion step and repeating the process.
  • Steps S543a1 and S543b1 for determining whether the correction information of the positional shift Tz of the right and left cameras are correct in the third correction step S543 are as follows.
  • FIG. 12 shows a case where the positional shifts Tz of the left and right cameras of the vehicle are different.
  • the positional shifts Tz of the left and right cameras are larger than the ground truth value
  • the image is a case where the positional shift (Tz) of the left and right cameras is smaller than the ground truth value which is the actual reference value.
  • the widths of the front and rear lanes of the vehicle and the widths of the left and right lanes of the vehicle are the same.
  • the method of calculating the correction information of the positional movement Tz of the left camera in the third correction step S543 (S543a2) corrects the new position movement (New Tz) until the following equations (22) and And then returning to the image conversion step and repeating the process.
  • New Tz Move the position of the new left camera
  • x 222 x coordinate of the right lane of the left lane ahead
  • the method (S543b2) for calculating the correction information of the positional movement (Tz) of the right camera in the third correction step (S543) corrects the new position movement (New Tz) until the following equations And then returning to the image conversion step and repeating the process.
  • New Tz Move the position of the new right camera
  • the storing step S544 is a step of repeatedly performing the steps until the correction is correctly performed in the first to third steps S541, S542, and S543, and then storing the finally calculated external parameters.
  • the image correction step S550 is a step of correcting the image using the new external parameter estimated in the parameter estimation step S540, and the corrected image is transmitted to the storage unit 220 of the input / output module 200.
  • the vehicle camera calibration apparatus and method of the present invention can automatically calibrate external parameters even when the vehicle is running.
  • an image of a driving lane of a vehicle is captured from a plurality of cameras mounted on a vehicle, a lane is detected from the captured image, and an external parameter
  • the calibration of the camera can be performed quickly and easily without stopping the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량용 카메라 캘리브레이션 장치 및 그 방법에 관한 것으로, 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈과, 상기 카메라 모듈로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는 입출력 모듈과, 상기 입출력 모듈에서 입력 받은 영상으로부터 차선을 검출하고, 차선의 특징점을 추출하는 차선검출 모듈 및 상기 입출력 모듈에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 이용하여 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈을 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치를 제공한다.

Description

차량용 카메라 캘리브레이션 장치 및 그 방법
본 발명은 차량용 카메라 캘리브레이션 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 차량에 장착된 복수개의 카메라로부터 입력 받은 도로상의 차선 촬영 영상을 이용하여 주행 중에도 카메라의 외부 파라미터를 자동으로 캘리브레이션 할 수 있도록 하는 차량용 카메라 캘리브레이션 장치 및 그 방법에 관한 것이다.
근래에 들어 자동차에는 블랙박스나 주차를 위한 후방 카메라와 같이 다양한 용도의 카메라가 사용되고 있다. 최근에는 자동차에 다수개의 카메라를 장착하여 하늘에서 자동차를 내려다보는 것과 같은 화면을 운전자에게 제공할 수 있어 자동차의 전, 후, 좌, 우의 사각을 완전히 제거할 수 있는 탑뷰(top view) 시스템 개발이 활발해지고 있다.
그런데 다수의 카메라가 자동차에 탑재될 경우에는 각각의 카메라로부터 전송되는 다수의 영상 정보를 통합하여야 하고 이러한 영상 정보 통합을 위해서는 좌표계의 통합이 무엇보다도 중요하다. 다시 말하면, 다수개의 카메라로부터 획득된 각각의 촬영 영상은 다양한 정보와 함께 입력되는데 수록된 각각의 촬영 영상의 정보 중에서 실시간 공간정보를 자동차의 미리 설정된 공통 좌표계로 변화시킨 후 상기 공통 좌표계로 변환 된 실시간 공간정보를 기준으로 다수의 촬영 영상을 정합하여 운전자에게 적절한 탑뷰(top view) 영상을 보여 주는 것이 가능해진다.
하지만 실제로 카메라를 자동차에 장착할 때 발생하는 오차로 인하여 다수개의 카메라 좌표축을 차량의 공통 좌표계와 완벽하게 일치시키는 것은 현실적으로 불가능하다. 이는 자동차 생산 공장에서는 카메라 장착 오차를 정밀하게 캘리브레이션 할 수 있지만 자동차가 출고되고 난 후에는 운행 중의 충격, 비틀림과 같은 물리적인 힘에 의해 카메라의 장착 위치가 변화하여 카메라 장착 오차가 계속하여 발생하기 때문이다. 따라서 카메라에 장착된 다수개의 카메라는 주기적, 또는 충격 시 마다 캘리브레이션이 수행되어야만 한다.
위와 같이 자동차가 출고되고 난 후에 다수개의 카메라로부터 입력되는 영상을 정합하기 위해서는 선결문제로서 카메라의 장착 오차를 보정하는 카메라 캘리브레이션이 수행되어야 하고, 이러한 카메라 캘리브레이션을 위해서는 장착된 카메라에 대해 설치된 높이나 설치된 각도와 같은 정보가 요구된다. 종래에는, 이와 같은 카메라 캘리브레이션을 위한 정보를 얻기 위해서 지면에 체커보드(cherker board)와 같은 특정 기준 패턴을 설치하고 이를 촬영한 후 촬영된 패턴 영상을 이용하여 정보를 얻는 방법이 사용되었다.
종래의 특정 기준 패턴을 이용한 카메라 정보 습득 방법은 패턴과 같은 특정 마커의 상대적인 위치를 사전에 정확하게 알 수 있으므로 정밀한 카메라 정보를 얻을 수 있는 장점이 있는 반면에, 이를 수행하기 위해서는 특정 기준 패턴을 자동차 주위에 설치할 수 있을 정도의 넓은 공간을 확보한 후에 작업을 수행해야 하는 번거로움이 따르는 문제점이 있다.
특히 일반적인 자동차의 경우 자동차의 실제 운행으로 인하여 주기적, 또는 충격 시마다 카메라의 장착 오차가 발생하므로 그 때마다 작업자가 특정 기준 패턴을 이용한 카메라 정보 습득 방법으로 카메라 정보를 습득하고 카메라 캘리브레이션을 수행한다는 것은 너무 번거롭고 시간과 비용이 많이 드는 문제점이 있다. 때문에 자동차의 주행 중에도 카메라의 캘리브레이션이 자동으로 이루어지도록 할 필요가 있다.
관련 선행기술로는 한국공개특허 10-2008-0028531호(공개일: 2008. 04. 01)가 있다.
본 발명은 차량의 주행 중에 차량에 장착된 복수개의 카메라로부터 차량의 주행 차로를 촬영한 영상을 입력 받아 상기 촬영 영상으로부터 차로의 차선을 검출한 후 검출된 차선을 이용하여 차량에 장착된 카메라의 외부파라미터를 자동으로 보정함으로써 차량의 운행으로 인해 물리적인 장착 오차가 발생된 카메라 캘리브레이션을 차량의 주행 중에도 신속하고 간편하게 수행할 수 있도록 하는 차량용 카메라 캘리브레이션 장치 및 그 방법을 제공하는 데 그 목적이 있다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 차량용 카메라 캘리브레이션 장치는, 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈과, 상기 카메라 모듈로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는 입출력 모듈과, 상기 입출력 모듈에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 차선검출 모듈 및 상기 입출력 모듈에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈을 포함할 수 있다.
구체적으로, 상기 입출력 모듈은, 상기 카메라 모듈로부터 영상을 입력 받거나 보정된 영상을 외부로 출력하는 영상입출력부와, 상기 카메라보정 모듈로부터 변경된 외부 파라미터 정보와 보정된 영상을 전달 받아 저장하는 저장부를 포함할 수 있다.
구체적으로, 상기 차선검출모듈은, 상기 입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리부와, 차선이 점선일 경우에 상기 영상처리부에서 처리된 영상을 연속된 프레임으로 누적하는 프레임누적부와, 상기 프레임 누적부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출부 및 상기 엣지검출부에서 추출된 특징점에서 차선을 결정하는 차선판단부를 포함할 수 있다.
구체적으로, 상기 카메라보정 모듈은, 초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환부와, 상기 이미지변환부에서 변환된 탑뷰 이미지에서 차선의 방정식을 구하는 방정식산출부와, 상기 방정식산출부에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정부 및 상기 파라미터 추정부에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 보정부를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 차량용 카메라 캘리브레이션 방법은, 카메라 모듈로부터 획득된 영상을 입력 받아 차선을 검출하는 차선검출 단계와, 초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환 단계와, 상기 이미지변환 단계에서 변환된 탑뷰 이미지에서 차선의 방정식과 차선폭을 구하는 방정식산출 단계와, 상기 방정식산출 단계에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정 단계 및 상기 파라미터추정 단계에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 영상보정 단계를 포함할 수 있다.
구체적으로, 상기 차선검출 단계는, 입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리 단계와, 영상처리 단계에서 처리된 영상에서 차선이 점선일 때는 연속된 프레임으로 누적하고 직선일 때는 곧바로 다음 단계를 수행하는 프레임누적 단계와, 상기 프레임누적 단계부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출 단계 및 상기 엣지검출 단계에서 추출된 특징점에서 차선을 결정하는 차선판단 단계를 포함할 수 있다.
구체적으로, 상기 영상처리 단계는 노이즈를 제거하기 위해 영상에서의 물체 경계를 부드럽게 하는 알고리즘을 수행하는 것을 특징으로 할 수 있다.
구체적으로, 상기 영상처리 단계는 획득된 영상에서 차선이 갈라진 영역이 엣지로 검출되는 것을 방지하기 위하여 영상의 크기를 변경하여 노이즈를 제거하는 것을 특징으로 할 수 있다.
구체적으로, 상기 프레임누적 단계는 획득된 영상에서 점선 차선을 실선 차선으로 보이도록 하기 위하여 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀 값을 새로운 이미지에 저장하는 것을 특징으로 할 수 있다.
구체적으로, 상기 엣지검출 단계는 알고리즘을 이용하여 엣지를 검출한 후 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출하는 것을 특징으로 할 수 있다.
구체적으로, 상기 차선판단 단계는 상기 엣지검출 단계에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단하는 것을 특징으로 할 수 있다.
구체적으로, 상기 방정식산출 단계에서 산출된 차선의 방정식은 직선의 방정식 또는 다차원 방정식으로 표현되는 것을 특징으로 할 수 있다.
구체적으로, 상기 파라미터추정 단계는, 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와, 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 1차 보정 단계와, 차량의 후방 카메라의 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 상기 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 후방 카메라의 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 2차 보정 단계와, 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 3차 보정 단계 및 상기 1차 내지 3차 단계에서 계산된 외부 파라미터를 저장하는 단계를 포함할 수 있다.
구체적으로, 상기 1차 보정 단계의 전방카메라와 후방카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 1이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000001
여기서, G l은 왼쪽 차선의 경사도이고 G r은 오른쪽 차선의 경사도이다.
구체적으로, 상기 1차와 2차 보정 단계의 전방카메라와 후방카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 2가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000002
여기서, W l은 왼쪽 차선의 폭이고 W r은 오른쪽 차선의 폭이다.
구체적으로, 상기 1차 보정 단계의 전방카메라와 후방카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 3이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000003
여기서, G l은 왼쪽 차선의 경사도이고 G r은 오른쪽 차선의 경사도이다.
구체적으로, 상기 2차 보정 단계의 후방카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 4가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000004
여기서, C f는 전방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이고 C r은 후방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 5가 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 6이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000005
여기서, x 1은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 2는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 5는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 6는 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 3는 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 4는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x 7는 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 8 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 7이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 8이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000006
여기서, x 11은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 22는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 55는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 66은 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 33은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 44는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x 77은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 88은 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 9가 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 10이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000007
여기서, G l는 왼쪽 차선의 기울기 이며 G r은 오른쪽 차선의 기울기이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 11이 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 12가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
Figure PCTKR2018009001-appb-img-000008
여기서, x 111은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 222는 전방차로 왼쪽 차선의 오른쪽 x좌표이고, x 555는 왼쪽 차선의 왼쪽 x좌표이고 x 666는 왼쪽 차선의 오른쪽 x좌표이고, x 999는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 10는 후방차로 왼쪽 차선의 오른쪽 x좌표이고, x 333은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 444는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x 777은 오른쪽 차선의 왼쪽 x좌표이고 x 888은 오른쪽 차선의 오른쪽 x좌표이고, x 11은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 12는 후방 차로 오른쪽 차선의 오른쪽 x좌표이다.
이상에서 설명한 바와 같이 본 발명은 차량에 장착된 복수개의 카메라로부터 차량의 주행 차로를 촬영한 영상을 입력 받아 상기 촬영 영상으로부터 차선을 검출한 후 검출된 차선을 이용하여 차량에 장착된 카메라의 외부파라미터를 보정하는 카메라 캘리브레이션을 수행하고 있기 때문에 차량을 멈추지 않고도 카메라의 캘리브레이션을 신속하고 간편하게 수행할 수 있는 효과가 있다.
또한, 본 발명은 카메라 캘리브레이션을 차량의 주행 중에 수행하므로 종래에 차량에 장착된 카메라의 보정을 위해 차량을 멈춘 후 공간을 확보하고 교정 패턴을 설치하는 것과 같은 부차적인 작업을 할 필요가 없기 때문에 카메라 보정에 소요되는 시간이나 비용을 절감할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 장치의 개요도를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 방법의 순서도를 나타낸 도면이다.
도 3은 도2에 도시된 차선검출 단계의 세부 단계를 나타낸 순서도이다.
도 4는 도2에 도시된 파라미터추정 단계의 세부 단계를 나타낸 순서도이다.
도 5는 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 전후방 카메라의 피치(Rx)가 틀어진 경우를 나타낸 사진이다.
도 6은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 전후방 카메라의 요(Ry)가 틀어진 경우를 나타낸 사진이다.
도 7은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 전후방 카메라의 롤(Rz)이 틀어진 경우를 나타낸 사진이다.
도 8은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 후방 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 사진이다.
도 9는 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 피치(Rx)가 틀어진 경우를 나타낸 사진이다.
도 10은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 요(Ry)가 틀어진 경우를 나타낸 사진이다.
도 11은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 롤(Rz)이 틀어진 경우를 나타낸 사진이다.
도 12는 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 사진이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
먼저, 본 발명의 일실시예에 따른 차량용 카메라 캘리브레이션 장치 및 그 방법이 실제로 사용되기 위해서는 차량에 장착된 카메라에 비춰지는 영상이 모두 장애물 없이 차선이 보이도록 하여야 하고 상기 차선은 점선과 실선이 모두 존재해야 하며, 도로가 평면이고 직진 차로의 경우에 가능한 것으로 한다.
이는 만약 도로가 평지가 아닐 때 보정을 수행하게 되면 보정을 수행할 수는 있지만 보정된 외부 파라미터의 정확도가 떨어지기 때문인데, 이를 방지하기 위해서 최대한 평지에서 보정을 진행하는 것이 바람직하다.
또한, 아래에서 기술되는 알고리즘은 본 발명의 일실시예로서 기재된 것이며, 따라서 본 발명은 기재된 그 하나의 알고리즘에 한정되는 것이 아니고 해당 기능을 수행하는 또 다른 알고리즘이 얼마든지 사용될 수 있음은 당연하다 할 것이다.
도 1은 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 장치의 개요도를 나타낸 도면으로서, 차량용 카메라 캘리브레이션 장치는, 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈(100)과, 상기 카메라 모듈(100)로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는 입출력 모듈(200)과, 상기 입출력 모듈(200)에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 차선검출 모듈(300)과, 상기 입출력 모듈(200)에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈(400)을 포함할 수 있다.
카메라 모듈(100)은 차량의 임의의 위치에 다수개의 카메라가 장착된 장치를 말하는 것으로 상기 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 기능을 수행하는 데, 본 발명의 일실시예에서는 카메라가 차량의 전방, 후방, 좌측, 우측에 장착되어서 총 4대의 카메라로 이루어진 것을 예시로 하였다. 이와 같이 함으로써 차량의 주변 영역을 촬영 시 사각을 없애 차량의 주변을 모두 시각화 할 수 있도록 한다. 물론 이는 일실시예에 지나지 않으며 차량에 장착되는 카메라의 개수는 얼마든지 가감될 수 있음은 물론이다.
카메라 모듈(100)의 카메라는 보통의 렌즈보다 시야각이 큰 광각 렌즈 또는 시각이 180°를 넘는 초광각 렌즈인 어안렌즈를 사용할 수 있다. 이렇게 함으로써 차후 탑뷰 이미지 생성을 위해 각각의 카메라 영상의 정합 시 차량 주변이 모두 촬영되도록 하는 것이 바람직하지만, 본 발명에서 차량용 카메라의 캘리브레이션을 수행할 수 있는 카메라 모듈(100)의 카메라의 종류는 상술한 화각에 상관 없이 적용이 가능함은 물론이다.
카메라 모듈(100)의 카메라가 차량의 전후방, 좌우측에 4대가 장착되어 본 발명의 일실시예인 차선을 이용하여 카메라 캘리브레이션을 수행하게 되면 각각의 카메라의 자세정보, 즉 카메라가 특정 위치에서 회전된 정도를 나타내는 외부파라미터인 피치(Rx), 요(Ry), 롤(Rz)과, 후방 카메라 및 좌우측 카메라의 특정 위치에서 이동된 정도를 나타내는 외부파라미터인 위치이동(Tz)을 추정할 수 있게 된다.
다시 말하면 직진 차로에 나타나는 직진 차선의 경우 탑뷰 이미지에서 보게 되면 항상 수직으로 나타나게 되고, 이러한 어느 하나의 직진 차선 위에는 카메라 4대에서 보이는 차선이 모두 존재하게 된다. 이때 카메라 보정이 정확하다면 하나의 차선으로 보이게 되고 카메라 보정이 부정확하다면 여러개의 차선으로 보이게 될 것이다. 이러한 특성을 이용하면 여러 개의 외부 파라미터 추정이 가능하게 되는 것이다.
다만, 상술한 바와 같이 보정이 수행될 때 차량이 지나가는 차로의 경우에 평지의 직선 차선이며 양쪽 차선과 차량은 평행하게 주행한다고 가정한다.
또한 카메라 모듈(100)과 후술하게 될 입출력 모듈(200)과는 유선 또는 무선으로 연결되어서 카메라로부터 촬영된 영상을 전송할 수 있다.
입출력 모듈(200)은 상기 카메라 모듈(100)로부터 획득된 영상을 입력받거나 후술하게될 카메라보정 모듈(400)로부터 전송되는 보정된 영상을 사용자가 인식할 수 있는 출력장치로 출력하는 모듈로서 영상입출력부(210)와 저장부(220)를 포함할 수 있다.
영상입출력부(210)는, 카메라 모듈(100)의 카메라로부터 촬영된 영상을 입력 받아 차선검출모듈(300)의 영상처리부(310)로 전달하거나 카메라보정 모듈(400)의 보정부(440)에서 보정된 영상이 후술하게될 저장부(220)에 저장되면 이를 전송받아 사용자가 인식할 수 있는 모니터 등의 외부 장치로 출력하는 기능을 수행한다. 이때, 영상입출력부(210)는 필요한 경우 영상 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.
저장부(220)는 전술한 바와 같이 카메라보정 모듈(400)의 보정부(440)에서 보정된 영상이 저장되는 것 외에도 카메라보정 모듈(400)의 파라미터 추정부(430)에서 추정된 새로운 카메라의 외부 파라미터에 대한 정보도 저장될 수 있다.
또한, 저장부(220)는 카메라 모듈(100)의 다수개의 카메라 렌즈의 고유 특성에 해당하는 초점거리, 주점, 왜곡계수 등과 같은 내부 파라미터에 대한 정보, 즉, 최초 카메라 정보와, 카메라 모듈(100)의 다수개의 카메라의 최초 자세 정보, 위치 정보와 같은 카메라의 최초 외부 파라미터 정보를 저장할 수 있다.
이와 같이 저장부(220)에 저장된 최초 카메라 정보와 최초 외부 파라미터 정보는 후술하게될 카메라보정 모듈(400)에 제공되어서 새로운 외부 파라미터를 추정하는 데 사용되며, 보정부(400)에서 보정이 완료된 영상은 탑뷰 시스템, 파노라마 뷰 시스템 등과 같은 다양한 장치들에서 가공 활용되도록 제공될 수 있다.
차선검출 모듈(300)은 상기 입출력 모듈(200)에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 기능을 수행할 수 있으며, 상기 기능을 수행할 수 있도록 다양한 알고리즘 등이 수록된 모듈로서, 영상처리부(310), 프레임누적부(320), 엣지검출부(330) 및 차선판단부(340)를 포함할 수 있다.
영상처리부(310)에는 입출력 모듈(200)의 영상입출력부(210)로부터 입력 받은 영상에서 노이즈를 제거하고 도로의 차선의 경계부분을 보다 뚜렷하게 나타내기 위해 영상처리를 수행하는 영상처리 알고리즘이 수록된다.
물론 아래에 기재되는 영상처리부(310)가 영상에서 노이즈 제거 및 상기 영상처리를 위해 사용하는 알고리즘은 본 발명의 일실시예로서 본 발명이 아래에 기재된 알고리즘에 한정되는 것이 아니고 해당 기능을 수행하는 다른 알고리즘으로 얼마든지 대체될 수 있음은 당연하다 할 것이다.
영상처리부(310)는 본 발명의 일실시예에서 위의 노이즈 제거 및 영상처리를 위해 영상입출력부(210)로부터 입력 받은 컬러 영상을 흑백 이미지로 변환하여 수행할 수도 있다. 즉, 영상처리부(310)는 위의 노이즈 제거 및 영상처리를 위해 입력 받은 컬러 영상을 그대로 사용할 수도 있고 흑백 이미지로 변환하여 사용할 수도 있다.
영상처리부(310)는 위와 같이 영상에서 노이즈를 제거하기 위해 알고리즘을 적용할 수 있는데, 그 예로서 본 발명의 일실시예에서는 모폴로지 연산과 메디안 필터링을 수행할 수 있다.
영상처리부(310)에서 수행되는 모폴로지 연산은 영상의 분리, 즉, 본격적인 영상처리에 앞서 노이즈 제거 및 특징점 추출 등과 같은 전처리 과정에서 사용되는 영상 필터의 일종으로서 침식 연산과 팽창 연산이 있는데, 본 발명의 일 실시예에서는 모폴로지 클로징(closing) 이후 모폴로지 오프닝(opening)을 수행하게 된다.
영상처리부(310)에서 수행되는 폴로지 클로징(closing)은 영상에 보이는 물체의 경계를 부드럽게 하는 효과가 있어 이와 같이 경계를 부드럽게 하여 영상에서의 불연속 데이터를 제거할 수 있게 된다.
영상처리부(310)에서 수행되는 폴로지 클로징(closing) 다음에 수행되는 모폴로지 오프닝(opening)에 의해 노이즈를 제거하면서도 물체의 크기를 보존할 수 있게 된다.
영상처리부(310)는 노이즐 제거하기 위하여 본 발명의 일실시예에서는 상기 모폴로지 클로징(closing) 이후 모폴로지 오프닝(opening)을 순차적으로 적용하는 것 이외에도 메디안 필터링을 수행할 수 있다.
영상처리부(310)는 메디안 필터링이 수행되고 난 후에 영상의 크기를 변경함으로써 노이즈를 제거할 수 있다. 이는 카메라 모듈(100)의 좌우측 카메라에서 획득한 이미지에 나타난 차선의 경우에 갈라진 부분이 상당수 존재하게 되는데, 차후 엣지검출부(330)에서 상기 갈라진 부분을 엣지로 검출하게 되면 차선판단부(340)에서 차선 인식률이 떨어지기 때문에 상기 차선의 갈라진 부분의 노이즈를 제거하여 차선 인식률이 떨어지는 것을 방지하기 위함이다.
프레임누적부(320)는 영상처리부(310)에서 처리된 영상, 즉, 노이즈가 제거된 영상에 나타나는 차선이 점선일 경우에 영상을 연속된 프레임으로 누적하는 기능을 수행하고, 영상에 나타나는 차선이 직선일 경우에는 영상처리부(310)에서 처리된 영상은 프레임누적부(320)를 그대로 지나쳐 다음의 엣지검출부(330)로 전송된다.
프레임누적부(320)는 본 발명의 일실시예에서 4 프레임을 누적하는 것을 예로 들었다. 물론 누적되는 프레임의 개수는 일예에 지나지 않으며 필요에 따라 얼마든지 변경이 가능하다 할 것이다.
상기 프레임누적부(320)에서 상술한 바와 같이 영상 프레임을 누적하는 이유는 영상에 나타난 점선 차선을 실선 차선과 같이 보이도록 하기 위함이다. 이는 차선 판단부(340)에서 차선을 판단할 때 실선 차선에서 보다 쉽고 정확하게 차선을 판단하여 검출할 수 있기 때문이다.
상기 프레임누적부(320)에서 프레임의 누적은 노이즈가 제거된 연속한 4장의 이미지, 즉, 4장의 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀 값을 새로운 이미지에 저장함으로써 결과적으로 영상에서의 점선 차선이 실선 차선과 같이 보이는 효과를 가지도록 한다.
엣지검출부(330)는 프레임누적부(320)에서 누적된 영상의 이미지의 하단 부분에서 엣지를 검출하고 특징점을 추출한다.
엣지검출부(330)는 상기 누적된 영상의 이미지에서 차선은 하단 절반 부분에만 존재하고 상단 부분은 하늘이기 때문에 연산량을 줄이기 위해 상기 영역들을 제외한 영역을 ROI(region of interest)로 정의할 수 있다.
엣지검출부(330)는 도로 색과 차선 색은 경계가 뚜렷하므로 영상처리를 통해 엣지가 강하게 나타나도록 한 후, 윤곽을 가장 잘 찾아내면서 원래 영상의 회색물질과 관련된 모든 엣지를 제거할 수 있는 캐니 엣지 알고리즘을 이용하여 엣지를 검출한다. 엣지검출부(330)에서 캐니 엣지 알고리즘을 사용하는 이유는 낮은 에러율과 엣지 점들의 위치가 정확하기 때문이다. 이와 같이 엣지검출부(330)에서 사용되는 엣지 검출 알고리즘으로서 캐니 엣지 알고리즘을 예시하였지만 이에 한정되는 것이 아니고 필요에 따라 얼마든지 기타 알고리즘도 사용될 수 있음은 당연하다 할 것이다.
엣지검출부(330)는 이어서 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출하는 데, 이는 엣지가 영상의 차선뿐만 아니라 영상의 차량의 노이즈로서도 나타나기 때문에 이렇게 광범위하게 나타나는 엣지를 줄이기 위해서 엣지와 엣지의 중앙 좌표를 이용하는 것이다.
이렇게 엣지검출부(330)가 엣지와 엣지의 중앙 좌표를 특징점으로 추출하게 되면 영상의 차선은 하나의 연속된 긴 선으로 나타나게 되고 노이즈에서는 짧게 나타나거나 나타나지 않게 된다.
차선판단부(340)는 엣지검출부(330)에서 추출된 특징점에서 차선을 결정한다.
차선판단부(340)가 특징점에서 차선을 결정하는 방법은 여러 가지가 될 수 있는데, 그 예로서 본 발명의 일 실시예에서는 차선판단부(340)는 엣지검출부(330)에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단할 수 있다.
차선판단부(340)는 카메라모듈(100)의 전후방 카메라로부터 획득한 이미지에서는 두 개의 윤곽선을 찾고 좌우측 카메라로부터 획득한 이미지에서는 하나의 윤곽선을 찾게 된다. 이는 전후방 카메라에는 좌측과 우측의 총 2개의 차선이 존재하게 되고 좌우측 카메라에는 하나의 차선이 존재하기 때문이다. 차선판단부(340)는 이렇게 찾아낸 윤곽선을 차선으로 판단하게 된다.
카메라보정 모듈(400)은 차선검출모듈(300)에서 검출된 차선을 이용하여 차량의 전후방 그리고 좌우측에 장착된 4대의 카메라의 외부파라미터를 보정하는 기능을 수행하는 모듈로서, 이미지변환부(410), 방정식산출부(420), 파라미터추정부(430) 및 보정부(440)를 포함할 수 있다.
카메라보정 모듈(400)은 입출력 모듈(200)에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 이를 이용하여 새로운 외부 파라미터를 추정하고 영상을 보정한다.
외부 파라미터가 정확할 경우에 탑뷰 이미지로 변환하게 되면 탑뷰 이미지 상의 차선은 동일한 직선 위에 존재하게 되고 수직으로 나타나게 된다. 그런데 물리적인 힘으로 인해 위치가 변경된 카메라모듈(100)의 카메라의 경우에는 외부 파라미터가 정확하지 않게 되므로 탑뷰 이미지 상의 차선은 직선상으로 존재하지 않게 된다. 따라서 이러한 점을 이용하면 변경된 카메라의 외부 파라미터를 추정할 수 있게 되는 것이다.
이미지변환부(410)는 초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환한다.
여기서 이미지변환부(410)는 입력받은 영상을 탑뷰 이미지로 변환할 때 세로로 표현하는 탑뷰 이미지를 기본으로 하지만, 세로로 표현하는 탑뷰 이미지 외에도 다른 어떠한 각도의 탑뷰 이미지도 사용 가능하다.
즉, 예를 들면 차량이 세로로 보이도록 하는 탑뷰 이미지 외에도 차량이 가로로 보이도록 탑뷰 이미지를 구성할 수도 있는데, 여기서 주의할 점은 이하에서 서술되는 기울기에 대한 수식도 세로 또는 가로 탑뷰 이미지에 따라 다르게 정의된다는 점이다.
다시 말하면, 차량이 가로로 보이도록 변환된 탑뷰 이미지를 구성하게 되면 해당 기울기는 차량이 세로로 보이도록 변환된 탑뷰 이미지의 기울기와 수직이 되고, 이에 따른 해당 기울기에 대한 수식도 모두 다르게 된다. 다만 이하에서 기술되는 탑뷰 이미지는 차량이 세로로 보이도록 변환된 것을 기준으로 하여 해당 기울기 및 수식도 그에 따른 것으로 한다. 물론 이는 본 발명의 일실시예에 지나지 않으며 얼마든지 차량이 가로로 보이도록 변환된 탑뷰 이미지를 기준으로 할 수도 있음은 당연하다.
방정식산출부(420)는 이미지변환부(410)에서 변환된 탑뷰 이미지에서 특징점을 라인 피팅(line fitting)하여 차선의 방정식을 구한다. 여기서 라인 피팅(line fitting)에는 LMS(least mean square) 알고리즘이 이용될 수 있다. 그리고 위의 차선의 방정식은 직선의 방정식이 될 수 있고 직선이 아닌 다차원 방정식이 될 수도 있다.
파라미터추정부(430)는 방정식산출부(420)에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정한다.
보정부(440)는 파라미터추정부(430)에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하고 저장부(220)로 전송한다.
이하에서는 위와 같이 구성된 차량용 카메라 캘리브레이션 장치를 이용하여 차량용 카메라를 캘리브레이션하는 방법에 대해 자세하게 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 방법의 순서도를 나타낸 도면으로서, 차량용 카메라 캘리브레이션 방법은, 차선검출 단계(S510), 이미지변환 단계(S520), 방정식산출 단계(S530), 파라미터추정 단계(S540) 및 영상보정 단계(S550)를 포함할 수 있다.
도 3을 참조하면, 차선검출 단계(S510)는 카메라 모듈(100)의 카메라로부터 획득된 영상이 영상입출력 모듈(200)을 통해 입력되면 차선검출 모듈(300)이 차선을 검출하고 차선의 특징점을 추출하는 단계로서, 영상처리 단계(S511), 프레임누적 단계(S512), 엣지검출 단계(S513) 및 차선판단 단계(S514)를 포함할 수 있다.
영상처리 단계(S511)는 차선검출 모듈(300)이 영상처리부(310)를 통해 입력 받은 영상에서 노이즈를 제거하고 도로의 차선의 경계부분을 보다 뚜렷하게 나타내기 위한 영상처리를 수행하는 단계를 말한다.
이때, 영상처리부(310)는 본 발명의 일실시예에서 위의 노이즈 제거 및 영상처리를 위해 영상입출력부(210)로부터 입력 받은 컬러 영상을 흑백 이미지로 변환하여 수행할 수도 있다. 즉, 영상처리부(310)는 위의 노이즈 제거 및 영상 처리를 위해 입력 받은 컬러 영상을 그대로 사용할 수도 있고 흑백 이미지로 변환하여 사용할 수도 있다.
영상처리 단계(S511)는 노이즈를 제거하기 위해 영상에서의 물체 경계를 부드럽게 하는 알고리즘을 수행할 수 있는데, 본 발명의 일실시예에서는 모폴로지 연산을 수행하는 것을 그 예로 하였다. 그리고 메디안 필터링을 수행하여 추가 노이즈를 제거할 수 있다.
영상처리 단계(S511)는 획득된 영상에서 차선이 갈라진 영역이 엣지로 검출되는 것을 방지하기 위하여 메디안 필터링이 수행된 영상의 크기를 변경함으로써 노이즈를 제거할 수 있다.
물론 영상처리 단계(S511)에서 수행되는 위의 모폴로지 연산 알고리즘과 메디안 필터링 알고리즘에 있어서 본 발명이 이에 한정되는 것이 아니고 해당 기능을 수행하는 또 다른 알고리즘이 사용될 수 있음은 당연하다 할 것이다.
프레임누적 단계(S512)는 영상처리 단계(S511)에서 처리된 영상에서 차선이 점선일 때는 차선검출 모듈(300)이 프레임누적부(320)를 통해 노이즈가 제거된 영상을 연속된 프레임으로 누적을 수행하고 직선일 때는 곧바로 다음 단계를 수행하는 단계를 말한다.
프레임누적 단계(S512)는 획득된 영상에서 나타나는 차선이 직선이 아니고 점선 차선일 경우에 점선 차선을 직선인 실선 차선으로 보이도록 하기 위하여 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀 값을 새로운 이미지에 저장하게 된다.
엣지검출 단계(S513)는 차선검출 모듈(300)이 엣지검출부(330)를 통해 누적된 영상의 이미지의 하단 부분에서 엣지를 검출하고 특징점을 추출을 수행하는 단계를 말한다.
엣지검출 단계(S513)는 이용하여 엣지를 검출한 후 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출할 수 있는데, 본 발명의 일실시예에서는 캐니 엣지 알고리즘을 사용할 수 있다.
차선판단 단계(S514)는 차선검출 모듈(300)이 차선판단부(340)를 통해 엣지검출부(330)에서 추출된 특징점에서 차선을 결정하는 단계를 말한다.
이 때, 차선판단 단계(S514)에서 차선판단부(340)가 특징점에서 차선을 결정하는 방법은 상술한 바와 같이 여러 가지가 될 수 있는데, 본 발명의 일실시예에서는 그 예로서 차선판단 단계(S514)에서 차선판단부(340)가 엣지검출부(330)에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단는 것을 예로 들었다.
이상과 같은 차선검출 단계(S510)의 세부단계인 영상처리 단계(S511), 프레임누적 단계(S512), 엣지검출 단계(S513) 및 차선판단 단계(S514)에 대한 구체적인 내용은 차량용 카메라 캘리브레이션 장치의 각각의 해당 부분에서 설명하였으므로 상세한 설명은 생략하기로 한다.
이미지변환 단계(S520)는 카메라보정 모듈(400)의 이미지변환부(410)가 저장된 초기 카메라 정보와 초기 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 단계이다.
상술한 바와 같이 외부 파라미터가 정확할 경우에 탑뷰 이미지로 변환하게 되면 탑뷰 이미지 상의 차선은 동일한 직선 위에 존재하게 되고 수직으로 나타나게 되는데, 물리적인 힘으로 인해 위치가 변경된 카메라모듈(100)의 카메라의 경우에는 입력받은 영상을 초기 카메라 정보와 초기 외부 파라미터 정보를 이용하여 탑뷰 이미지로 변환하게 되면 이미지 상의 차선은 직선상으로 존재하지 않게 된다.
따라서 이미지변환 단계(S520)는 이후의 단계에서 변경된 카메라의 외부 파라미터를 추정할 수 있도록 입력받은 영상을 탑뷰 이미지로 변환하는 것이다.
방정식산출 단계(S530)는 이미지변환 단계(520)에서 변환된 탑뷰 이미지에서 차선의 방정식과 차선폭을 구하는 단계로서, 이후의 단계에서 이러한 방정식 및 차선폭을 이용하여 새로운 외부 파라미터를 추정하기 쉽도록 하기 위함이다.
이 때, 방정식산출 단계(S530)에서는 카메라보정 모듈(400)의 방정식산출부(420)가 이미지변환부(410)에서 변환된 탑뷰 이미지에서 특징점을 라인 피팅(line fitting)하여 차선의 방정식을 구하는데, 여기서 라인 피팅(line fitting)에는 LMS(least mean square) 알고리즘이 이용될 수 있다. 물론 라인 피팅(line fitting)에 사용되는 상기 LMS 알고리즘은 본 발명의 일실시예에 지나지 않으며 그 밖에 또 다른 알고리즘도 얼마든지 사용될 수 있음은 당연하다 할 것이다.
방정식산출 단계(S530)에서 산출되는 차선의 방정식은 본 발명의 일실시예에서 직선의 방정식이 될 수 있고 직선이 아닌 다차원 방정식이 될 수도 있는데, 차선의 방정식이 직선의 방정식일 때의 산출된 방정식은 아래의 수학식 1로 표현될 수 있다.
Figure PCTKR2018009001-appb-img-000009
a: 추후에 등장하는 차선의 경사도(G l , G r)
b: 차선의 y 절편
x, y: 앞서 구한 차선의 좌표점
다시 말하면, 방정식 산출단계(S530)에서 수학식 1의 x와 y 값은 영상으로부터 구한 정해진 값이고, 그 값들로부터 a와 b를 구하는 것이 방정식 산출 단계의 목표로서, a는 추후에 등장하는 차선의 경사도를 의미하고, b는 차선의 y절편을 의미한다. 앞서 구한 차선의 좌표점인 x, y 값들을 바탕으로 라인 피팅(line fitting)을 이용하여 차선의 방정식인 a와 b를 구할 수 있다.
도 4를 참조하면, 파라미터추정 단계(S540) 상기 방정식산출 단계에서 산출된 차선의 방정식과 차선폭을 이용하여 새로운 외부 파라미터를 추정하는 단계로서, 1차 보정 단계(S541), 2차 보정 단계(S542), 3차 보정 단계(S543) 및 저장 단계(S544)를 포함할 수 있다.
먼저, 파라미터추정 단계(S540)의 1차 보정 단계(S541), 2차 보정 단계(S542) 및 3차 보정 단계(S543)에서 카메라의 차선의 방정식과 차선폭을 계산하기 위해 거치는 과정인 차선검출 단계(S510), 이미지변환단계(S520) 및 방정식산출 단계(S530)는 공통된 것으로 가정한다.
즉, 다시 말하면, 1차 보정 단계(S541), 2차 보정 단계(S542), 3차 보정 단계(S543)에서 각각 전방카메라, 후방카메라, 좌측 카메라, 우측 카메라의 차선을 검출하고 이를 탑뷰 이미지로 변환하고 차선의 방정식과 차선폭을 구하는 과정은 각각의 단계에서 개별적으로 수행될 수 있다.
그런데 이를 본 발명의 일실시예에서는 차선검출 단계(S510), 이미지변환단계(S520) 및 방정식산출 단계(S530)로서 하나로 표시한 바, 실제로는 1차 보정 단계(S541), 2차 보정 단계(S542), 3차 보정 단계(S543)에서 각각의 카메라별로 차선검출단계(S510), 이미지변환단계(S520), 방정식산출 단계(S530)가 개별적으로 수행되는 것으로 한다.
1차 보정 단계(S541)는 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단(S541a1)하고, 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단(S541b1)한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고, 정확하지 않으면 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산(S541a2)하고 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산(S541b2)한 후 각각 이미지변환 단계(S520)로 되돌아가 탑뷰 이미지로 변환되고 차선의 방정식 및 차선폭을 구하여 다시 1차 보정 단계(S541)를 수행하게 되는 단계이다.
1차 보정 단계(S541)에서 차량의 전방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541a1)와 후방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541b1)는 아래와 같다.
도 5는 차량의 전방 카메라의 피치(Rx)와 후방 카메라의 피치(Rx)가 틀어진 경우를 나타낸 것으로, 도 5의 좌측 이미지는 전후방 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 작은 경우이고, 도 5의 우측 이미지는 전후방 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 큰 경우이다.
여기서 측면 차선을 기준으로 차선의 기울기를 계산하면 결과값이 각각 +와 -로 나타나게 되는 것을 표시하였다. 즉, 탑뷰 이미지 상에서 전후방 카메라의 피치(Rx)가 틀릴 경우에 차선의 기울기가 +와 -로 나타나는 것이고, 전후방 카메라의 피치(Rx)가 정확한 외부 파라미터일 때가 왼쪽 차선의 경사도의 역수(1/G l) = 오른쪽 차선의 경사도의 역수(1/G r)로 나타나는 것이다.
따라서, 1차 보정 단계(S541)의 차량의 전방 카메라의 피치(Rx)의 보정 정보를 계산하는 단계(S541a2)와 후방 카메라의 피치(Rx)의 보정 정보를 계산하는 단계(S541b2)는 하기 수학식 2와 같이 새로운 전후방 카메라의 피치(Rx)를 추정함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000010
New Rx : 새로운 전후방 카메라의 피치
Pre Rx : 반복 되기 이전의 전후방 카메라의 피치
α : 사용자가 지정할 수 있는 임의의 상수 값
G l : 왼쪽 차선의 경사도
G r : 오른쪽 차선의 경사도
다시 말하면, 1차 보정 단계(S541)에서 전방카메라와 후방카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 1/Gl = 1/Gr 을 만족할 때까지, 즉, 하기 수학식 3이 만족될 때까지, 새로운 피치(New Rx)를 점차 수정한 후 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000011
G l : 왼쪽 차선의 경사도
G r : 오른쪽 차선의 경사도
이미지변환 단계(S520)로 되돌아가면 새로운 전후방 카메라의 피치(New Rx)를 이용하여 다시 탑뷰 이미지를 생성한 후 상기 탑뷰 이미지에서 차선의 방정식을 산출하는 방정식산출 단계(S530)를 거쳐 다시 차량의 전방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541a1)와 후방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541b1)를 반복한다.
1차 보정 단계(S541)에서 차량의 전방 카메라의 요(Ry)의 보정 정보가 정확한지 판단하는 단계(S541a1)와 후방 카메라의 요(Ry))의 보정 정보가 정확한지 판단하는 단계(S541b1)는 아래와 같다.
도 6은 차량의 전후방 카메라의 요(Ry)가 틀어진 경우를 나타낸 것으로, 도 6의 좌측 이미지는 전후방 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 6의 우측 이미지는 전후방 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 차량의 상하에 보이는 차선에서 좌우측 차선의 폭이 서로 다른 것을 알 수 있다.
따라서 1차 보정 단계(S541)의 전방카메라와 후방카메라의 요(Ry)의 보정 정보를 계산하는 방법(S541a2, 542a2, 541b2)은 하기 수학식 4, 5가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000012
New Ry : 새로운 전후방 카메라의 요
Pre Ry : 반복 되기 이전의 전후방 카메라의 요
α : 사용자가 지정할 수 있는 임의의 상수 값
W l : 왼쪽 차선의 폭
W r : 오른쪽 차선의 폭
이 밖에 이미지변환 단계(S520)로 되돌아가서 1차 보정 단계(S541)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
1차 보정 단계(S541)에서 차량의 전방 카메라의 롤(Rz)의 보정 정보가 정확한지 판단하는 단계(S541a1)는 아래와 같다.
도 7은 차량의 전후방 카메라의 롤(Rz)이 틀어진 경우를 나타낸 것으로, 도 7의 좌측 이미지는 전후방 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 7의 우측 이미지는 전후방 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 전후방 카메라의 롤(Rz)이 틀어진 경우에는 (1/G l)과 (1/G r)의 부호와 크기가 동일하게 나타나고 정확한 경우에는 (1/G l) + (1/G r)은 0에 가깝게 나타난다.
따라서 1차 보정 단계(S541)의 전방카메라와 후방카메라의 롤(Rz)의 보정 정보를 계산하는 방법(S541a2, 542b2)은 하기 수학식 6, 7이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000013
New Rz : 새로운 전후방 카메라의 롤
Pre Ry : 반복되기 이전의 전후방 카메라의 롤
α : 사용자가 지정할 수 있는 임의의 상수 값
G l : 왼쪽 차선의 경사도
G r : 오른쪽 차선의 경사도
이 밖에 이미지변환 단계(S520)로 되돌아가서 1차 보정 단계(S541)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
2차 보정 단계(S542)는 차량의 후방 카메라의 위치이동(Tz)의 보정 보가 정확한지 판단(S542a1)한 후, 상기 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 후방 카메라의 위치이동(Tz)의 보정 정보를 계산(S542a2)한 후 이미지변환 단계(S520)로 되돌아가는 단계이다.
2차 보정 단계(S542)에서 차량의 후방 카메라의 보정 정보가 정확한지 판단하는 단계(S542a1)는 다음과 같다.
도 8은 차량의 후방 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 으로, 도 8의 좌측 이미지는 전후방 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 7의 우측 이미지는 전후방 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 후방 카메라의 위치이동(Tz)이 틀어진 경우 차량의 전방 차로의 차선간의 폭과 후방 차로의 차선간의 폭이 다르게 나타나고 정확한 경우에는 동일하게 나타난다.
따라서 2차 보정 단계(S542)의 후방카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법(S542a2)은 하기 수학식 8, 9가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000014
New Tz : 새로운 전후방 카메라의 위치이동
Pre Tz : 반복되기 이전의 전후방 카메라의 위치이동
α : 사용자가 지정할 수 있는 임의의 상수 값
C f : 전방 차로에서 왼쪽 차선과 우측 차선 사이의 폭
C r : 후방 차로에서 왼쪽 차선과 우측 차선 사이의 폭
이 밖에 이미지변환 단계(S520)로 되돌아가서 2차 보정 단계(S542)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)는 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보가 정확한지 판단(S543a1, 543b1)한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보를 계산(S543a2, S543b2)한 후 이미지변환 단계(S520)로 되돌아가는 단계이다.
3차 보정 단계(S543)에서 좌우측카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 9는 차량의 좌우측 카메라의 피치(Rx)가 틀어진 경우를 나타낸 것으로, 도 9의 좌측 이미지는 좌우측 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 9의 우측 이미지는 좌우측 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측 카메라의 피치(Rx)가 틀어진 경우 차량의 전방과 후방에 위치하는 차선과 차량의 좌측과 우측에 위치하는 차선은 하나의 직선 위에 존재하지 않고 어긋나게 나타나고 정확한 경우에는 하나의 직선 위에 존재하게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 피치(Rx)의 보정 정보를 계산하는 방법(S543a2)은 하기 수학식 10, 11이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000015
Figure PCTKR2018009001-appb-img-000016
New Rx : 새로운 좌측 카메라의 피치
Pre Rx : 반복되기 이전의 좌측 카메라의 피치
α : 사용자가 지정할 수 있는 임의의 상수 값
x 1 : 전방 차로 왼쪽 차선의 왼쪽 x좌표
x 2 : 전방 차로 왼쪽 차선의 오른쪽 x좌표
x 5 : 후방 차로 왼쪽 차선의 왼쪽 x좌표
x 6 : 후방 차로 왼쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 피치(Rx)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 12, 13이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000017
New Rx : 새로운 우측 카메라의 피치
Pre Rx : 반복되기 이전의 우측 카메라의 피치
α : 사용자가 지정할 수 있는 임의의 상수 값
x 3 : 전방 차로 오른쪽 차선의 왼쪽 x좌표
x 4 : 전방 차로 오른쪽 차선의 오른쪽 x좌표
x 7 : 후방 차로 오른쪽 차선의 왼쪽 x좌표
x 8 : 후방 차로의 오른쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)에서 좌우측카메라의 요(Ry)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 10은 차량의 좌우측 카메라의 요(Ry)가 틀어진 경우를 나타낸 것으로, 도 10의 좌측 이미지는 좌우측 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 10의 우측 이미지는 좌우측 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측 카메라의 요(Ry)가 정확한 경우에는 (x 22-x 11)과 (x 66-x 55)가 동일하거나, (x 44-x 33)과 (x 88-x 77)이 동일하게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 요(Ry)의 보정 정보를 계산하는 방법(S543a2)은 하기 수학식 14, 15가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써달성된다.
Figure PCTKR2018009001-appb-img-000018
New Ry : 새로운 좌측 카메라의 요
Pre Ry : 반복되기 이전의 좌측 카메라의 요
α : 사용자가 지정할 수 있는 임의의 상수 값
x 11 : 전방 차로 왼쪽 차선의 왼쪽 x좌표
x 22 : 전방 차로 왼쪽 차선의 오른쪽 x좌표
x 55 : 후방 차로 왼쪽 차선의 왼쪽 x좌표
x 66 : 후방 차로 왼쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 요(Ry)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 16, 17이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000019
New Ry: 새로운 우측 카메라의 요
Pre Ry : 반복되기 이전의 우측 카메라의 요
α : 사용자가 지정할 수 있는 임의의 상수 값
x 33 : 전방 차로 오른쪽 차선의 왼쪽 x좌표
x 44 : 전방 차로 오른쪽 차선의 오른쪽 x좌표
x 77 : 후방 차로 오른쪽 차선의 왼쪽 x좌표
x 88 : 후방 차로의 오른쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)에서 좌우측카메라의 롤(Rz)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 11은 차량의 좌우측 카메라의 롤(Rz)이 틀어진 경우를 나타낸 것으로, 도 11의 좌측 이미지는 좌우측 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 11의 우측 이미지는 좌우측 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측 카메라의 롤(Rz)이 틀어진 경우에는 1/G l, 1/G r이 큰 값을 가지고 롤(Rz)이 정확한 경우에는 1/G l과 1/G r이 '0'에 가깝게 나타나게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 롤(Rz)의 보정 정보를 계산하는 방법(S543a2)은 하기 수학식 18, 19가 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000020
Figure PCTKR2018009001-appb-img-000021
New Rz : 새로운 좌측 카메라의 롤
Pre Rz : 반복되기 이전의 좌측 카메라의 롤
α : 사용자가 지정할 수 있는 임의의 상수 값
G l : 왼쪽 차선의 기울기
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 롤(Rz)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 20, 21이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000022
New Rz : 새로운 우측 카메라의 롤
Pre Rz : 반복되기 이전의 우측 카메라의 롤
α : 사용자가 지정할 수 있는 임의의 상수 값
G r : 우측 차선의 기울기
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)에서 좌우측카메라의 위치이동(Tz)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 12는 차량의 좌우측 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 것으로, 도 12의 좌측 이미지는 좌우측 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 12의 우측 이미지는 좌우측 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측카메라의 위치이동(Tz)이 정확한 경우에는 차량의 전후방 차선의 폭과 차량의 좌우측 차선의 폭이 동일하게 나타나게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 위치이동(Tz)의 보정정보를 계산하는 방법(S543a2)은 하기 수학식 22, 23이 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000023
New Tz : 새로운 좌측 카메라의 위치이동
Pre Tz : 반복되기 이전의 좌측 카메라의 위치이동
α : 사용자가 지정할 수 있는 임의의 상수 값
x 111 : 전방 차로 왼쪽 차선의 왼쪽 x좌표
x 222 : 전방 차로 왼쪽 차선의 오른쪽 x좌표
x 555 : 왼쪽 차선의 왼쪽 x좌표
x 666 : 왼쪽 차선의 오른쪽 x좌표
x 999 : 후방 차로 왼쪽 차선의 왼쪽 x좌표
x 10 : 후방 차로 왼쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 24, 25가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
Figure PCTKR2018009001-appb-img-000024
New Tz : 새로운 우측 카메라의 위치이동
Pre Tz : 반복 되기 이전의 우측 카메라의 위치이동
α : 사용자가 지정할 수 있는 임의의 상수 값
x 333 : 전방 차로 오른쪽 차선의 왼쪽 x좌표
x 444 : 전방 차로 오른쪽 차선의 오른쪽 x좌표
x 777 : 오른쪽 차선의 왼쪽 x좌표
x 888 : 오른쪽 차선의 오른쪽 x좌표
x 11 : 후방 차로 오른쪽 차선의 왼쪽 x좌표
x 12 : 후방 차로 오른쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
저장 단계(S544)는 상기 1차 내지 3차 단계(S541, S542, S543)에서 정확하게 보정될 때까지 반복하여 단계를 수행한 후 최종적으로 계산된 외부 파라미터를 저장하는 단계이다.
영상보정 단계(S550)는 파라미터추정 단계(S540)에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 단계로서, 보정된 영상은 입출력 모듈(200)의 저장부(220)로 전송된다.
결국, 본 발명의 차량용 카메라 캘리브레이션 장치 및 그 방법에 의하면 차량의 주행 중에도 외부 파라미터를 자동으로 캘리브레이션 할 수 있게된다.
이상에서 설명한 바와 같이 본 발명은 차량에 장착된 복수개의 카메라로부터 차량의 주행 차로를 촬영한 영상을 입력 받아 상기 촬영 영상으로부터 차선을 검출한 후 검출된 차선을 이용하여 차량에 장착된 카메라의 외부파라미터를 보정하는 카메라 캘리브레이션을 수행하고 있기 때문에 차량을 멈추지 않고도 카메라의 캘리브레이션을 신속하고 간편하게 수행할 수 있는 효과가 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.

Claims (21)

  1. 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈;
    상기 카메라 모듈로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는입출력 모듈;
    상기 입출력 모듈에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 차선검출모듈; 및
    상기 입출력 모듈에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈;을 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  2. 청구항 1에 있어서,
    상기 입출력 모듈은,
    상기 카메라 모듈로부터 영상을 입력 받거나 보정된 영상을 외부로 출력하는 영상입출력부;와,
    상기 카메라보정 모듈로부터 변경된 외부 파라미터 정보와 보정된 영상을 전달 받아 저장하는 저장부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  3. 청구항 1에 있어서,
    상기 차선검출모듈은,
    상기 입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리부;
    차선이 점선일 경우에 상기 영상처리부에서 처리된 영상을 연속된 프레임으로 누적하는 프레임누적부;
    상기 프레임누적부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출부; 및
    상기 엣지검출부에서 추출된 특징점에서 차선을 결정하는 차선판단부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  4. 청구항 1에 있어서,
    상기 카메라보정 모듈은,
    초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환부;
    상기 이미지변환부에서 변환된 탑뷰 이미지에서 차선의 방정식을 구하는 방정식산출부;
    상기 방정식산출부에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정부; 및
    상기 파라미터추정부에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 보정부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  5. 카메라 모듈로부터 획득된 영상을 입력 받아 차선을 검출하는 차선검출단계;
    초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환 단계;
    상기 이미지변환 단계에서 변환된 탑뷰 이미지에서 차선의 방정식과 차선폭을 구하는 방정식산출 단계;
    상기 방정식산출 단계에서 산출된 차선의 방정식과 차선폭을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정 단계; 및
    상기 파라미터추정 단계에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 영상보정 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  6. 청구항 5에 있어서,
    상기 차선검출 단계는,
    입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리 단계;
    영상처리 단계에서 처리된 영상에서 차선이 점선일 때는 연속된 프레임으로 누적하고 직선일 때는 다음 단계를 수행하는 프레임누적 단계;
    상기 프레임누적 단계부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출 단계; 및
    상기 엣지검출 단계에서 추출된 특징점에서 차선을 결정하는 차선판단 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  7. 청구항 6에 있어서,
    상기 영상처리 단계는 노이즈를 제거하기 위해 영상에서의 물체 경계를 부드럽게 하는 알고리즘을 수행하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  8. 청구항 6에 있어서,
    상기 영상처리 단계는 획득된 영상에서 차선이 갈라진 영역이 엣지로 검출되는 것을 방지하기 위하여 영상의 크기를 변경하여 노이즈를 제거하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  9. 청구항 6에 있어서,
    상기 프레임누적 단계는 획득된 영상에서 점선 차선을 실선 차선으로 보이도록 하기 위하여 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀값을 새로운 이미지에 저장하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  10. 청구항 6에 있어서,
    상기 엣지검출 단계는 알고리즘을 이용하여 엣지를 검출한 후 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  11. 청구항 6에 있어서,
    상기 차선판단 단계는 상기 엣지검출 단계에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  12. 청구항 5에 있어서,
    상기 방정식산출 단계에서 산출된 차선의 방정식은 직선의 방정식 또는 다차원 방정식으로 표현되는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  13. 청구항 5에 있어서,
    상기 파라미터추정 단계는,
    차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와, 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 1차 보정 단계;
    차량의 후방 카메라의 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 상기 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 후방 카메라의 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 2차 보정 단계;
    차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 3차 보정 단계; 및
    상기 1차 내지 3차 단계에서 계산된 외부 파라미터를 저장하는 저장 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  14. 청구항 13에 있어서,
    상기 1차 보정 단계의 전방카메라와 후방카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 1이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000025
    여기서, G l은 왼쪽 차선의 경사도이고 G r은 오른쪽 차선의 경사도이다.
  15. 청구항 13에 있어서,
    상기 1차와 2차 보정 단계의 전방카메라와 후방카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 2가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000026
    여기서, W l은 왼쪽 차선의 폭이고 W r은 오른쪽 차선의 폭이다.
  16. 청구항 13에 있어서,
    상기 1차 보정 단계의 전방카메라와 후방카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 3이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000027
    여기서, G l은 왼쪽 차선의 경사도이고 G r은 오른쪽 차선의 경사도이다.
  17. 청구항 13에 있어서,
    상기 2차 보정 단계의 후방카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 4가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000028
    여기서, C f는 전방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이고 C r은 후방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이다.
  18. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 5가 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지 변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 6이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지 변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000029
    여기서, x 1은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 2는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 5는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 6는 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 3는 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 4는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x 7는 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 8 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
  19. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 7이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 8이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000030
    여기서, x 11은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 22는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 55는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 66은 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 35은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 44는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x 77은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 88은 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
  20. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 9가 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 10이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000031
    여기서, G l는 왼쪽 차선의 기울기이며 G r은 오른쪽 차선의 기울기이다.
  21. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 11이 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 12가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    Figure PCTKR2018009001-appb-img-000032
    여기서, x 111은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 222는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 555는 왼쪽 차선의 왼쪽 x좌표이고 x 666는 왼쪽 차선의 오른쪽 x좌표이고, x 999는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x 10는 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x 333은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 444는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x 777은 오른쪽 차선의 왼쪽 x좌표이고 x 888은 오른쪽 차선의 오른쪽 x좌표이고, x 11은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x 12는 후방 차로 오른쪽 차선의 오른쪽 x좌표이다.
PCT/KR2018/009001 2017-09-13 2018-08-08 차량용 카메라 캘리브레이션 장치 및 그 방법 WO2019054636A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018000107.5T DE112018000107T5 (de) 2017-09-13 2018-08-08 Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren
CN201880002468.0A CN109791700A (zh) 2017-09-13 2018-08-08 车辆相机校准装置及其方法
US16/315,941 US11398051B2 (en) 2017-09-13 2018-08-08 Vehicle camera calibration apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0116914 2017-09-13
KR1020170116914A KR101969030B1 (ko) 2017-09-13 2017-09-13 차량용 카메라 캘리브레이션 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2019054636A1 true WO2019054636A1 (ko) 2019-03-21

Family

ID=65722960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/009001 WO2019054636A1 (ko) 2017-09-13 2018-08-08 차량용 카메라 캘리브레이션 장치 및 그 방법

Country Status (5)

Country Link
US (1) US11398051B2 (ko)
KR (1) KR101969030B1 (ko)
CN (1) CN109791700A (ko)
DE (1) DE112018000107T5 (ko)
WO (1) WO2019054636A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
DE102019003238B4 (de) * 2019-05-08 2023-04-20 Mercedes-Benz Group AG Fahrzeugortung durch Kartenabgleich unter Berücksichtigung eines Straßenprofils
KR102274026B1 (ko) * 2019-05-22 2021-07-09 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
KR102254950B1 (ko) 2019-06-26 2021-05-24 주식회사 티맥스티베로 캘리브레이션 방법
CN110796102B (zh) * 2019-10-31 2023-04-14 重庆长安汽车股份有限公司 一种车辆目标感知***及方法
CN111523471B (zh) * 2020-04-23 2023-08-04 阿波罗智联(北京)科技有限公司 车辆所在车道的确定方法、装置、设备以及存储介质
KR20220026422A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
CN114387448A (zh) * 2021-12-24 2022-04-22 鞍钢集团矿业有限公司 针对变电站支柱式绝缘子串的边缘轮廓提取方法
CN114663529B (zh) * 2022-03-22 2023-08-01 阿波罗智能技术(北京)有限公司 一种外参确定方法、装置、电子设备及存储介质
GB2618127B (en) * 2022-04-21 2024-07-31 Continental Automotive Romania Srl Computer-implemented method of determining and adjusting camera pitch angle error of a vehicle camera
CN114897683A (zh) * 2022-04-25 2022-08-12 深圳信路通智能技术有限公司 车侧图像的获取方法及其装置、***和计算机设备
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11281352A (ja) * 1998-03-31 1999-10-15 Nissan Motor Co Ltd 道路形状検出装置
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20150002039A (ko) * 2013-06-28 2015-01-07 (주) 세인 차량에 설치되어 있는 블랙박스와 같은 영상 단말기를 이용하여 영상에서 차선을 인식 경고, 기록하는 장치의 실시간성 확보를 위한 방법
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080028531A (ko) 2006-09-27 2008-04-01 현대자동차주식회사 차량 전방카메라 보정장치
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
US8935057B2 (en) * 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
CN104029680B (zh) * 2014-01-02 2016-12-07 上海大学 基于单目摄像头的车道偏离预警***及方法
CN104129389B (zh) * 2014-08-06 2017-02-01 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置
JP6601336B2 (ja) * 2016-07-08 2019-11-06 株式会社デンソー 区画線認識装置
US10706551B2 (en) * 2017-03-30 2020-07-07 4DM Inc. Object motion mapping using panchromatic and multispectral imagery from single pass electro-optical satellite imaging sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11281352A (ja) * 1998-03-31 1999-10-15 Nissan Motor Co Ltd 道路形状検出装置
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20150002039A (ko) * 2013-06-28 2015-01-07 (주) 세인 차량에 설치되어 있는 블랙박스와 같은 영상 단말기를 이용하여 영상에서 차선을 인식 경고, 기록하는 장치의 실시간성 확보를 위한 방법
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치

Also Published As

Publication number Publication date
US20210343044A1 (en) 2021-11-04
KR101969030B1 (ko) 2019-04-16
CN109791700A (zh) 2019-05-21
US11398051B2 (en) 2022-07-26
KR20190030242A (ko) 2019-03-22
DE112018000107T5 (de) 2019-05-29

Similar Documents

Publication Publication Date Title
WO2019054636A1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
WO2015152692A1 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2015152691A2 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2016090559A1 (zh) 一种图像处理方法、装置及摄像设备
WO2020141657A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2017188706A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2018062647A1 (ko) 정규화된 메타데이터 생성 장치, 객체 가려짐 검출 장치 및 그 방법
WO2015102391A1 (ko) 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치
WO2013009020A4 (ko) 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
WO2012064106A2 (en) Method and apparatus for video stabilization by compensating for view direction of camera
WO2016088960A1 (ko) 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
EP2422526A2 (en) Method and apparatus for automatic transformation of three-dimensional video
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
EP2907298A1 (en) Image processing device and image processing method
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2021141338A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2021141339A1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
WO2015183050A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2018212608A1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
WO2016206107A1 (en) System and method for selecting an operation mode of a mobile platform
WO2021040156A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2020004837A1 (ko) 자동 편광 조절 장치 및 방법
WO2014178610A1 (ko) 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18855438

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18855438

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18855438

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22.01.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18855438

Country of ref document: EP

Kind code of ref document: A1