WO2014065485A1 - 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법 - Google Patents

영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법 Download PDF

Info

Publication number
WO2014065485A1
WO2014065485A1 PCT/KR2013/005735 KR2013005735W WO2014065485A1 WO 2014065485 A1 WO2014065485 A1 WO 2014065485A1 KR 2013005735 W KR2013005735 W KR 2013005735W WO 2014065485 A1 WO2014065485 A1 WO 2014065485A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
camera
bird
bird view
Prior art date
Application number
PCT/KR2013/005735
Other languages
English (en)
French (fr)
Inventor
이희중
권락범
Original Assignee
(주)세코닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)세코닉스 filed Critical (주)세코닉스
Priority to EP13849228.5A priority Critical patent/EP2848486A4/en
Publication of WO2014065485A1 publication Critical patent/WO2014065485A1/ko
Priority to US14/516,111 priority patent/US20150029338A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a bird view image generating apparatus and method, and more particularly, bird view image generation having an automatic image correction function for automatically correcting the camera position error caused by the number and position of passengers in the vehicle An apparatus and method are provided.
  • the bird view image is derived from the parking assist device and the parking assist method proposed in the PCT application WO2009 151053, which was filed in Nissan for safe parking of the vehicle during the day and at night.
  • the bird view image generates a bird's-eye view of the vehicle as seen from the top of the vehicle, and displays the bird's-eye view through a navigator or a separate device, so that the driver can park the vehicle safely by referring to the bird's-eye view even if the driver is not good at driving. Doing.
  • Parking support system and method proposed in WO2009 151053 is a panoramic image by connecting wide-angle images taken from the front, rear, left, and right of a vehicle into a panoramic image, and through the image processing, the image is viewed from the top of the vehicle. Converting However, when a passenger rides in the vehicle, the imaging positions of the cameras arranged in the front, rear, left, and right directions of the vehicle are changed, and the completeness of the entire overhead view image is inevitably reduced by the change in the imaging position of the camera.
  • the vehicle sits on the front left side toward the road surface, and the imaging position of the driver's seat and the adjacent side camera is lowered toward the road surface. Accordingly, when the images captured in the front, rear, left, and right directions of the vehicle are combined into one, the image captured in the driver's seat direction may cause the balance of the entire overhead view image to be deteriorated, which may lead to deterioration of the quality of the overhead view image. .
  • a first camera and a second camera for generating a first image and a second image by capturing the periphery of the vehicle and starting the vehicle.
  • tilt the first camera according to the passenger's boarding by comparing an image obtained through the first camera and comparing it with a reference image of the first camera taken before the passenger boards the vehicle.
  • a bird view image of a view point of viewing the surroundings of the vehicle from the upper side of the vehicle by connecting the first image in a state where the boarding tilt correction unit corrects and the first tilt of the first camera has been corrected to the second image; It is achieved by the bird view image generator.
  • the first image and the second camera to acquire the first image and the second image from the first camera and the second camera for imaging the bird image generation to generate a bird view (bird view) image based thereon
  • the vehicle is started, acquiring a comparison image by the first camera, and comparing the reference image photographed by the first camera when the passenger is not in the vehicle, compared with the comparison image. Correcting the deviation between the reference image and the comparison image to correct the first image captured by the first camera. And generating a bird view image by combining the corrected first image with the second image.
  • the bird view image generating apparatus may automatically correct a camera position change according to a passenger, even if the driver does not perform a separate calibration.
  • 1 is a reference view for explaining a tilt generated in a vehicle.
  • FIG. 2 is a conceptual diagram illustrating a method of correcting a boarding tilt of a bird view image generating apparatus having an automatic image correcting function according to the present invention.
  • FIG. 3 is a reference view for explaining image distortion caused by a boarding tilt caused by a vehicle deflection.
  • FIG. 4 is a block diagram illustrating an example of a bird view correcting apparatus.
  • FIG. 5 is a reference view for a method of correcting a tilt of an image in a boarding tilt correction unit.
  • FIG. 6 is a flowchart illustrating an automatic correction method for a bird view image according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a method of correcting a riding tilt according to an embodiment of the present invention.
  • the bird view image referred to herein is an image formed in a direction in which the vehicle is viewed from the upper direction of the vehicle by connecting images captured by a camera installed around the vehicle into one, and performing image processing on the connected images.
  • the camera referred to herein is a wide angle camera, and the wide angle camera may mean that an angle of view is 80 degrees or more.
  • the camera referred to herein is a wide angle camera, and the angle of view may be 120 degrees to 190 degrees, and the angle of view may be larger or smaller than this.
  • the boarding tilt referred to herein may mean a tilt when viewed from the front or side of the vehicle according to the number of passengers in the vehicle and the seat position in the vehicle.
  • the passenger when a passenger rides only in the front seat of the vehicle, the passenger may be biased toward the front of the vehicle to cause the front tilt and the rear side to rise, which may be referred to as the front tilt.
  • the vehicle When a passenger rides in the driver's seat and the back seat of the driver's seat, the vehicle may be deflected toward the driver's seat.
  • the driver's seat When the driver's seat is located on the left with respect to the passenger, it may be referred to as left tilt.
  • the horizontal correction referred to herein may mean a correction for leveling a reference line of an image captured by each wide-angle camera.
  • the reference line may be a line for the orientation of the image captured by each wide angle camera, and the horizontal correction may be performed on the image captured by the front or rear camera.
  • 1 is a reference view for explaining a tilt generated in a vehicle.
  • the left and right horizontal lines may be balanced based on the center of gravity when the passenger does not board.
  • R1 and R2 may form a horizontal line perpendicular to the center of gravity (center).
  • a wide-angle camera may be arranged in front, rear, and side of the vehicle, for example, in a pair of side mirrors attached to the vehicle to generate a bird view image.
  • four wide-angle cameras may be disposed in a vehicle, and these wide-angle cameras may be shipped after being initially set at the factory under the assumption that the front, rear, left, and right sides of the vehicle are horizontal.
  • the vehicle may tilt toward the driver's seat, the passenger seat direction, the front of the vehicle, or the rear of the vehicle.
  • This tilt which is caused by the number, location and distribution of the vehicle passengers, is referred to as boarding tilt, and the present invention allows the boarding tilt to be performed automatically with the start of the vehicle without the driver manually calibrating. After that, it will be described in detail with reference to FIGS.
  • FIG. 2 is a conceptual diagram illustrating a method of correcting a boarding tilt of a bird view image generating apparatus (hereinafter, referred to as a bird view correcting apparatus) having an automatic image correcting function according to the present invention.
  • FIG. 2A illustrates the imaging direction A of the wide-angle camera 51 installed in the side mirror of the vehicle 50 when no passenger is in the vehicle 50
  • FIG. Shows an imaging direction B of the wide-angle camera 51 when a passenger rides in a passenger seat behind the passenger seat of the vehicle 50 and the vehicle generates a boarding tilt in the passenger seat direction.
  • the imaging direction B of the wide-angle camera 51 is more than that of FIG. May be biased towards the road surface.
  • the wide-angle camera in the driver's seat direction is upward in the opposite direction of the road as the passenger-seat direction is toward the road surface, so when the bird view image is generated from the image captured by the wide-angle camera provided in the vehicle 50, the bird view image is distorted. Can be.
  • FIG. 3 is a reference view for explaining image distortion caused by a boarding tilt caused by a vehicle deflection.
  • FIG. 3A illustrates an image of a bonnet of a vehicle, and illustrates an example in which horizontality of an image captured by a wide angle camera is correct.
  • the camera photographing the front of the vehicle may be located on the bonnet or inside the driver's seat, and at this time, the wide-angle image to be photographed may capture the end of the bonnet.
  • the image to be captured may form an image similar to that photographed by the fisheye lens as a whole by the upper and lower sides of the figure curved on the basis of the center portion.
  • the image photographed by the wide-angle camera is a wide-angle image, and thus the center portion is recessed inward, and the left and right directions of the drawing form a curved upper surface protruding to the upper surface, but the reference point P1 and the reference point P2 are The line segments are horizontal along the horizontal direction of the drawing.
  • FIG. 3B illustrates an image of a case in which a boarding tilt occurs in the driver's seat direction and the driver's seat sits down toward the road surface.
  • the reference point P3 is directed downward relative to the reference point P4, which indicates that the wide-angle camera for photographing the front of the vehicle has a tilt in the direction of the reference point P3.
  • FIG. 3C illustrates an image when a passenger tilts toward the passenger seat and sits down toward the road surface.
  • the reference point P5 faces upward compared to the reference point P6, and the reference point P6 sits down in the road surface direction. This is because a heavy passenger occupies the passenger seat, or a passenger rides in the passenger seat and the back seat of the passenger seat so that the entire center of gravity of the vehicle faces the passenger seat.
  • FIG. 4 is a block diagram illustrating an example of a bird view correcting apparatus.
  • the bird view correcting apparatus includes a wide-angle camera 51 to 54 for photographing the front, rear, left and right sides of the vehicle, the bird view image generating unit 105, the boarding tilt correction unit 110, and the navigation unit. 120, the touch screen 130 may be configured.
  • the wide-angle cameras 51 to 54 are wide-angle cameras having an angle of view ranging from 120 degrees to 190 degrees, and each of the wide-angle cameras 51 to 54 may be disposed one at each of the front, rear, and both sides of the vehicle.
  • the wide-angle camera 51 disposed in front of the vehicle may be arranged to look at the outside of the vehicle from the bonnet of the vehicle or the inside of the vehicle, and may capture an out line of the bonnet of the vehicle. have.
  • the outer line of the bonnet may refer to the outer line in the front direction of the outermost edge of the bonnet.
  • the images picked up by the cameras 51 to 54 may form overlapping regions.
  • the overlapped areas may be used to connect the images captured by the wide-angle cameras 51 to 54 to one when each wide-angle camera 51 to 54 generates a bird view image in a 360 degree direction around the vehicle.
  • the overlap region may be used to correct an edge region with respect to an image of a neighboring wide angle camera.
  • the bird view image generating unit 105 connects the pattern and the color of the superimposed image to each other so that the bird view image is intact. It can be formed into an image.
  • the images captured by the wide-angle cameras 51 to 54 are provided to the bird view image generating unit 105, and the bird view image generating unit 105 connects the images of the wide-angle cameras 51 to 54 to each other to form a virtual image.
  • the bird view image is obtained by connecting the images captured by the wide-angle cameras 51 to 54, and then dividing each area of the image into a grid coordinate system, setting the viewpoint of each divided coordinate system to the upper side of the vehicle, and Can be obtained by converting accordingly.
  • the boarding tilt correction unit 110 may be reset when the vehicle is started and may request and obtain a comparison image from the bird view image generating unit 105.
  • the boarding tilt correction unit 110 may acquire a reference image of an initial state.
  • the reference image is preferably obtained in a state in which a load is not applied to the vehicle, and may be a still image obtained through the wide-angle cameras 51 to 54 in any one direction of the front, left, right, and rear of the vehicle.
  • the boarding tilt correction unit 110 includes a reference image obtained when the vehicle is initially shipped or a reference image set by the driver.
  • the bird view image generator 105 requests a comparison image.
  • the bird view image generation unit 105 may obtain a comparison image and compare the image with the reference image to correct the boarding tilt.
  • the comparison image is described based on the image of the wide-angle camera 51 installed toward the front of the vehicle, but may be an image of the left and right sides and the rear of the vehicle.
  • Distortion occurs in images captured by the wide-angle cameras 51 to 54 according to the number and position of passengers in the vehicle.
  • a bird view image is generated by connecting images captured by four wide-angle cameras 51 to 54
  • each wide-angle camera 51 to 54 is used. Any one of the images picked up at is misaligned when connected to the images captured by the other wide-angle cameras 51 to 54, and when the bird view image is generated by connecting them, the bird view image may be distorted.
  • the wide-angle camera 51 disposed in front of the vehicle faces the road surface of the vehicle, and thus the other wide-angle cameras 52 to 54.
  • the image of the lower side of the vehicle is taken as much toward the road as compared to the image captured by the.
  • the bird view image is generated in this state, the image captured from the front of the vehicle captures a narrower area than the other wide-angle cameras 52 to 54 based on the bonnet outline of the vehicle, and uses the bird view image.
  • a problem may arise in that the front image of the vehicle needs to be corrected according to the image of the front wide angle camera 51 which captures the narrow region of the image captured by the other wide angle cameras 52 to 54.
  • the present applicant corrects the image of the front wide-angle camera 51 to match the reference image instead of the correction method, and for this purpose, obtains a comparison image every time the vehicle is started, and compares the obtained comparison image with the reference image to some extent. It is determined whether the deviation has occurred, and by providing the determined deviation information to the bird view image generator 105, the bird view image generator 105 performs tilt correction of the wide-angle camera 51. Accordingly, the vehicle driver does not need to perform tilt correction separately, and the bird view image is touch screen 130 by allowing the tilt of each wide-angle camera 51 to 54 to be automatically corrected according to the number and position of passengers in the vehicle. ) Can be correctly represented.
  • the navigation unit 120 is a GPS processing unit 121 for acquiring GPS location information, a map generation unit which maps a current location of a vehicle on an electronic map, generates a path to a destination of the vehicle, and provides the path to the touch screen 130. And an output unit 122 for outputting voice information necessary when the vehicle moves toward the destination route.
  • FIG. 5 is a reference view for a method of correcting a tilt of an image in a boarding tilt correction unit.
  • FIG. 5 illustrates an example of a program interface created by the applicant for camera calibration, and the illustrated interface illustrates a sample program to be corrected by a developer.
  • the program shown in FIG. 5 may be built in the bird view correcting apparatus and configured to correct a boarding tilt of a wide-angle camera disposed at the front, side, and rear sides simultaneously with starting the vehicle.
  • the user interface for the developer may not be built.
  • each of the wide-angle cameras 51 to 54 of the vehicle has position correction values for the front, right, rear and left sides, respectively.
  • each wide-angle camera 51-54 has options for inclination towards the road surface, mounting height, lens lens angle (Lenz Fov), left and right deflection angles (Azimuth) and horizontal angles (horizontal). Is provided. Among these, when "+5" is applied to the left and right deflection angles (Azimuth), it can be seen that the front wide-angle camera 51 is deflected by 5 degrees in the right direction. In the drawing, the images captured by the left and right wide-angle cameras 52 and 53 and the rear wide-angle camera 54 are aligned along the reference lines of B, C, and D to form a bird view image, but the left and right deflection angles (Azimuth) are 5 degrees.
  • the reference line of the set front wide-angle camera 51 is formed along A, and does not form a rectangle with the reference lines B, C, and D of the front, side, and rear wide-angle cameras 52 to 54.
  • the reference lines A, B, C, and D represent the directionality of the images captured by the wide-angle cameras 51 to 54, and form a rectangle with respect to the center of the image (this position becomes the position of the vehicle). To create the most intact bird view image.
  • the bird view correcting device may correct the tilt of the vehicle to form a complete rectangular reference line.
  • the present invention when deviation occurs in the reference lines A, B, C, and D according to the tilt of the wide-angle cameras 51 to 54, the present invention is corrected in a direction opposite to the tilt value generated in the wide-angle cameras 51 to 54.
  • the correct bird view image of the tilt of the wide-angle cameras 51 to 54 can be generated.
  • FIG. 6 is a flowchart illustrating an automatic correction method for a bird view image according to an embodiment of the present invention.
  • the factory worker sets a reference image in the bird view correction device, or the vehicle driver individually sets a reference frame for the vehicle (S201). Since the present embodiment will be described based on the front camera 51 of the vehicle, the following description will be made based on the image of the bonnet located in front of the vehicle.
  • the bird view correcting apparatus determines whether the vehicle is started (S202), and when the vehicle is started, that is, when DC power is applied from the vehicle, the bird view correcting apparatus is reset to request a comparison image from the bird view image generating unit 105. Acquire (S203).
  • the comparison image may be an image of a terminal outer line of the bonnet of the vehicle.
  • the bird view correcting apparatus calculates a deviation by comparing the reference image for the bonnet with the comparison image obtained when the vehicle is started (S204). In the case of the front wide-angle camera 51, the deviation may correspond to left and right deviations and vertical deviations, and may be calculated as one of length or angle.
  • the bird view correcting apparatus may correct the reference line described with reference to FIG. 5 by correcting the deviation between the reference image and the comparison image (S205). Correction of the reference line is performed in the bird view generator 105, and the boarding tilt correction unit 110 provides the bird view generator 105 with information about a deviation, that is, an angle or a length, between the reference image and the comparison image. The bird view image generator 105 may process this.
  • the bird view image generating unit 51 connects the images captured by the wide-angle cameras 51 to 54 to an image of a viewpoint viewed from the upper side of the vehicle.
  • the bird view image may be generated by converting (S206) and displayed on the touch screen 130.
  • FIG. 7 is a conceptual diagram illustrating a method of correcting a riding tilt according to an embodiment of the present invention.
  • a tire image of a passenger before and after boarding is obtained using an image captured by the right camera 53 of the vehicle, and the tilt is corrected by comparing the two.
  • FIG. 7A illustrates a right tire in front of the vehicle before the passenger boards the vehicle, and the line segment in the area S12 is close to vertical.
  • FIG. 7B illustrates an example of a tire image captured by the right camera 53 when a tilt occurs in the direction of the right camera 53 by the passengers after boarding the vehicle.
  • the image of the tire is tilted by an angle ⁇ as shown in S22, and the generated tilt should be corrected in the direction D1.
  • the tire image as shown in FIG. 7 (b) is captured by the reference image and the right camera 53 which are captured before the passenger boards the vehicle.
  • the tire image (Fig. 7 (b)) is compared, and can be corrected in the D1 direction by the angle ⁇ .
  • the present invention generates a bird view image of good quality through the camera tilt correction using the vehicle body, there is a possibility that it can be used in the vehicle manufacturing industry and the vehicle image device-related industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 버드 뷰 영상을 생성 시, 운전자가 별도의 칼리브레이션을 수행하지 않아도 버드 뷰 영상 생성장치가 자동으로 탑승 승객에 따른 카메라 위치변동을 보정하는 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치를 개시한다. 이를 위해 본 발명은 버드 뷰(bird view) 영상 생성장치에 있어서, 차량의 주변을 촬상하여 제1영상 및 제2영상을 생성하는 제1카메라와 제2카메라, 차량에 시동이 걸릴 때, 제1카메라를 통해 영상을 획득하고 이를 차량에 승객이 탑승하기 이전에 촬상된 제1카메라에 대한 기준영상과 비교하여 승객의 탑승에 따른 제1카메라의 틸트(tilt)를 보정하는 탑승 틸트 보정부 및 제1카메라의 탑승 틸트가 보정된 상태의 제1영상을 제2영상에 연결하여 차량의 상측에서 차량 주변을 바라보는 시점의 버드 뷰 영상을 생성하는 버드 뷰 영상 생성부를 포함하여 구성될 수 있다.

Description

영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법
본 발명은 버드 뷰 영상 생성장치 및 방법에 관한 것으로, 더욱 상세하게는 차량에 탑승하는 승객의 수와 위치에 의해 발생하는 카메라 위치 오차를 자동으로 보정하는 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법에 관한 것이다.
버드 뷰(bird view) 영상은 주간 및 야간에 차량의 안전한 주차를 위해 닛산(nissan)에서 출원되었던 PCT 출원 WO2009 151053을 통해 제안되었던 주차 지원장치 및 주차 지원 방법에서 유래되었다. 버드 뷰 영상은 차량의 위에서 차량을 바라보는 듯한 부감 영상을 생성하고, 부감 영상을 네비게이터나 별도의 디바이스를 통해 디스플레이 함으로써, 차량 운전자가 운전에 미숙하더라도 부감 영상을 참조하여 차량을 안전하게 주차할 수 있도록 하고 있다.
WO2009 151053에서 제안된 주차지원 시스템 및 방법은 차량의 전, 후, 좌, 우에서 촬상된 광각 영상을 하나로 연결하여 파노라마 영상처럼 만들고 영상처리를 통해 연결된 영상을 차량의 위에서 바라보는 형태의 부감 영상으로 변환하고 있다. 그러나, 차량에 승객이 탑승하면 차량의 전, 후, 좌, 우 방향에 배치된 카메라의 촬상 위치가 변경되며, 카메라의 촬상 위치 변화에 의해 전체 부감 영상의 완성도는 저하될 수 밖에 없다.
예컨대, 차량에 운전자만 탑승한 경우, 차량은 전방 좌측이 노면을 향해 주저앉으며, 운전석과 이웃한 측면 카메라의 촬상 위치는 노면을 향해 낮아진다. 이에 따라, 차량의 전, 후, 좌, 우 각 방향에서 촬상된 영상을 하나로 연결할 때, 운전석 방향에서 촬상된 영상은 전체 부감 영상의 균형을 깨뜨리게 되고, 이는 부감 영상의 퀄리티 저하로 이어질 수 있다.
본 발명의 목적은 운전자가 차량 시동을 걸 때, 승객의 탑승 상태에 따른 카메라 위치 이동을 자동으로 보정 가능한 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법을 제공함에 있다.
상기한 목적은 본 발명에 따라, 버드 뷰(bird view) 영상 생성장치에 있어서, 차량의 주변을 촬상하여 제1영상 및 제2영상을 생성하는 제1카메라와 제2카메라, 상기 차량에 시동이 걸릴 때, 상기 제1카메라를 통해 영상을 획득하고 이를 상기 차량에 승객이 탑승하기 이전에 촬상된 상기 제1카메라에 대한 기준영상과 비교하여 상기 승객의 탑승에 따른 제1카메라의 틸트(tilt)를 보정하는 탑승 틸트 보정부 및 상기 제1카메라의 탑승 틸트가 보정된 상태의 제1영상을 상기 제2영상에 연결하여 상기 차량의 상측에서 상기 차량 주변을 바라보는 시점의 버드 뷰 영상을 생성하는 버드 뷰 영상 생성부에 의해 달성된다.
또한 상기한 목적은 본 발명에 따라, 차량의 주변을 촬상하는 제1카메라 및 제2카메라에서 각각 제1영상 및 제2영상을 획득하고 이를 토대로 버드 뷰(bird view) 영상을 생성하는 버드 영상 생성장치에 의해 수행되며, 상기 차량에 시동이 걸릴 때, 상기 제1카메라에서 비교 영상을 획득하는 단계, 상기 차량에 승객이 탑승하지 않았을 때 상기 제1카메라에서 촬상된 기준영상을 상기 비교 영상과 비교하는 단계, 상기 기준 영상과 상기 비교 영상의 편차를 보정하여 상기 제1카메라에서 촬상되는 제1영상을 보정하는 단계. 및 상기 보정된 제1영상을 상기 제2영상과 결합하여 버드 뷰 영상을 생성하는 단계에 의해 달성된다.
본 발명에 따르면 버드 뷰 영상을 생성 시, 운전자가 별도의 칼리브레이션을 수행하지 않아도 버드 뷰 영상 생성장치가 자동으로 탑승 승객에 따른 카메라 위치변동을 보정할 수 있다.
도 1은 차량에서 발생하는 틸트의 설명을 위한 참조도면을 도시한다.
도 2는 본 발명에 따른 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치의 탑승 틸트를 보정하는 방법에 대한 개념도를 도시한다.
도 3은 차량의 편향에 따른 탑승 틸트가 유발하는 영상 왜곡을 설명하기 위한 참조도면을 도시한다.
도 4는 버드 뷰 보정장치의 일 예에 따른 블록개념도를 도시한다.
도 5는 탑승 틸트 보정부에서 영상의 틸트를 보정하는 방법에 대한 참조도면을 도시한다.
도 6은 본 발명의 일 실시예에 따른 버드 뷰 영상에 대한 자동보정 방법의 흐름도를 도시한다.
도 7은 본 발명의 일 실시예에 따른 탑승 틸트를 보정하는 방법에 대한 개념도를 도시한다.
본 명세서에서 언급되는 버드 뷰(bird view) 영상은 차량 주변에 설치되는 카메라에서 촬상된 영상을 하나로 연결하고, 연결된 영상에 대해 이미지 프로세싱을 하여 차량의 상측 방향에서 차량을 조감하는 방향으로 형성되는 영상을 지칭한다.
본 명세서에서 언급되는 카메라는 광각 카메라이며, 광각 카메라는 화각(angle of view)이 80도 이상인 것을 의미할 수 있다. 버드 뷰 영상을 생성하기 위해, 본 명세서에서 언급되는 카메라는 광각 카메라이며, 화각은 120도 내지 190도일 수 있으며, 이보다 화각이 더 크거나 작을 수도 있음은 물론이다.
본 명세서에서 언급되는 탑승 틸트는, 차량에 탑승하는 승객의 수와 차량 내 좌석 위치에 따라 차량의 전면 또는 측면에서 바라볼 때의 틸트를 의미할 수 있다.
예컨대, 차량의 전면 좌석에만 승객이 탑승하는 경우 차량의 전방으로 편향되어 전방 틸트를 유발하고 후방은 올라가는 형세를 취할 수 있으며, 이를 전방 틸트라 칭할 수 있다.
차량의 운전석 및 운전석의 뒷좌석에 승객이 탑승하는 경우 차량은 운전석 방향으로 편향될 수 있다. 운전석이 승객을 기준으로 좌측에 위치하는 경우 좌측 틸트라고 칭할 수 있다.
본 명세서에서 언급되는 수평 보정은, 각 광각 카메라에서 촬상되는 영상의 기준 라인의 수평을 맞추는 보정을 의미할 수 있다. 기준 라인은 각 광각 카메라에서 촬상되는 영상의 방향성에 대한 라인일 수 있으며, 이때, 수평 보정은 전방 또는 후방 카메라에서 촬상된 영상에 대해 수행될 수 있다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다.
도 1은 차량에서 발생하는 틸트의 설명을 위한 참조도면을 도시한다.
도 1을 참조하면, 차량을 전면에서 바라볼 때, 승객이 탑승하지 않으면 무게중심선(center)을 기준으로 좌우의 수평이 균형을 가질 수 있다. 이때, R1과 R2는 무게 중심선(center)에 대해 수직인 수평선을 이룰 수 있다. 차량의 전방, 후방, 측방, 예컨대 차량에 부착되는 한 쌍의 사이드 미러에는 버드 뷰 영상의 생성을 위해 광각 카메라가 하나씩 배치될 수 있다. 통상 차량에는 4개의 광각 카메라가 배치될 수 있으며, 이들 광각 카메라는 차량의 전후 및 좌우가 수평을 이룬다는 가정하에 공장에서 초기 셋팅된 후 출고될 수 있다.
한편, 실제 차량에 마련되는 좌석(전방에 2석, 후방에 2석) 모두에 승객이 탑승하는 경우(승객 4명 중 하나는 운전자이다), 차량은 전체적으로 노면을 향하므로 광각 카메라에 의해 촬상되는 버드 뷰 영상의 표현 범위는 광각 카메라의 위치가 낮아지는데 따라 좁아지더라도 버드 뷰 영상 자체가 왜곡되지는 않는다. 반면, 운전석과 운전석 뒤에만 승객이 탑승하는 경우, 차량은 무게 중심선(center)을 기준으로 운전석 방향으로 틸트되므로 버드 뷰 영상을 생성하기 위한 4개의 광각 카메라 중 2개는 운전석 방향으로 틸트되고, 이는 4개의 광각 카메라가 촬상하는 영상 중 2개에 문제가 생기는 것을 의미한다. 이에 따라, 문제가 생긴 2개의 광각 카메라에서 촬상된 영상을 이용하여 전체 버드 뷰 영상을 생성하는 경우, 전체 버드 뷰 영상에는 왜곡이 발생할 수 있다.
차량에 탑승하는 승객의 분포에 따라 차량은 운전석 방향, 조수석 방향, 차량 전방 또는 차량 후방을 향해 틸트(tilt)가 발생할 수 있다. 차량 탑승 승객의 수와 위치 및 분포에 의해 발생하는 이러한 틸트를 이하 탑승 틸트라고 하며, 본 발명은 탑승 틸트를 운전자가 수동으로 칼리브레이션(calibration) 하지 않고 차량의 시동과 함께 자동으로 수행되도록 한다. 이후, 도 2 내지 도 7을 참조하여 상술하도록 한다.
도 2는 본 발명에 따른 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치(이하, 버드 뷰 보정장치라 기재한다)의 탑승 틸트를 보정하는 방법에 대한 개념도를 도시한다.
도 2를 참조하면, 차량(50)에 탑승하는 승객의 위치에 따라 차량은 D1, D2, D3 및 D4 방향 중 어느 한 방향이 노면을 향해 주저앉을 수 있다. 도 2의 (a)는 차량(50)에 승객이 탑승하지 않았을 때, 차량(50)의 사이드 미러에 설치된 광각 카메라(51)의 촬상 지향방향(A)을 도시하며, 도 2의 (c)는 차량(50)의 조수석과 조수석 뒷자리에 승객이 탑승하여 차량이 조수석 방향으로 탑승 틸트를 발생할 경우, 광각 카메라(51)의 촬상 지향방향(B)을 도시한다. 조수석 및 조수석 뒷좌석에 승객이 탑승하는 경우, 차량은 운전석을 기준으로 우측으로 편향될 수 있으며, 이 경우, 광각 카메라(51)의 촬상 지향방향(B)은 도 2의 (a)에 비해 좀 더 노면을 향해 편향될 수 있다. 이때, 운전석 방향의 광각 카메라는 조수석 방향이 노면을 향하는 만큼 노면 반대 방향을 향해 상향되므로 차량(50)에 마련되는 광각 카메라에서 촬상된 영상으로 버드 뷰 영상을 생성할 때, 버드 뷰 영상은 왜곡될 수 있다.
도 3은 차량의 편향에 따른 탑승 틸트가 유발하는 영상 왜곡을 설명하기 위한 참조도면을 도시한다.
도 3을 참조하면, 도 3의 (a)는 차량의 보닛을 촬상한 것으로 광각 카메라에 의해 촬상된 영상의 수평이 올바른 일 예를 도시한다.
도 3의 (a)에서 차량의 전방을 촬상하는 카메라는 보닛 상에 위치하거나, 또는 운전석 내부에 위치할 수 있으며, 이때, 촬상되는 광각 영상은 보닛의 종단을 촬상할 수 있다. 촬상되는 영상은 중심부를 기준으로 도면의 좌우가 상면만곡을 이루어 전체적으로 어안렌즈에 의해 촬상된 것과 유사한 영상을 이룰 수 있다.
도 3의 (a)에서 광각 카메라에 의해 촬상된 영상은 광각 영상이므로 중심부가 안쪽으로 함몰되고, 도면의 좌우 방향은 상면으로 돌출되는 상면만곡을 이루고 있으나, 기준점(P1)과 기준점(P2)을 잇는 선분은 도면의 가로 방향을 따라 수평을 이루고 있다.
도 3의 (b)는 운전석 방향으로 탑승 틸트가 발생하여 운전석이 노면을 향해 내려 앉았을 경우의 영상을 도시한다. 도 3의 (b)를 참조하면, 기준점(P3)은 기준점(P4)에 비해 아래를 지향하고 있으며, 이는 차량의 전방을 촬상하는 광각 카메라가 기준점(P3) 방향으로 틸트가 발생하였음을 나타낸다.
도 3의 (c)는 조수석 방향으로 탑승 틸트가 발생하여 조수석이 노면을 향해 내려 앉았을 경우의 영상을 도시한다. 도 3의 (c)를 참조하면, 기준점(P5)은 기준점(P6)에 비해 상측을 향하고 있으며, 기준점(P6)은 노면 방향으로 내려앉아 있음을 볼 수 있다. 이는 조수석에 체중이 무거운 승객이 탑승하고 있거나, 조수석 및 조수석의 뒷좌석에 승객이 탑승하여 차량의 전체 무게중심이 조수석을 향하는데 따른 것이다.
도 3의 (b) 및 도 3의 (c)에서 도시된 전방 영상을 차량의 좌우 측면 영상과 차량의 후방 영상에 연결하는 경우 전체 영상은 왜곡되고, 연결된 영상을 영상 처리하여 부감 영상화한 버드 뷰 영상 또한 왜곡을 피할 수 없다.
도 4는 버드 뷰 보정장치의 일 예에 따른 블록개념도를 도시한다.
도 4를 참조하면, 버드 뷰 보정장치는 차량의 전, 후, 좌, 우를 촬상하는 광각 카메라(51 ∼ 54), 버드 뷰 영상 생성부(105), 탑승 틸트 보정부(110), 네비게이션부(120), 터치스크린(130)을 포함하여 구성될 수 있다.
광각 카메라(51 ∼ 54)는 화각이 120도 내지 190도에 이르는 광각 카메라로서 각각의 광각 카메라(51 ∼ 54)는 차량의 전방, 후방 및 양 측방에 하나씩 배치될 수 있다. 바람직하게는, 차량의 전방에 배치되는 광각 카메라(51)는 차량의 보닛(bonnet) 또는 차량 내부에서 차량의 외부를 바라보도록 배치될 수 있으며 차량의 보닛의 아우트 라인(out line)을 촬상할 수 있다. 여기서, 보닛의 아우트 라인은 보닛의 최 외곽 테두리 중 정면 방향에 대한 아우트 라인을 지칭할 수 있다.
차량의 측면 광각 카메라(차량의 좌측 및 우측 광각 카메라)(52, 53)와 차량의 후방 카메라(54)에서 촬상된 광각 영상을 차량의 전방 광각 카메라(51)에서 촬상된 영상과 연결하면 각 광각 카메라(51 ∼ 54)에서 촬상된 영상은 상호 중첩 영역을 형성할 수 있다. 중첩된 영역은 각 광각 카메라(51 ∼ 54)가 차량을 중심으로 360도 방향의 버드 뷰 영상을 생성할 때, 각 광각 카메라(51 ∼ 54)에서 촬상된 영상을 하나로 연결하는데 이용될 수 있다.
또한, 중첩 영역은 이웃하는 광각 카메라의 영상에 대해 엣지 영역을 보정하는데 이용될 수 있다. 예컨대, 전방 광각 카메라(51)와 좌측면 광각 카메라(52)에서 촬상된 영상을 연결할 때, 버드 뷰 영상 생성부(105)는 중첩된 영상의 패턴과 색상을 서로 연결되도록 함으로써 버드 뷰 영상을 온전한 영상으로 형성할 수 있다.
각 광각 카메라(51 ∼ 54)에서 촬상된 영상은 버드 뷰 영상 생성부(105)로 제공되고, 버드 뷰 영상 생성부(105)는 각 광각 카메라(51 ∼ 54)의 영상을 프레임별로 연결하여 가상의 차량 이미지를 중심으로 360도를 커버하는 버드 뷰 영상을 생성한다. 버드 뷰 영상은 각 광각 카메라(51 ∼ 54)에서 촬상된 영상을 연결 후, 영상의 각 영역을 격자 형태의 좌표계로 분할하고, 분할된 각 좌표계의 시점을 차량의 상측으로 설정하며, 연결된 이미지를 이에 맞게 변환하여 얻어질 수 있다.
탑승 틸트 보정부(110)는 차량에 시동이 걸릴 때, 리셋되어 버드 뷰 영상 생성부(105)로 비교 영상을 요청하여 획득할 수 있다.
차량이 최초 출고될 때, 또는 차량 운전자에 의해 탑승 틸트 보정부(110)는 초기 상태의 기준영상을 획득할 수 있다. 기준 영상은 차량에 하중이 걸리지 않는 상태에서 얻어지는 것이 바람직하며, 차량의 전방, 좌측, 우측 및 후방 중 어느 한 방향에 대한 광각 카메라(51 ∼ 54)를 통해 획득되는 정지 영상일 수 있다.
탑승 틸트 보정부(110)는 차량이 초기 출고될 때 획득한 기준 영상 또는 운전자에 의해 셋팅된 기준 영상을 구비하며, 차량에 시동이 걸릴 때, 버드 뷰 영상 생성부(105)로 비교 영상을 요청하고, 버드 뷰 영상 생성부(105)를 통해 비교 영상을 획득하여 이를 기준 영상과 비교하여 탑승 틸트를 보정할 수 있다.
본 명세서에서 비교 영상은 차량의 전방을 향해 설치되는 광각 카메라(51)의 영상을 기준으로 설명하나 차량의 좌우 측면 및 후방에 대한 영상일 수도 있음은 물론이다.
차량에 탑승하는 승객의 수와 위치에 따라 각 광각 카메라(51 ∼ 54)에서 촬상되는 영상에는 왜곡이 발생한다. 특히 4개의 광각 카메라(51 ∼ 54)에서 촬상되는 영상을 연결하여 버드 뷰 영상을 생성할 때, 차량이 전방, 좌우 측방 및 후방 중 어느 한 방향으로 틸트가 발생하면 각 광각 카메라(51 ∼ 54)에서 촬상된 영상중 어느 하나는 다른 광각 카메라(51 ∼ 54)에서 촬상된 영상과 연결할 때, 어긋나며 이를 연결하여 버드 뷰 영상을 생성할 때, 버드 뷰 영상이 왜곡될 수 있다.
만일, 차량의 운전석과 조수석에 승객이 탑승하고 있고, 차량이 전방으로 탑승 틸트를 발생하는 경우, 차량 전방에 배치되는 광각 카메라(51)는 도로의 노면을 향하게 되므로 타 광각 카메라(52 ∼ 54)에서 촬상된 영상에 비해 노면을 향하는 만큼 차량의 아랫쪽 영상을 촬상하게 된다. 이 상태에서 버드 뷰 영상을 생성하는 경우, 차량의 전방에서 촬상된 영상은 차량의 보닛 아우트라인을 기준으로 타 광각 카메라(52 ∼ 54)에 비해 협소한 영역을 촬상하게되고, 이를 이용하여 버드 뷰 영상을 생성하면 차량의 전방 영상이 타 광각 카메라(52 ∼ 54)에서 촬상된 영상을 협소한 영역을 촬상한 전방 광각 카메라(51)의 영상에 맞추어 보정해야 하는 문제가 발생할 수 있다.
본 출원인은 이러한 보정방식 대신 전방 광각 카메라(51)의 영상을 기준 영상에 맞도록 보정하며, 이를 위해 차량이 시동될 때마다 비교 영상을 획득하고, 획득한 비교 영상을 기준 영상과 비교하여 어느 정도 편차가 발생하였는가를 판단하며, 판단된 편차정보를 버드 뷰 영상 생성부(105)로 제공함으로써 버드 뷰 영상 생성부(105)가 광각 카메라(51)의 틸트 보정을 수행하도록 한다. 이에 따라 차량 운전자가 별도로 틸트 보정을 수행할 필요가 없으며, 차량에 탑승한 승객의 수와 위치에 따라 자동으로 각 광각 카메라(51 ∼ 54)의 틸트가 보정되도록 함으로써 버드 뷰 영상이 터치스크린(130)에 올바로 표현되도록 할 수 있다.
네비게이션부(120)는 GPS 위치정보를 획득하는 GPS 처리부(121), 전자 지도상에 차량의 현재 위치를 매핑하고, 차량의 목적지에 대한 경로를 생성하여 터치스크린(130)에 제공하는 맵 생성부(122) 및 차량이 목적지 경로를 향해 이동할 때 필요한 음성 정보를 출력하는 출력부(122)를 포함할 수 있다.
도 5는 탑승 틸트 보정부에서 영상의 틸트를 보정하는 방법에 대한 참조도면을 도시한다.
도 5는 본 출원인이 카메라 보정을 위해 작성한 프로그램 인터페이스의 일 예를 도시한 것으로, 도시된 인터페이스는 개발자에 의해 보정되는 샘플 프로그램을 도시한다. 도 5에 도시된 프로그램은 버드 뷰 보정장치에 내장되어 차량의 시동과 동시에 전방, 측방 및 후방에 배치되는 광각 카메라의 탑승 틸트를 보정하도록 구성될 수 있다. 이 경우, 개발자를 위한 사용자 인터페이스는 내장되지 않을 수 있다.
도 5를 살펴보면, 차량의 각 광각 카메라(51 ∼ 54)는 각각 전방, 우측, 후방 및 좌측에 대한 위치 보정값을 가지고 있다.
도시된 인터페이스에서 각 광각 카메라(51 ∼ 54)는 노면을 향한 각도(inclaination), 장착 높이(height), 렌즈 촬영각도(Lenz Fov), 좌우 편향각도(Azimuth) 및 수평각도(horizontal) 등에 대한 옵션이 마련된다. 이 중 좌우 편향각도(Azimuth)에 "+5"도를 가할 때, 전방 광각 카메라(51)는 우측 방향으로 5도 편향됨을 볼 수 있다. 도면에서 좌우 광각 카메라(52, 53)와 후방의 광각 카메라(54)가 촬상하는 영상은 B, C 및 D의 기준 라인을 따라 정렬되어 버드 뷰 영상을 형성하나 좌우 편향각도(Azimuth)가 5도로 셋팅된 전방 광각 카메라(51)의 기준 라인은 A를 따라 형성되어 전방, 측방 및 후방의 광각 카메라(52 ∼ 54)의 기준 라인(B, C 및 D)과 직사각형을 이루지 못한다. 기준 라인(A, B, C, D)은 각 광각 카메라(51 ∼ 54)에서 촬상된 영상의 방향성을 나타내는 것으로, 영상의 중심부(이 자리는 차량의 위치가 된다)를 기준으로 직사각형을 이룰 때, 가장 온전한 버드 뷰 영상을 형성할 수 있다.
달리 말하면, 차량에 탑승한 승객의 수와 위치에 따라 차량이 어느 한쪽으로 틸트되는 경우, 버드 뷰 보정장치가 차량의 틸트를 보정하여 온전한 직사각형 형태의 기준 라인을 형성할 수 있음을 의미한다. 본 발명은 광각 카메라(51 ∼ 54)의 틸트에 따라 기준 라인(A, B, C, D)에 편차가 발생하는 경우, 광각 카메라(51 ∼ 54)에 발생한 틸트 값에 반대되는 방향으로 보정함으로써 광각 카메라(51 ∼ 54)의 틸트에 대한 올바른 버드 뷰 영상을 생성할 수 있는 것이다.
도 6은 본 발명의 일 실시예에 따른 버드 뷰 영상에 대한 자동보정 방법의 흐름도를 도시한다.
도 6을 참조하면, 먼저, 공장에서 차량을 출고할 때, 공장 작업자가 버드 뷰 보정장치에 기준 영상을 셋팅하거나, 또는 차량 운전자가 개별적으로 차량에 대한 기준 프레임을 설정한다(S201). 본 실시예에서는 차량의 전방 카메라(51)에 대한 것을 기준으로 설명하므로, 이하, 차량 전방에 위치하는 보닛에 대한 영상을 기준으로 설명하도록 한다.
다음으로, 버드 뷰 보정장치는 차량에 시동이 걸리는가를 판단하고(S202), 차량에 시동이 걸리면, 즉 차량으로부터 직류 전원이 인가되면 리셋되어 버드 뷰 영상 생성부(105)로 비교 영상을 요청하여 획득한다(S203). 이때 비교 영상은 차량의 보닛의 종단 아우트 라인에 대한 영상이 될 수 있다. 다음으로, 버드 뷰 보정장치는 보닛에 대한 기준영상과 차량이 시동될 때 획득한 비교 영상을 대조하여 편차를 산출한다(S204). 편차는 전방 광각 카메라(51)의 경우 좌우 편차 및 상하 편차에 대응할 수 있으며, 길이 또는 각도 중 하나로 산출될 수 있다.
다음으로, 버드 뷰 보정장치는 기준 영상과 비교 영상에 대한 편차를 보정하여 도 5를 통해 설명된 기준 라인을 보정할 수 있다(S205). 기준 라인의 보정은 버드 뷰 생성부(105)에서 수행되며, 탑승 틸트 보정부(110)는 기준 영상과 비교 영상에 대한 편차, 즉 각도나 길이에 대한 정보를 버드 뷰 생성부(105)로 제공하여 버드 뷰 영상 생성부(105)에서 이를 처리하도록 할 수 있다.
다음으로, 전방 카메라(51)의 탑승 틸트가 보정된 후, 버드 뷰 영상 생성부(51)는 각 광각 카메라(51 ∼ 54)에서 촬상된 영상을 연결하고 차량의 상측에서 바라보는 시점의 영상으로 변환하여 버드 뷰 영상을 생성하고(S206) 이를 터치스크린(130)에 표시할 수 있다.
도 7은 본 발명의 일 실시예에 따른 탑승 틸트를 보정하는 방법에 대한 개념도를 도시한다.
도 7을 참조하면, 차량의 우측 카메라(53)에서 촬상된 영상을 이용하여 승객이 탑승하기 전과 탑승 후에 대한 타이어 영상을 획득하고 양자를 비교하여 틸트를 보정하고 있다.
타이어는 차량에 승객이 탑승하기 전에는 차량의 하중을 고루 받아 대칭적인 원형에 가까운 형태를 갖는다. 도 7의 (a)는 차량에 승객이 탑승하기 전 차량 전방의 우측 타이어를 예시한 것으로서, S12 영역에서의 선분은 수직에 가깝다.
도 7의 (b)는 차량에 승객이 탑승 후, 승객 탑승에 의해 우측 카메라(53) 방향으로 틸트가 발생하는 경우, 우측 카메라(53)에 의해 촬상되는 타이어 영상의 일 예를 도시한다. 도 7의 (b)를 참조하면, 차량에 승객이 탑승한 후, 타이어의 영상은 S22 영역에 도시된 바와 같이 각도 θ만큼 틸트가 발생하며, 발생한 틸트는 각도 θ를 D1 방향으로 보정하여야 한다. 탑승 틸트 보정부(110)는 차량에 시동이 걸린 후, 도 7의 (b)와 같은 타이어 영상이 촬상되면, 차량에 승객이 탑승하기 이전에 촬상된 기준영상과 우측 카메라(53)에서 촬상된 타이어 영상(도 7의 (b))을 비교하며, 각도 θ만큼 D1 방향으로 보정할 수 있는 것이다. 이러한 보정은 차량을 운전하기 위해 시동을 거는 시점에 발생하므로 운전자가 별도로 틸트 보정을 하지 않아도 되며, 차량 운전자가 틸트 보정을 따로 하지 않더라도 자동으로 틸트 보정이 되어 양호한 품질의 버드 뷰 영상을 조감하도록 할 수 있다.
본 발명은 차체를 이용한 카메라 틸트 보정을 통해 양호한 품질의 버드 뷰 영상을 생성하여, 차량 제조 산업 및 차량용 이미지 장치 관련 산업에 이용 가능성이 있다.

Claims (9)

  1. 버드 뷰(bird view) 영상 생성장치에 있어서,
    차량의 주변을 촬상하여 제1영상 및 제2영상을 생성하는 제1카메라와 제2카메라;
    상기 차량에 승객이 탑승하기 전, 상기 차량 몸체의 일 영역에 대해 마련되는 기준영상을 구비하며, 상기 차량에 시동이 걸릴 때 상기 제1카메라에서 촬상되는 영상과 비교하여 상기 제1카메라에 대한 틸트(tilt) 보정을 수행하는 탑승 틸트 보정부; 및
    상기 탑승 틸트 보정부에서 상기 제1카메라의 탑승 틸트가 보정된 상태의 제1영상을 상기 제2영상에 연결하여 상기 차량의 상측에서 상기 차량 주변을 바라보는 시점의 버드 뷰 영상을 생성하는 버드 뷰 영상 생성부;를 포함하는 것을 특징으로 하는 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치.
  2. 제1항에 있어서,
    상기 제1카메라는,
    상기 차량의 전면을 촬상하는 카메라인 것을 특징으로 하는 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치.
  3. 제1항에 있어서,
    상기 탑승 틸트 보정부는,
    상기 제1카메라가 촬상하는 상기 차량의 보닛(bonnet)의 아우트 라인(out line)에 대한수평 보정을 통해 상기 제1영상에 대한 탑승 틸트 보정을 수행하는 것을 특징으로 하는 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치.
  4. 제1항에 있어서,
    상기 제1카메라는, 상기 차량에 대한 측면을 촬상하는 카메라이며,
    상기 탑승 틸트 보정부는, 상기 제1카메라가 촬상하는 상기 차량의 타이어(tire)의 아우트 라인(out line)과 상기 차량에 승객이 탑승하지 않은 상태에서 촬상된 기준 영상을 비교하여 상기 제1카메라에 대한 측면 영상을 보정하는 것을 특징으로 하는 자동보정 기능을 구비하는 버드 뷰 영상 생성장치.
  5. 제1항에 있어서,
    상기 제1카메라는, 상기 차량에 대한 후방을 촬상하는 카메라이며,
    상기 탑승 틸트 보정부는, 상기 제1카메라가 촬상하는 상기 차량의 후방 법퍼의 아우트 라인과 상기 차량에 승객이 탑승하지 않은 상태에서 촬상된 기준영상을 비교하여 상기 제1카메라에 대한 후방 영상을 보정하는 것을 특징으로 하는 자동보정 기능을 구비하는 버드 뷰 영상 생성장치.
  6. 차량의 주변을 촬상하는 제1카메라 및 제2카메라에서 각각 제1영상 및 제2영상을 획득하고 이를 토대로 버드 뷰(bird view) 영상을 생성하는 버드 영상 생성장치에 의해 수행되며,
    상기 차량에 시동이 걸릴 때, 상기 제1카메라에서 비교 영상을 획득하는 단계;
    상기 차량에 승객이 탑승하지 않았을 때 상기 제1카메라에서 촬상된 기준영상을 상기 비교 영상과 비교하는 단계;
    상기 기준 영상과 상기 비교 영상의 편차를 보정하여 상기 제1카메라에서 촬상되는 제1영상을 보정하는 단계; 및
    상기 보정된 제1영상을 상기 제2영상과 결합하여 버드 뷰 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 버드 뷰 영상에 대한 자동보정 방법.
  7. 제6항에 있어서,
    상기 비교 영상은,
    상기 차량에 승객이 탑승한 후 촬상되는 영상인 것을 특징으로 하는 버드 뷰 영상에 대한 자동보정 방법.
  8. 제6항에 있어서,
    상기 비교 영상은,
    상기 차량의 보닛(bonnet), 상기 차량의 타이어 및 상기 차량의 후방 범퍼 중 적어도 하나에 대해 촬상되는 영상인 것을 특징으로 하는 버드 뷰 영상에 대한 자동보정 방법.
  9. 제8항에 있어서,
    상기 제1영상을 보정하는 단계는,
    상기 보닛, 타이어 및 후방 범퍼 중 적어도 하나의 아우트 라인에 대한 수평 보정을 수행하는 단계인 것을 특징으로 하는 버드 뷰 영상에 대한 자동보정 방법.
PCT/KR2013/005735 2012-10-24 2013-06-27 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법 WO2014065485A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13849228.5A EP2848486A4 (en) 2012-10-24 2013-06-27 DEVICE AND METHOD FOR PRODUCING A BIRD PERSPECTIVE WITH AUTOMATIC CORRECTION FUNCTION
US14/516,111 US20150029338A1 (en) 2012-10-24 2014-10-16 Device and method for producing bird's-eye view having function of automatically correcting image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120118263A KR101215563B1 (ko) 2012-10-24 2012-10-24 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법
KR10-2012-0118263 2012-10-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/516,111 Continuation US20150029338A1 (en) 2012-10-24 2014-10-16 Device and method for producing bird's-eye view having function of automatically correcting image

Publications (1)

Publication Number Publication Date
WO2014065485A1 true WO2014065485A1 (ko) 2014-05-01

Family

ID=47840880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005735 WO2014065485A1 (ko) 2012-10-24 2013-06-27 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법

Country Status (5)

Country Link
US (1) US20150029338A1 (ko)
EP (1) EP2848486A4 (ko)
KR (1) KR101215563B1 (ko)
CN (1) CN103770707B (ko)
WO (1) WO2014065485A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053323A (ko) * 2013-11-08 2015-05-18 현대모비스 주식회사 영상 왜곡 보정 방법 및 이를 위한 장치
US10249056B2 (en) * 2014-04-11 2019-04-02 Nissan North America, Inc. Vehicle position estimation system
US9981605B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) and vehicle dynamic
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR102258196B1 (ko) * 2014-10-30 2021-05-28 현대모비스 주식회사 차량 영상 보정 장치 및 차량 영상 보정 방법
CN105984387A (zh) * 2015-02-06 2016-10-05 德尔福电子(苏州)有限公司 具有自动对准的鸟瞰视野监测***
CN105046647B (zh) * 2015-06-19 2017-12-05 江苏新通达电子科技股份有限公司 全液晶仪表360°全景车用监控***及其工作方法
TWI536313B (zh) 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
JP6603094B2 (ja) * 2015-10-20 2019-11-06 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
CN105564335B (zh) * 2016-01-29 2017-12-05 深圳市美好幸福生活安全***有限公司 车辆摄像头的矫正方法及装置
US10922559B2 (en) 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
KR101808092B1 (ko) * 2016-05-13 2017-12-13 광운대학교 산학협력단 어라운드뷰 모니터링 영상 자동 보정 및 생성 장치 및 방법
CN108225340A (zh) * 2016-12-21 2018-06-29 致伸科技股份有限公司 自动辅助驾驶***及其方法
US10769813B2 (en) 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
EP3736178B1 (en) * 2019-05-06 2022-02-02 Aptiv Technologies Limited Method and system for localizing an occupant within a vehicle
KR20210081939A (ko) * 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN115294234B (zh) * 2022-10-09 2023-03-24 小米汽车科技有限公司 图像的生成方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008151524A (ja) * 2006-12-14 2008-07-03 Matsushita Electric Ind Co Ltd 結露センサ
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2008230561A (ja) * 2007-03-23 2008-10-02 Alpine Electronics Inc 撮像制御装置および測光領域調整方法
JP2009227197A (ja) * 2008-03-25 2009-10-08 Alpine Electronics Inc 車両用異常検出装置
WO2009151053A1 (ja) 2008-06-10 2009-12-17 日産自動車株式会社 駐車支援装置及び駐車支援方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448692B2 (ja) * 1993-11-19 2003-09-22 本田技研工業株式会社 車載用ステレオ画像表示装置
DE10063756A1 (de) * 2000-12-21 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP4045862B2 (ja) * 2002-06-03 2008-02-13 日産自動車株式会社 車載カメラの光軸ずれ検出装置
US20060038895A1 (en) * 2004-08-19 2006-02-23 Nissan Motor, Co., Ltd. Image processing device
JP5072576B2 (ja) * 2007-12-20 2012-11-14 アルパイン株式会社 画像表示方法および画像表示装置
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
CN101425181B (zh) * 2008-12-15 2012-05-09 浙江大学 一种全景视觉辅助泊车***的标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008151524A (ja) * 2006-12-14 2008-07-03 Matsushita Electric Ind Co Ltd 結露センサ
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2008230561A (ja) * 2007-03-23 2008-10-02 Alpine Electronics Inc 撮像制御装置および測光領域調整方法
JP2009227197A (ja) * 2008-03-25 2009-10-08 Alpine Electronics Inc 車両用異常検出装置
WO2009151053A1 (ja) 2008-06-10 2009-12-17 日産自動車株式会社 駐車支援装置及び駐車支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2848486A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165627A1 (en) * 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction
US10871783B2 (en) 2016-03-23 2020-12-22 NetraDyne, Inc. Advanced path prediction
US11741696B2 (en) 2016-03-23 2023-08-29 NetraDyne, Inc. Advanced path prediction

Also Published As

Publication number Publication date
EP2848486A1 (en) 2015-03-18
KR101215563B1 (ko) 2013-01-21
CN103770707B (zh) 2016-02-03
US20150029338A1 (en) 2015-01-29
CN103770707A (zh) 2014-05-07
EP2848486A4 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
KR101215563B1 (ko) 영상 자동보정 기능을 구비하는 버드 뷰 영상 생성장치 및 방법
CN110178369B (zh) 摄像装置、摄像***以及显示***
JP5671186B1 (ja) メインミラー及び広角ミラーによる法定視界を表示するための輸送車両用の視認システム
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
JP2008187566A (ja) カメラ校正装置及び方法並びに車両
JP2008187564A (ja) カメラ校正装置及び方法並びに車両
JP2009100342A (ja) カメラ校正装置及び方法、並びに、車両
JP2008193188A (ja) カメラ校正装置及び方法並びに車両
JP2006287892A (ja) 運転支援システム
JP2011182236A (ja) カメラキャリブレーション装置
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
JP2014049848A (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
JP2013001366A (ja) 駐車支援装置および駐車支援方法
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
CN105844225A (zh) 一种基于车辆的图像处理方法和装置
JP2009120135A (ja) 撮像装置
KR101795180B1 (ko) 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP4682830B2 (ja) 車載画像処理装置
KR20160050439A (ko) 차량용 후방 카메라의 영상 보정 방법
JP7168367B2 (ja) 事故通報装置
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13849228

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013849228

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013849228

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE