KR20150005208A - Apparatus of controlling a vehicle camera and control method thereof - Google Patents

Apparatus of controlling a vehicle camera and control method thereof Download PDF

Info

Publication number
KR20150005208A
KR20150005208A KR1020130078743A KR20130078743A KR20150005208A KR 20150005208 A KR20150005208 A KR 20150005208A KR 1020130078743 A KR1020130078743 A KR 1020130078743A KR 20130078743 A KR20130078743 A KR 20130078743A KR 20150005208 A KR20150005208 A KR 20150005208A
Authority
KR
South Korea
Prior art keywords
camera
vehicle
image
interest
targets
Prior art date
Application number
KR1020130078743A
Other languages
Korean (ko)
Other versions
KR101796508B1 (en
Inventor
김경원
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020130078743A priority Critical patent/KR101796508B1/en
Publication of KR20150005208A publication Critical patent/KR20150005208A/en
Application granted granted Critical
Publication of KR101796508B1 publication Critical patent/KR101796508B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0028—Ceiling, e.g. roof rails
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Disclosed are a device and a method for controlling a camera for a vehicle. According to an embodiment of the present invention, the disclosed method for controlling a camera for a vehicle comprises: filming the image of the front side of the vehicle through the camera; recognizing multiple targets in the image by analyzing the filmed image; receiving vehicle behavior information from an electronic brake system in the vehicle; classifying the recognized targets into interesting targets and uninteresting targets based on the received vehicle behavior information; and controlling the filming direction of the camera so that the classified interesting targets can be positioned in the image. According to the present invention, the targets are actively tracked when the camera is moved according to the behavior of the vehicle, thereby providing safety for a driver.

Description

차량용 카메라 제어장치 및 제어방법{APPARATUS OF CONTROLLING A VEHICLE CAMERA AND CONTROL METHOD THEREOF}[0001] APPARATUS OF CONTROLLING A VEHICLE CAMERA AND CONTROL METHOD THEREOF [0002]

본 발명은 차량용 카메라 제어장치 및 제어방법에 관한 것으로, 카메라를 이용하여 타켓을 추적하는 차량용 카메라 제어장치 및 제어방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a vehicle camera control device and a control method, and more particularly, to a vehicle camera control device and a control method for tracking a target using a camera.

최근에는 차량에 장착된 카메라를 통해 차선, 차량, 광원, 보행자, 표지판 등의 타켓을 검출하고, 검출된 타켓을 근거로 차량 제어를 수행하는 기술이 개발되고 있다.In recent years, techniques for detecting a target such as a lane, a vehicle, a light source, a pedestrian, a sign, etc. through a camera mounted on the vehicle have been developed and a vehicle control based on the detected target has been developed.

하지만, 기존에는 카메라가 고정되어 있어 카메라를 이동시킬 수 없으므로 차량이 우회전 또는 좌회전할 경우 차량의 주행방향에 위치한 차선, 차량, 광원, 보행자, 표지판 등의 타켓을 능동적으로 추적할 수 없었다.However, since the camera is conventionally fixed, the camera can not be moved. Therefore, when the vehicle is turning right or left, it can not actively track the target such as a lane, a vehicle, a light source, a pedestrian,

본 발명의 실시예는 차량 거동에 따라 카메라를 이동시켜 타켓을 능동적으로 추적하는 차량용 카메라 제어장치 및 제어방법을 제공하고자 한다.An embodiment of the present invention is to provide a vehicle camera control apparatus and a control method for actively tracking a target by moving a camera according to vehicle behavior.

본 발명의 일 측면에 따르면, 카메라를 통해 차량 전방의 영상을 촬영하고, 상기 촬영된 영상을 분석하여 영상 내의 복수의 타켓을 인식하고, 차량에 마련된 전자식제동장치로부터 차량 거동 정보를 수신하고, 상기 수신된 차량 거동 정보를 근거로 상기 인식된 복수의 타켓을 관심 및 비관심 대상으로 분류하고, 상기 분류된 관심 대상이 영상 내에 위치하도록 상기 카메라의 촬영방향을 제어하는 차량용 카메라 제어방법이 제공될 수 있다.According to an aspect of the present invention, there is provided an image processing apparatus for photographing an image in front of a vehicle through a camera, analyzing the photographed image to recognize a plurality of targets in the image, receiving vehicle behavior information from an electronic braking apparatus provided in the vehicle, There is provided a vehicle camera control method of classifying a plurality of recognized targets as interest and non-interest objects based on received vehicle behavior information and controlling the shooting direction of the camera so that the classified interest objects are positioned within the image have.

또한, 상기 촬영된 영상을 분석하여 상기 영상 내에 태양이 있는 경우, 태양을 피하도록 태양 위치를 근거로 상기 카메라의 촬영방향을 이동시키고 촬영하는 것을 포함할 수 있다.The method may further include moving the photographing direction of the camera based on the sun position so as to avoid the sun when the sun exists in the image by analyzing the photographed image.

또한, 상기 차량 거동 정보를 기초하여 상기 분류된 관심 대상이 미리 설정된 시간 후에 위치할 위치를 추정하고, 상기 추정된 위치를 근거로 하여 상기 관심 대상이 영상 내에 위치하도록 상기 카메라의 촬영방향을 이동시키고 촬영하는 것을 포함할 수 있다.Estimating a location where the classified object of interest will be positioned after a predetermined time based on the vehicle behavior information, moving the photographing direction of the camera such that the object of interest is located in the image based on the estimated position And taking a picture.

본 발명의 다른 측면에 따르면, 카메라; 상기 카메라의 촬영방향을 조절하는 카메라조절부; 및 상기 카메라조절부를 통해 상기 카메라를 작동시켜 차량 전방의 영상을 촬영하고, 상기 촬영된 영상을 분석하여 영상 내의 복수의 타켓을 인식하고, 차량에 마련된 전자식제동장치로부터 차량 거동 정보를 수신하고, 상기 수신된 차량 거동 정보를 근거로 상기 인식된 복수의 타켓을 관심 및 비관심 대상으로 분류하고, 상기 분류된 관심 대상이 영상 내에 위치하도록 상기 카메라조절부를 통해 상기 카메라의 작동을 제어하는 제어부;를 포함하는 차량용 카메라 제어장치가 제공될 수 있다.According to another aspect of the present invention, there is provided a camera comprising: a camera; A camera controller for adjusting a photographing direction of the camera; And a controller for operating the camera through the camera controller to photograph an image of the front of the vehicle, analyze the photographed image to recognize a plurality of targets in the image, receive vehicle behavior information from an electronic braking device provided in the vehicle, And a control unit for classifying the plurality of recognized targets as interest and non-interest objects based on the received vehicle behavior information and controlling the operation of the camera through the camera control unit such that the classified interest is located within the image A vehicle camera control device may be provided.

또한, 상기 복수의 타켓은 차선, 차량, 광원, 보행자, 표지판 중 적어도 2개를 포함할 수 있다.In addition, the plurality of targets may include at least two of a lane, a vehicle, a light source, a pedestrian, and a sign.

또한, 상기 제어부는 상기 촬영된 영상을 분석하여 상기 영상 내에 태양이 있는 경우, 태양을 피하도록 태양 위치를 근거로 상기 카메라조절부를 통해 상기 카메라의 촬영방향을 이동시켜 촬영시키는 것을 포함할 수 있다.In addition, the controller may include photographing the photographed image and moving the photographed direction of the camera through the camera regulator based on the sun position so as to avoid the sun when the sun exists in the image.

또한, 상기 제어부는, 상기 차량 거동 정보를 기초하여 상기 분류된 관심 대상이 미리 설정된 시간 후에 위치할 위치를 추정하고, 상기 추정된 위치를 근거로 하여 상기 관심 대상이 영상 내에 위치하도록 상기 카메라조절부를 통해 상기 카메라의 촬영방향을 이동시켜 촬영시키는 것을 포함할 수 있다.The control unit estimates a position where the classified object of interest is to be positioned after a predetermined time based on the vehicle behavior information, and determines the camera control unit such that the object of interest is located in the image based on the estimated position And moving the photographing direction of the camera through the photographing unit.

본 발명의 실시예는 카메라가 고정된 위치에서 영상을 촬영하는 것이 아니라 차량 거동에 따라 카메라를 이동시켜 능동적으로 타겟을 추적함으로써 보다 향상된 안전성을 운전자에게 제공할 수 있다.The embodiment of the present invention can provide the driver with improved safety by moving the camera according to the behavior of the vehicle and actively tracking the target instead of photographing the image at a fixed position.

도 1은 본 발명의 실시예에 따른 차량용 카메라 제어장치가 적용되는 차량의 구성을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 차량용 카메라 제어장치의 카메라가 이동가능하게 마련된 것을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 차량용 카메라 제어장치의 제어블록도이다.
도 4는 본 발명의 실시예에 따른 차량용 카메라 제어장치의 제어방법에 대한 제어흐름도이다.
도 5는 본 발명의 실시예에 따른 차량용 카메라 제어장치에서 관심 대상의 현재 위치와 미리 설정된 시간 후의 추정 위치를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 차량용 카메라 제어장치에서 관심 대상을 추적하도록 카메라를 이동시켜 촬영한 영상을 설명하기 위한 도면이다.1 is a block diagram showing a configuration of a vehicle to which a vehicle camera control apparatus according to an embodiment of the present invention is applied.
2 is a view for explaining that a camera of a vehicle camera control apparatus according to an embodiment of the present invention is movable.
3 is a control block diagram of a vehicle camera control apparatus according to an embodiment of the present invention.
4 is a control flowchart for a method of controlling a camera control apparatus for a vehicle according to an embodiment of the present invention.
5 is a view for explaining a current position of an object of interest and an estimated position after a predetermined time in the vehicle camera control apparatus according to the embodiment of the present invention.
6 is a view for explaining an image captured by moving a camera to track an object of interest in a vehicle camera control apparatus according to an embodiment of the present invention.

이하에서는 본 발명의 실시 예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments described below are provided by way of example so that those skilled in the art will be able to fully understand the spirit of the present invention. The present invention is not limited to the embodiments described below, but may be embodied in other forms. In order to clearly explain the present invention, parts not related to the description are omitted from the drawings, and the width, length, thickness, etc. of the components may be exaggerated for convenience. Like reference numerals designate like elements throughout the specification.

본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, "연결되는/결합되는"이란 표현은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다. 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.The expression "and / or" is used herein to mean including at least one of the elements listed before and after. Also, the expression "coupled / connected" is used to mean either directly connected to another component or indirectly connected through another component. The singular forms herein include plural forms unless the context clearly dictates otherwise. Also, components, steps, operations and elements referred to in the specification as " comprises "or" comprising " refer to the presence or addition of one or more other components, steps, operations, elements, and / or devices.

도 1은 본 발명의 실시예에 따른 차량용 카메라 제어장치가 적용되는 차량의 구성을 나타낸 구성도이다.1 is a block diagram showing a configuration of a vehicle to which a vehicle camera control apparatus according to an embodiment of the present invention is applied.

도 1을 참조하면, 차량용 카메라 제어장치(10)는 차량(1)에 탑재 되어 차량의 전반적인 제어를 수행하는 전자제어유닛를 포함할 수 있다.Referring to Fig. 1, the vehicle camera control apparatus 10 may include an electronic control unit mounted on the vehicle 1 to perform overall control of the vehicle.

차량용 카메라 제어장치(10)는 CCD 카메라 또는 CMOS 컬러 이미지 센서 등의 카메라(11)를 포함한다.The vehicle camera control apparatus 10 includes a camera 11 such as a CCD camera or a CMOS color image sensor.

카메라(11)는 예를 들면, 차량(1)의 진행 방향 앞쪽을 촬영 범위로 하고, 차량(1)의 전방 도로를 포함하는 영상을 촬영한다.The camera 11 takes, for example, the image including the front road of the vehicle 1, with the forward direction of the vehicle 1 as the photographing range.

카메라(11)는 차량(1)의 윈드 쉴드(WS)를 통해 보여지는 차량 전방을 촬영할 수 있도록 배치될 수 있다.The camera 11 can be arranged so as to photograph the front of the vehicle seen through the windshield WS of the vehicle 1. [

도 2는 본 발명의 실시예에 따른 차량용 카메라 제어장치의 카메라가 이동 가능하게 마련된 것을 설명하기 위한 도면이다.2 is a view for explaining that a camera of a vehicle camera control apparatus according to an embodiment of the present invention is movable.

도 2를 참조하면, 카메라(11)는 촬영방향을 변경할 수 있도록 상하좌우로 각도 조절 가능하게 마련된다.Referring to FIG. 2, the camera 11 is vertically and horizontally adjustable so as to change the shooting direction.

또한, 카메라(11)는 초점거리가 가변되는 줌 인(ZOOM IN) 과 줌 아웃(ZOOM OUT)이 가능한 카메라일 수 있다. 줌 인은 멀리 있는 물체도 가까이에서 보는 것과 같이 확대하는 것을 말하고, 줌 아웃은 그 반대이다.In addition, the camera 11 may be a camera capable of zoom in (ZOOM IN) and zoom out (ZOOM OUT) in which the focal length is variable. A zoom-in refers to zooming in on a distant object as seen from close, and zoom-out is the opposite.

도 3은 본 발명의 실시예에 따른 차량용 카메라 제어장치의 제어블록도이다.3 is a control block diagram of a vehicle camera control apparatus according to an embodiment of the present invention.

도 3을 참조하면, 차량용 카메라 제어장치는 제어부(20), 카메라조절부(30), 인터페이스부(40)를 포함한다.Referring to FIG. 3, the vehicle camera control apparatus includes a control unit 20, a camera control unit 30, and an interface unit 40.

카메라조절부(30)는 카메라의 각도를 상하좌우로 변경시켜 촬영방향을 변경시킨다.The camera controller 30 changes the angle of the camera to up, down, left, and right to change the shooting direction.

인터페이스부(40)는 차량의 전자식제동장치인 차량자세제어장치(Electronic Stability Control system ; ESC 시스템)(50)로부터 차량의 거동과 관련된 정보를 수신할 수 있도록 ESC 시스템과의 통신 인터페이스를 수행한다.The interface unit 40 performs a communication interface with the ESC system so as to receive information related to the behavior of the vehicle from an electronic stability control system (ESC system) 50, which is an electronic braking device of the vehicle.

제어부(20)는 카메라조절부(30)을 통해 카메라(11)를 작동시켜 차량 전방의 영상을 촬영하고, 촬영된 영상을 분석하여 영상 내의 차선, 차량, 광원, 보행자, 표지판 등의 복수의 타켓을 인식한다.The control unit 20 operates the camera 11 through the camera control unit 30 to capture an image of the front of the vehicle and analyze the captured image to obtain a plurality of targets such as a lane in the image, a vehicle, a light source, a pedestrian, Lt; / RTI >

영상 내에 태양이 위치한 경우, 양호한 화질의 영상을 얻을 수 없기 때문에 영상에서 복수의 타켓을 인식하는 데 어려움이 있다. 이때, 제어부(20)는 영상 내에 태양 위치를 근거로 전방 촬영범위를 크게 벗어나지 않는 범위에서 태양을 피할 수 있는 경우, 카메라조절부(30)를 통해 카메라(11)를 상하좌우로 작동시킬 수 있다.If the sun is located in the image, it is difficult to recognize multiple targets in the image because a good image can not be obtained. At this time, if the sun can be avoided in a range that does not largely deviate from the front photographing range based on the sun position in the image, the controller 20 can operate the camera 11 up, down, left and right through the camera adjusting unit 30 .

제어부(20)는 인터페이스부(40)를 통해 차량에 마련된 ESC 시스템(50)과 통신하여 차량이 우회전하는지 좌회전하는지 등 차량의 움직임과 관련된 차량 거동 정보를 수신하고, 수신된 차량 거동 정보를 근거로 인식된 복수의 타켓을 관심 대상과 비관심 대상으로 분류한다. 이때, 제어부(20)는 차량의 거동 정보와 함께 복수의 타켓의 거리 정보를 분석하여 복수의 타켓을 관심 대상과 비 관심 대상으로 분류할 수 있다. 예를 들면, 차량이 좌회전하는 경우, 영상 내의 복수의 타켓 중 상대적으로 왼쪽에 위치하고 거리가 가까운 타켓을 관심 대상으로 분류하고, 나머지를 비 관심대상으로 분류한다.The control unit 20 communicates with the ESC system 50 provided in the vehicle via the interface unit 40 to receive vehicle behavior information related to the vehicle motion, such as whether the vehicle is turning right or turning left. Based on the received vehicle behavior information Classify the recognized multiple targets as interesting and non-interested. At this time, the control unit 20 can analyze the distance information of the plurality of targets together with the behavior information of the vehicle, and classify the plurality of targets into an object of interest and an object of non-interest. For example, when the vehicle is turning left, a target located relatively to the left of the target in the image is classified as a target of interest, and the remaining target is classified as an uninteresting target.

또한, 제어부(20)는 카메라의 흔들림 보정기능을 이용하여 차량 거동 정보를 근거로 하여 차량 흔들림을 보정하여 안정적인 영상을 제공하게 할 수 있다.In addition, the control unit 20 can correct the camera shake based on the vehicle behavior information using the camera shake correction function, thereby providing a stable image.

그리고, 제어부(20)는 차량 거동 정보를 기초하여 분류된 관심 대상이 미리 설정된 시간 후에 위치할 위치를 추정하고, 추정된 위치를 근거로 하여 관심 대상이 영상 내에 위치하도록 카메라조절부(30)를 통해 카메라(11)를 상하좌우로 이동시키고 카메라(11)의 작동을 제어한다. 이때, 제어부(20)는 관심 대상이 영상의 중심에 위치하도록 카메라(11)의 작동을 제어할 수 있다.Then, the controller 20 estimates a location where a target of interest classified based on the vehicle behavior information is to be located after a predetermined time, and controls the camera controller 30 so that the target of interest is located in the image based on the estimated position And moves the camera 11 up, down, left, and right to control the operation of the camera 11. At this time, the control unit 20 can control the operation of the camera 11 so that the object of interest is positioned at the center of the image.

이상과 같이 본 발명의 실시예에 따른 차량용 카메라 제어장치는 카메라가 고정된 위치에서 영상을 촬영하는 것이 아니라 차량 거동에 따라 카메라를 이동시켜 능동적으로 타겟을 추적함으로써 보다 향상된 안전성을 운전자에게 제공할 수 있다. 더불어 영상 내에 태양이 존재하더라도 태양을 피하여 양호한 화질을 영상을 얻을 수 있어 보다 효과적으로 타켓 추적을 수행할 수 있다.As described above, the vehicle camera control apparatus according to the embodiment of the present invention not only captures an image at a fixed position but also moves the camera according to the behavior of the vehicle to actively track the target, thereby providing the driver with improved safety have. In addition, even if the sun exists in the image, the image can be obtained with good image quality avoiding the sun, so that the target tracking can be performed more effectively.

도 4는 본 발명의 실시예에 따른 차량용 카메라 제어장치의 제어방법에 대한 제어흐름도이다.4 is a control flowchart for a method of controlling a camera control apparatus for a vehicle according to an embodiment of the present invention.

도 4를 참조하면, 먼저, 차량용 카메라 제어장치는 카메라(11)를 통해 차량 전방의 영상을 촬영한다(100).Referring to FIG. 4, first, the vehicle camera control apparatus captures an image of the front of the vehicle through the camera 11 (100).

차량 전방의 영상을 촬영한 후 차량용 카메라 제어장치는 촬영된 영상을 분석하여 영상 내의 차선, 차량, 광원, 보행자, 표지판 등의 복수의 타켓을 인식한다(120). 이때, 차량용 카메라 제어장치는 영상 분석결과 영상 내에 태양이 위치하여 양호한 화질의 영상을 얻을 수 없는 경우, 태양을 피하여 촬영할 수 있도록 카메라조절부(30)를 통해 카메라(11)를 상하좌우로 작동시킬 수 있다.After capturing an image in front of the vehicle, the vehicle camera controller analyzes the captured image and recognizes a plurality of targets such as a lane, a vehicle, a light source, a pedestrian, and a sign in the image (120). In this case, when the sun is located within the image of the image analysis result, the camera control device for the vehicle may operate the camera 11 up, down, left, and right through the camera control unit 30 so that the image can be captured while avoiding the sun .

영상 내의 복수의 타켓을 인식한 후 차량용 카메라 제어장치는 차량에 마련된 전자식제동장치인 ESC 시스템(50)으로부터 차량 거동 정보를 수신한다(130).After recognizing a plurality of targets in the image, the vehicle camera control device receives the vehicle behavior information from the ESC system 50, which is an electronic braking device provided in the vehicle (130).

ESC 시스템(50)으로부터 차량 거동 정보를 수신한 후 차량용 카메라 제어장치는 수신된 차량 거동 정보를 근거로 인식된 복수의 타켓을 관심 대상과 비관심 대상으로 분류한다(140).After receiving the vehicle behavior information from the ESC system 50, the vehicle camera control apparatus classifies the plurality of targets recognized based on the received vehicle behavior information as an object of interest and an object of non-interest (140).

영상 내의 복수의 타켓을 관심 대상과 비관심 대상으로 분류한 후 차량용 카메라 제어장치는 차량 거동 정보를 기초하여 분류된 관심 대상이 미리 설정된 시간 후에 위치할 위치를 추정한다(150).After classifying a plurality of targets in the image into objects of interest and objects of no interest, the vehicle camera control device estimates a position where the classified object of interest is to be positioned after a preset time based on the vehicle behavior information (150).

관심 대상이 미리 설정된 시간 후에 위치할 위치를 추정한 후 차량용 카메라 제어장치는 추정된 위치를 근거로 하여 관심 대상이 영상 내에 위치하도록 카메라(11)를 이동시키고 촬영한다(160).After estimating the position to be positioned after a preset time of interest, the vehicular camera control apparatus moves the camera 11 so that the interested object is located within the image based on the estimated position (160).

도 5는 본 발명의 실시예에 따른 차량용 카메라 제어장치에서 관심 대상의 현재 위치와 미리 설정된 시간 후의 추정 위치를 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 차량용 카메라 제어장치에서 관심 대상을 추적하도록 카메라를 이동시켜 촬영한 영상을 설명하기 위한 도면이다.5 is a view for explaining a current position of an object of interest and an estimated position after a predetermined time in the vehicle camera control apparatus according to the embodiment of the present invention. 6 is a view for explaining an image captured by moving a camera to track an object of interest in a vehicle camera control apparatus according to an embodiment of the present invention.

도 5 및 도 6을 참조하면, 사각형 형태의 박스로 나타낸 관심 대상(200)이 화살표 방향과 같이 좌회전하고, 자차량도 좌회전한다고 가정할 경우, 미리 설정된 시간 후의 관심 대상(200')는 영상 영역을 벗어나게 되어 관심 대상이 더 이상 추적이 되지 않을 수 있다. 이러한 경우, 차량용 카메라 제어장치는 차량 거동 정보를 확인하여 자차량이 좌회전할 것임을 인식하고 그에 맞게 관심 대상을 추적하여 관심 대상이 영상 내에 위치할 수 있도록 카메라(11)를 이동시켜 촬영한다. 따라서, 카메라가 고정된 위치에서 영상을 촬영하는 것이 아니라 차량 거동에 따라 카메라를 이동시켜 능동적으로 타겟을 추적함으로써 보다 향상된 안전성을 운전자에게 제공할 수 있다.5 and 6, when it is assumed that the object of interest 200 represented by a box in the form of a square is rotated leftward as indicated by the arrow direction and the child vehicle is also rotated leftward, the object of interest 200 ' The target may no longer be tracked. In this case, the vehicle camera control device confirms the vehicle behavior information, recognizes that the vehicle is going to turn left, traces an object of interest, and moves the camera 11 so that the object of interest can be located in the image. Accordingly, rather than capturing an image at a fixed position, the camera can be moved according to the behavior of the vehicle to actively track the target, thereby providing the driver with improved safety.

상기한 실시예에서는 카메라의 각도가 상하좌우로 이동시켜 촬영방향을 변경시키는 것에 대해서 설명하고 있지만, 이에 한정되지 않으며, 카메라의 각도를 이동시키는 대신에 카메라 렌즈를 상하좌우로 이동시켜 촬영방향을 변경시키는 것도 가능하다.In the above-described embodiment, the angle of the camera is moved up and down and left and right to change the photographing direction. However, the present invention is not limited to this, and instead of moving the angle of the camera, It is also possible to do.

10 : 차량용 카메라 제어 장치 11 : 카메라
20 : 제어부 30 : 카메라조절부
40 : 인터페이스부 50 : ESC 시스템10: vehicle camera control device 11: camera
20: control unit 30: camera control unit
40: interface unit 50: ESC system

Claims (7)

카메라를 통해 차량 전방의 영상을 촬영하고,
상기 촬영된 영상을 분석하여 영상 내의 복수의 타켓을 인식하고,
차량에 마련된 전자식제동장치로부터 차량 거동 정보를 수신하고,
상기 수신된 차량 거동 정보를 근거로 상기 인식된 복수의 타켓을 관심 및 비관심 대상으로 분류하고,
상기 분류된 관심 대상이 영상 내에 위치하도록 상기 카메라의 촬영방향을 제어하는 차량용 카메라 제어방법.The image of the front of the vehicle is photographed through the camera,
A plurality of targets in the image are recognized by analyzing the captured image,
The vehicle behavior information is received from an electronic braking device provided in the vehicle,
Classifying the plurality of recognized targets as an object of interest and non-interest based on the received vehicle behavior information,
And controls the photographing direction of the camera such that the classified object of interest is positioned within the image. 제1항에 있어서,
상기 촬영된 영상을 분석하여 상기 영상 내에 태양이 있는 경우, 태양을 피하도록 태양 위치를 근거로 상기 카메라의 촬영방향을 이동시키고 촬영하는 차량용 카메라 제어방법.The method according to claim 1,
And analyzing the photographed image to move the photographing direction of the camera on the basis of the sun position so as to avoid the sun when the sun exists in the image. 제1항 또는 제2항에 있어서,
상기 차량 거동 정보를 기초하여 상기 분류된 관심 대상이 미리 설정된 시간 후에 위치할 위치를 추정하고, 상기 추정된 위치를 근거로 하여 상기 관심 대상이 영상 내에 위치하도록 상기 카메라의 촬영방향을 이동시키고 촬영하는 차량용 카메라 제어방법.3. The method according to claim 1 or 2,
Estimating a location where the classified object of interest will be located after a preset time based on the vehicle behavior information and moving the photographing direction of the camera so that the object of interest is located in the image based on the estimated position A method for controlling a camera for a vehicle. 카메라;
상기 카메라의 촬영방향을 조절하는 카메라조절부; 및
상기 카메라조절부를 통해 상기 카메라를 작동시켜 차량 전방의 영상을 촬영하고, 상기 촬영된 영상을 분석하여 영상 내의 복수의 타켓을 인식하고, 차량에 마련된 전자식제동장치로부터 차량 거동 정보를 수신하고, 상기 수신된 차량 거동 정보를 근거로 상기 인식된 복수의 타켓을 관심 및 비관심 대상으로 분류하고, 상기 분류된 관심 대상이 영상 내에 위치하도록 상기 카메라조절부를 통해 상기 카메라의 작동을 제어하는 제어부;를 포함하는 차량용 카메라 제어장치.camera;
A camera controller for adjusting a photographing direction of the camera; And
A camera control unit for operating the camera to photograph an image of the front of the vehicle, to analyze the photographed image to recognize a plurality of targets in the image, to receive vehicle behavior information from an electronic braking device provided in the vehicle, And a control unit for classifying the plurality of recognized targets as interest and non-interest objects based on the received vehicle behavior information and controlling the operation of the camera through the camera control unit so that the classified interest is located in the image A camera control device for a vehicle. 제4항에 있어서,
상기 복수의 타켓은 차선, 차량, 광원, 보행자, 표지판 중 적어도 2개를 포함하는 차량용 카메라 제어장치.5. The method of claim 4,
Wherein the plurality of targets include at least two of a lane, a vehicle, a light source, a pedestrian, and a sign. 제4항 또는 제5항에 있어서,
상기 제어부는 상기 촬영된 영상을 분석하여 상기 영상 내에 태양이 있는 경우, 태양을 피하도록 태양 위치를 근거로 상기 카메라조절부를 통해 상기 카메라의 촬영방향을 이동시켜 촬영시키는 차량용 카메라 제어장치.The method according to claim 4 or 5,
Wherein the controller analyzes the photographed image and moves the photographing direction of the camera through the camera controller based on the sun position so as to avoid the sun when the sun exists in the image. 제4항 내지 제6항 중 어느 한 항에 있어서,
상기 제어부는, 상기 차량 거동 정보를 기초하여 상기 분류된 관심 대상이 미리 설정된 시간 후에 위치할 위치를 추정하고, 상기 추정된 위치를 근거로 하여 상기 관심 대상이 영상 내에 위치하도록 상기 카메라조절부를 통해 상기 카메라의 촬영방향을 이동시켜 촬영시키는 차량용 카메라 제어장치.
7. The method according to any one of claims 4 to 6,
Wherein the control unit estimates a position to be positioned after a predetermined time based on the classified vehicle behavior information based on the vehicle behavior information, and determines, based on the estimated position, A camera control device for a vehicle which photographs a moving direction of a camera.
KR1020130078743A 2013-07-05 2013-07-05 Apparatus of controlling a vehicle camera and control method thereof KR101796508B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130078743A KR101796508B1 (en) 2013-07-05 2013-07-05 Apparatus of controlling a vehicle camera and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130078743A KR101796508B1 (en) 2013-07-05 2013-07-05 Apparatus of controlling a vehicle camera and control method thereof

Publications (2)

Publication Number Publication Date
KR20150005208A true KR20150005208A (en) 2015-01-14
KR101796508B1 KR101796508B1 (en) 2017-11-10

Family

ID=52477112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130078743A KR101796508B1 (en) 2013-07-05 2013-07-05 Apparatus of controlling a vehicle camera and control method thereof

Country Status (1)

Country Link
KR (1) KR101796508B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190008569A (en) * 2016-06-24 2019-01-24 젠텍스 코포레이션 Imaging system with adaptive high beam control device
KR20190135144A (en) * 2018-05-28 2019-12-06 현대자동차주식회사 Vehicle and method for detecting obstacle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4200974B2 (en) * 2005-03-01 2008-12-24 株式会社デンソー Vehicle display device
JP2013058171A (en) * 2011-09-09 2013-03-28 Toshiba Corp Road conditions grasping device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190008569A (en) * 2016-06-24 2019-01-24 젠텍스 코포레이션 Imaging system with adaptive high beam control device
CN109311416A (en) * 2016-06-24 2019-02-05 金泰克斯公司 Imaging system with the control of adaptive distance light
KR20190135144A (en) * 2018-05-28 2019-12-06 현대자동차주식회사 Vehicle and method for detecting obstacle

Also Published As

Publication number Publication date
KR101796508B1 (en) 2017-11-10

Similar Documents

Publication Publication Date Title
CN107852465B (en) Vehicle-mounted environment recognition device
KR20120126152A (en) Divice and method for photographing image and divice for extracting image information
CN111246172A (en) Linkage image acquisition device and image acquisition method
KR101530255B1 (en) Cctv system having auto tracking function of moving target
KR101496390B1 (en) System for Vehicle Number Detection
US10277888B2 (en) Depth triggered event feature
JP6660751B2 (en) Imaging device
JP6032034B2 (en) Object detection device
KR20170074076A (en) Method and system for adaptive traffic signal control
US20140028847A1 (en) Image capture system and image capture method
US8406468B2 (en) Image capturing device and method for adjusting a position of a lens of the image capturing device
JP6065629B2 (en) Object detection device
US10070040B2 (en) Method for automatically focusing a camera
CN102016710A (en) Camera and method for controlling a camera
KR101796508B1 (en) Apparatus of controlling a vehicle camera and control method thereof
CN106067943B (en) Control device, optical apparatus, image pickup apparatus, and control method
EP2463621A1 (en) Distance calculation device for vehicle
KR20150019230A (en) Method and apparatus for tracking object using multiple camera
JP2017204795A (en) Tracking apparatus
KR101685423B1 (en) Wide area survillance system and method of photographing a moving object
KR100656345B1 (en) Method and apparatus for tracking moving object by using two-cameras
JP7278846B2 (en) OBJECT POSITION DETECTION DEVICE, TRIP CONTROL SYSTEM, AND TRIP CONTROL METHOD
KR102202246B1 (en) System and method for detecting position of electric pole and method thereof
KR101628931B1 (en) Method and apparatus for controlling view angle of blackbox
JP6564682B2 (en) Object detection device, object detection method, and object detection program

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant