KR101825450B1 - Vehicle control apparatus and method thereof - Google Patents

Abstract

본 발명은 차량의 제어 장치 및 그 제어 방법에 관한 것으로, 상기 차량과 관련된 다양한 화상 정보를 표시하는 디스플레이부와, 상기 디스플레이부 상의 일 영역을 사용자가 응시할 때에, 상기 사용자의 동공 및 안구의 일 영역에 적어도 하나의 반사광이 형성되도록 빛을 발광하는 적어도 하나의 광원을 포함하는 광원부와, 차량 내부의 각 영역 및 상기 적어도 하나의 광원 각각에 대한 좌표 정보를 저장하는 메모리와, 상기 사용자의 동공 및 안구의 일 영역을 포함하는 영상을 센싱하는 카메라를 포함하는 카메라부 및, 상기 센싱된 영상에 근거하여, 상기 사용자의 동공 중심으로부터 제1 좌표를 산출 및 상기 영상에 포함된 적어도 하나의 반사광으로부터 제2 좌표를 산출하고, 상기 제1 좌표와 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우 상기 적어도 하나의 반사광을 형성한 적어도 하나의 광원 각각의 기 저장된 좌표 정보로부터 상기 차량 내부의 일 지점의 좌표를 기준 좌표로 산출하며, 상기 기준 좌표를 상기 사용자가 응시하는 방향에 대응되는 좌표로 교정(calibration)을 수행하는 제어부를 포함하는 것을 특징으로 한다. The present invention relates to a control apparatus for a vehicle and a control method for the same, and more particularly to a control apparatus for a vehicle and a control method therefor, which comprises a display unit for displaying various image information related to the vehicle, A memory for storing coordinate information for each of the interior areas of the vehicle and each of the at least one light source; a memory for storing the coordinate information of the at least one light source; And a controller for calculating a first coordinate from the center of the user's pupil based on the sensed image and a second coordinate from at least one reflected light included in the image, And when the distance between the first coordinate and the second coordinate is equal to or less than a predetermined distance, From the previously stored coordinate information of each of at least one light source forming at least one reflected light, coordinates of one point inside the vehicle as reference coordinates, and corrects the reference coordinates to coordinates corresponding to the direction in which the user looks and a control unit for performing a calibration operation.

Description

차량 제어 장치 및 그 장치의 제어 방법{VEHICLE CONTROL APPARATUS AND METHOD THEREOF}[0001] VEHICLE CONTROL APPARATUS AND METHOD THEREOF [0002]

본 발명은 운전자의 시선에 따라 차량을 제어하는 장치 및 그 제어 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for controlling a vehicle according to a driver's gaze.

현재의 차량 제어 기술은 종래와 달리 다양한 기능을 차량이 운전자에게 제공할 수 있도록 한다. 이에 따라 현재의 차량에서는 다양한 기능들을 구동하기 위한 많은 수의 키나 버튼 등이 구비된다. 이에 따라 현재의 차량에서는 상기 다양한 기능들을 제어하기 위한 복잡한 컨트롤 환경이 형성되고, 운전자는 상기 기능들을 제어하는데 있어 어려움이 있다. 또한 이러한 복수의 키들을 간소화하는 경우, 하나의 키에 보다 많은 수의 기능들이 매칭됨에 따라 사용자에게 복작한 조작을 요구하게 된다. Current vehicle control technology allows a vehicle to provide a driver with various functions unlike the prior art. Accordingly, in the present vehicle, a large number of keys or buttons for driving various functions are provided. Accordingly, in a current vehicle, a complicated control environment for controlling the various functions is formed, and the driver has difficulties in controlling the functions. In addition, when a plurality of keys are simplified, a larger number of functions are matched to one key, and the user is required to perform a complicated operation.

따라서 운전자가 보다 편리하게 상기 다양한 기능들을 조작할 수 있도록 하기 위한 방법의 일환으로, 운전자가 응시하는 방향에 따른 기능이 구동되도록 하는 방안이 제안되었다. 이처럼 운전자의 시선에 따라 기능들이 제어될 수 있도록 함으로써, 복수의 키를 구비하거나 운전자에게 복잡한 조작을 하지 않아도 차량의 다양한 기능이 실행될 수 있다. Accordingly, as a method for allowing the driver to more conveniently operate the various functions, a method has been proposed in which the function according to the direction in which the driver is gazing is driven. By allowing the functions to be controlled in accordance with the driver's gaze, various functions of the vehicle can be implemented without having a plurality of keys or complicated operation to the driver.

한편 이처럼 운전자의 시선을 이용하여 다양한 기능이 실행될 수 있도록 하기 위해서는, 운전자가 응시하는 방향의 좌표를 정확하게 검출하는 것이 중요하다. 이를 위해 현재의 차량은, 차량이 감지하는 운전자의 응시 방향에 따른 좌표와, 운전자가 실제 응시하는 방향에 대응되는 좌표 사이의 오차를 보정하기 위한 교정(Calibration)을 운전자에게 요구할 수 있다. 이러한 경우 현재의 차량은, 상기 교정을 위해 미리 인식된 특정 지점을 운전자가 응시하도록 요구하고, 운전자가 상기 특정 지점을 응시하고 있는지를 명시적으로 입력하도록 요구한다. 이는 운전자가 상기 특정 지점을 응시하고 있는지 여부를 차량 스스로가 판단할 수 없기 때문이다. On the other hand, in order to enable various functions to be performed using the driver's gaze, it is important to accurately detect the coordinates of the driver's gaze direction. To this end, the current vehicle may require the driver to calibrate the error between the coordinates according to the driver's gaze direction and the coordinates corresponding to the driver's actual gaze direction. In this case, the current vehicle requires the driver to gaze at a specific point recognized in advance for the calibration, and requests the driver to explicitly input whether or not the driver is gazing at the specific point. This is because the vehicle itself can not determine whether or not the driver is gazing at the specific point.

한편 이러한 교정은, 운전자가 차량을 사용하면서 수시로 요구될 수 있다. 이는 운전자가 취하는 자세 또는 운전자의 움직임이나 습관 등에 따라 수시로 운전자의 두부가 향하는 방향 및 위치가 변동될 수 있기 때문이다. 그러나 상술한 바와 같이 현재의 차량으로는 운전자에게 교정 자체를 요구하여야만 교정 과정이 수행될 수 있으며, 또한 교정 과정에서 운전자가 명시적인 입력을 인가하여야 교정이 이루어질 수 있기 때문이다. On the other hand, such calibration may be required from time to time as the driver uses the vehicle. This is because the direction and position of the head of the driver may be changed from time to time depending on the posture taken by the driver, the movement or habit of the driver, and the like. However, as described above, in the present vehicle, the calibration process can be performed only when the driver requires the calibration itself, and the calibration can be performed only when the driver inputs the explicit input in the calibration process.

뿐만 아니라 주변의 상황을 집중하여 살펴야 하는 운전자의 입장에서, 운전을 하는 중에 이처럼 교정 과정을 위해 시선을 분산시킨다는 것은 지극히 위험할 수 있다. 따라서 현재의 차량에서 운전자의 시선 방향에 따른 오차를 보정하기 위한 교정 과정을 수시로 수행하기에는 많은 제약 사항이 있는 것이 현실이다.In addition, it is extremely dangerous for drivers to concentrate on their surroundings, and to disperse their gaze for the calibration process during driving. Therefore, it is a reality that there are many restrictions in order to perform the calibration process from time to time in order to correct the error according to the driver's gaze direction in the current vehicle.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. The present invention is directed to solving the above-mentioned problems and other problems.

본 발명의 다른 목적은, 운전자가 상기 교정을 위해 시선을 분산시키지 않더라도 운전자의 시선 방향을 보정할 수 있는 교정(calibration)이 이루어질 수 있도록 하는 차량 제어 장치 및 그 장치의 제어 방법을 제공하는 것이다. It is another object of the present invention to provide a vehicle control device and a control method of the vehicle that can calibrate the driver's gaze direction even if the driver does not disperse his or her gaze for the calibration.

본 발명의 다른 목적은, 운전자에게 별도로 교정에 따른 입력을 인가할 것을 요구하거나, 상기 교정을 위한 별도의 입력을 운전자로부터 인가 받을 필요 없이, 상기 교정이 이루어질 수 있도록 하는 차량 제어 장치 및 그 장치의 제어 방법을 제공하는 것이다. It is another object of the present invention to provide a vehicle control device that allows a driver to separately input an input in accordance with a calibration or make the calibration without having to input a separate input for the calibration from the driver, And to provide a control method.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은 사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치에 있어서, 상기 차량과 관련된 다양한 화상 정보를 표시하는 디스플레이부와, 상기 디스플레이부 상의 일 영역을 사용자가 응시할 때에, 상기 사용자의 동공 및 안구의 일 영역에 적어도 하나의 반사광이 형성되도록 빛을 발광하는 적어도 하나의 광원을 포함하는 광원부와, 차량 내부의 각 영역 및 상기 적어도 하나의 광원 각각에 대한 좌표 정보를 저장하는 메모리와, 상기 사용자의 동공 및 안구의 일 영역을 포함하는 영상을 센싱하는 카메라를 포함하는 카메라부 및, 상기 센싱된 영상에 근거하여, 상기 사용자의 동공 중심으로부터 제1 좌표를 산출 및 상기 영상에 포함된 적어도 하나의 반사광으로부터 제2 좌표를 산출하고, 상기 제1 좌표와 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우 상기 적어도 하나의 반사광을 형성한 적어도 하나의 광원 각각의 기 저장된 좌표 정보로부터 상기 차량 내부의 일 지점의 좌표를 기준 좌표로 산출하며, 상기 기준 좌표를 상기 사용자가 응시하는 방향에 대응되는 좌표로 교정(calibration)을 수행하는 제어부를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided a vehicle control apparatus for controlling various functions of a vehicle in accordance with a direction of a user's gaze, the vehicle control apparatus comprising: a display unit displaying various image information related to the vehicle; A light source unit including at least one light source that emits light so that at least one reflected light is formed in one area of the pupil and the eyeball of the user when the user looks at one area on the display unit; A camera for storing coordinate information for each of the at least one light source and a camera for sensing an image including one region of the pupil and the eye of the user; Calculating a first coordinate from a pupil center of the user and calculating at least one reflected light From the previously stored coordinate information of each of the at least one light source forming the at least one reflected light when the distance between the first coordinate and the second coordinate is less than a predetermined distance, And a controller for calibrating the reference coordinates to coordinates corresponding to the direction in which the user is gazing.

일 실시 예에 있어서, 상기 디스플레이부 상의 일 영역은, 상기 차량의 주행과 관련된 주행 정보를 표시하는 영역이며, 상기 적어도 하나의 광원은, 상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 또는 상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 주변에 구비되는 것을 특징으로 한다. In one embodiment, one area on the display unit is an area for displaying driving information related to the running of the vehicle, and the at least one light source may include one area on the display unit on which the driving information is displayed, Is displayed in the vicinity of one area on the display unit.

일 실시 예에 있어서, 상기 기 설정된 거리는, 기 설정된 허용 오차 범위에 따라 결정되거나, 사용자의 카파각(Kappa angle) 특성을 고려하여 설정되는 것을 특징으로 한다. In one embodiment, the predetermined distance may be determined according to a predetermined tolerance range, or may be set in consideration of a Kappa angle characteristic of the user.

일 실시 예에 있어서, 상기 메모리는, 상기 차량을 운전하는 운전자를 식별한 결과에 대응되게 상기 교정 결과에 대한 정보를 저장하고, 상기 제어부는, 상기 차량의 구동이 시작되면 운전자를 식별 및, 식별된 운전자에 대응되는 기 저장된 교정 결과를 반영하여 상기 운전자의 시선 방향에 대응되는 좌표값들을 산출하는 것을 특징으로 한다. In one embodiment, the memory stores information on the calibration result corresponding to a result of identifying a driver who operates the vehicle, and the control unit identifies the driver when the driving of the vehicle is started, The controller calculates the coordinate values corresponding to the driver's gaze direction by reflecting the pre-stored calibration results corresponding to the driver.

일 실시 예에 있어서, 상기 디스플레이부는, 복수개의 서로 다른 영역으로 구획되며, 상기 광원부는, 상기 디스플레이부 상의 복수개의 서로 다른 영역에 각각 구비되는 복수의 광원을 포함하며, 상기 제어부는, 상기 복수의 광원에 의해 형성된 복수의 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상이 센싱되면, 상기 복수의 반사광 각각으로부터 산출되는 반사광의 중심 좌표들 중 어느 하나와 상기 제1 좌표에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하고, 식별된 영역에 구비된 광원의 좌표 정보를 상기 기준 좌표로 설정하여 상기 교정을 수행하는 것을 특징으로 한다. In one embodiment, the display unit is divided into a plurality of different areas, and the light source unit includes a plurality of light sources respectively provided in a plurality of different areas on the display unit, When the image of one region of the user's pupil and the eyeball including a plurality of reflected light formed by the light source is sensed, based on any one of the center coordinates of the reflected light calculated from each of the plurality of reflected light and the first coordinate, The present invention is characterized in that an area to be examined by a current user is identified from among a plurality of areas on the display unit and the coordinate information of the light source provided in the identified area is set as the reference coordinates to perform the calibration.

일 실시 예에 있어서, 상기 제어부는, 상기 센싱된 영상에 포함된 복수의 반사광 각각으로부터 반사광 중심 좌표를 산출하고, 산출된 반사광 중심 좌표들 중 상기 제1 좌표와 기 설정된 거리 이내에 위치한 어느 하나에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 한다. In one embodiment, the control unit may calculate the center coordinates of reflected light from each of the plurality of reflected light included in the sensed image, and based on any one of the calculated reflected light center coordinates located within a predetermined distance from the first coordinate, And identifies an area of the plurality of areas on the display unit that the current user is interested in.

일 실시 예에 있어서, 상기 복수의 광원은, 각각 서로 구분되는 광원을 발광하는 광원들이며, 상기 카메라부는, 상기 복수의 광원 각각에 대응되며, 대응되는 광원에 의한 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상을 각각 센싱하는 복수의 카메라를 포함하고, 상기 제어부는, 상기 복수의 카메라로부터 센싱되는 영상들 중, 사용자의 동공 중심으로부터 산출되는 제1 좌표와 상기 반사광으로부터 산출되는 제2 좌표 사이의 거리가 기 설정된 거리 이하인 영상에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 한다. In one embodiment, the plurality of light sources are light sources that emit light sources that are respectively distinguished from each other, and the camera unit includes: a pupil of the user corresponding to each of the plurality of light sources, Wherein the control unit includes a first coordinate calculated from the center of the user's pupil and a second coordinate calculated from the reflected light among the images sensed by the plurality of cameras, Wherein the display unit identifies an area of the plurality of areas on the display unit that the current user is interested in based on an image having a predetermined distance or less.

일 실시 예에 있어서, 상기 제어부는, 기 설정된 조건에 따라 교정이 필요한지 여부를 판단하고, 교정이 필요한 경우 상기 디스플레이부 상의 일 영역이 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역을 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 한다. In one embodiment, the control unit determines whether calibration is required according to a predetermined condition, and when one of the areas on the display unit requires attention, And distinguish it from other areas on the part.

일 실시 예에 있어서, 상기 제어부는, 상기 교정이 필요하다고 판단되는 경우, 상기 차량의 현재 운행 상태, 상기 차량의 현재 위치, 및 상기 차량의 주변 상황에 대한 정보를 수집하고, 수집된 정보들 중 적어도 하나에 근거하여 상기 디스플레이부 상의 일 영역을, 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 한다. In one embodiment, the control unit collects information on the current driving state of the vehicle, the current position of the vehicle, and the surrounding conditions of the vehicle when it is determined that the correction is necessary, And one area on the display unit is displayed separately from another area on the display unit based on at least one.

일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일 영역 내에 터치 입력이 인가되는 경우, 사용자가 현재 응시하고 있는 방향에 대응되는 좌표를 산출하고, 산출된 사용자의 시선 방향에 대응되는 좌표가 상기 디스플레이부 상의 일 영역 내의 일 지점인지 여부에 따라 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 한다. In one embodiment, when the touch input is applied to one area on the display unit, the control unit calculates coordinates corresponding to the direction in which the user is currently gazing, and when the coordinate corresponding to the calculated gaze direction of the user is Whether the calibration is necessary or not is determined according to whether or not it is one point in one area on the display unit.

일 실시 예에 있어서, 상기 제어부는, 상기 산출된 사용자의 시선 방향에 대응되는 좌표가, 상기 디스플레이부 상의 일 영역 내의 일 지점이 아닌 경우 오차가 발생한 것으로 판단하며, 발생된 오차의 횟수를 누적 및, 누적된 오차 횟수가 기 설정된 횟수에 이르는 경우, 상기 디스플레이부 상의 일 영역을 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 한다. In one embodiment, the controller determines that an error has occurred when the coordinate corresponding to the calculated gaze direction of the user is not one point in one area on the display unit, and the number of errors generated is accumulated and / And displays one area on the display unit separately from another area on the display unit when the accumulated number of errors reaches a preset number of times.

일 실시 예에 있어서, 상기 제어부는, 상기 터치 입력이 인가된 지점이, 상기 기준 좌표로부터 일정 거리 내에 위치하는 경우, 상기 산출된 사용자의 시선 방향에 대응되는 좌표에 근거하여 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 한다. In one embodiment, when the point at which the touch input is applied is located within a certain distance from the reference coordinate, the control unit determines whether or not the calibration is necessary based on the coordinates corresponding to the gaze direction of the calculated user .

일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일 영역의 광도 또는 색상을, 상기 디스플레이부 상의 다른 영역과 다르게 하거나, 또는 상기 디스플레이부 상의 일 영역에서 표시되는 그래픽 객체들 중 적어도 하나를, 상기 다른 영역에서 표시되는 그래픽 객체와 다르게 표시하여, 상기 일 영역이 상기 다른 영역과 구분되도록 하는 것을 특징으로 한다. In one embodiment, the control unit may cause at least one of graphical objects displayed in one area on the display unit to be different from the luminance or color of one area on the display unit, And displaying the graphic object differently from the graphic object displayed in the other area to distinguish the one area from the other area.

일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일 영역이 다른 영역과 구분 및 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역에, 기 설정된 이벤트의 발생을 알리기 위한 알림 정보를 표시하는 것을 특징으로 한다. In one embodiment, the control unit displays notification information for notifying occurrence of a preset event in one area on the display unit so that one area on the display unit is distinguished from another area and a user's attention is generated .

일 실시 예에 있어서, 상기 화상 정보는, 상기 차량의 윈드 쉴드 글래스의 적어도 일부 영역에 표시되며, 상기 광원부는, 상기 화상 정보가 표시되는 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며, 상기 제어부는, 상기 적어도 하나의 광원으로부터 출력되는 빛이, 상기 윈드 쉴드 글래스 및 상기 사용자의 동공 및 안구의 일 영역에 반사되어 형성되는 적어도 하나의 반사광으로부터 상기 제2 좌표를 산출하고, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표로부터 상기 기준 좌표를 산출하는 것을 특징으로 한다. In one embodiment, the image information is displayed in at least a part of the area of the windshield glass of the vehicle, and the light source unit is provided with at least one light source for outputting light to at least one point of the windshield glass Wherein the control unit is configured to control the light emitted from the at least one light source from the at least one reflected light formed by reflecting on one side of the windshield glass and the pupil of the user and the eyeball, And calculates the reference coordinates from coordinates of at least one point of the windshield glass from which the light output from the at least one light source is reflected.

일 실시 예에 있어서, 상기 메모리는, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표에 관련된 정보를 미리 저장하고 있는 것을 특징으로 한다. In one embodiment, the memory is characterized in that it stores in advance information relating to the coordinates of at least one point of the windshield glass from which the light output from the at least one light source is reflected.

일 실시 예에 있어서, 상기 카메라부는, 상기 광원이 복수인 경우, 상기 사용자의 동공 및 안구의 일 영역에 복수의 반사광을 포함하는 영상을 센싱하며, 상기 제어부는, 상기 복수의 반사광을 포함하는 영상이 센싱되면, 상기 복수의 반사광 각각의 중심으로부터 산출되는 반사광 중심 좌표들로부터 가상의 직선 또는 다각형을 생성 및 생성된 가상의 직선 또는 다각형의 중심으로부터 상기 제2 좌표를 산출하며, 상기 복수의 반사광 각각에 대응되는 광원들의 기 저장된 좌표들로부터 가상의 직선 및 다각형을 생성하고, 생성된 가상의 직선 및 다각형의 중심으로부터 산출되는 상기 디스플레이부 상의 일 지점의 좌표를 상기 기준 좌표로 설정하는 것을 특징으로 한다. In one embodiment, the camera unit senses an image including a plurality of reflected lights in one region of a pupil and an eyeball of the user when the light source is a plurality of images, and the control unit detects the image including the plurality of reflected lights A virtual straight line or polygon is generated from the reflected light center coordinates calculated from the center of each of the plurality of reflected light and the second coordinate is calculated from the center of the imaginary straight line or polygon generated, And a coordinate of one point on the display unit calculated from the center of the generated virtual straight line and the polygon is set as the reference coordinates .

일 실시 예에 있어서, 상기 제어부는, 상기 광원부 및 상기 카메라부를 비활성화 상태로 유지하며, 상기 차량 주변의 환경을 감지하고, 감지된 차량 주변의 환경에 근거하여 상기 광원부 및 상기 카메라부를 활성화 상태로 전환하는 것을 특징으로 한다. In one embodiment, the control unit maintains the light source unit and the camera unit in an inactive state, detects an environment around the vehicle, and turns the light source unit and the camera unit into an activated state based on the environment around the sensed vehicle .

일 실시 예에 있어서, 상기 광원부는, 상기 차량의 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며, 상기 카메라부는, 상기 차량의 윈드 쉴드 글래스의 일부 영역을 통해 비치는 상기 차량 전방에 위치한 장애물의 형상을 포함하는 영상을 센싱하는 서브 카메라를 더 포함하며, 상기 제어부는, 상기 서브 카메라를 통해 센싱되는 영상으로부터, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점에 근거하여 상기 장애물의 형상이 비치는 윈드 쉴드 글래스의 일부 영역을 좌표화 및, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 산출하고, 상기 사용자의 동공 및 안구의 일 영역이 포함된 영상으로부터, 상기 제1 좌표 및, 상기 사용자의 동공 및 안구의 일 영역에 비친 상기 장애물 형상의 중심 좌표를 상기 제2 좌표로 산출하며, 산출된 상기 제1 좌표와 상기 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 기준 좌표로, 사용자가 상기 윈드 쉴드 글래스 상에 비치는 장애물을 응시하는 방향에 대응되는 좌표를 교정하는 것을 특징으로 한다.In one embodiment, the light source unit includes at least one light source that outputs light to at least one point of the windshield glass of the vehicle, and the camera unit is configured to transmit light to at least one point of the windshield glass of the vehicle, And a sub camera for sensing an image including a shape of an obstacle located at a front of the vehicle, wherein the control unit is configured to detect, from an image sensed by the sub camera, Coordinates the partial area of the windshield glass on which the shape of the obstacle is reflected based on at least one point of the shield glass and calculates the center coordinates of the obstacle shape reflected in the windshield glass, From the image including the region, the first coordinate and the pupil of the user and the eyeball When the calculated distance between the first coordinate and the second coordinate is equal to or less than a predetermined distance, calculating a center coordinate of the obstacle shape reflected in the one area as the second coordinate, calculating a center of the obstacle shape reflected in the windshield glass The coordinates corresponding to the direction in which the user looks at the obstacle seen on the windshield glass is corrected with the coordinates as the reference coordinates.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은 사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치의 제어 방법에 있어서, 적어도 하나의 광원이 구비된 상기 차량의 디스플레이부 상의 일 영역을 응시하는 사용자의 눈 영상을 센싱하는 단계와, 상기 센싱된 영상으로부터, 사용자의 동공 영역 및 상기 광원에서 출력된 빛이 반사되어 형성되는 적어도 하나의 반사광 영역을 검출하는 단계와, 상기 동공 영역의 중심으로부터 제1 좌표를 산출 및, 상기 적어도 하나의 반사광 영역 각각의 중심으로부터 제2 좌표를 산출하는 단계와, 상기 산출된 제1 좌표와 제2 좌표 사이의 이격 거리에 근거하여, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는지 여부를 판단하는 단계 및, 상기 판단 결과, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는 것으로 판단되면, 상기 사용자의 동공 중심 및 기 저장된 인체 모델링 데이터에 의해 산출되는 사용자의 시선 방향 좌표를, 상기 적어도 하나의 광원의 좌표값을 기준으로 교정(calibration)하는 단계를 포함하며, 상기 디스플레이부 상의 일 영역은, 상기 차량의 주행과 관련된 정보를 표시하는 영역임을 특징으로 한다. According to an aspect of the present invention, there is provided a control method of a vehicle control device for controlling various functions of a vehicle according to a direction of a user's eyes, the control method comprising: Sensing at least one reflected light region formed by reflecting light from the user's pupil region and the light source from the sensed image; Calculating a first coordinate from the center of the pupil region and calculating a second coordinate from the center of each of the at least one reflected light region based on the distance between the calculated first coordinate and the second coordinate, The method comprising the steps of: determining whether a user is looking at a region on the display unit; The user's gaze direction coordinates calculated by the pupil center of the user and pre-stored human body modeling data are corrected based on the coordinate values of the at least one light source when the user is judged to be gazing at one area on the display unit and one area on the display unit is an area for displaying information related to the running of the vehicle.

본 발명의 실시 예에 따른 차량 제어 장치 및 그 장치의 제어 방법의 효과에 대해 설명하면 다음과 같다.Effects of the vehicle control apparatus and the control method of the apparatus according to the embodiment of the present invention will be described as follows.

본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 주행 정보가 표시되는 디스플레이부 상의 일 영역을 사용자가 응시할 때에 상기 교정이 수행될 수 있도록 하여 사용자가 상기 교정을 의식하지 않은 상태에서 상기 교정이 이루어질 수 있도록 함으로써, 상기 교정에 따른 시선 및 사용자의 주의를 분산시키지 않고서도 상기 교정이 수행되도록 한다는 장점이 있다. According to at least one of the embodiments of the present invention, the present invention allows the calibration to be performed when a user looks at an area on the display unit on which the driving information is displayed, so that, when the user is unconscious of the calibration, So that the calibration is performed without distracting the user's attention and the line of sight according to the calibration.

본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 사용자가 의식하지 않고 상기 교정이 이루어질 수 있도록 하여 상기 교정을 위한 사용자의 입력과 같은 제약 사항을 가지지 않음으로써, 상기 교정이 보다 자주 수행될 수 있도록 하며 이에 따라 보다 정확하게 사용자가 응시하는 방향의 좌표를 보다 정확하게 검출되도록 할 수 있다는 장점이 있다. In accordance with at least one of the embodiments of the present invention, the present invention allows the calibration to be performed without the user being conscious and does not have the same constraints as the user's input for the calibration, Accordingly, it is possible to more accurately detect the coordinates of the direction in which the user gazes, more accurately.

도 1은 본 발명의 실시 예에 따른 차량 제어 장치를 설명하기 위한 블록도이다.
도 2a 내지 도 2b는 본 발명의 실시 예에 따른 차량 제어 장치에서, 자동으로 교정이 수행되도록 하는 동작 과정을 도시한 흐름도 및 이를 설명하기 위한 개념도이다.
도 3a 내지 도 3b는 본 발명의 실시 예에 따른 차량 제어 장치에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 좌표 정보가 생성되는 동작 과정을 도시한 흐름도 및 이를 설명하기 위한 개념도이다.
도 4는 본 발명의 실시 예에 따른 차량 제어 장치에서, 복수의 광원 각각으로부터 형성되는 글린트들을, 복수의 카메라를 이용하여 구분하여 인식하는 것을 설명하기 위한 개념도이다.
도 5a 내지 도 5b는 본 발명의 실시 예에 따른 차량 제어 장치에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 사용자의 시선 방향에 따른 교정을 수행하는 흐름도 및 이를 설명하기 위한 개념도이다.
도 6은 본 발명의 실시 예에 따른 차량 제어 장치에서, 교정이 필요한지 여부를 판단하는 일 실시 예의 동작 과정을 도시한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 차량 제어 장치에서, 윈드쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 동작 과정을 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 차량 제어 장치에서, 사용자가 주행 정보가 표시되는 영역을 주시하는 경우의 예를 도시한 예시도이다.
도 9 내지 도 10은 본 발명의 실시 예에 따른 차량 제어 장치에서, 적어도 하나의 광원과 적어도 하나의 카메라가 디스플레이부 영역 주변에 형성된 예들을 보이고 있는 예시도이다.
도 11은 본 발명의 실시 예에 따른 차량 제어 장치에서, 교정이 필요한 경우 디스플레이부 상의 영역 중 특정 영역이 구분되게 표시되도록 하는 예를 도시한 예시도이다.
도 12는 본 발명의 실시 예에 따른 차량 제어 장치에서, 윈드쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 예를 도시한 예시도이다. 1 is a block diagram for explaining a vehicle control apparatus according to an embodiment of the present invention.
FIGs. 2A and 2B are a flowchart illustrating an operation procedure for automatically performing calibration in a vehicle control apparatus according to an embodiment of the present invention, and a conceptual diagram for explaining the flowchart. FIG.
FIGS. 3A and 3B are a flowchart illustrating an operation process of generating coordinate information based on glints formed from a plurality of light sources in a vehicle control apparatus according to an embodiment of the present invention, and a conceptual diagram for explaining the operation.
4 is a conceptual diagram for explaining recognition of glints formed from each of a plurality of light sources by using a plurality of cameras in a vehicle control apparatus according to an embodiment of the present invention.
5A and 5B are flowcharts for performing calibration according to a user's gaze direction based on glints formed from a plurality of light sources in a vehicle control device according to an embodiment of the present invention, and a conceptual diagram for explaining the flowchart.
6 is a flowchart illustrating an operation process of an embodiment for determining whether or not calibration is required in the vehicle control apparatus according to the embodiment of the present invention.
7 is a flowchart illustrating an operation of performing calibration based on the shape of an obstacle seen in a windshield glass in a vehicle control device according to an embodiment of the present invention.
8 is an exemplary diagram showing an example of a case in which a user watches an area where driving information is displayed in the vehicle control device according to the embodiment of the present invention.
9 to 10 are views showing examples in which at least one light source and at least one camera are formed around a display sub-region in the vehicle control apparatus according to the embodiment of the present invention.
FIG. 11 is an exemplary view showing an example in which a specific area of an area on a display unit is dividedly displayed in a vehicle control device according to an embodiment of the present invention when calibration is required.
12 is an exemplary diagram showing an example of performing calibration based on the shape of an obstacle reflected in a windshield glass in a vehicle control device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like or similar elements are denoted by the same or similar reference numerals, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

도 1은 본 발명의 실시 예에 따른 차량 제어 장치(100)를 설명하기 위한 블록도이다.1 is a block diagram for explaining a vehicle control apparatus 100 according to an embodiment of the present invention.

우선 도 1에서 보이고 있는 바와 같이 본 발명의 실시 예에 따른 차량 제어 장치(100)는 제어부(110)와, 상기 제어부(110)에 연결될 수 있는 메모리(120), 감지부(140), 구동부(150) 및, 카메라부(160), 광원부(170), 디스플레이부(130)를 포함할 수 있다. 1, a vehicle control apparatus 100 according to an embodiment of the present invention includes a controller 110, a memory 120 connected to the controller 110, a sensing unit 140, 150, a camera unit 160, a light source unit 170, and a display unit 130.

디스플레이부(130)는 상기 감지부(140)의 감지 결과 및, 차량의 운행에 관련된 정보, 그리고 차량 외부로부터 수신되는 다양한 정보들을 화상 정보의 형태로 표시할 수 있다. 상기 디스플레이부(130)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치스크린을 구현할 수 있다. 이러한 터치스크린은, 차량 제어 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 차량 제어 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The display unit 130 may display the detection result of the sensing unit 140, information related to the driving of the vehicle, and various information received from outside the vehicle, in the form of image information. The display unit 130 may have a mutual layer structure with the touch sensor or may be integrally formed to realize a touch screen. Such a touch screen may function as a user input for providing an input interface between the vehicle control device 100 and a user and may provide an output interface between the vehicle control device 100 and a user.

여기서 상기 디스플레이부(130)는, 차량의 다양한 부분에 구현될 수 있다. 예를 들어 상기 디스플레이부(130)는, 클러스터(cluster)에 형성되거나 또는 차량의 윈드 쉴드 글래스(Wind Shield Glass)의 전체나 일부에 형성될 수 있다. 또는 상기 디스플레이부(130)는 상기 운전석 옆면의 윈도우나 보조석 옆면의 윈도우 또는 차량 뒷좌석의 윈도우 등에 구현될 수도 있다. Here, the display unit 130 may be implemented in various parts of the vehicle. For example, the display unit 130 may be formed on a cluster or may be formed on a whole or a part of a windshield glass of a vehicle. Alternatively, the display unit 130 may be a window on the side of the driver's seat, a window on the side of the assistant's seat, a window in the rear seat of the vehicle, or the like.

메모리(120)는 차량 제어 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(120)는 차량 제어 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 차량 제어 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 그리고 메모리(120)는 제어부(110)의 동작을 위한 다양한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 차량 제어 장치(100)의 기본적인 기능(예를 들어, 시동 기능, 네비게이션 기능 등)을 위하여 출고 당시부터 차량 제어 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 차량 제어 장치(100) 상에 설치되어, 제어부(110)에 의하여 상기 차량 제어 장치의 동작(또는 기능)을 수행하도록 구동될 수 있다.The memory 120 stores data supporting various functions of the vehicle control device 100. [ The memory 120 may store a plurality of application programs (application programs or applications) driven by the vehicle control device 100, data for operation of the vehicle control device 100, and instructions. The memory 120 may store various programs for the operation of the controller 110, and temporarily store input / output data. At least some of these applications may be downloaded from an external server via wireless communication. At least a part of these application programs may exist on the vehicle control apparatus 100 from the time of departure for the basic functions (e.g., starting function, navigation function, etc.) of the vehicle control apparatus 100. [ On the other hand, the application program is stored in the memory 120, installed on the vehicle control device 100, and can be driven by the control unit 110 to perform the operation (or function) of the vehicle control device.

한편 메모리(120)는 사용자가 응시하는 방향에 따라 차량의 주행 및 차량이 제공할 수 있는 다양한 기능 중 적어도 하나의 기능이 실행될 수 있도록 하기 위한 다양한 정보들을 저장할 수 있다. 예를 들어 상기 메모리(120)는 사용자가 응시하는 방향의 대응되는 차량 내부의 각 영역을 인식할 수 있도록 차량 내부의 각 영역에 대응되는 좌표 정보를 저장할 수 있다. Meanwhile, the memory 120 may store various information for enabling at least one of various functions that the vehicle can provide and the vehicle to perform according to the direction in which the user is gazing. For example, the memory 120 may store coordinate information corresponding to each area in the vehicle so as to recognize each corresponding area in the vehicle in the direction in which the user looks.

뿐만 아니라 메모리(120)는 적어도 한 명이상의 사용자에 관련된 정보들을 저장할 수 있다. 여기서 사용자 관련 정보라는 것은, 특정 사용자를 인식한 정보 등이 될 수 있다. 예를 들어 제어부(110)는 사용자로부터 음성이 입력되는 경우, 입력된 음성의 특징을 이용하여 상기 음성을 발성한 사용자를 인식할 수 있다. 그리고 차량의 탑승자가 복수인 경우, 상기 인식된 결과를 이용하여 상기 복수의 탑승자들 각각을 구분할 수도 있다. 이러한 경우 상기 탑승자들 각각을 구분하기 위한 정보 등이 상기 메모리(120)에 저장될 수도 있다. 그리고 상기 메모리(120)에는 인식된 각 사용자에 대응되는 시선 설정 정보가 포함될 수 있다. In addition, the memory 120 may store information related to at least one or more users. Here, the user-related information may be information that recognizes a specific user. For example, when a voice is input from a user, the control unit 110 can recognize a user who uttered the voice using the feature of the voice input. If the number of occupants of the vehicle is plural, each of the plurality of passengers can be distinguished by using the recognized result. In this case, information for identifying each of the passengers may be stored in the memory 120. The memory 120 may include gaze setting information corresponding to each recognized user.

여기서 상기 시선 설정 정보는, 각 사용자가 차량의 운전석에 착석하였을 때에 사용자의 자세 및 머리의 높이 등에 따른 교정 정보를 포함할 수 있다. 즉, 사용자의 변경이 인식되는 경우, 본 발명의 실시 예에 따른 차량 제어 장치(100)는, 인식된 사용자에 대해 기 저장된 시선 설정 정보, 즉 교정 정보에 근거하여, 차량 내부에 기 설정된 적어도 하나의 기준 좌표에 대응되는 사용자의 시선에 대한 정보를 초기화할 수 있다. 이에 따라 사용자가 변경되는 경우에도, 그 사용자가 원하는 기능이, 사용자의 시선에 따라 선택되고 실행되도록 할 수 있다. Here, the gaze setting information may include calibration information according to the posture of the user and the height of the head when each user is seated in the driver's seat of the vehicle. That is, when the change of the user is recognized, the vehicle control apparatus 100 according to the embodiment of the present invention determines, based on the previously stored gaze setting information, i.e., the calibration information, It is possible to initialize the information about the user's gaze corresponding to the reference coordinates of the user. Accordingly, even when the user is changed, the function desired by the user can be selected and executed according to the user's gaze.

이러한 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광 디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 차량 제어 장치(100)는 인터넷(internet)상에서 상기 메모리(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.The memory 120 may be a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), a multimedia card micro type a random access memory (RAM), a static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable memory (EEPROM) read-only memory (ROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk. The vehicle control apparatus 100 may be operated in association with a web storage that performs a storage function of the memory 120 on the Internet.

한편 감지부(140)는 차량 제어 장치(100) 내 정보, 본 발명의 실시 예에 따른 차량 제어 장치(100)를 구비한 차량을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 감지부(140)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 차량 제어 장치(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.Meanwhile, the sensing unit 140 senses at least one of the information in the vehicle control device 100, the environment information surrounding the vehicle having the vehicle control device 100 according to the embodiment of the present invention, and the user information, Sensor. For example, the sensing unit 140 may include a proximity sensor, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, a gravity sensor G- sensor, a gyroscope sensor, a motion sensor, an RGB sensor, an infrared sensor, a finger scan sensor, an ultrasonic sensor, an optical sensor optical sensors, environmental sensors (e.g., barometers, hygrometers, thermometers, radiation sensors, thermal sensors, gas sensors, etc.), chemical sensors (e.g., electronic noses, healthcare sensors, biometric sensors, Or the like. Meanwhile, the vehicle control apparatus 100 disclosed in this specification can combine and utilize the information sensed by at least two of the sensors.

또한 이러한 감지부(140)는 사용자의 입력을 감지할 수 있는 감지 영역을 적어도 하나 포함할 수 있으며, 이러한 감지 영역은 상기 차량의 외부 프레임과 내부 프레임을 포함하는 차량의 바디부에 형성될 수 있다. 이러한 감지 영역은, 터치 스크린 등의 형태로 구현될 수 있다. In addition, the sensing unit 140 may include at least one sensing region capable of sensing a user's input, and the sensing region may be formed in a body portion of the vehicle including an outer frame and an inner frame of the vehicle . Such a sensing area may be implemented in the form of a touch screen or the like.

이러한 감지 영역은 차량의 다양한 부분에 형성될 수 있다. 예를 들어 상기 감지 영역은, 차량의 윈드 쉴드 글래스(Wind Shield Glass)의 전체 또는 일부에 구현될 수 있으며, 운전석 옆면의 윈도우나 보조석 옆면의 윈도우 또는 차량 뒷좌석의 윈도우에 구현될 수도 있다. Such a sensing area may be formed in various parts of the vehicle. For example, the sensing area may be implemented in all or part of the windshield glass of the vehicle, and may be implemented in a window on the side of the driver's seat, a window on the side of the driver's seat, or a window in the rear seat of the vehicle.

또한 상기 감지부(140)는 사용자의 시선이 향하는 방향을 감지할 수 있는 시선 감지부(도시되지 않음)를 포함할 수 있다. 예를 들어 상기 시선 감지부는 차량 내부에 구비된 적어도 하나의 카메라를 포함할 수 있으며, 제어부(110)는 상기 시선 감지부에 구비된 카메라를 통해 사용자의 눈동자의 움직임을 감지할 수 있다. 그리고 상기 사용자의 눈동자가 향하는 방향에 근거하여 사용자가 응시하는 차량 내의 일 지점의 위치를 산출할 수 있다. The sensing unit 140 may include a line of sight sensing unit (not shown) for sensing a direction of the user's line of sight. For example, the visual-line sensing unit may include at least one camera provided inside the vehicle, and the controller 110 may sense the movement of the user's eyes through the camera provided in the visual-line sensing unit. The position of one point in the vehicle that the user is looking for can be calculated based on the direction of the pupil of the user.

그리고 구동부(150)는 제어부(110)의 제어에 따라 차량 내부에 구비된 적어도 하나의 기능이 수행될 수 있도록 한다. 예를 들어 상기 구동부(150)는 차량의 시동 및 주행, 그리고 정지와 같은 차량의 운행에 관련된 다양한 기능들을 사용자의 입력에 따라 수행할 수 있다. The driving unit 150 may perform at least one function provided in the vehicle under the control of the control unit 110. [ For example, the driving unit 150 may perform various functions related to the operation of the vehicle such as starting, running, and stopping the vehicle according to the input of the user.

한편, 제어부(110)는 차량 제어 장치(100)의 전반적인 동작을 제어한다. 뿐만 아니라 차량의 주행 및 차량에서 제공가능한 다양한 기능들의 전반적인 동작을 제어할 수 있다. 예를 들어 제어부(110)는 상기 감지부(140) 또는 사용자로부터 입력되거나 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 차량의 구동을 제어할 수 있다. 또한, 제어부(110)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(110)는 상기 응용 프로그램의 구동을 위하여, 차량 제어 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.On the other hand, the control unit 110 controls the overall operation of the vehicle control device 100. As well as controlling the overall operation of various functions that can be provided by the vehicle and the vehicle. For example, the control unit 110 can control driving of the vehicle by processing signals, data, information input from or output from the sensing unit 140 or a user, or by driving an application program stored in the memory 120 have. In addition, the controller 110 may control at least some of the components illustrated in FIG. 1 to drive an application program stored in the memory 120. FIG. Further, the control unit 110 may operate at least two or more of the components included in the vehicle control apparatus 100 in combination with each other for driving the application program.

또한 제어부(110)는 상기 감지부(140)를 제어하여 사용자가 응시하는 방향을 감지할 수 있다. 그리고 상기 감지 결과에 따라 차량의 주행 및 상기 차량에서 제공가능한 적어도 하나의 기능에 관련된 동작들이 수행되도록 상기 구동부(150)를 제어할 수 있다. 이에 따라 사용자가 차량 내부의 특정 지점를 응시하는 경우, 제어부(110)는 이를 감지하고 감지된 지점에 대응되는 다양한 기능이 상기 구동부(150)를 통해 수행되도록 할 수 있다. In addition, the controller 110 may control the sensing unit 140 to sense the direction in which the user looks. And controls the driving unit 150 to perform operations related to driving of the vehicle and at least one function that can be provided by the vehicle according to the detection result. Accordingly, when the user gazes at a specific point in the vehicle, the controller 110 detects the point and performs various functions corresponding to the detected point through the driving unit 150. [

예를 들어 제어부(110)는 사용자가 운전석 사이드 윈도우를 바라보는 경우, 제어부(110)는 상기 운전석 사이드 윈도우를 오픈(open)하거나 클로즈(close)하는 기능을 수행할 수 있다. 또는 제어부(110)는 사용자가 상기 운전석 사이드 윈도우를 응시하고 있는 경우, 사용자의 시선에 근거하여 상기 운전석 사이드 윈도우가 사용자에 의해 선택된 것으로 판단하고, 이어서 인가되는 부가적인 입력에 근거하여 현재 선택된 구성 요소, 즉 상기 운전석 사이드 윈도우가 제어되도록 할 수도 있다. 여기서 상기 부가적인 입력은 사용자의 음성 명령일 수 있으며, 또는 기 설정된 키의 입력일 수 있다.For example, when the user looks at the side window of the driver's seat, the controller 110 may perform a function of opening or closing the driver's side window. Alternatively, when the user is gazing at the driver's seat side window, the control unit 110 determines that the driver's seat side window is selected by the user based on the user's gaze, and then, based on the additional input, That is, the driver's seat side window may be controlled. Wherein the additional input may be a voice command of the user or an input of a predetermined key.

한편, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 사용자의 시선 방향에 따라 다양한 기능이 실행되도록 하는 상기 구성 요소들 외에, 사용자의 시선을 감지한 결과에 따른 차량 내부의 일 지점의 좌표와, 실제로 사용자가 응시하는 차량 내부의 특정 지점 사이의 오차를 줄이기 위한 교정을 수행하기 위한 카메라부(160), 광원부(170)를 더 포함할 수 있다. Meanwhile, the vehicle control apparatus 100 according to the embodiment of the present invention may include, in addition to the components that perform various functions according to the user's gaze direction, coordinates of one point in the vehicle according to the result of sensing the user's gaze And a light source unit 170 for performing a calibration to reduce an error between a specific point in the vehicle that the user is actually looking at.

상기 카메라부(160)는 사용자의 눈 영상을 센싱하기 위한 적어도 하나의 카메라를 포함할 수 있다. 상기 카메라부(160)에 포함된 적어도 하나의 카메라는 각각 사용자의 눈 영상을 센싱할 수 있으며, 상기 사용자의 눈 영상에는 사용자의 동공 및 글린트가 포함될 수 있다. 여기서 글린트(glint)란 사용자의 눈꺼풀 사이로 노출된 사용자의 안구 및 각막에 반사되는 반사광을 의미하는 것일 수 있다. 즉 상기 글린트는 사용자의 눈에 비친 특정 광원의 반사광이 될 수 있으며 또는 상기 사용자의 눈에 비친 차량 내부의 일부 영상일 수도 있다.The camera unit 160 may include at least one camera for sensing a user's eye image. At least one camera included in the camera unit 160 may sense a user's eye image, and the user's eye image may include a user's pupil and glint. Here, a glint may mean a reflected light reflected from the user ' s eye and the cornea exposed between the user's eyelids. That is, the glint may be a reflected light of a specific light source reflected on the user's eyes, or may be a part of the interior of the vehicle reflected on the user's eyes.

한편 상기 광원부(170)는 기 설정된 파장의 빛을 발광시킬 수 있는 적어도 하나의 광원을 포함할 수 있다. 그리고 상기 적어도 하나의 광원에서 발광되는 빛은, 상기 사용자의 눈꺼풀 사이로 노출된 사용자의 안구 및 각막에 반사되어 상기 글린트를 형성할 수도 있다. 즉 상기 광원부(170)에 포함된 적어도 하나의 광원에서 발광되는 빛이 상기 사용자의 눈에 반사되어 상기 글린트를 형성할 수 있으며, 상기 카메라부(160)에 포함된 적어도 하나의 카메라가 상기 글린트가 형성된 사용자의 눈 영상을 센싱할 수 있다. 여기서 상기 광원부(170)에 포함된 적어도 하나의 광원은, 사용자에게 눈부심 또는 눈 건강에 해로운 영향을 주지 않도록 기 설정된 길이 이상의 파장을 가지는 광을 발생시킬 수 있도록 형성될 수도 있음은 물론이다. Meanwhile, the light source unit 170 may include at least one light source capable of emitting light having a predetermined wavelength. The light emitted from the at least one light source may be reflected by the eyeball and the cornea of the user exposed between the eyelids of the user to form the glint. That is, light emitted from at least one light source included in the light source unit 170 may be reflected by the user's eyes to form the glint. At least one camera included in the camera unit 160 It is possible to sense the eye image of the user who has formed the lint. Here, at least one light source included in the light source unit 170 may be formed to generate light having a wavelength longer than a predetermined length so as not to adversely affect the user's eyesight or glare.

한편 제어부(110)는 상기 센싱된 눈 영상에 근거하여, 상기 교정이 이루어지도록 할 수 있다. 즉, 제어부(110)는 상기 센싱된 눈 영상으로부터 검출된 글린트로부터 중심 좌표를 산출할 수 있으며, 상기 눈 영상으로부터 검출된 사용자의 동공으로부터 중심 좌표를 산출할 수 있다. 그리고 상기 글린트의 중심 좌표와 상기 동공의 중심 좌표 사이의 거리가 기 설정된 거리 이하인 경우에, 현재 사용자가 상기 검출된 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 검출된 글린트에 대응되는 광원의 좌표를 기준으로 교정을 수행할 수 있다. 여기서 상기 글린트에 대응되는 광원의 좌표는 상기 메모리(120)에 미리 저장된 것일 수 있다. 이에 따라 제어부(110)는 사용자가 별도로 명시적인 입력을 인가하지 않는 경우에도, 상기 사용자가 기 설정된 기준 좌표 지점(상기 검출된 글린트에 대응되는 광원의 좌표)을 응시하는 것을 감지할 수 있다. On the other hand, the control unit 110 may perform the calibration based on the sensed eye image. That is, the control unit 110 can calculate the center coordinates from the detected glint from the sensed eye image, and calculate the center coordinates from the detected pupil from the eye image. When the distance between the center coordinate of the glint and the center coordinate of the pupil is less than a predetermined distance, it can be determined that the current user is gazing at the light source corresponding to the detected glint. Then, the controller 110 may perform calibration based on the coordinates of the light source corresponding to the detected glint. Here, the coordinates of the light source corresponding to the glint may be stored in the memory 120 in advance. Accordingly, the control unit 110 can sense that the user gazes at a predetermined reference coordinate point (coordinates of the light source corresponding to the detected glint) even when the user does not separately input an explicit input.

한편, 제어부(110)는 상기 센싱된 눈 영상으로부터 검출되는 동공 및, 사용자의 눈 높이, 그리고 사용자의 두부가 향하는 방향에 근거하여 사용자가 응시하는 방향에 대응되는 좌표를 산출할 수 있다. 예를 들어 제어부(110)는 기 저장된 인체의 안구 3D 모델에 근거하여, 현재 사용자의 눈 높이 및 두부가 향하는 방향에 대응되는 위치에 형성되는 안구의 중심 좌표를 산출할 수 있다. 그리고 산출된 안구 중심 좌표와 동공 중심 좌표를 연결하는 직선에 근거하여 사용자의 동공 중심 방향에 대응되는 차량 내부의 일 지점의 좌표를 산출할 수 있다. 그리고 산출된 좌표에 대응되는 차량 내부의 일 지점의 좌표는, 차량에 의해 산출된 사용자가 응시하는 방향의 일 지점의 좌표, 즉 산출된 시선 방향의 좌표일 수 있다. On the other hand, the controller 110 may calculate the coordinates corresponding to the direction in which the user gazes based on the pupil detected from the sensed eye image, the eye height of the user, and the orientation of the user's head. For example, the control unit 110 may calculate center coordinates of an eye formed at a position corresponding to an eye height of a current user and a heading direction, based on an eye 3D model of a previously stored human body. The coordinate of one point inside the vehicle corresponding to the direction of the pupil center of the user can be calculated based on the straight line connecting the calculated eye center coordinate and the pupil center coordinate. The coordinates of one point inside the vehicle corresponding to the calculated coordinates may be the coordinates of one point in the direction in which the user looks at, calculated by the vehicle, that is, the coordinate in the calculated gaze direction.

한편, 상기 교정이 수행되는 경우, 제어부(110)는 상기 산출된 시선 바양의 좌표와 상기 글린트에 대응되는 광원의 좌표를 비교할 수 있다. 그리고 상기 글린트에 대응되는 광원의 좌표에 근거하여 상기 산출된 시선 방향의 좌표를 보정할 수 있다. 이에 따라 사용자가 응시하는 방향에 따라 산출된 일 지점의 좌표와 실제 사용자가 응시하는 방향에 대응되는 좌표 간의 오차가 작아지게 되고, 사용자가 응시하는 방향에 따른 보다 정확한 차량 내부의 일 지점의 좌표가 검출될 수 있다. Meanwhile, when the calibration is performed, the controller 110 may compare the coordinates of the calculated line turn and the coordinates of the light source corresponding to the glint. The coordinates of the calculated gaze direction can be corrected based on the coordinates of the light source corresponding to the glint. As a result, the error between the coordinate of one point calculated according to the direction in which the user is gazing and the coordinate corresponding to the direction in which the user actually gazes is small, and the coordinates of one point in the vehicle more accurately according to the direction Can be detected.

한편 상기 적어도 하나의 광원은 상기 디스플레이부(130) 상의 적어도 일 지점에 형성될 수 있다. 예를 들어 상기 적어도 하나의 광원은 사용자가 자주 응시하는 화상 정보가 표시되는 디스플레이부(130) 상의 일 영역 또는 상기 일 영역의 주변에 형성된 것일 수 있다. 그리고 상기 사용자가 자주 응시하는 화상 정보는, 주행 정보와 같이 차량의 운행에 관련된 정보일 수 있다. 즉, 상기 적어도 하나의 광원은 주행 정보가 표시되는 디스플레이부(130) 상의 일 영역에 형성될 수 있으며, 이러한 경우 제어부(110)는 사용자가 상기 주행 정보를 응시할 때마다 상기 교정 과정이 수행되도록 함으로써, 상기 교정 과정이 보다 자주 수행되도록 할 수도 있다. The at least one light source may be formed on at least one point on the display unit 130. For example, the at least one light source may be formed on one side of the display unit 130 on which the image information frequently viewed by the user is displayed, or around one side of the one side. The image information frequently viewed by the user may be information related to the driving of the vehicle such as driving information. That is, the at least one light source may be formed in one area on the display unit 130 on which the driving information is displayed. In this case, the control unit 110 performs the calibration process each time the user gazes at the driving information , The calibration procedure may be performed more frequently.

한편, 상술한 바와 같이 본 발명의 실시 예에 따른 차량 제어 장치(100)는, 사용자로부터 명시적인 별도의 입력을 인가받지 않더라도, 사용자가 기 설정된 기준 좌표에 해당되는 지점(광원이 형성된 지점)을 응시하고 있는지 여부를 감지할 수 있다. 따라서 주행 정보가 표시되는 디스플레이부(130) 상의 일 영역에 상기 광원이 형성되는 경우, 제어부(110)는 사용자가 상기 표시되는 주행 정보를 응시할 때에, 상기 별도의 입력이 없더라도 사용자가 상기 주행 정보를 보고 있음을 감지하고 바로 교정 과정을 수행할 수 있다. 따라서 본 발명은 사용자가 주행 정보를 응시할 때에 상기 교정이 이루어지더라도 이를 사용자가 의식하지 못하도록 할 수 있다. As described above, the vehicle control apparatus 100 according to the embodiment of the present invention can be configured such that a point (a point at which a light source is formed) corresponding to a predetermined reference coordinate You can detect whether you are staring. Accordingly, when the light source is formed in one area of the display unit 130 on which the driving information is displayed, the control unit 110 allows the user to input the driving information, even if there is no additional input, It can detect that it is reporting and can perform the calibration process immediately. Therefore, the present invention can prevent the user from being conscious of the correction even when the user gazes at the running information.

이하에서는 이와 같이 구성된 차량 제어 장치(100)에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. Hereinafter, embodiments related to a control method that can be implemented in the vehicle control apparatus 100 constructed as above will be described with reference to the accompanying drawings. It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

한편, 상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 차량 제어 장치(100)의 동작 제어, 또는 제어 방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 차량 제어 장치(100)의 동작 제어, 또는 제어 방법은 상기 메모리(120)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 차량 제어 장치(100) 상에서 구현될 수 있다. At least some of the components may operate in cooperation with each other to implement the operation control or control method of the vehicle control apparatus 100 according to the various embodiments described below. The operation control or control method of the vehicle control apparatus 100 may be implemented on the vehicle control apparatus 100 by driving at least one application program stored in the memory 120. [

우선 도 2a는 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 자동으로 교정이 수행되도록 하는 동작 과정을 도시한 흐름도다. 그리고 도 2b는 상기 본 발명의 실시 예에 따른 차량 제어 장치(100)에서 글린트의 중심 좌표 동공의 중심 좌표가 기 설정된 거리 이하인 경우를 설명하기 위한 개념도이다. 2A is a flowchart showing an operation procedure for automatically performing calibration in the vehicle control apparatus 100 according to the embodiment of the present invention. And FIG. 2B is a conceptual diagram for explaining a case where the center coordinates of the central coordinate pupil of the glint in the vehicle control apparatus 100 according to the embodiment of the present invention is less than a predetermined distance.

먼저 도 2a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 차량의 구동이 시작될 때에, 광원부(170)에 포함된 적어도 하나의 광원 및 카메라부(160)에 포함된 적어도 하나의 카메라를 활성화시킬 수 있다. 예를 들어 상기 차량의 구동은 상기 차량에 시동이 걸릴 때를 의미할 수 있다. 즉 상기 차량에 시동이 걸리면, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 전원이 오프(off)된 상태에서 전원이 온(on)된 상태로 전환될 수 있다. 그리고 카메라부(160)에 구비된 적어도 하나의 카메라를 통해 사용자의 눈 영상을 센싱할 수 있다(S200). 여기서 상기 사용자는, 운전석에 착석한 사람일 수 있으며, 따라서 상기 적어도 하나의 카메라는 상기 운전석에 착석한 사람의 눈 부분의 영상을 획득하기 위한 것일 수 있다. 2A, the control unit 110 of the vehicle control device 100 according to the embodiment of the present invention includes at least one light source included in the light source unit 170 and a camera unit 160 (Not shown). For example, the driving of the vehicle may mean when the vehicle is started. That is, when the vehicle is started, the vehicle control apparatus 100 according to the embodiment of the present invention can be switched from a power-off state to a power-on state. The user's eye image can be sensed through at least one camera provided in the camera unit 160 (S200). Here, the user may be a person who is seated in the driver's seat, so that the at least one camera may be for acquiring an image of an eye part of a person seated in the driver's seat.

한편 상기 S200 단계에서 사용자의 눈 영상이 획득되면, 제어부(110)는 센싱된 영상으로부터, 사용자의 동공에 해당되는 영역 및, 상기 광원부(170)의 광원에 의해 형성된 글린트에 해당되는 영역을 검출할 수 있다(S202). 그리고 상기 검출된 동공 영역 및 상기 글린트 영역으로부터, 상기 동공 영역의 중심 좌표인 제1 좌표를 산출하고, 상기 글린트 영역으로부터 상기 글린트 영역의 중심 좌표인 제2 좌표를 산출할 수 있다(S204). Meanwhile, when the eye image of the user is obtained in step S200, the controller 110 detects a region corresponding to the pupil of the user and an area corresponding to the glint formed by the light source of the light source unit 170 from the sensed image (S202). A first coordinate, which is the center coordinate of the pupil region, is calculated from the detected pupil region and the glint region, and a second coordinate, which is the center coordinate of the glint region, is calculated from the glint region (S204 ).

한편 상기 S204 단계에서 상기 동공의 중심 좌표인 제1 좌표와, 상기 글린트의 중심 좌표인 제2 좌표가 산출되면, 제어부(110)는 상기 제1 좌표와 제2 좌표 사이의 거리를 산출할 수 있다. 그리고 산출된 거리와 기 설정된 거리를 비교하여, 상기 글린트의 중심 좌표(제2 좌표)가 동공의 중심(제1 좌표)으로부터 기 설정된 거리 이내에 있는지 여부를 판단할 수 있다(S206). If the first coordinate, which is the center coordinate of the pupil, and the second coordinate, which is the center coordinate of the glint, are calculated in step S204, the controller 110 may calculate the distance between the first coordinate and the second coordinate have. Then, the calculated distance is compared with a preset distance to determine whether the center coordinate (second coordinate) of the glint is within a predetermined distance from the center (first coordinate) of the pupil (S206).

여기서 상기 기 설정된 거리는 다양한 방법에 따라 결정될 수 있다. 예를 들어 상기 기 설정된 거리는, 다양한 실험을 통해 결정된 허용 오차 범위에 따른 것일 수 있다. 따라서 사용자가 상기 광원이 형성된 영역을 바로 응시하지 않는 경우라고 할지라도, 상기 주행 정보와 같이 특정 화상 정보가 표시되는 디스플레이부(130) 상의 일 영역 내의 어느 지점을 응시하더라도 제어부(110)는 사용자가 미리 지정된 영역, 즉 상기 광원이 형성된 영역을 응시하는 것으로 판단할 수 있다. The predetermined distance may be determined according to various methods. For example, the predetermined distance may be in accordance with a tolerance range determined through various experiments. Accordingly, even if the user does not gaze directly at the area where the light source is formed, even if the user gazes at a certain point in one area of the display unit 130 on which specific image information such as the driving information is displayed, It can be determined that the preliminarily designated area, that is, the area where the light source is formed, is gazed.

반면 상기 기 설정된 거리는, 사용자의 카파각(kappa angle)을 고려하여 결정될 수 있다. 여기서 카파각이라는 것은 각막의 중심으로부터 주시 물체에 이르는 주시선과, 동공의 중심과 사용자의 안구 중심(예 : 안구의 회선점)을 잇는 광축이 각막의 정점에서 이루는 각을 의미한다. 이에 따라 카메라를 통해 감지되는 동공의 중심과 안구의 중심(회선점)으로부터 산출되는 광축에 따른 일 지점의 좌표와, 실제 사용자가 보고 있는 응시 방향, 즉 주시선이 향하는 방향에 따른 지점의 좌표는 서로 달라질 수 있다. On the other hand, the predetermined distance may be determined in consideration of the kappa angle of the user. Here, the kappa angle refers to the angle formed by the principal line extending from the center of the cornea to the object of interest and the optical axis connecting the center of the pupil and the center of the eye of the user (for example, the eye line point) at the apex of the cornea. Accordingly, the coordinate of one point along the optical axis calculated from the center of the pupil sensed by the camera and the center of eyeball (line point) and the coordinates of the point along the gaze direction of the actual user, They can be different from each other.

이에 따라 본 발명은, 상기 카파각을 고려하여 상기 동공의 중심(제1 좌표)으로부터 기 설정된 거리 내에 해당되는 영역을 형성할 수 있다. 예를 들어 본 발명은, 사용자로부터 카파각을 입력받을 수 있으며, 카파각이 입력되면 그에 따라 상기 기 설정된 거리 내에 해당되는 영역을 설정할 수 있다. 그리고 상기 형성된 영역에 상기 글린트의 중심(제2 좌표)이 위치하는 경우, 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다. Accordingly, the present invention can form an area corresponding to a predetermined distance from the center (first coordinate) of the pupil in consideration of the kappa angle. For example, the present invention can input a kappa angle from a user, and when a kappa angle is input, the corresponding region can be set within the predetermined distance. When the center of the glint (second coordinate) is located in the formed region, the user may determine that the user is gazing at the light source corresponding to the glint.

도 2b는 이처럼 글린트를 포함하는 사용자의 눈 영상이 센싱된 예들을 보이고 있는 도면이다. FIG. 2B is a diagram showing examples in which a user's eye image including a glint is sensed.

먼저 도 2b의 (a)에서 보이고 있는 바와 같은 눈 영상이 센싱되는 경우, 제어부(110)는 센싱된 영상으로부터 동공의 중심 좌표(210)를 제1 좌표로 산출할 수 있다. 그리고 상기 센싱된 눈 영상에 포함된 글린트(230)로부터 글린트의 중심 좌표(220)를 제2 좌표로 산출할 수 있다. 또한 제어부(110)는 상기 제1 좌표로부터 이격된 거리가 기 설정된 거리 이내에 해당되는 영역인 임계 영역(250)을 결정할 수 있다.First, when the eye image as shown in FIG. 2B is sensed, the controller 110 may calculate the center coordinates 210 of the pupil from the sensed image as a first coordinate. The center coordinate 220 of the glint from the glint 230 included in the sensed eye image can be calculated as the second coordinate. Also, the controller 110 may determine the critical region 250, which is a region within a predetermined distance from the first coordinate.

이처럼 제1 좌표(210)와 제2 좌표(220)가 산출되고, 상기 임계 영역(250)이 결정되는 경우, 제어부(110)는 상기 제2 좌표(220)가 상기 임계 영역(250) 내에 위치하는지 여부를 검출할 수 있다. 그리고 도 2b의 (a)에서 보이고 있는 바와 같이, 상기 제2 좌표(220)가 상기 임계 영역(250) 내에 위치하지 않는 경우라면, 제어부(110)는 상기 S206 단계에서, 사용자가 상기 글린트(230)에 대응되는 광원을 응시하고 있지 않다고 판단할 수 있다. When the first coordinate 210 and the second coordinate 220 are calculated and the critical region 250 is determined, the controller 110 determines that the second coordinate 220 is located within the critical region 250 Or not. If the second coordinate 220 is not located in the critical region 250 as shown in FIG. 2B, the controller 110 determines whether the user has selected the glint It is determined that the light source corresponding to the light source 230 is not staring.

한편 상기 S206 단계의 판단 결과에 따라, 사용자가 현재 광원이 형성된 영역을 응시하고 있지 않은 것으로 판단되면, 제어부(110)는 다시 S200 단계로 진행하여 사용자의 눈 영상을 센싱할 수 있다. 그리고 상기 S202 단계 내지 S206 단계를 반복하여, 사용자가 현재 광원이 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다. If it is determined in step S206 that the user is not gazing at the area where the current light source is formed, the controller 110 may proceed to step S200 to sense the user's eye image. Then, steps S202 to S206 may be repeated to determine whether the user is gazing at the area where the current light source is formed.

한편, 상기 도 2b에서 보이고 있는 바와 같이, 상기 제2 좌표(220)가 상기 임계 영역(250) 내에 위치하는 경우라면, 이는 상기 글린트(230)가 사용자의 동공 중심(210)으로부터 기 설정된 거리 내에 형성된 것일 수 있다. 따라서 제어부(110)는 사용자가 상기 글린트(230)에 대응되는 광원이 형성된 영역을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 광원이 형성된 영역의 좌표 정보를 이용하여 교정(calibration)을 수행할 수 있다(S208). 2B, if the second coordinate 220 is located within the critical region 250, the glint 230 may be positioned at a predetermined distance from the pupil center 210 of the user 210, As shown in FIG. Accordingly, the controller 110 can determine that the user is gazing at a region where the light source corresponding to the glint 230 is formed. Then, the controller 110 may perform calibration using the coordinate information of the region where the light source is formed (S208).

상기 S208 단계에서는, 상기 광원이 형성된 영역의 좌표를, 상기 교정을 위한 기준 좌표로 이용할 수 있다. 여기서 상기 광원이 형성된 영역의 좌표 정보는 미리 산출되어 메모리(120)에 저장된 정보일 수 있다. 즉, 제어부(110)는 상기 S206 단계의 판단 결과 사용자가 글린트(230)의 중심 좌표(220)가 동공의 중심 좌표(210)으로부터 기 설정된 거리 이내에 있는 경우, 명시적인 별도의 입력이 없더라도, 사용자가 미리 지정된 특정 지점(상기 광원이 형성된 영역)을 바라보고 있는 것으로 감지할 수 있다. 따라서 상기 미리 지정된 특정 지점의 좌표를, 현재 사용자가 응시하는 방향을 산출한 결과에 따른 지점의 좌표로서 보정할 수 있다. In step S208, the coordinates of the region where the light source is formed may be used as reference coordinates for the calibration. The coordinate information of the region where the light source is formed may be calculated in advance and stored in the memory 120. That is, when the user determines that the center coordinate 220 of the glint 230 is within a predetermined distance from the center coordinate 210 of the pupil as a result of the determination in step S206, It can be detected that the user is looking at a predetermined point (an area where the light source is formed). Therefore, the coordinates of the previously specified specific point can be corrected as the coordinates of the point corresponding to the result of calculating the direction in which the current user is gazing.

그리고 상기 S208 단계에서 교정이 완료되면 다시 S200 단계로 진행하여 사용자의 눈 영상을 센싱할 수 있다. 그리고 상기 S202 단계 내지 S206 단계를 반복하여, 사용자가 현재 광원이 형성된 영역을 응시하고 있는지 여부를 판단하고 그 결과에 따라 다시 S208 단계에서 재교정을 수행할 수 있다. When the calibration is completed in step S208, the process proceeds to step S200 and the user's eye image can be sensed. Then, steps S202 to S206 are repeated to determine whether the user is gazing at the area where the light source is currently formed, and the re-calibration may be performed again in step S208.

한편 본 발명은 사용자가 의식하지 않은 상태에서 상기 교정 과정이 진행될 수 있도록, 상기 광원이 사용자가 자주 응시하는 디스플레이부(130) 상의 일 영역에 형성될 수 있음을 언급한 바 있다. 그리고 상기 사용자가 자주 응시하는 디스플레이부(130) 상의 일 영역은, 주행 정보와 같이 차량의 운행에 관련된 중요 정보를 표시하는 영역일 수 있다. 또한 본 발명은 상술한 바와 같이 글린트의 중심 좌표와 동공의 중심 좌표 사이의 거리에 따라 사용자가 상기 글린트에 대응되는 광원이 구비된 영역을 응시하는 것으로 판단할 수 있으므로, 사용자에게 별도의 입력을 요구하지 않는다. 따라서 본 발명은 차량이 주행 중인 상태에서, 사용자가 주행 정보를 응시하는 경우에 상기 교정 과정을 수행할 수도 있다. Meanwhile, the present invention has been described in that the light source can be formed in one area on the display unit 130 where the user frequently looks for the calibration process in a state in which the user is unconscious. One area on the display unit 130 frequently visited by the user may be an area for displaying important information related to the driving of the vehicle, such as driving information. Further, according to the present invention, as described above, it is possible to determine that the user gazes at a region provided with the light source corresponding to the glint according to the distance between the center coordinate of the glint and the center coordinate of the pupil. . Therefore, the present invention may perform the above-described calibration process when the user gazes at the running information while the vehicle is running.

한편 상술한 도 2b에서는 단지 사용자의 한쪽 눈에 형성된 글린트로부터 산출되는 좌표 정보와 동공으로부터 산출되는 좌표 정보에 근거하여, 사용자가 글린트에 대응되는 광원을 응시하는 것으로 판단하는 것을 예로 들었으나, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 얼마든지 사용자의 양안 영상 모두를 이용하여 사용자가 상기 글린트에 대응되는 광원을 응시하는지 여부를 판단할 수도 있음은 물론이다. On the other hand, in FIG. 2B, it is assumed that the user looks at the light source corresponding to the glint based on the coordinate information calculated from the glint formed on one eye of the user and the coordinate information calculated from the pupil. However, It is needless to say that the vehicle control apparatus 100 according to the embodiment of the present invention may determine whether the user gazes at the light source corresponding to the glint by using all of the user's binocular images.

예를 들어 상기 S200 단계에서 획득되는 사용자의 눈 영상은, 사용자의 양안 영상을 모두 일 수 있다. 이러한 경우 제어부(110)는 상기 획득된 양안의 영상으로부터, 상기 양안 각각에 형성된 글린트의 중심 좌표와 동공의 중심 좌표 사이의 이격 거리들을 산출할 수 있다. 그리고 상기 양안 각각으로부터 산출된 이격 거리들 중 적어도 하나에 따라 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다. 즉, 제어부(110)는 상기 산출된 이격 거리들 중 어느 하나만이 상기 기 설정된 거리보다 짧은 경우에도 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다. For example, the eye image of the user obtained in the step S200 may be all of the user's binocular images. In this case, the controller 110 may calculate distances between the center coordinates of the glint formed in each of the binocular and the pupil center coordinates, from the images of the obtained binocular images. And may determine that the user is staring at the light source corresponding to the glint according to at least one of the distances calculated from each of the two eyes. That is, the controller 110 may determine that the user is gazing at the light source corresponding to the glint even if only one of the calculated distance distances is shorter than the predetermined distance.

그러나 이와는 달리, 제어부(110)는 양안 각각으로부터 산출된 이격 거리들이 모두 기 설정된 거리보다 짧은 경우에 한하여 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다. 이는 사용자의 자세(예를 들어 두부가 향하는 방향) 등에 따라 사용자의 양안에 비치는 글린트의 위치가 서로 조금씩 다를 수 있기 때문이다. 또는 사용자의 눈 특성에 따라 양안이 주시하는 방향이 서로 평행하지 않을 수도 있기 때문이다. 따라서 제어부(110)는 상기 양안의 각 동공 중심으로부터, 상기 양안에 비치는 각 글린트의 중심이 모두 기 설정된 거리 이내인 경우에 한하여, 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다. However, the control unit 110 may determine that the user is gazing at the light source corresponding to the glint only when the distance calculated from each of the two eyes is shorter than the predetermined distance. This is because the positions of the glints in the user's eyes may be slightly different from each other depending on the posture of the user (for example, the head direction). Or the direction in which the binocular eye is viewed may not be parallel to each other depending on the eye characteristics of the user. Therefore, the control unit 110 determines that the user is gazing at the light source corresponding to the glint, only when the center of each glint reflected in the both eyes is within a predetermined distance from each pupil center of the binocular It is possible.

한편 상술한 설명에서는, 상기 주행 정보가 표시되는 디스플레이부(130) 상의 일 영역에 하나의 광원이 구비되고, 상기 광원으로부터 형성되는 글린트에 근거하여 사용자가 상기 주행 정보를 응시하고 있는지 여부를 판단하는 것을 설명하였으나, 이는 본 발명의 일 실시 예 일 뿐, 이에 본 발명이 한정되지 않음은 물론이다. 즉, 상기 주행 정보가 표시되는 디스플레이부(130) 상에 복수의 광원이 구비될 수도 있다. 그리고 이처럼 복수의 광원이 구비되는 경우, 제어부(110)는 상기 복수의 광원 각각으로부터 형성되는 복수의 글린트 각각의 위치 관계에 따라 상기 동공의 중심 좌표와 비교할 좌표 정보를 산출할 수도 있다. In the above description, one light source is provided in one area on the display unit 130 on which the traveling information is displayed, and it is determined whether or not the user is gazing at the traveling information based on the glint formed from the light source However, it should be understood that the present invention is not limited thereto. That is, a plurality of light sources may be provided on the display unit 130 on which the driving information is displayed. When a plurality of light sources are provided as described above, the controller 110 may calculate coordinate information to be compared with the center coordinates of the pupil according to the positional relationship of each of the plurality of glints formed from each of the plurality of light sources.

도 3a는 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 상기 동공의 중심 좌표와 비교할 좌표 정보가 생성되는 동작 과정을 도시한 것이다. 또한 도 3b는 상기 도 3a에서 생성되는 좌표 정보와 동공의 중심 좌표에 근거하여 사용자가 주행 정보가 표시되는 영역을 응시하는지 여부를 판단하는 예를 설명하기 위한 개념도이다. 3A shows an operation process of generating coordinate information to be compared with the center coordinates of the pupil based on the glints formed from a plurality of light sources in the vehicle control apparatus 100 according to the embodiment of the present invention. FIG. 3B is a conceptual diagram for explaining an example in which the user determines whether or not the user gazes at a region in which driving information is displayed based on the coordinate information generated in FIG. 3A and the center coordinates of the pupil.

우선 도 3a를 참조하여 살펴보면, 제어부(110)는 상기 도 2a의 S200 단계 내지 S202 단계에서, 사용자의 눈 영상에 포함된 복수의 글린트를 검출할 수 있다. 그리고 사용자의 눈 영상에 포함된 동공 영역을 검출할 수 있다. 3A, the controller 110 may detect a plurality of glints included in a user's eye image in steps S200 to S202 of FIG. 2A. The pupil region included in the user's eye image can be detected.

이러한 상태에서 제어부(110)는 상기 검출된 동공 영역의 중심 좌표를 산출할 수 있다(S300). 그리고 상기 복수의 글린트 각각으로부터 각 글린트의 중심 좌표들을 산출할 수 있다(S302). In this state, the control unit 110 may calculate the center coordinates of the detected pupil region (S300). The center coordinates of each glint may be calculated from each of the plurality of glints (S302).

한편 이처럼 복수의 글린트 각각으로부터 중심 좌표들이 산출되면, 제어부(110)는 산출된 글린트 중심 좌표들 사이의 위치 관계에 따라 상기 산출된 동공의 중심 좌표, 즉 제1 좌표와 비교할 좌표 정보, 즉 제2 좌표를 산출할 수 있다. 예를 들어 제어부(110)는 상기 글린트 중심 좌표들을 서로 잇는 직선을 생성하거나 또는 상기 글린트 중심 좌표들을 꼭지점으로 하는 다각형을 생성할 수 있다. 상기 생성된 직선 또는 다각형의 중심에 대응되는 좌표를 상기 제1 좌표와 비교할 상기 제2 좌표로 산출할 수 있다. 그리고 상기 제2 좌표가 산출되면, 제어부(110)는 도 2a의 S206 단계로 진행하여 상기 제1 좌표와 제2 좌표 사이의 거리에 따라 사용자가 상기 기 설정된 특정 지점, 즉 상기 복수의 광원이 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다. On the other hand, when the center coordinates are calculated from each of the plurality of glints, the controller 110 calculates the coordinates of the center of the calculated pupil, that is, the coordinate information to be compared with the first coordinate, that is, The second coordinate can be calculated. For example, the control unit 110 may generate a straight line connecting the glint center coordinates or a polygon having the glint center coordinates as vertices. A coordinate corresponding to the center of the generated straight line or polygon can be calculated as the second coordinate to be compared with the first coordinate. When the second coordinate is calculated, the controller 110 proceeds to step S206 of FIG. 2A. In step S206, the controller 110 determines whether the user has determined the predetermined point, that is, the plurality of light sources is formed according to the distance between the first coordinate and the second coordinate It is possible to judge whether or not the region is being gazed at.

도 3b는 이처럼 복수의 글린트 각각으로부터 형성된 글린트들과, 상기 글린트들의 중심 좌표들로부터 산출되는 제2 좌표의 예와, 상기 제2 좌표와 상기 제1 좌표 사이의 이격 거리에 따라 사용자가 상기 글린트들에 대응되는 영역을 응시하고 있는 것으로 판단하는 예를 설명하기 위한 것이다. FIG. 3B illustrates an example of the second coordinates calculated from the center coordinates of the glints, the glints formed from each of the plurality of glints, and the distance between the second coordinate and the first coordinate, And judges that the region corresponding to the glints is being gazed at.

우선 도 3b의 (a)를 참조하여 살펴보면, 도 3b의 (a)는 두 개의 글린트로부터 산출된 글린트 중심 좌표들(300, 310)의 예를 보이고 있는 것이다. 도 3b의 (a)에서 보이고 있는 바와 같은 눈 영상이 센싱되는 경우, 제어부(110)는 상기 글린트 중심 좌표들(300, 310)을 잇는 가상의 직선을 생성할수 있으며, 생성된 직선의 중심 좌표를 상기 제2 좌표로 산출할 수 있다. 그리고 도 2의 S206 단계를 통해 동공의 중심 좌표인 제1 좌표(210)와, 상기 산출된 제2 좌표(320) 사이의 거리에 따라 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다. 그리고 도 3b의 (a)에서 보이고 있는 바와 같이 상기 제1 좌표(210)가 제2 좌표(320) 사이의 거리가 기 설정된 거리를 초과하는 경우 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있지 않은 것으로 판단할 수 있다. 그러면 제어부(110)는 다시 도 2의 S200 단계로 진행하여 사용자의 눈 영상을 다시 센싱할 수 있다. Referring to FIG. 3 (a), FIG. 3 (a) shows an example of the glint center coordinates 300 and 310 calculated from two glints. When the eye image as shown in FIG. 3 (b) is sensed, the controller 110 can generate a virtual straight line connecting the glide center coordinates 300 and 310, and the center coordinates of the generated straight line Can be calculated as the second coordinates. In step S206 of FIG. 2, whether the user gazes at the area where the two glints are formed is determined according to the distance between the first coordinate 210, which is the center coordinate of the pupil, and the second coordinate 320, Can be determined. 3 (b), when the distance between the first coordinate 210 and the second coordinate 320 exceeds a predetermined distance, the user gazes at the area where the two glints are formed It can be judged that it is not. Then, the control unit 110 proceeds to step S200 of FIG. 2 to again sense the eye image of the user.

한편 도 3b의 (b)는 다시 센싱된 눈 영상의 예를 보이고 있는 것으로, 도 3b의 (a)에서 보이고 있는 상태에서, 사용자가 조금 더 아래 방향을 바라보는 예를 도시한 것이다. 이러한 경우 역시 제어부(110)는 상기 도 3a에서 도시한 과정들 및 상기 도 2의 S206 단계를 거쳐, 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다. 따라서 도 3b의 (b)에서 보이고 있는 바와 같이 상기 제1 좌표(210)가 제2 좌표(320) 사이의 거리가 기 설정된 거리를 초과하는 경우 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있지 않은 것으로 판단할 수 있다. 그러면 제어부(110)는 다시 도 2의 S200 단계로 진행하여 사용자의 눈 영상을 다시 센싱할 수 있다. On the other hand, FIG. 3B shows an example of the sensed eye image, and shows an example in which the user looks further downward in the state shown in FIG. 3B. In this case, the controller 110 can also determine whether the user is looking at the region where the two glints are formed through the processes shown in FIG. 3A and FIG. 2, S206. 3B, when the distance between the first coordinate 210 and the second coordinate 320 exceeds a preset distance, the user gazes at the region where the two glints are formed It can be judged that it is not. Then, the control unit 110 proceeds to step S200 of FIG. 2 to again sense the eye image of the user.

한편 도 3b의 (c)는 다시 센싱된 눈 영상의 예를 보이고 있는 것으로, 도 3b의 (b)에서 보이고 있는 상태에서, 사용자가 더 아래 방향을 응시하는 예를 도시한 것이다. 이처럼 사용자가 더 아래 방향을 응시하는 경우 그에 따라 도 3b의 (c)에서 보이고 있는 바와 같이, 동공의 중심(제1 좌표 : 210)은 보다 아래쪽으로 이동하게 된다. 그리고 도 3b의 (c)에서 보이고 있는 바와 같이, 상기 동공의 중심(제1 좌표 : 210)과 각 글린트의 중심 좌표들(300, 310)을 잇는 직선으로부터 산출되는 제2 좌표(320)가 기 설정된 거리 이내인 경우 제어부(110)는 상기 도 2의 S206 단계에서 사용자가 상기 글린트들이 형성된 영역을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 도 2의 S208 단계에서 상기 글린트들에 대응되는 광원들의 좌표들로부터 기준 좌표를 산출하고, 산출된 기준 좌표에 근거하여 교정(calibration)을 수행할 수 있다. On the other hand, FIG. 3 (c) shows an example of the sensed eye image, and shows an example in which the user gazes downward in the state shown in FIG. 3 (b). Thus, when the user gazes further downward, the pupil center (first coordinate 210) moves downward as shown in (c) of FIG. 3b. As shown in FIG. 3 (c), a second coordinate 320 calculated from a straight line connecting the center of the pupil (first coordinate 210) and the center coordinates (300, 310) of each glint is If it is within the predetermined distance, the controller 110 may determine that the user is gazing at the area where the glints are formed in step S206 of FIG. In step S208 of FIG. 2, the controller 110 may calculate reference coordinates from the coordinates of the light sources corresponding to the glints, and perform calibration based on the calculated reference coordinates.

한편 이처럼 복수의 광원으로부터 복수의 글린트가 형성되는 경우, 상기 기준 좌표는 상기 복수의 광원의 위치 관계에 따라 산출되는 좌표일 수 있다. 즉, 제어부(110)는 상기 복수의 광원 각각의 좌표를 서로 잇는 직선을 생성하거나 또는 상기 복수의 광원 각각의 좌표를 꼭지점으로 하는 다각형을 생성할 수 있다. 그리고 상기 생성된 직선 또는 다각형의 중심에 대응되는 좌표를 기준 좌표로 산출할 수 있다. 여기서 상기 복수의 광원 각각의 좌표는, 미리 조사되거나 또는 산출된 것으로 상기 메모리(120)에 미리 저장되어 있을 수 있다. Meanwhile, when a plurality of glints are formed from a plurality of light sources, the reference coordinates may be coordinates calculated according to the positional relationship of the plurality of light sources. That is, the controller 110 may generate a straight line connecting the coordinates of each of the plurality of light sources, or may generate a polygon having the coordinates of each of the plurality of light sources as vertexes. The coordinates corresponding to the center of the generated straight line or polygon can be calculated as reference coordinates. Here, the coordinates of each of the plurality of light sources may be previously stored in the memory 120 beforehand or calculated.

그러므로 제어부(110)는 상기 도 3b의 (c)에서 보이고 있는 바와 같이, 두 개의 글린트로부터 생성되는 제2 좌표가, 상기 동공의 중심인 제1 좌표로부터 기 설정된 거리에 있는 것으로 검출되면, 사용자가 상기 두 개의 글린트 각각에 대응되는 광원의 좌표들을 잇는 직선의 중심을 바라보고 있는 것으로 판단할 수 있다. 따라서 제어부(110)는 메모리(120)로부터 상기 글린트 각각에 대응되는 광원들의 좌표 정보를 독출하고, 독출된 좌표 정보들을 잇는 가상의 직선의 중심 좌표를 산출할 수 있으며, 산출된 지점의 좌표를 기준 좌표로, 상기 교정(calibration)을 수행할 수 있다. Therefore, as shown in (c) of FIG. 3B, when it is detected that the second coordinate generated from the two glints is at a predetermined distance from the first coordinate, which is the center of the pupil, Can be determined to be looking at the center of a straight line connecting the coordinates of the light sources corresponding to the two glints. Therefore, the control unit 110 reads the coordinate information of the light sources corresponding to each of the glints from the memory 120, calculates the coordinates of a virtual straight line connecting the read coordinate information, With the reference coordinates, the calibration can be performed.

한편 상술한 도 2a 내지 도 3b의 설명에서는, 디스플레이부(130) 상의 일 영역에 적어도 하나의 광원이 구비되고, 상기 적어도 하나의 광원으로부터 형성되는 적어도 하나의 글린트에 근거하여, 사용자가 상기 일 영역을 응시하고 있는지 여부를 판단하는 것을 설명하였다. 그러나 상기 적어도 하나의 광원이 구비되는 디스플레이부(130) 상의 영역은 하나 뿐만 아니라 복수 개일 수도 있음은 물론이다. 이러한 경우 제어부(110)는 서로 다른 디스플레이부(130) 상의 각 영역을 사용자가 응시하면, 사용자가 응시하는 방향에 따라 산출된 좌표와, 해당 영역에 구비된 적어도 하나의 광원의 좌표를 비교하여 교정(calibration)을 수행할 수 있다. 이에 따라 본 발명에서는 특정 방향(예를 들어 정면) 뿐만 아니라, 다른 방향에 대해서도 사용자가 응시하는 방향에 따라 산출되는 좌표값의 보정, 즉 교정(calibration)을 수행할 수 있다. 따라서 복수의 서로 다른 방향 각각에 대한 교정이 수행될 수도 있음은 물론이다. 2A to 3B, at least one light source is provided in one area on the display unit 130, and based on at least one glint formed from the at least one light source, It has been described that it is judged whether or not the region is gazing. However, it is needless to say that the area on the display unit 130 on which the at least one light source is provided may be one as well as plural. In this case, when the user views each area on the different display unit 130, the control unit 110 compares the coordinates calculated according to the direction in which the user gazes and the coordinates of at least one light source provided in the corresponding area, calibration can be performed. Accordingly, in the present invention, it is possible to perform correction, i.e., calibration, of a coordinate value calculated in accordance with a direction in which the user gazes not only in a specific direction (for example, frontal view) but also in other directions. Thus, of course, calibration for each of a plurality of different directions may be performed.

한편 이처럼 복수의 서로 다른 디스플레이부(130) 상의 영역에 각각 적어도 하나의 광원이 구비되는 경우, 카메라부(160)는 상기 디스플레이부(130) 상의 각 영역에 구비된 각각의 광원에 대응되는 복수의 카메라를 구비할 수 있다. 이러한 경우 각각의 카메라는, 특정 디스플레이부(130) 영역에 구비된 광원에 대응될 수 있으며, 센싱되는 눈 영상으로부터 형성된 글린트가 대응되는 광원으로부터 형성된 것인지 그렇지 않은지를 구분할 수도 있다. If at least one light source is provided on each of the plurality of different display units 130, the camera unit 160 may include a plurality of light sources corresponding to the respective light sources provided in the respective regions on the display unit 130 A camera may be provided. In this case, each camera may correspond to a light source provided in the specific display unit 130, and may distinguish whether the glint formed from the sensed eye image is formed from a corresponding light source.

즉, 각 디스플레이부(130) 상의 영역에 구비되는 광원들은 각각 서로 다른 파장을 가진 광을 발광하거나, 서로 다른 빈도로 점멸하는 광원일 수 있다. 그리고 각 광원에 대응되는 카메라는 특정 파장의 광원만을 검출하거나 또는 특정 빈도로 점멸하는 광원만을 검출할 수 있다. 이에 따라 각 카메라는 사용자의 눈 영상에 포함된 복수의 글린트로부터 대응되는 광원으로부터 형성되는 글린트만을 식별하여 검출할 수도 있다. That is, the light sources provided in the areas on the respective display units 130 may be light sources that emit lights having different wavelengths or that are flickered at different frequencies. The camera corresponding to each light source can detect only a light source of a specific wavelength or detect only a light source that flickers at a specific frequency. Accordingly, each camera can detect and detect only the glint formed from the corresponding light source from the plurality of glints included in the eye image of the user.

도 4는 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 복수의 광원 각각으로부터 형성되는 글린트들을, 복수의 카메라를 이용하여 구분하여 인식하는 것을 설명하기 위한 개념도이다. Fig. 4 is a conceptual diagram for explaining recognition of the glints formed from each of the plurality of light sources by using a plurality of cameras in the vehicle control apparatus 100 according to the embodiment of the present invention.

우선 도 4의 (a)를 참조하여 살펴보면, 도 4의 (a)는 서로 다른 광원들로부터 형성되는 글린트들이 포함된 눈 영상의 예를 보이고 있는 것이다. 즉, 도 4의 (a)에서 제1 글린트(400)는 디스플레이부(130) 상의 제1 영역에 구비된 제1 광원으로부터 형성되는 글린트이며, 제2 글린트(410)는 디스플레이부(130) 상의 제2 영역에 구비된 제2 광원으로부터 형성되는 글린트일 수 있다. 그리고 상기 제1 광원 및 제2 광원은 서로 점멸되는 빈도가 다르거나, 서로 다른 파장을 가지는 광원일 수 있다. Referring to FIG. 4 (a), FIG. 4 (a) shows an example of an eye image including glints formed from different light sources. 4 (a), the first glint 400 is a glint formed from a first light source provided in a first region on the display unit 130, and the second glint 410 is a glint formed from a display unit 130 may be a glint formed from a second light source provided in a second region on the second substrate 130. [ The first light source and the second light source may be different from each other in frequency of blinking, or they may be light sources having different wavelengths.

한편, 상기 눈 영상은, 상기 제1 광원에 대응되는 제1 카메라 및, 상기 제2 광원에 대응되는 제2 카메라에 동시에 센싱될 수 있다. 예를 들어 상기 제1 카메라는 디스플레이부(130) 상의 제1 영역에 구비된 것일 수 있으며, 제2 카메라는 디스플레이부(130) 상의 제2 영역에 구비된 것일 수 있다. The eye image may be simultaneously sensed by a first camera corresponding to the first light source and a second camera corresponding to the second light source. For example, the first camera may be provided in a first area on the display unit 130, and the second camera may be provided in a second area on the display unit 130.

이러한 상태에서, 상기 제1 카메라 및 제2 카메라는 센싱된 눈 영상으로부터 대응되는 광원으로부터 형성되는 글린트들만을 검출할 수 있다. 이는 상기 글린트가 광원으로부터 발광되는 빛이 사용자의 노출된 동공 및 안구 부분에 반사되어 형성되는 것이므로, 각 광원에서 발광되는 광의 특징을 그대로 가지고 있기 때문이다. In this state, the first camera and the second camera can detect only the glints formed from the corresponding light sources from the sensed eye images. This is because the glint is formed by reflecting the light emitted from the light source on the exposed pupil and the eyeball of the user, and thus has the characteristic of the light emitted from each light source as it is.

따라서 상기 제1 카메라는 제1 광원으로부터 형성되는 제1 글린트(400)만을 검출할 수 있다. 또한 상기 제2 카메라는 제2 광원으로부터 형성되는 제2 글린트(410)만을 검출할 수도 있다. 도 4의 (b) 및 도 4의 (c)는 이처럼 제1 글린트(400) 또는 제2 글린트(410) 만을 구분하여 검출하는 예를 도시한 것이다. Therefore, the first camera can detect only the first glint 400 formed from the first light source. Also, the second camera may detect only the second glint 410 formed from the second light source. 4 (b) and 4 (c) show an example in which only the first glint 400 or the second glint 410 is separately detected.

먼저 도 4의 (b)를 참조하여 살펴보면, 제1 카메라는 검출된 제1 글린트(400)로부터 제1 글린트 중심 좌표(402)를 산출할 수 있다. 그리고 산출된 제1 글린트 중심 좌표(402)가 동공 중심으로부터 산출되는 제1 좌표(210)로부터 기 설정된 거리 이내에 위치하는지 여부를 확인할 수 있다. 따라서 도 4의 (b)에서 보이고 있는 바와 같이, 제1 글린트 중심 좌표(402)의 위치가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하지 않는 경우라면, 제어부(110)는 사용자가 디스플레이부(130) 상의 제1 영역을 응시하고 있지 않은 것으로 판단할 수 있다. First, referring to FIG. 4B, the first camera can calculate the first glint center coordinate 402 from the detected first glint 400. It can be confirmed whether the calculated first glint center coordinate 402 is located within a predetermined distance from the first coordinate 210 calculated from the center of the pupil. 4 (b), if the position of the first glint center coordinate 402 is not located within a predetermined distance from the first coordinate 210, the control unit 110 determines that the user It can be determined that the first region on the display unit 130 is not staring.

반면 도 4의 (c)를 참조하여 살펴보면, 제2 카메라는 검출된 제2 글린트(410)로부터 제2 글린트 중심 좌표(412)를 산출할 수 있다. 그리고 산출된 제2 글린트 중심 좌표(412)가 동공 중심으로부터 산출되는 제1 좌표(210)로부터 기 설정된 거리 이내에 위치하는지 여부를 확인할 수 있다. 따라서 도 4의 (c)에서 보이고 있는 바와 같이, 제2 글린트 중심 좌표(412)의 위치가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하는 경우라면, 제어부(110)는 사용자가 디스플레이부(130) 상의 제2 영역을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 디스플레이부(130) 상의 제2 영역에 구비된 광원, 즉 제2 광원의 기 저장된 좌표 정보를 기준으로, 상기 제2 영역을 응시하는 사용자의 시선 방향에 대한 교정을 수행할 수 있다. On the other hand, referring to (c) of FIG. 4, the second camera can calculate the second glint center coordinate 412 from the detected second glint 410. Then, it can be confirmed whether the calculated second glint center coordinate 412 is located within a predetermined distance from the first coordinate 210 calculated from the center of the pupil. 4C, when the position of the second glint center coordinate 412 is located within a predetermined distance from the first coordinate 210, It can be determined that the user is gazing at the second area on the part 130. Then, the control unit 110 performs a correction on the viewing direction of the user gazing at the second area on the basis of the light source provided in the second area on the display unit 130, that is, the previously stored coordinate information of the second light source .

한편 상술한 도 4의 설명에서는, 디스플레이부(130) 상의 서로 다른 복수의 영역에 각각 서로 다른 광원이 구비되고, 상기 서로 다른 광원 각각에 대응되는 카메라를 이용하여, 상기 디스플레이부(130) 상의 복수의 영역 중 어느 하나의 영역을 응시하는 사용자의 시선을 감지하는 것을 예로 들어 설명하였다. 그러나 이와는 달리 하나의 카메라를 이용하여 상기 복수의 영역 중 어느 하나의 영역을 응시하는 사용자의 시선을 감지할 수도 있음은 물론이다. 4, a plurality of different light sources are provided in different areas on the display unit 130, and a plurality of light sources are provided on the display unit 130 using cameras corresponding to the different light sources, respectively. The user's gaze of the user gazing at one of the regions is detected. However, it is needless to say that it is also possible to detect the user's gaze gazing at any one of the plurality of regions using one camera.

도 5a는 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 사용자의 시선 방향에 따른 교정을 수행하는 흐름도를 나타낸 것이다. FIG. 5A is a flow chart for performing calibration according to a user's gaze direction based on glints formed from a plurality of light sources, in the vehicle control apparatus 100 according to the embodiment of the present invention.

도 5a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 상술한 바와 같이 차량의 구동이 시작될 때에, 적어도 하나의 광원 및 카메라를 활성화시킬 수 있다. 예를 들어 상기 차량의 구동은 상기 차량에 시동이 걸릴 때를 의미할 수 있다. 그리고 활성화된 카메라를 통해 사용자의 눈 영상을 센싱할 수 있다(S500). Referring to FIG. 5A, the controller 110 of the vehicle control device 100 according to the embodiment of the present invention may activate at least one light source and a camera when driving of the vehicle is started as described above. For example, the driving of the vehicle may mean when the vehicle is started. Then, the user's eyes image can be sensed through the activated camera (S500).

상기 S500 단계에서 사용자의 눈 영상이 획득되면, 제어부(110)는 센싱된 영상으로부터, 사용자의 동공에 해당되는 영역 및, 글린트들에 해당되는 영역을 검출할 수 있다. 여기서 상기 글린트들은 디스플레이부(130) 상의 서로 다른 영역에 구비된 복수의 광원으로부터 발광되는 빛들에 의하여 형성되는 것일 수 있다. 그러면 제어부(110)는 상기 검출된 동공 영역으로부터 중심 좌표인 제1 좌표를 산출하고, 상기 각 글린트들의 중심 좌표들을 제2 좌표들로 산출할 수 있다(S502). If the user's eye image is acquired in step S500, the controller 110 may detect an area corresponding to the user's pupil and an area corresponding to the glints from the sensed image. The glints may be formed by light emitted from a plurality of light sources provided in different regions on the display unit 130. Then, the controller 110 calculates a first coordinate, which is a center coordinate, from the detected pupil region, and calculates center coordinates of the respective glints as second coordinates (S502).

한편 상기 S502 단계에서 제2 좌표들이 산출되면, 제어부(110)는 각 제2 좌표들과, 상기 제1 좌표 사이의 이격 거리들을 산출할 수 있다(S506). 그리고 상기 S506 단계에서 산출된 결과에 근거하여 상기 제1 좌표로부터 기 설정된 거리 내에 위치한 제2 좌표가 있는지 여부를 체크할 수 있다(S506). 그리고 상기 S506 단계의 체크 결과, 동공 중심, 즉 제1 좌표로부터 기 설정된 거리 내에 위치한 글린트의 중심 좌표(제2 좌표)가 없는 경우라면, 제어부(110)는 다시 S500 단계로 진행하여 사용자의 눈 영상을 센싱하고, S502 단계 내지 S506 단계로 진행하여 동공 중심(제1 좌표)으로부터 기 설정된 거리 내에 위치한 글린트의 중심 좌표가 있는지 여부를 다시 체크할 수 있다. If the second coordinates are calculated in step S502, the controller 110 may calculate distances between the second coordinates and the first coordinates (S506). In step S506, it is determined whether there is a second coordinate located within a predetermined distance from the first coordinate, based on the result calculated in step S506. If it is determined in step S506 that there is no center coordinate (second coordinate) of the glint located within a predetermined distance from the center of the pupil, i.e., the first coordinate, the control unit 110 proceeds to step S500, It is possible to check again whether or not there is the center coordinate of the glint located within a predetermined distance from the pupil center (first coordinate) in steps S502 to S506.

반면 상기 S506 단계의 체크 결과, 동공 중심, 즉 제1 좌표로부터 기 설정된 거리 내에 위치한 글린트의 중심 좌표(제2 좌표)가 적어도 하나라도 있는 경우라면, 제어부(110)는 상기 동공 중심으로부터 기 설정된 거리 내에 위치한 적어도 하나의 제2 좌표 중, 가장 가까운 글린트에 대응되는 광원의 좌표를 기준으로, 현재 사용자가 응시하는 방향에 대응되는 좌표의 교정을 수행할 수 있다(S508). 이는 동공 중심으로부터 기 설정된 거리 내에 형성된 글린트가 복수 개인 경우, 동공 중심으로부터 보다 가까운 위치에 형성된 글린트가 사용자가 응시하는 영역에 대응되는 디스플레이부(130) 상의 영역에 구비된 광원으로부터 형성된 글린트일 가능성이 보다 높기 때문이다. On the other hand, if it is determined in step S506 that there is at least one center coordinate (second coordinate) of the glint located within a predetermined distance from the pupil center, that is, the first coordinate, The coordinates corresponding to the direction in which the current user is gazing can be calibrated based on the coordinates of the light source corresponding to the closest glint among the at least one second coordinates located within the distance (S508). In the case where a plurality of glints are formed within a predetermined distance from the center of the pupil, the glint formed at a position closer to the center of the pupil becomes a glint formed from a light source provided in an area on the display unit 130, This is because the probability is higher.

도 5b는 상기 도 5a에서 설명한 과정에 따라, 상기 글린트들 중 어느 하나에 대응되는 디스플레이부(130) 상의 일 영역을 응시하는 사용자의 시선을 감지하는 예를 설명하기 위한 개념도이다. 5B is a conceptual view for explaining an example of detecting a user's gaze gazing at one area on the display unit 130 corresponding to one of the glints according to the process described with reference to FIG. 5A.

먼저 도 5b의 (a)를 참조하여 살펴보면, 도 5b의 (a)는 디스플레이부(130) 상의 서로 다른 영역의 광원들로부터 형성된 글린트들을 포함하는 눈 영상의 예를 보이고 있는 것이다. 여기서 상기 글린트들 중 제1 글린트(502), 제2 글린트(512), 제3 글린트(522)는 각각 디스플레이부(130) 상의 서로 다른 영역인 제1 영역, 제2 영역, 제3 영역에 형성된 각 광원으로부터 형성되는 것일 수 있다. 그리고 상기 제2 영역은 사용자의 정면 방향에, 제1 영역 및 제3 영역은 각각 사용자를 기준으로 사용자의 우측 및 좌측에 형성된 디스플레이부(130) 상의 일 영역일 수 있다. Referring to FIG. 5B, (a) of FIG. 5B shows an example of an eye image including glints formed from light sources in different regions on the display unit 130. FIG. Here, the first glint 502, the second glint 512 and the third glint 522 of the glints each have a first region, a second region, and a second region, which are different regions on the display unit 130, And the light source may be formed from each light source formed in the three regions. The first area and the third area may be one area on the display unit 130 formed on the right side and the left side of the user based on the user, respectively.

그러면 제어부(110)는 상기 글린트들(502, 512, 522) 각각으로부터 중심 좌표들을 산출할 수 있다. 즉, 제1 글린트(502)로부터 제1 글린트 중심 좌표(500)를 산출하고, 제2 글린트(512)로부터 제1 글린트 중심 좌표(510)를 산출 및, 제3 글린트(522)로부터 제3 글린트 중심 좌표(520)를 산출할 수 있다. 그리고 산출된 각 글린트 중심 좌표들과 동공 중심으로부터 산출되는 제1 좌표 사이의 이격 거리를 산출할 수 있다. Then, the control unit 110 may calculate the center coordinates from each of the glints 502, 512, and 522. That is, the first glint center coordinate 500 is calculated from the first glint 502, the first glint center coordinate 510 is calculated from the second glint 512, and the third glint 522 The third glint center coordinate 520 can be calculated. Then, the distance between the calculated center coordinates of each glint and the first coordinate calculated from the center of the pupil can be calculated.

따라서 사용자가 정면을 응시함에 따라 센싱된 눈 영상이 도 5b의 (a)에서 보이고 있는 바와 같은 경우, 제어부(110)는 제2 글린트 중심 좌표(510)가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하고 있음을 검출할 수 있다. 그러면 제어부(110)는 상기 제2 글린트(510)에 대응되는 제2 광원을 포함하는 디스플레이부(130) 상의 영역, 즉 제2 영역을 사용자가 응시하고 있는 것으로 판단할 수 있다. 따라서 제어부(110)는 상기 제2 광원의 기 정의된 좌표 정보를 기준으로, 상기 제2 영역을 응시하는 사용자의 시선 방향, 즉 사용자 시선이 정면 방향인 경우에 대응되는 좌표를 교정할 수 있다. 5B, the control unit 110 determines that the second glint center coordinate 510 is shifted from the first coordinate 210 to the first coordinate 210. That is, when the user observes the front face, It can be detected that it is located within the set distance. The control unit 110 may determine that the user is looking at an area on the display unit 130 including the second light source corresponding to the second glint 510, that is, the second area. Accordingly, the controller 110 can correct the coordinates corresponding to the gaze direction of the user gazing at the second area, that is, when the user's gaze is the front direction, based on the predefined coordinate information of the second light source.

반면 사용자가 좌측을 응시함에 따라 센싱된 눈 영상이 도 5b의 (b)에서 보이고 있는 바와 같은 경우라면, 제어부(110)는 제3 글린트 중심 좌표(520)가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하고 있음을 검출할 수 있다. 그러면 제어부(110)는 상기 제3 글린트(520)에 대응되는 제3 광원을 포함하는 디스플레이부(130) 상의 영역, 즉 제3 영역을 사용자가 응시하고 있는 것으로 판단할 수 있다. 따라서 제어부(110)는 상기 제3 광원의 기 정의된 좌표 정보를 기준으로, 상기 제3 영역을 응시하는 사용자의 시선 방향, 즉 사용자 시선이 좌측 방향인 경우에 대응되는 좌표를 교정할 수 있다. 이에 따라 본 발명의 차량 제어 장치(100)는 서로 다른 복수의 사용자 시선에 대응되는 좌표에 대한 교정을 수행할 수 있다. On the other hand, if the user observes the left eye and the sensed eye image is as shown in (b) of FIG. 5b, the controller 110 determines that the third glint center coordinate 520 is It can be detected that it is located within a predetermined distance. Then, the controller 110 may determine that the user is looking at an area on the display unit 130 including the third light source corresponding to the third glint 520, i.e., the third area. Therefore, the controller 110 can correct the coordinates corresponding to the user's gaze direction of the user gazing at the third area, that is, when the user's gaze is in the left direction, based on the predefined coordinate information of the third light source. Accordingly, the vehicle control apparatus 100 of the present invention can perform calibration for coordinates corresponding to a plurality of different user's gaze lines.

한편 본 발명은 상술한 바와 같이 특정 조건(글린트의 중심 좌표가 동공 중심 좌표와 기 설정된 거리 내에 형성)이 만족하는 경우에 교정이 수행되도록 함으로써, 상기 교정의 시기나 특정 방향에 대한 교정이 임의적으로 수행될 수 있다. 이에 따라 본 발명에서는 교정이 필요한 경우에도 조건이 충족되지 않음에 따라 교정이 수행되지 않는 경우를 방지하기 위하여 교정이 필요한지 여부를 판단하고, 교정이 필요한 경우 상기 특정 조건이 충족될 수 있도록 사용자의 행동을 유도할 수도 있다. Meanwhile, as described above, the present invention allows calibration to be performed when a specific condition (center coordinates of the glint formed within a predetermined distance from the center-of-pupil coordinates) is satisfied, so that correction for the timing or specific direction of the calibration is arbitrary Lt; / RTI > Accordingly, in the present invention, it is determined whether calibration is necessary in order to prevent the case where the calibration is not performed because the condition is not satisfied even when the calibration is required, and if the calibration is necessary, Lt; / RTI >

예를 들어 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 기 설정된 시간 이상 교정이 수행되지 않는 경우 상기 교정이 필요하다고 판단할 수 있다. 이러한 경우 제어부(110)는 복수의 서로 다른 방향 각각에 대해 교정이 필요한지 여부를 판단할 수 있다. 여기서 상술한 바와 같이 가장 최근에 교정이 이루어진 후에 경과된 시간에 따라 교정이 필요한지 여부를 판단하는 경우, 제어부(110)는 상기 복수의 서로 다른 방향 각각에 대해 이전의 교정이 이루어진 시점 이후부터 경과된 시간을 측정할 수 있다. 그리고 측정된 경과 시간에 근거하여 특정 방향에 대한 교정이 필요한지 여부를 판단할 수 있다. For example, the control unit 110 of the vehicle control device 100 according to the embodiment of the present invention may determine that the calibration is necessary if the calibration is not performed over a predetermined time. In this case, the control unit 110 can determine whether calibration is required for each of a plurality of different directions. As described above, when it is determined whether or not calibration is necessary according to the elapsed time after the most recent calibration is performed, the control unit 110 determines whether or not the calibration is required for each of the plurality of different directions Time can be measured. Based on the measured elapsed time, it is possible to judge whether or not the calibration for the specific direction is necessary.

그리고 판단 결과 특정 방향에 대한 교정이 필요하다고 판단되는 경우라면, 제어부(110)는 교정이 필요하다고 판단되는 방향에 대응되는 디스플레이부(130) 상의 일 영역을 다른 영역과 구분되게 표시할 수 있다. 여기서 상기 디스플레이부(130) 상의 일 영역은, 글린트를 형성할 수 있는 적어도 하나의 광원을 포함하는 영역일 수 있다. If it is determined that calibration for a specific direction is required as a result of the determination, the controller 110 may display one region on the display unit 130 corresponding to a direction that is determined to be necessary to be different from another region. Here, one region on the display unit 130 may be an area including at least one light source capable of forming a glint.

한편 제어부(110)가 상기 교정이 필요한 방향에 대응되는 디스플레이부(130) 상의 일 영역을 구분되게 표시하는 것은, 사용자의 주의를 환기시키기 위한 것일 수 있다. 즉, 제어부(110)는 상기 일 영역을, 디스플레이부(130) 상의 다른 영역보다 더 밝게 표시함으로써 해당 영역에 사용자가 주의를 기울이도록 유도할 수 있다. 이러한 경우 상기 일 영역의 광도와 상기 디스플레이부(130) 상의 다른 영역의 광도의 차이는 기 설정된 수준 이하일 수 있다. 또는 광도 뿐만 아니라 상기 일 영역의 색상을 다르게 표시할 수도 있음은 물론이다.On the other hand, the control unit 110 separately displays one area on the display unit 130 corresponding to the direction required for the calibration, may be for attracting the user's attention. That is, the control unit 110 displays the one area brighter than other areas on the display unit 130, thereby guiding the user to pay attention to the corresponding area. In this case, the difference between the luminance of one region and the luminance of the other region on the display unit 130 may be less than a predetermined level. Or the color of the one area may be displayed differently as well as the brightness.

이 뿐만 아니라 제어부(110)는 다양한 방법을 이용하여 상기 교정이 필요한 특정 방향에 대응되는 디스플레이부(130) 상의 일 영역에 사용자가 주의를 기울이도록 유도할 수 있다. 예를 들어 제어부(110)는 상기 교정이 필요하다고 판단되는 일 영역에서 표시되는 특정 그래픽 객체를, 다른 영역에서 표시되는 것과 다르게 표시할 수 있다. 즉 제어부(110)는 상기 일 영역에서 표시되는 텍스트를, 다른 영역에서 표시되는 텍스트 보다 굵은 글씨체로 표시할 수 있다. 또는 제어부(110)는 기 설정된 중요 이벤트의 발생을 알리기 위한 알림 정보를, 상기 교정이 필요하다고 판단되는 디스플레이부(130) 상의 일 영역에 표시되도록 할 수도 있다. 이에 따라 사용자가 상기 구분되게 표시된 그래픽 객체 또는 상기 알림 정보가 표시되는 디스플레이부(130) 상의 일 영역을 응시하는 경우, 상기 일 영역에 구비된 광원으로부터 형성되는 글린트에 근거하여, 교정(calibration)을 수행할 수도 있다. In addition, the control unit 110 can guide the user to pay attention to one area on the display unit 130 corresponding to a specific direction requiring the calibration by using various methods. For example, the control unit 110 may display a specific graphic object displayed in a region that is determined to be necessary for calibration, differently from those displayed in other regions. That is, the control unit 110 may display the text displayed in one area in a font that is thicker than the text displayed in the other area. Alternatively, the control unit 110 may display notification information for notifying the occurrence of a predetermined important event in one area on the display unit 130 that is determined to require the calibration. Accordingly, when the user gazes at one area on the display unit 130 displaying the separately displayed graphic object or the notification information, a calibration is performed based on the glint formed from the light source provided in the one area, . ≪ / RTI >

한편 상술한 설명에서는, 단지 이전에 교정이 이루어진 시점 이후의 경과 시간에 근거하여 교정이 필요한지 여부를 판단하였으나, 이와는 다른 방법으로 상기 교정이 필요한지 여부를 판단할 수도 있음은 물론이다. 예를 들어 제어부(110)는 현재 사용자가 응시하고 있는 방향에 대응되는 디스플레이부(130) 상의 좌표와, 사용자로부터 인가되는 터치 입력 지점의 좌표에 근거하여 현재 사용자가 응시하고 있는 방향에 대한 교정이 필요한지 여부를 판단할 수도 있다. In the above description, it is determined whether or not the calibration is necessary based on the elapsed time since the time when the calibration was previously performed, but it is also possible to judge whether or not the calibration is necessary in a different way. For example, the control unit 110 determines whether or not the current user's gazing direction based on the coordinates on the display unit 130 corresponding to the current user's gazing direction and the coordinates of the touch input point applied from the user It may be determined whether it is necessary or not.

도 6은 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 교정이 필요한지 여부를 판단하는 일 실시 예의 동작 과정을 도시한 흐름도이다. 이하의 설명에서 상기 디스플레이부(130)는 복수의 서로 다른 영역으로 구분될 수 있으며, 상기 복수의 서로 다른 영역은 각각 대응되는 광원을 포함하고 있는 것을 예로 들어 설명하기로 한다. FIG. 6 is a flowchart illustrating an operation of the vehicle control apparatus 100 according to an exemplary embodiment of the present invention. In the following description, the display unit 130 may be divided into a plurality of different areas, and the plurality of different areas include corresponding light sources, respectively.

먼저 제어부(110)는 디스플레이부(130) 상의 일 지점에 인가되는 사용자의 터치 입력을 감지할 수 있다. 그리고 상기 터치 입력이 인가된 지점이, 상기 터치 입력이 인가된 지점을 포함하는 디스플레이부(130) 상의 일 영역에 형성된 광원으로부터 기 설정된 거리 이내인지 여부를 확인할 수 있다. 그리고 상기 광원으로부터 기 설정된 거리 이내에 상기 터치 입력이 인가된 디스플레이부(130) 상의 영역과, 현재 사용자가 응시하고 있는 방향에 대응되는 좌표에 근거하여 교정이 필요한 상태인지 여부를 판단할 수 있다. First, the control unit 110 may sense a touch input of a user applied to one point on the display unit 130. FIG. It is possible to confirm whether or not the point where the touch input is applied is within a predetermined distance from a light source formed in one area on the display unit 130 including the point where the touch input is applied. It is possible to determine whether or not calibration is necessary based on the area on the display unit 130 to which the touch input is applied within a predetermined distance from the light source and the coordinates corresponding to the direction in which the current user is gazing.

상술한 바와 같이, 터치 입력이 감지된 지점이 특정 디스플레이부(130) 상의 특정 영역에 구비된 광원으로부터 기 설정된 거리 내에 위치하는 경우, 제어부(110)는 사용자의 눈 영상을 센싱할 수 있다(S600). 그리고 센싱된 눈 영상으로부터 사용자가 현재 응시하는 방향에 대응되는 디스플레이부(130) 상의 일 영역을 검출할 수 있다(S602). As described above, when the point where the touch input is sensed is located within a predetermined distance from the light source provided in the specific area on the specific display unit 130, the control unit 110 can sense the user's eye image (S600 ). Then, one region on the display unit 130 corresponding to the direction in which the user is currently gazing can be detected from the sensed eye image (S602).

예를 들어 상기 S602 단계는, 상기 도 2a에서 설명한 과정과 유사한 과정일 수 있다. 즉, 제어부(110)는 상기 센싱된 눈 영상으로부터 동공 중심 좌표를 산출할 수 있으며, 상기 눈 영상에 포함된 각 글린트로부터 글린트 중심 좌표를 산출할 수 있다. 그리고 상기 산출된 글린트 중심 좌표들 중 적어도 하나가 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 경우 사용자가 상기 디스플레이부(130) 상의 복수의 영역 중 어느 하나를 응시하고 있는 것으로 판단할 수 있다. 여기서 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 위치한 글린트 중심 좌표가 복수인 경우, 제어부(110)는 상기 기 설정된 거리 이내에 위치한 글린트 중심 좌표들 중, 동공 중심 좌표로부터 가장 가까운 글린트 중심 좌표에 대응되는 디스플레이부(130) 상의 일 영역을 사용자가 응시하고 있는 것으로 판단할 수 있다. For example, the step S602 may be similar to the process described with reference to FIG. 2A. That is, the controller 110 can calculate the pupil center coordinates from the sensed eye image, and calculate the glint center coordinates from the respective glints included in the eye image. If at least one of the calculated glint center coordinates is within a predetermined distance from the pupil center coordinate, the user can determine that the user is looking at any one of a plurality of regions on the display unit 130. If there are a plurality of glint center coordinates located within a predetermined distance from the pupil center coordinates, the controller 110 selects one of the glint center coordinates located within the predetermined distance corresponding to the glint center coordinate closest to the pupil center coordinate It is possible to determine that the user is looking at one area on the display unit 130 that is displayed on the display unit 130.

한편 사용자가, 디스플레이부(130) 상의 어느 하나의 영역을 응시하고 있는 것으로 판단되면, 제어부(110)는 사용자가 응시하는 방향에 대응되는 디스플레이부(130) 상의 일 영역을 검출할 수 있다. 예를 들어 제어부(110)는 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 어느 하나의 글린트 중심 좌표(예를 들어 상기 동공 중심 좌표로부터 가장 가까운 글린트 중심 좌표)에 대응되는 광원을 포함하는 디스플레이부(130) 상의 일 영역을 사용자가 응시하고 있는 것으로 검출할 수 있다. On the other hand, if it is determined that the user is looking at any one area on the display unit 130, the control unit 110 can detect one area on the display unit 130 corresponding to the direction in which the user looks. For example, the controller 110 may include a light source corresponding to one of the glint center coordinates (for example, the nearest glint center coordinate from the pupil center coordinate) within a predetermined distance from the pupil center coordinate, It can be detected that the user is gazing at one area on the display unit 130.

한편 상기 S602 단계에서, 사용자가 응시하고 있는 디스플레이부(130) 상의 일 영역이 검출되면, 제어부(110)는 상기 검출된 영역에 근거하여 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 사용자가 응시하고 있는지 여부를 판단할 수 있다(S604). 예를 들어 제어부(110)는 상기 S604 단계에서 상기 검출된 일 영역이 상기 터치 입력이 인가된 지점을 포함하는 디스플레이부(130) 상의 특정 영역과 동일한 경우, 사용자가 상기 특정 영역을 응시하고 있는 것으로 판단할 수 있으며, 상기 검출된 일 영역이 상기 특정 영역과 동일하지 않은 경우 사용자가 상기 특정 영역을 응시하고 있지 않은 것으로 판단할 수 있다. If it is determined in step S602 that one area on the display unit 130 that the user is viewing is detected, the controller 110 displays the display area 130 including the point where the touch input is sensed based on the detected area, It is possible to determine whether the user is looking at a specific area on the screen (S604). For example, if the detected area is identical to a specific area on the display unit 130 including the point where the touch input is applied in step S604, the control unit 110 determines that the user is looking at the specific area If the detected area is not the same as the specific area, it can be determined that the user is not gazing at the specific area.

상기 S604 단계의 판단 결과 제어부(110)는 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 동일한 영역인 경우, 상기 특정 영역에 대응되는 사용자의 시선 방향에 대해서는 교정을 수행할 필요가 없다고 판단할 수 있다. 이는 일반적으로 사용자가 디스플레이부(130) 상의 일 지점에 터치 입력을 인가할 때에는, 터치 입력의 정확도를 높이기 위해 상기 터치 입력을 인가할 특정 지점을 응시하는 상태에서 상기 터치 입력을 인가하기 때문이다. 따라서 사용자가 응시하는 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 인가된 지점에 대응되는 디스플레이부(130) 상의 특정 영역이 동일한 경우 제어부(110)는 상기 디스플레이부(130) 상의 일 영역에 대응되는 방향에 대한 교정을 수행할 필요가 없다고 판단할 수 있다. If it is determined in step S604 that the one area on the display unit 130 detected in step S602 and the specific area on the display unit 130 including the point where the touch input is detected are the same area , It can be determined that it is not necessary to perform the calibration for the viewing direction of the user corresponding to the specific area. This is because when a user applies a touch input to one point on the display unit 130, the touch input is applied in a state of gazing at a specific point to which the touch input is applied in order to increase accuracy of the touch input. Therefore, if one region on the display unit 130 that the user wants to touch and a specific region on the display unit 130 corresponding to the point where the touch input is applied are the same, the control unit 110 controls one region on the display unit 130 It is not necessary to perform the correction for the direction corresponding to the direction of rotation.

반면 상기 S604 단계의 확인 결과, 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 서로 다른 영역이라면, 제어부(110)는 상기 디스플레이부(130) 상의 특정 영역에 대응되는 방향에 대해 오차가 있는 것으로 판단할 수 있다. 이러한 경우 제어부(110)는 교정이 필요한 것으로 판단할 수 있다. 그리고 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 다른 영역과 구분되게 표시할 수 있다. If it is determined in step S604 that the area on the display unit 130 detected in step S602 and the area on the display unit 130 including the point where the touch input is sensed are different areas, 110 may determine that there is an error in a direction corresponding to a specific area on the display unit 130. [ In this case, the control unit 110 can determine that calibration is necessary. A specific area on the display unit 130 including the point where the touch input is sensed can be displayed separately from other areas.

그러나 비록 상기 S604 단계의 확인 결과에 따라 오차가 있는 것으로 판단되는 경우라도, 제어부(110)는 교정이 필요한지 여부의 판단을 유예할 수도 있음은 물론이다. 이는 사용자가 차량 내부의 환경에 익숙한 나머지 다른 곳을 응시하면서 터치 입력을 인가하거나, 또는 사용자가 터치 입력을 잘못 입력하는 경우가 있기 때문이다. 따라서 제어부(110)는 상기 S604 단계의 판단 결과, 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 서로 다른 영역인 경우, 현재까지 누적된 오차 발생 횟수가 기 설정된 횟수 이상인지 여부를 확인할 수 있다(S606). However, even if it is determined that there is an error according to the result of the determination in step S604, the controller 110 may suspend the determination of whether calibration is necessary. This is because the user may be accustomed to the environment inside the vehicle and apply the touch input while gazing at another place, or the user may mistakenly input the touch input. Accordingly, if it is determined in step S604 that the one area on the display 130 detected in step S602 and the specific area on the display 130 including the point where the touch input is sensed are different from each other Area, it can be confirmed whether the accumulated number of error occurrences is equal to or greater than a predetermined number (S606).

한편 상기 S606 단계의 확인 결과, 현재까지 누적된 오차 횟수가 기 설정된 횟수에 도달하지 않은 경우라면, 제어부(110)는 오차 누적 횟수를 증가시킬 수 있다(S610). 그리고 교정 여부를 판단하는 과정을 종료할 수 있다. If it is determined in step S606 that the accumulated number of errors has not reached the predetermined number, the controller 110 may increase the error accumulation number in step S610. Then, the process of judging whether or not the correction has been made can be terminated.

그러나 상기 S606 단계의 확인 결과, 현재까지 누적된 오차 횟수가 기 설정된 횟수에 도달한 경우라면, 제어부(110)는 상기 디스플레이부(130) 상의 특정 영역에 대응되는 방향에 대한 교정이 필요한 것으로 판단할 수 있다. 따라서 제어부(110)는 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 다른 영역과 구분되게 표시할 수 있다(S608). 그리고 제어부(110)는 상기 구분되게 표시된 디스플레이부(130) 상의 특정 영역에 대해, 사용자의 시선 방향의 좌표에 대한 교정이 수행되면, 상기 오차 누적 횟수를 초기화할 수 있다. However, if it is determined in step S606 that the accumulated number of errors has reached the preset number of times, the controller 110 determines that it is necessary to correct the direction corresponding to the specific area on the display unit 130 . Accordingly, the control unit 110 may display a specific area on the display unit 130 including the point where the touch input is sensed, to be distinguished from other areas (S608). The controller 110 may initialize the error accumulation count when the calibration of the coordinates of the user's sight line direction is performed on the specific area on the display unit 130 that is separately displayed.

한편 상기 도 6에서 도시된 교정 필요 여부 판단은, 디스플레이부(130) 상의 다른 영역에 대응되는 방향에 대한 교정과 동시에 이루어질 수 있다. 즉 제어부(110)는 상기 S604 단계의 확인 결과, 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 서로 다른 영역인 경우, 사용자가 현재 응시하고 있는 것으로 검출된 상기 디스플레이부(130) 상의 일 영역에 구비된 광원의 좌표에 따른 교정이 이루어지도록 할 수 있다. 예를 들어 이러한 교정은 상기 도 2a 또는 도 5a에서 설명한 과정들과 유사한 동작 과정을 통해 이루어질 수 있다. Meanwhile, the calibration need determination shown in FIG. 6 may be performed at the same time as the calibration for the direction corresponding to another region on the display unit 130. [ That is, if it is determined in step S604 that the specific area on the display unit 130 including the area where the touch input is detected and the area on the display unit 130 detected in step S602 are different from each other It is possible to perform calibration according to the coordinates of the light source provided in one area on the display unit 130 that is detected as the user is currently gazing. For example, such a calibration may be performed through an operation process similar to the processes described with reference to FIG. 2A or FIG. 5A.

그리고 이러한 교정 과정과는 별개로 상기 도 6의 S604 단계 내지 S610 단계에 이르는 과정이 진행될 수 있다. 이에 따라 사용자는 상기 S608 단계에서 구분되게 표시된 디스플레이부(130) 상의 특정 영역(터치 입력이 감지된 지점을 포함하는 영역)을 응시할 수 있으며, 따라서 제어부(110)는 상기 특정 영역에 구비된 광원의 좌표를 기준으로 교정을 수행할 수 있다. In addition, the process from step S604 to step S610 of FIG. 6 may be performed separately from the calibration process. Accordingly, the user can gaze at a specific area (area including the point where the touch input is sensed) on the display unit 130 that is displayed separately in step S608. Accordingly, the control unit 110 controls the operation of the light source Calibration can be performed based on the coordinates.

한편, 상기 S602 단계의 검출 결과, 사용자가 응시하고 있는 디스플레이부(130) 상의 영역이 검출되지 않을 수도 있음은 물론이다. 예를 들어 상기 검출 결과, 글린트들 각각으로부터 추출된 글린트 중심 좌표들 중, 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 글린트 중심 좌표가 하나도 없을 수 있다. 이러한 경우 제어부(110)는 사용자가 디스플레이부(130) 상의 복수의 영역 중 어느 하나의 영역도 응시하고 있지 않은 것으로 판단할 수 있다. On the other hand, it is needless to say that, as a result of the detection in step S602, the area on the display unit 130 on which the user is gazing may not be detected. For example, as a result of the above detection, none of the glint center coordinates extracted from each of the glints may have any glint center coordinates within a predetermined distance from the pupil center coordinate. In this case, the control unit 110 can determine that the user is not examining any one of the plurality of areas on the display unit 130. [

이처럼 사용자가 응시하고 있는 디스플레이부(130) 상의 영역이 없는 경우, 제어부(110)는 상기 S604 단계에서 상기 터치 입력이 감지된 디스플레이부(130) 상의 특정 영역을 사용자가 응시하지 않고 있는 것으로 판단할 수 있다. 이에 따라 제어부(110)는 상기 S606 단계의 판단 결과에 따라 S610 단계로 진행하여 오차 누적 횟수를 증가시키거나 또는 S608 단계로 진행하여 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 다른 영역과 구분되게 표시할 수 있다. If there is no area on the display unit 130 that the user is looking at, the controller 110 determines in step S604 that the user is not looking at a specific area on the display unit 130 where the touch input is sensed . The controller 110 proceeds to step S610 to increase the error accumulation count or proceeds to step S608 to determine whether the touch input is detected on the display unit 130 including the point at which the touch input is sensed The region can be displayed separately from the other regions.

한편 상술한 설명에서는, 교정이 필요하다고 판단되는 경우에 사용자의 주의를 돌리기 위한 출력으로서, 디스플레이부(130) 상의 특정 영역을 구분되게 표시하는 것을 설명한 바 있다. 그러나 이처럼 특정 영역을 구분되게 표시함에 따라 사용자의 주의를 돌리는 경우, 이는 사용자의 시선을 분산시킬 수도 있음은 물론이다. 이러한 경우 사용자가 운전 중이라면 위험한 상황이 발생할 수 있으므로, 제어부(110)는 상기 사용자의 주의를 환기시키기 위한 출력, 즉 상기 특정 영역을 구분되게 표시하기 전에 먼저 차량의 운행 상태 및 차량의 현재 위치, 그리고 차량의 주변 상황에 대한 정보를 수집할 수 있다. 그리고 수집된 정보에 근거하여 상기 특정 영역, 즉 교정이 필요한 방향에 대응되는 디스플레이부(130) 상의 영역을 구분되게 표시할 수도 있음은 물론이다. On the other hand, in the above description, it has been described that a specific area on the display unit 130 is separately displayed as an output for turning the user's attention when it is determined that calibration is necessary. However, it is needless to say that it is possible to disperse the user's gaze in the case where attention is given to the user by separately displaying the specific area. In this case, if the user is in operation, a dangerous situation may occur. Therefore, the controller 110 outputs an output for calling attention of the user, that is, before displaying the specific area separately, And can collect information about the surroundings of the vehicle. In addition, it is also possible to separately display an area on the display unit 130 corresponding to the specific area, i.e., a direction required for calibration, based on the collected information.

예를 들어 제어부(110)는 차량의 속도에 근거하여 상기 특정 영역을 구분되게 표시할지 여부를 결정할 수 있다. 즉, 제어부(110)는 차량의 현재 속도가 기 설정된 속도 이하인 경우라면, 교정이 필요한 방향에 대응되는 상기 특정 영역을 구분되게 표시할 수 있다. 반면 차량의 현재 속도가 기 설정된 속도를 초과하는 경우라면, 교정이 필요한 방향에 대응되는 상기 특정 영역을 구분되게 표시하지 않을 수 있다.For example, the control unit 110 may determine whether to display the specific area separately based on the speed of the vehicle. That is, if the current speed of the vehicle is equal to or less than a predetermined speed, the control unit 110 can separately display the specific area corresponding to the direction required for calibration. On the other hand, if the current speed of the vehicle exceeds a predetermined speed, the specific area corresponding to the direction required for calibration may not be displayed separately.

한편 속도 뿐만 아니라, 제어부(110)는 차량 주변의 환경을 감지한 결과에 따라 상기 특정 영역을 구분되게 표시할지 여부를 결정할 수 있다. 예를 들어 제어부(110)는 비가 오거나 안개 등이 있는 악천우이거나, 상기 차량의 주변으로부터 일정 거리 이내에, 다른 차량과 같은 장애물이 있는 경우 상기 특정 영역을 구분되게 표시하지 않을 수 있다. 또는 제어부(110)는 현재 차량의 위치가 사고 다발 지역이거나, 또는 도로의 폭이 기 설정된 수준 이하이거나 또는 포장된 도로가 아닌 지역을 주행하는 경우, 상기 특정 영역을 구분되게 표시하지 않을 수 있다. 또는 현재 차량이 운행되고 있는 시간대가 출퇴근 시간대와 같이 교통이 혼잡한 시간대인 경우, 상기 특정 영역을 구분되게 표시하지 않을 수 있다. 이는 상기 교정을 수행하는 것보다 사용자가 안전하게 차량을 운행하는 것이 더 중요하기 때문이다. In addition to the speed, the controller 110 may determine whether to display the specific area separately according to a result of sensing the environment around the vehicle. For example, the control unit 110 may not display the specific area separately if there is an obstacle such as rain, fog, or the like, or within a certain distance from the periphery of the vehicle, such as another vehicle. Alternatively, the control unit 110 may not separately display the specific area when the current location of the vehicle is a traffic accidents area, a width of the road is less than a predetermined level, or a road other than a packed road is traveled. Or if the time zone during which the current vehicle is in operation is a busy time zone such as a commuting time zone, the specific area may not be displayed separately. This is because it is more important for the user to safely operate the vehicle than to perform the calibration.

한편 상술한 설명에서는, 디스플레이부(130) 영역의 일 영역 또는 상기 일 영역의 주변에 적어도 하나의 광원이 구비되는 예를 들어 설명하였으나, 상기 디스플레이부(130)는 차량 내부의 다양한 영역에 형성될 수도 있다. 예를 들어 상기 디스플레이부(130)는 HUD(Head Up Display)의 형태로, 차량의 윈드 쉴드 글래스(Wind Shield Glass) 상의 적어도 일 영역에 형성되는 것일 수 있다. 그리고 이처럼 윈드 쉴드 글래스에 디스플레이부(130)가 형성되는 경우라고 할지라도, 본 발명이 적용될 수 있음은 물론이다. In the above description, at least one light source is provided in one area of the display area 130 or in the periphery of the one area, but the display part 130 may be formed in various areas inside the vehicle It is possible. For example, the display unit 130 may be a head up display (HUD), and may be formed on at least one region of a windshield glass of a vehicle. It goes without saying that the present invention can be applied to the case where the display unit 130 is formed on the windshield glass.

예를 들어 본 발명의 실시 예에 따른 차량 제어 장치(100)를 포함하는 차량의 윈드 쉴드 글래스는, 적어도 일부의 영역이 투과형 디스플레이부의 형태로 형성될 수 있다. 또는 본 발명의 실시 예에 따른 차량 제어 장치(100)를 포함하는 차량은 상기 윈드 쉴드 글래스의 내부면 중 적어도 일 영역에 화상 정보가 반사되어 표시될 수 있도록, 상기 윈드 쉴드 글래스에 화상 정보를 출력하는 출력부(도시되지 않음)를 구비할 수 있다. 이에 따라 상기 윈드 쉴드 글래스의 적어도 일부 영역은 화상 정보를 표시하는 디스플레이부(130)로서의 역할을 수행할 수 있다. For example, in the windshield glass of the vehicle including the vehicle control apparatus 100 according to the embodiment of the present invention, at least a part of the region may be formed in the form of a transmissive display portion. The vehicle including the vehicle control apparatus 100 according to the embodiment of the present invention outputs image information to the windshield glass so that image information can be reflected and displayed on at least one area of the inner surface of the windshield glass (Not shown) for outputting data. Accordingly, at least a part of the area of the windshield glass can serve as a display unit 130 for displaying image information.

한편 이처럼 윈드 쉴드 글래스의 적어도 일부의 영역이 디스플레이부(130)의 기능을 수행하도록 형성되는 경우, 상기 광원부(170)는 상기 디스플레이부(130)의 기능을 수행하는 윈드 쉴드 글래스의 영역 중 적어도 일 지점에 기 설정된 광을 출력하는 적어도 하나의 광원을 포함할 수 있다. 이러한 경우 상기 광원에서 발광된 빛은 상기 윈드 실드 글래스의 일 지점에 반사될 수 있으며, 상기 윈드 쉴드 글래스의 일 지점에 반사된 반사광은 사용자의 눈에 입사되어 글린트를 형성할 수 있다. 이러한 경우 광원의 빛을 반사시키는 상기 윈드 쉴드 글래스의 일 지점의 좌표가 교정(calibration)을 수행하기 위한 기준 좌표가 될 수 있으며, 미리 산출 또는 정의되어 메모리(120)에 저장될 수 있다. When at least a part of the windshield glass is formed to perform the function of the display unit 130, the light source unit 170 may include at least one of the regions of the windshield glass performing the function of the display unit 130 And at least one light source for outputting predetermined light to the point. In this case, the light emitted from the light source may be reflected to one point of the windshield glass, and the reflected light reflected at one point of the windshield glass may be incident on the user's eye to form a glint. In this case, the coordinates of one point of the windshield glass reflecting light of the light source may be reference coordinates for performing calibration, and may be previously calculated or defined and stored in the memory 120.

한편 상기 디스플레이부(130)의 기능을 수행하는 윈드 쉴드 글래스의 영역에 광을 출력하는 광원이 복수인 경우, 상기 복수의 광원으로부터 발광된 빛이 반사되는 윈드 쉴드 글래스의 복수의 지점에 근거하여 상기 기준 좌표가 산출될 수도 있음은 물론이다. 이에 따라 상기 윈드 쉴드 글래스의 적어도 일 영역을 통해 표시되는 화상 정보(예를 들어 주행 정보 등)를 사용자가 응시하는 경우, 상기 기준 좌표에 근거하여 사용자의 시선 방향에 따른 좌표를 교정할 수 있다. On the other hand, when there are a plurality of light sources for outputting light in the region of the windshield glass that performs the function of the display unit 130, the light shielding glass, which reflects light emitted from the plurality of light sources, The reference coordinates may be calculated. Accordingly, when the user gazes the image information (for example, driving information, etc.) displayed through at least one area of the windshield glass, the coordinates along the user's gaze direction can be corrected based on the reference coordinates.

한편 상술한 설명에서는 사용자가 디스플레이부(130) 상에 표시되는 화상 정보를 응시하는 것을 검출하여 교정이 수행되도록 하는 것을 설명하였으나, 본 발명이 이에 한정되지 않음은 물론이다. 즉 상기 윈드 쉴드 글래스를 통해 식별가능한 형상에 근거하여 상기 교정이 수행되도록 할 수도 있음은 물론이다. In the above description, it has been described that the user detects the gazing of the image information displayed on the display unit 130 to perform calibration, but the present invention is not limited thereto. That is, the calibration may be performed based on the shape that can be identified through the windshield glass.

예를 들어 상술한 바와 같이 적어도 하나의 광원이 윈드 쉴드 글래스에 출력되는 경우, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 윈드 쉴드 글래스 상의 적어도 하나의 반사점은 윈드 쉴드 글래스의 각 영역의 좌표를 산출할 수 있는 기준점의 역할을 수행할 수 있다. 이러한 경우 제어부(110)는 상기 적어도 하나의 반사점을 포함하는 윈드 쉴드 글래스의 영상을 센신하여, 상기 적어도 하나의 반사점을 기준으로 상기 센싱된 윈드 쉴드 글래스 영역을 기 설정된 간격으로 좌표화할 수 있다. 그러면 제어부(110)는 상기 윈드 쉴드 글래스를 통해 식별되는 다양한 형상들의 위치를 좌표로 산출할 수 있으며, 산출된 좌표를 이용하여 교정(calibration)이 이루어지도록 할 수도 있음은 물론이다. For example, when at least one light source is output to the windshield glass, as described above, at least one reflection point on the windshield glass on which the light output from the at least one light source is reflected is the coordinates of each region of the windshield glass It can serve as a reference point that can be calculated. In this case, the control unit 110 senses the image of the windshield glass including the at least one reflection point, and coordinates the sensed windshield glass region at a predetermined interval based on the at least one reflection point. The control unit 110 may calculate coordinates of various shapes identified through the windshield glass, and may perform calibration using the calculated coordinates.

도 7은 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 윈드 쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 동작 과정을 도시한 흐름도이다. 이하 도 7의 설명에서는, 본 발명의 실시 예에 따른 차량 제어 장치(100)가, 사용자의 눈 영상을 센싱할 수 있는 카메라(제1 카메라) 뿐만 아니라, 상기 윈드 쉴드 글래스를 통해 식별가능한 장애물의 영상을 센싱할 수 있는 카메라(제2 카메라)를 포함하는 것을 예로 들어 설명하기로 한다. FIG. 7 is a flowchart showing an operation of performing calibration based on the shape of an obstacle in the windshield glass in the vehicle control apparatus 100 according to the embodiment of the present invention. 7, the vehicle control apparatus 100 according to the embodiment of the present invention includes not only a camera (first camera) capable of sensing a user's eye image but also a camera capable of sensing an image of the obstacle recognizable through the windshield glass And a camera (second camera) capable of sensing an image will be described as an example.

우선 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 제2 카메라를 제어하여 윈드 쉴드 글래스의 적어도 일 영역의 영상을 센싱할 수 있다. 여기서 센싱된 영상에는 적어도 하나의 반사점이 포함될 수 있다. 그리고 제어부(110)는 상기 적어도 하나의 반사점을 기준으로 상기 윈드 쉴드 글래스 상의 적어도 일 영역을 좌표화할 수 있다. First, the control unit 110 of the vehicle control device 100 according to the embodiment of the present invention can control the second camera to sense images of at least one region of the windshield glass. Wherein the sensed image may include at least one reflex point. The control unit 110 may coordinate at least one area on the windshield glass based on the at least one reflection point.

한편 상기 제2 카메라를 통해 센싱된 영상에는, 상기 윈드 쉴드 글래스를 통해 비치는 장애물, 예를 들어 전방에 위치한 차량의 형상이 포함될 수 있다. 그리고 제어부(110)는 상기 장애물의 형상이 검출된 영역으로부터 상기 장애물의 중심 좌표를 산출할 수 있다(S700). On the other hand, the image sensed by the second camera may include an obstacle seen through the windshield glass, for example, a shape of a vehicle positioned ahead. The control unit 110 may calculate the center coordinates of the obstacle from the area where the shape of the obstacle is detected (S700).

한편 여기서 상기 장애물은 기 설정된 조건을 만족하는 것일 수 있다. 예를 들어 상기 장애물은, 상기 윈드 쉴드 글래스를 통해 표시되는 위치가 일정 시간 이상 동안 그 위치가 일정 수준 이상 변경되지 않은 것일 수 있다. 그리고 여기서 상기 위치 변경 여부를 판단하는 기준은 상기 산출된 장애물의 중심 좌표의 위치가 변경되었는지 여부일 수 있다. 즉, 일정 시간 이상 그 중심 좌표가 기 설정된 수준 이상 변경되지 않은 장애물의 형상의 경우 상기 기 설정된 조건을 만족할 수 있으며, 이처럼 기 설정된 조건을 만족하는 장애물이 검출되는 경우에 한해 상기 S700 단계 이하의 과정이 진행될 수도 있다. Here, the obstacle may be one that satisfies predetermined conditions. For example, the obstacle may be a place where the position displayed through the windshield glass has not been changed over a certain level for a predetermined time or more. Here, the criterion for determining whether to change the position may be whether or not the position of the center coordinates of the calculated obstacle is changed. That is, the predetermined condition can be satisfied in the case of the shape of the obstacle whose center coordinates have not been changed by more than a predetermined level for a predetermined period of time. Only when an obstacle satisfying the preset condition is detected, .

한편 상기 S700 단계에서 장애물의 중심 좌표가 산출되면, 제어부(110)는 제1 카메라를 제어하여 사용자의 눈 영상을 센싱할 수 있다(S702). 그리고 제어부(110)는 상기 S702 단계에서 센싱된 영상으로부터 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상이 포함되어 있는지 여부를 검출할 수 있다. 즉, 상기 장애물의 형상으로부터 형성되는 글린트 영역이 있는지 여부를 검출할 수 있다. 그리고 상기 센싱된 사용자의 눈 영상에 장애물의 형상(글린트)이 포함되어 있는 경우, 상기 눈 영상에 포함된 사용자의 동공 영역으로부터 동공 중심 좌표를 산출하고, 상기 장애물의 영상, 즉 글린트로부터 중심 좌표를 산출할 수 있다(S704). If the central coordinates of the obstacle are calculated in step S700, the controller 110 controls the first camera to sense the user's eye image (step S702). The control unit 110 can detect whether or not the shape of the obstacle reflected through the windshield glass is included in the image sensed in step S702. That is, it is possible to detect whether there is a glint region formed from the shape of the obstacle. When the shape of the obstacle (glint) is included in the eye image of the sensed user, the pupil center coordinate is calculated from the pupil area of the user included in the eye image, and the center of gravity The coordinates can be calculated (S704).

그리고 제어부(110)는 상기 검출된 좌표들 사이의 이격 거리를 산출하여, 상기 사용자의 눈에 비친 장애물의 영상, 즉 글린트의 중심 좌표가, 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는지 여부를 검출할 수 있다(S706). 그리고 상기 S706 단계의 검출 결과 상기 글린트의 중심 좌표가 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 위치하지 않는 경우라면, 제어부(110)는 상기 글린트에 대응되는 윈드 쉴드 글래스 상의 장애물 형상이, 기 설정된 조건을 만족하는지 여부를 다시 검출할 수 있다(S710). 그리고 상기 S710 단계의 검출 결과 상기 장애물의 형상이 기 설정된 조건을 만족하지 않는 경우라면 도 7의 동작 과정을 종료할 수 있다. The control unit 110 calculates a distance between the detected coordinates and detects whether or not the image of the obstacle reflected by the user's eye, that is, the central coordinate of the glint is within a predetermined distance from the pupil center coordinate (S706). If it is determined in step S706 that the center coordinate of the glint is not located within a predetermined distance from the pupil center coordinate, the control unit 110 determines whether the obstacle shape on the windshield glass corresponding to the glint It is possible to detect again whether or not the condition is satisfied (S710). If it is determined in step S710 that the shape of the obstacle does not satisfy the predetermined condition, the process of FIG. 7 may be terminated.

반면 상기 S710 단계의 검출 결과 상기 장애물의 형상이 기 설정된 조건을 만족하는 경우라면, 제어부(110)는 S702 단계 및 S704 단계로 진행하여 동공 중심 좌표 및 상기 글린트의 중심 좌표를 다시 산출할 수 있다. 그리고 상기 S706 단계의 검출 결과에 따라 다시 S710 단계로 진행할 수 있다. On the other hand, if it is determined in step S710 that the shape of the obstacle satisfies the predetermined condition, the controller 110 may calculate the pupil center coordinates and the center coordinates of the glint again in step S702 and step S704 . Then, the process proceeds to step S710 according to the detection result of step S706.

한편 상기 S706 단계의 검출 결과, 상기 글린트의 중심 좌표가, 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 경우라면, 제어부(110)는 사용자가 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상에 근거하여 교정(calibration)을 수행할 수 있다(S708). On the other hand, if it is determined in step S706 that the center coordinate of the glint is within a predetermined distance from the pupil center coordinate, the control unit 110 looks at the shape of the obstacle seen through the windshield glass by the user . Then, the control unit 110 may perform calibration based on the shape of the obstacle displayed through the windshield glass (S708).

여기서 제어부(110)는 상기 교정을 위한 기준 좌표로서 상기 윈드 쉴드 글래스를 통해 비치는 장애물 형상의 중심 좌표를 이용할 수 있다. 즉, 제어부(110)는 상기 S700 단계에서 센싱된 영상으로부터 산출된 장애물 형상의 중심 좌표를, 현재 사용자가 응시하고 있는 방향에 대응되는 좌표로 교정을 수행할 수 있다. 이에 따라 본 발명의 실시 예에 따른 차량 제어 장치(100)는 사용자가 디스플레이부(130) 상에 표시되는 화상 정보를 응시할 때 뿐만 아니라, 사용자가 윈드 쉴드 글래스를 통해 표시되는 장애물을 응시하는 경우에도, 기 설정되거나 또는 산출되는 기준 좌표에 근거하여 사용자의 시선이 향하는 방향에 따른 좌표의 교정이 이루어질 수 있도록 한다. Here, the control unit 110 may use the center coordinates of the obstacle shape reflected through the windshield glass as reference coordinates for the calibration. That is, the controller 110 may perform calibration on the coordinates of the center of the obstacle shape calculated from the image sensed in step S700, with coordinates corresponding to the direction in which the current user is gazing. Accordingly, the vehicle control apparatus 100 according to the embodiment of the present invention can be used not only when the user looks at the image information displayed on the display unit 130, but also when the user gazes at the obstacle displayed through the windshield glass , So that the correction of the coordinates according to the direction in which the user's gaze is directed can be performed based on the previously set or calculated reference coordinates.

한편 상술한 설명에서는, 주행 정보와 같이 사용자가 자주 응시하는 화상 정보가 표시되는 디스플레이부(130) 상의 일 영역 또는 상기 일 영역의 주변에, 기 설정된 좌표를 가지는 적어도 하나의 광원을 포함하는 것을 예로 들어 설명하였다. 이는 상기 교정이 보다 자주 이루어질 수 있도록 함으로써, 사용자의 시선 방향에 대응되는 지점의 좌표를 보다 정확하게 검출할 수 있도록 하기 위함이다. On the other hand, in the above description, it is exemplified that at least one light source having predetermined coordinates is included in one area on the display unit 130 on which the image information frequently viewed by the user is displayed, such as travel information, . This makes it possible to more accurately detect the coordinates of the point corresponding to the user's gaze direction by allowing the calibration to be performed more frequently.

그러나 이러한 교정이 기 설정된 수준 이상 과도하게 자주 수행될 필요가 없음은 물론이다. 예를 들어 사용자가 지속적으로 디스플레이부(130) 상의 일 지점을 응시하는 경우, 이에 따라 지속적으로 교정 과정을 계속 반복하여 수행할 필요가 없음은 물론이다. 따라서 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 상기 교정이 수행될 수 있는 조건을 미리 설정하고, 설정된 조건이 충족되는 경우에 한하여 상기 교정이 수행되도록 제어할 수도 있음은 물론이다. It goes without saying, however, that such corrections need not be performed excessively often above a predetermined level. For example, when the user continuously gazes at a point on the display unit 130, it is needless to say that it is not necessary to continuously perform the calibration process repeatedly. Therefore, the control unit 110 of the vehicle control apparatus 100 according to the embodiment of the present invention may preset the conditions under which the calibration can be performed, and may control the calibration to be performed only when the set conditions are satisfied Of course.

예를 들어 상기 교정 수행 조건은 경과 시간일 수 있다. 즉, 제어부(110)는 카메라를 통해 센싱된 영상을 통해 동공 중심 좌표와 적어도 하나의 글린트로부터 산출되는 좌표가 기 설정된 조건을 만족하는 경우, 현재 사용자의 시선이 향하는 방향에 대응되는 교정이 수행된 이후 현재까지 경과된 시간을 측정할 수 있다. 그리고 측정된 시간이 기 설정된 시간 미만인 경우라면 제어부(110)는 현재 사용자의 시선이 항하는 방향에 대한 교정을 생략할 수도 있음은 물론이다. For example, the calibration performing condition may be an elapsed time. That is, when the pupil center coordinates and the coordinates calculated from at least one glint through the image sensed by the camera satisfy predetermined conditions, the control unit 110 performs calibration corresponding to the direction of the current user's gaze The elapsed time can be measured. If the measured time is less than the preset time, the control unit 110 may omit the calibration of the current user's gaze direction.

또는 상기 교정 수행 조건은, 기 설정된 이벤트의 발생일 수 있다. 예를 들어 제어부(110)는 동공 중심 좌표와 적어도 하나의 글린트로부터 산출되는 좌표가 기 설정된 조건을 만족할 때에 자동으로 교정이 수행되도록 하는 자동 교정 기능을, 메시지의 수신 또는 알림 정보의 발생과 같은 이벤트가 발생되는 경우에 한해 활성화되도록 할 수도 있다. Alternatively, the calibration execution condition may be the occurrence of a predetermined event. For example, the control unit 110 may perform an automatic correction function that automatically performs calibration when the pupil center coordinates and the coordinates calculated from at least one glint satisfy predetermined conditions, such as the reception of a message or the generation of notification information It may be activated only when an event is generated.

이러한 경우 제어부(110)는 현재 발생된 이벤트를 알리기 위한 그래픽 객체를 디스플레이부(130) 상의 일 영역에 표시할 수 있으며, 그와 동시에 활성화된 카메라를 통해 상기 그래픽 객체가 표시되는 영역을 응시하는 사용자의 눈 영상을 센싱할 수 있다. 그리고 센싱된 영상을 분석한 결과에 따라 교정이 이루어지도록 할 수도 있다. 반면 상기 교정이 이루어진 후에는 상기 자동 교정 기능을 비활성 상태로 전환하고, 상기 자동 교정 기능이 비활성된 상태를 유지할 수도 있다. 이에 따라 카메라 또는 광원 등을 계속 활성화 상태로 유지하는데 소요되는 불필요한 전력을 절약할 수도 있다. In this case, the control unit 110 may display a graphic object for notifying the currently generated event in one area on the display unit 130, and at the same time, Eye image of the eye. And the calibration may be performed according to the result of analyzing the sensed image. On the other hand, after the calibration is performed, the automatic calibration function may be switched to the inactive state and the automatic calibration function may be kept in the inactive state. Thereby saving unnecessary power for maintaining the camera or light source in an active state.

또는 제어부(110)는 차량에 구비된 다른 구성 요소, 예를 들어 ADAS(Advanced Driver Assistance Systems)와 같은 구성 요소로부터 감지되는 감지 결과에 따라 상기 자동 교정 기능이 비활성화 되도록 할 수도 있다. 예를 들어 제어부(110)는 상기 ADAS로부터 전방에 위치한 장애물을 감지할 수 있다. 그리고 감지된 장애물과 본 발명의 실시 예에 따른 차량 제어 장치(100)를 구비한 차량 사이의 거리에 따라 상기 자동 교정 기능의 활성화 여부가 결정되도록 할 수도 있다. Alternatively, the control unit 110 may cause the automatic correction function to be deactivated according to a sensing result sensed by other components included in the vehicle, for example, an ADAS (Advanced Driver Assistance Systems). For example, the control unit 110 may detect an obstacle located in front of the ADAS. The activation of the automatic correction function may be determined according to the distance between the detected obstacle and the vehicle equipped with the vehicle control apparatus 100 according to the embodiment of the present invention.

또는 제어부(110)는 상술한 바와 같이 윈드 쉴드 글래스를 통해 비치는 장애물의 형상에 근거하여 교정이 이루어지도록 하는 기능을 상기 ADAS의 감지 결과에 따라 활성화되도록 할 수도 있다. 예를 들어 제어부(110)는 상기 ADAS의 감지 결과, 전방으로부터 기 설정된 거리 이내에 장애물이 감지되지 않는 경우, 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상에 근거하여 교정을 수행하는 기능을 비활성화 상태로 유지할 수 있다. 이에 따라 제어부(110)는 제2 카메라를 통해 장애물의 형상이 있는지 여부를 검출할 필요 없이, 상기 ADAS의 감지 결과에 따라 상기 제2 카메라의 활성화 여부를 결정할 수도 있다. Alternatively, the control unit 110 may activate the function of performing correction based on the shape of the obstacle reflected through the windshield glass, as described above, according to the detection result of the ADAS. For example, when an obstacle is not detected within a predetermined distance from the front as a result of the ADAS detection, the control unit 110 keeps the function of performing the calibration based on the shape of the obstacle seen through the windshield glass in a deactivated state . Accordingly, the controller 110 may determine whether to activate the second camera according to the detection result of the ADAS, without having to detect whether or not the shape of the obstacle is present through the second camera.

한편 이상의 설명에서는 본 발명이 실시 예에 따른 차량 제어 장치(100)에서 사용자가 응시하는 방향에 대응되는 좌표를 기 설정된 기준 좌표에 근거하여 교정하는 다양한 실시 예에 따른 동작 과정들을 복수의 흐름도 및 개념도를 이용하여 자세히 살펴보았다. In the above description, the operation process according to the various embodiments of the present invention for correcting the coordinates corresponding to the direction in which the user is gazing in the vehicle control apparatus 100 based on predetermined reference coordinates is described as a plurality of flowcharts and conceptual diagrams .

이처럼 디스플레이부(130) 상의 일 영역 또는 상기 일 영역의 주변에 구비된 적어도 하나의 광원 및 적어도 하나의 카메라가 형성되는 예들을 복수의 예시도를 참조하여 보다 자세히 살펴보기로 한다. Hereinafter, examples in which at least one light source and at least one camera provided in one region on the display unit 130 or in the periphery of the one region are formed will be described in more detail with reference to a plurality of exemplary views.

우선 도 8은 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 사용자가 주행 정보가 표시되는 영역을 주시하는 경우의 예를 도시한 예시도이다. 8 is an exemplary diagram showing an example of a case in which the user watches an area in which the travel information is displayed in the vehicle control device 100 according to the embodiment of the present invention.

도 8을 참조하여 살펴보면, 도 8의 첫 번째 도면은 복수 개로 구분가능한 디스플레이부(130) 상의 영역들 중, 주행 정보가 표시되는 영역(850)의 예를 보이고 있는 것이다. 상기 도 8의 첫 번째 도면에서 보이고 있는 바와 같이 상기 디스플레이부(130) 상의 일 영역(850)에는 복수의 광원(810, 820)을 포함할 수 있으며, 카메라(800)가 구비될 수 있다. Referring to FIG. 8, the first diagram of FIG. 8 shows an example of an area 850 in which driving information is displayed, among the plurality of areas on the display unit 130 that can be distinguished. 8, a plurality of light sources 810 and 820 may be included in one region 850 of the display unit 130, and a camera 800 may be provided.

한편 도 8의 두 번째 도면은, 사용자가 상기 주행 정보가 표시되는 디스플레이부(130) 상의 영역(850)을 응시하는 경우에, 상기 카메라(800)로부터 센싱된 사용자의 눈 영상의 예를 보이고 있는 것이다. 8 shows an example of a user's eye image sensed by the camera 800 when the user looks at an area 850 on the display unit 130 on which the driving information is displayed will be.

도 8의 두 번째 도면을 참조하여 살펴보면, 상기 복수의 광원(810, 820)으로부터 발광된 빛이 사용자의 안구 또는 각막 표면에 반사되어 글린트들(812, 822)을 형성하고 있음을 알 수 있다. 이러한 경우 제어부(110)는 도 8의 두 번째 도면에서 보이고 있는 영상으로부터 사용자의 동공 영역(870)을 검출할 수 있으며, 검출된 영역으로부터 동공 중심 좌표(880)를 산출할 수 있다. 한편 제어부(110)는 상기 글린트들(812, 822)이 형성된 영역들을 검출할 수 있으며, 각 글린트들(812, 822)의 영역으로부터 각각 중심 좌표를 산출할 수 있다. 8, it can be seen that the light emitted from the plurality of light sources 810 and 820 is reflected on the eyeball or corneal surface of the user to form the glints 812 and 822 . In this case, the controller 110 can detect the user's pupil region 870 from the image shown in the second drawing of FIG. 8, and calculate the pupil center coordinates 880 from the detected region. On the other hand, the control unit 110 can detect the regions where the glints 812 and 822 are formed and calculate the center coordinates from the regions of the glints 812 and 822, respectively.

한편 제어부(110)는 각 글린트들(812, 822)의 영역으로부터 각각 중심 좌표가 산출되면, 산출된 중심 좌표들을 서로 잇는 직선을 생성할 수 있다. 그리고 상기 생성된 직선의 중앙에 대응되는 좌표(830)와 상기 산출된 동공 중심 좌표(880) 사이의 이격 거리(890)를 산출할 수 있다. 그리고 상기 이격 거리(890)가 기 설정된 거리 이하인 경우라면, 사용자가 상기 도 8의 첫 번째 도면에서 보이고 있는 디스플레이부(130) 상의 영역(주행 정보가 표시되는 영역 : 850)을 응시하고 있는 것으로 판단할 수 있다. On the other hand, when the center coordinates are calculated from the regions of the respective glands 812 and 822, the control unit 110 can generate a straight line connecting the calculated center coordinates. The distance 890 between the coordinate 830 corresponding to the center of the generated straight line and the calculated center 880 of the pupil plane can be calculated. If the distance 890 is less than the predetermined distance, it is determined that the user is looking at the area on the display unit 130 (the area in which the traveling information is displayed: 850) shown in the first drawing of FIG. 8 can do.

한편 판단 결과 사용자가 상기 주행 정보 표시 영역(850)을 응시하는 것으로 판단되는 경우라면, 제어부(110)는 상기 복수의 광원(810, 820)으로부터 산출되는 일 지점의 좌표를 기준 좌표로 산출할 수 있다. 예를 들어 제어부(110)는 상기 복수의 광원(810, 820) 각각의 좌표 정보를 메모리(120)로부터 독출할 수 있으며, 독출된 좌표를 서로 잇는 가상의 직선을 생성 및, 생성된 직선의 중심에 대응되는 상기 주행 정보 표시 영역(850) 상의 일 지점의 좌표를 기준 좌표로 산출할 수 있다. 그리고 산출된 기준 좌표를 기준으로 교정(calibration)을 수행할 수 있다. On the other hand, if it is determined that the user is gazing at the traveling information display area 850, the controller 110 may calculate coordinates of one point calculated from the plurality of light sources 810 and 820 as reference coordinates have. For example, the control unit 110 can read the coordinate information of each of the plurality of light sources 810 and 820 from the memory 120, generates a virtual straight line connecting the read coordinates, The coordinates of one point on the travel information display area 850 corresponding to the travel information display area 850 can be calculated as reference coordinates. Then, calibration can be performed based on the calculated reference coordinates.

여기서 상기 교정은, 상기 도 8의 두 번째 도면에서 보이고 있는 동공 중심의 위치에 따라 산출되는 좌표를 상기 기준 좌표로 보정하는 과정일 수 있다. 예를 들어 제어부(110)는, 기 저장된 인간의 안구 모델링 데이터에 근거하여 사용자 안구의 중심(예를 들어 선회점)을 산출할 수 있으며, 산출된 안구 중심으로부터 상기 동공의 중심을 지나는 벡터를 형성할 수 있다. 그리고 상기 벡터가 진행하는 방향에 대응되는 차량 내부의 일 지점의 좌표를 현재 사용자가 응시하는 방향에 대응되는 지점의 좌표로 산출할 수 있다. 그리고 제어부(110)는 상기 산출된 좌표와 상기 기준 좌표의 차이에 따라 좌표 보정값을 생성하고, 생성된 좌표 보정값에 따라 상기 사용자의 안구 중심으로부터 상기 동공의 중심을 지나는 벡터로부터 산출되는 좌표값을 보정함으로써, 상기 교정이 이루어지도록 할 수 있다. Here, the calibration may be a process of correcting the coordinates calculated according to the position of the center of the pupil shown in the second drawing of FIG. 8 to the reference coordinates. For example, the control unit 110 may calculate the center (e.g., turning point) of the user's eye based on pre-stored human eye modeling data, and form a vector passing through the center of the eye from the calculated eye center can do. The coordinate of one point in the vehicle corresponding to the direction in which the vector advances can be calculated as the coordinates of the point corresponding to the direction in which the current user is gazing. The control unit 110 generates a coordinate correction value according to the difference between the calculated coordinate and the reference coordinate and calculates a coordinate value calculated from a vector passing from the center of the eye of the user to the center of the pupil according to the generated coordinate correction value So that the calibration can be performed.

한편 도 9 내지 도 10은 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 적어도 하나의 광원과 적어도 하나의 카메라가 디스플레이부 영역 주변에 형성된 예들을 보이고 있는 예시도이다. 9 to 10 illustrate examples in which at least one light source and at least one camera are formed around a display sub-region in the vehicle control apparatus 100 according to the embodiment of the present invention.

먼저 도 9를 참조하여 살펴보면, 도 9는 본 발명의 실시 예에 따라 디스플레이부(130) 상의 일 영역에 형성되는 적어도 하나의 카메라 및 적어도 하나의 광원이 서로 다른 형태로 구비되는 예들을 보이고 있는 것이다. 예를 들어 상기 적어도 하나의 광원 및 적어도 하나의 카메라는 디스플레이부(130)에서 화상 정보가 표시되는 액티브(active) 영역에 형성된 홈 또는 홀(hole)을 통해 빛을 발광시키거나(적어도 하나의 광원), 이미지 정보를 센싱하도록(적어도 하나의 카메라) 형성될 수 있다. 도 9의 (a)는 이러한 예를 보이고 있는 것이다. Referring to FIG. 9, FIG. 9 illustrates an example in which at least one camera and at least one light source formed in one area on the display unit 130 are provided in different forms according to an embodiment of the present invention . For example, the at least one light source and at least one camera may emit light through at least one groove or hole formed in an active area where image information is displayed on the display unit 130 ), And to sense image information (at least one camera). Figure 9 (a) shows this example.

도 9의 (a)를 참조하여 살펴보면, 본 발명의 실시 예에 따른 차량 제어 장치(100)의 디스플레이부(130)의 일 영역은, 도 9의 (a)에서 보이고 있는 바와 같이, 화상 정보가 표시되는 액티브 영역(930)의 상단에 상기 적어도 하나의 광원 및 적어도 하나의 카메라가 구비될 수 있는 홈이 형성될 수 있다. 이에 따라 광원들(910, 920)은 상기 액티브 영역(930)에 형성된 홈들을 통해 기 설정된 빛을 발광시킬 수 있다. 또한 카메라(900)는 상기 액티브 영역(930)에 형성된 홈을 통해 광원들(910, 920)에 의해 형성된 글린트를 포함하는 사용자의 눈 영상을 센싱할 수 있다. 9A, one area of the display unit 130 of the vehicle control device 100 according to the embodiment of the present invention is configured such that, as shown in FIG. 9A, A groove may be formed at an upper end of the active area 930 to be provided with the at least one light source and at least one camera. Accordingly, the light sources 910 and 920 can emit predetermined light through the grooves formed in the active region 930. The camera 900 may sense a user's eye image including a glint formed by the light sources 910 and 920 through the groove formed in the active area 930. [

한편 상기 광원들(910, 920) 및 카메라(900), 그리고 액티브 영역(930)은 도 9의 (a)에서 보이고 있는 바와 같이 기 설정된 색상의 글래스(940)로 커버될 수 있으며, 이에 따라 상기 액티브 영역(930)의 각 홈에 형성된 상기 광원들(910, 920) 및 카메라(900)는 상기 글래스(940)로 인해 그 형상이 드러나지 않을 수도 있다. 9A, the light sources 910 and 920, the camera 900, and the active area 930 may be covered with a glass 940 of a predetermined color as shown in FIG. 9A, The shapes of the light sources 910 and 920 and the camera 900 formed in the respective grooves of the active area 930 may not be revealed due to the glass 940. [

한편 상기 도 9의 (a)는 광원들(910, 920) 및 카메라(930)가 상기 액티브 영역(930)에 형성된 홈들을 통해 구비되는 예를 설명하였으나, 이와는 달리 별도로 설정된 영역에 상기 광원들(910, 920) 및 카메라(930)가 구비될 수도 있음은 물론이다. 도 9의 (b)는 이러한 별도의 영역 예로서, 액티브(930) 영역에 인접하여 형성되는 베젤(bezel) 영역에 상기 광원들(910, 920) 및 카메라(930)가 구비되는 예를 보이고 있는 것이다. 9A illustrates an example in which the light sources 910 and 920 and the camera 930 are provided through the grooves formed in the active area 930. Alternatively, 910, and 920, and a camera 930 may be provided. 9B shows an example in which the light sources 910 and 920 and the camera 930 are provided in a bezel region formed adjacent to the active region 930 will be.

도 9의 (b)를 참조하여 살펴보면, 도 9의 (b)는 화상 정보가 표시되는 액티브 영역(930)의 상단에 별도로 베젤 영역(950)이 형성되는 예를 보이고 있다. 그리고 상기 베젤 영역(930)의 서로 다른 각 지점에 상기 광원들(910, 920) 및 카메라(930)가 구비될 수 있다. Referring to FIG. 9B, FIG. 9B shows an example in which a bezel area 950 is separately formed on the upper part of the active area 930 in which image information is displayed. In addition, the light sources 910 and 920 and the camera 930 may be provided at different points of the bezel area 930.

한편 상기 도 9의 (a) 및 (b)는 디스플레이부(130) 상의 일 영역에 어느 하나의 카메라(900)가 구비되고, 복수의 광원(910, 920)이 형성되는 예를 설명하였으나, 이와는 달리 디스플레이부(130) 상의 일 영역에는 하나의 광원만이 구비될 수 있으며, 상기 디스플레이부(130) 상의 일 영역을 응시하는 사용자의 시선을 감지하기 위한 하나의 카메라가 구비될 수도 있음은 물론이다. 도 10의 (a)는 이러한 예를 보이고 있는 것이다. 9A and 9B illustrate an example in which one camera 900 is provided in one area on the display unit 130 and a plurality of light sources 910 and 920 are formed. Alternatively, only one light source may be provided in one area on the display unit 130, and one camera may be provided to detect a user's gaze gazing at one area on the display unit 130 . Figure 10 (a) shows this example.

도 10의 (a)를 참조하여 살펴보면, 도 10의 (a)는 특정 디스플레이부(130) 영역에 하나의 광원(1000)과 하나의 카메라(1002)가 구비되는 예를 보이고 있는 것이다. 이러한 경우 제어부(110)는 상기 카메라(1002)로부터 센싱되는 눈 영상으로부터 상기 광원(1000)에 의해 형성되는 글린트의 중심 좌표를 산출하고, 산출된 중심 좌표와 동공의 중심 좌표 사이의 거리에 근거하여 사용자가 상기 특정 디스플레이부(130) 영역을 응시하고 있는지 여부를 판단할 수 있다. 10A shows an example in which one light source 1000 and one camera 1002 are provided in a specific display area 130. FIG. In this case, the control unit 110 calculates the center coordinates of the glint formed by the light source 1000 from the eye image sensed by the camera 1002, and based on the distance between the calculated center coordinates and the center coordinates of the pupil So that the user can determine whether the user is looking at the specific display unit 130 area.

한편, 상술한 설명에 따르면 본 발명의 실시 예에 따른 차량 제어 장치(100)의 디스플레이부(130)는 서로 구분되는 복수의 영역으로 구획될 수 있음을 언급한 바 있다. 도 10의 (b)는 이처럼 복수개의 영역으로 구획된 디스플레이부와 디스플레이부(130)의 각 영역에 구비된 광원들 및 카메라들의 예를 보이고 있는 것이다. Meanwhile, according to the above description, the display unit 130 of the vehicle control device 100 according to the embodiment of the present invention can be divided into a plurality of regions that are separated from each other. 10B shows an example of the light sources and the cameras provided in the display unit partitioned into the plurality of areas and the respective areas of the display unit 130. FIG.

도 10의 (b)를 참조하여 살펴보면, 도 10의 (b)는 디스플레이부(130)가 두 개의 영역(1070, 1080)으로 구획된 예를 보이고 있다. 예를 들어 상기 영역들(1070, 1080)은 각각 상기 도 10의 (a)에서 도시한 바와 같은 디스플레이부가 서로 인접한 형태로 형성될 수도 있다. Referring to FIG. 10B, FIG. 10B shows an example in which the display unit 130 is divided into two areas 1070 and 1080. For example, the areas 1070 and 1080 may be formed so that the display units as shown in FIG. 10A are adjacent to each other.

한편 상기 디스플레이부(130)의 영역들(1070, 1080)은 각각 카메라 및 광원을 포함할 수 있다. 즉 도 10의 (b)에서 보이고 있는 바와 같이 제1 영역(1070)에는 제1 광원(1050) 및 제1 카메라(1052)가 구비될 수 있으며, 제2 영역(1080)에는 제2 광원(1060) 및 제2 카메라(1062)가 구비될 수 있다. Meanwhile, the areas 1070 and 1080 of the display unit 130 may include a camera and a light source, respectively. 10B, the first region 1070 may include a first light source 1050 and the first camera 1052, and the second region 1080 may include a second light source 1060 And a second camera 1062 may be provided.

한편 이러한 상태에서, 상기 제1 카메라(1052)는 상기 제1 광원(1050)에서 발광되는 빛만을 검출할 수도 있다. 반면 상기 제2 카메라(1062)는 상기 제2 광원(1060)에서 발광되는 빛만을 검출할 수도 있다. 이러한 경우 상기 도 4에서 설명한 바와 같이, 사용자의 눈에는 동시에 두 개의 광원(1050, 1060)에 의한 글린트들이 형성될 수 있으나, 상기 제1 카메라(1052)로부터 센싱되는 영상에는 상기 제1 광원(1050)에 의해 형성되는 글린트만이 검출될 수 있다. 반면에 상기 제2 카메라(1062)로부터 센싱되는 영상에는 상기 제2 광원(1060)에 의해 형성되는 글린트만이 검출될 수 있다. 이러한 경우 제어부(110)는 각 카메라에서 센싱되는 영상들로부터, 사용자의 동공 중심으로부터 일정 거리 이내에 생성된 글린트가 어느 디스플레이부(130) 영역에 구비된 광원에 의해 형성된 것인지 쉽게 구분할 수 있으며, 이에 따라 사용자가 응시하는 디스플레이부(130) 영역을 식별할 수도 있다. Meanwhile, in this state, the first camera 1052 may detect only light emitted from the first light source 1050. On the other hand, the second camera 1062 may detect only light emitted from the second light source 1060. In this case, the glints of the two light sources 1050 and 1060 may be simultaneously formed on the eye of the user, as described with reference to FIG. 4. However, the image sensed by the first camera 1052 may include the first light source 0.0 > 1050 < / RTI > can be detected. On the other hand, only the glint formed by the second light source 1060 may be detected in the image sensed by the second camera 1062. In this case, the controller 110 can easily distinguish, from the images sensed by the respective cameras, whether the glints generated within a predetermined distance from the center of the user's pupil are formed by the light sources provided in the display unit 130 area. The user can identify the area of the display unit 130 to which the user wants to look.

한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 특정 시선 방향에 대해 교정이 필요하다고 판단할 수 있으며, 교정이 필요한 방향을 사용자가 응시하도록 사용자의 주의를 전환시킬 수 있음을 언급한 바 있다. Meanwhile, according to the above description, the vehicle control apparatus 100 according to the embodiment of the present invention can determine that calibration is necessary for a specific visual direction, and can change the attention of the user I have mentioned that it is possible.

도 11은 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 교정이 필요한 경우 교정이 필요한 방향에 대응되는 디스플레이부 상의 일 영역을 구분되도록 표시하여 사용자의 주의를 끌도록 하는 예를 도시한 것이다. Fig. 11 shows an example in which, in such a case, the vehicle control apparatus 100 according to the embodiment of the present invention displays one area on the display unit corresponding to the direction in which correction is required, FIG.

먼저 도 11의 (a)를 참조하여 살펴보면, 도 11의 (a)는 본 발명의 실시 예에 따른 차량 제어 장치(100)의 디스플레이부(130) 예를 보이고 있는 것이다. 도 11의 (a)에서 보이고 있는 바와 같이, 상기 디스플레이부(130)는 서로 구분될 수 있는 복수의 서로 다른 영역으로 구획될 수 있으며, 각 영역은 각각 적어도 하나의 광원을 포함할 수 있다. 11 (a) shows an example of the display unit 130 of the vehicle control device 100 according to the embodiment of the present invention. Referring to FIG. As shown in FIG. 11 (a), the display unit 130 may be divided into a plurality of different regions that can be distinguished from each other, and each region may include at least one light source.

이러한 상태에서, 각 디스플레이부(130) 상의 영역들을 사용자의 서로 다른 시선 방향에 대응될 수 있다. 예를 들어 제1 영역(1110)은 사용자의 좌측 방향 시선에 대응될 수 있다. 그리고 제2 영역(1120)은 사용자의 정면 방향 시선에 대응될 수 있다. 그리고 제3 영역(1130)은 사용자의 우측 방향 시선에 대응될 수 있다. 이러한 상태에서, 제어부(110)는 센싱된 사용자의 눈 영상으로부터 사용자가 어느 하나의 영역을 응시하고 있는지 여부를 감지할 수 있다. 그리고 감지 결과에 따라 사용자가 응시하는 영역의 기준 좌표(광원의 좌표)에 따라, 현재 사용자가 응시하고 있는 영역에 대응되는 시선 방향의 교정이 이루어지도록 할 수 있다. In this state, regions on the respective display units 130 may correspond to different directions of the user's eyes. For example, the first area 1110 may correspond to the left-eye direction of the user. And the second area 1120 may correspond to the frontal gaze of the user. And the third region 1130 may correspond to the rightward gaze of the user. In this state, the controller 110 can detect whether the user is gazing at an area from the eye image of the sensed user. According to the detection result, it is possible to calibrate the viewing direction corresponding to the area currently being looked at by the reference coordinates (coordinates of the light source) of the area to be examined by the user.

한편 이러한 상태에서, 제어부(110)는 교정이 필요한 시선 방향이 있는지 여부를 검출할 수 있다. 예를 들어 제어부(110)는 상기 제1 영역(1110), 제2 영역(1120), 제3 영역(1130)의 각 기준 좌표에 근거하여 대해 교정이 이루어진 시점들로부터 현재까지 경과된 시간들을 측정할 수 있다. 그리고 측정된 시간에 근거하여 기 설정된 시간 이상 교정이 이루어지지 않은 시선 방향을 검출할 수 있다. On the other hand, in this state, the control unit 110 can detect whether or not there is a direction of sight required for calibration. For example, the control unit 110 measures the elapsed times from the points at which calibration is performed to the present based on the reference coordinates of the first area 1110, the second area 1120, and the third area 1130 can do. Based on the measured time, it is possible to detect the direction of the eye that has not been calibrated for more than a predetermined time.

예를 들어 제어부(110)는, 기 설정된 시간 이상 상기 제2 영역(1120)의 기준 좌표에 근거하여 교정이 이루어지지 않은 경우라면, 사용자의 정면 방향 시선의 교정이 필요한 것으로 판단할 수 있다. 그러면 제어부(110)는 사용자가 정면 방향에 대응되는 디스플레이부(130) 상의 영역, 즉 제2 영역(1120)을 응시하도록 사용자의 주의를 유도할 수 있다. 예를 들어 이러한 주의 유도는, 상기 제2 영역(1120)에 표시되는 그래픽 객체들 또는 상기 제2 영역(1120)의 광도나 색상 변경을 통해 이루어질 수 있다. For example, if the calibration is not performed based on the reference coordinates of the second region 1120 for a predetermined time or more, the controller 110 may determine that the user needs to correct the gaze of the front direction. Then, the control unit 110 may prompt the user to look at the area on the display unit 130 corresponding to the front direction, i.e., the second area 1120. [ For example, the attention may be given to the graphic objects displayed in the second area 1120 or the brightness or color of the second area 1120.

일 예로 제어부(110)는 도 11의 (b)에서 보이고 있는 바와 같이, 기 제2 영역(1120)에 표시되는 텍스트를 보다 크고 보다 두껍게 표시할 수 있다. 또는 도 11의 (c)에서 보이고 있는 바와 같이, 상기 제2 영역(1120)의 광도를 다른 영역들(1110, 1130)보다 일정 수준 밝게 함으로써 사용자의 주의를 유도할 수 있다. 여기서 제어부(110)는 차량 주변의 환경 또는 차량의 위치나 운행 상태 등에 근거하여 상기 제2 영역(1120)을 다른 영역들(1110, 1130)과 다르게 표시할 수도 있음은 물론이다.For example, the control unit 110 can display the text displayed in the second area 1120 larger and thicker, as shown in FIG. 11 (b). 11C, the brightness of the second area 1120 may be made to be higher than that of the other areas 1110 and 1130, thereby attracting the user's attention. Here, the control unit 110 may display the second area 1120 differently from other areas 1110 and 1130 based on the environment around the vehicle, the location and the driving state of the vehicle, and the like.

한편 상기 제2 영역(1120)을 구분되게 표시함에 따라 사용자가 상기 제2 영역(1120)을 응시하는 경우, 제어부(110)는 제2 영역(1120)에 구비된 카메라(1150)를 통해, 상기 제2 영역(1120)의 광원(1150)에 의해 형성된 글린트를 포함하는 사용자의 눈 영상을 센싱할 수 있다. 그리고 상기 글린트의 중심 좌표 및 동공 중심 좌표 사이의 이격 거리에 근거하여, 상기 제2 영역(1120)의 광원(1150)의 좌표를 기준으로 사용자의 정면 방향 시선에 대응되는 좌표를 교정할 수 있다. Meanwhile, when the user gazes at the second area 1120 by separately displaying the second area 1120, the controller 110 controls the camera 1150 provided in the second area 1120, The eye image of the user including the glint formed by the light source 1150 of the second region 1120 can be sensed. Based on the distance between the center coordinates of the glint and the pupil center coordinates, the coordinates corresponding to the user's frontal gaze can be corrected based on the coordinates of the light source 1150 of the second region 1120 .

한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 차량의 윈드 쉴드 글래스를 통해 비치는 전방의 장애물 형상에 근거하여 사용자의 시선에 대응되는 좌표를 교정할 수 있음을 언급한 바 있다. On the other hand, according to the above description, it is noted that the vehicle control apparatus 100 according to the embodiment of the present invention can correct coordinates corresponding to the user's gaze based on the obstacle shape ahead of the vehicle through the windshield glass of the vehicle There is one.

도 12는 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 윈드 쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 예를 도시한 예시도이다. Fig. 12 is an exemplary view showing an example of performing calibration based on the shape of an obstacle seen in the windshield glass in the vehicle control apparatus 100 according to the embodiment of the present invention in such a case.

우선 도 12의 첫 번째 도면을 참조하여 살펴보면, 도 12의 첫 번째 도면은 차량의 전방에 위치한 장애물이 있는 상태에서 운전석 측의 윈드 쉴드 글래스(1200) 일부를 도시한 것이다.First, referring to the first drawing of FIG. 12, the first drawing of FIG. 12 shows a part of the windshield glass 1200 on the driver's seat side with an obstacle located in front of the vehicle.

먼저 본 발명의 실시 예에 따른 차량 제어 장치(100)의 광원부(170)는 상기 윈드 쉴드 글래스(1200)의 서로 다른 지점에 각각 빛을 출력하는 적어도 하나의 광원을 포함할 수 있다. 이에 따라 상기 윈드 쉴드 글래스(1200)에는 복수의 반사점이 형성될 수 있다. 즉 상기 윈드 쉴드 글래스(1200)의 일 영역에 빛을 출력하는 광원이 4개인 경우, 도 12의 첫 번째 도면에서 보이고 있는 바와 같이 4개의 반사점(1202, 1204, 1206, 1208)이 형성될 수 있다. The light source unit 170 of the vehicle control apparatus 100 according to the embodiment of the present invention may include at least one light source that outputs light to different points of the windshield glass 1200, respectively. Accordingly, a plurality of reflection points can be formed in the windshield glass 1200. That is, when there are four light sources for outputting light in one region of the windshield glass 1200, four reflection points 1202, 1204, 1206 and 1208 may be formed as shown in the first drawing of FIG. 12 .

한편 제어부(110)는 구비된 제2 카메라를 통해 상기 반사점들(1202, 1204, 1206, 1208)을 포함하는 윈드 쉴드 글래스(1200)의 영상을 센싱할 수 있다. 그리고 센싱된 영상에 포함된 반사점들(1202, 1204, 1206, 1208)을 기준점으로 상기 윈드 쉴드 글래스(1200)의 영역을 좌표화할 수 있다. 이에 따라 제어부(110)는 상기 윈드 쉴드 글래스(1200)의 영역의 각 지점의 좌표를 획득할 수 있다. Meanwhile, the controller 110 may sense an image of the windshield glass 1200 including the reflection points 1202, 1204, 1206, and 1208 through the second camera. The area of the windshield glass 1200 can be coordinateized with the reflection points 1202, 1204, 1206, and 1208 included in the sensed image as reference points. Accordingly, the control unit 110 can obtain the coordinates of each point in the area of the windshield glass 1200. [

한편 상기 도 12의 첫 번째 도면을 참조하여 살펴보면, 윈드 쉴드 글래스(1200)를 통해 본 발명의 실시 예에 따른 차량 제어 장치(100)를 구비하는 차량의 전방에 위치한, 다른 차량, 즉 장애물의 형상(1210)이 비치는 것을 알 수 있다. 따라서 제어부(110)가 상기 윈드 쉴드 글래스(1200)의 영상을 센싱하는 경우, 센싱된 영상에는 상기 윈드 쉴드 글래스(1200)에 비치는 장애물의 형상(1210)이 포함될 수 있다. On the other hand, referring to the first drawing of FIG. 12, the shape of another vehicle, that is, the shape of an obstacle, located in front of the vehicle having the vehicle control apparatus 100 according to the embodiment of the present invention, (1210) is reflected. Therefore, when the control unit 110 senses the image of the windshield glass 1200, the sensed image may include the shape 1210 of the obstacle reflected by the windshield glass 1200.

따라서 제어부(110)는 상기 센싱된 영상으로부터, 상기 장애물의 형상(1210)이 검출된 영역의 중심 좌표를 산출할 수 있다. 여기서 상기 중심 좌표는 상기 반사점들(1202, 1204, 1206, 1208)을 기준점으로 상기 윈드 쉴드 글래스(1200)의 영역을 좌표화한 결과 산출될 수 있다. 예를 들어 상기 윈드 쉴드 글래스(1200)의 일부 영역은, 도 12의 첫 번째 도면에서 보이고 있는 바와 같이 상기 반사점들(1202, 1204, 1206, 1208)을 기준점으로 좌표화(1300)될 수 있으며, 이에 따라 윈드 쉴드 글래스(1200) 상에 비치는 장애물 형상(1210)의 중심 좌표(1212)가 산출될 수 있다. Accordingly, the controller 110 can calculate the center coordinates of the area where the shape 1210 of the obstacle is detected from the sensed image. Here, the center coordinates can be calculated as coordinates of the area of the windshield glass 1200 with the reflection points 1202, 1204, 1206, and 1208 as reference points. For example, a portion of the windshield glass 1200 may be coordinateized (1300) with reference points to the reflection points 1202, 1204, 1206, and 1208 as shown in the first drawing of FIG. 12, Accordingly, the center coordinates 1212 of the obstacle shape 1210 reflected on the windshield glass 1200 can be calculated.

한편, 도 12의 두 번째 도면은, 상기 윈드 쉴드 글래스(1200)의 영상이 센싱된 후에, 제어부(110)가 제1 카메라를 이용하여 사용자의 눈 영상(1250)을 센싱한 예를 보이고 있는 것이다. 상기 도 12의 첫 번째 도면에서 보이고 있는 바와 같이, 윈드 쉴드 글래스(1200)를 통해 장애물의 형상(1210)이 비치는 경우, 상기 센싱된 사용자의 눈 영상(1250)은, 도 12의 두 번째 도면에서 보이고 있는 바와 같이, 상기 장애물의 형상(1210)에 의해 형성된 글린트(1220)를 포함할 수 있다. The second diagram of FIG. 12 shows an example in which the control unit 110 senses the user's eye image 1250 using the first camera after the image of the windshield glass 1200 is sensed . 12, when the shape 1210 of the obstacle is reflected through the windshield glass 1200, the sensed user's eye image 1250 is displayed in the second view of FIG. 12 And may include a glint 1220 formed by the shape 1210 of the obstacle, as shown.

그러면 제어부(O)는 상기 눈 영상(1250)으로부터, 상기 글린트(1220)의 중심 좌표(1222)를 산출할 수 있다. 그리고 산출된 글린트(1220)의 중심 좌표(1222)가, 사용자의 동공 영역으로부터 산출된 동공 중심 좌표(1270)로부터 기 설정된 거리(1270) 이내에 위치하는지 여부를 검출할 수 있다. 그리고 도 12의 두 번째 도면에서 보이고 있는 바와 같이, 상기 글린트(1220)의 중심 좌표(1222)가, 상기 동공 중심 좌표(1270)로부터 기 설정된 거리(1270) 이내에 위치하는 경우 제어부(110)는 사용자가 상기 글린트(1220)에 대응되는 형상, 윈드 쉴드 글래스(1200)를 통해 비치는 전방의 장애물의 형상(1210)을 주시하고 있는 것으로 판단할 수 있다. The control unit O may then calculate the center coordinates 1222 of the glint 1220 from the eye image 1250. And the center coordinate 1222 of the calculated glint 1220 is located within a predetermined distance 1270 from the pupil center coordinate 1270 calculated from the pupil area of the user. 12, when the center coordinates 1222 of the glint 1220 are located within a predetermined distance 1270 from the pupil center coordinates 1270, the control unit 110 determines It can be determined that the user is watching the shape corresponding to the glint 1220 and the shape of the obstacle 1210 ahead of the windshield glass 1200.

이러한 경우 제어부(110)는 사용자의 시선 방향에 따른 교정을 수행할 수 있다. 여기서 제어부(110)는 상기 윈드 쉴드 글래스(1200) 상에 비치는 장애물 형상(1210)의 중심 좌표(1212)를 기준 좌표로 이용할 수 있다. 즉, 제어부(110)는 상기 산출된 중심 좌표(1212)를 현재 사용자의 시선이 향하는 방향에 대응되는 좌표로 보정하고, 상기 중심 좌표(1212)와 사용자의 안구 중심과 동공 중심으로부터 산출되는 좌표의 차이값을 반영하여 교정이 이루어지도록 할 수도 있다. In this case, the controller 110 may perform calibration according to the direction of the user's gaze. The control unit 110 may use the center coordinates 1212 of the obstacle shape 1210 on the windshield glass 1200 as reference coordinates. That is, the controller 110 corrects the calculated center coordinates 1212 to the coordinates corresponding to the direction in which the current user's gaze is directed, and calculates the center coordinates 1212, the coordinates of the eye center of the user and the center of the pupil The correction may be made to reflect the difference value.

한편 상술한 설명에 따르면, 상기 메모리부(120)는 적어도 하나의 사용자에 대한 시선 정보를 포함할 수 있다. 여기서 상기 시선 정보는, 상술한 본 발명의 실시 예에 따라 사용자의 시선에 대응되는 방향과 기준 좌표에 따라 가장 최근에 수행된 교정에 관련된 정보일 수 있다. 즉, 제어부(110)는 현재 차량을 운전하는 사용자를 인식하고, 그 사용자가 차량을 운전하는 경우에 수행된 교정 결과에 따른 정보를 상기 시선 정보로서 저장할 수 있다. 그리고 상기 시선 정보는 특정 사용자에 대응되도록 저장된 것일 수 있다. 즉, 제어부(110)는 현재 차량을 운전하는 사용자를 운전자를 인식하고, 운전자가 차량을 운전하는 동안 수행된 교정 결과에 따른 정보를, 현재의 운전자, 즉 특정 사용자에 대응되는 시선 정보로서 저장할 수 있다. 그리고 교정이 수행될 때마다 상기 시선 정보를 갱신할 수 있다.  Meanwhile, according to the above description, the memory unit 120 may include gaze information for at least one user. Here, the gaze information may be information related to the most recently performed calibration according to the direction corresponding to the user's gaze and the reference coordinates according to the embodiment of the present invention described above. That is, the control unit 110 recognizes the user who is currently operating the vehicle, and may store information according to the calibration result performed when the user operates the vehicle, as the sight line information. The gaze information may be stored to correspond to a specific user. That is, the control unit 110 recognizes the driver who is currently driving the vehicle and stores the information according to the calibration result performed while the driver is driving the vehicle as sight line information corresponding to the current driver, that is, a specific user have. The gaze information can be updated every time the calibration is performed.

한편 여기서 운전자를 인식하는 방법은 다양하게 있을 수 있다. 예를 들어 제어부(110)는 운전석에 착석한 사용자의 안면 영상을 통해 특정 사용자를 운전자로 인식할 수 있다. 또는 제어부(110)는 핸들의 기 설정된 영역을 통해 인가되는 지문에 근거하여 특정 사용자를 운전자로 인식할 수 있다. 또는 운전석에 착석한 사용자의 음성에 근거하여 운전자를 인식할 수도 있다. 이러한 운전자 인식 과정은, 차량의 구동이 시작되는 경우에 수행될 수 있다. Here, there are many ways to recognize drivers. For example, the control unit 110 may recognize a specific user as a driver through a face image of a user who is seated in the driver's seat. Alternatively, the control unit 110 may recognize a specific user as a driver based on a fingerprint applied through a predetermined area of the handle. Or recognize the driver based on the voice of the user who is seated in the driver's seat. Such a driver recognition process can be performed when driving of the vehicle is started.

한편, 제어부(110)는 상기 차량의 운전자가 특정 사용자로 인식되면, 그 사용자에 대응되는 시선 정보에 근거하여 사용자의 시선 방향에 따라 산출되는 좌표값들을 초기화할 수도 있음은 물론이다. 즉, 제어부(110)는 특정 사용자가 운전자로 인식되면, 기 설정된 조건(예를 들어, 동공 중심 좌표와 기 설정된 광원으로부터 형성되는 글린트의 중심 좌표가 일정 거리 내인 경우)이 충족되지 않더라도, 사용자가 응시하는 방향에 대응되는 좌표 산출 결과가 상기 메모리(120)에 저장된 해당 사용자의 시선 정보, 즉 이전에 수행되었던 교정 결과에 따라 보정되도록 할 수 있다. 그리고 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 상기 기 설정된 조건에 따라 다시 교정을 수행하고, 수행된 교정 결과를 반영하여 현재 운전자에 대응되는 시선 정보를 갱신할 수 있다. Meanwhile, when the driver of the vehicle is recognized as a specific user, the controller 110 may initialize the coordinate values calculated according to the user's gaze direction based on the gaze information corresponding to the user. That is, when a specific user is recognized as a driver, the control unit 110 determines that the user is a driver, even if the predetermined condition (for example, the center coordinates of the pupil center coordinates and the glint formed from the predetermined light source are within a certain distance) May be corrected according to the sight line information of the user stored in the memory 120, that is, the calibration result that was previously performed. The control unit 110 of the vehicle control apparatus 100 according to the embodiment of the present invention performs calibration again according to the predetermined condition and updates the sight line information corresponding to the current driver by reflecting the performed calibration result have.

이에 따라 차량을 운전하는 운전자가 다른 사용자로 변경되거나, 또는 사용자가 차량의 구동을 종료하였다가 다시 시작하는 경우에도, 현재 차량을 운전하는 사용자의 시선 특성에 따른 좌표가 보다 정확하게 검출될 수 있다. Accordingly, even when the driver who operates the vehicle is changed to another user, or when the user ends the driving of the vehicle and starts again, the coordinates according to the line-of-sight characteristic of the user currently driving the vehicle can be detected more accurately.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer-readable codes on a medium on which a program is recorded. The computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, , And may also be implemented in the form of a carrier wave (e.g., transmission over the Internet). Also, the computer may include a control unit of the terminal. The foregoing detailed description, therefore, should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims (20)

사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치에 있어서,
상기 차량과 관련된 다양한 화상 정보를 표시하는 디스플레이부;
상기 디스플레이부 상의 일 영역을 사용자가 응시할 때에, 상기 사용자의 동공 및 안구의 일 영역에 적어도 하나의 반사광이 형성되도록 빛을 발광하는 적어도 하나의 광원을 포함하는 광원부;
차량 내부의 각 영역 및 상기 적어도 하나의 광원 각각에 대한 좌표 정보를 저장하는 메모리;
상기 사용자의 동공 및 안구의 일 영역을 포함하는 영상을 센싱하는 카메라를 포함하는 카메라부; 및,
상기 센싱된 영상에 근거하여, 상기 사용자의 동공 중심으로부터 제1 좌표를 산출 및 상기 영상에 포함된 적어도 하나의 반사광으로부터 제2 좌표를 산출하고, 상기 제1 좌표와 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우 상기 적어도 하나의 반사광을 형성한 적어도 하나의 광원 각각의 기 저장된 좌표 정보로부터 상기 차량 내부의 일 지점의 좌표를 기준 좌표로 산출하며, 상기 기준 좌표를 상기 사용자가 응시하는 방향에 대응되는 좌표로 교정(calibration)을 수행하는 제어부를 포함하며,
상기 제어부는,
기 설정된 조건에 따라 교정이 필요한지 여부를 판단하고, 교정이 필요한 경우 상기 디스플레이부 상의 일 영역이 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역을 다른 영역과 구분되게 표시하며,
상기 디스플레이부 상의 일 영역은,상기 차량의 현재 운행 상태, 상기 차량의 현재 위치, 및 상기 차량의 주변 상황에 대해 수집된 정보들 중 적어도 하나에 근거하여 결정되는 것을 특징으로 하는 차량 제어 장치.A vehicle control apparatus for controlling various functions of a vehicle according to a direction of a user's gaze,
A display unit for displaying various image information related to the vehicle;
A light source unit including at least one light source for emitting light so that at least one reflected light is formed in one region of a pupil and an eyeball of the user when the user looks at one region on the display unit;
A memory for storing coordinate information for each area within the vehicle and for each of the at least one light source;
A camera unit including a camera for sensing an image including one region of the pupil and the eye of the user; And
Calculating a first coordinate from the pupil center of the user based on the sensed image and calculating a second coordinate from at least one reflected light included in the image, and calculating a distance between the first coordinate and the second coordinate, Calculating coordinates of one point inside the vehicle from the pre-stored coordinate information of each of at least one light source that forms the at least one reflected light when the distance is less than a predetermined distance, And performing a calibration with the obtained coordinates,
Wherein,
Wherein one of the regions on the display unit is distinguished from the other regions so that one area on the display unit may draw a user's attention when calibration is required,
Wherein one area on the display unit is determined based on at least one of information gathered about a current driving state of the vehicle, a current position of the vehicle, and a peripheral situation of the vehicle. 제1항에 있어서,
상기 디스플레이부 상의 일 영역은,
상기 차량의 주행과 관련된 주행 정보를 표시하는 영역이며,
상기 적어도 하나의 광원은,
상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 또는 상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 주변에 구비되는 것을 특징으로 하는 차량 제어 장치.The method according to claim 1,
Wherein one area on the display unit comprises:
An area for displaying travel information related to the running of the vehicle,
Wherein the at least one light source comprises:
Wherein the vehicle information is provided in one area on the display unit on which the travel information is displayed or in one area on the display unit on which the travel information is displayed. 제1항에 있어서, 상기 기 설정된 거리는,
기 설정된 허용 오차 범위에 따라 결정되거나, 사용자의 카파각(Kappa angle) 특성을 고려하여 설정되는 것을 특징으로 하는 차량 제어 장치.2. The method of claim 1,
Is determined according to a predetermined tolerance range, or is set in consideration of a Kappa angle characteristic of the user. 제1항에 있어서,
상기 메모리는,
상기 차량을 운전하는 운전자를 식별한 결과에 대응되게 상기 교정 결과에 대한 정보를 저장하고,
상기 제어부는,
상기 차량의 구동이 시작되면 운전자를 식별 및, 식별된 운전자에 대응되는 기 저장된 교정 결과를 반영하여 상기 운전자의 시선 방향에 대응되는 좌표값들을 산출하는 것을 특징으로 하는 차량 제어 장치.The method according to claim 1,
The memory comprising:
Storing information on the calibration result corresponding to a result of identifying a driver who operates the vehicle,
Wherein,
Wherein when the driving of the vehicle is started, the controller identifies the driver and calculates coordinate values corresponding to the driver's gaze direction by reflecting the pre-stored calibration results corresponding to the identified driver. 제1항에 있어서,
상기 디스플레이부는,
복수개의 서로 다른 영역으로 구획되며,
상기 광원부는,
상기 디스플레이부 상의 복수개의 서로 다른 영역에 각각 구비되는 복수의 광원을 포함하며,
상기 제어부는,
상기 복수의 광원에 의해 형성된 복수의 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상이 센싱되면, 상기 복수의 반사광 각각으로부터 산출되는 반사광의 중심 좌표들 중 어느 하나와 상기 제1 좌표에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하고, 식별된 영역에 구비된 광원의 좌표 정보를 상기 기준 좌표로 설정하여 상기 교정을 수행하는 것을 특징으로 하는 차량 제어 장치.The method according to claim 1,
The display unit includes:
And is divided into a plurality of different regions,
The light source unit includes:
And a plurality of light sources respectively provided in a plurality of different areas on the display unit,
Wherein,
When the image of one region of the pupil and the eye of the user including a plurality of reflected light formed by the plurality of light sources is sensed, the center coordinates of the reflected light calculated from each of the plurality of reflected light, Wherein the control unit identifies an area of the plurality of areas on the display unit that the current user is looking for and sets the coordinate information of the light source provided in the identified area as the reference coordinates to perform the calibration. 제5항에 있어서, 상기 제어부는,
상기 센싱된 영상에 포함된 복수의 반사광 각각으로부터 반사광 중심 좌표를 산출하고,
산출된 반사광 중심 좌표들 중 상기 제1 좌표와 기 설정된 거리 이내에 위치한 어느 하나에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 하는 차량 제어 장치.6. The apparatus of claim 5,
Calculating reflected light center coordinates from each of the plurality of reflected light included in the sensed image,
And identifies an area of the plurality of areas on the display unit to be currently gazed by the user, based on any one of the calculated reflected light center coordinates located within a predetermined distance from the first coordinate. 제5항에 있어서,
상기 복수의 광원은,
각각 서로 구분되는 광원을 발광하는 광원들이며,
상기 카메라부는,
상기 복수의 광원 각각에 대응되며, 대응되는 광원에 의한 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상을 각각 센싱하는 복수의 카메라를 포함하고,
상기 제어부는,
상기 복수의 카메라로부터 센싱되는 영상들 중, 사용자의 동공 중심으로부터 산출되는 제1 좌표와 상기 반사광으로부터 산출되는 제2 좌표 사이의 거리가 기 설정된 거리 이하인 영상에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 하는 차량 제어 장치.6. The method of claim 5,
Wherein the plurality of light sources comprises:
Light sources that emit light sources that are distinguished from each other,
The camera unit includes:
And a plurality of cameras respectively corresponding to the plurality of light sources and each sensing an image of one region of a pupil and an eye of a user including reflected light by a corresponding light source,
Wherein,
Based on an image having a distance between a first coordinate calculated from the center of the pupil of the user and a second coordinate calculated from the reflected light of the images sensed by the plurality of cameras to a predetermined distance or less, Wherein the control unit identifies an area in which the current user is looking. 삭제delete 삭제delete 제1항에 있어서, 상기 제어부는,
상기 디스플레이부 상의 일 영역 내에 터치 입력이 인가되는 경우, 사용자가 현재 응시하고 있는 방향에 대응되는 좌표를 산출하고, 산출된 사용자의 시선 방향에 대응되는 좌표가 상기 디스플레이부 상의 일 영역 내의 일 지점인지 여부에 따라 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 하는 차량 제어 장치.The apparatus of claim 1,
When the touch input is applied to one area on the display unit, calculates a coordinate corresponding to a direction in which the user is currently gazing, and if the coordinate corresponding to the calculated gaze direction of the user is one point in one area on the display unit Whether the correction is necessary or not. 제10항에 있어서, 상기 제어부는,
상기 산출된 사용자의 시선 방향에 대응되는 좌표가, 상기 디스플레이부 상의 일 영역 내의 일 지점이 아닌 경우 오차가 발생한 것으로 판단하며,
발생된 오차의 횟수를 누적 및, 누적된 오차 횟수가 기 설정된 횟수에 이르는 경우, 상기 디스플레이부 상의 일 영역을 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 하는 차량 제어 장치.11. The apparatus according to claim 10,
If it is determined that an error occurs when the coordinate corresponding to the gaze direction of the calculated user is not one point in one area on the display unit,
And displays one area on the display unit so as to be distinguished from another area on the display unit when the accumulated number of errors is accumulated and the cumulative number of errors reaches a preset number of times. 제10항에 있어서, 상기 제어부는,
상기 터치 입력이 인가된 지점이, 상기 기준 좌표로부터 일정 거리 내에 위치하는 경우, 상기 산출된 사용자의 시선 방향에 대응되는 좌표에 근거하여 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 하는 차량 제어 장치.11. The apparatus according to claim 10,
Wherein the control unit determines whether or not the calibration is necessary based on the coordinates corresponding to the gaze direction of the calculated user when the point where the touch input is applied is located within a certain distance from the reference coordinates. 제1항에 있어서, 상기 제어부는,
상기 디스플레이부 상의 일 영역의 광도 또는 색상을, 상기 디스플레이부 상의 다른 영역과 다르게 하거나, 또는 상기 디스플레이부 상의 일 영역에서 표시되는 그래픽 객체들 중 적어도 하나를, 상기 다른 영역에서 표시되는 그래픽 객체와 다르게 표시하여, 상기 일 영역이 상기 다른 영역과 구분되도록 하는 것을 특징으로 하는 차량 제어 장치.The apparatus of claim 1,
Wherein at least one of the graphic objects displayed in one area on the display unit is different from the graphic object displayed in the other area So that the one area is distinguished from the other area. 제1항에 있어서, 상기 제어부는,
상기 디스플레이부 상의 일 영역이 다른 영역과 구분 및 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역에, 기 설정된 이벤트의 발생을 알리기 위한 알림 정보를 표시하는 것을 특징으로 하는 차량 제어 장치.The apparatus of claim 1,
Wherein the display unit displays notification information for notifying occurrence of a predetermined event in one area on the display unit so that one area on the display unit is distinguished from other areas and a user's attention is generated. 제1항에 있어서,
상기 화상 정보는,
상기 차량의 윈드 쉴드 글래스의 적어도 일부 영역에 표시되며,
상기 광원부는,
상기 화상 정보가 표시되는 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며,
상기 제어부는,
상기 적어도 하나의 광원으로부터 출력되는 빛이, 상기 윈드 쉴드 글래스 및 상기 사용자의 동공 및 안구의 일 영역에 반사되어 형성되는 적어도 하나의 반사광으로부터 상기 제2 좌표를 산출하고, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표로부터 상기 기준 좌표를 산출하는 것을 특징으로 하는 차량 제어 장치.The method according to claim 1,
The image information includes:
Wherein the display is displayed on at least a part of the windshield glass of the vehicle,
The light source unit includes:
And at least one light source for outputting light to at least one point of the windshield glass on which the image information is displayed,
Wherein,
Wherein the light output from the at least one light source calculates the second coordinate from at least one reflected light formed by reflecting on one side of the windshield glass and the pupil of the user and the eyeball, Wherein the reference coordinate is calculated from the coordinates of at least one point of the windshield glass on which the reflected light is reflected. 제15항에 있어서, 상기 메모리는,
상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표에 관련된 정보를 미리 저장하고 있는 것을 특징으로 하는 차량 제어 장치.16. The apparatus of claim 15,
Wherein information relating to coordinates of at least one point of the windshield glass in which light output from the at least one light source is reflected is stored in advance. 제1항에 있어서,
상기 카메라부는,
상기 광원이 복수인 경우, 상기 사용자의 동공 및 안구의 일 영역에 복수의 반사광을 포함하는 영상을 센싱하며,
상기 제어부는,
상기 복수의 반사광을 포함하는 영상이 센싱되면, 상기 복수의 반사광 각각의 중심으로부터 산출되는 반사광 중심 좌표들로부터 가상의 직선 또는 다각형을 생성 및 생성된 가상의 직선 또는 다각형의 중심으로부터 상기 제2 좌표를 산출하며,
상기 복수의 반사광 각각에 대응되는 광원들의 기 저장된 좌표들로부터 가상의 직선 및 다각형을 생성하고, 생성된 가상의 직선 및 다각형의 중심으로부터 산출되는 상기 디스플레이부 상의 일 지점의 좌표를 상기 기준 좌표로 설정하는 것을 특징으로 하는 차량 제어 장치.The method according to claim 1,
The camera unit includes:
When the light source includes a plurality of light sources, sensing an image including a plurality of reflected lights in one region of the pupil and the eyeball of the user,
Wherein,
When an image including the plurality of reflected lights is sensed, a virtual straight line or polygon is generated from the reflected light center coordinates calculated from the center of each of the plurality of reflected light, and the second coordinate is calculated from the center of the imaginary straight line or polygon However,
A virtual straight line and a polygon are generated from the previously stored coordinates of the light sources corresponding to each of the plurality of reflected light and the coordinate of one point on the display unit calculated from the center of the generated virtual straight line and polygon is set as the reference coordinates The vehicle control apparatus comprising: 제1항에 있어서, 상기 제어부는,
상기 광원부 및 상기 카메라부를 비활성화 상태로 유지하며,
상기 차량 주변의 환경을 감지하고, 감지된 차량 주변의 환경에 근거하여 상기 광원부 및 상기 카메라부를 활성화 상태로 전환하는 것을 특징으로 하는 차량 제어 장치.The apparatus of claim 1,
The light source unit and the camera unit are kept in an inactive state,
Detects the environment around the vehicle, and switches the light source unit and the camera unit to the activated state based on the environment around the detected vehicle. 제1항에 있어서,
상기 광원부는,
상기 차량의 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며,
상기 카메라부는,
상기 차량의 윈드 쉴드 글래스의 일부 영역을 통해 비치는 상기 차량 전방에 위치한 장애물의 형상을 포함하는 영상을 센싱하는 서브 카메라를 더 포함하며,
상기 제어부는,
상기 서브 카메라를 통해 센싱되는 영상으로부터, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점에 근거하여 상기 장애물의 형상이 비치는 윈드 쉴드 글래스의 일부 영역을 좌표화 및, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 산출하고,
상기 사용자의 동공 및 안구의 일 영역이 포함된 영상으로부터, 상기 제1 좌표 및, 상기 사용자의 동공 및 안구의 일 영역에 비친 상기 장애물 형상의 중심 좌표를 상기 제2 좌표로 산출하며,
산출된 상기 제1 좌표와 상기 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 기준 좌표로, 사용자가 상기 윈드 쉴드 글래스 상에 비치는 장애물을 응시하는 방향에 대응되는 좌표를 교정하는 것을 특징으로 하는 차량 제어 장치.The method according to claim 1,
The light source unit includes:
At least one light source for outputting light to at least one point of the windshield glass of the vehicle,
The camera unit includes:
Further comprising a sub-camera for sensing an image including a shape of an obstacle located in front of the vehicle through a part of the windshield glass of the vehicle,
Wherein,
A part of the windshield glass in which the shape of the obstacle is reflected is based on at least one point of the windshield glass from which the light output from the at least one light source is reflected, A center coordinate of an obstacle shape reflected in the windshield glass is calculated,
The center coordinates of the obstacle shape reflected in one of the first coordinate and the pupil and the eye of the user are calculated as the second coordinate from the image including one region of the pupil and the eye of the user,
When the calculated distance between the first coordinate and the second coordinate is equal to or less than a predetermined distance, the center coordinates of the obstacle shape reflected in the windshield glass are set as reference coordinates, and the user looks at an obstacle reflected on the windshield glass And corrects coordinates corresponding to the direction of the vehicle. 사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치의 제어 방법에 있어서,
적어도 하나의 광원이 구비된 상기 차량의 디스플레이부 상의 일 영역을 응시하는 사용자의 눈 영상을 센싱하는 단계;
상기 센싱된 영상으로부터, 사용자의 동공 영역 및 상기 광원에서 출력된 빛이 반사되어 형성되는 적어도 하나의 반사광 영역을 검출하는 단계;
상기 동공 영역의 중심으로부터 제1 좌표를 산출 및, 상기 적어도 하나의 반사광 영역 각각의 중심으로부터 제2 좌표를 산출하는 단계;
상기 산출된 제1 좌표와 제2 좌표 사이의 이격 거리에 근거하여, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는지 여부를 판단하는 단계; 및,
상기 판단 결과, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는 것으로 판단되면, 상기 사용자의 동공 중심 및 기 저장된 인체 모델링 데이터에 의해 산출되는 사용자의 시선 방향 좌표를, 상기 적어도 하나의 광원의 좌표값을 기준으로 교정(calibration)하는 단계를 포함하며,
상기 디스플레이부 상의 일 영역을 응시하는 사용자의 눈 영상을 센싱하는 단계는,
상기 디스플레이부 상의 일 영역이 사용자의 주의를 유도하도록, 상기 차량과 관련된 다양한 화상 정보를 표시하는 상기 디스플레이부 상의 일 영역을 다른 영역과 구분되게 표시하는 단계를 더 포함하며,
상기 디스플레이부 상의 일 영역은,
상기 차량의 현재 운행 상태, 상기 차량의 현재 위치, 및 상기 차량의 주변 상황에 대해 수집된 정보들 중 적어도 하나에 근거하여 결정되는 것을 특징으로 하는 차량 제어 장치의 제어 방법. A control method of a vehicle control device for controlling various functions of a vehicle according to a direction of a user's gaze,
Sensing an eye image of a user staring at one area on a display unit of the vehicle having at least one light source;
Detecting at least one reflected light region formed by reflecting a pupil region of a user and light output from the light source from the sensed image;
Calculating a first coordinate from a center of the pupil region and calculating a second coordinate from a center of each of the at least one reflected light region;
Determining whether the user is looking at one area on the display unit based on the calculated distance between the first coordinate and the second coordinate; And
If it is determined that the user is gazing at one area on the display unit, the user's eye direction coordinate calculated by the pupil center of the user and the previously stored human body modeling data is set to a coordinate value of the at least one light source And calibrating with respect to the reference temperature,
The step of sensing an eye image of a user gazing at one area on the display unit comprises:
Further comprising the step of displaying one area on the display unit, which displays various image information related to the vehicle, differently from another area, so that one area on the display unit induces a user's attention,
Wherein one area on the display unit comprises:
The current position of the vehicle, and the information gathered about the circumstance of the vehicle, based on at least one of a current driving state of the vehicle, a current position of the vehicle, and information about a surrounding situation of the vehicle.

Images