KR20120069914A - Night vision system and controlling method thereof - Google Patents

Night vision system and controlling method thereof Download PDF

Info

Publication number
KR20120069914A
KR20120069914A KR1020100131252A KR20100131252A KR20120069914A KR 20120069914 A KR20120069914 A KR 20120069914A KR 1020100131252 A KR1020100131252 A KR 1020100131252A KR 20100131252 A KR20100131252 A KR 20100131252A KR 20120069914 A KR20120069914 A KR 20120069914A
Authority
KR
South Korea
Prior art keywords
image
information
night vision
display
warning
Prior art date
Application number
KR1020100131252A
Other languages
Korean (ko)
Other versions
KR101250566B1 (en
Inventor
이상영
Original Assignee
쌍용자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쌍용자동차 주식회사 filed Critical 쌍용자동차 주식회사
Priority to KR1020100131252A priority Critical patent/KR101250566B1/en
Publication of KR20120069914A publication Critical patent/KR20120069914A/en
Application granted granted Critical
Publication of KR101250566B1 publication Critical patent/KR101250566B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

PURPOSE: A night vision device and a control method thereof are provided to secure driving convenience through offering additional information to a driver by using a traveling route estimation function and a obstacle distance measurement function. CONSTITUTION: A night vision device comprises a thermal observation camera unit(10), a sensor unit(20), a image processing unit(30), and a display device(40). The thermal observation camera unit outputs captured image through detecting thermal infrared emitted from an object. The sensor unit supplies the information according to vehicle speed and the moving route of a vehicle. The image processing unit predicts vehicle driving route based on the vehicle information and controls the displaying of a caution or warning image according to the object captured into image. The display device indicates the caution or warning image in a screen.

Description

나이트 비전 시스템 및 그 제어방법{Night vision system and controlling method thereof}Night vision system and controlling method

본 발명은 나이트 비전 시스템(Night Vision System)에 관한 것으로서, 더욱 상세하게는 야간 및 악천 후 등으로 인해 차량에서의 전방 시야 확보가 어려운 주행 환경에서 주변 이미지를 열 감지 영상(열적외선 또는 원적외선)으로 확보하여, 이를 운전자에게 제공해줌으로써 안전운전을 도모하기 위한 나이트 비전 시스템 및 그 제어방법에 관한 것이다.
The present invention relates to a night vision system, and more particularly, to convert a surrounding image into a thermal sensing image (thermal infrared or far-infrared) in a driving environment in which it is difficult to secure a forward view in a vehicle due to night or bad weather. The present invention relates to a night vision system and a control method thereof for securing safe driving by providing the same to a driver.

일반적으로, 차량에는 야간 운전 시 도로 전방 상황을 표시하기 위한 나이트비전 시스템(NVS: Night Vision System)이 마련되어 있으며, 이러한 나이트비전 시스템은 야간 주행 시 교통 사고를 방지할 수 있는 효과가 있다.In general, a vehicle is provided with a night vision system (NVS) for displaying a road ahead situation during night driving, and the night vision system has an effect of preventing a traffic accident during a night driving.

종래의 나이트 비전 시스템은 도 1에 도시된 바와 같이, 적외선 발생부(100), 차량의 전방을 촬영하는 적외선 촬영부(200), 상기 차량의 조향 정보를 감시하는 센서부(300), 상기 센서부(300)로부터 차량의 주행 방향을 예측하고, 예측된 주행 방향의 장애물을 감지하는 제어부(500), 주행 방향의 장애물 영상을 표시하는 디스플레이부(400), 운전자에게 장애물에 대해 위험을 알리기 위해 경보를 발생시키는 경보부(600)를 포함한다.As shown in FIG. 1, the conventional night vision system includes an infrared ray generating unit 100, an infrared ray imaging unit 200 for photographing the front of a vehicle, a sensor unit 300 for monitoring steering information of the vehicle, and the sensor. To predict the driving direction of the vehicle from the unit 300, the control unit 500 for detecting the obstacle in the predicted driving direction, the display unit 400 for displaying the obstacle image of the driving direction, to inform the driver of dangers to the obstacle And an alarm unit 600 for generating an alarm.

또한, 종래의 나이트 비전 시스템의 제어 방식은 도 2에 도시된 바와 같이, 차량 내부에 마련된 시스템 온/오프 스위치를 작동시켜 나이트비전 시스템을 온 시키는 단계(S100), DIS 또는 클러스터 또는 진단 툴에 의해 조향 정보 시스템과의 연동 여부를 판단하는 단계(S200), 조향 정보 시스템과 연동되어 시스템이 동작하면, 시스템이 현재 직선 모드인지 확인하는 단계(S300), 조향각 변동 또는 턴 시그널 신호가 입력되는지 여부를 판단하는 단계(S400), 조향각 신호 또는 턴 시그널 신호가 입력되면, 입력된 값에 따라 차량의 주행 방향이 좌측인지 우측인지 판단하고, 차량의 주행 방향에 따라 시스템을 좌측 모드, 우측 모드, 직선 모드와 같이 3가지 모드로 설정하는 단계(S500 ~ S700)로 이루어진다.In addition, the control method of the conventional night vision system, as shown in Figure 2, by operating the system on / off switch provided in the vehicle to turn on the night vision system (S100), by the DIS or cluster or diagnostic tool Determining whether or not interlock with the steering information system (S200), if the system operates in conjunction with the steering information system, the step of checking whether the system is currently in the straight mode (S300), whether the steering angle change or turn signal signal is input In operation S400, when the steering angle signal or the turn signal signal is input, it is determined whether the driving direction of the vehicle is the left or the right according to the input value, and the system is operated in the left mode, the right mode, and the straight mode according to the driving direction of the vehicle. As shown in the step (S500 ~ S700) to set the three modes.

이와 같이 구성되는 종래의 나이트 비전 시스템은, 차량의 전방에 적외선 램프를 설치하여, 근 적외선을 발산하여 차량 전방의 장애물을 감지하고, 다시 반사되는 근 적외선을 차량 내의 수광부에서 감지하여 이를 디스플레이하는 방식으로 운전자에게 제공한다.In the conventional night vision system configured as described above, by installing an infrared lamp in front of the vehicle, by detecting the obstacles in front of the vehicle by emitting near infrared rays, and detecting the near infrared rays reflected back from the light receiving unit in the vehicle to display them To the driver.

아울러 조향각에 대한 정보를 활용하는 경우 주행 방향을 예측하여 디스플레이되는 영상을 3가지로 분리하여 감지 영역을 표시해준다.In addition, when the information on the steering angle is utilized, the detection area is displayed by dividing the displayed image into three types by predicting the driving direction.

그러나 이러한 종래의 나이트 비전 시스템은, 적외선 램프를 통해 근 적외선을 발산하여 장애물을 인지하고 다시 수신하는 근 적외선 방식이므로, 가시광선 범위의 빛 반사 부분도 인지가 가능하여 전방 차량에서 조사되는 램프 등에 의한 눈부심도 그대로 영상에 반영되는 등 육안 대비 크게 효율적이지 못하다는 단점이 있다.However, since the conventional night vision system is a near-infrared method that emits near-infrared light through an infrared lamp and recognizes an obstacle and receives it again, the light reflecting portion of the visible light range can be recognized, so that the lamp is irradiated from the front vehicle. The glare is reflected in the image as it is, it is not very effective compared to the naked eye.

또한, 종래의 나이트 비전 시스템은 적외선 발생장치인 적외선 램프를 차량에 장착해야하는 불편함도 있으며, 그에 따른 공간 활용도 제약, 디자인 제약, 관련 장치와의 매칭 등의 문제점도 발생하였다.In addition, the conventional night vision system is also inconvenient to mount an infrared lamp, which is an infrared ray generating device to the vehicle, there is also a problem such as space utilization constraints, design constraints, matching with the related devices.

또한, 조향각에 대한 정보만을 활용하여 주행 방향만을 예측하여 감지 영역을 설정하는 방식이므로, 실제 주행 경로와의 오차가 발생할 수 있으며, 이는 운전자에게 실제 위험 범위의 장애물보다 많은 수의 즉, 더욱 빈번한 경고 신호를 발생할 수 있어 시스템 활용성에 문제를 야기시켰다.
In addition, since the detection area is set by only predicting the driving direction by using only the information on the steering angle, an error with the actual driving path may occur, which is more frequent than the obstacles in the actual danger range, that is, more frequent warning to the driver. Signals can be generated, causing problems with system availability.

따라서 본 발명은 상기와 같은 종래 나이트 비전 시스템에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,Therefore, the present invention has been proposed to solve various problems occurring in the conventional night vision system as described above,

본 발명이 해결하려는 과제는, 야간 및 악천 후 등으로 인해 차량에서의 전방 시야 확보가 어려운 주행 환경에서 주변 이미지를 열 감지 영상(원적외선)으로 확보하여, 이를 운전자에게 제공해줌으로써 안전운전을 도모하기 위한 나이트 비전 시스템 및 그 제어방법을 제공하는 데 있다.The problem to be solved by the present invention is to secure the surrounding image as a heat-sensing image (far-infrared) in a driving environment difficult to secure a forward view in the vehicle due to night and bad weather, and to provide it to the driver for safe driving It is to provide a night vision system and its control method.

본 발명이 해결하려는 다른 과제는, 주행 경로 예측과 장애물까지의 거리 측정 기능을 추가하고, 장애물 인식 알고리즘과 연동을 통해 운전자에게 추가적인 정보를 제공하여 운전 편의를 돕고 안전운전을 도모하기 위한 나이트 비전 시스템 및 그 제어방법을 제공하는 데 있다.
Another problem to be solved by the present invention is a night vision system for adding driving path prediction and distance measurement to obstacles and providing additional information to the driver through linkage with an obstacle recognition algorithm to help driving convenience and drive safe driving. And a control method thereof.

상기와 같은 과제들을 해결하기 위한 본 발명에 따른 "나이트 비전 시스템"은,"Night vision system" according to the present invention for solving the above problems,

물체에서 발산하는 열적외선을 감지하여 촬영 영상을 출력하는 열상감지 카메라부와;A thermal sensing camera unit which detects thermal infrared rays emitted from an object and outputs a captured image;

차량의 이동 경로 정보와 속도 정보를 제공하는 센서부와;A sensor unit for providing movement path information and speed information of the vehicle;

상기 열상감지 카메라부에서 획득한 촬영 영상과 상기 센서부에 제공하는 차량의 이동 경로 정보 및 속도 정보를 기반으로, 주행 경로를 예측하고, 촬영 영상으로부터 추출한 물체에 대한 주의 또는 경고 영상의 표시를 제어하는 영상처리부와;Based on the captured image acquired by the thermal imaging camera unit and the moving path information and the speed information of the vehicle provided to the sensor unit, the driving path is predicted and the display of the caution or warning image on the object extracted from the captured image is controlled. An image processor;

상기 영상처리부에서 제공되는 주의 또는 경고 영상을 화면에 표시해주는 표시장치를 포함한다.And a display device for displaying a warning or warning image provided by the image processor on a screen.

상기 센서부는,The sensor unit includes:

차량의 이동 경로 정보를 제공하는 조향각 센서와;A steering angle sensor for providing movement path information of the vehicle;

차량의 속도 정보를 제공하는 차량 속도 센서를 포함한다.And a vehicle speed sensor for providing speed information of the vehicle.

상기 영상처리부는,The image processor,

내장된 거리 측정 알고리즘을 통해, 촬영 영상 화면에서 물체의 범위에 해당하는 최하단 픽셀이 디스플레이 창에서 위치하는 위치 정보와 거리에 따른 물체의 크기 정보가 저장된 데이터베이스를 기반으로 물체와의 거리를 추출하는 것을 특징으로 한다.The built-in distance measuring algorithm extracts the distance from the object based on the database where the lowest pixel corresponding to the object's range on the captured image screen is located on the display window and the size information of the object according to the distance is stored. It features.

상기 영상처리부는,The image processor,

패턴 분석과 형상분석을 기반으로 하는 물체(보행자/장애물) 인식 알고리즘을 통해, 촬영된 영상에서 물체를 추출하고, 상기 추출한 물체가 주행 경로 영역에 포함되는 경우 추출한 거리와 추출한 물체 영상을 경고 영상으로 표시하고, 상기 추출한 물체가 상기 주행 경로 영역을 벗어난 경우 거리 정보의 표시는 제외하고 주의 영상만을 표시해주는 것을 특징으로 한다.An object (pedestrian / obstacle) recognition algorithm based on pattern analysis and shape analysis extracts an object from the photographed image, and when the extracted object is included in the driving route area, the extracted distance and the extracted object image are alert images. When the extracted object is out of the driving route area, only the attention image is displayed without displaying distance information.

상기 표시장치는,The display device,

주의 또는 경고 영상의 표시시 경고 음성을 송출해주는 것을 특징으로 한다.It is characterized by transmitting a warning sound when the caution or warning image is displayed.

또한, 본 발명에 따른 "나이트 비전 시스템"은,In addition, the "night vision system" according to the present invention,

비를 감지하는 레인 센서와;A rain sensor for detecting rain;

시간 정보를 제공해주는 시간 정보 제공부를 더 포함하고,Further comprising a time information providing unit for providing time information,

상기 영상 처리부는,The image processor,

레인 센서에 의해 비가 감지되거나 상기 시간 정보 제공부에 의해 제공되는 시간 정보가 열 평형 시간대일 경우에는 사용자에게 나이트 비전 시스템의 사용에 주의하라는 주의 정보를 표시토록 제어하는 것을 특징으로 한다.When the rain is sensed by the rain sensor or the time information provided by the time information providing unit is a heat balance time zone, it is characterized in that the control to display the user's attention information to pay attention to the use of the night vision system.

상기와 같은 과제들을 해결하기 위한 본 발명에 따른 "나이트 비전 시스템의 제어방법"은,"Control method of the night vision system" according to the present invention for solving the above problems,

나이트 비전 시스템이 온 된 경우, 열 감지 영상 촬영을 통해 열 감지 영상을 획득하는 영상 획득 단계와;An image acquisition step of acquiring a thermally sensed image through thermally sensing image capturing when the night vision system is turned on;

차량 조향각 정보와 차량 속도 정보를 기반으로 차량 주행 경로에 대한 OSD를 구현하는 진행방향 구현단계와;A driving direction implementing step of implementing an OSD of the vehicle driving path based on the vehicle steering angle information and the vehicle speed information;

상기 열 감지 영상으로부터 물체를 추출하는 물체 추출 단계와;An object extraction step of extracting an object from the thermally sensed image;

상기 물체 추출 단계에서 물체가 추출되지 않을 경우, 촬영 영상과 주행 경로 OSD만을 표시해주는 기본 영상 표시단계와;A basic image display step of displaying only a captured image and a driving route OSD when an object is not extracted in the object extraction step;

상기 물체 추출 단계에서 물체가 추출된 경우, 추출한 물체가 상기 주행 경로 상에 존재하는지를 확인하여, 상기 주행 경로 상에 물체가 존재하지 않을 경우, 주의 모드로 전환하고, 주행 경로, 주의 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 주의영상 표시단계와;When the object is extracted in the object extraction step, it is checked whether the extracted object exists on the driving path, and when the object does not exist on the driving path, the mode is switched to the caution mode, and the OSD for the driving path and the caution display is displayed. Attention image display step of displaying the superimposed image and the;

상기 주행 경로 상에 물체가 존재할 경우, 경고 모드로 전환하고, 주행 경로, 경고 표시, 거리 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 경고 영상 표시단계를 포함한다.If an object exists on the driving route, a warning image is displayed, and a warning image displaying step of displaying the OSD and the captured image on the driving route, warning display, and distance display is superimposed.

또한, 본 발명에 따른 "나이트 비전 시스템의 제어방법"은,In addition, the "control method of the night vision system" according to the present invention,

상기 나이트 비전 시스템이 온 된 경우, 레인 센서와 시간 정보를 분석하여, 비가 오거나 열평형 시간대일 경우, 시스템 동작이 불안정하다는 경고 정보를 표시장치에 표시해주는 경고정보 표시단계를 더 포함하는 것이 바람직하다.
When the night vision system is turned on, it is preferable to further include a warning information display step of analyzing the rain sensor and time information, and displays warning information on the display device that the system operation is unstable in the rain or thermal equilibrium time zone. .

본 발명에 따르면, 야간 및 악천 후 등으로 인해 차량에서의 전방 시야 확보가 어려운 주행 환경에서도, 주변 이미지를 열 감지 영상(열적외선 또는 원적외선)으로 확보하여 이를 운전자에게 제공해줄 수 있으므로, 안전운전을 도모해주는 장점이 있다.According to the present invention, even in a driving environment in which it is difficult to secure a forward field of view in a vehicle due to nighttime and bad weather, it is possible to secure a surrounding image as a thermal sensing image (thermal infrared or far infrared) and provide it to the driver. It has the advantage of promoting.

또한, 본 발명에 따르면, 주행 경로 예측과 장애물까지의 거리 측정 기능을 추가하고, 장애물 인식 알고리즘과 연동을 통해 운전자에게 추가적인 정보를 제공해줌으로써, 운전 편의를 도와주는 장점도 있다.
In addition, according to the present invention, by adding a driving route prediction and the distance measuring function to the obstacle, and provides additional information to the driver through the linkage with the obstacle recognition algorithm, there is also an advantage to help the driving convenience.

도 1은 종래 나이트 비전 시스템의 구성도.
도 2는 종래 나이트 비전 시스템의 제어방법을 보인 흐름도.
도 3은 본 발명에 따른 나이트 비전 시스템의 구성도.
도 4는 본 발명에 따른 나이트 비전 시스템의 제어방법을 보인 흐름도.
도 5는 기존 근 적외선 방식의 영상과 본 발명에 따른 열적외선(원적외선) 방식의 영상 비교도.
도 6은 본 발명에서 주의 및 경고 영상의 화면 표시 예시도.1 is a block diagram of a conventional night vision system.
2 is a flow chart illustrating a control method of a conventional night vision system.
3 is a block diagram of a night vision system according to the present invention.
4 is a flow chart showing a control method of the night vision system according to the present invention.
Figure 5 is a comparison of the image of the existing near-infrared system and the thermal infrared (far infrared) method according to the present invention.
6 is an exemplary screen display of a caution and warning image in the present invention.

이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 3은 본 발명에 따른 "나이트 비전 시스템"은, 열상감지 카메라부(10), 센서부(20), 영상처리부(30) 및 표시장치(40)를 포함한다.3 shows a "night vision system" according to the present invention, which includes a thermal imaging camera unit 10, a sensor unit 20, an image processing unit 30, and a display device 40.

바람직하게 본 발명에 따른 나이트 비전 시스템은, 레인 센서(50) 및 시간정보 제공부(60)를 포함한다.Preferably, the night vision system according to the present invention includes a rain sensor 50 and a time information providing unit 60.

열상감지 카메라부(10)는 물체에서 발산하는 열적외선을 감지하여 촬영 영상을 출력하는 기능을 한다. 여기서 열적외선(thermal infrared, 熱赤外線)은 가시방사보다 긴 파장범위로 대략 780nm에서 1mm 정도까지의 파장을 말한다.The thermal image sensing camera unit 10 detects thermal infrared rays emitted from an object and outputs a captured image. Here, thermal infrared (thermal infrared) refers to a wavelength range from about 780nm to about 1mm in the wavelength range longer than visible radiation.

센서부(20)는 차량의 이동 경로 정보와 속도 정보를 제공하는 기능을 하는 것으로서, 차량의 이동 경로 정보를 제공하는 조향각 센서(21)와, 차량의 속도 정보를 제공하는 차량 속도 센서(22)를 포함한다.The sensor unit 20 functions to provide moving path information and speed information of the vehicle, the steering angle sensor 21 providing the moving path information of the vehicle, and the vehicle speed sensor 22 providing the speed information of the vehicle. It includes.

영상처리부(30)는 상기 열상감지 카메라부(10)에서 획득한 촬영 영상과 상기 센서부(20)에 제공하는 차량의 이동 경로 정보 및 속도 정보를 기반으로, 주행 경로를 예측하고, 촬영 영상으로부터 추출한 물체에 대한 주의 또는 경고 영상의 표시를 제어하는 기능을 수행하는 것으로서, 제어장치를 의미한다.The image processor 30 predicts the driving route based on the captured image acquired by the thermal sensing camera unit 10 and the moving path information and the speed information of the vehicle provided to the sensor unit 20, and from the captured image. It is to control the display of the warning or warning image for the extracted object, which means a control device.

표시장치(40)는 상기 영상처리부(30)에서 제공되는 주의 또는 경고 영상을 화면에 표시해주는 기능을 하는 것으로서, 일반적인 LCD 디스플레이와 OSD가 합해진 기능을 수행한다. 즉, 주행 경로, 주의 및 경고 표시정보, 거리 정보 등을 포함하는 OSD 화면과 촬영 영상을 중첩하여 하나의 화면으로 표시해주게 되는 것이다.The display device 40 functions to display a caution or warning image provided by the image processor 30 on the screen, and performs a function in which a general LCD display and an OSD are combined. That is, the OSD screen including the driving route, the warning and warning display information, the distance information, and the like are superimposed and displayed as a single screen.

이러한 표시장치(40)는 부가적으로, 주의 또는 경고 영상의 표시시 경고 음성을 송출해주는 기능을 포함한다.The display device 40 additionally includes a function of transmitting a warning sound when displaying a caution or warning image.

레인 센서(50)는 비를 감지하는 기능을 수행하며, 시간 정보 제공부(60)는 시간 정보를 제공해주는 기능을 수행한다.The rain sensor 50 performs a function of detecting rain, and the time information provider 60 performs a function of providing time information.

이와 같이 구성된 본 발명에 따른 나이트 비전 시스템은, 사용자(운전자)에 의해 나이트 비전 기능이 요구되면(나이트 비전 시스템 온), 열상 감지 카메라부(10)에서 물체에서 발산하는 열적외선을 감지하여 열상 감지 영상을 획득하게 되고, 이렇게 획득한 열상 감지 영상을 영상처리부(30)에 제공한다.In the night vision system according to the present invention configured as described above, when a night vision function is required by a user (driver) (night vision system on), the thermal sensing camera unit 10 detects thermal infrared rays emitted from an object to detect thermal images. An image is obtained, and the thermal sensing image thus obtained is provided to the image processor 30.

아울러 센서부(20) 내의 조향각 센서(21)는 차량의 이동 경로 정보를 영상 처리부(30)에 제공하게 되고, 차량 속도 센서(22)는 현재 차량의 속도를 측정하여 영상 처리부(30)에 제공한다. 여기서 차량 이동 정보와 차량의 속도 정보는 나이트 비전 시스템이 온 되는 기간 동안 실시간으로 계속해서 차량 이동 경로 정보와 차량 속도 정보를 제공하게 된다.In addition, the steering angle sensor 21 in the sensor unit 20 provides the moving path information of the vehicle to the image processing unit 30, and the vehicle speed sensor 22 measures the current vehicle speed and provides the image processing unit 30 to the image processing unit 30. do. The vehicle movement information and the vehicle speed information continue to provide vehicle movement path information and vehicle speed information in real time while the night vision system is turned on.

영상처리부(30)는 입력되는 차량 이동 경로 정보와 차량 속도 정보 및 열상 감지 영상을 기반으로, 운전자가 안전 운행을 도모할 수 있는 영상 정보를 생성하여 표시장치(40)에 제공해준다.The image processor 30 generates image information for the driver to drive safely based on the input vehicle movement path information, vehicle speed information, and the thermal sensing image, and provides the generated image information to the display device 40.

즉, 영상 처리부(30)는 차량 이동 경로 정보를 기반으로 주행 경로를 예측하여, 주행 경로 정보를 생성한다.That is, the image processor 30 generates driving route information by predicting the driving route based on the vehicle movement route information.

아울러 내장된 거리 측정 알고리즘을 통해, 촬영 영상 화면에서 물체의 범위에 해당하는 최하단 픽셀이 디스플레이 창에서 위치하는 위치 정보와 거리에 따른 물체의 크기 정보가 저장된 데이터베이스를 기반으로 실측에 근접하는 물체와의 거리 정보를 추출하게 된다.In addition, built-in distance measurement algorithm, based on the database that stores the location information of the lowest pixel corresponding to the object's range on the display window and the size information of the object according to the distance on the captured image screen, The distance information is extracted.

그리고 패턴 분석과 형상분석을 기반으로 하는 물체(보행자/장애물) 인식 알고리즘을 통해, 촬영된 영상에서 물체를 추출하고, 상기 추출한 물체가 주행 경로 영역에 포함되는지 포함되지 않는지를 판단하며, 물체가 존재하고 추출한 물체가 주행 경로 영역에 포함되는 경우에는 추출한 거리와 추출한 물체 영상을 경고 영상으로 표시하고(도 6 참조), 상기 추출한 물체가 상기 주행 경로 영역을 벗어난 경우 거리 정보의 표시는 제외하고 주의 영상만을 표시(도 6 참조)해주게 된다.In addition, an object (pedestrian / obstacle) recognition algorithm based on pattern analysis and shape analysis extracts an object from the captured image, determines whether the extracted object is included in the driving path region, and whether the object exists. If the extracted object is included in the driving route area, the extracted distance and the extracted object image are displayed as a warning image (see FIG. 6), and when the extracted object leaves the driving route area, the caution image is excluded except for the display of the distance information. Only the mark (see Fig. 6).

표시장치(40)는 상기 영상 처리부(30)에서 제공되는 주의 영상 또는 경고 영상을 화면에 표시해주게 된다.The display device 40 displays the attention image or warning image provided by the image processor 30 on the screen.

여기서 주의 영상은, 주행 경로 상에 물체가 존재하지 않는 경우의 영상으로서, 물체에 대한 주의 표시 정보가 표시된 OSD 화면과 촬영 영상(열상 감지 영상)이 중첩된 영상을 의미하고, 경고 영상은 주행 경로 상에 물체가 존재할 경우의 영상으로서, 물체에 대한 경고 표시 정보와 물체까지의 거리 정보를 포함하는 OSD 화면과 촬영 영상(열상 감지 영상)이 중첩된 영상을 의미한다.Here, the attention image is an image when an object does not exist on the driving path, and means an image in which an OSD screen on which the indication information of the object is displayed and the captured image (thermal sensing image) overlap, and the warning image is a driving path. An image when an object exists on the screen, and means an image in which an OSD screen including warning display information about the object and distance information to the object is superimposed and a captured image (thermal sensing image).

따라서 운전자는 화면에 표시되는 영상만으로 위험 여부를 알 수 있게 되는 것이다.Therefore, the driver can know whether the danger is only by the image displayed on the screen.

도 5는 기존 나이트 비전 시스템에서 근 적외선 촬영을 통해 획득한 영상의 표시 상태와 본 발명에 따른 열적외선(원적외선)을 이용하여 획득한 열상 감지 영상의 표시 상태를 대비한 것으로서, 도 5에 도시한 바와 같이 열적외선을 이용한 열상 감지 영상이 근 적외선 영상에 비해서 더욱 정확하고 선명하게 영상을 보여줌을 알 수 있다.FIG. 5 illustrates a display state of an image acquired through near-infrared imaging in a conventional night vision system and a display state of a thermally sensed image obtained by using thermal infrared rays (far infrared rays) according to the present invention. As described above, it can be seen that the thermal sensing image using the thermal infrared shows the image more accurately and clearly than the near infrared image.

한편, 본 발명의 다른 특징으로서, 표시장치(40)는 상기 영상처리부(30)의 제어에 따라 경고 영상의 표시시, 위험을 경고해주는 음성을 출력할 수 있다. 이것은 영상 처리부(30)에서 제공해주는 영상이 경고 영상이라는 것을 구분하는 정보만을 제공해줌으로써, 표시장치(40)는 현재 제공되는 영상이 주의 영상인지 아니면 경고 영상인지를 인지할 수 있다. 그리고 인지 결과 경고 영상에 한해서만 내부 메모리 등에 저장된 경고 음성을 송출해줌으로써, 운전자가 좀 더 용이하게 위험 상황을 인지하고, 운전에 만전을 기하도록 함으로써, 안전 운전을 도모하게 되는 것이다.On the other hand, as another feature of the present invention, the display device 40 may output a sound for warning of danger when the warning image is displayed under the control of the image processor 30. This provides only information for distinguishing that the image provided by the image processor 30 is a warning image, so that the display device 40 may recognize whether the currently provided image is a warning image or a warning image. In addition, by transmitting the warning sound stored in the internal memory only to the recognition result warning image, the driver can recognize the dangerous situation more easily and make sure the driving is completed, thereby promoting safe driving.

또한, 본 발명의 또 다른 특징으로서, 상기 영상 처리부(30)는, 레인 센서(50)에 의해 비가 감지되거나 상기 시간 정보 제공부(60)에 의해 제공되는 시간 정보가 열 평형 시간대(새별 4시 ~ 6시)일 경우에는, 나이트 비전 시스템의 상태가 불안정한 상태이므로, 영상을 표시하기 이전에 표시장치(40)를 통해 사용자에게 나이트 비전 시스템의 사용에 주의하라는 주의 정보를 표시해줌으로써, 사용자가 운전에 더욱 심혈을 기울이도록 하여, 더욱 안전 운전을 도모해주게 되는 것이다.In addition, as another feature of the present invention, the image processing unit 30, the rain is detected by the rain sensor 50 or the time information provided by the time information providing unit 60 is a thermal equilibrium time zone (new star 4 o'clock) ~ 6 o'clock), because the state of the night vision system is unstable, the user is driven by displaying caution information to warn the user of the night vision system through the display device 40 before displaying the image. By paying more attention to, you will promote safer driving.

도 4는 본 발명에 따른 "나이트 비전 시스템의 제어방법"을 보인 흐름도로서, 나이트 비전 시스템이 온 된 경우, 열 감지 영상 촬영을 통해 열 감지 영상을 획득하는 영상 획득 단계(S101, S105, S107)와; 차량 조향각 정보와 차량 속도 정보를 기반으로 차량 주행 경로에 대한 OSD를 구현하는 진행방향 구현단계(S109)와; 상기 열 감지 영상으로부터 물체를 추출하는 물체 추출 단계(S111)와; 상기 물체 추출 단계에서 물체가 추출되지 않을 경우, 촬영 영상과 주행 경로 OSD만을 표시해주는 기본 영상 표시단계(S113)와; 상기 물체 추출 단계에서 물체가 추출된 경우, 추출한 물체가 상기 주행 경로 상에 존재하는지를 확인하여, 상기 주행 경로 상에 물체가 존재하지 않을 경우, 주의 모드로 전환하고, 주행 경로, 주의 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 주의영상 표시단계(S115, S117, S119)와; 상기 주행 경로 상에 물체가 존재할 경우, 경고 모드로 전환하고, 주행 경로, 경고 표시, 거리 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 경고 영상 표시단계(S115, S121, S123)를 포함한다.4 is a flowchart illustrating a "control method of a night vision system" according to the present invention. When the night vision system is turned on, an image acquiring step (S101, S105, S107) of acquiring a thermally sensed image through thermally sensing image capturing is performed. Wow; A driving direction implementing step (S109) of implementing an OSD of the vehicle driving path based on the vehicle steering angle information and the vehicle speed information; An object extraction step (S111) of extracting an object from the thermally sensed image; A basic image display step S113 of displaying only a captured image and a driving route OSD when an object is not extracted in the object extraction step; When the object is extracted in the object extraction step, it is checked whether the extracted object exists on the driving path, and when the object does not exist on the driving path, the mode is switched to the caution mode, and the OSD for the driving path and the caution display is displayed. Attention image display step (S115, S117, S119) to superimpose and display the captured image; If an object exists on the driving route, a warning image display step (S115, S121, S123) is displayed to superimpose the OSD and the captured image on the driving route, warning display, and distance display.

또한, 본 발명에 따른 "나이트 비전 시스템의 제어방법"은, 상기 나이트 비전 시스템이 온 된 경우, 레인 센서와 시간 정보를 분석하여, 비가 오거나 열평형 시간대일 경우, 시스템 동작이 불안정하다는 경고 정보를 표시장치에 표시해주는 경고정보 표시단계(S103)를 더 포함한다.In addition, the "control method of the night vision system" according to the present invention, when the night vision system is turned on, by analyzing the rain sensor and time information, when the rain or thermal equilibrium time zone, warning information that the system operation is unstable It further comprises a warning information display step (S103) to display on the display device.

이와 같이 이루어지는 본 발명에 따른 나이트 비전 시스템의 제어방법은, 먼저 단계 S101에서 운전자에 의해 나이트 비전 시스템이 온(on) 되면, 단계 S103으로 이동하여 레인 센서의 비 감지 정보와 시간 정보 제공부에서 제공되는 시간 정보를 분석하여, 나이트 비전 시스템의 안정성을 판단한다. 예컨대, 비가 오거나 현재 시간이 열 평형을 이루는 새벽 4시 ~ 6시일 경우에는, 물체 감지에서 정확성이 떨어지기 때문에, 표시장치(40)를 통해 나이트 비전 시스템이 불안정하다는 경고 메시지를 표시해준다. 따라서 이 경우 운전자는 더욱 운전에 심혈을 기울여 안전 운전을 도모하게 된다.In the control method of the night vision system according to the present invention as described above, when the night vision system is turned on by the driver in step S101, the control method moves to step S103 and is provided by the non-sensing information and time information providing unit of the rain sensor. The time information is analyzed to determine the stability of the night vision system. For example, when it is raining or when the current time is in thermal equilibrium between 4 am and 6 am, since the accuracy of object detection decreases, the display device 40 displays a warning message indicating that the night vision system is unstable. Therefore, in this case, the driver pays more attention to driving and promotes safe driving.

여기서 단계 S103은 반드시 필수적인 상황은 아니고, 부가적인 상황으로서, 필요에 따라 해당 단계를 수행하지 않고 바로 단계 S105의 단계로 이동할 수도 있다.Here, step S103 is not necessarily an essential situation, and as an additional situation, if necessary, the step S103 may be directly moved to step S105 without performing the corresponding step.

단계 S105에서는 열상 감지 카메라를 통해 물체에서 발산되는 열 적외선을 촬영하게 되고, 단계 S107에서는 상기와 같이 촬영에서 획득한 열상 감지 영상을 영상처리부에 전송해주게 된다.In step S105, the thermal infrared radiation emitted from the object is photographed by the thermal sensing camera, and in step S107, the thermal sensing image acquired in the photographing is transmitted to the image processing unit.

단계 S109에서 영상 처리부는 차량 조향각 정보와 속도 정보를 통해 차량의 이동 경로 정보를 생성하여, 차량 진행 방향에 대한 OSD(On Screen Display) 화면을 생성한다.In operation S109, the image processor generates vehicle movement path information through vehicle steering angle information and speed information, and generates an OSD (On Screen Display) screen for the vehicle traveling direction.

다음으로, 단계 S111에서는 상기 열상 감지 영상으로부터 물체(보행자 및 장애물)만을 추출하게 되는 데, 이때 물체가 존재하지 않을 경우에는 단계 S113으로 이동하여 촬영 영상과 주행 경로 OSD만을 중첩하여 하나의 화면으로 표시장치에 표시해준다.Next, in step S111, only objects (pedestrians and obstacles) are extracted from the thermal sensing image. If no object exists, the process moves to step S113 to display only one image by overlapping the photographed image and the driving route OSD. Mark the device.

이와는 달리 물체가 존재할 경우에는, 단계 S115로 이동하여 물체가 상기 주행 경로 영역에 포함되는지를 확인한다. 이 확인 결과 물체가 주행 경로 영역에 포함되지 않는 경우에는, 단계 S117 및 S119에서 주의 모드로 전환하여 물체에 대해 주의하라는 주의 정보, 주행 경로 정보를 포함하는 OSD 화면과 촬영 영상을 중첩하여 화면에 표시해주게 된다(도 6 참조).On the other hand, if an object exists, the flow advances to step S115 to check whether the object is included in the travel route area. If the object is not included in the driving route region as a result of the check, the OSD screen including the caution information to warn the object and the driving route information is superimposed on the screen in step S117 and S119 and displayed on the screen. (See Figure 6).

아울러 물체가 상기 주행 경로 영역에 포함될 경우에는, 단계 S121 ~ S123에서 경고 모드로 전환하여 물체에 대한 위험을 알려주는 경고 정보, 주행 경로 정보, 거리 정보를 포함하는 OSD 화면과 촬영 영상을 중첩하여 화면에 표시해주게 된다(도 6 참조). 여기서 거리 정보는 물체와의 거리에 따라 실시간으로 변경해준다.In addition, when an object is included in the driving route area, the screen is overlapped with an OSD screen including warning information, driving route information, and distance information indicating a danger to the object by switching to the warning mode in steps S121 to S123. It will be displayed on (see Figure 6). The distance information changes in real time according to the distance to the object.

여기서 본 발명은 부가적으로 경고 모드 시에는 운전에 주의하라는 경고 음성을 송출해줄 수도 있다.
Here, the present invention may additionally send a warning voice to be careful about driving in the warning mode.

10 : 열상 감지 카메라부 20 : 센서부
21 : 조향각 센서 22 : 차량 속도 센서
30 : 영상 처리부 40 : 표시장치
50 : 레인 센서 60 : 시간 정보 제공부10: thermal detection camera unit 20: sensor unit
21: steering angle sensor 22: vehicle speed sensor
30: image processing unit 40: display device
50: rain sensor 60: time information providing unit

Claims (8)

물체에서 발산하는 열적외선을 감지하여 촬영 영상을 출력하는 열상감지 카메라부와;
차량의 이동 경로 정보와 속도 정보를 제공하는 센서부와;
상기 열상감지 카메라부에서 획득한 촬영 영상과 상기 센서부에 제공하는 차량의 이동 경로 정보 및 속도 정보를 기반으로, 주행 경로를 예측하고, 촬영 영상으로부터 추출한 물체에 대한 주의 또는 경고 영상의 표시를 제어하는 영상처리부; 및
상기 영상처리부에서 제공되는 주의 또는 경고 영상을 화면에 표시해주는 표시장치를 포함하는 것을 특징으로 하는 나이트 비전 시스템.
A thermal sensing camera unit which detects thermal infrared rays emitted from an object and outputs a captured image;
A sensor unit for providing movement path information and speed information of the vehicle;
Based on the captured image acquired by the thermal imaging camera unit and the moving path information and the speed information of the vehicle provided to the sensor unit, the driving path is predicted and the display of the caution or warning image on the object extracted from the captured image is controlled. An image processor; And
Night vision system, characterized in that it comprises a display device for displaying a warning or warning image provided by the image processing unit on the screen.
제1항에 있어서, 상기 센서부는,
차량의 이동 경로 정보를 제공하는 조향각 센서와;
차량의 속도 정보를 제공하는 차량 속도 센서를 포함하는 것을 특징으로 하는 나이트 비전 시스템.
The method of claim 1, wherein the sensor unit,
A steering angle sensor for providing movement path information of the vehicle;
Night vision system comprising a vehicle speed sensor for providing speed information of the vehicle.
제1항에 있어서, 상기 영상처리부는,
내장된 거리 측정 알고리즘을 통해, 촬영 영상 화면에서 물체의 범위에 해당하는 최하단 픽셀이 디스플레이 창에서 위치하는 위치 정보와 거리에 따른 물체의 크기 정보가 저장된 데이터베이스를 기반으로 물체와의 거리를 추출하는 것을 특징으로 하는 나이트 비전 시스템.
The method of claim 1, wherein the image processing unit,
The built-in distance measuring algorithm extracts the distance from the object based on the database where the lowest pixel corresponding to the object's range on the captured image screen is located on the display window and the size information of the object according to the distance is stored. Characterized by night vision system.
제3항에 있어서, 상기 영상처리부는,
패턴 분석과 형상분석을 기반으로 하는 물체(보행자/장애물) 인식 알고리즘을 통해, 촬영된 영상에서 물체를 추출하고, 상기 추출한 물체가 주행 경로 영역에 포함되는 경우 추출한 거리와 추출한 물체 영상을 경고 영상으로 표시하고, 상기 추출한 물체가 상기 주행 경로 영역을 벗어난 경우 거리 정보의 표시는 제외하고 주의 영상만을 표시해주는 것을 특징으로 하는 나이트 비전 시스템.
The method of claim 3, wherein the image processor,
An object (pedestrian / obstacle) recognition algorithm based on pattern analysis and shape analysis extracts an object from the photographed image, and when the extracted object is included in the driving route area, the extracted distance and the extracted object image are alert images. And displaying only a caution image without displaying distance information when the extracted object leaves the driving route area.
제1항에 있어서, 상기 표시장치는,
경고 영상의 표시시 경고 음성을 송출해주는 것을 특징으로 하는 나이트 비전 시스템.
The display device of claim 1, wherein the display device comprises:
Night vision system, characterized in that for transmitting the warning sound when the warning image display.
제1항에 있어서,
비를 감지하는 레인 센서와;
시간 정보를 제공해주는 시간 정보 제공부를 더 포함하고,
상기 영상 처리부는,
레인 센서에 의해 비가 감지되거나 상기 시간 정보 제공부에 의해 제공되는 시간 정보가 열 평형 시간대일 경우에는 사용자에게 나이트 비전 시스템의 사용에 주의하라는 주의 정보를 표시토록 제어하는 것을 특징으로 하는 나이트 비전 시스템.
The method of claim 1,
A rain sensor for detecting rain;
Further comprising a time information providing unit for providing time information,
Wherein the image processing unit comprises:
And when the rain is detected by the rain sensor or the time information provided by the time information providing unit is in the thermal equilibrium time zone, controlling to display caution information to warn the user of the use of the night vision system.
열상 감지 카메라부, 센서부, 영상처리부 및 표시장치를 포함하는 나이트 비전 시스템에서의 제어 방법에 있어서,
나이트 비전 시스템이 온 된 경우, 열 감지 영상 촬영을 통해 열 감지 영상을 획득하는 영상 획득 단계와;
차량 조향각 정보와 차량 속도 정보를 기반으로 차량 주행 경로에 대한 OSD를 구현하는 진행방향 구현단계와;
상기 열 감지 영상으로부터 물체를 추출하는 물체 추출 단계와;
상기 물체 추출 단계에서 물체가 추출되지 않을 경우, 촬영 영상과 주행 경로 OSD만을 표시해주는 기본 영상 표시단계와;
상기 물체 추출 단계에서 물체가 추출된 경우, 추출한 물체가 상기 주행 경로 상에 존재하는지를 확인하여, 상기 주행 경로 상에 물체가 존재하지 않을 경우, 주의 모드로 전환하고, 주행 경로, 주의 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 주의영상 표시단계; 및
상기 주행 경로 상에 물체가 존재할 경우, 경고 모드로 전환하고, 주행 경로, 경고 표시, 거리 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 경고 영상 표시단계를 포함하는 것을 특징으로 하는 나이트 비전 시스템의 제어방법.
In the control method in the night vision system comprising a thermal imaging camera unit, a sensor unit, an image processing unit and a display device,
An image acquisition step of acquiring a thermally sensed image through thermally sensing image capturing when the night vision system is turned on;
A driving direction implementing step of implementing an OSD of the vehicle driving path based on the vehicle steering angle information and the vehicle speed information;
An object extraction step of extracting an object from the thermally sensed image;
A basic image display step of displaying only a captured image and a driving route OSD when an object is not extracted in the object extraction step;
When the object is extracted in the object extraction step, it is checked whether the extracted object exists on the driving path, and when the object does not exist on the driving path, the mode is switched to the caution mode, and the OSD for the driving path and the caution display is displayed. Attention image display step of superimposing and display the captured image; And
And a warning image display step of switching to the warning mode when the object exists on the driving route and displaying the OSD and the captured image on the driving route, warning display, and distance display. Control method.
제7항에 있어서,
상기 나이트 비전 시스템이 온 된 경우, 레인 센서와 시간 정보를 분석하여, 비가 오거나 열평형 시간대일 경우, 시스템 동작이 불안정하다는 경고 정보를 표시장치에 표시해주는 경고정보 표시단계를 더 포함하는 것을 특징으로 하는 나이트 비전 시스템의 제어방법.The method of claim 7, wherein
When the night vision system is turned on, by analyzing the rain sensor and time information, in the rain or thermal equilibrium time zone, further comprising a warning information display step of displaying on the display device warning information that the system operation is unstable Night vision system control method.
KR1020100131252A 2010-12-21 2010-12-21 Night vision system and controlling method thereof KR101250566B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100131252A KR101250566B1 (en) 2010-12-21 2010-12-21 Night vision system and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131252A KR101250566B1 (en) 2010-12-21 2010-12-21 Night vision system and controlling method thereof

Publications (2)

Publication Number Publication Date
KR20120069914A true KR20120069914A (en) 2012-06-29
KR101250566B1 KR101250566B1 (en) 2013-04-03

Family

ID=46687890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131252A KR101250566B1 (en) 2010-12-21 2010-12-21 Night vision system and controlling method thereof

Country Status (1)

Country Link
KR (1) KR101250566B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10104744B2 (en) 2014-01-23 2018-10-16 University-Industry Foundation, Yonsei University Infrared modulating electro-fluorescence device
KR102231373B1 (en) * 2020-09-23 2021-03-25 김광남 Display device for driving the vehicle safely
CN113492830A (en) * 2020-04-08 2021-10-12 华为技术有限公司 Vehicle parking path planning method and related equipment
CN113525234A (en) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 Auxiliary driving system device
KR102322909B1 (en) * 2020-06-26 2021-11-04 구성진 Road monitoring device based on simultaneous object parallel recognition

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103496341A (en) * 2013-10-10 2014-01-08 扬州瑞控汽车电子有限公司 Vehicle-mounted infrared night-vision imaging system based on vehicle active safety
CN104702889A (en) * 2013-12-04 2015-06-10 青岛永通电梯工程有限公司 Infrared night vision detection method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3731303B2 (en) * 1997-07-31 2006-01-05 いすゞ自動車株式会社 Vehicle periphery monitoring device
JP2008026998A (en) * 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd Obstacle location calculation system and method
KR20100006700A (en) * 2008-07-10 2010-01-21 현대자동차주식회사 Night-vision system for a vehicle
KR20100034280A (en) * 2008-09-23 2010-04-01 현대자동차주식회사 Night vision system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10104744B2 (en) 2014-01-23 2018-10-16 University-Industry Foundation, Yonsei University Infrared modulating electro-fluorescence device
CN113492830A (en) * 2020-04-08 2021-10-12 华为技术有限公司 Vehicle parking path planning method and related equipment
KR102322909B1 (en) * 2020-06-26 2021-11-04 구성진 Road monitoring device based on simultaneous object parallel recognition
KR102231373B1 (en) * 2020-09-23 2021-03-25 김광남 Display device for driving the vehicle safely
CN113525234A (en) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 Auxiliary driving system device

Also Published As

Publication number Publication date
KR101250566B1 (en) 2013-04-03

Similar Documents

Publication Publication Date Title
KR101250566B1 (en) Night vision system and controlling method thereof
JP5392470B2 (en) Vehicle display device
US9965957B2 (en) Driving support apparatus and driving support method
JP4882285B2 (en) Vehicle travel support device
US8538629B2 (en) Bottleneck light and method of assisting a driver in steering a vehicle
JP2018195301A (en) Control device and control method
JP5353999B2 (en) Driver assistance device
JP5299026B2 (en) Vehicle display device
JP2008013070A (en) Vehicular display device
JP2005202678A (en) Traveling support device
JP2003200755A (en) Displaying device for vehicle
JP6218618B2 (en) Driving support device, driving support method, and driving support program
KR20160052948A (en) Driver assistance apparatus and method
CN103568947A (en) Blind spot warning system and method
WO2013115241A1 (en) Device for alerting vehicle driver and method for same
JP2005025692A (en) Vehicle information provision apparatus
JP2008097279A (en) Vehicle exterior information display device
JP2010211380A (en) Driving support device and driving support method
KR20150055183A (en) Apparatus for displaying traffic lane using head-up display and method thereof
JP5192007B2 (en) Vehicle periphery monitoring device
US20190129038A1 (en) Monitoring System for a Mobile Device and Method for Monitoring Surroundings of a Mobile Device
KR20130074259A (en) System and method for color changing of vehicle according to risk
JP4701961B2 (en) Pedestrian detection device
JP2007133644A (en) Pedestrian recognition device
JP2005343351A (en) Drive supporting device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160321

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180321

Year of fee payment: 6