KR102449942B1 - Vehicle night vision with thermal camera and smart glass - Google Patents

Vehicle night vision with thermal camera and smart glass Download PDF

Info

Publication number
KR102449942B1
KR102449942B1 KR1020200130906A KR20200130906A KR102449942B1 KR 102449942 B1 KR102449942 B1 KR 102449942B1 KR 1020200130906 A KR1020200130906 A KR 1020200130906A KR 20200130906 A KR20200130906 A KR 20200130906A KR 102449942 B1 KR102449942 B1 KR 102449942B1
Authority
KR
South Korea
Prior art keywords
thermal image
smart glasses
thermal
image
imaging camera
Prior art date
Application number
KR1020200130906A
Other languages
Korean (ko)
Other versions
KR20220048497A (en
Inventor
김종환
Original Assignee
(주)네오아이알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네오아이알 filed Critical (주)네오아이알
Priority to KR1020200130906A priority Critical patent/KR102449942B1/en
Publication of KR20220048497A publication Critical patent/KR20220048497A/en
Application granted granted Critical
Publication of KR102449942B1 publication Critical patent/KR102449942B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예에 따르면, 차량용 나이트 비젼 시스템에 있어서,
열화상을 표시할 수 있는 표시부를 구비한 스마트 안경; 및 열화상 카메라(C)에 의해 획득된 열화상 - 'RAW 열화상' - 을 수정할 수 있는 열화상 처리장치;를 포함하며, 상기 스마트 안경은 상기 열화상 처리장치로부터 열화상을 수신하여 표시하는 것을 특징으로 하는, 차량용 나이트 비젼 시스템이 제공된다. According to an embodiment of the present invention, in a vehicle night vision system,
Smart glasses having a display unit capable of displaying a thermal image; and a thermal image processing device capable of correcting the thermal image acquired by the thermal imaging camera C - 'RAW thermal image', wherein the smart glasses receive and display the thermal image from the thermal image processing apparatus Characterized in that, a vehicle night vision system is provided.

Figure R1020200130906
Figure R1020200130906

Description

열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템{VEHICLE NIGHT VISION WITH THERMAL CAMERA AND SMART GLASS}VEHICLE NIGHT VISION WITH THERMAL CAMERA AND SMART GLASS

본 발명은 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템에 관한 것이다.The present invention relates to a vehicle night vision system having a thermal imaging camera and smart glasses.

열화상 카메라는 피사체로부터 방사되는 적외선의 양에 맞도록 전기적 신호로 변환하여 열화상을 생성할 수 있는 장치이다. 열화상 카메라는 밤이나 낮 구분없이 피사체에 대한 열화상을 생성할 수 있어서, 차량용 나이트 비젼에 사용되고 있다. 예를 들면, 한국특허등록공보 10-1250566호에는 열화상 카메라를 사용한 나이트 비젼 시스템에 대한 기술이 개시되어 있다.A thermal imaging camera is a device capable of generating a thermal image by converting an electric signal to match the amount of infrared radiation emitted from a subject. Thermal imaging cameras are used in vehicle night vision because they can generate thermal images of subjects regardless of day or night. For example, Korean Patent No. 10-1250566 discloses a technology for a night vision system using a thermal imaging camera.

한편, IT 기술이 발전함에 따라 유무선 통신 기능을 가지고, 외부로부터 영상을 수신하여 표시할 수 있는 안경 - 스마트 안경 - 이 개발되어 상용화되고 있다. On the other hand, with the development of IT technology, glasses - smart glasses - capable of receiving and displaying images from the outside having a wired and wireless communication function have been developed and commercialized.

도 1은 스마트 안경을 활용한 나이트 비젼 시스템에 대한 종래의 기술을 설명하기 위한 도면이다. 도 1을 참조하면, 직사각형 점선으로 표시된 영역은 차량의 정면 영역을 나타내며, 열화상 카메라가 촬상하는 영역이다. 즉, 실제 피사체가 차량의 정면 영역에서 중앙에 위치할 경우, 열화상 카메라에 의해 촬상된 열화상에서는, 피사체가 중앙에 존재한다. 한편, (a)와 (b)에서 타원형으로 표시된 영역은 스마트 안경의 표시부를 나타낸 것이다. (b)를 참조하면, 스마트 안경을 쓴 사람이 차량의 정면이 아닌 약간 좌측을 보고 있는 상태이다. 이러한 경우, 종래의 기술에 따르면, 스마트 안경의 표시부의 대략 중앙에 피사체의 열화상이 표시된다. 즉, 스마트 안경을 착용한 사람은 중앙의 차량 전방의 좌측을 바라보는데, 스마트 안경에 구비된 표시부의 중앙에 피사체의 열화상이 표시되는 문제가 있다. 1 is a view for explaining the prior art for a night vision system utilizing smart glasses. Referring to FIG. 1 , an area indicated by a rectangular dotted line indicates a front area of a vehicle, and is an area captured by a thermal imaging camera. That is, when the actual subject is located at the center in the front area of the vehicle, in the thermal image captured by the thermal imager, the subject is located at the center. On the other hand, in (a) and (b), the area indicated by the oval represents the display unit of the smart glasses. Referring to (b), the person wearing smart glasses is looking slightly to the left rather than the front of the vehicle. In this case, according to the prior art, the thermal image of the subject is displayed at approximately the center of the display unit of the smart glasses. That is, a person wearing smart glasses looks to the left in front of the central vehicle, but there is a problem in that a thermal image of the subject is displayed in the center of the display unit provided in the smart glasses.

본 발명의 하나 이상의 실시예에 따르면, 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템이 제공될 수 있다. According to one or more embodiments of the present invention, a night vision system for a vehicle having a thermal imaging camera and smart glasses may be provided.

본 발명의 하나 이상의 실시예에 따르면, 스마트 안경에 있어서 열화상을 표시하는 방법이 제공될 수 있다. According to one or more embodiments of the present invention, a method for displaying a thermal image in smart glasses may be provided.

본 발명의 일 실시예에 따르면, 차량용 나이트 비젼 시스템에 있어서, According to an embodiment of the present invention, in a vehicle night vision system,

열화상을 표시할 수 있는 표시부를 구비한 스마트 안경; 및 열화상 카메라(C)에 의해 획득된 열화상 - 'RAW 열화상' - 을 수정할 수 있는 열화상 처리장치;를 포함하며, 상기 스마트 안경은 상기 열화상 처리장치로부터 열화상을 수신하여 표시하는 것을 특징으로 하는, 차량용 나이트 비젼 시스템이 제공된다. Smart glasses having a display unit capable of displaying a thermal image; and a thermal image processing device capable of correcting the thermal image acquired by the thermal imaging camera C - 'RAW thermal image', wherein the smart glasses receive and display the thermal image from the thermal image processing apparatus Characterized in that, a vehicle night vision system is provided.

본 발명의 다른 실시예에 따르면, 스마트 안경에 있어서 열화상을 표시하는 방법에 있어서, 열화상 카메라(C)가 'RAW 열화상'을 획득하는 단계; 열화상 카메라(C)의 촬상 방향과 상기 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계; 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있으면 'RAW 열화상'을 수정하여 'AMENDED 열화상'을 생성하는 단계; 및 'RAW 열화상' 또는 'AMENDED 열화상'을 표시하는 단계;를 포함하는 스마트 안경에 있어서 열화상을 표시하는 방법이 제공된다. According to another embodiment of the present invention, there is provided a method for displaying a thermal image in smart glasses, the method comprising: acquiring, by a thermal imaging camera (C), a 'RAW thermal image'; checking whether there is a difference between the imaging direction of the thermal imaging camera (C) and the direction in which the smart glasses face; generating an 'AMENDED thermal image' by correcting the 'RAW thermal image' if there is a difference between the direction of the thermal imaging camera (C) and the direction facing the smart glasses; and displaying a 'RAW thermal image' or an 'AMENDED thermal image'.

본 발명의 하나 이상의 실시예에 따르면, 열화상 카메라가 차량이 주행하는 전방 중앙에 존재하는 피사체에 대하여 열화상을 획득한 경우, 스마트 안경을 착용한 운전자가 차량이 주행하는 전방 중앙으로부터 임의의 방향으로 고개를 돌리는 경우라도, 바라본 방향에 맞는 열화상이 스마트 안경에 표시되게 된다. According to one or more embodiments of the present invention, when the thermal image camera acquires a thermal image of a subject existing in the center of the front of the vehicle, the driver wearing smart glasses can move in any direction from the center of the front of the vehicle. Even when you turn your head to , a thermal image that matches the direction you are looking in will be displayed on the smart glasses.

도 1은 스마트 안경을 활용한 나이트 비젼 시스템에 대한 종래의 기술을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템의 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 4는 본 발명의 제1실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 5는 본 발명의 제2실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 6은 본 발명의 제3실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법을 설명하기 위한 도면이다. 1 is a view for explaining the prior art for a night vision system utilizing smart glasses.
2 is a view for explaining the principle of a vehicle night vision system having a thermal imaging camera and smart glasses according to the present invention.
3 is a view for explaining a vehicle night vision system having a thermal imaging camera and smart glasses according to an embodiment of the present invention.
4 is a view for explaining a vehicle night vision system having a thermal imaging camera and smart glasses according to a first embodiment of the present invention.
5 is a view for explaining a vehicle night vision system having a thermal imaging camera and smart glasses according to a second embodiment of the present invention.
6 is a view for explaining a vehicle night vision system having a thermal imaging camera and smart glasses according to a third embodiment of the present invention.
7 is a view for explaining a method of displaying a thermal image in smart glasses according to an embodiment of the present invention.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features and advantages of the present invention will be easily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed subject matter may be thorough and complete, and that the spirit of the present invention may be sufficiently conveyed to those skilled in the art.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 위치될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.In this specification, when a component is referred to as being on another component, it means that it may be directly located on the other component or a third component may be interposed therebetween. In addition, in the drawings, the thickness of the components is exaggerated for effective description of technical content.

또한 본 명세서에서 구성요소간의 위치 관계를 설명하기 위해 사용되는 '상부(위)', '하부(아래)', '좌측’, '우측’, '전면', '후면' 등의 표현은 절대적 기준으로서의 방향이나 위치를 의미하지 않으며, 각 도면을 참조하여 본 발명을 설명할 때 해당 도면을 기준으로 설명의 편의를 위해 사용되는 상대적 표현이다. In addition, expressions such as 'top (top)', 'bottom (bottom)', 'left', 'right', 'front', 'rear' used to describe the positional relationship between components in this specification are absolute standards. It does not mean a direction or a position as , and is a relative expression used for convenience of description with reference to the drawings when the present invention is described with reference to the drawings.

본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.Embodiments described herein will be described with reference to cross-sectional and/or plan views, which are ideal illustrative views of the present invention. In various embodiments of the present specification, terms such as first, second, etc. are used to describe various components, but these components should not be limited by these terms. These terms are only used to distinguish one component from another. The embodiments described and illustrated herein also include complementary embodiments thereof.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase.

명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.As used herein, the terms 'comprise' and/or 'comprising' do not exclude the presence or addition of one or more other components.

본원 명세서에서는 임의의 구성요소 A와 구성요소 B가 서로 동작적으로 결합되어 있다고 함은, 어떤 동작이 이루어지도록 임의의 구성요소 A와 구성요소 B가 서로 직접 또는 간접(하나 이상의 다른 구성요소를 매개로 하여) 결합되어 있는 것을 의미한다. In this specification, any component A and component B are operatively coupled to each other means that any component A and component B are directly or indirectly connected to each other (via one or more other components) so that an operation is performed. ) means that they are connected.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다. Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various specific contents have been prepared to more specifically describe the invention and help understanding. However, a reader having enough knowledge in this field to understand the present invention may recognize that the present invention may be used without these various specific details. In some cases, it is mentioned in advance that parts which are commonly known and not largely related to the invention in describing the invention are not described in order to avoid confusion in describing the invention.

도면 부호drawing sign

본원 도면들에서, 열화상 카메라는 모두 동일하게 'C'로 부여하였다. In the drawings of the present application, all thermal imaging cameras are assigned the same 'C'.

도 3을 참조하면, 열화상 처리장치와 스마트 안경은 각각 열화상 처리장치(P-F3)와 스마트 안경(G-F3)와 같이 부여되었다. 한편, 도 3에서 열화상 처리장치(P-F3)에 포함된 구성요소들(화상 수신부, 화상 처리부, 화상 송신부, 각속도 수신부)과 스마트 안경(G-F3)에 포함된 구성요소들(화상 수신부, 표시부, 각속도 송신부, 자이로 센서)에 대하여는 도면 부호를 표시하지 않았으며, 다만 본원의 상세한 설명에서 이해의 용이를 위해서 열화상 처리장치(P-F3)에 포함된 구성요소들은 화상 수신부(P-F3), 화상 처리부(P-F3), 화상 송신부(P-F3), 및 각속도 수신부(P-F3) 처럼 언급하였고, 스마트 안경(G-F3)에 포함된 구성요소들은 화상 수신부(G-F3), 표시부(G-F3), 각속도 송신부(G-F3), 자이로 센서(G-F3)와 같이 언급하였다. Referring to FIG. 3 , the thermal image processing apparatus and smart glasses are provided together with the thermal image processing apparatus P-F3 and smart glasses G-F3, respectively. Meanwhile, in FIG. 3 , components (image receiving unit, image processing unit, image transmitting unit, angular velocity receiving unit) included in the thermal image processing apparatus P-F3 and components included in the smart glasses G-F3 (image receiving unit) , display unit, angular velocity transmitter, gyro sensor) are not indicated by reference numerals, but for ease of understanding in the detailed description of the present application, the components included in the thermal image processing device (P-F3) are the image receiving unit (P- F3), the image processing unit (P-F3), the image transmitting unit (P-F3), and the angular velocity receiving unit (P-F3) were mentioned, and the components included in the smart glasses (G-F3) are the image receiving unit (G-F3). ), the display unit (G-F3), the angular velocity transmitter (G-F3), and the gyro sensor (G-F3).

도 4를 참조하면 ECU, 무선 단말기, 및 스마트 안경은 각각 ECU(P-F4), 무선 단말기(M-F4), 및 스마트 안경(G-F4)와 같이 부여되었고, 도 5를 참조하면 ECU, 무선 단말기, 및 스마트 안경은 각각 ECU(P-F5), 무선 단말기(M-F5), 및 스마트 안경(G-F5)와 같이 부여되었고, 도 6을 참조하면 열화상 송수신장치와 스마트 안경은 각각 열화상 송수신장치(EM)와 스마트 안경(G-F6) 처럼 부여되었다. 한편, 이들 각각에 포함된 구성요소들에 대하여 도면들에 도면 부호를 표시하지 않았고, 다만, 상세한 설명에서 상기와 같은 방식으로 언급하였다. Referring to FIG. 4, ECU, wireless terminal, and smart glasses are assigned as ECU (P-F4), wireless terminal (M-F4), and smart glasses (G-F4), respectively. Referring to FIG. 5, ECU, The wireless terminal and the smart glasses were provided with the ECU (P-F5), the wireless terminal (M-F5), and the smart glasses (G-F5), respectively. Referring to FIG. 6 , the thermal image transceiver and the smart glasses are respectively It was given like a thermal image transceiver (EM) and smart glasses (G-F6). On the other hand, reference numerals are not indicated in the drawings for the components included in each of them, but have been referred to in the same manner as above in the detailed description.

용어Terms

본원 명세서에서, 용어 '피사체의 실상' 또는 '실상 피사체'는 스마트 안경을 통해서 사람이 직접 바라본 피사체를 의미한다. In the present specification, the term 'real image of a subject' or 'real image subject' refers to a subject directly viewed by a person through smart glasses.

본원 명세서에서, 용어 '피사체의 열화상' 또는 '열화상 피사체'는 열화상 카메라를 통해서 획득된 피사체에 대한 열화상을 의미한다. As used herein, the term 'thermal image of a subject' or 'thermal image subject' refers to a thermal image of a subject obtained through a thermal imaging camera.

본원 명세서에서, 용어 열화상을 '수정'한다고 함은 열화상의 위치를 변경하는 것을 포함한다. As used herein, the term 'correction' of a thermal image includes changing a position of the thermal image.

본 발명에 따르면, 차량의 외부에 열화상 카메라가 차량의 정면을 바라보도록 설치되어 있고, 이러한 열화상 카메라가 획득한 열화상은 수정(열화상의 위치가 변경)되거나 또는 수정없이 다른 장치(예를 들면, 차량용 전장장치나 스마트폰과 같은 무선 단말기를 통해서)를 통해서 스마트 안경으로 전송된다. 스마트 안경을 착용한 운전자는 실상과 열화상을 동시 또는 원하는 영상을 바라보며 운전을 할 수 있다. 후술하겠지만, 본원 발명에 따른 나이트 비젼 시스템에서의 스마트 안경을 착용한 운전자는 자신의 시선이 차량의 주행 방향과 차이가 있더라도, 그러한 시선에 맞는 열화상을 볼수 있게 된다. 이하에서는, 본원 발명의 다양한 실시예들에 대하여 도면들을 참조하여 설명하기로 한다. According to the present invention, a thermal imaging camera is installed on the outside of the vehicle so as to face the front of the vehicle, and the thermal image obtained by the thermal imaging camera is corrected (the position of the thermal image is changed) or other devices (eg, the thermal image is changed) without modification For example, through a wireless terminal such as a vehicle electric device or a smart phone) is transmitted to the smart glasses. A driver wearing smart glasses can drive while viewing the real image and the thermal image at the same time or the desired image. As will be described later, a driver wearing smart glasses in the night vision system according to the present invention can see a thermal image suitable for his gaze even if his gaze is different from the driving direction of the vehicle. Hereinafter, various embodiments of the present invention will be described with reference to the drawings.

도 2는 본 발명에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템의 원리를 설명하기 위한 도면이다. 2 is a view for explaining the principle of a vehicle night vision system having a thermal imaging camera and smart glasses according to the present invention.

도 2를 참조하면, (a)와 (b)에서 직사각형 점선으로 표시된 영역은 차량의 정면 영역을 나타내며, 열화상 카메라가 촬상하는 영역이다. 즉, 실상 피사체가 차량의 정면 영역에서 중앙에 위치할 경우, 열화상 카메라에 의해 촬상된 열화상에서는 피사체(열화상 피사체를 의미)가 중앙에 존재한다. 한편, (a), (b), (c)에서 타원형으로 표시된 영역은 스마트 안경의 표시부를 나타낸 것이다. (a)를 참조하면, 스마트 안경을 쓴 사람이 차량의 정면이 아닌 약간 좌측을 보고 있는 상태이다. 이러한 경우, 종래의 기술에 따르면, 스마트 안경의 표시부의 대략 중앙에 피사체의 열화상이 표시된다.Referring to FIG. 2 , the area indicated by the rectangular dotted line in (a) and (b) represents the front area of the vehicle, and is an area imaged by the thermal imaging camera. That is, when the real object is located in the center in the front area of the vehicle, the object (meaning the thermal image object) is located in the center in the thermal image captured by the thermal imager. Meanwhile, in (a), (b), and (c), the oval-shaped area indicates the display unit of the smart glasses. Referring to (a), a person wearing smart glasses is looking slightly to the left rather than the front of the vehicle. In this case, according to the prior art, the thermal image of the subject is displayed at approximately the center of the display unit of the smart glasses.

이러한 경우, 본원 발명에 따르면, 차량 정면(즉, 열화상 카메라 촬상 방향)을 기준으로 스마트 안경이 바라본 방향과의 차이를 알아내고, 이 차이에 기초하여, 스마트 안경에 표시되는 열화상 피사체의 위치가 변경되도록, 열화상('RAW 열화상')을 수정한다. (c)를 참조하면, 수정된 열화상이 스마트 안경의 표시부에 표시되는 것을 예시적으로 나타내었다. 후술하겠지만, (c)와 같이 수정된 열화상을 표시하기 위해서, 본 발명에 따른 다양한 실시예들은, 열화상 카메라의 촬상 방향과 스마트 안경이 향하는 방향의 차이에 기초하여, 열화상 카메라가 획득한 그대로의 열화상('RAW 열화상')을 수정할지 여부를 판단하고, 수정할 것으로 판단한 경우 열화상 카메라의 촬상 방향과 스마트 안경이 향하는 방향의 차이를 반영하여 열화상('RAW 열화상')을 수정한다. 이하, 도 3 내지 도 7을 참조하여, 본 발명의 다양한 실시예들에 대하여 상세히 설명하기로 한다. In this case, according to the present invention, the difference from the direction seen by the smart glasses is found based on the front of the vehicle (ie, the thermal imaging camera imaging direction), and based on this difference, the position of the thermal image object displayed on the smart glasses The thermal image ('RAW thermal image') is modified so that . Referring to (c), it is exemplarily shown that the corrected thermal image is displayed on the display unit of the smart glasses. As will be described later, in order to display the corrected thermal image as in (c), various embodiments according to the present invention may be based on the difference between the imaging direction of the thermal imaging camera and the direction in which the smart glasses face, Determine whether to correct the thermal image as it is ('RAW thermal image') make corrections Hereinafter, various embodiments of the present invention will be described in detail with reference to FIGS. 3 to 7 .

도 3은 본 발명의 제1 실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다. 3 is a view for explaining a vehicle night vision system having a thermal imager and smart glasses according to a first embodiment of the present invention.

도 3을 참조하면, 본 발명의 제1 실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템(이하, '나이트 비젼 시스템')은 열화상 카메라(C), 열화상 처리장치(P-F3), 및 스마트 안경(G-F3)을 포함한다. Referring to FIG. 3 , the vehicle night vision system (hereinafter, 'night vision system') having a thermal imaging camera and smart glasses according to a first embodiment of the present invention includes a thermal imaging camera (C), a thermal image processing device ( P-F3), and smart glasses (G-F3).

열화상 카메라(C)는 차량의 전방에 존재하는 실상 피사체(들)에 대한 열화상 이미지를 획득하여 제공한다. 열화상 카메라(C)는 예를 들면, 한국등록특허 10-1774091호(이하, '091')에 개시된 장치일 수 있다. '091'호에 기재된 모든 내용은 본원 명세서의 일부로서 결합된다. 본원 발명에 따른 열화상 카메라(C)는 '091'호에 개시된 열화상 카메라에만 한정되는 것은 아니며, 피사체로부터 방사되는 적외선을 전기적 신호로 변환하여 열화상을 생성할 수 있는 장치라면 어떠한 장치라도 본원 발명에 따른 열화상 카메라(C)로 사용될 수 있다. The thermal imaging camera C acquires and provides a thermal image of the real subject(s) existing in front of the vehicle. The thermal imaging camera C may be, for example, a device disclosed in Korean Patent Registration No. 10-1774091 (hereinafter, '091'). All contents described in '091' are incorporated as part of this specification. The thermal imaging camera (C) according to the present invention is not limited to the thermal imaging camera disclosed in '091', and any device capable of generating a thermal image by converting infrared radiation emitted from a subject into an electrical signal is used herein. It can be used as a thermal imaging camera (C) according to the invention.

열화상 카메라(C)는 스마트 안경(G-F3)에 구비된 표시부 상에 표시될 열화상의 수정 여부를 판단하는 동작 - 수정 판단동작 - 과, 열화상의 수정을 할 필요가 있을 경우 열화상 카메라(C)가 획득한 열화상을 수정하는 동작 - 열화상 수정 동작 - 을 수행한다. The thermal imaging camera C determines whether or not to correct the thermal image to be displayed on the display unit provided in the smart glasses G-F3 - the correction determination operation - and, if it is necessary to correct the thermal image, the thermal imaging camera ( C) performs the operation of correcting the acquired thermal image - the thermal image correction operation.

한편, 본 발명의 설명의 목적을 위해서, 본원 명세서에서, 열화상 카메라(C)에 의해 획득된 열화상을 'RAW 열화상' 이라고 언급하고, 열화상 수정 동작에 의해 수정된 열화상을 'AMENDED 열화상'이라고 언급하기로 한다. On the other hand, for the purpose of explanation of the present invention, in this specification, the thermal image acquired by the thermal imaging camera C is referred to as 'RAW thermal image', and the thermal image corrected by the thermal image correction operation is 'AMENDED' It will be referred to as 'thermal imaging'.

수정 판단동작Correction Judgment Action

수정 판단동작은 스마트 안경(G-F3)에 구비된 표시부 상에 표시될 열화상의 수정여부를 판단 하는 것이다.The correction determination operation determines whether the thermal image to be displayed on the display unit provided in the smart glasses G-F3 is corrected.

수정 판단동작은, 스마트 안경의 방향과 열화상 카메라(C)가 향하는 방향('열화상 카메라(C) 촬상 방향'이라고 함) - 열화상을 획득하기 위해서 열화상 카메라(C)가 향하는 방향 - 을 고려하여, 열화상 수정여부를 판단하는 동작이다. The correction decision operation is the direction of the smart glasses and the direction the thermal imaging camera C faces (referred to as the 'thermal imaging camera (C) imaging direction') - the direction the thermal imaging camera (C) is facing to acquire a thermal image - It is an operation of determining whether to correct the thermal image in consideration of

수정 판단동작에서는, 열화상 카메라(C) 촬상 방향과 스마트 안경의 방향이 동일하거나 거의 유사하면 열화상 카메라(C)에 의해 획득된 열화상의 위치('열화상 초기위치'라고 함)를 수정할 필요가 없으므로, 열화상을 수정하지 않는 것으로 판단한다. 구체적으로, 열화상 카메라(C) 촬상 방향과 스마트 안경(G-F3)의 방향간에 기준 각도 이상의 차이('스마트 안경-카메라 방향 차이'라고 함)가 있으면 열화상을 수정하는 것으로 판단한다. 여기서, '스마트 안경-카메라 방향 차이'는, 스마트 안경(G-F3)을 통해서 바라본 '피사체 실물의 위치'와 열화상 카메라(C)가 획득한 열화상에서의 '피사체 열화상의 위치'의 차이로부터 기인한 것이다. In the correction decision operation, if the imaging direction of the thermal imaging camera C and the direction of the smart glasses are the same or almost similar, it is necessary to correct the position of the thermal image acquired by the thermal imaging camera C (referred to as the 'thermal image initial position') Since there is no thermal image, it is determined that the thermal image is not corrected. Specifically, if there is a difference (referred to as 'smart glasses-camera direction difference') of more than a reference angle between the imaging direction of the thermal imaging camera C and the direction of the smart glasses G-F3, it is determined that the thermal image is corrected. Here, the 'smart glasses-camera direction difference' is from the difference between the 'position of the subject' seen through the smart glasses (G-F3) and the 'position of the thermal image of the subject' in the thermal image obtained by the thermal imaging camera (C). it is caused by

열화상 재구성 동작Thermal image reconstruction behavior

열화상 재구성 동작은, 수정 판단동작의 수행결과 열화상을 수정할 것으로 판단된 경우, 열화상 카메라(C)가 획득한 'RAW 열화상'을 수정하여 'AMENDED 열화상'을 생성한다. 즉, 'RAW 열화상'을 스마트 안경-카메라 방향 차이를 반영하여 수정한 것이 'AMENDED 열화상'이다.The thermal image reconstruction operation generates an 'AMENDED thermal image' by modifying the 'RAW thermal image' acquired by the thermal imaging camera C when it is determined that the thermal image will be corrected as a result of the correction determination operation. That is, the 'AMENDED thermal image' is a correction of the 'RAW thermal image' by reflecting the difference between the smart glasses-camera direction.

'RAW 열화상'이 스마트 안경(G-F3)의 열화상이 표시되는 구역(미리 정해져 있음) - 열화상 표시 구역 - 의 크기에 맞도록 생성되었다고 가정하고, 'RAW 열화상'을 어느 한쪽방향으로 소정의 거리만큼 이동시켜 'AMENDED 열화상'을 생성할 경우, 열화상이 표시되는 구역에서 빈 영역(즉, 'RAW 열화상'이 이동하고 난 후 생긴 빈 영역임)이 생길 수 있다. 열화상 재구성 동작에서는, 그러한 빈영역을 비워두거나 또는 보간 동작이 수행될 수 있다. 즉, 열화상 재구성 동작은 'RAW 열화상'을 어느 한쪽방향으로 소정의 거리만큼 이동시키고, 이동에 의해 생긴 빈 영역은 화소값을 채우지 않거나 또는 임의의 데이터로 채움으로써, 'AMENDED 열화상'을 완성할 수 있다. Assume that the 'RAW thermal image' is created to fit the size of the thermal image display area (predetermined) of the smart glasses (G-F3) - the thermal image display area - When an 'AMENDED thermal image' is generated by moving it by a predetermined distance, an empty area (that is, an empty area generated after the 'RAW thermal image' is moved) may be generated in the area where the thermal image is displayed. In the thermal image reconstruction operation, such an empty area may be left blank or an interpolation operation may be performed. That is, the thermal image reconstruction operation moves the 'RAW thermal image' by a predetermined distance in either direction, and the empty area created by the movement does not fill the pixel values or fills the 'AMENDED thermal image' with arbitrary data. can be completed

열화상 재구성 동작은, 예를 들면, 스마트 안경(G-F3)을 통해서 바라본 실상 피사체의 위치와, 스마트 안경(G-F3)의 표시부(G-F3)에 표시되는 열화상 피사체의 위치가 일치되도록, 'RAW 열화상'을 수정하는 동작일 수 있다. 예를 들면, 열화상 재구성 동작은 열화상 표시 구역에서 스마트 안경-카메라 방향 차이의 정도에 따라서 정해진 소정의 거리만큼 'RAW 열화상'을 이동시키는 동작이다. 열화상 재구성 동작에서, 스마트 안경-카메라 방향 차이가 클수록 'RAW 열화상'을 많이 이동시켜 'AMENDED 열화상'을 생성할 수 있다.In the thermal image reconstruction operation, for example, the position of the real object viewed through the smart glasses G-F3 matches the position of the thermal image object displayed on the display unit G-F3 of the smart glasses G-F3. As much as possible, it may be an operation of correcting the 'RAW thermal image'. For example, the thermal image reconstruction operation is an operation of moving the 'RAW thermal image' by a predetermined distance determined according to the degree of difference in the smart glasses-camera direction in the thermal image display area. In the thermal image reconstruction operation, as the smart glasses-camera direction difference increases, the 'RAW thermal image' may be moved more to generate an 'AMENDED thermal image'.

구체적인 예를 들면, 차량 전방의 중앙에 실상 노루가 존재하여 열화상 카메라(C)가 노루가 포함된 열화상 - 노루 열화상 - 을 획득하였다고 가정한다. 한편, 스마트 안경(G-F3)을 착용한 사람은, 열화상 카메라(C) 촬상 방향과 약 30도의 차이가 있는 방향으로 주시하였다고 가정한다. 즉, 열화상 카메라(C) 촬상 방향과 스마트 안경의 방향 - 시선 방향 - 간의 각도가 30도의 차이가 있다. 이러한 경우, 사람의 눈에 보이는 노루 - 노루 실상 - 는 스마트 안경(G-F3)의 중앙으로부터 약 30도 각도 차이가 나는 곳에 존재할 것이다(물론, 스마트 안경(G-F3)이 설치된 위치와 열화상 카메라(C)가 설치된 위치가 동일하지 않으므로, 그들의 상대적 위치들까지 고려해야 하지만 본 구체적인 예에서는 이해의 편의를 위해서 그러한 위치들은 무시하고 방향만을 고려 하기로 한다).As a specific example, it is assumed that there is a real deer in the center of the front of the vehicle, so that the thermal imaging camera C acquires a thermal image - a thermal image of the deer - containing the deer. On the other hand, it is assumed that the person wearing the smart glasses G-F3 gazes in a direction different from the imaging direction of the thermal imaging camera C by about 30 degrees. That is, there is a difference of 30 degrees in the angle between the imaging direction of the thermal imaging camera C and the direction of the smart glasses - the gaze direction. In this case, the human visible deer - the deer real image - will exist at an angle of about 30 degrees from the center of the smart glasses (G-F3) (of course, the location where the smart glasses (G-F3) is installed and the thermal image Since the installed positions of the cameras C are not the same, their relative positions should also be considered, but in this specific example, for convenience of understanding, such positions will be ignored and only the direction will be considered).

이러한 상황에서, 열화상 카메라(C)가 획득한 열화상(중앙에 노루 열화상이 있는 것), 즉 'RAW 열화상'을 그대로 스마트 안경(G-F3)에 전송하여 표시하면, 스마트 안경(G-F3)을 통해서 사람의 눈에 의해 실제로 보이는 장면과는 다를 것이다. 즉, 실제 사람의 눈에 의해 보이는 장면에서는 노루 실상은 중앙이 아닌 곳(스마트 안경-카메라 방향 차이가 약 30도 있으므로)에 존재함에 비하여, 열화상 카메라(C)가 획득한 열화상에서는 중앙에 노루 열화상이 존재하게 된다. 열화상 재구성 동작은, 이러한 상황을 고려하기 위한 것으로, 열화상 카메라(C)가 획득한 노루 열화상의 위치를 사람의 눈에 보이는 노루 실상의 위치에 맞도록, 열화상을 재구성하는 것이다. In this situation, if the thermal image acquired by the thermal imaging camera C (with a roe deer thermal image in the center), that is, a 'RAW thermal image', is transmitted to the smart glasses (G-F3) as it is and displayed, the smart glasses ( It will be different from the scene actually seen by the human eye through G-F3). That is, in the scene seen by the human eye, the real image of the deer is not in the center (since the smart glasses-camera direction difference is about 30 degrees), whereas in the thermal image acquired by the thermal imaging camera (C), the real image of the roe deer is located in the center. A thermal image will be present. The thermal image reconstruction operation is to consider this situation, and reconstructs the thermal image so that the position of the thermal image of the roe deer acquired by the thermal imaging camera C matches the position of the real image of the roe deer visible to the human eye.

열화상 처리장치(P-F3)는 차량에 설치되는 전장장치의 일부로서 구성되거나, 또는 무선 단말기(예를 들면, 스마트폰, 아이패드, 캘럭시 탭, 또는 PDA 와 같은 장치), 또는 스마트 안경의 일부로서 구성이 될 수 있다. 열화상 처리장치(P-F3)가 전장장치에 설치된 경우('제1실시예')는 도 4를 참조하여 설명하고, 열화상 처리장치(P-F3)가 무선 단말기에 설치된 경우('제2실시예')는 도 5를 참조하여 설명하고, 열화상 처리장치(P-F3)가 스마트 안경에 설치된 경우('제3실시예')는 도 6을 참조하여 설명하기로 한다. The thermal image processing device (P-F3) is configured as a part of an electronic device installed in a vehicle, or a wireless terminal (eg, a device such as a smartphone, iPad, Galaxy Tab, or PDA), or smart glasses It can be configured as part of A case in which the thermal image processing apparatus P-F3 is installed in the electric device ('first embodiment') will be described with reference to FIG. The second embodiment') will be described with reference to FIG. 5, and the case where the thermal image processing apparatus P-F3 is installed in the smart glasses ('third embodiment') will be described with reference to FIG. 6 .

전장장치는 통상적으로 차량용 전자제어장치(Electronic Control Apparatus: ECU)라고 불리우는 것으로, 차량내의 전반적인 장치들의 동작을 제어한다. 최근의 전장장치들은 스마트폰, 차량용 맵, 외부와 무선 통신까지 지원하도록 발전되고 있다. 예를 들면, 한국특허등록공보 10-1664883호에는 차량용 전자제어장치의 일반적인 기술이 공개되어 있고, 한국공개특허공보 2014-0079161호에도 차량용 전자제어장치의 일반적인 기술이 공개되어 있다. 이러한 특허들에는, 다른 장치와 연동되는 전자제어장치들에 대한 예시적인 내용들이 공개되어 있다. The electric device is generally called an Electronic Control Apparatus (ECU) for a vehicle, and controls the operation of overall devices in the vehicle. Recent electronic devices are being developed to support smart phones, vehicle maps, and even external and wireless communication. For example, Korean Patent Registration No. 10-1664883 discloses a general technology of an electronic control device for a vehicle, and Korean Patent Publication No. 2014-0079161 discloses a general technology of an electronic control device for a vehicle. In these patents, exemplary contents of electronic control devices interworking with other devices are disclosed.

스마트 안경(G-F3)은 화상을 수신하여 표시할 수 있다. 예를 들면, 스마트 안경(G-F3)은 열화상 처리장치(P-F3)로부터 전송받은 열화상을 사람의 시각에 의해 보일수 있는 형태로 표시하는 표시부(G-F3)를 구비한다. 일 실시예에 따르면, 스마트 안경(G-F3)이 열화상 처리장치(P-F3)로부터 수신한 열화상은 'RAW 열화상' 또는 'AMENDED 열화상'일 수 있다. The smart glasses G-F3 may receive and display an image. For example, the smart glasses G-F3 includes a display unit G-F3 that displays the thermal image received from the thermal image processing device P-F3 in a form that can be seen by human eyes. According to an embodiment, the thermal image received by the smart glasses G-F3 from the thermal image processing apparatus P-F3 may be a 'RAW thermal image' or an 'AMENDED thermal image'.

도 3을 계속 참조하면, 열화상 처리장치(P-F3)는, 화상수신부(P-F3), 화상처리부(P-F3), 화상송신부(P-F3), 및 각속도 수신부(P-F3)를 포함할 수 있다. 3, the thermal image processing apparatus P-F3 includes an image receiving unit P-F3, an image processing unit P-F3, an image transmitting unit P-F3, and an angular velocity receiving unit P-F3. may include.

화상수신부(P-F3)는 열화상 카메라(C)로부터 열화상을 수신하여 화상처리부(P-F3)에게 제공한다. 각속도 수신부(P-F3)는 스마트 안경(G-F3)의 방향을 알 수 있는 정보를 스마트 안경으로부터 수신한다. 화상 송신부(P-F3)는 화상 처리부(P-F3)에 의해 생성된 열화상을 스마트 안경(G-F3)으로 전송한다. The image receiving unit P-F3 receives a thermal image from the thermal imaging camera C and provides it to the image processing unit P-F3. The angular velocity receiver (P-F3) receives information for knowing the direction of the smart glasses (G-F3) from the smart glasses. The image transmission unit P-F3 transmits the thermal image generated by the image processing unit P-F3 to the smart glasses G-F3.

화상 처리부(P-F3)는 상술한 수정 판단동작과 열화상 재구성 동작을 수행한다. The image processing unit P-F3 performs the above-described correction determination operation and thermal image reconstruction operation.

예를 들면, 화상 처리부(P-F3)는, 각속도 수신부(P-F3)가 수신한 스마트 안경(G-F3)의 방향을 알 수 있는 정보 - 예를 들면, 각 속도 정보 - 와, 열화상 카메라(C) 촬상 방향을 고려하여 'RAW 열화상'에 대하여 수정할지 여부를 판단하고 수정이 필요하면 열화상을 재구성한다. 즉, 화상 처리부(P-F3)는 스마트 안경(G-F3)을 통해서 바라본 피사체 실상의 위치와, 스마트 안경(G-F3)의 표시부(G-F3)에 표시되는 열화상 피사체의 위치가 일치되는지 여부를 판단하고, 일치되지 않을 경우, 스마트 안경(G-F3)을 통해서 바라본 실상 피사체의 위치와, 스마트 안경(G-F3)의 표시부(G-F3)에 표시되는 피사체의 열화상의 위치가 일치되도록, 'RAW 열화상'을 수정할 수 있다. 예를 들면, 화상 처리부(P-F3)는, 스마트 안경-카메라 방향 차이의 정도에 따라서 정해진 소정의 거리만큼 'RAW 열화상'을 이동시킴으로써 'AMENDED 열화상'을 생성할 수 있다. For example, the image processing unit P-F3 may include information for knowing the direction of the smart glasses G-F3 received by the angular velocity receiving unit P-F3 - for example, angular velocity information - and a thermal image. It is determined whether to correct the 'RAW thermal image' in consideration of the imaging direction of the camera (C), and if correction is necessary, the thermal image is reconstructed. That is, in the image processing unit P-F3, the position of the actual image of the subject viewed through the smart glasses G-F3 coincides with the position of the thermal image subject displayed on the display unit G-F3 of the smart glasses G-F3. If it does not match, the position of the real object viewed through the smart glasses (G-F3) and the position of the thermal image of the subject displayed on the display unit (G-F3) of the smart glasses (G-F3) are To match, the 'RAW thermal image' can be modified. For example, the image processing unit P-F3 may generate the 'AMENDED thermal image' by moving the 'RAW thermal image' by a predetermined distance determined according to the degree of difference between the smart glasses-camera direction.

스마트 안경(G-F3)은 화상 수신부(G-F3), 표시부(G-F3), 자이로 센서(G-F3), 및 각속도 송신부(G-F3)를 포함할 수 있다. 화상 수신부(G-F3)는 열화상 처리장치(P-F3)로부터 열화상을 수신한다. 표시부(G-F3)는 화상 수신부(G)가 수신한 열화상을 표시한다. 표시부(G-F3)의 전체 영역에 열화상이 표시되거나, 또는 표시부(G-F3)의 일부 영역 - 열화상이 표시되도록 미리 정한 영역으로, 열화상 표시 구역임 - 에만 열화상이 표시될 수 있다. 자이로 센서(G-F3)는 스마트 안경(G-F3)의 자세(특히, 방향)를 알 수 있는 정보를 획득하기 위한 것이다. 자이로 센서(G-F3)에 의해 감지된 결과는 각속도 송신부(G-F3)를 통해서 열화상 처리장치(P-F3)로 송신된다. The smart glasses G-F3 may include an image receiver G-F3, a display unit G-F3, a gyro sensor G-F3, and an angular velocity transmitter G-F3. The image receiving unit G-F3 receives a thermal image from the thermal image processing apparatus P-F3. The display unit G-F3 displays the thermal image received by the image receiving unit G. A thermal image may be displayed on the entire area of the display unit G-F3, or a thermal image may be displayed only on a partial area of the display unit G-F3 - an area predetermined to display a thermal image, which is a thermal image display area. have. The gyro sensor G-F3 is for acquiring information for knowing the posture (particularly, the direction) of the smart glasses G-F3. The result detected by the gyro sensor G-F3 is transmitted to the thermal image processing apparatus P-F3 through the angular velocity transmitter G-F3.

도 4는 본 발명의 제2실시예에 따른 열화상 카메라(C)와 스마트 안경(G-F4)을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다. 4 is a view for explaining a vehicle night vision system having a thermal imaging camera (C) and smart glasses (G-F4) according to a second embodiment of the present invention.

도 4를 참조하면, 제2실시예에 따른 나이트 비젼 시스템은 열화상 카메라(C), 열화상 처리장치가 구비된 차량용 전장장치(E-F4), 무선 단말기(M-F4), 및 스마트 안경(G-F4)을 포함할 수 있다. 제2실시예에 따른 나이트 비젼 시스템은, 도 3에서 설명한 열화상 처리장치(P-F3)가 차량용 전장장치(E-F4)에 구현된 것이다. 여기서, 차량용 전장장치(E-F4)에서의 종래 알려진 동작은 생략하기로 하고, 열화상 처리장치로서의 구성과 기능에 대하여만 설명하기로 한다. 열화상 처리장치로서의 동작을 위한 구성요소들은, 차량용 전장장치(E-F4)에 종래 알려진 동작의 수행을 위해서 포함되어 있던 자원(소프트웨어와 하드웨어)들을 활용하거나, 차량용 전장장치(E-F4)에 추가적으로 구비될 수 있다. Referring to FIG. 4 , the night vision system according to the second embodiment includes a thermal image camera (C), a vehicle electric device (E-F4) equipped with a thermal image processing device, a wireless terminal (M-F4), and smart glasses. (G-F4). In the night vision system according to the second embodiment, the thermal image processing device P-F3 described with reference to FIG. 3 is implemented in the vehicle electric device E-F4. Here, the conventionally known operation in the vehicle electric device (E-F4) will be omitted, and only the configuration and function of the thermal image processing device will be described. Components for operation as a thermal image processing apparatus utilize resources (software and hardware) included in the conventionally known operation of the vehicle electronic device (E-F4), or use the vehicle electronic device (E-F4). It may be additionally provided.

차량용 전장장치(E-F4)는 화상 수신부(E-F4), 화상 처리부(E-F4), 화상 송신부(E-F4), 및 각속도 수신부(E-F4)를 포함하고, 무선 단말기(M-F4)는 화상 수신부(M-F4), 화상 송신부(M-F4), 각속도 수신부(M-F4), 및 각속도 송신부(M-F4)를 포함하고, 스마트 안경(G-F4)은 화상 수신부(G-F4), 표시부(G-F4), 각속도 송신부(G-F4), 및 자이로 센서(G-F4)를 포함할 수 있다. The vehicle electric device (E-F4) includes an image receiving unit (E-F4), an image processing unit (E-F4), an image transmitting unit (E-F4), and an angular velocity receiving unit (E-F4), and a wireless terminal (M- F4) includes an image receiving unit (M-F4), an image transmitting unit (M-F4), an angular velocity receiving unit (M-F4), and an angular velocity transmitting unit (M-F4), and the smart glasses (G-F4) include an image receiving unit ( G-F4), a display unit G-F4, an angular velocity transmitter G-F4, and a gyro sensor G-F4 may be included.

열화상 카메라(C)는 차량에 설치되어 차량의 전방에 대한 열화상을 획득하여 차량용 전장장치(E-F4)에게 제공한다. The thermal imaging camera C is installed in the vehicle to obtain a thermal image of the front of the vehicle and provides it to the vehicle electric device E-F4.

스마트 안경(G-F4)은 무선 단말기(M-F4)로부터 'RAW 열화상' 또는 'AMENDED 열화상'을 수신하여 표시할 수 있고, 스마트 안경(G-F4)의 방향을 알 수 있는 각속도 정보 - 스마트 안경에 대한 각속도 정보) - 를 주기적 또는 실시간으로 무선 단말기(M-F4)에게 제공한다. 도 4에서의 스마트 안경(G-F4)과 그 구성요소들의 동작은 도 3에서의 스마트 안경(G-F3)과 그 구성요소들의 동작과 동일하므로, 스마트 안경(G-F4)에 대한 보다 상세한 설명은 생략된다.The smart glasses (G-F4) can receive and display the 'RAW thermal image' or 'AMENDED thermal image' from the wireless terminal M-F4, and angular velocity information for knowing the direction of the smart glasses (G-F4) - Angular velocity information about smart glasses) - is provided to the wireless terminal (M-F4) periodically or in real time. Since the operation of the smart glasses G-F4 and its components in FIG. 4 is the same as the operation of the smart glasses G-F3 and its components in FIG. 3, a more detailed description of the smart glasses G-F4 Description is omitted.

무선 단말기(M-F4)에서, 각속도 수신부(M-F4)는 스마트 안경으로부터 각속도 정보를 수신하고, 각속도 송신부(M-F4)는 각속도 정보를 차량용 전장장치(E-F4)에게 송신한다. 무선 단말기(M-F4)에서, 화상 수신부(M-F4)는 차량용 전장장치(E-F4)로부터 'RAW 열화상' 또는 'AMENDED 열화상'을 수신하고, 화상 송신부(M-F4)는 'RAW 열화상' 또는 'AMENDED 열화상'을 스마트 안경(G-F4)에게 송신한다.In the wireless terminal M-F4, the angular velocity receiver M-F4 receives the angular velocity information from the smart glasses, and the angular velocity transmitter M-F4 transmits the angular velocity information to the vehicle electric device E-F4. In the wireless terminal M-F4, the image receiving unit M-F4 receives the 'RAW thermal image' or 'AMENDED thermal image' from the vehicle electric device E-F4, and the image transmitting unit M-F4 receives the ' Sends 'RAW thermal image' or 'AMENDED thermal image' to the smart glasses (G-F4).

차량용 전장장치(E-F4)는 무선 단말기(M-F4)로부터 수신한 각속도 정보와, 열화상 카메라(C)의 설치 정보 - 열화상 카메라(C)의 촬상 방향과 위치를 포함 - 에 기초하여 'RAW 열화상'을 수정할지 여부를 결정하는 수정 판단동작과, 수정이 필요할 경우 'AMENDED 열화상'을 생성하는 열화상 재구성 동작을 수행한다. 'RAW 열화상' 또는 'AMENDED 열화상'은 무선 단말기(M-F4)로 전송된다. 도 4에서의 차량용 전장장치(E-F4)에 포함된 구성요소들의 수정 판단동작과 열화상 재구성 동작은, 도 3에서의 열화상 처리장치(P-F3)에 포함된 구성요소들에 의한 동작과 동일하므로, 도 4의 차량용 전장장치(E-F4)에 대한 보다 상세한 설명은 생략된다.The vehicle electric device (E-F4) is based on the angular velocity information received from the wireless terminal (M-F4) and the installation information of the thermal imaging camera (C) - including the imaging direction and position of the thermal imaging camera (C). A correction decision operation for determining whether to correct the 'RAW thermal image' and a thermal image reconstruction operation for generating an 'AMENDED thermal image' if correction is required are performed. The 'RAW thermal image' or 'AMENDED thermal image' is transmitted to the wireless terminal M-F4. The correction determination operation and the thermal image reconstruction operation of the components included in the vehicle electronic device E-F4 in FIG. 4 are operations performed by the components included in the thermal image processing device P-F3 in FIG. 3 . Since it is the same as that of FIG. 4 , a more detailed description of the vehicle electric device E-F4 of FIG. 4 will be omitted.

도 5는 본 발명의 제3실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다. 5 is a view for explaining a vehicle night vision system having a thermal imaging camera and smart glasses according to a third embodiment of the present invention.

도 5를 참조하면, 제3실시예에 따른 나이트 비젼 시스템은 열화상 카메라(C), 차량용 전장장치(E-F5), 열화상 처리장치가 구비된 무선 단말기(M-F5), 및 스마트 안경(G-F5)을 포함할 수 있다. 제3실시예에 따른 나이트 비젼 시스템은, 도 3에서 설명한 열화상 처리장치(P-F3)가 무선 단말기(M-F5)에 포함된 것이다. 여기서, 무선 단말기(M-F5)에서의 종래 알려진 동작은 생략하기로 하고, 열화상 처리장치로서의 구성과 동작에 대하여만 설명하기로 한다. 열화상 처리장치로서의 동작을 위한 구성요소들은, 무선 단말기(M-F5)에 종래 알려진 동작의 수행을 위해서 포함되어 있던 자원(소프트웨어와 하드웨어)들을 활용하거나, 무선 단말기(M-F5)에 추가적으로 구비될 수 있다. Referring to FIG. 5 , the night vision system according to the third embodiment includes a thermal imaging camera (C), a vehicle electric device (E-F5), a wireless terminal equipped with a thermal image processing device (M-F5), and smart glasses. (G-F5). In the night vision system according to the third embodiment, the thermal image processing apparatus P-F3 described with reference to FIG. 3 is included in the wireless terminal M-F5. Here, a conventionally known operation in the wireless terminal M-F5 will be omitted, and only the configuration and operation of the thermal image processing apparatus will be described. Components for operation as a thermal image processing apparatus utilize resources (software and hardware) included in the conventionally known operation in the wireless terminal M-F5, or are additionally provided in the wireless terminal M-F5 can be

차량용 전장장치(E-F5)는 화상 수신부(E-F5)와 화상 송신부(E-F5)를 포함하고, 무선 단말기(M-F5)는 화상 수신부(M-F5), 화상 처리부(M-F5), 화상 송신부(M-F5), 및 각속도 수신부(M-F5)를 포함하고, 스마트 안경(G-F5)은 화상 수신부(G-F5), 표시부(G-F5), 각속도 송신부(G-F5), 및 자이로 센서(G-F5)를 포함할 수 있다. The vehicle electric device (E-F5) includes an image receiving unit (E-F5) and an image transmitting unit (E-F5), and the wireless terminal (M-F5) is an image receiving unit (M-F5) and an image processing unit (M-F5) ), an image transmitter (M-F5), and an angular velocity receiver (M-F5), and the smart glasses (G-F5) include an image receiver (G-F5), a display unit (G-F5), and an angular velocity transmitter (G- F5), and a gyro sensor G-F5.

열화상 카메라(C)는 차량에 설치되어 차량의 전방에 대한 열화상을 획득하여 차량용 전장장치(E-F5)에게 제공한다. The thermal imaging camera C is installed in the vehicle to obtain a thermal image of the front of the vehicle and provides it to the vehicle electric device E-F5.

스마트 안경(G-F5)은 무선 단말기(M-F5)로부터 'RAW 열화상' 또는 'AMENDED 열화상'을 수신하여 표시할 수 있고, 스마트 안경(G-F5)의 방향을 알 수 있는 각속도 정보 - 스마트 안경에 대한 각속도 정보) - 를 주기적 또는 실시간으로 무선 단말기(M-F5)에게 제공한다. 도 5에서의 스마트 안경(G-F5)과 그 구성요소들의 동작은 도 3에서의 스마트 안경(G-F3)과 그 구성요소들의 동작과 동일하므로, 스마트 안경(G-F5)에 대한 보다 상세한 설명은 생략된다.The smart glasses (G-F5) can receive and display 'RAW thermal image' or 'AMENDED thermal image' from the wireless terminal M-F5, and angular velocity information for knowing the direction of the smart glasses (G-F5) - Angular velocity information about smart glasses) - is provided to the wireless terminal (M-F5) periodically or in real time. Since the operation of the smart glasses (G-F5) and its components in FIG. 5 is the same as the operation of the smart glasses (G-F3) and its components in FIG. 3, a more detailed description of the smart glasses (G-F5) Description is omitted.

무선 단말기(M-F5)는 스마트 안경(G-F5)로부터 수신한 각속도 정보와, 열화상 카메라(C)의 설치 정보 - 열화상 카메라(C)의 촬상 방향과 위치를 포함 - 에 기초하여 'RAW 열화상'을 수정할지 여부를 결정하는 수정 판단동작과, 수정이 필요할 경우 'AMENDED 열화상'을 생성하는 열화상 재구성 동작을 수행한다. 'RAW 열화상' 또는 'AMENDED 열화상'은 무선 단말기(M-F5)로 전송된다. 도 5에서의 무선 단말기(M-F5)에 포함된 구성요소들의 동작은 도 3에서의 열화상 처리장치(P-F3)에 포함된 구성요소들의 동작과 동일하므로, 도 5의 무선 단말기(M-F5)의 수정 판단동작과 열화상 재구성 동작에 대한 상세한 설명은 생략된다.The wireless terminal (M-F5) receives angular velocity information from the smart glasses (G-F5) and installation information of the thermal imaging camera (C) - including the imaging direction and position of the thermal imaging camera (C) - based on ' A correction decision operation to determine whether to correct the 'RAW thermal image' and a thermal image reconstruction operation to generate an 'AMENDED thermal image' when correction is necessary are performed. The 'RAW thermal image' or 'AMENDED thermal image' is transmitted to the wireless terminal M-F5. Since the operation of the components included in the wireless terminal M-F5 in FIG. 5 is the same as the operation of the components included in the thermal image processing apparatus P-F3 in FIG. 3 , the wireless terminal M in FIG. -F5), a detailed description of the correction determination operation and the thermal image reconstruction operation will be omitted.

차량용 전장장치(E-F5)에서, 화상 수신부는 열화상 카메라(C)로부터 'RAW 열화상'을 수신하고, 화상 송신부는 'RAW 열화상'을 무선 단말기(G-F5)에게 전송한다. In the automotive electronic device E-F5, the image receiving unit receives a 'RAW thermal image' from the thermal imaging camera C, and the image transmitter transmits the 'RAW thermal image' to the wireless terminal G-F5.

도 6은 본 발명의 제4실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다. 6 is a view for explaining a vehicle night vision system having a thermal imaging camera and smart glasses according to a fourth embodiment of the present invention.

도 6을 참조하면, 제4실시예에 따른 나이트 비젼 시스템은 열화상 카메라(C), 열화상 송수신장치(EM-F6), 열화상 처리장치가 구비된 스마트 안경(G-F6)을 포함할 수 있다. 제4실시예에 따른 나이트 비젼 시스템은, 도 3에서 설명한 열화상 처리장치(P-F3)가 스마트 안경(G-F6)에 포함된 것이다. 여기서, 스마트 안경(G-F6)에서의 종래 알려진 동작은 생략하기로 하고, 열화상 처리장치로서의 구성과 동작에 대하여만 설명하기로 한다. 열화상 처리장치로서의 동작을 위한 구성요소들은, 스마트 안경(G-F6)에 종래 알려진 동작의 수행을 위해서 포함되어 있던 자원(소프트웨어와 하드웨어)들을 활용하거나, 스마트 안경(G-F6)에 추가적으로 구비될 수 있다. Referring to FIG. 6 , the night vision system according to the fourth embodiment may include a thermal image camera (C), a thermal image transceiver (EM-F6), and smart glasses (G-F6) equipped with a thermal image processing unit. can In the night vision system according to the fourth embodiment, the thermal image processing apparatus P-F3 described with reference to FIG. 3 is included in the smart glasses G-F6. Here, conventionally known operations of the smart glasses G-F6 will be omitted, and only the configuration and operation of the thermal image processing apparatus will be described. Components for operation as a thermal image processing device utilize resources (software and hardware) included in the smart glasses (G-F6) for performing known operations, or are additionally provided in the smart glasses (G-F6) can be

열화상 송수신장치(EM-F6)는 전장 장치 또는 무선 단말기일 수 있으며, 화상 수신부(EM-F6)와 화상 송신부(EM-F6)를 포함하고, 스마트 안경(G-F6)은 화상 수신부(G-F6), 화상 처리부(G-F6), 표시부(G-F6), 및 자이로 센서(G-F6)를 포함할 수 있다. The thermal image transceiver (EM-F6) may be an electric device or a wireless terminal, and includes an image receiving unit (EM-F6) and an image transmitting unit (EM-F6), and the smart glasses (G-F6) are an image receiving unit (G) -F6), an image processing unit G-F6, a display unit G-F6, and a gyro sensor G-F6.

열화상 카메라(C)는 차량에 설치되어 차량의 전방에 대한 열화상을 획득하여 열화상 송수신장치(EM-F6)에게 제공한다. The thermal imaging camera C is installed in the vehicle to obtain a thermal image of the front of the vehicle and provides it to the thermal image transceiver EM-F6.

스마트 안경(G-F6)의 화상 수신부(G-F6)는 열화상 송수신장치(EM-F6)로부터 'RAW 열화상'를 수신하고, 화상 처리부(G-F6)는 자이로 센서에 의해 감지된 각속도 정보와, 열화상 카메라(C)의 설치 정보 - 열화상 카메라(C)의 촬상 방향과 위치를 포함 - 에 기초하여 'RAW 열화상'을 수정할지 여부를 결정하는 수정 판단동작과, 수정이 필요할 경우 'AMENDED 열화상'을 생성하는 열화상 재구성 동작을 수행한다. 표시부(G-F6)는, 'RAW 열화상' 또는 'AMENDED 열화상'을 사람이 인식 가능한 형태(예를 들면 시각으로 인식할 수 있는 형태)로 표시한다. 도 6에서의 스마트 안경(G-F6)에 포함된 구성요소들의 동작은 도 3에서의 열화상 처리장치(P-F3)에 포함된 구성요소들의 동작과 동일하므로, 도 6의 스마트 안경(G-F6)의 수정 판단동작과 열화상 재구성 동작에 대한 보다 상세한 설명은 생략된다. The image receiving unit G-F6 of the smart glasses G-F6 receives the 'RAW thermal image' from the thermal image transceiver EM-F6, and the image processing unit G-F6 receives the angular velocity detected by the gyro sensor. Based on the information and the installation information of the thermal imaging camera (C) - including the imaging direction and location of the thermal imaging camera (C) - a correction decision operation to determine whether to correct the 'RAW thermal image' In this case, a thermal image reconstruction operation that creates an 'AMENDED thermal image' is performed. The display unit G-F6 displays the 'RAW thermal image' or the 'AMENDED thermal image' in a human recognizable form (eg, visually recognizable form). Since the operation of the components included in the smart glasses G-F6 in FIG. 6 is the same as the operation of the components included in the thermal image processing apparatus P-F3 in FIG. 3 , the smart glasses G in FIG. A more detailed description of the correction determination operation of -F6) and the thermal image reconstruction operation will be omitted.

도 7은 본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법을 설명하기 위한 도면이다. 7 is a view for explaining a method of displaying a thermal image in smart glasses according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법은 'RAW 열화상'을 획득하는 단계(S101), 스마트 안경의 방향 정보를 획득하는 단계(S102), 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계(S103); 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있으면 열화상을 수정하여 'AMENDED 열화상'을 생성하는 단계(S105); 및 'RAW 열화상' 또는 'AMENDED 열화상'을 스마트 안경이 표시하는 단계(S107);를 포함할 수 있다. Referring to FIG. 7 , the method for displaying a thermal image in smart glasses according to an embodiment of the present invention includes acquiring a 'RAW thermal image' (S101), and acquiring direction information of the smart glasses (S102). , checking whether there is a difference between the direction of the thermal imaging camera (C) and the direction of the smart glasses (S103); generating an 'AMENDED thermal image' by correcting the thermal image if there is a difference between the direction of the thermal imaging camera (C) and the direction of the smart glasses (S105); and displaying the 'RAW thermal image' or the 'AMENDED thermal image' by the smart glasses (S107).

본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법은 예를 들면, 상술한 제1실시예, 제2실시예, 또는 제3실시예와 같은 형태로 구현될 수 있다. The method of displaying a thermal image in smart glasses according to an embodiment of the present invention may be implemented in the same manner as in the above-described first embodiment, second embodiment, or third embodiment, for example.

예를 들면, 'RAW 열화상'을 획득하는 단계는 열화상 카메라(C)가 열화상을 획득하는 단계는, 스마트 안경의 방향 정보를 획득하는 단계는 스마트 안경에 구비된 자이로 센서가 스마트 안경의 방향을 알 수 있는 정보를 획득하는 단계이고, 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계는 화상 처리부가 수정 판단동작을 수행하는 단계이고, 화상 처리부가 'AMENDED 열화상'을 생성하는 단계는 열화상 재구성 동작을 수행하는 단계이다. For example, the step of acquiring a 'RAW thermal image' includes the thermal imaging camera (C) acquiring the thermal image, and the step of acquiring direction information of smart glasses is the gyro sensor provided in the smart glasses. The step of acquiring information that can tell the direction, and the step of checking whether there is a difference between the direction of the thermal imaging camera (C) and the direction that the smart glasses face is a step in which the image processing unit performs a correction determination operation, and the image processing unit ' The step of generating the 'AMENDED thermal image' is a step of performing a thermal image reconstruction operation.

여기서, 각 단계들에 대한 동작은 상술한 제1실시예, 제2실시예, 또는 제3실시예에 기재되어 있으므로 여기서는 생략된다. Here, since the operation for each step is described in the above-described first embodiment, second embodiment, or third embodiment, it is omitted here.

이와 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 상술한 명세서의 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As such, those skilled in the art to which the present invention pertains can make various modifications and variations from the description of the above-described specification. Therefore, the scope of the present invention should not be limited to the described embodiments and should be defined by the claims described below as well as the claims and equivalents.

C: 열화상 카메라
P-F3: 열화상 처리장치
G-F3, G-F4, G-F5: 스마트 안경
E-F4, E-F5: 전장 장치
M-F4, M-F5: 무선 단말기
EM-F6: 열화상 송수신장치C: thermal imaging camera
P-F3: Thermal image processing unit
G-F3, G-F4, G-F5: Smart Glasses
E-F4, E-F5: Battlefield Devices
M-F4, M-F5: wireless terminal
EM-F6: Thermal Image Transceiver

Claims (6)

차량용 나이트 비젼 시스템에 있어서,
전방의 피사체의 열화상을 찍을 수 있는 열화상 카메라(C);
상기 열화상 카메라(C)에 의해 획득된 열화상-RAW 열화상-을 수정할 수 있는 열화상 처리장치; 및
상기 열화상 처리장치로부터 수신한 열화상을 표시할 수 있는 표시부를 구비한 스마트 안경;을 포함하며,
상기 스마트 안경은 상기 열화상 처리장치로부터 열화상을 수신하여 표시하고,
상기 열화상 처리장치는, 상기 스마트 안경이 전방 중앙으로부터 어느 한쪽 방향을 향하는 경우, 상기 열화상 카메라(C)가 피사체 실상을 찍기 위해서 향하는 촬상 방향과 상기 스마트 안경이 향하는 방향의 차이를 고려하여 상기 스마트 안경이 향하는 방향의 반대쪽 방향에 상기 피사체가 표시되도록 상기 RAW 열화상을 수정하는 것인, 차량용 나이트 비젼 시스템.In the vehicle night vision system,
Thermal imaging camera (C) capable of taking a thermal image of the subject in front;
a thermal image processing device capable of correcting the thermal image-RAW thermal image acquired by the thermal imaging camera (C); and
and smart glasses having a display unit capable of displaying the thermal image received from the thermal image processing apparatus;
The smart glasses receive and display a thermal image from the thermal image processing device,
The thermal image processing apparatus, when the smart glasses face either direction from the center of the front, considers the difference between the imaging direction that the thermal imaging camera C faces to take a real image of the subject and the direction the smart glasses face A night vision system for a vehicle that corrects the RAW thermal image so that the subject is displayed in a direction opposite to the direction the smart glasses are facing. 제1항에 있어서,
상기 열화상 처리장치는, 화상수신부, 화상처리부, 화상송신부 및 각속도 수신부를 포함하여 구성된 것인, 차량용 나이트 비젼 시스템.According to claim 1,
The thermal image processing apparatus is configured to include an image receiving unit, an image processing unit, an image transmitting unit, and an angular velocity receiving unit, a vehicle night vision system. 제2항에 있어서,
상기 화상 처리부는 상기 각속도 수신부가 수신한 스마트 안경의 방향을 알 수 있는 정보와 상기 열화상 카메라의 촬상 방향을 고려하여 상기 RAW 열화상에 대하여 수정할지 여부를 판단하고 수정이 필요하면 열화상을 수정하는 것인, 차량용 나이트 비젼 시스템.3. The method of claim 2,
The image processing unit determines whether to correct the RAW thermal image in consideration of the direction of smart glasses received by the angular velocity receiver and the imaging direction of the thermal imager, and corrects the thermal image if necessary What to do is a night vision system for vehicles. 제3항에 있어서,
상기 열화상 처리장치는 차량에 설치되는 전장장치 또는 무선 단말기인 것인, 차량용 나이트 비젼 시스템.4. The method of claim 3,
The thermal image processing device will be an electric device or a wireless terminal installed in a vehicle, a night vision system for a vehicle. 스마트 안경에 있어서 열화상을 표시하는 방법에 있어서,
열화상 카메라(C)가 'RAW 열화상'을 획득하는 단계;
열화상 카메라(C)의 촬상 방향과 상기 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계;
열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있으면 상기 방향의 차이를 반영하여 'RAW 열화상'을 수정하여 'AMENDED 열화상'을 생성하는 단계; 및
'RAW 열화상' 또는 'AMENDED 열화상'을 표시하는 단계;를 포함하는 스마트 안경에 있어서 열화상을 표시하는 방법.A method for displaying a thermal image in smart glasses, the method comprising:
The thermal imaging camera (C) acquiring a 'RAW thermal image';
checking whether there is a difference between the imaging direction of the thermal imaging camera (C) and the direction in which the smart glasses face;
generating an 'AMENDED thermal image' by correcting the 'RAW thermal image' by reflecting the difference in the direction if there is a difference between the direction of the thermal imaging camera (C) and the direction of the smart glasses; and
Displaying a 'RAW thermal image' or an 'AMENDED thermal image'; a method for displaying a thermal image in smart glasses comprising a. 제5항에 있어서,
자이로 센서가 스마트 안경의 방향 정보를 획득하는 단계;를 더 포함하는 것인, 스마트 안경에 있어서 열화상을 표시하는 방법.6. The method of claim 5,
The method of displaying a thermal image in smart glasses further comprising; the gyro sensor acquiring direction information of the smart glasses.
KR1020200130906A 2020-10-12 2020-10-12 Vehicle night vision with thermal camera and smart glass KR102449942B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200130906A KR102449942B1 (en) 2020-10-12 2020-10-12 Vehicle night vision with thermal camera and smart glass

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200130906A KR102449942B1 (en) 2020-10-12 2020-10-12 Vehicle night vision with thermal camera and smart glass

Publications (2)

Publication Number Publication Date
KR20220048497A KR20220048497A (en) 2022-04-20
KR102449942B1 true KR102449942B1 (en) 2022-10-05

Family

ID=81402249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200130906A KR102449942B1 (en) 2020-10-12 2020-10-12 Vehicle night vision with thermal camera and smart glass

Country Status (1)

Country Link
KR (1) KR102449942B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526795B1 (en) 2014-03-19 2015-06-05 현대자동차주식회사 Smart glasses, system for displaying a blind spot of vehicle using the same, and method thereof
JP2015105072A (en) * 2013-12-02 2015-06-08 本田技研工業株式会社 Vehicular display system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101867915B1 (en) * 2015-01-16 2018-07-19 현대자동차주식회사 Method for executing vehicle function using wearable device and vehicle for carrying out the same
WO2018092934A1 (en) * 2016-11-17 2018-05-24 주식회사 토비스 Night vision system
KR102169885B1 (en) * 2016-12-13 2020-10-27 주식회사 토비스 Night vision system displaying thermal energy information and its control method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015105072A (en) * 2013-12-02 2015-06-08 本田技研工業株式会社 Vehicular display system
KR101526795B1 (en) 2014-03-19 2015-06-05 현대자동차주식회사 Smart glasses, system for displaying a blind spot of vehicle using the same, and method thereof

Also Published As

Publication number Publication date
KR20220048497A (en) 2022-04-20

Similar Documents

Publication Publication Date Title
CN111433067B (en) Head-up display device and display control method thereof
CN107615755B (en) Head-mounted display, head-up display and image display method
CN107533761B (en) Image processing apparatus and image processing system
US10703272B2 (en) Vehicle device, and non-transitory tangible computer readable medium
US9771083B2 (en) Cognitive displays
US10504237B2 (en) Method for determining a viewing direction of a person
US20200148112A1 (en) Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
JP2012170127A (en) Vehicle periphery monitoring apparatus and image display method
KR20130058277A (en) Lane image composite device and method for smart night view
JP2010143411A (en) Head-up display device
CN110194173B (en) Occupant monitoring device
WO2015129280A1 (en) Image processing device and image processing method
CN108621939B (en) Display system for vehicle and control method for display system for vehicle
WO2019176491A1 (en) Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, computer program, and storage medium
JP6439436B2 (en) Video processing apparatus and in-vehicle video processing system
KR102449942B1 (en) Vehicle night vision with thermal camera and smart glass
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
CN105323539A (en) Automotive safety system and operating method thereof
KR20220051078A (en) Vehicle night vision with thermal camera and smart glass
KR101526795B1 (en) Smart glasses, system for displaying a blind spot of vehicle using the same, and method thereof
JP2009006968A (en) Vehicular display device
CN115689920A (en) Auxiliary correction method, device and correction system for HUD imaging
KR101973300B1 (en) Vehicular image-display system
KR20180064894A (en) Head Mounted Display apparatus and system for a car
WO2015115103A1 (en) Image processing device, camera system, and image processing method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant