KR20220036214A - Vehicle window control system and method based on artificial intelligence - Google Patents

Abstract

차량의 윈도우 제어 시스템 및 방법이 개시된다. 차량의 윈도우 제어 시스템은 차량 윈도우로 구비된 스마트 윈도우의 투명도를 조정하는 윈도우 구동부; 미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 상응하는 제스처 인식 정보를 생성하는 제스처 인식부; 및 미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 제어부를 포함한다. A vehicle window control system and method are disclosed. The vehicle window control system includes a window driving unit that adjusts the transparency of smart windows provided as vehicle windows; A gesture recognition unit that recognizes the user's gesture from image information captured by the user using a previously machine-learned recognition model and generates gesture recognition information corresponding to the recognized gesture; and a control unit that controls the window driving unit to adjust the transparency of the smart window to a transparency specified to correspond to the gesture recognition information in pre-stored first control setting information.

Description

인공지능 기반의 차량 윈도우 제어 시스템 및 방법{Vehicle window control system and method based on artificial intelligence}Vehicle window control system and method based on artificial intelligence {Vehicle window control system and method based on artificial intelligence}

본 발명은 인공지능 기반의 차량 윈도우 제어 시스템 및 방법에 관한 것이다. The present invention relates to an artificial intelligence-based vehicle window control system and method.

승객을 목적지로 이동시키는 교통수단의 하나로 차량을 들 수 있으며, 차량은 사용되는 원동기의 종류에 따라 내연기관(internal combustion engine) 자동차, 외연기관(external combustion engine) 자동차, 가스터빈(gas turbine) 자동차 또는 전기자동차(electric vehicle) 등으로 다양하다. Vehicles are one of the means of transportation that transport passengers to their destinations. Depending on the type of motor used, vehicles can be classified as internal combustion engine vehicles, external combustion engine vehicles, or gas turbine vehicles. or electric vehicles, etc.

또한, 최근에는 차량 주변을 인식할 수 있는 다양한 센서가 구비되어, 운전자가 차량을 조작하지 않아도 스스로 움직일 수 있는 자율주행차량(autonomous vehicle)도 다양하게 개발되고 있다. In addition, recently, various sensors that can recognize the vehicle's surroundings have been equipped, and a variety of autonomous vehicles that can move on their own without the driver operating the vehicle are being developed.

차량의 승객은 목적지까지 편리하게 이동하는 장점이 있으며, 이를 위해 차량의 운전자는 주행 중 차량의 전방 및 후방 등의 차량 주변 상황을 주의 깊게 주시하여야 한다. 여기서, 차량 주변 상황은 차량 주위에 접근하거나 위치한 물체(예를 들어, 사람, 차량 및 장애물 등)의 주행 방해 요소를 포함할 수 있다.Passengers of a vehicle have the advantage of conveniently moving to their destination, and for this purpose, the driver of the vehicle must carefully observe the surroundings of the vehicle, such as the front and rear of the vehicle, while driving. Here, the situation around the vehicle may include elements that impede driving of objects (eg, people, vehicles, obstacles, etc.) that approach or are located around the vehicle.

운전자는 직사광선 등으로 인한 눈부심을 억제하여 쾌적한 운전 환경을 확보하기 위해, 햇빛가리개 등으로 차량 윈도우의 일부 영역을 가리거나 운전중에 선글라스를 착용하는 동작을 빈번하게 취하고 있다. Drivers frequently cover some areas of vehicle windows with sunshades or wear sunglasses while driving to ensure a comfortable driving environment by suppressing glare caused by direct sunlight.

그러나, 운전중에 차량 윈도우의 일부 영역을 가리거나 선글라스를 착용하는 행위는 짧은 시간 동안의 행위일지라도 차량 주변 상황에 대해 주의를 기울이지 못하여 위험한 상황을 야기시키는 원인이 될 수 있다. However, covering some areas of the vehicle window or wearing sunglasses while driving, even if it is only for a short period of time, may cause a person to be unable to pay attention to the situation around the vehicle and cause a dangerous situation.

한국공개특허 제2019-0104009호(2019.09.05 공개)Korean Patent Publication No. 2019-0104009 (published on 2019.09.05)

본 발명은 운전자의 제스처나 차량 외부 환경에 부합하여 차량 윈도우의 투명도를 조절함으로써, 쾌적한 운전 환경이 확보되어 안전 운전을 유도할 수 있도록 하는 인공지능 기반의 차량 윈도우 제어 시스템 및 방법을 제공하기 위한 것이다. The present invention is intended to provide an artificial intelligence-based vehicle window control system and method that ensures a pleasant driving environment and induces safe driving by adjusting the transparency of the vehicle window according to the driver's gestures or the vehicle's external environment. .

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention may be easily understood through the following description.

본 발명의 일 측면에 따르면, 차량 윈도우로 구비된 스마트 윈도우의 투명도를 조정하는 윈도우 구동부; 미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 상응하는 제스처 인식 정보를 생성하는 제스처 인식부; 및 미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 제어부를 포함하는 차량의 윈도우 제어 시스템이 제공된다. According to one aspect of the present invention, a window driving unit that adjusts the transparency of a smart window provided as a vehicle window; A gesture recognition unit that recognizes the user's gesture from image information captured by the user using a previously machine-learned recognition model and generates gesture recognition information corresponding to the recognized gesture; and a control unit that controls the window driving unit to adjust the transparency of the smart window to a transparency specified to correspond to the gesture recognition information in pre-stored first control setting information.

차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보가 각각 입력되면, 상기 제어부는 미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하고, 임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어할 수 있다.When sensing information is input from a plurality of sensors provided in the vehicle to generate environmental information about one or more of the inside and outside of the vehicle, the control unit determines whether there is sensing information that satisfies a predetermined threshold condition for each sensor and , the window driver may be controlled to adjust the transparency of the smart window to the transparency specified in the second control setting information pre-stored for the sensor that satisfies the threshold condition.

상기 차량의 윈도우 제어 시스템은, 상기 복수의 센서는 거리 감지 센서, 소리 감지 센서, 우설 감지 센서 및 조도 센서를 포함할 수 있다. 여기서, 상기 거리 감지 센서의 임계 조건은 주변 차량과의 거리 감소율 및 근접 한계값 중 하나 이상으로 미리 지정되고, 상기 소리 감지 센서의 임계 조건은 소리의 크기값으로 미리 지정되며, 상기 우설 감지 센서의 임계 조건은 비나 눈이 내리는 상황 및 우설량 중 하나 이상으로 미리 지정되고, 상기 조도 센서의 임계 조건은 직사광선이 운전자에게 직접 비추는 상황으로 미리 지정될 수 있다.In the vehicle window control system, the plurality of sensors may include a distance detection sensor, a sound detection sensor, a snow detection sensor, and an illumination sensor. Here, the threshold condition of the distance detection sensor is pre-specified as one or more of the distance reduction rate and proximity limit value to surrounding vehicles, the threshold condition of the sound detection sensor is pre-specified as a sound volume value, and the The critical condition may be pre-designated as one or more of rain or snow and snowfall, and the critical condition of the illuminance sensor may be pre-designated as a situation where direct sunlight shines directly on the driver.

상기 소리 감지 센서는 차량의 진행 방향에 한정하여 소리를 감지하도록 지향성 마이크를 포함할 수 있다.The sound detection sensor may include a directional microphone to detect sound limited to the direction in which the vehicle is traveling.

상기 차량의 윈도우 제어 시스템은, 차량의 위치 정보를 생성하는 GPS부를 더 포함할 수 있다. 여기서, 상기 제2 제어 설정 정보에는 센서별 임계 조건이 만족된 경우 조정되어야 하는 스마트 윈도우의 투명도가 차량의 이동 속도 기준으로 규정될 수 있다. 또한, 상기 제어부는 상기 GPS부에서 생성된 위치 정보의 변화에 기초하여 산출된 차량의 이동 속도에 상응하도록 상기 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어할 수 있다. The vehicle window control system may further include a GPS unit that generates location information of the vehicle. Here, in the second control setting information, the transparency of the smart window to be adjusted when the threshold condition for each sensor is satisfied may be defined based on the vehicle's moving speed. In addition, the control unit controls the window driver to adjust the transparency of the smart window to the transparency specified in the second control setting information to correspond to the moving speed of the vehicle calculated based on the change in location information generated by the GPS unit. You can control it.

상기 제1 제어 설정 정보는 투명도가 조정될 스마트 윈도우를 선택하기 위한 제어 대상 선택 정보로 인식되는 제스처, 스마트 윈도우의 투명도를 조정하기 위한 투명도 조정 정보로 인식되는 제스처, 상기 투명도 조정 정보에 해당하는 각 제스처에 상응하여 조정될 스마트 윈도우의 투명도에 대한 정보를 포함할 수 있다. 이때, 상기 제어 대상 선택 정보로 인식되는 제스처가 선행하여 인식되면, 상기 제어부는 상기 제어 대상 선택 정보로 인식되는 제스처에 따른 스마트 윈도우에 대해 개별적으로 투명도가 조정되도록 상기 윈도우 구동부를 제어할 수 있다.The first control setting information includes a gesture recognized as control object selection information for selecting a smart window whose transparency is to be adjusted, a gesture recognized as transparency adjustment information for adjusting the transparency of the smart window, and each gesture corresponding to the transparency adjustment information. It may include information about the transparency of the smart window to be adjusted accordingly. At this time, if the gesture recognized as the control object selection information is recognized first, the controller may control the window driving unit to individually adjust transparency for the smart window according to the gesture recognized as the control object selection information.

상기 제스처 인식부는, 스테레오 구조의 카메라부에서 생성된 상기 사용자에 대한 스테레오 영상 정보에서 제스처 인식을 위한 대상 객체의 깊이 정보와 색 정보를 이용하여 상기 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 상기 인식 모델을 이용하여 제스처 이진 영상에 상응하는 제스처를 인식함으로써 상기 제스처 인식 정보를 생성하도록 미리 설정될 수 있다. The gesture recognition unit detects the outline of the target object as a gesture binary image using depth information and color information of the target object for gesture recognition in the stereo image information about the user generated by the camera unit of the stereo structure, It may be preset to generate the gesture recognition information by recognizing the gesture corresponding to the gesture binary image using a recognition model.

본 발명의 다른 측면에 따르면, 차량의 윈도우 제어 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 제스처 인식 정보를 생성하는 단계; 미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 차량 윈도우로 구비된 스마트 윈도우의 투명도가 조정되도록 제어하는 단계; 차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보를 각각 입력받는 단계; 미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하는 단계; 및 임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 제어하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다. According to another aspect of the present invention, there is a computer program stored in a computer-readable medium for performing a method of controlling a window of a vehicle, wherein the computer program causes the computer to perform the following steps, wherein the steps are performed by a machine in advance. Using the learned recognition model, recognizing the user's gesture from image information captured by the user and generating gesture recognition information; Controlling the transparency of a smart window provided as a vehicle window to be adjusted to a transparency specified to correspond to the gesture recognition information in pre-stored first control setting information; Receiving sensing information from a plurality of sensors provided in the vehicle to generate environmental information about one or more of the inside and outside of the vehicle; Determining whether sensing information that satisfies a pre-specified threshold condition for each sensor exists; and controlling the transparency of the smart window to be adjusted to the transparency specified in second control setting information pre-stored for sensors that satisfy a threshold condition. A computer program stored in a computer-readable medium is provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명의 실시예에 따르면, 운전자의 제스처나 차량 외부 환경에 부합하도록 차량 윈도우의 투명도가 조절됨으로써, 쾌적한 운전 환경이 확보되어 운전자의 부주의로 인한 사고 발생이 미연에 방지되는 효과가 있다.According to an embodiment of the present invention, the transparency of the vehicle window is adjusted to match the driver's gestures or the vehicle's external environment, thereby ensuring a pleasant driving environment and preventing accidents due to the driver's carelessness in advance.

도 1은 본 발명의 일 실시예에 따른 차량의 윈도우 제어 시스템의 블록 구성도.
도 2 및 도 3은 본 발명의 일 실시예에 따른 운전자의 제스처에 따른 차량의 윈도우 제어 상태를 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도.
도 5는 본 발명의 다른 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도.1 is a block diagram of a vehicle window control system according to an embodiment of the present invention.
2 and 3 are diagrams for explaining a vehicle window control state according to a driver's gesture according to an embodiment of the present invention.
Figure 4 is a flowchart showing a method for controlling windows of a vehicle according to an embodiment of the present invention.
Figure 5 is a flowchart showing a method of controlling windows of a vehicle according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this specification are merely used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that it does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 예를 들어 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “… unit,” “… unit,” “… module,” and “… unit” used in the specification refer to a unit that processes at least one function or operation, such as hardware, software, or It can be implemented through a combination of hardware and software.

도 1은 본 발명의 일 실시예에 따른 차량의 윈도우 제어 시스템의 블록 구성도이고, 도 2 및 도 3은 본 발명의 일 실시예에 따른 운전자의 제스처에 따른 차량의 윈도우 제어 상태를 설명하기 위한 도면이다.1 is a block diagram of a vehicle window control system according to an embodiment of the present invention, and FIGS. 2 and 3 are diagrams for explaining the vehicle window control state according to the driver's gesture according to an embodiment of the present invention. It is a drawing.

도 1을 참조하면, 차량의 윈도우 제어 시스템(100)는 카메라부(101), 센서부(103), 제스처 인식부(105), GPS부(107), 저장부(109), 윈도우 구동부(111) 및 제어부(113)를 포함할 수 있다. Referring to FIG. 1, the vehicle window control system 100 includes a camera unit 101, a sensor unit 103, a gesture recognition unit 105, a GPS unit 107, a storage unit 109, and a window driver 111. ) and a control unit 113.

카메라부(101)는 운전자의 얼굴을 포함하는 신체 영역의 영상 정보를 생성한다. The camera unit 101 generates image information of a body area including the driver's face.

카메라부(101)는 예를 들어 차량 내부의 전면(예를 들어, 대시보드, 룸미러 등)에 설치될 수 있다. 또한, 카메라부(101)는 영상 정보에서 피사체 및 피사체의 각 영역에 대한 깊이 정보가 해석될 수 있도록 스테레오 카메라 구성을 가질 수도 있다. The camera unit 101 may be installed, for example, on the front inside the vehicle (eg, dashboard, rear-view mirror, etc.). Additionally, the camera unit 101 may have a stereo camera configuration so that depth information about the subject and each area of the subject can be interpreted from image information.

센서부(103)는 하나 이상의 센서를 포함하며, 차량 내부 및/또는 외부의 환경 정보를 센싱한다. The sensor unit 103 includes one or more sensors and senses environmental information inside and/or outside the vehicle.

예를 들어, 센서부(103)는 차량 주변의 물체와의 거리를 감지하기 위한 거리 감지 센서, 차량 주변에서 발생된 소리를 감지하기 위한 소리 감지 센서, 비나 눈이 내리는 것을 감지하는 우설 감지 센서, 차량 주변의 조도와 직사광선이 운전자 측에 직접 도달되는지를 감지하는 조도 센서 등을 포함할 수 있다. 센서부(103)에 포함된 각 센서는 동작 특성에 따라 차량 내부나 외부 등 적절한 위치에 설치될 수 있다. For example, the sensor unit 103 includes a distance detection sensor for detecting the distance to objects around the vehicle, a sound detection sensor for detecting sounds generated around the vehicle, a snow detection sensor for detecting rain or snow falling, It may include an illuminance sensor that detects the illuminance around the vehicle and whether direct sunlight reaches the driver's side. Each sensor included in the sensor unit 103 may be installed in an appropriate location, such as inside or outside the vehicle, depending on its operating characteristics.

제스처 인식부(105)는 미리 기계 학습된 인식 모델을 이용하여 카메라부(101)에 의해 운전자가 촬영된 영상 정보에 상응하는 운전자의 제스처 인식 정보를 생성한다. 여기서, 제스처는 운전자의 몸짓, 손짓, 표정 및 이들의 조합을 포함할 수 있다. The gesture recognition unit 105 uses a previously machine-learned recognition model to generate driver's gesture recognition information corresponding to image information captured by the driver by the camera unit 101. Here, the gesture may include the driver's gestures, hand gestures, facial expressions, and combinations thereof.

인식 모델은 영상 정보를 해석하여 제스처를 인식하는 인식 모델은, 예를 들어 완전 합성곱 신경망(Fully Convolutional Neural network), 합성곱 신경망(Convolutional Neural Network), 순환 신경망(Recurrent Neural Network), 제한 볼츠만 머신(Restricted Boltzmann Machine), 심층 신뢰 신경망(Deep Belief neural Network) 등 중 하나 이상의 딥러닝 기반의 모델로 생성될 수 있다. 물론, 딥러닝 기법 이외의 머신 러닝 기법으로 구현되거나, 딥러닝 기법과 머신 러닝 기법이 결합된 하이브리드 형태의 모델로 생성될 수도 있다.Recognition models that interpret image information to recognize gestures include, for example, Fully Convolutional Neural Network, Convolutional Neural Network, Recurrent Neural Network, and Limited Boltzmann Machine. It can be created as one or more deep learning-based models, such as (Restricted Boltzmann Machine) or Deep Belief neural Network. Of course, it can be implemented with machine learning techniques other than deep learning techniques, or it can be created as a hybrid model that combines deep learning techniques and machine learning techniques.

제스처 인식부(105)는, 예를 들어 카메라부(101)에서 생성된 피사체에 대한 스테레오 영상 정보에서 제스처 인식을 위한 대상 객체(예를 들어, 얼굴, 눈, 코, 입, 손, 머리, 어깨 등)에 대한 깊이 정보와 색 정보를 이용하여 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 미리 기계 학습된 인식 모델을 이용하여 제스처 이진 영상에 상응하는 특정의 제스처를 인식함으로써, 이에 관한 제스처 인식 정보를 생성할 수 있다. 이때, 제스처 인식부(105)는 예를 들어, 손을 흔드는 동작 등과 같은 제스처를 인식하기 위해, 연속하여 촬영된 복수의 영상 정보를 이용할 수도 있음은 당연하다. For example, the gesture recognition unit 105 may select a target object (e.g., face, eyes, nose, mouth, hand, head, shoulder) for gesture recognition in the stereo image information about the subject generated by the camera unit 101. etc.) by detecting the outline of the target object as a gesture binary image using depth information and color information, and using a pre-machine-learned recognition model to recognize a specific gesture corresponding to the gesture binary image, thereby recognizing the corresponding gesture. Information can be generated. At this time, it is natural that the gesture recognition unit 105 may use a plurality of image information captured in succession to recognize a gesture, such as a hand waving motion, for example.

인식 모델을 학습하는 방법은 예를 들어, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등으로 다양할 수 있다. Methods for learning a recognition model can vary, for example, supervised learning, unsupervised learning, reinforcement learning, etc.

또한, 인식 모델은 특정의 제스처를 나타내는 영상 정보와 해당 제스처의 의미가 정리된 복수의 학습 데이터를 이용하여 미리 학습될 수 있다. 인식 모델의 학습을 위한 학습 데이터는 윈도우 제어 시스템(100)의 저장부(109)에 미리 저장될 수 있다. Additionally, the recognition model can be learned in advance using image information representing a specific gesture and a plurality of learning data that organizes the meaning of the corresponding gesture. Learning data for learning the recognition model may be stored in advance in the storage unit 109 of the window control system 100.

또한, 윈도우 제어 시스템(100)이 통신부(도시되지 않음)를 구비하는 경우, 수집부(도시되지 않음)가 인터넷 등의 통신망을 이용하여 외부 저장소(예를 들어, 학습 데이터나 학습용으로 활용할 수 있는 이미지가 저장된 웹사이트 등)에 접속하여, 인식 모델이 제스처 인식에 관한 기계 학습을 실시하기 위한 학습 데이터를 수집하여 저장부(109)에 저장할 수도 있다. In addition, when the window control system 100 is equipped with a communication unit (not shown), the collection unit (not shown) uses a communication network such as the Internet to store external storage (e.g., learning data or data that can be used for learning). By accessing a website (where images are stored, etc.), the recognition model may collect learning data to perform machine learning on gesture recognition and store it in the storage unit 109.

GPS부(107)는 윈도우 제어 시스템(100)이 구비된 차량의 위치 정보를 생성한다. The GPS unit 107 generates location information of a vehicle equipped with the window control system 100.

GPS부(107)는 예를 들어 3차원 위치 좌표를 생성하는 GPS 모듈을 구비할 수도 있다. GPS부(107)는 차량의 주행 경로를 지도로 표시하는 네비게이션 장치(도시되지 않음)로 구현될 수도 있다. The GPS unit 107 may include, for example, a GPS module that generates 3D location coordinates. The GPS unit 107 may be implemented as a navigation device (not shown) that displays the vehicle's driving route on a map.

저장부(109)에는 인식된 운전자의 제스처에 따라 스마트 윈도우(130)의 투명도(즉, 투과율)를 조정하기 위한 제1 제어 설정 정보, 차량 외부의 환경 상황에 따라 스마트 윈도우(130)의 투명도를 조정하기 위한 제2 제어 설정 정보가 저장될 수 있다. The storage unit 109 contains first control setting information for adjusting the transparency (i.e., transmittance) of the smart window 130 according to the recognized driver's gesture, and the transparency of the smart window 130 according to the environmental conditions outside the vehicle. Second control setting information for adjustment may be stored.

예를 들어, 제1 제어 설정 정보는 운전자가 어떤 제스처를 했을 때 어느 수준으로 스마트 윈도우(130)의 투명도가 조정되도록 할 것인지에 관한 설정 정보로서, 제스처에 따라 조정될 투명도(예를 들어, 전압값 등)가 미리 지정될 수 있다. For example, the first control setting information is setting information regarding the level to which the transparency of the smart window 130 will be adjusted when the driver makes a certain gesture, and the transparency to be adjusted according to the gesture (e.g., voltage value, etc. ) can be specified in advance.

제1 제어 설정 정보는 인식 가능한 제스처 및 제스처별 투명도가 기본 설정 정보로 미리 지정되거나, 운전자에 의해 설정되거나 변경될 수 있을 것이다. As for the first control setting information, recognizeable gestures and transparency for each gesture may be pre-set as basic setting information, or may be set or changed by the driver.

예를 들어, 운전자는 부채질하듯이 손을 흔드는 제스처를 취한 경우, 스마트 윈도우(130)의 투명도가 현재 상태로부터 역방향으로 전환(예를 들어, 현재 상태가 투명율이 낮은 상태라면 높은 상태로 전환)되도록 제1 제어 설정 정보를 설정할 수 있을 것이다. For example, when the driver makes a gesture of waving his hand as if fanning a fan, the transparency of the smart window 130 switches in the reverse direction from the current state (for example, if the current state is a low transparency state, it switches to a high state). The first control setting information may be set as much as possible.

제2 제어 설정 정보는 외부 환경 상황(예를 들어, 직사광선이 운전자에게 비추는 상황, 차량 주변에서 충돌 사고가 발생된 상황 등)에 따라 스마트 윈도우(130)의 투명도가 조정되도록 하는 설정 정보이다. The second control setting information is setting information that allows the transparency of the smart window 130 to be adjusted according to external environmental conditions (for example, a situation where direct sunlight is shining on the driver, a situation where a collision accident occurs around the vehicle, etc.).

전술한 제1 제어 설정 정보는 운전자의 적극적인 행위에 의해 스마트 윈도우(130)의 투명도가 조정되도록 하는 것인 반면, 제2 제어 설정 정보는 운전자의 개입 없이도 차량의 외부 환경 상황에 부합하여 스마트 윈도우(130)의 투명도가 조정되도록 하는 것이다. While the above-mentioned first control setting information allows the transparency of the smart window 130 to be adjusted by the driver's active actions, the second control setting information matches the external environmental conditions of the vehicle without the driver's intervention and smart window ( 130) to adjust the transparency.

센서부(103)에 포함된 각 센서별 임계 조건은 미리 설정되어 저장부(109)에 저장될 수 있으며, 각 센서별 임계 조건을 만족하는지 여부에 따라 스마트 윈도우(130)의 투명도 조절을 위한 제어 동작(예를 들어, 직사광선이 비추는 경우 스마트 윈도우(130)의 투명도를 낮게 조정 등)이 제2 제어 설정 정보에 미리 규정될 수 있다. The threshold conditions for each sensor included in the sensor unit 103 can be set in advance and stored in the storage unit 109, and control to adjust the transparency of the smart window 130 depending on whether the threshold conditions for each sensor are satisfied. An operation (for example, adjusting the transparency of the smart window 130 to low when direct sunlight is shining, etc.) may be predefined in the second control setting information.

윈도우 구동부(111)는 제어부(113)의 제어에 따라 스마트 윈도우(130)의 투명도를 조정한다. The window driver 111 adjusts the transparency of the smart window 130 according to the control of the control unit 113.

본 실시예에서 차량의 윈도우를 이루는 스마트 윈도우(130)는 전기적 자극에 의해 투명도가 조정되는 능동형 스마트 윈도우(active smart window)일 수 있다. In this embodiment, the smart window 130 that forms the window of the vehicle may be an active smart window whose transparency is adjusted by electrical stimulation.

스마트 윈도우(130)는 예를 들어, 고분자 분산형 액정 기술(Polymer Dispersed Liquid Crystal, PDLC)이 적용될 수 있으며, 고분자 매트릭스 내에 고르게 분산된 마이크론 크기의 액정 입자들이 외부 전압에 의해 나열 방향이 변경되어 투명도가 조절되는 구조를 가질 수 있다. 이외에도, 스마트 윈도우(130)가 인가되는 전압에 따라 투명도가 조정되도록 하는 구조는 다양할 수 있다. For example, the smart window 130 may use polymer dispersed liquid crystal (PDLC) technology, in which micron-sized liquid crystal particles evenly dispersed within a polymer matrix change their alignment direction by an external voltage to increase transparency. may have a structure in which is controlled. In addition, the structure that allows the smart window 130 to adjust transparency according to the applied voltage may vary.

스마트 윈도우(130)는 전술한 동작을 위해 미리 지정된 차량 윈도우의 두께를 가지도록 제작될 수도 있으나, 전술한 동작을 수행하도록 필름이 기존의 차량 윈도우의 표면에 부착된 것일 수도 있다. The smart window 130 may be manufactured to have a predetermined thickness of a vehicle window for the above-described operation, but a film may be attached to the surface of an existing vehicle window to perform the above-described operation.

제어부(113)는 카메라부(101)에 의해 생성된 영상 정보에 대한 제스처 인식부(105)의 제스처 인식 정보와 저장부(109)에 미리 저장된 제1 제어 설정 정보를 이용하여, 제스처 인식 정보에 상응하도록 제1 제어 설정 정보에 지정된 투명도로 스마트 윈도우(130)가 조정되도록 윈도우 구동부(111)의 동작을 제어한다. The control unit 113 uses the gesture recognition information of the gesture recognition unit 105 for the image information generated by the camera unit 101 and the first control setting information pre-stored in the storage unit 109 to provide gesture recognition information. The operation of the window driver 111 is controlled so that the smart window 130 is adjusted to the transparency specified in the first control setting information accordingly.

예를 들어, 도 2에 예시된 바와 같이, 운전자가 편 손가락의 수에 따라 투명도가 상이하게 조정되도록 제1 제어 설정 정보에 미리 규정될 수 있다. 이 경우, 촬영된 영상 정보를 해석하여 운전자가 하나의 손가락만 편 제스처를 취한 것으로 제스처 인식 정보가 생성되면, 제어부(113)는 제1 제어 설정 정보에 따라 차량의 스마트 윈도우(130)가 상대적으로 높은 투명도로 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다. 이와 달리, 운전자가 두개 또는 세개의 손가락을 편 제스처를 취한 것으로 제스처 인식 정보가 생성되면, 제어부(113)는 제1 제어 설정 정보에서 각각 규정된 바에 따라 차량의 스마트 윈도우(130)가 상대적으로 낮은 투명도로 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다.For example, as illustrated in FIG. 2, it may be predefined in the first control setting information so that transparency is adjusted differently depending on the number of fingers held by the driver. In this case, when gesture recognition information is generated by analyzing the captured image information and indicating that the driver made a gesture with only one finger extended, the control unit 113 determines whether the smart window 130 of the vehicle is relatively set according to the first control setting information. The operation of the window driver 111 can be controlled to adjust to high transparency. On the other hand, when gesture recognition information is generated as a result of the driver making a gesture with two or three fingers extended, the control unit 113 sets the smart window 130 of the vehicle to a relatively low level as defined in the first control setting information. The operation of the window driver 111 can be controlled to adjust transparency.

또한, 차량에 구비된 복수의 차량 윈도우가 각 차량 윈도우별로 독립하여 투명도가 조정될 수 있도록 구성된 경우, 제1 제어 설정 정보에는 특정의 제스처는 특정의 차량 윈도우를 선택하기 위한 제어 대상 선택 정보로 인식하도록 미리 설정될 수 있다. 예를 들어, 임의의 방향으로 손가락을 향하는 제스처는, 손가락이 향하는 방향의 차량 윈도우를 선택하는 제어 대상 선택 정보로 인식하도록 설정될 수 있다. In addition, when a plurality of vehicle windows provided in a vehicle are configured so that transparency can be adjusted independently for each vehicle window, the first control setting information includes recognition of a specific gesture as control target selection information for selecting a specific vehicle window. Can be preset. For example, a gesture pointing a finger in a random direction can be set to be recognized as control object selection information for selecting a vehicle window in the direction the finger is pointing.

이 경우, 도 3에 예시된 바와 같이, 제스처 인식 정보에 의해 펴진 손가락이 전방을 향하는 제스처로 인식된 경우, 제어부(113)는 전방에 위치한 윈도우를 제어 대상으로 선택한 것으로 인식할 수 있다. 마찬가지로, 펴진 손가락이 좌측, 우측 또는 후방을 향하는 것으로 제스처 인식 정보에 의해 인식되면, 제어부(113)는 펴진 손가락이 향하는 방향의 윈도우가 제어 대상으로 선택된 것으로 인식할 수 있을 것이다. In this case, as illustrated in FIG. 3, when an extended finger is recognized as a forward-facing gesture based on gesture recognition information, the control unit 113 may recognize that a window located in front has been selected as the control target. Likewise, if the gesture recognition information recognizes that the spread finger is facing left, right, or backward, the control unit 113 may recognize that the window in the direction that the spread finger faces is selected as the control target.

이와 같이 하나 이상의 차량 윈도우를 제어 대상으로 선택한 후, 운전자가 도 2에 예시된 바와 같은 제스처를 취하는 것으로 인식되면, 제어부(113)는 운전자의 제스처에 상응하여 제어 대상으로 선택된 차량 윈도우에 대한 투명도가 개별적으로 조정되도록 제어할 수 있다. In this way, after selecting one or more vehicle windows as the control target, if the driver is recognized as making a gesture as illustrated in FIG. 2, the control unit 113 adjusts the transparency of the vehicle window selected as the control target corresponding to the driver's gesture. It can be controlled to be adjusted individually.

이와 같이, 제1 제어 설정 정보에서, 어떤 제스처는 제어 대상 선택 정보로 인식되어야 하고, 어떤 제스처는 스마트 윈도우(130)의 투명도를 미리 지정된 수준으로 조정하도록 하는 투명도 조정 정보로 인식되도록 하는지, 각 제스처별로 개별 지정될 수 있다. In this way, in the first control setting information, which gesture should be recognized as control target selection information and which gesture should be recognized as transparency adjustment information for adjusting the transparency of the smart window 130 to a predetermined level, each gesture Each can be individually designated.

또한, 제어부(113)는 센서부(103)에서 제공되는 각 센서의 센싱 정보가 센서별로 미리 지정된 임계 조건을 만족하는지를 판단하고, 임의의 센서에 대한 임계 조건이 만족되면 해당 상황에 대해 제2 제어 설정 정보에서 지정된 투명도로 스마트 윈도우(130)가 조정되도록 윈도우 구동부(111)의 동작을 제어한다.In addition, the control unit 113 determines whether the sensing information of each sensor provided by the sensor unit 103 satisfies a predetermined threshold condition for each sensor, and if the threshold condition for any sensor is satisfied, performs a second control for the corresponding situation. The operation of the window driver 111 is controlled so that the smart window 130 is adjusted to the transparency specified in the setting information.

예를 들어, 주변 차량과의 충돌 위험이 존재하는 경우로서, 센싱 정보를 참조하여 주변 차량과의 거리 감소율이 미리 지정된 거리 감소율보다 크거나, 이격 간격이 미리 지정된 근접 한계값보다 작은 것으로 인식되면, 제어부(113)는 현재 스마트 윈도우(130)의 투명도가 미리 지정된 기준 투명도보다 낮게(즉, 어둡게) 조정되어 있다면, 스마트 윈도우(130)의 투명도가 기준 투명도로 조정(즉, 기준값만큼 밝게 조정)되도록 윈도우 구동부(111)의 동작을 제어할 수 있다. 이를 통해, 운전자는 주변 상황에 보다 효과적으로 대처할 수 있을 것이다. For example, in the case where there is a risk of collision with a surrounding vehicle, if the distance reduction rate to the surrounding vehicle is recognized as being greater than the pre-specified distance reduction rate or the separation distance is recognized as being less than the pre-specified proximity limit value by referring to the sensing information, If the current transparency of the smart window 130 is adjusted to be lower (i.e., darker) than the pre-specified reference transparency, the control unit 113 adjusts the transparency of the smart window 130 to the reference transparency (i.e., adjusted to be as bright as the reference value). The operation of the window driver 111 can be controlled. Through this, drivers will be able to more effectively cope with surrounding situations.

또는, 차량의 주변에서 사고 발생 가능성이 존재하는 경우로서, 센싱 정보를 참조하여 차량의 주변에서 미리 지정된 크기 이상의 소리(예를 들어, 주변에서 발생된 급브레이크 소리, 차량간 충돌 소리 등)가 발생된 것으로 인식되면, 제어부(113)는 현재 스마트 윈도우(130)의 투명도가 기준 투명도보다 낮게 조정되어 있다면, 스마트 윈도우(130)의 투명도가 기준 투명도로 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다. Or, in cases where there is a possibility of an accident occurring around the vehicle, a sound (e.g., sound of sudden braking, collision between vehicles, etc.) occurring in the vicinity of the vehicle is generated in the vicinity of the vehicle by referring to the sensing information. If it is recognized that the current transparency of the smart window 130 is lower than the standard transparency, the control unit 113 controls the operation of the window driver 111 so that the transparency of the smart window 130 is adjusted to the standard transparency. You can.

다만 여기서, 차량의 주변에서 미리 지정된 크기 이상의 소리가 발생하더라도 차량의 진행 방향과는 무관한 경우에 스마트 윈도우(130)의 투명도를 조정하면 오히려 운전자에게 혼동을 야기할 수도 있다. 이를 방지하기 위해 센서부(103)는 차량의 진행 방향에 상응하는 소리만을 감지할 수 있도록 지향성 마이크를 포함하는 소리 감지 센서를 포함할 수 있다. However, here, even if a sound of a predetermined size or greater occurs around the vehicle and is unrelated to the direction of travel of the vehicle, adjusting the transparency of the smart window 130 may cause confusion to the driver. To prevent this, the sensor unit 103 may include a sound detection sensor including a directional microphone to detect only sounds corresponding to the direction of travel of the vehicle.

또는, 자연 환경에 부합하여 운전자의 안전 운전을 도모하기 위해, 센싱 정보를 참조하여 비나 눈이 내리거나 운전자를 향해 직사광선이 비추는 것으로 인식되면, 제어부(113)는 각각 미리 지정된 기준 투명도로 스마트 윈도우(130)의 투명도가 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다. Alternatively, in order to promote the driver's safe driving in accordance with the natural environment, if it is recognized that rain or snow is falling or direct sunlight is shining toward the driver by referring to the sensing information, the control unit 113 opens the smart window (each with a pre-specified reference transparency) The operation of the window driver 111 can be controlled so that the transparency of the window 130 is adjusted.

전술한 바와 같이, 제어부(113)는 센싱 정보, 센서별 임계 조건 및 제2 제어 설정 정보를 참조하여 스마트 윈도우(130)의 투명도 조정을 제어할 수 있다. As described above, the control unit 113 may control transparency adjustment of the smart window 130 by referring to sensing information, threshold conditions for each sensor, and second control setting information.

이때, GPS부(107)에서 생성된 위치 정보의 변화에 기초한 차량의 이동 속도를 더 고려할 수 있으며, 운전자에게 쾌적한 운전 환경을 제공하기 위해 특정 센서의 임계 조건이 동일하게 만족된 경우에도 차량의 이동 속도에 따라 상이한 투명도가 적용되도록 제2 제어 설정 정보에 미리 규정될 수 있음은 당연하다. At this time, the vehicle's movement speed based on changes in location information generated by the GPS unit 107 can be further considered, and in order to provide a comfortable driving environment to the driver, the vehicle's movement is maintained even when the critical conditions of specific sensors are equally satisfied. It goes without saying that the second control setting information can be predefined so that different transparency is applied depending on the speed.

도 4는 본 발명의 일 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도이다.Figure 4 is a flowchart showing a method of controlling windows of a vehicle according to an embodiment of the present invention.

도 4를 참조하면, 윈도우 제어 시스템(100)의 제스처 인식부(105)는 단계 410에서 저장부(109)에 미리 저장되거나 통신망을 통해 수집한 학습 데이터를 이용하여 운전자의 제스처 인식을 위한 인식 모델을 기계학습 처리한다. Referring to FIG. 4, in step 410, the gesture recognition unit 105 of the window control system 100 uses learning data pre-stored in the storage unit 109 or collected through a communication network to create a recognition model for recognizing the driver's gesture. is processed through machine learning.

단계 420에서, 윈도우 제어 시스템(100)의 카메라부(101)는 운전석에 위치한 운전자의 모습을 촬영하여 영상 정보를 생성한다. In step 420, the camera unit 101 of the window control system 100 captures the image of the driver located in the driver's seat and generates image information.

물론, 촬영된 영상 정보에서 제스처를 인식하여 스마트 윈도우(130)의 투명도를 조정함에 있어, 피사체의 위치가 운전석의 운전자로 제한되지는 않으며, 이에 부합하는 영역에 대한 영상 정보를 카메라부(101)는 생성할 수 있을 것이다. Of course, in adjusting the transparency of the smart window 130 by recognizing a gesture from the captured image information, the location of the subject is not limited to the driver in the driver's seat, and the image information for the corresponding area is sent to the camera unit 101. will be able to create.

단계 430에서, 윈도우 제어 시스템(100)의 제스처 인식부(105)는 미리 기계 학습된 인식 모델을 이용하여 운전자가 촬영된 영상 정보에 상응하는 운전자의 제스처를 인식한다. In step 430, the gesture recognition unit 105 of the window control system 100 recognizes the driver's gesture corresponding to image information captured by the driver using a previously machine-learned recognition model.

영상 정보에 상응하는 운전자의 제스처를 인식하기 위해, 예를 들어 스테레오 카메라 구조에서 생성된 스테레오 영상 정보에서 대상 객체에 대한 깊이 정보와 색 정보를 이용하여 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 미리 기계 학습된 인식 모델을 이용하여 제스처 이진 영상을 특정의 제스처로 인식할 수 있다.In order to recognize the driver's gesture corresponding to the image information, for example, the outline of the target object is detected as a gesture binary image using depth information and color information about the target object in the stereo image information generated from the stereo camera structure, A gesture binary image can be recognized as a specific gesture using a pre-machine-learned recognition model.

단계 440에서, 윈도우 제어 시스템(100)의 제어부(113)는 영상 정보에 상응하는 제스처 인식 정보와 미리 저장된 제1 제어 설정 정보를 이용하여, 제스처 인식 정보에 상응하도록 제1 제어 설정 정보에 지정된 투명도로 스마트 윈도우(130)가 조정되도록 제어한다. In step 440, the control unit 113 of the window control system 100 uses gesture recognition information corresponding to image information and pre-stored first control setting information to set the transparency specified in the first control setting information to correspond to the gesture recognition information. Controls the smart window 130 to be adjusted.

제1 제어 설정 정보에는 제어 대상 선택 정보로 인식되는 제스처, 투명도 조정 정보로 인식되는 제스처, 투명도 조정 정보에 해당하는 각 제스처에 대한 스마트 윈도우(130)의 투명도(즉, 전압값) 등의 정보가 미리 규정될 수 있다. The first control setting information includes information such as a gesture recognized as control object selection information, a gesture recognized as transparency adjustment information, and transparency (i.e., voltage value) of the smart window 130 for each gesture corresponding to transparency adjustment information. It can be specified in advance.

도 5는 본 발명의 다른 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도이다.Figure 5 is a flowchart showing a method of controlling a vehicle window according to another embodiment of the present invention.

도 5를 참조하면, 윈도우 제어 시스템(100)의 제어부(113)는 단계 510에서 차량에 구비된 다양한 센서들로부터 차량의 외부 환경에 대한 센싱 정보를 입력받는다.Referring to FIG. 5, the control unit 113 of the window control system 100 receives sensing information about the external environment of the vehicle from various sensors provided in the vehicle in step 510.

단계 520에서, 제어부(113)는 각 센서의 센싱 정보가 센서별로 미리 지정된 임계 조건을 만족하는지를 판단한다. In step 520, the control unit 113 determines whether the sensing information of each sensor satisfies a predetermined threshold condition for each sensor.

임계 조건은 예를 들어 거리 감지 센서의 경우에는 주변의 차량과의 거리 감소율이나 근접 한계값으로 미리 지정될 수 있고, 소리 감지 센서의 경우에는 소리의 크기값으로 미리 지정될 수 있다. 또한, 우설 감지 센서의 경우에는 비나 눈이 내리는지 여부나 우설량으로, 조도 센서의 경우에는 직사광선이 운전자에게 직접 비추는지 여부로 임계 조건이 설정될 수 있다. 각 센서는 센서별로 지정된 임계 조건을 만족하는지 여부가 센싱 정보로서 판단될 수 있도록, 차량의 적절한 위치에 설치될 수 있음은 당연하다. For example, in the case of a distance detection sensor, the threshold condition may be pre-specified as a distance reduction rate or proximity limit value to surrounding vehicles, and in the case of a sound detection sensor, it may be pre-specified as a sound volume value. Additionally, in the case of a rain detection sensor, the threshold condition can be set by whether it is raining or snowing or by the amount of snow, and in the case of an illuminance sensor, the threshold condition can be set by whether direct sunlight is shining directly on the driver. It goes without saying that each sensor can be installed at an appropriate location in the vehicle so that whether or not it satisfies the threshold conditions specified for each sensor can be determined as sensing information.

임의의 센서에서 제공된 센싱 정보가 미리 지정된 임계 조건을 만족하는 경우, 단계 530에서, 제어부(113)는 센서별로 임계조건이 만족되는 경우에 대해 제2 제어 설정 정보에서 지정된 투명도로 스마트 윈도우(130)가 조정되도록 제어한다.When the sensing information provided from any sensor satisfies a pre-specified threshold condition, in step 530, the control unit 113 opens the smart window 130 with the transparency specified in the second control setting information for cases where the threshold condition for each sensor is satisfied. Control so that is adjusted.

전술한 바와 같이, 본 발명의 각 실시예에 따른 차량의 윈도우 제어 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체를 포함한다.As described above, the vehicle window control method according to each embodiment of the present invention may be implemented as a software program, etc. Codes and code segments constituting a program can be easily inferred by a computer programmer in the field. Additionally, the program is stored in a computer readable information storage medium and is read and executed by the computer to implement the above method. Information storage media include magnetic recording media and optical recording media.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to embodiments, those skilled in the art can modify the present invention in various ways without departing from the spirit and scope of the present invention as set forth in the claims below. and that it can be changed.

100 : 윈도우 제어 시스템 101 : 카메라부
103 : 센서부 105 : 제스처 인식부
107 : GPS부 109 : 저장부
111 : 윈도우 구동부 113 : 제어부
130 : 스마트 윈도우100: Window control system 101: Camera unit
103: sensor unit 105: gesture recognition unit
107: GPS unit 109: storage unit
111: Window driving unit 113: Control unit
130: smart window

Claims (8)

차량 윈도우로 구비된 스마트 윈도우의 투명도를 조정하는 윈도우 구동부;
미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 상응하는 제스처 인식 정보를 생성하는 제스처 인식부; 및
미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 제어부를 포함하는 차량의 윈도우 제어 시스템.
A window driving unit that adjusts the transparency of smart windows provided as vehicle windows;
A gesture recognition unit that recognizes the user's gesture from image information captured by the user using a previously machine-learned recognition model and generates gesture recognition information corresponding to the recognized gesture; and
A window control system for a vehicle, including a control unit that controls the window driving unit to adjust transparency of the smart window to a transparency specified to correspond to the gesture recognition information in pre-stored first control setting information.
제1항에 있어서,
차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보가 각각 입력되면,
상기 제어부는 미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하고, 임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
According to paragraph 1,
When sensing information is input from a plurality of sensors provided in the vehicle to generate environmental information about one or more of the inside and outside of the vehicle,
The control unit determines whether there is sensing information that satisfies a pre-designated threshold condition for each sensor, and adjusts the transparency of the smart window to the transparency specified in the second control setting information stored in advance for the sensor that satisfies the threshold condition. A window control system for a vehicle, characterized in that it controls the window driving unit.
제2항에 있어서,
상기 복수의 센서는 거리 감지 센서, 소리 감지 센서, 우설 감지 센서 및 조도 센서를 포함하고,
상기 거리 감지 센서의 임계 조건은 주변 차량과의 거리 감소율 및 근접 한계값 중 하나 이상으로 미리 지정되고, 상기 소리 감지 센서의 임계 조건은 소리의 크기값으로 미리 지정되며, 상기 우설 감지 센서의 임계 조건은 비나 눈이 내리는 상황 및 우설량 중 하나 이상으로 미리 지정되고, 상기 조도 센서의 임계 조건은 직사광선이 운전자에게 직접 비추는 상황으로 미리 지정되는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
According to paragraph 2,
The plurality of sensors include a distance detection sensor, a sound detection sensor, a snow detection sensor, and an illuminance sensor,
The threshold condition of the distance detection sensor is pre-specified as one or more of a distance reduction rate and a proximity limit value to surrounding vehicles, the threshold condition of the sound detection sensor is pre-specified as a sound volume value, and the threshold condition of the rain detection sensor is is pre-designated as one or more of rain or snow and snowfall, and the critical condition of the illuminance sensor is pre-designated as a situation in which direct sunlight shines directly on the driver.
제3항에 있어서,
상기 소리 감지 센서는 차량의 진행 방향에 한정하여 소리를 감지하도록 지향성 마이크를 포함하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
According to paragraph 3,
A window control system for a vehicle, wherein the sound detection sensor includes a directional microphone to detect sound limited to the direction in which the vehicle is traveling.
제2항에 있어서,
차량의 위치 정보를 생성하는 GPS부를 더 포함하되,
상기 제2 제어 설정 정보에는 센서별 임계 조건이 만족된 경우 조정되어야 하는 스마트 윈도우의 투명도가 차량의 이동 속도 기준으로 규정되고,
상기 제어부는 상기 GPS부에서 생성된 위치 정보의 변화에 기초하여 산출된 차량의 이동 속도에 상응하도록 상기 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
According to paragraph 2,
It further includes a GPS unit that generates location information of the vehicle,
In the second control setting information, the transparency of the smart window to be adjusted when the threshold condition for each sensor is satisfied is defined based on the vehicle's moving speed,
The control unit controls the window driving unit to adjust the transparency of the smart window to the transparency specified in the second control setting information to correspond to the moving speed of the vehicle calculated based on the change in location information generated by the GPS unit. A window control system for a vehicle, characterized in that.
제1항에 있어서,
상기 제1 제어 설정 정보는 투명도가 조정될 스마트 윈도우를 선택하기 위한 제어 대상 선택 정보로 인식되는 제스처, 스마트 윈도우의 투명도를 조정하기 위한 투명도 조정 정보로 인식되는 제스처, 상기 투명도 조정 정보에 해당하는 각 제스처에 상응하여 조정될 스마트 윈도우의 투명도에 대한 정보를 포함하되,
상기 제어 대상 선택 정보로 인식되는 제스처가 선행하여 인식되면, 상기 제어부는 상기 제어 대상 선택 정보로 인식되는 제스처에 따른 스마트 윈도우에 대해 개별적으로 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
According to paragraph 1,
The first control setting information includes gestures recognized as control target selection information for selecting a smart window whose transparency is to be adjusted, gestures recognized as transparency adjustment information for adjusting the transparency of the smart window, and each gesture corresponding to the transparency adjustment information. Contains information about the transparency of the smart window to be adjusted correspondingly,
When a gesture recognized as the control object selection information is recognized in advance, the control unit controls the window driving unit to individually adjust transparency for the smart window according to the gesture recognized as the control object selection information. window control system.
제1항에 있어서,
상기 제스처 인식부는,
스테레오 구조의 카메라부에서 생성된 상기 사용자에 대한 스테레오 영상 정보에서 제스처 인식을 위한 대상 객체의 깊이 정보와 색 정보를 이용하여 상기 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 상기 인식 모델을 이용하여 제스처 이진 영상에 상응하는 제스처를 인식함으로써 상기 제스처 인식 정보를 생성하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
According to paragraph 1,
The gesture recognition unit,
The outline of the target object is detected as a gesture binary image using the depth information and color information of the target object for gesture recognition from the stereo image information about the user generated by the stereo camera unit, and the recognition model is used to detect the outline of the target object as a gesture binary image. A window control system for a vehicle, characterized in that the gesture recognition information is generated by recognizing a gesture corresponding to a gesture binary image.
차량의 윈도우 제어 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 제스처 인식 정보를 생성하는 단계;
미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 차량 윈도우로 구비된 스마트 윈도우의 투명도가 조정되도록 제어하는 단계;
차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보를 각각 입력받는 단계;
미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하는 단계; 및
임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 제어하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.A computer program stored on a computer-readable medium for performing a method of controlling a window of a vehicle, the computer program causing a computer to perform the following steps, the steps comprising:
Using a previously machine-learned recognition model, recognizing the user's gesture from image information captured by the user and generating gesture recognition information;
Controlling the transparency of a smart window provided as a vehicle window to be adjusted to a transparency specified to correspond to the gesture recognition information in pre-stored first control setting information;
Receiving sensing information from a plurality of sensors provided in the vehicle to generate environmental information about one or more of the inside and outside of the vehicle;
Determining whether sensing information that satisfies a pre-specified threshold condition for each sensor exists; and
A computer program stored in a computer-readable medium, comprising controlling the transparency of the smart window to be adjusted to the transparency specified in second control setting information pre-stored for a sensor that satisfies a threshold condition.