KR20220036214A - 인공지능 기반의 차량 윈도우 제어 시스템 및 방법 - Google Patents

인공지능 기반의 차량 윈도우 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20220036214A
KR20220036214A KR1020200118508A KR20200118508A KR20220036214A KR 20220036214 A KR20220036214 A KR 20220036214A KR 1020200118508 A KR1020200118508 A KR 1020200118508A KR 20200118508 A KR20200118508 A KR 20200118508A KR 20220036214 A KR20220036214 A KR 20220036214A
Authority
KR
South Korea
Prior art keywords
information
transparency
window
vehicle
gesture
Prior art date
Application number
KR1020200118508A
Other languages
English (en)
Inventor
이원준
봉진선
Original Assignee
이원준
봉진선
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이원준, 봉진선 filed Critical 이원준
Priority to KR1020200118508A priority Critical patent/KR20220036214A/ko
Publication of KR20220036214A publication Critical patent/KR20220036214A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/04—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in transparency
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/222—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only  for microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

차량의 윈도우 제어 시스템 및 방법이 개시된다. 차량의 윈도우 제어 시스템은 차량 윈도우로 구비된 스마트 윈도우의 투명도를 조정하는 윈도우 구동부; 미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 상응하는 제스처 인식 정보를 생성하는 제스처 인식부; 및 미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 제어부를 포함한다.

Description

인공지능 기반의 차량 윈도우 제어 시스템 및 방법{Vehicle window control system and method based on artificial intelligence}
본 발명은 인공지능 기반의 차량 윈도우 제어 시스템 및 방법에 관한 것이다.
승객을 목적지로 이동시키는 교통수단의 하나로 차량을 들 수 있으며, 차량은 사용되는 원동기의 종류에 따라 내연기관(internal combustion engine) 자동차, 외연기관(external combustion engine) 자동차, 가스터빈(gas turbine) 자동차 또는 전기자동차(electric vehicle) 등으로 다양하다.
또한, 최근에는 차량 주변을 인식할 수 있는 다양한 센서가 구비되어, 운전자가 차량을 조작하지 않아도 스스로 움직일 수 있는 자율주행차량(autonomous vehicle)도 다양하게 개발되고 있다.
차량의 승객은 목적지까지 편리하게 이동하는 장점이 있으며, 이를 위해 차량의 운전자는 주행 중 차량의 전방 및 후방 등의 차량 주변 상황을 주의 깊게 주시하여야 한다. 여기서, 차량 주변 상황은 차량 주위에 접근하거나 위치한 물체(예를 들어, 사람, 차량 및 장애물 등)의 주행 방해 요소를 포함할 수 있다.
운전자는 직사광선 등으로 인한 눈부심을 억제하여 쾌적한 운전 환경을 확보하기 위해, 햇빛가리개 등으로 차량 윈도우의 일부 영역을 가리거나 운전중에 선글라스를 착용하는 동작을 빈번하게 취하고 있다.
그러나, 운전중에 차량 윈도우의 일부 영역을 가리거나 선글라스를 착용하는 행위는 짧은 시간 동안의 행위일지라도 차량 주변 상황에 대해 주의를 기울이지 못하여 위험한 상황을 야기시키는 원인이 될 수 있다.
한국공개특허 제2019-0104009호(2019.09.05 공개)
본 발명은 운전자의 제스처나 차량 외부 환경에 부합하여 차량 윈도우의 투명도를 조절함으로써, 쾌적한 운전 환경이 확보되어 안전 운전을 유도할 수 있도록 하는 인공지능 기반의 차량 윈도우 제어 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 차량 윈도우로 구비된 스마트 윈도우의 투명도를 조정하는 윈도우 구동부; 미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 상응하는 제스처 인식 정보를 생성하는 제스처 인식부; 및 미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 제어부를 포함하는 차량의 윈도우 제어 시스템이 제공된다.
차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보가 각각 입력되면, 상기 제어부는 미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하고, 임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어할 수 있다.
상기 차량의 윈도우 제어 시스템은, 상기 복수의 센서는 거리 감지 센서, 소리 감지 센서, 우설 감지 센서 및 조도 센서를 포함할 수 있다. 여기서, 상기 거리 감지 센서의 임계 조건은 주변 차량과의 거리 감소율 및 근접 한계값 중 하나 이상으로 미리 지정되고, 상기 소리 감지 센서의 임계 조건은 소리의 크기값으로 미리 지정되며, 상기 우설 감지 센서의 임계 조건은 비나 눈이 내리는 상황 및 우설량 중 하나 이상으로 미리 지정되고, 상기 조도 센서의 임계 조건은 직사광선이 운전자에게 직접 비추는 상황으로 미리 지정될 수 있다.
상기 소리 감지 센서는 차량의 진행 방향에 한정하여 소리를 감지하도록 지향성 마이크를 포함할 수 있다.
상기 차량의 윈도우 제어 시스템은, 차량의 위치 정보를 생성하는 GPS부를 더 포함할 수 있다. 여기서, 상기 제2 제어 설정 정보에는 센서별 임계 조건이 만족된 경우 조정되어야 하는 스마트 윈도우의 투명도가 차량의 이동 속도 기준으로 규정될 수 있다. 또한, 상기 제어부는 상기 GPS부에서 생성된 위치 정보의 변화에 기초하여 산출된 차량의 이동 속도에 상응하도록 상기 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어할 수 있다.
상기 제1 제어 설정 정보는 투명도가 조정될 스마트 윈도우를 선택하기 위한 제어 대상 선택 정보로 인식되는 제스처, 스마트 윈도우의 투명도를 조정하기 위한 투명도 조정 정보로 인식되는 제스처, 상기 투명도 조정 정보에 해당하는 각 제스처에 상응하여 조정될 스마트 윈도우의 투명도에 대한 정보를 포함할 수 있다. 이때, 상기 제어 대상 선택 정보로 인식되는 제스처가 선행하여 인식되면, 상기 제어부는 상기 제어 대상 선택 정보로 인식되는 제스처에 따른 스마트 윈도우에 대해 개별적으로 투명도가 조정되도록 상기 윈도우 구동부를 제어할 수 있다.
상기 제스처 인식부는, 스테레오 구조의 카메라부에서 생성된 상기 사용자에 대한 스테레오 영상 정보에서 제스처 인식을 위한 대상 객체의 깊이 정보와 색 정보를 이용하여 상기 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 상기 인식 모델을 이용하여 제스처 이진 영상에 상응하는 제스처를 인식함으로써 상기 제스처 인식 정보를 생성하도록 미리 설정될 수 있다.
본 발명의 다른 측면에 따르면, 차량의 윈도우 제어 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 제스처 인식 정보를 생성하는 단계; 미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 차량 윈도우로 구비된 스마트 윈도우의 투명도가 조정되도록 제어하는 단계; 차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보를 각각 입력받는 단계; 미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하는 단계; 및 임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 제어하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 운전자의 제스처나 차량 외부 환경에 부합하도록 차량 윈도우의 투명도가 조절됨으로써, 쾌적한 운전 환경이 확보되어 운전자의 부주의로 인한 사고 발생이 미연에 방지되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 윈도우 제어 시스템의 블록 구성도.
도 2 및 도 3은 본 발명의 일 실시예에 따른 운전자의 제스처에 따른 차량의 윈도우 제어 상태를 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도.
도 5는 본 발명의 다른 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 예를 들어 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 윈도우 제어 시스템의 블록 구성도이고, 도 2 및 도 3은 본 발명의 일 실시예에 따른 운전자의 제스처에 따른 차량의 윈도우 제어 상태를 설명하기 위한 도면이다.
도 1을 참조하면, 차량의 윈도우 제어 시스템(100)는 카메라부(101), 센서부(103), 제스처 인식부(105), GPS부(107), 저장부(109), 윈도우 구동부(111) 및 제어부(113)를 포함할 수 있다.
카메라부(101)는 운전자의 얼굴을 포함하는 신체 영역의 영상 정보를 생성한다.
카메라부(101)는 예를 들어 차량 내부의 전면(예를 들어, 대시보드, 룸미러 등)에 설치될 수 있다. 또한, 카메라부(101)는 영상 정보에서 피사체 및 피사체의 각 영역에 대한 깊이 정보가 해석될 수 있도록 스테레오 카메라 구성을 가질 수도 있다.
센서부(103)는 하나 이상의 센서를 포함하며, 차량 내부 및/또는 외부의 환경 정보를 센싱한다.
예를 들어, 센서부(103)는 차량 주변의 물체와의 거리를 감지하기 위한 거리 감지 센서, 차량 주변에서 발생된 소리를 감지하기 위한 소리 감지 센서, 비나 눈이 내리는 것을 감지하는 우설 감지 센서, 차량 주변의 조도와 직사광선이 운전자 측에 직접 도달되는지를 감지하는 조도 센서 등을 포함할 수 있다. 센서부(103)에 포함된 각 센서는 동작 특성에 따라 차량 내부나 외부 등 적절한 위치에 설치될 수 있다.
제스처 인식부(105)는 미리 기계 학습된 인식 모델을 이용하여 카메라부(101)에 의해 운전자가 촬영된 영상 정보에 상응하는 운전자의 제스처 인식 정보를 생성한다. 여기서, 제스처는 운전자의 몸짓, 손짓, 표정 및 이들의 조합을 포함할 수 있다.
인식 모델은 영상 정보를 해석하여 제스처를 인식하는 인식 모델은, 예를 들어 완전 합성곱 신경망(Fully Convolutional Neural network), 합성곱 신경망(Convolutional Neural Network), 순환 신경망(Recurrent Neural Network), 제한 볼츠만 머신(Restricted Boltzmann Machine), 심층 신뢰 신경망(Deep Belief neural Network) 등 중 하나 이상의 딥러닝 기반의 모델로 생성될 수 있다. 물론, 딥러닝 기법 이외의 머신 러닝 기법으로 구현되거나, 딥러닝 기법과 머신 러닝 기법이 결합된 하이브리드 형태의 모델로 생성될 수도 있다.
제스처 인식부(105)는, 예를 들어 카메라부(101)에서 생성된 피사체에 대한 스테레오 영상 정보에서 제스처 인식을 위한 대상 객체(예를 들어, 얼굴, 눈, 코, 입, 손, 머리, 어깨 등)에 대한 깊이 정보와 색 정보를 이용하여 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 미리 기계 학습된 인식 모델을 이용하여 제스처 이진 영상에 상응하는 특정의 제스처를 인식함으로써, 이에 관한 제스처 인식 정보를 생성할 수 있다. 이때, 제스처 인식부(105)는 예를 들어, 손을 흔드는 동작 등과 같은 제스처를 인식하기 위해, 연속하여 촬영된 복수의 영상 정보를 이용할 수도 있음은 당연하다.
인식 모델을 학습하는 방법은 예를 들어, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등으로 다양할 수 있다.
또한, 인식 모델은 특정의 제스처를 나타내는 영상 정보와 해당 제스처의 의미가 정리된 복수의 학습 데이터를 이용하여 미리 학습될 수 있다. 인식 모델의 학습을 위한 학습 데이터는 윈도우 제어 시스템(100)의 저장부(109)에 미리 저장될 수 있다.
또한, 윈도우 제어 시스템(100)이 통신부(도시되지 않음)를 구비하는 경우, 수집부(도시되지 않음)가 인터넷 등의 통신망을 이용하여 외부 저장소(예를 들어, 학습 데이터나 학습용으로 활용할 수 있는 이미지가 저장된 웹사이트 등)에 접속하여, 인식 모델이 제스처 인식에 관한 기계 학습을 실시하기 위한 학습 데이터를 수집하여 저장부(109)에 저장할 수도 있다.
GPS부(107)는 윈도우 제어 시스템(100)이 구비된 차량의 위치 정보를 생성한다.
GPS부(107)는 예를 들어 3차원 위치 좌표를 생성하는 GPS 모듈을 구비할 수도 있다. GPS부(107)는 차량의 주행 경로를 지도로 표시하는 네비게이션 장치(도시되지 않음)로 구현될 수도 있다.
저장부(109)에는 인식된 운전자의 제스처에 따라 스마트 윈도우(130)의 투명도(즉, 투과율)를 조정하기 위한 제1 제어 설정 정보, 차량 외부의 환경 상황에 따라 스마트 윈도우(130)의 투명도를 조정하기 위한 제2 제어 설정 정보가 저장될 수 있다.
예를 들어, 제1 제어 설정 정보는 운전자가 어떤 제스처를 했을 때 어느 수준으로 스마트 윈도우(130)의 투명도가 조정되도록 할 것인지에 관한 설정 정보로서, 제스처에 따라 조정될 투명도(예를 들어, 전압값 등)가 미리 지정될 수 있다.
제1 제어 설정 정보는 인식 가능한 제스처 및 제스처별 투명도가 기본 설정 정보로 미리 지정되거나, 운전자에 의해 설정되거나 변경될 수 있을 것이다.
예를 들어, 운전자는 부채질하듯이 손을 흔드는 제스처를 취한 경우, 스마트 윈도우(130)의 투명도가 현재 상태로부터 역방향으로 전환(예를 들어, 현재 상태가 투명율이 낮은 상태라면 높은 상태로 전환)되도록 제1 제어 설정 정보를 설정할 수 있을 것이다.
제2 제어 설정 정보는 외부 환경 상황(예를 들어, 직사광선이 운전자에게 비추는 상황, 차량 주변에서 충돌 사고가 발생된 상황 등)에 따라 스마트 윈도우(130)의 투명도가 조정되도록 하는 설정 정보이다.
전술한 제1 제어 설정 정보는 운전자의 적극적인 행위에 의해 스마트 윈도우(130)의 투명도가 조정되도록 하는 것인 반면, 제2 제어 설정 정보는 운전자의 개입 없이도 차량의 외부 환경 상황에 부합하여 스마트 윈도우(130)의 투명도가 조정되도록 하는 것이다.
센서부(103)에 포함된 각 센서별 임계 조건은 미리 설정되어 저장부(109)에 저장될 수 있으며, 각 센서별 임계 조건을 만족하는지 여부에 따라 스마트 윈도우(130)의 투명도 조절을 위한 제어 동작(예를 들어, 직사광선이 비추는 경우 스마트 윈도우(130)의 투명도를 낮게 조정 등)이 제2 제어 설정 정보에 미리 규정될 수 있다.
윈도우 구동부(111)는 제어부(113)의 제어에 따라 스마트 윈도우(130)의 투명도를 조정한다.
본 실시예에서 차량의 윈도우를 이루는 스마트 윈도우(130)는 전기적 자극에 의해 투명도가 조정되는 능동형 스마트 윈도우(active smart window)일 수 있다.
스마트 윈도우(130)는 예를 들어, 고분자 분산형 액정 기술(Polymer Dispersed Liquid Crystal, PDLC)이 적용될 수 있으며, 고분자 매트릭스 내에 고르게 분산된 마이크론 크기의 액정 입자들이 외부 전압에 의해 나열 방향이 변경되어 투명도가 조절되는 구조를 가질 수 있다. 이외에도, 스마트 윈도우(130)가 인가되는 전압에 따라 투명도가 조정되도록 하는 구조는 다양할 수 있다.
스마트 윈도우(130)는 전술한 동작을 위해 미리 지정된 차량 윈도우의 두께를 가지도록 제작될 수도 있으나, 전술한 동작을 수행하도록 필름이 기존의 차량 윈도우의 표면에 부착된 것일 수도 있다.
제어부(113)는 카메라부(101)에 의해 생성된 영상 정보에 대한 제스처 인식부(105)의 제스처 인식 정보와 저장부(109)에 미리 저장된 제1 제어 설정 정보를 이용하여, 제스처 인식 정보에 상응하도록 제1 제어 설정 정보에 지정된 투명도로 스마트 윈도우(130)가 조정되도록 윈도우 구동부(111)의 동작을 제어한다.
예를 들어, 도 2에 예시된 바와 같이, 운전자가 편 손가락의 수에 따라 투명도가 상이하게 조정되도록 제1 제어 설정 정보에 미리 규정될 수 있다. 이 경우, 촬영된 영상 정보를 해석하여 운전자가 하나의 손가락만 편 제스처를 취한 것으로 제스처 인식 정보가 생성되면, 제어부(113)는 제1 제어 설정 정보에 따라 차량의 스마트 윈도우(130)가 상대적으로 높은 투명도로 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다. 이와 달리, 운전자가 두개 또는 세개의 손가락을 편 제스처를 취한 것으로 제스처 인식 정보가 생성되면, 제어부(113)는 제1 제어 설정 정보에서 각각 규정된 바에 따라 차량의 스마트 윈도우(130)가 상대적으로 낮은 투명도로 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다.
또한, 차량에 구비된 복수의 차량 윈도우가 각 차량 윈도우별로 독립하여 투명도가 조정될 수 있도록 구성된 경우, 제1 제어 설정 정보에는 특정의 제스처는 특정의 차량 윈도우를 선택하기 위한 제어 대상 선택 정보로 인식하도록 미리 설정될 수 있다. 예를 들어, 임의의 방향으로 손가락을 향하는 제스처는, 손가락이 향하는 방향의 차량 윈도우를 선택하는 제어 대상 선택 정보로 인식하도록 설정될 수 있다.
이 경우, 도 3에 예시된 바와 같이, 제스처 인식 정보에 의해 펴진 손가락이 전방을 향하는 제스처로 인식된 경우, 제어부(113)는 전방에 위치한 윈도우를 제어 대상으로 선택한 것으로 인식할 수 있다. 마찬가지로, 펴진 손가락이 좌측, 우측 또는 후방을 향하는 것으로 제스처 인식 정보에 의해 인식되면, 제어부(113)는 펴진 손가락이 향하는 방향의 윈도우가 제어 대상으로 선택된 것으로 인식할 수 있을 것이다.
이와 같이 하나 이상의 차량 윈도우를 제어 대상으로 선택한 후, 운전자가 도 2에 예시된 바와 같은 제스처를 취하는 것으로 인식되면, 제어부(113)는 운전자의 제스처에 상응하여 제어 대상으로 선택된 차량 윈도우에 대한 투명도가 개별적으로 조정되도록 제어할 수 있다.
이와 같이, 제1 제어 설정 정보에서, 어떤 제스처는 제어 대상 선택 정보로 인식되어야 하고, 어떤 제스처는 스마트 윈도우(130)의 투명도를 미리 지정된 수준으로 조정하도록 하는 투명도 조정 정보로 인식되도록 하는지, 각 제스처별로 개별 지정될 수 있다.
또한, 제어부(113)는 센서부(103)에서 제공되는 각 센서의 센싱 정보가 센서별로 미리 지정된 임계 조건을 만족하는지를 판단하고, 임의의 센서에 대한 임계 조건이 만족되면 해당 상황에 대해 제2 제어 설정 정보에서 지정된 투명도로 스마트 윈도우(130)가 조정되도록 윈도우 구동부(111)의 동작을 제어한다.
예를 들어, 주변 차량과의 충돌 위험이 존재하는 경우로서, 센싱 정보를 참조하여 주변 차량과의 거리 감소율이 미리 지정된 거리 감소율보다 크거나, 이격 간격이 미리 지정된 근접 한계값보다 작은 것으로 인식되면, 제어부(113)는 현재 스마트 윈도우(130)의 투명도가 미리 지정된 기준 투명도보다 낮게(즉, 어둡게) 조정되어 있다면, 스마트 윈도우(130)의 투명도가 기준 투명도로 조정(즉, 기준값만큼 밝게 조정)되도록 윈도우 구동부(111)의 동작을 제어할 수 있다. 이를 통해, 운전자는 주변 상황에 보다 효과적으로 대처할 수 있을 것이다.
또는, 차량의 주변에서 사고 발생 가능성이 존재하는 경우로서, 센싱 정보를 참조하여 차량의 주변에서 미리 지정된 크기 이상의 소리(예를 들어, 주변에서 발생된 급브레이크 소리, 차량간 충돌 소리 등)가 발생된 것으로 인식되면, 제어부(113)는 현재 스마트 윈도우(130)의 투명도가 기준 투명도보다 낮게 조정되어 있다면, 스마트 윈도우(130)의 투명도가 기준 투명도로 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다.
다만 여기서, 차량의 주변에서 미리 지정된 크기 이상의 소리가 발생하더라도 차량의 진행 방향과는 무관한 경우에 스마트 윈도우(130)의 투명도를 조정하면 오히려 운전자에게 혼동을 야기할 수도 있다. 이를 방지하기 위해 센서부(103)는 차량의 진행 방향에 상응하는 소리만을 감지할 수 있도록 지향성 마이크를 포함하는 소리 감지 센서를 포함할 수 있다.
또는, 자연 환경에 부합하여 운전자의 안전 운전을 도모하기 위해, 센싱 정보를 참조하여 비나 눈이 내리거나 운전자를 향해 직사광선이 비추는 것으로 인식되면, 제어부(113)는 각각 미리 지정된 기준 투명도로 스마트 윈도우(130)의 투명도가 조정되도록 윈도우 구동부(111)의 동작을 제어할 수 있다.
전술한 바와 같이, 제어부(113)는 센싱 정보, 센서별 임계 조건 및 제2 제어 설정 정보를 참조하여 스마트 윈도우(130)의 투명도 조정을 제어할 수 있다.
이때, GPS부(107)에서 생성된 위치 정보의 변화에 기초한 차량의 이동 속도를 더 고려할 수 있으며, 운전자에게 쾌적한 운전 환경을 제공하기 위해 특정 센서의 임계 조건이 동일하게 만족된 경우에도 차량의 이동 속도에 따라 상이한 투명도가 적용되도록 제2 제어 설정 정보에 미리 규정될 수 있음은 당연하다.
도 4는 본 발명의 일 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도이다.
도 4를 참조하면, 윈도우 제어 시스템(100)의 제스처 인식부(105)는 단계 410에서 저장부(109)에 미리 저장되거나 통신망을 통해 수집한 학습 데이터를 이용하여 운전자의 제스처 인식을 위한 인식 모델을 기계학습 처리한다.
단계 420에서, 윈도우 제어 시스템(100)의 카메라부(101)는 운전석에 위치한 운전자의 모습을 촬영하여 영상 정보를 생성한다.
물론, 촬영된 영상 정보에서 제스처를 인식하여 스마트 윈도우(130)의 투명도를 조정함에 있어, 피사체의 위치가 운전석의 운전자로 제한되지는 않으며, 이에 부합하는 영역에 대한 영상 정보를 카메라부(101)는 생성할 수 있을 것이다.
단계 430에서, 윈도우 제어 시스템(100)의 제스처 인식부(105)는 미리 기계 학습된 인식 모델을 이용하여 운전자가 촬영된 영상 정보에 상응하는 운전자의 제스처를 인식한다.
영상 정보에 상응하는 운전자의 제스처를 인식하기 위해, 예를 들어 스테레오 카메라 구조에서 생성된 스테레오 영상 정보에서 대상 객체에 대한 깊이 정보와 색 정보를 이용하여 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 미리 기계 학습된 인식 모델을 이용하여 제스처 이진 영상을 특정의 제스처로 인식할 수 있다.
단계 440에서, 윈도우 제어 시스템(100)의 제어부(113)는 영상 정보에 상응하는 제스처 인식 정보와 미리 저장된 제1 제어 설정 정보를 이용하여, 제스처 인식 정보에 상응하도록 제1 제어 설정 정보에 지정된 투명도로 스마트 윈도우(130)가 조정되도록 제어한다.
제1 제어 설정 정보에는 제어 대상 선택 정보로 인식되는 제스처, 투명도 조정 정보로 인식되는 제스처, 투명도 조정 정보에 해당하는 각 제스처에 대한 스마트 윈도우(130)의 투명도(즉, 전압값) 등의 정보가 미리 규정될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 차량의 윈도우 제어 방법을 나타낸 순서도이다.
도 5를 참조하면, 윈도우 제어 시스템(100)의 제어부(113)는 단계 510에서 차량에 구비된 다양한 센서들로부터 차량의 외부 환경에 대한 센싱 정보를 입력받는다.
단계 520에서, 제어부(113)는 각 센서의 센싱 정보가 센서별로 미리 지정된 임계 조건을 만족하는지를 판단한다.
임계 조건은 예를 들어 거리 감지 센서의 경우에는 주변의 차량과의 거리 감소율이나 근접 한계값으로 미리 지정될 수 있고, 소리 감지 센서의 경우에는 소리의 크기값으로 미리 지정될 수 있다. 또한, 우설 감지 센서의 경우에는 비나 눈이 내리는지 여부나 우설량으로, 조도 센서의 경우에는 직사광선이 운전자에게 직접 비추는지 여부로 임계 조건이 설정될 수 있다. 각 센서는 센서별로 지정된 임계 조건을 만족하는지 여부가 센싱 정보로서 판단될 수 있도록, 차량의 적절한 위치에 설치될 수 있음은 당연하다.
임의의 센서에서 제공된 센싱 정보가 미리 지정된 임계 조건을 만족하는 경우, 단계 530에서, 제어부(113)는 센서별로 임계조건이 만족되는 경우에 대해 제2 제어 설정 정보에서 지정된 투명도로 스마트 윈도우(130)가 조정되도록 제어한다.
전술한 바와 같이, 본 발명의 각 실시예에 따른 차량의 윈도우 제어 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체를 포함한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 윈도우 제어 시스템 101 : 카메라부
103 : 센서부 105 : 제스처 인식부
107 : GPS부 109 : 저장부
111 : 윈도우 구동부 113 : 제어부
130 : 스마트 윈도우

Claims (8)

  1. 차량 윈도우로 구비된 스마트 윈도우의 투명도를 조정하는 윈도우 구동부;
    미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 상응하는 제스처 인식 정보를 생성하는 제스처 인식부; 및
    미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 제어부를 포함하는 차량의 윈도우 제어 시스템.
  2. 제1항에 있어서,
    차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보가 각각 입력되면,
    상기 제어부는 미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하고, 임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
  3. 제2항에 있어서,
    상기 복수의 센서는 거리 감지 센서, 소리 감지 센서, 우설 감지 센서 및 조도 센서를 포함하고,
    상기 거리 감지 센서의 임계 조건은 주변 차량과의 거리 감소율 및 근접 한계값 중 하나 이상으로 미리 지정되고, 상기 소리 감지 센서의 임계 조건은 소리의 크기값으로 미리 지정되며, 상기 우설 감지 센서의 임계 조건은 비나 눈이 내리는 상황 및 우설량 중 하나 이상으로 미리 지정되고, 상기 조도 센서의 임계 조건은 직사광선이 운전자에게 직접 비추는 상황으로 미리 지정되는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
  4. 제3항에 있어서,
    상기 소리 감지 센서는 차량의 진행 방향에 한정하여 소리를 감지하도록 지향성 마이크를 포함하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
  5. 제2항에 있어서,
    차량의 위치 정보를 생성하는 GPS부를 더 포함하되,
    상기 제2 제어 설정 정보에는 센서별 임계 조건이 만족된 경우 조정되어야 하는 스마트 윈도우의 투명도가 차량의 이동 속도 기준으로 규정되고,
    상기 제어부는 상기 GPS부에서 생성된 위치 정보의 변화에 기초하여 산출된 차량의 이동 속도에 상응하도록 상기 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
  6. 제1항에 있어서,
    상기 제1 제어 설정 정보는 투명도가 조정될 스마트 윈도우를 선택하기 위한 제어 대상 선택 정보로 인식되는 제스처, 스마트 윈도우의 투명도를 조정하기 위한 투명도 조정 정보로 인식되는 제스처, 상기 투명도 조정 정보에 해당하는 각 제스처에 상응하여 조정될 스마트 윈도우의 투명도에 대한 정보를 포함하되,
    상기 제어 대상 선택 정보로 인식되는 제스처가 선행하여 인식되면, 상기 제어부는 상기 제어 대상 선택 정보로 인식되는 제스처에 따른 스마트 윈도우에 대해 개별적으로 투명도가 조정되도록 상기 윈도우 구동부를 제어하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
  7. 제1항에 있어서,
    상기 제스처 인식부는,
    스테레오 구조의 카메라부에서 생성된 상기 사용자에 대한 스테레오 영상 정보에서 제스처 인식을 위한 대상 객체의 깊이 정보와 색 정보를 이용하여 상기 대상 객체의 윤곽선을 제스처 이진 영상으로 검출하고, 상기 인식 모델을 이용하여 제스처 이진 영상에 상응하는 제스처를 인식함으로써 상기 제스처 인식 정보를 생성하는 것을 특징으로 하는 차량의 윈도우 제어 시스템.
  8. 차량의 윈도우 제어 방법을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
    미리 기계학습된 인식 모델을 이용하여, 사용자가 촬영된 영상 정보에서 상기 사용자의 제스처를 인식하고, 제스처 인식 정보를 생성하는 단계;
    미리 저장된 제1 제어 설정 정보에서 상기 제스처 인식 정보에 상응하도록 규정된 투명도로 차량 윈도우로 구비된 스마트 윈도우의 투명도가 조정되도록 제어하는 단계;
    차량 내부 및 외부 중 하나 이상에 대한 환경 정보를 생성하기 위해 차량에 구비된 복수의 센서로부터 센싱 정보를 각각 입력받는 단계;
    미리 지정된 각 센서별 임계 조건을 만족하는 센싱 정보가 존재하는지 판단하는 단계; 및
    임계 조건을 만족하는 센서에 대해 미리 저장된 제2 제어 설정 정보에서 규정된 투명도로 상기 스마트 윈도우의 투명도가 조정되도록 제어하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
KR1020200118508A 2020-09-15 2020-09-15 인공지능 기반의 차량 윈도우 제어 시스템 및 방법 KR20220036214A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200118508A KR20220036214A (ko) 2020-09-15 2020-09-15 인공지능 기반의 차량 윈도우 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200118508A KR20220036214A (ko) 2020-09-15 2020-09-15 인공지능 기반의 차량 윈도우 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220036214A true KR20220036214A (ko) 2022-03-22

Family

ID=80988526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200118508A KR20220036214A (ko) 2020-09-15 2020-09-15 인공지능 기반의 차량 윈도우 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20220036214A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190104009A (ko) 2019-07-05 2019-09-05 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190104009A (ko) 2019-07-05 2019-09-05 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스

Similar Documents

Publication Publication Date Title
EP3843063B1 (en) Augmented reality display system
KR101858694B1 (ko) 차량 및 그 제어방법
US20190001987A1 (en) Vehicle and control method thereof
US11650586B2 (en) Method and system for adaptive motion planning based on passenger reaction to vehicle motion in autonomous driving vehicles
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
US20190315275A1 (en) Display device and operating method thereof
US20160349066A1 (en) Display Apparatus For Vehicle And Vehicle
US10029639B2 (en) Driver assistance apparatus for vehicle and vehicle
EP2857886A2 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
WO2019122994A1 (en) Method and system for human-like vehicle control prediction in autonomous driving vehicles
EP3727980A1 (en) Method and system for personalized motion planning in autonomous driving vehicles
KR20170016174A (ko) 운전자 보조 장치 및 그 제어방법
JP6917080B2 (ja) ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡
KR102494865B1 (ko) 차량 및 그 제어 방법
US11595878B2 (en) Systems, devices, and methods for controlling operation of wearable displays during vehicle operation
KR20220100609A (ko) 향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스
US20210072831A1 (en) Systems and methods for gaze to confirm gesture commands in a vehicle
KR102546441B1 (ko) 안전운전 지원 장치 및 방법
WO2019122951A1 (en) Method and system for human-like driving lane planning in autonomous driving vehicles
KR20220036214A (ko) 인공지능 기반의 차량 윈도우 제어 시스템 및 방법
US11990066B2 (en) System and method to adjust inclined heads-up display perspective
JP2020193490A (ja) 乗物用調光システム
KR101752798B1 (ko) 차량 및 그 제어방법

Legal Events

Date Code Title Description
E601 Decision to refuse application