KR101260053B1 - 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법 - Google Patents

동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법 Download PDF

Info

Publication number
KR101260053B1
KR101260053B1 KR1020110120027A KR20110120027A KR101260053B1 KR 101260053 B1 KR101260053 B1 KR 101260053B1 KR 1020110120027 A KR1020110120027 A KR 1020110120027A KR 20110120027 A KR20110120027 A KR 20110120027A KR 101260053 B1 KR101260053 B1 KR 101260053B1
Authority
KR
South Korea
Prior art keywords
voice
hand gesture
hand
recognized
vehicle control
Prior art date
Application number
KR1020110120027A
Other languages
English (en)
Inventor
이상헌
손명규
김병민
이장우
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020110120027A priority Critical patent/KR101260053B1/ko
Application granted granted Critical
Publication of KR101260053B1 publication Critical patent/KR101260053B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법이 제공된다. 3D 촬영부는 사용자의 손동작을 촬영하여 출력하고, 마이크로폰은 사용자의 음성을 입력받고, 동작인식모듈은 3D 촬영부에 의해 촬영된 손동작을 인식하며, 음성인식모듈은 동작인식모듈에 의해 인식되는 손동작에 기초하여 마이크로폰을 통해 입력되는 음성을 인식하며, 제어부는 음성이 인식된 후 3D 촬영부를 통해 재촬영되는 사용자의 손동작이 인식되면, 인식된 음성과 재촬영된 손동작에 해당하는 차량 제어 명령을 확인한다.

Description

동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법{Intelligent Vehicle Controlling Apparatus and Method using Fusion Recognition of User's Voice and Hand Gesture}
본 발명은 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 사용자의 동작과 음성을 이용하여 차량의 기기를 제어할 수 있는 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법에 관한 것이다.
음성인식기술(Speech Recognition)은 마이크로폰을 통해 입력된 사용자의 음성을 컴퓨터가 분석하고 특징을 추출해서 미리 입력된 단어나 문장에 근접한 결과를 명령어로서 인식하고, 인식된 명령어에 해당하는 동작을 수행하도록 하는 기술이다.
음성인식기술이 차량에 적용되는 경우, 운전자는 직접 손을 이용하여 기기를 조작하지 않고, 음성만으로 명령을 내림으로써 원하는 차량의 기기를 쉽게 조작할 수 있다. 그러나, 기존의 차량에 적용된 음성인식기술은 차량이 주행 중이거나 차량 내부 또는 외부의 잡음 등에 의해 운전자의 음성을 정확히 인식하지 못 하는 경우가 빈번히 발생한다. 이에 의해, 운전자는 음성인식기술이 적용된 모듈이 운전자의 음성을 인식할 때까지 반복적으로 명령을 내려야 하는 불편함이 있다. 따라서, 차량에 탑승 중인 운전자의 명령을 보다 신속하고 정확히 인식할 수 있는 기술이 필요하다.
한국등록특허 제10-0948600호(2010년03월12일)
본 발명이 해결하고자 하는 기술적 과제는, 운전자가 직접 내부 기기를 수동으로 조작하지 않아도 운전자의 동작과 음성을 인식하여 그에 해당하는 명령을 수행할 수 있는 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따르면, 사용자의 손동작을 촬영하여 출력하는 3D 촬영부; 상기 사용자의 음성을 입력받는 마이크로폰; 상기 3D 촬영부에 의해 촬영된 손동작을 인식하는 동작인식모듈; 상기 동작인식모듈에 의해 인식되는 손동작에 기초하여 상기 마이크로폰을 통해 입력되는 음성을 인식하는 음성인식모듈; 및 상기 음성이 인식된 후 상기 3D 촬영부를 통해 재촬영되는 사용자의 손동작이 인식되면, 상기 인식된 음성과 재촬영된 손동작에 해당하는 차량 제어 명령을 확인하는 제어부;를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치가 제공될 수 있다.
상기 제어부는 상기 동작인식모듈에서 인식되는 손동작이 사전에 정해진 모드 전환용 손동작이면, 상기 마이크로폰을 통해 입력되는 음성을 인식하도록 상기 음성인식모듈을 제어할 수 있다.
상기 제어부는, 상기 동작인식모듈에서 인식되는 손동작이 차량 제어를 요청하는 모드 전환용 손동작이면, 대기모드에서 상기 사용자의 음성과 손동작에 기초하여 동작하는 명령모드로 전환할 수 있다.
상기 동작인식모듈은 상기 대기모드에서 촬영된 손동작의 깊이영상이 사전에 정해진 제1임계값 미만이면, 상기 대기모드에서 촬영된 손동작의 2D 영상의 차영상(Difference Image)을 구하고, 상기 제어부는 상기 구해진 차영상이 사전에 정해진 제2임계값 미만이면, 상기 손동작이 상기 모드 전환용 손동작인 것으로 판단할 수 있다.
상기 명령모드로 전환된 후 상기 사용자의 음성이 인식되면, 상기 제어부는 상기 인식된 음성에 해당하는 동작모드로 진입하고, 상기 재촬영된 손동작이 인식되면, 상기 제어부는 상기 음성에 해당하는 동작모드와 상기 재촬영된 손동작에 매핑된 차량 제어 명령을 확인할 수 있다.
상기 동작모드는 차량에 장착된 기기들 중 하나의 동작을 제어하는 모드이고, 상기 기기들은 라디오, 에어컨디셔너, 모바일폰, 음악 재생기, 네비게이션, 창문 및 사이드미러 중 적어도 하나를 포함할 수 있다.
상기 동작인식모듈이 인식하는 상기 사용자의 손동작은 상기 사용자의 손을 좌우로 흔드는 쉐이킹동작, 상기 사용자의 손을 오른쪽으로 이동하는 우측동작, 상기 사용자의 손을 왼쪽으로 이동하는 좌측동작, 상기 사용자의 손을 위로 이동하는 상향동작 및 상기 사용자의 손을 아래로 이동하는 하향동작 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 사용자의 손동작을 촬영하여 3D 영상으로 출력하는 단계; 상기 출력되는 3D 영상으로부터 상기 손동작을 인식하는 단계; 상기 인식되는 손동작에 기초하여 마이크로폰을 통해 입력되는 음성을 인식하는 단계; 상기 음성이 인식된 후 상기 사용자의 손동작을 재촬영하여 상기 재촬영된 손동작을 인식하는 단계; 상기 재촬영된 손동작이 인식되면, 상기 인식된 음성과 재촬영된 손동작에 해당하는 차량 제어 명령을 확인하는 단계;를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법이 제공될 수 있다.
상기 음성을 인식하는 단계는, 상기 손동작을 인식하는 단계에서 인식되는 손동작이 사전에 정해진 모드 전환용 손동작인 경우에 수행될 수 있다.
상기 손동작을 인식하는 단계에서 인식되는 손동작이 차량 제어를 요청하는 모드 전환용 손동작이면, 대기모드에서 상기 사용자의 음성과 손동작에 기초하여 동작하는 명령모드로 전환하는 단계;를 더 포함할 수 있다.
상기 손동작을 인식하는 단계는, 상기 대기모드에서 촬영된 손동작의 깊이영상과 사전에 정해진 제1임계값을 비교하여 상기 깊이영상이 상기 제1임계값 미만이면, 상기 대기모드에서 촬영된 손동작의 2D 영상의 차영상(Difference Image)을 구하는 단계; 상기 구해진 차영상이 사전에 정해진 제2임계값을 비교하여 상기 차영상이 상기 제2임계값 미만이면, 상기 손동작이 상기 모드 전환용 손동작인 것으로 판단하는 단계;를 포함할 수 있다.
상기 명령모드로 전환된 후 상기 사용자의 음성이 인식되면, 상기 인식된 음성에 해당하는 동작모드로 진입하는 단계;를 더 포함하며, 상기 차량 제어 명령을 확인하는 단계는, 상기 동작모드로 진입한 이후 상기 재촬영된 손동작이 인식되면, 상기 음성에 해당하는 동작모드와 상기 재촬영된 손동작에 매핑된 차량 제어 명령을 확인할 수 있다.
본 발명의 실시예에 따르면, 음성인식기술과 동작인식기술을 결합하여 차량 제어 명령을 판단함으로써 운전자는 운전 중에도 운전에 방해를 주지 않는 범위에서 원하는 기기의 동작을 제어할 수 있다.
또한, 본 발명의 실시예는 대기모드에서 운전자의 손동작을 인식한 후 명령모드로 진입하고, 그 후 운전자의 음성과 손동작에 해당하는 차량 제어 명령을 판단할 수 있다. 따라서, 본 발명의 실시예에 따르면, 손동작에 의해 명령모드로 진입한 후 음성을 인식함으로써 차량의 내외부에서 발생하는 잡음이나 차량 동승자의 소리로 인하여 운전자의 음성을 정확히 인식하지 못하는 기존의 문제점을 해결할 수 있다.
또한, 본 발명의 실시예에 따르면 다시점 방식의 3D 카메라를 이용하여 손동작의 깊이영상도 획득하므로, 촬영된 손동작이 차량 제어를 위한 것인지 또는 차량 제어와는 무관한 동작인지를 보다 정확히 판별할 수 있다.
또한, 본 발명의 실시예에 따르면, 음성인식기술과 동작인식기술을 연동하여 Fusion 방식으로 적용하므로 보다 정확히 차량 제어 명령을 인식할 수 있다.
또한, 본 발명의 실시예에 따르면 동작인식을 위한 3D 카메라는 차량의 센터페시아와 같이 손을 쉽게 촬영할 수 있는 위치에 구비하고, 마이크로폰은 차량의 천장이나 대시보드와 같이 운전자의 얼굴이 주로 향하는 위치에 구비함으로써 운전자가 차량의 버튼과 기기를 조작하기 위해 시야를 벗어나는 위험성을 감소시키고 차량을 보다 편하게 컨트롤할 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 동작 및 음성을 이용한 지능형 차량 제어 장치를 포함하는 차량 제어 시스템을 도시한 도면,
도 2는 운전자의 손동작을 다양한 예를 보여주는 도면,
도 3은 본 발명의 실시예에 따른 인식된 음성과 운전자의 손동작에 해당하는 차량 제어 명령의 일 예를 보여주는 도면,
도 4는 본 발명의 실시예에 따른 동작 및 음성을 이용한 지능형 차량 제어 장치 중 3D 촬영부와 마이크로폰이 차량에 설치된 일 예를 보여주는 도면, 그리고,
도 5는 본 발명의 실시예에 따른 동작 및 음성 인식을 이용한 지능형 차량 제어 방법을 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
도 1은 본 발명의 실시예에 따른 동작 및 음성을 이용한 지능형 차량 제어 장치(100)를 포함하는 차량 제어 시스템을 도시한 도면이다.
도 1을 참조하면, 차량 제어 시스템은 동작 및 음성을 이용한 지능형 차량 제어 장치(100), 차량 제어 모듈(200) 및 차량 기기(300)를 포함할 수 있다.
차량 기기(300)는 차량의 내부 또는 외부에 장착된 기기로서, 라디오(310), 에어컨디셔너(320), 네비게이션(330), 모바일폰, 음악 재생기, 창문 또는 사이드 미러 등 다양한 기기를 예로 들 수 있다. 차량에 탑승한 운전자 또는 동승자는 손동작과 음성을 이용해 차량 기기(300)의 동작을 제어할 수 있다. 이에 대해서는 동작 및 음성을 이용한 지능형 차량 제어 장치(100)를 참조하여 자세히 후술한다.
차량 제어 모듈(200)은 차량의 전반적인 동작을 제어하며, 차량에 기본적으로 장착되어 있을 수 있다. 예를 들어, 운전자가 에어컨디셔너의 온도를 수동으로 조절하는 경우, 차량 제어 모듈(200)은 운전자의 수동 조절에 따라 에어컨디셔너를 가동하여 온도를 제어할 수 있다. 도 1에는 장치(100)와 차량 제어 모듈(200)이 인터페이스부(120)를 통해 연결된 일 예가 도시되어 있으나, 장치(100)는 차량 기기(300)와 직접 연결될 수도 있다.
본 발명의 실시예에서, 차량 제어 모듈(200)은 장치(100)로부터 손동작 및 음성에 해당하는 차량 제어 명령이 수신되면, 수신되는 차량 제어 명령에 해당하는 동작을 수행할 수 있다. 예를 들어, 수신되는 차량 제어 명령이 라디오의 볼륨을 높이는 것이면, 차량 제어 모듈(200)은 자동으로 라디오의 볼륨을 높일 수 있다.
본 발명의 실시예에 따른 동작 및 음성을 이용한 지능형 차량 제어 장치(100)는 사용자로부터 손동작과 음성을 입력받고, 입력받은 손동작과 음성에 대응하는 차량 제어 명령을 차량 제어 모듈(200)에게 또는 차량 기기(300)에게 직접 전달할 수 있다. 사용자는 차량의 운전자 또는 동승자일 수 있으며, 이하에서는 운전자를 예로 들어 설명한다.
이를 위하여, 동작 및 음성을 이용한 지능형 차량 제어 장치(100)는 저장부(110), 인터페이스부(120), 3D(dimension) 촬영부(130), 동작인식모듈(140), 마이크로폰(150), 음성인식모듈(160) 및 제어부(170)를 포함할 수 있다.
인터페이스부(120)는 장치(100)와 차량 제어 모듈(200)을 통신가능하도록 연결할 수 있다. 인터페이스부(120)는 블루투스와 같은 근거리 무선 통신 방식에 의해 차량 제어 모듈(200)과 연결되거나 유선 케이블을 통해 차량 제어 모듈(200)과 연결될 수 있다.
저장부(110)는 음성과 운전자의 손동작에 해당하는 차량 제어 명령을 저장할 수 있다.
[표 1]은 저장부(110)에 저장된 차량 제어 명령의 일 예를 보여준다.
인식된 음성 인식된 손동작 차량 제어 명령
라디오 좌측 동작 볼륨 작게
우측 동작 볼륨 크게
상향 동작 위 채널 검색
하향 동작 아래 채널 검색
에어컨디셔너 좌측 동작 온도 위로
우측 동작 온도 아래로
상향 동작 바람 세게
하향 동작 바람 약하게
음악 재생기(CD 플레이어) 좌측 동작 이전 음악으로 이동
우측 동작 다음 음악으로 이동
상향 동작 볼륨 작게
하향 동작 볼륨 크게
네비게이션 좌측 동작 지도 왼쪽 이동
우측 동작 지도 오른쪽 이동
전화 손동작 대신 각 숫자 또는 수신측 이름 음성 음성에 해당하는 수신측으로 전화연결시도
[표 1]을 참조하면, 저장부(110)에는 ‘라디오’라는 음성과 ‘좌측 동작’에 해당하는 차량 제어 명령으로서 라디오의 볼륨을 작게 하라는 명령이 매핑 저장되어 있다.
[표 2]는 저장부(110)에 저장된 차량 제어 명령의 다른 예를 보여준다.
인식된 상위음성 인식된 하위음성 인식된 손동작 차량 제어 명령
라디오 볼륨(소리) 좌측 동작 볼륨 작게
우측 동작 볼륨 크게
채널(선국) 좌측 동작 위 채널 검색
우측 동작 아래 채널 검색
에어컨디셔너 온도 좌측 동작 온도 위로
우측 동작 온도 아래로
바람 좌측 동작 바람 세게
우측 동작 바람 약하게
음악 재생기(CD 플레이어) - 좌측 동작 이전 음악으로 이동
- 우측 동작 다음 음악으로 이동
네비게이션 - 좌측 동작 지도 왼쪽 이동
- 우측 동작 지도 오른쪽 이동
전화 각 숫자 또는
수신측 이름		 - 음성에 해당하는 수신측으로 전화연결시도
[표 2]를 참조하면, 저장부(110)에는 ‘라디오’라는 먼저 입력되는 상위음성과 ‘볼륨’이라는 나중에 입력되는 하위음성 및 ‘좌측 동작’에 해당하는 차량 제어 명령으로서 라디오의 볼륨을 작게 하라는 명령이 매핑 저장되어 있다.
3D 촬영부(130)는 다시점 촬영방식을 이용하여 피사체를 3D 영상으로 촬영하는 3D 카메라일 수 있다. 예를 들어, 3D 촬영부(130)는 좌측 렌즈와 우측 렌즈를 나란히 구비하고 동일한 피사체를 동시에 촬영하여 2D 영상과 깊이 영상을 획득할 수 있다. 2D 영상은 일반적인 카메라로 획득한 영상이며, 깊이 영상은 3D 촬영부(130)와 피사체간의 거리를 그레이 스케일로 표시한 영상이다. 그레이 스케일이 0~255로 표현되는 경우, 피사체와 3D 촬영부(130)의 거리가 가까울수록 피사체의 화소는 큰 그레이 값을 가질 수 있다.
본 실시예에서는 3D 촬영부(130)가 운전자의 손동작을 촬영하고, 촬영된 손동작의 영상을 출력하는 경우를 예로 들어 설명하나 이에 한정되지 않는다. 예를 들어, 장치(100)는 운전자의 손동작뿐만 아니라 머리의 움직임을 이용하여 차량 제어 명령을 판단할 수도 있다. 또한, 이하에서는 설명의 편의를 위하여, 3D 촬영부(130)로부터 출력되는 3D 영상을 ‘2D 영상과 깊이 영상’ 또는 ‘촬영된 손동작’과 혼용한다.
동작인식모듈(140)은 3D 촬영부(130)에 의해 촬영된 손동작을 인식할 수 있다. 즉, 동작인식모듈(140)은 촬영된 손동작을 분석하여 운전자의 손동작이 어떤 방향으로 움직였는지를 인식할 수 있다. 이를 위하여, 동작인식모듈(140)은 영상 정합부(142), 깊이값 산출부(144) 및 손동작 검출부(146)를 포함할 수 있다.
영상 정합부(142)는 3D 촬영부(130)로부터 입력되는 2D 영상과 깊이 영상에 대해 칼리브레이션(Calibration), 렉티피케이션(Rectification) 등의 정합을 알고리즘을 이용하여 수행할 수 있다. 칼리브레이션은 3D 촬영부(130)의 렌즈의 왜곡 및 영상 센서의 삐뚤어짐에 의해 어긋난 2D 영상과 깊이 영상의 좌표를 교정하는 작업이고, 렉티피케이션은 좌측 렌즈로부터 촬영된 영상에 대한 광축과 우측 렌즈로부터 촬영된 영상에 대한 광축을 서로 일치시키는 작업이다. 영상 정합부(142)에서 적용되는 알고리즘은 기존에 널리 알려진 기술이거나 장차 개발될 알고리즘을 사용할 수 있으므로 이에 대하여는 상세히 설명하지 않기로 한다. 영상 정합부(142)는 정합이 수행된 2D 영상을 손동작 검출부(146)에게 출력할 수 있다.
깊이값 산출부(144)는 3D 촬영부(130)로부터 입력되는 깊이 영상으로부터 깊이값을 산출할 수 있다. 예를 들어, 깊이값 산출부(144)는 깊이 영상을 이루는 각 화소의 그레이값으로부터 화소 별 깊이값을 알 수 있다. 깊이값 산출부(144)는 각 화소의 깊이값들의 평균값 또는 최소 깊이값 또는 최대 깊이값 중 하나를 설정된 정책에 따라 손동작 검출부(146)에게 출력할 수 있다. 이하에서는 깊이값 산출부(144)가 손동작 검출부(146)에게 출력하는 평균값, 최소 깊이값 및 최대 깊이값 중 하나를 설명의 편의를 위해 ‘깊이값’이라 한다.
손동작 검출부(146)는 대기모드에서 촬영된 손동작의 깊이 영상이 사전에 정해진 제1임계값 미만이면, 대기모드에서 촬영된 손동작의 2D 영상의 차영상(Difference Image)을 구할 수 있다. 손동작 검출부(146)는 구한 차영상을 제어부(170)에게 출력할 수 있다.
자세히 설명하면, 손동작 검출부(146)는 깊이값 산출부(144)로부터 입력되는 깊이값과 사전에 정해진 제1임계값을 비교할 수 있다. 이는, 3D 촬영부(130) 앞에서 운전자가 손을 움직일 때 손과 3D 촬영부(130) 간의 간격을 의미하는 깊이값이 제1임계값보다 크면, 촬영된 손동작은 차량 제어 명령과는 무관한 손동작으로 판단하기 위함이다. 예를 들어, 깊이값이 제1임계값보다 크면, 제1임계값보다 먼 거리에서 발생한 손동작이 촬영된 것을 의미하며, 이는 곧 운전자가 아닌 다른 탑승자에 의해 우연히 발생한 손동작일 수 있기 때문이다.
손동작 검출부(146)는 입력되는 깊이값이 제1임계값 미만이면, 촬영된 손동작이 유효한 것으로 판단하고, 2D 영상과 이전에 촬영된 2D 영상을 비교하여 차영상을 구할 수 있다. 차영상은 이전 영상을 기준으로 변화된 부분만을 보여주므로, 손동작 검출부(146)는 차영상으로부터 운전자의 손이 이전 영상에 비해 어느 정도로 움직였는지를 판단할 수 있다.
손동작 검출부(146)는 차영상과 사전에 정해진 제2임계값을 비교하고, 비교결과 차영상이 제2임계값 미만이면, 촬영된 손동작(즉, 운전자에 의해 취해진 손동작)이 모드 전환용 손동작인 것으로 인식할 수 있다. 그리고, 손동작 검출부(146)는 촬영된 손동작인 모드 전환용 손동작이었음을 제어부(170)에게 통지할 수 있다. 모드 전환용 손동작은 예를 들어 운전자가 손을 좌우로 흔드는 쉐이킹동작일 수 있다. 일 예로, 손동작 검출부(146)는 차영상을 이루는 화소값들의 평균과 제2임계값을 비교할 수 있다.
한편, 손동작 검출부(146)는 장치(100)가 명령모드로 진입하고 운전자의 음성이 인식된 후, 운전자의 손동작이 재촬영되면 재촬영된 손동작을 인식할 수 있다. 이때 인식되는 재촬영된 손동작은 차량 제어 명령 확인에 사용될 수 있다.
자세히 설명하면, 재촬영된 손동작의 2D 영상과 깊이 영상이 영상 정합부(142)에 의해 정합되면, 영상 정합부(142)는 정합된 2D 영상과 깊이 영상을 손동작 검출부(146)로 출력한다. 손동작 검출부(146)는 재촬영된 손동작에 해당하는 2D 영상을 이용하여 2D 영상 중 손에 해당하는 부분을 관심영역(ROI: Region of Interest)으로서 검출할 수 있다. 또는, 손동작 검출부(146)는 재촬영된 2D 영상의 깊이값을 이용하여 손의 중심점이나 자세(Posture)를 인식할 수 있다. ROI 또는 손의 중심점을 인식하는 이유는 보다 정확하고 실질적인 손동작을 인식하기 위함이다.
운전자의 손이 검출되면, 손동작 검출부(146)는 재촬영된 2D 영상을 분할(segmentation)하여 2D 영상 중 움직인 방향의 시작점과 끝점을 판단할 수 있다. 이는, 손동작을 정확히 인식하기 위해서는 손의 움직임이 어디서부터 시작되어 어디서 끝났는지를 정확히 알아야 하기 때문이다. 손이 우측에서 좌측으로 움직인 동작을 인식하는 경우를 가정하면, 운전자는 손을 좌측에서 우측으로 이동한 후 다시 중앙점(즉, 손을 처음 우측으로 이동하기 시작한 점)으로 이동한다. 그 후, 운전자는 다음 동작을 하게 되므로, 손동작 검출부(146)는 분할 작업에 의해, 각 손동작마다 정확히 손동작이 의미하는 부분을 시작 및 종료하는 작업을 자동으로 수행할 수 있다.
또한, 손동작 검출부(146)는 검출된 손이 움직인 방향을 차영상을 이용하여 인식할 수 있다. 이로써, 손동작 검출부(146)는 손 검출, 분할 작업 및 손의 이동 방향을 조합하여, 재촬영된 손동작이 어떠한 동작인지를 정확히 인식할 수 있다.
도 2는 운전자의 손동작을 다양한 예를 보여주는 도면이다.
도 2를 참조하면, 운전자의 손동작은 손을 좌우로 흔드는 쉐이킹동작, 손을 앞으로 미는 푸쉬동작, 손을 오른쪽으로 이동하는 우측동작, 손을 왼쪽으로 이동하는 좌측동작, 손을 위로 이동하는 상향동작 및 손을 아래로 이동하는 하향동작을 포함할 수 있다. 이는, 손동작 검출부(146)는 운전자의 촬영된 손동작으로부터 쉐이킹동작, 우측동작, 좌측동작, 상향동작, 하향동작 및 푸쉬동작 중 적어도 하나를 인식할 수 있음을 의미한다. 쉐이킹동작은 모드전환용 손동작으로 사용되고, 푸쉬동작은 선택을 위한 손동작으로 사용되고, 그 외의 동작은 차량 제어용 손동작으로 사용될 수 있으며, 이는 운전자 조작에 의해 또는 제조단계에서 변경가능하다.
마이크로폰(150)은 운전자의 음성을 입력받는다. 마이크로폰(150)은 지속적으로 운전자의 음성을 입력받거나, 또는 제어부(170)에 의해 명령모드로 전환되고 마이크로폰(150)이 동작 온(on) 상태가 되면, 동작 온 상태가 된 이후부터의 음성을 입력받을 수 있다.
음성인식모듈(160)은 동작인식모듈(140)에 의해 인식되는 손동작에 기초하여 마이크로폰(150)을 통해 입력되는 음성을 인식할 수 있다. 자세히 설명하면, 음성인식모듈(160)은 동작인식모듈(140)에 의해 인식된 손동작이 모드 전환용 손동작인 경우, 마이크로폰(150)으로부터 출력되는 음성을 분할(segmentation)하여 입력되는 음성 중 차량 제어 명령과 관련된 음성을 추출 및 인식할 수 있다. 예를 들어, 운전자가 ‘라디오’를 말한 경우, 음성인식모듈(160)은 입력된 음성신호로부터 운전자가 말한 내용이 ‘라디오’임을 인식할 수 있다. 또한, 음성인식모듈(160)은 운전자로부터 연속으로 입력되는 두 단어 이상의 음성을 인식할 수도 있다. 이러한 경우 첫 번째 단어는 상위음성, 두 번째 단어는 하위음성으로 인식될 수 있다. 음성인식모듈(160)은 주지된 다양한 알고리즘들 하나 또는 장차 개발될 알고리즘을 사용하여 음성을 분할 및 인식할 수 있다.
한편, 음성인식모듈(160)은 운전자의 조작에 따라 운전자의 음성만을 인식하고, 운전자 외의 음성에 대해서는 음성인식동작을 수행하지 않을 수 있다. 이를 위해, 음성인식모듈(160)은 운전자의 음성에 해당하는 주파수 또는 파형을 사전에 저장하고, 입력되는 음성과 사전에 저장된 주파수 또는 파형을 비교하여 입력되는 음성이 운전자의 음성인지를 판단할 수도 있다.
제어부(170)는 장치(100)의 전반적인 동작을 메모리(미도시)에 저장된 제어프로그램 또는 적어도 하나의 프로세서를 이용하여 제어할 수 있다.
특히, 본 발명의 실시예에서, 제어부(170)는 동작인식모듈(140)에서 인식된 손동작이 사전에 정해진 모드 전환용 손동작이면, 대기모드에서 운전자의 음성과 손동작에 의해 명령을 입력받을 수 있는 명령모드로 전환하고, 마이크로폰(150)을 통해 입력되는 음성을 인식하도록 음성인식모듈(160)을 제어할 수 있다. 즉, 운전자로부터 모드 전환용 손동작이 인식되기 전까지 제어부(170)는 운전자 명령 입력을 대기하는 대기모드 상태에 있을 수 있다.
자세히 설명하면, 장치(100)의 모드가 운전자의 손동작에 기초하여 동작하는 명령모드로 전환되면, 제어부(170)는 마이크로폰(150)을 온(on) 시키고, 동작인식모듈(140)과 음성인식모듈(160)이 각각 손동작과 음성을 동시에 또는 순차적으로 인식하도록 동작인식모듈(140)과 음성인식모듈(160)을 초기화 및 동기화시킬 수 있다.
그리고, 사전에 정해진 시간 이내에 마이크로폰(150)을 통해 운전자의 음성이 입력되면, 제어부(170)는 마이크로폰(150)을 통해 입력된 음성을 인식하도록 음성인식모듈(160)을 제어하고, 운전자의 음성이 인식되면 인식된 음성에 해당하는 동작모드로 진입할 수 있다. 동작모드는 차량에 장착된 기기(300)의 동작을 제어하는 모드이고, 기기(300)는 상술한 바와 같이 라디오, 에어컨디셔너, 모바일폰, 음악 재생기, 네비게이션, 창문 및 사이드미러 중 적어도 하나일 수 있다.
이때 제어부(170)는 동작모드로 진입한 정보를 스피커(미도시)를 통해 운전자에게 피드백해 줄 수도 있다.
예를 들어, 인식된 음성이 ‘라디오’이면 제어부(170)는 ‘라디오’를 제어할 수 있는 동작모드로 진입할 수 있다. 또는, ‘라디오’와 ‘볼륨’이라는 두 음성이 순차적으로 인식된 경우, 제어부(170)는 ‘라디오의 볼륨’을 제어할 수 있는 동작모드로 진입하고, ‘라디오 볼륨’이라는 음성을 운전자에게 피드백할 수 있다.
인식된 음성에 해당하는 동작모드로 진입한 후, 3D 촬영부(130)에 의해 운전자의 손동작이 재촬영되면, 제어부(170)는 재촬영된 손동작을 인식하도록 동작인식모듈(140)을 제어할 수 있다. 이에 의해, 동작인식모듈(140)은 ROI를 이용하여 손을 검출하고 분할 작업 및 차영상을 이용하여 차량 제어 명령에 사용될 손동작을 인식할 수 있다.
제어부(170)는 운전자의 음성과 재촬영된 운전자의 손동작이 인식되면, 인식된 음성에 해당하는 동작모드와 재촬영된 손동작에 매핑되어 저장된 차량 제어 명령을 저장부(110)로부터 확인할 수 있다. 그리고, 제어부(170)는 인터페이스부(120)를 통해 연결된 차량 제어 모듈(200)에게 확인된 차량 제어 명령을 전달할 수 있다. 차량 제어 모듈(200)은 차량 제어 명령에 해당하는 차량 기기(300)의 동작을 제어할 수 있다.
도 3은 본 발명의 실시예에 따른 인식된 음성과 운전자의 손동작에 해당하는 차량 제어 명령의 일 예를 보여주는 도면이다.
도 3을 참조하면, 라디오, 에어컨디셔너, 전화, CD 및 네비게이션은 인식된 상위 음성이며, 각 상위 음성에 매핑되어 있는 볼륨(소리), 채널(선국), 온도, 바람, 각 숫자는 상위 음성에 해당하는 하위 음성이다. 또한, 하위 음성에 매핑되어 있는 손동작은 상위 음성에 해당하는 기기 중 하위 음성에 해당하는 동작을 제어하기 위한 손동작일 수 있다. 예를 들어, 명령모드로 전환된 후 운전자로부터 입력된 ‘라디오’라는 상위 음성과 ‘볼륨’이라는 하위 음성이 인식된 후, ‘좌측 손동작’이 인식되면, 장치(100)는 라디오, 볼륨 및 좌측 손동작에 해당하는 차량 제어 명령으로서 라디오의 볼륨을 작게 하라는 차량 제어 명령을 확인할 수 있다. 따라서, 장치(100)는 차량 제어 모듈(200)에게 라디오의 볼륨 감소를 요청할 수 있으며, 차량 제어 모듈(200)은 라디오(310)의 볼륨을 감소시킬 수 있다.
도 4는 본 발명의 실시예에 따른 동작 및 음성을 이용한 지능형 차량 제어 장치(100) 중 3D 촬영부(130)와 마이크로폰(150)이 차량에 설치된 일 예를 보여준다.
도 4를 참조하면, 3D 촬영부(130)는 차량의 센터페시아 부분에 부착되어 운전자의 손동작을 쉽게 촬영할 수 있다. 3D 촬영부(130)는 센터페시아 부분 이외, 예를 들어, 대시보드 또는 스티어링 휠 부분에 부착될 수도 있다.
또한, 마이크로폰(150)은 차량의 천장, 스티어링 휠 또는 대시보드와 같이 운전자의 얼굴이 주로 향하는 정면에 부착될 수 있다.
도 5는 본 발명의 실시예에 따른 동작 및 음성 인식을 이용한 지능형 차량 제어 방법을 설명하기 위한 흐름도이다.
도 5의 동작 및 음성 인식을 이용한 지능형 차량 제어 방법을 수행하는 지능형 차량 제어 장치는 도 1을 참조하여 설명한 지능형 제어 장치(100)이거나 장치(100)에 구비되는 적어도 하나의 프로세서일 수 있다.
도 5를 참조하면, 지능형 차량 제어 장치는 운전자로부터 동작 및 음성에 의한 제어 명령을 입력받기 위한 대기모드에 있다(S505).
대기모드에서 운전자의 손동작이 3D 촬영부에 의해 촬영되면(S510), 지능형 차량 제어 장치는 손동작에 해당하는 2D 영상과 깊이 영상을 획득하고, 2D 영상과 깊이 영상을 정합하여 좌표를 교정할 수 있다(S515).
지능형 차량 제어 장치는 S510단계에서 획득되는 깊이 영상으로부터 깊이값을 산출할 수 있다(S520). S520단계에서, 지능형 차량 제어 장치는 깊이 영상의 그레이값으로부터 깊이값을 산출할 수 있다.
지능형 차량 제어 장치는 산출된 깊이값과 사전에 정해진 제1임계값(TH1)을 비교할 수 있다(S525).
비교 결과 깊이값이 제1임계값(TH1) 미만이면(S525-N), 지능형 차량 제어 장치는 S510단계에서 촬영된 손동작이 차량 제어 명령과 관련이 있는 것으로 판단하고, 2D 영상의 차영상을 생성할 수 있다(S530). S530단계에서 생성되는 차영상은 운전자의 손이 이전 영상에 비해 어느 정도로 움직였는지를 판단하는데 사용될 수 있다.
지능형 차량 제어 장치는 S530단계에서 생성된 차영상과 사전에 정해진 제2임계값(TH2)을 비교할 수 있다(S535).
비교결과 차영상이 제2임계값(TH2) 미만이면(S535-Y), 지능형 차량 제어 장치는 S510단계에서 촬영된 손동작이 모드 전환용 손동작인 것으로 인식하고, 명령모드로 전환할 수 있다(S540). S540단계 이후 마이크로폰이 오프상태이면 지능형 차량 제어 장치는 마이크로폰을 온상태로 전환한다.
명령모드로 전환된 후 사전에 정해진 시간 이내에 마이크로폰을 통해 운전자의 음성이 입력되면(S545-Y), 지능형 차량 제어 장치는 입력된 음성을 인식하고, 인식된 음성에 해당하는 동작모드로 진입할 수 있다(S550). S550단계에서 지능형 차량 제어 장치는 동작모드로 진입하였음을 스피커를 통해 운전자에게 피드백해 줄 수 있다. S550단계에서 지능형 차량 제어 장치는 음성 분할 작업을 통해 음성을 인식할 수 있다.
음성에 해당하는 동작모드로 진입하면, 지능형 차량 제어 장치는 운전자에 의해 발생하는 손동작을 재촬영하여 손동작에 해당하는 2D 영상과 깊이 영상을 획득할 수 있다(S555). S555단계에서 재촬영되는 손동작은 모드 전환용이 아닌 차량 제어 명령에 사용되기 위한 손동작이다.
지능형 차량 제어 장치는 S555단계에서 획득된 2D 영상과 깊이 영상을 정합하여 좌표를 교정할 수 있다(S560).
그리고, 지능형 차량 제어 장치는 2D 영상 중 손에 해당하는 부분을 관심영역으로서 검출하고, 검출된 손의 손동작을 인식할 수 있다(S565). S565단계에서 지능형 차량 제어 장치는 관심영역으로 검출된 손, 검출된 손에 해당하는 2D 영상의 분할 작업 및 손의 이동 방향을 조합하여 재촬영된 손동작을 인식할 수 있다. S565단계에서 인식되는 손동작은 좌측동작, 우측동작, 상향동작, 하향동작 및 푸쉬동작 중 하나일 수 있으며, 이에 한정되지 않는다.
S565단계에서 손동작이 인식되면, 지능형 차량 제어 장치는 S550단계에서 인식된 음성과 S565단계에서 인식된 손동작에 매핑되어 저장된 차량 제어 명령을 확인할 수 있다(S570). 지능형 차량 제어 장치는 확인된 차량 제어 명령을 차량제어모듈에게 전달하여 차량 제어 명령에 해당하는 동작을 요청할 수 있다. 이에 의해, 차량제어모듈은 차량 제어 명령에 해당하는 차량 기기의 동작을 수행하도록 차량 기기를 제어할 수 있다.
상술한 실시예에서 S545단계 내지 S550단계와, S555단계 내지 S565단계는 연동되어 퓨전 방식으로 적용될 수도 있다.
상기와 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 지능형지능형 차량 제어 장치 200: 차량 제어 모듈
300: 차량 기기 110: 저장부
120: 인터페이스부 130: 3D 촬영부
140: 동작인식모듈 150: 마이크로폰
160: 음성인식모듈 170: 제어부

Claims (14)

  1. 사용자의 손동작을 촬영하여 출력하는 3D 촬영부;
    상기 사용자의 음성을 입력받는 마이크로폰;
    상기 3D 촬영부에 의해 촬영된 손동작을 인식하는 동작인식모듈;
    상기 동작인식모듈에 의해 인식되는 손동작에 기초하여 상기 마이크로폰을 통해 입력되는 음성을 인식하는 음성인식모듈; 및
    상기 음성이 인식된 후 상기 3D 촬영부를 통해 재촬영되는 사용자의 손동작이 인식되면, 상기 인식된 음성과 재촬영된 손동작에 해당하는 차량 제어 명령을 확인하는 제어부;를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 동작인식모듈에서 인식되는 손동작이 사전에 정해진 모드 전환용 손동작이면, 상기 마이크로폰을 통해 입력되는 음성을 인식하도록 상기 음성인식모듈을 제어하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치.
  3. 제1항에 있어서,
    상기 제어부는, 상기 동작인식모듈에서 인식되는 손동작이 차량 제어를 요청하는 모드 전환용 손동작이면, 대기모드에서 상기 사용자의 음성과 손동작에 기초하여 동작하는 명령모드로 전환하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치.
  4. 제3항에 있어서,
    상기 동작인식모듈은 상기 대기모드에서 촬영된 손동작의 깊이영상이 사전에 정해진 제1임계값 미만이면, 상기 대기모드에서 촬영된 손동작의 2D 영상의 차영상(Difference Image)을 구하고,
    상기 제어부는 상기 구해진 차영상이 사전에 정해진 제2임계값 미만이면, 상기 손동작이 상기 모드 전환용 손동작인 것으로 판단하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 명령모드로 전환된 후 상기 사용자의 음성이 인식되면, 상기 제어부는 상기 인식된 음성에 해당하는 동작모드로 진입하고, 상기 재촬영된 손동작이 인식되면, 상기 제어부는 상기 음성에 해당하는 동작모드와 상기 재촬영된 손동작에 매핑된 차량 제어 명령을 확인하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치.
  6. 제5항에 있어서,
    상기 동작모드는 차량에 장착된 기기들 중 하나의 동작을 제어하는 모드이고, 상기 기기들은 라디오, 에어컨디셔너, 모바일폰, 음악 재생기, 네비게이션, 창문 및 사이드미러 중 적어도 하나를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치.
  7. 제1항에 있어서,
    상기 동작인식모듈이 인식하는 상기 사용자의 손동작은 상기 사용자의 손을 좌우로 흔드는 쉐이킹동작, 상기 사용자의 손을 오른쪽으로 이동하는 우측동작, 상기 사용자의 손을 왼쪽으로 이동하는 좌측동작, 상기 사용자의 손을 위로 이동하는 상향동작 및 상기 사용자의 손을 아래로 이동하는 하향동작 중 적어도 하나를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 장치.
  8. 사용자의 손동작을 촬영하여 3D 영상으로 출력하는 단계;
    상기 출력되는 3D 영상으로부터 상기 손동작을 인식하는 단계;
    상기 인식되는 손동작에 기초하여 마이크로폰을 통해 입력되는 음성을 인식하는 단계;
    상기 음성이 인식된 후 상기 사용자의 손동작을 재촬영하여 상기 재촬영된 손동작을 인식하는 단계;
    상기 재촬영된 손동작이 인식되면, 상기 인식된 음성과 재촬영된 손동작에 해당하는 차량 제어 명령을 확인하는 단계;를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법.
  9. 제8항에 있어서,
    상기 음성을 인식하는 단계는, 상기 손동작을 인식하는 단계에서 인식되는 손동작이 사전에 정해진 모드 전환용 손동작인 경우에 수행되는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 손동작을 인식하는 단계에서 인식되는 손동작이 차량 제어를 요청하는 모드 전환용 손동작이면, 대기모드에서 상기 사용자의 음성과 손동작에 기초하여 동작하는 명령모드로 전환하는 단계;를 더 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법.
  11. 제10항에 있어서,
    상기 손동작을 인식하는 단계는,
    상기 대기모드에서 촬영된 손동작의 깊이영상과 사전에 정해진 제1임계값을 비교하여 상기 깊이영상이 상기 제1임계값 미만이면, 상기 대기모드에서 촬영된 손동작의 2D 영상의 차영상(Difference Image)을 구하는 단계;
    상기 구해진 차영상이 사전에 정해진 제2임계값을 비교하여 상기 차영상이 상기 제2임계값 미만이면, 상기 손동작이 상기 모드 전환용 손동작인 것으로 판단하는 단계;를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법.
  12. 제10항에 있어서,
    상기 명령모드로 전환된 후 상기 사용자의 음성이 인식되면, 상기 인식된 음성에 해당하는 동작모드로 진입하는 단계;를 더 포함하며,
    상기 차량 제어 명령을 확인하는 단계는, 상기 동작모드로 진입한 이후 상기 재촬영된 손동작이 인식되면, 상기 음성에 해당하는 동작모드와 상기 재촬영된 손동작에 매핑된 차량 제어 명령을 확인하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법.
  13. 제12항에 있어서,
    상기 동작모드는 상기 차량에 장착된 기기들 중 하나의 동작을 제어하는 모드이고, 상기 기기들은 라디오, 에어컨디셔너, 모바일폰, 음악 재생기, 네비게이션, 창문 및 사이드미러 중 적어도 하나를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법.
  14. 제8항에 있어서,
    상기 손동작을 인식하는 단계에서 인식하는 상기 사용자의 손동작은 상기 사용자의 손을 좌우로 흔드는 쉐이킹동작, 상기 사용자의 손을 오른쪽으로 이동하는 우측동작, 상기 사용자의 손을 왼쪽으로 이동하는 좌측동작, 상기 사용자의 손을 위로 이동하는 상향동작 및 상기 사용자의 손을 아래로 이동하는 하향동작 중 적어도 하나를 포함하는 것을 특징으로 하는 동작 및 음성을 이용한 지능형 차량 제어 방법.
KR1020110120027A 2011-11-17 2011-11-17 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법 KR101260053B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110120027A KR101260053B1 (ko) 2011-11-17 2011-11-17 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110120027A KR101260053B1 (ko) 2011-11-17 2011-11-17 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101260053B1 true KR101260053B1 (ko) 2013-05-06

Family

ID=48665345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110120027A KR101260053B1 (ko) 2011-11-17 2011-11-17 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101260053B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160084951A1 (en) * 2014-09-18 2016-03-24 Hyundai Motor Company System and method for recognizing a motion by analyzing a radio signal
KR101650769B1 (ko) * 2015-05-28 2016-08-25 미디어젠(주) 제스처 인식을 이용한 차량용 음성 인식시스템
DE102016213313A1 (de) 2016-07-21 2018-01-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Unterstützung eines Anwenders
KR20230001968A (ko) 2021-06-29 2023-01-05 혜윰기술 주식회사 차량용 음성 및 제스처 인식 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050589A1 (en) 2009-08-28 2011-03-03 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
WO2011036618A2 (en) 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050589A1 (en) 2009-08-28 2011-03-03 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
WO2011036618A2 (en) 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160084951A1 (en) * 2014-09-18 2016-03-24 Hyundai Motor Company System and method for recognizing a motion by analyzing a radio signal
US9869760B2 (en) * 2014-09-18 2018-01-16 Hyundai Motor Company System and method for recognizing a motion by analyzing a radio signal
KR101650769B1 (ko) * 2015-05-28 2016-08-25 미디어젠(주) 제스처 인식을 이용한 차량용 음성 인식시스템
DE102016213313A1 (de) 2016-07-21 2018-01-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Unterstützung eines Anwenders
WO2018015165A1 (de) 2016-07-21 2018-01-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und verfahren zur unterstützung eines anwenders
KR20230001968A (ko) 2021-06-29 2023-01-05 혜윰기술 주식회사 차량용 음성 및 제스처 인식 장치

Similar Documents

Publication Publication Date Title
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
US9576189B2 (en) Method and apparatus for controlling vehicle using motion recognition with face recognition
CN108473109B (zh) 无缝车辆访问***
US7702130B2 (en) User interface apparatus using hand gesture recognition and method thereof
JP4419758B2 (ja) 自動車用ユーザもてなしシステム
JP4311190B2 (ja) 車載機器用インターフェース
US20100039224A1 (en) Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method
KR20150044874A (ko) 깊이 기반 콘텍스트 식별
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101260053B1 (ko) 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법
JP2009284442A (ja) 人物認証装置および人物認証方法
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR102266354B1 (ko) 다중설정을 위한 생체인증 장치 및 방법
KR102429480B1 (ko) 차량의 운전자세 제어 장치 및 방법
JP2007216920A (ja) 自動車の座席制御装置、座席制御用プログラムおよび車載ナビゲーション装置
JP2018206073A (ja) 遠隔操作システム
CN114013392A (zh) 基于车辆座舱的休息空间控制方法、装置、***及设备
KR20130046759A (ko) 차량에서 운전자 명령 인지장치 및 방법
JP4660592B2 (ja) カメラ制御装置、カメラ制御方法、カメラ制御プログラムおよび記録媒体
JP2020075570A (ja) 車両用制御装置
US11097745B2 (en) Driving support method, vehicle, and driving support system
KR102537879B1 (ko) 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법
KR20200143342A (ko) 지능형 차량 제어 방법
TWI737588B (zh) 拍照系統及方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 7