KR102059607B1 - 이동 단말기 및 이의 제어 방법 - Google Patents

이동 단말기 및 이의 제어 방법 Download PDF

Info

Publication number
KR102059607B1
KR102059607B1 KR1020130083062A KR20130083062A KR102059607B1 KR 102059607 B1 KR102059607 B1 KR 102059607B1 KR 1020130083062 A KR1020130083062 A KR 1020130083062A KR 20130083062 A KR20130083062 A KR 20130083062A KR 102059607 B1 KR102059607 B1 KR 102059607B1
Authority
KR
South Korea
Prior art keywords
display
screen
vehicle
driver
image
Prior art date
Application number
KR1020130083062A
Other languages
English (en)
Other versions
KR20150009120A (ko
Inventor
조경민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130083062A priority Critical patent/KR102059607B1/ko
Priority to US14/280,162 priority patent/US9513702B2/en
Priority to EP14177068.5A priority patent/EP2826689B1/en
Priority to CN201410336137.4A priority patent/CN104301507B/zh
Publication of KR20150009120A publication Critical patent/KR20150009120A/ko
Application granted granted Critical
Publication of KR102059607B1 publication Critical patent/KR102059607B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

이동 단말기 및 이의 제어방법이 개시된다. 차량내 영상표시장치와 접속하는 무선 통신부와, 접속된 차량내 영상표시장치의 제 1 디스플레이를 기준으로 촬영된 운전자의 영상과 제 2 디스플레이를 기준으로 촬영된 운전자의 영상에 근거하여 상기 운전자의 시선이 향하는 방향을 감지하는 사용자 추적부와, 상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 제 2 디스플레이로 이동된 것에 응답하여, 상기 제 1 디스플레이에 표시되는 제 1 화면의 적어도 일부가 상기 제 2 디스플레이의 일 영역에 표시되도록 상기 무선 통신부를 제어하는 제어부를 포함하여 이루어진다. 이에 의하면, 차량의 운행 중에 운전자의 시선이 다양한 각도로 변경됨에 따라, 이전 운전시야각에 대응되는 화면을 현재 운전시야각에 대응되는 디스플레이에 함께 표시함으로써, 운전자의 안전 운전을 돕고 이와 함께 운전자의 편의가 향상되는 효과가 있다.

Description

이동 단말기 및 이의 제어 방법{MOBILE TERMINAL AND CONTROL METHOD THEREOF}
본 발명은 이동 단말기 및 이의 제어 방법에 관한 것으로, 특히, 차량내의 영상표시장치와 접속가능한 이동 단말기 및 이의 제어방법에 관한 것이다.
단말기(terminal)는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기는 기능이 다양화됨에 따라, 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
한편, 이와 같은 단말기는 차량내 영상표시장치와 접속하여 적어도 하나의 컨텐츠를 표시하는 것이 가능하다. 여기서, 차량내 영상표시장치는 차량에 고정식 또는 착탈식으로 장착되어, 운전자의 편의를 위해 카메라를 통해 차량의 외부를 촬영하는 기능과, 차량을 목적지로 안내하는 기능과, 기타 사용자가 시청할 수 있는 영상 및 소리를 출력하는 기능을 포함하는 모든 장치를 포함할 수 있다.
이와 같은 차량내 영상표시장치는 일반적으로 운전석 앞쪽에 위치한 대쉬보드(dash board)에 부착되는데, 예를 들어 헤드 유닛(H/U, Head Unit)으로 지칭될 수 있다. 이와 같이, 차량내 영상표시장치가 전자화되고 이동 단말기의 기능이 다양화되면서, 상기 헤드 유닛과 이동 단말기 간에 연동되는 서비스가 더욱 개발되고 있다. 예를 들어, 상기 이동 단말기에내의 네비게이션 애플리케이션 또는 서비스 화면이 차량내 헤드 유닛의 디스플레이에 동일하게 표시되거나, 또는 이동 단말기의 조작이 헤드 유닛에서 이루어질 수 있다.
그러나, 안전 운전을 위해, 차량의 주행중에는 헤드 유닛과 이동 단말기를 통해 상술한 바와 같은 애플리케이션과 서비스 화면을 제어하는 것이 제한된다. 또한, 운전자 이외의 동승자가 없는 경우 동승자를 통해서 이동 단말기를 이용하여 헤드 유닛에 제공되는 애플리케이션이나 서비스 화면을 제어하는 것도 불가능해진다.
이에, 본 발명의 목적은 운전에 방해를 주지 않으면서 운전자의 시선 방향에 따라 차량내 헤드 유닛에 제공되는 화면을 제어할 수 있는 이동 단말기 및 이의 제어방법을 제공하는데 그 목적이 있다.
이를 위해, 본 발명의 실시예에 따른 차량의 이동 단말기는, 차량내 영상표시장치와 접속하는 무선 통신부와; 접속된 차량내 영상표시장치의 제 1 디스플레이를 기준으로 촬영된 운전자의 영상과 제 2 디스플레이를 기준으로 촬영된 운전자의 영상에 근거하여 상기 운전자의 시선이 향하는 방향을 감지하는 사용자 추적부와; 상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 제 2 디스플레이로 이동된 것에 응답하여, 상기 제 1 디스플레이에 표시되는 제 1 화면의 적어도 일부가 상기 제 2 디스플레이의 일 영역에 표시되도록 상기 무선 통신부를 제어하는 제어부를 포함하여 이루어진다.
일 실시예에서, 상기 제 1 및 제 2 디스플레이는 차량에 착탈가능하게 배치되는 적어도 하나의 카메라와 연결되고, 상기 적어도 하나의 카메라는 각 디스플레이를 기준으로 소정 범위내에 존재하는 운전자의 영상과 차량 외부의 영상을 획득하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제 1 화면에서 운전자의 이전 시선이 고정된 소정범위의 부분화면을 실시간으로 추출하고, 추출된 부분화면이 상기 제 2 디스플레이의 일 영역에 표시되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 차량내 영상표시장치에 상기 제 1 디스플레이에 표시되는 제 1 화면의 전송을 실시간으로 요청하고, 요청에 따라 수신된 상기 제 1 화면이 상기 제 2 디스플레이의 일 영역에 실시간으로 표시되도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제 1 화면이 상기 제 2 디스플레이의 제 2 화면위에 오버레이되어 표시되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제 2 디스플레이에 표시되는 제 2 화면과 구별되는 영역에 상기 제 1 화면이 출력되도록 하고, 상기 제 1 화면의 경계영역에 프레임이 표시되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 2 디스플레이에서 상기 제 1 디스플레이로 이동되면, 상기 제 2 디스플레이의 일 영역에 출력되었던 제 1 화면이 사라지게 하고 상기 제 2 디스플레이에 표시되는 제 2 화면의 적어도 일부가 상기 제 1 디스플레이의 일 영역에 출력되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제 1 디스플레이는 차량의 전방에 배치되는 헤드 유닛 디스플레이(HUD, Head Unit Display)고, 상기 제 2 디스플레이는 차량의 후방시야를 감시하기 위한 반사경이고, 상기 제 1 화면은 전방카메라를 통해서 획득된 차량의 외부 영상이고, 상기 제 2 화면은 측방 또는 후방 카메라를 통해 획득된 차량의 외부 영상인 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 이동 단말기의 디스플레이부로 이동된 것에 응답하여, 상기 디스플레이부에서 운전자의 시선이 고정된 소정범위를 벗어나는 영역에 상기 제 1 디스플레이에 출력되는 제1화면의 적어도 일부를 출력하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 차량 운행의 중단 신호가 입력되면, 상기 운전자의 시선이 상기 디스플레이부로 이동된 것에 응답하여 상기 디스플레이부의 일 영역에 상기 제1화면의 적어도 일부를 출력하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 차량내 전방카메라를 통해 촬영된 영상에 포함된 신호등이 '정지'를 나타내는 신호이면 상기 중단 신호가 입력된 것으로 판단하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 차량 운행의 재개 신호가 입력되면, 운전자의 시선이 상기 디스플레이부로부터 벗어나도록 상기 차량 운행의 재개 상태를 알리기 위한 경고 알림을 상기 디스플레이부에 출력하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 차량내 전방카메라를 통해 촬영된 영상에 포함된 신호등이 '정지'에서 '진행'을 나타내는 신호로 변경되면, 상기 차량 운행의 재개 신호가 입력된 것으로 판단하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 디스플레이부에 출력되는 제 1 화면에 대하여 소정 방향의 제1입력이 감지되면, 상기 제 1 화면의 출력범위가 상기 제 1 입력에 대응되게 변경되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 디스플레이부에 출력되는 제 1 화면에 대하여 소정 방향의 제 2 입력이 감지되면, 상기 접속된 차량내 영상표시장치의 다른 디스플레이에 표시되는 화면이 상기 디스플레이부에 출력되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 기설정된 시간 동안, 상기 디스플레이부에 운전자의 시선이 감지되지 않으면, 상기 디스플레이부에서 상기 제 1 화면이 사라지도록 제어하고, 상기 제 1 화면이 나타나도록 하기 위한 인디케이터가 상기 디스플레이부의 일 영역에 출력되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 인디케이터에 대하여 소정 방향의 터치입력이 감지되면, 상기 인디케이터에 대응되는 제 1 화면이 상기 방향을 따라 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 사용자 추적부는, 상기 접속된 차량내 영상표시장치의 제 3 디스플레이를 기준으로 촬영된 운전자의 영상을 더 포함하여 운전자의 시선이 향하는 방향을 감지하고, 상기 제어부는, 상기 감지된 운전자의 시선에 대응되는 방향이 상기 디스플레이부에서 상기 제 3 디스플레이로 이동된 것에 응답하여, 상기 디스플레이부에 출력되는 컨텐츠 화면과 상기 제 1 화면이 상기 제 3 디스플레이에 함께 출력되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 이동 단말기 본체와 접속되고, 운전자가 신체의 일부에 착용하도록 이루어지는 제 2 영상표시장치를 더 포함하고, 상기 제어부는, 상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 제 2 디스플레이로 이동된 것에 응답하여, 상기 제 1 디스플레이에 표시되는 제 1 화면과 상기 제 2 디스플레이에 표시되는 제 2 화면이 함께 상기 제 2 영상표시장치의 화면에 출력되도록 제어하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 이동 단말기의 제어방법은, 차량내 영상표시장치와 접속하는 단계와; 접속된 차량내 영상표시장치의 제 1 디스플레이를 기준으로 촬영된 운전자의 영상과 제 2 디스플레이를 기준으로 촬영된 운전자의 영상에 근거하여 상기 운전자의 시선이 향하는 방향을 감지하는 단계와; 상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 제 2 디스플레이로 이동된 것에 응답하여, 상기 제 1 디스플레이에 표시되는 제 1 화면의 적어도 일부가 상기 제 2 디스플레이의 일 영역에 실시간으로 출력되도록 제어하는 단계를 포함하여 이루어진다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 이동 단말기 및 이동 단말기의 제어방법에 의하면, 차량의 운행 중에 운전자의 시선이 다양하게 변화함에 따라, 이전 운전시야각에 대응되는 화면을 현재 운전시야각에 대응되는 디스플레이에 함께 표시함으로써, 운전자의 안전 운전을 돕고 이와 동시에 운전자의 편의를 향상시키는 효과가 있다.
또한, 접속된 이동 단말기가 운행중 운전자의 자연스러운 시선변화에 따라 차량 헤드 유닛의 디스플레이를 제어함으로써, 운전자가 차량 운행 중에 별도의 입력을 수행할 필요가 없다.
도 1은 본 발명의 일 실시 예에 따른 이동 단말기 및 상기 이동 단말기와 접속하는 차량내 영상표시장치의 예시를 보인 도면이다.
도 2는 본 발명의 일 실시 예에 따른 이동 단말기의 구성을 보인 도면이다.
도 3은 본 발명의 일 실시 예에 따른 이동 단말기와 접속하는 차량내 영상표시장치의 예시 구성을 보인 도면이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 이동 단말기의 제어방법을 설명하기 위한 흐름도들이다.
도 6a 내지 도 6c는 본 발명의 일 실시 예에 따라, 운전자의 시선이 향하는 방향에 따라, 차량내 영상표시장치의 제1디스플레이에 표시되는 화면이 제2디스플레이에 표시되도록 하는 이동 단말기의 제어방법을 설명하기 위한 개념도들이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따라, 차량내 영상표시장치의 제1디스플레이에 표시되는 화면에서 운전자의 시선이 고정된 범위의 부분화면만 제2디스플레이에 표시되도록 하는 이동 단말기의 제어방법을 설명하기 위한 개념도들이다.
도 8은 본 발명의 일 실시 예에 따라, 운전자의 시선이 향하는 방향에 따라, 차량내 영상표시장치의 디스플레이에 표시되는 이전 화면의 크기 및 위치가 변경되는 예시를 설명하기 위한 도면이다.
도 9a 내지 도 9d는 본 발명의 일 실시 예에 따라, 운행 중단 중 운전자의 시선이 향하는 방향에 따라 차량내 영상표시장치에 표시되는 화면이 접속된 이동 단말기의 화면에 표시되는 예시를 설명하기 위한 도면들이다.
도 10은 본 발명의 일 실시 예에 따라, 운행 중단 중에 운전자가 또는 차량내 동승자가 이전 운전시야각에 대응되는 화면을 이동 단말기에서 확인하기 위한 이동 단말기의 제어방법을 설명하기 위한 개념도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일 실시 예에 따른 이동 단말기 및 상기 이동 단말기와 접속하는 차량내 영상표시장치의 예시를 보인 도면이다.
본 명세서에서 설명되는 이동 단말기(100)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다.
또한, 본 명세서 설명되는 차량내 영상표시장치(200)는 도 1 에 도시된 것처럼 접속된 이동 단말기(100)로부터 전송된 화면을 차량의 운행에 따른 다양한 운전시야각을 반사경(예, 사이드 미러(201b, 201c), 리어 뷰 미러(rear view mirror)(201d))에 표시하거나, 내비게이션의 디스플레이(201e)에 표시하거나, 차량의 계기판(dashboard)에 표시하거나, HUD(Head-Up Display) 또는 프로젝터를 이용하여 차량의 앞유리(예, 201a)에 표시할 수 있다. 즉, 상기 차량내 영상표시장치(200)의 표시부는 영상표시장치(200) 본체와 이격된 위치에 마련될 수 있고, 운전시야각에 따라 이하에 설명되는 바와 같이 복수 개로 이루어질 수 있다.
또한, 상기 차량내 영상표시장치(200) 외에도 도 1 에 도시된 바와 같이, 헤드 마운트 디스플레이(Head Mounted Display, HMD)(300a) 또는 차량내 위치한 노트북 등의 다른 이동 단말기(300b)가 차량내 다른 영상표시장치로 포함될 수 있다.
또한, 이와 같이 차량내 영상표시장치(200), 이동 단말기(100), 및 차량내 다른 영상표시장치들(300a, 300b)는 상기 이동 단말기(100)를 통해 접속되어, 차량의 외부 상황(예, 사각지대의 물체 출현 등), 차량의 내부 상태 정보(예, 브레이크 동작신호), 및 정보 제공 또는 엔터테인먼트 효과를 위한 컨텐츠(예, 지도정보나 웹서버로부터 수신된 정보 등)를 서로 주고 받음으로써, 하나의 차량 시스템처럼 동작할 수 있다.
이와 같은 차량내 영상표시장치들(200, 300a, 300b)은 이동 단말기(100)를 통해 후석에 위치한 디스플레이와 접속하여 통신할 수 있다. 또한, 상기 차량내 영상표시장치들(200, 300a, 300b)는 하나의 이동 단말기와 접속할 수도 있고, 복수의 이동 단말기와 접속할 수도 있다.
한편, 이와 같은 차량내 영상표시장치들(200, 300a, 300b)은 LAN(Local Area Network), WAN(Wide Area Network)과 같은 유무선 통신 네트워크를 통해 교통 정보 및 각종 데이터(예를 들면, 프로그램, 실행 파일 등)를 제공하는 정보 제공 센터 등과 연결될 수도 있다. 또한, 상기 차량은 일반적인 승용차, 버스, 기차, 선박, 항공기 등 사람이나 물건의 이동을 목적으로 기계, 전자 장치를 이용하여 구현된 가능한 모든 운반체를 의미한다.
이하에서는, 설명하기 위한 목적으로, 이동 단말기(100) 및 이와 접속하는 차량내 영상표시장치(200)를 예시로 하여 기술하기로 한다. 따라서, 차량내 다른 영상표시장치(300a, 300b)에 대해서도 동일하게 적용될 수 있음은 물론이다.
도 1을 참조하면, 이동 단말기(100)는 차량내 영상표시장치(200)와 유선 또는 무선으로 연결되어, 차량내 영상표시장치(200)에 표시되는 화면을 수신하여 영상 처리한 후에 다른 영상표시장치나 다른 디스플레이로 전송하는 것이 가능하다. 또한, 상기 이동 단말기(100)는 인터페이스를 통해 이동 단말기(100)에서 실행되는 애플리케이션의 실행 결과(예, 화면 이미지 또는 음성)나 차량의 목적지 또는 주행경로에 관한 정보를 영상표시장치(200)로 송신해줄 수 있다.
여기서, 상기 이동 단말기(100)는 차량내에 위치할 수도 있고, 무선 연결이 가능한 범위에서 차량의 외부에 위치할 수도 있다.
또한 차량내 영상표시장치(200)는, 적어도 하나의 이동 단말기(100)와 유선 또는 무선으로 연결되어, 이동 단말기(100)로부터 전송되는 화면 및 음성이나 차량의 목적지 또는 주행경로에 관한 정보를 수신하여 출력하거나 또는 차량내 영상표시장치(200)에 전송해줄 수 있다. 이와 같이, 이동 단말기(100)가 차량에 위치한 영상표시장치(200)와 접속되어 연동된 상태를 '커넥티드 카(Connected car)'로 명칭할 수 있다.
이와 같이, '커넥티드 카' 상태가 되면, 상기 이동 단말기(100)는 인터페이스를 통해서 이동 단말기(100)에 표시되는 화면 또는 음성이나 다른 영상표시장치(300a, 300b)에 표시되는 화면을 영상표시장치(200)로 송신해줄 수 있다. 이때, 화면 전송을 위한 인터페이스의 수단으로는, 예를 들어 WiFi(Wireless Fidelity) 송수신기, 블루투스(bluetooth) 송수신기와 같은 무선 통신을 지원하는 수단이거나, 또는 USB(Universal Serial Bus) 단자 등과 같이 유선 통신을 지원하는 수단일 수 있다.
또한, 상기 영상표시장치(200)는 차량내 구비된 카메라, 예를 들어 전방 카메라(277) 또는 블랙박스내 전방 카메라(미도시)를 통해 차량의 외부 영상을 획득하고, 이를 접속된 이동 단말기(100)로 전송해줄 수 있다. 그러면, 상기 이동 단말기(100)는 촬영된 영상을 분석하여, 운전자의 얼굴 방향 및/또는 운전자의 눈동자의 방향을 파악할 수 있다. 이에 의하여 차량 운행중에 운전자의 시선변화를 감지할 수 있다. 이와 같이 감지된 운전자의 시선변화에 따라 상기 이동 단말기(100)는 대응되는 적어도 하나의 기능을 실행할 수 있다. 예를 들어, 차선 변경을 위해 운전자의 시선이 전면을 바라보고 있다가 좌측의 사이드 미러(side mirror)로 향하게 되면, 상기 이동 단말기(100)는 이하에 보다 상세하게 기술되는 바와 같이 전방에서 촬영된 차량 외부의 영상을 실시간으로 수신하여 좌측의 사이드 미러(side mirror)의 일 측에 표시되도록 제어할 수 있다.
또한, 차량내 영상표시장치(200)는 인터페이스를 통해 운전자 또는 차량의 동승자로부터 특정 명령을 입력받고, 이러한 특정 명령을 접속된 이동 단말기(100)로 송신할 수 있다. 예를 들어, 운전자가 차량내 영상표시장치(200)의 화면에 구비된 터치 패드 또는 키 패드를 터치하거나 누름으로써 특정 명령을 입력하면, 영상표시장치(200)는 입력이 인가된 지점의 위치를 감지하고, 감지된 위치의 정보를 접속된 이동 단말기(100)로 전송할 수 있다.
그러면, 이동 단말기(100)는 터치 입력이 인가된 지점에서 터치 이벤트가 발생한 것으로 판단하고, 발생한 이벤트에 대응하는 동작을 수행할 수 있다. 즉, 운전자는 또는 차량의 동승자는 영상표시장치(200)에 구비된 터치 패드, 키 패드 등을 이용하여, 이동 단말기(100)의 동작을 제어할 수도 있다.
또한, '커넥티드 카' 상태에서, 차량의 동승자는 이동 단말기(100)에 설치된 길 안내 애플리케이션(또는 다이얼링, 폰북, 이메일, 동영상 재생 애플리케이션 등)을 실행하고, 이동 단말기(100)가 길 안내 애플리케이션의 실행 영상을 차량내 영상표시장치(200)에 송신하도록 함으로써, 차량내 영상표시장치(200)에서 길 안내 애플리케이션의 실행 영상이 디스플레이될 수 있게 할 수 있다. 그렇게 함으로써, 운전자는 이동 단말기(100)의 작은 화면 대신에 영상표시장치(200)의 큰 화면에서 길 안내 애플리케이션의 실행 영상을 볼 수 있다. 또한, 운전자는 이동 단말기(100)의 스피커를 대신하여 차량에 구비된 스피커를 통해 길 안내 음성을 들을 수 있다.
한편, 운전자가 도 1에 도시된 헤드 마운트 디스플레이(HMD, Head Mounted Display)(300a)를 착용하고, 이동 단말기(100)와 접속한 경우 차량내 영상표시장치(200)의 디스플레이(201a, 201b, 201c, 201d, 201e)에 표시될 화면이 헤드 마운트 디스플레이(300a)를 착용한 운전자의 양안 앞에 디스플레이되도록 할 수 있다.
또한, 차량의 동승자가 도 1 에 도시된 다른 이동 단말기(300b)를 이용하여 이동 단말기(100)와 접속한 경우 차량내 영상표시장치(200)의 디스플레이(201a, 201b, 201c, 201d, 201e)에 표시될 화면 및/또는 차량의 부가 정보가 상기 다른 이동 단말기(300b)의 디스플레이에 표시될 수 있다.
또한, 차량내 영상표시장치(200) 및 이와 접속된 이동 단말기(100)는 별도의 프로토콜에 기초하여 부가적으로 필요한 정보를 서로 교환할 수 있다. 예를 들어, 차량내 영상표시장치(200)는 차량 주행 정보, 속도 정보, 연료 정보 등과 같은 차량 상태 정보를 이동 단말기(100)에 제공할 수 있다. 또한, 이동 단말기(100)에 설치된 몇몇 애플리케이션들은 별도의 프로토콜을 이용하여 영상표시장치(200)로부터 수신한 차량 상태 정보를 이용할 수 있다. 그리고, 이와 같은 애플리케이션들은 영상표시장치(200)에 애플리케이션의 타입(예를 들어, 길 안내, 멀티미디어, 게임 등), GUI(Graphic User Interface)의 타입(예를 들어, 지도, 비디오, 메뉴 등), 애플리케이션의 상태(예를 들어, 포그라운드(foreground)에서 실행 중인지 백그라운드(background)에서 실행 중인지 등) 등의 애플리케이션에 관한 정보를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이동 단말기의 구성을 보인 도면이다.도 2에 도시한 바와 같이, 이동 단말기(100)는 무선 통신부(110), 사용자 추적부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 다만, 도 1에 도시된 이동 단말기(100)의 구성요소 모두가 필수 구성요소인 것은 아니며, 도 1에 도시된 구성요소보다 많은 구성요소에 의해 이동 단말기(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 이동 단말기(100)가 구현될 수도 있다.
상기 무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 간의 무선 통신 또는 이동 단말기(100)와 그 이동 단말기(100)가 위치한 네트워크간의 무선 통신을 수행하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들면, 무선 통신부(110)는 방송 수신 모듈(111), 이동 통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치 정보 모듈(115) 등을 포함할 수 있다.
상기 방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 미리 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 이동 단말기(100)에 송신하는 서버를 의미할 수 있다. 상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
한편, 상기 방송 관련 정보는, 이동 통신망을 통하여도 제공될 수 있으며, 이러한 경우에는 상기 이동 통신 모듈(112)에 의해 수신될 수 있다. 상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들면, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성된다. 방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
상기 이동 통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 및/또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 의미하는 것으로, 상기 무선 인터넷 모듈(113)은 이동 단말기(100)에 내장되거나 외장 될 수 있다. 여기서, 무선 인터넷 기술로는 WLAN(Wireless LAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband; Wibro), 와이맥스(World Interoperability for Microwave Access; Wimax), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
상기 근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 의미한다. 근거리 통신 기술로서 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wireless LAN (Bluetooth, 802.11n 등등 프로토콜)등이 이용될 수 있다.
상기 위치 정보 모듈(115)은 이동 단말기의 위치(이동 단말기가 차량에 장착되었을 때는 차량의 위치 확인 가능)를 확인하거나 얻기 위한 모듈이다. 일례로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수 개의 인공위성으로부터 위치 정보를 수신한다. 여기서, 위치 정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다. 예를 들면, GPS 모듈은, 3개 이상의 위성으로부터 정확한 시간과 거리를 측정하여 3개의 각각 다른 거리를 삼각 방법에 따라서 현 위치를 정확히 계산할 수 있다. 3개의 위성으로부터 거리와 시간 정보를 얻고 1개 위성으로 오차를 수정하는 방법이 사용될 수 있다. 특히, GPS 모듈은 위성으로부터 수신한 위치 정보로부터, 위도, 경도, 고도의 위치뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다. 상기 위치 정보 모듈(115)로서 와이 파이 위치추적 시스템(Wi-Fi Positioning System) 및/또는 하이브리드 위치추적 시스템(Hybrid Positioning System)이 적용될 수도 있다.
사용자 추적부(120)는 오디오 신호 및 비디오 신호를 입력받고, 입력받은 신호를 이용하여 사용자를 추적하기 위한 것으로, 여기에는 카메라(121), 마이크(122), 및 영상 분석 모듈(123) 등이 포함될 수 있다. 카메라(121)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어진 정지영상, 동영상 등의 화상 프레임을 처리한다. 카메라(121)에 의해 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다. 그리고, 이러한 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수 있다.
마이크(122)는 통화 모드, 녹음 모드, 음성선택 모드 등에서 외부로부터 입력되는 음향 신호를 전기적인 음성 데이터로 처리한다. 통화 모드에서 마이크(122)에 의해 처리된 음성 데이터는 이동통신 모듈(112)을 통해 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호가 입력되는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
영상 분석 모듈(123)은 인터페이스를 통해 전송된 영상을 분석하여 사용자의 시선이 향하는 방향을 결정한다. 구체적으로, 외부 기기로부터 전송된 영상에서 사용자의 얼굴이 향하는 방향 및/또는 사용자의 양안의 위치를 인식하여 눈동자가 향하는 방향의 변화를 감지할 수 있다. 이와 같은 분석 결과는 제어부(180)에 전달되고, 그에 따라 사용자의 시선이 향하는 방향에 대응되는 기능을 실행하도록 제어할 수 있다.
상기 사용자 입력부(130)는 운전자가 이동 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 상기 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.
상기 센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 운전자 접촉 유무, 이동 단말기(100)의 방위, 이동 단말기(100)의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들면, 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 상기 센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.
상기 센싱부(140)는 근접센서(141), 압력센서(143) 및 모션 센서(145) 등을 포함할 수 있다.
상기 근접센서(141)는 이동 단말기(100)로 접근하는 물체나, 이동 단말기(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 상기 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 상기 근접센서(141)는 구성 태양에 따라 2개 이상이 구비될 수 있다.
상기 압력센서(143)는 이동 단말기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 상기 압력센서(143)는 사용환경에 따라 이동 단말기(100)에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(143)가 디스플레이부(151)에 설치되는 경우, 상기 압력센서(143)에서 출력되는 신호에 따라, 상기 디스플레이부(151)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 상기 압력센서(143)에서 출력되는 신호에 따라, 압력터치 입력시 상기 디스플레이부(151)에 가해지는 압력의 크기도 알 수 있다.
상기 모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 이동 단말기(100)의 위치나 움직임 등을 감지한다. 상기 모션 센서(145)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다.
여기에서, 가속도 센서에는, 자동차의 에어백 시스템에 내장되어 충돌을 감지하는데 사용하는 큰 값의 가속도를 측정하는 것부터, 사람 손의 미세한 동작을 인식하여 게임 등의 입력 수단으로 사용하는 미세한 값의 가속도를 측정하는 것까지 다양한 종류가 있다. 가속도 센서는 보통 2축이나 3축을 하나의 패키지에 실장하여 구성되며, 사용 환경에 따라서는 Z축 한 축만 필요한 경우도 있다. 따라서, 어떤 이유로 Z축 방향 대신 X축 또는 Y축 방향의 가속도 센서를 써야 할 경우에는 별도의 조각 기판을 사용하여 가속도 센서를 주 기판에 세워서 실장할 수도 있다. 또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
상기 출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로서, 상기 출력부(150)에는 디스플레이부(151)과 음향 출력 모듈(152), 알람부(153), 햅틱모듈(154) 등이 포함될 수 있다.
상기 디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시하여 출력한다. 예를 들면, 이동 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface; UI) 또는 GUI(Graphical User Interface; GUI)를 표시한다. 그리고 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
상기 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고 이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들면, 이동 단말기(100)에 외부 디스플레이부(도시하지 않음)와 내부 디스플레이부(도시하지 않음)가 동시에 구비될 수 있다.
상기 디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 상기 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
또한, 상기 터치 센서는, 상기 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(도시하지 않음)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)에 전송한다. 이로써, 상기 제어부(180)는, 상기 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 터치 스크린에 의해 감싸지는 이동 단말기(100)의 내부 영역 또는 상기 터치 스크린의 근처에 상기 근접 센서(141)가 배치될 수 있다. 상기 근접 센서(141)는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서(141)는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(141)의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.
또한, 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린 상에 출력될 수 있다.
상기 음향 출력 모듈(152)은 호 신호 수신, 통화 모드 또는 녹음 모드, 음성 인식 모드, 방송 수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들면, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
상기 알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 상기 알람부(153)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 호 신호가 수신되거나 메시지가 수신될 때, 이를 알리기 위해 알람부(153)는 진동 수단을 통해 이동 단말기를 진동시킬 수 있다. 또는, 상기 알람부(153)는, 키 신호가 입력된 경우, 그 키 신호 입력에 대한 피드백으로 진동 수단을 통해 이동 단말기(100)를 진동시킬 수 있다. 상기와 같은 진동을 통해 운전자는 이벤트 발생을 인지할 수 있다. 물론 이벤트 발생 알림을 위한 신호는 디스플레이부(151)이나 음성 출력 모듈(152)을 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(154)은 운전자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
상기 햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
상기 햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 운전자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 영상표시장치의 구성 태양에 따라 2개 이상이 구비될 수 있다. 햅틱 모듈(154)은 차량에서 운전자와의 접촉이 빈번한 곳에 구비될 수 있다. 예를 들어, 조향 휠, 변속 기어 레버, 좌석 시트 등에 구비될 수 있다.
상기 메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 지도 데이터, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
상기 메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 이동 단말기(100)는 인터넷(internet)상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
상기 인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 한다. 예를 들면, 상기 인터페이스부(170)는 유/무선 헤드셋 포트(Headset Port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(Memory Card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등으로 구성될 수 있다. 여기서, 식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module; UIM), 가입자 인증 모듈(Subscriber Identify Module; SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module; USIM) 등을 포함할 수 있다. 또한, 상기 식별 모듈이 구비된 장치(이하 '식별 장치'라 한다)는, 스마트 카드(Smart Card) 형식으로 제작될 수 있다. 따라서, 상기 식별 모듈은 포트를 통하여 이동 단말기(100)와 연결될 수 있다. 이와 같은 인터페이스부(170)는 외부 기기로부터 데이터를 수신하거나 전원을 수신하여 이동 단말기(100) 내부의 각 구성 요소에 전달하거나 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다.
상기 인터페이스부(170)는 이동 단말기(100)가 외부 크래들(Cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 운전자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
상기 제어부(180)는 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들면, 상기 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 상기 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 상기 멀티미디어 모듈(181)은 상기 제어부(180) 내에 구현될 수도 있고, 상기 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
상기 전원 공급부(190)는 상기 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 수신하여 각 구성요소들의 동작에 필요한 전원을 공급한다.
상기 이동 단말기(100)에 적용된 구성 요소의 기능은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터로 읽을 수 있는 기록매체 내에서 구현될 수도 있다. 하드웨어적인 구현에 의하면, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다. 소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수도 있다.
상기 음성 인식 모듈(182)은 사용자에 의해 발성된 음성을 인식하고, 그 인식된 음성 신호에 따라 해당 기능을 수행한다.
상기 이동 단말기(100)에 적용된 네비게이션 세션(session, 또는 검색부)(300)은 지도 데이터 상에 주행 경로를 표시한다.
한편, 본 발명의 실시 예에 따른 이동 단말기(100)는, 예를 들어 멀티미디어모듈(181)을 이용하여 차량의 목적지 또는 경유지를 검색할 수 있고, 무선 통신부(110)를 통해 이하에 설명되는 차량내 영상표시장치(200)와 통신하여 상기 검색된 목적지 또는 경유지를 전송해줄 수 있다.
또한, 상기 이동 단말기(100)는 상기 무선 통신부(110)를 통해 이하에 설명되는 차량내 영상표시장치(200)로부터 제공되는 차량과 관련된 정보를 수신할 수 있다. 예컨대, 차량내 영상표시장치(200)는 차량의 주행경로, 차량의 속도 및 기어 상태 등 차량에 대한 정보를 수신하거나, 차량의 비상등을 온(On)/오프(Off) 상태, 전조등(headlight)의 온/오프 상태, 차량 내 좌석에 설치된 감지 센서를 통해 동승자가 착석했는지 여부, 경적의 온/오프를 상태 등의 정보를 수신할 수 있다.
또한, 상기 이동 단말기(100)는 검색된 목적지 또는 경유지와 함께 이의 운행경로를 상기 차량내 영상표시장치에 전송해줄 수 있다. 그러면, 상기 차량내 영상표시장치는 상기 운행경로를 차량의 계기판(dashboard)에 표시하거나, HUD(Head-Up Display)에 표시하거나 또는 프로젝터를 이용하여 차량의 앞유리에 표시할 수 있다. 여기서, HUD(Head-Up Display)는 차량의 대쉬보드(Dashboard)에 장착될 수 있으며, 상기 HUD 및 상기 프로젝터는 일반적으로 알려진 방식이 사용될 수 있으므로 이에 대한 구체적인 설명은 생략한다.
도 3은 본 발명의 일 실시 예에 따른 이동 단말기와 접속하는 차량내 영상표시장치의 예시 구성을 보인 도면이다.
본 발명의 실시예에 따른 차량내 영상표시장치(200)는 복수 개의 디스플레이를 포함하여 이루어질 수 있다. 이러한 복수 개의 디스플레이는 상기 차량내 영상표시장치(200), 예를 들어 차량 헤드 유닛(HUD) 본체와 이격되어 위치할 수 있다. 예를 들어, 차량내 영상표시장치의 본체는 차량 헤드 유닛(HUD)이고, 이에 포함되는 복수 개의 디스플레이로, 차량의 앞유리, 차량의 계기판, 차량의 사이드 미러들 및 리어 뷰 미러 등이 있을 수 있다. 또한, 이와 같은 복수 개의 디스플레이에 소정 영상을 표시하기 위해, 상기 차량 헤드 유닛(HUD)은 프로젝터를 구비할 수 있다. 즉, 상기 차량 헤드 유닛(HUD)은 구비된 프로젝터를 사용하여 메모리에 기저장된 영상이나 접속된 이동 단말기(100)로부터 수신된 영상을 상기한 복수 개의 디스플레이들 중 하나에 표시되도록 할 수 있다.
도 3에 도시한 바와 같이, 상기 영상표시장치(200)는 영상표시장치(200)를 전체적으로 제어하는 제어부(예를 들면, 중앙 처리 장치, CPU)(212)와, 각종 정보를 저장하는 메모리(213)와, 각종 키 신호를 제어하는 키 제어부(211)와, LCD(liquid crystal display)를 제어하는 LCD 제어부(214)를 내장한 메인 보드(210)로 구성된다.
상기 메모리(213)는 길 안내 정보를 디지털 지도상에 표시하기 위한 지도 데이터(지도 데이터)를 저장한다. 또한, 상기 메모리(213)는 차량이 현재 주행하는 도로 상황에 따른 교통 정보를 입력할 수 있도록 하는 교통 정보 수집 제어 알고리즘 및 상기 알고리즘의 제어를 위한 정보를 저장한다.
상기 메인 보드(210)는 영상표시장치(200)와 외부 이동 단말기(100)와의 무선 통신 또는 영상표시장치(200)와 그 영상표시장치(200)가 위치한 네트워크 간의 무선 통신을 수행하게 하는 무선 통신 모듈(206)과, 차량의 위치 안내, 출발지부터 목적지까지의 주행 경로 추적 등을 위한 GPS 신호를 수신하거나 운전자에 의해서 수집된 교통정보를 GPS(Global Positioning System) 신호로 송신하는 위치 정보 모듈(207)과, CD(compact disk)에 기록된 신호를 재생하기 위한 CD 데크(CD deck)(208)와, 자이로 센서(gyro sensor)(209) 등을 포함한다. 상기 무선 통신 모듈(206) 및 위치 정보 모듈(207)은 각 모듈들을 위한 안테나(204, 205)를 통하여 신호를 송신/수신한다.
상기 무선 통신 모듈(206)은 고유의 기기번호가 부여된 이동 이동 단말기로서 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신하기 위한 이동 통신 모듈(206a)과, WLAN(Wireless LAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband; Wibro), 와이맥스(World Interoperability for Microwave Access; Wimax), HSDPA(High Speed Downlink Packet Access) 등과 같은 방식으로 무선 인터넷을 접속할 수 있는 무선 인터넷 모듈(206b)과, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wireless LAN (Bluetooth, 802.11n 등등 프로토콜)등과 같은 방식으로 통신을 수행하는 근거리 통신 모듈(206c) 등을 포함할 수 있다.
또한, 방송 수신 모듈(222)은 상기 메인 보드(210)에 연결되고, 안테나(223)를 통해서 방송 신호를 수신한다. 상기 메인보드(210)에는 인터페이스 보드(203)를 통해서 상기 LCD 제어부(214)의 제어를 받는 표시부(LCD)(201)와, 키 제어부(211)의 제어를 받는 프론트 보드(202)와 차량의 내부 및/또는 외부를 촬영하는 카메라(227)가 연결된다. 상기 표시부(201)는, 각종 비디오 신호, 문자 신호를 표시하고, 상기 프론트 보드(202)는 각종 키 신호 입력을 위한 버튼을 구비하고, 운전자 선택이 이루어진 버튼에 해당하는 키 신호를 메인 보드(210)에 제공한다. 또한, 상기 표시부(201)는 도 1의 근접 센서 및 터치 센서(터치 스크린)을 포함할 수 있다.
상기 프론트 보드(202)는 교통정보를 직접 입력하기 위한 메뉴 키를 구비하며, 상기 메뉴 키는 키 제어부(211)의 제어를 받도록 구성될 수 있다.
상기 오디오 보드(217)는 상기 메인 보드(210)와 연결되고, 각종 오디오 신호를 처리한다. 상기 오디오 보드(217)는 오디오 보드(217)의 제어를 위한 마이크로컴퓨터(219), 라디오 신호를 수신하는 튜너(218), 상기 마이크로컴퓨터(219)에 전원을 공급하는 전원부(216), 각종 음성 신호를 처리하는 신호 처리부(215)를 포함하여 이루어진다.
또한, 상기 오디오 보드(217)는 라디오 신호를 수신하기 위한 라디오 안테나(220)와, 오디오 테이프를 재생하기 위한 테이프 데크(221)를 포함한다. 상기 오디오 보드(217)는 상기 오디오 보드(217)에서 신호 처리된 음성 신호를 출력하기 위한 음성 출력부(예를 들면, 앰프)(226)를 더 포함할 수 있다.
상기 음성 출력부(앰프)(226)는 차량 인터페이스(224)에 연결된다. 즉, 상기 오디오 보드(217)와 메인 보드(210)는 상기 차량 인터페이스(224)에 연결된다. 상기 차량 인터페이스(224)는 음성 신호를 입력하는 핸즈프리(225a), 탑승자 안전을 위한 에어백(225b), 차량의 속도를 검출하기 위한 속도 센서(225c) 등이 연결될 수도 있다. 상기 속도 센서(225c)는 차량 속도를 산출하고, 그 산출된 차량 속도 정보를 상기 중앙 처리 장치(212)에 제공한다.
상기 영상표시장치(200)에 적용된 네비게이션 세션(또는 검색부, 300)은, 지도 데이터와 차량의 현재 위치 정보를 근거로 길 안내 정보를 발생하고, 그 발생된 길 안내 정보를 운전자에게 통지한다.
상기 표시부(201)는 근접 센서를 통해 표시창 내에서 근접 터치를 감지한다. 예를 들면, 상기 표시부(201)는 포인터(예를 들면, 손가락 또는 스타일러스 팬(stylus pen))가 근접 터치될 때 그 근접 터치의 위치를 검출하고, 그 검출된 위치에 대응하는 위치 정보를 상기 제어부(212)에 출력한다.
또한, 상기 표시부(201)는 이하에 자세히 설명되는 바와 같이, 복수개의 디스플레이로 이루어질 수 있고, 각각의 디스플레이에는 차량의 운전시야각에 대응되는 서로 다른 영상이 표시될 수 있다. 또한, 상기 표시부(201)는 적어도 하나의 카메라(227)와 연결될 수 있고, 상기 카메라(227)는 상기 표시부(201)를 기준으로 소정범위내에 있는 사용자의 이미지를 촬영하여 접속된 외부 기기나 메인 보드(210)로 전달할 수 있다.
상기 카메라(227)는 일반적으로 차량의 전방에 내장되거나 또는 착탈가능하게 장착되어 차량의 주행에 따른 외부 영상을 촬영한다. 또한, 상기 카메라(227)는 차량내 블랙박스에 내장된 것으로 대체될 수 있다. 또한, 이와 같은 카메라(227)는 복수 개가 (예를 들어, 사이드 미러(side mirror)나 리어 뷰 미러(rear view mirror)가 배치된 위치에) 설치되어 각각 대응되는 차량의 외부 영상을 촬영하거나, 또는 하나의 카메라가 회전하면서 차량의 주행에 따라 다양한 운전시야각에 대응되는 차량의 외부 영상을 촬영할 수 있다.
한편, 운행경로를 검색하기 위한 지도 데이터는 메모리(213)에 저장되거나, 무선 통신부(110)를 통해 외부 네트워크로부터 수신될 수 있다.
상기 음성 인식 모듈(301)는 운전자에 의해 발성된 음성을 인식하고, 그 인식된 음성 신호에 따라 해당 기능을 수행한다.
상기 영상표시장치(200)에 적용된 내비게이션 세션(session)(300)은, 지도 데이터 상에 주행 경로를 표시하고, 이동 단말기(100)의 위치가 상기 주행 경로에 포함된 사각지대로부터 미리 설정된 거리 이내일 때 무선 통신(예를 들면,근거리 무선 통신망)을 통해 주변 차량에 장착된 단말기(예를 들면, 차량 내비게이션 장치) 및/또는 주변 보행자가 휴대하고 있는 이동 단말기와 자동으로 무선 네트워크를 형성함으로써 상기 주변 차량에 장착된 단말기로부터 그 주변 차량의 위치 정보를 수신하고, 주변 보행자가 휴대하고 있는 이동 단말기로부터 상기 주변 보행자의 위치 정보를 수신한다.
한편, 메인 보드(210)는 인터페이스부(미도시)에 연결될 수 있으며, 인터페이스부(미도시)는 외부장치 인터페이스부와 네트워크 인터페이스부를 포함할 수 있다. 외부장치 인터페이스부는 외부 장치와 영상표시장치(200)를 연결하는 역할을 한다. 이를 위해, 외부장치 인터페이스부는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다. 외부장치 인터페이스부는, 예를 들어 DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 연결될 수 있다. 또한, 네트워크 인터페이스부는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정의 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정의 웹 페이지에 접속하여, 해당 서버와 데이터를 주고 받을 수 있다.
본 발명에 따른 실시예에서, 상기 영상표시장치(200)는 HUD(Head-Up Display) 또는 프로젝터(projector)일 수도 있고, 차량의 후석에 위치한 디스플레이장치일 수도 있다. 이때, 상기 영상표시장치(200)가 차량의 후석에 위치한 디스플레이장치인 경우 무선 통신 모듈(206)을 통해 상기 차량의 전석에 위치한 HUD(Head-Up Display) 또는 프로젝터(projector)와 통신할 수 있다.
이상에서 설명한 것과 같은 구성을 적어도 하나 이상 포함하는 본 발명의 실시예에 따른 이동 단말기(100, 도 1)는 무선 통신부(110, 도 1)를 통하여 이상에서 설명한 차량내 영상표시장치(200, 도 1)와 접속한다.
차량내 영상표시장치(200)와 이동 단말기(100)가 접속되면, 이동 단말기의 사용자 추적부(120, 도 1)는 접속된 차량내 영상표시장치(200)의 각 디스플레이(201a~201e)를 기준으로 촬영된 운전자의 영상에 근거하여 운전자의 시선이 향하는 방향을 감지한다. 이를 위해, 차량내 영상표시장치(200)의 각 디스플레이는 운전자의 이미지를 촬영하기 위해 적어도 하나의 카메라(운전석에 위치하는 것이 바람직할 것이다)와 연결된다.
감지결과, 운전자의 시선변화가 있는 경우, 즉 운전자의 시선에 대응되는 방향이 차량내 영상표시장치(200)의 제 1 디스플레이에서 제 2 디스플레이로 이동되면, 상기 제어부(180, 도 1)는 영상표시장치(200)의 제 1 디스플레이에 표시되는 화면, 예를 들어 차량의 전방시야에 대응되는 화면의 적어도 일부를 운전자의 시선이 이동된 제 2 디스플레이, 예를 들어 차량의 후방시야를 표시한 디스플레이에 함께 표시할 수 있다.
예를 들어 차량의 사이드 미러(side mirror) 디스플레이의 일 영역에 표시되도록 제어할 수 있다. 즉, 운전자의 시선이 전방시야에서 사이드 미러에 표시되는 후방시야로 이동된 경우, 시선이 옮겨진 디스플레이에 이전 운전시야에 대응되는 전방영상을 함께 표시한다.
이때, 이동 단말기(100)의 제어부(180)는 운전자의 시선이 이동되기 전 화면에서 특히 시선이 고정된 소정범위의 부분화면만을 추출할 수 있고, 또한 추출된 부분화면을 시선이 이동된 디스플레이에 맞는 비율로 조절한 다음, 운전자의 시선이 이동된 위치의 디스플레이에 실시간으로 전송해줄 수 있다.
여기서, 제 1 디스플레이는 차량의 운행경로를 전방에서 촬영하고 이를 표시하도록 이루어진 디스플레이로서, 예를 들어 헤드 업 디스플레이(HUD, Head Up Display) 또는 차량의 앞유리일 수 있다(이하에서는, 통칭하여 '차량 헤드 유닛'으로 명명될 수 있음). 제 1 디스플레이에는 차량의 전방시야에 대응되는 화면이 표시되며, 이와 함께 차량의 상태 정보가 더 표시될 수 있다.
그리고, 제 2 디스플레이는 차량의 운전석 및/또는 조수석 쪽의 문이나 운전석 위에 위치하여 차량의 후방을 촬영하거나 그리고/또는 이를 표시하도록 이루어진 디스플레이로서, 예를 들어 적어도 하나의 카메라와 연결된 사이드 미러(side mirror) 또는 리어 뷰 미러(rear view mirror)일 수 있다(이하에서는, '차량용 반사경'으로 명명될 수 있음). 제 2 디스플레이에는 차량의 후방시야에 대응되는 화면이 표시될 수 있다.
예를 들어, 운전자가 전방을 주시하면서 운전하는 중 운행경로에 따라 좌/오른쪽 사이드 미러(side mirror)를 보거나 또는 리어 뷰 미러(rear view mirror)로 시선을 이동한 경우, '커넥티드 카' 상태에 있는 이동 단말기(100)는 운전자가 이전에 주시한 전방시야의 화면을 운전자의 시선이 옮겨진 사이드 미러의 일 영역에 함께 표시하도록 제어한다. 그에 따라, 차량 운행중에 운전자가 전방을 주시하다가 후방시야각을 보는 중에도 전방의 상황을 실시간으로 알 수 있으므로, 전방시야에 갑자기 물체가 출현한 경우 이를 인식하여 사고를 미연에 방지할 수 있다.
이상에서 설명한 바와 같이, 차량 운행중에 운행경로를 따라 운전자의 시선이 다양하게 변화함에 따라, 이전 운전시야각에 대응되는 화면을 현재 운전시야각에 대응되는 디스플레이에 함께 표시해줌으로써, 운전자의 안전 운전을 돕고 운전자의 편의가 향상된다.
이하에서는, 도 4를 참조하여, 차량 운행중에, 운전자의 시선변화에 대응되는 위치의 디스플레이에 이전 운전시야각의 영상이 함께 표시되도록 하기 위한 이동 단말기의 제어방법을 보다 자세하게 설명하기로 한다. 이와 관련하여, 도 4는 본 발명의 일 실시 예에 따른 이동 단말기의 제어방법을 설명하기 위한 흐름도이다.
먼저, 도 4를 참조하면, 본 발명의 실시예에 따른 이동 단말기(100, 도 1)는 차량내 영상표시장치(200, 도 1)와 접속할 수 있다(S401).
예를 들어, 상기 이동 단말기(100)와 상기 차량내 영상표시장치(200)는 블루투스(Bluetooth) 등의 근거리 통신 규격, 와이 파이(Wi-Fi) 등의 무선 인터넷 규격, USB(Universal Serial Bus) 등의 외부 장치 인터페이스 규격 등을 이용하여 연결됨으로써, 도 1에 도시된 바와 같이 '커넥티드 카' 상태가 된다. 이를 위해, 상기 이동 단말기(100)는 커넥티드 카 상태로 동작할 수 있음을 안내하는 메시지 또는 음성을 출력할 수 있다. 또한, 접속되는 차량내 영상표시장치(200)가 복수 개가 될 수 있음은 물론이다(예, 300a, 300b, 도 1).
이와 같이 '커넥티드 카' 상태가 되면, 이동 단말기(100)의 제어부(180, 도 2)는 접속된 차량내 영상표시장치(200)의 제 1 디스플레이를 기준으로 촬영된 운전자의 영상과 제 2 디스플레이를 기준으로 촬영된 운전자의 영상에 근거하여 운전자의 시선이 향하는 방향을 감지할 수 있다(S402).
이를 위해, 차량내 영상표시장치(200)의 각 디스플레이는 적어도 하나의 카메라(227)와 연결되고, 연결된 카메라(227)는 각 디스플레이를 기준으로 소정범위내에 있는 운전자의 이미지를 촬영할 수 있다. 한편, 다른 예에서는 운전자의 이미지가 하나의 디스플레이(예, 차량의 앞유리 디스플레이)를 기준으로만 촬영될 수 있다. 이에 의하면, 촬영된 하나의 운전자의 이미지에서 운전자의 두부의 움직임과 운전자의 동공의 움직임에 근거하여 상술한 각 디스플레이를 기준으로 운전자의 이미지를 촬영한 것과 유사한 효과를 낼 수 있다.
이와 같이 디스플레이를 기준으로 운전자의 이미지가 촬영되면, 상기 이동 단말기의 사용자 추적부(120, 도 2)는 무선 통신부(110, 도 2)차량 영상표시장치(200)의 제 1 디스플레이를 기준으로 소정범위에 있는 운전자의 이미지와 제 2 디스플레이를 기준으로 소정범위에 있는 운전자의 이미지를 수신할 수 있다. 이와 같이 운전자의 이미지가 수신되면, 사용자 추적부(120)의 영상 분석 모듈(123)은 수신된 이미지로부터 운전자의 얼굴 방향의 변화 및/또는 운전자의 시선이 향하는 방향의 변화를 파악할 수 있다. 이와 같은 이미지의 분석은 제어부(180)에 의하여 수행될 수도 있다.
이와 같이 운전자의 얼굴 방향의 변화 및/또는 시선이 향하는 방향의 변화를 알기 위해, 각 디스플레이는 적어도 하나의 카메라(227, 도 3)와 연결될 수 있다. 즉, 영상표시장치(200)는 카메라, 예를 들어 전방카메라(227, 도 1)를 통해 운전자의 이미지를 지속적으로 획득하여 이동 단말기(100)에 전달한다.
이때, 복수의 카메라를 통해 각 디스플레이를 기준으로 소정범위에 있는 운전자의 이미지를 촬영하는 경우, 상기 영상표시장치(200)는 촬영된 운전자의 이미지가 이동 단말기(100)에 시간 순서대로 송신되도록 하거나 또는 송신되는 각 이미지에 촬영 시각이 부가정보로 포함되도록 할 수 있다.
즉, 차량내 영상표시장치(200)의 제 1 및 제 2 디스플레이는 차량에 착탈가능하게 배치된 적어도 하나의 카메라와 연결되어, 각 디스플레이를 기준으로 소정 범위내에 있는 운전자의 영상을 획득할 수 있다.
또한, 차량내 영상표시장치(200)의 제 1 및 제 2 디스플레이는 각각 전방카메라 및 후방카메라와 연결되어 차량의 외부 영상을 획득할 수 있다.
차량내 영상표시장치(200)의 각 디스플레이가 차량의 외부 영상을 획득하는 방법은 예를 들어 다음과 같다.
먼저, 차량내 영상표시장치(200)의 제 1 디스플레이는 차량의 전방에 배치된 헤드 유닛 디스플레이(HUD, Head Unit Display) 또는 차량의 앞유리일 수 있다. 또한, 차량내 영상표시장치(200)의 제 2 디스플레이는 차량의 측방 거울 또는 후방 거울일 수 있다.
제 1 디스플레이가 차량의 앞유리인 경우에는 투명한 재질의 유리를 통해 비춰지는 차량의 전방시야를 그대로 차량에 표시하면서 이와 동시에 전방카메라를 이용하여 동일한 영상을 촬영하여 차량의 외부 영상을 획득할 수 있다. 또한, 상기 제 1 디스플레이가 차량 헤드 유닛인 경우에는 기저장된 맵 정보와 현재 차량의 위치 및 주행 경로를 매핑하여, 대응되는 이미지를 차량 헤드 유닛에 표시하고, 이와 동시에 전방카메라 또는 블랙박스내 전방카메라를 이용하여 차량의 전방시야의 영상을 촬영할 수 있다.
한편, 제 2 디스플레이는 차량의 후방에 위치한 객체나 이미지로부터 반사된 영상, 즉 차량의 후방시야를 그대로 표시할 수 있다. 그리고 이와 함께 후방카메라와 연결되어, 차량의 후방시야를 실시간으로 촬영하고 저장함으로써 차량의 후방 영상을 획득할 수 있다.
또한, 운전자의 시선 변화를 감지하기 위하여 운전자의 이미지를 촬영하도록 이루어지는 카메라와, 차량의 외부 영상을 획득하기 위한 차량의 운전시야에 대응되는 이미지를 촬영하도록 이루어지는 카메라는 각각 별개로 구비될 수 있다. 즉, 운전자의 이미지를 촬영하기 위한 제 1 카메라와, 차량의 운전시야에 대응되는 외부 이미지를 촬영하기 위한 제 2 카메라(이때, 제 2 카메라는 전방카메라와 후방카메라를 포함할 수 있음)가 마련될 수 있다.
이와 같이 운전자의 시선 방향을 감지한 결과, 이동 단말기(100)의 제어부(180)는 운전자의 시선이 차량 영상표시장치(100)의 제 1 디스플레이에서 제 2 디스플레이로 이동하였는지를 판단한다(S403).
이와 같은 운전자의 시선 이동이 있는 것으로 판단되면, 상기 제어부(180)는 제 1 디스플레이에 표시되는 제 1 화면의 적어도 일부를 운전자의 시선이 옮겨진 제 2 디스플레이의 일 영역에 실시간으로 표시되도록 제어한다(S404).
여기서, 제 1 화면은 제 1 디스플레이에 표시되는 화면으로서, 예를 들어 차량의 전방시야에 펼쳐지는 모든 객체, 교통신호표시, 이동체 등을 포함하는 이미지이다. 또한, 제 1 화면에는 차량의 전방시야에 보여지는 이미지들 외에 현재 차량의 상태 정보가 더 표시될 수 있다.
도 6a를 참조하면, 운전자(900)가 전방의 디스플레이(201a), 예를 들어 차량 헤드 유닛(HUD) 또는 차량의 앞유리를 주시하다가(A) 차선변경을 위해 좌측 미러 디스플레이(201b)로 시선을 이동한 경우(B), '커넥티드 카' 상태에 있는 이동 단말기(100)는 도 6b에 도시된 바와 같이 전방의 디스플레이(201a)에 표시되는 화면(601)을 운전자의 시선이 이동된 좌측 미러 디스플레이(201b)의 일 영역에 실시간으로 표시되게 한.
즉, 운전자의 시선이 이동된 좌측 미러 디스플레이(201b)에는 도 6b에 도시된 바와 같이 기존에 좌측 미러 디스플레이(201b)에 표시되는 차량의 후방시야에 대응되는 화면(620)과 함께, 운전자가 이전에 보고 있던 차량의 전방시야에 대응되는 화면(610")이 함께 표시된다. 그에 따라, 운전자는 좌측 미러 디스플레이(201b)를 주시하는 동안에도 차량의 전방에 나타나는 상황변화를 동시에 인지할 수 있게 된다.
이때, 운전자의 시선이 옮겨진 제 2 디스플레이의 일 영역에 표시되는 제 1 화면은 사용자 입력을 통하여 이동될 수 있다. 즉, 제어부(180)는 제 2 디스플레이를 기준으로 소정범위에 있는 운전자의 이미지를 수신하여 기설정된 제스처 입력이 이루어졌는지를 판단할 수 있고, 제스처 입력이 있는 것으로 판단되면 제스처 입력에 대응되는 방향으로 제 1 화면을 이동하여 표시할 수 있다.
예를 들어, 도 6c의 (a)를 참조하면, 차량내 영상표시장치(200)의 좌측 미러디스플레이(201b)의 일 영역, 예를 들어 우측 하단에 차량의 전방시야에 대응되는 화면(610")이 실시간으로 표시되는 중에 플리킹 터치입력이 인가되면, 이동 단말기(100)의 제어부(180)는 상기 화면(610")을 플리킹 터치입력에 대응되는 방향, 즉 제 2 디스플레이(201b)의 우측 상단영역으로 이동하여 표시할 수 있다.
또한, 이와 같이 제 2 디스플레이에 제 1 화면과 제 2 화면이 동시에 표시되는 상태에서, 기설정된 시간 동안 운전자의 시선변화가 없거나 운전자가 의도적으로 제 1 화면을 응시하지 않는 경우(예, 운전자가 제 2 화면만을 응시하는 경우), 상기 제어부(180)는 도 6c의 (b)에 도시된 바와 같이 제 2 디스플레이(201b)에 실시간으로 표시되던 차량의 전방시야에 대응되는 화면(610")이 더이상 표시되지 않도록 할 수 있다.
이하에서는, 도 7a 및 도 7b와 도 8을 참조하여, 본 발명의 실시예에 따라, 이상에서 설명한 단계(S404)에 대응되는 운전자의 시선이 옮겨진 디스플레이에 이전 디스플레이의 화면을 함께 표시하는 방법을 보다 구체적으로 설명하기로 한다.
이와 관련하여, 도 7a 및 도 7b는 본 발명의 일 실시 예에 따라, 차량내 영상표시장치(200, 도 1)의 제 1 디스플레이에 표시되는 화면에서 운전자의 시선이 고정된 범위의 부분화면이 제 2 디스플레이에 표시되도록 하기 위한 이동 단말기의 제어방법을 설명하기 위한 개념도들이다. 또한, 도 8은 본 발명의 일 실시 예에 따라, 운전자의 시선이 향하는 방향에 따라, 디스플레이에 표시되는 이전 화면의 크기 및 위치가 변경되는 예시를 설명하기 위한 도면이다.
도 4를 참조하면, 차량내 영상표시장치(200)와 '커넥티드 카' 상태에 있는 이동 단말기(100)의 사용자 추적부(120)는 차량 영상표시장치(200)의 복수의 디스플레이에 대한 운전자의 시선 방향을 감지하고, 그 결과 제어부(180)는 운전자의 시선이 차량내 영상표시장치(100)의 제 1 디스플레이에서 제 2 디스플레이로 이동하였는지를 판단할 수 있다.
이와 같이 운전자의 시선이 차량내 영상표시장치(200)의 다른 디스플레이로 이동된 것으로 판단된 경우, 상기 제어부(180)는 제 1 디스플레이에 표시되는 제 1 화면의 적어도 일부를 운전자의 시선이 옮겨진 제 2 디스플레이의 일 영역에 실시간으로 표시되도록 제어한다.
여기서, 상기 제 1 디스플레이는 차량의 전방에 배치되는 헤드 유닛 디스플레이(HUD, Head Unit Display)고, 상기 제 2 디스플레이는 차량의 측방 거울 또는 후방 거울일 수 있다. 또한, 제 1 디스플레이에 표시되는 제 1 화면은 전방카메라를 통해서 획득된 차량의 외부 영상, 즉 차량의 전방시야의 영상과 동일하고, 제 2 디스플레이에 표시되는 제 2 화면은 후방카메라를 통해 획득된 차량의 외부 영상, 즉 차량의 후방시야의 영상과 동일한 것일 수 있다.
이동 단말기(100)의 제어부(180)는, 제 1 디스플레이에 표시되는 제 1 화면이 제 2 디스플레이에 표시되도록 하기 위하여, 무선 통신부(110, 도 2)를 통해 상기 차량내 영상표시장치(200) 실시간으로 제 1 화면을 전송해주도록 요청한다. 요청에 응답한 제 1 디스플레이는 연결된 카메라를 통해 획득된 차량의 전방시야의 영상을 이동 단말기(100)로 송신해준다. 그러면, 제어부(180)는 수신된 전방시야의 영상을 소정 처리하여, 운전자의 시선이 이동된 제 2 디스플레이로 전송해준다. 그러면, 제 2 디스플레이는 이동 단말기(100)로부터 송신된 차량의 전방시야의 영상을 화면의 일 영역에 실시간으로 표시한다.
이때, 제 2 디스플레이에 표시되는 차량의 전방시야의 영상은 본래 제 2 디스플레이에 표시되는 영상을 가리지 않는 범위내에서 표시되도록 제한하는 것이 바람직할 것이다. 즉, 제 2 디스플레이의 제 2 화면에는 차량의 후방시야에 대응되는 화면이 표시되고 있으므로, 운전자가 이전에 보고 있던 차량의 전방시야가 이를 가리지 않는 범위에서 함께 표시되도록 한다.
구체적으로, 상기 제어부(180)는 제 2 디스플레이에 표시될 제 1 화면이 상기 제 2 디스플레이의 제 2 화면상에 오버레이되어 표시되도록 제어할 수 있다. 이때, 오버레이되어 표시되는 제 1 화면은 제 2 화면보다 작은 크기의 화면으로 표시되도록 하는 것이 바람직하다. 예를 들어, 상기 제어부(180)는 제 2 화면위에 오버레이되어 표시되는 제 1 화면의 크기가 전체화면 크기의 1/4을 초과하지 않도록 제한할 수 있다.
또한, 상기 제어부(180)는 제 2 디스플레이에 표시될 제 1 화면의 크기를 확장하거나 또는 축소할 수 있다. 예를 들어, 운전자의 시선이 제 2 디스플레이에서 기설정된 시간동안 제 1 화면에만 고정된 경우 제 1 화면의 크기를 소정범위만큼 확장시킬 수 있다. 이때, 제 1 화면의 최대 크기는 상술한 바와 같이 소정범위내로 제한될 수 있다. 또한, 예를 들어, 운전자의 시선이 제 2 디스플레이에서 기설정된 시간동안 제 2 화면에만 고정된 경우에는 제 1 화면의 크기를 축소시키거나 사라지게 할 수 있다.
예를 들어, 도 8의 (a)를 참조하면, 운전자가 이전에 주시한 디스플레이에 표시되는 화면(A)이 현재 바라보는 디스플레이에 표시되는 화면(B)위에 플로팅 또는 오버레이되어 표시될 수 있다. 이때, 화면(A)의 크기는 사용자의 시선이 고정된 지점에 중심으로 확대/축소될 수 있다. 또한, 현재 디스플레이내에서의 운전자의 시선변화에 따라 또는 외부의 상황 변화에 따른 이벤트 발생에 따라, 화면(A)는 운전자가 다른 영역에 표시될 수 있다.
여기서, 외부의 상황 변화에 따른 이벤트 발생이란, 예를 들어, 플로팅 또는 오버레이되어 표시되는 화면(A)에 의하여 가려진 디스플레이 영역에 갑자기 물체가 출현하거나 또는 사각지대에 물체가 감지되어 디스플레이에 경고 알림이 표시되어야하는 경우가 있을 수 있다.
전자의 경우, 상기 제어부(180)는 화면(A)이 상기 디스플레이내의 다른 영역, 예를 들어 물체가 없는 영역으로 이동되어 표시되도록 제어할 수 있다. 후자의 경우, 상기 제어부(180)는, 예를 들어, 화면(A)이 상기 디스플레이로부터 사라지고 경고 알림이 표시되도록 제어할 수 있다. 이를 위해, 상기 이동 단말기(100)는 접속된 차량내 영상표시장치(200)로부터 차량의 외부 영상과 차량의 상태 정보, 예를 들어 사각지대에 물체가 감지된 경우 대응되는 신호를 수신할 수 있다.
또한, 상기 제어부(180)는 제 2 디스플레이에 표시될 제 1 화면이 상기 제 2 디스플레이의 제 2 화면과 구별되는 영역에 표시되도록 할 수 있다. 이를 위해, 제 2 디스플레이에 표시되고 있던 제 2 화면, 예를 들어 차량의 후방시야에 대응되는 화면은 카메라를 통해 촬영된 영상으로 대체될 수 있다. 이때, 촬영된 영상은 제 2 화면이 표시될 영역의 가로 및 세로 비율에 대응되게 축소 처리되어 실시간으로 표시된다.
예를 들어, 도 8의 (b)를 참조하면, 디스플레이 전체에 표시되고 있던 제 2 화면은 축소 처리되어 제 1 영역, 예를 들어 좌측 영역에 표시된다. 또한, 운전자가 이전에 바라보던 디스플레이에 표시되는 제 1 화면은 제 2 영역, 예를 들어 우측 영역에 표시된다. 이때 제 2 영역의 크기는 상술한 바와 같이 운전자의 운전을 방해하지 않도록, 즉 차량의 후방시야의 영상을 가리지 않도록 일정범위의 크기로 제한될 수 있다.
또한, 상기 제어부(180)는 차량내 영상표시장치(100)의 제 2 디스플레이에 동시에 표시되는 제 1 화면과 제 2 화면이 시각적으로 구별되도록, 제 2 디스플레이에 표시되는 제 1 화면의 경계영역에 소정의 프레임이 표시되도록 하거나, 또는 하이라이팅 효과가 표시되도록 할 수 있다.
예를 들어 도 7b를 참조하면, 차량의 앞유리(201a)에 차량의 전방시야의 영상이(720)이 표시되고 앞유리(201a)의 일 영역에 후방시야의 영상(711")이 오버레이되어 표시될 때, 운전자가 서로 다른 영상을 시각적으로 구별할 수 있도록 영상(711")의 경계영역에는 프레임(715)이 표시될 수 있다. 이때, 이동 단말기(100)의 제어부(180)는 상기 프레임(715)이 소정 시간간격으로 깜빡거리는 등의 하이라이팅 효과가 더 출력되도록 제어할 수 있다.
또한, 상기 제어부(180)는 운전자의 시선이 다른 디스플레이로 이동된 것으로 판단되면, 제 1 화면에서 운전자의 시선이 고정된 소정범위의 부분화면을 실시간으로 추출하여 제 2 디스플레이에 표시되도록 할 수 있다. 이를 위해, 상기 제어부(180)는 제 1 디스플레이로부터 제 1 화면을 실시간으로 수신하고, 수신된 제 1 화면에서 운전자의 시선이 고정된 범위를 결정하여 제 1 화면으로부터 추출하고, 추출된 부분화면을 상기 제 2 디스플레이에 전송해준다.
예를 들어 도 7a에 도시된 바와 같이, 운전자(900)가 운행중에 차량 변경을 위해 왼쪽 사이드 미러(201b)를 주시하다가 전방의 디스플레이(201a)로 시선을 옮긴 경우, '커넥티드 카' 상태에 있는 이동 단말기(100)의 제어부(180)는 왼쪽 사이드 미러(201b)에 표시되는 영상(720)에서 특히 운전자가 응시한 지점(A)을 기준으로 소정범위내의 부분화면(711)을 실시간으로 추출한다. 이와 같이 추출된 부분화면(711")은 도 7b에 도시된 바와 같이 운전자의 시선이 옮겨진 차량의 앞유리(201a)에 실시간으로 표시된다.
이와 같이, 운전자가 현재 바라보는 디스플레이에 복수의 운전시야각(예, 전방시야의 영상과 후방시야의 영상)의 영상이 동시에 표시된 상태에서, 이동 단말기(100)의 사용자 추적부(120)를 통해 감지된 운전자의 시선이 다른 디스플레이로 향하는 경우, 상기 제어부(180)는 운전자의 시선이 옮겨진 다른 디스플레이에 다시 이전 운전시야각에 대응되는 영상을 표시할 수 있다.
구체적으로, 상기 제어부(180)는, 감지된 운전자의 시선에 대응되는 방향이 제 2 디스플레이에서 상기 제 1 디스플레이로 이동되면, 상기 제 2 디스플레이의 일 영역에 출력되었던 제 1 화면이 사라지도록 하고, 상기 제 2 디스플레이에 표시되는 제 2 화면의 적어도 일부가 현재 운전자의 시선이 향하는 제 1 디스플레이의 일 영역에 출력되도록 제어할 수 있다.
한편, 운전자의 시선이 제 3 디스플레이(예, 리어 뷰 미러(rear view mirror)로 이동된 경우이면, 제 2 디스플레이에 표시되었던 제 1 화면과 제 2 화면이 모두 제 3 디스플레이의 일 영역에 함께 표시되도록 할 수 있다.
이때, 소정 시간 동안 운전자의 시선이 제 3 디스플레이에 고정되지 않으면, 상기 제어부(180)는 제 1 화면과 제 2 화면이 동시에 사라지도록 하거나, 또는 표시된 순서대로, 즉 제 1 화면이 사라진 다음에 제 2 화면이 사라지도록 제어할 수 있다. 또한, 다른 예에서는 운전자의 음성명령(예를 들어, '지워줘'의 음성명령)이나 제스처입력에 따라 제 1 화면과 제 2 화면이 사라지도록 할 수 있다.
이하에서는, 도 5를 참조하여, 차량 운행 중에 그리고 차량 운행 중단 중에, 운전자의 시선변화에 대응되는 위치의 디스플레이에 이전 운전시야각의 영상이 함께 표시되도록 하기 위한 이동 단말기의 제어방법을 보다 자세하게 설명하기로 한다.
도 5를 참조하면, 먼저, 본 발명의 실시예에 따른 이동 단말기(100, 도 1)는 차량내 영상표시장치(200, 도 1)와 접속한다(S501). 차량내 영상표시장치(200)가 복수인 경우에는 각각의 영상표시장치(200)가 상기 단말기(100)와 접속할 수 있다.
예를 들어, 상기 이동 단말기(100)와 상기 차량내 영상표시장치(200)는 블루투스(Bluetooth) 등의 근거리 통신 규격, 와이 파이(Wi-Fi) 등의 무선 인터넷 규격, USB(Universal Serial Bus) 등의 외부 장치 인터페이스 규격 등을 이용하여 연결됨으로써, 도 1에 도시된 바와 같이 '커넥티드 카' 상태가 된다. 이를 위해, 상기 이동 단말기(100)는 커넥티드 카 상태로 동작할 수 있음을 안내하는 메시지 또는 음성을 출력할 수 있다.
이와 같이 커넥티드 카 상태가 되면, 이동 단말기(100) 및/또는 차량내 영상표시장치(200)는 접속되었음을 나타내는 소정의 알림이 출력될 수 있다(S502).
예를 들어, 상기 알림은 '삐-'와 같은 신호음 또는 '접속되었습니다'와 같은 음성신호, 또는 디스플레이에 출력되는 소정의 메시지 형태로 출력될 수 있다.
이와 같이, 이동 단말기(100)와 차량내 영상표시장치(200)가 '커넥티드 카' 상태가 되면, 이동 단말기(100)의 제어부(180, 도 2)는 접속된 차량내 영상표시장치(200)의 제 1 디스플레이를 기준으로 촬영된 운전자의 영상(이를 위해, 적어도 하나의 카메라와 연결됨)과 제 2 디스플레이를 기준으로 촬영된 운전자의 영상에 근거하여 운전자의 시선이 향하는 방향을 감지할 수 있다(S503).
이를 위해, 이동 단말기의 사용자 추적부(120, 도 2)는 무선 통신부(110, 도 2)를 통해 차량 영상표시장치(200)의 제 1 디스플레이를 기준으로 소정범위에 있는 운전자의 이미지와 제 2 디스플레이를 기준으로 소정범위에 있는 운전자의 이미지를 수신하고, 수신된 이미지로부터 운전자의 얼굴 방향의 변화 및/또는 운전자의 시선이 향하는 방향의 변화를 파악할 수 있다. 예를 들어, 첫번째 수신된 영상에서 운전자의 눈동자 방향이 제 1 디스플레이를 향하고, 두번째 수신된 영상에서 운전자의 눈동자 방향이 제 2 디스플레이를 향하는 경우, 사용자 추적부(120)는 이와 같은 운전자의 시선변화를 감지할 수 있다.
이와 같이 운전자의 시선변화가 감지되면, 상기 이동 단말기(100)의 제어부(180)는 차량 운행 중에, 운전자의 시선이 차량 영상표시장치(100)의 제 1 디스플레이(예, 사이드 미러)에서 제 2 디스플레이(예, 차량의 앞유리 또는 차량 헤드 유닛)로 이동하였는지를 실시간으로 판단할 수 있다(S504).
이와 같은 이동이 있는 것으로 판단되면, 상기 제어부(180)는 제 1 디스플레이에 표시되는 제 1 화면(예, 사이드 미러를 통해 비춰지는 차량의 후방시야의 영상)을 전송해줄 것을 차량내 영상표시장치(200)에 실시간으로 요청하고, 요청에 따라 실시간으로 수신되는 제 1 화면에서 특히 운전자의 시선이 고정되었던 소정범위의 부분화면을 추출한다(S505). 또한, 이와 함께 수신된 영상을 표시할 디스플레이에 적합한 크기로 비율 축소하는 처리 과정이 수반될 수 있다.
이와 같은 영상 처리 과정이 수행되면, 상기 제어부(180)는 추출된 부분화면이 운전자의 시선이 옮겨진 제 2 디스플레이의 일 영역에 실시간으로 표시되도록 제어한다(S506).
한편, 상기 제어부(180)는 차량 운행의 중단 신호가 입력된 경우, 운전자의 시선이 차량내 영상표시장치(200)에서 이동 단말기(100)의 디스플레이부(151)로 이동하였는지를 판단할 수 있다(S507).
제어부(180)는 차량내 전방카메라(또는 블랙박스의 전방카메라)를 통해 촬영된 영상에 포함된 신호등이 '정지'를 나타내는 신호이면 상기 차량 운행의 중단 신호가 입력된 것으로 판단할 수 있다. 또한, 이와 함께, 상기 제어부(180)는 상기 중단 신호의 입력 여부를 판단하기 위해 차량의 브레이크 동작신호와 같은 차량의 동작 상태 정보가 수신되었는지를 여부를 2차 판단조건으로 할 수 있다.
이를 위해, 상기 이동 단말기(100)는 차량의 영상표시장치(200)로부터 차량의 전방시야에 대응되는 영상을 수신할 수 있다. 또한, 상기 이동 단말기(100)는 차량의 영상표시장치(200)나 차량 시스템(미도시)으로부터 차량의 동작 상태 정보를 수신할 수 있다.
이와 같이, 차량 운행의 중단 신호가 입력되고, 운전자의 시선이 이동 단말기(100)의 디스플레이부(151)로 이동되면, 상기 제어부(180)는 상기 디스플레이부(151)에서 운전자의 시선이 고정된 소정범위를 벗어나는 영역에 운전자가 이전에 주시하던 디스플레이의 화면을 실시간으로 출력하도록 제어한다(S508).
도 9a를 참조하면, 운전자(900)가 전방시야에 대응되는 영상(901)이 표시되는 디스플레이(201a)를 주시하면서 운행하다가 차량 운행을 중단한 경우, '커넥티드 카' 상태에 있는 이동 단말기(100)는 차량 시스템(미도시)으로부터 수신되는 차량의 상태 정보, 예를 들어 브레이크 동작 신호와 차량의 전방시야의 영상(901)에 포함된 신호등(90)에 표시된 '정지'신호에 근거하여 차량 운행이 중단중되었음을 알 수 있다.
이와 같이 차량 운행 중단 상태에서, 운전자(900)가 접속된 이동 단말기(100)의 디스플레이부(151)로 시선을 옮긴 경우, 이동 단말기(100)의 디스플레이부(151)에는 도 9b에 도시된 바와 같이 소정의 컨텐츠와 함께 운전자(900)가 이전에 주시한 디스플레이(201a)에 표시되고 있는 차량의 전방시야에 대응되는 화면(901")이 동시에 디스플레이된다. 이때 차량의 전방시야에 대응되는 화면(901")은 운전자(900)의 시선이 고정된 지점의 소정범위를 벗어나는 영역에 배치되어 표시된다. 예를 들어, 도 9b에서는 디스플레이부(151)의 하단영역에 표시되었다.
이와 같은 상태에서, 상기 제어부(180)는 디스플레이부(151)에 표시된 차량의 전방시야에 대응되는 화면(901")에 대한 소정의 입력을 감지할 수 있다(S509). 여기서, 소정의 입력이란, 예를 들어 화면(901")에 인가되는 소정방향의 터치입력일 수도 있고, 기설정된 형상의 제스처 입력 또는 사용자의 시선에 대응되는 입력신호나 음성명령을 모두 포함할 수 있다.
이와 같이 화면(901")에 대한 입력이 감지되면, 상기 제어부(180)는 디스플레이부(151)에 표시되는 차량의 영상표시장치(100)와 관련된 화면의 상태 및/또는 그러한 화면의 출력범위를 변경하여 출력할 수 있다(S510).
이하에서는, 도 9c를 참조하여 차량의 영상표시장치(100)에 표시되는 화면이 디스플레이부(151)에 출력되는 다양한 실시예들을 설명하기로 한다.
이와 관련하여, 도 9c는 본 발명의 실시예에 따른 이동 단말기의 디스플레이부(151)에 인가되는 소정의 입력에 따라 차량의 영상표시장치(100)의 화면을 변경하여 출력하는 방법을 다양한 실시예들은 설명하기 위한 도면이다.
차량 운행 중단 신호가 수신되고, 운전자의 시선이 차량의 전방시야를 표시하는 디스플레이에서 이동 단말기(100)로 이동되면, 도 9b에 도시된 바와 같이 이동 단말기(100)의 디스플레이부(151)의 제 1 영역에는 사용자 조작에 대응되는 컨텐츠 화면(920)이 출력되고, 상기 제 1 영역과 구별되는 제 2 영역에는 운전자가 이전에 응시한 차량의 전방시야의 영상(901")이 실시간으로 표시된다.
이와 같은 상태에서, 상기 제어부(180)는 디스플레이부(151)에 출력되는 제 1 화면, 예를 들어 차량의 전방시야의 영상에 대해 소정 방향의 제 1 입력이 감지하여 상기 제 1 화면의 출력범위가 상기 제 1 입력에 대응되게 변경되도록 제어할 수 있다.
예를 들어, 도 9c의 (a)에서 디스플레이부(151)에 표시된 차량의 전방시야의 화면(901"a)에 대하여 소정 방향의 플리킹 터치입력, 예를 들어 위/아래로 향하는 플리킹 터치입력이 인가되면, 상기 디스플레이부(151)에는 도 9c의 (b)에 도시된 바와 같이 전체화면에서 디스플레이부(151)에 표시되는 화면(901"a)의 출력범위가 상기 입력에 대응되는 방향으로, 즉 위/아래로 이동되어서 표시된다. 그에 따라, 운전자는 원하는 시야각으로 변경된 전방시야의 화면(901"b)을 볼 수 있다.
또한, 비록 도시되지는 않았지만, 예를 들어 디스플레이부(151)에 표시된 차량의 전방시야의 화면(901"a)에 줌-아웃 터치입력이 감지되면, 디스플레이부(151)에 표시되는 화면(901"a)의 출력범위는 이전보다 축소된다. 반면, 상기 화면(901"a)에 대하여 줌-인 터치입력이 감지되면, 디스플레이부(151)에 표시되는 화면(901"a)의 출력범위는 이전보다 확대되어 표시된다.
또한, 디스플레이부(151)의 제 1 영역 및 제 2 영역에 컨텐츠 화면과 운전자가 이전에 응시한 전방시야에 대응되는 영상(901")이 구별되어 표시되는 상태에서, 상기 디스플레이부에 출력되는 제 1 화면, 즉 차량의 전방시야의 영상에 대해 소정 방향의 제 2 입력이 감지되면, 상기 제어부(180)는 다른 운전시야각에 대응되는 디스플레이의 화면이 상기 디스플레이부(151)에 실시간으로 출력되도록 할 수 있다.
예를 들어, 도 9c의 (c)를 참조하면, 운전자가 차량의 전방시야의 영상(901")에 소정 방향의 플리킹 터치입력, 예를 들어 좌/우 방향의 플리킹 터치입력을 인가한 경우, 상기 디스플레이부(151)에는 차량의 전방시야의 영상(901")과 함께 후방시야의 영상(902")이 더 표시될 수 있다. 즉, 차량의 다양한 운전시야각에 대응되는 영상들이 차례로 보여지게 된다. 이때, 영상들이 보여지는 순서는 차량내 디스플레이가 배치된 순서(예, 운전석측에서 조수석측 또는 그 반대)에 대응되거나 운전자의 시선이 이동된 순서에 대응될 수 있다(이때, 중복된 영상은 삭제 처리된다).
이하에서는, 도 9d를 참조하여, 차량 운행이 재개되어, 운전자의 시선이 이동 단말기에서 차량내 영상표시장치(200)의 다른 디스플레이에 이동된 경우, 화면이 출력되는 방법의 예시들을 설명한다.
'커넥티드 카'상태의 이동 단말기(100)는 차량 운행의 재개 신호가 입력되면, 차량 운행이 중단 상태에서 재개 상태로 변화된 것을 인식할 수 있다.
상기 제어부(180)는, 차량내 전방카메라를 통해 촬영된 영상에 포함된 신호등이 '정지'에서 '진행'을 나타내는 신호로 변경되면, 상기 차량 운행의 재개 신호가 입력된 것으로 판단한다.
구체적으로, 상기 이동 단말기(100)는 차량의 전방시야에 포함된 신호등에 표시된 '진행'신호(예, 파란불 또는 좌회전 신호)에 근거하여 차량 운행이 재개 상태로 진입하였음을 인식할 수 있다. 또한, 이와 함께, 상기 제어부(180)는 차량내 영상표시장치(100) 또는 차량 시스템(미도시)로부터 수신되는 차량 상태 정보(예, 브레이크 신호가 중단되었음)를 2차 판단기준으로 하여 차량 운행의 재개 상태를 판단할 수 있다.
이와 같이 차량 운행이 재개 상태로 변경되면, 상기 이동 단말기(100)는 운전자에게 운전에 집중할 것을 요청하는 경고 알림을 디스플레이부(151)에 출력하여, 사용자의 시선이 차량의 전방시야를 향하도록 유도할 수 있다.
예를 들어, 차량 운행의 재개 신호가 입력되면, 상기 제어부(180)는 운전자의 시선이 상기 디스플레이부로부터 벗어나도록 상기 차량 운행의 재개 상태를 알리기 위한 소정의 경고 알림(예, '전방을 주시하세요!'와 같은 문구를 표시한 팝업창)을 상기 디스플레이부(151)에 출력할 수 있다.
이에 의하여, 운전자의 시선이 이동 단말기(100)에서 차량내 영상표시장치(100)로 이동된 경우, 상기 제어부(180)는 이동 단말기의 디스플레이부(151)에 표시되었던 컨텐츠 화면을 운전자의 시선이 옮겨진 디스플레이, 예를 들어 차량 헤드 유닛(HUD)의 일 영역에 표시되도록 할 수 있다.
구체적으로, 접속된 이동 단말기(100)의 사용자 추적부(120)는 상기 차량내 영상표시장치(200)의 제 1 및 제 2 디스플레이와 함께, 제 3 디스플레이를 기준으로 촬영된 운전자의 영상을 더 포함하여서 운전자의 시선이 향하는 방향을 감지할 수있다.
그러면, 이동 단말기(100)의 제어부(180)는, 감지된 운전자의 시선이 상기 디스플레이부에서 상기 제 3 디스플레이로 이동된 것에 응답하여, 상기 디스플레이부(151)에 출력되는 컨텐츠 화면과 차량의 전방시야에 대응되는 화면(제 1 화면)이 운전자의 시선이 옮겨진 제 3 디스플레이에 출력되도록 한다(차량 운행중에 상기 디스플레이부(180)에서 상기 제 3 디스플레이로 운전자의 시선이 옮겨진 경우에도컨텐츠 화면과 제 1 화면이 상기 제 3 디스플레이에 표시될 수 있음은 물론이다).
예를 들어 도 9d를 참조하면, 차량 운행이 재개되고, 운전자(900)의 시선이 이동 단말기(100)에서 차량내 영상표시장치(100)의 헤드 유닛 디스플레이(201e)로 이동된 것이 감지되면, 상기 헤드 유닛 디스플레이(201e)에는 운행 경로를 안내하는 지도 화면(930)과 함께 운전자의 시선이 이동되기 전 디스플레이부(151)에 표시되었던 컨텐츠 화면(920")과 차량의 전방시야의 화면(901")이 함께 표시될 수 있다.
이때, 헤드 유닛 디스플레이(201e)에 표시되는 컨텐츠 화면(920")과 차량의 전방시야의 화면(901")은 소정시간이 경과하거나 또는 제어명령의 입력(예, 운전자의 음성명령)이 있는 경우, 화면으로부터 사라질 수 있다.
한편, 운전자의 시선변화에 대응되는 차량의 외부 영상은 차량내 다른 영상표시장치(300a, 300b)에 출력될 수도 있다.
예를 들어, 상기 이동 단말기(100)는 도 1을 참조하여 위에 설명한 바와 같이, 운전자의 신체의 일부, 예를 들어 두부에 장착가능한 안경형의 헤드마운트 디스플레이(head mounted display, HMD)(300a)와 접속된다. 다만, 이에 한정되는 것은 아니며 안경형, 반지형, 목걸이형, 의류장착형 등과 같이 운전자의 신체에 착용가능하도록 이루어지는 다양한 형태의 웨어러블 장치로 구현될 수 있다.
이와 같이 차량의 제 1 영상표시장치(예, 차량 헤드 유닛)(200)와 제 2 영상표시장치(예, 헤드 마운트 디스플레이)(300a)가 이동 단말기(100)와 '커넥티드 카' 상태가 되면, 상기 제어부(180)는 운전자의 시선이 제 1 영상표시장치(200)의 제 1 디스플레이(예, 차량의 전방시야를 표시하는 디스플레이)에서 제 2 디스플레이(예, 차량의 후방시야를 표시하는 디스플레이)로 이동되는 것을 감지한다.
이와 같이, 운전자의 시선이 제 1 영상표시장치(200)의 제 1 디스플레이에서 제 2 디스플레이로 이동되면, 상기 제어부(180)는 제 2 디스플레이에 표시되는 제 2 화면(예, 차량의 후방시야의 영상)과 함께 상기 제 1 디스플레이에 표시되는 제 1 화면(예, 차량의 전방시야의 영상)을 제 2 영상표시장치의 디스플레이에 함께 표시한다.
이에 의하면, 차량의 영상표시장치(200)의 복수의 디스플레이에의 표시가 운전자의 시선변화를 따라 변경될 필요가 없게 된다.
이하에서는, 도 10을 참조하여, 차량 운행 중단 중에 운전자나 차량의 동승자가 운전자의 시선변화에 대응되는 차량의 외부 영상을 접속된 이동 단말기(100)에서 확인하는 방법을 설명하기로 한다.
차량 운행 중단 신호가 수신되고, 운전자의 시선이 차량의 전방시야를 표시하는 디스플레이에서 이동 단말기(100)로 이동되면, 도 10의 (a)에 도시된 바와 같이 이동 단말기(100)의 디스플레이부(151)의 제 1 영역에는 사용자 조작에 대응되는 컨텐츠 화면(1020)이 출력되고, 제 1 영역과 구별되는 제 2 영역에 운전자가 이전에 응시한 차량의 전방시야의 영상(1001")이 실시간으로 표시된다.
이와 같은 상태에서, 기설정된 시간 동안(예, 5 초이상) 디스플레이부(151)에 운전자의 시선이 감지되지 않으면, 상기 제어부(151)는 차량의 전방시야의 영상(1001")('제 1 화면')이 사라지도록 제어한다.
이와 함께 또는 이후에, 상기 제어부(180)는 상기 제 1 화면이 나타나도록 하기 위한 인디케이터를 상기 디스플레이부(151)의 일 영역에 표시할 수 있다. 여기서, 상기 인디케이터는 차량의 전방시야 또는 후방시야에 대응되는 화면을 표시하기 위한 아이콘으로서, 예를 들어 디스플레이부(151)의 상단 또는 하단영역에 상태 표시 바와 같은 형태로 표시될 수 있다. 또한, 상기 인디케이터는 도 10의 (b)에 도시된 것처럼 표시될 영상이 나타날 방향 표시자가 포함될 수 있다.
이와 같이, 디스플레이부(151)에 인디케이터가 표시된 경우, 운전자 또는 동승자가 상기 인디케이터에 대해 소정 방향의 터치입력을 가하면, 상기 제어부(180)는 상기 인디케이터에 대응되는 제1화면이 인가된 터치입력의 방향을 따라 표시되도록 제어한다.
예를 들어, 도 10의 (b)에서 사용자가 디스플레이부(151)의 상단영역에 표시된 인디케이터(1050)를 아래로 플리킹 터치한 경우, 디스플레이부(151)에는 도 10의 (c)에 도시된 바와 같이 플리킹 터치입력의 방향을 따라 차량의 다양한 운전시야각에 대응되는 영상들, 예를 들어 전방시야의 화면(1001")과 후방시야의 화면(1002")이 펼쳐지게 된다.
이때, 사용자가 펼쳐진 화면에 대해 위로 플리킹 터치입력을 인가하면, 상기 제어부(180)는 펼쳐진 전방시야의 화면(1001")과 후방시야의 화면(1002")이 터치입력의 방향을 따라 디스플레이부(151)로부터 사라지도록 할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 실시예에 따른 이동 단말기 및 이동 단말기의 제어방법에 의하면, 차량의 운행 중에 운전자의 시선이 다양하게 변화함에 따라, 이전 운전시야각에 대응되는 화면을 현재 운전시야각에 대응되는 디스플레이에 함께 표시함으로써, 운전자의 안전 운전을 돕고 이와 동시에 운전자의 편의를 향상시키는 효과가 있다. 또한, 접속된 이동 단말기가 운행중 운전자의 자연스러운 시선변화에 따라 차량 헤드 유닛의 디스플레이를 제어함으로써, 운전자가 차량 운행 중에 별도의 입력을 수행할 필요가 없다.
또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기 및 이동 단말기의 동작방법은 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 차량내 영상표시장치와 접속하는 무선 통신부;
    접속된 차량내 영상표시장치의 제 1 디스플레이를 기준으로 촬영된 운전자의 영상과 제 2 디스플레이를 기준으로 촬영된 운전자의 영상에 근거하여 상기 운전자의 시선이 향하는 방향을 감지하는 사용자 추적부; 및
    상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 제 2 디스플레이로 이동된 것에 응답하여, 상기 제 1 디스플레이에 표시되는 제 1 화면의 적어도 일부가, 상기 제 2 디스플레이에 표시되는 제 2 화면과 함께 상기 제 2 디스플레이의 일 영역에 표시되도록 상기 무선 통신부를 제어하는 제어부를 포함하고,
    상기 제 1 화면의 적어도 일부는 상기 제 2 디스플레이의 제 2 화면위에 오버레이되어 표시되며,
    상기 제 1 화면은 차량의 전방시야에 대응되는 화면이고, 상기 제 2 화면은 차량의 측면시야 또는 후방시야에 대응되는 화면인 것을 특징으로 하는 이동 단말기.
  2. 제1항에 있어서,
    상기 제 1 및 제 2 디스플레이는 차량에 착탈가능하게 배치되는 적어도 하나의 카메라와 연결되고, 상기 적어도 하나의 카메라는 각 디스플레이를 기준으로 소정 범위내에 존재하는 운전자의 영상과 차량의 외부 영상을 획득하는 것을 특징으로 하는 이동 단말기.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 제 1 화면에서 운전자의 이전 시선이 고정된 소정범위의 부분화면을 실시간으로 추출하고, 추출된 부분화면이 상기 제 2 디스플레이의 일 영역에 표시되도록 제어하는 것을 특징으로 하는 이동 단말기.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 차량내 영상표시장치에 상기 제 1 디스플레이에 표시되는 제 1 화면의 전송을 실시간으로 요청하고, 요청에 따라 수신된 상기 제 1 화면이 상기 제 2 디스플레이의 일 영역에 실시간으로 표시되도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 이동 단말기.
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    상기 제 2 디스플레이에 표시되는 제 2 화면과 구별되는 영역에 상기 제 1 화면이 출력되도록 하고, 상기 제 1 화면의 경계영역에 프레임이 표시되도록 제어하는 것을 특징으로 하는 이동 단말기.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 2 디스플레이에서 상기 제 1 디스플레이로 이동되면, 상기 제 2 디스플레이의 일 영역에 출력되었던 제 1 화면이 사라지게 하고 상기 제 2 디스플레이에 표시되는 제 2 화면의 적어도 일부가 상기 제 1 디스플레이의 일 영역에 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  8. 제1항 내지 제4항 및 제6항 내지 제7항 중 어느 한 항에 있어서,
    상기 제 1 디스플레이는 차량의 전방에 배치되는 헤드 유닛 디스플레이(HUD, Head Unit Display)고, 상기 제 2 디스플레이는 차량의 후방시야를 감시하기 위한 반사경이고,
    상기 제 1 화면은 전방카메라를 통해서 획득된 차량의 외부 영상이고, 상기 제 2 화면은 측방 또는 후방 카메라를 통해 획득된 차량의 외부 영상인 것을 특징으로 하는 이동 단말기.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 이동 단말기의 디스플레이부로 이동된 것에 응답하여,
    상기 디스플레이부에서 운전자의 시선이 고정된 소정범위를 벗어나는 영역에 상기 제 1 디스플레이에 출력되는 제1화면의 적어도 일부를 출력하도록 제어하는 것을 특징으로 하는 이동 단말기.
  10. 제9항에 있어서,
    상기 제어부는,
    차량 운행의 중단 신호가 입력되면, 상기 운전자의 시선이 상기 디스플레이부로 이동된 것에 응답하여 상기 디스플레이부의 일 영역에 상기 제1화면의 적어도 일부를 출력하도록 제어하는 것을 특징으로 하는 이동 단말기.
  11. 제10항에 있어서,
    상기 제어부는,
    차량내 전방카메라를 통해 촬영된 영상에 포함된 신호등이 '정지'를 나타내는 신호이면 상기 중단 신호가 입력된 것으로 판단하는 것을 특징으로 하는 이동 단말기.
  12. 제10항에 있어서,
    상기 제어부는,
    차량 운행의 재개 신호가 입력되면, 운전자의 시선이 상기 디스플레이부로부터 벗어나도록 상기 차량 운행의 재개 상태를 알리기 위한 경고 알림을 상기 디스플레이부에 출력하는 것을 특징으로 하는 이동 단말기.
  13. 제12항에 있어서,
    상기 제어부는,
    차량내 전방카메라를 통해 촬영된 영상에 포함된 신호등이 '정지'에서 '진행'을 나타내는 신호로 변경되면, 상기 차량 운행의 재개 신호가 입력된 것으로 판단하는 것을 특징으로 하는 이동 단말기.
  14. 제9항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 출력되는 제 1 화면에 대하여 소정 방향의 제1입력이 감지되면, 상기 제 1 화면의 출력범위가 상기 제1입력에 대응되게 변경되도록 제어하는 것을 특징으로 하는 이동 단말기.
  15. 제9항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 출력되는 제 1 화면에 대하여 소정 방향의 제 2 입력이 감지되면, 상기 접속된 차량내 영상표시장치의 다른 디스플레이에 표시되는 화면이 상기 디스플레이부에 함께 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  16. 제9항에 있어서,
    상기 제어부는,
    기설정된 시간 동안, 상기 디스플레이부에 운전자의 시선이 감지되지 않으면,
    상기 디스플레이부에서 상기 제 1 화면이 사라지도록 제어하고, 상기 제 1 화면이 나타나도록 하기 위한 인디케이터가 상기 디스플레이부의 일 영역에 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  17. 제16항에 있어서,
    상기 제어부는,
    상기 인디케이터에 대하여 소정 방향의 터치입력이 감지되면, 상기 인디케이터에 대응되는 제 1 화면이 상기 방향을 따라 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 이동 단말기.
  18. 제9항에 있어서,
    상기 사용자 추적부는, 상기 접속된 차량내 영상표시장치의 제 3 디스플레이를 기준으로 촬영된 운전자의 영상을 더 포함하여 운전자의 시선이 향하는 방향을 감지하고,
    상기 제어부는,
    상기 감지된 운전자의 시선에 대응되는 방향이 상기 디스플레이부에서 상기 제 3 디스플레이로 이동된 것에 응답하여, 상기 디스플레이부에 출력되는 컨텐츠 화면과 상기 제 1 화면이 상기 제 3 디스플레이에 함께 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  19. 제1항에 있어서,
    이동 단말기 본체와 접속되고, 운전자가 신체의 일부에 착용하도록 이루어지는 제 2 영상표시장치를 더 포함하고,
    상기 제어부는,
    상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 제 2 디스플레이로 이동된 것에 응답하여,
    상기 제 1 디스플레이에 표시되는 제 1 화면과 상기 제 2 디스플레이에 표시되는 제 2 화면이 함께 상기 제 2 영상표시장치의 화면에 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
  20. 차량내 영상표시장치와 접속하는 단계;
    접속된 차량내 영상표시장치의 제 1 디스플레이를 기준으로 촬영된 운전자의 영상과 제 2 디스플레이를 기준으로 촬영된 운전자의 영상에 근거하여 상기 운전자의 시선이 향하는 방향을 감지하는 단계; 및
    상기 감지된 운전자의 시선에 대응되는 방향이 상기 제 1 디스플레이에서 상기 제 2 디스플레이로 이동된 것에 응답하여, 상기 제 1 디스플레이에 표시되는 제 1 화면의 적어도 일부가 상기 제 2 디스플레이의 일 영역에 실시간으로 출력되도록 제어하는 단계를 포함하고,
    상기 제 1 화면의 적어도 일부는 상기 제 2 디스플레이의 제 2 화면위에 오버레이되어 표시되며,
    상기 제 1 화면은 차량의 전방시야에 대응되는 화면이고, 상기 제 2 화면은 차량의 측면시야 또는 후방시야에 대응되는 화면인 것을 특징으로 하는 이동 단말기의 제어 방법.
KR1020130083062A 2013-07-15 2013-07-15 이동 단말기 및 이의 제어 방법 KR102059607B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130083062A KR102059607B1 (ko) 2013-07-15 2013-07-15 이동 단말기 및 이의 제어 방법
US14/280,162 US9513702B2 (en) 2013-07-15 2014-05-16 Mobile terminal for vehicular display system with gaze detection
EP14177068.5A EP2826689B1 (en) 2013-07-15 2014-07-15 Mobile terminal
CN201410336137.4A CN104301507B (zh) 2013-07-15 2014-07-15 移动终端及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130083062A KR102059607B1 (ko) 2013-07-15 2013-07-15 이동 단말기 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20150009120A KR20150009120A (ko) 2015-01-26
KR102059607B1 true KR102059607B1 (ko) 2019-12-26

Family

ID=52572427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130083062A KR102059607B1 (ko) 2013-07-15 2013-07-15 이동 단말기 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR102059607B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013101044A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013101044A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze

Also Published As

Publication number Publication date
KR20150009120A (ko) 2015-01-26

Similar Documents

Publication Publication Date Title
CN104301507B (zh) 移动终端及其控制方法
KR102010298B1 (ko) 영상표시장치 및 영상표시장치의 동작방법
US9800717B2 (en) Mobile terminal and method for controlling the same
KR101632009B1 (ko) 전자기기 및 그것의 제어방법
US9869556B2 (en) Mobile terminal and control method therefor
KR102206383B1 (ko) 음성 인식 장치 및 그 방법
US9909892B2 (en) Terminal and method for controlling the same
KR101641513B1 (ko) 이동 단말기의 영상 촬영 장치 및 그 방법
KR20130112937A (ko) 영상표시장치 및 그 영상표시장치의 동작 방법
KR101994438B1 (ko) 이동 단말기 및 이의 제어 방법
KR102070868B1 (ko) 정보 제공 장치 및 그 방법
KR20110004706A (ko) 이동 단말기의 응급사고 처리 장치 및 그 방법
KR101612868B1 (ko) 영상표시장치
KR102059607B1 (ko) 이동 단말기 및 이의 제어 방법
KR20120080939A (ko) 영상 처리 장치 및 그 방법
KR20140095873A (ko) 전자기기 및 그것의 제어방법
KR101659029B1 (ko) 전자기기 및 그것의 제어방법
KR101544454B1 (ko) 차량 제어 시스템 및 그 제어 방법
KR101729578B1 (ko) 정보 제공 장치 및 그 방법
KR102220367B1 (ko) 이동 단말기 및 그 제어 방법
KR20150033149A (ko) 차량 제어 장치 및 그 방법
KR20160120104A (ko) 차량용 표시장치 및 그것의 제어방법
KR101622692B1 (ko) 전자기기 및 그것의 제어방법
KR101698104B1 (ko) 차로 안내 장치 및 그 방법
KR20140099129A (ko) 전자기기 및 그것의 제어방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant