KR20120062541A - 시선 벡터를 이용한 디스플레이 시스템 - Google Patents

시선 벡터를 이용한 디스플레이 시스템 Download PDF

Info

Publication number
KR20120062541A
KR20120062541A KR1020100123841A KR20100123841A KR20120062541A KR 20120062541 A KR20120062541 A KR 20120062541A KR 1020100123841 A KR1020100123841 A KR 1020100123841A KR 20100123841 A KR20100123841 A KR 20100123841A KR 20120062541 A KR20120062541 A KR 20120062541A
Authority
KR
South Korea
Prior art keywords
gaze
vector
display
view
display unit
Prior art date
Application number
KR1020100123841A
Other languages
English (en)
Inventor
이석원
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020100123841A priority Critical patent/KR20120062541A/ko
Publication of KR20120062541A publication Critical patent/KR20120062541A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명은 시선 벡터를 이용한 디스플레이 시스템으로서, 운전자 시선을 감지하는 시선 추적 카메라, 시선 추적 카메라에 의해 감지된 운전자 시선의 움직임을 기초로 하여, 다음 시점의 시선 벡터의 방향 및 크기를 산출하는 시선 벡터 산출부, 차량의 사이드뷰를 촬영하는 사이드뷰 카메라, 윈드쉴드 디스플레이 형태로 구현되는 디스플레이부 및 시선 벡터 산출부에 의해 산출된 시선 벡터의 방향 및 크기가 디스플레이부의 디스플레이 영역에 포함되는 경우, 사이드뷰 카메라에 의해 촬영되고 있는 영상을 상기 디스플레이부에 표시하는 제어부를 포함한다.

Description

시선 벡터를 이용한 디스플레이 시스템{Display System based on gaze direction vector}
본 발명은 시선 벡터를 이용한 디스플레이 시스템으로서, 보다 상세하게는 탑승자의 시선의 움직임을 감지하여 윈드쉴드 디스플레이 형태로 구현되는 디스플레이부를 온/오프하는 디스플레이 시스템이다.
차량 주행시, 위드쉴드 디스플레이 형태로 구현되는 디스플레이부에 각종 정보가 표시될 수 있다. 그러나 윈드쉴드 디스플레이는 주행 시야 범위에 구비되므로 운전자의 시야를 방해할 수 있다.
또한, 운전자가 사이드 미러를 통해 차량의 좌우 환경을 확인하는 경우, 운전자의 시선이 사이드 미러 측으로 이동하므로, 순간적으로 주행 정면에서 발생하는 상황을 놓치는 문제점이 있다.
따라서, 운전자가 차량의 좌우 환경을 확인하고자 하는 경우, 윈드쉴드 디스플레이부를 통해 정보를 제공함과 동시에, 사용자의 주행 시야를 방해하지 않는 디스플레이 방법이 요구된다.
본 발명은 운전자가 차량의 사이드뷰를 확인하고자 하는 경우, 차량의 사이드뷰 카메라에 의해 촬영된 화면을 윈드쉴드 디스플레이부를 통해 제공할 수 있는 시선 벡터를 이용한 디스플레이 시스템을 제공하는데 그 목적이 있다.
본 발명은 디스플레이 시스템으로서, 운전자 시선을 감지하는 시선 추적 카메라, 상기 시선 추적 카메라에 의해 감지된 운전자 시선의 움직임을 기초로 하여, 다음 시점의 시선 벡터의 방향 및 크기를 산출하는 시선 벡터 산출부, 차량의 사이드뷰를 촬영하는 사이드뷰 카메라, 윈드쉴드 디스플레이 형태로 구현되는 디스플레이부 및 상기 시선 벡터 산출부에 의해 산출된 시선 벡터의 방향 및 크기가 상기 디스플레이부의 디스플레이 영역에 포함되는 경우, 상기 사이드뷰 카메라에 의해 촬영되고 있는 영상을 상기 디스플레이부에 표시하는 제어부를 포함한다.
본 발명에 따르면, 차량의 사이드뷰 카메라에 의해 촬영된 화면을 윈드쉴드 디스플레이부로 제공함으로써, 운전자는 정면을 응시하면서 동시에 차량의 좌우 환경을 확인할 수 있으므로, 보다 안전한 운행이 가능하다.
또한, 운전자의 시선에 따라 디스플레이부가 온/오프되므로, 별도의 동작이 필요없고, 운전자가 사이드뷰 정보를 원하지 않는 경우, 디스플레이부가 동작을 하지 않으므로, 운전자의 주의를 분산시키지 않고, 주행 시야를 방해하지 않는다.
도 1은 본 발명의 일실시예에 따른 시선 벡터를 이용한 디스플레이 시스템을 나타내는 구성도이다.
도 2는 본 발명의 일실시예에 따른 시선 벡터를 이용한 디스플레이 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일실시예에 따른 디스플레이부를 나타내는 도면이다.
도 1은 본 발명의 일실시예에 따른 시선 벡터를 이용한 디스플레이 시스템을 나타내는 구성도이다.
도 1에 도시된 바와 같이, 디스플레이 시스템은 시선 추적 카메라(101), 시선 벡터 산출부(103), 제어부(105), 사이드뷰 카메라(107) 및 디스플레이부(109)를 포함한다.
시선 추적 카메라(101)는 운전자의 시선을 감지하는 카메라이다. 상기 카메라를 통해 얼굴 방향, 홍채, 동공 등의 움직임을 촬영한다.
시선 벡터 산출부(103)는 상기 시선추적 카메라(101)를 통해 촬영된 운전자 시선의 움직임을 기초로 하여, 현재 시점의 시선 벡터 및 다음 시점의 시선 벡터를 산출한다. 또한, 운전자 시선의 속도벡터를 계산할 수 있고, 현재 시점의 시선 좌표, 이전 시점의 시선 좌표들을 산출할 수 있다. 시선 벡터 산출부(103)는 운전자 시선의 움직임을 기초로 하여, 실시간으로 시선 벡터를 산출할 수 있다.
시선 벡터는 시선 벡터의 방향 및 시선 벡터의 크기를 포함한다. 상기 시선 벡터 산출부(103)는 현재 시점과 이전 시점에서의 시선 좌표의 합 벡터와 이전 시점에서의 시선 좌표들 사이의 스플라인 보간법을 이용하여 다음 시점의 시선 벡터의 방향을 산출한다. 또한, 상기 시선 벡터 산출부(103)는 이점 시점과 그 이전 시점들 사이의 벡터 크기의 평균 차이를 이용하여 다음 시점의 시선 벡터의 크기를 산출한다.
제어부(105)는 시선 벡터 산출부(103)에 의해 산출된 다음 시점의 시선 벡터가 디스플레이 영역에 포함되는지 판단하고, 디스플레이 영역에 포함되는 경우, 사이드뷰 카메라(107)에 의해 촬영되고 있는 영상을 실시간으로 디스플레이 영역에 표시한다. 상기 디스플레이 영역은 윈드쉴드 디스플레이 형태로 구현된다. 벡터 산출부(103)에 의해 산출된 다음 시점의 시선 벡터 전체 또는 일부가 디스플레이 영역에 포함되는 경우에 디스플레이 영역에 영상이 표시된다.
또한, 상기 제어부(105)는 시선 벡터 산출부(103)에 의해 산출된 다음 시점의 시선 벡터가 디스플레이 영역에 소정 시간 이상 고정되는 경우에만 사이드뷰 카메라(107)에 의해 촬영되고 있는 영상을 디스플레이 영역에 표시할 수 있다. 상기 소정 시간은 0.5초, 1초 등으로 설정될 수 있다. 시선 벡터가 디스플레이 영역에 고정된다는 것은 시선 벡터가 점 벡터로 산출되어 한 점에 고정되는 경우 뿐 아니라, 시선 벡터의 방향 및 크기가 모두 디스플레이 영역에 포함되는 경우도 포함한다.
사이드뷰 카메라(107)는 차량의 사이드뷰를 촬영하는 모듈로서, 종래 사이드 미러를 통해 확인되는 차량의 좌우를 촬영한다. 사이드뷰 카메라(107)에 의해 촬영되고 있는 영상은 실시간으로 디스플레이부(109)에 표시될 수 있다.
디스플레이부(109)는 차량의 윈드쉴드 디스플레이 형태로 구현되는 모듈이며, 소정의 정보를 표시할 수 있는 디스플레이 영역을 포함한다. 시선 벡터 산출부(103)에 의해 산출된 다음 시점의 시선 벡터가 디스플레이 영역에 포함되는 경우 또는 소정 시간 이상 고정되는 경우, 디스플레이부(109)는 켜지고, 산출된 다음 시점의 시선 벡터 디스플레이 영역을 벗어나는 경우, 디스플레이부(109)는 꺼진다. 디스플레이부(109)가 켜지면, 상기 사이드뷰 카메라(107)에 의해 촬영되고 있는 영상이 디스플레이 영역에 표시된다. 디스플레이 영역의 크기는 사용자 설정에 의해 변경될 수 있으므로, 산출된 시선 벡터에 대한 디스플레이부(109)의 온/오프 민감도가 변경될 수 있다.
도 2는 본 발명의 일실시예에 따른 시선 벡터를 이용한 디스플레이 방법을 나타내는 흐름도이다.
도 2에 도시된 바와 같이, 운전자 시선이 시선 추적 카메라(101)에 의해 촬영된다(S201).
다음, 운전자 시선의 움직임에 기초하여 다음 시점의 시선 벡터가 산출된다(S203). 상기 시선 벡터는 시선 벡터의 크기 및 방향을 포함한다.
다음, 산출된 시선 벡터가 디스플레이 영역에 포함되는지 판단된다(S205). 시선 벡터가 디스플레이 영역에 포함되는 경우, 촬영되고 있는 사이드뷰 영상이 디스플레이 영역에 표시된다(S207). 시선 벡터의 크기 및 방향이 디스플레이 영역에 소정 시간 이상 고정되는 경우에만 영상이 표시될 수 있다.
한편, 시선 벡터가 디스플레이 영역에 포함되지 않는 경우, 디스플레이부(109)는 켜지지 않는다(S209).
도 3은 본 발명의 일실시예에 따른 디스플레이부를 나타내는 도면이다.
도 3에 도시된 바와 같이, 운전자 시선의 움직임이 감지되어, 이전 시점의 좌표(301) 및 현재 시점의 좌표(303)가 감지되고, 운전자 시선의 움직임 및 움직임의 속도도 감지된다.
시선 벡터 산출부(103)에 의해 다음 시점의 시선 벡터(305)가 산출된다. 제어부(105)는 산출된 다음 시점의 시선 벡터(305)가 디스플레이 영역(307)에 포함되는 경우, 사이드뷰(107) 카메라를 통해 촬영되고 있는 영상이 디스플레이 영역(307)에 표시된다.
본 발명은 상술한 일실시예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능하다.

Claims (4)

  1. 운전자 시선을 감지하는 시선 추적 카메라;
    상기 시선 추적 카메라에 의해 감지된 운전자 시선의 움직임을 기초로 하여, 다음 시점의 시선 벡터의 방향 및 크기를 산출하는 시선 벡터 산출부;
    차량의 사이드뷰를 촬영하는 사이드뷰 카메라
    윈드쉴드 디스플레이 형태로 구현되는 디스플레이부; 및
    상기 시선 벡터 산출부에 의해 산출된 시선 벡터의 방향 및 크기가 상기 디스플레이부의 디스플레이 영역에 포함되는 경우, 상기 사이드뷰 카메라에 의해 촬영되고 있는 영상을 상기 디스플레이부에 표시하는 제어부를 포함하는 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 시선 벡터 산출부는 현재 시점의 시선 벡터의 방향 및 크기를 산출하는 것을 특징으로 하는 디스플레이 시스템.
  3. 제1항에 있어서,
    상기 시선 벡터의 방향은 현재 시점과 이전 시점에서의 시선 좌표의 합 벡터, 및 이전 시점에서의 시선 좌표들 사이의 스플라인 보간법을 이용하여 산출되는 것을 특징으로 하는 디스플레이 시스템.
  4. 제1항에 있어서,
    상기 시선 벡터의 크기는 이점 시점과 그 이전 시점들 간의 벡터 크기의 평균 차이를 이용하여 산출되는 것을 특징으로 하는 디스플레이 시스템.
KR1020100123841A 2010-12-06 2010-12-06 시선 벡터를 이용한 디스플레이 시스템 KR20120062541A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100123841A KR20120062541A (ko) 2010-12-06 2010-12-06 시선 벡터를 이용한 디스플레이 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100123841A KR20120062541A (ko) 2010-12-06 2010-12-06 시선 벡터를 이용한 디스플레이 시스템

Publications (1)

Publication Number Publication Date
KR20120062541A true KR20120062541A (ko) 2012-06-14

Family

ID=46683453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123841A KR20120062541A (ko) 2010-12-06 2010-12-06 시선 벡터를 이용한 디스플레이 시스템

Country Status (1)

Country Link
KR (1) KR20120062541A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150009121A (ko) * 2013-07-15 2015-01-26 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
KR101500085B1 (ko) * 2013-06-13 2015-03-18 현대자동차주식회사 벡터를 이용한 시선 추적 장치 및 방법
WO2015082215A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum erstellen eines bildes einer szene
US9160929B2 (en) 2012-12-11 2015-10-13 Hyundai Motor Company Line-of-sight tracking system and method
KR20160012797A (ko) * 2014-07-25 2016-02-03 엘지전자 주식회사 차량용 미러 장치
CN105744140A (zh) * 2014-12-10 2016-07-06 信泰光学(深圳)有限公司 待测物出现次数记录装置及方法
GB2542408A (en) * 2015-09-18 2017-03-22 Ford Global Tech Llc Rear view display system and method
US9696800B2 (en) 2014-11-06 2017-07-04 Hyundai Motor Company Menu selection apparatus using gaze tracking
KR102084002B1 (ko) * 2018-08-31 2020-03-03 노명진 시선 추적 기반 헤드업 디스플레이 장치
WO2022186546A1 (ko) * 2021-03-02 2022-09-09 삼성전자 주식회사 차량의 윈드 쉴드에 이미지를 투사하는 전자 장치 및 그 동작 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160929B2 (en) 2012-12-11 2015-10-13 Hyundai Motor Company Line-of-sight tracking system and method
KR101500085B1 (ko) * 2013-06-13 2015-03-18 현대자동차주식회사 벡터를 이용한 시선 추적 장치 및 방법
KR20150009121A (ko) * 2013-07-15 2015-01-26 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
WO2015082215A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum erstellen eines bildes einer szene
CN105829938A (zh) * 2013-12-05 2016-08-03 罗伯特·博世有限公司 用于制作场景图像的设备
US10460186B2 (en) 2013-12-05 2019-10-29 Robert Bosch Gmbh Arrangement for creating an image of a scene
KR20160012797A (ko) * 2014-07-25 2016-02-03 엘지전자 주식회사 차량용 미러 장치
US9696800B2 (en) 2014-11-06 2017-07-04 Hyundai Motor Company Menu selection apparatus using gaze tracking
CN105744140A (zh) * 2014-12-10 2016-07-06 信泰光学(深圳)有限公司 待测物出现次数记录装置及方法
GB2542408A (en) * 2015-09-18 2017-03-22 Ford Global Tech Llc Rear view display system and method
KR102084002B1 (ko) * 2018-08-31 2020-03-03 노명진 시선 추적 기반 헤드업 디스플레이 장치
WO2022186546A1 (ko) * 2021-03-02 2022-09-09 삼성전자 주식회사 차량의 윈드 쉴드에 이미지를 투사하는 전자 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
KR20120062541A (ko) 시선 벡터를 이용한 디스플레이 시스템
US10670880B2 (en) Image display apparatus and image display method
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US20160229412A1 (en) Cognitive displays
US11002959B2 (en) Head mount display device and driving method thereof
US10699118B2 (en) Vehicle safety system and operating method thereof
US11736674B2 (en) Dynamic convergence adjustment in augmented reality headsets
KR101690646B1 (ko) 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
US10719944B2 (en) Dynamic object tracking
US10129439B2 (en) Dynamically colour adjusted visual overlays for augmented reality systems
JP6348191B2 (ja) 電子機器
US11443719B2 (en) Information processing apparatus and information processing method
JP2013148599A (ja) 表示装置
JP2007280203A (ja) 情報提示装置、自動車、及び情報提示方法
JP2017138645A (ja) 視線検出装置
WO2013114871A1 (ja) 運転支援装置及び運転支援方法
JP2005081101A (ja) 視線方向検出装置及び視線方向検出方法
TW202213994A (zh) 擴增實境系統與其顯示亮度調整方法
JP2021033872A (ja) 車両用表示制御装置、車両用表示制御方法、およびプログラム
US11874961B2 (en) Managing display of an icon in an eye tracking augmented reality device
JP2009223659A (ja) 視覚情報提示装置
KR101499349B1 (ko) 영상 표시 장치 및 그 구동 방법
KR20170055625A (ko) 헤드업 디스플레이의 표시 제어 장치 및 방법
CN117063113A (zh) 信息处理装置、信息处理方法和程序
KR20170105318A (ko) 사용자 움직임에 기반한 영상 보정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application