JP2017024711A - 乗員の視線方向を予測する方法および装置 - Google Patents
乗員の視線方向を予測する方法および装置 Download PDFInfo
- Publication number
- JP2017024711A JP2017024711A JP2016142095A JP2016142095A JP2017024711A JP 2017024711 A JP2017024711 A JP 2017024711A JP 2016142095 A JP2016142095 A JP 2016142095A JP 2016142095 A JP2016142095 A JP 2016142095A JP 2017024711 A JP2017024711 A JP 2017024711A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- head
- movement
- latest
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Eye Examination Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】乗員102の初期視線方向114を読み取る読取ステップと、最新の頭部の動きおよび/または目の動きを表す乗員102の視線角度変化に関するセンサデータ118を使用して、初期視線方向114を起点として前記乗員102の最新の頭部の動きおよび/または目の動きの最大速度を検出する検出ステップと、検出された最大速度を使用して、所定モデルによって表される最新の頭部の動きおよび/または目の動きの予想値を決定する決定ステップと、乗員102の視線方向120を予想するために初期視線方向114および最新の頭部の動きおよび/または目の動きの予測値を使用する使用ステップとを含む。
【選択図】図1
Description
乗員の初期視線方向を読み取るステップ;
最新の頭部の動きおよび/または目の動きを表す乗員の視線角度変化に関するセンサデータを使用して、初期視線方向を起点として乗員の最新の頭部の動きおよび/または目の動きの最大速度を検出するステップと;
検出された最大速度を使用して所定モデルによって表わされる最新の頭部の動きおよび/または目の動きの予想値を決定するステップと;
初期視線方向および最新の頭部の動きおよび/または目の動きの予測値を使用して乗員の視線方向を予想するステップと
を含む。
A=−ln(1−Vpeak/Vmax)×C
104 トラッキングシステム(ヘッドトラッキングシステム、アイトラッキングシステム)
106 車両カメラ
108 光学センサ
110 装置
112 頭部
114 初期視線方向
116 目
118 センサデータ
120 視線方向
200 方法
202 読取ステップ
204 読取ステップ
206 検出ステップ
208 決定ステップ
210 使用ステップ
300 グラフ
400 回転軸線
400 頭部中心
402 検出範囲
404 停止位置
406 グラフ
500 最大速度
502 視線方向
Claims (12)
- 車両(100)の乗員(102)の視線方向(120)を予測する方法(200)において、前記方法(200)が、
前記乗員(102)の初期視線方向(114)を読み取る読取ステップ(202)と、
最新の頭部の動きおよび/または目の動きを表す前記乗員(102)の視線角度変化に関するセンサデータ(118)を使用して、初期視線方向(114)を起点として前記乗員(102)の最新の頭部の動きおよび/または目の動きの最大速度(500)を検出する検出ステップ(206)と、
検出された最大速度(500)を使用して、所定モデル(406)によって表される最新の頭部の動きおよび/または目の動きの予想値を決定する決定ステップ(208)と、
乗員(102)の視線方向(120)を予想するために、初期視線方向(114)および最新の頭部の動きおよび/または目の動きの予測値を使用する使用ステップ(210)と、
を含む方法(200)。 - 請求項1に記載の方法(200)において、
前記車両(100)の光学センサ(108)のインターフェイスを介して、最新の頭部の動きおよび/または目の動きを表す乗員(102)の視線角度変化についての前記センサデータ(118)を読み取る読取ステップ(204)、
を含む方法(200)。 - 請求項1または2に記載の方法(200)において、
前記検出ステップ(206)で検出された前記最大速度(500)が所定の速度閾値を超過した場合に、最新の頭部の動きおよび/または目の動きの予想値を決定する前記決定ステップ(208)を実施する方法(200)。 - 請求項1〜3までのいずれか一項に記載の方法(200)において、
前記決定ステップ(208)で、保存された式によって計算可能なモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項1〜3までのいずれか一項に記載の方法(200)において、
前記決定ステップ(208)で、ルックアップテーブルとして実施されるモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項1〜3までのいずれか一項に記載の方法(200)において、
前記決定ステップ(208)で、人および/または乗員の頭部の動きおよび/または目の動きの経験的な評価に基づいたモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項1〜6までのいずれか一項に記載の方法(200)において、
前記決定ステップ(208)で、少なくとも1つの調整パラメータを使用して調整可能であり、特に少なくとも1つの調整パラメータによって車両の使用環境に適合させることができるモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項7に記載の方法(200)において、
調整パラメータとして、乗員に固有に設定可能な調整パラメータを使用する方法(200)。 - 請求項8に記載の方法(200)において、
乗員に固有に設定可能および/または設定された調整パラメータとして、統計的な推定方法によって検出される乗員に固有に設定可能な設定された調整パラメータを使用する方法(200)。 - 請求項1〜9までのいずれか一項に記載の方法(200)を実施するように構成された装置(110)。
- 請求項1〜9までのいずれか一項に記載の方法(200)を実施するように構成されたコンピュータプログラム。
- 請求項11に記載のコンピュータプログラムが記憶された機械読取可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015213769.4 | 2015-07-22 | ||
DE102015213769.4A DE102015213769A1 (de) | 2015-07-22 | 2015-07-22 | Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017024711A true JP2017024711A (ja) | 2017-02-02 |
JP6762157B2 JP6762157B2 (ja) | 2020-09-30 |
Family
ID=57738649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016142095A Active JP6762157B2 (ja) | 2015-07-22 | 2016-07-20 | 乗員の視線方向を予測する方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10074023B2 (ja) |
JP (1) | JP6762157B2 (ja) |
CN (1) | CN106372568B (ja) |
DE (1) | DE102015213769A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10701338B2 (en) | 2017-07-25 | 2020-06-30 | Mitsubishi Electric Corporation | Display apparatus |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
FR3069657A1 (fr) * | 2017-07-31 | 2019-02-01 | Valeo Comfort And Driving Assistance | Dispositif optique pour l'observation d'un habitacle de vehicule |
CN107770561A (zh) * | 2017-10-30 | 2018-03-06 | 河海大学 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
DE102017221871A1 (de) * | 2017-12-05 | 2019-06-06 | Volkswagen Aktiengesellschaft | Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm |
CN111731311B (zh) * | 2020-05-29 | 2023-04-07 | 阿波罗智联(北京)科技有限公司 | 车机行驶的安全控制方法、装置、设备以及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02301798A (ja) * | 1989-05-17 | 1990-12-13 | Nippon Hoso Kyokai <Nhk> | 画像表示装置 |
JPH03111028A (ja) * | 1989-09-25 | 1991-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 注視方向予測装置 |
JP2008146356A (ja) * | 2006-12-11 | 2008-06-26 | Nissan Motor Co Ltd | 視線方向推定装置及び視線方向推定方法 |
JP2011047902A (ja) * | 2009-08-28 | 2011-03-10 | Honda Motor Co Ltd | 乗員移動量算出装置 |
WO2015019542A1 (ja) * | 2013-08-08 | 2015-02-12 | パナソニックIpマネジメント株式会社 | 視野算出装置および視野算出方法 |
JP2018529162A (ja) * | 2015-09-04 | 2018-10-04 | 株式会社ソニー・インタラクティブエンタテインメント | サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5287437A (en) * | 1992-06-02 | 1994-02-15 | Sun Microsystems, Inc. | Method and apparatus for head tracked display of precomputed stereo images |
US5793310A (en) * | 1994-02-04 | 1998-08-11 | Nissan Motor Co., Ltd. | Portable or vehicular navigating apparatus and method capable of displaying bird's eye view |
ATE454849T1 (de) * | 2002-10-15 | 2010-01-15 | Volvo Technology Corp | Verfahren für die auswertung der kopf- und augenaktivität einer person |
US20060209013A1 (en) * | 2005-03-17 | 2006-09-21 | Mr. Dirk Fengels | Method of controlling a machine connected to a display by line of vision |
WO2008029802A1 (fr) * | 2006-09-04 | 2008-03-13 | Panasonic Corporation | Dispositif fournissant des informations de voyage |
CN101589327B (zh) * | 2007-09-26 | 2012-09-26 | 松下电器产业株式会社 | 光束扫描式显示装置、显示方法以及集成电路 |
JP2013514592A (ja) * | 2009-12-18 | 2013-04-25 | 本田技研工業株式会社 | 視線技術、死角インジケータ及びドライバ経験を用いる予測ヒューマン・マシン・インタフェース |
KR101544524B1 (ko) * | 2010-12-16 | 2015-08-17 | 한국전자통신연구원 | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 |
US8885882B1 (en) * | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
WO2013109869A1 (en) * | 2012-01-20 | 2013-07-25 | Magna Electronics, Inc. | Vehicle vision system with free positional virtual panoramic view |
CN102963298A (zh) * | 2012-09-29 | 2013-03-13 | 重庆长安汽车股份有限公司 | 基于视线检测的异常行为监控方法 |
KR101970577B1 (ko) * | 2013-04-09 | 2019-04-19 | 엘지디스플레이 주식회사 | 입체 영상 표시 장치 및 그의 아이-트랙킹 방법 |
DE102013210746A1 (de) * | 2013-06-10 | 2014-12-11 | Robert Bosch Gmbh | System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs |
CN103439801B (zh) * | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 视力保护成像装置及方法 |
KR20160044528A (ko) * | 2013-08-22 | 2016-04-25 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 운전자 안전을 위한 시선의 영향 |
JP2015087824A (ja) * | 2013-10-28 | 2015-05-07 | オムロン株式会社 | 画面操作装置および画面操作方法 |
US9746676B2 (en) * | 2014-01-21 | 2017-08-29 | Osterhout Group, Inc. | See-through computer display systems |
US9563805B2 (en) * | 2014-09-02 | 2017-02-07 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
CN104391574A (zh) * | 2014-11-14 | 2015-03-04 | 京东方科技集团股份有限公司 | 视线处理方法、***、终端设备及穿戴式设备 |
JP6692650B2 (ja) * | 2016-02-02 | 2020-05-13 | 株式会社デンソーテン | 情報処理装置および情報処理方法 |
-
2015
- 2015-07-22 DE DE102015213769.4A patent/DE102015213769A1/de active Pending
-
2016
- 2016-07-15 US US15/211,186 patent/US10074023B2/en active Active
- 2016-07-20 JP JP2016142095A patent/JP6762157B2/ja active Active
- 2016-07-21 CN CN201610576462.7A patent/CN106372568B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02301798A (ja) * | 1989-05-17 | 1990-12-13 | Nippon Hoso Kyokai <Nhk> | 画像表示装置 |
JPH03111028A (ja) * | 1989-09-25 | 1991-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 注視方向予測装置 |
JP2008146356A (ja) * | 2006-12-11 | 2008-06-26 | Nissan Motor Co Ltd | 視線方向推定装置及び視線方向推定方法 |
JP2011047902A (ja) * | 2009-08-28 | 2011-03-10 | Honda Motor Co Ltd | 乗員移動量算出装置 |
WO2015019542A1 (ja) * | 2013-08-08 | 2015-02-12 | パナソニックIpマネジメント株式会社 | 視野算出装置および視野算出方法 |
JP2018529162A (ja) * | 2015-09-04 | 2018-10-04 | 株式会社ソニー・インタラクティブエンタテインメント | サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10701338B2 (en) | 2017-07-25 | 2020-06-30 | Mitsubishi Electric Corporation | Display apparatus |
Also Published As
Publication number | Publication date |
---|---|
US10074023B2 (en) | 2018-09-11 |
JP6762157B2 (ja) | 2020-09-30 |
CN106372568B (zh) | 2021-06-29 |
DE102015213769A1 (de) | 2017-01-26 |
US20170024624A1 (en) | 2017-01-26 |
CN106372568A (zh) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6762157B2 (ja) | 乗員の視線方向を予測する方法および装置 | |
CN108216251B (zh) | 驾驶员状态监测方法、***及非瞬时性计算机可读介质 | |
US10159436B2 (en) | Method and apparatus for recognizing fatigue affecting a driver | |
US9526448B2 (en) | State estimation device and state estimation program | |
CN106687037B (zh) | 用于检测瞬时睡眠的设备、方法和计算机程序 | |
US10509975B2 (en) | Method and device for estimating a direction of a view of a vehicle occupant, method and device for determining a head movement gain parameter specific for a vehicle occupant, and method and device for estimating the direction of view of a vehicle occupant | |
JP6573193B2 (ja) | 判定装置、判定方法、および判定プログラム | |
CN110448316A (zh) | 数据处理装置及方法、监测***、唤醒***以及记录介质 | |
EP3440592B1 (en) | Method and system of distinguishing between a glance event and an eye closure event | |
US11216968B2 (en) | Face direction estimation device and face direction estimation method | |
JP2008079737A (ja) | 集中度評価装置及びこれを用いた車両用表示装置 | |
KR20190083155A (ko) | 운전자 상태 검출 장치 및 그 방법 | |
KR102304851B1 (ko) | Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법 | |
JP2022502757A (ja) | 運転者注意状態推定 | |
KR20210037790A (ko) | 자율 주행 장치 및 방법 | |
US20210276581A1 (en) | Vehicle controller | |
US20160092743A1 (en) | Apparatus and method for measuring a gaze | |
EP3270764B1 (en) | Situational awareness monitoring method and apparatus | |
KR20200133852A (ko) | 자율 주행 장치 및 방법 | |
CN116597425B (zh) | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 | |
KR20170059029A (ko) | 차체 피치 모션 추정 장치 및 그 방법 | |
US20230394702A1 (en) | Device, method, and computer program for estimating seat position | |
KR20200133443A (ko) | 자율 주행 장치 및 방법 | |
KR20170105318A (ko) | 사용자 움직임에 기반한 영상 보정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6762157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |