JP6586226B2 - 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置 - Google Patents
端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置 Download PDFInfo
- Publication number
- JP6586226B2 JP6586226B2 JP2018512700A JP2018512700A JP6586226B2 JP 6586226 B2 JP6586226 B2 JP 6586226B2 JP 2018512700 A JP2018512700 A JP 2018512700A JP 2018512700 A JP2018512700 A JP 2018512700A JP 6586226 B2 JP6586226 B2 JP 6586226B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing device
- vehicle
- imaging device
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 61
- 238000009434 installation Methods 0.000 claims description 126
- 238000003384 imaging method Methods 0.000 claims description 102
- 238000012545 processing Methods 0.000 claims description 16
- 230000010365 information processing Effects 0.000 claims 34
- 238000004891 communication Methods 0.000 description 19
- 230000001133 acceleration Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
Description
また、本発明は、端末装置の表示部が設けられた面の側に備えられた第1の撮像装置により撮影された運転者の顔の位置が、撮影画像の右上又は左上の場合には、端末装置の位置をセンターコンソールの前と推定し、第1の撮像装置により撮影された運転者の顔の位置が、撮影画像の右上又は左上ではなく、且つ、端末装置の表示部が設けられた面の反対側に備えられた第2の撮像装置により取得された車両前方側の被写体までの距離が所定距離以上である場合には、端末装置の位置をダッシュボードの上と推定し、第1の撮像装置により撮影された運転者の顔の位置が、撮影画像の右上又は左上ではなく、且つ、第2の撮像装置により取得された車両前方側の被写体までの距離が上記所定距離未満である場合には、端末装置の位置をダッシュボードの手前と推定することにより、上記課題を解決する。
3 メーターパネル
4 センターコンソール
30 サーバー
310 プロセッサ
100 表示装置
101 表示部
102 第1の撮像装置
103 第2の撮像装置
110 プロセッサ
Claims (12)
- 車両の中に設置される情報処理装置であって、
第1の撮像装置により撮像された第1画像を取得する第1の入力部と、
第2の撮像装置により撮像された第2画像を取得する第2の入力部と、
所定の画像データを表示する表示部と、
前記第1画像から検出した人物の顔の位置と、前記第2画像から取得した被写体までの距離に関する情報とに基づいて推定された当該情報処理装置の設置位置に応じて、前記表示部に表示する画像データを決定する制御部と、を備える情報処理装置。 - 前記表示部に表示する画像データは、前記車両の外に存在する物体に関する画像データである請求項1に記載の情報処理装置。
- 前記制御部は、前記情報処理装置の設置位置が、前記人物から見て上側にあると推定された場合、前記車両の前方の撮影画像を前記表示部に表示する画像データに決定する請求項1又は2に記載の情報処理装置。
- 前記制御部は、前記情報処理装置の設置位置が、前記人物から見て下側にあると推定された場合、ナビゲーション情報又はメーターパネルを示す画像データを前記表示部に表示する画像データに決定する請求項1〜3のいずれか一項に記載の情報処理装置。
- 前記制御部は、
前記情報処理装置の前記表示部が設けられた面の側に備えられた第1の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上の場合には、前記情報処理装置の位置をセンターコンソールの前と推定し、
前記第1の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記情報処理装置の前記表示部が設けられた面の反対側に備えられた第2の撮像装置により取得された車両前方側の被写体までの距離が所定距離以上である場合には、前記情報処理装置の位置をダッシュボードの上と推定し、
前記第1の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記第2の撮像装置により取得された車両前方側の被写体までの距離が前記所定距離未満である場合には、前記情報処理装置の位置をダッシュボードの手前と推定する請求項1〜4のいずれか一項に記載の情報処理装置。 - 車両の中に設置される情報処理装置に表示される画像データを決定する表示データ決定方法であって、
前記情報処理装置の第1の撮像装置により撮像された第1画像から検出した人物の顔の位置と、前記情報処理装置の第2の撮像装置により撮像された第2画像から取得した被写体までの距離に関する情報とに基づいて、前記情報処理装置の設置位置を推定し、
推定された前記情報処理装置の設置位置に応じて、前記情報処理装置の表示部に表示する画像データを決定する表示データ決定方法。 - 前記画像データは、前記車両の外に存在する物体に関する画像データである請求項6に記載の表示データ決定方法。
- 前記情報処理装置の設置位置が、前記人物から見て上側にあると推定された場合、前記車両の前方の撮影画像を前記表示部に表示する画像データに決定する請求項6又は7に記載の表示データ決定方法。
- 前記情報処理装置の設置位置が、前記人物から見て下側にあると推定された場合、ナビゲーション情報又はメーターパネルを示す画像データを前記表示部に表示する画像データに決定する請求項6〜8のいずれか一項に記載の表示データ決定方法。
- 前記情報処理装置の前記表示部が設けられた面の側に備えられた第1の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上の場合には、前記情報処理装置の位置をセンターコンソールの前と推定し、
前記第1の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記情報処理装置の前記表示部が設けられた面の反対側に備えられた第2の撮像装置により取得された車両前方側の被写体までの距離が所定距離以上である場合には、前記情報処理装置の位置をダッシュボードの上と推定し、
前記第1の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記第2の撮像装置により取得された車両前方側の被写体までの距離が前記所定距離未満である場合には、前記情報処理装置の位置をダッシュボードの手前と推定する請求項6〜9のいずれか一項に記載の表示データ決定方法。 - 前記情報処理装置の前記表示部が設けられた面の側に備えられた第1の撮像装置により人物の顔を撮影し、
前記第1の撮像装置により撮影された前記人物の顔の向きに基づいて、前記情報処理装置の位置を推定し、
前記情報処理装置の前記表示部が設けられた面の反対側に備えられた第2の撮像装置により車両前方側を撮影し、
前記第2の撮像装置により取得された撮影範囲の明度が、メーターパネルの光量切換スイッチに連動して変化した場合には、前記情報処理装置の位置を前記メーターパネルの前と推定する請求項6〜9のいずれか一項に記載の表示データ決定方法。 - 前記車両の直線走行中に前記第1の撮像装置により撮像された前記人物の顔が右向きである場合には、前記情報処理装置の位置を前記人物から見て左側の位置と推定し、
前記車両の直線走行中に前記第1の撮像装置により撮像された前記人物の顔が正面向きである場合には、前記情報処理装置の位置を前記人物から見て正面の位置と推定し、
前記車両の直線走行中に前記第1の撮像装置により撮像された前記人物の顔が左向きである場合には、前記情報処理装置の位置を前記人物から見て右側の位置と推定する請求項6〜9のいずれか一項に記載の表示データ決定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/062489 WO2017183128A1 (ja) | 2016-04-20 | 2016-04-20 | 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017183128A1 JPWO2017183128A1 (ja) | 2019-02-28 |
JP6586226B2 true JP6586226B2 (ja) | 2020-01-08 |
Family
ID=60116706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018512700A Active JP6586226B2 (ja) | 2016-04-20 | 2016-04-20 | 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10776641B2 (ja) |
EP (1) | EP3446913B1 (ja) |
JP (1) | JP6586226B2 (ja) |
CN (1) | CN109070748B (ja) |
WO (1) | WO2017183128A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020152786A1 (ja) * | 2019-01-22 | 2020-07-30 | ヤマハモーターパワープロダクツ株式会社 | オフハイウェイ車両 |
WO2023058145A1 (ja) * | 2021-10-06 | 2023-04-13 | 三菱電機株式会社 | 乗員検知装置および撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4811259B2 (ja) * | 2006-12-11 | 2011-11-09 | 日産自動車株式会社 | 視線方向推定装置及び視線方向推定方法 |
JP5278292B2 (ja) * | 2009-11-27 | 2013-09-04 | 株式会社デンソー | 情報提示装置 |
JP2012104052A (ja) | 2010-11-12 | 2012-05-31 | Idea Consultants Inc | 推定方法 |
JP2012214087A (ja) * | 2011-03-31 | 2012-11-08 | Kojima Press Industry Co Ltd | スマートフォンの配置構造 |
JP5899021B2 (ja) | 2012-03-28 | 2016-04-06 | 本田技研工業株式会社 | 車両への携帯情報端末の取付位置判別方法 |
JP5847058B2 (ja) * | 2012-11-08 | 2016-01-20 | 本田技研工業株式会社 | 車両表示装置 |
DE102013015634B4 (de) * | 2013-09-20 | 2015-06-18 | Audi Ag | Verfahren und System zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben wenigstens einer Anzeigeeinrichtung |
WO2015164584A1 (en) * | 2014-04-23 | 2015-10-29 | Google Inc. | User interface control using gaze tracking |
-
2016
- 2016-04-20 WO PCT/JP2016/062489 patent/WO2017183128A1/ja active Application Filing
- 2016-04-20 US US16/095,298 patent/US10776641B2/en active Active
- 2016-04-20 JP JP2018512700A patent/JP6586226B2/ja active Active
- 2016-04-20 CN CN201680084798.XA patent/CN109070748B/zh active Active
- 2016-04-20 EP EP16899401.0A patent/EP3446913B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN109070748A (zh) | 2018-12-21 |
EP3446913A4 (en) | 2019-04-10 |
US10776641B2 (en) | 2020-09-15 |
US20190095732A1 (en) | 2019-03-28 |
EP3446913B1 (en) | 2024-07-10 |
WO2017183128A1 (ja) | 2017-10-26 |
JPWO2017183128A1 (ja) | 2019-02-28 |
EP3446913A1 (en) | 2019-02-27 |
CN109070748B (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9020746B2 (en) | Vehicle-mounted information processing apparatus and information processing method | |
JP4914726B2 (ja) | 現在位置算出装置、現在位置算出方法 | |
US9487172B2 (en) | Image display device and method thereof | |
JP5214100B2 (ja) | 携帯型地図表示装置、その方法、およびプログラム | |
KR102019619B1 (ko) | 정보 표시 방법 및 표시 제어 장치 | |
JP4801232B1 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
US20170120819A1 (en) | Information display control system and method of controlling display of information | |
CN111243314A (zh) | 信息提供***、服务器、移动终端、非暂时性存储介质和信息提供方法 | |
JP6586226B2 (ja) | 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置 | |
US10568148B2 (en) | Systems and methods for communicating notices within a vehicle using a mobile device | |
JP2004061259A (ja) | 情報提供装置、情報提供方法及び情報提供用プログラム | |
JPWO2012131836A1 (ja) | 測位装置、センサユニット、携帯端末装置、測位方法及び測位プログラム | |
JP2019040551A (ja) | 情報処理装置、車両および路側機 | |
JP2014203400A (ja) | 車外画像保存装置、及び撮像機能付き携帯端末 | |
JP5174942B2 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
JP6288204B1 (ja) | 車両用制限速度検出装置 | |
JP5036895B2 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
JP2013217808A (ja) | 車載機器 | |
JP2022138377A (ja) | 自律航法装置、測位方法、プログラム及び記憶媒体 | |
JP2017211935A (ja) | 移動物検出装置、移動物検出プログラム及びその方法 | |
JP2020087015A (ja) | 路側機、サーバ装置、通信システム、第1路側機、第2路側機、第1電子機器、第2電子機器及び車両 | |
JP2005018636A (ja) | 車両用周囲監視装置 | |
JP2016045668A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181012 |
|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20181012 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6586226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |