JP2023076002A - 画像表示システム - Google Patents

画像表示システム Download PDF

Info

Publication number
JP2023076002A
JP2023076002A JP2021189133A JP2021189133A JP2023076002A JP 2023076002 A JP2023076002 A JP 2023076002A JP 2021189133 A JP2021189133 A JP 2021189133A JP 2021189133 A JP2021189133 A JP 2021189133A JP 2023076002 A JP2023076002 A JP 2023076002A
Authority
JP
Japan
Prior art keywords
image
vehicle
marker
wearable device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021189133A
Other languages
English (en)
Inventor
英樹 小林
Hideki Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021189133A priority Critical patent/JP2023076002A/ja
Priority to US17/991,218 priority patent/US11941173B2/en
Publication of JP2023076002A publication Critical patent/JP2023076002A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】ウェアラブルデバイスのディスプレイにＡＲ表示を行う画像表示システムにおいて、夜間、逆光など視界内の特徴点の抽出が難しい環境下であっても、適切な位置に画像表示を行う。【解決手段】車両１２０に搭載されたマーカー投射器６４により、前方の路面９６Ｈ上にマーカー像９８Ｈを形成する。運転者２００が装着したウェアラブルデバイス２０に備えられたカメラによりマーカー像９８Ｈを含む風景を撮影し、マーカー像９８Ｈの位置を利用してウェアラブルデバイス２０の位置及び姿勢を検出する。検出されたウェアラブルデバイス２０の位置・姿勢に基づき、ディスプレイ上の画像の表示位置を決定する。【選択図】図６

Description

本発明は、車両の乗員が見ている現実の風景に対して他の画像を重ねて表示し、当該乗員に対して拡張された風景を提供する画像表示システムに関する。
車両の乗員が眼鏡またはゴーグルのように装着したウェアラブルデバイスのディスプレイに、乗員が当該ディスプレイ越しに見ている現実の風景に対して他の画像を重ねて表示して、拡張された風景を乗員に提供する技術が知られている。他の画像は、例えば、後方、側方などの乗員の視界外の範囲を撮影した画像や、仮想的な画像である。
下記特許文献１には、自車両の前方に先行車両（ＡＲペースカー１４０）を仮想的に表示する技術が開示されている。この先行車両（１４０）に追従するように自車両を操縦することで、自車両が目的地に向けて誘導される。運転者が装着するウェアラブルデバイス（スマートグラス５００）はカメラ（５１５）を備え、カメラ（５１５）により撮影された画像に基づき、フロントウィンドー（１００）などの固定された対象物を検知し、この対象物の位置に基づいて先行車両（１４０）の表示位置等が決定される。なお、上記の（ ）内の部材名および符号は、下記特許文献１で用いられている符号であり、本願の実施形態の説明で用いられる部材名および符号とは関連しない。
特開２０１７－１２９４０６号公報
車外の風景に他の画像を重畳する場合、車外の対象物に対するウェアラブルデバイスの位置および姿勢の情報を取得するのが望ましい。しかし、車外の対象物は多種多様であり、対象物を認識するための演算処理の負荷が大きくなる。また、車外の対象物は、外部環境によりその像の取得が難しい場合がある。例えば、夜間の光量不足、逆光などによる白飛びにより対象物の判別が難しい場合がある。
本発明は、ウェアラブルデバイスの位置および姿勢の基準となる車外対象物に係る特徴点の取得に関し、車外対象物の認識のための演算負荷を軽減すること、外部環境の影響を受けにくくすることのうち少なくとも１つを目的とする。
本発明に係る画像表示システムは、車両の乗員に装着されるウェアラブルデバイスであって、乗員の視界内に画像を表示するディスプレイと、ウェアラブルカメラとを備えるウェアラブルデバイスと、車両に搭載され、前方路面に向けてマーカーを投射して当該前方路面上にマーカー像を形成するマーカー投射器と、ウェアラブルカメラにより撮影されたマーカー像に基づき、ウェアラブルデバイスの位置及び姿勢を検出するウェアラブルデバイス位置姿勢センサと、検出されたウェアラブルデバイスの位置及び姿勢を利用して、画像を配置する視界内の位置を決定し、当該画像をディスプレイに表示させる画像処理装置とを含む。
光量不足、白飛びなどによって車外の特徴点の取得が難しい環境下でも、マーカー像を取得することができ、前方路面とウェアラブルデバイスの相対位置及び姿勢を検出することができる。
さらに、マーカーの形状は、あらかじめ定められた二次元図形であってよい。マーカーの形状があらかじめ定められていることにより、前方視界の画像からマーカー像を抽出する演算処理の負担が軽減される。
さらに、画像表示システムは、マーカー像の位置および形状から、路面の傾きおよび凹凸の少なくとも一方を検出する路面形状検出部を含んでよい。路面上に所定画像を表示する場合、路面形状に合わせた表示が可能となる。
さらに、画像表示システムは、ディスプレイに対する乗員の瞳孔の位置を検出する瞳孔位置センサを含むものとでき、画像処理装置は、検出されたウェアラブルデバイスの位置及び姿勢に加え、検出された瞳孔の位置を利用して画像を配置する視界内の位置を決定するものとしてよい。ディスプレイに表示される画像の位置を、現実の風景に対して精度よく合わせることができる。
夜間、逆光などの外部環境下においてもマーカー像を取得することができ、ディスプレイの適切な位置に画像を表示することができる。また、マーカーの形状があらかじめ定められていることにより、マーカー像の抽出に係る演算負荷を低減することができる。
実施形態に係る画像表示システムの構成を示すブロック図である。 運転者が装着するウェアラブルデバイスの外観を示す図である。 マーカーの形状を示す図である。 ウェアラブルデバイスに画像を表示しない状態の運転者の視界を示す図である。 ウェアラブルデバイスに画像を付加的に表示した状態の運転者の視界を示す図である。 道路の傾斜によるマーカー像の変化を概念的に示す図である。 道路の傾斜によるマーカー像の形状の変化の例を示す図である。
以下、本発明の実施形態を図面に従って説明する。説明においては、理解を容易にするため、具体的な態様について示すが、これらは実施形態を例示するものであり、他にも様々な実施形態をとることが可能である。
図１は、実施形態にかかる画像表示システム１０の機能構成を示すブロック図である。画像表示システム１０は、ウェアラブルデバイス２０と車載システム４０を含んで構築される。
ウェアラブルデバイス２０は、車両に乗車した運転者を含む乗員が眼鏡あるいはゴーグルのように装着するデバイスである。ウェアラブルデバイス２０には、デバイス位置姿勢センサ３０、瞳孔位置センサ３２、画像制御部３４及び有機ＥＬディスプレイ３６が含まれる。
図２には、ウェアラブルデバイス２０が概略的に示されている。図２は、運転者２００がウェアラブルデバイス２０を装着した状態を示す図である。ウェアラブルデバイス２０は、メガネの形状に形成されたデバイスであり、スマートグラスなどと呼ばれることもある。ウェアラブルデバイス２０は、耳に掛けるための概略直線状のフレームであるテンプル２２と、テンプル２２に接続され、目の周囲を囲むとともに鼻に掛けられる形状に形成されたフレームであるリム２４を備える。
リム２４の内側には、ディスプレイ、特に有機ＥＬ（Electro Luminescence）ディスプレイ３６が設けられている。有機ＥＬディスプレイ３６は、運転者２００の目の前方を覆うように配置されるが、画像を形成しない場合には、高い透明性（高い光透過性）を有しているため、運転者２００は、有機ＥＬディスプレイ３６を透して前方を目視することができる。有機ＥＬディスプレイ３６は、画像制御部３４の制御に基づいて、一部または全部の領域に画像を形成することができる。一部の領域に画像を形成することで、運転者が見ている現実の風景に、形成された画像を重畳表示して、拡張された風景を運転者２００に提供することができる。
ウェアラブルデバイス２０のリム２４とテンプル２２の接続部付近に、デバイス位置姿勢センサ３０が設けられている。デバイス位置姿勢センサ３０は、ウェアラブルデバイス２０の車両内における位置および姿勢を検出する。具体的には、デバイス位置姿勢センサ３０は、車両に固定された直交座標系における位置と、姿勢（つまりこの直交座標系の各座標軸に対する傾き）を検出する。デバイス位置姿勢センサ３０は、例えば、ウェアラブルデバイス２０に固定された前方を撮影するカメラ（ウェアラブルカメラ）を利用して構築することができる。すなわち、カメラが撮影する画像を、車内の部品、装備等の対象物のレイアウトのデータと比較することで、カメラの位置及び姿勢が分かる。そして、カメラを、有機ＥＬディスプレイ３６と一体のリム２４に対して固定して設置することにより、ウェアラブルデバイス２０の位置及び姿勢を検出することが可能となる。
リム２４の上部の中央付近には、瞳孔位置センサ３２が設けられている。瞳孔位置センサ３２は、運転者２００の右目と左目の瞳孔がリム２４に対して相対的にどの位置にあるかを検出するセンサである。瞳孔位置センサ３２も、デバイス位置姿勢センサ３０と同様に、カメラを利用して形成することができる。
テンプル２２の内部には、画像制御部３４が組み込まれている。画像制御部３４は、車載システム４０から受信したデータに基づいて、有機ＥＬディスプレイ３６に画像表示を行う制御装置である。ウェアラブルデバイス２０では、画像制御部３４及び有機ＥＬディスプレイ３６により画像表示を行うことで、運転者２００に、通常とは異なる視覚的環境を提供することができる。
図１に戻って、車載システム４０について説明する。車載システム４０は、車両に搭載されたシステムである。車載システム４０は、操作入力部４２、画像処理装置４４、前方カメラ５２、右アウタカメラ５４、左アウタカメラ５６、後方カメラ５８、画像データ記憶装置６２及びマーカー投射器６４を備えている。
操作入力部４２は、運転者２００が画像表示システム１０を操作するために設けられている。運転者２００は操作入力部４２を操作することで、ウェアラブルデバイス２０に画像を表示するか否か、また、表示する場合にどのような画像を表示するかを指示することができる。画像表示の例については後述する。
操作入力部４２は、例えば、インストルメントパネルのタッチパネルに表示されるボタンを利用して形成することができる。あるいは、インストルメントパネルに設ける機械式のボタンとして形成してもよい。なお、操作入力部４２を、ウェアラブルデバイス２０に設けることも可能である。
画像処理装置４４は、ウェアラブルデバイス２０に表示する画像を形成するための装置である。画像処理装置４４は、メモリ、プロセッサなどを備えたコンピュータハードウエアを、ＯＳ（オペレーティングシステム）、アプリケーションプログラムなどのソフトウエアによって制御することで構築することができる。
画像処理装置４４には、三次元マップ作成部４５、デバイス・瞳孔位置演算部４６、画像レイアウト演算部４８、画像合成部５０が構築されている。三次元マップ作成部４５は、カメラであるデバイス位置姿勢センサ３０からの車両前方視界の画像から、路面上の白線や矢印などの道路標示、案内標識や規制標識などの道路標識、道路に隣接する建築物などの対象物から特徴点を取得し、前方視界内の三次元マップを作成する。デバイス・瞳孔位置演算部４６は、デバイス位置姿勢センサ３０と瞳孔位置センサ３２からの入力（例えば、上述のようにカメラで撮影した画像が入力される）に基づいて、車内におけるウェアラブルデバイス２０の相対位置と、運転者２００の瞳孔の相対位置とを演算する。
画像レイアウト演算部４８は、操作入力部４２から指示される画像表示を行うために、どの画像データを有機ＥＬディスプレイ３６上のどの位置に配置するか、つまり合成する画像のレイアウトをどのようにするべきかを演算する。画像レイアウト演算部４８では、レイアウトを決定するにあたって、あらかじめ記憶している車両の各内装部品の相対位置データを利用するとともに、デバイス・瞳孔位置演算部４６が演算したウェアラブルデバイス２０の相対位置姿勢データと、瞳孔の相対位置データを利用する。これにより、運転者２００の瞳孔と車両の特定の内装部品とを結ぶ直線が、有機ＥＬディスプレイ３６上のどの位置に当たるかを演算することができる。そして、車両の特定の内装部品に特定の画像を重ねるためには、有機ＥＬディスプレイ３６のどの位置に画像を表示すればよいかを演算する。また、画像レイアウト演算部４８は、三次元マップ作成部４５により構築された車両前方の対象物の位置に対するウェアラブルデバイス２０の相対位置を算出し、有機ＥＬディスプレイ３６上のどの位置に特定の画像を表示させればよいかを演算する。例えば、路面上に経路誘導のための矢印を表示する際に、有機ＥＬディスプレイ３６上のどの位置に表示すべきかを演算する。
画像合成部５０は、画像レイアウト演算部４８が演算したレイアウトに、画像データ記憶装置６２が記憶する画像などを合成する処理を行う。合成する画像としては、必要に応じて、画像データ記憶装置６２に記憶された画像データが利用される。合成された画像データは、画像制御部３４に送信され、有機ＥＬディスプレイ３６に表示される。送信は、有線通信で行うことも可能であるし、無線通信で行うことも可能である。無線通信を採用する場合、例えばBluetooth（登録商標）、Wi-Fi（登録商標）、赤外線通信などの近距離無線通信を利用することも考えられる。
前方カメラ５２は、車両の前方を撮影するカメラである。右アウタカメラ５４は、車両の右サイドに設けられ、右後方を撮影するカメラである。左アウタカメラ５６は、車両の左サイドに設けられ、左後方を撮影するカメラである。右アウタカメラ５４と左アウタカメラ５６が撮影する画像は、光学的な右アウタミラー及び左アウタミラーの代わりとなる電子的なアウタミラーの画像として用いられる。後方カメラ５８は、車両の車幅方向中央に設けられ、後方を撮影するカメラである。後方カメラ５８が撮影する画像は、光学的なインナミラー（ルームミラーとも呼ばれる）の代わりとなる電子インナミラーの画像として用いられる。
画像データ記憶装置６２は、例えば、半導体メモリを利用して構築され、画像処理装置４４によって制御される装置である。画像データ記憶装置６２は、ウェアラブルデバイスに表示される画像データを記憶している。記憶する画像データには、車両の内装部品の外観を表す画像データが含まれる。具体的には、ドアトリム、シート、ルーフなどの内装部品の外観を表すデータ、電子アウタミラー、電子インナミラーなどのミラー部品を表すデータ、さらには前方視界内に表示する誘導用の記号を挙げることができる。
マーカー投射器６４は、車両の前方、特に前方の路面上に図３に示す所定の形状のマーカー６６を白色光または特定の波長の光により投射する。マーカー投射器６４は、ヘッドランプ内に組み込まれることができる。図３には、マーカー６６の形状の一例が示されている。この実施形態では、マーカー６６は、円を三角形の頂点に配置したマーカー６６Ａと、２本の横線および横線の側方に位置する１本の縦線を組み合わせたマーカー６６Ｂとにより構成される。一方のマーカー６６Ａを左右のヘッドライトのうちの一方から、他方のマーカー６６Ｂを他方のヘッドライトから投射することができる。マーカー６６を投射することにより路面上にマーカー像が形成され、マーカー像が車外の三次元マップの作成に係る特徴点として使用される。マーカー６６の形状は、画像データ記憶装置６２に記憶され、三次元マップを作成する際に、三次元マップ作成部４５に読み出されて使用される。
車載システム４０では、短い時間間隔で、リアルタイム処理が行われる。すなわち、車載システム４０では、ウェアラブルデバイス２０のデバイス位置姿勢センサ３０、瞳孔位置センサ３２から短い時間間隔で検出データを取得する。デバイス・瞳孔位置演算部４６は、取得した検出データから、ウェアラブルデバイス２０の位置及び姿勢と、瞳孔の位置を速やかに演算する。そして、画像レイアウト演算部４８は、操作入力部４２から指示された画像を表示するためのレイアウトを演算する。画像合成部５０は、画像データ記憶装置６２からの画像をレイアウトに従って合成し、ウェアラブルデバイス２０に送信する。
ウェアラブルデバイス２０では、受信した合成画像データを画像制御部３４において処理し、有機ＥＬディスプレイ３６に表示する。画像表示に至るまでの処理が高速で行われるため、運転者２００が首を振ったような場合にも、高速で追従可能となる。このため、ウェアラブルデバイス２０を装着した運転者２００は、実際とは異なる表示がなされた車室を、あたかも、実際に存在するかのように感じることができる。また、車両前方の視界内に表示された画像を、前方の風景の一部として感じることができる。
なお、以上の説明では、ウェアラブルデバイス２０として、画像制御部３４と有機ＥＬディスプレイ３６を利用した装置を例に挙げた。しかし、ウェアラブルデバイス２０は、他の原理を用いるものであってもよい。一例としては、網膜に画像を照射するプロジェクタを利用する態様が挙げられる。また、ウェアラブルデバイス２０では、外部からの可視光が透過せず、代わりに、カメラで撮影した画像を表示するタイプのものを用いることも可能である。
また、図１に示したシステム構成は一例であり、例えば、車載システム４０の構成の一部、例えば操作入力部４２、画像処理装置４４および画像データ記憶装置６２をウェアラブルデバイス２０に搭載するなどの変更を行うことができる。この場合、画像データ記憶装置６２に記憶される画像データは、ウェアラブルデバイス２０を装着する乗員が搭乗する車両に対応したデータ（例えば、車種ごとのデータ）をインターネットを介して取得して記憶するようにしてよい。
続いて、図４及び図５を参照して、ウェアラブルデバイス２０による画像表示の例について説明する。図４，５は、いずれも、ウェアラブルデバイス２０を装着した運転者２００の視界を模式的に示した図である。
図４は、ウェアラブルデバイス２０が特段動作していない状態を示す図である。この場合、運転者２００の視界は、現実の風景と同じ状態である。運転者２００の視界内には、運転者２００の前方の車両の内装部品、車外前方の風景が存在している。
車両の内装部品として、視界の上部にルーフ７０、ルーフ７０の左右のサイドに左Ａピラー７２（左フロントピラーと呼ばれることもある）及び右Ａピラー７３が見える。ルーフ７０、左Ａピラー７２及び右Ａピラー７３に囲まれた位置には、ウインドシールド７４（フロントガラスと呼ばれることもある）が設けられている。ウインドシールド７４を透して車外前方の風景、図４においては、平原の中を前方に延びる道路７５が見えている。ウインドシールド７４の上部付近には、ルーフ７０に取り付けられたインナミラー７６が見えており、後方を走行する車両が映っている。
運転者２００の左右の側方には、内装部品として左フロントドアトリム７８及び右フロントドアトリム７９が見えている。さらに、左サイドウインドウガラス８０越しに左アウタミラー８２が、右サイドウインドウガラス８１越しに右アウタミラー８３が見えている。左右のアウタミラー８２，８３には、自車両の側面の一部と後方を走行する車両が映っている。
ウインドシールド７４の下方には、内装部品としてインストルメントパネル８６が見えている。インストルメントパネル８６には、タッチパネル８８と操作ボタン類９０が配置されている。運転者２００が装着するウェアラブルデバイス２０の操作入力部４２は、例えば、このタッチパネル８８または操作ボタン類９０に設けられる。
運転者２００の前方には、インストルメントパネル８６よりも手前に、ステアリング９２が設けられている。また、ステアリング９２の内側には、インストルメントパネル８６に配置されたスピードメータなどの計器類９４が見えている。
前方の道路７５の路面９６上には、マーカー投射器６４から投射されたマーカー６６の像９８（以下、マーカー像９８と記す。）が見えている。路面９６上の白線などの車外の対象物と異なり、マーカー像９８は、車両に対して概ね移動せず、車外の対象物の特徴点に比べ、抽出に係る演算負荷が軽減される。また、道路７５上の現在車両が位置している路面９６と、マーカー像９８が形成されている路面９６とは、多くの場合同一平面上にあるので、マーカー像９８の位置は、車体に対してほぼ固定される。よって、内装部品の位置から、車両に対するウェアラブルデバイス２０の位置及び姿勢を定めるのと同様、マーカー像９８の位置から車両に対するウェアラブルデバイス２０の位置及び姿勢を定めることができる。
図５は、運転者２００が操作入力部４２を操作して、ウェアラブルデバイス２０の有機ＥＬディスプレイ３６に画像を形成し、前方の風景と重畳させた状態を示す図である。運転操作に直接関係しない内装部品の外観が変更されている。具体的には、ルーフ７０、左右のＡピラー７２，７３、左右のフロントドアトリム７８，７９、インストルメントパネル８６の色、模様が変更されている。ウェアラブルデバイス２０では、画像データ記憶装置６２に記憶された画像データを利用することで、内装部品の色、模様、質感の少なくとも一つを変更することができる。ここで、質感とは、材質に関する特徴をいい、例えば、金属的質感、木製的質感、革張的質感、クッション材的質感などが挙げられる。
図５において、電子ミラーが有機ＥＬディスプレイ３６上に表示されている。図５に示した例では、ステアリング９２の上部近傍に、左側から順に、電子左アウタミラー１００、電子インナミラー１０２、電子右アウタミラー１０４が表示されている。
電子左アウタミラー１００は、左アウタカメラ５６によって撮影された車両左後方の風景を有機ＥＬディスプレイ３６上に表示した画像である。電子左アウタミラー１００には、光学的なミラーである左アウタミラー８２と同じく、自車両の側面の一部と後方を走行する車両が表示されている。
電子インナミラー１０２は、後方カメラ５８によって撮影された車両後方の風景を有機ＥＬディスプレイ３６上に表示した画像である。電子インナミラー１０２には、インナミラー７６と同じく、後方を走行する車両が表示されている。
電子右アウタミラー１０４は、右アウタカメラ５４で撮影された車両右後方の風景を有機ＥＬディスプレイ３６上に表示した画像である。電子右アウタミラー１０４には、右アウタミラー８３と同じく、自車両の側面の一部と後方を走行する車両が表示されている。
電子左アウタミラー１００、電子インナミラー１０２、電子右アウタミラー１０４は、ステアリング９２の上部付近において、ステアリング９２よりも運転者２００の側に表示されている。ステアリング９２の上部に電子左アウタミラー１００、電子インナミラー１０２、電子右アウタミラー１０４を表示することで、運転者２００は、正面方向からほとんど視線をずらすことなく、車両後方を確認することが可能となる。また、電子左アウタミラー１００、電子インナミラー１０２、電子右アウタミラー１０４は、ウインドシールド７４越しの前方視界および計器類９４と重ならない位置に配置されており、前方視界および計器類９４の視認を妨げない。
さらに、前方の路面９６に重畳されるように経路誘導のための誘導矢印１１０が有機ＥＬディスプレイ３６上に表示されている。誘導矢印１１０は、車載された経路誘導装置からの情報に基づき表示される。図５に示される誘導矢印１１０は直進を表しているが、左折または右折する交差点では、交差点の位置に合わせて左折または右折の矢印が表示される。
夜間など光量が不足する場合や、逆光などによって白飛びが発生する場合、デバイス位置姿勢センサ３０であるウェアラブルカメラが撮影した画像では、内装部品や装備の位置および車外の対象物の位置を特定することが難しい場合がある。これに対して、マーカー像９８は、光の照射により形成されたものであるので、暗環境などにおいても認識することができる。前述のように、マーカー像９８の位置は、車両に対してほぼ固定されているので、マーカー像９８に対するウェアラブルデバイス２０の相対位置が分かれば、車両の内装部品等とウェアラブルデバイス２０の相対位置も分かり、内装部品に対する表示や電子ミラーの表示の位置を、撮影されたマーカー像９８を利用して定めることができる。よって、光量不足や白飛びが発生した場合でも、有機ＥＬディスプレイ３６上の適切な位置に画像を表示することが可能となる。
図６は、道路の傾斜によるマーカー像の位置及び形状の変化を概念的に示す図である。実線で平坦な道路７５Ｈが示され、一点鎖線で車両１２０の前方の登坂路７５Ｒが示されている。マーカー投射器６４から平坦な道路７５Ｈの路面９６Ｈに投射されたマーカー６６Ａ（図３参照）の像がマーカー像９８Ｈとして示され、また登坂路７５Ｒの路面９６Ｒ上に形成されたマーカー像がマーカー像９８Ｒとして示されている。路面９６Ｈは、車両１２０の位置の路面９６Ｖと同一の平面に在る。
図７には、デバイス位置姿勢センサ３０としてのウェアラブルカメラが撮影したマーカー像９８Ｈ，９８Ｒが示されている。ウェアラブルカメラの位置が、マーカー投射器６４よりも高い位置にあるため、撮影された登坂路の路面９６Ｒ上のマーカー像９８Ｒは、平坦路の路面９６Ｈ上のマーカー像９８Ｈよりも上下方向において短縮され、また撮影画像上の位置も下方にずれる。この形状及び位置の違いに基づき、車両１２０が位置する路面９６Ｖに対する前方の路面９６Ｈ，９６Ｒの傾斜を判断することができる。降坂路においては、逆に、マーカー像が平坦路に比べて上下方向において伸張され、位置は上方にずれる。
前方の路面９６の傾斜を取得すれば、その傾斜に合わせて誘導矢印１１０（図５参照）を路面９６に沿うように表示することができる。これによれば、誘導矢印１１０の先端が路面９６に潜り込むように表示されたり（登坂路の場合）、路面９６から浮き上がるように表示されたり（降坂路の場合）することを防止できる。
マーカー像９８の変形に基づき、車速の減速を促すための減速バンプ（減速帯）などの路面の凹凸を検出することができる。減速バンプは、短い登坂路と短い降坂路が連続した形状となるので、マーカー像９８が減速帯を通過すると、短時間の間に登坂路による変形と降坂路による変形が続いて検出される。減速バンプが検出されたとき、誘導矢印１１０を減速バンプに沿わせて表示してもよく、また有機ＥＬディスプレイ３６に減速を促す表示を行ってもよい。
以上のように、自車両から投射されたマーカーを利用して、ウェアラブルデバイス２０の位置及び姿勢を取得することで、暗環境や逆光など、光量に係る外部環境が悪い場合であっても、ウェアラブルデバイス２０に表示される画像の表示位置の精度を高めることができる。
１０ 画像表示システム、２０ ウェアラブルデバイス、３０ デバイス位置姿勢センサ（ウェアラブルカメラ）、３２ 瞳孔位置センサ、３４ 画像制御部、３６ 有機ＥＬディスプレイ、４０ 車載システム、４２ 操作入力部、４４ 画像処理装置、４５ 三次元マップ作成部、４６ デバイス・瞳孔位置演算部、４８ 画像レイアウト演算部、５０ 画像合成部、６２ 画像データ記憶装置、６４ マーカー投射器、６６ マーカー、７０ ルーフ、７２ 左Ａピラー、７３ 右Ａピラー、７４ ウインドシールド、７５ 道路、７６ インナミラー、８２ 左アウタミラー、８３ 右アウタミラー、８６ インストルメントパネル、８８ タッチパネル、９０ 操作ボタン類、９２ ステアリング、９４ 計器類、９６ 路面、９８ マーカー像、１００ 電子左アウタミラー、１０２ 電子インナミラー、１０４ 電子右アウタミラー、１１０ 誘導矢印、１２０ 車両、２００ 運転者。

Claims (4)

  1. 車両の乗員に装着されるウェアラブルデバイスであって、前記乗員の視界内に画像を表示するディスプレイと、ウェアラブルカメラとを備えるウェアラブルデバイスと、
    前記車両に搭載され、前方路面に向けてマーカーを投射して当該前方路面上にマーカー像を形成するマーカー投射器と、
    前記ウェアラブルカメラにより撮影された前記マーカー像に基づき、前記ウェアラブルデバイスの位置及び姿勢を検出するウェアラブルデバイス位置姿勢センサと、
    検出された前記ウェアラブルデバイスの位置及び姿勢を利用して、前記画像を配置する前記視界内の位置を決定し、当該画像を前記ディスプレイに表示させる画像処理装置と、
    を含む、画像表示システム。
  2. 請求項１に記載の画像表示システムであって、前記マーカーの形状は、あらかじめ定められた二次元図形である、画像表示システム。
  3. 請求項２に記載の画像表示システムであって、前記マーカー像の位置および形状から、前記路面の傾きおよび凹凸の少なくとも一方を検出する路面形状検出部を含む、画像表示システム。
  4. 請求項１から３のいずれか１項に記載の画像表示システムであって、さらに、前記ディスプレイに対する前記乗員の瞳孔の位置を検出する瞳孔位置センサを含み、前記画像処理装置は検出された前記ウェアラブルデバイスの位置及び姿勢に加え、検出された前記瞳孔の位置を利用して前記画像を配置する前記視界内の位置を決定する、画像表示システム。
JP2021189133A 2021-11-22 2021-11-22 画像表示システム Pending JP2023076002A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021189133A JP2023076002A (ja) 2021-11-22 2021-11-22 画像表示システム
US17/991,218 US11941173B2 (en) 2021-11-22 2022-11-21 Image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021189133A JP2023076002A (ja) 2021-11-22 2021-11-22 画像表示システム

Publications (1)

Publication Number Publication Date
JP2023076002A true JP2023076002A (ja) 2023-06-01

Family

ID=86383697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021189133A Pending JP2023076002A (ja) 2021-11-22 2021-11-22 画像表示システム

Country Status (2)

Country Link
US (1) US11941173B2 (ja)
JP (1) JP2023076002A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605009B2 (en) * 2010-12-05 2013-12-10 Ford Global Technologies, Llc In-vehicle display management system
US20160023602A1 (en) * 2014-07-28 2016-01-28 Honda Motor Co., Ltd. System and method for controling the operation of a wearable computing device based on one or more transmission modes of a vehicle
JP2017129406A (ja) 2016-01-19 2017-07-27 日本電気通信システム株式会社 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
JP2019217790A (ja) 2016-10-13 2019-12-26 マクセル株式会社 ヘッドアップディスプレイ装置
JP2021064906A (ja) 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム

Also Published As

Publication number Publication date
US11941173B2 (en) 2024-03-26
US20230161406A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US9001153B2 (en) System and apparatus for augmented reality display and controls
JP6968676B2 (ja) 車両用表示装置
EP2936065B1 (en) A system for a vehicle
US20210118192A1 (en) Image display system
JP6410987B2 (ja) 運転支援装置、運転支援方法、及び、運転支援プログラム
JP2005247224A (ja) 車両用表示装置
ES2704373B2 (es) Método y sistema para mostrar información de realidad virtual en un vehículo
CN111284498B (zh) 驾驶支援装置、***、方法、可穿戴装置以及存储介质
EP3456574B1 (en) Method and system for displaying virtual reality information in a vehicle
JP2015226304A (ja) 車両用投影装置及びヘッドアップディスプレイシステム
US20230065018A1 (en) Method for operating data glasses in a motor vehicle and system of a motor vehicle and data glasses
JP2017056909A (ja) 車両用画像表示装置
CN108725321A (zh) 信息提示装置
JP2008037118A (ja) 車両用表示装置
JP2023076002A (ja) 画像表示システム
US11425364B2 (en) Head-up display system for vehicle
JP2022122936A (ja) 情報表示システム
JP2016071666A (ja) 車両の視線誘導装置
CN114127614B (zh) 平视显示装置
JP2021154888A (ja) 車両用表示装置
CN115088028A (zh) 绘制***、显示***、移动体、绘制方法以及程序
EP3457363A1 (en) Method and system for displaying priority information in a vehicle
JP7446888B2 (ja) 画像生成装置及び画像生成方法
JP7379253B2 (ja) 挙動推定システム及び挙動推定方法
WO2023003045A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240614