JP2017056747A - Display controller, display unit and sound image position control method - Google Patents
Display controller, display unit and sound image position control method Download PDFInfo
- Publication number
- JP2017056747A JP2017056747A JP2015180323A JP2015180323A JP2017056747A JP 2017056747 A JP2017056747 A JP 2017056747A JP 2015180323 A JP2015180323 A JP 2015180323A JP 2015180323 A JP2015180323 A JP 2015180323A JP 2017056747 A JP2017056747 A JP 2017056747A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- sound image
- display
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 19
- 230000000694 effects Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000013500 data storage Methods 0.000 description 14
- 239000000446 fuel Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、虚像表示部と共に音像生成部を制御する表示制御装置、並びに、当該表示制御装置における音像位置の制御方法に関するものである。 The present invention relates to a display control device that controls a sound image generation unit together with a virtual image display unit, and a sound image position control method in the display control device.
車両のウィンドシールドに画像を表示するヘッドアップディスプレイ(HUD)に関して様々な技術が提案されている。例えば、画像を、運転者から見て、あたかも車両前方の実風景に実在するかのように見える虚像として表示するHUDが提案されている。例えば特許文献1には、虚像の見かけ上の位置と運転者との間の距離を、車速に応じて変更するHUDが提案されている。 Various techniques have been proposed for a head-up display (HUD) that displays an image on a windshield of a vehicle. For example, there has been proposed a HUD that displays an image as a virtual image that looks as if it is actually present in a real landscape in front of the vehicle when viewed from the driver. For example, Patent Document 1 proposes a HUD that changes the distance between an apparent position of a virtual image and a driver according to the vehicle speed.
一方、仮想的な音源である音像を生成する技術も知られている。例えば、下記の特許文献2には、音像を生成する前に、その音像の位置を示す情報をHUDで運転者に提示することにより、運転者が音像の位置を認識し易くする技術が開示されている。
On the other hand, a technique for generating a sound image that is a virtual sound source is also known. For example, the following
また、下記の特許文献3には、HUDで表示する虚像の位置変化に対応して、虚像に指向する報知音を発生させることで、運転者が虚像の位置を認識し易くする技術が開示されている。但し、特許文献3は音像を用いる技術ではない。
虚像の運転者からの見かけ上の位置を変化させる技術では、虚像の位置または虚像が示す対象物の位置を、運転者が容易に認識できるようにすることが課題となる。 In the technique of changing the apparent position of the virtual image from the driver, it becomes a problem to enable the driver to easily recognize the position of the virtual image or the position of the object indicated by the virtual image.
本発明は、この課題を解決するためになされたものであり、虚像の位置または虚像が示す対象物の位置を運転者が容易に認識することを可能にすることを目的とする。 The present invention has been made to solve this problem, and an object of the present invention is to enable a driver to easily recognize the position of a virtual image or the position of an object indicated by the virtual image.
本発明の第1の態様に係る表示制御装置は、虚像表示部および音像生成部を制御する表示制御装置であって、虚像表示部は、車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、車両の特定位置を基準とする虚像の方向である虚像方向と、虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、音像生成部は、仮想的な音源である音像を、車両の特定位置を基準とする音像の方向である音像方向と、音像までの距離である音像距離とによって規定される音像位置に生成可能であり、表示制御装置は、虚像表示部を用いて表示オブジェクトを表示する表示制御部と、音像生成部を用いて音声を出力する音像制御部と、を備え、音像制御部は、表示制御部が表示した表示オブジェクトに対応する音声を出力する際、当該音声の音像位置を、当該表示オブジェクトの虚像位置に基づいて制御する。 A display control device according to a first aspect of the present invention is a display control device that controls a virtual image display unit and a sound image generation unit, and the virtual image display unit is a virtual image that is visible from a driver's seat of a vehicle via a windshield. The display object can be displayed at a virtual image position defined by a virtual image direction that is a virtual image direction with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. A sound image that is a typical sound source can be generated at a sound image position defined by a sound image direction that is a sound image direction based on a specific position of the vehicle and a sound image distance that is a distance to the sound image, and the display control device A display control unit that displays a display object using a virtual image display unit, and a sound image control unit that outputs sound using a sound image generation unit. The sound image control unit is a display object displayed by the display control unit. When outputting the corresponding voice, the sound image position of the sound is controlled on the basis of the virtual image position of the display object.
本発明の第2の態様に係る表示制御装置は、虚像表示部および音像生成部を制御する表示制御装置であって、虚像表示部は、車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、車両の特定位置を基準とする虚像の方向である虚像方向と、虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、音像生成部は、仮想的な音源である音像を、車両の特定位置を基準とする音像の方向である音像方向と、音像までの距離である音像距離とによって規定される音像位置に生成可能であり、表示制御装置は、車両の運転者に注意喚起すべき注意対象の車両に対する相対位置を取得する相対位置取得部と、虚像表示部を用いて表示オブジェクトを表示する表示制御部と、音像生成部を用いて音声を出力する音像制御部と、を備え、表示制御部は、運転者へ注意対象の存在を示す表示オブジェクトを表示し、音像制御部は、運転者へ注意対象の存在を通知する音声を出力し、音像制御部は、注意対象の存在を通知する音声を出力する際、当該音声の音像位置を、当該注意対象の相対位置に基づいて制御する。 A display control device according to a second aspect of the present invention is a display control device that controls a virtual image display unit and a sound image generation unit, and the virtual image display unit is a virtual image that is visible from a driver's seat of a vehicle via a windshield. The display object can be displayed at a virtual image position defined by a virtual image direction that is a virtual image direction with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. A sound image that is a typical sound source can be generated at a sound image position defined by a sound image direction that is a sound image direction based on a specific position of the vehicle and a sound image distance that is a distance to the sound image, and the display control device A relative position acquisition unit that acquires a relative position with respect to a vehicle to be alerted to alert a vehicle driver, a display control unit that displays a display object using a virtual image display unit, and a sound image generation unit A sound image control unit that outputs a voice, the display control unit displays a display object indicating the presence of the attention target to the driver, and the sound image control unit outputs a sound notifying the driver of the presence of the attention target The sound image control unit controls the sound image position of the sound based on the relative position of the attention object when outputting the sound notifying the presence of the attention object.
本発明によれば、音像位置が、虚像(表示オブジェクト)の位置または虚像が示す注意対象に対応した位置になることで、運転者は視覚だけでなく、聴覚でも、虚像の位置または虚像が示す注意対象の位置を認識できるようになる。従って、運転者がそれらの位置を認識することが容易になる。 According to the present invention, since the position of the sound image is a position corresponding to the position of the virtual image (display object) or the attention object indicated by the virtual image, the position of the virtual image or the virtual image is indicated not only by the driver but also by hearing. The position of the attention object can be recognized. Therefore, it becomes easy for the driver to recognize their positions.
<実施の形態1>
図1は、本発明の実施の形態1に係る表示制御装置1の構成を示す図である。本実施の形態では、表示制御装置1が車両に搭載されているものとして説明する。また、表示制御装置1を搭載した車両を「自車両」という。
<Embodiment 1>
FIG. 1 is a diagram showing a configuration of a display control apparatus 1 according to Embodiment 1 of the present invention. In the present embodiment, the display control device 1 will be described as being mounted on a vehicle. A vehicle equipped with the display control device 1 is referred to as “own vehicle”.
表示制御装置1は、画像を運転者の視野に虚像として表示させる虚像表示部2(例えばHUDなど)と、仮想的な音源である音像を生成する音像生成部3とを制御する。ここでは、虚像表示部2および音像生成部3が表示制御装置1に外部接続された例を示すが、虚像表示部2および音像生成部3は表示制御装置1と一体的に構成されていてもよい。すなわち、表示制御装置1、虚像表示部2および音像生成部3は、1つの表示装置として構成されていてもよい。
The display control device 1 controls a virtual image display unit 2 (for example, HUD) that displays an image as a virtual image in the driver's field of view and a sound
ここで、虚像表示部2が表示する虚像について説明する。本明細書では、虚像表示部2が表示する虚像を「表示オブジェクト」という。虚像表示部2は、図2のように、自車両の運転者300の位置からウィンドシールド301を通して視認可能な位置に、表示オブジェクト100を表示することができる。表示オブジェクト100が実際に表示されている位置は、ウィンドシールド301上であるが、運転者300から見ると、あたかも表示オブジェクト100が自車両前方の風景の中に存在するかのように見えるようになっている。
Here, the virtual image displayed by the virtual
本明細書では、運転者300から見た、表示オブジェクト100の見かけ上の表示位置を「虚像位置」という。虚像位置は、運転者300の位置を基準にした表示オブジェクト100の方向である「虚像方向」と、運転者300の位置から表示オブジェクト100までの見かけ上の距離である「虚像距離」とによって規定される。このように、虚像位置を定義するための基準点は、運転者300の位置であることが好ましいが、運転者300の位置とみなすことができる車両の特定位置であればよく、例えば、運転席やウィンドシールド301の特定の点を基準点、例えば運転者の目の付近に対応する位置を基準点にしてもよい。また、HUD設置位置の設計のために想定した運転者の両目の中心点に対応する車内空間の一点を基準点としてもよい。
In this specification, the apparent display position of the
虚像方向は、実質的に、運転者300から見たウィンドシールド301上における表示オブジェクト100の位置に相当し、例えば、図3のように3次元極座標系の偏角(θi,φi)で表される。虚像距離は、実質的に、運転者300から見た表示オブジェクト100までの見かけ上の距離に相当し、例えば図3のように3次元極座標系の動径(ri)などで表される。運転者300は、自身の目の焦点(ピント)の距離Fdを虚像距離(ri)に合わせることによって、3次元極座標(ri,θi,φi)で表される虚像位置に表示オブジェクト100を視認することができる。
The virtual image direction substantially corresponds to the position of the
なお、虚像位置を3次元極座標で表すと虚像距離(ri)の等しい面は球面となるが、車両用の虚像表示部2のように虚像方向が一定の範囲(車両の前方)に制限される場合には、虚像距離の等しい面を平面で近似してもよい。また、HUDでは、虚像の表示面が平面となるように光学的に工夫されているものが多い。以下の説明では、図4のように虚像距離の等しい面を平面として扱うこととする(図4では、車両の進行方向をy軸とし、y=riの平面を虚像距離riの表示面として規定している)。
Incidentally, equal surfaces of the virtual image distance (r i) Expressing virtual image position in three dimensions polar coordinates becomes spherical, a virtual image direction as a virtual
例えば、虚像表示部2が、図4のように、虚像距離が10mの第1の表示オブジェクト100aと、虚像距離が30mの第2の表示オブジェクト100bと、虚像距離が50mの第3の表示オブジェクト100cとを表示すると、運転者からは、図5のように、ウィンドシールド301を通して、前方10mに第1の表示オブジェクト100aが存在し、前方30mに第2の表示オブジェクト100bが存在し、前方50mに第3の表示オブジェクト100cが存在しているように見える。なお、以下に示す各図では、表示オブジェクトの虚像距離を括弧書きで示している(それらは虚像として表示されるものではない)。
For example, as shown in FIG. 4, the virtual
図5では、虚像距離の異なる複数の表示オブジェクトが同時に表示された例を示したが、虚像表示部2は、表示オブジェクトの虚像距離を変更可能なものであれば、同時に表示する複数の表示オブジェクトに対して1つの虚像距離しか設定できないもの(同時に表示する表示オブジェクトの表示距離が全て同じになるもの)でもよい。また、虚像表示部2は、表示オブジェクトの虚像距離を10m、30m、50mのように段階的にしか変更できないものでもよいし、連続的に変更できるものでもよい。
FIG. 5 shows an example in which a plurality of display objects having different virtual image distances are displayed at the same time. However, if the virtual
次に、音像生成部3が生成する音像について説明する。音像生成部3は車内スピーカ302を用いて、図6のように、車内スピーカ302とは異なる任意の位置に、仮想的な音源である音像200を生成して、音声を出力することができる。音声を実際に出力しているのは、車内スピーカ302であるが、運転者300は、あたかも音像200から音声が聞こえるように感じる。なお、「音声」とは、広く「音」を指す概念であり、例えば、声音、効果音、音楽なども含まれる。
Next, the sound image generated by the sound
本明細書では、運転者300から見た、音像200の位置を「音像位置」という。音像位置は、上記の虚像位置と同様に、運転者300の位置を基準にした音像200の方向である「音像方向」と、運転者300の位置から音像200までの距離である「音像距離」とによって規定される。音像位置を定義するための基準点も、運転者300の位置であることが好ましいが、運転者300の位置とみなすことができる車両の特定位置であればよく、例えば、運転席やウィンドシールド301の特定の点を基準点、例えば運転者の耳の付近に対応する位置を基準点にしてもよい。また、車内スピーカ302の設置位置の設計のために想定した運転者の両耳の中心点に対応する車内空間の一点を基準点としてもよい。
In this specification, the position of the
音像方向は、例えば、図7のように3次元極座標系の偏角(θs,φs)で表される。音像距離は、実質的に、運転者300から音像200までの距離に相当し、例えば図7のように3次元極座標系の動径(rs)などで表される。運転者300には、3次元極座標(rs,θs,φs)で表される音像位置から、音声が出力されているように聞こえる。
The sound image direction is represented by, for example, the deflection angles (θ s , φ s ) of the three-dimensional polar coordinate system as shown in FIG. Sound image distance is substantially equivalent to the distance from the
音像位置を3次元極座標で表すと音像距離(rs)の等しい面は球面となるが、以下の説明では、説明の便宜のため、図8のように音像距離の等しい面を平面として扱い、音像位置と虚像位置の定義を揃える(図8では、車両の進行方向をy軸とし、y=rsの平面を音像距離rsの生成面として規定している)。ただし、音像はウィンドシールド301上に生成されるものではないため、通常、音像方向に制限はなく、実際には、音像距離の等しい面を球面のまま扱うのが好ましいことが多い。
While Expressing sound image position in 3D polar coordinate equivalent plane of the sound image distance (r s) is the spherical handle, in the following description, for convenience of explanation, as a plane equal surface sound image distance as shown in FIG. 8, align the definition of the sound image position and the virtual image position (in FIG. 8, the traveling direction of the vehicle is y-axis defines a plane of y = r s as generating surface of the sound image distance r s). However, since the sound image is not generated on the
例えば、音像生成部3が、図8のように、音像距離が10mの第1の音像200aと、音像距離が30mの第2の音像200bと、音像距離が50mの第3の音像200cとを生成して音声を出力すると、運転者には、それぞれの距離から音声が聞こえるように感じる。音像は視認できるものではないが、以下に示す各図では、図9のように、音像の位置を、ハッチングを施した円で示す。また、音像の音像距離を、山括弧(“<…>”)を用いて示すものとする(それらは虚像として表示されるものではない)。
For example, as shown in FIG. 8, the sound
図9では、音像距離の異なる複数の音像が同時に生成された例を示したが、音像生成部3は、音像の音像距離を変更可能なものであれば、同時に生成する複数の音像に対して1つの音像距離しか設定できないもの(同時に生成する音像の音像距離が全て同じになるもの)でもよい。また、音像生成部3は、音像の音像距離を10m、30m、50mのように段階的にしか変更できないものでもよいし、連続的に変更できるものでもよい。
FIG. 9 shows an example in which a plurality of sound images having different sound image distances are generated at the same time. However, if the sound
図1に戻り、表示制御装置1には、自車両に搭載されたナビゲーション装置4、車載機器5および注意対象検知装置6が接続されている。ただし、表示制御装置1には、ナビゲーション装置4、車載機器5および注意対象検知装置6の全てが接続されている必要はなく、それらの少なくとも1つが接続されていればよい。また、ナビゲーション装置4、車載機器5および注意対象検知装置6の少なくとも1つが、表示制御装置1に内蔵されていてもよい。
Returning to FIG. 1, the display control device 1 is connected with a
ナビゲーション装置4は、自車両の現在位置から目的地までの最適な経路を検索し、それを走行予定経路として定め、自車両が走行予定経路に沿って走行するように、運転者に対して経路案内を行う。ナビゲーション装置4が行う経路案内は、自車両が走行経路上の分岐点や交差点などに近づいたときに、自車両の進行方向などを運転者に指示することによって行われる。ナビゲーション装置4が経路案内を行う地点を「案内地点」といい、経路案内の内容を示す情報(進行方向の指示など)を「案内情報」という。なお、案内地点は、分岐点や交差点のほか、合流地点(高速道路の出入り口等)や車線変更地点などの場合もある。
The
車載機器5は、自車両の走行速度や、バッテリー残量、燃料の残量などを検出する各種のセンサを含んでおり、例えば、スピードオーバーやバッテリーの充電不足(バッテリー不足)、燃料不足などの警告情報を出力する。
The in-
注意対象検知装置6は、自車両の周囲の歩行者や自転車などの注意対象(車両の運転者に注意喚起すべき対象)を検知するものである。注意対象検知装置6が検知する注意対象の例としては、自車両周辺の移動体(車両、バイク、自転車、歩行者など)、障害物(落下物、ガードレール、段差など)、特定の地点(交差点、事故多発地点など)、特定の地物(ランドマークなど)が挙げられる。これらのうち、自車両周辺の移動体や障害物は、自車両のミリ波レーダー、DSRC(Dedicate Short Range Communication)ユニット、カメラ(例えば赤外線カメラ)などを用いて検知することができる。また、特定の地点や地物は、それらの位置情報を含む地図情報と、自車両の位置情報とに基づいて検知することができる。
The attention
図1に示すように、表示制御装置1は、情報取得部11、表示オブジェクト記憶部12、表示制御部13、音声データ記憶部14および音像制御部15を備えている。
As shown in FIG. 1, the display control device 1 includes an
情報取得部11は、ナビゲーション装置4、車載機器5および注意対象検知装置6から、車両の運転者に通知すべき情報(以下、「通知情報」という)を取得する。ナビゲーション装置4から取得する通知情報は、自車両の前方の案内地点における経路案内の内容を示す案内情報などである。また、車載機器5から取得する通知情報は、バッテリー不足、燃料不足、スピードオーバーなどの警告情報などである。注意対象検知装置6から取得する通知情報は、注意対象の位置情報や、その注意対象の種別情報などである。
The
また、情報取得部11は、ナビゲーション装置4から取得した案内地点の自車両に対する相対位置や、注意対象検知装置6から取得した注意対象の自車両に対する相対位置を取得する、相対位置取得部11aを含んでいる。案内地点と自車両との相対位置は、地図情報に含まれる案内地点の位置情報と、自車両の位置情報とから算出できる。また、注意対象としての移動体や障害物の相対位置は、自車両のミリ波レーダーの出力データ、DSRCユニットの出力データ、または、カメラで撮影した映像の解析結果から求めることができる。
In addition, the
本実施の形態では、ナビゲーション装置4は、案内地点の相対位置を算出しており、相対位置取得部11aがその算出結果を取得するものとする。また、注意対象検知装置6は、検知した注意対象の相対位置を算出しており、相対位置取得部11aはその算出結果を取得するものとする。あるいは、情報取得部11が、ナビゲーション装置4および注意対象検知装置6から取得した情報から、案内地点および注意対象の相対位置を算出してもよい。
In the present embodiment, the
表示オブジェクト記憶部12は、運転者に通知情報を通知するための複数の表示オブジェクトの画像データを予め記憶している。表示オブジェクト記憶部12に記憶されている表示オブジェクトには、例えば、案内情報の内容を示す画像(例えば、右折や左折を表す矢印の図形など)、警告情報の内容を示す画像(例えば、警告マークの図形など)、注意対象の位置を示す画像(例えば、注意対象を囲む警告枠の図形)などが含まれる。
The display
表示制御部13は、虚像表示部2による虚像の表示を制御する。例えば、表示制御部13は、表示オブジェクト記憶部12に記憶されている表示オブジェクトを、虚像表示部2を用いて運転者300の視野に表示させることができる。また、表示制御部13は、虚像表示部2が表示する表示オブジェクトの虚像位置(虚像方向および虚像距離)を制御することができる。なお、表示制御部13は、表示オブジェクト記憶部12に格納されていない表示オブジェクトを生成する機能や、表示オブジェクトを変形する機能を有していてもよい。
The
音声データ記憶部14は、運転者に通知情報を通知するための複数の音声データを予め記憶している。音声データ記憶部14に記憶されている音声データには、例えば、案内情報の内容を示す音声(例えば、「右折です」「左折です」など)のデータ、車載機器5の異常等を示すための音声(例えば、警告音や、「バッテリー不足です」などの音声メッセージ)のデータ、注意対象の存在を知らせる音声(例えば、警告音や「注意してください」などの音声メッセージ)のデータなどが含まれる。その他、音声データ記憶部14には、表示オブジェクトの出現や移動(虚像位置の変化)を表す効果音なども記憶されている。
The voice
音像制御部15は、音像生成部3による音像の生成(音声の出力)を制御する。例えば、音像制御部15は、音声データ記憶部14に記憶されている音声データを、音像生成部3を用いて出力することができる。また、音像制御部15は、音像生成部3が出力する音声の音像位置(音像方向および音像距離)を制御することができる。なお、音像制御部15は、音声データ記憶部14に格納されていない音声データを生成する機能や、音声データを編集(音質の変更など)する機能を有していてもよい。
The sound
次に、表示制御装置1の動作を説明する。図10はその動作を示すフローチャートである。 Next, the operation of the display control device 1 will be described. FIG. 10 is a flowchart showing the operation.
ナビゲーション装置4、車載機器5または注意対象検知装置6から、通知情報が出力されると、表示制御装置1の情報取得部11は、その通知情報を取得する(ステップS1)。情報取得部11が通知情報を取得すると、表示制御部13は、当該通知情報を運転者に通知するための表示オブジェクトの画像データを表示オブジェクト記憶部12から取得し、虚像表示部2を用いて当該表示オブジェクトを運転者の視野に表示する(ステップS2)。このとき、表示制御部13は、表示オブジェクトの虚像位置を決定するが、虚像位置は通知情報の内容によって異なる(具体例は後述する)。
When the notification information is output from the
次に、音像制御部15は、ステップS2で表示制御部13が表示した表示オブジェクトの虚像位置に基づいて、それに対応する音声を出力するための音像位置を決定する(ステップS3)。音像位置が決定すると、音像制御部15は、音像生成部3を用いて、その音像位置に音像を生成して、音声が出力する(ステップS4)。表示制御装置1は、以上のステップS1〜S4の動作を繰り返し実行する。
Next, the sound
例えば、ステップS1において、情報取得部11が、ナビゲーション装置4から通知情報として案内情報を取得した場合を想定する。この場合、ステップS2では、表示制御部13が、案内情報の内容を示す表示オブジェクト(以下「案内表示オブジェクト」という)を運転者の視野に表示する。案内情報の内容が「30m先を右折」であった場合、表示制御部13は、図11のように、右折を表す矢印の案内表示オブジェクト101を表示させる。案内表示オブジェクト101の虚像位置は任意の位置でよいが、本実施の形態の表示制御部13は、案内表示オブジェクト101の虚像方向を、運転者から見て案内地点(右折する交差点)のやや上方に設定し、案内表示オブジェクト101の虚像距離を、自車両から案内地点までの距離(30m)と略等しく設定するものとする。
For example, it is assumed that the
また、ステップS3では、音像制御部15が、音像201の音像位置を、案内表示オブジェクト101の虚像位置と同じ位置に設定する。すなわち、音像201の音像方向は、運転者から見て案内地点(右折する交差点)のやや上方に設定され、虚像距離は、自車両から案内地点までの距離(30m)と略等しく設定される。そして、ステップS4では、音像制御部15が、案内情報の内容を示す音声として、「右折です」という音声を音像201から出力させる。運転者には、その音声が30m前方の音像201から聞こえるように感じる。
In step S <b> 3, the sound
このように、音像201の音像位置を、案内表示オブジェクト101の虚像位置に対応させることによって、運転者は、視覚だけでなく聴覚でも案内表示オブジェクト101の虚像位置を認識できる。よって、案内表示オブジェクト101の虚像位置を認識し易くなるという効果が得られる。
Thus, by making the sound image position of the
なお、図11では、案内表示オブジェクト101の虚像位置と、それに対応する音声を出力する音像201の音像位置とを一致させた例を示したが、両者は完全に一致しなくてもよく、音像201の音像位置が、案内表示オブジェクト101の虚像位置を基準にして予め定められた範囲内に設定されればよい。例えば、案内表示オブジェクト101の虚像位置が、3次元極座標で(ri,θi,φi)と表されるとき、音像201の音像位置の座標(rs,θs,φs)が、
(3/2)xi>rs≧(2/3)xi …式(1)
(5/4)θi>θs≧(4/5)θi …式(2)
(5/4)φi>φs≧(4/5)φi …式(3)
の条件を満たすように、音像位置の座標(rs,θs,φs)が設定されればよい。式(1)〜(3)の条件は一例に過ぎず、例えば、自車両の速度などの条件によって係数が変更されてもよい。
FIG. 11 shows an example in which the virtual image position of the
(3/2) x i > r s ≧ (2/3) x i (1)
(5/4) θ i > θ s ≧ (4/5) θ i (2)
(5/4) φ i > φ s ≧ (4/5) φ i (3)
The coordinates (r s , θ s , φ s ) of the sound image position may be set so as to satisfy the following condition. The conditions of the expressions (1) to (3) are merely examples, and the coefficient may be changed depending on conditions such as the speed of the host vehicle.
また、例えば図12のように、音像201の音像距離を案内表示オブジェクト101の虚像距離に対応させる処理は行わずに、音像201の音像方向と案内表示オブジェクト101の虚像方向との差が予め定められた値以下になるように、音像201の音像方向のみを制御してもよい。例えば、上記の式(2)および式(3)のみが満たされるように、音像201の音像位置(座標)を決定してもよい。図12においては、案内表示オブジェクト101の虚像距離は30mであるが、音像201の音像距離は10mに固定させており、音像201の音像方向のみを案内表示オブジェクト101の虚像方向(案内地点のやや上方)に一致させている。
For example, as shown in FIG. 12, the difference between the sound image direction of the
逆に、例えば図13のように、音像201の音像方向を案内表示オブジェクト101の虚像方向に対応させる処理は行わずに、音像201の音像距離と案内表示オブジェクト101の虚像距離との差が予め定められた値以下になるように、音像201の音像距離のみを制御してもよい。例えば、上記の式(1)のみが満たされるように、音像201の音像位置(座標)を決定してもよい。図13においては、案内表示オブジェクト101の虚像方向は案内地点のやや上方であるが、音像201の音像方向は運転者の正面に固定させており、音像201の音像距離のみを案内表示オブジェクト101の虚像距離(30m)に一致させている。
On the contrary, as shown in FIG. 13, for example, the process of making the sound image direction of the
1つの案内地点について、案内情報の音声を複数回出力する場合には、その都度、案内表示オブジェクト101の虚像位置に合わせて、音像201の音像位置を変化させるとよい。また、自車両から案内地点までの距離に応じて音声の内容を変更させてもよい。例えば、自車両から案内地点までの距離が50mの時点では、図14(a)のように、案内表示オブジェクト101の虚像距離および音像201の音像距離を共に50mに設定し、「50m先を右折です」という音声を出力する。その後、自車両から案内地点までの距離が30mになると、図14(b)のように、案内表示オブジェクト101の虚像距離および音像201の音像距離を共に30mに変更し、「まもなく右折です」という音声を出力する。さらに、自車両から案内地点までの距離が10mになると、図14(c)のように、案内表示オブジェクト101の虚像距離および音像201の音像距離を共に10mに変更し、「右折です」という音声を出力する。運転者は、音像201の音像距離の変化によって、案内表示オブジェクト101の虚像距離の変化を認識できる。また、それによって、運転者は案内地点(右折地点)までの距離を把握しやすくなる。
When outputting the guidance information sound a plurality of times for one guidance point, the sound image position of the
図14においては、案内表示オブジェクト101の虚像距離および音像201の音像距離の変化の様子を3枚の図を用いて表したが、本明細書では、図15のように、時間に対する虚像距離および音像距離の変化を示すグラフとして表すこともある。
In FIG. 14, changes in the virtual image distance of the
図16〜図18に、案内表示オブジェクト101の虚像距離の変化の例を示す。案内表示オブジェクト101の虚像距離は、図16のように離散的な値をとるように不連続的に切り替わってもよいし、図17のように連続的に変化してもよいし、図18のように段階的に変化してもよい。
16 to 18 show examples of changes in the virtual image distance of the
連続的な虚像距離の変化と不連続な(段階的な)虚像距離の変化を組み合わせてもよい。例えば、虚像距離が0mから30mまでの範囲では、表示オブジェクトの虚像距離が連続的に変化し、虚像距離が30mから50mまでの範囲では、例えば35m、40m、45m、50mのように、表示オブジェクトの虚像距離が不連続に変化するようにしてもよい。 A continuous virtual image distance change and a discontinuous (stepwise) virtual image distance change may be combined. For example, when the virtual image distance is in the range from 0 m to 30 m, the virtual image distance of the display object continuously changes, and in the range from 30 m to 50 m, the display object is, for example, 35 m, 40 m, 45 m, and 50 m. The virtual image distance may be changed discontinuously.
人間の眼では、遠方になるほど距離の差や変化の認知精度が落ちるので、表示オブジェクトの虚像距離が長くなるほど、その虚像距離の変化速度が大きくなるようにしてもよい。また、表示オブジェクトの虚像距離を不連続に変化させる場合は、同様の理由から、虚像距離が長くなるほど、虚像距離の変化量が大きくなるようにしてもよい。例えば、虚像距離が0mから10mまでの範囲では、表示オブジェクトの虚像距離が1m刻みで変化し、虚像距離が10mから30mまでの範囲では、表示オブジェクトの虚像距離が2m刻みで変化し、虚像距離が30mから50mまでの範囲では、表示オブジェクトの虚像距離が5m刻みで変化するようにしてもよい。 In the human eye, the distance difference and change recognition accuracy decreases with increasing distance, so the change speed of the virtual image distance may increase as the virtual image distance of the display object increases. When the virtual image distance of the display object is discontinuously changed, for the same reason, the change amount of the virtual image distance may be increased as the virtual image distance is increased. For example, when the virtual image distance ranges from 0 m to 10 m, the virtual image distance of the display object changes in increments of 1 m, and when the virtual image distance ranges from 10 m to 30 m, the virtual image distance of the display object changes in increments of 2 m. In the range from 30 m to 50 m, the virtual image distance of the display object may change in increments of 5 m.
次に、例えば、図10のステップS1において、情報取得部11が、車載機器5から通知情報としてバッテリー不足や燃料不足などの警告情報を取得した場合を想定する。この場合、ステップS2では、表示制御部13が、警告情報を表す表示オブジェクト(以下「警告表示オブジェクト」)を運転者の視野に表示する。案内表示オブジェクトの虚像位置は任意の位置でよいが、本実施の形態では、図19のように、警告表示オブジェクト102の虚像方向をウィンドシールド301の右端上部に固定し、また、その虚像距離も10mに固定するものとする。
Next, for example, it is assumed that the
また、ステップS3では、音像制御部15が、音像202の音像位置を、警告表示オブジェクト102の虚像位置と同じ位置に設定する。ただし、警告表示オブジェクト102の虚像位置と音声の音像位置とは完全に一致しなくてもよい。そして、ステップS4では、音像制御部15が、警告情報を示す音声として、警告表示オブジェクト102の出現を表す効果音を音像201から出力させる。
In step S <b> 3, the sound
例えば、車載機器5がバッテリー不足の警告情報を出力した場合、表示制御部13は、図19のように、ウィンドシールド301の右端上部の虚像距離10mの位置に、バッテリー不足を示す警告表示オブジェクト102を出現させる。このとき、音像制御部15は、音像202の音像位置を、警告表示オブジェクト102の虚像位置に一致させて、警告表示オブジェクト102の出現を表す音声(例えば「ポン」という効果音)を出力する。
For example, when the in-
また、車載機器5が燃料不足の警告情報を出力した場合、表示制御部13は、図20のように、ウィンドシールド301の右端上部の虚像距離10mの位置に、燃料不足を示す警告表示オブジェクト103を出現させる。このとき、音像制御部15は、音像203の音像位置を、警告表示オブジェクト103の虚像位置と一致させて、警告表示オブジェクト103の出現を表す音声(例えば「ポン」という効果音)を出力する。
When the in-
図19および図20では、警告表示オブジェクト102の虚像位置と警告表示オブジェクト103の虚像位置が同じになっているが、両者が互いに異なっていてもよい。また、警告表示オブジェクト102の出現を表す音声と、警告表示オブジェクト103の出現を表す音声とを、互いに異なるものにしてもよい。例えば、警告表示オブジェクト102を出現させるときは「バッテリー不足です」という音声メッセージを出力し、警告表示オブジェクト103を出現させるときは「燃料不足です」という音声メッセージを出力してもよい。
19 and 20, the virtual image position of the
また、警告表示オブジェクト102(または103)の出現を表す音声として、効果音を出力する場合、音像202(または203)の音像位置を振動させてもよい。例えば、図21および図22のように、音像202の音像距離を振動させてもよいし、図23のように音像202の音像方向を振動させてもよい。音像202の音像位置を振動させるとき、その音像位置の変化の仕方や振動の周期は任意でよい。図21は、音像202の音像距離の振動の周期が一定である例、図22は、音像202の音像距離の振動の周期が時間と共に長くなる例、図23は、音像202の音像方向が警告表示オブジェクト102を中心に回転する例を、それぞれ示している。また、図24は、音像202の音像方向が回転する場合に、その回転半径が時間と共に小さくなる例である。この場合、音像方向の動きは螺旋状になる。また、音像202から出力させる音声の音程や強さを振動させてもよい。
Further, when a sound effect is output as a sound representing the appearance of the warning display object 102 (or 103), the sound image position of the sound image 202 (or 203) may be vibrated. For example, the sound image distance of the
さらに、音像202の音像位置を、予め定められた開始位置から警告表示オブジェクト102の虚像位置へ近づけながら、効果音を出力してもよい。例えば、図25のように、音像202の移動の開始位置を運転者から3mの位置にし、その開始位置から警告表示オブジェクト102の虚像位置へと音像202を移動させながら、例えば「キーン」などの効果音を出力してもよい。また、図26のように、音像202の移動の開始位置をウィンドシールド301の中央部の位置にし、その開始位置から警告表示オブジェクト102の虚像位置へと音像202を移動させながら、効果音を出力してもよい。また、音像202から出力させる音声の音程や強さを、音像位置の移動に合わせて変化させてもよい。
Furthermore, the sound effect may be output while the sound image position of the
上記の図19および図20では、情報取得部11が警告情報を取得したときに初めて警告表示オブジェクト102または103が表示される例を示したが、それらを常時表示させておき、実際に警告情報が出力されたときに、警告表示オブジェクト102または103の虚像距離を短くしてもよい。すなわち、通常状態(車載機器5が警告情報を出力していない状態)では、表示制御部13は、図27(a)のように警告表示オブジェクト102および103を虚像距離30mで表示させておき、例えば、車載機器5がバッテリー不足の警告情報を出力したときは、表示制御部13が、図27(b)のようにバッテリー不足を示す警告表示オブジェクト102の虚像距離を10mに変化させ、車載機器5が燃料不足の警告情報を出力すれば、図27(c)のように燃料不足を示す警告表示オブジェクト103の虚像距離を10mに変化させてもよい。
19 and 20 show an example in which the
この場合、警告表示オブジェクト102または103の虚像距離を30mから10mに変化させたときに、その変化を表す効果音などを出力するとよい。図27おいては、警告表示オブジェクト102の虚像距離が10mに変化させたときは「バッテリー不足です」という音声メッセージが出力され(図27(b))、警告表示オブジェクト103の虚像距離が10mに変化するときは「燃料不足です」という音声メッセージを出力させる(図27(c))例を示している。
In this case, when the virtual image distance of the
また、警告表示オブジェクト102(または103)の虚像距離の変化を示す効果音を出力する際、音像202(または203)の音像位置を、通常状態における警告表示オブジェクト102の虚像位置から、虚像距離が変更した後の虚像位置へ近づけながら、効果音を出力してもよい。すなわち、図28のように、音像202を音像距離が30mの位置から10mの位置へと移動させながら、例えば「キーン」などの効果音を出力してもよい。また、図29のように、音像202の虚像距離の変化の仕方は曲線的でもよい。さらに、図30のように、警告表示オブジェクト102の虚像距離を変化させる直前と直後に効果音を出力してもよい。
Further, when outputting a sound effect indicating a change in the virtual image distance of the warning display object 102 (or 103), the sound image position of the sound image 202 (or 203) is changed from the virtual image position of the
図31〜図35には、警告表示オブジェクト102(または103)の虚像距離の変化の例を示している。警告表示オブジェクト102の虚像距離は、図31または図32のように離散的な値をとるように不連続的に切り替わってもよいし、図33または図34のように連続的に変化してもよい。図33は、警告表示オブジェクト102の虚像距離が直線的に変化する例、図34は曲線的に変化する例である。また、図35のように、虚像距離を振動させながら変化させてもよい。
31 to 35 show examples of changes in the virtual image distance of the warning display object 102 (or 103). The virtual image distance of the
次に、例えば、図10のステップS1において、情報取得部11が、注意対象検知装置6から通知情報として注意対象の位置情報を取得した場合を想定する。この場合、ステップS2では、表示制御部13が、注意対象の存在を示す表示オブジェクト(以下「注意対象表示オブジェクト」という)を、運転者の視野に表示させる。本実施の形態では、図36のように、注意対象表示オブジェクト104の虚像方向は、運転者から注意対象90(障害物)が見える方向に設定され、虚像距離は車両から注意対象90までの距離に設定されるものとする。
Next, for example, it is assumed that the
また、ステップS3では、音像制御部15が、音像204の音像位置を、警告表示オブジェクト102の虚像位置と同じ位置に設定する。注意対象表示オブジェクト104の虚像位置と音像204の音像位置とは完全に一致しなくてもよい。そして、ステップS4では、音像制御部15が、注意対象の存在を示す音声を、音像201から出力させる。運転者には、その音声が注意対象の位置から聞こえるように感じる。
In step S <b> 3, the sound
例えば、車載機器5によって自車両の50m先に注意対象90が検出されると、図36(a)のように、注意対象表示オブジェクト104の虚像距離および音像204の音像距離を共に50mに設定し、注意対象表示オブジェクト104の出現を表す例えば「ポン」などの効果音を出力する。その後、自車両から注意対象90までの距離が30mになると、図36(b)のように、注意対象表示オブジェクト104の虚像距離および音像204の音像距離を共に30mに変更した上で、例えば「ピピピピ・・・」などの警告音を出力する。さらに、自車両から注意対象90までの距離が10mになると、図36(c)のように、注意対象表示オブジェクト104の虚像距離および音像204の音像距離を共に10mに設定した上で、例えば「前方注意!」などの音声メッセージを出力する。運転者は、音像204の音像距離の変化から、注意対象表示オブジェクト104の虚像距離の変化を認識できる。また音像204から出力される音声を変化することで、運転者に注意対象90の要注意度(緊急度)を認識させることもできる。なお、図37は、図36の例における注意対象表示オブジェクト104の虚像距離および音像204の音像距離の変化をグラフで示したものである。
For example, if the
また、注意対象検知装置6が注意対象90の種別(例えば、車両、バイク、自転車、歩行者、落下物など)まで判断できる場合、その判断結果に応じて音像204から出力する音声を変えてもよい。あるいは、注意対象90の種別から、当該注意対象90の重要度(例えば、自車両が接触したときの被害の大きさなど)を判断し、その重要度に応じて音像204から出力する音声を変えてもよい。
Further, when the attention
注意対象表示オブジェクト104の虚像位置と音像204の音像位置とは完全に一致しなくてもよい。例えば、音像204の音像位置を、注意対象90の自車両に対する相対位置に基づいて制御し、注意対象表示オブジェクト104の虚像距離は一定に維持してもよい。
The virtual image position of the attention
図38は、音像204の音像位置を、注意対象90の自車両に対する相対位置に基づいて制御した場合の、注意対象表示オブジェクト104および音像204の位置変化の例である。注意対象表示オブジェクト104の虚像方向は、注意対象90の位置に合わせるが、虚像距離は10mに固定している。
FIG. 38 is an example of the positional change of the attention
この場合、自車両から50m先に注意対象90が検出されると、図38(a)のように、表示制御部13は、注意対象表示オブジェクト104の虚像距離は10mに設定するが、音像制御部15は、音像204の音像距離は50mに設定し、注意対象表示オブジェクト104の出現を表す例えば「ポン」などの効果音を音像204から出力する。その後、自車両から注意対象90までの距離が30mになると、図38(b)のように、音像制御部15は、音像204の音像距離を30mに変更して、例えば「ピピピピ・・・」などの警告音を音像204から出力する。そして、自車両から注意対象90までの距離が10mになると、図38(c)のように、音像制御部15は、音像204の音像距離を10mにして、例えば「前方注意!」などの音声メッセージを音像204から出力する。図38の例では、注意対象表示オブジェクト104の虚像距離は変化しないが、運転者は、注意対象90の目視と、音像204の音像距離の変化によって、自車から注意対象90までの距離を認識できる。なお、図39は、図38の例における注意対象表示オブジェクト104の虚像距離および音像204の音像距離の変化をグラフで示したものである。
In this case, when the
図38および図39の例においても、図21〜図24で説明したように音像位置を振動させてもよい(この場合、注意対象90の位置を基準に音像位置を振動させるとよい)。また、音像204の音像位置を予め定められた開始位置から注意対象90の位置へ移動させながら、音声を出力してもよいし、さらにその音像位置の移動に合わせて音声を変化させてもよい。
Also in the example of FIGS. 38 and 39, the sound image position may be vibrated as described in FIGS. 21 to 24 (in this case, the sound image position may be vibrated based on the position of the attention object 90). Further, the sound may be output while moving the sound image position of the
また例えば、車載機器5から警告情報が出力されていない通常状態で、図40(a)のように警告表示オブジェクト102および103が虚像距離30mの位置に表示される表示制御装置1において、注意対象検知装置6により注意対象90が検出されると、図40(b)のように、新たに注意対象表示オブジェクト104が虚像距離50mの位置に表示される。この場合、音像制御部15が、音像204の音像距離を30mから50mに変化させながら、注意対象表示オブジェクト104の出現を表す音声を出力してもよい。なお、図41は、図40の例における注意対象表示オブジェクト104の虚像距離および音像204の音像距離の変化をグラフで示したものである。
In addition, for example, in the display control device 1 in which the warning display objects 102 and 103 are displayed at a virtual image distance of 30 m as illustrated in FIG. 40A in a normal state where warning information is not output from the in-
<実施の形態2>
図42は、実施の形態2に係る表示制御装置1の構成を示すブロック図である。実施の形態2に係る表示制御装置1には、運転者の注視点の位置を推定する注視点推定部7が接続されている。注視点推定部7が運転者の注視点の位置を推定する方法は任意の方法でよいが、例えば車内カメラで撮影した運転者の瞳孔画像を解析して、運転者の注視点の位置を推定する方法が考えられる。
<
FIG. 42 is a block diagram illustrating a configuration of the display control apparatus 1 according to the second embodiment. The display control apparatus 1 according to the second embodiment is connected to a gaze
先に示した図25および図26の例では、音像202を予め定められた開始位置から警告表示オブジェクト102の虚像位置へ近づけながら、音声を出力する例を示した。実施の形態2の動作もこれとほぼ同じであるが、音像制御部15は、音像202の移動の開始位置を、運転者の注視点の位置に設定する。例えば図43および図44に示すように、表示制御部13が、ウィンドシールド301の右上上部の虚像距離10mの位置に警告表示オブジェクト102を表示するとき、注視点推定部7によって、運転者の注視点がウィンドシールド301中央の前方30mの位置と推定された場合、音像制御部15は、その注視点の位置を、音像202の動きの開始位置として設定する。そして、音像制御部15は、音像202を当該開始位置から警告表示オブジェクト102の虚像位置へ近づけながら、警告表示オブジェクト102の出現を表す「キーン」などの効果音を出力する。
In the example shown in FIG. 25 and FIG. 26 described above, an example is shown in which sound is output while the
運転者の注視点が、音像202の移動の開始位置になることで、音像202(効果音の音源)の動きによって運転者の意識を注視点から警告表示オブジェクト102の虚像位置へ誘導することができる。
When the driver's gazing point becomes the start position of the movement of the
<表示制御装置のハードウェア構成例>
図45および図46は、それぞれ表示制御装置1のハードウェア構成の一例を示す図である。表示制御装置1における情報取得部11、表示オブジェクト記憶部12、表示制御部13、音声データ記憶部14、音像制御部15および表示制御装置16は、例えば図45に示す処理回路40により実現される。すなわち、処理回路40は、虚像表示部2を用いて表示オブジェクトを表示する表示制御部13と、音像生成部3を用いて表示オブジェクトに対応する音声を出力する際、当該表示オブジェクトの虚像位置または当該表示オブジェクトが示す注意対象の相対位置に基づいて音像位置を制御する音像制御部15と、を備える。処理回路40には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、Digital Signal Processor)が適用されてもよい。
<Example of hardware configuration of display control device>
45 and 46 are diagrams each illustrating an example of a hardware configuration of the display control device 1. The
処理回路40が専用のハードウェアである場合、処理回路40は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、またはこれらを組み合わせたものが該当する。情報取得部11、表示オブジェクト記憶部12、表示制御部13、音声データ記憶部14、音像制御部15および表示制御装置16の各部の機能それぞれは、複数の処理回路40で実現されてもよいし、各部の機能をまとめて一つの処理回路40で実現されてもよい。
When the
図46は、処理回路40がプロセッサである場合における表示制御装置1のハードウェア構成を示している。この場合、情報取得部11、表示オブジェクト記憶部12、表示制御部13、音声データ記憶部14、音像制御部15および表示制御装置16の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ42に格納される。処理回路40としてのプロセッサ41は、メモリ42に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置1は、処理回路40により実行されるときに、虚像表示部2を用いて表示オブジェクトを表示するステップと、音像生成部3を用いて表示オブジェクトに対応する音声を出力する際、当該表示オブジェクトの虚像位置または当該表示オブジェクトが示す注意対象の相対位置に基づいて音像位置を制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ42を備える。換言すれば、このプログラムは、情報取得部11、表示オブジェクト記憶部12、表示制御部13、音声データ記憶部14、音像制御部15および表示制御装置16の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ42には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリー、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等が該当する。
FIG. 46 shows a hardware configuration of the display control apparatus 1 when the
以上、情報取得部11、表示オブジェクト記憶部12、表示制御部13、音声データ記憶部14、音像制御部15および表示制御装置16の各機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、情報取得部11、表示オブジェクト記憶部12、表示制御部13、音声データ記憶部14、音像制御部15および表示制御装置16の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、表示制御部13および音像制御部15については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ41としての処理回路40がメモリ42に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
As described above, each function of the
以上のように、処理回路40は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。なお、表示オブジェクト記憶部12および音声データ記憶部14は、メモリ42から構成されるが、それらは一つのメモリ42から構成されてもよいし、それぞれは個別のメモリ42から構成されてもよい。
As described above, the
また、以上で説明した表示制御装置は、車両に搭載可能な備え付けられたナビゲーション装置、Portable Navigation Device、通信端末(例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末)、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築される表示制御システムに適用することができる。この場合、以上で説明した表示制御装置の各機能あるいは各構成要素は、上記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。 The display control device described above includes an installed navigation device that can be mounted on a vehicle, a portable navigation device, a communication terminal (for example, a mobile terminal such as a mobile phone, a smartphone, and a tablet), and an application that is installed on these devices. It is possible to apply to a display control system constructed as a system by appropriately combining these functions and a server. In this case, each function or each component of the display control device described above may be distributed and arranged in each device constituting the system, or may be concentrated on any device. .
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。 It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.
1 表示制御装置、2 虚像表示部、3 音像生成部、4 ナビゲーション装置、5 車載機器、6 注意対象検知装置、7 注視点推定部、11 情報取得部、11a 相対位置取得部、12 表示オブジェクト記憶部、13 表示制御部、14 音声データ記憶部、15 音像制御部、40 処理回路、41 プロセッサ、42 メモリ、90 注意対象、100 表示オブジェクト、101 案内表示オブジェクト、102,103 警告表示オブジェクト、104 注意対象表示オブジェクト、200〜204 音像、300 運転者、301 ウィンドシールド、302 車内スピーカ。 DESCRIPTION OF SYMBOLS 1 Display control apparatus, 2 Virtual image display part, 3 Sound image generation part, 4 Navigation apparatus, 5 Car equipment, 6 Attention object detection apparatus, 7 Gaze point estimation part, 11 Information acquisition part, 11a Relative position acquisition part, 12 Display object memory | storage , 13 Display control unit, 14 Audio data storage unit, 15 Sound image control unit, 40 Processing circuit, 41 Processor, 42 Memory, 90 Caution target, 100 Display object, 101 Guidance display object, 102, 103 Warning display object, 104 Caution Target display object, 200-204 sound image, 300 driver, 301 windshield, 302 car speaker.
Claims (23)
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記表示制御装置は、
前記虚像表示部を用いて表示オブジェクトを表示する表示制御部と、
前記音像生成部を用いて音声を出力する音像制御部と、
を備え、
前記音像制御部は、前記表示制御部が表示した表示オブジェクトに対応する音声を出力する際、当該音声の音像位置を、当該表示オブジェクトの虚像位置に基づいて制御する
ことを特徴とする表示制御装置。 A display control device that controls a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The display control device includes:
A display control unit for displaying a display object using the virtual image display unit;
A sound image control unit that outputs sound using the sound image generation unit;
With
When the sound image control unit outputs sound corresponding to the display object displayed by the display control unit, the sound image control unit controls the sound image position of the sound based on the virtual image position of the display object. .
請求項1に記載の表示制御装置。 The sound image control unit sets the sound image direction of the sound so that a difference between a virtual image direction of the display object and a sound image direction of the sound corresponding to the display object is equal to or less than a predetermined value. The display control apparatus described.
請求項1または請求項2に記載の表示制御装置。 The sound image control unit sets the sound image distance of the sound corresponding to the display object so that the difference between the virtual image distance of the display object and the sound image distance of the sound corresponding to the display object is equal to or less than a predetermined value. The display control apparatus according to claim 1 or 2.
請求項1に記載の表示制御装置。 The sound image control unit sets the sound image position of the sound so that the sound image position of the sound corresponding to the display object falls within a predetermined range with reference to the virtual image position of the display object. The display control apparatus according to 1.
請求項1から請求項4のいずれか一項に記載の表示制御装置。 The display control device according to any one of claims 1 to 4, wherein the sound image control unit outputs a sound representing the appearance of the display object when the display control unit newly displays the display object. .
請求項1に記載の表示制御装置。 The display control device according to claim 1, wherein the sound image control unit outputs a sound representing a change in a virtual image position of the display object when the display control unit changes a virtual image position of the display object.
請求項6に記載の表示制御装置。 The display control device according to claim 6, wherein the sound image control unit outputs a sound representing a change in the virtual image position of the display object while moving the sound image position in accordance with a change in the virtual image position of the display object.
請求項7に記載の表示制御装置。 The display control device according to claim 7, wherein the sound image control unit changes a sound representing a change in a virtual image position of the display object in accordance with the movement of the sound image position.
請求項1に記載の表示制御装置。 The sound image control unit, when outputting sound corresponding to the display object, outputs the sound while moving the sound image position of the sound from a predetermined start position to a virtual image position of the display object. The display control apparatus described.
請求項9に記載の表示制御装置。 The display control apparatus according to claim 9, wherein the sound image control unit changes the sound in accordance with movement of a sound image position of sound corresponding to the display object.
請求項9または請求項10に記載の表示制御装置。 The display control device according to claim 9 or 10, wherein the sound image control unit sets a gaze point of a driver of the vehicle as the start position.
請求項1から請求項4のいずれか一項に記載の表示制御装置。 The said sound image control part vibrates the sound image position of the said audio | voice based on the virtual image position of the said display object, when outputting the audio | voice corresponding to the said display object. Display controller.
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記表示制御装置は、
前記車両の運転者に注意喚起すべき注意対象の前記車両に対する相対位置を取得する相対位置取得部と、
前記虚像表示部を用いて表示オブジェクトを表示する表示制御部と、
前記音像生成部を用いて音声を出力する音像制御部と、
を備え、
前記表示制御部は、前記運転者へ前記注意対象の存在を示す表示オブジェクトを表示し、
前記音像制御部は、前記運転者へ前記注意対象の存在を通知する音声を出力し、
前記音像制御部は、前記注意対象の存在を通知する音声を出力する際、当該音声の音像位置を、当該注意対象の相対位置に基づいて制御する
ことを特徴とする表示制御装置。 A display control device that controls a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The display control device includes:
A relative position acquisition unit for acquiring a relative position with respect to the vehicle to be alerted to alert the driver of the vehicle;
A display control unit for displaying a display object using the virtual image display unit;
A sound image control unit that outputs sound using the sound image generation unit;
With
The display control unit displays a display object indicating the presence of the attention target to the driver,
The sound image control unit outputs a sound notifying the driver of the presence of the attention object,
The sound image control unit is configured to control a sound image position of the sound based on a relative position of the attention object when outputting a sound notifying the presence of the attention object.
請求項13に記載の表示制御装置。 The sound image control unit sets the sound image direction of the sound so that a difference between the direction from the vehicle to the attention object and the sound image direction of the sound notifying the presence of the attention object is equal to or less than a predetermined value. The display control apparatus according to claim 13.
請求項13または請求項14に記載の表示制御装置。 The sound image control unit sets a sound image distance of the sound so that a difference between a distance from the vehicle to the attention object and a sound image distance of the sound notifying the presence of the attention object is equal to or less than a predetermined value. The display control apparatus according to claim 13 or 14.
請求項13に記載の表示制御装置。 The sound image control unit sets the sound image position of the sound so that the sound image position of the sound notifying the presence of the attention object is within a predetermined range with reference to the position of the attention object. 14. The display control device according to 13.
請求項13に記載の表示制御装置。 The sound image control unit, when outputting a sound notifying the presence of the attention object, outputs the sound while moving a sound image position of the sound from a predetermined start position to the position of the attention object. 14. The display control device according to 13.
請求項17に記載の表示制御装置。 The display control device according to claim 17, wherein the sound image control unit changes the sound in accordance with the movement of the sound image position of the sound notifying the presence of the attention object.
請求項17または請求項18に記載の表示制御装置。 The display control device according to claim 17, wherein the sound image control unit sets a gaze point of the driver as the start position.
請求項13から請求項16のいずれか一項に記載の表示制御装置。 The sound image control unit according to any one of claims 13 to 16, wherein the sound image control unit vibrates the sound image position of the sound based on the position of the attention object when outputting the sound notifying the presence of the attention object. The display control apparatus described.
前記虚像表示部と、
前記音像生成部と
を備える、表示装置。 The display control device according to any one of claims 1 to 20,
The virtual image display unit;
A display device comprising the sound image generation unit.
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記音像位置制御方法は、
前記虚像表示部を用いて表示オブジェクトを表示し、
前記音像生成部を用いて、前記表示オブジェクトに対応する音声を出力する際、当該音声の音像位置を、当該表示オブジェクトの虚像位置に基づいて制御する
ことを特徴とする音像位置制御方法。 A sound image position control method in a display control device for controlling a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The sound image position control method includes:
Display a display object using the virtual image display unit,
A sound image position control method, wherein when the sound corresponding to the display object is output using the sound image generation unit, the sound image position of the sound is controlled based on a virtual image position of the display object.
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記音像位置制御方法は、
前記車両の運転者に注意喚起すべき注意対象の前記車両に対する相対位置を取得し、
前記虚像表示部を用いて、前記運転者へ前記注意対象の存在を示す表示オブジェクトを表示し、
前記音像生成部を用いて、前記注意対象の存在を通知する音声を出力する際、当該音声の音像位置を、当該注意対象の相対位置に基づいて制御する
ことを特徴とする音像位置制御方法。 A sound image position control method in a display control device for controlling a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The sound image position control method includes:
Obtaining a relative position with respect to the vehicle to be alerted to alert the driver of the vehicle;
Display the display object indicating the presence of the attention target to the driver using the virtual image display unit,
A sound image position control method, wherein when the sound notifying the presence of the attention object is output using the sound image generation unit, the sound image position of the sound is controlled based on the relative position of the attention object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015180323A JP2017056747A (en) | 2015-09-14 | 2015-09-14 | Display controller, display unit and sound image position control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015180323A JP2017056747A (en) | 2015-09-14 | 2015-09-14 | Display controller, display unit and sound image position control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017056747A true JP2017056747A (en) | 2017-03-23 |
Family
ID=58389303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015180323A Pending JP2017056747A (en) | 2015-09-14 | 2015-09-14 | Display controller, display unit and sound image position control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017056747A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019217941A (en) * | 2018-06-21 | 2019-12-26 | パナソニックIpマネジメント株式会社 | Video display system, video display method, program, and moving body |
CN111319557A (en) * | 2018-12-17 | 2020-06-23 | 丰田自动车株式会社 | Reporting device |
CN112164128A (en) * | 2020-09-07 | 2021-01-01 | 广州汽车集团股份有限公司 | Music visual interaction method and computer equipment for vehicle-mounted multimedia |
JP2021081232A (en) * | 2019-11-15 | 2021-05-27 | アイシン・エィ・ダブリュ株式会社 | Superimposed image display device and computer program |
JP7492340B2 (en) | 2019-03-01 | 2024-05-29 | ザ・ボーイング・カンパニー | Active Voltage Control for Hybrid Electric Aircraft |
-
2015
- 2015-09-14 JP JP2015180323A patent/JP2017056747A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019217941A (en) * | 2018-06-21 | 2019-12-26 | パナソニックIpマネジメント株式会社 | Video display system, video display method, program, and moving body |
JP7026325B2 (en) | 2018-06-21 | 2022-02-28 | パナソニックIpマネジメント株式会社 | Video display system, video display method, program, and mobile |
CN111319557A (en) * | 2018-12-17 | 2020-06-23 | 丰田自动车株式会社 | Reporting device |
JP2020098396A (en) * | 2018-12-17 | 2020-06-25 | トヨタ自動車株式会社 | Notification device |
JP7155991B2 (en) | 2018-12-17 | 2022-10-19 | トヨタ自動車株式会社 | Notification device |
US11492001B2 (en) | 2018-12-17 | 2022-11-08 | Toyota Jidosha Kabushiki Kaisha | Notification device |
CN111319557B (en) * | 2018-12-17 | 2023-01-17 | 丰田自动车株式会社 | Reporting device |
JP7492340B2 (en) | 2019-03-01 | 2024-05-29 | ザ・ボーイング・カンパニー | Active Voltage Control for Hybrid Electric Aircraft |
JP2021081232A (en) * | 2019-11-15 | 2021-05-27 | アイシン・エィ・ダブリュ株式会社 | Superimposed image display device and computer program |
CN112164128A (en) * | 2020-09-07 | 2021-01-01 | 广州汽车集团股份有限公司 | Music visual interaction method and computer equipment for vehicle-mounted multimedia |
CN112164128B (en) * | 2020-09-07 | 2024-06-11 | 广州汽车集团股份有限公司 | Vehicle-mounted multimedia music visual interaction method and computer equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6381807B2 (en) | Display control device, display device, and display control method | |
JP6486474B2 (en) | Display control device, display device, and display control method | |
CN109215433B (en) | Vision-based driving scenario generator for automated driving simulation | |
US10878256B2 (en) | Travel assistance device and computer program | |
JP7052174B2 (en) | Systems and methods for estimating future routes | |
US10457294B1 (en) | Neural network based safety monitoring system for autonomous vehicles | |
JP6591087B2 (en) | Display control device, display device, and display control method | |
US20180348761A1 (en) | Scalable smooth reference path generator for autonomous driving vehicles | |
EP3342670A1 (en) | Method to dynamically adjusting speed control rates of autonomous vehicles | |
JP2017056747A (en) | Display controller, display unit and sound image position control method | |
JP6448804B2 (en) | Display control device, display device, and display control method | |
JP2016090344A (en) | Navigation device and navigation program | |
WO2019224922A1 (en) | Head-up display control device, head-up display system, and head-up display control method | |
JP2016134090A (en) | Image processor and drive support system using the same | |
JP2014021770A (en) | Onboard acoustic apparatus and program | |
JP7077726B2 (en) | Vehicle system, space area estimation method and space area estimation device | |
WO2018173454A1 (en) | Information display device, information display method, and program | |
JP6494764B2 (en) | Display control device, display device, and display control method | |
JP6482431B2 (en) | Display control device, display device, and display control method | |
JP6448806B2 (en) | Display control device, display device, and display control method | |
JP6785451B2 (en) | Information presentation system, mobile body, information presentation method and program | |
JP2008305283A (en) | Drive support apparatus and drive support method | |
JP7143728B2 (en) | Superimposed image display device and computer program | |
JP6444514B2 (en) | Display control device, display device, and route guidance method | |
JP6536443B2 (en) | Eye-gaze learning system and eye-gaze learning program |