JP2017056747A - Display controller, display unit and sound image position control method - Google Patents
Display controller, display unit and sound image position control method Download PDFInfo
- Publication number
- JP2017056747A JP2017056747A JP2015180323A JP2015180323A JP2017056747A JP 2017056747 A JP2017056747 A JP 2017056747A JP 2015180323 A JP2015180323 A JP 2015180323A JP 2015180323 A JP2015180323 A JP 2015180323A JP 2017056747 A JP2017056747 A JP 2017056747A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- sound image
- display
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 19
- 230000000694 effects Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000013500 data storage Methods 0.000 description 14
- 239000000446 fuel Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、虚像表示部と共に音像生成部を制御する表示制御装置、並びに、当該表示制御装置における音像位置の制御方法に関するものである。 The present invention relates to a display control device that controls a sound image generation unit together with a virtual image display unit, and a sound image position control method in the display control device.
車両のウィンドシールドに画像を表示するヘッドアップディスプレイ（ＨＵＤ）に関して様々な技術が提案されている。例えば、画像を、運転者から見て、あたかも車両前方の実風景に実在するかのように見える虚像として表示するＨＵＤが提案されている。例えば特許文献１には、虚像の見かけ上の位置と運転者との間の距離を、車速に応じて変更するＨＵＤが提案されている。 Various techniques have been proposed for a head-up display (HUD) that displays an image on a windshield of a vehicle. For example, there has been proposed a HUD that displays an image as a virtual image that looks as if it is actually present in a real landscape in front of the vehicle when viewed from the driver. For example, Patent Document 1 proposes a HUD that changes the distance between an apparent position of a virtual image and a driver according to the vehicle speed.
一方、仮想的な音源である音像を生成する技術も知られている。例えば、下記の特許文献２には、音像を生成する前に、その音像の位置を示す情報をＨＵＤで運転者に提示することにより、運転者が音像の位置を認識し易くする技術が開示されている。
On the other hand, a technique for generating a sound image that is a virtual sound source is also known. For example, the following
また、下記の特許文献３には、ＨＵＤで表示する虚像の位置変化に対応して、虚像に指向する報知音を発生させることで、運転者が虚像の位置を認識し易くする技術が開示されている。但し、特許文献３は音像を用いる技術ではない。
虚像の運転者からの見かけ上の位置を変化させる技術では、虚像の位置または虚像が示す対象物の位置を、運転者が容易に認識できるようにすることが課題となる。 In the technique of changing the apparent position of the virtual image from the driver, it becomes a problem to enable the driver to easily recognize the position of the virtual image or the position of the object indicated by the virtual image.
本発明は、この課題を解決するためになされたものであり、虚像の位置または虚像が示す対象物の位置を運転者が容易に認識することを可能にすることを目的とする。 The present invention has been made to solve this problem, and an object of the present invention is to enable a driver to easily recognize the position of a virtual image or the position of an object indicated by the virtual image.
本発明の第１の態様に係る表示制御装置は、虚像表示部および音像生成部を制御する表示制御装置であって、虚像表示部は、車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、車両の特定位置を基準とする虚像の方向である虚像方向と、虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、音像生成部は、仮想的な音源である音像を、車両の特定位置を基準とする音像の方向である音像方向と、音像までの距離である音像距離とによって規定される音像位置に生成可能であり、表示制御装置は、虚像表示部を用いて表示オブジェクトを表示する表示制御部と、音像生成部を用いて音声を出力する音像制御部と、を備え、音像制御部は、表示制御部が表示した表示オブジェクトに対応する音声を出力する際、当該音声の音像位置を、当該表示オブジェクトの虚像位置に基づいて制御する。 A display control device according to a first aspect of the present invention is a display control device that controls a virtual image display unit and a sound image generation unit, and the virtual image display unit is a virtual image that is visible from a driver's seat of a vehicle via a windshield. The display object can be displayed at a virtual image position defined by a virtual image direction that is a virtual image direction with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. A sound image that is a typical sound source can be generated at a sound image position defined by a sound image direction that is a sound image direction based on a specific position of the vehicle and a sound image distance that is a distance to the sound image, and the display control device A display control unit that displays a display object using a virtual image display unit, and a sound image control unit that outputs sound using a sound image generation unit. The sound image control unit is a display object displayed by the display control unit. When outputting the corresponding voice, the sound image position of the sound is controlled on the basis of the virtual image position of the display object.
本発明の第２の態様に係る表示制御装置は、虚像表示部および音像生成部を制御する表示制御装置であって、虚像表示部は、車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、車両の特定位置を基準とする虚像の方向である虚像方向と、虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、音像生成部は、仮想的な音源である音像を、車両の特定位置を基準とする音像の方向である音像方向と、音像までの距離である音像距離とによって規定される音像位置に生成可能であり、表示制御装置は、車両の運転者に注意喚起すべき注意対象の車両に対する相対位置を取得する相対位置取得部と、虚像表示部を用いて表示オブジェクトを表示する表示制御部と、音像生成部を用いて音声を出力する音像制御部と、を備え、表示制御部は、運転者へ注意対象の存在を示す表示オブジェクトを表示し、音像制御部は、運転者へ注意対象の存在を通知する音声を出力し、音像制御部は、注意対象の存在を通知する音声を出力する際、当該音声の音像位置を、当該注意対象の相対位置に基づいて制御する。 A display control device according to a second aspect of the present invention is a display control device that controls a virtual image display unit and a sound image generation unit, and the virtual image display unit is a virtual image that is visible from a driver's seat of a vehicle via a windshield. The display object can be displayed at a virtual image position defined by a virtual image direction that is a virtual image direction with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. A sound image that is a typical sound source can be generated at a sound image position defined by a sound image direction that is a sound image direction based on a specific position of the vehicle and a sound image distance that is a distance to the sound image, and the display control device A relative position acquisition unit that acquires a relative position with respect to a vehicle to be alerted to alert a vehicle driver, a display control unit that displays a display object using a virtual image display unit, and a sound image generation unit A sound image control unit that outputs a voice, the display control unit displays a display object indicating the presence of the attention target to the driver, and the sound image control unit outputs a sound notifying the driver of the presence of the attention target The sound image control unit controls the sound image position of the sound based on the relative position of the attention object when outputting the sound notifying the presence of the attention object.
本発明によれば、音像位置が、虚像（表示オブジェクト）の位置または虚像が示す注意対象に対応した位置になることで、運転者は視覚だけでなく、聴覚でも、虚像の位置または虚像が示す注意対象の位置を認識できるようになる。従って、運転者がそれらの位置を認識することが容易になる。 According to the present invention, since the position of the sound image is a position corresponding to the position of the virtual image (display object) or the attention object indicated by the virtual image, the position of the virtual image or the virtual image is indicated not only by the driver but also by hearing. The position of the attention object can be recognized. Therefore, it becomes easy for the driver to recognize their positions.
＜実施の形態１＞
図１は、本発明の実施の形態１に係る表示制御装置１の構成を示す図である。本実施の形態では、表示制御装置１が車両に搭載されているものとして説明する。また、表示制御装置１を搭載した車両を「自車両」という。
<Embodiment 1>
FIG. 1 is a diagram showing a configuration of a display control apparatus 1 according to Embodiment 1 of the present invention. In the present embodiment, the display control device 1 will be described as being mounted on a vehicle. A vehicle equipped with the display control device 1 is referred to as “own vehicle”.
表示制御装置１は、画像を運転者の視野に虚像として表示させる虚像表示部２（例えばＨＵＤなど）と、仮想的な音源である音像を生成する音像生成部３とを制御する。ここでは、虚像表示部２および音像生成部３が表示制御装置１に外部接続された例を示すが、虚像表示部２および音像生成部３は表示制御装置１と一体的に構成されていてもよい。すなわち、表示制御装置１、虚像表示部２および音像生成部３は、１つの表示装置として構成されていてもよい。
The display control device 1 controls a virtual image display unit 2 (for example, HUD) that displays an image as a virtual image in the driver's field of view and a sound
ここで、虚像表示部２が表示する虚像について説明する。本明細書では、虚像表示部２が表示する虚像を「表示オブジェクト」という。虚像表示部２は、図２のように、自車両の運転者３００の位置からウィンドシールド３０１を通して視認可能な位置に、表示オブジェクト１００を表示することができる。表示オブジェクト１００が実際に表示されている位置は、ウィンドシールド３０１上であるが、運転者３００から見ると、あたかも表示オブジェクト１００が自車両前方の風景の中に存在するかのように見えるようになっている。
Here, the virtual image displayed by the virtual
本明細書では、運転者３００から見た、表示オブジェクト１００の見かけ上の表示位置を「虚像位置」という。虚像位置は、運転者３００の位置を基準にした表示オブジェクト１００の方向である「虚像方向」と、運転者３００の位置から表示オブジェクト１００までの見かけ上の距離である「虚像距離」とによって規定される。このように、虚像位置を定義するための基準点は、運転者３００の位置であることが好ましいが、運転者３００の位置とみなすことができる車両の特定位置であればよく、例えば、運転席やウィンドシールド３０１の特定の点を基準点、例えば運転者の目の付近に対応する位置を基準点にしてもよい。また、ＨＵＤ設置位置の設計のために想定した運転者の両目の中心点に対応する車内空間の一点を基準点としてもよい。
In this specification, the apparent display position of the
虚像方向は、実質的に、運転者３００から見たウィンドシールド３０１上における表示オブジェクト１００の位置に相当し、例えば、図３のように３次元極座標系の偏角（θｉ，φｉ）で表される。虚像距離は、実質的に、運転者３００から見た表示オブジェクト１００までの見かけ上の距離に相当し、例えば図３のように３次元極座標系の動径（ｒｉ）などで表される。運転者３００は、自身の目の焦点（ピント）の距離Ｆｄを虚像距離（ｒｉ）に合わせることによって、３次元極座標（ｒｉ，θｉ，φｉ）で表される虚像位置に表示オブジェクト１００を視認することができる。
The virtual image direction substantially corresponds to the position of the
なお、虚像位置を３次元極座標で表すと虚像距離（ｒｉ）の等しい面は球面となるが、車両用の虚像表示部２のように虚像方向が一定の範囲（車両の前方）に制限される場合には、虚像距離の等しい面を平面で近似してもよい。また、ＨＵＤでは、虚像の表示面が平面となるように光学的に工夫されているものが多い。以下の説明では、図４のように虚像距離の等しい面を平面として扱うこととする（図４では、車両の進行方向をｙ軸とし、ｙ＝ｒｉの平面を虚像距離ｒｉの表示面として規定している）。
Incidentally, equal surfaces of the virtual image distance (r i) Expressing virtual image position in three dimensions polar coordinates becomes spherical, a virtual image direction as a virtual
例えば、虚像表示部２が、図４のように、虚像距離が１０ｍの第１の表示オブジェクト１００ａと、虚像距離が３０ｍの第２の表示オブジェクト１００ｂと、虚像距離が５０ｍの第３の表示オブジェクト１００ｃとを表示すると、運転者からは、図５のように、ウィンドシールド３０１を通して、前方１０ｍに第１の表示オブジェクト１００ａが存在し、前方３０ｍに第２の表示オブジェクト１００ｂが存在し、前方５０ｍに第３の表示オブジェクト１００ｃが存在しているように見える。なお、以下に示す各図では、表示オブジェクトの虚像距離を括弧書きで示している（それらは虚像として表示されるものではない）。
For example, as shown in FIG. 4, the virtual
図５では、虚像距離の異なる複数の表示オブジェクトが同時に表示された例を示したが、虚像表示部２は、表示オブジェクトの虚像距離を変更可能なものであれば、同時に表示する複数の表示オブジェクトに対して１つの虚像距離しか設定できないもの（同時に表示する表示オブジェクトの表示距離が全て同じになるもの）でもよい。また、虚像表示部２は、表示オブジェクトの虚像距離を１０ｍ、３０ｍ、５０ｍのように段階的にしか変更できないものでもよいし、連続的に変更できるものでもよい。
FIG. 5 shows an example in which a plurality of display objects having different virtual image distances are displayed at the same time. However, if the virtual
次に、音像生成部３が生成する音像について説明する。音像生成部３は車内スピーカ３０２を用いて、図６のように、車内スピーカ３０２とは異なる任意の位置に、仮想的な音源である音像２００を生成して、音声を出力することができる。音声を実際に出力しているのは、車内スピーカ３０２であるが、運転者３００は、あたかも音像２００から音声が聞こえるように感じる。なお、「音声」とは、広く「音」を指す概念であり、例えば、声音、効果音、音楽なども含まれる。
Next, the sound image generated by the sound
本明細書では、運転者３００から見た、音像２００の位置を「音像位置」という。音像位置は、上記の虚像位置と同様に、運転者３００の位置を基準にした音像２００の方向である「音像方向」と、運転者３００の位置から音像２００までの距離である「音像距離」とによって規定される。音像位置を定義するための基準点も、運転者３００の位置であることが好ましいが、運転者３００の位置とみなすことができる車両の特定位置であればよく、例えば、運転席やウィンドシールド３０１の特定の点を基準点、例えば運転者の耳の付近に対応する位置を基準点にしてもよい。また、車内スピーカ３０２の設置位置の設計のために想定した運転者の両耳の中心点に対応する車内空間の一点を基準点としてもよい。
In this specification, the position of the
音像方向は、例えば、図７のように３次元極座標系の偏角（θｓ，φｓ）で表される。音像距離は、実質的に、運転者３００から音像２００までの距離に相当し、例えば図７のように３次元極座標系の動径（ｒｓ）などで表される。運転者３００には、３次元極座標（ｒｓ，θｓ，φｓ）で表される音像位置から、音声が出力されているように聞こえる。
The sound image direction is represented by, for example, the deflection angles (θ s , φ s ) of the three-dimensional polar coordinate system as shown in FIG. Sound image distance is substantially equivalent to the distance from the
音像位置を３次元極座標で表すと音像距離（ｒｓ）の等しい面は球面となるが、以下の説明では、説明の便宜のため、図８のように音像距離の等しい面を平面として扱い、音像位置と虚像位置の定義を揃える（図８では、車両の進行方向をｙ軸とし、ｙ＝ｒｓの平面を音像距離ｒｓの生成面として規定している）。ただし、音像はウィンドシールド３０１上に生成されるものではないため、通常、音像方向に制限はなく、実際には、音像距離の等しい面を球面のまま扱うのが好ましいことが多い。
While Expressing sound image position in 3D polar coordinate equivalent plane of the sound image distance (r s) is the spherical handle, in the following description, for convenience of explanation, as a plane equal surface sound image distance as shown in FIG. 8, align the definition of the sound image position and the virtual image position (in FIG. 8, the traveling direction of the vehicle is y-axis defines a plane of y = r s as generating surface of the sound image distance r s). However, since the sound image is not generated on the
例えば、音像生成部３が、図８のように、音像距離が１０ｍの第１の音像２００ａと、音像距離が３０ｍの第２の音像２００ｂと、音像距離が５０ｍの第３の音像２００ｃとを生成して音声を出力すると、運転者には、それぞれの距離から音声が聞こえるように感じる。音像は視認できるものではないが、以下に示す各図では、図９のように、音像の位置を、ハッチングを施した円で示す。また、音像の音像距離を、山括弧（“＜…＞”）を用いて示すものとする（それらは虚像として表示されるものではない）。
For example, as shown in FIG. 8, the sound
図９では、音像距離の異なる複数の音像が同時に生成された例を示したが、音像生成部３は、音像の音像距離を変更可能なものであれば、同時に生成する複数の音像に対して１つの音像距離しか設定できないもの（同時に生成する音像の音像距離が全て同じになるもの）でもよい。また、音像生成部３は、音像の音像距離を１０ｍ、３０ｍ、５０ｍのように段階的にしか変更できないものでもよいし、連続的に変更できるものでもよい。
FIG. 9 shows an example in which a plurality of sound images having different sound image distances are generated at the same time. However, if the sound
図１に戻り、表示制御装置１には、自車両に搭載されたナビゲーション装置４、車載機器５および注意対象検知装置６が接続されている。ただし、表示制御装置１には、ナビゲーション装置４、車載機器５および注意対象検知装置６の全てが接続されている必要はなく、それらの少なくとも１つが接続されていればよい。また、ナビゲーション装置４、車載機器５および注意対象検知装置６の少なくとも１つが、表示制御装置１に内蔵されていてもよい。
Returning to FIG. 1, the display control device 1 is connected with a
ナビゲーション装置４は、自車両の現在位置から目的地までの最適な経路を検索し、それを走行予定経路として定め、自車両が走行予定経路に沿って走行するように、運転者に対して経路案内を行う。ナビゲーション装置４が行う経路案内は、自車両が走行経路上の分岐点や交差点などに近づいたときに、自車両の進行方向などを運転者に指示することによって行われる。ナビゲーション装置４が経路案内を行う地点を「案内地点」といい、経路案内の内容を示す情報（進行方向の指示など）を「案内情報」という。なお、案内地点は、分岐点や交差点のほか、合流地点（高速道路の出入り口等）や車線変更地点などの場合もある。
The
車載機器５は、自車両の走行速度や、バッテリー残量、燃料の残量などを検出する各種のセンサを含んでおり、例えば、スピードオーバーやバッテリーの充電不足（バッテリー不足）、燃料不足などの警告情報を出力する。
The in-
注意対象検知装置６は、自車両の周囲の歩行者や自転車などの注意対象（車両の運転者に注意喚起すべき対象）を検知するものである。注意対象検知装置６が検知する注意対象の例としては、自車両周辺の移動体（車両、バイク、自転車、歩行者など）、障害物（落下物、ガードレール、段差など）、特定の地点（交差点、事故多発地点など）、特定の地物（ランドマークなど）が挙げられる。これらのうち、自車両周辺の移動体や障害物は、自車両のミリ波レーダー、ＤＳＲＣ（Dedicate Short Range Communication）ユニット、カメラ（例えば赤外線カメラ）などを用いて検知することができる。また、特定の地点や地物は、それらの位置情報を含む地図情報と、自車両の位置情報とに基づいて検知することができる。
The attention
図１に示すように、表示制御装置１は、情報取得部１１、表示オブジェクト記憶部１２、表示制御部１３、音声データ記憶部１４および音像制御部１５を備えている。
As shown in FIG. 1, the display control device 1 includes an
情報取得部１１は、ナビゲーション装置４、車載機器５および注意対象検知装置６から、車両の運転者に通知すべき情報（以下、「通知情報」という）を取得する。ナビゲーション装置４から取得する通知情報は、自車両の前方の案内地点における経路案内の内容を示す案内情報などである。また、車載機器５から取得する通知情報は、バッテリー不足、燃料不足、スピードオーバーなどの警告情報などである。注意対象検知装置６から取得する通知情報は、注意対象の位置情報や、その注意対象の種別情報などである。
The
また、情報取得部１１は、ナビゲーション装置４から取得した案内地点の自車両に対する相対位置や、注意対象検知装置６から取得した注意対象の自車両に対する相対位置を取得する、相対位置取得部１１ａを含んでいる。案内地点と自車両との相対位置は、地図情報に含まれる案内地点の位置情報と、自車両の位置情報とから算出できる。また、注意対象としての移動体や障害物の相対位置は、自車両のミリ波レーダーの出力データ、ＤＳＲＣユニットの出力データ、または、カメラで撮影した映像の解析結果から求めることができる。
In addition, the
本実施の形態では、ナビゲーション装置４は、案内地点の相対位置を算出しており、相対位置取得部１１ａがその算出結果を取得するものとする。また、注意対象検知装置６は、検知した注意対象の相対位置を算出しており、相対位置取得部１１ａはその算出結果を取得するものとする。あるいは、情報取得部１１が、ナビゲーション装置４および注意対象検知装置６から取得した情報から、案内地点および注意対象の相対位置を算出してもよい。
In the present embodiment, the
表示オブジェクト記憶部１２は、運転者に通知情報を通知するための複数の表示オブジェクトの画像データを予め記憶している。表示オブジェクト記憶部１２に記憶されている表示オブジェクトには、例えば、案内情報の内容を示す画像（例えば、右折や左折を表す矢印の図形など）、警告情報の内容を示す画像（例えば、警告マークの図形など）、注意対象の位置を示す画像（例えば、注意対象を囲む警告枠の図形）などが含まれる。
The display
表示制御部１３は、虚像表示部２による虚像の表示を制御する。例えば、表示制御部１３は、表示オブジェクト記憶部１２に記憶されている表示オブジェクトを、虚像表示部２を用いて運転者３００の視野に表示させることができる。また、表示制御部１３は、虚像表示部２が表示する表示オブジェクトの虚像位置（虚像方向および虚像距離）を制御することができる。なお、表示制御部１３は、表示オブジェクト記憶部１２に格納されていない表示オブジェクトを生成する機能や、表示オブジェクトを変形する機能を有していてもよい。
The
音声データ記憶部１４は、運転者に通知情報を通知するための複数の音声データを予め記憶している。音声データ記憶部１４に記憶されている音声データには、例えば、案内情報の内容を示す音声（例えば、「右折です」「左折です」など）のデータ、車載機器５の異常等を示すための音声（例えば、警告音や、「バッテリー不足です」などの音声メッセージ）のデータ、注意対象の存在を知らせる音声（例えば、警告音や「注意してください」などの音声メッセージ）のデータなどが含まれる。その他、音声データ記憶部１４には、表示オブジェクトの出現や移動（虚像位置の変化）を表す効果音なども記憶されている。
The voice
音像制御部１５は、音像生成部３による音像の生成（音声の出力）を制御する。例えば、音像制御部１５は、音声データ記憶部１４に記憶されている音声データを、音像生成部３を用いて出力することができる。また、音像制御部１５は、音像生成部３が出力する音声の音像位置（音像方向および音像距離）を制御することができる。なお、音像制御部１５は、音声データ記憶部１４に格納されていない音声データを生成する機能や、音声データを編集（音質の変更など）する機能を有していてもよい。
The sound
次に、表示制御装置１の動作を説明する。図１０はその動作を示すフローチャートである。 Next, the operation of the display control device 1 will be described. FIG. 10 is a flowchart showing the operation.
ナビゲーション装置４、車載機器５または注意対象検知装置６から、通知情報が出力されると、表示制御装置１の情報取得部１１は、その通知情報を取得する（ステップＳ１）。情報取得部１１が通知情報を取得すると、表示制御部１３は、当該通知情報を運転者に通知するための表示オブジェクトの画像データを表示オブジェクト記憶部１２から取得し、虚像表示部２を用いて当該表示オブジェクトを運転者の視野に表示する（ステップＳ２）。このとき、表示制御部１３は、表示オブジェクトの虚像位置を決定するが、虚像位置は通知情報の内容によって異なる（具体例は後述する）。
When the notification information is output from the
次に、音像制御部１５は、ステップＳ２で表示制御部１３が表示した表示オブジェクトの虚像位置に基づいて、それに対応する音声を出力するための音像位置を決定する（ステップＳ３）。音像位置が決定すると、音像制御部１５は、音像生成部３を用いて、その音像位置に音像を生成して、音声が出力する（ステップＳ４）。表示制御装置１は、以上のステップＳ１〜Ｓ４の動作を繰り返し実行する。
Next, the sound
例えば、ステップＳ１において、情報取得部１１が、ナビゲーション装置４から通知情報として案内情報を取得した場合を想定する。この場合、ステップＳ２では、表示制御部１３が、案内情報の内容を示す表示オブジェクト（以下「案内表示オブジェクト」という）を運転者の視野に表示する。案内情報の内容が「３０ｍ先を右折」であった場合、表示制御部１３は、図１１のように、右折を表す矢印の案内表示オブジェクト１０１を表示させる。案内表示オブジェクト１０１の虚像位置は任意の位置でよいが、本実施の形態の表示制御部１３は、案内表示オブジェクト１０１の虚像方向を、運転者から見て案内地点（右折する交差点）のやや上方に設定し、案内表示オブジェクト１０１の虚像距離を、自車両から案内地点までの距離（３０ｍ）と略等しく設定するものとする。
For example, it is assumed that the
また、ステップＳ３では、音像制御部１５が、音像２０１の音像位置を、案内表示オブジェクト１０１の虚像位置と同じ位置に設定する。すなわち、音像２０１の音像方向は、運転者から見て案内地点（右折する交差点）のやや上方に設定され、虚像距離は、自車両から案内地点までの距離（３０ｍ）と略等しく設定される。そして、ステップＳ４では、音像制御部１５が、案内情報の内容を示す音声として、「右折です」という音声を音像２０１から出力させる。運転者には、その音声が３０ｍ前方の音像２０１から聞こえるように感じる。
In step S <b> 3, the sound
このように、音像２０１の音像位置を、案内表示オブジェクト１０１の虚像位置に対応させることによって、運転者は、視覚だけでなく聴覚でも案内表示オブジェクト１０１の虚像位置を認識できる。よって、案内表示オブジェクト１０１の虚像位置を認識し易くなるという効果が得られる。
Thus, by making the sound image position of the
なお、図１１では、案内表示オブジェクト１０１の虚像位置と、それに対応する音声を出力する音像２０１の音像位置とを一致させた例を示したが、両者は完全に一致しなくてもよく、音像２０１の音像位置が、案内表示オブジェクト１０１の虚像位置を基準にして予め定められた範囲内に設定されればよい。例えば、案内表示オブジェクト１０１の虚像位置が、３次元極座標で（ｒｉ，θｉ，φｉ）と表されるとき、音像２０１の音像位置の座標（ｒｓ，θｓ，φｓ）が、
（３／２）ｘｉ＞ｒｓ≧（２／３）ｘｉ …式（１）
（５／４）θｉ＞θｓ≧（４／５）θｉ …式（２）
（５／４）φｉ＞φｓ≧（４／５）φｉ …式（３）
の条件を満たすように、音像位置の座標（ｒｓ，θｓ，φｓ）が設定されればよい。式（１）〜（３）の条件は一例に過ぎず、例えば、自車両の速度などの条件によって係数が変更されてもよい。
FIG. 11 shows an example in which the virtual image position of the
(3/2) x i > r s ≧ (2/3) x i (1)
(5/4) θ i > θ s ≧ (4/5) θ i (2)
(5/4) φ i > φ s ≧ (4/5) φ i (3)
The coordinates (r s , θ s , φ s ) of the sound image position may be set so as to satisfy the following condition. The conditions of the expressions (1) to (3) are merely examples, and the coefficient may be changed depending on conditions such as the speed of the host vehicle.
また、例えば図１２のように、音像２０１の音像距離を案内表示オブジェクト１０１の虚像距離に対応させる処理は行わずに、音像２０１の音像方向と案内表示オブジェクト１０１の虚像方向との差が予め定められた値以下になるように、音像２０１の音像方向のみを制御してもよい。例えば、上記の式（２）および式（３）のみが満たされるように、音像２０１の音像位置（座標）を決定してもよい。図１２においては、案内表示オブジェクト１０１の虚像距離は３０ｍであるが、音像２０１の音像距離は１０ｍに固定させており、音像２０１の音像方向のみを案内表示オブジェクト１０１の虚像方向（案内地点のやや上方）に一致させている。
For example, as shown in FIG. 12, the difference between the sound image direction of the
逆に、例えば図１３のように、音像２０１の音像方向を案内表示オブジェクト１０１の虚像方向に対応させる処理は行わずに、音像２０１の音像距離と案内表示オブジェクト１０１の虚像距離との差が予め定められた値以下になるように、音像２０１の音像距離のみを制御してもよい。例えば、上記の式（１）のみが満たされるように、音像２０１の音像位置（座標）を決定してもよい。図１３においては、案内表示オブジェクト１０１の虚像方向は案内地点のやや上方であるが、音像２０１の音像方向は運転者の正面に固定させており、音像２０１の音像距離のみを案内表示オブジェクト１０１の虚像距離（３０ｍ）に一致させている。
On the contrary, as shown in FIG. 13, for example, the process of making the sound image direction of the
１つの案内地点について、案内情報の音声を複数回出力する場合には、その都度、案内表示オブジェクト１０１の虚像位置に合わせて、音像２０１の音像位置を変化させるとよい。また、自車両から案内地点までの距離に応じて音声の内容を変更させてもよい。例えば、自車両から案内地点までの距離が５０ｍの時点では、図１４（ａ）のように、案内表示オブジェクト１０１の虚像距離および音像２０１の音像距離を共に５０ｍに設定し、「５０ｍ先を右折です」という音声を出力する。その後、自車両から案内地点までの距離が３０ｍになると、図１４（ｂ）のように、案内表示オブジェクト１０１の虚像距離および音像２０１の音像距離を共に３０ｍに変更し、「まもなく右折です」という音声を出力する。さらに、自車両から案内地点までの距離が１０ｍになると、図１４（ｃ）のように、案内表示オブジェクト１０１の虚像距離および音像２０１の音像距離を共に１０ｍに変更し、「右折です」という音声を出力する。運転者は、音像２０１の音像距離の変化によって、案内表示オブジェクト１０１の虚像距離の変化を認識できる。また、それによって、運転者は案内地点（右折地点）までの距離を把握しやすくなる。
When outputting the guidance information sound a plurality of times for one guidance point, the sound image position of the
図１４においては、案内表示オブジェクト１０１の虚像距離および音像２０１の音像距離の変化の様子を３枚の図を用いて表したが、本明細書では、図１５のように、時間に対する虚像距離および音像距離の変化を示すグラフとして表すこともある。
In FIG. 14, changes in the virtual image distance of the
図１６〜図１８に、案内表示オブジェクト１０１の虚像距離の変化の例を示す。案内表示オブジェクト１０１の虚像距離は、図１６のように離散的な値をとるように不連続的に切り替わってもよいし、図１７のように連続的に変化してもよいし、図１８のように段階的に変化してもよい。
16 to 18 show examples of changes in the virtual image distance of the
連続的な虚像距離の変化と不連続な（段階的な）虚像距離の変化を組み合わせてもよい。例えば、虚像距離が０ｍから３０ｍまでの範囲では、表示オブジェクトの虚像距離が連続的に変化し、虚像距離が３０ｍから５０ｍまでの範囲では、例えば３５ｍ、４０ｍ、４５ｍ、５０ｍのように、表示オブジェクトの虚像距離が不連続に変化するようにしてもよい。 A continuous virtual image distance change and a discontinuous (stepwise) virtual image distance change may be combined. For example, when the virtual image distance is in the range from 0 m to 30 m, the virtual image distance of the display object continuously changes, and in the range from 30 m to 50 m, the display object is, for example, 35 m, 40 m, 45 m, and 50 m. The virtual image distance may be changed discontinuously.
人間の眼では、遠方になるほど距離の差や変化の認知精度が落ちるので、表示オブジェクトの虚像距離が長くなるほど、その虚像距離の変化速度が大きくなるようにしてもよい。また、表示オブジェクトの虚像距離を不連続に変化させる場合は、同様の理由から、虚像距離が長くなるほど、虚像距離の変化量が大きくなるようにしてもよい。例えば、虚像距離が０ｍから１０ｍまでの範囲では、表示オブジェクトの虚像距離が１ｍ刻みで変化し、虚像距離が１０ｍから３０ｍまでの範囲では、表示オブジェクトの虚像距離が２ｍ刻みで変化し、虚像距離が３０ｍから５０ｍまでの範囲では、表示オブジェクトの虚像距離が５ｍ刻みで変化するようにしてもよい。 In the human eye, the distance difference and change recognition accuracy decreases with increasing distance, so the change speed of the virtual image distance may increase as the virtual image distance of the display object increases. When the virtual image distance of the display object is discontinuously changed, for the same reason, the change amount of the virtual image distance may be increased as the virtual image distance is increased. For example, when the virtual image distance ranges from 0 m to 10 m, the virtual image distance of the display object changes in increments of 1 m, and when the virtual image distance ranges from 10 m to 30 m, the virtual image distance of the display object changes in increments of 2 m. In the range from 30 m to 50 m, the virtual image distance of the display object may change in increments of 5 m.
次に、例えば、図１０のステップＳ１において、情報取得部１１が、車載機器５から通知情報としてバッテリー不足や燃料不足などの警告情報を取得した場合を想定する。この場合、ステップＳ２では、表示制御部１３が、警告情報を表す表示オブジェクト（以下「警告表示オブジェクト」）を運転者の視野に表示する。案内表示オブジェクトの虚像位置は任意の位置でよいが、本実施の形態では、図１９のように、警告表示オブジェクト１０２の虚像方向をウィンドシールド３０１の右端上部に固定し、また、その虚像距離も１０ｍに固定するものとする。
Next, for example, it is assumed that the
また、ステップＳ３では、音像制御部１５が、音像２０２の音像位置を、警告表示オブジェクト１０２の虚像位置と同じ位置に設定する。ただし、警告表示オブジェクト１０２の虚像位置と音声の音像位置とは完全に一致しなくてもよい。そして、ステップＳ４では、音像制御部１５が、警告情報を示す音声として、警告表示オブジェクト１０２の出現を表す効果音を音像２０１から出力させる。
In step S <b> 3, the sound
例えば、車載機器５がバッテリー不足の警告情報を出力した場合、表示制御部１３は、図１９のように、ウィンドシールド３０１の右端上部の虚像距離１０ｍの位置に、バッテリー不足を示す警告表示オブジェクト１０２を出現させる。このとき、音像制御部１５は、音像２０２の音像位置を、警告表示オブジェクト１０２の虚像位置に一致させて、警告表示オブジェクト１０２の出現を表す音声（例えば「ポン」という効果音）を出力する。
For example, when the in-
また、車載機器５が燃料不足の警告情報を出力した場合、表示制御部１３は、図２０のように、ウィンドシールド３０１の右端上部の虚像距離１０ｍの位置に、燃料不足を示す警告表示オブジェクト１０３を出現させる。このとき、音像制御部１５は、音像２０３の音像位置を、警告表示オブジェクト１０３の虚像位置と一致させて、警告表示オブジェクト１０３の出現を表す音声（例えば「ポン」という効果音）を出力する。
When the in-
図１９および図２０では、警告表示オブジェクト１０２の虚像位置と警告表示オブジェクト１０３の虚像位置が同じになっているが、両者が互いに異なっていてもよい。また、警告表示オブジェクト１０２の出現を表す音声と、警告表示オブジェクト１０３の出現を表す音声とを、互いに異なるものにしてもよい。例えば、警告表示オブジェクト１０２を出現させるときは「バッテリー不足です」という音声メッセージを出力し、警告表示オブジェクト１０３を出現させるときは「燃料不足です」という音声メッセージを出力してもよい。
19 and 20, the virtual image position of the
また、警告表示オブジェクト１０２（または１０３）の出現を表す音声として、効果音を出力する場合、音像２０２（または２０３）の音像位置を振動させてもよい。例えば、図２１および図２２のように、音像２０２の音像距離を振動させてもよいし、図２３のように音像２０２の音像方向を振動させてもよい。音像２０２の音像位置を振動させるとき、その音像位置の変化の仕方や振動の周期は任意でよい。図２１は、音像２０２の音像距離の振動の周期が一定である例、図２２は、音像２０２の音像距離の振動の周期が時間と共に長くなる例、図２３は、音像２０２の音像方向が警告表示オブジェクト１０２を中心に回転する例を、それぞれ示している。また、図２４は、音像２０２の音像方向が回転する場合に、その回転半径が時間と共に小さくなる例である。この場合、音像方向の動きは螺旋状になる。また、音像２０２から出力させる音声の音程や強さを振動させてもよい。
Further, when a sound effect is output as a sound representing the appearance of the warning display object 102 (or 103), the sound image position of the sound image 202 (or 203) may be vibrated. For example, the sound image distance of the
さらに、音像２０２の音像位置を、予め定められた開始位置から警告表示オブジェクト１０２の虚像位置へ近づけながら、効果音を出力してもよい。例えば、図２５のように、音像２０２の移動の開始位置を運転者から３ｍの位置にし、その開始位置から警告表示オブジェクト１０２の虚像位置へと音像２０２を移動させながら、例えば「キーン」などの効果音を出力してもよい。また、図２６のように、音像２０２の移動の開始位置をウィンドシールド３０１の中央部の位置にし、その開始位置から警告表示オブジェクト１０２の虚像位置へと音像２０２を移動させながら、効果音を出力してもよい。また、音像２０２から出力させる音声の音程や強さを、音像位置の移動に合わせて変化させてもよい。
Furthermore, the sound effect may be output while the sound image position of the
上記の図１９および図２０では、情報取得部１１が警告情報を取得したときに初めて警告表示オブジェクト１０２または１０３が表示される例を示したが、それらを常時表示させておき、実際に警告情報が出力されたときに、警告表示オブジェクト１０２または１０３の虚像距離を短くしてもよい。すなわち、通常状態（車載機器５が警告情報を出力していない状態）では、表示制御部１３は、図２７（ａ）のように警告表示オブジェクト１０２および１０３を虚像距離３０ｍで表示させておき、例えば、車載機器５がバッテリー不足の警告情報を出力したときは、表示制御部１３が、図２７（ｂ）のようにバッテリー不足を示す警告表示オブジェクト１０２の虚像距離を１０ｍに変化させ、車載機器５が燃料不足の警告情報を出力すれば、図２７（ｃ）のように燃料不足を示す警告表示オブジェクト１０３の虚像距離を１０ｍに変化させてもよい。
19 and 20 show an example in which the
この場合、警告表示オブジェクト１０２または１０３の虚像距離を３０ｍから１０ｍに変化させたときに、その変化を表す効果音などを出力するとよい。図２７おいては、警告表示オブジェクト１０２の虚像距離が１０ｍに変化させたときは「バッテリー不足です」という音声メッセージが出力され（図２７（ｂ））、警告表示オブジェクト１０３の虚像距離が１０ｍに変化するときは「燃料不足です」という音声メッセージを出力させる（図２７（ｃ））例を示している。
In this case, when the virtual image distance of the
また、警告表示オブジェクト１０２（または１０３）の虚像距離の変化を示す効果音を出力する際、音像２０２（または２０３）の音像位置を、通常状態における警告表示オブジェクト１０２の虚像位置から、虚像距離が変更した後の虚像位置へ近づけながら、効果音を出力してもよい。すなわち、図２８のように、音像２０２を音像距離が３０ｍの位置から１０ｍの位置へと移動させながら、例えば「キーン」などの効果音を出力してもよい。また、図２９のように、音像２０２の虚像距離の変化の仕方は曲線的でもよい。さらに、図３０のように、警告表示オブジェクト１０２の虚像距離を変化させる直前と直後に効果音を出力してもよい。
Further, when outputting a sound effect indicating a change in the virtual image distance of the warning display object 102 (or 103), the sound image position of the sound image 202 (or 203) is changed from the virtual image position of the
図３１〜図３５には、警告表示オブジェクト１０２（または１０３）の虚像距離の変化の例を示している。警告表示オブジェクト１０２の虚像距離は、図３１または図３２のように離散的な値をとるように不連続的に切り替わってもよいし、図３３または図３４のように連続的に変化してもよい。図３３は、警告表示オブジェクト１０２の虚像距離が直線的に変化する例、図３４は曲線的に変化する例である。また、図３５のように、虚像距離を振動させながら変化させてもよい。
31 to 35 show examples of changes in the virtual image distance of the warning display object 102 (or 103). The virtual image distance of the
次に、例えば、図１０のステップＳ１において、情報取得部１１が、注意対象検知装置６から通知情報として注意対象の位置情報を取得した場合を想定する。この場合、ステップＳ２では、表示制御部１３が、注意対象の存在を示す表示オブジェクト（以下「注意対象表示オブジェクト」という）を、運転者の視野に表示させる。本実施の形態では、図３６のように、注意対象表示オブジェクト１０４の虚像方向は、運転者から注意対象９０（障害物）が見える方向に設定され、虚像距離は車両から注意対象９０までの距離に設定されるものとする。
Next, for example, it is assumed that the
また、ステップＳ３では、音像制御部１５が、音像２０４の音像位置を、警告表示オブジェクト１０２の虚像位置と同じ位置に設定する。注意対象表示オブジェクト１０４の虚像位置と音像２０４の音像位置とは完全に一致しなくてもよい。そして、ステップＳ４では、音像制御部１５が、注意対象の存在を示す音声を、音像２０１から出力させる。運転者には、その音声が注意対象の位置から聞こえるように感じる。
In step S <b> 3, the sound
例えば、車載機器５によって自車両の５０ｍ先に注意対象９０が検出されると、図３６（ａ）のように、注意対象表示オブジェクト１０４の虚像距離および音像２０４の音像距離を共に５０ｍに設定し、注意対象表示オブジェクト１０４の出現を表す例えば「ポン」などの効果音を出力する。その後、自車両から注意対象９０までの距離が３０ｍになると、図３６（ｂ）のように、注意対象表示オブジェクト１０４の虚像距離および音像２０４の音像距離を共に３０ｍに変更した上で、例えば「ピピピピ・・・」などの警告音を出力する。さらに、自車両から注意対象９０までの距離が１０ｍになると、図３６（ｃ）のように、注意対象表示オブジェクト１０４の虚像距離および音像２０４の音像距離を共に１０ｍに設定した上で、例えば「前方注意！」などの音声メッセージを出力する。運転者は、音像２０４の音像距離の変化から、注意対象表示オブジェクト１０４の虚像距離の変化を認識できる。また音像２０４から出力される音声を変化することで、運転者に注意対象９０の要注意度（緊急度）を認識させることもできる。なお、図３７は、図３６の例における注意対象表示オブジェクト１０４の虚像距離および音像２０４の音像距離の変化をグラフで示したものである。
For example, if the
また、注意対象検知装置６が注意対象９０の種別（例えば、車両、バイク、自転車、歩行者、落下物など）まで判断できる場合、その判断結果に応じて音像２０４から出力する音声を変えてもよい。あるいは、注意対象９０の種別から、当該注意対象９０の重要度（例えば、自車両が接触したときの被害の大きさなど）を判断し、その重要度に応じて音像２０４から出力する音声を変えてもよい。
Further, when the attention
注意対象表示オブジェクト１０４の虚像位置と音像２０４の音像位置とは完全に一致しなくてもよい。例えば、音像２０４の音像位置を、注意対象９０の自車両に対する相対位置に基づいて制御し、注意対象表示オブジェクト１０４の虚像距離は一定に維持してもよい。
The virtual image position of the attention
図３８は、音像２０４の音像位置を、注意対象９０の自車両に対する相対位置に基づいて制御した場合の、注意対象表示オブジェクト１０４および音像２０４の位置変化の例である。注意対象表示オブジェクト１０４の虚像方向は、注意対象９０の位置に合わせるが、虚像距離は１０ｍに固定している。
FIG. 38 is an example of the positional change of the attention
この場合、自車両から５０ｍ先に注意対象９０が検出されると、図３８（ａ）のように、表示制御部１３は、注意対象表示オブジェクト１０４の虚像距離は１０ｍに設定するが、音像制御部１５は、音像２０４の音像距離は５０ｍに設定し、注意対象表示オブジェクト１０４の出現を表す例えば「ポン」などの効果音を音像２０４から出力する。その後、自車両から注意対象９０までの距離が３０ｍになると、図３８（ｂ）のように、音像制御部１５は、音像２０４の音像距離を３０ｍに変更して、例えば「ピピピピ・・・」などの警告音を音像２０４から出力する。そして、自車両から注意対象９０までの距離が１０ｍになると、図３８（ｃ）のように、音像制御部１５は、音像２０４の音像距離を１０ｍにして、例えば「前方注意！」などの音声メッセージを音像２０４から出力する。図３８の例では、注意対象表示オブジェクト１０４の虚像距離は変化しないが、運転者は、注意対象９０の目視と、音像２０４の音像距離の変化によって、自車から注意対象９０までの距離を認識できる。なお、図３９は、図３８の例における注意対象表示オブジェクト１０４の虚像距離および音像２０４の音像距離の変化をグラフで示したものである。
In this case, when the
図３８および図３９の例においても、図２１〜図２４で説明したように音像位置を振動させてもよい（この場合、注意対象９０の位置を基準に音像位置を振動させるとよい）。また、音像２０４の音像位置を予め定められた開始位置から注意対象９０の位置へ移動させながら、音声を出力してもよいし、さらにその音像位置の移動に合わせて音声を変化させてもよい。
Also in the example of FIGS. 38 and 39, the sound image position may be vibrated as described in FIGS. 21 to 24 (in this case, the sound image position may be vibrated based on the position of the attention object 90). Further, the sound may be output while moving the sound image position of the
また例えば、車載機器５から警告情報が出力されていない通常状態で、図４０（ａ）のように警告表示オブジェクト１０２および１０３が虚像距離３０ｍの位置に表示される表示制御装置１において、注意対象検知装置６により注意対象９０が検出されると、図４０（ｂ）のように、新たに注意対象表示オブジェクト１０４が虚像距離５０ｍの位置に表示される。この場合、音像制御部１５が、音像２０４の音像距離を３０ｍから５０ｍに変化させながら、注意対象表示オブジェクト１０４の出現を表す音声を出力してもよい。なお、図４１は、図４０の例における注意対象表示オブジェクト１０４の虚像距離および音像２０４の音像距離の変化をグラフで示したものである。
In addition, for example, in the display control device 1 in which the warning display objects 102 and 103 are displayed at a virtual image distance of 30 m as illustrated in FIG. 40A in a normal state where warning information is not output from the in-
＜実施の形態２＞
図４２は、実施の形態２に係る表示制御装置１の構成を示すブロック図である。実施の形態２に係る表示制御装置１には、運転者の注視点の位置を推定する注視点推定部７が接続されている。注視点推定部７が運転者の注視点の位置を推定する方法は任意の方法でよいが、例えば車内カメラで撮影した運転者の瞳孔画像を解析して、運転者の注視点の位置を推定する方法が考えられる。
<
FIG. 42 is a block diagram illustrating a configuration of the display control apparatus 1 according to the second embodiment. The display control apparatus 1 according to the second embodiment is connected to a gaze
先に示した図２５および図２６の例では、音像２０２を予め定められた開始位置から警告表示オブジェクト１０２の虚像位置へ近づけながら、音声を出力する例を示した。実施の形態２の動作もこれとほぼ同じであるが、音像制御部１５は、音像２０２の移動の開始位置を、運転者の注視点の位置に設定する。例えば図４３および図４４に示すように、表示制御部１３が、ウィンドシールド３０１の右上上部の虚像距離１０ｍの位置に警告表示オブジェクト１０２を表示するとき、注視点推定部７によって、運転者の注視点がウィンドシールド３０１中央の前方３０ｍの位置と推定された場合、音像制御部１５は、その注視点の位置を、音像２０２の動きの開始位置として設定する。そして、音像制御部１５は、音像２０２を当該開始位置から警告表示オブジェクト１０２の虚像位置へ近づけながら、警告表示オブジェクト１０２の出現を表す「キーン」などの効果音を出力する。
In the example shown in FIG. 25 and FIG. 26 described above, an example is shown in which sound is output while the
運転者の注視点が、音像２０２の移動の開始位置になることで、音像２０２（効果音の音源）の動きによって運転者の意識を注視点から警告表示オブジェクト１０２の虚像位置へ誘導することができる。
When the driver's gazing point becomes the start position of the movement of the
＜表示制御装置のハードウェア構成例＞
図４５および図４６は、それぞれ表示制御装置１のハードウェア構成の一例を示す図である。表示制御装置１における情報取得部１１、表示オブジェクト記憶部１２、表示制御部１３、音声データ記憶部１４、音像制御部１５および表示制御装置１６は、例えば図４５に示す処理回路４０により実現される。すなわち、処理回路４０は、虚像表示部２を用いて表示オブジェクトを表示する表示制御部１３と、音像生成部３を用いて表示オブジェクトに対応する音声を出力する際、当該表示オブジェクトの虚像位置または当該表示オブジェクトが示す注意対象の相対位置に基づいて音像位置を制御する音像制御部１５と、を備える。処理回路４０には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、Digital Signal Processor）が適用されてもよい。
<Example of hardware configuration of display control device>
45 and 46 are diagrams each illustrating an example of a hardware configuration of the display control device 1. The
処理回路４０が専用のハードウェアである場合、処理回路４０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものが該当する。情報取得部１１、表示オブジェクト記憶部１２、表示制御部１３、音声データ記憶部１４、音像制御部１５および表示制御装置１６の各部の機能それぞれは、複数の処理回路４０で実現されてもよいし、各部の機能をまとめて一つの処理回路４０で実現されてもよい。
When the
図４６は、処理回路４０がプロセッサである場合における表示制御装置１のハードウェア構成を示している。この場合、情報取得部１１、表示オブジェクト記憶部１２、表示制御部１３、音声データ記憶部１４、音像制御部１５および表示制御装置１６の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ４２に格納される。処理回路４０としてのプロセッサ４１は、メモリ４２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置１は、処理回路４０により実行されるときに、虚像表示部２を用いて表示オブジェクトを表示するステップと、音像生成部３を用いて表示オブジェクトに対応する音声を出力する際、当該表示オブジェクトの虚像位置または当該表示オブジェクトが示す注意対象の相対位置に基づいて音像位置を制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ４２を備える。換言すれば、このプログラムは、情報取得部１１、表示オブジェクト記憶部１２、表示制御部１３、音声データ記憶部１４、音像制御部１５および表示制御装置１６の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ４２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等が該当する。
FIG. 46 shows a hardware configuration of the display control apparatus 1 when the
以上、情報取得部１１、表示オブジェクト記憶部１２、表示制御部１３、音声データ記憶部１４、音像制御部１５および表示制御装置１６の各機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、情報取得部１１、表示オブジェクト記憶部１２、表示制御部１３、音声データ記憶部１４、音像制御部１５および表示制御装置１６の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、表示制御部１３および音像制御部１５については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ４１としての処理回路４０がメモリ４２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
As described above, each function of the
以上のように、処理回路４０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。なお、表示オブジェクト記憶部１２および音声データ記憶部１４は、メモリ４２から構成されるが、それらは一つのメモリ４２から構成されてもよいし、それぞれは個別のメモリ４２から構成されてもよい。
As described above, the
また、以上で説明した表示制御装置は、車両に搭載可能な備え付けられたナビゲーション装置、Portable Navigation Device、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築される表示制御システムに適用することができる。この場合、以上で説明した表示制御装置の各機能あるいは各構成要素は、上記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。 The display control device described above includes an installed navigation device that can be mounted on a vehicle, a portable navigation device, a communication terminal (for example, a mobile terminal such as a mobile phone, a smartphone, and a tablet), and an application that is installed on these devices. It is possible to apply to a display control system constructed as a system by appropriately combining these functions and a server. In this case, each function or each component of the display control device described above may be distributed and arranged in each device constituting the system, or may be concentrated on any device. .
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。 It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.
１ 表示制御装置、２ 虚像表示部、３ 音像生成部、４ ナビゲーション装置、５ 車載機器、６ 注意対象検知装置、７ 注視点推定部、１１ 情報取得部、１１ａ 相対位置取得部、１２ 表示オブジェクト記憶部、１３ 表示制御部、１４ 音声データ記憶部、１５ 音像制御部、４０ 処理回路、４１ プロセッサ、４２ メモリ、９０ 注意対象、１００ 表示オブジェクト、１０１ 案内表示オブジェクト、１０２，１０３ 警告表示オブジェクト、１０４ 注意対象表示オブジェクト、２００〜２０４ 音像、３００ 運転者、３０１ ウィンドシールド、３０２ 車内スピーカ。 DESCRIPTION OF SYMBOLS 1 Display control apparatus, 2 Virtual image display part, 3 Sound image generation part, 4 Navigation apparatus, 5 Car equipment, 6 Attention object detection apparatus, 7 Gaze point estimation part, 11 Information acquisition part, 11a Relative position acquisition part, 12 Display object memory | storage , 13 Display control unit, 14 Audio data storage unit, 15 Sound image control unit, 40 Processing circuit, 41 Processor, 42 Memory, 90 Caution target, 100 Display object, 101 Guidance display object, 102, 103 Warning display object, 104 Caution Target display object, 200-204 sound image, 300 driver, 301 windshield, 302 car speaker.
Claims (23)
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記表示制御装置は、
前記虚像表示部を用いて表示オブジェクトを表示する表示制御部と、
前記音像生成部を用いて音声を出力する音像制御部と、
を備え、
前記音像制御部は、前記表示制御部が表示した表示オブジェクトに対応する音声を出力する際、当該音声の音像位置を、当該表示オブジェクトの虚像位置に基づいて制御する
ことを特徴とする表示制御装置。 A display control device that controls a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The display control device includes:
A display control unit for displaying a display object using the virtual image display unit;
A sound image control unit that outputs sound using the sound image generation unit;
With
When the sound image control unit outputs sound corresponding to the display object displayed by the display control unit, the sound image control unit controls the sound image position of the sound based on the virtual image position of the display object. .
請求項１に記載の表示制御装置。 The sound image control unit sets the sound image direction of the sound so that a difference between a virtual image direction of the display object and a sound image direction of the sound corresponding to the display object is equal to or less than a predetermined value. The display control apparatus described.
請求項１または請求項２に記載の表示制御装置。 The sound image control unit sets the sound image distance of the sound corresponding to the display object so that the difference between the virtual image distance of the display object and the sound image distance of the sound corresponding to the display object is equal to or less than a predetermined value. The display control apparatus according to claim 1 or 2.
請求項１に記載の表示制御装置。 The sound image control unit sets the sound image position of the sound so that the sound image position of the sound corresponding to the display object falls within a predetermined range with reference to the virtual image position of the display object. The display control apparatus according to 1.
請求項１から請求項４のいずれか一項に記載の表示制御装置。 The display control device according to any one of claims 1 to 4, wherein the sound image control unit outputs a sound representing the appearance of the display object when the display control unit newly displays the display object. .
請求項１に記載の表示制御装置。 The display control device according to claim 1, wherein the sound image control unit outputs a sound representing a change in a virtual image position of the display object when the display control unit changes a virtual image position of the display object.
請求項６に記載の表示制御装置。 The display control device according to claim 6, wherein the sound image control unit outputs a sound representing a change in the virtual image position of the display object while moving the sound image position in accordance with a change in the virtual image position of the display object.
請求項７に記載の表示制御装置。 The display control device according to claim 7, wherein the sound image control unit changes a sound representing a change in a virtual image position of the display object in accordance with the movement of the sound image position.
請求項１に記載の表示制御装置。 The sound image control unit, when outputting sound corresponding to the display object, outputs the sound while moving the sound image position of the sound from a predetermined start position to a virtual image position of the display object. The display control apparatus described.
請求項９に記載の表示制御装置。 The display control apparatus according to claim 9, wherein the sound image control unit changes the sound in accordance with movement of a sound image position of sound corresponding to the display object.
請求項９または請求項１０に記載の表示制御装置。 The display control device according to claim 9 or 10, wherein the sound image control unit sets a gaze point of a driver of the vehicle as the start position.
請求項１から請求項４のいずれか一項に記載の表示制御装置。 The said sound image control part vibrates the sound image position of the said audio | voice based on the virtual image position of the said display object, when outputting the audio | voice corresponding to the said display object. Display controller.
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記表示制御装置は、
前記車両の運転者に注意喚起すべき注意対象の前記車両に対する相対位置を取得する相対位置取得部と、
前記虚像表示部を用いて表示オブジェクトを表示する表示制御部と、
前記音像生成部を用いて音声を出力する音像制御部と、
を備え、
前記表示制御部は、前記運転者へ前記注意対象の存在を示す表示オブジェクトを表示し、
前記音像制御部は、前記運転者へ前記注意対象の存在を通知する音声を出力し、
前記音像制御部は、前記注意対象の存在を通知する音声を出力する際、当該音声の音像位置を、当該注意対象の相対位置に基づいて制御する
ことを特徴とする表示制御装置。 A display control device that controls a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The display control device includes:
A relative position acquisition unit for acquiring a relative position with respect to the vehicle to be alerted to alert the driver of the vehicle;
A display control unit for displaying a display object using the virtual image display unit;
A sound image control unit that outputs sound using the sound image generation unit;
With
The display control unit displays a display object indicating the presence of the attention target to the driver,
The sound image control unit outputs a sound notifying the driver of the presence of the attention object,
The sound image control unit is configured to control a sound image position of the sound based on a relative position of the attention object when outputting a sound notifying the presence of the attention object.
請求項１３に記載の表示制御装置。 The sound image control unit sets the sound image direction of the sound so that a difference between the direction from the vehicle to the attention object and the sound image direction of the sound notifying the presence of the attention object is equal to or less than a predetermined value. The display control apparatus according to claim 13.
請求項１３または請求項１４に記載の表示制御装置。 The sound image control unit sets a sound image distance of the sound so that a difference between a distance from the vehicle to the attention object and a sound image distance of the sound notifying the presence of the attention object is equal to or less than a predetermined value. The display control apparatus according to claim 13 or 14.
請求項１３に記載の表示制御装置。 The sound image control unit sets the sound image position of the sound so that the sound image position of the sound notifying the presence of the attention object is within a predetermined range with reference to the position of the attention object. 14. The display control device according to 13.
請求項１３に記載の表示制御装置。 The sound image control unit, when outputting a sound notifying the presence of the attention object, outputs the sound while moving a sound image position of the sound from a predetermined start position to the position of the attention object. 14. The display control device according to 13.
請求項１７に記載の表示制御装置。 The display control device according to claim 17, wherein the sound image control unit changes the sound in accordance with the movement of the sound image position of the sound notifying the presence of the attention object.
請求項１７または請求項１８に記載の表示制御装置。 The display control device according to claim 17, wherein the sound image control unit sets a gaze point of the driver as the start position.
請求項１３から請求項１６のいずれか一項に記載の表示制御装置。 The sound image control unit according to any one of claims 13 to 16, wherein the sound image control unit vibrates the sound image position of the sound based on the position of the attention object when outputting the sound notifying the presence of the attention object. The display control apparatus described.
前記虚像表示部と、
前記音像生成部と
を備える、表示装置。 The display control device according to any one of claims 1 to 20,
The virtual image display unit;
A display device comprising the sound image generation unit.
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記音像位置制御方法は、
前記虚像表示部を用いて表示オブジェクトを表示し、
前記音像生成部を用いて、前記表示オブジェクトに対応する音声を出力する際、当該音声の音像位置を、当該表示オブジェクトの虚像位置に基づいて制御する
ことを特徴とする音像位置制御方法。 A sound image position control method in a display control device for controlling a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The sound image position control method includes:
Display a display object using the virtual image display unit,
A sound image position control method, wherein when the sound corresponding to the display object is output using the sound image generation unit, the sound image position of the sound is controlled based on a virtual image position of the display object.
前記虚像表示部は、
車両の運転席からウィンドシールドを介して視認可能な虚像である表示オブジェクトを、前記車両の特定位置を基準とする前記虚像の方向である虚像方向と、前記虚像までの距離である虚像距離とによって規定される虚像位置に表示可能であり、
前記音像生成部は、
仮想的な音源である音像を、前記車両の特定位置を基準とする前記音像の方向である音像方向と、前記音像までの距離である音像距離とによって規定される音像位置に生成可能であり、
前記音像位置制御方法は、
前記車両の運転者に注意喚起すべき注意対象の前記車両に対する相対位置を取得し、
前記虚像表示部を用いて、前記運転者へ前記注意対象の存在を示す表示オブジェクトを表示し、
前記音像生成部を用いて、前記注意対象の存在を通知する音声を出力する際、当該音声の音像位置を、当該注意対象の相対位置に基づいて制御する
ことを特徴とする音像位置制御方法。 A sound image position control method in a display control device for controlling a virtual image display unit and a sound image generation unit,
The virtual image display unit
A display object that is a virtual image that is visible from a driver's seat of a vehicle through a windshield is determined by a virtual image direction that is a direction of the virtual image with respect to a specific position of the vehicle and a virtual image distance that is a distance to the virtual image. It can be displayed at the specified virtual image position,
The sound image generator is
A sound image that is a virtual sound source can be generated at a sound image position defined by a sound image direction that is a direction of the sound image with respect to a specific position of the vehicle and a sound image distance that is a distance to the sound image,
The sound image position control method includes:
Obtaining a relative position with respect to the vehicle to be alerted to alert the driver of the vehicle;
Display the display object indicating the presence of the attention target to the driver using the virtual image display unit,
A sound image position control method, wherein when the sound notifying the presence of the attention object is output using the sound image generation unit, the sound image position of the sound is controlled based on the relative position of the attention object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015180323A JP2017056747A (en) | 2015-09-14 | 2015-09-14 | Display controller, display unit and sound image position control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015180323A JP2017056747A (en) | 2015-09-14 | 2015-09-14 | Display controller, display unit and sound image position control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017056747A true JP2017056747A (en) | 2017-03-23 |
Family
ID=58389303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015180323A Pending JP2017056747A (en) | 2015-09-14 | 2015-09-14 | Display controller, display unit and sound image position control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017056747A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019217941A (en) * | 2018-06-21 | 2019-12-26 | パナソニックＩｐマネジメント株式会社 | Video display system, video display method, program, and moving body |
| CN111319557A (en) * | 2018-12-17 | 2020-06-23 | 丰田自动车株式会社 | Reporting device |
| CN112164128A (en) * | 2020-09-07 | 2021-01-01 | 广州汽车集团股份有限公司 | Music visual interaction method and computer equipment for vehicle-mounted multimedia |
| JP2021081232A (en) * | 2019-11-15 | 2021-05-27 | アイシン・エィ・ダブリュ株式会社 | Superimposed image display device and computer program |
| JP7492340B2 (en) | 2019-03-01 | 2024-05-29 | ザ・ボーイング・カンパニー | Active Voltage Control for Hybrid Electric Aircraft |
-
2015
- 2015-09-14 JP JP2015180323A patent/JP2017056747A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019217941A (en) * | 2018-06-21 | 2019-12-26 | パナソニックＩｐマネジメント株式会社 | Video display system, video display method, program, and moving body |
| JP7026325B2 (en) | 2018-06-21 | 2022-02-28 | パナソニックＩｐマネジメント株式会社 | Video display system, video display method, program, and mobile |
| CN111319557A (en) * | 2018-12-17 | 2020-06-23 | 丰田自动车株式会社 | Reporting device |
| JP2020098396A (en) * | 2018-12-17 | 2020-06-25 | トヨタ自動車株式会社 | Notification device |
| JP7155991B2 (en) | 2018-12-17 | 2022-10-19 | トヨタ自動車株式会社 | Notification device |
| US11492001B2 (en) | 2018-12-17 | 2022-11-08 | Toyota Jidosha Kabushiki Kaisha | Notification device |
| CN111319557B (en) * | 2018-12-17 | 2023-01-17 | 丰田自动车株式会社 | Reporting device |
| JP7492340B2 (en) | 2019-03-01 | 2024-05-29 | ザ・ボーイング・カンパニー | Active Voltage Control for Hybrid Electric Aircraft |
| JP2021081232A (en) * | 2019-11-15 | 2021-05-27 | アイシン・エィ・ダブリュ株式会社 | Superimposed image display device and computer program |
| CN112164128A (en) * | 2020-09-07 | 2021-01-01 | 广州汽车集团股份有限公司 | Music visual interaction method and computer equipment for vehicle-mounted multimedia |
| CN112164128B (en) * | 2020-09-07 | 2024-06-11 | 广州汽车集团股份有限公司 | Vehicle-mounted multimedia music visual interaction method and computer equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6381807B2 (en) | Display control device, display device, and display control method | |
| JP6486474B2 (en) | Display control device, display device, and display control method | |
| CN109215433B (en) | Vision-based driving scenario generator for automated driving simulation | |
| US10878256B2 (en) | Travel assistance device and computer program | |
| JP7052174B2 (en) | Systems and methods for estimating future routes | |
| US10457294B1 (en) | Neural network based safety monitoring system for autonomous vehicles | |
| JP6591087B2 (en) | Display control device, display device, and display control method | |
| US20180348761A1 (en) | Scalable smooth reference path generator for autonomous driving vehicles | |
| EP3342670A1 (en) | Method to dynamically adjusting speed control rates of autonomous vehicles | |
| JP2017056747A (en) | Display controller, display unit and sound image position control method | |
| JP6448804B2 (en) | Display control device, display device, and display control method | |
| JP2016090344A (en) | Navigation device and navigation program | |
| WO2019224922A1 (en) | Head-up display control device, head-up display system, and head-up display control method | |
| JP2016134090A (en) | Image processor and drive support system using the same | |
| JP2014021770A (en) | Onboard acoustic apparatus and program | |
| JP7077726B2 (en) | Vehicle system, space area estimation method and space area estimation device | |
| WO2018173454A1 (en) | Information display device, information display method, and program | |
| JP6494764B2 (en) | Display control device, display device, and display control method | |
| JP6482431B2 (en) | Display control device, display device, and display control method | |
| JP6448806B2 (en) | Display control device, display device, and display control method | |
| JP6785451B2 (en) | Information presentation system, mobile body, information presentation method and program | |
| JP2008305283A (en) | Drive support apparatus and drive support method | |
| JP7143728B2 (en) | Superimposed image display device and computer program | |
| JP6444514B2 (en) | Display control device, display device, and route guidance method | |
| JP6536443B2 (en) | Eye-gaze learning system and eye-gaze learning program |