JP2023120985A - Image display device and method for displaying image - Google Patents

Abstract

To provide an image display device which can prevent reduction of the concentration of a user due to display of an image.SOLUTION: The image display device includes: an image display unit 110 for displaying a display image in the screen of a display device located in a vehicle; a line-of-sight detection unit 120 for detecting the direction of the line of sight of a user in the vehicle; an acceptance degree estimation unit 130 for estimating an acceptance degree showing the degree with which the user in the vehicle accepts display of the display image in the screen. The image display unit 110 displays the display image in the screen so that a vision blocking degree showing the degree of blocking the vision of the user when the user in the vehicle is looking at the direction of the line of sight is lower when the acceptance degree is lower than when the acceptance degree is higher.SELECTED DRAWING: Figure 1

Description

本発明は、画像表示装置及び画像表示方法に関するものである。 The present invention relates to an image display device and an image display method.

従来より、広告サーバと車両とから構成される広告システムが知られている。（例えば特許文献１）。特許文献１記載の広告システムにおいて、広告サーバは、提示される広告の内容である広告情報と、広告を提示可能なユーザの負荷状況を含む広告枠情報とを関連づけて記憶する広告情報記憶手段と、広告情報と広告枠情報とを車両に送信する広告情報送信手段と、を有する。車両は、複数のセンサと、広告情報と広告枠情報とを広告サーバから受信する広告情報受信手段と、複数のセンサから取得される情報から、ユーザの負荷を決定する負荷決定手段と、ユーザの負荷に対応する広告枠情報を特定し、この広告枠情報と関連づけられている広告情報を提示する広告提示手段と、を有する。広告枠には、運転者の負荷状態を考慮して提供形態などの制約が課されて、運転者に掛かる負荷が大きい時には、広告提示手段は、文字数、文字の大きさ、配色等に制約をかけることで、提示する情報量を減らす。 Conventionally, an advertising system is known that is composed of an advertising server and a vehicle. (For example, Patent Document 1). In the advertising system described in Patent Document 1, the advertising server includes advertising information storage means for storing advertising information, which is the content of the advertisement to be presented, and advertising space information including the load status of users who can present the advertisement, in association with each other. and an advertisement information transmitting means for transmitting the advertisement information and the advertisement space information to the vehicle. The vehicle includes: a plurality of sensors; advertisement information receiving means for receiving advertisement information and advertisement space information from an advertisement server; and an advertisement presenting means for identifying advertisement space information corresponding to the load and presenting advertisement information associated with this advertisement space information. Restrictions such as the form of presentation are imposed on the advertisement frame in consideration of the load state of the driver, and when the load on the driver is large, the advertisement presentation means imposes restrictions on the number of characters, the size of characters, the color scheme, etc. reduce the amount of information presented.

特開２０１３－４５１６９号公報JP 2013-45169 A

広告システムでは、ユーザにかかる負荷が大きい場合に、提示される情報量を減らしたとしても、提示情報がユーザの視界を妨げるような形態で表示された場合には、ユーザの集中力が低下する可能性がある。 In the advertising system, when the load on the user is heavy, even if the amount of presented information is reduced, if the presentation information is displayed in such a manner as to obstruct the user's field of view, the user's concentration is reduced. there is a possibility.

本発明が解決しようとする課題は、画像表示による、ユーザの集中力の低下を防止できる画像表示装置及び画像表示方法を提供することである。 The problem to be solved by the present invention is to provide an image display device and an image display method that can prevent a user from losing concentration due to image display.

本発明は、車内ユーザの視線方向を検出し、車内ユーザが画面への表示画像の表示を受け入れる度合いを示す受容度を推定し、受容度が高い場合と比較して、受容度が低い場合には、車内ユーザが視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、表示画像を画面に表示させることによって上記課題を解決する。 The present invention detects the line-of-sight direction of the user inside the vehicle, estimates the degree of acceptability that indicates the degree to which the user inside the vehicle accepts the display of the display image on the screen, and compares the degree of acceptability with the high acceptability with the low acceptability. solves the above problem by displaying a display image on a screen so as to reduce the degree of visual obstruction, which indicates the degree of obstruction of the visual field when the user in the vehicle looks in the line-of-sight direction.

本発明によれば、画像表示によるユーザの集中力の低下を防止できる。 According to the present invention, it is possible to prevent the user from losing concentration due to image display.

図１は、本実施形態における車両のブロック図である。FIG. 1 is a block diagram of a vehicle according to this embodiment. 図２は、ＡＲ装置の画面に表示される画像の概念図である。FIG. 2 is a conceptual diagram of an image displayed on the screen of the AR device. 図３は、ドライバーの視野範囲を表す概念図である。FIG. 3 is a conceptual diagram showing the driver's visual field range. 図４は、本実施形態の画像表示装置における画像表示方法の手順の一例を示すフローチャートである。FIG. 4 is a flow chart showing an example of the procedure of the image display method in the image display device of this embodiment. 図５は、本発明の他の実施形態における車両のブロック図である。FIG. 5 is a block diagram of a vehicle in another embodiment of the invention. 図６は、他の実施形態の画像表示装置における画像表示方法の手順の一例を示すフローチャートである。FIG. 6 is a flow chart showing an example of procedures of an image display method in an image display device according to another embodiment.

≪第１実施形態≫
本発明に係る画像表示装置の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像表示装置を含む車両の構成の一例を示すブロック図である。図１で示されるように、車両１は、車載機器２、車内カメラ３、ＡＲ機器４、及びコントローラ１００を備えている。なお、車両１は、図１に示す構成に限らず、例えばエンジン、モータ等の駆動類、ナビゲーションシステムなどの補器類、及びバッテリ等を有している。本実施形態に係る画像表示装置は、コントローラ１００を含む装置であって、車内のユーザに対して、アバター等の仮想画像を表示して、アバターと同乗しているようなバーチャル空間を車内ユーザに提供する。また画像表示装置は、ユーザの視線方向を検出し、アバターの表示によりユーザの視界を妨げるようなことを防止できるよう、アバターの表示に制限をかける。以下の説明では、車内ユーザをドライバーとして説明する。またバーチャル空間に表示される表示画像を、アバター等の仮想画像を含む画像として実施形態を説明する。 <<First Embodiment>>
An embodiment of an image display device according to the present invention will be described based on the drawings. FIG. 1 is a block diagram showing an example of the configuration of a vehicle including an image display device according to this embodiment. As shown in FIG. 1 , a vehicle 1 includes onboard equipment 2 , an in-vehicle camera 3 , an AR device 4 , and a controller 100 . The vehicle 1 is not limited to the configuration shown in FIG. 1, and includes, for example, an engine, a driving system such as a motor, auxiliary equipment such as a navigation system, a battery, and the like. The image display device according to the present embodiment is a device including the controller 100, and displays a virtual image of an avatar or the like to the user in the vehicle so that the user in the vehicle can experience a virtual space as if the user is riding with the avatar. provide. Further, the image display device detects the direction of the user's line of sight, and restricts the display of the avatar so as to prevent the user's field of vision from being obstructed by the display of the avatar. In the following explanation, the in-vehicle user is assumed to be the driver. Further, the embodiment will be described assuming that the display image displayed in the virtual space is an image including a virtual image such as an avatar.

車載機器２は、車両の運転状態を検出するために使用される機器であって、例えば、操舵センサ、アクセルポジションセンサ、ブレーキ圧力センサ、方向指示器、ソナーなどの対物センサである。 The in-vehicle device 2 is a device used to detect the driving state of the vehicle, and is an objective sensor such as a steering sensor, an accelerator position sensor, a brake pressure sensor, a direction indicator, and a sonar, for example.

車内カメラ３は、車内の様子を撮像する装置であって、少なくともドライバの視線方向を検出できるよう、ユーザの顔や目の動きを撮像する。なお、車内カメラ３も車載機器のひとつであるが、本実施形態では説明のために、別構成として説明する。 The in-vehicle camera 3 is a device that captures an image of the interior of the vehicle, and captures the movement of the user's face and eyes so that at least the line-of-sight direction of the driver can be detected. Although the in-vehicle camera 3 is also one of the in-vehicle devices, it will be described as a separate configuration for the sake of explanation in this embodiment.

ＡＲ機器４は、車内に位置する表示装置であって、ドライバーの頭部に装着されて、ドライバーに対して仮想空間を表示する。仮想空間の画像は、ドライバーが見ている実画像に、人を模したアバターを重畳した画像であって、実在する車外及び／車内の風景にバーチャルの視覚情報を重ねることで、実空間を仮想的に拡張させた画像である。アバターは、ユーザやアニメのキャラクター等で表され、例えば遠隔ユーザを模した人の画像で表される。またＡＲ機器４は、ＡＲ機器４の座標位置、傾き等で示される姿勢情報をコントローラ１００に出力する。 The AR device 4 is a display device located inside the vehicle and is worn on the driver's head to display the virtual space to the driver. The image of the virtual space is an image in which a human-like avatar is superimposed on the real image that the driver sees. This is an image that has been expanded. The avatar is represented by a user, an animated character, or the like, such as an image of a person imitating the remote user. In addition, the AR device 4 outputs orientation information indicated by the coordinate position, tilt, etc. of the AR device 4 to the controller 100 .

図２は、ＡＲ機器４を介してドライバーが見ている画像を表している。車両走行中、ドライバーがＡＲ機器４を装着した状態で正面を向いた場合には、ＡＲ機器４はアバターを表示せずに、ドライバーの正面から見える実画像を表示する。一方、例えば車両停車中に、ドライバーがＡＲ機器４を装着した状態で助手席側を向いた場合には、ＡＲ機器４は、車内外の実際の景色に加えてアバター５を含んだ仮想画像（拡張画像）を表示する（図２を参照）。また、ＡＲ機器４は、コントローラ１００の制御の下、車載通信を介してサーバに接続されてもよく、サーバーは遠隔ユーザの操作端末と通信可能な状態で接続されている。そして、遠隔ユーザは操作端末を操作することでアバター５を動かすことができ、ドライバーは、図２のアバター５の動きを見ることも可能である。なおアバター５は、遠隔ユーザの他に、例えば観光案内等をするガイド人を模したキャラクターでもよい。 FIG. 2 shows an image seen by the driver through the AR device 4. As shown in FIG. When the driver wears the AR device 4 and faces the front while the vehicle is running, the AR device 4 does not display an avatar, but displays a real image seen from the front of the driver. On the other hand, for example, when the driver is wearing the AR device 4 and faces the front passenger seat while the vehicle is stopped, the AR device 4 displays a virtual image ( extended image) (see Figure 2). Also, the AR device 4 may be connected to a server via in-vehicle communication under the control of the controller 100, and the server is connected to a remote user's operation terminal in a communicable state. The remote user can move the avatar 5 by operating the operating terminal, and the driver can also see the movement of the avatar 5 shown in FIG. In addition to the remote user, the avatar 5 may be, for example, a character imitating a tour guide.

コントローラ１００は、車載機器２から車両情報を取得し、車内カメラ３から撮像画像を取得し、ＡＲ機器４の表示画面上に表示させる表示画像を生成する。アバター（仮想画像）を表示画面に含む場合には、表示画像は、仮想画像と実画像を重ねた画像となる。またコントローラ１００は、仮想画像をＡＲ機器４の表示画面に表示する場合には、車両情報及び／又は撮像画像に基づき、仮想画像がドライバーの視界を妨げることがないように、ＡＲ機器４の表示画面上に表示画像を表示させる。コントローラ１００は、機能ブロックとして、少なくとも画像表示部１１０と、視線検出部１２０と、受容度推定部１３０とを含む。各機能ブロックは、ソフトウェアと、ハードウェアとの協働により各機能を実行する。本実施形態では、コントローラ１００が有する機能を３つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１００の機能は必ずしも３つのブロックに分ける必要はなく、２つ以下の機能ブロック、あるいは、４つ以上の機能ブロックで分けてもよい。 The controller 100 acquires vehicle information from the in-vehicle device 2 , acquires a captured image from the in-vehicle camera 3 , and generates a display image to be displayed on the display screen of the AR device 4 . When an avatar (virtual image) is included on the display screen, the display image is an image in which the virtual image and the real image are superimposed. When the virtual image is displayed on the display screen of the AR device 4, the controller 100 controls the display of the AR device 4 based on the vehicle information and/or the captured image so that the virtual image does not obstruct the driver's field of vision. Display the display image on the screen. The controller 100 includes at least an image display unit 110, a line-of-sight detection unit 120, and an acceptability estimation unit 130 as functional blocks. Each functional block performs each function by cooperation with software and hardware. In this embodiment, the functions of the controller 100 are divided into three blocks, and the functions of each functional block will be described. However, the functions of the controller 100 do not necessarily have to be divided into three blocks. It may be divided into blocks or four or more functional blocks.

画像表示部１１０は、ＡＲ機器４の画面に表示画像を表示させる。画像表示部１１０は、仮想画像生成部１１１と、視界阻害度推定部１１２を含む。仮想画像生成部１１１は、ＡＲ機器４の画面に表示させる仮想画像を生成する。仮想画像生成部１１１は、ドライバーの操作等に基づき、仮想画像を表示させるための指令を取得する。仮想画像生成部１１１は、ＡＲ機器４と信号の送受信を行い、ＡＲ機器４を介してドライバーが見ている視線方向及び／又は視野範囲を特定する。仮想画像生成部１１１は、遠隔ユーザを模したアバターを仮想画像として表示させる場合には、アバターの動きを作るための動作情報を車外から取得する。そして、仮想画像生成部１１１は、特定された視線方向及び／又は視野範囲に応じて仮想画像を生成する。また仮想画像に動きを付与する場合には、仮想画像生成部１１１は、車外から取得した動作情報を用いて仮想画像を生成する。なお、動作情報は必ずしも車外から取得する必要はなく、例えば、ドライバーとアバターとの会話を通じて、アバターに動きを持たせるようなアニメーションを予め付与し、ドライバーとの会話に応じて、アバターに動きを付与してもよい。 The image display unit 110 displays a display image on the screen of the AR device 4 . The image display unit 110 includes a virtual image generation unit 111 and a visibility obstruction degree estimation unit 112 . The virtual image generator 111 generates a virtual image to be displayed on the screen of the AR device 4 . The virtual image generator 111 acquires a command for displaying a virtual image based on the driver's operation or the like. The virtual image generation unit 111 transmits and receives signals to and from the AR device 4 to identify the line-of-sight direction and/or visual field range viewed by the driver via the AR device 4 . When displaying an avatar imitating a remote user as a virtual image, the virtual image generation unit 111 acquires motion information for creating motion of the avatar from outside the vehicle. Then, the virtual image generator 111 generates a virtual image according to the specified line-of-sight direction and/or visual field range. Further, when adding motion to the virtual image, the virtual image generation unit 111 generates the virtual image using motion information acquired from outside the vehicle. It should be noted that it is not always necessary to acquire motion information from outside the vehicle. may be given.

視界阻害度推定部１１２は、後述する視線検出部１２０から、ドライバーの視線方向を示す情報を取得し、取得した情報に基づき、視界阻害度を推定する。視界阻害度は、ドライバーが視線方向を見た時の視界を妨げる度合いを示したパラメータ（指標）である。言い換えると、実画像（実際の車内外の風景画像）をみているユーザに対して、実画像に仮想画像を重ねて表示する際に、仮想画像がユーザの視野範囲及び／又は視野範囲の周囲に表示されることで、ユーザの視界が妨げる程度、あるいは、ユーザの視界に制限がかかる程度を、視界阻害度は表している。 The view obstruction degree estimation unit 112 acquires information indicating the line-of-sight direction of the driver from the line-of-sight detection unit 120, which will be described later, and estimates the view obstruction degree based on the acquired information. The degree of view obstruction is a parameter (index) indicating the degree of obstruction of the view when the driver looks in the line-of-sight direction. In other words, when displaying a virtual image superimposed on a real image for a user who is viewing a real image (an image of the actual scenery inside and outside the vehicle), the virtual image may overlap the user's field of view and/or the surroundings of the field of view. The degree of view obstruction indicates the degree to which the user's view is obstructed or the degree to which the user's view is restricted by being displayed.

ここで、視界阻害度について、図３を参照して説明する。図３は、ドライバーの注視点を中心とした視野範囲の概念図である。図３において、点Ｏがドライバーの注視点である。例えば、運転シーンの一例として、車両が交差点の手前を走行している状態で、歩行者が、車両前方の横断歩道を歩行している場合（以下、「歩行者有シーン」と称す）には、ドライバーは、その歩行者に視線を合わせる。この場合に、ドライバーの視野範囲における歩行者の位置が、ドライバーの注視点となる。 Here, the visibility obstruction degree will be described with reference to FIG. FIG. 3 is a conceptual diagram of the visual field range centered on the point of gaze of the driver. In FIG. 3, the point O is the gaze point of the driver. For example, as an example of a driving scene, when a pedestrian is walking on a pedestrian crossing in front of the vehicle while the vehicle is running in front of the intersection (hereinafter referred to as a "pedestrian scene"), , the driver keeps his eyes on the pedestrian. In this case, the position of the pedestrian in the driver's visual field becomes the driver's gaze point.

図３の領域Ｐは視野角０度から５０度までの範囲を示し、領域Ｑは視野角５０度から１００度までの範囲を示し、領域Ｒは１００度から１２０度までの範囲を示す。なお、領域Ｐ～Ｒを規定する視野角の値は任意の角度に設定可能である。一般的に、人間の視野角は１００度程度であり、領域Ｐが有効視野の範囲に相当し、領域Ｑが周辺視野に相当する。例えば、上述した運転シーンにおいて、ドライバーはＡＲ機器４を介して車両の正面を見ている状態で、仮想画像（アバター）が領域Ｐ内に表示された場合に運転の妨げになる。また、仮想画像（アバター）が領域Ｑ内に表示された場合には、運転に対する集中力が低下する可能性があり、あるいは、運転中の疲労度が増す可能性がある。上記の歩行者有シーンを想定した場合には、車両の正面を向いており、アバターを助手席の位置に表示させたときには、アバターはドライバーの周辺視野（領域Ｑ）に表示されるため、運転に対するドライバーの集中力が低下するおそれがある。すなわち、領域Ｐや領域Ｑの範囲内に、仮想画像が表示された場合には、ドライバーの視界を妨げることになり、視界阻害度が高くなる。 Region P in FIG. 3 indicates a viewing angle range of 0 to 50 degrees, region Q indicates a viewing angle range of 50 to 100 degrees, and region R indicates a viewing angle range of 100 to 120 degrees. It should be noted that the value of the viewing angle that defines the regions P to R can be set to any angle. Generally, the viewing angle of humans is about 100 degrees, the area P corresponds to the range of the effective visual field, and the area Q corresponds to the peripheral visual field. For example, in the driving scene described above, if a virtual image (avatar) is displayed in the region P while the driver is looking at the front of the vehicle through the AR device 4, it will hinder driving. Moreover, when a virtual image (avatar) is displayed in the area Q, the driver's concentration on driving may decrease, or the degree of fatigue during driving may increase. Assuming the above scene with pedestrians, the driver faces the front of the vehicle, and when the avatar is displayed in the front passenger seat, the avatar is displayed in the driver's peripheral vision (area Q). There is a risk that the driver's concentration on the That is, when the virtual image is displayed within the range of the area P or the area Q, the driver's field of view is obstructed, and the degree of visual field obstruction increases.

一方、領域Ｒはドライバーの視野範囲外のため、仮想画像が領域Ｒに表示されたとしても、仮想画像がドライバーの視界を妨げる可能性は低く、視界阻害度が低い。このように、視界阻害度は、ドライバーの注視点を中心点とした視野角で定められる範囲と対応させた値としてもよい。例えば、注視点に近い範囲では、視界阻害度が高く、注視点から遠い範囲では視界阻害度が低くなるよう、視界阻害度が推定される。なお、視界阻害度は、視野角に限らず、例えば視野範囲における注視点からの距離に応じて推定されてもよい。さらに、視界阻害度は、仮想画像の位置に限らず、仮想画像の形状、大きさ、色彩、透過度等から推定されてよい。例えば、仮想画像が、図３の領域Ｑの範囲内に表示する場合に、仮想画像の透過度を大きくしたり、あるいは、仮想画像の大きさを小さくしたりすることで、仮想画像がドライバーの視界を妨げないようにすることができる。このように仮想画像を表示する場合には、視界阻害度が低くなる。 On the other hand, since the area R is outside the driver's field of view, even if the virtual image is displayed in the area R, the virtual image is less likely to obstruct the driver's field of vision, and the visibility obstruction is low. In this way, the visibility obstruction degree may be a value corresponding to the range determined by the viewing angle with the driver's gaze point as the center point. For example, the degree of view obstruction is estimated so that the degree of view obstruction is high in a range close to the point of gaze and low in a range far from the point of gaze. Note that the visibility obstruction degree is not limited to the viewing angle, and may be estimated according to, for example, the distance from the gaze point in the viewing range. Further, the degree of view obstruction is not limited to the position of the virtual image, and may be estimated from the shape, size, color, transparency, etc. of the virtual image. For example, when the virtual image is displayed within the range of area Q in FIG. You can avoid obstructing your view. When the virtual image is displayed in this manner, the visibility obstruction is reduced.

また視界阻害度は、仮想画像の位置、仮想画像の形状、大きさ、色彩、及び透過度等、ドライバーの視界を妨げる要素を複数組み合わせて推定されてもよい。例えば、視界阻害度は、仮想画像の透過度と、ドライバーの視線方向から上下左右方向の視野角とを組み合わせたパラメータとしてもよい。あるいは、例えば、視界阻害度は、仮想画像の透過度と、ドライバーの視野範囲における仮想画像の位置とを組み合わせたパラメータとしてもよい。 Also, the degree of view obstruction may be estimated by combining a plurality of factors that hinder the driver's view, such as the position of the virtual image, the shape, size, color, and transparency of the virtual image. For example, the visibility obstruction degree may be a parameter obtained by combining the degree of transparency of the virtual image and the viewing angle in the vertical and horizontal directions from the line of sight of the driver. Alternatively, for example, the degree of visibility obstruction may be a parameter that combines the transparency of the virtual image and the position of the virtual image in the driver's field of view.

画像表示部１１０は、ドライバーの視線方向に応じて、ドライバーが見ている実画像に対して、仮想画像生成部１１１により生成された仮想画像を重ねて表示画像を生成する。例えば、助手席の位置に仮想画像（アバター）を表示して、ドライバーがアバターと同乗しているようなバーチャル空間を実現させる場合に、ドライバーが車両の正面を向いている場合には、画像表示部１１０は、実画像を表示画像として生成する。また、ドライバーが助手席側を向いた場合には、画像表示部１１０は、実画像に仮想画像を重ねて表示画像を生成する。また、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成する。受容度については後述する。 The image display unit 110 generates a display image by superimposing the virtual image generated by the virtual image generation unit 111 on the real image viewed by the driver according to the line-of-sight direction of the driver. For example, when displaying a virtual image (avatar) in the position of the passenger seat to realize a virtual space where the driver is riding with the avatar, when the driver is facing the front of the vehicle, the image display A unit 110 generates a real image as a display image. Also, when the driver faces the front passenger seat, the image display unit 110 generates a display image by superimposing the virtual image on the real image. Further, the image display unit 110 generates a display image in which the visibility obstruction degree is low when the acceptability is low compared to when the acceptability is high. Acceptability will be discussed later.

すなわち、画像表示部１１０は、視界阻害度が低くなるように、仮想画像に対して画像処理を行う。画像処理には、画像生成と表示形態の決定が含まれる。具体的には、画像表示部１１０は、例えば、仮想画像の位置を視線方向から遠ざける、仮想画像の透過度を大きく、仮想画像の大きさを小さくする、仮想画像を目立たない形状とする、仮想画像を目立たない色彩にする、仮想画像を表示させない、等の画像処理を行う。なお、仮想画像の大きさを小さくするには、例えば同じ形状を保ちつつ小さくする（縮小）、あるいは、別の形状に変えた上で小さくしてもよい。そして、画像表示部１１０は、画像処理後の仮想画像を実画像に重ねて表示画像を生成し、生成した表示画像を、ＡＲ機器４の画面に表示させる。 That is, the image display unit 110 performs image processing on the virtual image so as to reduce the visibility obstruction. Image processing includes image generation and display form determination. Specifically, for example, the image display unit 110 moves the position of the virtual image away from the line-of-sight direction, increases the transparency of the virtual image, reduces the size of the virtual image, makes the virtual image inconspicuous, Perform image processing such as making the image less conspicuous and not displaying the virtual image. In order to reduce the size of the virtual image, for example, it may be reduced (reduced) while maintaining the same shape, or may be changed to a different shape and then reduced. Then, the image display unit 110 generates a display image by superimposing the virtual image after the image processing on the real image, and displays the generated display image on the screen of the AR device 4 .

視線検出部１２０は、車内ユーザ（ドライバー）の視線方向を検出する。具体的には、視線検出部１２０は、車内カメラ３の撮像画像を取得し、取得された撮像画像からドライバーの目を特定し、ドライバーが見ている位置からドライバーの視線方向を検出する。また、視線検出部１２０は、両眼球の中心の離間距離を測定し、離間距離に基づき、注視点に位置する目視対象物の位置を推定してもよい。そして、視線検出部１２０は、ドライバーの位置から目視対象物の位置までの距離が車内空間内であるか否かで、目視対象物の位置が車外であるか車内であるかを推定できる。ドライバーがＡＲ機器４を装着している場合には、視線検出部１２０はＡＲ機器４と信号の送受信を行い、ＡＲ機器４を介してドライバーが見ている視線方向を検出してもよい。 The line-of-sight detection unit 120 detects the line-of-sight direction of the in-vehicle user (driver). Specifically, the line-of-sight detection unit 120 acquires an image captured by the in-vehicle camera 3, identifies the eyes of the driver from the acquired captured image, and detects the line-of-sight direction of the driver from the position where the driver is looking. Further, the line-of-sight detection unit 120 may measure the distance between the centers of both eyeballs, and estimate the position of the visual target positioned at the gaze point based on the distance. Then, the line-of-sight detection unit 120 can estimate whether the position of the visual target is outside or inside the vehicle based on whether the distance from the driver's position to the position of the visual target is within the vehicle interior space. When the driver is wearing the AR device 4 , the line-of-sight detection unit 120 may transmit and receive signals to and from the AR device 4 to detect the line-of-sight direction of the driver via the AR device 4 .

受容度推定部１３０は受容度を推定する。受容度は、ドライバーがＡＲ機器４の画面への表示画像の表示を受け入れる度合いを表している。例えば、ドライバーが運転している場合、車内の他のユーザと会話している場合、ドライバーの疲労度が高い場合、ドライバーがアバターとの会話以外の他の行為に集中している場合など、仮想画像をＡＲ機器４の画面に表示しても、ドライバーが、仮想画像が表示されることを受け入れない。言い換えると、仮想画像の表示が、ドライバーの行為を阻害することになる場合がある。受容度推定部１３０は、仮想画像を含んだ表示画像の表示の受け入れやすさを、受容度として推定する。受容度の値が大きい程、ドライバーがＡＲ機器４の画面への表示画像の表示を受け入れやすくなる。 The acceptability estimation unit 130 estimates acceptability. The degree of acceptability represents the degree to which the driver accepts the display of the display image on the screen of the AR device 4 . For example, when the driver is driving, conversing with other users in the vehicle, when the driver is highly fatigued, or when the driver is concentrating on other activities other than conversing with the avatar. Even if the image is displayed on the screen of the AR device 4, the driver does not accept that the virtual image is displayed. In other words, the display of virtual images may impede the driver's actions. The acceptability estimating unit 130 estimates the acceptability of display of the display image including the virtual image as the acceptability. The larger the acceptability value, the easier it is for the driver to accept the display of the display image on the screen of the AR device 4 .

受容度推定部１３０は、ユーザ情報及び／又は車両情報を取得し、取得した情報に基づき受容度を推定する。ユーザ情報は、ユーザの状態を示す情報であって、ユーザの視線方向、注視点の位置、表情、動き（腕や頭部などの動き）、音声、生体情報（脳波、心拍等）で示される。受容度推定部１３０は、車内カメラ３の撮像画像から、ユーザの視線方向、注視点の位置、表情、動きを検出することで、ユーザ情報を取得する。受容度推定部１３０は、車内のスピーカから音声情報を取得する。受容度推定部１３０は、ドライバーに装着される脈波センサや心拍センサを用いて生体情報を取得する。なお、ユーザ情報は、ユーザ視線方向や注視点の位置など、上記に列挙した全ての情報を含む必要はなく、列挙した情報のうち少なくとも１つの情報を含んでいればよい。 The acceptability estimation unit 130 acquires user information and/or vehicle information and estimates acceptability based on the acquired information. The user information is information indicating the user's state, and is indicated by the user's gaze direction, gaze point position, facial expression, movement (arm or head movement), voice, and biological information (brain waves, heartbeat, etc.). . The acceptability estimation unit 130 acquires user information by detecting the user's line-of-sight direction, gaze point position, facial expression, and movement from the image captured by the in-vehicle camera 3 . The acceptability estimation unit 130 acquires voice information from the in-vehicle speaker. The acceptability estimation unit 130 acquires biological information using a pulse wave sensor and a heartbeat sensor worn by the driver. Note that the user information does not need to include all of the information listed above, such as the direction of the user's line of sight and the position of the gaze point, and may include at least one of the listed information.

受容度推定部１３０は、取得されたユーザ情報に基づき受容度を推定する。受容度推定部１３０は、ユーザ情報に含まれるユーザの視線方向又は注視点の位置から、ドライバーが車外又は車内のどちらを見ているか、を特定する。ドライバーが車外を見ている場合には、運転中の可能性が高く、運転中に仮想画像を表示しても、ドライバーには受け入れられない可能性が高い。そのため、受容度推定部１３０は、ドライバーが車外をみていることを特定した場合には、ドライバーが車内をみている場合と比較して、受容度を低くする。視線検出部１２０が目視対象物の位置を推定する場合には、受容度推定部１３０は、目視対象物の位置が車外か車内であるかに応じて、受容度を推定してもよい。すなわち、受容度推定部１３０は、目視対象物の位置が車外である場合には、目視対象物の位置が車内である場合と比較して、受容度を低く推定する。 The acceptability estimation unit 130 estimates acceptability based on the acquired user information. The acceptability estimation unit 130 identifies whether the driver is looking outside or inside the vehicle from the direction of the user's line of sight or the position of the point of gaze included in the user information. If the driver is looking outside the vehicle, it is likely that the driver is driving, and even if the virtual image is displayed while the driver is driving, it is highly likely that the driver will not accept it. Therefore, if the acceptability estimation unit 130 determines that the driver is looking outside the vehicle, the acceptability estimation unit 130 lowers the acceptability compared to the case where the driver is looking inside the vehicle. When the line-of-sight detection unit 120 estimates the position of the visual target, the acceptability estimation unit 130 may estimate the acceptability depending on whether the position of the visual target is outside or inside the vehicle. That is, the acceptability estimating unit 130 estimates a lower acceptability when the position of the visual target is outside the vehicle than when the position of the visual target is inside the vehicle.

また受容度推定部１３０は、ユーザ情報に含まれる、ユーザの表情や動き、音声から、ドライバーがアバターとの会話以外のことに集中しているか否か特定する。例えば、アバター表示前に、ドライバーの表情が笑顔になっていたり、ドライバーが後部先を振り向いている場合には、ドライバーが他のユーザ（例えば、電話で話す、又は、後部座席のユーザと話す）と会話しており、その状態でアバターを表示しても、ドライバーはアバターを注視しない、あるいは、アバターを表示させることでドライバーと他のユーザと会話の邪魔になる可能性がある。このような場合には、受容度推定部１３０は受容度を低くする。なお、ドライバーが他のユーザと会話していることは、ユーザ情報に含まれる音声情報の解析から特定してもよい。 The acceptability estimation unit 130 also identifies whether the driver is concentrating on something other than the conversation with the avatar based on the user's expression, movement, and voice included in the user information. For example, before the avatar is displayed, if the driver's expression is smiling or the driver is looking back, the driver can talk to another user (for example, talk on the phone or talk to the user in the back seat). Even if the avatar is displayed in that state, the driver may not pay attention to the avatar, or the avatar may interfere with the conversation between the driver and other users. In such a case, acceptability estimation section 130 lowers the acceptability. It should be noted that the fact that the driver is having a conversation with another user may be identified from analysis of voice information included in the user information.

また受容度推定部１３０は、ユーザ情報に含まれる生体情報から、ドライバーが緊張状態であるか否か特定する。例えば、ドライバーが負荷の大きな運転をしている最中など、ドライバーが緊張状態である場合には、アバターを表示しても、ドライバーはアバターを注視しない、あるいは、アバターを表示させることでドライバーの集中力が低下する可能性がある。そのため、受容度推定部１３０は、生体情報からドライバーが緊張状態であることを特定した場合には、受容度を低くする。 The acceptability estimation unit 130 also identifies whether or not the driver is in a tense state from the biological information included in the user information. For example, if the driver is in a tense state, such as when the driver is driving under a heavy load, the driver will not pay attention to the avatar even if the avatar is displayed. Concentration may be impaired. Therefore, the acceptability estimator 130 lowers the acceptability when it is determined from the biological information that the driver is in a tense state.

受容度推定部１３０は、車載機器２から車両情報を取得し、取得された車両情報に基づき受容度を推定する。受容度推定部３０は、車両情報に含まれる、操舵センサ、アクセルポジションセンサ、ブレーキ圧力センサ、又は、対物センサの検出情報、あるいは、方向指示器の動作状態の情報から、車両の走行状態を特定する。車両が走行中である場合には、ドライバーは運転している可能性が高く、運転中に仮想画像を表示しても、ドライバーには受け入れられない可能性が高い。そのため、受容度推定部１３０は、車両が走行中の場合には、車両が停車中の場合と比較して、受容度を低くする。 The acceptability estimator 130 acquires vehicle information from the in-vehicle device 2 and estimates the acceptability based on the acquired vehicle information. The acceptability estimating unit 30 identifies the running state of the vehicle from the detection information of the steering sensor, the accelerator position sensor, the brake pressure sensor, or the objective sensor, or the operating state information of the direction indicator included in the vehicle information. do. If the vehicle is running, the driver is likely to be driving, and even if the virtual image is displayed while driving, it is highly likely that the driver will not accept it. Therefore, acceptability estimating section 130 lowers the acceptability when the vehicle is running compared to when the vehicle is stopped.

そして、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成し、ＡＲ機器４の画面に表示する。視界阻害度が低くなるような表示画像は、例えば以下の方法で生成される。画像表示部１１０は、受容度推定部１３０により推定された受容度に応じて、視界阻害度閾値を設定する。視界阻害度閾値は、仮想画像の表示により、許容される視界阻害度の上限値である。例えば、車両の停車中など、ドライバーの負荷が小さい場合には、受容度が高くなるため、視界阻害度閾値は高い値に設定される。次に、画像表示部１１０は、仮想画像を生成する際に、仮想画像の表示と視界阻害度を対応させて、視界阻害度が視界阻害度閾値よりも低くなるような、仮想画像の生成及び表示形態を決定する。視界阻害度閾値が高い値に設定された場合には、ユーザの視界を妨げる度合い高い表示画面を表示できるため、仮想画像生成部１１１は透過度の低い仮想画像を生成し、画像表示部１１０は、仮想画像を注視点の近くに仮想画像が表示されるように、仮想画像を実画像に重ねる。 Then, the image display unit 110 generates a display image in which the visibility obstruction degree is low when the acceptability is low compared to when the acceptability is high, and displays it on the screen of the AR device 4 . A display image that reduces the visibility obstruction is generated by, for example, the following method. The image display unit 110 sets the visibility obstruction level threshold according to the acceptability estimated by the acceptability estimation unit 130 . The visibility obstruction degree threshold is the upper limit value of the visibility obstruction degree allowed by displaying the virtual image. For example, when the driver's load is light, such as when the vehicle is stopped, the degree of visibility obstruction threshold is set to a high value because the acceptability is high. Next, when generating a virtual image, the image display unit 110 associates the display of the virtual image with the degree of visibility obstruction, and generates and generates a virtual image such that the degree of visibility obstruction is lower than the threshold value for the degree of visibility obstruction. Determines the display format. When the visibility obstruction degree threshold is set to a high value, a display screen with a high degree of hindrance to the user's field of vision can be displayed. , superimpose the virtual image on the real image such that the virtual image is displayed near the point of gaze.

一方、視界阻害度閾値が低い値に設定された場合には、ユーザの視界を妨げる度合いの高い表示画面を表示できないため、仮想画像生成部１１１は透過度の高い仮想画像を生成する。画像表示部１１０は、生成された仮想画像の表示位置を注視点から離すことで、仮想画像を表示した時の視界阻害度を低くする。そして、画像表示部１１０は、仮想画像を表示した時の視界阻害度が視界阻害度閾値未満になるような位置で、仮想画像を実画像に重ねる。これにより、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成し、ＡＲ機器４の画面に表示させる。なお、視界阻害度閾値は必ずしも設定する必要はなく、また、視界阻害度が低くなる、又は、視界阻害度が高くなるような表示画像の生成方法は上記に限らず、他の方法でもよい。 On the other hand, if the visibility obstruction degree threshold is set to a low value, the virtual image generation unit 111 generates a virtual image with high transparency because a display screen that greatly obstructs the user's vision cannot be displayed. By moving the display position of the generated virtual image away from the point of gaze, the image display unit 110 reduces the degree of visibility obstruction when the virtual image is displayed. Then, the image display unit 110 superimposes the virtual image on the real image at such a position that the visibility obstruction degree when the virtual image is displayed is less than the visibility obstruction degree threshold. As a result, the image display unit 110 generates a display image that reduces the visibility obstruction when the acceptability is low compared to when the acceptability is high, and displays it on the screen of the AR device 4 . Note that it is not always necessary to set the threshold for the degree of visibility obstruction, and the method of generating a display image that lowers or increases the degree of visibility obstruction is not limited to the above, and other methods may be used.

次に、図４を参照して、コントローラ１００により実行される、表示画像の表示方法を説明する。図４は、コントローラ１００の画像表示制御の処理フローを示すフローチャートである。コントローラ１００は、車内ユーザの操作、又は、車外から受信する制御指令に基づき、ＡＲ機器４を装着した車内ユーザに対して、画像表示を開始する指令を特定した場合に、以下の制御フローを開始する。 Next, a display image display method executed by the controller 100 will be described with reference to FIG. FIG. 4 is a flowchart showing a processing flow of image display control of the controller 100. As shown in FIG. The controller 100 starts the following control flow when a command to start image display is specified for the user inside the vehicle wearing the AR device 4 based on the operation of the user inside the vehicle or the control command received from outside the vehicle. do.

ステップＳ１にて、仮想画像生成部１１１は仮想画像を生成する。この仮想画像は、視界阻害度を低くするための画像処理を施していない画像である。ステップＳ２にて、視線検出部１２０は、車内カメラ３の撮像画像、及び／又は、ＡＲ機器４の姿勢情報に基づき、ドライバーの視線方向を検出する。 In step S1, the virtual image generator 111 generates a virtual image. This virtual image is an image that has not been subjected to image processing for reducing the visibility obstruction degree. In step S<b>2 , the line-of-sight detection unit 120 detects the line-of-sight direction of the driver based on the captured image of the in-vehicle camera 3 and/or the posture information of the AR device 4 .

ステップＳ３にて、受容度推定部１３０はドライバーの受容度を推定する。ステップＳ４にて、視界阻害度推定部１１２は視界阻害度を推定する。まず、視界阻害度推定部１１２は、視線検出部１２０から、ドライバーの視線方向を示す情報を取得する。視界阻害度推定部１１２は、ドライバーの視線方向から特定される視野範囲及び／又は視野範囲の周囲において、仮想画像を表示したときの視界阻害度を推定する。視界阻害度は、仮想画像の表示形態に応じて推定される。例えば、仮想画像を注視点に近い位置に表示する、及び／又は、透過度の低い仮想画像を表示するような表示形態に対して、視界阻害度は高い値で推定される。また、例えば、仮想画像を注視点に遠い位置に表示する、及び／又は、透過度の高い仮想画像を表示するような表示形態に対して、視界阻害度は低い値で推定される。 In step S3, acceptability estimation unit 130 estimates the acceptability of the driver. In step S4, the visibility obstruction degree estimation unit 112 estimates the visibility obstruction degree. First, the visibility obstruction degree estimation unit 112 acquires information indicating the line-of-sight direction of the driver from the line-of-sight detection unit 120 . The visibility obstruction degree estimation unit 112 estimates the visibility obstruction degree when the virtual image is displayed in the visual field range specified from the line-of-sight direction of the driver and/or around the visual field range. The visibility obstruction degree is estimated according to the display form of the virtual image. For example, the degree of visual field obstruction is estimated to be a high value for a display mode in which a virtual image is displayed at a position close to the gaze point and/or a virtual image with low transparency is displayed. Also, for example, the degree of view obstruction is estimated to be a low value for a display mode in which a virtual image is displayed at a position far from the gaze point and/or a virtual image with high transparency is displayed.

ステップＳ５にて、画像表示部１１０は、ＡＲ機器４の画面に表示される表示画像を生成する。まず、画像表示部１１０は、推定された受容度と、推定された視界阻害度に基づき、推定された受容度に応じた仮想画像の表示形態を決定する。画像表示部１１０は、受容度が高い場合には、視界阻害度が高くなるような仮想画像の表示形態を決定する。画像表示部１１０は、受容度が低い場合には、視界阻害度が低くなるような仮想画像の表示形態を決定する。画像表示部１１０は、決定した表示形態に合うように、仮想画像に対して画像処理を行う。さらに、画像表示部１１０は、画像処理後の仮想画像を実画像に重ねることで、表示画像を生成する。 In step S<b>5 , the image display unit 110 generates a display image to be displayed on the screen of the AR device 4 . First, the image display unit 110 determines the display form of the virtual image according to the estimated acceptability based on the estimated acceptability and the estimated visibility obstruction. When the acceptability is high, the image display unit 110 determines a display form of the virtual image that increases the visibility obstruction. When the acceptability is low, the image display unit 110 determines a display form of the virtual image that reduces the visibility obstruction. The image display unit 110 performs image processing on the virtual image so as to match the determined display form. Furthermore, the image display unit 110 generates a display image by superimposing the virtual image after the image processing on the real image.

ステップＳ６にて、画像表示部１１０は、生成された表示画像を含む信号をＡＲ機器４に送信する。これにより、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合に、視界阻害度が低くなるように、表示画像をＡＲ機器４の画面に表示させる。 In step S<b>6 , the image display unit 110 transmits a signal including the generated display image to the AR device 4 . As a result, the image display unit 110 displays the display image on the screen of the AR device 4 so that the visibility obstruction is low when the acceptability is low compared to when the acceptability is high.

上記のように本実施形態において、コントローラ１００は、車内ユーザの視線方向を検出し、車内ユーザが、車内に位置する表示装置の画面への表示画像の表示を受け入れる度合いを示す受容度を推定し、受容度が高い場合と比較して、受容度が低い場合には、車内ユーザが視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、表示画像を画面に表示させる。これにより、車両ユーザの受容度と視線方向を考慮して視界阻害度を低減するように画像表示を変化させるので、車内の画像表示により、車両ユーザの運転への集中力が低下することを防止できる。 As described above, in the present embodiment, the controller 100 detects the line-of-sight direction of the in-vehicle user, and estimates the acceptability indicating the degree to which the in-vehicle user accepts the display of the display image on the screen of the display device located in the vehicle. , when the acceptability is low compared to when the acceptability is high, the display image is displayed on the screen so that the degree of visibility obstruction, which indicates the degree of obstruction of the view when the user inside the vehicle looks at the line of sight, is low. Let As a result, the image display is changed so as to reduce the degree of visual obstruction in consideration of the vehicle user's acceptability and line-of-sight direction. can.

また本実施形態において、受容度推定部１３０は、車内ユーザの状態を示すユーザ情報を取得し、ユーザ情報に基づき受容度を推定する。これにより、ユーザの動きやユーザの音声から受容度を推定できる。 Also, in the present embodiment, the acceptability estimation unit 130 acquires user information indicating the state of the in-vehicle user, and estimates the acceptability based on the user information. This makes it possible to estimate the acceptability from the user's movement and user's voice.

また本実施形態において、受容度推定部１３０は、車両１の車載機器２から車両情報を取得し、取得された車両情報に基づき受容度を推定する。これにより、車両情報を基に車両ユーザの受容度を推定することができる。 In this embodiment, the acceptability estimator 130 acquires vehicle information from the vehicle-mounted device 2 of the vehicle 1 and estimates the acceptability based on the acquired vehicle information. Accordingly, it is possible to estimate the acceptability of the vehicle user based on the vehicle information.

また本実施形態において、視線検出部１２０は、車内ユーザの視線方向の先にある目視対象物の位置を推定し、受容度推定部１３０は、目視対象物の位置が車外である場合には、目視対象物の位置が車内である場合と比較して、受容度を低く推定する。これにより、車両の走行状態を車内ユーザの視線方向から特定した上で、受容度を推定できる。 Further, in this embodiment, the line-of-sight detection unit 120 estimates the position of the visual object ahead of the line-of-sight direction of the user inside the vehicle. The acceptability is estimated lower than when the position of the visual object is inside the car. This makes it possible to estimate the degree of acceptability after specifying the running state of the vehicle from the line-of-sight direction of the user in the vehicle.

また本実施形態において、画像表示部１１０は、受容度が低い場合には、受容度が高い場合と比較して、表示画像の大きさを小さくして画面に表示させる。これにより、車内ユーザの視界を確保できる。 Further, in the present embodiment, the image display unit 110 makes the display image smaller in size when the acceptability is low than when the acceptability is high, and displays the image on the screen. As a result, the visibility of the user inside the vehicle can be ensured.

また本実施形態において、画像表示部１１０は、受容度が低い場合には、受容度が高い場合と比較して、表示画像の透過度を高くして画面に表示させる。これにより、車内ユーザの視界を確保できる。 In the present embodiment, the image display unit 110 displays the display image on the screen with a higher degree of transparency when the acceptability is low than when the acceptability is high. As a result, the visibility of the user inside the vehicle can be ensured.

また本実施形態において、画像表示部１１０は、受容度が低い場合には、受容度が高い場合と比較して、表示画像に含まれる仮想画像の位置を、車内ユーザの注視点から遠くして画面に表示させる。これにより、車内ユーザの視界を確保できる。 In addition, in the present embodiment, when the acceptability is low, the image display unit 110 moves the position of the virtual image included in the display image farther from the in-vehicle user's gaze point than when the acceptability is high. display on the screen. As a result, the visibility of the user inside the vehicle can be ensured.

なお、本実施形態の変形例として、画像表示部１１０は、目視対象物の位置が車外である場合には、受容度の大きさにかかわらず、視界阻害度が低くなるように表示画像を画面に表示させる、又は、表示画像を前記画面に表示させないようにしてもよい。目視対象物の位置が車外である場合には、車両運転中の可能性が高いため、このような場合には、視界阻害度が低くなるように表示画像を画面に表示させる、あるいは、強制的に仮想画像の表示を禁止する。これにより、車内ユーザの受容度に関わらず、車内ユーザの視野を強制的に確保できる。 As a modification of the present embodiment, the image display unit 110 displays the display image on the screen so that the degree of visibility obstruction is low regardless of the acceptability when the position of the visual target is outside the vehicle. or the display image may not be displayed on the screen. If the position of the visual target is outside the vehicle, it is highly likely that the vehicle is being driven. to prohibit the display of virtual images. As a result, it is possible to forcibly secure the visual field of the user in the vehicle regardless of the degree of acceptance of the user in the vehicle.

また本実施形態の変形例として、画像表示部１１０は、視界阻害度が所定値より低くなるように表示画像を前記画面に表示させる、又は、表示画像を前記画面に表示させないようにしてもよい。コントローラ１００は、車内ユーザからの操作に基づき、強制的に視野を確保するように、ＡＲ機器４の表示画像を制御する。例えば、車内ユーザは、運転に集中したい時には、アバターの表示を消す、あるいは、アバター表示が視野を妨げないようにするために、アバター表示を制限する制限操作を実行する。制限操作は、例えば、車内のスイッチ操作、ＡＲ機器４のボタン操作や、音声認識処理を利用した音声入力により行われる。 As a modification of the present embodiment, the image display unit 110 may display the display image on the screen so that the visibility obstruction degree is lower than a predetermined value, or may not display the display image on the screen. . The controller 100 controls the display image of the AR device 4 so as to forcibly secure the field of view based on the operation by the in-vehicle user. For example, when the in-vehicle user wants to concentrate on driving, the user turns off the display of the avatar, or performs a restriction operation to limit the display of the avatar so that the display of the avatar does not obstruct the field of view. The restriction operation is performed, for example, by operating a switch in the vehicle, operating a button on the AR device 4, or inputting voice using voice recognition processing.

コントローラ１００は、制限操作に基づく制御指令を受信した場合には、仮想画像を表示することによる視界阻害度が所定値より低くなるように、仮想画像に対して画像処理を実行する。所定値は、仮想画像の位置を強制的に視野範囲の周囲に遠ざける、仮想画像の透過度を大幅に高くするなど、受容度とは関係なく仮想画像の表示により車内ユーザの視野を妨げないようにするための、視界阻害度の下限値である。また、コントローラ１００は、制限操作に基づく制御指令を受信した場合には、強制的に仮想画像の表示を禁止し、実画像のみをＡＲ機器４に表示させる。これにより、車内ユーザの受容度に関わらず、強制的に視界を確保する指令を受け付ける構成になっているので、車内ユーザの視野を強制的に確保できる。 When the controller 100 receives a control command based on the restricting operation, the controller 100 performs image processing on the virtual image so that the degree of visibility obstruction due to displaying the virtual image is lower than a predetermined value. The predetermined value is to force the position of the virtual image away from the perimeter of the viewing range, to greatly increase the transparency of the virtual image, etc., so that the display of the virtual image does not obstruct the view of the user in the vehicle regardless of the acceptability. This is the lower limit of the degree of visibility obstruction to make Further, when receiving a control command based on the restricted operation, the controller 100 forcibly prohibits the display of the virtual image and causes the AR device 4 to display only the real image. As a result, regardless of the acceptability of the user inside the vehicle, the command to forcibly secure the field of view is accepted, so the field of view of the user inside the vehicle can be forcibly secured.

また本実施形態の変形例として、受容度推定部１３０は、目視対象物の種類に応じて受容度を推定してもよい。例えば、目視対象物の種類が歩行者である場合には、運転中の可能性が高い。あるいは、目視対象物の種類が車内のナビゲーションシステム用の画面である場合や、サイドガラス越しに風景を見ている場合には、運転中の可能性が低い。受容度推定部１３０は、車内カメラ、及び／又は、車外カメラの撮像画像と、視線検出部１２０により推定された目視対象物に基づいて、ユーザが目視している対象物の種類を特定する。特定された目視対象物の種類が、車両の運転に関係するもの（例えば、他車両、標識、障害物等）である場合には、受容度推定部１３０は受容度を低くする。これにより、車内ユーザの視覚情報に基づき、任意の対象物注視しているかを判断し、受容度を下げることができるので、車内ユーザの視界を確保できる。 As a modification of the present embodiment, the acceptability estimation unit 130 may estimate the acceptability according to the type of visual target. For example, if the type of visual target is a pedestrian, the possibility of driving is high. Alternatively, if the type of visual target is a screen for a navigation system in the car, or if the scenery is seen through the side glass, the possibility that the user is driving is low. The acceptability estimation unit 130 identifies the type of object that the user is looking at, based on the images captured by the in-vehicle camera and/or the outside camera, and the visual object estimated by the line-of-sight detection unit 120 . If the identified visual object type is related to driving a vehicle (for example, another vehicle, a sign, an obstacle, etc.), the acceptability estimator 130 lowers the acceptability. As a result, it is possible to determine whether or not the user is gazing at an arbitrary object based on the visual information of the user inside the vehicle, and the degree of acceptability can be lowered, so that the user's field of view can be ensured.

なお本実施形態において、受容度は、車内ユーザが現在行っているタスク（以下、現在タスクと称す）に応じて、レベル１、レベル２、及びレベル３などのようにレベル分けで表されてよい。現在タスクは、ドライバー現在の行為を表しており、例えば、車両運転中、他人との会話中、映像鑑賞中などである。現在タスクは、車両情報及び／又はユーザ情報に基づき特定される。そして、受容度は、現在タスクとは異なるタスクを、車内ユーザが受け入れるかの度合いを表している。例えば、現在タスクが車両運転中である場合には、ドライバーは、アバターとの会話等の他のタスクを受け入れる可能性は低い。このような場合には、受容度推定部１３０は、受容度レベルを「１」とする。一方、例えば、現在タスクが映像鑑賞中である場合には、ドライバーは、アバターとの会話等の他のタスクを受け入れる可能性は、車両運転中より高くなる。このような場合には、受容度推定部１３０は、受容度レベルを「３」とする。そして、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるように、表示画像を画面に表示させる。これにより、車内ユーザの現在タスクの内容を考慮して視界阻害度を低減するように画像表示を変化させるので、車内の画像表示により、車両ユーザの集中力が低下することを防止できる。 In this embodiment, the degree of acceptability may be expressed in levels such as level 1, level 2, and level 3 according to the task currently performed by the in-vehicle user (hereinafter referred to as current task). . The current task represents the current behavior of the driver, such as driving a vehicle, talking with others, watching a video, and the like. A current task is identified based on vehicle information and/or user information. The degree of acceptability represents the degree to which the in-vehicle user accepts a task different from the current task. For example, if the current task is driving a vehicle, the driver is unlikely to accept other tasks such as talking to an avatar. In such a case, acceptability estimation section 130 sets the acceptability level to “1”. On the other hand, for example, if the current task is watching a video, the driver is more likely to accept other tasks such as talking with an avatar than while driving a vehicle. In such a case, acceptability estimation section 130 sets the acceptability level to “3”. Then, the image display unit 110 displays the display image on the screen so that the visibility obstruction degree is low when the acceptability is low compared to when the acceptability is high. As a result, the image display is changed so as to reduce the visual field obstruction degree in consideration of the content of the current task of the user inside the vehicle, so it is possible to prevent the concentration of the vehicle user from deteriorating due to the image display inside the vehicle.

なお、本実施形態において、表示画像は、ＡＲ機器４の画面に限らず、例えばナビゲーションシステム用の車載ディスプレイ、車内ユーザが所有するユーザ端末のディスプレイ等、車内に位置するディスプレイに表示されてもよい。 In the present embodiment, the display image is not limited to the screen of the AR device 4, and may be displayed on a display located inside the vehicle, such as an in-vehicle display for a navigation system, a display of a user terminal owned by an in-vehicle user, or the like. .

なお、本実施形態において、コントローラ１００は、仮想画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させるが、視界阻害度が低くする表示画像に、必ずしも仮想画像を含める必要は無く、実画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させてよい。例えば、車載ディスプレイに映像を表示する際に、車両運転中等、受容度の低い場合は、車載ディスプレイの表示画面が、車内ユーザの視線方向によって視野範囲に含まれてしまう場合がある。このような場合には、コントローラ１００は、表示画面を目立たないような色合いにするなど、視界阻害度が低くなるような画像処理を実画像に行う。このように、コントローラ１００は、実画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させてもよい。 In the present embodiment, the controller 100 performs image processing on the virtual image and displays the display image on the screen so as to reduce the degree of visibility obstruction. It is not necessary to include an image, and the display image may be displayed on the screen so as to reduce the visibility obstruction by performing image processing on the actual image. For example, when an image is displayed on an in-vehicle display, the display screen of the in-vehicle display may be included in the visual range depending on the line-of-sight direction of the user in the vehicle when the acceptability is low, such as while the vehicle is being driven. In such a case, the controller 100 performs image processing on the actual image to reduce the visibility obstruction, such as by making the display screen less conspicuous. In this manner, the controller 100 may perform image processing on the actual image and display the display image on the screen so as to reduce the visibility obstruction.

≪第２実施形態≫
次に、第２実施形態に係る画像表示装置について説明する。第２実施形態では、コントローラ１００が運転関係情報取得部１４０を含む点、及び、画像表示部１１０の制御の一部が異なる。なお、以下に説明する点において第１実施形態に係る画像表示装置と異なること以外は、第１実施形態と同様の構成を有し、第１実施形態と同様に動作又は作用するものであって、第１実施形態の記載を適宜、援用する。 <<Second embodiment>>
Next, an image display device according to the second embodiment will be described. The second embodiment is different in that the controller 100 includes a driving-related information acquisition unit 140 and part of the control of the image display unit 110 is different. It should be noted that it has the same configuration as the first embodiment, and operates or functions in the same manner as the first embodiment, except that it differs from the image display apparatus according to the first embodiment in the points described below. , the description of the first embodiment is incorporated as appropriate.

本実施形態に係る画像表示装置は、受容度が低いときであっても、車両の走行シーン及びドライバーの状態に応じて運転関係情報を含む仮想画像を、ＡＲ機器４の画面に表示させる。例えば、車両が交差点に入り右折しようとするような走行シーンにおいて、ドライバーの注視点が対向車の位置にあり、右折先の横断歩道上の歩行者がドライバーの視野範囲に含まれていない時には、コントローラ１００は、ドライバーに対して歩行者の存在を注意喚起するために、歩行者の仮想画像をＡＲ機器４の画面に表示させる。すなわち、ドライバーが運転に集中している時には、受容度推定部１３０により推定される受容度は低くなる。しかしながら、ドライバーが歩行者などの運転関係情報を認知していない場合には、運転関係情報を含む画像を積極的に表示した方がよい。本実施形態では、ドライバーが運転関係情報を認知しているか否かを判定し、ドライバーが運転関係情報を認知していないと判定した場合には、受容度が低いときであっても、表示画像に前記運転関係情報を含めてＡＲ機器４の画面に表示させる。 The image display device according to the present embodiment displays a virtual image including driving-related information on the screen of the AR device 4 according to the driving scene of the vehicle and the state of the driver even when the acceptability is low. For example, in a driving scene where a vehicle enters an intersection and is about to turn right, when the driver's gaze point is at the position of the oncoming vehicle and the pedestrian on the crosswalk at the right turn destination is not included in the driver's field of view, The controller 100 displays a virtual image of the pedestrian on the screen of the AR device 4 in order to alert the driver to the presence of the pedestrian. That is, when the driver is concentrating on driving, the acceptability estimated by the acceptability estimator 130 is low. However, when the driver does not recognize the driving-related information such as pedestrians, it is better to positively display the image including the driving-related information. In the present embodiment, it is determined whether or not the driver recognizes the driving-related information, and if it is determined that the driver does not recognize the driving-related information, the display image , including the driving-related information, is displayed on the screen of the AR device 4 .

コントローラ１００は、画像表示部１１０等に加えて、運転関係情報取得部１４０を含んでいる。運転関係情報取得部１４０は、車載機器２に含まれる測距センサ又は車外カメラ等、車両外部を検出するセンサを用いて、車両周辺の運転関係情報を取得する。運転関係情報は、車両の運転において必要となる情報であって、例えば、他車両、歩行者、標識、障害物などの情報である。運転関係情報は、対象物の形や大きさ、又は、対象物の位置などを示しており、センサで検出される車両周辺の物体情報、信号機などの交通装置の情報、標識の情報等、エンターテイメントやナビゲーション情報以外の運転に関係する情報である。例えば運転関係情報で示される対象物が歩行者である場合には、運転関係情報は、少なくとも歩行者の位置を含んでいる。運転関係情報取得部１４０は、車両の走行シーンに応じて、運転関係情報を取得してもよい。例えばドライバーが右折するために方向指示器を操作した場合には、運転関係情報取得部１４０は、方向指示器の操作をトリガとして、センサを用いて、右折先の道路の状況を検出し、検出されたデータから運転関係情報を取得する。また運転関係情報取得部１４０は、車両の右左折に限らず、車線変更等の走行シーンの時に運転関係情報を取得してもよい。 The controller 100 includes a driving-related information acquisition section 140 in addition to the image display section 110 and the like. The driving-related information acquisition unit 140 acquires driving-related information around the vehicle using a sensor that detects the outside of the vehicle, such as a ranging sensor or an exterior camera included in the vehicle-mounted device 2 . The driving-related information is information necessary for driving the vehicle, such as other vehicles, pedestrians, signs, and obstacles. Driving-related information indicates the shape and size of an object, or the position of an object. and information related to driving other than navigation information. For example, when the object indicated by the driving-related information is a pedestrian, the driving-related information includes at least the pedestrian's position. The driving-related information acquisition unit 140 may acquire driving-related information according to the driving scene of the vehicle. For example, when the driver operates the direction indicator to turn right, the driving-related information acquisition unit 140 uses the operation of the direction indicator as a trigger to detect and detect the condition of the road ahead of the right turn using a sensor. Obtain driving-related information from the data obtained. The driving-related information acquisition unit 140 may acquire driving-related information not only when the vehicle turns right or left, but also when the vehicle is changing lanes or the like.

運転関係情報を取得した場合には、画像表示部１１０は、視線検出部１２０から、ドライバーの視線方向を示す情報を取得し、ドライバーが運転関係情報を認知しているか否かを判定する。具体的には、画像表示部１１０は、運転関係情報で示される対象物とその対象物の位置を特定し、ドライバーの視線方向からドライバーの視野範囲を特定する。特定された対象物がドライバーの視野範囲内にある場合には、画像表示部１１０は、ドライバーが運転関係情報を認知していると判定する。一方、特定された対象物がドライバーの視野範囲内にない場合には、画像表示部１１０は、ドライバーが運転関係情報を認知していないと判定する。あるいは、画像表示部１１０は、ドライバーの注視点が、運転関係情報で示される対象物にフォーカスされたか否かに応じて、ドライバーが運転関係情報を認知しているか否か判定してもよい。 When the driving-related information is acquired, the image display unit 110 acquires information indicating the line-of-sight direction of the driver from the line-of-sight detection unit 120, and determines whether the driver recognizes the driving-related information. Specifically, the image display unit 110 identifies the object indicated by the driving-related information and the position of the object, and identifies the visual field range of the driver from the line-of-sight direction of the driver. If the specified object is within the driver's field of vision, the image display unit 110 determines that the driver is aware of the driving-related information. On the other hand, if the specified object is not within the driver's field of vision, the image display unit 110 determines that the driver does not recognize the driving-related information. Alternatively, the image display unit 110 may determine whether or not the driver is aware of the driving-related information based on whether or not the driver's gaze point is focused on the object indicated by the driving-related information.

ドライバー運転関係情報を認知していないと判定した場合には、仮想画像生成部１１１は、運転関係情報を示す仮想画像を生成する。例えば、運転関係情報が示す対象物が歩行者である場合には、仮想画像生成部１１１は、人を模したアバターを仮想画像として生成する。画像表示部１１０は、運転関係情報を示す仮想画像がＡＲ機器４の画面に表示されるよう、ＡＲ機器４の表示画面を生成する。このとき、例えば、アバターとの同乗しているようなバーチャル空間を実現するための仮想画像（運転に関連しない仮想画像）を表示する場合には、第１実施形態のように、受容度に応じて視界阻害度を調整して、ＡＲ機器４の表示画面に表示させてもよく、特に受容度が低い場合には、コントローラ１００は、運転に関連しない仮想画像はＡＲ機器４の表示画面に表示せず、ドライバーが認知していない情報であり、運転に関連する仮想画像を、ＡＲ機器４の表示画面に表示してもよい。運転に関係する仮想画像の表示位置は、少なくともドライバーの視野範囲（図３の領域Ｐ又は領域Ｑ）であり、ドライバーの注視点の位置又は注視点の近くにすればよい。また仮想画像生成部１１１は、運転関係情報を示す仮想画像がＡＲ機器４の画面に表示させる場合には、仮想画像を強調して表示させてもい。画像表示部１１０は、色合いや大きさなどの表示形態、及び／又は、仮想画像の表示位置を調整することで、仮想画像を強調させてもよい。これにより、例えば、ドライバーの受容度が低い場合に、ドライバーの視野範囲に入っていない、歩行者などの運連関連情報を、ＡＲ機器４の表示画面に表示することができる。 When it is determined that the driver does not recognize the driving-related information, the virtual image generator 111 generates a virtual image showing the driving-related information. For example, when the object indicated by the driving-related information is a pedestrian, the virtual image generator 111 generates an avatar imitating a person as a virtual image. The image display unit 110 generates the display screen of the AR device 4 so that the virtual image showing the driving-related information is displayed on the screen of the AR device 4 . At this time, for example, when displaying a virtual image (virtual image not related to driving) for realizing a virtual space in which the avatar rides with the avatar, as in the first embodiment, depending on the acceptability may be displayed on the display screen of the AR device 4 by adjusting the degree of visibility obstruction using the controller 100. When the acceptability is particularly low, the controller 100 causes virtual images not related to driving to be displayed on the display screen of the AR device 4. Instead, a virtual image related to driving, which is information not recognized by the driver, may be displayed on the display screen of the AR device 4 . The display position of the virtual image related to driving is at least the driver's visual field range (region P or region Q in FIG. 3), and may be at or near the driver's gaze point. Further, when displaying a virtual image showing the driving-related information on the screen of the AR device 4, the virtual image generation unit 111 may emphasize the virtual image for display. The image display unit 110 may emphasize the virtual image by adjusting the display mode such as color tone and size and/or the display position of the virtual image. As a result, for example, when the driver's receptivity is low, it is possible to display on the display screen of the AR device 4 information related to pedestrians and the like, which are out of the driver's field of view.

次に、図６を参照して、コントローラ１００により実行される、表示画像の表示方法を説明する。図６は、コントローラ１００の画像表示制御の処理フローを示すフローチャートである。 Next, a display image display method executed by the controller 100 will be described with reference to FIG. FIG. 6 is a flow chart showing a processing flow of image display control of the controller 100. As shown in FIG.

ステップＳ１１及びステップＳ１２の制御処理は、第１実施形態におけるステップＳ１及びステップＳ２と同様であり、説明を省略する。ステップＳ１３にて、運転関係情報取得部１４０はセンサを用いて運転関係情報を取得する。ステップＳ１４にて、画像表示部１１０は、視線検出部１２０で検出されるドライバーの視線方向の情報と、取得された運転関係情報に基づき、ドライバーが運転関係情報を認知しているか否か判定する。ドライバーが運転関係情報を認知していると判定した場合には、コントローラ１００はステップＳ１６の制御処理を実行する。 The control processing of steps S11 and S12 is the same as that of steps S1 and S2 in the first embodiment, and description thereof will be omitted. In step S13, the driving-related information acquisition unit 140 acquires driving-related information using sensors. In step S14, the image display unit 110 determines whether or not the driver recognizes the driving-related information based on the driver's line-of-sight direction information detected by the line-of-sight detection unit 120 and the acquired driving-related information. . When it is determined that the driver recognizes the driving-related information, the controller 100 executes control processing in step S16.

ドライバーが運転関係情報を認知していない場合には、ステップＳ１５にて、仮想画像生成部１１１は、運転関係情報を示す仮想画像（運転関係画像）を生成する。ステップＳ１６～ステップＳ１９の制御処理は、第１実施形態におけるステップＳ３～Ｓ６と同様であり、説明を省略する。ただし、ステップＳ１５の制御処理で、運転に関係する仮想画像を生成した場合には、ステップＳ１８にて、画像表示部１１０は運転に関係する仮想画像を含めてＡＲ機器４の表示画像を生成し、ステップＳ１８にて、画像表示部１１０は生成された表示画像を含む信号をＡＲ機器４に送信する。 When the driver does not recognize the driving-related information, in step S15, the virtual image generator 111 generates a virtual image (driving-related image) indicating the driving-related information. The control processing of steps S16 to S19 is the same as steps S3 to S6 in the first embodiment, and the description thereof is omitted. However, when the virtual image related to driving is generated in the control process of step S15, the image display unit 110 generates the display image of the AR device 4 including the virtual image related to driving in step S18. , in step S18, the image display unit 110 transmits a signal including the generated display image to the AR device 4. FIG.

上記のように本実施形態において、コントローラ１００は、ドライバーが運転に関わる運転関係情報を認知しているか否かを判定し、ドライバーが運転関係情報を認知していないと判定した場合には、受容度が低いときであっても、表示画像に運転関係情報を含めて画面に表示させる。これにより、ドライバーが、運転に関係する情報を認知しているか否判定した上で、運転に関係する情報を積極的に表示し、ドライバーに注意喚起できる。 As described above, in the present embodiment, the controller 100 determines whether or not the driver recognizes the driving-related information related to driving. To display a display image including driving-related information on a screen even when the degree of driving is low. As a result, it is possible to actively display the information related to driving after determining whether or not the driver recognizes the information related to driving, thereby alerting the driver.

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 It should be noted that the embodiments described above are described to facilitate understanding of the present invention, and are not described to limit the present invention. Therefore, each element disclosed in the above embodiments is meant to include all design changes and equivalents that fall within the technical scope of the present invention.

１…車両
２…車載機器
３…車内カメラ
４…ＡＲ機器
１００…コントローラ
１１０…画像表示部
１２０…視線検出部
１３０…受容度推定部 DESCRIPTION OF SYMBOLS 1... Vehicle 2... In-vehicle device 3... In-vehicle camera 4... AR device 100... Controller 110... Image display part 120... Line-of-sight detection part 130... Receptivity estimation part

Claims (12)

車内に位置する表示装置の画面に表示画像を表示させる画像表示部と、
車内ユーザの視線方向を検出する視線検出部と、
前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部とを備え、
前記画像表示部は、前記受容度が高い場合と比較して、前記受容度が低い場合に、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させる画像表示装置。 an image display unit for displaying a display image on a screen of a display device located inside the vehicle;
a line-of-sight detection unit that detects a line-of-sight direction of a user in the vehicle;
an acceptability estimating unit that estimates an acceptability indicating the degree to which the in-vehicle user accepts display of the display image on the screen;
The image display unit is arranged such that, when the acceptability is low, a view obstruction degree indicating a degree of obstruction of the view when the in-vehicle user looks at the line-of-sight direction becomes lower than when the acceptability is high. (2) an image display device for displaying the display image on the screen; 請求項１記載の画像表示装置において、
前記受容度推定部は、前記車内ユーザの状態を示すユーザ情報を取得し、前記ユーザ情報に基づき前記受容度を推定する画像表示装置。 The image display device according to claim 1,
The image display device, wherein the acceptability estimation unit acquires user information indicating the state of the in-vehicle user and estimates the acceptability based on the user information. 請求項１又は２記載の画像表示装置において、
前記受容度推定部は、車載機器から車両情報を取得し、前記車両情報に基づき前記受容度を推定する画像表示装置。 The image display device according to claim 1 or 2,
The image display device, wherein the acceptability estimating unit acquires vehicle information from an in-vehicle device and estimates the acceptability based on the vehicle information. 請求項１～３のいずれか一項に記載の画像表示装置において、
前記視線検出部は、前記視線方向の先にある目視対象物の位置を推定し、
前記受容度推定部は、前記目視対象物の位置が車外である場合には、前記目視対象物の位置が車内である場合と比較して、前記受容度を低く推定する画像表示装置。 In the image display device according to any one of claims 1 to 3,
The line-of-sight detection unit estimates a position of a visual target ahead of the line-of-sight direction,
The image display device, wherein the acceptability estimating unit estimates the acceptability lower when the position of the visual target is outside the vehicle than when the position of the visual target is inside the vehicle. 請求項１～３のいずれか一項に記載の画像表示装置において、
前記視線検出部は、前記視線方向の先にある目視対象物の位置を推定し、
前記画像表示部は、前記目視対象物の位置が車外である場合には、前記受容度の大きさにかかわらず、前記視界阻害度が低くなるように前記表示画像を前記画面に表示させる、又は、前記表示画像を前記画面に表示させない画像表示装置。 In the image display device according to any one of claims 1 to 3,
The line-of-sight detection unit estimates a position of a visual target ahead of the line-of-sight direction,
When the position of the visual target is outside the vehicle, the image display unit displays the display image on the screen so that the visibility obstruction level is low regardless of the acceptability level, or , an image display device that does not display the display image on the screen. 請求項１～５のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像の大きさを小さくして前記画面に表示させる画像表示装置。 The image display device according to any one of claims 1 to 5,
The image display unit causes the display image to be displayed on the screen in a smaller size than when the acceptability is high when the acceptability is low. 請求項１～５のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像の透過度を高くして前記画面に表示させる画像表示装置。 The image display device according to any one of claims 1 to 5,
The image display unit displays the display image on the screen with a higher transparency when the acceptability is low than when the acceptability is high. 請求項１～５のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像に含まれる仮想画像の位置を、前記車内ユーザの注視点から遠くして前記画面に表示させる画像表示装置。 The image display device according to any one of claims 1 to 5,
When the acceptability is low, the image display unit moves the position of the virtual image included in the display image farther from the gaze point of the in-vehicle user than when the acceptability is high. image display device to display on. 請求項１～８のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記車内ユーザからの指令に応じて、前記視界阻害度が所定値より低くなるように前記表示画像を前記画面に表示させる、又は、前記表示画像を前記画面に表示させない画像表示装置。 The image display device according to any one of claims 1 to 8,
The image display unit displays the display image on the screen so that the visibility obstruction degree is lower than a predetermined value, or an image that does not display the display image on the screen, according to a command from the user in the vehicle. display device. 請求項１～９のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、仮想画像を生成し、前記仮想画像を含む前記表示画像を前記画面に表示させる画像表示装置。 The image display device according to any one of claims 1 to 9,
The image display unit generates a virtual image and displays the display image including the virtual image on the screen. 請求項１～１０のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、
ドライバーが運転に関わる運転関係情報を認知しているか否かを判定し、
前記ドライバーが前記運転関係情報を認知していないと判定した場合には、前記受容度が低いときであっても、前記表示画像に前記運転関係情報を含めて前記画面に表示させる画像表示装置。 The image display device according to any one of claims 1 to 10,
The image display unit is
Determining whether the driver is aware of driving-related information related to driving,
An image display device for displaying the display image including the driving-related information on the screen even when the receptivity is low when it is determined that the driver does not recognize the driving-related information. プロセッサにより実行され、車内に位置する表示装置の画面に表示画像を表示する画像表示方法であって、
前記プロセッサは、
車内ユーザの視線方向を検出し、
前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定し、
前記受容度が高い場合と比較して、前記受容度が低い場合には、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させる画像表示方法。 An image display method executed by a processor for displaying a display image on a screen of a display device located in a vehicle, comprising:
The processor
Detects the line-of-sight direction of the user inside the vehicle,
estimating a degree of acceptability indicating the degree to which the in-vehicle user accepts display of the display image on the screen;
When the acceptability is low compared to when the acceptability is high, the display image is displayed so that the visibility obstruction degree indicating the degree of obstruction of the view when the in-vehicle user looks at the line-of-sight direction is low. is displayed on the screen.