JP6913316B2 - Information presentation system - Google Patents

Description

本発明は、移動体を運転する運転者に対して走行に関連する情報を提示するための情報提示システムに関するものである。 The present invention relates to an information presentation system for presenting information related to driving to a driver who drives a moving body.

車両等の移動体に搭載される情報提示システムには、いわゆるカーナビゲーションシステムがあり、運転者に対する走行関連情報を提供するものであることは周知である。この種の技術は、運転者が移動体を運転するに際し、走行体の進路や道路状況などの走行関連情報を運転者に提供するものであった。しかし、走行関連情報の提供は、情報提供システムから運転者に対して一方向であり、インタラクティブなものではなかった。そのため、運転者は情報提供システムから提供される情報に対し一方的に従うのみであり、同乗者のような関係が構築されるものではなかった。 It is well known that the information presentation system mounted on a moving body such as a vehicle includes a so-called car navigation system, which provides driving-related information to the driver. This type of technology provides the driver with travel-related information such as the course and road conditions of the traveling body when the driver drives the moving body. However, the provision of driving-related information was unidirectional from the information provision system to the driver, and was not interactive. Therefore, the driver only unilaterally follows the information provided by the information providing system, and does not establish a relationship like a passenger.

そこで、車載ロボットというコンセプトが出現し、インタラクティブな関係性をもった情報提示システムが開発されている（非特許文献１および２参照）。この種の技術は、走行関連情報に加えて相互間の情報伝達を可能にするものであり、映像、音声、光または駆動部の動きを媒体として、画像処理または音声認識などの技術を応用することによって、会話的要素を導入しようとするものである。 Therefore, the concept of an in-vehicle robot has emerged, and an information presentation system having an interactive relationship has been developed (see Non-Patent Documents 1 and 2). This type of technology enables mutual information transmission in addition to driving-related information, and applies technologies such as image processing or voice recognition using video, audio, light, or movement of the drive unit as a medium. By doing so, it attempts to introduce a conversational element.

ところが、上記技術によれば、車載ロボットと運転者とが一対一型のインタラクションが前提であり、例えば、運転中において、車載ロボットが会話を開始した場合、運転者は応答しなければならない意識を持つこととなり、運転に集中できない要素を招来させるという問題点があった。他方、車載ロボットの会話に応答しない場合には、有効なインタラクションが形成されず、単なるナビゲーションシステムが搭載されているに過ぎない状態となり、従前と相違しないこととなり得るものであった。 However, according to the above technology, it is premised that the in-vehicle robot and the driver have a one-to-one interaction. For example, when the in-vehicle robot starts a conversation while driving, the driver must respond. There was a problem that it caused an element that could not be concentrated on driving. On the other hand, if the vehicle does not respond to the conversation of the in-vehicle robot, no effective interaction is formed, and the navigation system is merely installed, which may not be different from the conventional one.

そこで、本願の発明者らにおいて、多人数会話を利用した認知負荷の軽減を目的とする車載型情報提示システムを開発した（非特許文献３参照）。この技術は、一対一型のインタラクションの問題点を解消すべく、車載ロボットによって多人数会話を実現させるものであり、運転者の会話への参加が要請されないことをコンセプトとするものである。すなわち、車載ロボットが多人数会話を実行することにより、運転者は会話の参加に対し自由度を有することとなり、この自由度により多人数会話における緩やかな共同性を実現するのである。その結果として、運転に集中する際には、会話に応答しないことが許容され、運転者の認知負荷を軽減するものであった。 Therefore, the inventors of the present application have developed an in-vehicle information presentation system for the purpose of reducing the cognitive load using multi-person conversation (see Non-Patent Document 3). This technology realizes multi-person conversation by an in-vehicle robot in order to solve the problem of one-to-one interaction, and is based on the concept that the driver is not required to participate in the conversation. That is, when the in-vehicle robot executes a multi-person conversation, the driver has a degree of freedom in participating in the conversation, and this degree of freedom realizes a loose communality in the multi-person conversation. As a result, when concentrating on driving, it was allowed not to respond to the conversation, which reduced the cognitive load on the driver.

特開２０１７−１９４３６号公報Japanese Unexamined Patent Publication No. 2017-19436

伊藤宏平他，「車載ロボットの試作」ＰＩＯＮＥＥＲ Ｒ＆Ｄ，Ｖｏｌ．１７，Ｎｏ．１／２００７Kohei Ito et al., "Prototype of In-Vehicle Robot" PIONEER R & D, Vol. 17, No. 1/207 市原直彦他，「車載カメラ応用技術〜画像認識カーナビゲーションと車載ロボット〜」ＰＩＯＮＥＥＲ Ｒ＆Ｄ，Ｖｏｌ．１７，Ｎｏ．１／２００７Naohiko Ichihara et al., "In-vehicle camera application technology-image recognition car navigation and in-vehicle robot-" PIONEER R & D, Vol. 17, No. 1/207 吉川宗志他，「多人数インタラクション型ドライビングエージェント（ＮＡＭＩＤＡ）におけるインタラクションデザイン」Ｐ−２９，ＨＡＩシンポジウム２０１６Muneshi Yoshikawa et al., "Interaction Design in Multi-person Interaction Driving Agent (NAMIDA)" P-29, HAI Symposium 2016

前掲の車載ロボットは、専らナビゲーション情報を運転者に伝達するためのものであり、当該ナビゲーション情報に追加して、日常会話または関連情報を話題として提供するものであった。また、多人数会話型の車載ロボットにあっては、運転者の認知負荷を軽減するものである点で優れるが、提供される情報については、やはりナビゲーション情報および付加情報に限定され、運転操作に関する情報、すなわち移動体の走行に直接的に関連する情報は含まれていなかった。これは、走行に関連する情報を音声等で伝達することの困難性に由来するものであった。 The above-mentioned in-vehicle robot is exclusively for transmitting navigation information to the driver, and in addition to the navigation information, provides daily conversation or related information as a topic. In addition, a multi-person conversation type in-vehicle robot is excellent in that it reduces the cognitive load of the driver, but the information provided is also limited to navigation information and additional information, and is related to driving operations. Information, that is, information directly related to the running of the moving body, was not included. This was due to the difficulty of transmitting information related to driving by voice or the like.

ところで、近時の移動体には、自動ブレーキシステムに代表されるように、各種のセンサ類とコンピュータ制御によって、走行体を運転者の操作ミスから防御することができるものとなっており、さらに、自動運転システムに関する技術が急速に進歩し、移動体を自動で走行させることが実現しつつある。このように、移動体に各種センサが搭載されることにより、運転者が注視しなければならない情報についてもセンサによる検知がなされ、また死角領域についてもセンサによる検知がなされ、これらの情報に基づいて制御がなされ得る構成となっている（特許文献１参照）。 By the way, in recent moving bodies, as represented by the automatic braking system, various sensors and computer control can protect the traveling body from the driver's operation mistakes, and further. , The technology related to the automatic driving system is rapidly advancing, and it is being realized that the moving body is automatically driven. In this way, by mounting various sensors on the moving body, the information that the driver must pay attention to is also detected by the sensor, and the blind spot area is also detected by the sensor, and based on this information. It has a configuration that can be controlled (see Patent Document 1).

上記の自動運転システムについて広く受け容れられている定義には、自動化の程度によりレベル０〜４まで段階的に区分されているものがある。この定義によれば、レベル４では完全自動運転の状態であるが、レベル３では、自動運転状態と手動操作による運転状態とが混在する状態とされている。従って、レベル３および４の状態は、運転者が運転操作を行わない状況において移動体が走行する事象を出現させることとなる。 The widely accepted definition of the above-mentioned autonomous driving system is that it is divided into levels 0 to 4 in stages according to the degree of automation. According to this definition, level 4 is a state of fully automatic operation, but level 3 is a state in which an automatic operation state and an operation state by manual operation are mixed. Therefore, the states of Levels 3 and 4 cause an event in which the moving body travels in a situation where the driver does not perform the driving operation.

しかしながら、上記自動運転システムにおいては、特にレベル３における自動運転状態においては、移動体が自動運転できる状態であるのか、または手動操作によって運転すべき状態であるのかは、移動体に搭載された制御システムによって制御されることから、制御システム外部（運転者）において客観的に把握することは容易でなかった。そして、これらの状況の変化は、専ら報知装置によって運転者に覚知させるに留まり、自動運転時における走行が、どのような状況判断によってなされているのかは運転者において知ることができなかった。そのため、運転者は自動運転状態であっても安心することができず、また、移動体の走行状態について自らの観察によって安全性を確認せざるを得なかった。すなわち、自動運転システムと運転者とのインターフェース（ＨＭＩ：Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｔｅｒｆａｃｅ）に関する技術については開発されてこなかった。 However, in the above-mentioned automatic driving system, especially in the automatic driving state at level 3, whether the moving body is in a state where it can be automatically driven or in a state where it should be operated by manual operation is controlled by the moving body. Since it is controlled by the system, it was not easy to objectively grasp it outside the control system (driver). Then, these changes in the situation were only made known to the driver by the notification device, and the driver could not know what kind of situation judgment was made during the automatic driving. Therefore, the driver cannot be relieved even in the automatic driving state, and has no choice but to confirm the safety by his own observation of the running state of the moving body. That is, the technology related to the interface (HMI: Human Machine Interface) between the automatic driving system and the driver has not been developed.

本発明は、上記諸点にかんがみてなされたものであって、その目的とするところは、移動体に搭載されるセンサ類から提供される走行に直接関連する情報を運転者に視覚的に提示するためのシステムを提供するとともに、移動体が走行に関連する情報を入力している状況をも運転者に覚知させ得る情報提示システムを提供することである。 The present invention has been made in view of the above points, and an object of the present invention is to visually present to the driver information directly related to traveling provided by sensors mounted on a moving body. In addition to providing a system for this purpose, it is also to provide an information presentation system that can make the driver aware of the situation in which the moving body is inputting information related to traveling.

そこで、本発明は、有人の移動体に備えられて運転者に対して該移動体の走行に関連する情報を提示する情報提示システムであって、前記移動体の走行状態を示す走行情報、該移動体の外方における走行に必要な外部環境情報、および、該移動体を操作する運転者にかかる運転者情報のうち一種以上の情報を、センサ類から取得する情報取得手段と、前記情報取得手段により取得される情報から運転者に提示すべき提示情報を生成する制御手段と、前記制御手段により生成される提示情報を運転者に覚知させるための情報覚知手段とを備え、前記情報覚知手段は、複数の表示体を備え、該表示体は、それぞれが同一の形態変化によって、または個別に単独の形態変化によって運転者に覚知させるものであることを特徴とする。 Therefore, the present invention is an information presenting system provided for a manned mobile body and presenting information related to the running of the moving body to a driver, and the running information indicating the running state of the moving body, the same. An information acquisition means for acquiring one or more of the external environment information necessary for traveling outside the moving body and the driver information related to the driver operating the moving body from the sensors, and the information acquisition. The information includes a control means for generating presentation information to be presented to the driver from the information acquired by the means, and an information sensing means for making the driver aware of the presentation information generated by the control means. The recognizing means includes a plurality of display bodies, each of which causes the driver to be aware of the same morphological change or individually by a single morphological change.

上記構成によれば、走行情報、外部環境情報および運転者情報の一種以上を取得し、これらの情報に基づいて運転者に提示すべき情報が生成され、覚知手段によって運転者に情報提示されるものである。ここで、覚知手段としては、複数の表示体を備えており、この複数の表示体について、形態変化させることによって運転者の意識を喚起させ、走行関連情報を提示するものであり、表示体の形態とは、音（もしくは音声）による場合のほか、表示の形状、色彩、模様またはこれらの組合せであり、映像として形態を変化させる場合のほか、表示体を移動または回転させるなど、表示体を駆動することによって形態を変化させる場合もあり得る。文字による形態の表示もあり得るが、視覚的に瞬間認識できるためには、専ら外観上の変化による形態認識を中心とし、音声による場合は副次的な内容とすることができる。 According to the above configuration, one or more of driving information, external environment information and driver information are acquired, information to be presented to the driver is generated based on the information, and the information is presented to the driver by a conscious means. It is a thing. Here, as a means of awareness, a plurality of display bodies are provided, and the display bodies are used to arouse the driver's consciousness and present driving-related information by changing the form of the plurality of display bodies. The form of is not only by sound (or sound), but also by the shape, color, pattern or combination of these, and in addition to changing the form as an image, moving or rotating the display body, etc. The morphology may be changed by driving. Although it is possible to display the form by characters, in order to be able to visually recognize the moment, the form recognition by the change in appearance can be mainly focused, and in the case of voice, it can be a secondary content.

本発明の移動体は、その移動行程の一部または全部を制御する自動運転制御装置と、前記自動運転制御装置による移動運転モードと運転者による手動運転モードとの切り換えを可能にする切換手段とを備える場合があり、このような移動体の場合の制御手段は、自動運転モードへの切り換えが可能であることを提示する提示情報を生成し、または手動運転モードへの切り換えを示唆することを提示する提示情報を生成するものとすることができる。そして、運転者によって自動運転モードに切り換えられた場合には、外部環境情報のうち、移動体が走行に際して必要となるべき情報が取得されていることを提示するように提示情報を生成するような構成としている。 The moving body of the present invention includes an automatic driving control device that controls a part or all of the moving stroke, and a switching means that enables switching between the moving driving mode by the automatic driving control device and the manual driving mode by the driver. In the case of such a moving body, the control means may generate presentation information indicating that switching to the automatic driving mode is possible, or suggest switching to the manual driving mode. It is possible to generate the presentation information to be presented. Then, when the driver switches to the automatic driving mode, the presentation information is generated so as to indicate that the information that the moving body should need for driving is acquired among the external environment information. It has a structure.

さらに、本発明の情報的システムには、運転者の視覚に関する情報を取得する手段（アイトラッカー）を同時に備えることができ、運転者の視線を入力情報として、覚知手段における覚知の態様に反映させることが可能である。このような態様においては、自動運転時または手動運転時のいずれの場合においても、運転者の視線を検出し、覚知手段による覚知の状態が、運転者の視線に同調するように同一方向を注視している状態を表現させることも可能となる。覚知手段を構成する表示体が生物の様態を模したものであれば、運転者と表示体とが協力関係にあるような覚知方法も実現できる。また、走行時（特に自動運転時）において、運転者の視線が頻繁に特定の方向を示す場合、運転者が特に注視している事項を特別な情報として入力させることもでき、この情報の処理方法としては、移動体の走行における注意点を運転者が指示するような様態を形成することも可能となる。 Further, the information system of the present invention can be provided with a means (eye tracker) for acquiring information on the driver's vision at the same time, and the driver's line of sight is used as input information to form a mode of awareness in the awareness means. It is possible to reflect it. In such an embodiment, the driver's line of sight is detected in both automatic driving and manual driving, and the state of awareness by the sensing means is synchronized with the driver's line of sight in the same direction. It is also possible to express the state of watching. If the display body that constitutes the recognition means imitates the state of a living thing, it is possible to realize a recognition method in which the driver and the display body have a cooperative relationship. In addition, when the driver's line of sight frequently points in a specific direction during driving (especially during automatic driving), it is possible to input the matter that the driver is paying particular attention to as special information, and this information is processed. As a method, it is also possible to form a mode in which the driver gives instructions on points to be noted when traveling the moving body.

本発明によれば、複数の表示体によって形態変化によって走行関連情報を表示するため、運転者が運転操作を行っている場合には、運転に集中しつつ走行関連情報を視覚的に入手することができる。また、移動体が自動運転により走行している状況下においては、自動運転に際していかなる情報を入手しているかが表示体を介して提示されることとなり、運転者において、表示体以外の状況との比較、すなわち自らの観察による走行関連情報との比較を可能とするものである。従って、移動体が自動運転操作によって走行する場合においても、運転者において、正常な状況判断がなされていることを視覚的に覚知することができ、運転者を安心させることができる。 According to the present invention, since the driving-related information is displayed by changing the form by a plurality of display bodies, when the driver is performing the driving operation, the driving-related information can be visually obtained while concentrating on the driving. Can be done. In addition, in a situation where the moving body is traveling by automatic driving, what kind of information is obtained during automatic driving is presented through the display body, and the driver is in a situation other than the display body. It enables comparison, that is, comparison with driving-related information based on one's own observation. Therefore, even when the moving body travels by the automatic driving operation, the driver can visually recognize that the normal situation judgment is made, and the driver can be relieved.

本発明の実施形態の概要を示す説明図である。It is explanatory drawing which shows the outline of the Embodiment of this invention. ＨＭＩコントローラおよびＨＭＩの構成を示す説明図である。It is explanatory drawing which shows the structure of the HMI controller and HMI. ＨＭＩの具体的形態の一態様を示す説明図である。It is explanatory drawing which shows one aspect of the specific form of HMI. ＨＭＩの移動体への搭載例を示す説明図である。It is explanatory drawing which shows the example of mounting HMI on a moving body. ＨＭＩコントローラにおける処理フローを示す説明図である。It is explanatory drawing which shows the processing flow in an HMI controller. ＨＭＩコントローラにおける処理フローを示す説明図である。It is explanatory drawing which shows the processing flow in an HMI controller. 表示体の制御方法を示す説明図である。It is explanatory drawing which shows the control method of the display body. 表示体の制御方法を示す説明図である。It is explanatory drawing which shows the control method of the display body. ＨＭＩの具体的形態についての変形例を示す説明図である。It is explanatory drawing which shows the modification about the specific form of HMI.

以下、本発明の実施の形態を図面に基づいて説明する。図１は、本実施形態のシステムの概要を示している。本実施形態に係る情報提示システムは、車両等の移動体に搭載されるものであり、当該移動体は自動運転システム１が搭載されていることを前提とするものである。また、自動運転システム１は、自動運転制御装置による自動運転と運転者ＤＲが運転操作する手動運転との相互間において、移動体の走行中に運転者ＤＲの操作によって切換を可能としている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows an outline of the system of the present embodiment. The information presentation system according to the present embodiment is mounted on a moving body such as a vehicle, and it is premised that the moving body is equipped with the automatic driving system 1. Further, the automatic driving system 1 enables switching between automatic driving by the automatic driving control device and manual driving operated by the driver DR by the operation of the driver DR while the moving body is traveling.

自動運転システム１は、図１に示されるように、各種の情報を入手するための情報取得手段を備えている。例えば、位置情報の入手のためのＧＰＳ受信部１１、地図データベース１２、外部センサ１３，内部センサ１４などがある。これらの情報は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１６に入力され、このＥＣＵによる制御により運転切換の可否の判定および自動運転時の走行制御を可能としている。 As shown in FIG. 1, the automatic driving system 1 includes information acquisition means for obtaining various kinds of information. For example, there are a GPS receiving unit 11 for obtaining position information, a map database 12, an external sensor 13, an internal sensor 14, and the like. This information is input to the ECU (Electronic Control Unit) 16 and can be controlled by the ECU to determine whether or not the operation can be switched and to control the vehicle during automatic operation.

外部センサ１３は、移動体の外方における走行に必要な外部環境を取得するためのセンサ類であり、カメラ、レーダー、ライダー（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などがある。カメラは、所定の外部環境を撮影するためのものであり、先行車や障害物などの物体の検出に必要な情報を取得するために使用される。また、画像処理によって、信号機、歩行者、構造物などを区別するとともに、信号機の表示の状態や道路標識の表示内容などを検出する。レーダーは、電波を利用して移動体外方の障害物などを検出するために使用される。ライダーは、光を利用して移動体外方の障害物などを検出するために使用される。外部環境に関する情報を入手するためには、これらの以外の入力装置を付加してもよく、入手情報は重複してもよい。また、重複する情報の入手が制御を混乱させる場合は、一部のセンサ類を省略してもよい。 The external sensor 13 is a group of sensors for acquiring an external environment necessary for traveling outside the moving body, and includes a camera, a radar, a lidar (LIDAR: Laser Imaging Detection and Ranking), and the like. The camera is for photographing a predetermined external environment, and is used for acquiring information necessary for detecting an object such as a preceding vehicle or an obstacle. In addition, image processing distinguishes traffic lights, pedestrians, structures, etc., and detects the display state of traffic lights and the display contents of road signs. Radar is used to detect obstacles outside the moving body using radio waves. The rider is used to detect obstacles outside the moving body using light. In order to obtain information on the external environment, input devices other than these may be added, and the obtained information may be duplicated. Further, if the acquisition of duplicate information confuses control, some sensors may be omitted.

内部センサ１４は、移動体の走行状態を取得するためのセンサ類であり、車速センサ、加速度センサ、ヨーレートセンサなどがある。車速センサは、車輪または車軸における回転速度を検出するものである。加速度センサは、前後方向の加速度とともに、左右方向の加速度を検出するものである。ヨーレートセンサは、移動体の重心の鉛直軸周りの回転角速度を検出するものである。これらのセンサ類により、少なくとも移動体が走行している（または停止している）状況の基本的な状態を取得することができる。これらの情報をＧＰＳ情報や地図データ等に付加して処理することにより、走行計画に基づく運転状況を検出することも可能となる。 The internal sensor 14 is sensors for acquiring the traveling state of the moving body, and includes a vehicle speed sensor, an acceleration sensor, a yaw rate sensor, and the like. The vehicle speed sensor detects the rotational speed on the wheels or axles. The acceleration sensor detects the acceleration in the left-right direction as well as the acceleration in the front-rear direction. The yaw rate sensor detects the rotational angular velocity around the vertical axis of the center of gravity of the moving body. With these sensors, at least the basic state of the state in which the moving body is running (or stopped) can be acquired. By adding this information to GPS information, map data, or the like and processing it, it is possible to detect the driving situation based on the traveling plan.

ＥＣＵ１６は、外部状況認識部および位置認識部を備えており、ＧＰＳ受信部１１，地図データベース１２および外部センサ１３から入力される情報により、外部状況および位置情報から、外部環境情報として認識する。なお、外部状況として認識されるべき事項としては、道路の幅や形状、移動体外方の障害物の存否、信号機や道路標識の表示内容などが挙げられる。 The ECU 16 includes an external situation recognition unit and a position recognition unit, and recognizes the external situation and position information as external environment information based on the information input from the GPS receiving unit 11, the map database 12, and the external sensor 13. Items that should be recognized as external conditions include the width and shape of the road, the presence or absence of obstacles outside the moving body, and the display contents of traffic lights and road signs.

また、ＥＣＵ１６は、運転制御部を備えており、外部環境情報を参照しつつアクセル操作、ブレーキ操作および操舵操作を制御するものである。これらの操作には、スロットルアクチュエータ、ブレーキアクチュエータ、および操舵アクチュエータによるものであり、各アクチュエータによって各操作が制御されるものである。なお、予め走行計画が生成されるシステムでは、当該走行計画に基づいた走行を実現する。 Further, the ECU 16 includes an operation control unit, and controls the accelerator operation, the brake operation, and the steering operation while referring to the external environment information. These operations are performed by a throttle actuator, a brake actuator, and a steering actuator, and each operation is controlled by each actuator. In a system in which a travel plan is generated in advance, travel based on the travel plan is realized.

さらに、ＥＣＵ１６は、操作入力量検出部、走行状態認識部、運転者状態認識部、運転切換部などを備える。操作入力量検出部、運転者状態認識部および運転切換部は、後述の運転者情報センサ１５により検出された情報を認識するものであり、走行状態認識部は、内部センサ１４による走行状態を認識するものである。 Further, the ECU 16 includes an operation input amount detecting unit, a traveling state recognition unit, a driver state recognition unit, an operation switching unit, and the like. The operation input amount detection unit, the driver state recognition unit, and the operation switching unit recognize the information detected by the driver information sensor 15 described later, and the running state recognition unit recognizes the running state by the internal sensor 14. Is what you do.

上記のＥＣＵ１６により認識され、または制御される情報は、ＨＭＩコントローラ２０に出力され、さらに提示情報がＨＭＩ３０に出力される。ＨＭＩコントローラ２０およびＨＭＩ３０の詳細は後述するが、ＨＭＩコントローラ２０の概略は、情報の入力部、運転者ＤＲに対する提示情報の生成部、および出力部などを備えている。出力部から出力された信号が、ＨＭＩ３０に入力され、運転者ＤＲへ覚知するための情報が表示される構成となっている。ＨＭＩには複数の表示体が備えられ、例えば、アクチュエータの駆動により形態を変形するものとなっている。複数の表示体は、同時かつ同様の形態変化により提示情報を覚知させる場合のほか、個々の表示体が個別に形態変化し、総合的に提示情報を覚知させる場合がある。これらの覚知方法の相違は、走行安定時と緊急時とで区別することがあるほか、自動運転時と手動運転時とで区別することがある。いずれの場合においても、表示体によって表示される提示情報を運転者ＤＲが確認することができる。なお、ＨＭＩは、移動体と運転者ＤＲとの間で情報を入出力するためのインターフェースであり、入力としては音声認識のためのマイクなどを備えることができるほか、操作ボタンを備える構成としてもよい。 The information recognized or controlled by the ECU 16 is output to the HMI controller 20, and the presented information is output to the HMI 30. The details of the HMI controller 20 and the HMI 30 will be described later, but the outline of the HMI controller 20 includes an information input unit, a generation unit for presenting information to the driver DR, an output unit, and the like. The signal output from the output unit is input to the HMI 30, and the information for notifying the driver DR is displayed. The HMI is provided with a plurality of display bodies, and for example, the form is deformed by driving an actuator. In addition to the case where the plurality of display bodies are aware of the presented information by simultaneous and similar morphological changes, there are cases where the individual display bodies are individually changed in morphology to comprehensively recognize the presented information. Differences in these awareness methods may be distinguished between stable driving and emergencies, and may be distinguished between automatic driving and manual driving. In either case, the driver DR can confirm the presented information displayed by the display body. The HMI is an interface for inputting / outputting information between the mobile body and the driver DR, and can be provided with a microphone or the like for voice recognition as an input, or can be provided with an operation button. good.

また、自動運転システム１には、運転者情報センサ１５を備えている。この運転者情報センサ１５は、移動体を操作する運転者ＤＲの状態を検出するものであり、前記表示体によって表示された情報に基づき、適宜操作を行った、または行わなかったかを検出し、さらに視線に関する情報を得るためのアイトラッカーなどを備えている。なお、触覚センサはハンドルに設けられ、運転者ＤＲよるハンドル操作が可能な状態であるかを検知し、操作入力量センサは、運転者ＤＲの操作による操作量を検知するものである。切換操作スイッチは、運転者ＤＲが自動運転と手動運転との切換操作を行ったことを検知するものである。 Further, the automatic driving system 1 is provided with a driver information sensor 15. The driver information sensor 15 detects the state of the driver DR operating the moving body, and detects whether or not the operation is appropriately performed based on the information displayed by the display body. In addition, it is equipped with an eye tracker for obtaining information on the line of sight. The tactile sensor is provided on the steering wheel and detects whether the steering wheel can be operated by the driver DR, and the operation input amount sensor detects the operation amount by the operation of the driver DR. The changeover operation switch detects that the driver DR has performed a changeover operation between automatic operation and manual operation.

本実施形態に係る情報提示システムの概要は上記のとおりであるが、自動運転システム１については、その他の機能を付加させたものであってもよい。また、ＨＭＩコントローラ２０における制御部は、ＥＣＵ１６の制御装置によって作用させてもよいが、本実施形態では、ＨＭＩの機能を説明するうえで、個別のコントローラとして構成したものを例示している。 The outline of the information presentation system according to the present embodiment is as described above, but the automatic operation system 1 may be provided with other functions. Further, the control unit in the HMI controller 20 may be operated by the control device of the ECU 16, but in the present embodiment, in order to explain the function of the HMI, a controller configured as an individual controller is illustrated.

図２は、ＨＭＩコントローラ２０およびＨＭＩ３０の構成を示すものである。この図に示しているように、ＨＭＩコントローラ２０は、制御部（制御手段）２１と入出力部２２とを備えている。入出力部２２は、前述のＥＣＵ１６において外部環境情報（外部状況・位置情報など）および走行情報（走行状態など）として認識された各種センサ類の情報を入力し、また、ＨＭＩ３０から出力される情報を入力する。また、制御部２１によって生成される制御信号をＨＭＩ３０に出力する。入出力部２２に入力される情報を取得する前記センサ類などが具体的な情報取得手段であるが、制御部２１の入力情報モジュールを合わせた構成によって情報取得手段として機能するものと観念することができる。 FIG. 2 shows the configuration of the HMI controller 20 and the HMI 30. As shown in this figure, the HMI controller 20 includes a control unit (control means) 21 and an input / output unit 22. The input / output unit 22 inputs information on various sensors recognized as external environment information (external status, position information, etc.) and running information (running state, etc.) in the above-mentioned ECU 16, and also outputs information from the HMI 30. Enter. Further, the control signal generated by the control unit 21 is output to the HMI 30. The sensors and the like that acquire the information input to the input / output unit 22 are specific information acquisition means, but it is considered that the sensors and the like that acquire the information input to the input / output unit 22 function as the information acquisition means by the configuration including the input information module of the control unit 21. Can be done.

制御部２１は、入力情報認識モジュール、提示情報制御モジュール、提示情報生成モジュールおよび運転者状態認識モジュールを備えている。前記入出力部２２から入力される情報は、入力情報認識モジュールまたは運転者状態認識モジュールにより、外部環境情報、走行情報および運転者情報として認識される。これらの情報は、提示情報制御モジュールによって、提示すべき情報として整理される。整理された情報は、提示情報生成モジュールによって出力信号が生成され、入出力部２２を介してＨＭＩ３０に出力される。 The control unit 21 includes an input information recognition module, a presentation information control module, a presentation information generation module, and a driver state recognition module. The information input from the input / output unit 22 is recognized as external environment information, traveling information, and driver information by the input information recognition module or the driver state recognition module. This information is organized as information to be presented by the presentation information control module. An output signal is generated by the presentation information generation module, and the organized information is output to the HMI 30 via the input / output unit 22.

ＨＭＩ３０は、表示体３１、スピーカ３３および映像表示部３４などを備え、情報覚知手段として機能するものである。情報覚知手段はこれらの全てを備えてもよいが、うち少なくとも一つによって構成してもよい。また、スピーカ３３および映像表示部３４は表示体３１に内蔵させる構成としてもよい。 The HMI 30 includes a display body 31, a speaker 33, a video display unit 34, and the like, and functions as an information sensing means. The information sensing means may include all of these, but may be configured by at least one of them. Further, the speaker 33 and the image display unit 34 may be built in the display body 31.

表示体３１は、提示情報を視覚的に提示するためのものであり、複数の表示体（第１〜第ｎ番目）３１ａ，３１ｂ，・・・３１ｎの集合体で構成されている。複数の表示体３１ａ〜３１ｎによって構成するのは、文字や図形で表示することなく、各表示体３１ａ〜３１ｂの形態を変化させるような情報提示方法により、視覚から直感的に情報を得るためである。表示体３１ａ〜３１ｎの形態を変化させるために、ＨＭＩ３０には、アクチュエータ３２を設けている。例えば、表示体３１ａ〜３１ｎを球状の回転体で構成した場合は、その回転体を回転させるための駆動力に変化させるのである。また、各種アクチュエータにより、多種多様な形態の変化を可能にする。 The display body 31 is for visually presenting the presented information, and is composed of an aggregate of a plurality of display bodies (first to nth) 31a, 31b, ... 31n. The reason why the plurality of display bodies 31a to 31n are configured is to intuitively obtain information visually by an information presentation method that changes the form of each display body 31a to 31b without displaying characters or figures. be. In order to change the form of the display bodies 31a to 31n, the HMI 30 is provided with an actuator 32. For example, when the display bodies 31a to 31n are composed of spherical rotating bodies, the driving force for rotating the rotating bodies is changed. In addition, various actuators enable a wide variety of changes in form.

スピーカ３３は、音声として情報提示を行うものである。例えば、緊急時において、表示体３１による情報提示では提示情報が不足する場合などで音声として情報提示させるのである。なお、スピーカ３３は、提示情報のみを音声出力する必要はなく、平常時のように音声出力すべき情報が存在しない場合は、複数の表示体３１ａ〜３１ｎの形態変化と同期させることにより、表示体３１とともに複数人会話を実行させてもよい。 The speaker 33 presents information as voice. For example, in an emergency, when the information presented by the display body 31 is insufficient, the information is presented as voice. It is not necessary for the speaker 33 to output only the presentation information by voice, and when there is no information to be output by voice as in normal times, the speaker 33 displays by synchronizing with the morphological changes of the plurality of display bodies 31a to 31n. A plurality of people may have a conversation with the body 31.

映像表示部３４は、表示体３１またはこれに代わる表示部（ディスプレイパネル等）に映像を表示するものである。カーナビゲーションシステムを搭載する場合には、走行計画に従った走行状態であることを示すことができる。さらには、取得された外部環境情報のうちカメラから取得された映像を提示することもできる。なお、表示体３１に対する映像表示の場合には、個々の表示体３１ａ〜３１ｎの形態変化を生じさせるような映像を提示するものとしてもよい。この場合の表示体３１ａ〜３１ｎは、映像が表示される機能を有する構造として製造される。 The image display unit 34 displays an image on the display body 31 or a display unit (display panel or the like) that replaces the display body 31. When the car navigation system is installed, it can be shown that the vehicle is in a traveling state according to the traveling plan. Furthermore, it is also possible to present the image acquired from the camera among the acquired external environment information. In the case of displaying an image on the display body 31, an image that causes a morphological change of the individual display bodies 31a to 31n may be presented. The display bodies 31a to 31n in this case are manufactured as a structure having a function of displaying an image.

ＨＭＩ３０には、入力操作部３５を備える構成としてもよい。入力操作部３５は、例えば、タッチパネルや切換スイッチなどがある。タッチパネルの場合には、映像表示部３４と兼用することができ、ナビゲーションシステムと連動する場合には、走行経路を変更する際の入力装置として機能させることができ、または、画像情報として提示される場合には、画像の表示切換として使用してもよい。切換スイッチは、自動運転と手動運転との切換スイッチなどがあり、前記自動運転システム１（図１）の運転者情報センサ１５の切換操作スイッチに代えて設置することができる。なお、入力操作部３５は、音声認識システムなどによることもでき、運転者ＤＲが発する音声を取得して入力としてもよい。 The HMI 30 may be configured to include an input operation unit 35. The input operation unit 35 includes, for example, a touch panel and a changeover switch. In the case of a touch panel, it can also be used as an image display unit 34, and when linked with a navigation system, it can function as an input device when changing a traveling route, or is presented as image information. In that case, it may be used as an image display switching. The changeover switch includes a changeover switch between automatic operation and manual operation, and can be installed in place of the changeover operation switch of the driver information sensor 15 of the automatic operation system 1 (FIG. 1). The input operation unit 35 may also use a voice recognition system or the like, and may acquire the voice emitted by the driver DR and use it as an input.

運転者ＤＲは、上記構成の表示体３１の形態変化を視覚より認識し、そこに表示される内容から提示情報を覚知する。形態の変化は、直感的に認識できるものとし、その程度の提示情報の範囲で表示されるものである。また、スピーカから音声出力される音声情報により表示体３１から認識できない情報を得ることができる。 The driver DR visually recognizes the morphological change of the display body 31 having the above configuration, and recognizes the presented information from the contents displayed therein. The change in form is intuitively recognizable and is displayed within the range of presented information to that extent. In addition, information that cannot be recognized from the display body 31 can be obtained from the voice information output from the speaker.

また、外部装置（運転者情報センサの一部）として、アイトラッキングシステム（アイトラッカー）１５ａが設けられ、移動体を操作すべき運転者ＤＲの視線情報を入手できる構成としている。これは、手動運転時においては、注意すべき対象物（信号機や障害物など）に運転者ＤＲの視線が移動しているかを確認するものであり、自動運転時においては、表示体３１の表示情報や外方の対象物などの視認状態を、視線によって確認するものである。 Further, an eye tracking system (eye tracker) 15a is provided as an external device (a part of the driver information sensor) so that the line-of-sight information of the driver DR who should operate the moving body can be obtained. This is to confirm whether the line of sight of the driver DR is moving to an object (traffic light, obstacle, etc.) to be noted during manual driving, and the display body 31 is displayed during automatic driving. The visual state of information and external objects is confirmed by the line of sight.

視線情報の利用としては、例えば、手動運転時にあっては、視線情報の入力により、運転者ＤＲが注意すべき対象物に視線を移していない場合には、表示体３１の形態変化により表示し、その後も視線が移動しない場合は音声情報として提示する場合がある。また、自動運転時にあっては、表示体３１によって表示されている内容を運転者ＤＲが確認しているか否かを判断し、例えば、手動運転に切り換えるべき状態であることを表示体３１によって表示させた場合、運転者ＤＲが見たかどうかを確認するために使用する。手動運転に切り換えるべき状態であるにもかかわらず、表示体３１を見ていない場合は音声情報によって覚知させるなどの判断基準にも利用され得る。 As for the use of the line-of-sight information, for example, in the case of manual driving, if the driver DR does not shift the line of sight to an object to be noted by inputting the line-of-sight information, the display body 31 is displayed by changing the form. , If the line of sight does not move after that, it may be presented as voice information. Further, at the time of automatic operation, it is determined whether or not the driver DR confirms the content displayed by the display body 31, and for example, the display body 31 indicates that the state should be switched to manual operation. If so, it is used to check if the driver DR has seen it. When the display body 31 is not viewed even though the operation should be switched to the manual operation, it can be used as a judgment criterion such as awakening by voice information.

さらに、視線情報は、運転者ＤＲが表示体３１に対して共感できるように、運転者ＤＲの視線に追随させるための情報として使用することができる。運転者は、自動運転時および手動運転時のいずれの場合においても、移動体外方の情報を入手するため、視線を頻繁に移動するが、表示体３１によって表示される内容を当該視線の方向に関するものとするのである。すなわち、表示体３１による表示内容が、運転者ＤＲにおいて視覚的かつ直感的に認知できるものであれば、その表示内容を専ら注視すべき方向とすることも可能となり、その注視すべき方向は、安定走行時においては、運転者ＤＲの視線の方向とすることができる。この場合、表示体３１が後述のように生物の様態を模したものであれば、両者による協力関係（共同注意態勢）が形成しているかのような態様を示すことができる。さらには、運転者とその視線方向とを、交互に注視することを表示内容とすれば、愛玩動物の仕草の一種（いわゆるゲイズオルタネーション）に類似する動作を表現することも可能となる。 Further, the line-of-sight information can be used as information for following the line-of-sight of the driver DR so that the driver DR can sympathize with the display body 31. The driver frequently moves his / her line of sight in order to obtain information on the outside of the moving body in both the automatic driving and the manual driving, and the content displayed by the display body 31 relates to the direction of the line of sight. It is supposed to be. That is, if the display content displayed by the display body 31 is visually and intuitively recognizable by the driver DR, the display content can be set to the direction to be watched exclusively, and the direction to be watched is During stable running, the direction of the driver's DR line of sight can be set. In this case, if the display body 31 imitates the mode of an organism as described later, it is possible to show an aspect as if a cooperative relationship (joint attention posture) between the two is formed. Furthermore, if the display content is to alternately gaze at the driver and his / her line-of-sight direction, it is possible to express an action similar to a kind of pet animal's gesture (so-called gaze alternation).

また、視線情報は、運転者ＤＲが注視する対象物を示す情報であることから、移動体を走行させる際の重要な情報である。そこで、視線情報のうち、繰り返し視線が向けられる方向に存在する対象物、または相対的に長く視線が向けられる方向の対象物については、特に注視すべき対象物として認識させることにも使用できる。この対象物の認識は、ＥＣＵ１６に記憶されることで、自動運転時における安全性の向上を促すこととなる。 Further, since the line-of-sight information is information indicating an object to be watched by the driver DR, it is important information when the moving body is driven. Therefore, among the line-of-sight information, an object that exists in a direction in which the line of sight is repeatedly directed, or an object in a direction in which the line of sight is directed for a relatively long time can be recognized as an object to be particularly watched. The recognition of the object is stored in the ECU 16 to promote the improvement of safety during automatic operation.

なお、アイトラッキングシステム１５ａによって取得される情報は、直接ＨＭＩコントローラ２０の入出力部２２から制御部２１に入力させてもよいが、一義的にＥＣＵ１６に出力し、他の入力情報とともにＥＣＵ１６からＨＭＩコントローラ２０へ出力させる構成としてもよい。 The information acquired by the eye tracking system 15a may be directly input from the input / output unit 22 of the HMI controller 20 to the control unit 21, but it is uniquely output to the ECU 16 and the HMI from the ECU 16 together with other input information. It may be configured to output to the controller 20.

ここで、複数の表示体３１ａ〜３１ｎを使用するＨＭＩ３０の具体例について説明する。図３は、ＨＭＩ３０の具体的形態を示すものである。具体的形態は、図３に示されるように、３つの表示体３１ａ，３１ｂ，３１ｃを有する構成としている。３つの表示体３１ａ，３１ｂ，３１ｃは、ベース３６に設けられた３つの貫通孔３７ａ，３７ｂ，３７ｃに設置され、それらの各頭部が表面から露出させた状態としている。各表示体３１ａ，３１ｂ，３１ｃは、少なくとも頭部の形状が球状となっており、貫通孔３７ａ，３７ｂ，３７ｃに遊嵌された状態で回動可能となっている。また、ベース３６の内部には、個々の表示体３１ａ，３１ｂ，３１ｃを駆動する３つのアクチュエータが設けられ、前記回動を駆動制御できるようになっている。従って、３つの表示体３１ａ，３１ｂ，３１ｃは、ＨＭＩコントローラ２０からの出力により、個別にアクチュエータが作動し、球状頭部を回転させることができる構造となっている。 Here, a specific example of the HMI 30 using a plurality of display bodies 31a to 31n will be described. FIG. 3 shows a specific form of the HMI 30. As shown in FIG. 3, the specific form has a configuration having three display bodies 31a, 31b, and 31c. The three display bodies 31a, 31b, 31c are installed in the three through holes 37a, 37b, 37c provided in the base 36, and their heads are exposed from the surface. Each display body 31a, 31b, 31c has at least a spherical head shape, and can rotate while being loosely fitted in the through holes 37a, 37b, 37c. Further, inside the base 36, three actuators for driving the individual display bodies 31a, 31b, and 31c are provided so that the rotation can be driven and controlled. Therefore, the three display bodies 31a, 31b, and 31c have a structure in which the actuators can be individually operated by the output from the HMI controller 20 to rotate the spherical head.

また、各表示体３１ａ，３１ｂ，３１ｃの球状頭部は、部分的に半透明部材によって周囲と区別され、当該区別された部分によって顔面形態部３８ａ，３８ｂ，３８ｃが形成されている。顔面形態部３８ａ，３８ｂ，３８ｃの内側に各２個ずつのＬＥＤを設置することにより、目部形態部３９ａ１，３９ａ２，３９ｂ１，３９ｂ２を形成している。なお、図中に示されていなが、第３番目の表示体３１ｃにも同様の目部形態部が形成されている。また、図は、スピーカや映像表示部を図示していないが、ベース３６に設置することができるほか、別体で設けてもよい。また、ＨＭＩコントローラ２０は、ベース３６の内部に設けてもよく、これも別体として設置してもよい。ＥＣＵがＨＭＩコントローラとしての機能を有する場合は、格別に設置する必要がないことは言うまでもない。 Further, the spherical heads of the respective display bodies 31a, 31b, 31c are partially distinguished from the surroundings by a translucent member, and the facial morphological portions 38a, 38b, 38c are formed by the distinguished portions. By installing two LEDs each inside the facial morphological portions 38a, 38b, 38c, the eye morphological portions 39a1, 39a2, 39b1, 39b2 are formed. Although not shown in the figure, a similar eye shape portion is formed on the third display body 31c. Further, although the figure does not show the speaker or the image display unit, it can be installed on the base 36 or may be provided separately. Further, the HMI controller 20 may be provided inside the base 36, and may also be provided as a separate body. Needless to say, if the ECU has a function as an HMI controller, it does not need to be installed specially.

上記のように、顔面形態部３８ａ〜３８ｃおよび目部形態部３９ａ１〜３９ｂ２を形成させることにより、表示体３１ａ，３１ｂ，３１ｃが、三つの表示生物のような態様としている。従って、ベース３６の貫通孔３７ａ，３７ｂ，３７ｃが生物の首となり、頭部が回転することにより、顔面（視線）の向きを変更させる状態を模した様態となる。そこで、この顔面（視線）の変更により、形態の変化を実現するのである。このときの視線の変化は、動物などの生物が見る方向を示すものとして、運転者に対し、視覚的かつ直感的に表示することができる。その視線の変更により、運転者と共同して注意しているような状況を表現し得るとともに、緊急時には、特別な態様（生物が慌てた様子）を表現し得るものである。 As described above, by forming the facial morphological portions 38a to 38c and the eye morphological portions 39a1 to 39b2, the display bodies 31a, 31b, and 31c are shaped like three display organisms. Therefore, the through holes 37a, 37b, and 37c of the base 36 serve as the neck of the living thing, and the head rotates to imitate a state in which the direction of the face (line of sight) is changed. Therefore, by changing the face (line of sight), the change in morphology is realized. The change in the line of sight at this time can be visually and intuitively displayed to the driver as indicating the viewing direction of an organism such as an animal. By changing the line of sight, it is possible to express a situation in which the driver is paying attention in collaboration with the driver, and in an emergency, it is possible to express a special aspect (a state in which the creature is in a hurry).

例えば、３つの表示体３１ａ，３１ｂ，３１ｃについて、全て同一方向に顔面（視線）を向けることにより、当該方向に重要な注意物の存在（提示情報）を提示し、また、例えば、これらの１つの表示体３１ｃが、運転者の方向に顔面（視線）を向けることにより、運転者の状態を注視しているような状態を表現することができる。さらに、３つの表示体３１ａ，３１ｂ，３１ｃの全てが、小刻みに左右に回動することにより、慌てているような形態を表現し、緊急時である提示情報を示すことも可能となる。さらには、３つの表示体３１ａ，３１ｂ，３１ｃの顔面（視線）が相互に向かい合う状態とすることにより、複数話者における会話の状態であることを表現することも可能となる。特に、自動運転時においては、自動運転システムによって走行がコントロールされているが、自動運転システムにおいて取得される各種情報（センサが感知する情報）の所在に向かって、顔面（視線）を向けるように表示体３１ａ，３１ｂ，３１ｃを作動させることにより、自動運転システムが、どのような状態で走行しているのかを運転者に対して、感覚的に提示させることが可能となる。 For example, for all three display bodies 31a, 31b, and 31c, by directing the face (line of sight) in the same direction, the existence (presentation information) of important cautions is presented in that direction, and for example, one of these 1 By directing the face (line of sight) toward the driver, the two display bodies 31c can express a state in which the driver's state is being watched. Further, all of the three display bodies 31a, 31b, and 31c rotate left and right in small steps to express a form in a hurry, and it is also possible to show presentation information in an emergency. Furthermore, by setting the faces (line of sight) of the three display bodies 31a, 31b, and 31c to face each other, it is possible to express that the state is a conversation among a plurality of speakers. In particular, during automatic driving, driving is controlled by the automatic driving system, but the face (line of sight) should be directed toward the location of various information (information sensed by the sensor) acquired by the automatic driving system. By operating the display bodies 31a, 31b, and 31c, it is possible to make the driver sensuously present the state in which the automatic driving system is traveling.

なお、目部形態部３９ａ１〜３９ｂ２は、ＬＥＤ等の発光によって出現させるものであるが、この発光色を変化させることによって、形態変化を生じさせてもよい。この場合、自動運転時は、比較的安定した状態であって、その状態を示すために緑色に点灯させ、手動運転時においては、注意喚起のために赤色に点灯させる方法がある。そして、切換可能状態を示す場合には、点滅するなどによって覚知させる方法がある。これらの発光色の変化と、頭部の回転とを重畳的に表示させてもよい。 The eye portion morphology portions 39a1 to 39b2 are made to appear by emitting light from an LED or the like, but the morphology may be changed by changing the emission color. In this case, there is a method in which the vehicle is in a relatively stable state during automatic operation and is lit in green to indicate the condition, and is lit in red to call attention during manual operation. Then, when indicating the switchable state, there is a method of making the user aware by blinking or the like. The change in the emission color and the rotation of the head may be displayed in a superimposed manner.

また、上記のような顔面形態部３８ａ〜３８ｃおよび目部形態部３９ａ１〜３９ｂ２は、頭部全体を映像表示画面として、内部から映像を投影させる構成としてもよい。この場合、頭部そのものを回転駆動する必要がなく、映像を編集することにより、頭部に投影される顔面形態部３８ａ〜３８ｃおよび目部形態部３９ａ１〜３９ｂ２の映像によって、これらの向きが変更しているように視認させる方法としてもよい。 Further, the face morphology portions 38a to 38c and the eye morphology portions 39a1 to 39b2 as described above may have a configuration in which an image is projected from the inside with the entire head as an image display screen. In this case, it is not necessary to drive the head itself to rotate, and by editing the image, the orientations of the facial morphological portions 38a to 38c and the eye morphological portions 39a1 to 39b2 are changed by the images projected on the head. It may be a method of visually recognizing it as if it were.

上記構成のＨＭＩ３０は、運転者から容易に確認できる場所に設置されるものである。例えば、設置すべき移動体が車両である場合には、図４に示すように、ハンドル前方または斜め前方の見やすい位置におけるダッシュボード表面に設置すれば、手動運転時であっても、表示体３１ａ，３１ｂ，３１ｃの動きを確認することができる。このように、文字による表示でなく、視覚的かつ直感的に提示情報が取得できることによって、手動運転時においては注意ポイントを瞬間的に把握でき、また、自動運転時においては、自動運転システムの作動状態を視覚的に把握することができる。 The HMI 30 having the above configuration is installed in a place that can be easily confirmed by the driver. For example, when the moving body to be installed is a vehicle, as shown in FIG. 4, if it is installed on the dashboard surface at an easily visible position in front of the steering wheel or diagonally forward, the display body 31a can be installed even during manual operation. , 31b, 31c can be confirmed. In this way, by being able to obtain the presented information visually and intuitively instead of displaying it in characters, it is possible to instantly grasp the points of caution during manual driving, and the operation of the automatic driving system during automatic driving. The state can be grasped visually.

次に、ＨＭＩコントローラ２０による制御方法について説明する。前述のとおり、ＨＭＩ３０による提示情報の表示は、音声や画像によるものもあるが、ここでは、専ら表示体に対する制御方法を説明する。図５および図６は、制御フローを示すものである。図５は自動運転時（これを自動運転モードという）における制御フローであり、図６は手動運転時（これを手動運転モードという）における制御フローである。 Next, a control method by the HMI controller 20 will be described. As described above, the display of the presented information by the HMI 30 may be by voice or image, but here, the control method for the display body will be exclusively described. 5 and 6 show a control flow. FIG. 5 is a control flow during automatic operation (this is referred to as an automatic operation mode), and FIG. 6 is a control flow during manual operation (this is referred to as a manual operation mode).

図５に示されているように、自動運転モードにおいては、センサ情報（取得情報）が読み込まれ（Ｓ１０１）、さらに、走行情報が読み込まれる（Ｓ１０２）。これら読み込まれた情報に基づいて、まずは、自動走行（自動運転モードによる走行）の継続について可能か否かが判断される（Ｓ１０３）。この判断は、センサ類によって取得されたセンサ情報（検出値）と、これらの数値に関する閾値との比較によってなされる。ここでは、ＨＭＩコントローラで判断しているが、通常はＥＣＵで処理される。自動走行が可能な場合は、自動運転モード状態としての表示処理がなされる。すなわち、自動走行中において運転者に提示すべき情報（表示情報）を選択し、その情報を表示情報として生成し（Ｓ１０４）、複数の表示体ごとに駆動制御情報として生成したうえ（Ｓ１０５）、駆動部（アクチュエータ）に対して出力する（Ｓ１０６）。取得情報は時々刻々変化することから、ＨＭＩコントローラが終了しない限り（Ｓ１０７）、センサ情報を再度読み込む（Ｓ１０１）ことから制御は繰り返される。 As shown in FIG. 5, in the automatic driving mode, the sensor information (acquired information) is read (S101), and further, the driving information is read (S102). Based on the read information, first, it is determined whether or not it is possible to continue the automatic driving (driving in the automatic driving mode) (S103). This judgment is made by comparing the sensor information (detected value) acquired by the sensors with the threshold value related to these numerical values. Here, the determination is made by the HMI controller, but it is usually processed by the ECU. When automatic driving is possible, display processing is performed as an automatic driving mode state. That is, information (display information) to be presented to the driver during automatic driving is selected, the information is generated as display information (S104), and is generated as drive control information for each of a plurality of display bodies (S105). Output to the drive unit (actuator) (S106). Since the acquired information changes from moment to moment, the control is repeated because the sensor information is read again (S101) unless the HMI controller is terminated (S107).

前記自動走行可能か否かの判断（Ｓ１０３）において、自動走行が不可能である場合には、走行切換（手動走行への切換）を促すための情報が生成される（Ｓ１１１）。手動走行への切換情報は、段階的な表示情報を設定することができる。例えば、緊急性を有する場合、近い将来に手動運転が必要となる場合、手動・自動のいずれでも可能であるが手動運転が好ましい場合などがある。ここでは、手動運転が好ましい場合を例に説明する。このような場合には、手動運転を促すための表示情報に沿った駆動部（アクチュエータ）の駆動制御情報を生成し（Ｓ１１２）、駆動部に出力する（Ｓ１１３）。その後、切換スイッチ等の情報を取得し、運転モードが切り換えられたか否かが判断される（Ｓ１１４）。運転モードが切り換えられていない場合は、切換が完了するまで、同様の駆動制御情報が駆動部に出力される。切換が完了した場合は、その後は手動運転モードにおける制御に変更される。 In the determination of whether or not automatic driving is possible (S103), if automatic driving is not possible, information for prompting travel switching (switching to manual driving) is generated (S111). As the switching information to manual driving, stepwise display information can be set. For example, there are cases where there is an urgency, manual operation is required in the near future, manual operation or automatic operation is possible, but manual operation is preferable. Here, a case where manual operation is preferable will be described as an example. In such a case, the drive control information of the drive unit (actuator) is generated (S112) along with the display information for encouraging manual operation, and is output to the drive unit (S113). After that, information on the changeover switch and the like is acquired, and it is determined whether or not the operation mode has been changed (S114). If the operation mode has not been switched, the same drive control information is output to the drive unit until the switching is completed. When the switching is completed, the control is then changed to the manual operation mode.

上記駆動情報としては、前記に例示した表示体３１ａ，３１ｂ，３１ｃによる場合、自動走行時における表示情報としては、外部環境情報のうち、一般的に注視すべき対象物（歩行者、先行車両、信号機等）に対して顔面（視線）を向けること、また、一部の表示体の顔面（視線）を運転者の方向に向けることなどがある。他方、手動運転への切換を促す表示情報の場合には、全ての表示体の顔面（視線）を運転者の方向に向けること、または全てが小刻みに揺れる（左右に往復回転する）ことなどが挙げられる。 When the drive information is based on the display bodies 31a, 31b, 31c exemplified above, the display information at the time of automatic driving is an object (pedestrian, preceding vehicle, etc.) that should be generally watched among the external environment information. The face (line of sight) may be directed toward a traffic light, etc., or the face (line of sight) of some of the display bodies may be directed toward the driver. On the other hand, in the case of display information prompting switching to manual operation, the faces (line of sight) of all the display bodies may be directed toward the driver, or all of them may wiggle (rotate back and forth to the left and right). Can be mentioned.

手動運転モードにおいては、図６に示しているように、センサ情報（取得情報）の読み込み（Ｓ２０１）および走行情報の読み込み（Ｓ１０２）が行われ、これらの情報に基づいて、自動走行の可能性が判断される（Ｓ２０３）。この判断についても、自動運転の継続性の判断と同様であり、センサ情報（検出値）が閾値との比較によるものである。自動運転が不可能な場合は、手動運転が継続されることから、表示情報は手動運転に応じたものが生成される（Ｓ２０４）。当該表示情報に基づき、駆動制御情報が生成され（Ｓ２０５）、駆動情報が出力されるのであり（Ｓ２０６）、ＨＭＩコントローラが終了されない限り、情報の読み込み（Ｓ２０１）から繰り返される。 In the manual operation mode, as shown in FIG. 6, sensor information (acquired information) is read (S201) and driving information is read (S102), and based on these information, there is a possibility of automatic driving. Is determined (S203). This judgment is the same as the judgment of the continuity of automatic driving, and the sensor information (detection value) is compared with the threshold value. When the automatic operation is impossible, the manual operation is continued, so that the displayed information is generated according to the manual operation (S204). Based on the display information, drive control information is generated (S205), drive information is output (S206), and unless the HMI controller is terminated, the information is read (S201) and repeated.

前記自動走行の可能性判断（Ｓ２０３）において、自動走行が可能であると判断される場合は、自動走行への切換が可能な状態であることを表示する（Ｓ２１１〜Ｓ２１３）。自動運転が可能であることの情報提示にあっては、自動運転を促すものではなく、可能であることを示すのみである。これは、自動運転が可能であるとしても自動運転モードが強制されるべき事態ではないからである。そこで、自動運転可能であることの情報提示がなされた後、運転モードの切換について判断されるが（Ｓ２１４）、切換がなされていない場合であっても、手動運転モードと同様の制御がなされる（Ｓ２０４〜Ｓ２０７）。なお、自動運転への切換が完了すれば、自動運転モードによる制御に移行する。 When it is determined in the possibility determination (S203) of automatic driving that automatic driving is possible, it is displayed that switching to automatic driving is possible (S211 to S213). In presenting information that autonomous driving is possible, it does not encourage automatic driving, but merely indicates that it is possible. This is because even if automatic driving is possible, the automatic driving mode should not be forced. Therefore, after the information that the automatic operation is possible is presented, the operation mode switching is determined (S214), but even if the switching is not performed, the same control as the manual operation mode is performed. (S204 to S207). When the switching to the automatic operation is completed, the control shifts to the automatic operation mode.

上記駆動情報としては、前記に例示した表示体３１ａ，３１ｂ，３１ｃによる場合、手動走行時における提示情報としては、外部環境情報のうち、一般的に注視すべき対象物（歩行者、先行車両、信号機等）に対して、その優先度（重要度）に応じて、同時または個別に、個々の表示体について、顔面（視線）を変更することが挙げられる。また、一部の表示体の顔面（視線）を運転者の方向に向けて、運転者の視線情報を取得している状態を表示してもよい。自動運転が可能であることを示す表示情報としては、全ての表示体の顔面（視線）を進行方向に向けることなどが挙げられる。 When the drive information is based on the display bodies 31a, 31b, 31c exemplified above, the information presented during manual driving is an object (pedestrian, preceding vehicle, etc.) that should be generally watched among the external environmental information. It is possible to change the face (line of sight) of each display body simultaneously or individually according to the priority (importance) of the traffic light, etc.). Further, the face (line of sight) of a part of the display body may be directed toward the driver to display the state in which the driver's line of sight information is acquired. Display information indicating that automatic driving is possible includes directing the faces (line of sight) of all display bodies in the direction of travel.

なお、前述の目部形態部は、ＬＣＤ等の光によって表示するものであるが、この光の色彩を変更させる形態変化もあり得ることから、自動運転モードでは、目部形態部を緑色とし、手動運転モードでは赤色として、視覚によって現在モードを表示してもよい。また、モードの切換を促す場合または切換可能である場合を表示するものとして、当該光を点滅させるような形態変化を行うことでもよい。 The above-mentioned eye morphology is displayed by light from an LCD or the like, but since there may be a morphological change that changes the color of this light, in the automatic operation mode, the eye morphology is green. The current mode may be visually displayed as red in the manual operation mode. Further, the form may be changed so as to blink the light as a display for prompting the mode switching or the case where the mode can be switched.

ここで、代表的な表示体の制御方法について説明する。図７は自動走行時における表示体の制御フローであり、図８は手動走行時における表示体の制御フローである。なお、既に説明した部分は重複するため、ここでは省略している。 Here, a typical display body control method will be described. FIG. 7 is a control flow of the display body during automatic driving, and FIG. 8 is a control flow of the display body during manual driving. Since the parts already explained are duplicated, they are omitted here.

図７に示されているように、自動運転時においては、表示すべき情報（表示情報）が読み込まれる（前述により作成された表示情報が使用される）ことにより（Ｓ３０１）、手動運転への切換情報が含まれているかが判断される（Ｓ３０２）。切換情報が含まれない場合は、自動運転状態が継続されることから、その内容に応じて表示体への情報が制御される。このとき、表示すべき情報の数が多数である場合、その数と表示体の数とを比較し（Ｓ３０３）、表示体の数よりも多い場合、具体的には、表示体の１個を除き、残りの数よりも表示情報が多い場合には、表示すべき情報について優先順位を決定する（Ｓ３０４）。表示情報の優先順位は、個々の情報に対して予め順位を設定しておき、その設定順位に従って決定される。例えば、外部環境情報のうちの、歩行者情報を第１順位とし、信号機情報を第２順位とすることができ、また、走行情報のうちの速度情報を第３順位とするように、自動走行において重要となるべき要素について順位が設定される。さらに、例えば、特別に注視すべき対象が存在しない場合などにあっては、運転者の視線に追随させるように、その優先順位を運転者の視線の追随として設定してもよい。 As shown in FIG. 7, during automatic operation, the information to be displayed (display information) is read (the display information created above is used) (S301), so that manual operation can be performed. It is determined whether the switching information is included (S302). When the switching information is not included, the automatic operation state is continued, so that the information to the display body is controlled according to the content. At this time, when the number of information to be displayed is large, the number is compared with the number of display bodies (S303), and when the number is larger than the number of display bodies, specifically, one of the display bodies is used. Except, when there is more display information than the remaining number, the priority is determined for the information to be displayed (S304). The priority of the display information is determined according to the setting order in which the order is set in advance for each piece of information. For example, pedestrian information can be ranked first among external environmental information, traffic light information can be ranked second, and speed information among driving information can be ranked third. Ranking is set for the elements that should be important in. Further, for example, when there is no object to be paid special attention to, the priority may be set to follow the driver's line of sight so as to follow the driver's line of sight.

上記の優先順位に従って、複数の表示体（全体の数−１）に対して、必要な表示を行う。ここでの必要な情報とは、前記例示の場合には、表示体の顔面（視線）を注視すべき方向へ向けるような内容である。特に、自動運転の場合には、操舵が自動で操作され、また、加速し、減速し、または停止するものであるが、それらの操作の原因となる外部環境について、運転者に表示させることが重要となる。そのため、操舵の場合、加減速の場合などに応じて、優先順位を変更してもよく、この場合は、走行情報の取得が同時になされることとなる。なお、多数の表示情報は、第１順位から順次繰り下げて、個々の表示体によって段階的に表示内容を変更し、短時間で全ての表示情報を表示させるように制御してもよい。 According to the above priority, the necessary display is performed on a plurality of display bodies (total number-1). In the case of the above-mentioned example, the necessary information here is such that the face (line of sight) of the display body is directed in the direction to be watched. In particular, in the case of automatic driving, steering is automatically operated, and acceleration, deceleration, or stop is performed, but it is possible to display the external environment that causes these operations to the driver. It becomes important. Therefore, in the case of steering, the priority may be changed according to the case of acceleration / deceleration, and in this case, the traveling information is acquired at the same time. It should be noted that a large number of display information may be sequentially moved down from the first order, the display contents may be changed stepwise by each display body, and control may be performed so that all the display information is displayed in a short time.

残余の１個の表示体については、任意情報が表示されるように制御されている。任意の表示情報とは、運転者に対する表示であり、例えば、前記例示の場合には、顔面（視線）を運転者の方向に向けて、運転者を観察している状態を表示するようなものである。このように、１個の表示体について自由度を与え、表示情報を表示させないことにより、緊急時等の情報を表示させるための重要な表示手段とするのである。すなわち、緊急性を有する表示情報を表示させるときには、この残余の表示体の形態変化によって、緊急状態を示すことができるのである。任意情報には、動物の仕草の一種であるゲイズオルタネーションを再現するように、運転手の目元と、視線に追随する方向との二方向に対し、顔面（視線）を交互に向けるようなものとしてもよい。 Arbitrary information is controlled to be displayed for the remaining one display body. The arbitrary display information is a display for the driver, and for example, in the above example, the face (line of sight) is directed toward the driver to display a state in which the driver is being observed. Is. In this way, by giving a degree of freedom to one display body and not displaying the display information, it is an important display means for displaying information such as an emergency. That is, when displaying urgent display information, it is possible to indicate an urgent state by changing the form of the residual display body. Arbitrary information is like turning the face (line of sight) alternately in two directions, the driver's eyes and the direction that follows the line of sight, so as to reproduce the gaze alternation, which is a type of animal gesture. May be.

前記読込情報における手動運転への切換情報が含まれている場合には、まず、緊急性の有無が判断される（Ｓ３１１）。緊急性がない場合とは、手動運転が望ましいが、手動運転に切り換えなければならない状況ではない場合である。このような場合には、切換情報を表示することとなる。この切換表示は、全ての表示体が使用されることとなる。この表示の後、手動運転に切り換えられたか否かが判断され（Ｓ３１３）、切り換えられれば、手動運転時の表示体制御に移行する（Ｓ３１４）が、切り換えられない場合は、通常の自動運転時における表示として制御される。 When the read information includes the information for switching to manual operation, the presence or absence of urgency is first determined (S311). The case where there is no urgency is when manual operation is desirable, but it is not a situation where it is necessary to switch to manual operation. In such a case, the switching information will be displayed. All display bodies will be used for this switching display. After this display, it is determined whether or not the operation has been switched to manual operation (S313), and if it is switched, the control shifts to the display body control during manual operation (S314), but if it cannot be switched, during normal automatic operation. It is controlled as a display in.

また、手動運転への切換情報において、緊急性を有すると判断された場合には、表示体全体に対して、緊急に手動運転に切り換えるべきであることを知らせる表示制御がなされる（Ｓ３２１）。そして、切換の完了を確認し（Ｓ３２２）、切り換えられれば、手動運転時の表示体制御に移行する（Ｓ３２３）。切換がなされない場合は、自動運転における走行が継続可能かを判断し（Ｓ３２４）、走行可能である場合は、上記のような表示制御を継続させるが、走行できない場合には、結果的にＥＣＵによって緊急停止されることとなり、表示制御は終了する（Ｓ３２５）。 Further, when it is determined that there is an urgency in the switching information to the manual operation, the display control is performed to notify the entire display body that the manual operation should be urgently switched (S321). Then, the completion of the switching is confirmed (S322), and if the switching is performed, the control of the display body during manual operation is started (S323). If the switching is not made, it is determined whether the running in the automatic driving can be continued (S324), and if the running is possible, the above display control is continued, but if the running is not possible, the ECU results as a result. Will result in an emergency stop, and display control will end (S325).

手動運転時における表示体の制御は、図８に示すように、読み込まれた情報（Ｓ４０１）に基づき、自動運転切換情報の有無が判断されたうえで（Ｓ４０２）、切換情報が含まれない場合は、１個の表示体を除き、残りの表示体を使用して、優先順位に応じて表示情報が表示される（Ｓ４０３〜４０５）。優先順位に従った表示の方法、および１個の表示体が任意の情報を表示すること（Ｓ４０６）については、自動運転時における表示体制御の場合と同様であり、また、表示制御が終了するまで上記処理が繰り返される（４０７）。 As shown in FIG. 8, the control of the display body during manual operation is performed when the presence or absence of automatic operation switching information is determined based on the read information (S401) (S402) and the switching information is not included. Displays display information according to the priority order using the remaining display bodies except for one display body (S403 to 405). The display method according to the priority and the display of arbitrary information by one display body (S406) are the same as in the case of display body control during automatic operation, and the display control ends. The above process is repeated until (407).

読込情報に切換情報が含まれる場合は、全ての表示体を使用して切換可能であることを表示する（Ｓ４１１）。なお、表示の方法は前述のとおりである。そして、切換の状態が判断され（Ｓ４１２）、切り換えられた場合は、自動運転時における表示体制御に移行する（Ｓ４１３）が、切り換えられない場合は、通常の手動運転時の表示体制御として処理されることとなる（Ｓ４０３〜Ｓ４０７）。 When the read information includes the switching information, it is displayed that the switching is possible by using all the display bodies (S411). The display method is as described above. Then, the switching state is determined (S412), and if it is switched, it shifts to the display body control during automatic operation (S413), but if it cannot be switched, it is processed as the display body control during normal manual operation. Will be done (S403 to S407).

このように、表示体の制御においては、その全てを同様に制御するのではなく、少なくとも１個の表示体について自由度を与えることにより、種々の状態を表示体によって運転者に覚知させることが可能となるのである。そして、前述のように、表示体が生物の様態を有するものである場合には、その顔面（視線）の方向を制御することとなり、その方向によって、センサ類が何を検知しているか、特に、自動運転時においては、これらのセンサ類が正常に機能しているのか、そしてまた、自動運転システムによって制御され走行する移動体が、そのような状態で、何に注視しつつ走行を継続しているのかが、運転者において容易に確認することが可能となるのである。 As described above, in the control of the display body, not all of them are controlled in the same manner, but various states are made known to the driver by the display body by giving a degree of freedom to at least one display body. Is possible. Then, as described above, when the display body has the appearance of a living thing, the direction of the face (line of sight) is controlled, and what the sensors detect, in particular, according to the direction. At the time of automatic driving, whether these sensors are functioning normally, and also, in such a state, the moving body controlled by the automatic driving system continues to run while paying attention to what. It is possible for the driver to easily confirm whether or not the vehicle is operating.

本発明の実施形態は上記のとおりであるが、上記実施形態は本発明の一例を示すものであり、本発明が上記実施形態に限定されるものではない。従って、上記実施形態に示した構成については適宜変更してもよい。例えば、具体的な表示体の例として図３および図４を示して説明した。この実施形態では３つの表示体を例示したが、この数は適宜増減することができる。また、図示したベース２６の形状は、三方向へ延出するアーチ状としているが、この形状についても適宜変更が可能である。すなわち、表示体を４個にする場合は、ベース２６の中央を中心として、四方に各１個の表示体を配置する構成とすることができ、また、アーチ状のベース２６は円形または矩形の箱体に形成してもよい。 The embodiment of the present invention is as described above, but the above embodiment shows an example of the present invention, and the present invention is not limited to the above embodiment. Therefore, the configuration shown in the above embodiment may be changed as appropriate. For example, FIGS. 3 and 4 have been shown and described as examples of specific display bodies. In this embodiment, three display bodies are illustrated, but the number can be increased or decreased as appropriate. Further, the shape of the base 26 shown in the drawing is an arch shape extending in three directions, but this shape can also be changed as appropriate. That is, when the number of display bodies is four, one display body can be arranged on each side with the center of the base 26 as the center, and the arch-shaped base 26 is circular or rectangular. It may be formed in a box body.

さらに、個々の表示体３１ａ，３１ｂ，３２ｃは、ベース２６に設置したが、ベース２６を設けずに、個別に自立する表示体によって構成してもよい。具体的には、図９に示すような卵型の表示体１３１ａ，１３１ｂ，１３１ｃを自在な場所に設置することも可能である。この卵型の表示体は、低重心に構成することにより、自立可能であり、生物の様態を模した頭部や目部を備えており、全体が回転するか、または頭部に映像を投影させることにより、その形態を変化させることが可能である。また、卵型を呈する外形を変形させることによって形態を変化させてもよい。 Further, although the individual display bodies 31a, 31b, and 32c are installed on the base 26, they may be configured by individually self-supporting display bodies without providing the base 26. Specifically, the egg-shaped display bodies 131a, 131b, 131c as shown in FIG. 9 can be installed at any place. This egg-shaped display body can stand on its own by constructing it with a low center of gravity, and has a head and eyes that imitate the appearance of living things, and the whole rotates or an image is projected on the head. It is possible to change the form by making it. Further, the morphology may be changed by deforming the outer shape exhibiting an egg shape.

上記形態の表示体に代えて、または追加的に表示パネルを設ける構成であってもよい。生物の様態に模した表示物体は、パネル内に映像として表示してもよい。表示パネルはタッチパネルを兼用させることにより、入力操作部を表示体と一体的に構成することができる。 A display panel may be provided in place of or additionally of the display body of the above form. A display object that imitates the appearance of a living thing may be displayed as an image in the panel. By using the display panel also as a touch panel, the input operation unit can be integrally configured with the display body.

１ 自動運転システム
１１ ＧＰＳ受信部
１２ 地図データベース
１３ 外部センサ
１４ 内部センサ
１５ 運転者情報センサ
１５ａ アイトラッキングシステム
１６ ＥＣＵ
２０ ＨＭＩコントローラ
２１ 制御部
２２ 入出力部
３０ ＨＭＩ
３１ 表示体
３１ａ，３１ｂ，３１ｃ，３１ｎ，１３１ａ，１３１ｂ，１３１ｃ 個々の表示体
３２ アクチュエータ
３３ スピーカ
３４ 映像表示部
３５ 入力操作部
３６ ＨＭＩのベース
３７ａ，３７ｂ，３７ｃ 貫通孔
３８ａ，３８ｂ，３８ｃ 顔面形態部
３９ａ１，３９ａ２，３９ｂ１，３９ｂ２ 目部形態部 1 Automatic driving system 11 GPS receiver 12 Map database 13 External sensor 14 Internal sensor 15 Driver information sensor 15a Eye tracking system 16 ECU
20 HMI controller 21 Control unit 22 Input / output unit 30 HMI
31 Display 31a, 31b, 31c, 31n, 131a, 131b, 131c Individual display 32 Actuator 33 Speaker 34 Video display 35 Input operation 36 HMI base 37a, 37b, 37c Through holes 38a, 38b, 38c Face morphology Part 39a1, 39a2, 39b1, 39b2 Eye part morphology part

Claims (11)

有人の移動体に備えられて運転者に対して該移動体の走行に関連する情報を提示する情報提示システムであって、
前記移動体の走行状態を示す走行情報、該移動体の外方における走行に必要な外部環境情報、および、該移動体を操作する運転者にかかる運転者情報のうち一種以上の情報を、センサ類から取得する情報取得手段と、前記情報取得手段により取得される情報から運転者に提示すべき提示情報を生成する制御手段と、前記制御手段により生成される提示情報を運転者に覚知させるための情報覚知手段とを備え、
前記情報覚知手段は、複数の表示体を備え、該表示体は、その一部または全部が移動、回転または変形することによって形態を変化させるものであり、それぞれが同一の形態変化によって、または個別に単独の形態変化によって運転者に覚知させるものであることを特徴とする情報提示システム。 An information presentation system provided for a manned mobile body and presenting information related to the running of the moving body to the driver.
A sensor detects one or more of the running information indicating the running state of the moving body, the external environmental information necessary for running outside the moving body, and the driver information related to the driver who operates the moving body. Make the driver aware of the information acquisition means acquired from the class, the control means for generating the presentation information to be presented to the driver from the information acquired by the information acquisition means, and the presentation information generated by the control means. Equipped with information awareness means for
The information-aware means includes a plurality of display bodies, and the display bodies change their morphology by moving, rotating, or deforming a part or all of the display bodies, each of which is changed by the same morphological change or by the same morphological change. An information presentation system characterized in that the driver is made aware of each individual by a single form change. 有人の移動体に備えられて運転者に対して該移動体の走行に関連する情報を提示する情報提示システムであって、
前記移動体の走行状態を示す走行情報、該移動体の外方における走行に必要な外部環境情報、および、該移動体を操作する運転者にかかる運転者情報のうち一種以上の情報を、センサ類から取得する情報取得手段と、前記情報取得手段により取得される情報から運転者に提示すべき提示情報を生成する制御手段と、前記制御手段により生成される提示情報を運転者に覚知させるための情報覚知手段とを備え、
前記情報覚知手段は、複数の表示体を備え、該表示体は、それぞれが同一の形態変化によって、または個別に単独の形態変化によって運転者に覚知させるものであり、
前記表示体は、映像を表示するものであり、前記制御手段は、前記映像を生成する機能を有するものであり、表示体の部分的領域または全体領域において、顔面形態部および目部形態部の映像が移動し、回転しまたは変形するような態様で表示させるものであり、前記映像の移動、回転または変形によって表示される形態を変化させるものであることを特徴とする情報提示システム。 An information presentation system provided for a manned mobile body and presenting information related to the running of the moving body to the driver.
A sensor detects one or more of the running information indicating the running state of the moving body, the external environmental information necessary for running outside the moving body, and the driver information related to the driver who operates the moving body. Make the driver aware of the information acquisition means acquired from the class, the control means for generating the presentation information to be presented to the driver from the information acquired by the information acquisition means, and the presentation information generated by the control means. Equipped with information awareness means for
The information SatoshiTomo means comprises a plurality of display bodies, the display body state, and are not each be SatoshiTomo the driver by the same morphological changes, or individually by a single morphological changes,
The display body displays an image, and the control means has a function of generating the image, and in a partial area or an entire area of the display body, the facial morphology portion and the eye morphology portion An information presentation system characterized in that an image is displayed in such a manner that it moves, rotates, or is deformed, and the displayed form is changed by the movement, rotation, or deformation of the image. 前記移動体は、その移動行程の一部または全部を制御する自動運転制御装置と、前記自動運転制御装置による自動運転モードと運転者による手動運転モードとの切り換えを可能にする切換手段とを備え、
前記制御手段は、自動運転モードへの切り換えが可能であることを提示する提示情報を生成し、または手動運転モードへの切り換えを示唆することを提示する提示情報を生成するものである
ことを特徴とする請求項１または２に記載の情報提示システム。 The moving body includes an automatic driving control device that controls a part or all of the moving stroke, and a switching means that enables switching between the automatic driving mode by the automatic driving control device and the manual driving mode by the driver. ,
The control means is characterized in that it generates presentation information that suggests that switching to the automatic operation mode is possible, or generates presentation information that suggests switching to the manual operation mode. The information presentation system according to claim 1 or 2. 前記制御手段は、運転者によって自動運転モードに切り換えられた場合、前記外部環境情報のうち、前記移動体が走行に際して必要となるべき情報が取得されていることを提示するように提示情報を生成するものであることを特徴とする請求項３に記載の情報提示システム。 When the control means is switched to the automatic driving mode by the driver, the control means generates presentation information so as to show that the information necessary for the moving body to travel is acquired among the external environment information. The information presentation system according to claim 3 , characterized in that the information is to be used. 前記提示情報は、移動体の進行方向を変更する場合、減速する場合または停止する場合において、その原因となる外部環境情報を含み、かつ、前記複数の表示体のうち、少なくとも１つが該外部環境情報に基づく提示情報を表示するものである請求項４に記載の情報提示システム。 The presented information includes external environment information that causes the moving body to change its traveling direction, decelerate, or stop, and at least one of the plurality of display bodies is the external environment. The information presentation system according to claim 4 , wherein the presentation information based on the information is displayed. 前記情報取得手段は、少なくとも運転者情報として運転者の視線に関する情報を取得するものであり、前記表示体は、少なくとも１つが運転者情報を取得していることを表示するものである請求項４または５に記載の情報提示システム。 The information acquisition means is adapted to obtain information about the driver's line of sight as at least the driver information, the display body according to claim 4 at least one is for displaying that it is getting an driver information Or the information presentation system according to 5. 前記表示体は、前記制御手段が手動運転モードへの切り換えを示唆する提示情報を生成した場合、少なくとも１つの表示体が運転者に対して該提示情報を表示するものである請求項４ないし６のいずれかに記載の情報提示システム。 Claims 4 to 6 in which at least one display body displays the presentation information to the driver when the control means generates presentation information suggesting switching to the manual operation mode. Information presentation system described in any of. 前記制御手段は、運転者によって手動運転モードに切り換えられた場合、前記外部環境情報のうち、該運転者が前記移動体を走行させる操作を行う際に注視すべき要素にかかる提示情報を生成するものであることを特徴とする請求項３に記載の情報提示システム。 When the control means is switched to the manual operation mode by the driver, the control means generates presentation information relating to an element of the external environment information to be watched when the driver performs an operation of traveling the moving body. The information presentation system according to claim 3 , characterized in that it is a thing. 前記情報覚知手段は、音による出力手段を備えていることを特徴とする請求項１ないし８のいずれかに記載の情報提示システム。 The information presentation system according to any one of claims 1 to 8 , wherein the information awareness means includes a sound output means. 前記表示体は、独立した複数の表示部または単一の表示体の内部に視認される複数の表示部によって構成されていることを特徴とする請求項１ないし９のいずれかに記載の情報提示システム。 The information presentation according to any one of claims 1 to 9 , wherein the display body is composed of a plurality of independent display units or a plurality of display units visually recognized inside a single display body. system. 前記表示体の形態またはその変形の様態が生物の様態を模したものであることを特徴とする請求項１ないし１０のいずれかに記載の情報提示システム。 The information presentation system according to any one of claims 1 to 10 , wherein the form of the display body or the mode of deformation thereof imitates the mode of an organism.

Images