JP7445620B2 - 情報提供方法、プログラム及び情報提供装置 - Google Patents

Description

本発明は、情報提供方法、プログラム及び情報提供装置に関する。

特許文献１には、車両の情報を提供する車両の情報提供システムが開示されている。特許文献１では、車両の機器及び装備の問合せ対象箇所の写真が携帯端末によって撮影され、撮影された写真が携帯端末から処理サーバに送信される。処理サーバには、携帯端末から送信された写真が示す問合せ対象箇所を認識する認識サーバと、機器及び装備に関する説明を行う複数の説明情報を有するＦＡＱデータベースとが備えられている。処理サーバは、認識サーバによって認識された問合せ対象箇所に対応する説明情報をＦＡＱデータベースから選択して送信する。処理サーバから送信される説明情報は、車両に設けられた表示装置によって表示される。

特開２０１８－３６８１１号公報

しかしながら、特許文献１は、写真が示す問合せ対象箇所に対応する説明情報を表示装置によって表示することを単に開示しているに過ぎない。

本発明の目的は、良好に情報を提供し得る情報提供方法、プログラム及び情報提供装置を提供することにある。

本発明の一態様による情報提供方法は、端末装置に備えられた撮像部によって車両の少なくとも一部を撮像することにより得られた撮像画像を取得する画像取得ステップと、前記端末装置に備えられるとともにユーザによって操作され得る表示画面に前記撮像画像を表示し、立体図形を前記撮像画像に重畳表示するとともに、前記立体図形の表面形状に応じた配置で複数のサムネイルを前記撮像画像に重畳表示する第１表示ステップと、複数の前記サムネイルのうちのいずれかが前記ユーザによって選択された場合に、選択された前記サムネイルに対応する情報を前記表示画面に表示する第２表示ステップと、を有する。

本発明の他の態様によるプログラムは、上記のような情報提供方法をコンピュータに実行させる。

本発明の更に他の態様による情報提供装置は、撮像部と、ユーザによって操作され得る表示画面を有する表示部と、前記撮像部によって車両の少なくとも一部を撮像することにより得られた撮像画像を取得する画像取得部と、前記画像取得部によって取得された前記撮像画像を前記表示画面に表示し、立体図形を前記撮像画像に重畳表示するとともに、前記立体図形の表面形状に応じた配置で複数のサムネイルを前記撮像画像に重畳表示する表示制御部と、を備え、複数の前記サムネイルのうちのいずれかが前記ユーザによって選択された場合、前記表示制御部は、選択された前記サムネイルに対応する情報を前記表示画面に表示する。

本発明によれば、良好に情報を提供し得る情報提供方法、プログラム及び情報提供装置を提供することができる。

一実施形態による情報提供システムを示すブロック図である。 表示部の表示画面の表示の例を示す図である。 表示部の表示画面の表示の例を示す図である。 表示部の表示画面の表示の例を示す図である。 一実施形態による情報提供方法の例を示すフローチャートである。

本発明による情報提供方法、プログラム及び情報提供装置について、好適な実施形態を挙げ、添付の図面を参照して以下に詳細に説明する。

［一実施形態］
一実施形態による情報提供方法、プログラム及び情報提供装置について図１～図５を用いて説明する。図１は、本実施形態による情報提供システムを示すブロック図である。

本実施形態による情報提供システム１０は、端末装置（ユーザ端末、携帯端末、情報提供装置）１２と、サーバ装置（サーバ）１４とによって構成され得るが、これに限定されるものではない。

端末装置１２には、撮像部１６と、センサ群１８と、演算部２０と、記憶部２２と、通信部２４と、操作部２６と、表示部２８とが備えられている。なお、端末装置１２には、これらの構成要素以外の構成要素も備えられ得るが、ここでは説明を省略する。サーバ装置１４には、演算部４８と、記憶部５０と、通信部５２とが備えられている。なお、サーバ装置１４には、これらの構成要素以外の構成要素も備えられ得るが、ここでは説明を省略する。

端末装置１２には、本実施形態による情報提供方法をコンピュータに実行させるためのアプリケーションプログラムが予めインストールされる。アプリケーションプログラムの起動は、例えばユーザによる操作に基づいて行われ得る。

撮像部１６、即ち、カメラは、端末装置１２の少なくとも背面側に備えられ得る。撮像部１６によって撮像することによって得られる画像である撮像画像１１０（図２参照）は、端末装置１２の正面側、即ち、前面側に備えられた表示部２８の表示画面２８Ａ（図２参照）に表示され得る。撮像部１６は、車両１１（図２参照）の少なくとも一部を撮像することによって撮像画像１１０を取得し得る。

センサ群１８には、例えば、加速度センサ３０と、ジャイロセンサ３２とが含まれ得る。加速度センサ３０は、例えば、３方向の加速度を同時に計測し得る。ジャイロセンサ３２、即ち、角速度センサは、例えば、３方向の角速度を同時に計測し得る。加速度センサ３０及びジャイロセンサ３２によって取得される情報に基づいて、端末装置１２の３次元の挙動が把握され得る。

演算部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ（ｐｒｏｃｅｓｓｏｒ）、即ち、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｒｉｔｙ）によって構成され得る。演算部２０には、制御部３４と、画像取得部３６と、較正部３８と、位置姿勢判定部４０と、判定部４２と、表示制御部４４と、情報取得部４６とが備えられ得る。制御部３４と、画像取得部３６と、較正部３８と、位置姿勢判定部４０と、判定部４２と、表示制御部４４と、情報取得部４６とは、記憶部２２に記憶されているプログラムが演算部２０によって実行されることによって実現され得る。

なお、制御部３４、画像取得部３６、較正部３８、位置姿勢判定部４０、判定部４２、表示制御部４４、情報取得部４６の少なくとも一部が、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路によって実現されるようにしてもよい。また、制御部３４、画像取得部３６、較正部３８、位置姿勢判定部４０、判定部４２、表示制御部４４、情報取得部４６の少なくとも一部が、ディスクリートデバイスを含む電子回路によって構成されるようにしてもよい。

記憶部２２には、不図示の揮発性メモリと、不図示の不揮発性メモリとが備えられ得る。揮発性メモリとしては、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が挙げられ得る。不揮発性メモリとしては、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等が挙げられ得る。データ等が、例えば揮発性メモリに記憶され得る。プログラム、テーブル、マップ等が、例えば不揮発性メモリに記憶され得る。記憶部２２の少なくとも一部が、上述したようなプロセッサ、集積回路等に備えられていてもよい。

通信部２４には、例えば、携帯電話網に対応し得る不図示の通信モジュールが備えられている。通信部２４は、携帯電話網を介して通信を行い得る。通信部２４は、サーバ装置１４に備えられた通信部５２との間で中継局５４とネットワーク５６とを介して通信を行い得る。

操作部２６は、ユーザが端末装置１２を操作する際に用いられ得る。表示部２８には、不図示の表示素子が備えられている。表示素子としては、例えば、液晶表示素子、有機エレクトロルミネッセンス表示素子等が用いられ得る。このような表示素子が備えられた不図示のタッチパネルによって、操作部２６と表示部２８とが構成され得る。

制御部３４は、端末装置１２の全体の制御を司る。

画像取得部３６は、撮像部１６によって撮像することによって得られる撮像画像１１０（図２参照）を取得し得る。

較正部３８は、較正処理を実行し得る。ユーザに対する情報提供を開始するに先立って、較正、即ち、キャリブレーションが行われ得る。かかる較正は、本実施形態によるアプリケーションプログラムが起動された状態で、例えば、車内１００（図２参照）に備えられた不図示のホームボタンを、端末装置１２の撮像部１６を用いて撮像することによって行われ得る。より具体的には、表示部２８の表示画面２８Ａの中心部にホームボタンが所定のサイズで表示されるように、ユーザが端末装置１２の撮像部１６を当該ホームボタンに正対させる。較正部３８は、ホームボタンを含む撮像画像１１０と、センサ群１８から供給される信号とに基づいて、端末装置１２の位置及び姿勢を判定し得る。端末装置１２の位置及び姿勢が予め決められた範囲内であると判定した場合、較正部３８は、較正が成功したと判定し、較正を完了させる。較正が完了すると、表示制御部４４は、較正が完了したことを示す情報を表示部２８の表示画面２８Ａに表示する。較正が完了したことを示す情報としては、例えば、不図示のチェックマーク等が挙げられ得る。

位置姿勢判定部４０は、端末装置１２の位置及び姿勢を判定し得る。位置姿勢判定部４０は、端末装置１２の位置及び姿勢に関する情報、即ち、位置姿勢情報を記憶部２２に格納する。位置姿勢判定部４０は、較正の際に得られた位置姿勢情報を基準にしつつ、画像取得部３６によって取得される撮像画像１１０と、センサ群１８から供給される信号とに基づいて、位置姿勢情報を随時更新する。

表示制御部４４は、表示部２８の表示の制御を司る。図２は、表示部の表示画面の表示の例を示す図である。表示制御部４４は、撮像部１６によって撮像することによって得られる撮像画像１１０、即ち、画像取得部３６によって取得される撮像画像１１０を、表示部２８の表示画面２８Ａに表示し得る。車両１１の室内、即ち、車内（車室内）１００が撮像部１６によって撮像された場合の撮像画像１１０の例が、図２には示されているが、これに限定されるものではない。車室の外側が撮像部１６によって撮像されるようにしてもよい。表示制御部４４は、立体図形１０３Ａ、１０３Ｂを撮像画像１１０に重畳表示しつつ、当該立体図形１０３Ａ、１０３Ｂの表面形状に応じた配置でサムネイル１０６を撮像画像１１０に重畳表示し得る。即ち、本実施形態では、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示が行われ得る。なお、立体図形一般について説明する際には、符号１０３を用い、個々の立体図形について説明する際には、符号１０３Ａ、１０３Ｂを用いる。

図２に示すように、車両１１には、複数の機器１０２Ａ～１０２Ｏが備えられ得る。機器一般について説明する際には、符号１０２を用い、個々の機器について説明する際には、符号１０２Ａ～１０２Ｏを用いる。機器１０２Ａは、例えばインフォテイメントマルチ表示装置である。機器１０２Ｂは、例えば走行系モニタである。機器１０２Ｃ、１０２Ｄは、例えば走行系リアモニタである。機器１０２Ｅは、例えば、ステアリングホイールである。機器１０２Ｆは、例えばコンテンツマルチスイッチである。機器１０２Ｇは、例えば走行系スイッチである。機器１０２Ｈは、例えばインフォテイメントスイッチである。機器１０２Ｉは、例えば簡単駐車スイッチである。機器１０２Ｊは、例えばハザードスイッチである。機器１０２Ｋは、例えばエアコンディショナー、即ち、空調装置である。機器１０２Ｌは、例えばコンソール走行系スイッチである。機器１０２Ｍは、例えばＥＴＣ車載器である。機器１０２Ｎは、例えばサイドカメラミラーシステム調整スイッチである。機器１０２Ｏは、例えばドアノブである。

判定部４２は、拡張現実表示の対象が、画像取得部３６によって取得された撮像画像１１０に含まれているか否かを判定し得る。拡張現実表示の対象としては、例えば、車両１１に備えられた機器１０２等が挙げられ得る。車両１１に備えられた機器１０２としては、車内１００に備えられた機器１０２であってもよいし、車室の外側に備えられた機器１０２であってもよい。拡張現実表示の対象が撮像画像１１０に含まれているか否かの判定は、位置姿勢判定部４０によって得られた位置姿勢情報と、画像取得部３６によって取得された撮像画像１１０とに基づいて行われ得る。拡張現実表示の対象が撮像画像１１０に含まれているか否かを、画像取得部３６によって取得された撮像画像１１０のみならず、位置姿勢情報にも基づいて判定するのは、より正確な判定を行うためである。車両１１に備えられた機器１０２を示す情報は、記憶部２２に予め記憶されている。より具体的には、車両１１に備えられた複数の機器１０２の各々の位置情報、これらの機器１０２の各々の画像情報等が記憶部２２に予め記憶されている。判定部４２は、記憶部２２に記憶されたこれらの情報と、画像取得部３６によって取得された撮像画像１１０から得られる情報とを対比する。これにより、判定部４２は、車両１１に備えられた機器１０２が当該撮像画像１１０に含まれているか否かを判定し得る。また、判定部４２は、当該撮像画像１１０に含まれている機器１０２が、車両１１に備えられた複数の機器１０２のうちのいずれの機器１０２であるかについても判定し得る。こうして、判定部４２は、拡張現実表示の対象が、画像取得部３６によって取得された撮像画像１１０に含まれているか否かを判定し得る。

なお、上記においては、拡張現実表示の対象が、車両１１に備えられた機器１０２である場合を例に説明したが、これに限定されるものではない。例えば、拡張現実表示の対象が車両１１であってもよい。車両１１を示す情報も、記憶部２２に予め記憶されている。判定部４２は、記憶部２２に記憶された車両１１を示す情報と、画像取得部３６によって取得された撮像画像１１０から得られる情報とを対比する。これにより、判定部４２は、当該車両１１が当該撮像画像１１０に含まれているか否かを判定し得る。

拡張現実表示の対象が撮像画像１１０に含まれていることが判定部４２によって判定された場合、情報取得部４６は、サムネイル１０６、即ち、サムネイル画像を取得する。より具体的には、情報取得部４６は、複数のサムネイル１０６を取得する。サムネイル１０６、即ち、サムネイル１０６を表示するための情報は、例えばサーバ装置１４から供給され得る。情報取得部４６は、サムネイル１０６の提供を要求するリクエスト信号を、通信部２４を介してサーバ装置１４に送信する。サーバ装置１４は、当該サーバ装置１４に備えられた記憶部５０からサムネイル１０６を読み出し、当該サーバ装置１４に備えられた通信部５２を介して端末装置１２にサムネイル１０６を送信する。情報取得部４６は、サムネイル１０６をサーバ装置１４から受信する。なお、サムネイル１０６が、端末装置１２に備えられた記憶部２２に既に格納されている場合には、サムネイル１０６をサーバ装置１４から取得することを要しない。このような場合には、情報取得部４６は、端末装置１２に備えられた記憶部２２から、サムネイル１０６を取得し得る。

表示制御部４４は、上述したように、画像取得部３６によって取得された撮像画像１１０を表示部２８の表示画面２８Ａに表示し得るとともに、拡張現実表示の対象が当該撮像画像１１０に含まれている場合に、以下のような処理を行い得る。即ち、このような場合、表示制御部４４は、立体図形１０３を当該撮像画像１１０に重畳表示しつつ、立体図形１０３の表面形状に応じた配置で複数のサムネイル１０６を撮像画像１１０に重畳表示し得る。立体図形１０３の形状が多角柱状である場合の例が図２には図示されているが、これに限定されるものではない。例えば、立体図形１０３の形状が、円柱状であってもよいし、球状であってもよい。

表示制御部４４は、表示部２８の表示画面２８Ａに様々な種類の情報１１２（図３、図４参照）を表示し得る。情報１１２の種類としては、例えば、マニュアル、広告等が挙げられ得るが、これに限定されるものではない。表示制御部４４は、情報１１２の種類に応じた複数の立体図形１０３Ａ、１０３Ｂを表示画面２８Ａに表示し得る。表示制御部４４は、一の種類に属する複数の情報１１２にそれぞれ対応する複数のサムネイル１０６を、一の立体図形１０３Ａの表面形状に応じた配置で撮像画像１１０に重畳表示し得る。例えば、表示制御部４４は、複数のマニュアルにそれぞれ対応する複数のサムネイル１０６を、立体図形１０３Ａの表面形状に応じた配置で撮像画像１１０に重畳表示し得る。表示制御部４４は、一の種類とは異なる他の種類に属する複数の情報１１２にそれぞれ対応する複数のサムネイル１０６を、他の立体図形１０３Ｂの表面形状に応じた配置で撮像画像１１０に重畳表示し得る。例えば、表示制御部４４は、複数の広告にそれぞれ対応する複数のサムネイル１０６を、立体図形１０３Ｂの表面形状に応じた配置で撮像画像１１０に重畳表示し得る。

複数の情報１１２は、複数の種類に分類され得る。表示制御部４４は、サムネイル１０６に対応する情報１１２の種類に応じた色の枠１０８Ｒ、１０８Ｂを、当該サムネイル１０６の周囲に表示し得る。表示制御部４４は、当該情報１１２が例えばマニュアルである場合には、例えば赤色の枠１０８Ｒを、当該情報１１２に対応するサムネイル１０６の周囲に表示する。表示制御部４４は、当該情報１１２が例えば広告である場合には、例えば青色の枠１０８Ｂを、当該情報１１２に対応するサムネイル１０６の周囲に表示する。枠一般について説明する際には、符号１０８を用い、個々の枠について説明する際には、符号１０８Ａ、１０８Ｂを用いる。表示制御部４４は、当該情報１１２が例えばお役立ち情報である場合には、例えば不図示の緑色の枠を、当該情報１１２に対応するサムネイル１０６の周囲に表示する。

表示制御部４４は、情報１１２の種類に応じた色で立体図形１０３を表示し得る。情報１１２の種類が例えばマニュアルである場合には、表示制御部４４は、当該情報１１２に応じたサムネイル１０６が配される立体図形１０３Ａを例えば赤色で表示するようにしてもよい。情報１１２の種類が例えば広告である場合には、表示制御部４４は、当該情報１１２に応じたサムネイル１０６が配される立体図形１０３Ｂを例えば青色で表示するようにしてもよい。

判定部４２は、立体図形１０３を回転させるための操作がユーザによって行われたか否かを、表示画面２８Ａに対するユーザによる操作に基づいて判定し得る。立体図形１０３を回転させるための操作がユーザによって行われたことが判定部４２によって判定された場合、表示制御部４４は、立体図形１０３を回転させる表示を行い得る。立体図形１０３は、例えば回転軸１０４を中心として回転され得る。表示制御部４４は、立体図形１０３の表面形状に応じて配置したサムネイル１０６の位置を、当該立体図形１０３の回転に応じて変化させる。回転軸１０４の長手方向は、例えば、垂直方向、即ち、鉛直方向であるが、これに限定されるものではない。例えば、回転軸１０４の長手方向が、水平方向であってもよい。回転軸１０４を中心として立体図形１０３が回転され得る場合の例が図２には図示されているが、これに限定されるものではない。立体図形１０３の中心点１０４Ａを中心として、当該立体図形１０３が回転されるようにしてもよい。

判定部４２は、サムネイル１０６がユーザによって選択されたか否かを、表示画面２８Ａに対するユーザによる操作に基づいて判定し得る。サムネイル１０６がユーザによって選択されたことが判定部４２によって判定されると、情報取得部４６は、以下のような処理を行う。即ち、このような場合、情報取得部４６は、選択されたサムネイル１０６を示す情報を、通信部２４を介してサーバ装置１４に送信する。サーバ装置１４は、当該サムネイル１０６に対応する情報１１２を、当該サーバ装置１４に備えられた記憶部５０から読み出し、当該サーバ装置１４に備えられた通信部５２を介して端末装置１２に送信する。情報取得部４６は、サーバ装置１４から情報１１２を受信する。表示制御部４４は、情報取得部４６によって取得された当該情報１１２を、表示部２８の表示画面２８Ａに表示する。なお、選択されたサムネイル１０６に対応する情報１１２が、端末装置１２に備えられた記憶部２２に既に格納されている場合には、かかる情報１１２をサーバ装置１４から取得することを要しない。このような場合には、情報取得部４６は、端末装置１２に備えられた記憶部２２から、かかる情報１１２を取得し得る。このように、サムネイル１０６がユーザによって選択されたことが判定部４２によって判定されると、表示制御部４４は、選択されたサムネイル１０６に対応する情報１１２を表示部２８の表示画面２８Ａに表示する。図３は、表示部の表示画面の表示の例を示す図である。マニュアルが表示部２８の表示画面２８Ａに表示される場合の例が、図３には示されている。より具体的には、車両１１に備えられた機器１０２のマニュアルが表示部２８の表示画面２８Ａに表示される場合の例が図３には示されている。図４は、表示部の表示画面の表示の例を示す図である。広告が表示部２８の表示画面２８Ａに表示される場合の例が図４には示されている。より具体的には、子ども服の広告が表示部２８の表示画面２８Ａに表示される場合の例が図４には示されている。

情報１１２は、例えば、動画像、静止画像、文章等から成るが、これに限定されるものではない。情報１１２が動画像から成る場合、当該動画像を構成する複数の画像のうちのいずれかの縮小画像がサムネイル１０６、サムネイル画像として用いられ得る。情報１１２が静止画像から成る場合、当該静止画像の縮小画像がサムネイル１０６、即ち、サムネイル画像として用いられ得る。情報１１２が文章から成る場合、例えば、当該文章の一部に対応する縮小画像が、サムネイル１０６として用いられ得る。

判定部４２は、立体図形１０３を例えばスワイプする操作がユーザによって行われたか否かを、表示画面２８Ａに対するユーザによる操作に基づいて判定し得る。立体図形１０３を例えばスワイプする操作がユーザによって行われたことが判定部４２によって判定された場合、表示制御部４４は、以下のような処理を行い得る。即ち、かかる場合、表示制御部４４は、スワイプする操作が行われた当該立体図形１０３を表示部２８の表示画面２８Ａから消去するとともに、当該立体図形１０３の表面形状に応じた配置で重畳表示されていた複数のサムネイル１０６を消去する。

表示制御部４４は、図２に示すように、表示画面２８Ａの一部には、複数の操作ボタン６０Ａ～６０Ｃを更に表示し得る。操作ボタン６０Ａは、例えば、お役立ち情報ボタンである。操作ボタン６０Ｂは、例えば、警告灯一覧ボタンである。操作ボタン６０Ｃは、例えば、設定ボタンである。なお、操作ボタン６０Ａ～６０Ｃは、これらに限定されるものではない。操作ボタン６０Ａ、即ち、お役立ち情報ボタンは、ユーザにとって役に立つことが想定される情報が表示される画面に遷移するためのボタンである。操作ボタン６０Ｂ、即ち、警告灯一覧ボタンは、警告灯の一覧を表示する画面に遷移するためのボタンである。操作ボタン６０Ｃ、即ち、設定ボタンは、アプリケーションプログラムに関する様々な設定を行うための画面に遷移するためのボタンである。表示画面２８Ａには、再較正ボタン６０Ｄ、音声検索ボタン６０Ｅ等が更に表示され得るが、これに限定されるものではない。再較正ボタン６０Ｄは、再較正の実行を指示するためのボタンである。音声検索ボタン６０Ｅは、音声検索の実行を指示するためのボタンである。

次に、本実施形態による情報提供方法の例について図５を用いて説明する。図５は、本実施形態による情報提供方法の例を示すフローチャートである。

まず、ステップＳ１において、車両１１の少なくとも一部が撮像部１６によって撮像される。これにより、画像取得部３６が、撮像部１６によって撮像された撮像画像１１０を取得する。この後、ステップＳ２に遷移する。

ステップＳ２において、判定部４２は、拡張現実表示の対象が撮像画像１１０に含まれているか否かを判定する。拡張現実表示の対象が撮像画像１１０に含まれている場合（ステップＳ２においてＹＥＳ）、ステップＳ３に遷移する。拡張現実表示の対象が撮像画像１１０に含まれていない場合（ステップＳ２においてＮＯ）、ステップＳ１以降の処理が繰り返される。

ステップＳ３において、情報取得部４６は、複数のサムネイル１０６、即ち、複数のサムネイル画像を取得する。具体的には、情報取得部４６は、サムネイル１０６の提供を要求するリクエスト信号を、通信部２４を介してサーバ装置１４に送信する。サーバ装置１４は、当該サーバ装置１４に備えられた記憶部５０からサムネイル１０６を読み出し、当該サーバ装置１４に備えられた通信部５２を介して端末装置１２にサムネイル１０６を送信する。情報取得部４６は、サムネイル１０６をサーバ装置１４から受信する。なお、サムネイル１０６が、端末装置１２に備えられた記憶部２２に既に格納されている場合には、サムネイル１０６をサーバ装置１４から取得することを要しない。このような場合には、情報取得部４６は、端末装置１２に備えられた記憶部２２から、サムネイル１０６を取得し得る。この後、ステップＳ４に遷移する。

ステップＳ４において、表示制御部４４は、立体図形１０３を撮像画像１１０に重畳表示するとともに、立体図形１０３の表面形状に応じた配置で複数のサムネイル１０６を撮像画像１１０に重畳表示する。この後、ステップＳ５に遷移する。

ステップＳ５において、判定部４２は、サムネイル１０６を選択する操作がユーザによって行われたか否かを判定する。サムネイル１０６を選択する操作がユーザによって行われていないことが判定部４２によって判定された場合（ステップＳ５においてＮＯ）、ステップＳ６に遷移する。サムネイル１０６を選択する操作がユーザによって行われたことが判定部４２によって判定された場合（ステップＳ５においてＹＥＳ）、ステップＳ８に遷移する。

ステップＳ６において、判定部４２は、立体図形１０３を回転させる操作がユーザによって行われたか否かを判定する。立体図形１０３を回転させる操作がユーザによって行われたことが判定部４２によって判定された場合（ステップＳ６においてＹＥＳ）、ステップＳ７に遷移する。立体図形１０３を回転させる操作がユーザによって行われていないことが判定部４２によって判定された場合（ステップＳ６においてＮＯ）、ステップＳ１以降の処理が繰り返される。

ステップＳ７において、表示制御部４４は、立体図形１０３を回転させる表示を行う。より具体的には、表示制御部４４は、ユーザによる操作量に応じた回転量で立体図形１０３を回転させる。表示制御部４４は、当該立体図形１０３の表面形状に応じて配置された複数のサムネイル１０６の位置を、当該立体図形１０３の回転に対応するように変化させる。ステップＳ７が完了した場合には、ステップＳ１以降の処理が繰り返される。

ステップＳ８において、情報取得部４６は、選択されたサムネイル１０６に応じた情報１１２を取得する。具体的には、上述したように、情報取得部４６が、選択されたサムネイル１０６を示す情報を、通信部２４を介してサーバ装置１４に送信する。サーバ装置１４は、当該サムネイル１０６に対応する情報１１２を、当該サーバ装置１４に備えられた記憶部５０から読み出し、当該サーバ装置１４に備えられた通信部５２を介して端末装置１２に送信する。情報取得部４６は、サーバ装置１４から情報１１２を受信する。こうして、情報取得部４６は、選択されたサムネイル１０６に応じた情報１１２を取得し得る。なお、選択されたサムネイル１０６に対応する情報１１２が、端末装置１２に備えられた記憶部２２に既に格納されている場合には、かかる情報１１２をサーバ装置１４から取得することを要しない。このような場合には、情報取得部４６は、端末装置１２に備えられた記憶部２２から、かかる情報１１２を取得し得る。この後、ステップＳ９に遷移する。

ステップＳ９において、表示制御部４４は、情報取得部４６によって取得された情報１１２を表示部２８の表示画面２８Ａに表示する。即ち、表示制御部４４は、ユーザによって選択されたサムネイル１０６に対応する情報１１２を、表示部２８の表示画面２８Ａに表示する。こうして、図５に示す処理が完了する。

このように、本実施形態によれば、撮像部１６によって撮像された撮像画像１１０が表示部２８の表示画面２８Ａに表示される。そして、拡張現実表示の対象が当該撮像画像１１０に含まれている場合、立体図形１０３が当該撮像画像１１０に重畳表示され得るとともに、当該立体図形１０３の表面形状に応じた配置で複数のサムネイル１０６が重畳表示され得る。ユーザは、表示画面２８Ａに表示された立体図形１０３を回転させることができる。そして、複数のサムネイル１０６のうちのいずれかがユーザによって選択されると、選択されたサムネイル１０６に対応する情報１１２が表示画面２８Ａに表示され得る。このように、本実施形態によれば、立体図形１０３の表面形状に応じた配置で複数のサムネイル１０６が重畳表示され得るため、複数のサムネイル１０６が表示部２８の表示画面２８Ａに煩雑に表示されるのを防止しつつ、良好に情報を提供することができる。

本発明についての好適な実施形態を上述したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改変が可能である。

例えば、情報１１２が表示部２８の表示画面２８Ａに表示される際、不図示のスピーカからＢＧＭが出力されるようにしてもよい。

また、上記実施形態では、表示画面２８Ａに対するユーザによる操作に基づいて、立体図形１０３に対する操作が行われる場合を例に説明したが、これに限定されるものではない。例えば、不図示のマイクロフォンを介して行われる音声入力に基づいて、立体図形１０３に対する操作が行われるようにしてもよい。

上記実施形態をまとめると以下のようになる。

情報提供方法は、端末装置（１２）に備えられた撮像部（１６）によって車両（１１）の少なくとも一部を撮像することにより得られた撮像画像（１１０）を取得する画像取得ステップ（Ｓ１）と、前記端末装置に備えられるとともにユーザによって操作され得る表示画面（２８Ａ）に前記撮像画像を表示し、立体図形（１０３Ａ、１０３Ｂ）を前記撮像画像に重畳表示するとともに、前記立体図形の表面形状に応じた配置で複数のサムネイル（１０６）を前記撮像画像に重畳表示する第１表示ステップ（Ｓ４）と、複数の前記サムネイルのうちのいずれかが前記ユーザによって選択された場合に、選択された前記サムネイルに対応する情報（１１２）を前記表示画面に表示する第２表示ステップ（Ｓ９）と、を有する。このような構成によれば、立体図形の表面形状に応じた配置で複数のサムネイルが重畳表示され得るため、複数のサムネイルが表示部の表示画面に煩雑に表示されるのを防止しつつ、良好に情報を提供することができる。

前記立体図形は、多角柱状、円柱状又は球状の図形であるようにしてもよい。

前記立体図形は、回転軸（１０４）を中心として回転され得るようにしてもよい。このような構成によれば、立体図形を回転させることにより、複数のサムネイルがユーザによって把握され得る。

前記回転軸の長手方向は、垂直方向であるようにしてもよい。

前記回転軸の長手方向は、水平方向であるようにしてもよい。

前記立体図形は、前記立体図形の中心点（１０４Ａ）を中心として回転され得るようにしてもよい。

前記サムネイルに対応する前記情報は、動画像、静止画像、又は、文章から成るようにしてもよい。

前記サムネイルに対応する前記情報は、マニュアル、又は、広告であるようにしてもよい。

複数の前記情報は、複数の種類に分類され、前記第１表示ステップでは、前記サムネイルに対応する前記情報の種類に応じた色の枠（１０８Ｂ、１０８Ｒ）を前記サムネイルの周囲に表示するようにしてもよい。このような構成によれば、情報の種類がユーザによって容易に把握され得る。

複数の前記情報は、複数の種類に分類され、前記第１表示ステップでは、一の種類に属する複数の前記情報にそれぞれ対応する複数の前記サムネイルを一の前記立体図形の前記表面形状に応じた配置で重畳表示し、前記一の種類とは異なる他の種類に属する複数の前記情報にそれぞれ対応する前記サムネイルを他の前記立体図形の前記表面形状に応じた配置で重畳表示するようにしてもよい。このような構成によれば、情報の種類がユーザによって容易に把握され得る。

前記情報の種類に応じた色で前記立体図形を表示するようにしてもよい。

プログラムは、上記のような情報提供方法をコンピュータに実行させる。

情報提供装置（１２）は、撮像部と、ユーザによって操作され得る表示画面を有する表示部（２８）と、前記撮像部によって車両の少なくとも一部を撮像することにより得られた撮像画像を取得する画像取得部（３６）と、前記画像取得部によって取得された前記撮像画像を前記表示画面に表示し、立体図形を前記撮像画像に重畳表示するとともに、前記立体図形の表面形状に応じた配置で複数のサムネイルを前記撮像画像に重畳表示する表示制御部（４４）と、を備え、複数の前記サムネイルのうちのいずれかが前記ユーザによって選択された場合、前記表示制御部は、選択された前記サムネイルに対応する情報を前記表示画面に表示する。

１０：情報提供システム １１：車両
１２：端末装置 １４：サーバ装置
１６：撮像部 １８：センサ群
２０、４８：演算部 ２２、５０：記憶部
２４、５２：通信部 ２６：操作部
２８：表示部 ２８Ａ：表示画面
３０：加速度センサ ３２：ジャイロセンサ
３４：制御部 ３６：画像取得部
３８：較正部 ４０：位置姿勢判定部
４２：判定部 ４４：表示制御部
４６：情報取得部 ５４：中継局
５６：ネットワーク ６０Ａ～６０Ｃ：操作ボタン
６０Ｄ：再較正ボタン ６０Ｅ：音声検索ボタン
１００：車内 １０２Ａ～１０２Ｏ：機器
１０３Ａ、１０３Ｂ：立体図形 １０４：回転軸
１０４Ａ：中心点 １０６：サムネイル
１０８Ｂ、１０８Ｒ：枠 １１０：撮像画像
１１２：情報

Claims (10)

1. 端末装置に備えられた撮像部によって車両の少なくとも一部を撮像することにより得られた撮像画像を取得する画像取得ステップと、
   前記端末装置に備えられるとともにユーザによって操作され得る表示画面に前記撮像画像を表示し、立体図形を前記撮像画像に重畳表示するとともに、前記立体図形の表面形状に応じた配置で複数のサムネイルを前記撮像画像に重畳表示する第１表示ステップと、
   複数の前記サムネイルのうちのいずれかが前記ユーザによって選択された場合に、選択された前記サムネイルに対応する情報を前記表示画面に表示する第２表示ステップと、
   前記サムネイルが前記ユーザによって選択されていない場合に、前記立体図形を回転させるための前記ユーザによる操作に基づいて前記立体図形とともに前記サムネイルを回転させる表示を行う第３表示ステップと、
   を有し、
   前記サムネイルに対応する前記情報は、前記車両に備えられた機器のマニュアルであり、
   複数の前記情報は、複数の種類に分類され、
   前記第１表示ステップでは、一の種類に属する複数の前記情報にそれぞれ対応する複数の前記サムネイルを一の前記立体図形の前記表面形状に応じた配置で重畳表示し、前記一の種類とは異なる他の種類に属する複数の前記情報にそれぞれ対応する前記サムネイルを他の前記立体図形の前記表面形状に応じた配置で重畳表示する、情報提供方法。
2. 請求項１に記載の情報提供方法において、
   前記立体図形は、多角柱状、円柱状又は球状の図形である、情報提供方法。
3. 請求項１又は２に記載の情報提供方法において、
   前記立体図形は、回転軸を中心として回転され得る、情報提供方法。
4. 請求項３に記載の情報提供方法において、
   前記回転軸の長手方向は、垂直方向である、情報提供方法。
5. 請求項３に記載の情報提供方法において、
   前記回転軸の長手方向は、水平方向である、情報提供方法。
6. 請求項１又は２に記載の情報提供方法において、
   前記立体図形は、前記立体図形の中心点を中心として回転され得る、情報提供方法。
7. 請求項１～６のいずれか１項に記載の情報提供方法において、
   前記サムネイルに対応する前記情報は、動画像、静止画像、又は、文章から成る、情報提供方法。
8. 請求項１～７のいずれか１項に記載の情報提供方法において、
   前記情報の種類に応じた色で前記立体図形を表示する、情報提供方法。
9. 請求項１～８のいずれか１項に記載の情報提供方法をコンピュータに実行させるためのプログラム。
10. 撮像部と、
    ユーザによって操作され得る表示画面を有する表示部と、
    前記撮像部によって車両の少なくとも一部を撮像することにより得られた撮像画像を取得する画像取得部と、
    前記画像取得部によって取得された前記撮像画像を前記表示画面に表示し、立体図形を前記撮像画像に重畳表示するとともに、前記立体図形の表面形状に応じた配置で複数のサムネイルを前記撮像画像に重畳表示する表示制御部と、
    を備え、
    複数の前記サムネイルのうちのいずれかが前記ユーザによって選択された場合、前記表示制御部は、選択された前記サムネイルに対応する情報を前記表示画面に表示し、
    前記サムネイルが前記ユーザによって選択されていない場合、前記表示制御部は、前記立体図形を回転させるための前記ユーザによる操作に基づいて前記立体図形とともに前記サムネイルを回転させる表示を行い、
    前記サムネイルに対応する前記情報は、前記車両に備えられた機器のマニュアルであり、
    複数の前記情報は、複数の種類に分類され、
    前記表示制御部は、一の種類に属する複数の前記情報にそれぞれ対応する複数の前記サムネイルを一の前記立体図形の前記表面形状に応じた配置で重畳表示し、前記一の種類とは異なる他の種類に属する複数の前記情報にそれぞれ対応する前記サムネイルを他の前記立体図形の前記表面形状に応じた配置で重畳表示する、情報提供装置。

Images