JP7303879B2 - 情報提供システム、情報端末、および情報提供方法 - Google Patents

情報提供システム、情報端末、および情報提供方法 Download PDF

Info

Publication number
JP7303879B2
JP7303879B2 JP2021539769A JP2021539769A JP7303879B2 JP 7303879 B2 JP7303879 B2 JP 7303879B2 JP 2021539769 A JP2021539769 A JP 2021539769A JP 2021539769 A JP2021539769 A JP 2021539769A JP 7303879 B2 JP7303879 B2 JP 7303879B2
Authority
JP
Japan
Prior art keywords
user
information
display
procedure
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021539769A
Other languages
English (en)
Other versions
JPWO2021029042A1 (ja
Inventor
大祐 山岡
祐 瀧口
一彦 田中
瞳 ▲濱▼村
拓 青木
卓也 石井
秀樹 風見
太亮 小谷
誠 寺田
邦夫 中北
裕直 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2021029042A1 publication Critical patent/JPWO2021029042A1/ja
Application granted granted Critical
Publication of JP7303879B2 publication Critical patent/JP7303879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S5/00—Servicing, maintaining, repairing, or refitting of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、問題に対処するための情報をユーザに提供する情報提供システム、情報端末、および情報提供方法に関するものである。
車両等において故障などの問題が生じた場合では、どのような問題が生じているのか、または当該問題に対してどのような対処を行うべきなのかなどをユーザに把握させることが好ましい。例えば、特許文献１には、端末装置に備えられたセンサを用いて収集した診断用データと、複数の質問項目および複数の要求項目がツリー状の階層構造で表された決定木モデルとに基づいて、車両の故障診断を行う方法が開示されている。
特許第６３８０１６９号公報
特許文献１に記載された方法では、診断対象（車両）の状態を一方的に質問しているだけであり、例えば質問に対するユーザの理解度が低かったり、問題に対して対処する意思をユーザが有していなかったりといったユーザの状態が考慮されていない。つまり、特許文献１に記載された方法では、ユーザによっては質問項目への回答が困難であることがあり、個々のユーザに対して適切に情報を提供することが不十分であった。
そこで、本発明は、問題に対処するための情報をユーザに適切に提供することを目的とする。
本発明の一側面としての情報提供システムは、カメラおよびディスプレイを有する情報端末を用いて、問題に対処するための情報をユーザに提供する情報提供システムであって、前記情報端末は、前記カメラで得られた撮影画像内において、問題箇所を特定する特定手段と、前記特定手段で特定された前記問題箇所の対処を行うための手順の内容を示す複数の手順画面を、ユーザからの回答に応じて前記ディスプレイに適宜表示する表示制御手段と、を備え、前記複数の手順画面は、手順に対する回答としてユーザにより選択可能な複数の回答項目が表示される第１手順画面を含み、前記複数の回答項目は、物の状態に関する回答項目と、ユーザの状態に関する回答項目とを含む、ことを特徴とする。
本発明によれば、例えば、ユーザの状態に応じた情報を当該ユーザに提供することができるため、ユーザは、問題に対して適切な対処を行うことができる。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
情報提供システムの構成を示すブロック図 問題箇所を特定する処理を示すフローチャート 問題箇所の対処情報を提供する処理を示すフローチャート 問題箇所の対処情報を提供する処理を示すフローチャート 車内のメータパネルを撮影している様子を示す図 拡張現実画像を撮影画像に重畳させて表示した例を示す図 自ら対処する意思をユーザに確認するための確認画面を示す図 エンジンオイル量の調査を指示する手順画面を示す図 エンジンの始動を指示する手順画面を示す図 問題が解決した旨の画面を示す図 サポートを要求するための手順画面を示す図 エンジンオイルの補充を指示する手順画面を示す図 エンジンオイル量の調べ方を動画で示す手順画面を示す図 複数の手順画面の表示制御フローを示す図
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
＜第１実施形態＞
本発明に係る第１実施形態の情報提供システム１００について説明する。本実施形態では、情報提供システム１００を車両に対して適用する例について説明するが、それに限られず、車両以外の装置に対しても本実施形態の情報提供システム１００を適用することができる。車両としては、例えば四輪車や鞍乗型車両（二輪車、三輪車）、或いは、船舶、航空機、芝刈機、除雪機などが挙げられるが、本実施形態では、車両として四輪車を例示して説明する。
［情報提供システムの構成例］
図１は、本実施形態の情報提供システム１００の構成を示すブロック図である。本実施形態の情報提供システム１００は、例えばネットワークＮＴＷを介して互いに通信可能に接続された情報端末１０およびサーバ装置２０（クラウド）を含み、例えば車両の故障や警告灯の点灯などの問題に対処するための情報をユーザに提供するためのシステムである。
まず、情報端末１０の構成について説明する。情報端末１０は、例えば、処理部１１と、記憶部１２と、カメラ１３と、ディスプレイ１４と、位置検知センサ１５と、姿勢検知センサ１６と、通信部１７とを含みうる。情報端末１０の各部は、システムバス１８を介して相互に通信可能に接続されている。情報端末１０としては、例えばスマートフォンやタブレット端末などが挙げられ、本実施形態では、情報端末１０としてスマートフォンを用いる例について説明する。スマートフォンおよびタブレット端末は、通話機能以外の様々な機能を有する携帯端末のことであるが、ディスプレイの寸法が互いに異なる。一般的には、タブレット端末の方が、スマートフォンよりディスプレイの寸法が大きい。
処理部１１は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインターフェース等を含む。記憶部１２には、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されており、処理部１１は、記憶部１２に記憶されたプログラムをメモリ等の記憶デバイスに読み出して実行することができる。本実施形態の場合、記憶部１２には、問題に対処するための情報をユーザに提供するためのアプリケーションプログラム（情報提供プログラム）が格納されており、処理部１１は、記憶部１２に記憶された情報提供プログラムをメモリ等の記憶デバイスに読み出して実行しうる。
カメラ１３は、レンズと撮像素子とを有し、被写体を撮影して撮影画像を取得する。カメラ１３は、例えばディスプレイ１４が設けられた外面とは反対側の外面に設けられうる。また、ディスプレイ１４は、画像の表示によりユーザに対して情報を報知する。本実施形態の場合、ディスプレイ１４は、カメラ１３で取得された撮影画像をリアルタイムに表示することができる。ここで、本実施形態のディスプレイ１４は、例えばタッチパネル式ＬＣＤ（Liquid Crystal Display）などを含み、画像を表示する機能に加えて、ユーザからの情報の入力を受け付ける機能を有する。しかしながら、それに限られず、画像を表示する機能のみをディスプレイ１４に持たせ、当該ディスプレイ１４とは独立して入力部（例えばキーボードやマウスなど）を設けてもよい。
位置検知センサ１５は、情報端末１０の位置および方位を検知する。位置検知センサ１５としては、例えば、ＧＰＳ衛星からの信号を受信して情報端末１０の現在位置を取得するＧＰＳセンサや、地磁気などに基づいて情報端末１０のカメラ１３が向けられている方位を検知する方位センサなどを用いることができる。本実施形態では、「情報端末１０の位置」と記載した場合、情報端末１０の現在位置に加えて、情報端末１０の方位をも含むものとする。また、姿勢検知センサ１６は、情報端末１０の姿勢を検知する。姿勢検知センサ１６としては、例えば、加速度センサやジャイロセンサなどを用いることができる。
通信部１７は、ネットワークＮＴＷを介してサーバ装置２０と通信可能に接続される。具体的には、通信部１７は、ネットワークＮＴＷを介してサーバ装置２０から情報を受信する受信部としての機能と、ネットワークＮＴＷを介してサーバ装置２０に情報を送信する送信部としての機能とを有する。
処理部１１の具体的な構成としては、例えば、第１取得部１１ａと、第２取得部１１ｂと、特定部１１ｃと、表示制御部１１ｄと、判断部１１ｅと、計測部１１ｆとが設けられうる。第１取得部１１ａは、カメラ１３で得られた撮影画像のデータを取得する。第２取得部１１ｂは、通信部１７を介してサーバ装置２０から情報やデータを取得する。特定部１１ｃは、例えばパターンマッチング手法などの画像処理を行うことにより撮影画像を解析し、ディスプレイ１４に表示された撮影画像内における問題箇所を特定する。表示制御部１１ｄは、第１取得部１１ａで得られた撮影画像のディスプレイ１４への表示を制御するとともに、後述する確認画面や手順画面のディスプレイ１４への表示を制御する。判断部１１ｅは、カメラ１３で得られた撮影画像に基づいて、問題箇所の対処を行うための手順に関する判断を行う。計測部１１ｆは、問題箇所の対処に要する時間を計測する。
次に、サーバ装置２０の構成について説明する。サーバ装置２０は、処理部２１と、記憶部２２と、通信部２３とを含みうる。処理部２１は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインターフェース等を含む。記憶部２２には、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されており、処理部２１は、記憶部２２に記憶されたプログラムをメモリ等の記憶デバイスに読み出して実行することができる。また、通信部２３は、ネットワークＮＴＷを介して情報端末１０と通信可能に接続される。具体的には、通信部２３は、ネットワークＮＴＷを介して情報端末１０から情報を受信する受信部としての機能と、ネットワークＮＴＷを介して情報端末１０に情報を送信する送信部としての機能とを有する。
本実施形態の場合、サーバ装置２０（記憶部２２）には、車両に生じる様々な問題のそれぞれについて、各問題に対処するための情報（以下では、対処情報と呼ぶことがある）が記憶されている。対処情報には、問題に対処するための手順の内容を示す複数の手順画面が含まれる。また、複数の手順画面は、例えばツリー状の階層構造で構成され、ユーザからの回答に応じてディスプレイ１４に適宜表示される。具体的には、複数の手順画面の各々には、手順の内容に対する回答としてユーザにより選択可能な複数の回答項目が含まれ、ユーザにより選択された回答項目に紐づけられた次の手順画面がディスプレイ１４に表示される。
［情報端末での処理］
次に、情報提供プログラムが実行されたときに情報端末１０で行われる処理について説明する。図２Ａ～図２Ｃは、情報端末１０の処理部１１で行われる処理を示すフローチャートである。図２Ａは、問題箇所（問題が生じている対象箇所）を特定する処理を示すフローチャートであり、図２Ｂ～図２Ｃは、問題箇所に関する対処情報（複数の手順画面）をユーザに提供する処理を示すフローチャートである。
ここで、問題箇所は、通常状態とは異なる異常状態である物品、および、当該物品が異常状態であることを示す報知サインのうち少なくとも一方を含みうる。「物品」としては、例えば車両自体や車両の部品などが挙げられ、「異常状態」としては故障や破損などが挙げられる。また、「報知サイン」としては、例えば油圧警告灯やエンジン警告灯などの警告灯の点灯・点滅、異常音や警告音などが挙げられる。
まず、問題箇所を特定する処理について、図２Ａに示すフローチャートを用いて説明する。図２Ａに示すフローチャートの各工程は、処理部１１によって行われうる。また、図３～図４は、図２Ａに示すフローチャートの各工程を説明するために用いられうる。
Ｓ１０では、処理部１１（第１取得部１１ａ）は、カメラ１３に撮影を開始させるとともに、カメラ１３から撮影画像を取得する。Ｓ１１では、処理部１１（表示制御部１１ｄ）は、カメラ１３から取得した撮影画像をディスプレイ１４に逐次表示する。例えば、図３は、情報端末１０のカメラ１３によって車内のメータパネル１を撮影している様子を示している。この場合、情報端末１０では、カメラ１３で得られたメータパネル１の撮影画像がディスプレイ１４に逐次表示される。なお、図３は、ユーザから見える車内環境を示しており、メータパネル１、ハンドル２、フロントガラス３、右側のフロントピラー４が図示されている。
Ｓ１２では、処理部１１（特定部１１ｃ）は、ディスプレイ１４に表示された撮影画像内において、問題箇所を特定する。例えば、処理部１１は、公知の画像処理を行うことにより、撮影画像が、車両のどの部分をカメラ１３で撮影して得られた画像であるのかを判断することができる。公知の画像処理の一例としては、撮影画像内において、角部（コーナー）や曲率、明度の変化、色の変化などの特徴量を有する部分（特徴点）を検出し、検出した特徴点の特徴量や位置関係などを示す特徴情報から、カメラ１３で撮影されている車両の部分（撮影部分）を認識する方法が挙げられる。また、サーバ装置２０（記憶部２２）には、問題（異常）が生じていない通常状態での車両（例えば車内）の画像が記憶されている。処理部１１は、認識した撮影部分に対応する通常状態での車両の画像をサーバ装置２０から取得し、カメラ１３で得られた撮影画像と通常状態での車両の画像とを比較することにより、それらの画像で差異が生じている箇所を問題箇所として特定することができる。
ここで、本実施形態では、問題箇所を特定する処理が、情報端末１０の処理部１１（特定部１１ｃ）で行われているが、サーバ装置２０の処理部２１で行われてもよい。この場合、情報端末１０の処理部１１は、カメラ１３で得られた撮影画像を通信部１７を介してサーバ装置２０に逐次送信する。サーバ装置２０の処理部２１は、情報端末１０から受信した撮影画像と通常状態での車両の画像とを比較して問題箇所を特定し、特定した問題箇所を示す情報を、通信部２３を介して情報端末１０に送信する。
Ｓ１３では、処理部１１は、ディスプレイ１４に表示された撮影画像内において問題箇所が特定されたか否かを判断する。撮影画像内において問題箇所が特定された場合にはＳ１４に進み、問題箇所が特定されなかった場合にはＳ１１に戻る。
Ｓ１４では、処理部１１（表示制御部１１ｄ）は、Ｓ１２で特定された問題箇所をユーザが指定するための指定ボタンとして、問題箇所の名称を示す拡張現実（ＡＲ；Augmented Reality）画像を、カメラ１３で得られた撮像画像に重畳させて（重ね合わせて）ディスプレイ１４に表示する。このとき、処理部１１は、位置検知センサ１５および姿勢検知センサ１６で検知された撮影画像における当該問題箇所の位置に整合するように、指定ボタンとしての拡張現実画像をディスプレイに表示する。
例えば、メータパネルにおいて、油圧警告灯およびエンジン警告灯が点灯しているとする。この場合、処理部１１は、油圧警告灯およびエンジン警告灯の点灯を問題箇所として特定し（Ｓ１２）、それらの名称を示す拡張現実画像を指定ボタンとして、撮影画像に重畳させてディスプレイ１４に表示する（Ｓ１４）。図４は、油圧警告灯およびエンジン警告灯の名称を示す拡張現実画像３０ａ、３０ｂを指定ボタンとして、撮影画像に重畳させてディスプレイ１４に表示した例を示している。これにより、ユーザは、指定ボタンとしての拡張現実画像３０ａ、３０ｂのいずれかをディスプレイ１４上でタッチすることにより、対処しようとしている問題箇所を指定することができる。以下では、油圧警告灯の名称を示す拡張現実画像３０ａがユーザによりタッチされ、油圧警告灯の点灯が指定された場合について説明する。
Ｓ１５では、処理部１１は、対処しようとしている問題箇所がユーザにより指定されたか否かを判断する。ユーザにより問題箇所が指定された場合にはＳ１６に進み、問題箇所が指定されなかった場合にはＳ１１に戻る。Ｓ１６では、処理部１１は、Ｓ１５でユーザにより指定された問題箇所に関する対処情報をサーバ装置２０から取得する。本実施形態の場合、Ｓ１６でサーバ装置２０から取得される対処情報には、問題箇所に対して自ら対処する意思をユーザに確認するための確認画面のデータと、問題箇所の対処を行うための手順の内容を示す複数の手順画面のデータとが含まれうる。ここで、本実施形態では、問題箇所に関する対処情報がサーバ装置２０に記憶されており、サーバ装置２０と通信して、当該対処情報をサーバ装置２０から取得する構成であるが、それに限られるものではない。例えば、問題箇所に関する対処情報を情報端末１０の記憶部１２に事前に記憶しておき、当該対処情報を記憶部１２から取得する構成であってもよい。
次に、問題箇所に関する対処情報をユーザに提供する処理について、図２Ｂ～図２Ｃに示すフローチャートを用いて説明する。図２Ｂに示すフローチャートの各工程は、処理部１１によって行われうる。また、図５～図１１は、図２Ｂ～図２Ｃのフローチャートにおいて情報端末１０のディスプレイ１４に表示される表示画面を示す図である。図５～図１１に示す表示画面は、図１２に示すように、油圧警告灯の点灯に対処するための手順の内容を示すツリー状の階層構造で構成され、ユーザからの回答に応じてディスプレイ１４に適宜表示される。ここで、本実施形態では、一例として、油圧警告灯の点灯の対処を行うための情報をユーザに提供する処理について説明するが、油圧警告灯の点灯以外の問題箇所についても同様の処理を行うことができる。油圧警告灯の点灯以外の問題箇所の対処を行う場合には、対処情報の内容（即ち、確認画面および複数の手順画面の内容）やフローチャートの構成を逐次変更してもよい。
Ｓ２０では、処理部１１（表示制御部１１ｄ）は、問題箇所の対処を自ら行う意思の有無をユーザに確認するための確認画面３１をディスプレイ１４に表示する。図５は、自ら対処する意思をユーザに確認するための確認画面３１を情報端末１０のディスプレイ１４に表示した例を示す図である。確認画面３１は、例えば、油圧警告灯の説明欄３１ａと、自ら対処するか否かの質問コメント３１ｂと、複数の回答項目３１ｃとを含みうる。複数の回答項目３１ｃは、ユーザにより選択可能な選択ボタンで構成されており、ユーザは、複数の回答項目３１ｃのいずれかをディスプレイ上でタッチすることで、質問に対する回答を行うことができる。図５に示す例では、「自分で対処する」旨の回答項目３１ｃ１と、「電話でのサポートを受ける」旨の回答項目３１ｃ２とが設けられている。
Ｓ２１では、処理部１１は、問題箇所に対して自ら対処する意思があるか否かを判断する。確認画面３１において「自分で対処する」旨の回答項目３１ｃ１がタッチされた場合には、ユーザに自ら対処する意思があるものとしてＳ２２に進む。一方、確認画面において「電話でのサポートを受ける」旨の回答項目３１ｃ２がタッチされた場合には、ユーザに自ら対処する意思がないものとしてＳ２８に進む。なお、確認画面３１でユーザに自ら対処する意思があることを確認した場合では、自ら対処する意思がないことを確認した場合に比べて、ディスプレイ１４に適宜表示される手順画面の数が多くなる。
Ｓ２２では、処理部１１（表示制御部１１ｄ）は、図６に示すように、対処手順の内容として、エンジンオイル量の調査を指示する手順画面３２（第１手順画面）をディスプレイ１４に表示する。図６に示す手順画面３２は、例えば、エンジンオイルの基準値の説明欄３２ａと、エンジンオイル量の調査の指示および基準値を満たしているか否かの質問を含むコメント３２ｂと、複数の回答項目３２ｃとを含みうる。複数の回答項目３２ｃは、ユーザにより選択可能な選択ボタンで構成されており、ユーザは、複数の回答項目３２ｃのいずれかをディスプレイ１４上でタッチすることで、手順（質問）に対する回答を行うことができる。
ここで、図６に示す手順画面における複数の回答項目３２ｃは、物の状態を回答するための回答項目と、ユーザの状態を回答するための回答項目とを含む。本実施形態の場合、「物の状態」とは、エンジンオイルの状態（即ち、エンジンオイル量が基準値を満たしているか否か）のことであり、その回答項目として、「基準値を満たしている」旨の回答項目３２ｃ１と、「基準値より少ない」旨の回答項目３２ｃ２とが設けられている。また、「ユーザの状態」とは、ユーザの理解度のことであり、その回答項目として、「調べ方がわからない」旨の回答項目３２ｃ３と、「カメラで自動判定する」旨の回答項目３２ｃ４とが設けられている。このように、物の状態に関する回答項目と、ユーザの状態に関する回答項目とを同一の手順画面で同時に表示することにより、速やかに問題解決にユーザを導くことができるとともに、知識の異なる個々のユーザに合わせた適切な情報を提供することができる。
Ｓ２３では、処理部１１は、「物の状態」および「ユーザの状態」のどちらに対して回答があったのかを判断する。具体的には、処理部１１は、物の状態を回答するための回答項目が選択されたのか、或いは、ユーザの状態を回答するための回答項目が選択されたのかを判断する。物の状態についての回答があった場合にはＳ２４に進む。一方、ユーザの状態についての回答があった場合には、図２ＣのフローチャートにおけるＳ３０に進む。図２Ｃのフローチャートの各工程については後述する。
Ｓ２４では、処理部１１は、物の状態を回答するための回答項目のうち、どちらに対して回答があったのかを判断する。具体的には、処理部１１は、「基準値を満たしている」旨の回答項目３２ｃ１が選択されたのか、或いは、「基準値より少ない」旨の回答項目３２ｃ２が選択されたのかを判断する。「基準値を満たしている」旨の回答があった場合にはＳ２５に進み、「基準値より少ない」旨の回答があった場合にはＳ２９に進む。
Ｓ２５では、処理部１１（表示制御部１１ｄ）は、図７に示すように、対処手順の内容として、エンジンの始動を指示する手順画面３３をディスプレイ１４に表示する。図７に示す手順画面は、例えば、エンジンの指示および油圧警告灯が消灯したか否かの質問を含むコメント３３ｂと、複数の回答項目３３ｃとを含みうる。複数の回答項目３３ｃは、ユーザにより選択可能な選択ボタンで構成されており、ユーザは、複数の回答項目３３ｃのいずれかをディスプレイ１４上でタッチすることで、手順（質問）に対する回答を行うことができる。図７に示す例では、「警告灯が消灯しない」旨の回答項目３３ｃ１と、「警告灯が消灯した」旨の回答項目３３ｃ２とが設けられている。
Ｓ２６では、処理部１１は、「警告灯が消灯しない」旨の回答項目３３ｃ１が選択されたのか、或いは、「警告灯が消灯した」旨の回答項目３３ｃ２が選択されたのかを判断する。「警告灯が消灯した」旨の回答があった場合にはＳ２７に進み、図８に示すように、問題が解決した旨の画面３４をディスプレイ１４に表示する。一方、「警告灯が消灯しない」旨の回答があった場合にはＳ２８に進む。
Ｓ２８では、処理部１１（表示制御部１１ｄ）は、図９に示すように、対処手順の内容として、サポートを要求するための手順画面３５をディスプレイ１４に表示する。図９に示す手順画面は、例えば、修理の依頼および注意喚起に関するコメント３５ｂと、連絡先に関する複数の選択項目３５ｃとを含みうる。複数の選択項目３５ｃの各々は、事前に登録された連絡先（例えば電話番号）と紐づけられており、ユーザは、複数の選択項目３５ｃのいずれかをディスプレイ１４上でタッチすることで、該当する連絡先へ電話することができる。図９に示す例では、「ロードサービス会社に連絡する」旨の選択項目３５ｃ１と、「保険会社に連絡する」旨の選択項目３５ｃ２と、「ディーラーに連絡する」旨の選択項目３５ｃ３とが設けられている。
また、Ｓ２４において「基準値より少ない」旨の回答があった場合に進むＳ２９では、処理部１１は、図１０に示すように、対処手順の内容として、エンジンオイルの補充を指示する手順画面３６をディスプレイ１４に表示する。図１０に示す手順画面は、例えば、エンジンオイルの補充を指示するコメント３６ｂと、エンジンオイルを補充可能な施設に関する複数の選択項目３６ｃとを含みうる。図１０に示す例では、「近くのガソリンスタンドを調べる」旨の選択項目３６ｃ１と、「近くのディーラーを調べる」旨の選択項目３６ｃ２とが設けられている。いずれかの選択項目がディスプレイ１４上でタッチされた場合には、ガソリンスタンドまたはディーラーを検索するためのウェブサイトに移行し、情報端末１０の現在位置に近いガソリンスタンドまたはディーラーの位置を示す情報（例えば地図情報）がディスプレイ１４上に表示される。
次に、Ｓ２４においてユーザの状態についての回答があった場合（Ｓ２４のＮｏ）の処理について、図２Ｃのフローチャートを参照しながら説明する。
Ｓ３０では、処理部１１は、ユーザの状態を回答するための回答項目のうち、どちらに対して回答があったのかを判断する。具体的には、処理部１１は、「調べ方がわからない」旨の回答項目３２ｃ３が選択されたのか、或いは、「カメラで自動判定する」旨の回答項目３２ｃ４が選択されたのかを判断する。「調べ方が分からない」旨の回答があった場合にはＳ３１に進み、「カメラで自動判定する」旨の回答があった場合にはＳ３３に進む。
Ｓ３１では、処理部１１（表示制御部１１ｄ）は、図１１に示すように、対処手順の内容として、エンジンオイル量の調べ方を動画で示す手順画面３７をディスプレイ１４に表示する。図１１に示す手順画面３７は、例えば、エンジンオイル量の調べ方の動画を表示する表示欄３７ａと、調べ方がわかったか否かの質問を含むコメント３７ｂと、複数の回答項目３７ｃとを含みうる。複数の回答項目３７ｃは、ユーザにより選択可能な選択ボタンで構成されており、ユーザは、複数の回答項目３７ｃのいずれかをディスプレイ１４上でタッチすることで、手順（質問）に対する回答を行うことができる。図１１に示す例では、「調べ方がわかった」旨の回答項目３７ｃ１と、「電話でのサポートを受ける」旨の回答項目３７ｃ２と、「ＴＶ（テレビ）電話サポートを受ける」旨の回答項目３７ｃ３とが設けられている。
Ｓ３２では、処理部１１は、「調べ方が分かった」旨の回答項目３７ｃ１が選択されたのか、「電話でのサポートを受ける」旨の回答項目３７ｃ２が選択されたのか、或いは、「ＴＶ電話サポートを受ける」旨の回答項目３７ｃ３が選択されたのかを判断する。「調べ方がわかった」旨の回答があった場合には、図２Ｂに示すフローチャートのＳ２２に進む。一方、「電話でのサポートを受ける」旨の回答があった場合には、図２Ｂに示すフローチャートのＳ２８に進む。ここで、「電話でのサポート」では、ディーラー等の第三者に対し、問題箇所や知りたい項目（情報）などを音声のみで伝えたり聞いたりしなければならず、状況の説明や調べ方の取得を円滑に行うことが困難になることがある。そのため、本実施形態では、「ＴＶ電話サポートを受ける」旨の回答項目３７ｃ３が手順画面３７に設けられており、その回答項目３７ｃ３が選択された場合には、情報端末１０の撮影機能（カメラ１３）を利用して、管理センターとＴＶ電話を行うことができる。管理センターは、例えばディーラーでありうるが、問題箇所の対処を行うことができる機関であればよく、電話番号等の情報が情報端末１０に事前に設定されている。例えば、ユーザは、問題箇所や知りたい項目を情報端末１０のカメラ１３で撮影し、その画像を情報端末１０から管理センターに送信することにより、管理センターから適切なサポートを受けることができる。また、管理センターにおいても、状況を適切に把握することができるため、適切なサポートをユーザに提供することができる。
また、Ｓ３０において「カメラで自動判定する」旨の回答があった場合に進むＳ３３では、処理部１１（表示制御部１１ｄ）は、オイルレベルゲージを引き抜いてカメラ１３で撮影するように指示する手順画面をディスプレイ１４に表示する。また、Ｓ３４では、処理部１１（判断部１１ｅ）は、ディスプレイ１４（表示欄）に表示された撮影画像内において、オイルレベルゲージを特定するとともに、当該オイルレベルゲージにおけるエンジンオイルの付着領域を特定する。例えば、処理部１１は、公知の画像処理を行うことにより、オイルゲージの特定とエンジンオイルの付着領域の特定とを行うことができる。
Ｓ３５では、処理部１１（判断部１１ｅ）は、Ｓ３４での画像処理の結果に基づいて、エンジンオイルの付着領域の上限位置が基準値を満たしているか否かを判断する。基準値を満たしていると判断した場合には、図２Ｂに示すフローチャートのＳ２５に進む。一方、基準値を満たしていると判断した場合には、図２Ｂに示すフローチャートのＳ２８に進む。
このように、本実施形態の情報提供システム１００は、問題箇所の対処を行うための手順の内容を示す手順画面（例えば、図６に示す手順画面３２）において、物の状態に関する回答項目と、ユーザの状態に関する回答項目とを表示する。これにより、速やかに問題解決にユーザを導くことができるとともに、知識の異なる個々のユーザに合わせた適切な情報を提供することができる。
＜他の実施形態＞
上記実施形態において、処理部１１は、問題箇所の対処に要した時間を計測部１１ｆで計測しておき、問題が解決した旨の画面３４の内容を、計測部１１ｆで計測された時間に応じて変更してもよい。例えば、図８に示す画面３４では、「お疲れ様でした」のコメントが含まれているが、計測部１１ｆで計測された時間が閾値を超えた場合に、当該コメントを表示したり、当該コメントの内容を変更したりしてもよい。また、計測部１１ｆで計測された時間データは、通信部１７を介してサーバ装置２０に送信され、サーバ装置２０（記憶部２２）に記憶されてもよい。この場合、ディーラーなどにおいて、ユーザによる問題箇所の対処に要する時間に基づいて、対処情報における手順内容の妥当性や利便性を評価できるため、対処情報の更なる改良を図ることが可能となる。
また、上記実施形態において、確認画面３１で確認されたユーザの意図は、通信部１７を介してサーバ装置２０に送信され、サーバ装置２０（記憶部２２）に記憶されてもよい。この場合、ディーラーなどにおいて、問題箇所とユーザの意思の有無との対応関係を把握し、対処情報における手順内容の妥当性や利便性を評価できるため、対処情報の更なる改良を図ることが可能となる。
また、上記実施形態において、サーバ装置２０は、手順（質問）に対するユーザからの回答を情報端末１０から受信し、当該手順（質問）に紐づけて記憶部２２に記憶してもよい。この場合、ユーザからの回答に関する情報を、例えば情報提供プログラムの作成者（即ちサービス提供者）に伝達することができる。これにより、当該作成者は、ユーザが対応した項目やユーザが対応できなかった項目などを把握（収集）し、ユーザが希望する事項を含めたり、ユーザが対応できなかった項目を詳細にしたりするなど、利便性が更に向上するように情報提供プログラムを改善することができる。さらに、当該作成者は、情報提供プログラムを使用したユーザの状態や状況の理解度に関する情報を把握（収集）し、より適した項目を構築するなど、利便性が更に向上するように情報提供プログラムを改善することができる。
また、上記実施形態において、処理部１１は、事前に登録されたユーザ情報を第２取得部１１ｂによりサーバ装置２０から取得し、サポートを要求する手順画面３５（図９）を、ユーザ情報に応じて変更してもよい。例えば、ユーザ情報として、複数の保険会社の情報が登録されている場合には、複数の保険会社の連絡先を手順画面３５に表示してもよいし、特定された問題箇所に対してより低コストで解決することができる保険会社の連絡先を手順画面３５に表示してもよい。ユーザ情報として、ユーザが車両を購入したディーラーやその担当者の情報が登録されている場合には、それらの連絡先を手順画面３５に表示してもよい。
また、上記実施形態において、処理部１１は、車両の駆動源（エンジン、またはモータ）に供給される残燃料量または残電力量に応じて、ディスプレイ１４に表示される手順画面の内容を変更してもよい。例えば、処理部１１は、ネットワークＮＴＷを介して車両と通信可能に構成されている場合、車両から残燃料量または残電力量に関する情報を取得し、残燃料量または残電力量で、近くのガソリンスタンドやディーラーに到着することができるか否かを判断する。残燃料量または残電力量では近くのガソリンスタンドやディーラーに到着することができないと判断した場合、オイルの補充を要求する手順画面３６（図１０）の代わりに、サポートを要求する手順画面３５（図９）をディスプレイ１４に表示してもよい。これにより、近くのガソリンスタンドやディーラーに到着できずに燃料切れを起こす事態を回避し、より適した情報（提案）をユーザに提供することができる。
＜実施形態のまとめ＞
１．上記実施形態の情報提供システムは、
カメラ（例えば１３）およびディスプレイ（例えば１４）を有する情報端末（例えば１０）を用いて、問題に対処するための情報をユーザに提供する情報提供システム（例えば１００）であって、
前記情報端末は、
前記カメラで得られた撮影画像内において、問題箇所を特定する特定手段（例えば１１ｃ）と、
前記特定手段で特定された前記問題箇所の対処を行うための手順の内容を示す複数の手順画面（例えば３２～３７）を、ユーザからの回答に応じて前記ディスプレイに適宜表示する表示制御手段（例えば１１ｄ）と、
を備え、
前記複数の手順画面は、手順に対する回答としてユーザにより選択可能な複数の回答項目（例えば３２ｃ）が表示される第１手順画面（例えば３２）を含み、
前記複数の回答項目は、物の状態に関する回答項目（例えば、３２ｃ１～３２ｃ２）と、ユーザの状態に関する回答項目（例えば、３２ｃ３～３２ｃ４）とを含む。
この構成によれば、速やかに問題解決にユーザを導くことができるとともに、知識の異なる個々のユーザに合わせた適切な情報を提供することが可能となる。
２．上記実施形態の情報提供システムにおいて、
前記問題箇所は、通常状態とは異なる異常状態である物品、および、当該物品が異常状態であることを示す報知サインのうち少なくとも一方を含む。
この構成によれば、異常状態である物品が問題箇所として特定された場合だけでなく、その物品の異常状態を示す報知サインが問題箇所として特定された場合であっても、個々のユーザに合わせた適切な情報を提供することが可能となる。
３．上記実施形態の情報提供システムにおいて、
前記ユーザの状態に関する回答項目は、前記手順に対する前記ユーザの理解度に関する回答項目（例えば３２ｃ３）を含む。
この構成によれば、手順に対するユーザの理解度に合わせた適切な情報をユーザに提供することが可能となる。
４．上記実施形態の情報提供システムにおいて、
前記情報端末は、前記カメラで得られた撮影画像に基づいて、前記手順に関する判断を行う判断手段（例えば１１ｅ）を備え、
前記ユーザの状態に関する回答項目は、前記手順に関する判断を前記判断手段に実施させる旨の回答項目（例えば３２ｃ４）を含む。
この構成によれば、手順に対するユーザの理解度や判断能力が低い場合であっても、個々のユーザに合わせた適切な情報をユーザに提供することが可能となる。
５．上記実施形態の情報提供システムにおいて、
前記表示制御手段は、前記問題箇所の対処を自ら行う意思の有無をユーザに確認するための確認画面（例えば３１）を前記ディスプレイに表示する。
この構成によれば、ユーザの意思に合わせた適切な情報をユーザに提供することが可能となる。つまり、問題箇所の対処を自ら行う意思がないユーザに対しては、他者に問題を解決してもらう方向に速やかに誘導することができる一方で、当該意思のあるユーザに対しては、自力で問題解決にチャレンジしてもらうことで、問題解決後の達成感やそれに伴う愛着心をユーザに引き起こさせることができる。
６．上記実施形態の情報提供システムにおいて、
前記表示制御手段は、前記問題箇所の対処を自ら行う意思の有無を前記確認画面でユーザに確認した結果に応じて、前記ディスプレイに表示する手順画面を変更する。
この構成によれば、ユーザの意思に合わせた適切な情報をユーザに提供することが可能となる。
７．上記実施形態の情報提供システムにおいて、
前記確認画面で前記ユーザに自ら対処する意思が有ることを確認した場合では、前記ユーザに自ら対処する意思が無いことを確認した場合に比べて、前記ディスプレイに適宜表示される手順画面の数が多い。
この構成によれば、問題箇所の対処を自ら行う意思があるユーザに対し、当該対処の手順を丁寧に提供し、より適切に且つ速やかに問題箇所の対処をユーザに行わせることが可能となる。
８．上記実施形態の情報提供システムにおいて、
前記情報端末は、前記問題箇所の対処に要した時間を計測する計測手段（例えば１１ｆ）を備え、
前記表示制御手段は、前記問題箇所の対処後に前記ディスプレイに表示される画面の内容を、前記計測手段で計測された時間に応じて変更する。
この構成によれば、問題箇所の対処に要した時間に応じて、ユーザにねぎらいの言葉をディスプレイに表示するなどの対応を行うことが可能となるため、ユーザの達成感をより多く引き起こさせることが可能となる。
９．上記実施形態の情報提供システムにおいて、
前記情報端末は、事前に登録されたユーザ情報を取得する取得手段（例えば１１ｂ）を備え、
前記表示制御手段は、前記ディスプレイに表示される手順画面の内容を、前記取得手段で取得したユーザ情報に応じて変更する。
この構成によれば、例えば、複数の保険会社の連絡先がユーザ情報として登録されている場合に、問題箇所に対してより低コストで解決することができる保険会社の連絡先をディスプレイに表示するなど、個々のユーザに応じて利便性のより高い情報（提案）をユーザに提供することが可能となる。
１０．上記実施形態の情報提供システムにおいて、
前記問題箇所は、車両の一部であり、
前記表示制御手段は、前記ディスプレイに表示される手順画面の内容を、前記車両の駆動源に供給される残燃料量または残電力量に応じて変更する。
この構成によれば、例えば、近くのガソリンスタンドやディーラーに到着できずに燃料切れを起こす事態などを回避し、より適した情報（提案）をユーザに提供することが可能となる。
１１．上記実施形態の情報提供システムにおいて、
前記情報端末と通信可能に接続されたサーバ装置を更に備え、
前記サーバ装置は、ユーザからの回答を記憶する記憶部を有する。
この構成によれば、ユーザの状態や状況の理解度に関する情報を把握（収集）し、利便性を更に向上させた情報提供システムを提供することができる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
１０：情報端末、１１：処理部、１２：記憶部、１３：カメラ、１４：ディスプレイ、１５：位置検知センサ、１６：姿勢検知センサ、１７：通信部、２０：サーバ装置、２１：処理部、２２：記憶部、２３：通信部

Claims (13)

  1. カメラおよびディスプレイを有する情報端末を用いて、問題に対処するための情報をユーザに提供する情報提供システムであって、
    前記情報端末は、
    前記カメラで得られた撮影画像内において、問題箇所を特定する特定手段と、
    前記特定手段で特定された前記問題箇所の対処を行うための手順の内容を示す複数の手順画面を、ユーザからの回答に応じて前記ディスプレイに適宜表示する表示制御手段と、
    を備え、
    前記複数の手順画面は、手順に対する回答としてユーザにより選択可能な複数の回答項目が表示される第１手順画面を含み、
    前記複数の回答項目は、物の状態に関する回答項目と、ユーザの状態に関する回答項目とを含む、ことを特徴とする情報提供システム。
  2. 前記問題箇所は、通常状態とは異なる異常状態である物品、および、当該物品が異常状態であることを示す報知サインのうち少なくとも一方を含む、ことを特徴とする請求項１に記載の情報提供システム。
  3. 前記ユーザの状態に関する回答項目は、前記手順に対する前記ユーザの理解度に関する回答項目を含む、ことを特徴とする請求項１又は２に記載の情報提供システム。
  4. 前記情報端末は、前記カメラで得られた撮影画像に基づいて、前記手順に関する判断を行う判断手段を備え、
    前記ユーザの状態に関する回答項目は、前記手順に関する判断を前記判断手段に実施させる旨の回答項目を含む、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報提供システム。
  5. 前記表示制御手段は、前記問題箇所の対処を自ら行う意思の有無をユーザに確認するための確認画面を前記ディスプレイに表示する、ことを特徴とする請求項１乃至４のいずれか１項に記載の情報提供システム。
  6. 前記表示制御手段は、前記問題箇所の対処を自ら行う意思の有無を前記確認画面でユーザに確認した結果に応じて、前記ディスプレイに表示する手順画面を変更する、ことを特徴とする請求項５に記載の情報提供システム。
  7. 前記確認画面で前記ユーザに自ら対処する意思が有ることを確認した場合では、前記ユーザに自ら対処する意思が無いことを確認した場合に比べて、前記ディスプレイに適宜表示される手順画面の数が多い、ことを特徴とする請求項５又は６に記載の情報提供システム。
  8. 前記情報端末は、前記問題箇所の対処に要した時間を計測する計測手段を備え、
    前記表示制御手段は、前記問題箇所の対処後に前記ディスプレイに表示される画面の内容を、前記計測手段で計測された時間に応じて変更する、ことを特徴とする請求項１乃至７のいずれか１項に記載の情報提供システム。
  9. 前記情報端末は、事前に登録されたユーザ情報を取得する取得手段を備え、
    前記表示制御手段は、前記ディスプレイに表示される画面の内容を、前記取得手段で取得したユーザ情報に応じて変更する、ことを特徴とする請求項１乃至８のいずれか１項に記載の情報提供システム。
  10. 前記問題箇所は、車両の一部であり、
    前記表示制御手段は、前記ディスプレイに表示される手順画面の内容を、前記車両の駆動源に供給される残燃料量または残電力量に応じて変更する、ことを特徴とする請求項１乃至９のいずれか１項に記載の情報提供システム。
  11. 前記情報端末と通信可能に接続されたサーバ装置を更に備え、
    前記サーバ装置は、ユーザからの回答を記憶する記憶部を有する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報提供システム。
  12. カメラおよびディスプレイを有し、問題に対処するための情報をユーザに提供する情報端末であって、
    前記カメラで得られた撮影画像内において、問題箇所を特定する特定手段と、
    前記特定手段で特定された前記問題箇所の対処を行うための手順の内容を示す複数の手順画面を、ユーザからの回答に応じて前記ディスプレイに適宜表示する表示制御手段と、
    を備え、
    前記複数の手順画面は、手順に対する回答としてユーザにより選択可能な複数の回答項目が表示される第１手順画面を含み、
    前記複数の回答項目は、物の状態に関する回答項目と、ユーザの状態に関する回答項目とを含む、ことを特徴とする情報端末。
  13. カメラおよびディスプレイを有する情報端末の特定手段および表示手段により、問題に対処するための情報をユーザに提供する情報提供方法であって、
    前記情報端末の前記カメラで得られた撮影画像内において、前記特定手段で問題箇所を特定する特定工程と、
    前記特定工程で特定された前記問題箇所の対処を行うための手順の内容を示す複数の手順画面を、前記表示手段でユーザからの回答に応じて前記ディスプレイに適宜表示する表示工程と、
    を有し、
    前記複数の手順画面は、手順に対する回答としてユーザにより選択可能な複数の回答項目が表示される第１手順画面を含み、
    前記複数の回答項目は、物の状態に関する回答項目と、ユーザの状態に関する回答項目とを含む、ことを特徴とする情報提供方法。
JP2021539769A 2019-08-14 2019-08-14 情報提供システム、情報端末、および情報提供方法 Active JP7303879B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031967 WO2021029042A1 (ja) 2019-08-14 2019-08-14 情報提供システム、情報端末、および情報提供方法

Publications (2)

Publication Number Publication Date
JPWO2021029042A1 JPWO2021029042A1 (ja) 2021-02-18
JP7303879B2 true JP7303879B2 (ja) 2023-07-05

Family

ID=74569562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021539769A Active JP7303879B2 (ja) 2019-08-14 2019-08-14 情報提供システム、情報端末、および情報提供方法

Country Status (5)

Country Link
US (1) US20220153281A1 (ja)
JP (1) JP7303879B2 (ja)
CN (1) CN114175085A (ja)
DE (1) DE112019007630T5 (ja)
WO (1) WO2021029042A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173691A (ja) 2015-03-17 2016-09-29 カシオ計算機株式会社 サーバ装置、端末装置、不具合診断システム及びプログラム
JP2018081425A (ja) 2016-11-15 2018-05-24 株式会社デンソー 車両の問診システム
JP6380169B2 (ja) 2015-03-04 2018-08-29 株式会社デンソー 故障診断装置および端末装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920944B2 (en) * 2005-10-21 2011-04-05 General Motors Llc Vehicle diagnostic test and reporting method
US7363129B1 (en) * 2007-01-05 2008-04-22 Moon Valley Software Apparatus, system and method that interfaces with an automobile engine control unit
US20210394766A1 (en) * 2009-07-21 2021-12-23 Katasi, Inc Method and system for detecting, monitoring, and controlling a mobile communication device
US20130046592A1 (en) * 2011-08-17 2013-02-21 General Motors Llc Mobile Application for Providing Vehicle Information to Users
WO2014024254A1 (ja) * 2012-08-07 2014-02-13 株式会社日立製作所 自律走行装置の利用支援ツール、運用管理センタ、運用システム及び自律走行装置
US8825271B2 (en) * 2013-01-04 2014-09-02 Innova Electronics, Inc. Smart phone app-based VIN decoding and symptomatic diagnostic system and method
US20140240349A1 (en) * 2013-02-22 2014-08-28 Nokia Corporation Method and apparatus for presenting task-related objects in an augmented reality display
US20170024943A1 (en) * 2014-03-19 2017-01-26 Cummins, Inc. System and Method for Service Assessment
US20160117732A1 (en) * 2014-10-23 2016-04-28 Jian Zou User Need Estimation On Mobile Device And Its Applications
US10317223B1 (en) * 2015-01-20 2019-06-11 State Farm Mutual Automobile Insurance Company Taking corrective action based upon telematics data broadcast from another vehicle
US10049505B1 (en) * 2015-02-27 2018-08-14 State Farm Mutual Automobile Insurance Company Systems and methods for maintaining a self-driving vehicle
US9925987B1 (en) * 2015-12-11 2018-03-27 Lytx, Inc. Driving abnormality detection
US10002473B1 (en) * 2016-07-11 2018-06-19 State Farm Mutual Automobile Insurance Company Method and system for receiving and displaying user preferences corresponding to a vehicle event
CN106384095B (zh) * 2016-09-19 2019-06-18 西安理工大学 基于手机拍摄图像的轿车故障指示灯识别方法
US11010922B1 (en) * 2016-10-31 2021-05-18 United Services Automobile Association (Usaa) Systems and methods for calibrating distance estimation in image analysis
WO2018102440A1 (en) * 2016-11-29 2018-06-07 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9809159B1 (en) * 2016-12-28 2017-11-07 Allstate Insurance Company System and methods for detecting vehicle braking events using data from fused sensors in mobile devices
WO2019183869A1 (en) * 2018-03-29 2019-10-03 Intel Corporation Augmenting mobile device operation with intelligent external sensors
KR102679466B1 (ko) * 2018-12-11 2024-07-01 현대자동차주식회사 차량 및 그 제어방법
US10946862B1 (en) * 2019-06-25 2021-03-16 Allstate Insurance Company Utilizing vehicle telematics to detect, evaluate, and respond to driving behaviors
US11631283B2 (en) * 2019-06-27 2023-04-18 Toyota Motor North America, Inc. Utilizing mobile video to provide support for vehicle manual, repairs, and usage

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6380169B2 (ja) 2015-03-04 2018-08-29 株式会社デンソー 故障診断装置および端末装置
JP2016173691A (ja) 2015-03-17 2016-09-29 カシオ計算機株式会社 サーバ装置、端末装置、不具合診断システム及びプログラム
JP2018081425A (ja) 2016-11-15 2018-05-24 株式会社デンソー 車両の問診システム

Also Published As

Publication number Publication date
WO2021029042A1 (ja) 2021-02-18
CN114175085A (zh) 2022-03-11
US20220153281A1 (en) 2022-05-19
JPWO2021029042A1 (ja) 2021-02-18
DE112019007630T5 (de) 2022-06-02

Similar Documents

Publication Publication Date Title
JP5870929B2 (ja) 情報処理システム、情報処理装置および情報処理方法
US20240249520A1 (en) Integrated internal and external camera system in vehicles
JP6819086B2 (ja) 車両用表示制御装置
US20150030998A1 (en) Method and Apparatus for Automated Vehicle Support
EP2904767A2 (en) Information processing device, display control method, and program
JP2015184968A (ja) 運転特性診断方法
CN111252074B (zh) 多模态控制方法、装置、计算机可读存储介质和车辆
US10661807B2 (en) Driving evaluation system and program
US20220157087A1 (en) Information provision system, information terminal, and information provision method
JP4604597B2 (ja) 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
US20090003578A1 (en) Enhancing contact center interactions for people having impaired senses
JP7303879B2 (ja) 情報提供システム、情報端末、および情報提供方法
JP5970973B2 (ja) 車両用地図表示装置
JP2011259350A (ja) 通信端末
CN118132868A (zh) 一种提示信息展示方法、装置、电子设备和存储介质
CN107107834A (zh) 投影型显示装置、电子设备、驾驶者视觉辨认图像共享方法以及驾驶者视觉辨认图像共享程序
US20220092829A1 (en) Augmented reality detection for locating autonomous vehicles
CN113504832B (zh) 一种移动终端显示调整方法、装置、设备及介质
JP2007011962A (ja) 施設情報提供システム及び施設情報提供方法
JP6584285B2 (ja) 電子装置およびレコメンド情報提示システム
JP4478047B2 (ja) 情報提示装置及び情報提示方法とそのプログラム
CN110110951A (zh) 车辆调度服务协调搜索辅助***
JP2004086844A (ja) 事故対応システム
JP2012093279A (ja) 点呼・点検システム
US20210345347A1 (en) Systems and methods to automate prioritizing and organizing of consumer goods and services

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R150 Certificate of patent or registration of utility model

Ref document number: 7303879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150