JP7374396B2 - 情報処理装置、情報処理方法、及び、情報処理プログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及び、情報処理プログラムに関する。

ユーザの視線を計測してユーザが見ている領域を検出し、検出した領域に紐づいた情報をユーザに提示する技術がある。特許文献１は、ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）等において、ユーザが見ている画像に紐づいたガイダンス映像を表示することにより、適切なガイダンス映像をユーザに提供する技術を開示している。

特開２０１８－０５５３２０号公報

作業現場における作業者支援、又は仮想空間等を用いた作業教育等において、作業者であるユーザの機器の選択における迷いに応じてユーザに適切に情報を提示する技術が求められている。当該技術に係る作業の種類と作業対象機器の種類とは数多く存在することが通常であるため、当該技術を特許文献１が開示する技術に基づいて実現することは、紐付け作業の量が膨大となるために現実的ではないという課題がある。

本開示は、作業しているユーザが注目している注目機器群と、作業対象機器との関係性に基づいてユーザに提示する情報を決定することにより、作業現場における作業者支援、又は仮想空間等を用いた作業教育等において、ユーザの機器の選択における迷いに応じてユーザに適切に情報を提示することを目的とする。ここで、作業対象機器は、ユーザが実施すべき作業に対応する機器である。

本開示に係る情報処理装置は、
作業しているユーザが注目している少なくとも１つの機器から成る注目機器群を検出する作業対象検出部と、
前記注目機器群に含まれている機器のうち前記ユーザが実施すべき作業に対応する機器である作業対象機器を除いた機器の各々を対象注目機器とし、前記対象注目機器と前記作業対象機器との関係性を示すスコアであって、前記ユーザが前記対象注目機器と前記作業対象機器との間で選択に迷う度合いを示すスコアである関係性スコアを求める迷い要因推定部と、
前記ユーザに提示する情報であって、前記ユーザが前記作業対象機器に気づくことを補助する情報である提示情報を記録している提示情報データベースを参照して、求められた関係性スコアに基づいて提示情報を取得する提示情報制御部と
を備える。

本開示によれば、迷い要因推定部が注目機器群と作業対象機器とに基づいて関係性スコアを求め、提示情報制御部が関係性スコアに基づいて提示情報を取得する。ここで、関係性スコアは関係性を示す値に相当する。従って、本開示によれば、作業しているユーザが注目している注目機器群と、作業対象機器との関係性を示す値に基づいてユーザに提示する情報を決定することにより、作業現場における作業者支援、又は仮想空間等を用いた作業教育等において、ユーザの機器の選択における迷いに応じてユーザに適切に情報を提示することができる。

実施の形態１に係る情報処理装置１０の構成例を示す図。 実施の形態１に係る作業手順ＤＢ９１が格納しているデータを説明する図。 実施の形態１に係る機器ＤＢ９２が格納しているデータを説明する図。 実施の形態１に係る提示情報ＤＢ９３が格納しているデータを説明する図。 実施の形態１に係る情報処理装置１０のハードウェア構成例を示す図。 実施の形態１に係る情報処理装置１０の動作の概要を説明する図。 実施の形態１に係る作業スケジュールの具体例を示す図。 関係性スコアの算出方法を説明する図。 関係性スコアの算出方法を説明する図。 実施の形態１に係る情報処理装置１０の動作を示すフローチャート。 実施の形態１の変形例に係る情報処理装置１０のハードウェア構成例を示す図。 実施の形態２に係る情報処理装置１０の構成例を示す図。 実施の形態３に係る情報処理装置１０の構成例を示す図。 実施の形態４に係る情報処理装置１０の構成例を示す図。 実施の形態４に係る関係性重みを説明する図。 実施の形態４に係る関係性重みＤＢ９４が格納しているデータを説明する図。 実施の形態５に係る情報処理装置１０の構成例を示す図。 実施の形態５に係る情報処理装置１０の動作を示すフローチャート。 実施の形態５に係る関係性重み更新部７０が関係性重みを更新する様子を説明する図であり、（ａ）は一様な重みを示すテーブルデータ、（ｂ）は機器の種類に応じた重みを示すテーブルデータ。 実施の形態６に係る情報処理装置１０の動作を示すフローチャート。

実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。

実施の形態１．
以下、本実施の形態について、図面を参照しながら詳細に説明する。

＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る情報処理装置１０の構成例を示している。情報処理装置１０は、図１に示すように、作業対象検出部２０と、迷い要因推定部３０と、提示情報制御部４０と、作業手順ＤＢ９１と、機器ＤＢ９２と、提示情報ＤＢ９３とを備える。ＤＢはＤａｔａｂａｓｅの略記である。

作業対象検出部２０は、注目機器群を検出し、また、作業対象機器を示す情報を取得する。注目機器群は、作業しているユーザが注目している少なくとも１つの機器から成る。作業対象機器は、ユーザが実施すべき作業に対応する機器である。作業対象機器は、作業スケジュール等に応じて定まる。作業対象機器が２つ以上の機器から成ってもよい。注目機器群に作業対象機器が含まれないこともある。作業対象検出部２０は、ユーザが注視している領域に基づいて注目機器群を検出する。当該領域は、視線センサ３が計測したユーザの視線を示すデータに基づいて求められる。作業対象検出部２０は、ユーザの作業スケジュールを外部から取得してもよく、ユーザ情報を取得し、取得したユーザ情報に対応する作業スケジュールを情報処理装置１０が記録している作業スケジュールから選択してもよい。ユーザ情報はユーザの識別子等を示す情報である。
迷い要因推定部３０は、注目機器群に含まれている機器のうち作業対象機器を除いた機器の各々を対象注目機器とし、対象注目機器と作業対象機器との関係性を示すスコアであって、ユーザが対象注目機器と作業対象機器との間で選択に迷う度合いを示すスコアである関係性スコアを求める迷い要因を推定する。迷い要因推定部３０は、ユーザが実施すべき作業の内容に基づいて関係性スコアを求めてもよい。また、迷い要因推定部３０は、迷い要因ごとに関係性スコアを求める。迷い要因は、ユーザが対象注目機器と作業対象機器との間で選択に迷う要因である。
提示情報制御部４０は、迷い要因推定部３０によって求められた関係性スコアに基づいて提示情報を取得する。提示情報は、ユーザに提示する情報であって、ユーザが作業対象機器に気づくことを補助する情報である。

作業手順ＤＢ９１は、作業の順序と、対象機器に対して実施する作業の内容等の各々を示すデータを記録している。図２は、作業手順ＤＢ９１が格納しているデータを説明する図である。作業手順ＤＢ９１は、具体例として、手順ＩＤと、手順名と、内容と、作業対象機器ＩＤと、作業ＩＤとの各々を示すデータを格納している。ＩＤはＩｄｅｎｔｉｆｉｃａｔｉｏｎの略記である。
手順ＩＤは、作業の各手順を識別する識別子を示す。
手順名は、作業の各手順に与えられた名称を示す。
内容は、作業の各手順において実施される具体的な処理を示す。
作業対象機器ＩＤは、作業の各手順において対象とされる機器の識別子を示す。
作業ＩＤは、各作業を識別する識別子を示す。

機器ＤＢ９２は、各機器の位置関係と、機器の型名等の各々を示すデータを記録している。各機器の位置関係は、具体例として、３ＤＣＡＤ（３－ｄｉｍｅｎｓｉｏｎ Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）モデル、又はアセンブリデータにより示される。図３は、機器ＤＢ９２が格納しているデータを説明する図である。機器ＤＢ９２は、具体例として、機器ＩＤと、機器種類と、型名と、設置座標との各々を示すデータを格納している。迷い要因推定部３０は、機器ＤＢ９２を参照して機器を検索し、機器の設置座標に基づいて機器間の距離を算出し、算出した距離を用いて関連性スコアを求めてもよい。
機器ＩＤは、各機器を識別する識別子を示す。
機器種類は、各機器の種類を示す。
型名は、各機器の型名を示す。
設置座標は、各機器が設置されている座標を示す。
なお、機器ＤＢ９２が格納しているデータは、テーブルデータの代わりに３Ｄのアセンブリデータ等であってもよい。当該アセンブリデータに含まれる機器の座標情報を用いて機器同士の距離を算出すれば、テーブルデータを用いて機器同士の距離を算出した場合と同等の効果が得られる。

図４は、提示情報ＤＢ９３が格納しているデータを説明する図である。提示情報ＤＢ９３は、提示情報を記録しており、具体例として、提示情報ＩＤと、機器ＩＤと、提示情報の種類と、提示情報ファイル名との各々を示すデータを格納している。提示情報を記録していることには、ファイル名等の提示情報を指す情報を記録していることが含まれる。
提示情報ＩＤは、ユーザに提示する情報を識別する識別子を示す。
機器ＩＤは、ユーザに提示する情報に対応する機器を識別する識別子を示す。
提示情報の種類は、ユーザに提示する情報の種類を示す。
提示情報ファイル名は、ユーザに提示する情報に対応するファイルの名称を示す。
提示情報制御部４０は、最も高い関係性スコアを手掛かりにユーザに提示する情報を提示情報ＤＢ９３から検索する。具体例として、提示情報ＤＢ９３内に図４に示すようなテーブルデータがある場合、提示情報制御部４０は、テーブルデータを検索し、検索した結果が示すファイルを取得する。なお、関係性スコアに対応する関係性の種類と、提示情報の種類との関係を示すテーブルデータ等が予め用意されているものとする。

情報処理装置１０は、視線センサ３と、表示装置５との各々に接続している。情報処理装置１０は、視線センサ３と接続せず、視線センサ３が計測したデータを取得してもよい。
視線センサ３は、ユーザの視線を計測するセンサである。視線センサ３は、作業環境に取り付けられたカメラ又は赤外線センサであってもよく、ユーザが身に着けたウェアラブルデバイスに搭載されたものであってもよい。ウェアラブルデバイスは、具体例としてＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。
表示装置５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等、映像を表示する装置である。

図５は、本実施の形態に係る情報処理装置１０のハードウェア構成例を示している。情報処理装置１０は、コンピュータから成る。情報処理装置１０は、複数のコンピュータから成ってもよい。

情報処理装置１０は、図５に示すように、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、入出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１４と、通信装置１５等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１９を介して適宜接続されている。

プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
情報処理装置１０は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１１の役割を分担する。

メモリ１２は、典型的には、揮発性の記憶装置である。メモリ１２は、主記憶装置又はメインメモリとも呼ばれる。メモリ１２は、具体例として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。メモリ１２に記憶されたデータは、必要に応じて補助記憶装置１３に保存される。

補助記憶装置１３は、典型的には、不揮発性の記憶装置である。補助記憶装置１３は、具体例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はフラッシュメモリである。補助記憶装置１３に記憶されたデータは、必要に応じてメモリ１２にロードされる。
メモリ１２及び補助記憶装置１３は一体的に構成されていてもよい。

入出力ＩＦ１４は、入力装置及び出力装置が接続されるポートである。入出力ＩＦ１４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。

通信装置１５は、レシーバ及びトランスミッタである。通信装置１５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

情報処理装置１０の各部は、他の装置等と通信する際に、入出力ＩＦ１４及び通信装置１５を適宜用いてもよい。

補助記憶装置１３は、情報処理プログラムを記憶している。情報処理プログラムは、情報処理装置１０が備える各部の機能をコンピュータに実現させるプログラムである。情報処理プログラムは、メモリ１２にロードされて、プロセッサ１１によって実行される。情報処理装置１０が備える各部の機能は、ソフトウェアにより実現される。

情報処理プログラムを実行する際に用いられるデータと、情報処理プログラムを実行することによって得られるデータ等は、記憶装置に適宜記憶される。情報処理装置１０の各部は、適宜記憶装置を利用する。記憶装置は、具体例として、メモリ１２と、補助記憶装置１３と、プロセッサ１１内のレジスタと、プロセッサ１１内のキャッシュメモリとの少なくとも１つから成る。なお、データと、情報とは、同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。
メモリ１２及び補助記憶装置１３の機能は、他の記憶装置によって実現されてもよい。

情報処理プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。情報処理プログラムは、プログラムプロダクトとして提供されてもよい。

＊＊＊動作の説明＊＊＊
情報処理装置１０の動作手順は、情報処理方法に相当する。また、情報処理装置１０の動作を実現するプログラムは、情報処理プログラムに相当する。

図６は、情報処理装置１０の動作の概要を説明する図である。図６を参照して情報処理装置１０の動作の概要を説明する。
まず、作業対象検出部２０は、一定期間におけるユーザの視線分布内に含まれる対象機器を抽出する。また、作業対象検出部２０は、当日の作業スケジュール又は直前に操作した機器を示す情報等を参照して作業対象機器を示す情報を取得する。ここで、作業対象機器は機器Ｄ２であるものの、ユーザは、作業対象機器が機器Ｄ１と機器Ｄ２とのどちらであるのか選択に迷っているものとする。
次に、迷い要因推定部３０は、機器Ｄ１と機器Ｄ２との関係性を探索する。この際、迷い要因推定部３０は、作業手順ＤＢ９１を参照して、機器Ｄ１に関わる手順と機器Ｄ２に関わる手順との間における順番の近さ又は処置内容の近さ等を評価してもよい。また、迷い要因推定部３０は、機器ＤＢ９２が示す設計データ又はＣＡＤデータ等を参照して、機器Ｄ１と機器Ｄ２との種類の近さ、又は機器Ｄ１と機器Ｄ２との物理的な距離の近さ等を評価してもよい。
次に、迷い要因推定部３０は、探索した関係性毎に関係の近さを評価する。
次に、提示情報制御部４０は、迷い要因推定部３０が評価した結果に応じて提示情報を決定する。この際、具体例として、関係性の種類と提示情報の種類との対応関係に関するルールが予め設定されており、提示情報制御部４０は、設定されたルールに則り提示情報を決定する。

図７は、作業スケジュールの具体例を示している。作業スケジュールは、具体例として、日付と、開始時刻と、終了時刻と、作業ＩＤと、担当者ＩＤとの各々を示す情報から成る。
日付は、ユーザが作業する日を示す。
開始時刻は、ユーザが作業を開始する時刻を示す。
終了時刻は、ユーザが作業を終了する時刻を示す。
作業ＩＤは、作業を識別する識別子を示す。
担当者ＩＤは、作業を担当するユーザを識別する識別子を示す。

図８は、関係性スコアの算出方法を説明する図である。迷い要因推定部３０は、具体例として、作業スケジュールと作業手順ＤＢ９１とを参照して関係性スコアを求める。
図８において、ユーザが次に実施すべき作業手順である真の作業手順を示す手順ＩＤがＳＴＥＰ００１－０００２であり、ユーザが機器Ｐ０００８に加えて機器Ｐ０００５にも注目しているものとする。このとき、迷い要因推定部３０は、真の作業手順と、機器Ｐ０００５に関係のある作業手順群との関係性をそれぞれ評価する。この際、迷い要因推定部３０は、手順ＩＤを手掛かりに＜作業順序の近さ＞に基づいて関係性スコアを求めてもよく、＜処置内容の近さ＞に基づいて関係性スコアを求めてもよい。
以下、関係性の種類である＜作業順序の近さ＞と＜処置内容の近さ＞との各々について説明する。

＜作業順序の近さ＞
＜作業順序の近さ＞に関する関係性スコアの値が大きい場合、作業順序が近いことが要因でユーザが迷ったと考えられる。
＜作業順序の近さ＞に関する関係性スコアを算出する方法の具体例を説明する。
まず、迷い要因推定部３０は、機器群Ａに含まれる各機器の名称等をキーとし、各キーに対応する機器を対象とする作業手順を作業スケジュールから検索する。
次に、迷い要因推定部３０は、検索された作業手順の順番と、真の作業手順の順番の近さを探索し、順番が近い程関係性スコアの値が高くなるように関係性スコアを求める。
なお、作業手順ＤＢ９１がグラフデータベースである場合、作業手順に対応するノード同士間の距離を用いて作業手順同士の近さを計算してもよい。この場合、エッジの属性情報が＜作業順序の近さ＞等の関係性の種類に相当する。

＜処置内容の近さ＞
＜処置内容の近さ＞に関する関係性スコアの値が大きい場合、作業内容の類似が要因でユーザが迷ったと考えられる。
＜処置内容の近さ＞に関する関係性スコアを算出する方法の具体例を説明する。
まず、迷い要因推定部３０は、機器群Ａに含まれる各機器の名称等をキーとし、各キーに対応する機器を対象とする作業手順を作業スケジュールから検索する。
次に、迷い要因推定部３０は、検索された作業手順文章と、真の作業手順の作業手順文章とを比較し、比較した結果に基づいて関係性スコアを求める。この際、迷い要因推定部３０は、Ｗｏｒｄ２Ｖｅｃ等、文章をベクトル化することにより文章同士の距離を比較する方法等を用いる。

図９は、関係性スコアの算出方法を説明する図である。迷い要因推定部３０は、具体例として、作業スケジュールと機器ＤＢ９２とを参照して関係性スコアを求める。
図９において、真の作業手順を示す手順ＩＤがＳＴＥＰ００１－０００２であり、ユーザが機器Ｐ０００８に加えて機器Ｐ０００５にも注目しているものとする。この際、迷い要因推定部３０は、＜物理的な距離の近さ＞に基づいて関係性スコアを求めてもよく、＜特性の近さ＞に基づいて関係性スコアを求めてもよい。
以下、関係性の種類である＜物理的な距離の近さ＞と＜特性の近さ＞との各々について説明する。

＜物理的な距離の近さ＞
＜物理的な距離の近さ＞に関する関係性スコアを算出する方法の具体例を説明する。
迷い要因推定部３０は、３ＤＣＡＤデータ又はＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）等の機器の位置情報が表現されるデータを参照して探索の対象となっている機器同士の距離を計算し、距離が近い程関係性スコアの値が高くなるように関係性スコアを求める。

＜特性の近さ＞
＜特性の近さ＞に関する関係性スコアを算出する方法の具体例を説明する。機器の特性は、具体例として、機器の形状、機器の型番、又はこれらの組合せ等である。
迷い要因推定部３０は、３Ｄモデル若しくはＢＩＭデータ等に含まれるプロパティ、又は部品表等を示す情報を参照して機器同士の特性の近さ等を求める。プロパティは、具体例として、機器の型名と、機器の種類とである。機器の種類は、具体例として、ボルト又はブレーキである。迷い要因推定部３０は、機器の型名が一致している場合、又は機器の種類が一致している場合等に関係性スコアの値が高くなるように関係性スコアを求める。なお、迷い要因推定部３０は、特性の近さを求める際に、Ｗｏｒｄ２Ｖｅｃ等の方法により単語同士の類似度を算出してもよい。

図１０は、情報処理装置１０の動作の一例を示すフローチャートである。図１０を参照して情報処理装置１０の動作を説明する。

（ステップＳ１０１）
作業対象検出部２０は、視線センサ３が計測したデータに基づいて、ユーザが注目している機器群Ａを検出する。機器群Ａは注目機器群に当たる。機器群Ａを検出する方法は、具体例として、一定期間内に取得されたユーザの目線画像と、ユーザの視点位置情報とを用いてユーザの視線分布を作成し、作成した視線分布の内部に含まれる機器を機器群Ａとして検出する方法である。ユーザの視点位置は、具体例として、ユーザの眼球の黒目位置を、カメラで撮影すること又は赤外線センサ等で検出することにより取得される。

（ステップＳ１０２）
作業対象検出部２０は、作業スケジュールを参照して、ユーザが実施すべき真の作業内容と作業対象機器Ｂとの各々を示す情報を取得する。
なお、真の作業内容と作業対象機器Ｂとの各々を示す情報は、当日の作業スケジュール、又はユーザが入力した作業の完了情報等を参照することにより得られる。また、作業対象検出部２０は、ユーザの動作データに基づいて作業内容と作業対象機器Ｂとを推定してもよい。

（ステップＳ１０３）
迷い要因推定部３０は、機器群Ａが作業対象機器Ｂのみから成るか否かを判定する。
機器群Ａが作業対象機器Ｂのみから成る場合、ユーザが迷っていないと考えられるため情報処理装置１０は本フローチャートの処理を終了する。それ以外の場合、情報処理装置１０はステップＳ１０４に進む。
なお、ステップＳ１０４以下において、迷い要因推定部３０は、機器群Ａに作業対象機器Ｂが含まれている場合に機器群Ａに含まれる各機器についての関係性を探索し、それ以外の場合に機器群Ａに含まれる各機器と作業対象機器Ｂとについての関係性を探索する。

（ステップＳ１０４）
迷い要因推定部３０は、作業手順ＤＢ９１と機器ＤＢ９２とを参照して、機器群Ａに含まれる機器のうち作業対象機器Ｂを除く各機器と、作業対象機器Ｂとの関係を探索する。この際、迷い要因推定部３０は関係性スコアを算出する。

（ステップＳ１０５）
提示情報制御部４０は、迷い要因推定部３０が算出した関係性スコアを参照して最も近い関係性Ｃを抽出する。
図６に示す例において、＜特性の近さ＞に対応する関係性スコアが最も高い。そのため、提示情報制御部４０は、関係性Ｃとして＜特性の近さ＞を抽出する。

（ステップＳ１０６）
提示情報制御部４０は、機器群Ａと、作業対象機器Ｂと、関係性Ｃとに基づいて提示情報の種類を選び、提示情報ＤＢ９３を参照して選んだ提示情報の種類に応じた提示情報Ｄを取得する。この際、提示情報制御部４０は、関係性の種類と提示情報の種類との対応関係を示す情報を参照する。
図６に示す例において、＜特性の近さ＞に対応する提示情報の種類は、「型名情報＋図面」である。そのため、提示情報制御部４０は、提示情報Ｄとして、作業対象機器の型名情報と図面との各々を示すデータを取得する。

（ステップＳ１０７）
提示情報制御部４０は、ステップＳ１０６において取得した提示情報Ｄを表示装置５に表示する。

＊＊＊実施の形態１の効果の説明＊＊＊
以上のように、本実施の形態によれば、ユーザが注目している機器を抽出し、作業手順又は機器情報等を参照して抽出した機器と作業対象機器との関係性の種類及び関係性の近さをそれぞれ算出し、算出した結果に応じて情報をユーザに提示する。そのため、本実施の形態によれば、膨大な紐付け作業を実施することなく、作業対象機器と他の機器との間で選択に迷っているユーザに対して適切な情報を提示することができる。

＊＊＊他の構成＊＊＊
＜変形例１＞
図１１は、本変形例に係る情報処理装置１０のハードウェア構成例を示している。
情報処理装置１０は、プロセッサ１１、プロセッサ１１とメモリ１２、プロセッサ１１と補助記憶装置１３、あるいはプロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、処理回路１８を備える。
処理回路１８は、情報処理装置１０が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであってもよく、また、メモリ１２に格納されるプログラムを実行するプロセッサであってもよい。

処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらの組み合わせである。
情報処理装置１０は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。

情報処理装置１０において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。

処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ１１とメモリ１２と補助記憶装置１３と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、情報処理装置１０の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
他の実施の形態に係る情報処理装置１０についても、本変形例と同様の構成であってもよい。

実施の形態２．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図１２は、本実施の形態に係る情報処理装置１０の構成例を示している。情報処理装置１０は手指関節センサ４に接続している。情報処理装置１０は、手指関節センサ４と接続せず、手指関節センサ４が計測したデータを取得してもよい。
本実施の形態に係る情報処理装置１０と、実施の形態１に係る情報処理装置１０との間の主な差異は、作業対象検出部２０が、ユーザの手指の関節の位置に基づいて注目機器群を検出することである。

＊＊＊動作の説明＊＊＊
以下、本実施の形態に係る情報処理装置１０の動作のうち、実施の形態１に係る情報処理装置１０の動作と異なる動作を主に説明する。

（ステップＳ１０１）
本ステップは、実施の形態１に係るステップＳ１０１と同様である。ただし、作業対象検出部２０は、視線センサ３が計測したデータの代わりに、手指関節センサ４が計測したデータを用いる。

＊＊＊実施の形態２の効果の説明＊＊＊
以上のように、本実施の形態によれば、視線位置を取得するセンサの代わりに手指関節位置を取得するセンサを用いることにより、実施の形態１に係る効果と同様の効果を奏する。

＊＊＊他の構成＊＊＊
＜変形例２＞
ステップＳ１０１において、作業対象検出部２０は、視線センサ３が計測したデータと、手指関節センサ４が計測したデータとの双方を用いてもよい。

実施の形態３．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図１３は、本実施の形態に係る情報処理装置１０の構成例を示している。情報処理装置１０は、視線センサ３と手指関節センサ４との双方に接続している。
本実施の形態に係る情報処理装置１０と、実施の形態１に係る情報処理装置１０との間の主な差異は、作業対象検出部２０が、ユーザが注視している領域と、ユーザの手指の関節の位置との双方に基づいて注目機器群を検出することである。

＊＊＊動作の説明＊＊＊
以下、本実施の形態に係る情報処理装置１０の動作のうち、実施の形態１に係る情報処理装置１０の動作と異なる動作を主に説明する。

（ステップＳ１０１）
本ステップは、実施の形態１に係るステップＳ１０１と同様である。ただし、作業対象検出部２０は、視線センサ３が計測したデータと、手指関節センサ４が計測したデータとに基づいてユーザが注目している機器群Ａを検出する。

（ステップＳ１０２）
本ステップは、実施の形態１に係るステップＳ１０２と同様である。ただし、機器群Ａに作業対象機器Ｂを含む複数の機器が含まれている場合、かつ、ユーザの手指が作業対象機器Ｂに近い位置で滞留している場合において、作業対象検出部２０は、ユーザが迷っていないと判定し、機器群Ａに含まれる機器であって、作業対象機器Ｂ以外の機器を機器群Ａから除外する。

＊＊＊実施の形態３の効果の説明＊＊＊
ユーザの視線を示すデータのみを用いる場合、ユーザが実際には迷っていなくても“ユーザが迷っている”と誤検出することがある。しかしながら、本実施の形態によれば、ユーザの視線と手指関節の位置とを併せて利用することにより誤検出を回避することができる。その結果、本実施の形態によればより適切な情報をユーザに提示することができる。

実施の形態４．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図１４は、本実施の形態に係る情報処理装置１０の構成例を示している。
本実施の形態に係る情報処理装置１０は、実施の形態１に係る情報処理装置１０が備える構成要素に加え、ユーザ情報取得部５０と、関係性重み取得部６０と、関係性重みＤＢ９４とを備える。また、情報処理装置１０は、センサ２と、入力装置７との各々と接続している。

ユーザ情報取得部５０は、ユーザ情報を取得する。
関係性重み取得部６０は、関係性重みＤＢ９４から関係性重みを適宜取得する。関係性重みは、関係性スコアを算出する際の重みパラメータであり、注目機器群に含まれている機器のうち作業対象機器を除いた機器の各々と作業対象機器との間に定義された重みである。重みパラメータの値は機器の組合せ毎に設定される。重みパラメータの値はユーザの属性に基づいて設定されてもよい。ユーザの属性は、具体例として、ユーザの勤続年数と、ユーザの過去の作業ミス履歴である。
なお、２つの機器間に複数種類の関係性がある場合において、当該２つの機器の組合せに対応する重みパラメータは、当該複数種類の関係性の各関係性について用意されていてもよい。図１５は、２つの機器間に複数種類の関係性がある場合における関係性重みを説明する図である。図１５において、機器Ｄ１と機器Ｄ２との組合せに対応する重みパラメータであって、各関係性についての重みパラメータが示されている。Ｗ_{Ｄ１Ｄ２－ａ}は物理的な距離についての重みパラメータを示しており、Ｗ_{Ｄ１Ｄ２－ｂ}は作業手順の近さについての重みパラメータを示しており、Ｗ_{Ｄ１Ｄ２－ｃ}は特性の近さについての重みパラメータを示している。また、具体例として、作業対象機器である機器Ｄ１と、作業対象機器ではない機器Ｄ２との関係性スコアを算出する場合において、機器Ｄ１と機器Ｄ２とに対応する重みパラメータであって、作業手順の近さに関する重みパラメータが０．８とする。このとき、機器Ｄ１と機器Ｄ２とに対応する関係性スコアであって、作業手順の近さに関する関係性スコアの値は、機器Ｄ１と機器Ｄ２との組合せについての作業手順の近さに関する関係性重みを用いずに求めた関係性スコアの値の０．８倍となる。
迷い要因推定部３０は、関係性重みを用いて関係性スコアを求める。
センサ２は、視線センサ３と、手指関節センサ４との総称である。
入力装置７は、キーボード等の入力装置である。

関係性重みＤＢ９４は、関係性重みを記録しているデータベースである。
図１６は、関係性重みＤＢ９４を説明する図である。図１６において、行方向は作業対象機器を示しており、列方向は作業対象機器以外の機器のうち、ユーザが注目している機器を示している。具体例として、ユーザごとに図１６に示すようなデータが用意されている。なお、関係性の種類ごとに図１６に示すようなデータが用意されていてもよい。

＊＊＊動作の説明＊＊＊
以下、本実施の形態に係る情報処理装置１０の動作のうち、実施の形態１に係る情報処理装置１０の動作と異なる動作を主に説明する。

（ステップＳ１０４）
本ステップは、実施の形態１に係るステップＳ１０４と同様である。ただし、迷い要因推定部３０は、関係性スコアを算出する際に、関係性重みＤＢ９４を参照し、算出する関係性スコアに対応する機器に対応する関係性重みを用いる。この際、迷い要因推定部３０は、入力装置７からユーザ情報を取得し、取得したユーザ情報に紐づく重みパラメータを関係性重みＤＢ９４からユーザ取得する。

＊＊＊実施の形態４の効果の説明＊＊＊
以上のように、本実施の形態によれば、各ユーザの特徴に合った関係性重みを用いて迷い要因を推定することにより、より適切な情報をユーザに提示することができる。

実施の形態５．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図１７は、本実施の形態に係る情報処理装置１０の構成例を示している。
本実施の形態に係る情報処理装置１０は、実施の形態４に係る情報処理装置１０が備える構成要素に加え、関係性重み更新部７０を備える。
関係性重み更新部７０は、提示情報制御部４０によって取得された提示情報に対応する迷い要因の正誤に基づいて関係性重みＤＢ９４に記録されている関係性重みを更新する。

＊＊＊動作の説明＊＊＊
図１８は、本実施の形態に係る情報処理装置１０の動作の一例を示すフローチャートである。図１８を参照して情報処理装置１０の動作を説明する。なお、ステップＳ１０１からステップＳ１０６については前述の通りである。

（ステップＳ５０７）
提示情報制御部４０は、ステップＳ１０６において取得した提示情報Ｄと、ステップＳ１０５において抽出した関係性Ｃに対応する迷い要因を示す情報とを表示装置５に表示する。

（ステップＳ５０８）
ユーザは、表示装置５に表示された迷い要因の正誤を判定し、判定した結果を入力装置７に入力する。
関係性重み更新部７０は、表示装置５に表示された迷い要因の正誤を判定した結果を示す情報を受け取り、受け取った情報に基づいて関係性重みＤＢ９４に記録されている関係性重みを更新する。具体例として、ユーザが機器Ｄ１と機器Ｄ２とについて＜特性の近さ＞に関する関係性で迷っていると迷い要因推定部３０が推定した結果が誤っていた場合を考える。このとき、関係性重み更新部７０が機器Ｄ１と機器Ｄ２とについての当該関係性に紐づく重みパラメータの値をより小さな値に更新することにより、機器Ｄ１と機器Ｄ２とについての当該関係性に対応する関係性スコアの値がより小さくなるようにする。本例において、図１５に示すＷ_{Ｄ１Ｄ２－ｃ}の値がより小さな値に更新される。
図１９は、関係性重み更新部７０が関係性重みを更新する様子を説明する図である。具体例として、初期段階において（ａ）に示すような関係性重みが設定されている。その後、関係性重み更新部７０が関係性重みを更新すると、関係性重みは（ｂ）に示すようになる。

＊＊＊実施の形態５の効果の説明＊＊＊
以上のように、本実施の形態によれば、関係性重み更新部７０が関係性重みを更新することにより、ユーザの成長等により作業中に発生する迷いの傾向が変化した場合において、より適切な情報をユーザに提示することができる。

実施の形態６．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
本実施の形態に係る情報処理装置１０は、実施の形態５に係る情報処理装置１０と同様である。
本実施の形態に係る提示情報制御部４０は、提示情報ＤＢ９３から関係性スコアの高さに応じて複数の提示情報を取得する。また、提示情報制御部４０によって取得された複数の提示情報の各々は、取得された複数の提示情報の各々に対応する関係性スコアが高い順に表示装置５に表示される。

＊＊＊動作の説明＊＊＊
図２０は、本実施の形態に係る情報処理装置１０の動作の一例を示すフローチャートである。図２０を参照して情報処理装置１０の動作を説明する。なお、ステップＳ１０１からステップＳ１０４については前述の通りである。

（ステップＳ６０５）
提示情報制御部４０は、関係性スコアの値が相対的に大きい関係性から成る関係性群Ｃ’を抽出する。提示情報制御部４０は、各関係性を関係性群Ｃ’に含めるか否かをどのように決めてもよい。

（ステップＳ６０６）
提示情報制御部４０は、機器群Ａと、作業対象機器Ｂと、関係性群Ｃ’とに基づいて、提示情報ＤＢ９３から提示情報群Ｄ’を取得する。

（ステップＳ６０７）
まず、提示情報制御部４０は、提示情報群Ｄ’に含まれている各提示情報に紐づく関係性スコアの値を確認し、確認した関係性スコアの値の中で最も大きな関係性スコアの値に紐づく提示情報を提示情報Ｄとして選択する。この際、提示情報制御部４０は、各提示情報に紐づく関係性スコアの値の大きさに応じて提示情報群Ｄ’に含まれている提示情報をソートしてもよい。
次に、提示情報制御部４０は、提示情報Ｄと、提示情報Ｄに紐づく関係性に対応する迷い要因を示す情報とを表示装置５に表示する。

（ステップＳ６０８）
ユーザは、表示装置５に表示された迷い要因の正誤を判定し、判定した結果を入力装置７に入力する。
関係性重み更新部７０は、迷い要因の正誤を示す情報を取得する。

（ステップＳ６０９）
ステップＳ６０８において関係性重み更新部７０が取得した情報が正しいことを示す場合、情報処理装置１０はステップＳ６１１に進む。それ以外の場合、情報処理装置１０はステップＳ６１０に進む。

（ステップＳ６１０）
本ステップはステップＳ６０７と同様である。ただし、提示情報制御部４０は、提示情報群Ｄ’の代わりに、提示情報群Ｄ’に含まれている提示情報の内、本フローチャートの処理においてまだ提示情報Ｄとして選択されていない提示情報から成る提示情報群に含まれている提示情報から提示情報Ｄを選択する。また、提示情報制御部４０は、提示情報Ｄを選択する際にステップＳ６０７において関係性スコアの値を確認した結果を活用してもよい。

（ステップＳ６１１）
本ステップはステップＳ５０８と同様である。ただし、関係性重み更新部７０は、複数の迷い要因の各々についての正誤を判定した結果を示す情報を受け取る場合がある。この場合において、受け取った情報全てに基づいて関係性重みＤＢ９４に記録されている関係性重みを更新してもよい。

＊＊＊実施の形態６の効果の説明＊＊＊
以上のように、本実施の形態によれば、迷い要因の正誤に基づいて関係性重み更新部７０が関係性重みを更新することにより適切な情報をユーザに提示することができる確率が高まる。

＊＊＊他の実施の形態＊＊＊
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態は、実施の形態１から６で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャート等を用いて説明した手順は、適宜変更されてもよい。

２ センサ、３ 視線センサ、４ 手指関節センサ、５ 表示装置、７ 入力装置、１０ 情報処理装置、１１ プロセッサ、１２ メモリ、１３ 補助記憶装置、１４ 入出力ＩＦ、１５ 通信装置、１８ 処理回路、１９ 信号線、２０ 作業対象検出部、３０ 迷い要因推定部、４０ 提示情報制御部、５０ ユーザ情報取得部、６０ 関係性重み取得部、７０ 関係性重み更新部、９１ 作業手順ＤＢ、９２ 機器ＤＢ、９３ 提示情報ＤＢ、９４ 関係性重みＤＢ。

Claims (9)

1. 作業しているユーザが注目している少なくとも１つの機器から成る注目機器群を検出する作業対象検出部と、
   前記注目機器群に含まれている機器のうち前記ユーザが実施すべき作業に対応する機器である作業対象機器を除いた機器の各々を対象注目機器とし、前記対象注目機器と前記作業対象機器との関係性を示すスコアであって、前記ユーザが前記対象注目機器と前記作業対象機器との間で選択に迷う度合いを示すスコアである関係性スコアを求める迷い要因推定部と、
   前記ユーザに提示する情報であって、前記ユーザが前記作業対象機器に気づくことを補助する情報である提示情報を記録している提示情報データベースを参照して、求められた関係性スコアに基づいて提示情報を取得する提示情報制御部と
   を備える情報処理装置。
2. 前記作業対象検出部は、前記ユーザが注視している領域に基づいて前記注目機器群を検出する請求項１に記載の情報処理装置。
3. 前記作業対象検出部は、前記ユーザの手指の関節の位置に基づいて前記注目機器群を検出する請求項１又は２に記載の情報処理装置。
4. 前記迷い要因推定部は、前記ユーザが実施すべき作業の内容に基づいて前記関係性スコアを求める請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記迷い要因推定部は、前記注目機器群に含まれている機器のうち前記作業対象機器を除いた機器の各々と前記作業対象機器との間に定義された重みである関係性重みを用いて前記関係性スコアを求める請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記迷い要因推定部は、前記ユーザが前記対象注目機器と前記作業対象機器との間で選択に迷う要因である迷い要因ごとに前記関係性スコアを求め、
   前記情報処理装置は、さらに、
   取得された提示情報に対応する迷い要因の正誤に基づいて前記関係性重みを更新する関係性重み更新部
   を備える請求項５に記載の情報処理装置。
7. 前記提示情報制御部は、前記提示情報データベースを参照して前記関係性スコアの高さに応じて複数の提示情報を取得し、
   取得された複数の提示情報の各々は、前記取得された複数の提示情報の各々に対応する関係性スコアが高い順に表示装置に表示される請求項６に記載の情報処理装置。
8. コンピュータが、作業しているユーザが注目している少なくとも１つの機器から成る注目機器群を検出し、
   前記コンピュータが、前記注目機器群に含まれている機器のうち前記ユーザが実施すべき作業に対応する機器である作業対象機器を除いた機器の各々を対象注目機器とし、前記対象注目機器と前記作業対象機器との関係性を示すスコアであって、前記ユーザが前記対象注目機器と前記作業対象機器との間で選択に迷う度合いを示すスコアである関係性スコアを求め、
   前記コンピュータが、前記ユーザに提示する情報であって、前記ユーザが前記作業対象機器に気づくことを補助する情報である提示情報を記録している提示情報データベースを参照して、求められた関係性スコアに基づいて提示情報を取得する情報処理方法。
9. 作業しているユーザが注目している少なくとも１つの機器から成る注目機器群を検出する作業対象検出処理と、
   前記注目機器群に含まれている機器のうち前記ユーザが実施すべき作業に対応する機器である作業対象機器を除いた機器の各々を対象注目機器とし、前記対象注目機器と前記作業対象機器との関係性を示すスコアであって、前記ユーザが前記対象注目機器と前記作業対象機器との間で選択に迷う度合いを示すスコアである関係性スコアを求める迷い要因推定処理と、
   前記ユーザに提示する情報であって、前記ユーザが前記作業対象機器に気づくことを補助する情報である提示情報を記録している提示情報データベースを参照して、求められた関係性スコアに基づいて提示情報を取得する提示情報制御処理と
   をコンピュータである情報処理装置に実行させる情報処理プログラム。

Images