JP7459621B2

JP7459621B2 - 情報処理装置及びプログラム

Info

Publication number: JP7459621B2
Application number: JP2020063727A
Authority: JP
Inventors: 卓矢岡野; 隆平天目
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2024-04-02
Anticipated expiration: 2040-03-31
Also published as: JP2021163165A

Description

本発明は、情報処理装置及びプログラムに関する。

撮像装置、表示装置及び制御装置を備え、制御装置は、撮像装置が取得した画像における所定物の画像を認識し、所定物に対応するように所定物に関する情報を拡張現実的に表示するように構成されている建設機械の作業支援装置が知られている（例えば、特許文献１参照）。特許文献１の作業支援装置は、例えば、撮像装置が取得した画像においてサイドドアの画像を認識した場合、スマートグラスのレンズを通じて視認できる現実のサイドドアの近くにサイドドアに関する情報が拡張現実的に表示されるようにしてある。

特開２０１９－１６３６７０号公報

しかしながら、特許文献１の作業支援装置にあるような、スマートグラスのレンズを通じて視認できる現実のサイドドア等の対象物に関し、拡張現実的に表示する情報を付随したデータ（３Ｄマニュアルデータ）を作成するには多大な工数を要するという問題点がある。

本発明は、斯かる事情に鑑みてなされたものであり、操作対象の対象物に関する３Ｄマニュアルデータを効率的に作成することができる情報処理装置等を提供することを目的とする。

一つの案では、情報処理装置は、３Ｄデータ取得部が取得した対象物の３Ｄデータ及び、前記対象物との関連を示す指示図形とを記憶する記憶部と、前記対象物の形状を示す対象物図形及び前記対象物との関連を示す指示図形を含む図面を取得する図面取得部と、前記図面取得部が取得した図面に含まれる対象物図形及び指示図形を特定し、前記対象物図形に対応する前記３Ｄデータ取得部が取得した３Ｄデータに前記指示図形及びその位置姿勢を対応付けた３Ｄマニュアルデータを生成する３Ｄマニュアルデータ生成部とを備えることを特徴とする。

一つの案では、プログラムは、コンピュータに、対象物の３Ｄデータ及び前記対象物との関連を示す指示図形とを記憶し、前記対象物の形状を示す対象物図形及び前記対象物との関連を示す指示図形を含む図面を取得し、取得した図面に含まれる対象物図形及び指示図形を特定し、前記対象物図形に対応する前記３Ｄデータに前記指示図形及びその位置姿勢を対応付けた３Ｄマニュアルデータを生成する処理を実行させる。

本発明によれば、操作対象の対象物に関する３Ｄマニュアルデータを効率的に作成する情報処理装置等を提供することが可能となる。

実施形態１に係る情報処理システムの構成例を示す模式図である。情報処理装置等の構成例を示すブロック図である。情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。３Ｄマニュアルデータの一例を示す説明図である。指示図形が重畳された画像データの一例を示す説明図である。制御部が実行する処理手順の一例を示すフローチャートである。制御部が実行する処理手順の一例を示すフローチャートである。実施形態２（深度センサ）に係る情報処理装置等の構成例を示すブロック図である。情報処理装置等の制御部に含まれる機能部を例示する機能ブロック図である。制御部が実行する処理手順の一例を示すフローチャートである。制御部が実行する処理手順の一例を示すフローチャートである。

（実施形態１）
図１は、実施形態１に係る情報処理システムＳの構成例を示す模式図である。図２は、情報処理装置１等の構成例を示すブロック図である。情報処理システムＳは、工業製品等の対象物Ｔを操作する操作者Ｕに装着されるＭＲグラス５、当該ＭＲグラス５と通信可能に接続され、ＭＲグラス５にて撮像された画像データに対象物Ｔの製品マニュアルに含まれる情報（指示図形、説明文）を重畳させた画像を生成し、ＭＲグラス５に出力する情報処理装置１を含む。

ＭＲグラス５は、表示部５１、撮像部５２、制御部５３、記憶部５４及び、通信部５５を備え、撮像部５２によって撮像される情景画像と、情報処理装置１又はＭＲグラス５の制御部５３によって生成された仮想画像等とを合成して表示するグラスであり、複合現実（Mixed Reality）又は拡張現実（Augmented Reality）に関する機能を有するグラスである。ＭＲグラス５は、眼鏡型であり、本実施形態の図示のとおり操作者Ｕに装着され、操作者Ｕの視線方向に応じて、操作者Ｕの視野範囲における情景画像に仮想画像が重畳された画像を表示する。ＭＲグラス５は、ＨＭＤ（Head Mounted Display）型の専用装置に限定されず、例えば、眼鏡型フォルダにスマートホン等の携帯端末を装着した構成による装置、又は生体電流を電源としたコンタクトレンズ型のスマートグラス等であってもよい。

表示部５１は、小型の液晶ディスプレイ及び光学レンズを備え、例えば、視野角１１０°以上で情報処理装置１から出力された三次元画像を表示する。三次元画像は、右目用と左目用の夫々の映像によって構成される。

撮像部５２は、例えばＣＯＭＳカメラ等の小型カメラであり、操作者Ｕの視点方向に沿うように設けられている。

制御部２は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等により構成してあり、記憶部３に予め記憶されたプログラム及びデータを読み出して実行することにより、種々の制御処理及び演算処理等を行う。

記憶部３は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性のメモリ素子、及びＲＡＭ（Random Access Memory）等の揮発性のメモリ素子により構成されている。

通信部４は、例えばＷＩＦＩ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の所定のプロトコルに準拠した無線通信デバイスであり、情報処理装置１との通信に用いられる。通信部４は、イーサネット又はＵＳＢケーブル等に対応したインターフェイスを有する有線通信デバイスであってもよい。

情報処理装置１は、制御部２、記憶部３、及び通信部４を備えたコンピュータであり、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォン又は外部ネットワークで接続されたクラウドサーバ等である。情報処理装置１の制御部２、記憶部３及び通信部４は、ＭＲグラス５と同様の構成によるものであってもよい。

ＭＲグラス５によって撮像された情景画像（画像データ）には、操作者Ｕの操作対象である対象物Ｔが含まれている。当該対象物Ｔが含まれた画像データは、情報処理装置１に出力（送信）される。情報処理装置１は、ＭＲグラス５から取得した画像データに対し、当該画像データに含まれる対象物Ｔに対応する情報を重畳させた画像（重畳画像）を生成し、ＭＲグラス５に出力（送信）する。当該重畳させる情報は、後述する指示図形及び説明文であり、対象物Ｔの製品マニュアルに含まれる情報である。これにより、操作者Ｕが目視している対象物Ｔに対応した製品マニュアルの情報（指示図形及び説明文）を重畳した画像を出力し、操作者Ｕに対する操作支援を行うことができる。

図３は、情報処理装置１等の制御部２に含まれる機能部を例示する機能ブロック図である。図４は、３Ｄマニュアルデータの一例を示す説明図である。図５は、指示図形が重畳された画像データの一例を示す説明図である。

情報処理装置１等の制御部２は、記憶部３に記憶してあるプログラムを実行することより、元データ取得部２０１、図面特定部２０２、指示図形特定部２０３、対象物図形特定部２０４、説明文特定部２０５、指示図形３Ｄ化部２０６、及び３Ｄマニュアルデータ生成部２０７として機能する。

元データ取得部２０１は、例えばプリンタ又はエアコン等の工業製品等の対象物Ｔの製品マニュアルデータ及び、３Ｄ対象物データ（３Ｄデータ）を取得する。工業製品等の対象物Ｔには、当該対象物Ｔの操作方法等が記載された製品マニュアルデータが付属されており、当該製品マニュアルデータは、例えばＰＤＦ形式にて、対象物Ｔの製造メーカのサイト等の外部サーバからダウンロードして取得することができる。３Ｄ対象物データは、例えば、３ＤＣＡＤ（３次元ＣＡＤ）のデータであり、対象物Ｔの立体形状、大きさ等の３次元寸法情報を含むデータであり、対象物Ｔの３Ｄデータに相当する。工業製品等の対象物Ｔの設計においては、３ＤＣＡＤ（３次元ＣＡＤ）が用いられることが一般的であり、対象物Ｔの製造メーカは、例えばＩＧＥＳ形式等の３ＤＣＡＤデータを保持しており、製品マニュアルデータと同様に外部サーバからダウンロードして取得することができる。従って、これら３ＤＣＡＤデータを用いることにより、３Ｄ対象物データ（３Ｄデータ）を外部サーバ等から取得することができる。元データ取得部２０１は、図面取得部及び３Ｄデータ取得部に相当する。

図面特定部２０２は、元データ取得部２０１から出力された製品マニュアルデータに含まれる全ての図面を特定し、抽出する。図面は、対象物Ｔの図形（対象物図形）と、対象物図形における所定の部位を示す指示図形とを含み、ビジュアル的に対象物Ｔの操作に関する情報を提示するものである。図面特定部２０２は、例えばＰＤＦ形式の製品マニュアルデータを参照し、ＰＤＦにおける図形データ（ラスターデータ）として定義されている図面を特定し、これら図面を抽出する。

対象物図形特定部２０４は、図面特定部２０２が特定した夫々の図面において、製品マニュアルの対象である対象物Ｔを示す対象物図形を特定し、抽出する。製品マニュアルの対象である対象物Ｔは、図面において、斜視図、平面図、背面図又は特定の部位の拡大図として記載されている。対象物図形特定部２０４は、例えばエッジ検出又はパターンマッチング等を用いて、対象物図形を特定するものであってもよい。

指示図形特定部２０３は、図面特定部２０２が特定した夫々の図面において、矢印、引き出し線、又は補助線等からなる指示図形を特定し、抽出する。指示図形特定部２０３は、例えば、これら矢印等、予め定められた図形の形状に基づき、パターンマッチングを用いて、指示図形を特定するものであってもよい。又は、対象物図形特定部２０４によって特定した対象物図形と、図面との差分図形を導出し、導出した差分図形に基づき、指示図形を特定するものであってもよい。

説明文特定部２０５は、図面特定部２０２が特定した夫々の図面に対応する説明文を特定し、抽出する。説明文特定部２０５は、例えば、自然語解析処理を行い、図面の近傍に記載される文書において、矢印等の指示図形との関連性を有する文章を、当該図面に対応する説明文として特定する。説明文特定部２０５は、更に特定した説明文に基づき、当該説明文を要約した要約文を生成する要約文生成部を含むものであってもよい。

指示図形３Ｄ化部２０６は、対象物図形特定部２０４が特定した対象物図形と、３Ｄ対象物データとに基づき、当該対象物図形の位置姿勢を導出すると共に、導出した位置姿勢に基づき、指示図形特定部２０３が特定した指示図形を三次元形状に復元（３Ｄ化）した３Ｄ指示図形を生成する。指示図形３Ｄ化部２０６は、対象物図形特定部２０４が特定した対象物図形と、３Ｄ対象物データとに基づき、例えば３Ｄ対象物データを複数の射影ベクトルにより射影した射影図と、当該対象物図形との一致度を比較し、最も一致度が高くなる射影ベクトルを特定し、当該射影ベクトルに基づき位置姿勢を導出するものであってもよい。射影ベクトルには、例えば、射影を行うにあたっての基点（視点位置）及び射影面に関する情報が含まれるため、対象物図形特定部２０４が特定した対象物図形は、３Ｄ対象物データをどの地点（視点位置）から、どの方向（視点方向）にて射影したかを特定することができる。従って、二次元データである対象物図形に対し、例えば、３Ｄ対象物データの３Ｄ座標系における座標、回転角等によって示される位置姿勢に関する情報を導出することができる。指示図形３Ｄ化部２０６は、導出した対象物Ｔ図の位置姿勢に基づき、指示図形を三次元形状に復元（３Ｄ化）した３Ｄ指示図形を生成する。指示図形３Ｄ化部２０６は、指示図形を３Ｄ化するにあたり、３Ｄ対象物データの３Ｄ座標系における座標、回転角等を用いることにより、３Ｄ指示図形と対象物図形とを、同じ座標系にて定義するものであってもよい。

３Ｄマニュアルデータ生成部２０７は、夫々の機能部から製品マニュアルデータ、３Ｄ対象物データ、図面、対象物図形、指示図形、及び３Ｄ指示図形を関連付けた３Ｄマニュアルデータを生成する。３Ｄマニュアルデータ生成部２０７は、これら各データを関連付けるにあたり、例えばＸＭＬ（Extensible Markup Language）のタグを用いて関連付けて、３Ｄマニュアルデータを生成するものであってもよい。

このように構成された３Ｄマニュアルデータの一例としては、図示のとおり、製品マニュアルデータに含まれる各図面から抽出された対象物図形の位置姿勢と、指示図形が３Ｄ化された３Ｄ指示図形とが、当該製品マニュアルデータに付随するデータとして構成される。更に製品マニュアルデータと、３Ｄ対象物データとは、対象物Ｔの製品型式名等に基づき、関連付けられる。対象物図形の位置姿勢と、３Ｄ指示図形とは、３Ｄ対象物データの形状及び寸法を定義するための３Ｄ座標系において定義されるものとなり、当該３Ｄ座標系を統一座標系として、対象物図形の位置姿勢と、３Ｄ指示図形の形状、寸法等を示す座標及び回転角とを、効率的に管理することができる。

３Ｄマニュアルデータは、対象物Ｔに付属する製品マニュアルと、対象物Ｔの３Ｄ対象物データ（３Ｄデータ）とにより構成される。工業製品等の対象物Ｔにおいては、製品マニュアル及び、当該製品の３ＤＣＡＤデータ等による３Ｄデータは容易に入出が可能であるため、これらデータに基づくことにより、簡易又は効率的に３Ｄマニュアルデータを構成することができる。更に製品マニュアルから図面を抽出し、更に図面に含まれる対象物図形と指示図形とを分離し、分離した指示図形を３Ｄ化する処理を自動化することにより、３Ｄマニュアルデータの作成による作業工数を削減することができる。

情報処理装置１等の制御部２は、記憶部３に記憶してあるプログラムを実行することより、３Ｄマニュアルデータ取得部２０８、図面決定部２０９画像データ取得部２１０、対象物抽出部２１１、位置姿勢導出部２１２、差分導出部２１３、変位量導出部２１４及び画像重畳部２１５（重畳画像出力部）として機能する。本実施形態において、３Ｄマニュアルデータの生成に関する機能部と、３Ｄマニュアルデータ及び画像データを取得し、３Ｄ指示図形等を重畳して出力する機能部とは、同じ情報処理装置１の制御部２によるものとしているが、これに限定されない。３Ｄマニュアルデータの生成に関する機能部と、３Ｄ指示図形等を重畳して出力する機能部とは、異なる情報処理装置１によるものであってもよい。

３Ｄマニュアルデータ取得部２０８は、生成した３Ｄマニュアルデータが記憶されている記憶部３を参照し、３Ｄマニュアルデータを取得する。

画像データ取得部２１０は、ＭＲグラス５の撮像部５２によって撮像された画像データを取得する。当該画像データは、例えば連続したＪＰＥＧ画像であり、画像データ取得部２１０は、取得した動画像のフレーム（静止画）を所定周期でサンプリングして、後処理を行う各機能部に出力するものであってもよい。

対象物抽出部２１１は、画像データ取得部２１０から出力された画像データから、対象物Ｔを抽出する。対象物抽出部２１１は、例えば、エッジ検出等の画像処理を行うことにより、対象物Ｔのアウトラインを検出して、画像データから当該対象物Ｔを抽出する。又は、対象物抽出部２１１は、オブジェクト認識機能を有するセグメンテーションニューラルネットワーク等（Semantic Segmentation）を用いて、画像データに含まれる対象物Ｔを抽出するものであってもよい。

図面決定部２０９は、３Ｄマニュアルデータに含まれる図面の対象物図形と、対象物抽出部２１１により抽出された対象物Ｔとを比較し、抽出された対象物Ｔ（画像データに含まれる対象物Ｔ）に対応する図面を決定する。

位置姿勢導出部２１２は、対象物抽出部２１１により抽出された対象物Ｔ（画像データに含まれる対象物Ｔ）の位置姿勢を導出する。位置姿勢導出部２１２は、対象物抽出部２１１により抽出された対象物Ｔと、３Ｄ対象物データとに基づき、例えば３Ｄ対象物データを複数の射影ベクトルにより射影した射影図と、画像データから抽出した対象物Ｔとの一致度を比較し、最も一致度が高くなる射影ベクトルを特定し、当該射影ベクトルに基づき位置姿勢を導出するものであってもよい。すなわち、位置姿勢導出部２１２は、３Ｄ座標系における３Ｄ対象物データを基準に、画像データに含まれる対象物Ｔの位置姿勢を導出するものであってもよい。導出した位置姿勢は、３Ｄ対象物データの３Ｄ座標系にて定義されるものであってもよい。

差分導出部２１３は、図面における対象物Ｔ（対象物図形）の位置姿勢と、画像データにおける対象物Ｔの位置姿勢との差分を導出する。上述のとおり、これら位置姿勢夫々は、３Ｄ対象物データの３Ｄ座標系に基づく統一座標系にて座標及び回転角が定義されているため、差分導出部２１３は、３Ｄ座標系における差分を効率的に導出することができる。

変位量導出部２１４は、差分導出部２１３が導出した差分に基づき、３Ｄ指示図形を画像データに重畳させるにあたって、図面にて指示図形が示されている位置からの変位量として、例えば３Ｄ座標系における移動量（視点位置の変位）及び、回転角度量（視点方向の変位）を導出する。当該変位量に基づき、製品マニュアルデータの図面に含まられる指示図形に対し、画像データに重畳して表示する３Ｄ指示図形の３Ｄ座標系における視点位置及び視点方向が特定されるものであってもよい。

画像重畳部２１５は、変位量導出部２１４が導出した変位量に基づき３Ｄ指示図形に関する変位処理を行い、仮想画像である３Ｄ指示図形を、実画像である画像データに重畳させた重畳画像を生成し、ＭＲグラス５に出力（送信）する。本実施形態における図示のとおり、画像重畳部２１５は、３Ｄ指示図形に加え、説明文又は当該説明文を要約した要約文を重畳させた重畳画像を生成及び出力するものであってもよい。説明文等を画像データに重畳させるにあたり、画像重畳部２１５は、当該説明文を表示させる領域と、対象物Ｔが表示される領域とが、重ならないように重畳させるものであってもよい。画像重畳部２１５は、更に、重畳画像を表示する画面の領域において、例えば右上の領域に、図面特定部２０２が特定した図面に関する情報（図面番号、ページ番号）及び、３Ｄマニュアルデータに含まれる対象物Ｔの機種型式、製品マニュアル名称を重畳させた重畳画像を生成及び出力するものであってもよい。

情報処理装置１の制御部２は、上記処理をフレーム単位にて繰り返すことにより、操作者Ｕが装着するＭＲグラス５に対し、ＭＲグラス５が撮像した実画像である画像データに、仮想画像である３Ｄ指示図形及び説明文（要約文）を重畳させた重畳画像を継続的に表示させることができる。

本実施形態において、情報処理装置１の制御部２が、３Ｄマニュアルデータの生成及び重畳画像の生成等、一連の機能部の全てを担うものとして記載しているが、これに限定されない。例えば、情報処理装置１が３Ｄマニュアルデータの生成に関する機能部を担い、ＭＲグラス５は情報処理装置１から取得した３Ｄマニュアルデータに基づき、重畳画像の生成及び表示を行うものであってもよい。すなわち、情報処理装置１とＭＲグラス５とが協働して、これら３Ｄマニュアルデータの生成及び重畳画像の生成等、一連の機能部を担うものであってもよい。

図６及び図７は、制御部が実行する処理手順の一例を示すフローチャートである。情報処理装置１の制御部２は、情報処理装置１の記憶部３に記憶されているプログラムが実行されると、以下に示す処理を開始する。

情報処理装置１の制御部２は、製品マニュアルデータを取得する（Ｓ１０１）。情報処理装置１の制御部２は、３Ｄ対象物データを取得する（Ｓ１０２）。制御部２は、例えば、これらデータを保持する他のコンピュータと通信し、これらデータを取得する。又は制御部２は、情報処理装置１が備える入出力Ｉ／Ｆを介して入力された製品マニュアルデータ及び３Ｄ対象物データを取得する。

情報処理装置１の制御部２は、製品マニュアルデータに含まれる図面を特定する（Ｓ１０３）。制御部２は、製品マニュアルデータを参照し、例えばラスタデータとして当該製品マニュアルデータに含まれている図面を特定し、抽出する。

情報処理装置１の制御部２は、図面に含まれる対象物図形を特定する（Ｓ１０４）。制御部２は、例えばパターンマッチングを用いて、図面に含まれている対象物図形を特定するものであってもよい。

情報処理装置１の制御部２は、３Ｄ対象物データ及び対象物図形に基づき、対象物Ｔの位置姿勢を導出する（Ｓ１０５）。情報処理装置１の制御部２は、図面に含まれる指示図形を特定する（Ｓ１０６）。情報処理装置１の制御部２は、特定した指示図形を三次元形状に復元（３Ｄ化）する（Ｓ１０７）。制御部２は、上述のとおり、例えば、３Ｄ対象物データの３Ｄ座標系にて定義される対象物Ｔの位置姿勢を導出し、当該位置姿勢に基づき指示図形を三次元形状に復元（３Ｄ化）して、３Ｄ指示図形を生成する。

情報処理装置１の制御部２は、図面に含まれる全ての指示図形に対する処理を行ったか否かを判定する（Ｓ１０８）。図面に含まれる全ての指示図形に対する処理を行っていない場合（Ｓ１０８：ＮＯ）、情報処理装置１の制御部２は、再度、Ｓ１０６の処理を実行すべく、ループ処理を行う。

図面に含まれる全ての指示図形に対する処理を行った場合（Ｓ１０８：ＹＥＳ）、情報処理装置１の制御部２は、製品マニュアルデータに含まれる全ての図面に対する処理を行ったか否かを判定する（Ｓ１０９）。製品マニュアルデータに含まれる全ての図面に対する処理を行っていない場合（Ｓ１０９：ＮＯ）、情報処理装置１の制御部２は、再度、Ｓ１０３の処理を実行すべく、ループ処理を行う。

製品マニュアルデータに含まれる全ての図面に対する処理を行った場合（Ｓ１０９：ＹＥＳ）、情報処理装置１の制御部２は、製品マニュアルデータ、３Ｄ対象物データ及び三次元形状に復元した指示図形（３Ｄ指示図形）が関連付けられた３Ｄマニュアルデータを生成する（Ｓ１１０）。情報処理装置１の制御部２は、図面に含まれる指示図形に対応する説明文を、例えば、生成型要約機能を有するニューラルネットワーク又は自然言語処理に基づき解析エンジン等を用いて要約した要約文を作成し、作成した要約文と３Ｄ指示図形とを感づけて、３Ｄマニュアルデータを生成するものであってもよい。

情報処理装置１の制御部２は、生成した３Ｄマニュアルデータが記憶されている記憶部３を参照し、３Ｄマニュアルデータを取得する（Ｓ１１１）。本実施形態において、３Ｄマニュアルデータの生成及び記憶と、記憶されている３Ｄマニュアルデータの取得とが、同じ情報処理装置１の制御部２によって行われているが、これに限定されない。３Ｄマニュアルデータの生成は、本実施形態における情報処理装置１とは、異なるサーバ（３Ｄマニュアルデータ生成サーバ）等のコンピュータで実行させ、情報処理装置１は、当該３Ｄマニュアルデータ生成サーバと通信することにより、３Ｄマニュアルデータを取得するものであってもよい。

情報処理装置１の制御部２は、画像データを取得する（Ｓ１１２）。情報処理装置１の制御部２は、画像データに含まれる対象物Ｔを抽出する（Ｓ１１３）。制御部２は、上述のとおりＭＲグラス５から取得した画像データから、対象物Ｔを抽出する。

情報処理装置１の制御部２は、３Ｄ対象物データ及び画像データから抽出した対象物Ｔに基づき、画像データに含まれる対象物Ｔの位置姿勢を導出する（Ｓ１１４）。制御部２は、画像データから抽出した対象物Ｔと、３Ｄ対象物データとに基づき、例えば３Ｄ対象物データを複数の射影ベクトルにより射影した射影図と、画像データから抽出した対象物Ｔとの一致度を比較し、最も一致度が高くなる射影ベクトルを特定し、当該射影ベクトルに基づき位置姿勢を導出するものであってもよい。

情報処理装置１の制御部２は、画像データに含まれる対象物Ｔに対応する図面を決定する（Ｓ１１５）。制御部２は、３Ｄマニュアルデータに含まれる図面の対象物図形と、対象物抽出部２１１により抽出された対象物Ｔとを比較し、抽出された対象物Ｔ（画像データに含まれる対象物Ｔ）に対応する図面を決定する。

情報処理装置１の制御部２は、決定した図面に対応する３Ｄ指示図形の変位量に基づき回転させた状態にて、３Ｄ指示図形を画像データに重畳して表示する（Ｓ１１６）。制御部２は、３Ｄ指示図形を画像データに重畳して表示する際、当該３Ｄ指示図形に対応する、すなわち３Ｄ指示図形の元図である製品マニュアルに記載の指示図形に付随する説明文、又は当該説明文を要約した要約文を、画像データに重畳させて表示する。当該説明文又は要約文は、当該画像データが表示される画面領域において、対象物Ｔと重ならない領域にて表示される。

情報処理装置１の制御部２は、決定した図面に対応する全ての３Ｄ指示図形に対する処理を行ったか否かを判定する（Ｓ１１７）。決定した図面に対応する全ての３Ｄ指示図形に対する処理を行っていない場合（Ｓ１１７：ＮＯ）、情報処理装置１の制御部２は、再度、Ｓ１１６の処理を実行すべく、ループ処理を行う。

決定した図面に対応する全ての３Ｄ指示図形に対する処理を行った場合（Ｓ１１７：ＹＥＳ）、情報処理装置１の制御部２は、本フローにおける一連の処理を終了する。又は、本実施形態における図示のとおり、決定した図面に対応する全ての３Ｄ指示図形に対する処理を行った場合、情報処理装置１の制御部２は、再度Ｓ１１２の処理を実行すべく、ループ処理を行うものであってもよい。

情報処理装置１の制御部２は、再度Ｓ１１２の処理を実行すべく、ループ処理を行うことにより、継続的に撮像部５２が撮像した画像データを取得する。画像データに含まれる対象物Ｔの形態は、操作者Ｕによる操作により変化されるものとなり、当該形態の変化に応じて、情報処理装置１の制御部２は、新たな図面を決定するものとなる。情報処理装置１の制御部２は、対象物Ｔの形態の変化に応じて、新たな図面を決定するにあたり、製品マニュアルデータに含まれる操作ステップに基づいた順番にて、当該図面を決定するものであってもよい。製品マニュアルデータに含まれる図面は、対応する操作ステップの順番に基づき、連番等による図面番号が付与されている。情報処理装置１の制御部２は、対象物Ｔの形態が変化した場合、製品マニュアルデータにて説明される操作ステップの順番に基づき、現時点にて決定した図面の次順に位置する図面を、新たな図面として決定するものであってもよい。

情報処理装置１は、位置姿勢導出部２１２が導出する対象物Ｔの位置姿勢の変化等、態様の変化に応じて、複数の図面夫々に対応付けられた指示図形を、操作ステップに従って出力するため、操作者Ｕによる対象物Ｔの操作に応じて、重畳させる指示図形を変化させることができる。これにより、当該操作者Ｕに対し、操作ステップに対応する複数の図面に対応付けられた指示図形を順次、画像データに重畳させて表示することができ、操作者Ｕに対する支援を効率的に行うことができる。

本開示の実施形態によれば、情報処理装置１は、工業製品等の対象物Ｔを操作するにあたり、例えば操作者Ｕに取り付けられた撮像部５２が撮像し取得した画像データに、当該対象物Ｔに関する３Ｄマニュアルデータに含まれる指示図形を重畳して表示する。従って、対象物Ｔの製品マニュアルを表示するにあたり、製品マニュアルの対象物Ｔを撮像した画像と関連付けて表示することができ、製品マニュアル及び対象物Ｔに対する視認性を向上させ、当該対象物Ｔの操作者Ｕによる操作支援を効率的に行うことができる。

本開示の実施形態によれば、対象物Ｔの位置姿勢と、画像データにおける対象物Ｔの位置姿勢との差分に基づき、指示図形を重畳表示するための変位量を導出するため、３Ｄマニュアルデータの図面に対応付けられた矢印、引き出し線、又は補助線等、対象物Ｔの操作に関する指示又は示唆を示す指示図形の変位量を効率的に導出することができる。当該変位量に基づき、指示図形を画像データに重畳して出力することにより、操作者Ｕが目視している対象物Ｔの位置姿勢に応じた態様にて、対象物Ｔと指示図形とが合成された画像を表示することができる。

本開示の実施形態によれば、２Ｄデータである図面及び画像データに対し、これらデータ夫々に含まれる対象物Ｔの位置姿勢夫々を、３Ｄ対象物データの３Ｄ座標系に基づき決定する。従って、図面及び画像データにおける異なる画像座標系にて示される対象物Ｔ夫々を、ベクトル変換等することにより３Ｄ座標系（統一座標系）にて統一的に示すことにより、図面における対象物Ｔの位置姿勢と、画像データにおける対象物Ｔの位置姿勢との座標上の差分を容易に算出することができる。これにより、当該差分に基づき、図面に対応付けられている指示図形の変位量を効率的に導出することができる。指示図形（３Ｄ指示図形）も同様に３Ｄ座標系（統一座標系）にて、立体形状、座標位置及び回転角度が決定され、３Ｄデータとして復元されているものであってもよい。このように図面にて線分等にて記載されている指示図形を３Ｄデータ（３Ｄ指示図形）として復元することにより、当該指示図形を画像データに重畳する処理を効率的に行うことができる。

本開示の実施形態によれば、３Ｄマニュアルデータに複数種類の対象物Ｔに関する情報が含まれる場合であっても、情報処理装置１は、撮像された対象物Ｔの位置姿勢に基づき特定されるアウトライン形状又は特徴部に基づき、いずれの対象物Ｔであるかを特定することができる。従って、撮像された対象部に対応する適切な指示図形を画像データに重畳して出力することができる。

本開示の実施形態によれば、３Ｄマニュアルデータは、対象物Ｔに付属する製品マニュアルと、対象物Ｔの３Ｄ対象物データとにより構成される。工業製品等の対象物Ｔにおいては、製品マニュアル及び、当該製品の３ＤＣＡＤデータ等による３Ｄ対象物データは容易に入出が可能であるため、これらデータに基づくことにより、簡易又は効率的に３Ｄマニュアルデータを構成することができる。また、撮像された対象物Ｔの画像データに重畳される指示図形は、製品マニュアルに記載される対象物Ｔの図面から特定（抽出）され、３Ｄ対象物データの３Ｄ座標系における座標情報等が関連付けられたものであるため、３Ｄマニュアルデータの作成工数を削減し、当該３Ｄマニュアルデータを効率的に生成することができる。

（実施形態２）
図８は、実施形態２（深度センサ５６）に係る情報処理装置等の構成例を示すブロック図である。図９は、情報処理装置１等の制御部２に含まれる機能部を例示する機能ブロック図である。実施形態２における情報処理装置１のＭＲグラス５は、深度センサ５６を含む。情報処理装置１は深度センサ５６によって検出された対象物Ｔの奥行長さ、形状を含む深度データに基づき、当該対象物Ｔの位置姿勢を導出する点で、実施形態１と異なる。

深度センサ５６は、例えば、赤外線などのレーザー光を対象物Ｔに当て、はね返ってくるまでの時間で対象物Ｔとの距離を計測する３Ｄセンサである。深度センサ５６は、レーザー光を細かく位置を変えて対象物Ｔに当てることで、どの部分が膨らんでいて、どの部分が凹んでいるかも測定することができ、測定を繰り返し行うことで対象物Ｔの３Ｄ形状、奥行き長さ等を計測することができる。

ＭＲグラス５に設けられた深度センサ５６の指向と、ＭＲグラス５に含まれる撮像部５２の撮像方向（視点方向）とは、同一方向となるように深度センサ５６及び撮像部５２は設けられている。従って、撮像部５２により撮像される対象物Ｔの形状又は奥行長さ等を含む深度データを効率的に取得することができる。

位置姿勢導出部２１２は、ＭＲグラス５の深度センサ５６が検出した深度データを取得し、当該深度データに基づき、画像データに含まれる対象物Ｔの位置姿勢を導出する。位置姿勢導出部２１２は、例えば、深度データに含まれる対象物Ｔの形状又は奥行長さと、３Ｄ対象物データに含まれる対象物Ｔの形状又は大きさとに基づき、深度が検出された対象物Ｔの部位又は側面、すなわち画像データにて表示されている対象物Ｔの部位又は側面を特定し、当該部位に基づき対象物Ｔの位置姿勢を導出するものであってもよい。対象物図形特定部２０４も、ＭＲグラス５の深度センサ５６が検出した深度データを取得し、当該深度データに基づき、画像データに含まれる対象物Ｔを特定するものであってもよい。

位置姿勢導出部２１２及び対象物図形特定部２０４は、深度センサ５６が検出した深度データに加え、実施形態１と同様に画像データを用い、深度データ及び画像データによる２つの異なる種類のデータに基づき、対象物Ｔの抽出及び位置姿勢の導出を行うものであってもよい。

図１０及び図１１は、制御部２が実行する処理手順の一例を示すフローチャートである。情報処理装置１の制御部２は、情報処理装置１の記憶部３に記憶されているプログラムが実行されると、以下に示す処理を開始する。実施形態２の情報処理装置１の制御部２は、実施形態１のＳ１０１からＳ１１０と同様に、Ｓ２０１からＳ２１０までの処理を行い、３Ｄマニュアルデータを生成する。

情報処理装置１の制御部２は、実施形態１のＳ１１１、Ｓ１１２と同様に、Ｓ２１１，Ｓ２１２の処理を行い、３Ｄマニュアルデータ及び画像データを取得する。

情報処理装置１の制御部２は、深度データを取得する（Ｓ２１４）。制御部２は、操作者Ｕが装着しているＭＲグラス５に設けられた深度センサ５６から出力された深度データを取得する。深度センサ５６の指向と、ＭＲグラス５に含まれる撮像部５２の撮像方向（視点方向）とは、同一方向となるように深度センサ５６及び撮像部５２は設けられている。従って、撮像部５２の撮像される対象物Ｔの形状又は奥行長さ等を含む深度データを効率的に取得することができる。

情報処理装置１の制御部２は、３Ｄ対象物データ及び深度データに基づき、画像データに含まれる対象物Ｔの位置姿勢を導出する（Ｓ２１５）。制御部２は、例えば、深度データに含まれる対象物Ｔの形状又は奥行長さと、３Ｄ対象物データに含まれる対象物Ｔの形状又は大きさとに基づき、深度が検出された対象物Ｔの部位又は側面、すなわち画像データにて表示されている対象物Ｔの部位又は側面を特定し、当該部位に基づき対象物Ｔの位置姿勢を導出するものであってもよい。また、制御部２は、深度データに基づく導出と、実施形態１におけるＳ２０６の処理と組み合わせて、対象物Ｔの位置姿勢を導出するものであってもよい。

情報処理装置１の制御部２は、実施形態１のＳ１１５からＳ１１７と同様に、Ｓ２１６からＳ２１８の処理を行い、決定した図面に対応する３Ｄ指示図形の変位量に基づき回転させた状態にて、３Ｄ指示図形を画像データに重畳して表示する。

本開示の実施形態によれば、深度センサ５６から取得した深度データに基づくため、深度データに含まれる対象物Ｔの奥行に関する情報又は、立体形状に関する情報を用いて、対象物Ｔの位置姿勢を効率的に導出することができる。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

Ｓ情報処理システム
１情報処理装置
２制御部
２０１元データ取得部（図面取得部）
２０２図面特定部
２０３指示図形特定部
２０４対象物図形特定部
２０５説明文特定部
２０６指示図形３Ｄ化部
２０７３Ｄマニュアルデータ生成部
２０８３Ｄマニュアルデータ取得部
２０９図面決定部
２１０画像データ取得部
２１１対象物抽出部
２１２位置姿勢導出部
２１３差分導出部
２１４変位量導出部
２１５画像重畳部（重畳画像出力部）
３記憶部
４通信部
５ＭＲグラス
５１表示部
５２撮像部
５３制御部
５４記憶部
５５通信部
５６深度センサ
Ｕ操作者
Ｔ対象物

Claims

３Ｄデータ取得部が取得した対象物の３Ｄデータ及び、前記対象物との関連を示す指示図形とを記憶する記憶部と、
前記対象物の形状を示す対象物図形及び前記対象物との関連を示す指示図形を含む図面を取得する図面取得部と、
前記図面取得部が取得した図面に含まれる対象物図形及び指示図形を特定し、前記対象物図形に対応する前記３Ｄデータ取得部が取得した３Ｄデータに前記指示図形及びその位置姿勢を対応付けた３Ｄマニュアルデータを生成する３Ｄマニュアルデータ生成部と、
撮像された対象物の画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記画像データにおける対象物と、前記３Ｄマニュアルデータに含まれる位置姿勢を対応させ、前記画像データの対応箇所に指示図形を重畳して出力する重畳画像出力部とを備え、
前記重畳画像出力部は、前記３Ｄマニュアルデータの図面における対象物の位置姿勢と、前記画像データにおける対象物の位置姿勢との差分に基づき、前記指示図形を前記画像データに重畳して出力する
ことを特徴とする情報処理装置。
前記重畳画像出力部は、前記対象物を撮像する撮像装置の視点方向に対応した深度センサから取得した深度データに基づき、前記画像データにおける対象物の位置姿勢を導出する
ことを特徴とする請求項１に記載の情報処理装置。
前記３Ｄマニュアルデータの図面における対象物の位置姿勢と、前記画像データにおける対象物の位置姿勢とは、前記３Ｄマニュアルデータに含まれる３Ｄデータの３Ｄ座標系に基づき決定される
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
前記重畳画像出力部は、前記３Ｄマニュアルデータに含まれる指示図形及び、前記指示図形に対応する説明文を画像データに重畳して出力する
ことを特徴とする請求項２から請求項３のいずれか１項に記載の情報処理装置。
前記３Ｄマニュアルデータには、複数種類の前記対象物に関する情報が含まれており、
前記重畳画像出力部は、
導出した対象物の位置姿勢に基づき、前記３Ｄマニュアルデータに含まれる複数種類の前記対象物のうち、いずれの対象物であるかを特定し、
前記特定した対象物の図面に対応付けられた指示図形を前記画像データに重畳して出力する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
前記３Ｄマニュアルデータは、前記対象物における複数の操作ステップに対応する複数の図面を含み、
前記重畳画像出力部は、前記対象物の位置姿勢の変化に応じて、前記複数の図面夫々に対応付けられた指示図形を、前記操作ステップに従って出力する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の情報処理装置。
前記３Ｄデータ取得部は、外部サーバから前記３Ｄデータを取得する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の情報処理装置。
前記３Ｄマニュアルデータ生成部は、前記図面取得部が取得した図面から、前記指示図形を生成する
ことを特徴とする請求項１から請求項７のいずれか１項に記載の情報処理装置。
コンピュータに、
対象物の３Ｄデータ及び前記対象物との関連を示す指示図形とを記憶し、
前記対象物の形状を示す対象物図形及び前記対象物との関連を示す指示図形を含む図面を取得し、
取得した図面に含まれる対象物図形及び指示図形を特定し、前記対象物図形に対応する前記３Ｄデータに前記指示図形及びその位置姿勢を対応付けた３Ｄマニュアルデータを生成し、
撮像された対象物の画像データを取得し、
取得した前記画像データにおける対象物と、前記３Ｄマニュアルデータに含まれる位置姿勢を対応させ、前記画像データの対応箇所に指示図形を重畳して出力し、
前記３Ｄマニュアルデータの図面における対象物の位置姿勢と、前記画像データにおける対象物の位置姿勢との差分に基づき、前記指示図形を前記画像データに重畳して出力する
処理を実行させるプログラム。