JP6529160B2 - Ａｒ情報表示装置 - Google Patents

Description

本発明は、AR情報表示装置に係り、特に、スクリーン上で操作対象のARオブジェクトに、操作支援用のAR情報を視認し易い位置、姿勢で重畳表示するAR情報表示装置に関する。

現実環境に対してCGなどの仮想物体を位置合わせし、重畳表示することで情報を付加する拡張現実感（AR）が様々な分野で応用されている。

特許文献１には、光学式シースルー型HMD（Head Mounted Display）に撮像素子を取り付けてユーザの視界に映るマーカを撮像し、当該マーカに紐付いたAR情報をHMDスクリーンに表示する際、ユーザの頭の向きと連動してその画角が変動すると、撮像したマーカの傾きや位置に応じてAR情報の表示位置や傾きを精度高く特定する技術が開示されている。

特許文献２には、ARオブジェクトが他のARオブジェクトにより遮蔽される場合に、観察位置に対して実画像の視点から見て距離画像のそれぞれ対応する画点よりも後方に位置している点と、前方もしくは同位置にある点とを識別し、後者を前者とは異なる態様、例えば破線または鎖線で描写し、あるいは透明度や色を変更するなどして、視覚的に異ならせる技術が開示されている。

特許第5538483号公報 特許第5032343号公報

操作や作業（仕分け・組み立て・検査）の現場では、常に同じ手順や留意のもとで操作等を行なうわけではないので、操作者はしばしば操作内容を調査し、確認することになる。しかしながら、紙媒体のマニュアルを参照する場合には手を使ってページをめくるため、操作者は一時的に操作を中断しなければならない。

一方、ハンズフリーの光学式シースルー型HMDと拡張現実技術とを組み合わせ、操作支援内容を操作者の視界内に重畳表示すれば、操作者は視線移動のみで操作支援内容を読めるので操作を中断する必要がなくなる。

しかしながら、拡張現実技術を利用すると、ARオブジェクトの位置、姿勢に応じてAR情報の表示位置、姿勢も変化するため、ARオブジェクトの位置、姿勢によっては、AR情報の一部しかHMDスクリーンに表示されなくなったり、AR情報の正面とHMDスクリーン平面との角度が大きくなって視認性が低下したりしてしまう場合がある。

特許文献１では、操作者の視界上の対象物に、操作支援メッセージを直接重畳して描画できるため、操作者は、操作の手を止めずに操作支援を受けることができて便利である。しかしながら、通常のAR技術で行われているように、メッセージを対象物の位置や傾きに応じて表示画面に描画すると、位置や方向によっては、操作者がメッセージを読みにくくなる事態が発生し、操作者が操作を間違える可能性がある。

特許文献２では、操作支援メッセージの一部が破線、鎖線、透明度または色を変更して表示画面上に描画されるので、メッセージの一部が欠けて十分な情報を操作者に提供できない事態が発生し、操作者を十分に支援ができない可能性がある。

本発明の目的は、上記の技術課題を解決し、AR情報を視認性の高い、位置、姿勢で表示できるAR情報表示装置を提供することにある。

上記の目的を達成するために、本発明は、操作対象のAR情報をスクリーン上に表示するAR表示制御装置において、以下の構成を具備した点に特徴がある。

(1) 視野方向のカメラ画像に基づいて操作対象とカメラとの相対的な位置および姿勢の関係を推定する手段と、推定結果に基づいてカメラ座標系からスクリーン座標系への変換行列を推定する手段と、AR情報の視認性が改善されるように変換行列を補正する手段とを具備した。

(2) 補正する手段は、AR情報の正面がスクリーン平面と平行化するように変換行列の回転成分を補正するようにした。

(3) 補正する手段は、操作対象に紐付いたAR情報と当該操作対象との表示範囲の重なりがより多くなって表示ズレが解消されるように変換行列の並進成分を補正するようにした。

(4) 補正する手段は、スクリーン内に表示されるAR情報の表示範囲がより多くなって表示欠けが解消されるように変換行列の並進成分を補正するようにした。

(5) 補正する手段は、相互に紐付いた操作対象とAR情報とがより近接表示されるように変換行列の並進成分を補正するようにした。

(6) 補正する手段は、所定の周期で変換行列を繰り返し補正し、周期間での補正量の差分が所定の閾値以下であれば前回周期の補正を維持するようにした。

本発明によれば、以下のような効果が達成される。
(1) 操作対象と紐付いたAR情報の表示位置や姿勢が当該操作対象の位置、姿勢の変化及びカメラの位置、姿勢の変化に伴って変化することによりAR情報の視認性が損なわれるような場合でも、変換行列を補正するだけで視認性を改善できるようになる。

(2) 変換行列の回転成分および／または並進成分を補正するだけで視認性を改善できるので、既存のAR情報の表示技術の一部を改修するだけで視認性を改善することができる。

(3) AR情報の正面がスクリーン平面と平行化するように変換行列の回転成分が補正されるので、AR情報の表示位置及びサイズは維持したまま表示姿勢のみを簡単に修正できるようになる。

(4) AR情報の表示範囲と操作対象の表示範囲とがより多く重なるように変換行列の並進成分が補正されるので、AR情報の表示姿勢は維持したまま、表示ズレが原因で低下する視認性を簡単に改善できるようになる。

(5) AR情報のより多くの範囲がスクリーンに表示されるように変換行列の並進成分が補正されるので、AR情報の表示姿勢は維持したまま、表示欠けが原因で低下する視認性を簡単に改善できるようになる。

(6) 相互に紐付いた操作対象とAR情報とがより近接表示されるように変換行列の並進成分が補正されるので、操作対象とAR情報との視覚的な紐付けを維持できる。

(7) 変換行列の周期ごとの補正量の差分が所定の閾値以下であれば前回周期の補正が維持されるので、視認性の改善に大きく寄与しない僅かな補正が頻繁に繰り返されてAR表示が微動を繰り返すことによる視認性の低下を防止できるようになる。

本発明の一実施形態に係る操作支援AR情報表示装置の主要部の構成を示した図である。 表示制御の仕組みを説明するための図である。 表示制御部(5)の機能ブロック図である。 AR情報の姿勢変化によりその視認性が損なわれる例を示した図である。 AR情報の視認性を改善させる変換行列の補正例を示した図である。 変換行列の補正によりAR情報の正面がHMDスクリーンに対して平行化される例を示した図である。 表示ズレの補正の評価方法を示した図である。 表示欠けの補正の評価方法を示した図である。 本発明の一実施形態の動作を示したフローチャートである。 AR情報の視認性が改善される様子を示した図（その１）である。 AR情報の視認性が改善される様子を示した図（その２）である。 AR情報の視認性が改善される様子を示した図（その３）である。 AR情報の視認性が改善される様子を示した図（その４）である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る操作支援に好適なAR情報表示装置の主要部の構成を示した図である。ここでは、ハンズフリーの光学式シースルー型HMDへの適用を例にして説明するが、スマートフォン、タブレット端末あるいはPC端末などの情報端末にも適用できる。

光学式シースルー型HMD１は、視線方向の映像を撮影して操作対象（ARオブジェクト）Objを含むカメラ画像を出力するカメラモジュール２と、操作対象Objごとにその操作支援用のAR情報として、作業支援用のメッセージ、図形、イラスト、記号、動画等の操作ガイドを記憶するAR情報データベース（DB）４と、AR情報を表示する透過型のHMDスクリーン３と、HMDスクリーン３上で操作対象Objの透過位置にAR情報を重畳表示する表示制御部５とを主要な構成としている。

前記表示制御部５は、光学式シースルー型HMD１と一体の構成でも良いし、別のモジュールとして構成しても良い。前記AR情報DB４は表示制御部５に内蔵しても良いし、あるいはネットワーク上に設け、表示制御部５が無線通信によりネットワーク経由でAR情報を取得するように構成しても良い。

図２は、光学式シースルー型HMD１における表示制御の仕組みを説明するための図であり、図１と同一の符号は同一又は同等部分を表している。

光学式シースルー型HMD１のスクリーン３上で操作対象Objの透過位置に、そのAR情報を当該操作対象Objの姿勢に応じた姿勢で重畳表示するために、操作対象Objの3D座標が現実空間の座標系（マーカ座標系）からカメラ座標系へ変換され、さらにカメラ座標系からスクリーン座標系へ変換される。

ここで、操作対象Objの3D座標をスクリーン上の2D座標に投影する関係を3行4列の変換行列P_3×4、操作対象Objに対するカメラ２の位置、姿勢を表す4行4列の変換行列をW_4×4とすれば、カメラ座標系における3D座標をスクリーンへ投影する変換行列はP_3×4・W^-1 _4×4で表される。

そして、操作対象Objに対するカメラ２の現在の位置、姿勢をW1とすれば、これを前記変換行列P_3×4・W^-1 _4×4を用いて現実空間の座標系基準でスクリーン３上に描画する射影変換行列（P_3×4・W^-1 _4×4）・W1を用いれば、AR情報を操作対象Objの位置、姿勢に応じた位置、姿勢で表示できる。

図３は、前記表示制御部５の主要部の構成を示した機能ブロック図であり、位置姿勢推定部５ａは、カメラ画像に基づいて操作対象Objとカメラ２との相対的な位置および姿勢の関係を推定する。

本実施形態では、各操作対象Objの3Dモデルから予め抽出してデータベース化されている特徴点集合と、カメラ画像から抽出した特徴点集合とのマッチング結果に基づいて対応点を設定し、複数の対応点に基づいて公知の手法により位置、姿勢推定用の変換行列Wを計算する。

表示位置姿勢計算部５ｂは、操作対象Objごとに、常にオンラインでDLT解法等により求めた変換行列P_3×4と外部パラメータ行列W_4×4とに基づいて変換行列P_3×4・W^-1 _4×4を計算し、これに前記W1を乗じてAR情報のスクリーン上での表示位置および姿勢を計算する。

変換行列補正部５ｃは、回転解消部５０１、表示ズレ解消部５０２および表示欠け解消部５０３を含み、AR情報の視認性が改善されるように前記変換行列を補正する。

前記回転解消部５０１は、図４に示したように、操作対象Objの姿勢変化に応じてそのAR情報の正面（表示面）とスクリーン平面との間に生じるx，y，zの各軸中心の回転（傾斜）を解消して視認性を改善する。

本実施形態では、図５に示した変換行列P_3×4・W^-1 _4×4を対象に、並進成分ω14，ω24，ω34は維持したまま、回転成分ω11〜ω33のみを単位行列の配列に書き換えて補正後変換行列Yを生成する。この変換行列Yを用いてマーカ座標系をカメラ座標系に変換すれば、図６に模式的に示したように、操作対象Objの姿勢変化にかかわらず、そのAR情報の正面をスクリーン平面に対して常に平行化できるようになる。

図３へ戻り、変換行列補正部５ｃの表示ズレ解消部５０２は、作業者の視認性を妨げる要因として、AR情報の表示位置のズレに注目し、図７に示したように、複数の操作対象Obj_A，Obj_Bが接近している場合などに、一方の操作対象（ここでは、Obj_A）と紐付いたAR情報の一部Sが、他方の操作対象（Obj_B）にもまたがって重畳表示される場合などに視認性が低いと評価し、AR情報の視認性が改善されるように前記変換行列を補正することによりAR情報の表示位置を平行移動させる。

本実施形態では、HMDスクリーン上での各操作対象Obj_A，Obj_Bの透視位置と当該各操作対象Obj_A，Obj_Bに紐付いたAR情報の表示位置とを求める。各操作対象の透過位置は、操作対象Objごとに予め登録されている特徴点集合に対して、当該操作対象Objに関して計算された変換行列を用いたHMDスクリーン上への逆投影を行って計算される。

変換行列補正部５ｃの表示欠け解消部５０３は、作業者の視認性を妨げる要因として、AR情報の表示欠けに注目し、図８に示したように、操作対象ObjがHMDスクリーンの端部に位置する際などに、AR情報の一部KがHMDスクリーンからはみ出して表示欠けが生じる場合などに視認性が低いと評価し、AR情報の視認性が改善されるように前記変換行列を補正することによりAR情報の表示位置を平行移動させる。

各解消部５０２，５０３は、操作対象とそのAR情報との紐付けが不明瞭とならないように、当該AR情報の表示位置を、紐付いた操作対象との重なり面積を最大化でき（表示ズレの場合）、あるいはAR情報の表示欠け面積を最小化でき（表示欠けの場合）、かつ紐付いた操作対象との距離を最小化できる位置へ、前記変換行列の並進成分ω14，ω24を補正することで平行移動させる。

図９は、本発明の一実施形態の動作を示したフローチャートであり、図１０ないし図１３は、AR情報の視認性が変換行列の補正により改善される様子を示した図である。

ステップS１では、前記変換行列P_3×4・W^-1 _4×4が計算される。ステップS２では、前記図５を参照して説明したように、x，y，zの各軸中心の回転成分が、前記回転解消部５０１により単位行列の配列に補正される。

これにより、操作対象Objが図１０に示したようにx軸中心で回転し、あるいは図１１に示したようにx，y，zの各軸中心で回転し、その結果、AR情報の視認性が低下していても、各回転がキャンセルされてAR情報の正面がHMDスクリーン平面と平行になるので視認性が改善される。

ステップS３では、前記補正後の変換行列に基づいて、AR情報がスクリーンに表示された際の、紐付いていない他の操作対象との重なりの有無（表示ズレ）や、スクリーンの表示範囲から外れている部分の有無（表示欠け）に基づいて、当該AR情報の視認性が評価される。

本実施形態では、操作対象ごとに既登録の対応点集合に対して、前記補正後の変換行列を適用してAR情報の表示位置を求める。このとき、対応点集合を包含する最小矩形領域をAR情報の表示範囲と推定し、予めオフラインで学習した、AR情報から操作対象への変換行列を前記AR情報の表示範囲に乗じることで操作対象の表示範囲を算出する。

ステップS４では、各操作対象の表示範囲と各AR情報の表示範囲とを比較することにより、相互に紐付いていない操作対象とAR情報との重なりの有無に基づいて各AR情報の視認性が評価される。ここで、紐付いていない他の操作対象と重なって表示されるAR情報があればステップS５へ進む。

ステップS５では、操作対象に紐付いたAR情報と当該操作対象との表示範囲の重なり面積がより多くなり、あるいは操作対象に紐付いたAR情報と当該操作対象以外の他の操作対象との表示範囲の重なり面積がより少なくなる最適表示位置候補が探索される。

ステップS６では、複数の最適表示位置候補が存在する場合に、最適表示位置候補ごとにAR情報の表示位置とその操作対象の表示位置との距離を、例えば両者の重心位置や中心位置の距離に基づいて計算し、最短距離を与える最適表示位置候補を最適表示位置に決定する。ステップS７では、AR情報の表示位置が前記最適表示位置へ移動されるように変換行列の並進成分が補正される。

このような変換行列の補正により、本実施形態によれば、図１２に示したように、一方の操作対象と紐付いたAR情報の表示位置が、他方の操作対象とは重ならないが一方の操作対象とはより多く重なり、当該一方の操作対象との距離がより短くなる位置へ平行移動されるので、AR情報とその操作対象との紐付けを維持しながら、AR情報の視認性、識別性を向上させることができるようになる。

ステップS８では、AR情報の表示範囲とスクリーンの表示範囲とを比較することにより、AR情報の少なくとも一部がスクリーンの表示範囲から外れているか否かに基づいてAR情報の視認性が評価される。ここで、スクリーンの表示範囲から外れて表示されるAR情報があればステップS９へ進む。

ステップS９では、スクリーンに表示されるAR情報の表示範囲がより多くなり、あるいはスクリーンから外れるAR情報の表示範囲がより少なくなり、さらには操作対象との重なり面積がより多くなる最適表示位置候補が探索される。

ステップS１０では、複数の最適表示位置候補が存在する場合に、最適表示位置候補ごとにAR情報の表示位置とその操作対象の表示位置との距離を計算し、最短距離を与える最適表示位置候補を最適表示位置に決定する。ステップS１１では、AR情報の表示位置が前記最適表示位置へ移動されるように前記変換行列の並進成分が補正される。

このような変換行列の補正により、本実施形態によれば、図１３に示したように、スクリーンに表示されるAR情報の表示範囲がより大きくなり、かつ紐付いた操作対象との重なり面積がより大きくなり、かつ当該操作対象との距離がより短くなる位置へAR情報の表示位置が平行移動されるので、AR情報とその操作対象との紐付けを維持しながら、AR情報の視認性、識別性を向上させることができる。

なお、本実施形態では上記の処理が所定の周期（例えば、カメラ画像のフレーム単位）で繰り返されるが、ステップS６，S１０で決定される補正量の変化が、視認性の改善にさほど寄与しない僅かなものであるにも関わらず、そのような補正が頻繁に繰り返されると、AR表示の表示位置が微動を繰り返すことによって視認性が低下する可能性がある。したがって、周期間での補正量の差分が所定の閾値以下であれば前回周期の補正を維持するようにしても良い。

さらに、上記の実施形態では、相互に紐付いていない操作対象とAR情報との重なり、あるいはAR情報の表示欠けが検知されると変換行列が補正されるものとして説明したが、本発明はこれのみに限定されるものではなく、重なりや欠けの程度に閾値を設定し、閾値を超える重なりや欠けが検知された場合のみ変換行列が補正されるようにしても良い。

１…光学式シースルー型HMD，２…カメラモジュール，３…HMDスクリーン，４…AR情報データベース（DB），５…表示制御部，５ａ…位置姿勢推定部，５ｂ…表示位置姿勢計算部，５ｃ…変換行列補正部，５０１…回転解消部，５０２…表示ズレ解消部，５０３…表示欠け評価部

Claims (8)

1. 操作対象に紐付いたAR情報をスクリーン上の当該操作対象と関連する位置に表示するAR表示制御装置において、
   操作対象を含む視線方向を撮影するカメラと、
   カメラ画像に基づいて操作対象とカメラとの相対的な位置および姿勢の関係を推定する手段と、
   前記推定結果に基づいてカメラ座標系からスクリーン座標系への変換行列を推定する手段と、
   AR情報の視認性が改善されるように前記変換行列を補正する手段とを具備し、
   前記変換行列を補正する手段は、
   AR情報の正面がスクリーン平面と平行化するように補正する手段、
   操作対象に紐付いたAR情報と当該操作対象との表示範囲の重なりがより多くなるように補正する手段、
   操作対象に紐付いたAR情報と当該操作対象以外の他の操作対象との表示範囲の重なりがより少なくなるように補正する手段、
   スクリーンに表示されるAR情報の表示範囲がより多くなるように補正する手段、および
   スクリーンから外れるAR情報の表示範囲がより少なくなるように補正する手段、
   の少なくとも一つを含むことを特徴とするAR情報表示装置。
2. 前記AR情報の正面がスクリーン平面と平行化するように補正する手段は、前記変換行列の回転成分を補正することを特徴とする請求項１に記載のAR情報表示装置。
3. 前記操作対象に紐付いたAR情報と当該操作対象との表示範囲の重なりがより多くなるように補正する手段は、前記変換行列の並進成分を補正することを特徴とする請求項１に記載のAR情報表示装置。
4. 前記操作対象に紐付いたAR情報と当該操作対象以外の他の操作対象との表示範囲の重なりがより少なくなるように補正する手段は、前記変換行列の並進成分を補正することを特徴とする請求項１に記載のAR情報表示装置。
5. 前記スクリーンに表示されるAR情報の表示範囲がより多くなるように補正する手段は、前記変換行列の並進成分を補正することを特徴とする請求項１に記載のAR情報表示装置。
6. 前記スクリーンから外れるAR情報の表示範囲がより少なくなるように補正する手段は、前記変換行列の並進成分を補正することを特徴とする請求項１に記載のAR情報表示装置。
7. 前記補正する手段は、一の操作対象と紐付いたAR情報と当該一の操作対象とがより近接表示されるように前記変換行列の並進成分を補正することを特徴とする請求項３ないし６のいずれかに記載のAR情報表示装置。
8. 前記補正する手段は、所定の周期で変換行列を繰り返し補正し、周期間での補正量の差分が所定の閾値以下であれば前回周期の補正を維持することを特徴とする請求項３ないし７のいずれかに記載のAR情報表示装置。