JP6830112B2 - 投影適否検知システム、投影適否検知方法及び投影適否検知プログラム - Google Patents

Description

本開示は、投影装置によって投影対象にコンテンツを投影する際の投影の適否を検知する投影適否検知システム、投影適否検知方法及び投影適否検知プログラムに関する。

近年、実空間を示す画像に図形や文字、静止画、映像などの視覚情報を重畳し、表示する拡張現実（Augmented Reality、ＡＲ）技術が開発されている。ＡＲ技術によれば、例えば、作業現場において、作業対象物に対して作業方法を示す映像等を重畳させたり、医療現場において、患者の身体に対して、診察画像等を重畳させたりすることができる。

ＡＲ技術の実施方式としては、光学シースルー型、ビデオシースルー型、プロジェクション型等の方式が存在する。光学シースルー型、ビデオシースルー型といった方式では、複数人が同時に同じＡＲ情報を見る場合、各々が専用の機器を装着する必要がある。これに対し、プロジェクション型ＡＲ技術では、各々が専用の機器を装着することなく、複数人が同時に同じＡＲ情報を見ることができるという利点がある。

プロジェクション型ＡＲ技術は、物体に、図形や文字、静止画、映像などの視覚的な情報を投影する投影装置を用いて、コンピュータ上で生成または加工した映像を投影装置から投影し、実空間内の物体に映像を重畳させる技術である。

特許文献１には、この技術を用いたプロジェクション型ＡＲ作業支援方法として、作業現場で作業をするユーザ（以下、作業者と記載）に対して、遠隔地から指示をするユーザ（以下、指示者と記載）が入力した指示情報をＡＲコンテンツとして作業現場に投影する方法が開示されている。

ＷＯ２０１６／０８４１５１（２０１６年６月２日）

しかしながら、特許文献１に記載されているようなプロジェクション型ＡＲ作業支援技術は、基本的に撮像装置と作業者との位置が離れているため、撮像装置の撮像映像を観る指示者の視点位置と、作業者の視点位置とが異なっている。そのため、特許文献１に記載されている方法では、撮像装置の撮像映像に作業対象の傾斜や凹凸が考慮されず、その状態で指示者が作業指示を入力した結果、投影されたＡＲコンテンツ（以下、投影内容あるいは視覚化情報と称す）を作業者から見たときに、指示者が作業指示として入力した形状と異なる形状で視認される場合がある。

本開示は、以上の課題を鑑みてなされたものであり、投影対象に視覚化情報を投影する投影装置を備え、作業対象を構成する面の形状的特徴から、指示者の視点と、作業者の視点とのそれぞれで、適切に視覚化情報が投影されない箇所を検知し、検知結果を指示者に通知する投影適否検知システム、投影適否検知方法及び投影適否検知プログラムを提供することを目的とする。

上記の課題を解決するために、本開示の一態様に係る投影適否検知システムは、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む第２端末と、を備え、上記第１端末と上記第２端末とは互いに通信可能な範囲で離間している投影適否検知システムであって、上記投影適否検知システムは、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部を備え、上記第１端末は、上記検知部の検知結果を出力する出力部と、を備えている。

また上記の課題を解決するために、本開示の一態様に係る投影側端末は、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む指示側端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む投影側端末であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部を備えており、上記検知部の検知結果を上記指示側端末に送信するようになっている。

また上記の課題を解決するために、本開示の一態様に係る指示側端末は、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む指示側端末であって、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む投影側端末と通信可能な範囲で離間しており、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部と、上記検知部の検知結果を出力する出力部と、を備えている。

また上記の課題を解決するために、本開示の一態様に係る投影適否検知方法は、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、上記第１端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む第２端末と、を備えた投影適否検知システムの投影適否検知方法であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知ステップと、上記第１端末において上記検知ステップの検知結果を出力する出力ステップと、を含む。

また上記の課題を解決するために、本開示の一態様に係る投影適否検知プログラムは、上述した構成の投影適否検知システムの各部としてコンピュータを機能させるための投影適否検知プログラムであって、上記検知部及び上記出力部としてコンピュータを機能させるための投影適否検知プログラムである。

本開示の一態様によれば、投影対象に視覚化情報（投影内容）を投影する際に適切に投影されない箇所を検知し、その旨を出力することにより、指示者がその旨の通知を受けることができる。

本開示の一実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の一実施形態に係る投影適否検知システムの構成を示す構成図である。 本開示の一実施形態に係る投影適否検知システムの機能ブロックを示す図である。 本開示の一実施形態に係る投影適否検知システムの作業者側装置及び指示装置の構成例を示すブロック図である。 本開示の一実施形態に係る投影適否検知システムの面推定処理部の構成を示すブロック図である。 本開示の一実施形態に係る投影適否検知システムの投影歪み通知方法の一例を示す図である。 本開示の一実施形態に係る投影適否検知システムの作業者側装置の投影歪み検出結果と、映像符号と、を送信するための処理のフローチャート図である。 本開示の一実施形態に係る投影適否検知システムの作業者側装置が指示装置から情報を受信する場合のフローチャート図である。 本開示の一実施形態に係る投影適否検知システムの指示装置の処理を示すフローチャート図である。 本開示の他の実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の他の実施形態に係る投影適否検知システムの指示装置の処理を示すフローチャート図である。 本開示の他の実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の他の実施形態に係る投影適否検知システムの機能ブロックの一部を示す図である。 本開示の他の実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の一実施形態に係る投影適否検知システムの指示装置の処理を示すフローチャート図である。 図１５に示す指示装置の処理の一部を説明する図である。

〔実施形態１〕
以下、本開示の一実施形態に係る投影適否検知システムについて、図１から図９に基づいて説明する。

＜投影適否検知システム１００の使用形態およびシステムの概要＞
図１は、本実施形態１に係る投影適否検知システム１００の使用形態の一例を模式的に示す図である。

図１に示す例では、作業現場ＷＳと、指示室ＣＳとが示されており、作業現場ＷＳにいる作業者ＷＲが、指示室ＣＳにいる指示者ＣＲから作業対象オブジェクトＯＢに関する作業指示を受けている様子を示している。

指示者ＣＲは、作業現場ＷＳに配置している投影装置１０５を用いて、作業対象オブジェクトＯＢの特定の位置に対して、指示内容を示す投影内容１０６を投影して表示させることができる。そして、作業者ＷＲは、この投影された投影内容１０６を見ながら作業を行うことができる。これと同時に、作業現場ＷＳの様子は、作業現場ＷＳに配置している撮像装置１０７で撮影されており、指示者ＣＲは、遠隔から作業の様子を確認することができる。

本実施形態１に係る投影適否検知システム１００は、作業者側装置１０８（第２端末）及び指示装置１０９（第１端末）を備えている。そして、図１に示す例では、投影適否検知システム１００は、以下のように動作する。

まず、作業者側装置１０８は、撮像装置１０７によって撮影された作業対象オブジェクトＯＢを含む領域の映像を取得し、取得した映像を指示装置１０９に送信する。その後、指示装置１０９は、受信した映像を表示装置１１０に表示する。指示者ＣＲは、表示装置１１０に表示された作業対象の映像１１１の上に、指示内容を示す視覚化情報１０６’を設置する。指示装置１０９は、視覚化情報１０６’を作業者側装置１０８に送信する。作業者側装置１０８は、視覚化情報１０６’を受信すると、受信した視覚化情報１０６’を投影内容１０６として、投影装置１０５を通じて作業対象オブジェクトＯＢに対して投影する。なお、本明細書において、作業者側装置１０８を含む作業現場ＷＳ側の構成を投影側端末とも称し、指示装置１０９を含む指示室ＣＳ側の構成を指示側端末とも称す。

ここで、作業者側装置１０８と指示装置１０９とは、互いに通信可能な範囲で離間していればよく、例えば、図２に示すような公衆通信網（例えば、インターネット）によって、お互いに接続されており、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従い、通信する。投影適否検知システム１００は、さらに、視覚化情報１０６’を一括して管理するための管理サーバ２００を含んでいてもよく、この場合、管理サーバ２００は、公衆通信網に接続している。なお、作業者側装置１０８と、指示装置１０９とは、公衆通信網と無線通信によって接続してもよい。この場合、無線通信は、例えばＷｉ−Ｆｉ（登録商標）Ａｌｌｉａｎｃｅ（米国業界団体）によって規定された国際標準規格（ＩＥＥＥ ８０２．１１）のＷｉ−Ｆｉ（登録商標）（ワイファイ、Wireless Fidelity）接続によって実現することが可能である。通信網に関しては、これまでインターネットなどの公衆通信網について示してきたが、例えば、企業などで使用されている、ＬＡＮ（Local Area Network）を用いることも可能で、また、それらが混在した構成であっても良い。

＜投影適否検知システム１００の要部構成＞
図３は、本実施形態１に係る投影適否検知システム１００の要部構成を示すブロック図である。

投影適否検知システム１００は、図３に示すように、撮像装置１０７と、制御部３００と、投影装置１０５と、表示装置１１０と、外部入力部１０４とを備えている。

撮像装置１０７は、撮影空間を画像として取り込むための光学部品、および、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（ChargeCoupled Device）などの撮像素子を具備するように構成されており、撮像素子における光電変換によって得られた電気信号に基づいて映像１１１の映像データを生成する。

制御部３００は、機能ブロックとして、映像取得部３０１と、エンコード部３０２と、面推定処理部３０３と、投影歪み箇所検知部３０４（検知部）と、デコード部３０５と、投影歪み箇所通知部３０６（出力部）と、映像表示部３０７と、入力受付部３０８と、投影内容出力部３０９とを備えている。

制御部３００は、１または複数のプロセッサである。制御部３００としては、１個のプロセッサが全ての機能ブロックの処理を実行してもよいし、複数のプロセッサが各機能ブロックの処理を分けて実行してもよい。

映像取得部３０１は、撮像装置１０７から映像データ（撮像画像）を取得し、エンコード部３０２及び面推定処理部３０３に出力する。一態様において、映像取得部３０１は、取得した映像データをそのまま出力してもよいし、図示しない画像処理部を用い、取得した映像データに対して輝度変調処理、ノイズ除去などの画像処理を施した後に出力してもよいし、それら両方を出力してもよい。また、映像取得部３０１は、出力する映像データと、撮影時の焦点距離などのパラメータとを、後述する第１保存部４０２あるいは第２保存部４０５（図４）に送るように構成することもできる。

エンコード部３０２は、映像取得部３０１が取得した映像信号を、元の信号量より小さくなるよう圧縮する符号化処理を行い、映像符号を出力する。一態様において、エンコード部３０２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（ApplicationSpecific Integrated Circuit）などによって構成され得る。符号化処理については、例えば動画像符号化に適したＨ．２６４（国際標準動画圧縮規格）を適用することができるし、他の手法を用いることもできる。なお、後述する作業者側装置１０８と、指示装置１０９との間の映像信号の通信の際に、映像信号の圧縮を必要としない場合は、エンコード部３０２を含まないシステム構成としてもよい。

面推定処理部３０３は、投影対象である作業対象オブジェクトＯＢの平面のパラメータ（以下、平面パラメータと称す）を取得し、作業対象オブジェクトＯＢの表面（被投影面）の情報を推定する。投影対象の表面の情報の推定結果は、投影歪み箇所検知部３０４に出力される。一態様において、面推定処理部３０３は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。平面パラメータを取得する具体的な方法、及び投影対象の面の情報を推定する具体的な方法については後述する。

投影歪み箇所検知部３０４は、面推定処理部３０３の推定結果を受けて、投影装置１０５が投影内容１０６を投影する場合の、作業対象オブジェクトＯＢの表面における少なくともの投影を予定している箇所（位置）を含む領域の投影歪みの有無（以下、投影歪み検出結果と称す）を検出する。

なお、本明細書において、「投影歪み」が有る、または、生じるとは、或る視覚化情報が被投影面に投影された状態において、当該被投影面を観察したときに、当該視覚化情報の少なくとも一部が歪んで見えること、または当該視覚化情報の少なくとも一部が欠けて視認できない状態（凹みや穴を含む領域に投影しようとした場合の当該領域に生じ得る現象）であることを意味する。一態様において、投影歪み箇所検知部３０４は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。投影歪み検出結果の取得方法については後述する。

デコード部３０５は、符号化された映像符号を、元の映像信号に復号する処理を行う。一態様において、デコード部３０５は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。なお、後述する作業者側装置１０８と指示装置１０９との間の映像信号の通信の際に、映像信号の圧縮を必要としない場合は、デコード部３０５を含まないシステム構成としてもよい。

投影歪み箇所通知部３０６は、投影歪み箇所検知部３０４の検出結果を受けて、当該検出結果を出力する。具体的には、投影歪み箇所通知部３０６は、投影歪み箇所の通知内容の生成および出力を行う。一態様において、投影歪み箇所通知部３０６は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。具体的な通知内容の生成方法については後述する。

映像表示部３０７は、デコード部３０５が出力した映像信号と、投影歪み検出結果と、から、映像信号に、投影歪み箇所通知部３０６によって生成された通知内容を重畳した映像信号を生成する。生成した映像信号は、外部接続された表示装置１１０に送る。一態様において、表示される情報のデータ形式は特に限定されず、静止画であれば、例えば、Ｂｉｔｍａｐ、ＪＰＥＧ（Joint Photographic Experts Group）など、動画であれば、例えば、ＡＶＩ（Audio Video Interleave）、ＦＬＶ（Flash Video）などの汎用のデータ形式であってもよく、独自のデータ形式であってもよい。また、映像表示部３０７が、データ形式を変換しても良い。映像表示部３０７は、一態様において、ＦＰＧＡやＡＳＩＣなどによって構成され得る。

入力受付部３０８は、外部入力部１０４によって入力された視覚化情報１０６’を受け付ける。一態様において、入力受付部３０８は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。

投影内容出力部３０９は、入力受付部３０８が受け付けた視覚化情報１０６’を、投影内容１０６として、外部接続された投影装置１０５に出力する。一態様において、投影内容出力部３０９は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。

以上の各機能ブロックが、制御部３００を構成している。

投影装置１０５は、一態様において、ＤＬＰ（Digital LightProcessing）プロジェクタや液晶プロジェクタなどによって構成され得る。

表示装置１１０は、一態様において、ＬＣＤ（Liquid CrystalDisplay）や有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro LuminescenceDisplay）などによって構成され得る。

外部入力部１０４は、指示者ＣＲの操作によって、視覚化情報１０６’を入力する。一態様において、外部入力部１０４は、マウスやキーボードなどの装置によって構成され得る。また、表示装置１１０が外部入力部１０４を含む構成としてもよく、例えば、タッチパネルを表示装置１１０に含むことによって、指示者ＣＲが表示装置１１０に指などを接触させることによって、操作を入力することとしてもよい。

＜投影適否検知システム１００のハードウェア構成＞
図４は、投影適否検知システム１００のハードウェア構成の一例を示すブロック図である。投影適否検知システム１００は、先述のように、一例において作業者側装置１０８及び指示装置１０９を備えている。

作業者側装置１０８は、図４に示すように、第１通信部４０１と、第１保存部４０２と、第１制御部４０３とを備えている。

第１通信部４０１は、エンコード部３０２が出力した映像符号を、ネットワーク通信が行えるようにデータを整形し、指示装置１０９に送信する。さらに、第１通信部４０１は、投影歪み箇所検知部３０４から投影歪み検出結果を受け取り、これを指示装置１０９に送信する。また、第１通信部４０１は、指示装置１０９から視覚化情報１０６’を受信する。一態様において、第１通信部４０１は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。ネットワーク通信を行うためのデータの整形は、例えば、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従った、通信に必要な情報を付加するものである。通信の方式は該方式に限定するものではなく、双方の通信路が確立されて、お互いにデータの送受信ができれば良い。

第１保存部４０２は、撮像装置１０７及び投影装置１０５の内部パラメータ及び外部パラメータや、面推定処理部３０３で取得した平面パラメータや、画像処理に利用する種々のデータなどを保存する。一態様において、第１保存部４０２は、ＲＡＭ（Random Access Memory）や、ハードディスクなどの記憶装置によって構成され得る。

第１制御部４０３は、作業者側装置１０８全体の制御を行う。第１制御部４０３は、例えば、ＣＰＵ（Central Processing Unit）などによって構成され、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。第１制御部４０３は、図３の制御部３００の一部または全部の機能ブロックの処理を実行することが可能である。

なお、各々のブロック間でのデータのやり取りを行うためのバスを備えてもよい。

なお、一態様において、図１に示すように、作業者側装置１０８と投影装置１０５と撮像装置１０７とが独立した装置として構成されている。本実施形態１ではこれに限定されず、他の態様において、作業者側装置と投影装置と撮像装置が、筺体に内包されて一体となった構成であっても良いし、あるいは、その一部の組合せが一体となった態様であっても良い。

指示装置１０９は、第２通信部４０４と、第２保存部４０５と、第２制御部４０６とを備えている。

第２通信部４０４は、作業者側装置１０８から、映像符号と、面推定処理部３０３の推定結果とを受信する。また、作業者側装置１０８に視覚化情報１０６’を送信する。一態様において、第２通信部４０４は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。

第２保存部４０５は、投影歪みの検知に必要なパラメータや、画像処理に利用する種々のデータなどを保存する。一態様において、第２保存部４０５は、ＲＡＭ（Random Access Memory）や、ハードディスクなどの記憶装置によって構成され得る。

第２制御部４０６は、指示装置１０９全体の制御を行う。第２制御部４０６は、例えば、ＣＰＵなどによって構成され、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。第２制御部４０６は、図３の制御部３００の一部または全部の機能ブロックの処理を実行することが可能である。

なお、指示装置１０９においても、作業者側装置１０８と同様に、各々のブロック間でのデータのやり取りを行うためのバスを備えてもよい。

また、一態様において、図１に示すように、指示装置１０９と表示装置１１０とが独立した装置として構成されている。本実施形態ではこれに限定されず、他の態様において、指示装置と表示装置とが、筺体に内包されたタブレット型の形態であっても良い。

ここで、作業者側装置１０８の第１制御部４０３と、指示装置１０９の第２制御部４０６とは、図３の制御部３００の各機能ブロックを分けて実行することが可能である。例えば、図３において制御部３００の枠組内に破線にて境界を示したように、作業者側装置１０８の第１制御部４０３が、映像取得部３０１、面推定処理部３０３及び投影内容出力部３０９の処理を実行し、指示装置１０９の第２制御部４０６が、投影歪み箇所検知部３０４、投影歪み箇所通知部３０６及び映像表示部３０７の処理を実行してよい。また、他の分け方で、作業者側装置１０８の第１制御部４０３と、指示装置１０９の第２制御部４０６とが、制御部３００の各機能ブロックの処理を実行してもよい。

＜面推定処理部３０３の処理内容＞
続いて、本実施形態１における面推定処理部３０３による面情報の取得方法について、図５を用いて説明する。

図５は、面推定処理部３０３の機能ブロック構成を示す図である。

図５に示すように、面推定処理部３０３は、対応点マップ取得部５０１と、点群取得部５０２と、平面パラメータ導出部５０３とを有する。

対応点マップ取得部５０１は、図３に示す映像取得部３０１が取得した映像データ上の画素の位置と、投影装置１０５から投影される映像上の画素の位置との対応関係のリスト（以下、対応点マップと称す）を算出する。対応点マップの算出方法は、例えば、投影装置から投影したパターン画像（参照画像）を撮影し、撮影した画像のパターンから対応関係を算出するコード化パターン光投影法を用いることができる。なお、対応点マップの算出方法については、コード化パターン光投影法に限定するものではなく、映像データ上の画素の位置と、投影装置１０５から投影される映像上の画素の位置と、の対応関係が取得できる方法であればどのような方法であってもよい。

点群取得部５０２は、対応点マップ取得部５０１で取得した対応点マップと、撮像装置１０７及び投影装置１０５の内部パラメータと、外部パラメータと、映像取得部３０１が取得した映像データ上の画素の座標とから、ステレオ法の原理を用いて、撮像装置１０７で撮影された映像データ上の各画素について、撮像装置１０７を基準とした３次元座標を算出する。ここで、内部パラメータは、撮像装置１０７及び投影装置１０５の焦点距離、主点を含む。また、外部パラメータは、撮像装置１０７と投影装置１０５との間の回転行列と並進ベクトルを含む。なお、点群取得部５０２は、３次元座標を直接取得できる装置であってもよく、例えば、被写体までの赤外光の反射時間に基づいて距離を測定するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の装置などを適用してもよい。

平面パラメータ導出部５０３は、点群取得部５０２で取得した各画素の３次元座標（以下、３次元点群と称す）から３次元点群中に最もよく当てはまる平面を算出する。一態様において、３次元座標の座標をそれぞれｘ、ｙ、ｚとしたとき、３次元座標における平面は、以下の式（１）によって定義できる。

式（１）における（ａ、ｂ、ｃ）は平面の法線ベクトルを示し、ｄは３次元座標の原点と平面の距離を示す。すなわち、式（１）における、パラメータ（ａ、ｂ、ｃ、ｄ）を算出することによって、平面を算出することができる。

ここで、一態様において、平面パラメータ導出部５０３は、対応点マップの画素に対してＮ×Ｎのマスクをかける。このマスク内のＮ×Ｎ個の画素に対応する、三次元点群（ｘ１，ｙ１，ｚ１）から（ｘＮ×Ｎ，ｙＮ×Ｎ，ｚＮ×Ｎ）は、以下に示す式（２）の連立方程式を満たす。ここで、（ａ、ｂ、ｃ）は法線ベクトルで、ベクトルの大きさが変わっても問題が無いため、ｃの値を１に固定する。

ここで、一態様において、式（２）の各行列を、以下に示す式（３）から式（５）のように定義すると、平面パラメータ導出部５０３は、以下に示す式（６）によってパラメータ（ａ、ｂ、ｃ、ｄ）を算出することができる。

ここで、Ａ^−１は行列Ａの逆行列を示し、Ａ^Ｔは行列Ａの転置行列を示す。

上記の計算を対応点マップ上のマスクを走査するごとに行い、結果（ａ、ｂ、１、ｄ）_ｉのパラメータ群が、投影歪み箇所検知部３０４へと出力される。添字ｉはマスクを走査した回数を表し、それぞれの走査で１つの面情報が推定される。

＜投影歪み箇所検知部３０４の処理内容＞
投影歪み箇所検知部３０４は、面推定処理部３０３が算出した各平面のパラメータ（推定結果）を参照し、投影内容１０６を投影する場合に、作業者ＷＲの視点から見た場合の歪みの有無を検知する。

投影歪み箇所検知部３０４は、投影装置１０５の投影方向のベクトルをＤ、マスクｉの平面の法線ベクトルをＰ_ｉ＝（ａ、ｂ、１）_ｉとすると、式（７）によって、マスクｉの投影歪み検出結果Ｇｉを取得する。

ここで、式（７）中のｎｏｒｍａｌｉｚｅｄ（）は、入力したベクトルの正規化処理を行う関数を示し、ａｂｓ（）は絶対値を算出する関数を示す。また、記号・は、ベクトルの内積を示す。また、Ｔｈはあらかじめ設定された閾値であり、０から１の間の実数値に設定される。

上記の式（７）において、ａｂｓ｛ｎｏｒｍａｌｉｚｅｄ（Ｐｉ）・ｎｏｒｍａｌｉｚｅｄ（Ｄ）｝が１に近いほど、マスクｉで算出された平面は投影装置１０５の投影方向に対して正対しているため、作業者ＷＲの視点からは投影内容の歪みが小さい。逆に、ａｂｓ｛ｎｏｒｍａｌｉｚｅｄ（Ｐｉ）・ｎｏｒｍａｌｉｚｅｄ（Ｄ）｝が０に近いほど、マスクｉで算出された平面は投影方向に対して大きな傾きを持つため、作業者ＷＲの視点からは投影内容１０６が大きく歪む。この判定は、あらかじめ設定された閾値Ｔｈを下回っているかどうかで判断を行う。

＜通知方法＞
投影歪み箇所通知部３０６の、通知の表示方法について図６を用いて説明する。

図６は、投影歪み箇所通知部３０６が、投影歪みの通知を行っている一例を示す図である。図６では、作業対象オブジェクトＯＢの面６０１は投影歪み検出結果（投影適否の判定結果）が歪み有り、すなわち投影が不適である、と判定されている箇所を示している。

投影歪み箇所通知部３０６は、投影歪み箇所検知部３０４から送信された、投影歪み検出結果（投影適否の判定結果）を受け、指示者ＣＲに対して通知処理を行う。

通知方法は、投影歪み、すなわち投影が不適であること、を通知できる方法であればよく、例えば、投影歪み検出結果を参照し、面６０１の該当する箇所を単一色で塗りつぶすことで、作業者ＷＲの視点では正しく指示が投影されないことを、指示者ＣＲに通知する方法を用いることができる。

また、別の方法として、指示者ＣＲが視覚化情報１０６’を投影歪み箇所に入力する場合は、重なっている箇所の色を変更することで通知する方法としてもよい。

また、さらに別の方法として、表示装置のいずれかの位置に、歪み有りとの通知コンテンツ６０２を描画する処理を行うことで、指示者ＣＲに気付かせる方法や、指示装置１０９を振動させて通知する方法としてもよい。

なお、投影歪み箇所通知部３０６の通知方法は上記方法に限定するものではなく、投影歪みの有無（投影の適否）、または、投影歪みの発生する画素を通知する方法であれば、どのような方法であってもよい。

なお、指示者に対する通知は、作業者ＷＲの視点では正しく指示が投影されないことを通知すればよく、投影歪みを通知する必要はない。しかしながら、正しく指示が投影されない理由、すなわち投影歪みがあることを併せて通知してもよい。

＜投影適否検知システム１００の動作（投影適否検知方法）＞
作業者側装置１０８（図１及び図４）の処理フローチャートについて、図７及び図８を用いて説明する。なお、図７及び図８のそれぞれフローチャートは、並列に動作する。

図７は作業者側装置１０８から指示装置１０９に、平面パラメータ（推定結果）と、映像符号とを送信するためのフローチャートを示す。

投影適否検知システム（Ａ）を起動すると、まずステップＳ７０１に処理を進める。

ステップＳ７０１では、映像取得部３０１が、撮像装置１０７によって撮影された作業対象オブジェクトＯＢの映像を取得する。取得後、ステップＳ７０２に移行する。

ステップＳ７０２では、面推定処理部３０３が、上述の対応点マップを取得する。更に、面推定処理部３０３が、投影装置１０５と撮像装置１０７の内部パラメータ及び外部パラメータの算出を行う。更に、面推定処理部３０３が、対応点マップと、内部パラメータと、外部パラメータとを用いて、投影装置１０５の投影範囲内における３次元点群を取得する。最後に、面推定処理部３０３が、３次元点群から平面パラメータを取得し、第１通信部４０１に出力する。第１通信部４０１は、平面パラメータを指示装置１０９へ送信し、ステップＳ７０３に移行する。

ステップＳ７０３では、エンコード部３０２が、映像取得部３０１が取得した映像を映像符号に変換し、第１通信部４０１に出力する。第１通信部４０１によって、映像符号が指示装置１０９へ送信されると、ステップＳ７０４に移行する。

ステップＳ７０４では、処理を終了するかどうかの判定を行い、終了しない場合はステップＳ７０１に進む。処理を終了させる場合は全体の処理を終了する。

図８は、作業者側装置１０８が指示装置１０９から情報を受信する場合のフローチャートを示す。

ステップＳ８０１では、第１通信部４０１が、指示装置１０９から送信された視覚化情報１０６’を受信する。受信した視覚化情報を投影内容出力部３０９に出力し、ステップＳ８０２へ移行する。

ステップＳ８０２では、投影内容出力部３０９が、視覚化情報１０６’を投影内容１０６として、投影装置１０５に出力する。その後、ステップＳ８０３へ移行する。

ステップＳ８０３では、処理を終了するかどうかの判定を行い、終了しない場合はステップＳ８０１に進む。処理を終了させる場合は全体の処理を終了する。

続いて、指示装置１０９の処理フローチャートについて図９を用いて説明する。

ステップＳ９０１では、第２通信部４０４が、作業者側装置１０８から送信された平面パラメータを受信し、投影歪み箇所検知部３０４に出力する。出力後、ステップＳ９０２へ移行する。

ステップＳ９０２では、第２通信部４０４が、作業者側装置１０８から受信した映像符号を、デコード部３０５に出力する。デコード部３０５は、映像符号をデコードして映像１１１として映像表示部３０７に出力する。出力後、ステップＳ９０３へ移行する。

ステップＳ９０３（検知ステップ）では、投影歪み箇所検知部３０４が、平面パラメータと、投影装置１０５の投影方向の情報とを用いて、投影対象の面の、投影方向に対する傾き（角度）（歪み情報）を算出する。算出後、ステップＳ９０４へ移行する。ここで、投影方向とは、投影装置１０５が投影する向きを表す。投影する向きとは、投影装置１０５が投影する映像に対して垂直な方向と同じである。この方向は下記方法で取得する。すなわち、まず、投影装置１０５と撮像装置１０７の画像間の対応点マップを取得する。そして、対応点マップと、内部パラメータと、外部パラメータとを用いて投影装置１０５の投影範囲内における３次元点群を取得する。更に、投影装置１０５から投影する映像の中心の画素を選択し、その画素位置に対応する３次元位置を取得する。取得した３次元位置をＰｃ（Ｘｃ，Ｙｃ，Ｚｃ）とすると、ベクトルＰｃは、投影装置１０５の投影面中心を始点とした光軸ベクトル（投影方向）と等価である。

ステップＳ９０４（検知ステップ）では、投影歪み箇所検知部３０４が、面の傾きと、閾値とを比較し、投影歪みが生ずるか否かを判定し、投影歪み検出結果を投影歪み箇所通知部３０６へ出力する。出力後、ステップＳ９０５へ移行する。

ステップＳ９０５（通知ステップ）では、投影歪み箇所通知部３０６が、受信した投影歪み検出結果に基づいて、映像１１１の該当する箇所に通知内容を重ねて描画する処理を行う。処理結果を映像表示部３０７に出力してステップＳ９０６へ移行する。

ステップＳ９０６（通知ステップ）では、映像表示部３０７が、投影歪み箇所の通知が重畳された映像を表示装置１１０へ出力する。その後、ステップＳ９０７に移行する。なお、受信する映像は基本的には対応点マップを取得する際に撮影したものと同じである。そのため、事前に映像中の面の傾き情報をすべて算出したものを保存しておき、指示者が視覚化情報を入力した際に、前述した面の傾き情報をオフラインで参照して入力範囲における歪みの有無を通知するという処理であってもよい。

ステップＳ９０７では、入力受付部３０８が、外部入力部１０４を用いた指示者ＣＲの入力を受け付け、指示者ＣＲが、映像表示部３０７に出力された撮像画像上において指定する位置に、視覚化情報１０６’を生成する。ここで、撮像画像上において指定する位置とは、画像上の点及び当該点を含む領域（被投影面）を意味する。その後、ステップＳ９０８に移行する。

ステップＳ９０８では、第２通信部４０４が、視覚化情報１０６’を作業者側装置１０８に送信する。その後、ステップＳ９０９に移行する。

ステップＳ９０９では、処理を終了させるかどうかの判定を行う。処理を終了させない場合は、ステップＳ９０２へ進む。処理を終了させる場合は、全ての処理を終了させる。

以上の構成によって、作業対象に対し投影内容を投影する際、作業者と指示者の視点の方向が異なることで、投影内容が歪んで投影される箇所を、投影面の傾き情報をもとに検知することができる。また、歪んで表示される箇所である旨を表示装置に映る作業現場の映像の上に重ねて描画することで、指示者に通知する投影適否検知システムを提供することができる。

なお、本実施形態１では、指示者にのみ通知されるが、これに限定されるものではなく、作業者にも通知されてもよい。すなわち、映像表示部３０７が、投影歪み箇所の通知が重畳された映像を表示装置１１０へ出力するとともに、作業者側装置１０８に設けられた表示部へ出力するか、あるいは、当該重畳された映像を投影装置１０５から作業対象オブジェクトＯＢに投影させてもよい。これにより、作業者が現状を認識することができる。作業現場では、指示者から指示が無いと不安を感じる場合がある。その場合、実際に指示が無いのか、あるいは、指示者が指示を出そうとしているが投影箇所を調整している状態なのかが、作業者にも通知されることによって、作業者側で状況を把握でき、不安を軽減させることに寄与する。

また、本実施形態１では、投影歪みが生じることが、投影する前に指示者に通知される。しかしながら、これに限定されるものではなく、投影歪みの有無に関わらず投影内容を作業対象オブジェクトＯＢに投影した状態において、投影内容が歪んで投影されてしまっていること、すなわち、投影内容が良好に投影されていないことを指示者に通知してもよい。

また、本実施形態１では、作業者が作業する対象物である作業対象オブジェクトＯＢに投影しているが、作業者の近傍に在り、且つ投影可能な物体であれば、作業する対象物とは別の物体に投影しても良い。

〔実施形態２〕
本開示の他の実施形態について、図１０及び図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

投影歪みは、複数の面にまたがるように投影しようとした場合でも発生する。その一例を図１０に示す。

図１０は、投影環境の一例である。図１０の例では、作業対象オブジェクトＯＢの側部における隣接した２つの面１００１及び１００２に投影しようとしている状態を示している。このような状態でも、投影内容が歪んでしまう。更に、一方の面１００２には、凹部１００３が設けられている。このような箇所に投影しようとする場合も、投影内容が歪んでしまう。

そこで、本実施形態２に係る投影適否検知システムは、投影内容が複数の面にまたがるように投影されようとしていることも、指示者に通知する。この点において、本実施形態２に係る投影適否検知システムは、上述の実施形態１の投影適否検知システムと異なる。

また、上述の実施形態１の投影適否検知システムの指示装置１０９の処理フローでは、先に面の傾きの検出と通知とを実施してから指示者の視覚化情報の入力を待つという態様であるが、本開示はこれに限らず、順序は逆になってもよい。そこで、本実施形態２に係る投影適否検知システムの指示装置１０９の処理フローでは、順序が逆である態様を説明する。概要としては、受信した映像に対して、まず、指示者が視覚化情報を入力し、その後に、入力された視覚化情報の範囲内における面の傾きを算出する。そして、算出結果に基づいて、歪みの有無の判定をおこない、入力された視覚化情報の範囲に関する歪みを通知するというフローである。

なお、本実施形態２においても、作業者側装置１０８による処理は、実施形態１のそれと同じであるため、説明を省略する。すなわち、本実施形態２の態様でも、上述の実施形態１の面推定処理部３０３による、対応点マップの取得と、３次元座標の算出と、平面パラメータの算出とをおこなう。

図１１は、本実施形態２に係る投影適否検知システムの指示装置１０９の処理フローチャートを示す図である。

ステップＳ１１０１では、第２通信部４０４が、作業者側装置１０８から送信された平面パラメータを受信し、投影歪み箇所検知部３０４に出力する。出力後、ステップＳ１１０２へ移行する。

ステップＳ１１０２では、第２通信部４０４が、作業者側装置１０８から受信した映像符号を、デコード部３０５に出力する。デコード部３０５は、映像符号をデコードして映像１１１として映像表示部３０７に出力する。出力後、ステップＳ１１０３へ移行する。

ステップＳ１１０３では、図９のステップＳ９０７と同じく、入力受付部３０８が、外部入力部１０４を用いた指示者ＣＲの入力を受け付け、視覚化情報１０６’を生成する。その後、ステップＳ１１０４に移行する。

ステップＳ１１０４では、ステップＳ１１０３において指示者の入力した視覚化情報の範囲内においてのみ、面の傾きを算出する。算出後、ステップＳ１１０５に移行する。面の傾きの算出処理自体は、図９のステップＳ９０３と同じであるが、上述の実施形態１では１つの面に対して傾き算出を行う態様であったところ、本実施形態２では、複数の面に対して傾き算出を行う点において異なる。すなわち、本実施形態２では、視覚化情報の範囲（投影対象）の傾きを算出する際、投影対象が複数の面で構成されているかどうかを判別する。投影対象が複数の面で構成される場合には、傾きの算出結果は少なくとも２つ以上得られる。すなわち、２つ以上の結果が得られる場合は投影対象が複数面にまたがっており、１つの結果である場合には投影対象が１つの面によって構成されていると判別することができる。

ステップＳ１１０５では、図９のステップＳ９０４と同様、投影歪み箇所検知部３０４が、面の傾きと、閾値とを比較し、投影歪みが生ずるか否かを判定する。ここで、判定には、実施形態１において説明した式（７）を用いるが、例えば投影対象が複数の面にまたがっている場合、それぞれの面で歪み無し（すなわち投影可）と判定されると、指示者の入力した視覚化情報が複数の面にまたがって投影される。この場合、投影内容は歪んでしまうことが考えられるので、投影が複数の面にまたがる場合は歪み有り（すなわち投影不可）と判定する。投影歪み箇所検知部３０４によって、投影歪み検出結果が投影歪み箇所通知部３０６へ出力されると、ステップＳ１１０６へ移行する。

ステップＳ１１０６（通知ステップ）では、図９のステップＳ９０５と同様に、投影歪み箇所通知部３０６が、受信した投影歪み検出結果に基づいて、映像１１１の該当する箇所に通知内容を重ねて描画する処理を行う。処理結果を映像表示部３０７に出力してステップＳ１１０７へ移行する。

ステップＳ１１０７（通知ステップ）では、図９のステップＳ９０６と同様に、映像表示部３０７が、投影歪み箇所の通知が重畳された映像を表示装置１１０へ出力する。その後、ステップＳ１１０８に移行する。

ステップＳ１１０８では、第２通信部４０４が、視覚化情報１０６’を作業者側装置１０８に送信する。その後、ステップＳ１１０９に移行する。

ステップＳ１１０９では、処理を終了させるかどうかの判定を行う。処理を終了させない場合は、ステップＳ１１０２へ進む。処理を終了させる場合は、全ての処理を終了させる。

なお、指示者への通知方法については、実施形態１の通知方法と同じである。

〔実施形態３〕
本開示の他の実施形態について、図１２及び図１３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

投影装置１０５と撮像装置１０７との間にオクルージョンがある場合は対応点マップが取得できない。この場合、作業者ＷＲの視点と、指示者ＣＲの視点とで、投影内容１０６が正しく視認されない。

そこで、本実施形態３に係る投影適否検知システムでは、対応点マップが取得できない部分についても、上述の実施形態１の通知内容と同様に指示者に通知する。

対応点マップが取得できない部分について説明すると、図１２に示す一例のように、投影装置１０５の投影範囲１１０１と、撮像装置１０７の撮影範囲１１０２とは、基本的に一致しない。そのため、撮像装置１０７の撮影範囲１１０２内であっても投影装置１０５の投影光の届かない範囲が生じる。当該範囲としては、一例として、図１２に示す箇所１１０３および１１０４がある。箇所１１０３は、作業対象オブジェクトＯＢの側面に設けられた穴を示しており、この穴には投影光が届かない。また、箇所１１０４は、作業対象オブジェクトＯＢ自体の立体的な形状が遮蔽となる領域を示しており、この領域には投影光が当たらない。

このように投影光の届かない箇所は、上述の実施形態１の面推定処理部３０３の対応点マップ取得部５０１において対応点が取得できるか否かで判別することができる。

図１３は、本実施形態３に係る投影適否検知システムのブロック構成の一部を示した図である。

本実施形態３に係る投影適否検知システムでは、図１３に示すように、面推定処理部３０３’は、対応点マップ取得部５０１’によって対応点の取得を行った際に、対応点が取得できなかった箇所があると、その箇所の画素の位置を、（指示装置１０９の）投影歪み箇所通知部３０６へ出力する。

投影歪み箇所通知部３０６は、投影歪み箇所検知部３０４からの出力を受けるとともに、対応点マップ取得部５０１’からの出力を受けて、投影歪み箇所、及び対応点マップが取得できない箇所の通知内容の生成を行う。対応点マップが取得できない箇所の通知内容の生成方法については、投影歪み箇所の通知内容の生成方法と同じである。

本実施形態３に係る投影適否検知システムによれば、投影歪みの有無に加えて、投影光の届かず投影内容を投影することができない箇所についても、指示者に通知することができる。

なお、本実施形態３では、対応点マップが取得できない箇所として、投影光の届かない箇所を挙げている。しかしながら、対応点マップが取得できない箇所は、これに限らない。例えば、投影しようとする面の素材がガラスのような光透過性を有するものである箇所も、投影ができない。そのような箇所についても、対応点マップが取得できない。これを指示者に通知することも可能である。

〔実施形態４〕
本開示の他の実施形態について、図１４及び図１５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

上述の実施形態１では、１つの面にのみ視覚化情報を投影する態様を説明し、上述の実施形態２では、少なくとも２つ以上の面にまたがるように視覚化情報を投影しようとする場合に通知する態様を説明した。そこで、次に本実施形態４では、少なくとも２つ以上の面それぞれに、互いに同じまたは互いに異なる視覚化情報を投影することを想定した態様について説明する。

図１４は、本実施形態４の態様を説明する図である。図１４では、面１４０１、面１４０２および面１４０３の３つの面から投影対象が構成されている。そして、図１４では、この投影対象に対して投影装置１０５が光軸１４０５の方向に向けて投影している様子を上から見たものである。多くの場合、作業者ＷＲは光軸方向１４０５とおおよそ同じ方向１４０７を向いて投影内容を視認している。このとき、面１４０１、面１４０２および面１４０３は上述の式（７）に従い、指示者ＣＲはどの面の上に視覚化情報を入力しても投影適否の判定結果に問題はないものとする。このような態様において、実際に投影された内容は歪んでいないにも関わらず、作業者ＷＲの位置によっては、投影した投影内容は見えない可能性がある。例えば、作業者ＷＲが図１４の位置にいるときでは、面１４０１に投影されたコンテンツを見ようとしても、面１４０２の裏に隠れていて見えないか、見えたとしても面１４０１に対する視線の角度が急なため、投影内容を正しく視認できない可能性が高い。

そこで、本実施形態４では、これに対処するべく、面と面との繋がり部分（以下、エッジと称する）が凸型になっている場合に、それを投影歪みが発生する箇所とみなし、いずれかの面は作業者に視認されない可能性がある旨を通知する。

具体的には、本実施形態４における指示装置１０９の処理フローチャートについて図１５を用いて説明する。

ステップＳ１５０１では、図９のステップＳ９０１と同様、第２通信部４０４が、作業者側装置１０８から送信された平面パラメータを受信し、投影歪み箇所検知部３０４に出力する。出力後、ステップＳ１５０２へ移行する。

ステップＳ１５０２では、図９のステップＳ９０２と同様、第２通信部４０４が、作業者側装置１０８から受信した映像符号を、デコード部３０５に出力する。デコード部３０５は、映像符号をデコードして映像１１１として映像表示部３０７に出力する。出力後、ステップＳ１５０３へ移行する。

ステップＳ１５０３（検知ステップ）では、図９のステップＳ９０３と同様、投影歪み箇所検知部３０４が、平面パラメータと、投影装置１０５の投影方向の情報とを用いて、投影対象の面１４０１および面１４０２の、投影方向に対する傾き（角度）（歪み情報）を算出する。算出後、ステップＳ１５０４へ移行する。

ステップＳ１５０４（検知ステップ）では、ステップＳ９０４と同様、投影歪み箇所検知部３０４が、面の傾きと閾値とを比較して、面の傾きに基づく投影歪みが生ずるか否かを判定し、投影歪み検出結果を投影歪み箇所通知部３０６へ出力する。出力後、ステップＳ１５０５へ移行する。

ステップＳ１５０５（検知ステップ）では、投影歪み箇所検知部３０４が、先述したエッジに基づく投影歪みが生ずるか否かを判定する。

＜ステップＳ１５０５の詳細＞
図１６は、ステップＳ１５０５を説明するための図である。図１６は、図１４に示す３つの面のうちの２つの面１４０１および面１４０２の斜視図を示している。

ステップＳ１５０５について説明すると、まず、ステップＳ１５０５１では、投影歪み箇所検知部３０４が、面１４０１と面１４０２のエッジのベクトル１６０１を取得する。取得後、ステップＳ１５０５２へ移行する。

ステップＳ１５０５２では、投影歪み箇所検知部３０４が、面１４０１の法線ベクトル１６０２と、面１４０２の法線ベクトル１６０３を取得する。取得後、ステップＳ１５０５３へ移行する。

ステップＳ１５０５３では、投影歪み箇所検知部３０４が、ベクトル１６０１と法線ベクトル１６０２の外積を算出し、従法線ベクトル１６０４を取得する。従法線ベクトル１６０４は、次の式（８）によって求められる。

取得後、ステップＳ１５０５４へ移行する。

ステップＳ１５０５４では、投影歪み箇所検知部３０４が、従法線ベクトル１６０４と、法線ベクトル１６０３との内積を求める。内積は、次の式（９）によって求められる。

その後、ステップＳ１５０５５へ移行する。

ステップＳ１５０５５では、投影歪み箇所検知部３０４が、求めた内積の値に基づいて、投影歪みが生ずるか否かを判定する。判定方法としては、求めた内積の値が０に近い場合、２つの面１４０１および面１４０２はほぼ平行に連なるため、歪みは小さい、すなわち、面１４０１と面１４０２とに投影する内容を、図１４に示す作業者ＷＲは正確に視認することができる。この場合、特に通知はしない。一方、求めた内積の値が正の場合、面１４０１と面１４０２のエッジは凹型である。また、求めた内積の値が負の場合、面１４０１と面１４０２のエッジは凸型である。投影歪み箇所検知部３０４は、求めた内積の値に基づいて、面１４０１と面１４０２のエッジが凸型だった場合、歪みを生じ得る、すなわち、投影内容は作業者ＷＲに視認されない可能性がある旨の投影歪み検出結果を投影歪み箇所通知部３０６へ出力する。具体的には、作業者ＷＲが正対している面１４０２とエッジを介して隣接している面１４０１に投影される内容が作業者ＷＲに視認されない可能性がある旨の投影歪み検出結果を、投影歪み箇所通知部３０６へ出力する。

ステップＳ１５０６（通知ステップ）では、図９のステップＳ９０５と同様に、投影歪み箇所通知部３０６が、受信した投影歪み検出結果に基づいて、映像１１１の該当する箇所に通知内容を重ねて描画する処理を行う。ここで、投影歪み箇所通知部３０６は、ステップＳ１５０４において判定された結果と、ステップＳ１５０５５において判定された結果とを取得する。なお、投影歪み箇所通知部３０６は、いずれかの結果において歪みが生じるという判定であれば歪みを検出したことを示す通知内容を重ねて描画する処理を行えばよい。なお、面の傾きに基づく判定（ステップＳ１５０４）を優先してもよく、仮に、面の傾きに基づく判定において面１４０１および面１４０２のいずれにも歪みは起きないとされる場合には、投影の可否を指示者が選択してもよい。

なお、ステップＳ１５０７以降の処理は、図９のステップＳ９０６以降と同じである。

〔ソフトウェアによる実現例〕
本開示に係る投影適否検知システムの制御部３００は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。

後者の場合、制御部３００は、各機能を実現するソフトウェアであるプログラム（投影適否検知プログラム）の命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本開示の態様１に係る投影適否検知システムは、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む第１端末（指示装置１０９を含む指示室ＣＳ側の構成）と、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む第２端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）と、を備え、上記第１端末と上記第２端末とは互いに通信可能な範囲で離間している投影適否検知システムであって、上記投影適否検知システムは、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部（投影歪み箇所検知部３０４）を備え、第１端末（指示装置１０９を含む指示室ＣＳ側の構成）は、上記検知部（投影歪み箇所検知部３０４）の検知結果を出力する出力部（投影歪み箇所通知部３０６）を備えている。

上記の構成によれば、被投影面に視覚化情報を投影する際に適切に投影されない箇所を検知し、その旨を、視覚化情報を設定する指示者に通知することができる。

具体的には、上記の構成によれば、被投影面に対し視覚化情報（投影内容）を投影する際、第１端末側と第２端末側とにそれぞれ居る投影適否検知システム使用者の視点の方向が互いに異なることで、投影装置が在る第２端末側に居て被投影面を観察する使用者（作業者ＷＲ）にとって投影内容の一部が歪んで観察される箇所（投影歪みを生じる箇所）を、撮像画像に基づいて検知することができる。また、当該箇所がある旨を出力（通知）する投影適否検知システムを提供することができる。

本開示の態様２に係る投影適否検知システムは、上記態様１において、上記検知部（投影歪み箇所検知部３０４）が、上記投影装置１０５が参照画像（パターン画像）を上記被投影面に投影したときの上記撮像画像と当該参照画像との各々の画素の対応位置関係に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知してもよい。

上記撮像画像と上記参照画像との各々の画素の対応位置関係に基づいて歪みを検知することによって、外環境で投影適否検知システムを使用することができる。また、被投影面が机上のように平坦で特徴が極端に少ないような箇所でも、当該対応位置関係に基づけば、上記投影歪みが生じるか否かを検知することができる。

本開示の態様３に係る投影適否検知システムは、上記態様１または２において、上記検知部（投影歪み箇所検知部３０４）が、上記投影装置１０５の投影方向に対する上記被投影面（作業対象オブジェクトＯＢの表面）の角度に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知してもよい。

被投影面が投影装置の投影方向に対して正対していない場合には、第２端末側に居て当該投影方向に対して正対している投影適否検知システム使用者にとって、投影される視覚化情報が歪んで視認される。そのため、上記の構成のように投影装置の投影方向に対する被投影面の角度に基づけば、投影歪みを生じる箇所を検知することができる。

本開示の態様４に係る投影適否検知システムは、上記態様１から３において、上記出力部（投影歪み箇所通知部３０６）は、上記被投影面（作業対象オブジェクトＯＢの表面）が投影歪みを生じさせることを、（１）上記指示装置１０９において、上記撮像画像上の上記指定された位置に上記視覚化情報とは異なる画像を表示させるか、（２）上記指示装置１０９において、上記撮像画像上の上記指定された位置とは異なる位置にコンテンツ（通知コンテンツ６０２）を表示させるか、あるいは（３）上記指示装置１０９を振動させる、ことによって出力（通知）してもよい。

本開示の態様５に係る投影適否検知システムは、上記態様１から４において、上記検知部（投影歪み箇所検知部３０４）が上記第１端末（指示装置１０９を含む指示室ＣＳ側の構成）に含まれてもよい。

本開示の態様６に係る投影側端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）は、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む指示側端末（指示装置１０９を含む指示室ＣＳ側の構成）と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む投影側端末であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部（投影歪み箇所検知部３０４）を備えており、上記検知部（投影歪み箇所検知部３０４）の検知結果を上記指示側端末において出力される構成（投影歪み箇所通知部３０６）となっている。

本開示の態様７に係る指示側端末（指示装置１０９を含む指示室ＣＳ側の構成）は、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む指示側端末であって、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む投影側端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）と通信可能な範囲で離間しており、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部（投影歪み箇所検知部３０４）と、上記検知部（投影歪み箇所検知部３０４）の検知結果を出力する出力部（投影歪み箇所通知部３０６）と、を備えている。

本開示の態様８に係る投影適否検知方法は、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む第１端末（指示装置１０９を含む指示室ＣＳ側の構成）と、上記第１端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む第２端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）と、を備えた投影適否検知システムの投影適否検知方法であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知ステップと、上記第１端末（指示装置１０９を含む指示室ＣＳ側の構成）において上記検知ステップの検知結果を出力する出力ステップと、を含む。

上記の構成によれば、上述した投影適否検知システムの効果と同等の効果を奏する。

上記の態様１から５に係る投影適否検知システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記投影適否検知システムが備える各部（ソフトウェア要素）として動作させることにより各部をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。

〔付記事項〕
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

〔関連出願の相互参照〕
本出願は、2017年2月1日に出願された日本国特許出願：特願2017-017061に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１００ 投影適否検知システム
ＷＳ 作業現場
ＣＳ 指示室
ＷＲ 作業者
ＣＲ 指示者
ＯＢ 作業対象オブジェクト（対象物の被投影面）
１０４ 外部入力部（第１端末、指示側端末）
１０５ 投影装置（第２端末、投影側端末）
１０６ 投影内容
１０６’ 視覚化情報
１０７ 撮像装置（投影側端末）
１０８ 作業者側装置（投影側端末）
１０９ 指示装置（第１端末、指示側端末）
１１０ 表示装置（第１端末、指示側端末）
１１１ 映像
２００ 管理サーバ
３００ 制御部（制御装置）
３０１ 映像取得部
３０２ エンコード部
３０３ 面推定処理部
３０４ 投影歪み箇所検知部（検知部）
３０５ デコード部
３０６ 投影歪み箇所通知部（出力部）
３０７ 映像表示部
３０８ 入力受付部
３０９ 投影内容出力部
４０１ 第１通信部
４０２ 第１保存部
４０３ 第１制御部
４０４ 第２通信部
４０５ 第２保存部
４０６ 第２制御部
５０１ 対応点マップ取得部
５０２ 点群取得部
５０３ 平面パラメータ導出部
６０２ 通知コンテンツ（コンテンツ）
１００３ 凹部
１１０１ 投影範囲
１１０２ 撮影範囲
１１０３、１１０４ 対応点マップが取得できない箇所

Claims (6)

1. 対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、
   上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む第２端末と、を備え、
   上記第１端末と上記第２端末とは互いに通信可能な範囲で離間している投影適否検知システムであって、
   上記投影適否検知システムは、
   上記撮像画像に基づいて、上記被投影面が作業者視点での投影歪みを生じさせるか否かを検知する検知部を備え、
   上記第１端末は、
   上記指示装置を介して、上記検知部の検知結果を出力する出力部を備え、
   上記出力部は、上記被投影面が投影歪みを生じさせるという検知結果を、（１）上記指示装置において、上記撮像画像上の上記指定された位置に上記視覚化情報とは異なる画像を表示させるか、（２）上記指示装置において、上記撮像画像上の上記指定された位置とは異なる位置にコンテンツを表示させるか、あるいは（３）上記指示装置を振動させる、ことによって出力することを特徴とする投影適否検知システム。
2. 上記検知部は、上記投影装置が参照画像を上記被投影面に投影したときの上記撮像画像と当該参照画像との各々の画素の対応位置関係に基づいて、上記被投影面が作業者視点での投影歪みを生じさせるか否かを検知することを特徴とする請求項１に記載の投影適否検知システム。
3. 対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、
   上記撮像画像上の指定された位置に対応する上記対象物の少なくとも１つの被投影面に視覚化情報を投影する投影装置を含む第２端末と、を備え、
   上記第１端末と上記第２端末とは互いに通信可能な範囲で離間している投影適否検知システムであって、
   上記投影適否検知システムは、
   上記撮像画像に基づいて、上記少なくとも１つの被投影面が作業者視点での投影歪みを生じさせるか否かを検知する検知部を備え、
   上記第１端末は、
   上記指示装置を介して、上記検知部の検知結果を出力する出力部を備え、
   上記検知部は、上記投影装置の投影方向に対する上記少なくとも１つの被投影面の少なくとも１つの角度を算出し、上記算出された少なくとも１つの角度が複数か否かに基づいて、上記被投影面が作業者視点での投影歪みを生じさせるか否かを検知することを特徴とする投影適否検知システム。
4. 上記出力部は、上記被投影面が作業者視点での投影歪みを生じさせるという検知結果を、（１）上記指示装置において、上記撮像画像上の上記指定された位置に上記視覚化情報とは異なる画像を表示させるか、（２）上記指示装置において、上記撮像画像上の上記指定された位置とは異なる位置にコンテンツを表示させるか、あるいは（３）上記指示装置を振動させる、ことによって出力することを特徴とする請求項３に記載の投影適否検知システム。
5. 上記検知部は、上記第１端末に含まれる、ことを特徴とする請求項１から４のいずれか１項に記載の投影適否検知システム。
6. 請求項１から５のいずれか１項に記載の投影適否検知システムの各部としてコンピュータを機能させるための投影適否検知プログラムであって、上記検知部及び上記出力部としてコンピュータを機能させるための投影適否検知プログラム。

Images