JP4915464B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、マスク処理を行う画像処理装置及び画像処理方法に関する。

俯瞰映像を用いて、遠隔地にいる人と俯瞰映像元にいる人との間で空間を共有するシステムが開発されている。かかるシステムでは、２箇所のオフィスにそれぞれそのオフィスを俯瞰する映像を撮影するカメラと、そのカメラからの映像を双方向配信する映像配信装置と、相手方から配信された映像を表示する端末とから構成されている。

このシステムでは、相手のオフィスの人物は写ってもよいが、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のモニタに表示されている内容は遠方の人には見られたくない場合がある。この場合、見られたくない情報部分に画像処理でマスクを掛けることが行われている。

近年、個人情報の保護のために、プライバシーマスクという機能が重要視されている（例えば、非特許文献１参照）。非特許文献１は、プライバシーマスクを設定するための機器毎の説明書である。プライバシーマスクは、監視カメラの映像等において、写っては困る部分にかけられる。しかしながら、非特許文献１では、ＧＵＩ等を用いて画像上に手動で矩形領域の位置を設定することにより、プライバシーマスクをかける領域を設定するため煩雑であり、プライバシーマスクを設定する人に多くの負担を掛けてしまう。

そこで、カメラからの映像とデータベースに登録されている画像とを比較照合し、一致する部分に対してマスク処理を行うことにより、写っては困る部分にマスク処理を施す技術も提案されている（例えば、特許文献１参照）。

日立監視用カラービデオカメラ ＶＫ−Ｃ８７６取り扱い説明書

特願２００８−８４４１０号公報

しかしながら、特許文献１では、上記比較照合のために予めデータベースに登録されている人物の顔とカメラからの映像を比較し、データベースに登録されている人物のみにマスクを掛ける処理を行う。この処理では、同じ形状をしている、又は別々の物体を識別することは困難であり、必ずしも自動化された精度良好なマスク処理が実現されているとはいえない。

上記課題に対して、本発明の目的とするところは、遠隔地でも容易にマスク処理を実行することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、端末装置からの要求に応じてマスク用ＩＤ及び該マスク用ＩＤを２次元に符号化した２次元コードを生成するサーバ処理部と、前記サーバ処理部により生成されたマスク用ＩＤ及び２次元コードを前記端末装置に送信するサーバ通信部と、前記端末装置に表示された映像を撮像する撮像部と、
前記撮像部により撮像された映像に付加された前記２次元コードを認識する画像認識部と、前記画像認識部により認識された２次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用ＩＤに応じたマスク処理を実行する画像処理部と、を備えることを特徴とする画像処理装置が提供される。

かかる構成によれば、撮像部により端末装置に表示された映像が撮像され、画像認識部により撮像された映像に付加される２次元コードが認識され、認識された２次元コードに基づき、画像処理部により前記映像のマスク位置が判定され、該マスク位置にマスク処理が施される。これにより、端末装置側に表示された映像上の２次元コードを撮像部で取り入れ、前記２次元コードの位置に応じてマスク位置を判定し、該マスク位置に前記マスク用ＩＤに応じたマスク処理を行うことができる。このため、遠隔地でも容易にマスク処理を実行することができる。

前記画像認識部により前記２次元コードが１つ認識された場合、前記画像処理部は、前記画像認識部により認識された２次元コードの位置及び大きさに基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行してもよい。

前記画像認識部により前記２次元コードが複数認識された場合、前記画像処理部は、前記画像認識部により認識された２次元コードの配置に基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行してもよい。

前記サーバ処理部は、マスク用ＩＤとして一時的に使用する一時ＩＤ及び該一時ＩＤを２次元に符号化した２次元コードを生成し、サーバ通信部は、前記サーバ処理部により生成された一時及び２次元コードを前記端末装置に送信し、前記画像認識部は、前記撮像部により撮像された映像に付加された前記２次元コードを認識し、前記サーバ処理部は、前記一時ＩＤに応じたマスク用ＩＤを生成し、前記画像処理部は、前記認識された２次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用ＩＤに応じたマスク処理を実行してもよい。

前記端末処理部は、前記撮像部と前記端末装置に表示された映像との間に遮蔽物が入っていると判断した場合には、前記遮蔽物が入っている部分をマスク除外領域と判断し、該マスク除外領域に対してマスク処理を行わないようにしてもよい。

前記画像処理部は、前記映像が属する属性に応じてマスク処理を実行するかを決定してもよい。

前記画像処理部は、前記映像を起動するアプリケーションの種類に応じてマスクの有無を決定してもよい。

前記サーバ通信部は、前記生成されたマスク用ＩＤをマスクＩＤ（ＴＩＤ）として前記端末装置に保持させ、前記画像処理部は、前記マスク処理後、前記端末装置にマスク完了通知とマスクＩＤ（ＳＩＤ）としてのマスク用ＩＤとを送信することにより、前記保持されたマスクＩＤ（ＴＩＤ）と前記送信されたマスクＩＤ（ＳＩＤ）とに基づき前記端末装置に認証処理を行わせ、前記認証処理が成功した場合、マスク処理後の映像を前記端末装置に送信してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、端末装置からの要求に応じてマスク用ＩＤ及び該マスク用ＩＤを２次元に符号化した２次元コードを生成するステップと、前記生成されたマスク用ＩＤ及び２次元コードを前記端末装置に送信するステップと、前記端末装置に表示された映像を撮像するステップと、前記撮像された映像に付加された前記２次元コードを認識するステップと、前記認識された２次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用ＩＤに応じたマスク処理を実行するステップと、を含むことを特徴とする画像処理方法が提供される。

前記生成されたマスク用ＩＤをマスクＩＤ（ＴＩＤ）として前記端末装置に保持させるステップと、前記マスク処理後、前記端末装置にマスク完了通知とマスクＩＤ（ＳＩＤ）としてのマスク用ＩＤとを送信することにより、前記保持されたマスクＩＤ（ＴＩＤ）と前記送信されたマスクＩＤ（ＳＩＤ）とに基づき前記端末装置に認証処理を行わせるステップと、前記端末装置によって認証された場合、マスク処理後の映像を前記端末装置に送信するステップと、を含んでもよい。

以上説明したように本発明によれば、遠隔地でも容易にマスク処理を実行することができ、セキュリティを向上させることができる。

本発明の第１及び第３実施形態に係る画像処理システムの全体構成図である。 第１実施形態に係る画像処理システムの動作を示したフローチャートである。 第１実施形態に係るマスク情報保持部の一例を示した図である。 本発明の第２実施形態に係る画像処理システムの全体構成図である。 第２実施形態に係る画像処理システムの動作を示したフローチャートである。 第２実施形態に係る一時ＩＤ情報保持部の一例を示した図である。 第３実施形態に係る画像処理システムの動作を示したフローチャートである。 第３実施形態に係るマスク情報保持部の一例を示した図である。 第１〜第３実施形態に係る表示用の２次元コードの一例を示した図である。 第１〜第３実施形態に係る表示用の２次元コードの他例を示した図である。

以下に添付図面を参照しながら、本発明の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜第１実施形態＞
［画像処理システムの構成］
まず、本発明の第１実施形態に係る画像処理システムの全体構成について図１を参照しながら説明する。画像処理システム１０は、端末装置１００及びサーバ装置２００を有する。

端末装置１００は、被俯瞰地点に設けられ、個人がオフィス等で業務を行うときに使用される。端末装置１００は、文書等を表示するためのモニタ１９０と接続されている。

サーバ装置２００は、端末装置１００と同様に被俯瞰地点に設けられ、画像のマスク処理を行う。サーバ装置２００は、端末装置１００に表示された映像を撮像するカメラ２９０と接続されている。具体的には、カメラ２９０は、オフィス等の俯瞰映像を撮影し、撮影した映像をサーバ装置２００に送る。

カメラ２９０は、端末装置１００に表示された映像を撮像する撮像部の一例であり、撮像部は、たとえば赤外線を用いて映像を取得する等、カメラ２９０以外の手段を用いて画像を取り込んでもよい。サーバ装置２００は、画像処理装置の一例であり、画像処理装置は必ずしも被俯瞰地点に設けられていなくてもよい。

端末装置１００とサーバ装置２００とはネットワーク４００により接続されている。サーバ装置２００と遠隔地に配置された画像受信装置３００もネットワーク４００により接続されている。サーバ装置２００は、カメラ２９０で撮影した映像の所望の位置にマスク処理を行い、遠隔地の画像受信装置３００に処理後の画像を送る。

［端末装置及びサーバ装置の機能構成］
次に、端末装置１００及びサーバ装置２００の機能構成についてそれぞれ説明する。端末装置１００は、マスクＩＤ保持部１１０、端末処理部１２０及び端末通信部１３０を有する。マスクＩＤ保持部１１０は、サーバ装置２００から送られたマスクＩＤを保持する。以下、マスクＩＤ保持部１１０に保持されたマスクＩＤをマスクＩＤ（ＴＩＤ）と称呼する。端末処理部１２０は、端末装置１００にてアプリケーション毎に各種処理を実行する。端末通信部１３０は、ネットワーク４００を介してサーバ装置２００と通信する。

サーバ装置２００は、画像認識部２１０、画像処理部２２０、マスク情報保持部２３０、サーバ処理部２４０及びサーバ通信部２５０を有する。画像認識部２１０は、カメラ２９０により写し出された映像に付加される２次元コードを認識する。２次元コードは、モニタ１９０に表示される映像に含まれ、マスクを掛ける領域を定めるために使われる。

画像処理部２２０は、カメラ２９０からの入力映像に対してマスク処理を行う。より具体的には、画像処理部２２０は、画像認識部２１０により認識された２次元コードに基づき映像のマスク位置を判定し、判定されたマスク位置にマスクをかける。

マスク情報保持部２３０は、マスクをかける領域に関連する情報を保持する。マスク情報保持部２３０の構成を図３に示す。マスク情報保持部２３０は、マスクＩＤ２３２とマスク領域位置２３４と端末アドレス２３６とを格納している。端末アドレス２３６は、設定条件（２次元コード）付きのマスク処理要求を送信した端末装置のアドレスである。

サーバ処理部２４０は、各種の計算及び処理を行う。たとえば、サーバ処理部２４０は、端末装置１００からの要求に応じてマスクＩＤ及び該マスクＩＤを２次元に符号化した２次元コードを生成する。サーバ処理部２４０にて生成されたマスクＩＤは、マスク情報保持部２３０のマスクＩＤ２３２に格納される。

サーバ通信部２５０は、サーバ処理部２４０により生成されたマスク用ＩＤ及び２次元コードを端末装置１００に送信する。なお、マスク用ＩＤは、マスクＩＤ、一時ＩＤの上位概念である。

［画像処理システムの動作］
次に、本実施形態に係る端末装置１００及びサーバ装置２００の動作について図２を参照しながら説明する。なお、端末装置１００及びサーバ装置２００間の通信は、端末通信部１３０とサーバ通信部２５０との間で行われるが、ここではその部分の説明を省略する。

（マスク設定主処理１）
自分の端末装置１００のモニタ１９０に対してプライバシーマスクをかけたいと考える端末装置１００の使用者は、端末装置１００を操作することにより端末装置１００にプライバシーマスクをかけることを要求する。端末処理部１２０は、使用者の前記要求に応じて、サーバ処理部２４０に対して設定権要求を送信する（ＳＴ１）。

サーバ処理部２４０は、これに応じてマスクＩＤ及び該マスク用ＩＤを２次元に符号化した表示用の２次元コードを生成し、サーバ側のマスクＩＤ（ＳＩＤ）としてサーバ側のマスク情報保持部２３０に保持する（ＳＴ２、図３参照）。

次に、サーバ処理部２４０は、２次元コードの表示データとマスクＩＤを端末処理部１２０に送信する（ＳＴ３）。さらに、サーバ処理部２４０は、画像認識部２１０に対してマスクＩＤによる表示データの認識要求を依頼する（ＳＴ４）。

端末処理部１２０は、受信したマスクＩＤを端末側のマスクＩＤ（ＴＩＤ）として端末側のマスクＩＤ保持部１１０に保持し（ＳＴ５）、端末処理部１２０は、２次元コードの表示データをモニタ１９０に表示する（ＳＴ６）。２次元コードの表示データをモニタ１９０に表示した例を図９及び図１０に示す。図９は、２次元コードの表示データをモニタ画面いっぱいに拡大して表示したものであり、図１０は、２次元コードの表示データをモニタ１９０の四隅にそれぞれ１個ずつ表示したものである。

どちらの方法でもモニタ１９０の矩形領域がどこにあるかを映像上で確認できるようになっている。認識された矩形領域の映像がマスク領域である。図９の場合には、１つの２次元コードがモニタ１９０の縁（矩形）と一致し、１つの２次元コードでマスク領域を画定する。図１０の場合には、四隅に配置された２次元コードに基づき画定される領域がモニタ１９０の縁（矩形領域）と一致し、４つの２次元コードでマスク領域を画定する。

マスク領域を表現する他の例としては、四隅の座標以外に、もとの２次元コードの（もしくはその組）を空間上で回転・拡大縮小、並行移動して、映像に貼り付けた変形操作と考え、その回転角度、拡大縮小率、図形の中心の映像上の位置座標からマスク領域を画定する方法が挙げられる。この場合、２次元コードをどのように３次元空間上で回転、縮小拡大、平行移動して表示された形になったのかの情報を予め持っている必要がある。

再び図２に戻り、画像認識部２１０は、ＳＴ４のマスクＩＤによる認識要求を受けて、カメラ映像中から表示データ（２次元コード）を認識する（ＳＴ７）。画像認識部２１０では、表示データを２次元コードとして認識すると、その認識した２次元コードが画面上に占めている領域の座標および２次元コードに含まれているマスクＩＤを出力する。これらの情報は、マスク情報保持部２３０のマスクＩＤ２３２及びマスク領域位置２３４に保持される。

認識されたマスクＩＤに対応する欄をマスク情報保持部２３０から見つけ、そのマスクＩＤの欄のマスク領域位置に認識された画像の領域に、カメラ映像上座標がどこになるかを識別するための領域の位置座標を格納する。

画像認識部２１０で２次元コードの表示データが認識された場合、画像認識部２１０は、画像処理部２２０にマスク表示依頼を送信する（ＳＴ８）。マスクの表示領域は、認識された表示データの表示領域とする。具体的には、画像認識部２１０により２次元コードが１つ認識された場合（図９）、画像処理部２２０は、画像認識部２１０により認識された２次元コードの位置に基づき２次元コードの領域自身を映像のマスク位置と判定し、該マスク位置にマスクをかける（ＳＴ９）。このとき、端末側で２次元コードを拡大したり縮小したりして表示させることにより、２次元コードの表示位置が同じでも２次元コードの大きさによってマスク領域を拡大・縮小するように設定することも可能である。

画像認識部２１０により２次元コードが４つ認識された場合（図１０）、画像処理部２２０は、画像認識部２１０により認識された２次元コードの配置に基づき２次元コードを四隅に配置した領域を映像のマスク位置と判定し、該マスク位置にマスクをかける（ＳＴ９）。

マスク表示後、画像処理部２２０は、画像認識部２１０にマスク表示完了を通知する（Ｓ１０）。マスク表示完了を受け取った画像認識部２１０は、サーバ処理部２４０に対してマーカ認識完了通知とマスクＩＤ（ＳＩＤ）を送る（Ｓ１１）。サーバ処理部２４０は、端末処理部１２０に対してマーカ認識完了通知とマスクＩＤ（ＳＩＤ）を送る（Ｓ１２）。

端末処理部１２０は、マーカ認識完了通知（マスク完了通知）とともに送られたマスクＩＤ（ＳＩＤ）と、すでにマスクＩＤ保持部１１０に保持されたマスクＩＤ（ＴＩＤ）とを比較し、一致することを確認する（Ｓ１３：認証処理）。マスクＩＤが一致しない場合には、問題があるためエラーとする。

Ｓ１３の認証処理では、端末処理部１２０は、次のようにサーバ側のマスクＩＤ（ＳＩＤ）と端末側のマスクＩＤ（ＴＩＤ）との比較一致処理を実行する。なお、マスクＩＤ（ＴＩＤ）は、現在表示している２次元コードの情報である。端末処理部１２０は、マスクＩＤ保持部１１０に保持されたマスクＩＤ（ＴＩＤ）に含まれないマスクＩＤ（ＳＩＤ）がサーバ側から送信された場合、誤認識として認証処理に失敗したと判断する。送信されてきたすべてのマスクＩＤ（ＳＩＤ）に対して、対応するマスクＩＤ（ＴＩＤ）がマスクＩＤ保持部１１０に格納されている必要がある。

また、マスクＩＤ保持部１１０に格納されているマスクＩＤ（ＴＩＤ）のうち、マスクＩＤ（ＳＩＤ）が送られてこなかったものがある場合には、格納されているマスクＩＤ（ＴＩＤ）が１つの場合には全く認証できなかったことになるため、端末処理部１２０は認証処理に失敗したと判断する。

表示している複数の２次元コードで囲んだ矩形領域を認識しようとしている場合には、４個のマスクＩＤ（ＴＩＤ）を同じものにしている場合、サーバ側で４個の２次元コードが囲む領域が特定できた場合に１個のマスクＩＤ（ＳＩＤ）を端末側に送るから、２次元コードが１個の場合と同じ認証処理となる。

マスクＩＤ（ＴＩＤ）が複数の場合であって、表示している複数の２次元コードで囲んだ矩形領域を認識しようとしている場合には、２次元コードが囲んでいるのが矩形領域という前提があるため、少なくとも矩形領域が判別できる２次元コードの組（対角線上にある２次元コード）がマスクＩＤ（ＳＩＤ）として送られてくる必要がある。これに加えて、マスクＩＤ（ＴＩＤ）として保持していないマスクＩＤ（ＳＩＤ）が送られてこないことも必要条件となる。例えば、画面上に４個の２次元コードがあって、それぞれのマスクＩＤ（ＴＩＤ）を、左上を１、右上を２、左下を３、右下を４とした場合には、１と３に対するマスクＩＤ（ＳＩＤ）が送られてくると、対角線上にある２次元コードなので、もとの形状がわかると考え、認証処理成功と判断される。

（マスク設定後処理１）
保持しているマスクＩＤ（ＴＩＤ）と送られてきたマスクＩＤ（ＳＩＤ）とが一致し、認証が成立した場合、端末処理部１２０は、マスク処理認識済み画像要求をマスクＩＤとともに画像処理部２２０に送る（Ｓ１４）。画像処理部２２０は、これに応じてマスクＩＤにより識別される、マスク処理済み画像を端末処理部１２０に送信する（Ｓ１５）。その後、端末処理部１２０は、受信されたマスク処理済み画像を表示し、マスク表示の確認処理を行う（Ｓ１６）。

マスク表示の確認処理は、ユーザに対して、画像処理済み画像を提示し、期待するマスク処理がなされていることを確認してもらうものである。なお、本実施形態には記載しないが、ユーザインターフェースを通じて認識を行えばよい。

以上に説明したように、本実施形態によれば、２次元コードは、端末装置側で映像に付加される。よって、プライバシーマスクの領域の形状をＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を用いて使用者が設定する必要がないため、マスク処理の煩雑さを低減することができる。これにより、遠隔地でも容易にマスク処理を実行することができ、セキュリティを向上させることができる。また、多くの利用者で共通の形状であるモニタに対して使用者毎にプライバシーマスクをかけることができる。

マスクＩＤを２次元コードに符号化するのは、同時に複数の端末利用者が各々自分の端末装置のモニタにプライバシーマスクを設定することができるようにするためである。例えば、使用者Ａ，Ｂが、端末装置ＴＡ，ＴＢをそれぞれ使用すると仮定する。マスクＩＤが２次元コードに符号化されている場合、以下のように動作する。

俯瞰カメラ上には、端末装置ＴＡ，ＴＢが写っている。使用者Ａがプライバシーマスク設定のための操作をして、端末装置ＴＡがマスクＩＤ（ＴＩＤ）としてＴＩＤＡを取得し、２次元コードとしてＣＡを取得したとする。端末装置ＴＡのアドレスはＡＤＲＡである。

同時に使用者Ｂがプライバシーマスク設定のための操作をして、端末装置ＴＢがマスクＩＤ（ＴＩＤ）としてＴＩＤＢを取得し、２次元コードとしてＣＢを取得したとする。端末装置ＴＢのアドレスはＡＤＲＢである。

この場合、俯瞰カメラの映像には２個の２次元コードＣＡ、ＣＢが表示されている。２次元コードＣＡの認識結果から、２次元コードＣＡの映像上の位置座標及びマスクＩＤとしてのＴＩＤＡを取得する。同様に、２次元コードＣＢの認識結果から、２次元コードＣＢの映像上の位置座標及びマスクＩＤとしてのＴＩＤＢを取得する。

サーバ装置２００では、マスク情報保持部２３０（もしくは一時ＩＤ情報保持部２６０）に保持されている端末アドレスに基づき、ＴＩＤＡ及びＴＩＤＢのそれぞれが、どのＩＤ（ＳＩＤ）に等しいかを検出することができる。その結果、ＴＩＤＡはＳＩＤＡと等しく、ＴＩＤＢはＳＩＤＢと等しかったとする。マスク情報保持部２３０において、ＳＩＤＡは端末アドレスＡＤＲＡと紐づけられ、ＳＩＤＢは端末アドレスＡＤＲＢと紐づけられている。これにより、それぞれの端末装置Ａ，Ｂに表示された２次元コードに対応するアドレスを同時に求めることができる。そのため、マーカ認識完了通知も同時に送信することができる。

これに対して、マスクＩＤを２次元コードに符号化しない場合には、複数の端末装置からのマスク設定の要求に対して、１つの端末装置からの要求に対する一連の処理が終わるまでは、他の端末装置からの要求に答えることができない。一連の処理は、計算機の自動的な処理以外に端末の使用者による確認処理が必要なため、時間がかかる。そのため、マスクＩＤを２次元コードに符号化しない場合には、マスクＩＤを２次元コードに符号化した場合に比べて、複数の端末装置からのマスク設定要求から上記一連の処理の完了までに多くの時間を費やしてしまう。本実施形態では、マスクＩＤを２次元コードに符号化するため、このような時間のロスは生じない。

なお、マスクＩＤは、プライバシーマスクの解除等をプライバシーマスク毎に個別に行うために必要である。つまり、サーバ装置側でマスクＩＤが生成されると、端末装置側ではそのマスクＩＤを記憶しておく。その端末装置に記憶されているプライバシーマスクを解除したいときには、記憶しているマスクＩＤをサーバ装置に送信する。サーバ装置側では、送信されたマスクＩＤに対応したプライバシーマスクを解除することができる。解除以外にも、プライバシーマスク毎に個別の操作を行う場合にも、このマスクＩＤを使用することができる。例えば、マスクの色を個別に変更するというような操作を実現することができる。

なお、本実施形態に係るマスクＩＤは、端末装置からの要求に応じて生成されるマスク用ＩＤの一例である。

＜第２実施形態＞
以上のように、第１実施形態では、マスクＩＤを２次元コードに符号化した。しかし、２次元コードに符号化できる情報量には制限がある。より詳しく説明すると、第１実施形態では、２次元コードは、マスクＩＤを２次元に符号化したものであり、符号化できる情報量については特に制限を設けていない。しかし、マスクＩＤは、２次元コードに符号化された状態で映像に付与される。このため、本実施形態で管理できる、２次元コードに符号化可能なマスクＩＤの個数（すなわち、マスクＩＤの最大個数）は、１つの映像中に同時に写り、処理可能な２次元コードの個数に制限されてしまう。

第２実施形態では、このような制限にもかかわらず、マスクＩＤと後述する一時ＩＤという２つのＩＤを使い分けることにより、多くのマスクＩＤを管理することができる。すなわち、マスクＩＤのＩＤ数が非常に多くなった場合であっても、画像認識後にマスクＩＤが取得できた段階でマスクＩＤに置き換えるための一時ＩＤを用いて第１実施形態と同様の処理を実施することができる。例えば、マスクＩＤのＩＤ数が多くてマスクＩＤを２次元コードに符号化できない場合でも、一時ＩＤを導入することにより第１実施形態と同様の処理を実施することができる。以下、第２実施形態について詳しく説明する。

［端末装置及びサーバ装置の機能構成］
第２実施形態に係る端末装置１００及びサーバ装置２００の機能構成について図４を参照しながら説明する。第２実施形態では、第１実施形態より２次元コードに含める情報量が少ない点が特徴である。第２実施形態では、２ビットの情報をコード化できるものとする。

第２実施形態では、図４に示したように、端末装置１００は、第１実施形態の機能構成に加えて一時ＩＤ保持部１４０を有し、サーバ装置２００は、第１実施形態の機能構成に加えて一時ＩＤ保持部２６０を有する。

図６は、一時ＩＤ情報保持部２６０の内部構成を示す。２次元コードに符号化できる情報量を２ビットとしたことから、一時ＩＤは、０，１，２，３の４通りの値をとる。つまり、サーバ装置２００側で同時に設定可能なマスクＩＤは４個になることを意味している。

［画像処理システムの動作］
本実施形態に係る画像処理システム１０の動作について図５を参照しながら説明する。図５に示したマスク設定主処理２は、第１実施形態の図２に示したマスク設定主処理１（ＳＴ１〜ＳＴ１３）のすべてのステップに出てくる一時ＩＤは第１実施形態にて記載したマスクＩＤと同じ機能を有し、動作上はまったく変わらない。さらに、図５のマスク設定後処理２は、図２のマスク設定後処理１の部分を変更したものである。

以下、動作について説明する。前述したように、マスク設定主処理２の部分については、第１実施形態のマスク設定主処理１のマスクＩＤを一時ＩＤに置き換えたものであって、動作上は全く変わらないため、説明を省略する。ただし、一時ＩＤは、一時ＩＤ情報保持部２６０に保持されている。

マスク設定後処理２の部分について説明する。マスク設定主処理２では、一時ＩＤの一致確認（ＳＴ５１３）で一時ＩＤが一致していることの認証確認がなされた一時ＩＤを用いて、端末処理部１２０から画像処理部２２０へマスク処理済画像要求及び一時ＩＤが送信される（ＳＴ５１４）。これを受け取った画像処理部２２０は、マスク処理を行ったマスク処理済画像をサーバ処理部２４０に送信する（ＳＴ５１５）。サーバ処理部２４０では、一時ＩＤに応じたマスクＩＤを生成し、マスク情報保持部２３０に保持する。同時に一時ＩＤ情報保持部２６０に保持されている一時ＩＤを削除する（ＳＴ５１６）。このとき、対応する一時ＩＤを保持する一時ＩＤ情報を一時ＩＤ情報保持部２６０からコピーしてマスク情報保持部２３０に保持する。コピーする項目は、マスク領域位置２６４と端末アドレス２６６に関する情報である。

次に、サーバ処理部２４０は、マスク処理済画像とマスクＩＤを端末処理部１２０に送信する（ＳＴ５１７）。端末処理部１２０では、マスク表示確認処理を行い、正しくマスクが表示されたことを確認後、一時ＩＤ保持部１４０に記憶されている一時ＩＤを削除する（ＳＴ５１８）。マスク表示確認処理は、マスク設定後処理１で実施したものと同じである。

マスクが正しく表示されたことを確認すると、端末処理部１２０は、確認完了をサーバ処理部２４０に通知する（ＳＴ５１９）。

以上に説明したように、本実施形態によれば、第１実施形態と同様に、プライバシーマスクの領域の形状をＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を用いて使用者が設定する必要がないため、マスク処理の煩雑さを低減することができる。特に、本実施形態によれば、マスク設定主処理２では一時ＩＤを用い、マスクＩＤは使用されない。このため、マスクＩＤは２次元コードに符号化する必要がない。よって、第２実施形態では、マスクＩＤにコード化できる情報量による制限を受けない。マスクＩＤの情報量は、一時ＩＤ情報保持部２６０の容量及びサーバ処理部２４０と端末処理部１２０との通信速度や通信容量に応じて設計可能である。例えば、一時ＩＤ情報保持部２６０の容量を１０ビットとすると、１０２４個のＩＤをつくることができる。近年の情報機器の容量からすると十分に小さい値であり、また、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）によるネットワークの容量も１００ＭＢＰＳ程度は普通であるため、１つのＩＤ当たり８ビットというのは十分に小さい値と言え問題とならない。結果として、第２実施形態では、２次元コードに付加することができる情報量が少ない場合でも、多数のマスクＩＤでプライバシーマスクを管理することができるようになる。

なお、本実施形態に係る一時ＩＤは、マスク用ＩＤとして一時的に使用されるＩＤである。

＜第３実施形態＞
［画像処理システムの構成］
次に、本発明の第３実施形態に係る画像処理システム１０について説明する。第３実施形態では、モニタ１９０とカメラ２９０との間に遮蔽物が入った場合に、その遮蔽物にはプライバシーマスク処理を行わず、遮蔽されないでカメラ２９０に写っている部分についてはプライバシーマスク処理を行う点が特徴である。

第３実施形態では、図８に示したように、マスク情報保持部２３０が、マスクＩＤ２３２、マスク領域位置２３４、端末アドレス２３６の各項目に加えて、変換係数２３８を記憶する点が第１実施形態と異なる。

［画像処理システムの動作］
本実施形態に係る画像処理システム１０の動作について図７を参照しながら説明する。図２のＳＴ１〜ＳＴ１６のすべてのステップは、第１実施形態と同じであるため、その部分の説明は省略する。ＳＴ１６までの処理が終わった時点で、サーバ装置２００では、必要な領域にプライバシーマスクが設定された状態となっており、端末装置１００にはマスクＩＤが保持されている状態となっている。図７に示したように、端末処理部１２０は、隠れ処理依頼をマスクＩＤとともにサーバ処理部２４０に送る（ＳＴ７００）。ここで、隠れ処理とは、モニタ１９０とカメラ２９０との間に遮蔽物が入った場合に、その遮蔽物にはプライバシーマスク処理を行わず、遮蔽されないでカメラ２９０に写っている部分については、プライバシーマスク処理を行うものである。

サーバ処理部２４０では、変換係数を計算する（ＳＴ７０１）。サーバ処理部２４０では、マスクＩＤに対応した領域の認識結果から、元のマスクの形状をどのように射影変換するとカメラ２９０で撮影された画像のように変形されるかを計算する。マスク形状は長方形であって、これを３次元空間で回転・縮小拡大したものがカメラ２９０に写って受信画像になっている。つまり、端末側のモニタ１９０に送った表示データを射影変換したものがカメラ２９０での撮影画像になる。このため、この射影変換の変換係数を求めることになる。これは、ＡＲマーカ等を認識する技術として既知のものである。

端末処理部１２０では、モニタ画面イメージを、マスクＩＤとともに画像認識部２２０に送信する（ＳＴ７０２）。画像認識部２２０では、ＳＴ７０１で求めたマスクＩＤに対応する変換係数で、モニタ画面イメージを射影変換し、その画像と、カメラ２９０からの入力画像のうち元のマスク領域に相当する部分を画素毎に比較する。比較して、大きく異なる部分については、カメラ２９０とモニタ１９０との間に遮蔽物が入っている部分と判断し、その部分をマスク除外領域として計算する（ＳＴ７０３）。画像認識部２１０は、計算されたマスク除外領域を画像処理部２２０に送る（ＳＴ７０４）。

画像処理部２２０は、設定されたマスク領域及びマスク除外領域に従ってマスク表示を行う（ＳＴ７０５）。つまり、画像処理部２２０は、その遮蔽物（マスク除外領域）にはプライバシーマスク処理を行わず、遮蔽されないでカメラ２９０に写っている部分については、プライバシーマスク処理を行う。ＳＴ７０２〜ＳＴ７０５の処理は、別途手順中止の指示がくるまで繰り返される。

以上に説明したように、本実施形態によれば、第１実施形態と同様に、プライバシーマスクの領域の形状をＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を用いて使用者が設定する必要がないため、マスク処理の煩雑さを低減することができる。特に、本実施形態によれば、モニタ１９０とカメラ２９０との間に遮蔽物が部分的又は全体的に入った場合、その遮蔽物のある部分についてはマスクをかけることなく、モニタ画面の部分にだけマスクをかけることができる。これによって映像の意図しない部分にマスクをかけることを回避することができる。

以上に説明したように、第１〜第３実施形態によれば、端末装置側に表示された映像上の２次元コードをカメラで取り入れ、２次元コードの位置に応じてマスク位置を判定してマスク処理を行うため、容易に遠隔地でもマスク処理を実行することができる。

なお、上記第１〜第３実施形態において、各部への指令は、専用の制御デバイスあるいはプログラムを実行するＣＰＵ（図示せず）により実行される。次に説明する文字等入力処理を実行するためのプログラムは、図示しないＲＯＭや不揮発性メモリに予め記憶されていて、ＣＰＵが、これらのメモリから各プログラムを読み出し実行することにより、端末処理部１２０、サーバ処理部２４０、画像認識部２１０、画像処理部２２０の各機能が実現される。

上記第１〜第３の実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、画像処理装置の実施形態を、画像処理方法の実施形態とすることができる。

これにより、端末装置からの要求に応じて２次元コードを生成するステップと、前記生成された２次元コードを前記端末装置に送信するステップと、前記端末装置に表示された映像を撮像するステップと、前記撮像された映像に付加される前記２次元コードを認識するステップと、前記認識された２次元コードに基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行するステップと、を含むことを特徴とする画像処理方法を提供することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、一つのカメラを例示したが、本発明はかかる例に限定されない。例えば、すべての実施形態において、複数のカメラがサーバ装置に繋がっていてもよい。その場合、マスク領域に関する情報を格納している領域を拡張して、どのカメラの映像であるかをマスクＩＤ毎や一時ＩＤ毎に格納するようにしてもよい。

また、すべての実施形態において、２次元コードは時間方向に変化されることにより情報量を増やすことも可能である。すなわち、表示する２次元コードを複数送り、一定時間周期でモニタ上に表示することにより、多くの情報量をコード化するものである。この場合、全体での認識時間が長くなる。

また、すべての実施形態において、マスク領域を決定するに際し、モニタ１９０の矩形領域すべてをマスク領域としなくてもよく、たとえば、モニタ１９０の右側の二隅にそれぞれ２次元コードが表示されている場合には、モニタ１９０の右半分をマスク領域と認識する等いろいろな方法を用いることができる。

また、すべての実施形態において、２次元コードによって情報をコード化するのではなく、すかし技術等をつかってもよい。透かし技術を使うことにより、視覚的には２次元コードが表示されていない状態であっても、映像に含まれるコードをカメラで認識できる状態となる。

また、すべての実施形態において、画像処理部は、モニタに写し出された映像が属する属性に応じてマスク処理を実行するか否かを決定してもよい。例えば、映像が属する属性がワードファイル文書の場合にはマスク処理を実行し、メール文書の場合にはマスク処理を実行しないようにしてもよい。

また、すべての実施形態において、画像処理部は、映像を起動するアプリケーションの種類に応じてマスクの有無を決定するようにしてもよい。

１０ 画像処理システム
１００ 端末装置
１１０ マスクＩＤ保持部
１２０ 端末処理部
１３０ 端末通信部
１４０ 一時ＩＤ保持部
２００ サーバ装置
２１０ 画像認識部
２２０ 画像処理部
２３０ マスク情報保持部
２４０ サーバ処理部
２５０ サーバ通信部
２６０ 一時ＩＤ情報保持部
３００ 画像受信装置

Claims (10)

1. 端末装置からの要求に応じてマスク用ＩＤ及び該マスク用ＩＤを２次元に符号化した２次元コードを生成するサーバ処理部と、
   前記サーバ処理部により生成されたマスク用ＩＤ及び２次元コードを前記端末装置に送信するサーバ通信部と、
   前記端末装置に表示された映像を撮像する撮像部と、
   前記撮像部により撮像された映像に付加された前記２次元コードを認識する画像認識部と、
   前記画像認識部により認識された２次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用ＩＤに応じたマスク処理を実行する画像処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像認識部により前記２次元コードが１つ認識された場合、前記画像処理部は、前記画像認識部により認識された２次元コードの位置及び大きさに基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像認識部により前記２次元コードが複数認識された場合、前記画像処理部は、前記画像認識部により認識された２次元コードの配置に基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行することを特徴とする請求項１に記載の画像処理装置。
4. 前記サーバ処理部は、マスク用ＩＤとして一時的に使用する一時ＩＤ及び該一時ＩＤを２次元に符号化した２次元コードを生成し、
   サーバ通信部は、前記サーバ処理部により生成された一時ＩＤ及び２次元コードを前記端末装置に送信し、
   前記画像認識部は、前記撮像部により撮像された映像に付加された前記２次元コードを認識し、
   前記サーバ処理部は、前記一時ＩＤに応じたマスク用ＩＤを生成し、
   前記画像処理部は、前記認識された２次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用ＩＤに応じたマスク処理を実行することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記端末処理部は、前記撮像部と前記端末装置に表示された映像との間に遮蔽物が入っていると判断した場合には、前記遮蔽物が入っている部分をマスク除外領域と判断し、該マスク除外領域に対してマスク処理を行わないことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記画像処理部は、前記映像が属する属性に応じてマスク処理を実行するかを決定することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記画像処理部は、前記映像を起動するアプリケーションの種類に応じてマスクの有無を決定することを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記サーバ通信部は、前記生成されたマスク用ＩＤをマスクＩＤ（ＴＩＤ）として前記端末装置に保持させ、
   前記画像処理部は、
   前記マスク処理後、前記端末装置にマスク完了通知とマスクＩＤ（ＳＩＤ）としてのマスク用ＩＤとを送信することにより、前記保持されたマスクＩＤ（ＴＩＤ）と前記送信されたマスクＩＤ（ＳＩＤ）とに基づき前記端末装置に認証処理を行わせ、
   前記認証処理が成功した場合、マスク処理後の映像を前記端末装置に送信することを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
9. 端末装置からの要求に応じてマスク用ＩＤ及び該マスク用ＩＤを２次元に符号化した２次元コードを生成するステップと、
   前記生成されたマスク用ＩＤ及び２次元コードを前記端末装置に送信するステップと、
   前記端末装置に表示された映像を撮像するステップと、
   前記撮像された映像に付加された前記２次元コードを認識するステップと、
   前記認識された２次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用ＩＤに応じたマスク処理を実行するステップと、
   を含むことを特徴とする画像処理方法。
10. 前記生成されたマスク用ＩＤをマスクＩＤ（ＴＩＤ）として前記端末装置に保持させるステップと、
    前記マスク処理後、前記端末装置にマスク完了通知とマスクＩＤ（ＳＩＤ）としてのマスク用ＩＤとを送信することにより、前記保持されたマスクＩＤ（ＴＩＤ）と前記送信されたマスクＩＤ（ＳＩＤ）とに基づき前記端末装置に認証処理を行わせるステップと、
    前記端末装置によって認証された場合、マスク処理後の映像を前記端末装置に送信するステップと、を含むことを特徴とする請求項９に記載の画像処理方法。

Images