JP2007310151A - 画像表示装置および画像表示方法 - Google Patents

Abstract

【課題】 この発明は、複数の画像が重ねて表示される画像表示装置において、人の顔が隠れ、表情の伝達が妨げられることが低減された画像表示装置を提供することを目的としている。
【解決手段】 人の顔の表示に係る表示領域データを取得する手段（１０２）と、第１の画像に第２の画像を重ねて表示する際に、人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する手段（１０４）と、第１の画像と第２の画像を重ねて表示する手段（１０６）を備える。
【選択図】 図１

Description

この発明は、複数の画像を重ねて表示する画像表示装置に関する。

現在、テレビ会議等において画像（ウインドウ）を表示している際に、新たなウインドウを表示し、複数の画像（ウインドウ）を重ねて表示することが行われている。

このとき、複数の画像が重なって表示されることによって、人の顔が隠れ、表情の伝達が妨げられるという問題があった。
特許文献１には、仮想物体を複合現実感の空間に配置した後でその複合現実空間を紙媒体に印刷する場合に、人の頭部（顔）だけを仮想物体で覆われないようにする技術が開示されている。しかしながら、この技術はリアルタイムに表示されるものではなく、製品への応用といった点で充分な開示ではなかった。
特開２００５−１００１３４号公報

そこで、この発明は、上記事情を考慮してなされたもので、リアルタイムに複数の画像が重ねて表示される画像表示装置において、人の顔が隠れ、表情の伝達が妨げられることを低減し、ユーザの利便性を向上させることを目的とする。

この発明に係る画像表示装置は、人の顔を含む第１の画像の画像表示データから人の顔の表示に係る表示領域データを取得する人の顔データ取得手段と、前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する第２の画像の表示領域計算手段と、前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示する表示手段を備えるように構成している。

この発明に係る画像表示方法は、人の顔を含む第１の画像の画像表示データから人の顔の表示に係る表示領域データを取得するステップと、前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を計算するステップと、前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示するステップを備えるように構成している。

上記した構成によれば、複数の画像が重ねて表示される画像表示装置において、画像の重ね合わせによって人の顔が隠れることを低減することが可能となる。これによって、表情の伝達が可能となる。また、ユーザの利便性を向上させることが可能となる。

以下、図面を参照してこの発明の実施の形態を説明する。
図１はこの発明の実施の形態に係る画像（ウインドウ）表示装置の構成の一例を示すブロック図である。
この発明は例えば、パーソナルコンピュータ（パソコン）を用いたビデオチャットシステムやテレビ会議システムに用いられる。
符号１００は画像表示装置、符号１０１は画像表示装置１００に出力する画像（ウインドウ）に係る情報が記録されているグラフィックメモリ、符号１０２は第１の画像に係る人の顔の領域を認識する手段、符号１０３は第１の画像に係る人の目の領域を認識する手段、符号１０４は第２の画像に係るウインドウを配置可能な領域を検出する手段、符号１０５は第２の画像に係る画像（ウインドウ）を第１の画像に係る表示に重ね合わせる手段、符号１０６は表示装置である。

グラフィックメモリ１０１、第１の画像に係る人の顔の領域を認識する手段１０２、第１の画像に係る人の目の領域を認識する手段１０３、第２の画像に係るウインドウを配置可能な領域を検出する手段１０４、第２の画像に係る画像（ウインドウ）を第１の画像に係る表示に重ね合わせる手段１０５、表示装置１０６は例えば、図示しないマイクロプロセッサやＣＰＵ（中央演算処理装置）によって制御される。

この発明は、新たなウインドウ（第２の画像）が第１の画像（ウインドウ）に表示される人の顔や目を覆うことを防止し、表情の伝達が妨害されることなく、より意思の疎通が図りやすいようにすること目的としている。

ここで、グラフィックメモリ１０１は例えば半導体メモリで構成され、画像表示装置１０１に出力している画像（ここでは第１の画像および第２の画像）に係る情報が記録（保持）されている。

人の顔の領域を認識する手段１０２は、グラフィックメモリ１０１に保持された映像（画像）の中で人の顔に相当する領域を検出する。そして、後述するように、顔の領域と認識された領域は、ウインドウ（画像）表示の際に、重ね合わせの禁止領域として設定される。

尚、認識されたある１つの顔の領域の縦横のサイズや面積が、この発明にかかる画像表示装置に予め設定された値の範囲内もしくは、操作者が設定した値の範囲以外である場合、それはウインドウの禁止領域と設定しないようにすることも可能である。禁止領域に関する情報は、第２の画像に係るウインドウを配置可能な領域を検出する手段１０４に渡される。

人の目を認識する手段１０３は、グラフィックメモリ１０１に保持されている映像（画像）の中で人の目に相当する領域を検出する。そして、目の領域と認識された領域は、ウインドウ表示の禁止領域として設定される。尚、ここで認識された目を含む顔の領域の縦横のサイズや面積が、この発明にかかる画像表示装置に予め設定された値の範囲もしくは操作者が設定した値の範囲以外である場合は、その目は、ウインドウ表示の禁止領域と設定しないようにすることも可能である。

また、ここでは、人がメガネをかけている場合も、メガネを目と同様に扱うことで処理される。
配置可能領域を検出する手段１０４は、人の顔の領域を認識する手段１０２もしくは人の目を認識する手段１０３によって設定された「ウインドウ表示の禁止領域」の情報を取得し、その禁止領域に被さらずにウインドウを配置できる領域を検出する手段である。

この配置可能領域を検出する手段１０４は、最初に人の顔の領域を認識する手段１０２で設定された禁止領域を条件としてウインドウの配置を行えるかどうかを調べ、配置できる領域が見つかれば、ウインドウの配置場所として設定する。一方、ウインドウを配置できる領域が見つからなかった場合には、人の目を認識する手段１０３で設定された禁止領域を条件としてウインドウの配置を行えるかどうかを調べ、配置できる領域が見つかれば、ウインドウの配置場所として設定する。

もし、その結果、ウインドウを配置できる領域が見つからなかった場合には、禁止領域を考慮せずに、配置領域を決定する。
この配置領域を決定する際には、この発明にかかる画像表示装置に予め設定された領域、もしくは操作者が設定した領域に配置を行う。この際、例えば第２の画像にかかるウインドウ表示を半透明にすることも可能である。

また、人の顔の領域を認識する手段１０２もしくは人の目を認識する手段１０３の禁止領域を考慮して、第２の画像（ウインドウ）の配置個所を検索している場合に、画像表示装置１００に予め設定されているか若しくは、操作者によって設定された縮小倍率の範囲で、第２の画像（ウインドウ）のオブジェクトを縮小し、その縮小されたサイズを配置できる領域の検索をあわせて行い、配置個所が見つかれば、それを第２の画像（ウインドウ）の配置領域として確定してもよい。

第２の画像（ウインドウ）を第１の画像（ウインドウ）の表示に重ね合わせる手段１０５は、配置可能領域を検出する手段１０４によって決定された領域に第２の画像（ウインドウ）を配置する手段である。配置可能領域を検出する手段１０４において、第２の画像（ウインドウ）が本来のサイズから縮小された状態で配置可能領域が決定された場合には、その縮小倍率の情報も配置可能領域を検出する手段１０４から取得し、第２の画像（ウインドウ）を縮小して配置を行うことも可能である。またこのとき、第２の画像（ウインドウ）を第１の画像（ウインドウ）の表示に重ね合わせる手段１０５は、第２の画像（ウインドウ）が配置された画像情報をグラフィックメモリ１０１に書き戻す。

表示装置１０６は、第２の画像（ウインドウ）を第１の画像（ウインドウ）の表示に重ね合わせる手段１０５で作成された映像をユーザ（システム利用者）に見せる手段である。

図２はこの発明の実施の形態に係る画像（ウインドウ）表示装置の動作を説明するフローチャートである。
符号Ｓ２００はここでの開始ステップである。続いて符号Ｓ２０１を付したステップへ進む。
符号Ｓ２０１は表示装置１０６に表示されている画像（映像）情報はグラフィックメモリ１０１に格納されているので、そこから画像（映像）情報を取得するステップである。続いて符号Ｓ２０２を付したステップへ進む。

符号Ｓ２０２は上記取得された第１の画像（映像）の中から、人の顔の領域を認識し、第２の画像（ウインドウ）を配置する際の禁止領域として設定するステップである。続いて符号Ｓ２０３を付したステップへ進む。

符号Ｓ２０３は第２の画像（ウインドウ）を配置する際に、配置禁止領域に被らないように画像（ウインドウ）を配置できる個所があるかどうか調べるステップである。続いて符号Ｓ２０４を付したステップへ進む。

符号Ｓ２０４は第２の画像（ウインドウ）を配置禁止領域に被らないように第１の画像に重ねて配置することが可能か否かを判断するステップである。第２の画像（ウインドウ）を配置禁止領域に被らないように第１の画像に重ねて配置することが可能な領域が存在する場合は、ステップＳ２０９へ進む（Ｙｅｓ）。第２の画像（ウインドウ）を配置禁止領域に被らないように第１の画像に重ねて配置することが可能な領域が存在しない場合は、ステップＳ２０５へ進む（Ｎｏ）。

符号Ｓ２０５は上記ステップＳ２０２で設定された配置禁止領域を無効にするステップである。ステップＳ２０１で取得された第１の画像（映像）の中から、人の目を認識し、第２の画像（ウインドウ）の配置の禁止領域として設定する。続いて符号Ｓ２０６を付したステップへ進む。

符号Ｓ２０６は上記第１の画像（映像）配置禁止領域に被らないようにウインドウを配置できる個所があるかどうか調べるステップである。続いて符号Ｓ２０７を付したステップへ進む。

符号Ｓ２０７は上記条件の中で第２の画像を配置することが可能か否かを判断するステップである。第２の画像を配置することが可能な領域が存在すると判断される場合は、符号Ｓ２０９を付したステップへ進む（Ｙｅｓ）。第２の画像を配置することが可能な領域が存在しないと判断される場合は、符号Ｓ２０８を付したステップへ進む（Ｎｏ）。

符号Ｓ２０８は禁止領域を考慮せずに、予め操作者が設定した指定に従い、配置領域を決定するステップである。続いて符号Ｓ２０９を付したステップへ進む。
符号Ｓ２０９はウインドウを、現在表示している映像に重ねあわせるステップである。続いて符号Ｓ２１０を付したステップへ進む。
符号Ｓ２１０はステップＳ２０９で作成された画像（映像）を画像表示装置１０１を通してユーザ（システム利用者）に見せるステップである。続いて符号Ｓ２１１を付したステップへ進む。

符号Ｓ２１１は終了ステップであり、ここでの処理は終了する。
上記処理は図示しないマイクロコンピュータやマイクロプロセッサ等で制御される。
尚、上記説明においては、顔を禁止領域として設定してウインドウの配置領域が見つからなかった場合には、次に、目の領域を禁止領域として配置領域を探す例を用いたが、その前に、目と口だけを禁止領域として配置領域を探し、配置可能領域が存在すれば、そこを配置可能領域と決定し、ステップＳ２０９へ進むように構成してもよい。

図３はこの発明の実施の形態に係る画像（ウインドウ）表示装置に係り、第１の画像に第２の画像を重ねて表示する際に、第１の画像の人の顔には第２の画像が重ならないように表示するようすを示す図である。

符号２０は第１の画像、符号３０は第２の画像である。符号１０は表示装置１０６に表示される第１の画像２０に第２の画像３０を重ねた映像である。
第１の画像２０に第２の画像３０が重ねて表示されている。このとき、上記のように、画像の重ね合わせによって第１の画像２０で表示される人の顔が隠れないようにしている。

図４はこの発明の実施の形態に係る画像（ウインドウ）表示装置に係り、第１の画像に第２の画像を重ねて表示する際に、第１の画像の人の目には第２の画像が重ならないように表示するようすを示す図である。

第１の画像２０に第２の画像３０が重ねて表示されている。このとき、上記のように、画像の重ね合わせによって第１の画像２０で表示される人の目が隠れないようにしている。

すなわちこの発明の実施の形態に係る画像表示装置においては、人の顔を含む第１の画像の画像表示データから人の顔の表示に係る表示領域データを取得する人の顔データ取得手段と、前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する第２の画像の表示領域計算手段と、前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示する表示手段を備えるように構成している。

また、この発明の実施の形態に係る画像表示装置においては、人の顔を含む第１の画像の画像表示データから人の目の表示に係る表示領域データを取得する人の目データ取得手段と、前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の目の表示データを用いて、この人の目の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する第２の画像の表示領域計算手段と、前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示する表示手段を備えるように構成している。

また、この発明の実施の形態に係る画像表示装置においては、人の顔を含む第１の画像の画像表示データから人の顔および目の表示に係る表示領域データを取得する人の顔および目のデータ取得手段と、前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を配置できるか否かを判断する第１の表示領域検出手段と、第２の画像の表示領域を人の顔の表示領域には重ならならずに配置可能ではないと判断された場合に、前記取得された人の目の表示データを用いて、この人の目の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する第２の画像の表示領域計算手段と、前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示する表示手段を備えるように構成している。

上記のように構成することによって、この発明の実施の形態においては、複数の画像が重ねて表示される画像表示装置において、画像の重ね合わせによって人の顔または目が隠れることを防止することが可能となるという効果がある。これによって、表情の伝達が可能となるという効果がある。また、ユーザの利便性を向上させることが可能となるという効果がある。

なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその趣旨を逸脱しない範囲で構成要素を種々変形して具体化することが可能である。

この発明の実施の形態に係る画像（ウインドウ）表示装置の構成の一例を示すブロック図。 この発明の実施の形態に係る画像（ウインドウ）表示装置の動作を説明するフローチャート。 この発明の実施の形態に係る画像（ウインドウ）表示装置に係り、第１の画像に第２の画像を重ねて表示する際に、第１の画像の人の顔には第２の画像が重ならないように表示するようすを示す図。 この発明の実施の形態に係る画像（ウインドウ）表示装置に係り、第１の画像に第２の画像を重ねて表示する際に、第１の画像の人の目には第２の画像が重ならないように表示するようすを示す図。

符号の説明

１０１…グラフィックメモリ、１０２…第１の画像に係る人の顔の領域を認識する手段、１０３…第１の画像に係る人の目の領域を認識する手段、１０４…第２の画像に係るウインドウを配置可能な領域を検出する手段、１０５…第２の画像に係る画像（ウインドウ）を第１の画像に係る表示に重ね合わせる手段、１０６…表示装置。

Claims (5)

1. 複数の画像を重ねて表示する画像表示装置において、
   人の顔を含む第１の画像の画像表示データから人の顔の表示に係る表示領域データを取得する人の顔データ取得手段と、
   前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する第２の画像の表示領域計算手段と、
   前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示する表示手段を備えることを特徴とする画像表示装置。
2. 複数の画像を重ねて表示する画像表示装置において、
   人の顔を含む第１の画像の画像表示データから人の目の表示に係る表示領域データを取得する人の目データ取得手段と、
   前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の目の表示データを用いて、この人の目の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する第２の画像の表示領域計算手段と、
   前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示する表示手段を備えることを特徴とする画像表示装置。
3. 複数の画像を重ねて表示する画像表示装置において、
   人の顔を含む第１の画像の画像表示データから人の顔および目の表示に係る表示領域データを取得する人の顔および目のデータ取得手段と、
   前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を配置できるか否かを判断する第１の表示領域検出手段と、
   第２の画像の表示領域を人の顔の表示領域には重ならならずに配置可能ではないと判断された場合に、前記取得された人の目の表示データを用いて、この人の目の表示領域には重ならないで表示可能な第２の画像の表示領域を計算する第２の画像の表示領域計算手段と、
   前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示する表示手段を備えることを特徴とする画像表示装置。
4. 複数の画像を重ねて表示する画像表示方法において、
   人の顔を含む第１の画像の画像表示データから人の顔の表示に係る表示領域データを取得するステップと、
   前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の顔の表示領域には重ならないで表示可能な第２の画像の表示領域を計算するステップと、
   前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示するステップを備えることを特徴とする画像表示方法。
5. 複数の画像を重ねて表示する画像表示方法において、
   人の顔を含む第１の画像の画像表示データから人の目の表示に係る表示領域データを取得するステップと、
   前記第１の画像に第２の画像を重ねて表示する際に、前記取得された人の顔の表示データを用いて、この人の目の表示領域には重ならないで表示可能な第２の画像の表示領域を計算するステップと、
   前記計算された第２の画像の表示領域を用いて、前記第１の画像と第２の画像を重ねて表示するステップを備えることを特徴とする画像表示方法。

Images