JP2006180022A - 画像処理システム - Google Patents

Abstract

【課題】撮影環境に応じた適切な画像処理を広角画像に対して行える画像処理システムを提供する。
【解決手段】電子会議システム(画像処理システム)は、回転放物面鏡を有して鉛直方向を軸とした周囲３６０°の全方位画像を撮影できる全方位カメラ２と、全方位画像に画像処理を施す画像処理装置とを備えている。この画像処理装置では、矩形のテーブルＴｂの中央に設置された全方位カメラを用いて着座した人物Ａ〜Ｄを撮影する場合、全方位画像の表示が不自然となる円筒面投影法ではなく、自然な表示を行える平面投影法を選択し画像処理を行う。一方、円形テーブルの中央から全方位カメラで撮影する場合には、自然な表示を行える円筒面投影法を選択する。このように２種類の画像処理を選択的に実施することで、撮影環境に応じた適切な画像処理を全方位画像(広角画像)に対して行えることとなる。
【選択図】図４

Description

本発明は、画像表示が可能な表示手段を有する画像処理システムに関する。

会議の様子を撮影し、その画像を遠隔地に転送したり、会議の内容を記録する電子会議システム(画像処理システム)においては、周囲３６０°の画像(広角画像)を一度に取得できる全方位カメラの利用が提案されている(例えば特許文献１、特許文献２参照)。この全方位カメラを利用すると、カメラアングル等を調整することなく、１台で会議室内の全員を同時に撮影できることとなる。

ただし、全方位カメラで撮影された広角画像(パノラマ画像)は、そのまま表示させると大きな歪みが生じるため、画像の歪み補正が必要となる。具体的には、全方位カメラの鉛直方向を軸とする円筒面上に画像を投影したように画像処理を行う「円筒面投影法」や、全方位画像から切り出された画像領域が撮像面と平行であるように画像処理を行う「平面投影法」に基づく処理が必要である。

特開２００４−３２７８２号公報 特開２００３−１８５６１号公報

しかしながら、上記の円筒面投影法による画像処理を行うと、全方位カメラから各撮影対象物までの距離が概ね等しい撮影環境において比較的自然な表示を行えるメリットがあるものの、全方位カメラから各撮影対象物までの距離の差が大きい撮影環境において不自然な表示となるデメリットがある。

一方、上記の平面投影法による画像処理においては、上述の円筒面投影法におけるメリット・デメリットが逆になる。

本発明は、上記課題に鑑みてなされたものであり、撮影環境に応じた適切な画像処理を広角画像に対して行える画像処理システムを提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、画像表示が可能な表示手段を有する画像処理システムであって、(a)鉛直方向を中心軸とした広角画像を取得する画像取得手段と、(b)前記広角画像に画像処理を行う画像処理手段と、(c)前記画像処理手段により画像処理された広角画像を前記表示手段に表示させる表示手段とを備え、前記画像処理手段は、(b-1)円筒面投影法に基づく第１画像処理を行う第１処理手段と、(b-2)平面投影法に基づく第２画像処理を行う第２処理手段とを有する。

また、請求項２の発明は、請求項１の発明に係る画像処理システムにおいて、前記画像処理手段は、(b-3)前記広角画像に対して、前記第１画像処理と前記第２画像処理とを選択的に行う手段を有する。

また、請求項３の発明は、請求項１または請求項２の発明に係る画像処理システムにおいて、前記画像処理手段は、(b-4)前記広角画像の一部に相当する画像領域を指定する指定手段と、(b-5)前記画像領域に対して、前記第１画像処理と前記第２画像処理とを選択的に行う手段とを有する。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る画像処理システムにおいて、前記画像処理手段は、(b-6)前記広角画像から人物が映る画像部分を検出画像として検出する検出手段と、(b-7)前記検出画像に対して、前記第１画像処理と前記第２画像処理とを選択的に行う手段とを有する。

また、請求項５の発明は、請求項４の発明に係る画像処理システムにおいて、前記画像取得手段は、前記広角画像を取得する複数の画像取得部を有しており、前記画像処理手段は、(b-8)前記複数の画像取得部それぞれで取得された複数の広角画像から前記検出手段により検出される検出画像に映る人物を識別する識別手段と、(b-9)前記複数の広角画像において、前記識別手段により同一人物が複数の検出画像に映っていると判断された場合には、前記複数の検出画像から１の検出画像を選択する画像選択手段とを有するとともに、前記表示制御手段は、(c-1)前記複数の検出画像のうち前記１の検出画像を除く他の検出画像の表示を禁止する手段を有する。

また、請求項６の発明は、請求項５の発明に係る画像処理システムにおいて、前記１の検出画像は、前記複数の検出画像のうち人物のサイズが最大となる画像である。

請求項１ないし請求項６の発明によれば、鉛直方向を中心軸とした広角画像に対する画像処理として円筒面投影法に基づく第１画像処理と平面投影法に基づく第２画像処理とが可能であるため、撮影環境に応じた適切な画像処理を広角画像に対して行える。

特に、請求項２の発明においては、広角画像に対して第１画像処理と第２画像処理とを選択的に行うため、撮影環境に応じた画像処理を選択して最適な画像処理を行える。

また、請求項３の発明においては、広角画像の一部に相当する画像領域を指定し、この画像領域に対して第１画像処理と第２画像処理とを選択的に行うため、広角画像の一部に対して適切な画像処理を行える。

また、請求項４の発明においては、広角画像から人物が映る画像部分を検出画像として検出し、検出画像に対して第１画像処理と第２画像処理とを選択的に行うため、広角画像に映る人物に対して適切な画像処理を行える。

また、請求項５の発明においては、複数の画像取得部それぞれで取得された複数の広角画像から検出画像に映る人物を識別して、同一人物が複数の検出画像に映っていると判断された場合には、複数の検出画像から１の検出画像を選択し、この検出画像を除く他の検出画像の表示を禁止する。その結果、複数の広角画像において同一人物が映っている場合に、その重複表示を防止できる。

また、請求項６の発明においては、１の検出画像が複数の検出画像のうち人物のサイズが最大となる画像であるため、明瞭な人物の表示を行える。

＜第１実施形態＞
＜電子会議システムの要部構成＞
図１は、本発明の第１実施形態に係る電子会議システム１Ａの要部構成を示す図である。

電子会議システム１Ａは、全方位画像入力装置２と、画像処理装置３Ａとを備えており、画像処理システムとして機能する。

全方位画像入力装置(画像取得部)２は、全方位カメラとして構成されており、光学部材である１つの回転放物面鏡２１と、例えばＣＣＤで構成される１つの撮像素子２２を有している。この回転放物面鏡２１によって鉛直方向を軸とした周囲３６０°の広視野の被写体光像が反射され、この光像が撮像素子２２に入射することでその画像信号が生成される。これにより、鉛直方向を中心軸とした全方位画像(広角画像)を取得できることとなる。そして、全方位画像入力装置２の信号処理部(不図示)において、全方位画像のアナログ画像信号に対してＡ／Ｄ変換が施された後に画像処理装置３Ａに送信される。

画像処理装置３Ａは、例えばパーソナルコンピュータとして構成されており、本体部３０と、画像表示が可能な表示部３１と、マウス３２１およびキーボード３２２からなる操作部３２とを備えている。

本体部３０は、コンピュータとして働くＣＰＵおよびメモリを内蔵し、画像処理装置３Ａの各部を統括的に制御する。また、本体部３０は、後で詳述するように全方位画像に画像処理を行い、画像処理された全方位画像を表示部３１に表示させる制御を行う。

図２は、電子会議システム１Ａの機能を示すブロック図である。

画像処理装置３Ａは、全方位画像入力装置２から送られた全方位画像の画像データを受け取る画像データ通信記録部３３と、画像データ通信記録部３３に接続する人画像検出部３４と、画像領域選択部３５とを備えている。また、全方位画像入力装置２で取得された画像をそのまま表示すると大きな歪みが生じるため、適切な画像処理を行うために必要な円筒面画像処理部３６および平面投影画像処理部３７が画像処理装置３Ａに設けられている。

画像データ通信記録部３３は、全方位画像入力装置２から送られた全方位画像をＬＡＮを介して外部に送信できる。また、画像データ通信記録部３３は、全方位画像入力装置２から送信された全方位画像のデータを、例えば本体部３０内のハードディスクに記録できるようになっている。

この画像データ通信記録部３３により、例えば電子会議システム１Ａと遠隔地に設けられた本実施形態と同様の電子会議システムとを接続しインタラクティブに通信することで遠隔会議が可能となるとともに、全方位画像入力装置２で取得した全方位画像のデータを議事録として記録できることとなる。

人画像検出部３４は、画像データ通信記録部３３で得られた全方位画像から人物が映る画像部分を検出する部位である。この人画像検出部３４で検出された検出画像に対しては、後述する円筒面投影法に基づく画像処理と平面投影法に基づく画像処理とを選択的に実行できる。これにより、全方位画像に映る人物に対して適切な画像処理を施すことができ、人物の自然な表示が可能となる。

画像領域選択部３５は、画像処理装置３Ａで取得した全方位画像において任意の画像領域を選択できる。この画像領域の選択については、例えば画像処理装置３Ａのマウス３２１によるドラッグ操作によって行われる。

円筒面画像処理部３６は、円筒面投影法に基づき、鉛直方向を軸とした円筒面上に画像を投影したように画像処理(第１画像処理)を行う。

平面投影画像処理部３７は、平面投影法に基づき、画像領域選択部３５で選択された画像領域が全方位画像入力装置２の撮像素子２２の撮像面と平行となるように画像処理(第２画像処理)を行う。

以上のような構成の画像処理装置３Ａでは、円筒面画像処理部３６と平面投影画像処理部３７との２種類の画像処理部を有することにより、全方位画像を表示部３１に表示させる場合に最適な画像処理方法(円筒面投影法または平面投影法)をユーザが選べることとなる。この画像処理方法の選択について、以下で詳しく説明する。

図３〜図５は、画像処理装置３Ａにおける画像処理方法の選択を説明するための図である。

図３(ａ)、図４(ａ)および図５(ａ)に示すように、会議テーブルＴａ、Ｔｂの中央に全方位画像入力装置２を設置し、鉛直方向を軸とした周囲３６０°のパノラマ画像を同時に取得することでテーブルＴａ、Ｔｂに着座する４人の会議参加者Ａ〜Ｄの全員を撮影するケースについて以下で順に説明する。なお、図３(ａ)、図４(ａ)および図５(ａ)においては、画像処理装置３の図示を省略しているが、会議室内に設置されているものとする。

まず、図３(ａ)のようにテーブルＴａが円形に近い場合には、全方位画像入力装置２からテーブルＴａの端面までの距離が比較的均一となる。このような場合には、円筒面画像処理部３６を選択し、円筒面投影法に基づく画像処理を行う。

これにより、図３(ｂ)に示すようにテーブルＴａの端面が直線に近くなるため、この画像を表示する際には自然な画像表示が可能となる。

次に、図４(ａ)のようにテーブルＴｂが矩形の場合には、全方位画像入力装置２からテーブルＴｂの端面までの距離が大きく相違する。この場合に円筒面画像処理部３６を選択して円筒面画像処理部３６に基づき画像処理を行うと、図４(ｂ)に示すようにテーブルＴｂの端面が大きく歪み、表示が不自然となる。

そこで、このような矩形のテーブルＴｂの場合には、平面投影画像処理部３７を選択して平面投影法に基づく画像処理を行うこととする。これにより、図４(ｃ)のように自然な表示を行えることとなる。なお、この画像処理では、全方位画像入力装置２で取得された全方位画像を水平方向に４分割(テーブルの角で分割)した４つの画像領域を画像領域選択部３５で選択し、各画像領域に平面投影法に基づく画像処理を行うこととなる。

また、図５(ａ)のようにテーブルＴｃが円形に近い場合には、図３を用いて説明したように全方位画像入力装置２で取得された全方位画像について、円筒面画像処理部３７で円筒面投影法による画像処理が施される。この画像処理が画像全体に施されることで、図５(ｂ)に示すようにテーブルＴｃの端面の表示が自然となる。しかし、円筒面投影法に基づく画像処理では、テーブルＴｃの近くに設置される白板Ｗｈに記入された文字や絵などが歪んで表示されるため、その判読が困難となる。

そこで、画像領域選択部３５で図５(ｂ)に示す画像領域Ｓａをマウス３２１のドラッグ操作で選択し、この画像領域Ｓａに対して平面投影画像処理部３７による画像処理を行うこととする。すなわち、全方位画像の一部に相当する画像領域Ｓａを指定し、この画像領域Ｓａに対して平面投影法に基づく画像処理を選択して実行する。これにより、図５(ｃ)に示す画像領域Ｓｂのように、白板Ｗｈに記入された文字の表示が自然となり、判読が容易となる。

このように画像処理装置３Ａでは、テーブル形状が円形の場合など、会議室の全体的な表示において円筒面投影法による画像処理が適している場合でも、文字や絵等が表わされた白板やプロジェクタのスクリーンなどが画像部分として存在する場合には、この画像部分に対して平面投影法による画像処理を行うこととする。その結果、全方位画像全体に関して歪みのない、自然な表示を行うことが可能となる。

以上の電子会議システム１Ａの動作により、全方位画像(または全方位画像の一部)に対して円筒面投影法に基づく画像処理と平面投影法に基づく画像処理とを選択的に実施するため、撮影環境に応じた適切な画像処理を行え、全方位画像の自然な表示が可能となる。

＜第２実施形態＞
図６は、本発明の第２実施形態に係る電子会議システム１Ｂの機能を示すブロック図である。

電子会議システム１Ｂは、第１実施形態の電子会議システム１Ａと類似の構成を有しているが、画像処理装置の構成が異なっている。

すなわち、電子会議システム１Ｂの画像処理装置３Ｂは、第１実施形態の画像処理装置３Ａに対して、人画像検出部３４、画像領域選択部３５、円筒面画像処理部３６および平面投影画像処理部３７が全方位画像入力装置２と画像データ通信記録部３３との間に介挿されている。

このような構成の電子会議システム１Ｂの画像処理では、図３〜図５を用いて説明した電子会議システム１Ａと同様の画像処理が全方位画像に対して行われるが、この画像処理は画像データ通信記録部３３が全方位画像のデータを受け取る前に行われることとなる。

これにより、遠隔会議を行う場合、第１実施形態では全方位画像を受信する側が表示画面を確認しつつ適切な画像処理を選択する必要があったが、本実施形態では全方位画像を送信する側が会議室の環境に応じて適切な画像処理を設定することが可能となる。その結果、画像の受信側の利便性が向上することとなる。

同様に、全方位画像を会議議事録として画像データ通信記録部３３に記録する場合、第１実施形態では記録された全方位画像を表示部３１に再生する際に表示画面を確認しつつ適切な画像処理を選択する必要があったが、本実施形態では全方位画像を記録する際に適切な画像処理を設定できるため、再生時の手間が省けて、迅速な再生が可能となる。

画像処理装置３Ｂにおける画像処理方法の選択については、例えばテーブル形状を判別するためのマーカ(判別部材)をテーブルの端面に貼り付け、このマーカが映る全方位画像を分析することで、テーブルの形状を認識し、その形状に対して適切な画像処理を選択するのが好ましい。なお、上記のマーカとしては、数や形により容易に判別できるものが望ましく、例えばバーコードや反射板などが利用できる。このようなマーカを利用することで、人手を煩わすことなく画像処理装置３Ｂにおいて自動的に適切な画像処理を選択できるため、電子会議システム１Ｂでの撮影環境の設定をより迅速に行える。

以上の電子会議システム１Ｂの動作により、第１実施形態と同様に全方位画像に対して円筒面投影法に基づく画像処理と平面投影法に基づく画像処理とを選択的に実施するため、撮影環境に応じた適切な画像処理を行え、全方位画像の自然な表示が可能となる。また、全方位画像の送信前・記録前に画像処理を行うため、受信側での画像表示時や記録画像の再生時において、省力化が図れる。

＜第３実施形態＞
図７は、本発明の第３実施形態に係る電子会議システム１Ｃの機能を示すブロック図である。

電子会議システム１Ｃは、第１実施形態の電子会議システム１Ａと類似の構成を有しているが、２台の全方位画像入力装置を備える点と、画像処理装置の構成が異なっている。

電子会議システム１Ｃが２台の全方位画像入力装置２を備えているのは、例えば２つのテーブルに分散して着座する各グループを撮影する場合においてテーブル毎に全方位画像入力装置２を設置するためである。

また、電子会議システム１Ｃの画像処理装置３Ｃは、第１実施形態の画像処理装置３Ａに対して、人画像検出部３４が全方位画像入力装置２と画像データ通信記録部３３との間に介挿されるとともに、人物認識部３８が付加されている。なお、画像データ通信記録部３３では、２台の全方位画像入力装置２で取得された各全方位画像が合成されて１枚の画像として送信・記録されることとなる。

人物認識部３８は、人画像検出部３４によって全方位画像から検出された人物の画像部分から人物を特定する部位である。この人物認識については、例えばテーブルに着座する各人に付けられた識別用のマーカ(識別部材)を分析することで行ったり、顔の特徴点に基づく方法やパターン情報に基づく方法等を用いることが可能である。

以上のように２台の全方位画像入力装置２を備え、人物認識部３８を有する電子会議システム１Ｃの画像処理については、第１実施形態の画像処理と同様の処理が行われることとなる。

ただし、２台の全方位画像入力装置２で取得した２枚の全方位画像にわたり同一人物が重複して映る場合には、人物の重複表示を避けるため、人物認識部３８での認識結果に基づき一方の人物の画像を選択して画像データ通信記録部３３に入力する。すなわち、２台の全方位画像入力装置２それぞれで取得された２枚の全方位画像から人画像検出部３４により検出される検出画像に映る人物を人物認識部３８で識別し、同一人物が複数の検出画像に映っていると判断された場合には、複数の検出画像から１の検出画像を選択して表示させるとともに、この選択された１の検出画像を除く他の検出画像の表示を禁止するようにする。この１の検出画像の選択においては、撮影条件の良い画像、例えば人物の画像サイズが最大となる画像を選択するのが好ましい。これにより、人物に関してより鮮明な画像を表示できることとなる。

以上の電子会議システム１Ｃの動作により、第１実施形態と同様に全方位画像に対して円筒面投影法に基づく画像処理と平面投影法に基づく画像処理とを選択的に実施するため、撮影環境に応じた適切な画像処理を行え、全方位画像の自然な表示が可能となる。また、電子会議システム１Ｃは、２台の全方位画像入力装置を備えるため、様々な撮影環境に対応できることとなる。

なお、電子会議システム１Ｃについては、テーブルが分散して設けられる場合だけでなく、１台の全方位画像入力装置による全員の撮影が困難な、例えばＬ字型のテーブルに着座する人物を撮影する場合等にも適用できる。

また、電子会議システム１Ｃにおいては、２台の全方位画像入力装置を備えるのは必須でなく、撮影環境に応じて３台以上の全方位画像入力装置を備えても良い。

＜変形例＞
◎上記の各実施形態の全方位画像入力装置については、図１に示すような回転放物面鏡と撮像素子との組合せで構成されるのは必須でなく、レンズおよび撮像素子からなるカメラユニットを複数組合わせて構成するようにしても良い。

また、上記の各実施形態においては、鉛直方向を軸とした周囲３６０°の広角画像を取得するのは必須でなく、例えば２７０°程度の広角画像を取得しても良い。

◎上記の各実施形態の画像処理装置においては、画像データ通信記録部３３からＬＡＮを介して全方位画像のデータを送信するのは必須でなく、電話回線を介して送信するようにしても良い。

本発明の第１実施形態に係る電子会議システム１Ａの要部構成を示す図である。 電子会議システム１Ａの機能を示すブロック図である。 画像処理装置３Ａにおける画像処理方法の選択を説明するための図である。 画像処理装置３Ａにおける画像処理方法の選択を説明するための図である。 画像処理装置３Ａにおける画像処理方法の選択を説明するための図である。 本発明の第２実施形態に係る電子会議システム１Ｂの機能を示すブロック図である。 本発明の第３実施形態に係る電子会議システム１Ｃの機能を示すブロック図である。

符号の説明

１Ａ〜１Ｃ 電子会議システム
２ 全方位画像入力装置
３Ａ〜３Ｃ 画像処理装置
３０ 本体部
３１ 表示部
３２ 操作部
３３ 画像データ通信記録部
３４ 人画像検出部
３５ 画像領域選択部
３６ 円筒面画像処理部
３７ 平面投影画像処理部
３８ 人物認識部
Ｔａ〜Ｔｃ テーブル
Ｗｈ 白板

Claims (6)

1. 画像表示が可能な表示手段を有する画像処理システムであって、
   (a)鉛直方向を中心軸とした広角画像を取得する画像取得手段と、
   (b)前記広角画像に画像処理を行う画像処理手段と、
   (c)前記画像処理手段により画像処理された広角画像を前記表示手段に表示させる表示手段と、
   を備え、
   前記画像処理手段は、
   (b-1)円筒面投影法に基づく第１画像処理を行う第１処理手段と、
   (b-2)平面投影法に基づく第２画像処理を行う第２処理手段と、
   を有することを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記画像処理手段は、
   (b-3)前記広角画像に対して、前記第１画像処理と前記第２画像処理とを選択的に行う手段、
   を有することを特徴とする画像処理システム。
3. 請求項１または請求項２に記載の画像処理システムにおいて、
   前記画像処理手段は、
   (b-4)前記広角画像の一部に相当する画像領域を指定する指定手段と、
   (b-5)前記画像領域に対して、前記第１画像処理と前記第２画像処理とを選択的に行う手段と、
   を有することを特徴とする画像処理システム。
4. 請求項１ないし請求項３のいずれかに記載の画像処理システムにおいて、
   前記画像処理手段は、
   (b-6)前記広角画像から人物が映る画像部分を検出画像として検出する検出手段と、
   (b-7)前記検出画像に対して、前記第１画像処理と前記第２画像処理とを選択的に行う手段と、
   を有することを特徴とする画像処理システム。
5. 請求項４に記載の画像処理システムにおいて、
   前記画像取得手段は、前記広角画像を取得する複数の画像取得部を有しており、
   前記画像処理手段は、
   (b-8)前記複数の画像取得部それぞれで取得された複数の広角画像から前記検出手段により検出される検出画像に映る人物を識別する識別手段と、
   (b-9)前記複数の広角画像において、前記識別手段により同一人物が複数の検出画像に映っていると判断された場合には、前記複数の検出画像から１の検出画像を選択する画像選択手段と、
   を有するとともに、
   前記表示制御手段は、
   (c-1)前記複数の検出画像のうち前記１の検出画像を除く他の検出画像の表示を禁止する手段、
   を有することを特徴とする画像処理システム。
6. 請求項５に記載の画像処理システムにおいて、
   前記１の検出画像は、前記複数の検出画像のうち人物のサイズが最大となる画像であることを特徴とする画像処理システム。

Images