JP2011082935A - 画像処理装置 - Google Patents

Abstract

【課題】、マルチディスプレイ装置を用いた双方向コミュニケーションシステムにおいて、従来より視線があった自然な映像を提供することができる。
【解決手段】１つの大画面Ｗを形成する複数のディスプレイ装置３１ａから構成されるマルチディスプレイ装置３１のディスプレイ装置３１ａが隣接する箇所にビデオカメラ３２ａを設定し、そのビデオカメラ３２ａにより撮像された映像から、マルチディスプレイ映像システム１１１で表示される映像を生成するようにしたので、視線があった自然な映像を提供することができる。
【選択図】図１

Description

本発明は、画像処理装置に関するものである。

複数のディスプレイ装置を格子状に配列して１つの大きな大画面を形成するマルチディスプレイ装置に、ビデオカメラ等により撮像された映像を大きく映し出す技術がある（非特許文献１参照）。

非特許文献１（の３節と４節）では、各ビデオカメラの映像は、隣接するビデオカメラの映像となるべく重ならないように撮像され、その映像の重なりや歪み等が修正処理されて、各ビデオカメラと１対１に対応するプロジェクタに表示されるものと推定される。

またその技術を双方向コミュニケーションシステムに利用して、離れた場所の映像を双方で送受信し、マルチディスプレイ装置を用いてその映像を大きく表示する方法も開発されている

「ブロードバンド時代の高臨場感映像コンテンツ制作技術及び高品質情報流通制御技術の研究開発」、インターネット＜ＵＲＬ：http:///www.soumu.go.jp/joho_tsusin/top/business_support/pdf/h13-11_bb-jidai.pdf＞

しかしながら、非特許文献１の方法を双方向コミュニケーションに利用すると、非特許文献１（の図５）から推測できるように、ビデオカメラがプロジェクタの横に設置されるので、ビデオカメラに対する視線とプロジェクタに対する視線の角度が異なり、このシステムを介してコミュニケーションを取るユーザ間の視線がずれてしまう。

図１０は、マルチディスプレイ装置を用いた双方向コミュニケーションシステム２０１の構成例を示す図である。

このシステム２０１には、ビデオカメラ２２１Ａが２個のディスプレイ装置２２２Ａの横に設置されているマルチディスプレイシステム２１１Ａと、ビデオカメラ２２１Ｂが２個のディスプレイ装置２２２Ｂの横に設置されているマルチディスプレイシステム２１１Ｂから構成されている。図１０には、これらの構成を真上から見た様子が簡略的に示されている。

このように、ビデオカメラ２２１がディスプレイ装置２２２の横に設置されている場合、ユーザの視線は、通常、相手からの映像を見るためにディスプレイ装置２２２に向けられ、ビデオカメラ２２１には向けられない。その結果、視線がビデオカメラ２２１に向けられていないユーザが撮像され、その映像が、一方のマルチディスプレイシステム２１１のディスプレイ装置２２２に表示される。すなわち一方のマルチディスプレイシステム２１１のディスプレイ装置２２２には、ユーザが正面を見ていない映像が映し出されるので、通信相手と視線が合わなくなり、ユーザは不自然な状態で相手方と会話することになる。

本発明は、このような状況に鑑みてなされたものであり、マルチディスプレイ装置を用いた双方向コミュニケーションシステムにおいて、自然な映像を提供することができる。

本発明の画像処理装置は、複数の第１の表示部を有し、その第１の表示部により１つの第１の表示画面が形成される他の画像処理装置に、第１の表示画面に表示される映像を生成する画像処理装置において、複数の撮像装置と、複数の撮像装置による撮像の結果得られた複数の映像を合成して、第１の表示画面の全体に表示される映像を生成する生成手段と、生成手段により生成された映像を、他の画像処理装置に送信する送信手段と、１つの第２の表示画面を形成する複数の第２の表示部から構成される表示手段と、他の画像処理装置からの映像を受信する受信手段と、受信手段により受信された映像を、第２の表示画面を形成する第２の表示部の構成に基づいて分割して複数の第２の表示部に表示させ、第２の表示画面に一つの映像を表示させる表示制御手段とを有し、複数の撮像装置は、複数の第２の表示部が隣接する箇所に設置されることを特徴とする。

複数の撮像装置は、格子状に並べられた第２の表示部のそれぞれの、縦方向または横方向の中央であって、横方向または縦方向の第２の表示部の境界に配置されるようにすることができる。

隣接する撮像装置により撮像された映像と重ならない映像が第１の表示画面に表示されるようにするために、１個の第１の表示部に表示する範囲を示す範囲情報を予め決定しておき、１個の撮像装置により撮像された映像からその範囲情報に基づく範囲の映像を切り出し、それを第１の表示部に相当する大きさに変換することができる。

生成手段は、画像処理装置の２個の撮像装置により撮像された映像の縦方向または横方向において２分する画像を繋ぎ合わせ、その繋ぎ目部分にぼかし処理を施して、他の画像処理装置の１個の第１の表示部に表示される映像を生成することができる。

生成手段は、画像処理装置の横方向または縦方向に隣接する２個の撮像装置により撮像された映像から、その２個の撮像装置の中間位置に実際には存在しない撮像装置が撮像したような映像を生成することができる。

生成手段は、画像処理装置の縦方向および横方向に隣接する少なくとも４つ以上の撮像装置により撮像された映像から、第２の表示部上の全ての点に実際には存在しない撮像装置が撮像したような映像を生成することができる。

本発明によれば、マルチディスプレイ装置を用いた双方向コミュニケーションシステムにおいて、自然な状態でユーザが利用できる。

本発明の実施の形態としての双方向コミュニケーションシステム１の構成例を示す図である。 図１に示すマルチディスプレイシステム２１を拡大した図である。 図１に示す映像処理装置２２の構成例を示すブロック図である。 図１示すあるビデオカメラ３２ａが撮像した映像から、他のビデオカメラ３２ａの映像と重複しない映像を切り出す処理を説明する図である。 ビデオカメラ３２ａで撮像された映像の範囲とディスプレイ装置３１ａの表示面の位置関係を示す図である。 発明の実施の形態における効果を説明する図である。 図１に示すマルチディスプレイシステム２１の他の構成例を示す図である。 図１に示すマルチディスプレイシステム２１の他の構成例を示す図である。 図１に示すマルチディスプレイシステム２１の他の構成例を示す図である。 マルチディスプレイ装置を用いた従来の双方向コミュニケーションシステムの例を示す図である。

図１は、本発明の実施の形態としての双方向コミュニケーションシステム１の構成例を示す図である。図１において、双方向コミュニケーションシステム１は、２個の画像処理装置としてのマルチディスプレイ映像システム１１，１１１を有して構成される。この双方向コミュニケーションシステム１は、マルチディスプレイ映像システム１１および１１１により形成される空間の映像を相互に表示することにより、対面空間を、臨場感をもって共有できるシステムである。

マルチディスプレイ映像システム１１は、マルチディスプレイシステム２１と映像処理装置２２を有して構成されている。マルチディスプレイシステム２１は、マルチディスプレイ装置３１とマルチカメラ装置３２を有して構成される。マルチディスプレイ映像システム１１１は、マルチディスプレイシステム１２１と映像処理装置１２２を有して構成されている。マルチディスプレイシステム１２１は、マルチディスプレイ装置１３１とマルチカメラ装置１３２を有して構成される。

図２は、図１に示すマルチディスプレイシステム２１を拡大した図である。マルチディスプレイ装置３１は、縦にＭ個、横にＮ個（Ｍ，Ｎは整数）の計Ｍ×Ｎ個のディスプレイ装置３１ａを並べて配置したものである。図２の例では、縦に４個（Ｍ＝４）、横に４個（Ｎ＝４）の計１６個のディスプレイ装置３１ａが格子状に並んで配置されており、各ディスプレイ装置３１ａの表示面（図中、四角の枠で示されている矩形部分）全体で、１つのフラットな大画面（以下、大画面Ｗと称する）が形成されている。なお図１および図２等においては、最も左上のディスプレイ装置３１ａに符号を付し、他のディスプレイ装置３１ａの符号は省略している。なお、ディスプレイ装置３１ａは、液晶ディスプレイ、プラズマディスプレイ、プロジェクタ、旧来のブラウン管等である。

マルチカメラ装置３２は、２０個のビデオカメラ３２ａを有して構成される。なお図１および図２等においては、最も左上のビデオカメラ３２ａに符号を付し、他のビデオカメラ３２ａの符号は省略している。

この例の場合、２０個のビデオカメラ３２ａは、各ディスプレイ装置３１ａの表示面の高さ方向の中央の位置であって、表示面の幅方向の両側端（ディスプレイ装置３１ａの境界）に配置されている。すなわちディスプレイ装置３１ａの外枠に配置され、全体としては、縦に４個、横に５個並ぶように配置されている。

各ビデオカメラ３２ａの撮像方向は、大画面Ｗに対して真正面を向くようにセッティングされる。例えばスタンド等を用いて、各ビデオカメラ３２ａの位置からこの大画面Ｗに対して垂直方向で、床からの高さが等しいところに目印を付け、その位置が撮像映像の中心になるように各ビデオカメラ３２ａの撮像方向の向きが調整される。なお、スタンドを置く大画面Ｗからの距離は、目印の大きさによる大画面Ｗ上の誤差が小さければ、どのような距離でも問題ない。

マルチディスプレイ映像システム１１１のマルチディスプレイシステム１２１も、この例の場合、マルチディスプレイ映像システム１１のマルチディスプレイシステム２１と同様の構成を有している。

マルチディスプレイ映像システム１１の映像処理装置２２は、マルチディスプレイシステム２１のマルチディスプレイ装置３１の各ディスプレイ装置３１ａのそれぞれと、またマルチカメラ装置３２の各ビデオカメラ３２ａのそれぞれと接続されている。映像処理装置２２はまた、通信相手のマルチディスプレイ映像システム１１１の映像処理装置１２２とも通信可能に接続されている。

マルチディスプレイ映像システム１１１の映像処理装置１２２は、マルチディスプレイシステム１２１のマルチディスプレイ装置１３１の各ディスプレイ装置１３１ａのそれぞれと、またマルチカメラ装置１３２の各ビデオカメラ１３２ａのそれぞれと接続されている。映像処理装置１２２はまた、通信相手のマルチディスプレイ映像システム１１の映像処理装置２２とも通信可能に接続されている。

マルチディスプレイ映像システム１１の映像処理装置２２は、マルチカメラ装置３２の各ビデオカメラ３２ａにより撮像された複数の映像を合成して、マルチディスプレイシステム２１の前方の１つの大きな映像を生成し、マルチディスプレイ映像システム１１１の映像処理装置１２２に送信する。なお、この大映像を生成する処理を、送信映像生成処理と称する。マルチディスプレイ映像システム１１１の映像処理装置１２２は、映像処理装置２２から送信されてきた、映像処理装置２２における送信映像生成処理により生成された大映像を、マルチディスプレイシステム１２１の構成に基づいて分割し、各ディスプレイ装置１３１ａに送り表示させる。これによって、マルチディスプレイ装置１３１による大画面Ｗの全体に、マルチディスプレイシステム２１の前方の大映像（たとえば、大人数での討論の風景の映像）が映し出される。

マルチディスプレイ映像システム１１１の映像処理装置１２２も、送信映像生成処理を実行し、その結果得られたマルチディスプレイシステム１２１の前方の１つの大きな映像を、マルチディスプレイ映像システム１１の映像処理装置２２に送信する。マルチディスプレイ映像システム１１の映像処理装置２２は、映像処理装置１２２から送信されてきた、映像処理装置１２２における送信映像生成処理により生成された大映像を、マルチディスプレイシステム２１の構成に基づいて分割し、各ディスプレイ装置３１ａに送り表示させる。これによって、マルチディスプレイ装置３１による大画面Ｗの全体に、マルチディスプレイシステム１２１の前方の映像（たとえば、大人数での討論の風景の映像）が映し出される。

もし、マルチディスプレイシステム１２１が、Ｍ＝３，Ｎ＝９の９個のディスプレイ装置１３１ａで構成され、ディスプレイ装置１３１ａがディスプレイ装置３１ａと同じサイズの表示部を有しているものとすると、図１の４×４の構成と比べて、同一シーンが映し出されるが、大映像全体の大きさが３／４となる。また、３×３の構成で、ディスプレイ装置１３１ａの表示部のサイズがディスプレイ装置３１ａの４／３倍であるとすると、図１の４×４の構成と同一シーンが同一の大きさで映し出される。なお、以下においては、マルチディスプレイシステム２１とマルチディスプレイシステム１２１において、それぞれのＭとＮが同一のＭ×Ｎのディスプレイ装置とビデオカメラの構成を有しているものとする。

図３は、映像処理装置２２の構成例を示すブロック図である。映像処理装置２２は、映像入力部４１、送信映像生成部４２、通信部４３、表示映像生成部４４、および映像出力部４５から構成される。映像処理装置１２２も同様に構成されているので、その図示および説明を省略する。

映像入力部４１は、マルチカメラ装置３２のビデオカメラ３２ａからの撮像された映像をそれぞれ入力して、送信映像生成部４２に供給する。

送信映像生成部４２は、送信映像生成処理を実行し、マルチディスプレイ映像システム１１１で映し出される大映像を生成する。

通信部４３は、送信映像生成部４２による送信映像生成処理により生成された大映像を、マルチディスプレイ映像システム１１１の映像処理装置１２２に送信する。通信部４３はまた、映像処理装置１２２から送信されてきた送信映像生成処理により生成された大映像を表示映像生成部４４に供給する。

表示映像生成部４４は、通信部４３から供給された映像を、対応する各ディスプレイ装置３１ａに割り当て、映像出力部４５を介して表示させる。

次に、送信映像生成処理について説明する。なおここでは、マルチディスプレイ映像システム１１が、マルチディスプレイ映像システム１１１で映し出される映像を生成する場合を例として説明するが、マルチディスプレイ映像システム１１１が、マルチディスプレイ映像システム１１で映し出される映像を生成する場合も同様な処理が行われる。

図４は、マルチディスプレイ映像システム１１の各ビデオカメラ３２ａで撮像された映像から、マルチディスプレイ映像システム１１１の各ディスプレイ装置１３１ａに映し出される映像をどのように生成するかを説明する図である。

ビデオカメラ３２ａは、マルチディスプレイシステム２１の前方の、たとえば部屋の奥行き（壁等までの距離）に応じた範囲の映像を撮像する。すなわち奥行きが深ければ、その分広い範囲が、奥行きが浅ければ狭い範囲の映像が撮像される。従って、奥行きの深さによっては、ビデオカメラ３２ａの映像は、上下左右に隣合うビデオカメラ３２ａの映像と一部重なる。なお、同一の場所や物が複数のビデオカメラ３２ａにより撮像される場合があるが、その映像は、同一対象であっても撮像方向の角度が異なるので同一ではない。

図４には、図１および図２に示すマルチカメラ装置３２の最も左側にあるビデオカメラ３２ａから右方向に第３番目にあって、最も下側にあるビデオカメラ３２ａから上方向に第２番目にあるビデオカメラ３２ａ（以下、適宜、ビデオカメラ３２ａ(3,2)を表記する。他のビデオカメラ３２ａについても同様に表記する）により距離Ｌの奥行きがある空間（距離Ｌだけ離れている壁等）を撮像した場合の映像Ｒｗが模式的に示されている。

図４の例の場合、ビデオカメラ３２ａ(3,2)により撮像された映像Ｒｗは、ビデオカメラ３２ａ(2,3)，(3,3)，(4,3)，(2,2)，(4,2)，(2,1)，(3,1)，(4,1)の映像と一部重なっている。

そこで、この例では、ビデオカメラ３２ａにより撮像された映像から、その中心部分のディスプレイ装置３１ａの表示面の大きさに相当する画サイズ分の映像が切り出される。

具体的には、１個のビデオカメラ３２ａにより撮像された映像の中の１個のディスプレイ装置３１ａに表示される範囲を示す情報（以下、範囲情報と称する）を予め決めておき、その範囲情報に基づいて、映像の切り出しが行われる。図４においては、ビデオカメラ３２ａ(3,2)により撮像された映像Ｒｗから、映像Ｒｃが切り出される。

たとえば、マルチディスプレイシステム１２１の大画面Ｗに、マルチディスプレイシステム２１の前方の風景の映像を等身大に表示する場合、各ビデオカメラ３２ａについて、左右両隣のそれぞれのビデオカメラ３２ａの中間の位置を通る縦方向に伸びる直線と、ディスプレイ装置３１ａの表示面の上下端の延長線（横方向に伸びる線）が交差する計４点（以下、範囲四隅点と称する）からディスプレイ装置３１ａの表示面に対して垂直方向に、所定の距離だけ離れた、床からの高さが等しい所定の位置を四隅点とする範囲の映像が切り出される。

なおこの切り出しは、たとえば各ビデオカメラ３２ａに対応する範囲四隅点からディスプレイ装置３１ａの表示面に垂直方向に所定の距離だけ離れた、床からの高さが等しい所定の位置（たとえば、撮像する空間の一番奥にある壁のビデオカメラ３２ａに対応する位置）に目印を付けて撮像し、撮像映像Ｒｗ全体におけるその目印の像（図４において、バツ印（×印）が付されている部分）の位置を検出し、その位置を範囲情報として送信映像生成部４２が保持しておくことで実現される。

このようにして、各ビデオカメラ３２ａの撮像映像から切り出された切り出し映像（Ｒｃ）は、各ビデオカメラ３２ａが、縦方向に、各ディスプレイ装置３１ａの境目に設置されているため、ビデオカメラ３２ａが撮像した映像から切り出された映像（Ｒｃ）は、図５に示すように、ディスプレイ装置３１ａの表示面に対して半面ずれている。

図５は、各ビデオカメラ３２ａで撮像された映像から切り出された切り出し映像（Ｒｃ）の範囲とディスプレイ装置３１ａの表示面の位置関係を示す図である。この関係は、マルチディスプレイシステム１２１のディスプレイ装置１３１ａの表示面との間においても同じである。

そこで、ここでは、あるビデオカメラ３２ａによる撮像映像からの切り出し映像（Ｒｃ）の左半面と、そのビデオカメラ３２ａの左側の他のビデオカメラ３２ａによる撮像映像からの切り出し映像（Ｒｃ）の右半面を繋ぎ合わせて、対応するディスプレイ装置１３１ａ（たとえば、両者に挟まれているディスプレイ装置３１ａに対応するディスプレイ装置１３１ａ）に表示される映像が生成される。また基本的には同様に、あるビデオカメラ３２ａによる撮像映像からの切り出し映像（Ｒｃ）の右半面と、そのビデオカメラ３２ａの右側の他のビデオカメラ３２ａによる撮像映像からの切り出し映像（Ｒｃ）の左半面を繋ぎ合わせて、対応するディスプレイ装置１３１ａに表示される映像が生成される。このようにディスプレイ装置１３１ａに表示される映像を生成することにより、マルチディスプレイシステム２１の前方のどの位置に立っても、ユーザの正面からの映像に近い映像をマルチディスプレイシステム１２１に表示させることができる。

なお、マルチディスプレイ装置３１の左右両端にあるビデオカメラ３２ａによる撮像映像は、それぞれ左半面と右半面の映像を映すディスプレイ装置１３１ａがマルチディスプレイシステム１２１に存在しないので、その半面の映像は使用されない。

一方、各ビデオカメラ３２ａは各ディスプレイ装置３１ａの高さ方向の中央に設置されているので、切り出し映像（Ｒｃ）は、高さ方向においてディスプレイ装置３１ａと対応している。すなわちディスプレイ装置１３１ａとも対応し、左右半面のようなずれはないので、このような場合には上述したような繋ぎ合わせを行っても行わなくても良い。

なお、横隣の映像と繋ぎ合わせる部分（図５において、上向きの矢印から伸びる点線で示されている部分）に対して、ビデオカメラ３２ａの個体差による画角の違いや向きの誤差により、画面の連続性を保てない場合には、繋ぎ目をぼかすようなディジタル処理等を行うこともできる。また、ビデオカメラ３２ａの向きを微調整して、できるだけ連続に映るようにしても良い。

また、縦方向（上下）については、映像の繋ぎ目部分（図５において、右向きの矢印から伸びている点線で示される部分）が各ディスプレイ装置１３１ａのフレーム枠の位置になるため、繋ぎ目が目立たないので、このような場合には、上述のような繋ぎ目をぼかすようなディジタル処理等を行っても行わなくても良い。ただし、フレーム枠のない、または、フレーム枠が極めて細いディスプレイ装置１３１ａが使用する場合には、必要に応じて繋ぎ目をぼかすようなディジタル処理等を行うこともできる。

以上のようにして、相手方のマルチディスプレイ映像システム１１１のマルチディスプレイ装置１３１に映し出される映像が生成される。

［発明の実施の形態における効果］
以上のように、１つの大画面Ｗを形成する複数のディスプレイ装置１３１ａから構成されるマルチディスプレイ装置１３１を有するマルチディスプレイ映像システム１１１に対して、その複数のディスプレイ装置１３１ａのそれぞれに表示される映像を生成するマルチディスプレイ映像システム１１において、
１つの大画面Ｗを形成する複数のディスプレイ装置３１ａから構成されるマルチディスプレイ装置３１のディスプレイ装置３１ａが隣接する箇所にビデオカメラ３２ａを設定し、
そのビデオカメラ３２ａにより撮像された映像から、マルチディスプレイ映像システム１１１で表示される映像を生成するようにしたので、
たとえば、マルチディスプレイ映像システム１１１のディスプレイ装置１３１ａで形成される大画面Ｗにおいて正面を向いて映し出されるマルチディスプレイ映像システム１１のユーザの映像を提供することができる。

図６の下段は、上述した双方向コミュニケーションシステム１を簡単に示した図である。こように、たとえばマルチディスプレイシステム２１のユーザが、マルチディスプレイ装置３１のディスプレイ装置３１ａを向いている場合、ビデオカメラ３２ａがディスプレイ装置３１ａの境界に配置されているので、ビデオカメラ３２ａは、視線をビデオカメラ３２ａに向けているユーザの映像を撮像することができ、その映像がマルチディスプレイシステム１２１のディスプレイ装置１３１ａによる大画面Ｗに表示されるようにすることができる。すなわち対面空間において、ユーザ同士の視線のずれを解消することができる。その結果、双方向コミュニケーションシステム１を利用するユーザ同士は、自然な状態で、または臨場感をもって会話等を行うことができる。これに対して上段（図１０と同じ）に示す従来の方法では、視線がずれている。

［他の実施例］
１．なお以上においては、図２に示したマルチディスプレイシステム２１では、１６個のディスプレイ装置３１ａと２０個のビデオカメラ３２ａが設けられていたが、それより多い数または少ない数のディスプレイ装置３１ａとビデオカメラ３２ａを設けることができる。

２．また以上においては、図２に示したマルチディスプレイシステム２１において、ビデオカメラ３２ａは、各ディスプレイ装置３１ａの表示面の高さ方向の中央の位置であって、表示面の幅方向の両側端（ディスプレイ装置３１ａの境界）に配置されていたが、図７に示すように、各ディスプレイ装置３１ａの表示面の幅方向の中央の位置であって、表示面の高さ方向の両側端（ディスプレイ装置３１ａの境界）に配置することもできる。すなわち全体としては、縦に５個、横に４個並ぶように配置することもできる。なお図７に示すマルチディスプレイシステム２１を用いても、縦横を逆にすれば上述した送信映像生成処理により、相手方のマルチディスプレイ映像システム１１１に映し出される映像を生成することができる。すなわち、あるビデオカメラ３２ａによる撮像映像からの切り出し映像の上半面と、そのビデオカメラ３２ａの上側の他のビデオカメラ３２ａによる撮像映像からの切り出し映像の下半面を繋ぎ合わせて、映像を生成することができる。

３．また以上においては、ビデオカメラ３２ａにより撮像された映像の切り出しおよび繋ぎ合わせを行って送信映像を生成したが（図４、図５）、他の方法でその映像を生成することもできる。

たとえば相手側の各ディスプレイ装置１３１ａに表示する映像を、図２に示すカメラ配置の場合には、横方向に隣合う２個のビデオカメラ３２ａの映像から、図７に示すカメラ配置の場合には、縦方向に隣合う２個のビデオカメラ３２ａの映像から、その２個のビデオカメラ３２ａの中間位置にあるビデオカメラ（実際にはない）が撮像したような映像を合成することもできる。

なおこの合成は、自由視点テレビに使用される方法などを用いることができる。この方法は、ビデオカメラを面上や線上に離散的に配置し、そのビデオカメラから得られる有限視点のカメラ映像から無限視点のカメラ映像を作り出す方法である。詳細は、
「http://www.ieice.org/cs/cs/jpn/csws/paper17/t_1_tanimoto.pdf
「全空間情報を伝達する自由視点テレビ」電子情報通信学会 情報伝送と信号処理ワークショップ資料」
等に開示されている。

また相手側の各ディスプレイ装置１３１ａに表示する映像を、対応する縦方向および横方向に隣合う少なくとも４個以上のカメラ映像から、各ディスプレイ装置３１ａ上の全ての点にあるビデオカメラ（実際にはない）が撮像したような映像（すなわち、真正面の映像）を合成することもできる。この映像の合成も、自由視点テレビに使用される方法などを用いることができる。

なおこの場合、マルチディスプレイシステム１２１の全てのディスプレイ装置１３１ａに表示される映像を生成するためには、図２に示すカメラ配置方法による場合は、図８に示すように、また図７に示すカメラ配置方法による場合は、図９に示すように、ビデオカメラ３２ａを追加する必要がある。

４．また以上においては、ビデオカメラ３２ａにより撮像された映像が重なる場合を例として説明したが、そのような重なりがない場合には、上述した映像の切り出しを行う必要はない。

５．また以上においては、ビデオカメラ３２ａを、その撮像方向が、大画面Ｗに対して真正面を向くようにセッティングしたが、その際、ディスプレイ装置３１ａに、送信映像生成処理により生成された映像を表示させて、ユーザがそれを確認可能にすることもできる。そのようにすることで、ユーザは、その映像を参照して、ビデオカメラ３２ａの角度を調整することができる。

６．また以上においてディスプレイ装置を例として説明したが、プロジェクタも同様に利用することができる。

７．また以上においては、撮像装置としてビデオカメラを例として説明したが、視界の妨げにならないように、より小型のものを用いることができる。小型でビデオ映像を取り込めるカメラとして、ＵＳＢ（Universal Serial Bus）カメラがある。これは小型で、且つ、一般に薄型なので、表示装置（ディスプレイ等）を斜めから観賞する人にとっても妨げにならない。またビデオカメラに比べ安価であるため、安価なシステムを構築することができる。ただし、ＵＳＢカメラはある程度の画角があり、ビデオカメラのようなズーム機能がないので、隣接するカメラの映像と重ならないように撮像することは困難である。

８．また以上においては、マルチディスプレイ装置３１の構成を、縦に４個、横に４個の計４×４個のディスプレイ装置３１ａを並べて配置したものとしたが、たとえば３×４または４×３等の他の構成とすることもできる。またマルチディスプレイ装置３１とマルチディスプレイ装置１３１が同じ構成を有するものとして説明したが、両者の構成が異なるようにすることもできる。

１ 双方向コミュニケーションシステム， １１ マルチディスプレイ映像システム， ２１ マルチディスプレイシステム， ２２ 映像処理装置， ３１ マルチディスプレイ装置， ３１ａ ディスプレイ装置， ３２ マルチカメラ装置， ３２ａ ビデオカメラ， ４１ 映像入力部， ４２ 送信映像生成部， ４３ 通信部， ４４ 表示映像生成部， ４５ 映像出力部

Claims (6)

1. 複数の第１の表示部を有し、その上記第１の表示部により１つの第１の表示画面が形成される他の画像処理装置に、上記第１の表示画面に表示される映像を生成する画像処理装置において、
   複数の撮像装置と、
   上記複数の撮像装置による撮像の結果得られた複数の映像を合成して、上記第１の表示画面の全体に表示される映像を生成する生成手段と、
   上記生成手段により生成された上記映像を、上記他の画像処理装置に送信する送信手段と、
   １つの第２の表示画面を形成する複数の第２の表示部から構成される表示手段と、
   上記他の画像処理装置からの映像を受信する受信手段と、
   前記受信手段により受信された上記映像を、上記第２の表示画面を形成する第２の表示部の構成に基づいて分割して上記複数の第２の表示部に表示させ、上記第２の表示画面の全体に一つの映像を表示させる表示制御手段と
   を有し、
   前記複数の撮像装置は、前記複数の第２の表示部が隣接する箇所に設置される
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記複数の撮像装置は、格子状に並べられた前記第２の表示部のそれぞれの、縦方向または横方向の中央であって、横方向または縦方向の前記第２の表示部の境界に配置される
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   隣接する前記撮像装置により撮像された映像と重ならない映像が前記第１の表示画面に表示されるようにするために、１個の前記第１の表示部に表示する範囲を示す範囲情報を予め決定しておき、１個の前記撮像装置により撮像された映像からその上記範囲情報に基づく範囲の映像を切り出し、それを前記第１の表示部に相当する大きさに変換する
   ことを特徴とする画像処理装置。
4. 請求項１、２、または３に記載の画像処理装置において、
   前記生成手段は、前記画像処理装置の２個の前記撮像装置により撮像された映像の縦方向または横方向において２分する画像を繋ぎ合わせ、その繋ぎ目部分にぼかし処理を施して、前記他の画像処理装置の１個の前記第１の表示部に表示される映像を生成する
   ことを特徴とする画像処理装置。
5. 請求項１、２、または３に記載の画像処理装置において、
   前記生成手段は、前記画像処理装置の横方向または縦方向に隣接する２個の前記撮像装置により撮像された映像から、その２個の前記撮像装置の中間位置に実際には存在しない撮像装置が撮像したような映像を生成する
   ことを特徴とする画像処理装置。
6. 請求項１、２、または３に記載の画像処理装置において、
   前記生成手段は、前記画像処理装置の縦方向および横方向に隣接する少なくとも４つ以上の前記撮像装置により撮像された映像から、前記第２の表示部上の全ての点に実際には存在しない撮像装置が撮像したような映像を生成する
   ことを特徴とする画像処理装置。
   
   

Images