JP5645448B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5645448B2 JP5645448B2 JP2010093311A JP2010093311A JP5645448B2 JP 5645448 B2 JP5645448 B2 JP 5645448B2 JP 2010093311 A JP2010093311 A JP 2010093311A JP 2010093311 A JP2010093311 A JP 2010093311A JP 5645448 B2 JP5645448 B2 JP 5645448B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- area
- image
- image processing
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、マルチプロジェクションシステムに用いて好適な技術に関する。 The present invention relates to an image processing apparatus, a picture image processing method, and a program, in particular, a technique suitable for use in multi-projection system.
従来、複数のプロジェクタからの部分画像をタイル状に並べたり、スタックしたりして投影することにより、同一画像を構成するマルチプロジェクションディスプレイが知られている。特にタイル状に並べて投影する場合、投影時にスクリーン上に生ずる境界を目立たなくするために、各プロジェクタの投影領域を一部重ね合わせるように投影することが一般的に行われている。この重なり領域(重畳領域)においては、通常、重なり領域以外に比べて輝度が高くなったり、幾何学的な歪みに起因したボケなどが生じたりするため、この重なり領域の画質改善を行う技術が従来から種々提案されている。 2. Description of the Related Art Conventionally, there are known multi-projection displays that form the same image by projecting partial images from a plurality of projectors arranged in tiles or stacked. In particular, when projecting in a tiled manner, in order to make the boundary generated on the screen inconspicuous at the time of projection, it is generally performed so as to partially overlap the projection areas of the projectors. In this overlapping region (overlapping region), the brightness is usually higher than that other than the overlapping region, and blurring due to geometric distortion occurs. Therefore, there is a technique for improving the image quality of this overlapping region. Various proposals have been made in the past.
一方、マルチ画面で表示する際に、画像中に存在するオブジェクト(被写体)に境界が重ならないようにして、画像を鑑賞する際の違和感を低減する技術も提案されている。例えば、特許文献1に記載のカメラ制御システムによれば、複数の並べた画面にカメラ映像を表示する時、撮影している被写体が画面の境界をまたがないように、かつすべての被写体が当該複数の画面のいずれかに含まれるようにカメラを制御している。これにより、被写体が画面の境界(フレーム)に隠れてしまっているように見えてしまい、映像を見る側にとって被写体が詳細に見えない等の違和感が生じることを防いでいる。
On the other hand, there has also been proposed a technique for reducing a sense of incongruity when viewing an image so that the boundary does not overlap with an object (subject) existing in the image when displaying on a multi-screen. For example, according to the camera control system described in
また、例えば、特許文献2に記載の映像表示システムによれば、タイル状に並べて投影する際に、視覚的に最も注目される頻度の高い画像中央部の広い範囲を高解像度のプロジェクタで投影し、周辺部分を複数の低解像度のプロジェクタで投影している。これにより、表示用スクリーンにおいて複数のプロジェクタによって投影された画像のつなぎ目(境界)が目立たないようにして、かつ規定の画像表示サイズフォーマットに対応した画像投影を行うようにしている。
Further, for example, according to the video display system described in
しかしながら、特許文献1に記載のカメラ制御システムでは、撮影している被写体の位置に応じてカメラのフレーミング位置を変更して対処するため、入力映像が映画などの固定の映像である場合には、対応ができない。また、被写体が動く場合はカメラのフレーミング位置が頻繁あるいは連続的に変化するため、表示画像が著しく見づらくなってしまう。
However, in the camera control system described in
また、特許文献2に記載の映像表示システムでは、表示映像の中央部以外に被写体が存在する場合には、被写体を高解像度にすることができない。特に、映画やTVドラマなどの映像においては、オブジェクト(被写体)が画面の周囲に存在する場面(シーン)も多い。したがって、このようなシーンを含む映像が入力された場合に、被写体と重畳領域とが重なってしまうことも頻繁に発生し、映像が見にくくなってしまう。
Further, in the video display system described in
本発明は前述の問題点に鑑み、マルチプロジェクションシステムにより複数の画像を並べて投影する際に、任意の全体画像において被写体が不鮮明になることを防止できるようにすることを目的としている。 In view of the above-described problems, an object of the present invention is to prevent a subject from being blurred in an arbitrary entire image when a plurality of images are projected side by side by a multi-projection system.
本発明の画像処理装置は、投影領域の一部が重複する第1の投影装置と第2の投影装置とを含む複数の投影装置に画像を投影させる画像処理装置であって、前記入力画像からオブジェクトを検出する検出手段と、前記入力画像において、前記第1の投影装置の投影領域に、前記検出手段が検出した前記オブジェクトの全体が含まれ、且つ、前記第1の投影装置と前記第2の投影装置との投影領域の重複領域に、前記オブジェクトの一部が含まれ、且つ、前記第2の投影装置の投影領域のうち前記第1の投影装置の投影領域と重複しない投影領域に前記オブジェクトが含まれない場合、前記第1の投影装置が投影する第1の投影画像に前記オブジェクトが含まれ、前記第2の投影装置が投影する第2の投影画像に前記オブジェクトが含まれないように、前記第1の投影画像及び前記第2の投影画像を含む複数の投影画像を、前記入力画像における前記オブジェクトの位置に基づいて生成する生成手段と、前記生成手段により生成された前記複数の投影画像を前記複数の投影装置へ出力する出力手段とを有することを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that projects an image onto a plurality of projection apparatuses including a first projection apparatus and a second projection apparatus that overlap with a part of a projection area , and the image processing apparatus includes: In the detection means for detecting an object, and in the input image, the projection area of the first projection device includes the whole of the object detected by the detection means, and the first projection device and the second projection device. The overlapping region of the projection region with the projection device includes a part of the object, and the projection region of the second projection device includes a projection region that does not overlap with the projection region of the first projection device. When no object is included, the object is included in the first projection image projected by the first projection device, and the object is not included in the second projection image projected by the second projection device. As described above, a generation unit that generates a plurality of projection images including the first projection image and the second projection image based on the position of the object in the input image, and the plurality of generation units generated by the generation unit Output means for outputting a projection image to the plurality of projection devices.
本発明によれば、オブジェクトの位置、個数、及び動作状態にかかわらず、オブジェクトを避けた位置に重畳領域を配置することができる。これにより、映像の鑑賞者がタイリング投影よる映像を鑑賞する際に重畳領域を目立たなくしたマルチプロジェクションシステムを提供することができる。 According to the present invention, it is possible to arrange the overlapping region at a position avoiding the object regardless of the position, the number, and the motion state of the object. Accordingly, it is possible to provide a multi-projection system in which a superimposed area is not conspicuous when an image viewer appreciates an image by tiling projection.
(第1の実施形態)
以下、添付図面を参照しながら、本発明の実施形態に係るマルチプロジェクションシステムについて説明する。具体的には、タイル状に並べて投影(以下、タイリング投影)する際に、入力された映像内のオブジェクトに応じて重畳領域の位置や幅を動的に変更するタイリング投影システムの好適な実施形態について説明する。
(First embodiment)
Hereinafter, a multi-projection system according to an embodiment of the present invention will be described with reference to the accompanying drawings. Specifically, it is suitable for a tiling projection system that dynamically changes the position and width of a superimposition region according to an object in an input video when projecting in tiles (hereinafter referred to as tiling projection). Embodiments will be described.
図1は、本実施形態の画像投影システムの全体構成例を示す図である。
図1に示すように、本実施形態に係る画像投影システムは、映像サーバ1と、映像サーバ1に接続された4台のプロジェクタ2a〜2dと、投影された映像を表示するためのスクリーン3とから構成されている。
FIG. 1 is a diagram showing an example of the overall configuration of the image projection system of the present embodiment.
As shown in FIG. 1, the image projection system according to this embodiment includes a
映像サーバ1は画像処理装置として機能し、入力映像に対して重畳領域を算出し、タイリング投影を行うためのタイル映像を生成して4台のプロジェクタ2a〜2dへ出力する。また、映像サーバ1は、本実施形態に係る画像投影システム全体の動作も管理する。4台のプロジェクタ2a〜2dは、スクリーン3において横縦のサイズが2×2の構成からなるタイリング投影により、映像を形成するように設置されている。ここで、各プロジェクタ2a〜2dの投影領域4a〜4dは、図1に示すように隣り合う投影領域が、例えば、個々の投影領域の横縦のサイズの30〜40%程度の重なり領域(オーバーラップ領域)5を有するようにする。
The
図2は、本実施形態の画像投影システムにおける映像サーバ1の内部構成例を示すブロック図である。
図2において、映像サーバ1は、コマンド入力部12、投影領域記憶部13、映像入力部14、オブジェクト設定部15、重畳領域算出部16、画像生成部17、映像出力部18、表示部19、及びシステム制御部11を備えている。そして、これらの各構成を接続するために不図示のバスを備えている。
FIG. 2 is a block diagram illustrating an internal configuration example of the
In FIG. 2, the
コマンド入力部12はボタンなどのインターフェイスからなり、システムの管理者(ユーザ)の各種指示を、バスを介してシステム制御部11へ出力する。投影領域記憶部13は、スクリーン3上における横縦のタイリング構成、全体の投影領域の横縦のサイズ、各プロジェクタの投影領域の横縦のサイズ、及びオーバーラップ領域5の横縦のサイズなどの情報を記憶する。映像入力部14は、投影する全体映像の映像データを入力するためのインターフェイスである。映像入力部14には、ビデオケーブル、LANなどの映像伝達経路やUSB等の外部ストレージが接続され、それらを介して映像データを受信し、オブジェクト設定部15へ出力する。なお、映像入力部14は、静止画像及び動画像のいずれのタイプの映像データも入力することができる。
The
オブジェクト設定部15は、入力された映像データから画像解析によりオブジェクト情報を取得する。なお、動画像の場合は、フレームごとにオブジェクト情報を取得する。つまり、入力された映像データから、顔認証などによりオブジェクトを検出し、映像中に存在する1つ以上の人物や物体などのオブジェクトの領域を算出する。そして、これらの情報を重畳領域算出部16に出力する。重畳領域算出部16は、オブジェクト設定部15から入力されたオブジェクト領域情報と、投影領域記憶部13に記憶されているオーバーラップ領域5の情報とを元に、入力された映像に対して適切な領域分割を行う。そして、後述する投影領域占有度テーブルを用いて、オーバーラップ領域5における重畳領域を算出する。
The
画像生成部17は、重畳領域算出部16において算出した重畳領域に基づき、入力された映像内のそれぞれの投影領域4a〜4dの対応した部分に対して適切にクロッピングを施す。そして、それぞれのプロジェクタ2a〜2d用の4個のタイル画像を生成する。映像出力部18は、当該生成したタイル画像を、それぞれのプロジェクタ2a〜2dへ出力するためのものである。システム制御部11は、不図示のRAMに記憶されている画像投影システムのアプリケーションプログラムに基づいて自ら演算処理等を行い、あるいは上述した各構成要素を制御し、システムを機能させる。表示部19は、映像サーバ1において各種設定等を行うための画面など、タイリング投影に必要な画面を表示するためのものである。
The image generation unit 17 appropriately crops corresponding portions of the
次に、図3及び図4を参照しながら、本実施形態の画像投影システムの処理の流れについて説明する。図3は、本実施形態において、映像をタイリング投影する処理手順の一例を示すフローチャートである。
システムの管理者がコマンド入力部12を操作することにより、映像サーバ1に対して処理開始の命令を与える。すると、システム制御部11が不図示の記憶装置に格納されているシステム制御用のプログラムを不図示のRAM上で展開し、表示部19の画面上に必要な情報を提示し、処理を開始する。
Next, the flow of processing of the image projection system of this embodiment will be described with reference to FIGS. 3 and 4. FIG. 3 is a flowchart showing an example of a processing procedure for tiling projection of an image in the present embodiment.
A system administrator operates the
まず、ステップS301において、システム制御部11は、表示部19の画面上に必要な情報を提示して、図1における投影領域4a〜4dの関連したデータを入力するよう促す。本実施形態では、システムの管理者がコマンド入力部12から、以下のデータを入力したものとして説明する。
・タイリング構成(横×縦):2×2
・投影領域全体のサイズ(Tx、Ty):8.0m、6.0m
・各プロジェクタの投影領域サイズ(Px、Py):5.0m、3.75m
・オーバーラップ領域5のサイズ(Sx、Sy):2.0m、1.0m
First, in step S301, the
-Tiling configuration (horizontal x vertical): 2 x 2
-Projection area size (Tx, Ty): 8.0m, 6.0m
Projection area size (Px, Py) of each projector: 5.0 m, 3.75 m
-Size of overlap region 5 (Sx, Sy): 2.0 m, 1.0 m
なお、本実施形態においては、4つのプロジェクタ2a〜2dの投影領域のサイズは同じであるものとする。また、本実施形態においては、投影領域のデータをシステムの管理者が入力しているが、4つのプロジェクタ2a〜2dから各々異なるテストパターンを投影し、このテストパターンを撮影した画像を解析して上記のデータを入力するようにしてもよい。
In the present embodiment, the projection areas of the four
そして、ステップS302において、システム制御部11は、映像入力部14を介して映像データを入力する。本実施形態では、例えば図5(a)に示すような全体画像501を取得するものとして説明する。次に、ステップS303において、システム制御部11の制御によりオブジェクト設定部15は、入力された映像に対して、例えば、顔認識などの識別処理を行い、N個のオブジェクト(被写体)の領域及び位置を抽出する。図5(a)に示す例では、全体画像501において5個のオブジェクト領域503を抽出することになる。なお、当該抽出したそれぞれのオブジェクト領域503に対しては、便宜上、図5(a)に示すように、画像の左側から順にインデックスが付与されて管理されるものとする。また、オブジェクト領域503を算出する方法としては、公知のいかなる抽出アルゴリズムを用いてよいため、説明を省略する。次に、ステップS304において、システム制御部11の制御により重畳領域算出部16は、重畳領域算出処理を実行する。
In step S <b> 302, the
図4は、ステップS304における重畳領域算出処理の詳細な手順の一例を示すフローチャートである。なお、図4に示す各処理は、システム制御部11の制御により重畳領域算出部16が行うものである。
まず、ステップS401において、各オブジェクト領域503を基準として、入力された全体画像501に対して領域分割を行う。例えば、図5(a)に示すように、抽出したオブジェクト領域503の例えば重心などの基準点を母点としたボロノイ領域504に分割する。
FIG. 4 is a flowchart illustrating an example of a detailed procedure of the overlapping area calculation process in step S304. Each process shown in FIG. 4 is performed by the superimposition
First, in step S401, the input whole image 501 is divided into regions using each
ここで、ボロノイ(Voronoi)領域とは、ある距離空間上の任意の位置に配置された複数個の点(母点)に対して、同一距離空間上の他の点がどの母点に近いかによって分けされた領域のことである。つまり、距離空間内の有限部分集合P={p1,p2,・・・pn}及び距離関数dに対して、
V(pi)={p|d(p,pi)≦d(p,pj),j≠i}
で構成される領域V(pi)のことを指す。図5(a)に示す例では、N=5であるため、ボロノイ境界505により5つのボロノイ領域504に分割される。
Here, a Voronoi region is a set of points close to other points on the same metric space with respect to multiple points (base points) placed at arbitrary positions on a metric space. It is the area divided by. That is, for a finite subset P = {p 1 , p 2 ,... P n } in the metric space and the distance function d,
V (p i ) = {p | d (p, p i ) ≦ d (p, p j ), j ≠ i}
Is a region V ( pi ) composed of In the example shown in FIG. 5A, since N = 5, the Voronoi boundary 505 is divided into five Voronoi regions 504.
次に、ステップS402において、例えば図6(a)に示すように、ステップS303で抽出されたそれぞれのオブジェクト領域503が各投影領域にどの程度の割合(%)で含まれているかを示す投影領域占有度テーブル601を作成する。図6(a)においては、各オブジェクトの最大占有度(100%)の投影領域のセルは丸印602で示している。以下、このような投影領域を優先投影領域と定義する。ここで、最大占有度の投影領域が複数ある場合は、各オブジェクトのボロノイ領域504との共通部分の面積が最大の投影領域のセルを優先投影領域とする。
Next, in step S402, for example, as shown in FIG. 6A, the projection area indicating how much (%) each
次に、ステップS403において、カウンターiを1に初期化する。そして、ステップS404において、カウンターiがオブジェクト数N以内であるかどうかを判断する。この判断の結果、オブジェクト数N以内である場合は、次のステップS405に進む。 Next, in step S403, the counter i is initialized to 1. In step S404, it is determined whether the counter i is within the number N of objects. If it is determined that the number of objects is within N, the process proceeds to the next step S405.
そして、ステップS405において、投影領域占有度テーブル601と投影領域の境界502とに基づき、i番目のボロノイ領域の内部領域分割と投影領域割当とを行う。ここで、内部領域分割とは、1つのボロノイ領域の中で、投影領域の境界502により領域を分割する処理である。また、投影領域割当とは、図5(b)に示すように、分割領域に対して、投影領域4a〜4dに対応した"A"、"B"、"C"、"D"のいずれかのラベル506を付与する処理である。
In step S405, based on the projection area occupancy table 601 and the
ラベルを付与する処理は次のように行う。まず、i番目のボロノイ領域を包含する投影領域がある場合は、i番目のオブジェクトの優先投影領域のラベル506を、当該ボロノイ領域の全体に付与する。一方、そのような投影領域がない場合、i番目のオブジェクトの優先投影領域の境界で、当該ボロノイ領域を内部分割し、各分割領域に適切なラベル506を付与する。例えば、2番目のオブジェクトのボロノイ領域を包含する投影領域は存在しない。したがって、2番目のオブジェクトの優先投影領域である「投影領域4a」の境界で当該ボロノイ領域を内部分割し、分割領域に対し、図5(b)に示すように"A"と"C"のラベル506を付与する。
The process of assigning labels is performed as follows. First, when there is a projection area including the i-th Voronoi area, a label 506 of the priority projection area of the i-th object is assigned to the entire Voronoi area. On the other hand, when there is no such projection area, the Voronoi area is internally divided at the boundary of the priority projection area of the i-th object, and an appropriate label 506 is given to each divided area. For example, there is no projection area that includes the Voronoi area of the second object. Therefore, the Voronoi region is internally divided at the boundary of “
次に、ステップS406において、iを1インクリメントし、ステップS404に戻る。一方、ステップS404の判断の結果、カウンターiがオブジェクト数N以内で無い場合は、ステップS407に進む。そして、同じラベルが付与された領域をグルーピングし、例えば図5(b)に示すように、各グループの境界に適切な幅dを持った重畳領域507を設定する。以上により、ステップS304の重畳領域算出処理を終了する。 Next, in step S406, i is incremented by 1, and the process returns to step S404. On the other hand, if the result of determination in step S404 is that the counter i is not within the number N of objects, the process proceeds to step S407. Then, the regions with the same label are grouped, and, for example, as shown in FIG. 5B, an overlapping region 507 having an appropriate width d is set at the boundary of each group. Thus, the overlapping area calculation process in step S304 ends.
図3の説明に戻り、次に、ステップS305において、システム制御部11の制御により画像生成部17は、タイル画像を生成する。図5(b)に示す例では、まず、入力された全体画像501を4つの投影領域4a〜4dに対応した部分にトリミングし、4個の部分画像を求める。次に、各部分画像に対してステップS304で求めた重畳領域に基づいてクロッピングを施し、図5(c)に示すような各プロジェクタ用のタイル画像510a〜510dを算出する。ここで、クロッピングとは、画像における不要部分の画素に最低輝度である黒のデータ(例えば(R,G,B)=(0,0,0))をセット(付加)する処理である。
Returning to the description of FIG. 3, next, in step S <b> 305, the image generation unit 17 generates a tile image under the control of the
そして、ステップS306において、システム制御部11の制御により映像出力部18は、タイル画像510a〜510dをそれぞれ、4つのプロジェクタ2a〜2dを介してスクリーン3上へ投影する。この結果、スクリーン3上には、入力された全体画像を2×2分割でタイリング投影された映像が形成される。この際、投影された映像のオーバーラップ領域5内部の重畳領域ではそれぞれのタイル画像が一致するように投影される。
In step S306, the
一方、オーバーラップ領域5における重畳領域以外の部分では、黒の画像が他の黒でないタイル画像と重なるが、全体画像の輝度が十分に高く、黒画像側の黒浮きは無視できる。なお、本実施形態では、重畳領域507内部の位置・色・輝度などの補正については特に言及しないが、公知の補正アルゴリズムを用いて補正処理を施してもよい。これにより、さらに表示画像における違和感を軽減することができる。
On the other hand, in a portion other than the overlapping region in the
[他の入力画像の場合]
次に、図3のステップS302において、例えば図7(a)に示すように、映像入力部14がある程度大きいオブジェクトが映っている全体画像701を入力した場合について説明する。次のステップS303においては、図7(a)に示すようなオブジェクト領域703が抽出され、ステップS304の重畳領域算出部16が実行する重畳領域算出処理では、以下のように行われる。
[For other input images]
Next, a case will be described where, in step S302 of FIG. 3, for example, as shown in FIG. 7A, the
まず、ステップS401では、抽出した各オブジェクト領域の重心などの基準点を母点として、ボロノイ境界705によりボロノイ領域704にボロノイ分割する。次に、ステップS402では、抽出されたオブジェクト領域703を用いて、全体画像701の図6(b)に示すような投影領域占有度テーブル611を作成する。ただし、図8(b)に示す例では、3番目のオブジェクトに関しては、100%の占有度を有する投影領域が存在しない。そこで、図6(b)では、最も占有度の高いものを丸印612で示している。
First, in step S401, Voronoi is divided into Voronoi regions 704 by Voronoi boundaries 705 using a reference point such as the center of gravity of each extracted object region as a base point. Next, in step S402, a projection area occupancy table 611 as shown in FIG. 6B of the entire image 701 is created using the extracted
ステップS405では、投影領域占有度テーブル611と投影領域の境界702とに基づいて、i番目のボロノイ領域の内部領域分割と投影領域割当とを行う。例えば、2番目のオブジェクトにおいては、2番目のボロノイ領域全体が投影領域4aに包含される。したがって、図7(b)に示すように、この優先投影領域である投影領域4aを表す"A"のラベル706を、2番目のボロノイ領域全体へ付与する。一方、3番目のボロノイ領域の場合は、3番目のオブジェクト全体を包含する投影領域は存在しない。したがって、図6(b)の丸印612に示した優先投影領域である投影領域4bの境界で内部分割し、3番目のオブジェクトを含む各分割領域に対し"B"及び"D"のラベル706を付与する。
In step S405, based on the projection area occupancy table 611 and the
そして、同じラベルが付与された領域の集合同士をグルーピングして各グループの境界に適切な幅dを持った重畳領域707を設定し、図7(c)に示すようなタイル画像710a〜710dが生成される。
Then, a set of overlapping regions 707 having an appropriate width d is set at the boundary of each group by grouping a set of regions with the same label, and
以上のような処理により、1番目のオブジェクト及び2番目のオブジェクトを避けた位置に重畳領域が配置される。一方、3番目のオブジェクトの領域はオーバーラップ領域5をまたいでいるため、3番目のオブジェクトの領域上に重畳領域が配置される。しかしながら、優先投影領域である投影領域4bにこの3番目のオブジェクトの広範囲が含まれるように投影されるので、鑑賞者にとっての違和感を低減したタイリング投影を実現することができる。
By the processing as described above, the overlapping area is arranged at a position avoiding the first object and the second object. On the other hand, since the area of the third object straddles the
また、全体画像が静止画像と動画像のいずれの場合も、同様の効果を得ることができ、入力される全体画像が映像ソフトのような固定の映像であっても、リアルタイムに内容が制御可能な映像であっても同様の効果を得ることができる。さらには、重畳領域が目立たない位置に配置されるため、重畳領域の内部に対して厳密に補正処理を加えることを不要にすることができる。 In addition, the same effect can be obtained when the entire image is a still image or a moving image, and the contents can be controlled in real time even if the input entire image is a fixed image such as video software. The same effect can be obtained even with simple images. Furthermore, since the superimposed region is arranged at a position where it is not conspicuous, it is possible to eliminate the need for strictly applying correction processing to the inside of the superimposed region.
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。本実施形態の画像投影システム全体の構成は図1と同様であるため、その説明は省略する。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described. Since the overall configuration of the image projection system of this embodiment is the same as that shown in FIG. 1, the description thereof is omitted.
図8は、本実施形態における映像サーバ1の内部構成例を示すブロック図である。本実施形態においては、優先順位設定部20が追加されている点が図2と異なっており、その他の構成は図2と同様である。したがって、図2と共通する構成については説明を省略する。
優先順位設定部20は、オブジェクト設定部15が抽出した複数のオブジェクト領域に対する優先順位を設定するためのものである。
FIG. 8 is a block diagram illustrating an internal configuration example of the
The priority
次に、本実施形態の画像投影システムの処理について説明する。なお、映像をタイリング投影する処理手順は第1の実施形態で説明した図3と同様であるため、その詳細な説明は省略する。以下、図9及び図10を参照しながら、本実施形態のタイリング投影システムにおける重畳領域を算出する処理について説明する。本実施形態では、第1の実施形態と同様に、図10(a)に示すような全体画像1001を取得し、顔認識などの識別処理によりオブジェクト領域1003を抽出したものとして説明する。
Next, processing of the image projection system of this embodiment will be described. Note that the processing procedure for tiling projection of an image is the same as that in FIG. 3 described in the first embodiment, and thus detailed description thereof is omitted. Hereinafter, the process of calculating the overlapping region in the tiling projection system of this embodiment will be described with reference to FIGS. 9 and 10. In the present embodiment, as in the first embodiment, it is assumed that an entire image 1001 as shown in FIG. 10A is acquired and the
図9は、ステップS304における重畳領域算出処理の詳細な手順の一例を示すフローチャートである。なお、ステップS902を除く図9に示す各処理は、システム制御部11の制御により重畳領域算出部16が行うものである。
まず、ステップS901において、抽出した各オブジェクト領域の重心などの基準点を母点として、ボロノイ境界1005によりボロノイ領域1004にボロノイ分割を行う。次に、ステップS902において、重畳領域算出部16の指示により優先順位設定部20は、抽出したオブジェクトの優先順位を設定する。以下の説明では、例えば、次のようなオブジェクトの優先順位が設定されたものとする。
4番目>1番目>2番目>5番目>3番目
FIG. 9 is a flowchart illustrating an example of a detailed procedure of the overlapping area calculation process in step S304. Note that each process shown in FIG. 9 except for step S <b> 902 is performed by the superimposed
First, in step S901, Voronoi division is performed on the Voronoi region 1004 by the Voronoi boundary 1005 using a reference point such as the center of gravity of each extracted object region as a generating point. Next, in step S <b> 902, the priority
4th>1st>2nd>5th> 3rd
優先順位の設定方法としては、任意のアルゴリズムが採用できるものとする。例えば、抽出したオブジェクト領域の面積に応じて優先順位を設定してもよく、当該オブジェクトのピントが合っているかどうかなどのフォーカス情報を基本として優先順位を決定してもよい。また、映像データの付帯情報(メタ情報)に記録された優先順位情報に基づいて設定してもよい。さらには、本実施形態の画像投影システムをビデオ会議システムに適用する場合には、映像中の注目オブジェクト(「話者」、「前話者」、「ホワイトボード」など)を優先順位の上位にし、他のオブジェクトを下位に設定するようにしてもよい。 An arbitrary algorithm can be adopted as a method for setting the priority order. For example, the priority order may be set according to the area of the extracted object region, or the priority order may be determined based on focus information such as whether or not the object is in focus. Further, it may be set based on the priority information recorded in the incidental information (meta information) of the video data. Furthermore, when the image projection system of the present embodiment is applied to a video conference system, the object of interest (“speaker”, “pre-speaker”, “whiteboard”, etc.) in the video is given higher priority. Other objects may be set at a lower level.
次に、ステップS903において、抽出したオブジェクト領域1003に基づき、図6(c)に示すような投影領域占有度テーブル621を作成する。本実施形態では、投影領域占有度テーブル621における各オブジェクトの丸印623に示す優先投影領域は、オブジェクトの優先順位622を用いて決定される。
Next, in step S903, a projection area occupancy table 621 as shown in FIG. 6C is created based on the extracted
例えば、優先順位622が1位の4番目のオブジェクトについては、そのボロノイ領域との共通部分の面積が最大の投影領域4bを優先投影領域とする。一方、優先順位が2位以下の各オブジェクトについては、最大占有度の投影領域が複数あり、かつ、優先順位622が上位であるオブジェクトの優先投影領域の中に一致するものがある場合、その投影領域を当該オブジェクトの優先投影領域とする。なおこの処理は、優先順位が下位のオブジェクトの優先投影領域をなるべく上位のオブジェクトの当該優先投影領域に揃えることを目的としている。この処理とステップS906のラベル付け処理との組み合わせにより、上位のオブジェクトの優先投影領域のラベル1006がより多くなる。そして、ステップS904〜S908では、図4のステップS404〜S408と同様の処理により重畳領域1007を算出する。
For example, for the fourth object with the
図10(b)に示す例では、3番目のオブジェクトのボロノイ領域については、当該ボロノイ領域を全て包含する投影領域は存在しない。したがって、ステップS906では、当該3番目のオブジェクトの優先投影領域である投影領域4bの境界1002で、当該ボロノイ領域を内部分割し、各分割領域へ"B"、"A"、"C"のラベル1006を付与する。その結果、ステップS305では、図10(c)に示すような4つのタイル画像1010a〜1010dが生成される。
In the example shown in FIG. 10B, for the Voronoi region of the third object, there is no projection region that includes all the Voronoi regions. Accordingly, in step S906, the Voronoi region is internally divided at the
以上のように本実施形態によれば、優先順位が上位のオブジェクトの周囲が単一のプロジェクタを介してより広く投影されるようになる。このため、投影された映像における違和感をさらに軽減することができる。 As described above, according to this embodiment, the periphery of an object with higher priority is projected more widely through a single projector. For this reason, the uncomfortable feeling in the projected image can be further reduced.
(その他の実施形態)
以上の実施形態では、全体画像に存在する"人物"をオブジェクトとして抽出する場合の実施形態について示したが、本発明はそれに限らない。例えば、プレゼンテーション資料の画像を入力し、当該資料を構成する"文字や単語、あるいは文章"や"図表"などをオブジェクトとして抽出した場合も同様の効果が得られる。さらには、関連のあるオブジェクト同士のまとまり(グループ)を1つのオブジェクトの単位として、本発明を適応しても同様の効果が得られる。
(Other embodiments)
In the above embodiments, the “person” existing in the entire image is extracted as an object. However, the present invention is not limited to this. For example, the same effect can be obtained when an image of a presentation material is input and “characters, words, sentences”, “tables”, and the like constituting the material are extracted as objects. Furthermore, even if the present invention is applied to a group (group) of related objects as one object unit, the same effect can be obtained.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
15 オブジェクト設定部、16 重畳領域算出部、17 画像生成部、18 映像出力部 15 Object setting unit, 16 Superimposition area calculation unit, 17 Image generation unit, 18 Video output unit
Claims (11)
前記入力画像からオブジェクトを検出する検出手段と、Detecting means for detecting an object from the input image;
前記入力画像において、前記第1の投影装置の投影領域に、前記検出手段が検出した前記オブジェクトの全体が含まれ、且つ、前記第1の投影装置と前記第2の投影装置との投影領域の重複領域に、前記オブジェクトの一部が含まれ、且つ、前記第2の投影装置の投影領域のうち前記第1の投影装置の投影領域と重複しない投影領域に前記オブジェクトが含まれない場合、前記第1の投影装置が投影する第1の投影画像に前記オブジェクトが含まれ、前記第2の投影装置が投影する第2の投影画像に前記オブジェクトが含まれないように、前記第1の投影画像及び前記第2の投影画像を含む複数の投影画像を、前記入力画像における前記オブジェクトの位置に基づいて生成する生成手段と、In the input image, the projection area of the first projection device includes the whole of the object detected by the detection unit, and the projection area of the first projection device and the second projection device. When the overlapping area includes a part of the object and the object is not included in a projection area of the second projection apparatus that does not overlap with the projection area of the first projection apparatus, The first projection image so that the first projection image projected by the first projection device includes the object, and the second projection image projected by the second projection device does not include the object. And generating means for generating a plurality of projection images including the second projection image based on the position of the object in the input image;
前記生成手段により生成された前記複数の投影画像を前記複数の投影装置へ出力する出力手段とを有することを特徴とする画像処理装置。An image processing apparatus comprising: output means for outputting the plurality of projection images generated by the generation means to the plurality of projection apparatuses.
前記検出手段は、前記画像フレームごとに、前記オブジェクトの検出を行うことを特徴とする請求項1に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the detection unit detects the object for each image frame.
前記検出手段により検出された複数のオブジェクトに対応する複数の座標が前記特定手段により特定された場合、前記複数の座標のうちの第1の座標からの距離と、前記複数の座標のうちの前記第1の座標からの距離上の点から最も近い第2の座標からの距離とが等しい前記入力画像内の座標に基づいて前記入力画像の境界を判別する判別手段とを有し、When a plurality of coordinates corresponding to a plurality of objects detected by the detecting means are specified by the specifying means, a distance from a first coordinate of the plurality of coordinates and the coordinates of the plurality of coordinates Determining means for determining a boundary of the input image based on coordinates in the input image that are equal to a distance from a second coordinate closest to a point on a distance from the first coordinate;
前記生成手段は、前記判別手段により判別された前記境界と、前記複数の投影装置のそれぞれの投影領域とに基づいて、前記複数の投影画像を生成することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。4. The generation unit according to claim 1, wherein the generation unit generates the plurality of projection images based on the boundaries determined by the determination unit and the projection areas of the plurality of projection apparatuses. The image processing apparatus according to any one of the above.
前記入力画像において、前記第1の投影装置の投影領域と、前記第2の投影装置の投影領域のうち前記第1の投影装置の投影領域と重複しない投影領域とに跨っているオブジェクトが前記検出手段により検出され、且つ、前記オブジェクトの面積に対する前記第1の投影装置の投影領域に含まれている前記オブジェクトの面積の割合が、前記オブジェクトの面積に対する前記第2の投影装置の撮影領域に含まれている前記オブジェクトの面積の割合よりも高い場合、前記生成手段は、前記第1の投影装置及び前記第2の投影装置の投影領域の重複領域における前記第1の投影装置による前記オブジェクトの投影領域が、前記重複領域における前記第2の投影装置による前記オブジェクトの投影領域よりも大きくなるように前記複数の投影画像を生成することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。In the input image, an object straddling a projection area of the first projection apparatus and a projection area of the projection area of the second projection apparatus that does not overlap with the projection area of the first projection apparatus is detected. The ratio of the area of the object detected by the means and included in the projection area of the first projection apparatus with respect to the area of the object is included in the imaging area of the second projection apparatus with respect to the area of the object. The generation means projects the object by the first projection device in an overlapping region of the projection regions of the first projection device and the second projection device. The plurality of projection images so that an area is larger than a projection area of the object by the second projection device in the overlapping area. The image processing apparatus according to any one of claims 1 to 5, characterized in that to generate.
前記生成手段は、前記複数のオブジェクトのそれぞれの優先順位に基づいて前記複数の投影画像を生成することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the generation unit generates the plurality of projection images based on respective priorities of the plurality of objects.
前記入力画像からオブジェクトを検出する検出工程と、A detection step of detecting an object from the input image;
前記入力画像において、前記第1の投影装置の投影領域に、前記検出工程において検出した前記オブジェクトの全体が含まれ、且つ、前記第1の投影装置と前記第2の投影装置との投影領域の重複領域に、前記オブジェクトの一部が含まれ、且つ、前記第2の投影装置の投影領域のうち前記第1の投影装置の投影領域と重複しない投影領域に前記オブジェクトが含まれない場合、前記第1の投影装置が投影する第1の投影画像に前記オブジェクトが含まれ、前記第2の投影装置が投影する第2の投影画像に前記オブジェクトが含まれないように、前記第1の投影画像及び前記第2の投影画像を含む複数の投影画像を、前記入力画像における前記オブジェクトの位置に基づいて生成する生成工程と、In the input image, the projection area of the first projection device includes the whole of the object detected in the detection step, and the projection area of the first projection device and the second projection device. When the overlapping area includes a part of the object and the object is not included in a projection area of the second projection apparatus that does not overlap with the projection area of the first projection apparatus, The first projection image so that the first projection image projected by the first projection device includes the object, and the second projection image projected by the second projection device does not include the object. And generating a plurality of projection images including the second projection image based on the position of the object in the input image;
前記生成工程において生成された前記複数の投影画像を前記複数の投影装置へ出力する出力工程とを有することを特徴とする画像処理方法。An image processing method comprising: an output step of outputting the plurality of projection images generated in the generation step to the plurality of projection devices.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010093311A JP5645448B2 (en) | 2010-04-14 | 2010-04-14 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010093311A JP5645448B2 (en) | 2010-04-14 | 2010-04-14 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011221455A JP2011221455A (en) | 2011-11-04 |
JP5645448B2 true JP5645448B2 (en) | 2014-12-24 |
Family
ID=45038474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010093311A Expired - Fee Related JP5645448B2 (en) | 2010-04-14 | 2010-04-14 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5645448B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6237028B2 (en) * | 2013-09-17 | 2017-11-29 | 株式会社リコー | Projection apparatus, projection method, and information processing system |
JP6429467B2 (en) * | 2014-03-06 | 2018-11-28 | 三菱電機株式会社 | Multi-large screen display system, display terminal and distribution server |
JP6915597B2 (en) | 2018-08-29 | 2021-08-04 | セイコーエプソン株式会社 | Controls, multi-projection systems, and control methods for controls |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007079028A (en) * | 2005-09-13 | 2007-03-29 | Canon Inc | Projection type image display apparatus and multi-projection system |
JP2007206356A (en) * | 2006-02-01 | 2007-08-16 | Olympus Corp | Video display system |
JP2009075488A (en) * | 2007-09-24 | 2009-04-09 | Brother Ind Ltd | Projector system |
-
2010
- 2010-04-14 JP JP2010093311A patent/JP5645448B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011221455A (en) | 2011-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6970283B2 (en) | Image stitching method and device, storage medium | |
JP3948489B2 (en) | Luminance filter creation method and virtual space generation system | |
WO2018188499A1 (en) | Image processing method and device, video processing method and device, virtual reality device and storage medium | |
JP6322235B2 (en) | Screening theater parameter management device | |
TWI410132B (en) | Data generation device, data generation method and program product | |
CN106605195B (en) | Communication apparatus and control method of communication apparatus | |
CN105898138A (en) | Panoramic video play method and device | |
US11562717B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US20130328918A1 (en) | Image processing device, image processing method, and program | |
JP2009251141A (en) | Stereoscopic image display | |
JP6170629B2 (en) | Method and apparatus for normalizing content size in multi-screen theater and computer-readable recording medium | |
CN105898338A (en) | Panorama video play method and device | |
JP5787644B2 (en) | Image processing apparatus and image processing apparatus control method | |
JP5645448B2 (en) | Image processing apparatus, image processing method, and program | |
JP2019146155A (en) | Image processing device, image processing method, and program | |
CN111913343B (en) | Panoramic image display method and device | |
JP2007323093A (en) | Display device for virtual environment experience | |
JP2012113244A (en) | Image processor, image processing method and program | |
CN113938752A (en) | Processing method and device | |
KR101539038B1 (en) | Hole-filling method for depth map obtained from multiple depth camera | |
WO2019163449A1 (en) | Image processing apparatus, image processing method and program | |
US20210297649A1 (en) | Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method | |
JP6347604B2 (en) | Image projection apparatus, image projection method and program | |
JP2019146010A (en) | Image processing device, image processing method, and program | |
TWI552606B (en) | Image processing device and its projection image fusion method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141104 |
|
LAPS | Cancellation because of no payment of annual fees |