JP2014232918A - 画像合成装置 - Google Patents

Abstract

【課題】本発明は、入力映像から視聴する映像情報としては有益でない部分を取り除いて、多画面表示することができる画像合成装置の提供を目的とする。
【解決手段】画像合成装置１００は、第１の映像の所定の範囲を切り出す映像切出し部３と、第１の映像と、映像切出し部３にて切り出された映像のどちらかを選択する映像切替部４と、映像切替部４にて選択された映像を拡大縮小する拡大縮小部５と、第２の映像と、拡大縮小部５にて拡大縮小された映像とを重畳する合成部６と、映像情報検出部８と、を備え、映像情報検出部８は、第１の映像に基づく映像の所定の監視領域について、背景色の画素数をカウントするカウント部８１と、カウントした背景色の画素数に基づいて、第１の映像が縦向きの映像か横向きの映像かを判定する判定部８２とを備え、映像切替部４は、判定部８２の判定に基づいて映像の選択を行う。
【選択図】図１

Description

本発明は画像合成装置に関し、特に視聴者にとって有益でない部分を取り除いた複数の画像を合成して出力する画像合成装置に関する。

近年のテレビ表示装置やディスプレイモニターといった画像表示装置は、複数の映像入力端子を持つものが多い。加えて画像表示装置自体の画面の大型化、高解像度化に伴い、これら複数の映像信号、あるいは受信した放送映像を、同一画面内に多画面表示する機能を持っている。

多画面表示機能については、画像表示装置の映像表示領域を出来るだけ有効に利用する手法が各種考案されている。

例えば、特許文献１では、複数の入力画像信号に対して、それぞれのアスペクト比と画像信号の縦横方向の信号を検出して、空き領域の余白部分が一番少なくなるように入力画像のレイアウトを決定する。具体的には、それぞれの入力画像の面積を調整し、あるいは入力画像を回転させて、モニタ画面上に多画面表示する。アスペクト比と縦横方向の情報は、映像送信元から（特許文献１の場合は、複数の監視カメラから）、画像表示装置に対して送信される。

また、特許文献２の映像表示制御装置は、画像処理を行うビデオメモリ部のコストアップを抑え、且つ、アスペクト比の異なる複数の映像表示機器に対して、適合する映像を合成、出力することを可能としている。

これらの従来例では、複数の入力信号をひとつの画面に多画面表示する際に、できるだけ画面を有効利用して多画面表示するように、入力映像信号の信号フォーマットの情報を利用している。例えば、入力映像信号が１９２０×１０８０の解像度であれば、アスペクト比は１６：９と判別し、また、入力映像信号が６４０×４８０の解像度であればアスペクト比は４：３と判別する。判別されたアスペクト比に応じて、多画面表示のための処理を行っている。つまり入力映像コンテンツの内容は特に考慮せず入力映像信号の周波数や解像度の情報を基に多画面表示処理を行っている。

ところで、近年スマートフォンやタブレット端末といった携帯端末が急速に普及してきている。これら端末は携帯性を重視しているため、端末本体の表示画面が小さい。このため、テレビ表示装置のような外部表示機器に接続し、より大きな画面で視聴できるように、外部へ映像を出力する機能を有する携帯端末がある。

これら携帯端末から出力される映像信号の信号フォーマットは、一般的なテレビ表示装置で受信、表示できるような形式で出力されるのが普通である。一般的なテレビ表示装置で受信、表示できる信号フォーマットとしては、具体的には、７２０×４８０、１２８０×７２０、１９２０×１０８０のいずれかの解像度が主に使用される。以降では、解像度１９２０×１０８０の信号を例に説明する。

スマートフォンやタブレット端末などの携帯端末は、横向きと縦向きの両方で操作可能である。携帯端末が横向きで使用されるときには、携帯端末本体の表示部には横向きの映像が表示され、携帯端末が縦向きで使用されるときには、携帯端末本体の表示部には縦向きの映像が表示される。携帯端末本体の表示部が１９２０×１０８０の解像度だとすると、横向き操作時は、使用者は１９２０×１０８０の映像を、縦向き操作時は１０８０×１９２０の映像を見ていることになる。すなわち表示される映像のアスペクト比としては、使用者は横向き操作時は、１６：９のアスペクト比の映像を、縦向き操作時は、９：１６のアスペクト比の映像を見ていることになる。

横向きの映像は１６：９のアスペクト比なので、そのまま外部に出力しても、１６：９のアスペクト比を持つ外部表示機器に表示可能である。縦向きの映像は９：１６のアスペクト比なので、そのままでは一般的な外部表示機器で受信、表示できない。送信側である携帯端末は、外部表示機器が受信できるように映像信号の信号フォーマットを変換し、送出する必要がある。例えば、アスペクト比が１６：９の外部表示機器にアスペクト比９：１６の映像信号を送出する場合は、１６：９のアスペクト比となるように、元の縦長の映像の左右に黒映像を付与し、さらに１９２０×１０８０となるように全体を縮小したうえで送出する。結果として、外部表示機器に映し出される映像の３分の２には、視聴する上で有益でない映像（以下不要映像領域と記述）が存在することとなる。

映像領域のうち３分の２が不要映像領域であるという非効率な状態は、多画面表示時に、より深刻な問題となる。上述の特許文献１、２の技術では、映像信号内の黒映像部分は考慮されないため、これらスマートフォンの縦向きの映像が入力された場合、合成される映像には黒映像部分がそのまま現れる。

ピクチャーアウトピクチャー方式、ピクチャーインピクチャー方式のいずれで多画面表示を行った場合であっても、この問題が発生する。

主画面上に副画面を１つ合成したピクチャーインピクチャーの例を考える。副画面には、携帯端末の縦向き映像としてアスペクト比９：１６の映像が表示されている。前述した様に、副画面内に表示される携帯端末の映像のうち、有効映像部分自体は３分の１と小さく、視認性が悪いうえに、さらには副画面内の不要映像領域によって、該当する領域の主画面の映像が隠れて見えないという別の問題が発生している。副画面の数が増えるほど、さらに不要映像領域が増え、主画面の隠される領域が増えるという問題がある。

副画面全体を拡大することによって副画面内に表示される携帯端末の映像の視認性を上げる手法も考えられるが、不要映像領域も同時に拡大されてしまうため、主画面の映像の隠れる領域が一層増えるという別の問題が生じる。

不要映像領域が映像信号内の大きな領域を占めている入力信号を、効率よく多画面表示するためには、不要映像領域を削除することが最も効果的である。黒映像のような不要映像領域を切り取ることを目的としてはいないが、別の目的として、特定領域だけを切り出す技術が、特許文献３、４に開示されている。

特許文献３によれば、使用者はリモコン操作によって、映像信号の切り出し位置を変更することができる。

また、特許文献４の実施の形態によれば、使用者はリモコン操作によって、まず副画面の対象映像のうち、副画面として表示したい領域を任意に切り出す設定を行う（第１の設定）。さらに使用者はリモコン操作によって、主画面上、どの位置に、どの大きさで副画面を表示させたいかを設定することもできる（第２の設定）。さらに使用者はリモコン操作によって、副画面映像の変化を監視するための監視領域を、副画面映像に対して、上述の第１の設定の範囲内で設定することができる（第３の設定）。これらの設定を行うことで、副画面用の映像に対して、第１の設定で切り出し、第２の設定で決定した大きさに等倍以上に拡大した後、第２の設定で決定した主画面内の位置に、最終的に主画面と合成することで多画面表示を実現している。

さらには、上述の第１の設定で切り出し、等倍表示で表示している副画面映像に対して、第３の設定で決定した監視領域内の画素（ピクセル）について、前フレームの映像と現在のフレームの画素（ピクセル）比較を行うことができる。そして、前フレームと現在のフレームで、相違している画素（ピクセル）の数をカウントし、カウント値が監視領域内の画素総数のうち、どのくらいの割合かを算出し、相違している画素の割合が予め定められた割合を超えていれば、所定の表示処理を副画面映像に対して行う。所定の表示処理の例としては、例１として副画面を非表示にする。または、例２としては、使用者は任意に指定できないが、副画面の表示する対象領域を所定の大きさに拡げて、主画面上に表示する。

特開２００８−２８９０９１号公報 特開２０１０−２７３１０７号公報 特開２０１１−２５４１９８号公報 特開２００３−０８４７５０号公報

しかしながら、上記特許文献１〜４に記載の映像表示装置及び映像表示方法、あるいはモニタ装置では以下のような問題があり、出力される映像信号が、縦向き、横向きと頻繁に切り替わるスマートフォンやタブレットなどの携帯端末に関しては、効率よく多画面表示を行うことができなかった。

特許文献１、２については、前述のとおり、入力映像のコンテンツの内容を考慮せず、入力映像信号の周波数や解像度の情報を基に処理を行っている。このため、映像の３分の２が不要映像領域である映像を、そのまま副画面として主画面上に多画面表示していた。

結果として、横向きの映像が入力されたときは、副画面表示領域内全体に表示することができるが、縦向きの映像が入力されたときは、副画面表示領域内に表示される映像は、有効映像部分は非常に小さく視認性が悪い上に、副画面の黒映像（不要映像領域）によって、主画面の映像部分の一部が隠れ、主画面自体の映像情報量が減るという問題があった。

特許文献３による映像表示装置及び映像表示方法では、目的は異なるが、記載されている方法によって、黒映像のような有益でない映像部分を切り取ることは可能である。しかしながら、切り出す領域を使用者が実際の画面を見ながら、細かく注意深く調整しなければいけないという問題があった。

また、スマートフォンやタブレット端末は、省電力目的として、一定時間端末操作がされない場合は、自動的に画面を黒い映像に暗転させる機能が通常動作している。細かく注意深く調整している途中に、端末の映像出力が突然黒く暗転し、切り取りたい領域がわからなくなるという状況が発生する。

このため、端末の映像出力が黒く暗転する前に、すばやく調整しなければいけないという問題があった。また、すばやく調整することができない場合は、端末の映像出力が黒く暗転するたびに、一旦切り出す調整を止め、端末を操作して、端末から再度映像を出力するように設定する必要があった。

また、一旦調整し、所望の領域を切り出したとしても、その後に映像信号の内容が変わると、使用者が切り出したい領域、つまり黒映像の領域が変わってしまうため、使用者は切り出す領域を手動で調整するという作業をその都度行う必要があった。

例えば、使用者が携帯端末を買い換えた場合、例えば、以前の端末は９：１６のアスペクト比の映像を出力していて、新しい端末は３：４のアスペクト比の映像を出力するものだった場合、上述の調整を、再度行う必要があり、非常に手間であった。

あるいは、使用者が、スマートフォンやタブレット端末を操作する向きを変えてしまうと、表示されている映像も、縦方向の映像から、横方向の映像に切り替わってしまう。このとき、横方向の映像は、その一部が欠落した状態で副画面領域内に表示されることとなる。このため、使用者は、横方向の映像が正しく副画面領域内に表示されるように、再度切り出し領域を調整するか、あるいは切り出し機能を一時的に無効にするなどの操作が必要であった。以上の使用者による調整作業は、スマートフォンやタブレット端末の向きが変わるたび、頻繁に発生していた。

特許文献４によるモニタ装置では、副画面映像の切り出し操作に関しては、特許文献３について指摘した内容と同じ問題があった。

さらに、特許文献４によれば、副画面映像の監視領域において変化している画素（ピクセル）数をカウントし、予め設定された割合以上の相違があった場合、副画面映像の表示を、所定の内容に変更する機能がある。しかしながら、この機能については、以下のような問題があった。

監視領域の設定において、特許文献３と同様、使用者は実際の画面を見ながら、細かく注意深く、かつ素早く調整しなければいけないという問題があった。また、使用者が自分自身で監視領域を設定することは、使用者の負担となっていた。

本発明は、以上の課題を解決するためになされたものであり、入力映像から視聴する映像情報としては有益でない部分を取り除いて、多画面表示することができる画像合成装置の提供を目的とする。

本発明に係る画像合成装置は、第１の映像信号により表される第１の映像の所定の範囲を切り出す映像切出し部と、第１の映像と、前記映像切出し部にて切り出された映像のどちらかを選択する映像切替部と、映像切替部にて選択された映像を拡大縮小する拡大縮小部と、第２の映像信号により表される第２の映像と、拡大縮小部にて拡大縮小された映像とを重畳する合成部と、映像情報検出部と、を備え、映像情報検出部は、第１の映像に基づく映像の所定の監視領域について、背景色の画素数をカウントするカウント部と、カウントした背景色の画素数に基づいて、第１の映像が縦向きの映像か横向きの映像かを判定する判定部と、を備え、映像切替部は、判定部の判定に基づいて映像の選択を行うことを特徴とする。

本発明によれば、入力された第１の映像信号で表される第１の映像に対し、視聴する映像情報としては有益でない映像領域（即ち不要映像領域）の一部または全部を取り除いて副画面として表示して、多画面表示をすることができる。よって、多画面表示時に、不要映像領域によって主画面の映像が隠れて見えなくなるという問題を低減し、画像表示装置の表示領域を、より有効に活用することができる。

また、本発明によれば、入力される第１の映像の縦／横の向きが変化して、不要映像領域の位置が変化した場合であっても、入力される映像信号の縦／横の向きを判定し、判定結果に応じて映像切替部が映像の選択を行う。よって、利用者に画面表示装置に対する操作負担をかけることなく、画面表示装置の表示領域を有効活用した多画面表示を実現することができる。

実施の形態１に係る画像合成装置の機能ブロック図である。 実施の形態１に係る画像合成装置による画像合成例を示す図である。 実施の形態１に係る設定テーブルに記載されたパラメータを示す図である。 実施の形態１に係る画像合成装置に入力される縦映像の一例を示す図である。 実施の形態１に係る画像合成装置に入力される縦映像の一例を示す図である。 実施の形態１に係る監視領域等を模式的に示す図である。 実施の形態１に係る監視領域等を模式的に示す図である。 実施の形態１に係る監視領域等の一例を示す図である。 実施の形態１に係る副画面内における監視領域等の一例を示す図である。 実施の形態２に係る画像合成装置の機能ブロック図である。 実施の形態２に係る画像合成装置による画像合成例を示す図である。 実施の形態２に係る監視領域等を模式的に示す図である。 実施の形態２に係る監視領域等の一例を示す図である。

＜実施の形態１＞
＜構成＞
図１に、本実施の形態における画像合成装置１００の機能ブロック図を示す。本実施の形態では、説明を簡単にするために、画像合成装置１００に入力される映像信号の数を２つ（第１、２の映像信号１，２）とし、副画面表示の形態はピクチャーインピクチャーとする。

画像合成装置１００は、第１の映像信号１で表される第１の映像を特定の大きさに切り出す映像切出し部３と、映像切出し部３から出力される映像信号と、第１の映像信号１とを切り替える映像切替部４とを備える。

画像合成装置１００はさらに、映像切替部４から出力される映像信号を拡大縮小する拡大縮小部５と、拡大縮小部５から出力される映像信号と、第２の映像信号２で表される第２の映像とを合成する合成部６とを備える。

画像合成装置１００はさらに、合成部６から出力される出力映像信号に重畳されている第１の映像信号の内容について、映像情報を取得する映像情報検出部８と、映像情報検出部８の出力に応じて、後述する対象領域を切り替える監視領域切替部９とを備える。映像情報検出部８は、カウント部８１と判定部８２とで構成されている。

また、画像合成装置１００はさらに、映像切出し部３および監視領域切替部９に対して、あらかじめ用意されたパラメータを提供する、設定テーブル１０００を備える。

また、画像合成装置１００はさらに、監視領域の位置座標を、主画面上の座標系に変換する副画面オフセット調節部１２を備えている。

また、画像合成装置１００はさらに、合成された映像を外部の画像表示装置に出力する映像出力部７と、副画面オフセット調節部１２と拡大縮小部５を制御するＣＰＵ１３とを備える。

監視領域切替部９と映像切替部４は連動しており、映像情報検出部８の出力によって、同時に切り替わる。つまり、映像切替部４が、映像切出し部３の出力を選択しているときは、監視領域切替部９は後述する設定テーブル１０００のパラメータのうち、監視領域Ａ（切出し映像用）を選択する。また、映像切替部４が、第１の映像信号１を選択しているときは、監視領域切替部９は設定テーブル１０００のパラメータのうち、監視領域Ｂ（非切出し映像用）を選択する。

＜動作＞
画像合成装置１００は、主画面映像として第２の映像信号２と、副画面映像として第１の映像信号１とを、ピクチャーインピクチャーの表示形態として、同一画面内に表示する。なお、副画面映像は、元の入力映像の１／２の大きさに縮小したうえで、主画面映像と合成し、表示されるとする。

図２に、第１、２の映像信号１，２の映像、および合成後の映像の例を示す。なお、説明を分かりやすくするために、以降では、映像情報としては有益な領域（有効映像領域）が画面全体の３分の１しかない映像１１のような縦向きの映像を「縦映像」と呼び、必要に応じて、「縦映像（映像１１）」のように記載する。また、映像１０のように画面全体が映像情報として有益な横向きの映像信号を「横映像」と呼び、必要に応じて「横映像（映像１０）」のように記載する。

また、映像切出し部３の出力を「切り出し映像」と呼び、必要に応じて「切り出し映像（映像３１）」のように記載する。映像２０は、第２の映像信号で表される映像の例である。本実施の形態の説明においては、主画面映像としては、すべて映像２０を使用する。

図２において、映像１０は、画面全体が映像情報として有益な映像の例、即ち横映像である。映像１１は、有効映像領域が画面全体の３分の１しかない例、すなわち縦映像である。映像１１の詳細としては、有効映像領域が６０８×１０８０、すなわちアスペクト比が９：１６の縦映像が、１９２０×１０８０の映像フォーマットの中央に配置されている。有効映像領域の左右の領域はすべて黒色の背景となっている。

映像３０は、設定テーブル１０００の設定に従って、切出し部３が映像１０の特定の領域を切り出した、切出し映像である。また、映像３１は、設定テーブル１０００の設定に従って、切出し部３が映像１１の特定の領域を切り出した、切出し映像である。

また、映像１０Ｓ，３０Ｓ，１１Ｓ，３１Ｓは、拡大縮小部に映像１０，３０，１１，３１が入力されたときの拡大縮小部５の出力である。ここでは１／２に縮小した例を示している。

図２において、映像５１０，５３０，５１１，５３１は、合成部６で、映像２０と、映像１０Ｓ，３０Ｓ，１１Ｓ，３１Ｓのそれぞれとが合成された映像である。この映像は、実際に使用者が視聴するピクチャーインピクチャーの映像である。

映像切出し部３について説明する。映像切出し部３は、設定テーブル１０００を参照して第１の映像信号１の映像を切り出す。ここでは、設定テーブル１０００の、パラメータ１００１に設定されている「切り出し領域」に従って、第１の映像信号１の映像を切り出す。

切り出された映像は、映像切替部４に出力される。このとき、映像切出し部３は、縦映像（映像１１）の映像信号に対し、有効映像領域だけでなく、不要映像領域（例えば黒色映像部分）を一部含むように切り出す（映像３１）。さらに、このとき一緒に切り出される不要映像領域は、後述の映像情報検出部８で画素カウントの対象となる監視領域を全て含むように切り出される。

切り出し領域と、後述する監視領域との関係については、後述の設定テーブル１０００の説明で詳細に述べる。

映像切替部４は、映像情報検出部８の出力信号に従って、第１の映像信号１と、映像切出し部３の出力である切り出し映像の信号のいずれかを選択して、拡大縮小部５に出力する。ここで、映像情報検出部８の出力信号とは、判定部８２の出力である。

判定部８２は、後述するカウント部８１の出力に基づいて、第１の映像信号１が縦映像（映像１１）か横映像（映像１０）かを判定する。判定部８２の判定結果が縦映像だった場合は、映像切替部４は映像切出し部３からの出力を選択する。一方、判定部８２の判定結果が横映像だった場合は、映像切替部４は第１の映像信号１を選択する。映像切替部４の出力は、前述のとおり、映像１０，３０，１１，３１のいずれかとなる。

拡大縮小部５について説明する。拡大縮小部５は、映像切替部４から出力される映像を、ＣＰＵ１３の指示に従って、任意の大きさに拡大縮小する。本実施の形態では、１／２の大きさに縮小処理するものとする。拡大縮小部５の出力は、前述のとおり、映像１０Ｓ，３０Ｓ，１１Ｓ，３１Ｓのいずれかである。拡大縮小処理された映像は、合成部６に出力される。

合成部６について説明する。合成部６は、第２の映像信号２を主画面の映像とし、拡大縮小部５からの映像を副画面の映像として合成する。なお、本実施の形態では副画面表示の形態の一例として、ピクチャーインピクチャーをあげて説明しているが、別の手法、例えばピクチャーアウトピクチャーなどであっても良い。ピクチャーインピクチャーについては、一般的に知られている多画面表示の手法のひとつであるため、詳細な説明は省略する。

合成処理された映像は、映像出力部７へ出力され、最終的に表示装置（図示せず）に映像として表示される。本実施の形態では映像出力部７から出力される映像は、映像５１０，５３０，５１１，５３３のいずれかである。また同時に、合成処理された映像は、映像情報検出部８へも出力される。

映像情報検出部８について説明する。映像情報検出部８は、カウント部８１と判定部８２とで構成されている。カウント部８１には、合成部６の出力である、ピクチャーインピクチャーの状態の映像（つまり、映像５１０，５３０，５１１，５３１のいずれか）が入力される。

カウント部８１は、合成部６から出力される映像に合成された第１の映像のうち、所定の監視領域について、背景色（例えば黒色）の画素（ピクセル）の総数をカウントする。

ここで、所定の監視領域とは、監視領域切替部９によって指定される領域（監視領域Ａまたは監視領域Ｂ）を、後述の副画面オフセット調節部１２にて主画面座標系に置換した領域のことである。

また、背景色の画素の種類としては、例えば黒色の画素である。これは、一般的に不要映像領域は黒色で表現されているためである。不要映像領域を安定して識別可能であれば、黒色以外でも良い。

カウントされた背景色の画素の総数は、判定部８２に送られる。判定部８２は、背景色としてカウントされた画素の総数と監視領域の画素数との比較に基づいて、第１の映像信号１が縦映像なのか、横映像なのかを判定する。判定結果は、判定部８２の出力として、監視領域切替部９および映像切替部４に送出される。

監視領域切替部９について説明する。監視領域切替部９は、判定部８２の出力に従って、設定テーブル１０００のパラメータ内であらかじめ設定されている情報、つまり監視領域Ａ（切出し映像用）と監視領域Ｂ（非切出し映像用）を切り替え、副画面オフセット調節部１２に出力する。

副画面オフセット調節部１２は、監視領域Ａまたは監視領域Ｂの情報を主画面座標系に置換したのち、映像情報検出部８に出力する。副画面オフセット調節部１２が出力する監視領域について、カウント部８１は背景色の画素の総数をカウントする。

監視領域切替部９と映像切替部４は連動しており、映像情報検出部８の出力である、判定部８２の出力によって、同時に切り替わる。つまり、映像切替部４が、映像切出し部３の出力を選択しているときは、監視領域切替部９は後述する設定テーブル１０００のパラメータのうち、監視領域Ａ（切出し映像用）を選択する。また、映像切替部４が、第１の映像信号１を選択しているときは、監視領域切替部９は設定テーブル１０００のパラメータのうち、監視領域Ｂ（非切出し映像用）を選択する。

設定テーブル１０００について説明する。設定テーブル１０００には、監視領域Ａ（切出し映像用）、監視領域Ｂ（非切出し映像用）、切出し領域Ｃの３つの情報を一組とした複数のパラメータ１００１，１００２，１００３が格納されている。

パラメータ１００１の例を図３に示す。パラメータ１００１は、第１の映像１の入力フォーマットが１９２０×１０８０に対応する。パラメータ１００１の各要素（即ち、監視領域Ａ、監視領域Ｂ、切出し領域Ｃ）は、入力される第１の映像信号１の座標系で記述されている。監視領域Ａ（切出し映像用）の情報として、２箇所の領域、即ち、左側監視領域ＡＬと右側監視領域ＡＲについて、それぞれ開始点（ｘ、ｙ）と、領域の幅ｗ、領域の高さｈの情報が記載されている。監視領域Ｂ（非切出し映像用）の情報として、２箇所の領域、即ち、左側監視領域ＢＬと右側監視領域ＢＲについて、それぞれ開始点（ｘ、ｙ）と、領域の幅ｗ、領域の高さｈの情報が記載されている。また、切出し領域Ｃの情報として、切出し領域Ｃの開始点（ｘ、ｙ）と、領域の幅ｗ、領域の高さｈの情報が記載されている。

なお、スマートフォンやタブレット端末では、端末本体の表示部に表示される映像と、外部表示機器に表示される映像とで違和感が無いように、映像のアスペクト比の同一性が保たれている。この性質を利用し、入力される縦映像（映像１１）の有効映像領域は、出力フォーマットが１９２０×１０８０の場合は、その中央部分の６０８×１０８０としている。スマートフォンやタブレット端末によっては、有効映像領域の映像端外側に縁を付与したり、有効映像領域の周辺に映像効果としてグラデーションを持つ映像を付与する場合があるので、横幅については大きめに切出すように設定しても良い。これらの設定情報を一組とし、１９２０×１０８０の解像度用のパラメータ１００１とする。また、１２８０×７２０の解像度用の同様の設定情報を、パラメータ１００２とする。このように、設定テーブル１００には、入力フォーマットに応じた複数のパラメータが保持される。

次に、監視領域Ａ（切出し映像用）、監視領域Ｂ（非切出し映像用）、および切出し領域Ｃの関係について、図４、図５、図６、図７を用いて、詳細に説明する。

図４（ａ）に、１９２０×１０８０の解像度の縦映像（映像１１）の例を示す。図４（ａ）に対して、映像切出し部３で切り出し処理を行ったあとの映像の例を図４（ｂ）に示す。図４（ａ）は、中央部分に有効映像領域（６０８×１０８０）を有している。

また、図５（ａ）に、１２８０×７２０の解像度の縦映像（映像１１）の例を示す。図５（ａ）に対して、映像切出し部３で切り出し処理を行ったあとの映像の例を図５（ｂ）に示す。図５（ａ）は、中央部分に有効映像領域４０６×７２０を有している。

図６に、縦映像に対する、有効映像領域、不要映像領域、監視領域Ａ（左側監視領域ＡＬ、右側監視領域ＡＲ）、監視領域Ｂ（左側監視領域ＢＬ、右側監視領域ＢＲ）および切出し領域Ｃを模式的に示す。切出し領域Ｃが実際に副画面に表示される映像となる。切出し領域Ｃは、有効映像領域の全てまたは一部である。また切出し領域Ｃは、不要映像領域の一部を必ず含むように設定される。

図６に示すように、監視領域Ｂは、左側監視領域ＢＬ、右側監視領域ＢＲとして、有効映像領域の左右に１つずつ配置され、左右どちらについても、不要映像領域のみを含むように設定される。つまり監視領域Ｂは有効映像領域を含まない。

図６に示すように、監視領域Ａ（左側監視領域ＡＬ、右側監視領域ＡＲ）は、その領域のすべてが、監視領域Ｂ（非切出し映像用）に含まれるように設定される。結果として、監視領域Ａは、有効映像領域を含まない。

次に図７、図８を用いて、１９２０×１０８０の解像度の縦映像（映像１１）について、監視領域Ａ、監視領域Ｂ、切出し領域に具体的な数値を当てはめて説明する。座標情報は、第１の映像の左上端を基点（０，０）として記載するものとする。

図７（ａ）に、監視領域Ａ（切出し映像用）の例を示す。また、監視領域Ａの具体的な座標情報、幅および高さ情報を、図８（ａ）に示す。監視領域Ａ（切出し映像用）の左側の領域を左側監視領域ＡＬ、右側の領域を右側監視領域ＡＲとする。左側監視領域ＡＬは（６４８，０）を開始位置とする、８×１０８０の領域である。右側監視領域ＡＲは（１２６４，０）を開始位置とする、８×１０８０の領域である。

図７（ｂ）に、監視領域Ｂ（非切出し映像用）の例を示す。また、監視領域Ｂの具体的な座標情報、幅および高さ情報を、図８（ｂ）に示す。監視領域Ｂ（非切出し映像用）の左側の領域を左側監視領域ＢＬ、右側の領域を右側監視領域ＢＲとする。左側監視領域ＢＬは（０，０）を開始位置とする、６５６×１０８０の領域である。右側監視領域ＢＲは（１２６４，０）を開始位置とする、６５６×１０８０の領域である。

図７（ｃ）に、切出し領域の例を示す。また、切出し領域Ｃの具体的な座標情報、幅および高さ情報を図８（ｃ）に示す。切出し領域Ｃは、（６４８，０）を開始位置とする、６２４×１０８０の領域である。以上の監視領域Ａ，Ｂ、切出し領域Ｃの情報が、パラメータ１００１に記載されている。

次に、第１の映像信号１の種類（横映像（映像１０）、縦映像（映像１１））によって、どのように副画面表示が変化するかを説明する。まず、第１の映像信号１の映像が横映像（映像１０）から縦映像（映像１１）に変化したときの動作について説明する。

現在の状態として、判定部８２の判定結果が横映像、即ち映像切替部４が第１の映像信号１を選択しており、かつ第１の映像信号１の映像として横映像（映像１０）が入力されているとする。

このとき、合成後の映像は、映像５１０であり、判定部８２は、判定結果として横映像と判定しており、監視領域切替部９は、監視領域Ｂ（非切出し映像用）を選択しており、映像切替部４は、前述のとおり、第１の映像信号１を選択している。

この状態から、第１の映像信号１の表す映像が、横映像（映像１０）から縦映像（映像１１）に変化すると、合成部６が出力する映像は、映像５１０から映像５１１に変化する。同時に、映像５１１は、映像情報検出部８に入力される。

監視領域切替部９は、監視領域Ｂ（非切出し映像用）を選択しているので、カウント部８１が画素をカウントする監視領域は、左側監視領域ＢＬと右側監視領域ＢＲである。左側監視領域ＢＬと右側監視領域ＢＲは、副画面オフセット調節部１２によって、映像５１１内の副画面の表示位置に適合するように置換され、結果として、図９（ｂ）に示すとおり左側監視領域ＢＬＳと右側監視領域ＢＲＳとなる。なお、図９（ａ）〜（ｃ）において、副画面における座標情報は、左上端を基点（０，０）として記載するものとする。

カウント部８１は、左側監視領域ＢＬＳについて、背景色（例えば黒色）の画素数をカウントする。縦映像（映像１１Ｓ）の左側監視領域ＢＬＳはすべて背景色のため、カウント数は３２８×５４０＝１７７，１２０個となる。背景色の画素数が、左側監視領域ＢＬＳの全画素数と同じであることから、判定部８２は、入力された第１の映像信号１は縦映像（映像１１）であると判断する。

同様に、縦映像（映像１１Ｓ）の右側監視領域ＢＲＳの背景色の画素数は３２８×５４０＝１７７，１２０個となる。背景色の画素数が、右側監視領域ＢＲＳの全画素数と同じであることから、判定部８２は、入力された第１の映像信号１は縦映像（映像１１）であると判断する。左側監視領域ＢＬＳ、右側監視領域ＢＲＳの両方の監視領域について、判定部８２は縦映像であると判定するため、映像情報検出部８は、最終出力として、入力された第１の映像信号１は縦映像（映像１１）であるとする判定結果を出力する。

もし、左側監視領域ＢＬＳ、右側監視領域ＢＲＳのいずれか一方が、横映像（映像１０）と判断された場合は、映像情報検出部８の最終出力は、横映像とする結果を出力する。

なお、副画面に表示されている映像が縦映像である、と判定する基準として、背景色の画素数が、監視領域の全画素数と同じであることとした。入力映像信号にノイズ成分が含まれるなどしていて、一部の画素が高い輝度値を持つような映像を取り扱う場合は、例えば、カウントした画素の総和が監視領域の全画素数の９０％以上、というように、判定条件を緩和してもよい。

また、上述の説明では、背景色を例えば黒色として画素のカウントを行った。１つの画素が０〜２５５階調で表現されるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の３つの要素で構成されている場合、黒色とは（Ｒ，Ｇ，Ｂ）＝（０，０，０）の値を指す。また、映像信号フォーマットによっては、映像の黒レベルは（Ｒ，Ｇ，Ｂ）＝（１６，１６，１６）で規定されている場合がある。その場合は、対象の画素（ピクセル）の値を（Ｒ，Ｇ，Ｂ）＝（１６，１６，１６）あるいは、（Ｒ，Ｇ，Ｂ）＝（１６，１６，１６）以下と設定し、その総和を算出する。

また、背景色の画素をカウントする別の手法としては、上述のＲＧＢ信号を一旦ＹＰｂＰｒ信号のような色差信号に変換し、輝度信号であるＹ信号を計測対象として用いる構成が考えられる。この場合、（Ｒ，Ｇ，Ｂ）＝（０，０，０）の代わりにＹ＝０、あるいは（Ｒ，Ｇ，Ｂ）＝（１６，１６，１６）の代わりにＹ（輝度信号）レベル＝１６以下の値を持つ画素（ピクセル）の総和を算出してもよい。

このように、特定の色を指定して背景色の画素をカウントしてもよいし、所定の輝度以下の画素を背景色の画素とみなしてカウントを行ってもよい。

映像情報検出部８の最終出力は、縦映像と判定する判定結果を出力しているので、映像切替部４は、映像切出し部３からの映像、すなわち映像３１を選択する。結果として、表示装置（図示せず）に表示される最終の映像は映像５３１となる。

このとき、副画面の映像（映像３１Ｓ）は、第１の映像信号１から、有効映像領域（６０８×１０８０）の左右に８×１０８０の黒映像が存在するように切り出され、さらにそれを１／２に縮小した映像である。つまり、映像３１Ｓは、図９（ａ）に示すように、有効映像領域（３０４×５４０）の左右に、４×５４０の黒映像が存在する映像である。

引き続き、表示装置（図示せず）に表示される最終の映像が映像５３１の状態のときの動作について説明する。

現在の状況は、第１の映像信号１として縦映像（映像１１）が入力されており、最終の合成後の映像は、映像５３１であり、判定部８２は、判定結果として縦映像を示しており、監視領域切替部９は、監視領域Ａ（切出し映像用）を選択している。

監視領域切替部９は、監視領域Ａ（切出し映像用）を選択しているので、カウント部８１が画素をカウントする監視領域は、左側監視領域ＡＬと右側監視領域ＡＲである。左側監視領域ＡＬと右側監視領域ＡＲは、副画面オフセット調節部１２によって、映像５３１内の副画面の表示位置に適合するように置換される。結果として、図９（ａ）に示すとおり左側監視領域ＡＬＳと右側監視領域ＡＲＳとなる。

なお、左側監視領域ＡＬと右側監視領域ＡＲについては、これらの領域が切出し領域Ｃに含まれるのであれば、例えば図８（ｄ）のように領域の位置、幅、高さを変更してもよい。

カウント部８１は、左側監視領域ＡＬＳについて、背景色（例えば黒色）の画素数をカウントする。縦映像（映像１１Ｓ）の左側監視領域ＡＬＳはすべて黒色のため、黒色の画素数は４×５４０＝２，１６０個となる。背景色の画素数が、左側監視領域ＡＬＳの全画素数と同じであることから、判定部８２は、入力された第１の映像信号１は縦映像であると判断する。同様に、右側監視領域ＡＲＳの背景色の画素数は４×５４０＝２，１６０個となる。背景色の画素数が、右側監視領域ＡＲＳの全画素数と同じであることから、判定部８２は、入力された第１の映像信号１は縦映像であると判断する。左側監視領域ＡＬＳ、右側監視領域ＡＲＳの両方の監視領域について、判定部８２は縦映像であると判定する。よって、映像情報検出部８は、最終出力として、入力された第１の映像信号１は縦映像であるとする判定結果を出力する。

もし、左側監視領域ＡＬＳ、右側監視領域ＡＲＳのいずれか一方が、横映像と判断された場合、映像情報検出部８は、最終出力として横映像とする結果を出力する。

結果として、表示装置（図示せず）に表示される最終の映像は変わらず映像５３１となる。同様の動作と判定が繰り返されるため、安定して映像５３１が表示装置（図示せず）に表示され続ける。

次に、第１の映像信号１の表す映像が、縦映像（映像１１）から横映像（映像１０）に変化したときの動作について説明する。現在の状態は、第１の映像信号１が表す映像として縦映像（映像１１）が入力されており、最終の合成後の映像は、映像５３１であり、判定部８２は、判定結果として縦映像を示しており、監視領域切替部９は、監視領域Ａ（切出し映像用）を選択している。

この状態から、第１の映像信号１の表す映像が、縦映像（映像１１）から横映像（映像１０）に変化すると、最終の合成後の映像は、映像５３１から映像５３０に変化する。同時に、映像５３０は、映像情報検出部８に入力される。

監視領域切替部９は、監視領域Ａ（切出し映像用）を選択しているので、カウント部８１が画素をカウントする監視領域は、左側監視領域ＡＬと右側監視領域ＡＲである。左側監視領域ＡＬと右側監視領域ＡＲは、副画面オフセット調節部１２によって、映像５３０内の副画面の表示位置に適合するように置換される。結果として、図９（ａ）に示す様に、左側監視領域ＡＬＳと右側監視領域ＡＲＳとなる。

カウント部８１は、左側監視領域ＡＬＳについて、背景色（例えば黒色）の画素数をカウントする。横映像（映像３０Ｓ）の左側監視領域ＡＬＳには、背景色の画素が部分的にしか存在せず、背景色の画素数が、左側監視領域ＡＬＳの全画素数と同じにならない。よって、判定部８２は、入力された第１の映像信号１の表す映像は横映像であると判断する。

同様に、横映像（映像３０Ｓ）の右側監視領域ＡＲＳには、背景色の画素が部分的にしか存在せず、背景色の画素数が、右側監視領域ＡＲＳの全画素数と同じにならない。よって、判定部８２は、入力された第１の映像信号１の表す映像は横映像であると判断する。左側監視領域ＡＬＳ、右側監視領域ＡＲＳの両方の領域について、判定部８２は横映像であると判定するため、映像情報検出部８は、最終出力として、入力された第１の映像信号１の表す映像は横映像であるとする判定結果を出力する。

映像情報検出部８の最終出力は、横映像とする判定結果を出力しているので、映像切替部４は、第１の映像信号１の映像１０を選択する。結果として、表示装置（図示せず）に表示される最終出力の映像は映像５１０となる。

引き続き、表示装置（図示せず）に表示される最終の映像が映像５１０の状態のときの動作について説明する。

現在の状況は、第１の映像信号１の表す映像として横映像（映像１０）が入力されており、最終の合成後の映像は、映像５１０であり、判定部８２は、判定結果として横映像と判定しており、監視領域切替部９は、監視領域Ｂ（非切出し映像用）を選択している。

監視領域切替部９は、監視領域Ｂ（非切出し映像用）を選択しているので、カウント部８１がカウントを行う監視領域は、左側監視領域ＢＬと右側監視領域ＢＲである。左側監視領域ＢＬと右側監視領域ＢＲは、副画面オフセット調節部１２によって、映像５１０内の副画面の表示位置に適合するように置換される。結果として、左側監視領域ＢＬと右側監視領域ＢＲは、図９（ｂ）に示す様に左側監視領域ＢＬＳと右側監視領域ＢＲＳに置換される。

カウント部８１は、左側監視領域ＢＬＳについて、背景色（例えば黒色）の画素数をカウントする。横映像（映像１０Ｓ）の左側監視領域ＢＬＳには、背景色の画素が部分的にしか存在しないため、背景色の画素数は、左側監視領域ＢＬＳの全画素数と同じにならない。よって、判定部８２は、入力された第１の映像信号１の表す映像は、横映像（映像１０）であると判定する。

同様に、横映像（映像１０Ｓ）の右側監視領域ＢＲＳには、黒色の画素が部分的にしか存在せず、黒色の画素数が、右側監視領域ＢＲＳの全画素数と同じにならない。よって、判定部８２は、入力された第１の映像信号１は横映像であると判断する。左側監視領域ＢＬＳ、右側監視領域ＢＲＳの両方の監視領域について、判定部８２は横映像であると判定する。よって、映像情報検出部８は最終出力として、入力された第１の映像信号１の表す映像は横映像（映像１０）であるとする判定結果を出力する。

結果として、表示装置（図示せず）に表示される最終の映像は変わらず映像５１０となる。同様の動作と判定が繰り返されるため、安定して映像５１０が表示装置（図示せず）に表示され続ける。

本実施の形態において、所定の監視領域（監視領域Ａまたは監視領域Ｂ）は、右側監視領域と左側監視領域の２つの監視領域から構成される。つまり、２つの監視領域に基づいて個別に判定を行うため、第１の映像が、縦映像か横映像かの判定をより高精度に行うことが可能である。

ところで、スマートフォンやタブレット端末は、一定の期間操作をしない場合、出力画面の映像が黒く暗転する機能があることは前述したとおりである。画面全体が黒く暗転した場合に、不用意に副画面の表示が切り替わらないように、副画面内の映像の全体の平均輝度レベルを監視する。そして、全画面が黒い（暗い）と判断した場合には、映像切替部４の動作を停止させ、最後の選択状態を継続するように動作させてもよい。

また、本実施の形態の設定テーブル１０００には、入力される映像のアスペクト比ごとに、複数のパラメータ１００１，１００２，１００３が格納されている。

よって、使用しているスマートフォンやタブレット端末が変わった場合であっても、多画面表示時、利用者は、あらかじめ設定された複数の選択肢の中から、使用している端末のアスペクト比に近いパラメータを選ぶだけでよい。よって、使用者は、容易かつ確実に、副画面内の不要映像領域によって主画面の映像が隠れて見えなくなるという問題を低減し、表示装置の表示領域を、より有効に活用することができる。

さらに、本実施の形態における画像合成装置１００は、切り出した副画面映像に対して、拡大処理を施して主画面に合成することができるため、副画面映像の有効映像部分の視認性を高めることができる。

従来、監視領域は、使用者自身で設定する必要があった。また、使用者は副画面に適切に映像を表示するために、監視領域をどのように設定すればよいか不明なため、勘に頼って設定を行っていた。よって、所望の結果が得られない場合があるという問題があった。

例えば、副画面用の映像として図２の映像１１が入力されているとする。このとき使用者は、図２の映像１１の有効映像領域を、切り出し領域として設定し、監視領域にも同じ領域を設定し、入力される映像信号が図２の映像１０に変化したときには、自動的に副画面の表示領域を拡大して表示するような動作を期待したとする。

ところが、実際には監視領域内の映像には相違が無いため、「変化なし」と判断され、結果、副画面の表示領域は拡大されず、図２の映像５３０の状態の映像、すなわち、有効映像領域が部分的に欠けた状態の映像が副画面内に表示されることになってしまう。

そこで、本実施の形態における画像合成装置１００は、判定部８２の判定に応じて監視領域Ａ，Ｂを切り替えることによって、副画面に表示される映像（重畳後の映像における第１の映像）からであっても、元の第１の映像が縦映像（映像１１）か横映像（映像１０）かを判定して、有効表示領域を適切に副画面に表示することが可能である。

従来は、副画面映像内の監視領域の映像が不要な映像であるかどうか識別する手段に以下の問題があった。副画面映像内の監視領域において、元映像が例えばアナログデータである場合は、ノイズ成分が映像内に含まれており、このため例えば黒映像部分の映像の輝度レベルは常に安定して０とは限らず、例えば階調０〜２５５のうち、０〜１６の間でランダムに変化していることがある。このため、例えば黒色（階調０）の画素をカウントしても、黒色の映像の画素を適切にカウントできない問題があった。よって、副画面の映像が切り替わったか否かを適切に判断できなかった。

そこで、本実施の形態における画像合成装置１００は、例えば０〜１６の範囲の階調値を持つ画素は全て黒色と定義して、黒色の画素のカウントを行う。よって映像にノイズがある場合でも、副画面の映像が切り替わったか否かを精度良く判断できる。

＜効果＞
本実施の形態における画像合成装置１００は、第１の映像信号１により表される第１の映像の所定の範囲を切り出す映像切出し部３と、第１の映像と、映像切出し部３にて切り出された映像どちらかを選択する映像切替部４と、映像切替部４にて選択された映像を拡大縮小する拡大縮小部５と、第２の映像信号により表される第２の映像と、拡大縮小部５にて拡大縮小された映像とを重畳する合成部６と、映像情報検出部８と、を備え、映像情報検出部８は、第１の映像に基づく映像の所定の監視領域について、背景色の画素数をカウントするカウント部８１と、背景色の画素数に基づいて、第１の映像が縦向きの映像か横向きの映像かを判定する判定部８２と、を備え、映像切替部４は、判定部８２の判定に基づいて映像の選択を行うことを特徴とする。

従って、入力された映像信号（第１の映像信号１）の映像に対し、視聴する映像情報としては有益でない映像領域（即ち不要映像領域）の一部または全部を取り除いて副画面として表示して、多画面表示をすることができる。よって、多画面表示時に、不要映像領域によって主画面の映像が隠れて見えなくなるという問題を低減し、画像表示装置の表示領域を、より有効に活用することができる。

また、入力される映像信号で表される映像の縦／横の向きが変化して、不要映像領域の位置が変化した場合であっても、入力される映像信号の縦／横の向きを判定し、判定結果に応じて映像切替部４が映像の選択を行う。よって、利用者に画面表示装置に対する操作負担をかけることなく、画面表示装置の表示領域を有効活用した多画面表示を実現することができる。

また、本実施の形態における画像合成装置１００において、カウント部８１は、合成部６による重畳後の映像における第１の映像の所定の監視領域について、背景色の画素数をカウントすることを特徴とし、所定の監視領域（即ち監視領域Ａまたは監視領域Ｂ）は、判定部８２の判定に応じて切り替えられることを特徴とする。

従って、判定部８２の判定に応じて監視領域Ａ，Ｂを切り替えることによって、副画面に表示される映像（重畳後の映像における第１の映像）からであっても、元の第１の映像が縦映像か横映像かを判定することが可能である。

また、本実施の形態における画像合成装置１００において、第１の映像の所定の範囲（即ち切出し領域Ｃ）は、当該範囲の境界の少なくとも一部に沿って背景色の領域を含むことを特徴とする。

従って、意図的に背景色の領域を含むように映像を切り出すことにより、切出した後の映像の所定の監視領域において背景色をカウントすることで、元の映像（即ち第１の映像）が縦映像か横映像かを判定することが可能である。

また、本実施の形態における画像合成装置１００は、設定テーブル１０００をさらに備え、当該設定テーブル１０００には、第１の映像を切り出す所定の範囲と、背景色をカウントする所定の監視領域との組み合わせが複数記載されており、カウント部８１は、判定部８２の判定に応じて設定テーブル１０００を参照し、映像切出し部３は、設定テーブル１０００を参照することを特徴とする。

従って、第１の映像を切り出す所定の範囲と、背景色をカウントする所定の監視領域との組み合わせを１組のパラメータとし、パラメータごとに異なるアスペクト比に対応するように、複数のパラメータを設定しておく。こうすることで、使用しているスマートフォンやタブレット端末が変わった場合であっても、利用者は、あらかじめ設定された複数の選択肢の中から、使用している端末のアスペクト比に近いパラメータを選ぶだけでよい。よって、使用者は、容易かつ確実に、副画面内の不要映像領域によって主画面の映像が隠れて見えなくなるという問題を低減し、表示装置の表示領域を、より有効に活用することができる。

また、１つのパラメータに対して複数の監視領域を記載しておけば、判定部８２の判定結果に応じて監視領域を切り替えることで、副画面中の映像に基づいて、元の映像（第１の映像）が縦映像か横映像かを判定することが可能である。

また、本実施の形態における画像合成装置１００において、背景色の画素とは、所定の色範囲の画素および／または所定の輝度範囲の画素である。

従って、カウント部８１は、所定の監視領域（監視領域領域Ａまたは監視領域Ｂ）について、例えば、０〜２５５の階調のうち、０〜１６の範囲の階調値を持つ画素は全て黒色と定義し、該当する画素をカウントする。これにより、画像に含まれるノイズなどに起因するカウント間違いを低減することができ、より安定して縦映像か横映像かの判断を行うことができる。また、同様にカウントする画素の輝度に一定の幅を設けることにより、背景色がノイズの影響により輝度のばらつきを持つ場合にも、安定してカウントを行うことが可能である。

また、不要映像領域を構成する画素が例えば黒レベルの画素だとすると、黒レベルの画素だけをカウントするように対象を限定することができる。このように対象が限定されることを条件に、カウント結果に対する判断基準、すなわち閾値を固定値であっても使用することができ、また固定値であっても、副画面映像が縦映像か横映像かの判断を正しく行うことができる。

＜実施の形態２＞
＜構成＞
図１０に、本実施の形態における画像合成装置２００の機能ブロック図を示す。画像合成装置２００は、実施の形態１における画像合成装置１００に対して、副画面オフセット調節部１２を備えない。その他の機能ブロック構成は実施の形態１（図１）と同じため、説明を省略する。

画像合成装置２００は、画像合成装置１００と同様、監視領域切替部９と映像切替部４は連動しており、映像情報検出部８の出力である判定部８２の出力によって、同時に切り替わる。

つまり、映像切替部４が、映像切出し部３の出力を選択しているときは、監視領域切替部９は設定テーブル１０００のパラメータのうち、監視領域Ａ（切出し映像用）を選択する。また、映像切替部４が、第１の映像信号１を選択しているときは、監視領域切替部９は設定テーブル１０００のパラメータのうち、監視領域Ｂ（非切出し映像用）を選択する。

＜動作＞
画像合成装置２００は、画像合成装置１００と同様、主画面映像としての第２の映像信号２と、副画面映像としての第１の映像信号１とを、ピクチャーインピクチャーの表示形態として、同一画面内に表示する。なお、副画面映像は、元の入力映像の１／２の大きさに縮小したうえで、主画面映像と合成し、表示されるとする。

次に、映像切出し部３について説明する。映像切出し部３は、設定テーブル１０００であらかじめ設定されている値に従って第１の映像信号１の映像を切り出す。ここでは、設定テーブル１０００の、パラメータ１００１で設定されている、切り出し領域に従って、第１の映像信号１の映像を切り出す。

切り出した映像は、映像切替部４に出力される。このとき、映像切出し部３は、縦映像（映像１１）に対し、有効映像領域だけを切出し、不要映像領域は含まないように切り出す。切出した映像は、図１１の映像３２，３３のようになる。

映像切替部４、拡大縮小部５、合成部６および映像出力部７の動作は、実施の形態１と同じため、説明は省略する。

映像情報検出部８について説明する。映像情報検出部８は、カウント部８１と判定部８２とで構成されている。実施の形態１ではカウント部８１には合成後の映像が入力されたが、本実施の形態では、カウント部には第１の映像信号１が直接入力される。

カウント部８１は、第１の映像信号１のうち、特定の領域（即ち、監視領域Ａまたは監視領域Ｂ）に対して、背景色（例えば黒色）の画素の総数をカウントする。背景色の画素については実施の形態１で述べたとおりである。カウントされた画素の総数は、判定部８２に送られる。

判定部８２は、背景色の画素の総数と監視領域の画素数を比較して、第１の映像信号１の表す映像が縦映像なのか、横映像なのかを判定する。判定結果は、判定部８２の出力として、監視領域切替部９および映像切替部４に送出される。

監視領域切替部９は、判定部８２の出力に従って、設定テーブル１０００のパラメータ内であらかじめ設定されている情報、つまり監視領域Ａ（切出し映像用）と監視領域Ｂ（非切出し映像用）を切り替え、カウント部８１に出力する。

画像合成装置２００は、画像合成装置１００と同様、監視領域切替部９と映像切替部４は連動しており、映像情報検出部８の出力である判定部８２の出力によって、同時に切り替わる。

つまり、映像切替部４が、映像切出し部３の出力を選択しているときは、監視領域切替部９は設定テーブル１０００のパラメータのうち、監視領域Ａ（切出し映像用）を選択する。また、映像切替部４が、第１の映像信号１を選択しているときは、監視領域切替部９は設定テーブル１０００のパラメータのうち、監視領域Ｂ（非切出し映像用）を選択する。

設定テーブル１０００は、実施の形態１で述べたとおりである。例えば、パラメータ１００１（図３）は１９２０×１０８０の解像度用の設定情報であり、パラメータ１００２は１２８０×７２０の解像度用の設定情報である。

次に、監視領域Ａ（切出し映像用）と、監視領域Ｂ（非切出し映像用）と、切出し領域Ｃの関係について、図１１、図１２、図１３を用いて説明する。

図１２に、縦映像（映像１１）に対する、有効映像領域、監視領域Ａ（切出し映像用）、監視領域Ｂ（非切出し映像用）および切出し領域Ｃを示す。縦映像（映像１１）は中央の有効映像領域と、その左右の不要映像領域とから構成される。不要映像領域は背景色（例えば黒色）の画素で構成される領域である。

図１２（ｃ）に示す切出し領域Ｃが実際に副画面に表示される映像となる。本実施の形態において、切出し領域Ｃは、視聴者にとって不要映像領域を含まないように設定される。

図１２（ｂ）に示す監視領域Ｂ（非切出し映像用）は、有効映像領域の左右に１つずつ配置される。監視領域Ｂ（即ち左側監視領域ＢＬおよび右側監視領域ＢＲ）は、不要映像領域のみを含み、有効映像領域を含まないように設定される。

図１２（ａ）に示す監視領域Ａ（切出し映像用）は、有効映像領域の左右に１つずつ配置される。左右の監視領域Ａ（即ち左側監視領域ＡＬおよび右側監視領域ＡＲ）は、監視領域Ｂの左側監視領域ＢＬ、右側監視領域ＢＲの範囲に完全に含まれるように設定される。

次に、図１３を用いて、１９２０×１０８０の解像度の映像に具体的な数値を当てはめて説明する。第１の映像の左上端を基点（０，０）として座標情報を記載する。

図１１（ａ）に、監視領域Ａ（切出し映像用）の例を示す。図１１（ｂ）に、監視領域Ｂ（非切出し映像用）の例を示す。図１１（ｃ）に、切出し領域の例を示す。監視領域Ａ，Ｂについては、実施の形態１と同じである。

実施の形態１と異なる点は、切出し領域Ｃについてである。切出し領域Ｃは、（６５６，０）を開始位置とする、６０８×１０８０の領域である。本実施の形態において、カウント部８１に入力される映像は、第１の映像自体であり、合成後に副画面内に表示される映像ではない。このため、実施の形態１の様に、切出し領域Ｃに不要映像領域を含ませる必要がない。これらの情報（監視領域Ａ，Ｂ、切出し領域Ｃ）が、パラメータ１００１に記載されている。

次に、第１の映像信号１の内容によって、どのように副画面表示が変化するかを、横映像（映像１０）と縦映像（映像１１）を用いて説明する。まず、第１の映像信号１の表す映像が横映像（映像１０）から縦映像（映像１１）に変化したときの動作について説明する。

現在の状態として、映像情報検出部８の出力する判定結果は横映像、すなわち映像切替部４は第１の映像信号１を選択しており、第１の映像信号１として横映像（映像１０）が入力されているとする。

このとき、最終の合成後の映像は、映像５１０であり、判定部８２は、判定結果として横映像と判定しており、監視領域切替部９は、監視領域Ｂ（非切出し映像用）を選択しており、映像切替部４は、前述のとおり第１の映像信号１を選択している。

この状態から、第１の映像信号１の表す信号が、横映像（映像１０）から縦映像（映像１１）に変化すると、最終の合成後の映像は、映像５１０から映像５１１に変化する。

監視領域切替部９は、監視領域Ｂ（非切出し映像用）を選択している。よって、カウント部８１は、第１の映像信号１の表す第１の映像（映像１１）における監視領域Ｂ（左側監視領域ＢＬ、右側監視領域ＢＲ）について、背景色の画素をカウントする。

カウント部８１は、左側監視領域ＢＬについて、背景色（例えば黒色）の画素数をカウントする。縦映像（映像１１）の左側監視領域ＢＬはすべて黒色のため、カウントした画素の総数は、左側監視領域ＢＬの全画素数と同じとなる。よって、判定部８２は、入力された第１の映像信号１の映像は縦映像であると判定する。右側監視領域ＢＲでも同様の判定が行われ、判定部８２は縦映像であると判定する。結果、映像情報検出部８は最終出力として、入力された第１の映像信号１の映像は縦映像であるとする判定結果を出力する。

なお、左側監視領域ＢＬ、右側監視領域ＢＲのいずれか一方が、縦映像と判定されなかった場合は、映像情報検出部８は最終出力として、横映像であるとする判定結果を出力する。

映像情報検出部８は最終出力として、縦映像（映像１１）であるとする判定結果を出力しているので、映像切替部４は、映像切出し部３からの映像、すなわち映像３３を選択する。また、監視領域切替部９は、設定テーブル１０００の監視領域Ａ（切出し映像用）を選択する。

結果として、表示装置（図示せず）に表示される最終の映像は映像５３３となる。このとき、切り出された映像３３は、第１の映像信号１のうち、有効映像領域（６０８×１０８０）のみを含んでおり、不要映像領域は含まれない。

引き続き、表示装置（図示せず）に表示される最終の映像が映像５３３の状態のときの動作について説明する。現在の状況は、第１の映像信号１の映像として縦映像（映像１１）が入力されている。また、最終の合成後の映像は、映像５３３であり、判定部８２は、判定結果として縦映像を示しており、監視領域切替部９は、監視領域Ａ（切出し映像用）を選択している。

監視領域切替部９は、監視領域Ａ（切出し映像用）を選択しているので、カウント部８１がカウントを行う領域は、左側監視領域ＡＬと右側監視領域ＡＲである。カウント部８１には、第１の映像信号１自体（即ち映像１１）が入力されている。

なお、前述した様に監視領域Ａは監視領域Ｂに含まれていればよいため、監視領域Ａと監視領域Ｂの範囲は同一でもかまわない。

カウント部８１は、左側監視領域ＡＬについて、背景色（例えば黒色）の画素の総数をカウントする。縦映像（映像１１）の左側監視領域ＡＬはすべて背景色のため、カウントした画素数は、左側監視領域ＡＬの画素数と同じとなる。よって、判定部８２は、入力された第１の映像信号１の映像は縦映像であると判断する。右側監視領域ＡＲについても同様の判定が行われ、判定部８２は縦映像であると判定する。結果として、映像情報検出部８は最終出力として、入力された第１の映像信号１の映像は縦映像（映像１１）であるとする判定結果を出力する。

結果として、表示装置（図示せず）に表示される最終の映像は変わらず映像５３３となる。同様の動作と判定が繰り返されるため、安定して映像５３３が表示装置（図示せず）に表示され続ける。

なお、左側監視領域ＡＬ、右側監視領域ＡＲのいずれか一方について、縦映像でないと判定された場合は、映像情報検出部８は最終出力として、横映像（映像１０）であるとする判定結果を出力する。

次に、第１の映像信号１が縦映像（映像１１）から横映像（映像１０）に変化したときの動作について説明する。

現在の状態は、第１の映像信号１の映像として縦映像（映像１１）が入力されており、最終の合成後の出力映像は、映像５３３である。また、判定部８２は、判定結果として縦映像であると判定結果を示しており、監視領域切替部９は、監視領域Ａ（切出し映像用）を選択している。

この状態から、第１の映像信号１の映像が、縦映像（映像１１）から横映像（映像１０）に変化すると、合成後の出力映像は、映像５３３から映像５３２に変化する。

監視領域切替部９は、監視領域Ａ（切出し映像用）を選択しているので、カウント部８１がカウントを行う領域は、左側監視領域ＡＬと右側監視領域ＡＲである。カウント部８１には、第１の映像信号１の表す映像（映像１０）が入力されている。

カウント部８１は、左側監視領域ＡＬについて、背景色の画素の総数をカウントする。横映像（映像１０）の左側監視領域ＡＬには、背景色の画素は部分的にしか存在しないため、カウントした画素数と、左側監視領域ＡＬの画素数とは同じにならない。よって、判定部８２は、入力された第１の映像信号１の映像は横映像であると判定する。右側監視領域ＡＲでも同様の判定が行われ、判定部８２は、横映像であると判定する。よって、左側監視領域ＡＬ、右側監視領域ＡＲの両方の領域について、判定部８２は横映像（映像１０）であると判定するため、映像情報検出部８は最終出力として、入力された第１の映像信号１の映像は横映像（映像１０）であるとする判定結果を出力する。

よって、映像切替部４は、第１の映像信号１の映像（映像１０）を選択する。また、監視領域切替部９は、設定テーブル１０００の監視領域Ｂ（非切出し映像用）を選択する。結果として、表示装置（図示せず）に表示される最終の映像は映像５１０となる。

なお、実施の形態１では、判定部８２の判定結果に応じて、監視領域切替部９は監視領域Ａ，Ｂの切り替えを行った。一方、本実施の形態においては、監視領域Ａ，Ｂの切り替えを行わず、監視領域切替部９は、常に、例えば監視領域Ａを選択していてもよい。

＜効果＞
本実施の形態における画像合成装置２００において、カウント部８１は、第１の映像自体の所定の監視領域について、背景色の画素数をカウントすることを特徴とする。

従って、縦映像か横映像かの判断を、入力される第１の映像自体に対して行うことにより、第１の映像から不要映像領域を全て取り除いて副画面表示とすることが可能となる。つまり、副画面内に一切不要映像領域を含まない状態でも、第１の映像が縦映像か横映像かの判定を正しく行うことができる。

また、本実施の形態における画像合成装置２００において、第１の映像の所定の範囲（即ち切出し領域Ｃ）は、当該範囲の境界に沿って背景色の領域を含まないことを特徴とする。

従って、切り出す前の第１の映像自体に対して縦映像か横映像かの判定を行うことにより、第１の映像から不要映像領域、即ち有効映像領域の外側に存在する背景色部分を全て取り除くように映像の切出しを行うことが可能となる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１ 第１の映像信号、２ 第２の映像信号、３ 映像切出し部、４ 映像切替部、５ 拡大縮小部、６ 合成部、７ 映像出力部、８ 映像情報検出部、９ 監視領域切替部、１２ 副画面オフセット調節部、１３ ＣＰＵ、８１ カウント部、８２ 判定部、１００，２００ 画像合成装置、１０００ 設定テーブル、１００１，１００２，１００３ パラメータ、１０，１１，２０，３０，３１，３２，３３，１０Ｓ，１１Ｓ，３０Ｓ，３１Ｓ，３２Ｓ，３３Ｓ，５１０，５１１，５３０，５３１，５３２，５３３ 映像、Ａ，Ｂ 監視領域、ＡＬ，ＡＬＳ，ＢＬ，ＢＬＳ 左側監視領域、ＡＲ，ＡＲＳ，ＢＲ，ＢＲＳ 右側監視領域、Ｃ 切出し領域。

Claims (7)

1. 第１の映像信号により表される第１の映像の所定の範囲を切り出す映像切出し部と、
   前記第１の映像と、前記映像切出し部にて切り出された映像のどちらかを選択する映像切替部と、
   前記映像切替部にて選択された映像を拡大縮小する拡大縮小部と、
   第２の映像信号により表される第２の映像と、前記拡大縮小部にて拡大縮小された映像とを重畳する合成部と、
   映像情報検出部と、
   を備え、
   前記映像情報検出部は、
   前記第１の映像に基づく映像の所定の監視領域について、背景色の画素数をカウントするカウント部と、
   カウントした前記背景色の画素数に基づいて、前記第１の映像が縦向きの映像か横向きの映像かを判定する判定部と、
   を備え、
   前記映像切替部は、前記判定部の判定に基づいて映像の選択を行うことを特徴とする、
   画像合成装置。
2. 前記カウント部は、前記合成部による重畳後の映像における前記第１の映像の前記所定の監視領域について、背景色の画素数をカウントすることを特徴とし、
   前記所定の監視領域は、前記判定部の判定に応じて切り替えられることを特徴とする、
   請求項１に記載の画像合成装置。
3. 前記カウント部は、前記第１の映像自体の前記所定の監視領域について、背景色の画素数をカウントすることを特徴とする、
   請求項１に記載の画像合成装置。
4. 前記第１の映像の前記所定の範囲は、当該範囲の境界の少なくとも一部に沿って前記背景色の領域を含むことを特徴とする、
   請求項２に記載の画像合成装置。
5. 前記第１の映像の前記所定の範囲は、当該範囲の境界に沿って前記背景色の領域を含まないことを特徴とする、
   請求項３に記載の画像合成装置。
6. 設定テーブルをさらに備え、
   当該設定テーブルには、前記第１の映像を切り出す所定の範囲と、前記背景色をカウントする前記所定の監視領域との組み合わせが複数記載されており、
   前記カウント部は、前記判定部の判定に応じて前記設定テーブルを参照し、
   前記映像切出し部は、前記設定テーブルを参照することを特徴とする、
   請求項１〜５のいずれかに記載の画像合成装置。
7. 前記背景色の画素とは、所定の色範囲の画素および／または所定の輝度範囲の画素である、
   請求項１〜６のいずれかに記載の画像合成装置。

Images