JP5180910B2 - 映像処理装置 - Google Patents

Description

本発明は、複数の映像信号を処理する映像処理装置に係り、特に複数の映像信号を同一画面内に分割表示する機能を有する映像処理装置に関する。

監視用モニタリングシステムでは、複数のカメラ映像の取り込みを行い、分割画面によって各カメラ映像を同一画面上に表示する機能を有するものがある。また、このシステムにおいては、各カメラ映像の記録も行い、分割画面によって各カメラ映像を同一画面上に再生表示する機能を有する。

複数の映像信号を取り込み、分割画面を生成して表示を行う場合、画面の分割数に応じた数の映像入力端子を設け、それぞれの入力端子の後段に分割画面で表示する表示サイズに拡大縮小を行う拡大縮小手段を設け、その出力を合成することで実現できる。しかし、映像入力端子の数だけ拡大縮小手段を設ける構成は、装置が複雑になりまたコスト増加を招くことになる。そこで一般的には、複数の映像信号を時分割で処理することによって、１個の拡大縮小手段だけで分割画面を生成する方法が提案されている。

例えば特許文献１に記載の画像処理装置は、符号化および時分割多重化された複数の映像信号を入力端子より入力し、デコーダ部で復号化し、拡大・縮小部で画像のサイズを変換する。そして、メモリ格納制御部を用いて、画像メモリ部の中に設けた画像領域の所定部分に書き込み、メモリ読み出し制御部で画像領域全体を読み出して出力するという構成である。

また、特許文献２に記載の同期化機能切替機能付分割表示装置は、ｍ台のカメラからの映像信号を同期化切替回路により合成して第一の合成映像信号とし、ＶＴＲに出力するとともに分割表示回路に供給する。分割表示回路内では、書き込みアドレス発生回路がＣＨコード検出回路からのＣＨコードに応じたアドレスを発生することにより、所定のメモリ領域に各チャンネルの映像が書き込まれ、分割表示用の第二の合成映像信号を出力するという構成である。

特開２００３−９１４３号公報 特開２０００−１３７３９号公報

上記特許文献１および特許文献２では、何れも複数の映像信号を取り込み、分割画面を生成して表示を行う技術について開示されている。また、複数の映像信号に対し、分割画面での表示サイズへと拡大縮小する拡大縮小手段を１系統で実現するために、各映像信号を時分割で処理する方法が示されている。複数の映像信号の分割画面表示では、それぞれの映像信号を所定の位置に表示する必要がある。上記特許文献１，２では、映像信号に対して映像の識別情報を付加し、分割画面における表示位置を映像に付加した識別情報により制御している。これにより、複数の映像信号を時分割で処理する場合においても、各映像を所定の位置に正確に表示することを可能にしている。

しかしながら上記特許文献１，２では、時分割処理における処理の破綻などに対応したエラー回復機能が考慮されていない。時分割処理では、単位時間内に複数の映像を順次処理する。もし、この処理が所定の時間内に完了しなかった場合には、処理が破綻してしまう。例えば、４つの映像信号を取り込み、時分割にて処理して４分割画面で表示することを考える。また、時分割処理においては、単位時間当たり各映像信号のフレーム映像を１枚ずつ、計４枚のフレーム映像を処理すると仮定する。もしも、伝送路の欠陥など予期せぬ回路遅延が生じ、時分割処理において単位時間内に所定の処理が完了せず、４枚のフレーム中３枚のフレーム映像だけが処理された場合、時分割処理の前後で処理枚数の不整合が起きてしまう。これが連続して起きた場合、４つの映像信号のうち、特定の映像信号だけが処理されずに表示から欠落してしまうことになる。監視用モニタリングシステムにおいて、このような特定の映像信号の欠落が継続することは回避しなければならない。

本発明はかかる課題を考慮してなされたもので、複数の映像信号を同一画面に分割表示する場合、時分割処理等において処理エラーが発生した場合即座にこれを回復させる映像処理装置を提供することを目的とする。

本発明は、複数の映像信号を入力して同一画面に分割表示するための映像信号を生成する映像処理装置において、前記各映像信号に対し該映像信号を識別する識別情報を付加する識別情報付加部と、該識別情報付加部で付加した識別情報を記憶する識別情報記憶部と、前記識別情報が付加された各映像信号を時分割信号に変換する時分割処理部と、前記時分割信号から該信号に付加されている識別情報を検出する識別情報検出部と、前記識別情報記憶部で記憶した識別情報と前記識別情報検出部で検出した識別情報とを比較する識別情報比較部と、前記時分割信号を表示する分割画面の大きさに拡大または縮小する拡大縮小部と、前記検出した識別情報に基づいて、前記拡大または縮小された各映像信号を所定の位置に分割表示するための映像信号を合成する映像合成部とを備え、前記識別情報比較部で比較の結果、両者の識別情報が一致しないと判定した場合は、前記入力した映像信号の再要求、あるいは当該装置の再起動を行う。

本発明によれば、複数の映像信号を同一画面に分割表示する場合、時分割処理等において処理エラーが発生した場合即座にこれを回復させることができ、映像処理装置の信頼性が向上する。

本発明の第１の実施例に係る映像処理装置を示すブロック図。 モニタ１２における分割画面の表示例を示す図。 時分割処理部３による映像の時分割処理の例を示す図。 第１の実施例における映像処理の流れを示すフローチャート図。 本発明の第２の実施例に係るモニタ１２における関連情報の画面表示の例を示す図。 第２の実施例における映像処理の流れを示すフローチャート図。

以下、本発明の実施の形態を図面を用いて説明する。

図１は、本発明の第１の実施例に係る映像処理装置を示すブロック図である。１は複数のカメラを示し、ここでは４個のカメラＡ，Ｂ，Ｃ，Ｄを例とする。破線内は映像処理装置の内部構成で、映像入力部２、時分割処理部３、識別情報付加部４、識別情報記憶部５、拡大縮小部６、識別情報検出部７、識別情報比較部８、映像合成部９、メモリ１０、及び映像出力部１１を含む。１２はモニタである。

映像入力部２は、カメラＡ〜Ｄからの映像を取り込む。識別情報付加部４は、取り込んだカメラ映像に対してこれらを識別する識別情報（後述するカメラＩＤ）を付加する。識別情報記憶部５は、識別情報付加部４が付加する識別情報を記憶する。時分割処理部３は、識別情報を付加した各カメラ映像を時分割処理して１系統の信号とし、拡大縮小部６へ転送する。拡大縮小部６では、各カメラ映像のサイズ変換を行う。ここでは、映像サイズを１／４に縮小する。また、識別情報検出部７は、カメラ映像に付加されている識別情報を検出する。識別情報比較部８は、識別情報記憶部５で記憶した識別情報と、識別情報検出部７で検出した識別情報との比較を行う。比較の結果これらが一致しないとき、後述するように、エラー発生と判定しその回復処理を行う。映像合成部９は、識別情報検出部７で検出した識別情報に従い、拡大縮小部６からの画像データをメモリ１０の所定の位置に書き込む。映像出力部１１は、メモリ１０上で合成した分割画面データを読み出し、モニタ１２に出力する。モニタ１２では、カメラＡ〜Ｄの映像を分割して表示する。

図２は、モニタ１２における分割画面の表示例を示す図である。（ａ）は、４分割画面２０の表示例を、（ｂ）は、４分割画面表示のための設定テーブル２２の例を示したものである。本実施例では、４台のカメラＡ〜Ｄの映像を取り込み、各カメラ映像を拡大縮小することで分割表示用のサイズに変換し、各カメラ映像を同時に表示する。（ａ）の分割画面２０において、２１ａ〜２１ｄは分割された各画面領域である。（ｂ）はメモリ１０に予め格納した設定テーブル２２であり、各カメラ映像の表示位置を定めたものである。すなわち、各カメラ映像に関して、その識別情報（カメラＩＤ番号）２３と分割画面２０での表示位置を対応付けている。例えば、カメラＡの識別情報（カメラＩＤ）は「０」で表示位置は２１ａ、カメラＤの識別情報（カメラＩＤ）は「３」で表示位置は２１ｄと定める。このようにすれば、各カメラからの映像は分割画面内の定められた位置にそれぞれ表示することができる。

図２（ａ）において、分割画面２０は等分割画面の場合だが、不等分割としても良い。また図２（ｂ）において、テーブル２２はメモリ１０の中に格納するものとしたが、不図示の別メモリに格納しても良い。さらに、このテーブル情報はプリセットとして記憶しておくだけでなく、本装置を扱うユーザが任意に設定変更できるものでも良い。

図３は、時分割処理部３による映像の時分割処理の例を示す図である。横軸は時間で、フレームパルス（１周期＝３３ｍｓ）を単位時間として処理する。
時分割処理部４は、取り込む４枚のカメラ映像Ａ〜Ｄについて、単位時間当たり４枚の映像を順次処理して時分割信号に変換する。取り込むカメラ映像のフレームレートが３０ｆｐｓである場合、フレームレートを落とさずに表示を行うために、１秒間に３０×４枚の映像を処理する必要がある。また映像の識別情報であるカメラＩＤ情報は、例えば映像のブランキング期間に埋め込むことで付加する。

図４は、本実施例における映像処理の流れを示すフローチャート図である。
Ｓ１０１では、映像入力部２に４台のカメラ映像信号を入力する。
Ｓ１０２では、入力した各映像信号に対して識別情報付加部４により映像の識別情報を付加する。本実施例では、識別情報として図２（ｂ）に示したカメラＩＤを、フレーム単位、あるいはフィールド単位でブランキング期間に付加する。これにより、フレーム映像あるいはフィールド映像ごとに、カメラＩＤを参照することが可能となる。
Ｓ１０３では、ここで付加する識別情報（カメラＩＤ）を、識別情報記憶部５で記憶しておく。このとき、時分割処理部３で出力する映像順にカメラＩＤを記憶するので、単位時間当たり４個のカメラＩＤを記憶する。なお、記憶先はメモリ１０や不図示の別メモリであってもよい。

Ｓ１０４では、識別情報を付加したカメラ映像信号は、時分割処理部３により、図３に示すような時分割信号に処理されて伝送される。
Ｓ１０５では、拡大縮小部６で受け取る時分割信号について、識別情報検出部７は、カメラ映像に付加されている識別情報（カメラＩＤ）の検出を行う。Ｓ１０２において、フレーム映像、あるいはフィールド映像ごとにカメラＩＤを付加しているため、ここでは、４枚の各映像のカメラＩＤを検出する。

Ｓ１０６では、識別情報記憶部５で記憶した識別情報（カメラＩＤ）と、Ｓ１０５の識別情報検出部７で検出した識別情報（カメラＩＤ）とを、識別情報比較部８で比較する。比較においては、時分割信号に含まれる全てのカメラ映像が一巡する期間を単位に、ここでは４個のカメラＩＤの配列を比較し、全てのＩＤが一致するかどうかを判定する。例えばＳ１０２にて図２（ｂ）のカメラＩＤが付加されていれば、その配列は「０、１、２、３」となることが期待される。この判定により、時分割処理部３から出力した映像が、所定の順で正しく拡大縮小部６に伝送されたかどうかを確認することができる。判定の結果、識別情報が一致すればＳ１０７へ進み、一致していなければＳ１２０へ進む。
Ｓ１０７では、拡大縮小部６は受け取ったカメラ映像の拡大縮小処理を行う。この拡大縮小処理では、最終的にモニタ１２に出力する分割画面２１ａ〜２１ｄのサイズへとサイズ変換を行う。

Ｓ１０８では、サイズ変換された映像データを、映像合成部９にて、識別情報検出部７で検出した識別情報に基づいてメモリ１０に書き込みを行う。その際、図２（ｂ）に示すカメラＩＤと表示位置の対応テーブル２２を参照し、表示位置に対応するメモリ１０上の位置に書き込みを行う。このようにして、伝送された４枚のカメラ映像を順に拡大縮小してメモリ１０に書き込みを行い、メモリ１０上に分割画面データを生成する。
Ｓ１０９では、メモリ１０に生成された分割画面データを映像出力部１１が読み出し、モニタ１２に出力してカメラ映像の分割画面を表示させる。

Ｓ１２０では、識別情報比較部８での識別情報の比較結果が一致しなかった場合、時分割処理、あるいは伝送路にてエラーが発生したと判定する。このようにエラー発生した時には、取得できなかったカメラ映像を内部メモリに再度要求したり、装置を再起動するなど、エラー回復のための動作に切り替える。

本実施例では、４台のカメラ映像を取り込み４分割画面で表示する例を示したが、入力カメラの台数ｎと表示画面の分割数ｍ、分割画面における各映像の表示位置は任意である。すなわち、ｎ台のカメラ映像を入力し、任意のｍ台（１≦ｍ≦ｎ）を選択し、ｍ分割画面に表示することもできる。

本実施例によれば、複数の映像信号に対する時分割処理において、各映像信号にそれを識別する識別情報を付加することにより、複数の映像信号を同一画面に分割して表示する場合に、所定の位置に確実に表示することができる。そして、識別情報の整合を確認することで時分割処理の前後で発生する処理エラーを検知し、取得できなかったカメラ映像の再要求や装置の再起動など、即座にエラー回復動作に切替ることが可能である。これにより、映像処理装置の信頼性が向上する。

本発明の第２の実施例では、複数のカメラ映像を拡大縮小して分割画面に同時に表示するだけでなく、分割画面に各カメラ映像に関連する関連情報を重ねて表示する機能を追加したものである。なお、映像処理装置の基本構成は実施例１（図１）と同様である。

図５は、本実施例によるモニタ１２における関連情報の画面表示の例を示す図である。（ａ）はＯＳＤ表示画面、（ｂ）は関連情報の設定テーブルを示す。
（ａ）の分割画面２０では、各分割領域２１ａ〜２１ｄにカメラ映像とともにその関連情報２４ａ〜２４ｄを重畳して表示する。ここでは関連情報としてカメラ位置（玄関、居間など）を表示している。（ｂ）の関連情報の設定テーブル２２はメモリ１０に格納しておき、各カメラ映像の表示位置の他に映像に関連する関連情報２４を登録している。ここではカメラ位置の情報を登録している。このテーブル２２を参照することで、識別情報（カメラＩＤ）を介して各カメラ映像に対応する関連情報２４を読み出し、関連情報２４をカメラ映像に重畳してＯＳＤ表示させることができる。これによれば、あるカメラ映像の表示位置が変更されたとき、対応する関連情報の表示位置もこれに連動して変更されるので、多数の分割表示を行うような場合の設定変更が容易となる。

図６は、本実施例における映像処理の流れを示すフローチャート図である。前記実施例１（図４）の処理に対して、関連情報の処理Ｓ１１０〜Ｓ１１２を追加したものである。Ｓ１０１〜Ｓ１０８の処理は前記図４と同様であり、説明を省略する。

Ｓ１１０では、各カメラ映像に付加された識別情報（カメラＩＤ）をもとに、カメラ映像に関連する関連情報にアクセスする。具体的には、図５（ｂ）のテーブル２２を参照することで、識別情報（カメラＩＤ）２３に対応付けられた関連情報（カメラ位置）２４を取得する。例えば、カメラＩＤが「０」であれば、関連情報２４として「玄関」という文字情報を取得する。

Ｓ１１１では、取得した関連情報を、映像合成部９によってメモリ１０に書き込みを行う。例えば、カメラＩＤが「０」であれば「玄関」という文字を、カメラＡの映像が書き込まれている画面２１ａの位置に重畳して書き込む。

Ｓ１１２では、メモリ１０に生成された分割画面データを映像出力部１１が読み出し、モニタ１２に出力する。モニタ画面には、カメラ映像の上に対応する関連情報をＯＳＤ表示のように重畳させて表示を行う。

本実施例では、関連情報としてカメラの位置情報を表示する例を示したが、勿論、カメラＩＤ自身を表示することもできる。さらに、図５（ｂ）に示したテーブル２２は、プリセットとして記憶しておくだけでなく、本装置を扱うユーザが任意に設定できるものとする。その場合、１個のカメラＩＤに対応付ける関連情報の数は１個に限らず、複数個ｎの関連情報を登録することもできる。そして、ｎ個の関連情報の中から任意のｍ個（１≦ｍ≦ｎ）の情報を選択し、選択したｍ個の情報をカメラ映像に重畳表示させることもできる。

このように本実施例によれば、映像に付加した識別情報、あるいは、その識別情報に対応付けられた関連情報を、映像に重畳させて表示することが可能になる。これにより、ユーザに対して分かりやすい情報提示ができるため、使い勝手が向上する。

以上述べた各実施例では、入力映像としてカメラ映像を例に挙げて示したが、ハードディスクやＤＶＤなどの記録メディアの記録映像を入力する映像処理装置にも適用できる。この場合、映像を記録する段階で、映像データに対して識別情報を付加しておけば、当該装置で付加する必要がなくなる。

１…カメラ
２…映像入力部
３…時分割処理部
４…識別情報付加部
５…識別情報記憶部
６…拡大縮小部
７…識別情報検出部
８…識別情報比較部
９…映像合成部
１０…メモリ
１１…映像出力部
１２…モニタ
２０…分割画面表示
２２…設定テーブル
２３…識別情報（カメラＩＤ）
２４…関連情報（カメラ位置）。

Claims (4)

1. 複数の映像信号を入力して同一画面に分割表示するための映像信号を生成する映像処理装置において、
   前記各映像信号に対し該映像信号を識別する識別情報を付加する識別情報付加部と、
   該識別情報付加部で付加した識別情報を記憶する識別情報記憶部と、
   前記識別情報が付加された各映像信号を時分割信号に変換する時分割処理部と、
   前記時分割信号から各映像信号に付加されている識別情報を検出する識別情報検出部と、
   前記時分割信号に含まれる各映像信号が一巡する期間を単位に、前記識別情報記憶部で記憶した識別情報の配列と前記識別情報検出部で検出した識別情報の配列とを比較し、配列内の全ての識別情報が一致するかどうかを判定する識別情報比較部と、
   前記時分割信号を表示する分割画面の大きさに拡大または縮小する拡大縮小部と、
   前記検出した識別情報に基づいて、前記拡大または縮小された各映像信号を所定の位置に分割表示するための映像信号を合成する映像合成部とを備え、
   前記識別情報比較部で比較の結果、両者の識別情報が一致しないと判定した場合は、前記入力した映像信号の再要求、あるいは当該装置の再起動を行うことを特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置において、
   前記識別情報付加部は、前記各映像信号に対し該映像信号のフレーム単位、あるいはフィールド単位で前記識別情報を付加することを特徴とする映像処理装置。
3. 請求項１または２に記載の映像処理装置において、
   前記各映像信号に関連する関連情報を、該映像信号の識別情報に対応させて登録したメモリを備え、
   前記映像合成部は映像信号を合成する際、前記メモリを参照し前記識別情報に対応する関連情報を取得して該当する映像信号に重畳することを特徴とする映像処理装置。
4. 請求項１乃至３のいずれか１項に記載の映像処理装置において、
   前記映像合成部は、前記関連情報として前記識別情報を該当する映像信号に重畳することを特徴とする映像処理装置。

Images