JPH1032755A

JPH1032755A - 大画面画像合成処理装置

Info

Publication number: JPH1032755A
Application number: JP8187526A
Authority: JP
Inventors: Yuiko Yamauchi; 結子山内; Nobuyuki Yagi; 伸行八木; Hideo Noguchi; 英男野口
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1996-07-17
Filing date: 1996-07-17
Publication date: 1998-02-03

Abstract

(57)【要約】【課題】高解像度でかつ広画角の大画面画像を短時間
に作成することは、従来技術において不可能であった。【解決手段】大画面画像を構成する各部分画像を連続
的にパン、チルトしながら撮像するテレビジョンカメラ
と、そのテレビジョンカメラの振り角度と撮像画像の画
角とをそれぞれ任意のビデオフィールドまたはビデオフ
レームごとに検出するカメラデータ検出部と、そのカメ
ラデータ検出部において検出した振り角度と画角に基づ
いて、任意のビデオフィールドまたはビデオフレームご
とに撮像した複数の撮像画像をそれぞれ透視変換する画
像変換回路と、その画像変換回路において透視変換した
複数の画像を上記透視変換で決まる所定のアドレスに記
憶する大画面メモリとを具えて構成した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、リモートセンシン
グ画像の処理など画像信号処理装置に係わり、特に、同
一シーンを空間的に分割して撮像することにより得られ
た複数のテレビジョン画像信号を連続した大画面画像信
号に再構成する大画面画像合成処理装置、およびその再
構成した大画面画像に自動車などの動いている被写体を
そのまま、あるいはストロボ軌跡としてはめ込む大画面
画像合成処理装置に関する。

【０００２】

【発明が解決しようとする課題】一般に、広視野の画像
を得るためには、広角レンズや魚眼レンズをカメラに取
付けて撮影する方法が考えられる。しかし、この方法で
は、低解像度でかつ歪のある画像しか撮影できないとい
う欠点がある。

【０００３】また、高解像度の画像を得るためには、写
真などの静止画をスキャナーで取込む方法などが考えら
れる。しかし、この方法では、動画が扱えず、また、取
込みなどに時間がかかるといった欠点もある。

【０００４】一方、分割して撮像される複数の画像から
連続した大画面を再構成する従来技術としては、例え
ば、衛星による地球の連続撮影画像や航空機を用いた写
真測量のようなリモートセンシング画像におけるつなぎ
合わせ技術がある。しかしこれらにおいては、いずれも
撮影対象面と投影面が正対する条件においての撮影（鉛
直写真）を基本とし、画像のつなぎ合わせ技術はパスポ
イントにおける偏位を図化機上で光学的に修正するもの
が中心である。

【０００５】また、本願人の出願に係わる特公平６−３
８４６２号公報に開示されている「映像合成方法」は、
同一のシーンを空間的に分割して撮像することにより得
られた複数のテレビジョン画像信号を連続した大画面の
画像信号に再構成するものであるが、これは、合成され
た各画像間の境界線における不一致を目立たなくしてい
るにすぎない。

【０００６】本発明の目的は、上記課題を解決した新規
な大画面画像合成処理装置を提供することにある。

【０００７】

【課題を解決するための手段】本発明は、以下に説明す
るように、テレビジョンカメラの振り角度と撮像画像の
画角とからなるカメラデータを検出し、それら検出した
カメラデータから撮像画像の幾何学変換（ここでは、透
視変換）に必要なパラメータを算出し、これに基づいて
画像を透視変換して相互につなぎ合わせることにより、
高解像度、広画角の大画面画像を作成するものである。

【０００８】より具体的には、本発明においては、定点
カメラ（テレビジョンカメラ）を連続的にパンおよびチ
ルトしながら撮像し、任意のビデオフィールドまたはビ
デオフレームにおいて得られた個々の撮像画像からその
ときのカメラデータに基づき実空間に置かれた仮想平面
上に透視変換したそれぞれの画像（複数）を電気的に生
成し、それら生成した画像を相互に隣接してつなぎ合わ
せ、大画面画像を作成するようにしている。

【０００９】すなわち、本発明大画面画像合成処理装置
は、大画面画像を構成する各部分画像を連続的にパン、
チルトしながら撮像するテレビジョンカメラと、該テレ
ビジョンカメラの振り角度と該カメラによる撮像画像の
画角とをそれぞれ任意のビデオフィールドまたはビデオ
フレームごとに検出するカメラデータ検出部と、該カメ
ラデータ検出部において検出した前記振り角度と前記画
角に基づいて、前記任意のビデオフィールドまたはビデ
オフレームごとに撮像した複数の撮像画像をそれぞれ透
視変換する画像変換回路と、該画像変換回路において透
視変換した複数の画像を前記透視変換で決まる所定のア
ドレスに記憶する大画面メモリとを少なくとも具えてな
ることを特徴とするものである。

【００１０】また、本発明大画面画像合成処理装置は、
前記大画面メモリが、背景用と前景用とに分離して設け
られ、それらそれぞれの大画面メモリに、背景画像と前
景画像のそれぞれ透視変換された複数の画像を記憶し、
それら記憶した画像をそれぞれの大画面メモリから両メ
モリのアドレスを一致させて読出し前景画像データが存
在する領域を超えない範囲で背景画像に前景画像を上書
きするように構成され、該装置から背景画像に前景画像
がはめ込まれた画像が得られるようになっていることを
特徴とするものである。

【００１１】また、本発明大画面画像合成処理装置は、
前記それぞれの大画面メモリからの画像の読出しが、前
記背景用の大画面メモリの全アドレスに前記背景画像が
記憶された後に行うように構成されていることを特徴と
するものである。

【００１２】

【発明の実施の形態】以下に添付図面を参照し、実施の
形態に基づいて本発明を詳細に説明する。図１は、本発
明による大画面画像合成処理装置の一実施形態を示すブ
ロック図である。図示のように、本発明装置は、大別し
てテレビジョンカメラ１と、そのテレビジョンカメラお
よび撮像画像についてそれぞれパン、チルトなどの振り
角度および画像の画角を検出するカメラデータ検出部２
と、撮像画像を上記振り角度および画角に基づいて透視
変換した変換画像をメモリの所定アドレスに記憶する大
画面画像生成部３と、大画面画像生成部３の出力画像に
ついて、メモリが複数ある場合には各出力画像を予め定
められた領域および順序で上書きしたうえで、必要な拡
大、縮小、移動などの幾何学変換を行う幾何学変換回路
４とからなっている。なお、上記において最後の幾何学
変換回路４は、本発明を構成するうえで必ずしも必要と
するものではない。

【００１３】以下に、図１につき、装置の動作を画像の
流れに沿って説明する。まず、カメラデータ検出部２を
構成する振り角度検出器５は、例えばテレビジョンカメ
ラ１の雲台からパン、チルト情報を受信し、その受信し
た信号について、予め定められたある向きを中心に大画
面画像を生成することを考え、その中心にカメラを向け
たときの振り角度をゼロ度とし、そこからのテレビジョ
ンカメラの振り角度を演算してフィールド単位（１／６
０秒毎）に出力する。同様に、カメラデータ検出部２の
画角検出器６は、例えばテレビジョンカメラ１のズーム
レンズからズーム情報を受信し、これをもとに画像の横
および縦の画角を演算してフィールド単位（１／６０秒
毎）に出力する。

【００１４】上記において、パン、チルト情報および画
角情報は、それぞれ雲台のパン軸、チルト軸およびテレ
ビジョンカメラのズームレンズに高分解能のロータリエ
ンコーダやリニアエンコーダを装着することによって、
それぞれのロータリエンコーダ等から振り角度および画
角に比例したパルス数の信号を得ることができる。

【００１５】テレビジョンカメラ１からの撮像画像、お
よび同じタイミングでカメラデータ検出部２から出力さ
れる振り角度（パン、チルト角度）と撮像画像の画角
は、大画面画像生成部３の画像変換回路７に入力され
る。画像変換回路７においては、振り角度と画角とから
画像の幾何学変換（透視変換）に必要なパラメータを計
算し、得られたパラメータを用いて撮像画像の変換を行
い、変換画像の位置に対応し、大画面上のどの位置に表
示するかを示す表示位置アドレスとそのアドレスにおけ
る変換画像とを出力する。

【００１６】ここで、透視変換の原理につき説明する。
図２は、テレビジョンカメラがある時点において、例え
ば背景などの被写体を撮像して得られた画像面（カメラ
画像面）を、大画面メモリ（大画面の表示スクリーンに
相当する）上に投影する、いわゆる透視変換の原理を示
す概念図である。

【００１７】図２において、いま、カメラの向いている
方向に関して角度検出器５（図１参照）からパン、チル
ト角度がそれぞれＰ，Ｔ（度）であると計測されたとす
る。また、画角検出器からは水平画角がＺｈ（度）であ
ると測定されたとする。

【００１８】またここで、視点をカメラと同じ位置に置
いて、視点から投影する大画面（投影面）までの距離Ｆ
を予め設定する。さらに、（ｘ，ｙ，ｚ）直交座標系で
視点を原点（０，０，０）に置いて投影面に垂直な軸が
ｚ軸、投影面に平行な水平軸がｘ軸、投影面に平行な鉛
直軸がｙ軸であると定義する。

【００１９】いま、図２に示すように、カメラの捕える
画像面（以下、単にカメラ画像面という）の画面サイズ
が横および縦それぞれにおいてＨ、Ｖ（画素）であった
とすると、水平画角Ｚｈと水平画面サイズＨとから、視
点からカメラ画像面までの距離ＬはＬ＝Ｈ／（２×tan （Ｚｈ／２)) で表わされる。

【００２０】カメラ画像面上のある画素の点（Ｘ２，Ｙ
２，Ｚ２）は、その点（Ｘ２，Ｙ２，Ｚ２）と視点
（０，０，０）を結ぶ線が投影面と交差する点（Ｘ１，
Ｙ１，Ｚ１）がその点と同じ画素情報を保って投影され
る点となるため、点（Ｘ１，Ｙ１，Ｚ１）と点（Ｘ２，
Ｙ２，Ｚ２）との関係が求められる。すなわち、

【数１】

【００２１】また、カメラ画像面はサンプリング画像で
あるため、カメラ画像面を構成する各画素を１対１の関
係で投影面上に座標変換したのでは、投影面上の画素が
例えば正方格子のように規則的に並ばないことになって
しまう。このため、投影面上のサンプリング点となる画
素の値を、例えば、その画素の近傍に位置するカメラ画
像面から座標変換した画素の値を用いて補間フィルタに
より内挿補間して生成する。最も簡単な補間フィルタと
しては近傍４画素との距離に反比例して重み付け加算す
るものが使用され得る。

【００２２】次に、本発明により大画面画像を合成する
にあたり、これを背景画像について行う（背景取り込み
モード）か、動いている被写体など前景画像について行
う（前景取り込みモード）かのいずれかについて選択的
に行い、それら個別に得られた２つの画像を合成するこ
とにより、予め本発明により大画面に構成した背景中
に、例えば、走行する自動車（前景）をリアルタイムで
表示するなどすることができる。以下これにつき説明す
る。

【００２３】図１の操作部８において、背景取り込みモ
ードを指定すると、スイッチＳＷにより大画面背景メモ
リ９側が選択され、画像変換回路７の出力は、カメラ画
面で（Ｘ２，Ｙ２，Ｚ２）の点が大画面背景メモリ９の
アドレス（Ｘ１，Ｙ１，Ｚ１）に書き込まれる。また、
操作部８において、前景取り込みモードを指定すると、
スイッチＳＷにより大画面前景メモリ１０側が選択さ
れ、画像変換回路７の出力は同様に大画面前景メモリ１
０のアドレス（Ｘ１，Ｙ１，Ｚ１）に書き込まれる。

【００２４】図３は、背景取り込みモードの処理手順を
示す説明図である。図３において、静止している被写体
を対象に、カメラをなめるように操作（チルト、パン、
ズーム）して、あるパン角度Ｐ′、チルト角度Ｔ′およ
び画角Ｚ′のカメラ画像面を瞬時の演算により各画素に
対応するアドレスを計算（計算方法については、図２に
基き既述）しながら透視変換を行い、変換画像を順次大
画面背景メモリ９（図１参照）の表示位置アドレスに書
き込んでいく。

【００２５】以上のようにして、とくにカメラ操作を極
端に早くしないかぎり、連続するフィールド画像は重複
部分を含み、結果的に、画素データを隙間なく大画面背
景メモリ９に書き込むことができ、従って、この処理手
順により大画面背景画像を作成することができる。

【００２６】図４は、前景取り込みモードの処理手順を
示す説明図である。図４において、動いている被写体
（本例の場合、自動車）を追うカメラ操作に従って、あ
るパン角度Ｐ″、チルト角度Ｔ″および画角Ｚ″のカメ
ラ画像面を瞬時の演算により各画素に対応するアドレス
を計算しながら透視変換を行い、変換画像を順次大画面
前景メモリ１０（図１参照）の表示位置アドレスに書き
込んでいく。このようにして、背景取り込みモードの場
合と同様に大画面前景画像を作成することができる。

【００２７】ただし、この場合においては、大画面背景
画像のときと異なり、被写体を追うカメラ操作によって
撮像された範囲にのみデータが存在する画像となってい
る。

【００２８】例えば、図１に示すような操作部からのタ
イミング制御により撮像画像の取り込みタイミングをビ
デオフレーム単位に行い、垂直ブランキング期間中に大
画面前景メモリ１０上で前フレームに書き込まれた領域
をゼロクリアして、新たに現在のフレームの変換画像を
順次大画面前景メモリ１０の表示位置アドレスに書き込
んでいく。この操作をビデオフレーム毎に行い、後述す
るように予め作成された大画面背景画像と画像合成する
ことで、任意のカメラアングルの動いている被写体の表
示が可能になる。

【００２９】また、動いている被写体に関しては、ブラ
ンキング期間中にゼロクリアを行わないと、大画面前景
画像はストロボ軌跡表示になる。このストロボ軌跡表示
は、例えば、操作部８（図１参照）からのタイミング制
御によりカメラ画像面の入力タイミングを予め設定した
時間おきに間引きすることにより、ストロボ表示の間隔
が決まるので、テレビジョン放送の特殊効果等に使用す
ることができる。

【００３０】以上のようにして得られた大画面背景画像
と大画面前景画像（いずれも、図１に示す大画面画像生
成部３の出力）とは、前景画像データが存在する領域を
超えない範囲で画像合成器１１にて背景画像に前景画像
が上書きされ、その出力が幾何学変換回路４に供給さ
れ、幾何学変換回路４から最終的な出力画像が得られ
る。なお、上書きは前景画像データが存在する領域すべ
てについて行うことができるほか、後述するように被写
体キー信号を発生させ、その被写体部分についてのみ行
ってもよい。

【００３１】図５は、大画面背景画像と大画面前景画像
との合成、および合成された画像の一部を取出し、縮小
を行う場合の処理手順を示す説明図である。図５におい
て、大画面画像生成部３中の大画面背景メモリ９（図１
参照、以下同じ）に書き込まれた大画面背景画像と、大
画面前景メモリ１０に書き込まれた大画面前景画像とは
画像合成器１１にて合成され、大画面合成画像となる。
この大画面合成画像は、操作者が操作部８を操作するこ
とによって合成画像中で出力したい部位（位置）で切り
出し、かつ縮小された出力画像を、幾何学変換回路４の
出力として出力する。ここで、縮小は拡大に変えること
も可能で、縮小率、拡大率も任意に操作部８を介して制
御することができる。

【００３２】また、図５から読みとれるように、大画面
背景画像は、その画像を完成した後、すなわち、大画面
背景メモリの全アドレスに背景画像を記憶した後に繰り
返し読出すようにし、これに対し、大画面前景画像はリ
アルタイムで大画面前景メモリに書込み、読出すように
するのが望ましい。これは、背景は静止画の場合が多い
からである。

【００３３】以上説明した本発明の実施形態において
は、大画面メモリとして、大画面背景メモリと大画面前
景メモリの２面を具えるものとしたが、３面以上のメモ
リを使用することで多層合成を実現することもできる。
また、カメラデータ検出部は本実施形態で説明したカメ
ラ雲台に測定器を取付ける方法の他に、文献J. Park et
al,“Estimation of camera Parameters from image se
quence for model-based video coding”, IEEE Trans.
ＣＡＶ−ＶＴ，vol.４，no. ３，June, 1994に開示さ
れているように、カメラの撮像画像から画像処理により
検出する方法に変更してもよい。

【００３４】また、本発明では、大画面画像の生成手法
として透視変換を使用するため、屋外など、条件によっ
ては、輝度や色調が時間により変化して、前景、背景の
境界に違和感を生じることも考えられる。前景と背景の
明度、色調を合わせるために、例えば、奥井、他「パノ
ラマ合成撮像における階調の統一処理の検討」昭和６２
年画像電子学会全国大会予稿１３に記載の明度色調調整
回路を使用することにより、違和感のない合成が可能に
なる。

【００３５】また、例えばＲＧＢ各信号について前景と
背景の差分を取り、あるしきい値を境に、しきい値以上
を“１”、しきい値以下を“０”としてキー信号を発生
させることにより、被写体を抜き出すことが可能にな
る。従って、ストロボ軌跡画像を生成する際に、変換画
像が前フレームと現フレームとで重なる場合でも、ＲＧ
Ｂのいずれかのキー信号が“１”のところの被写体の画
像のみをメモリ１０に上書きすることにより、ストロボ
表示間隔がつまっている場合の被写体のストロボ軌跡画
像を表示することも可能になる。

【００３６】

【発明の効果】本発明は、テレビジョンカメラの操作に
よって得られるカメラデータ（振り角度、画角）を用い
て、テレビジョンカメラで捕らえられた画像面を透視変
換して、大画面を作成するものであるから、最終的に得
られる画像として超高解像度、広画角の画像を短時間に
作成することができる。

【００３７】また、本発明によれば、大画面メモリを複
数用意することによって動画像表示やストロボ軌跡表示
が可能である。

【００３８】また、本発明の実施形態の幾何学変換回路
は、作成した大画面画像から任意の部位（位置）とサイ
ズの画像を出力することができ、後処理によって自由な
カメラワークを実現することができる。

【００３９】また、従来技術との対比で言えば、本発明
は、大画面画像を作成するうえで、互いに接する画像同
士で幾何学上のマッチングをとる必要がなく、カメラデ
ータの検出角度および撮像画像の画角のみから透視変換
のパラメータを算出し、画像の変換を行うだけでつなぎ
合わせられるために高速な処理が可能である。また、大
画面メモリを２以上具えることにより、メモリを前景用
と背景用とに分けて入力画像を変換して書き込むこと
で、動きのある被写体を入力することが可能になる。

【図面の簡単な説明】

【図１】本発明による大画面画像合成処理装置の一実施
形態を示すブロック図である。

【図２】透視変換の原理を示す概念図である。

【図３】背景取り込みモードの処理手順を示す説明図で
ある。

【図４】前景取り込みモードの処理手順を示す説明図で
ある。

【図５】大画面背景画像と大画面前景画像との合成、お
よび合成された画像の一部を取出し、縮小を行う場合の
処理手順を示す説明図である。

【符号の説明】

１テレビジョンカメラ２カメラデータ検出部３大画面画像生成部４幾何学変換回路５振り角度検出器６画角検出器７画像変換回路８操作部９大画面背景メモリ 10 大画面前景メモリ 11 画像合成器ＳＷスイッチＰ，Ｐ′，Ｐ″ パン角度Ｔ，Ｔ′，Ｔ″ チルト角度Ｚ，Ｚ′，Ｚ″ 画角

Claims

【特許請求の範囲】

【請求項１】大画面画像を構成する各部分画像を連続
的にパン、チルトしながら撮像するテレビジョンカメラ
と、該テレビジョンカメラの振り角度と該カメラによる撮像
画像の画角とをそれぞれ任意のビデオフィールドまたは
ビデオフレームごとに検出するカメラデータ検出部と、該カメラデータ検出部において検出した前記振り角度と
前記画角に基づいて、前記任意のビデオフィールドまた
はビデオフレームごとに撮像した複数の撮像画像をそれ
ぞれ透視変換する画像変換回路と、該画像変換回路において透視変換した複数の画像を前記
透視変換で決まる所定のアドレスに記憶する大画面メモ
リとを少なくとも具えてなることを特徴とする大画面画
像合成処理装置。
【請求項２】請求項１記載の大画面画像合成処理装置
において、該装置は、前記大画面メモリが、背景用と前
景用とに分離して設けられ、それらそれぞれの大画面メ
モリに、背景画像と前景画像のそれぞれ透視変換された
複数の画像を記憶し、それら記憶した画像をそれぞれの
大画面メモリから両メモリのアドレスを一致させて読出
し前景画像データが存在する領域を超えない範囲で背景
画像に前景画像を上書きするように構成され、該装置か
ら背景画像に前景画像がはめ込まれた画像が得られるよ
うになっていることを特徴とする大画面画像合成処理装
置。
【請求項３】請求項２記載の大画面画像合成処理装置
において、前記それぞれの大画面メモリからの画像の読
出しは、前記背景用の大画面メモリの全アドレスに前記
背景画像が記憶された後に行うように構成されているこ
とを特徴とする大画面画像合成処理装置。