JPH1032755A - 大画面画像合成処理装置 - Google Patents
大画面画像合成処理装置Info
- Publication number
- JPH1032755A JPH1032755A JP8187526A JP18752696A JPH1032755A JP H1032755 A JPH1032755 A JP H1032755A JP 8187526 A JP8187526 A JP 8187526A JP 18752696 A JP18752696 A JP 18752696A JP H1032755 A JPH1032755 A JP H1032755A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- angle
- camera
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 高解像度でかつ広画角の大画面画像を短時間
に作成することは、従来技術において不可能であった。 【解決手段】 大画面画像を構成する各部分画像を連続
的にパン、チルトしながら撮像するテレビジョンカメラ
と、そのテレビジョンカメラの振り角度と撮像画像の画
角とをそれぞれ任意のビデオフィールドまたはビデオフ
レームごとに検出するカメラデータ検出部と、そのカメ
ラデータ検出部において検出した振り角度と画角に基づ
いて、任意のビデオフィールドまたはビデオフレームご
とに撮像した複数の撮像画像をそれぞれ透視変換する画
像変換回路と、その画像変換回路において透視変換した
複数の画像を上記透視変換で決まる所定のアドレスに記
憶する大画面メモリとを具えて構成した。
に作成することは、従来技術において不可能であった。 【解決手段】 大画面画像を構成する各部分画像を連続
的にパン、チルトしながら撮像するテレビジョンカメラ
と、そのテレビジョンカメラの振り角度と撮像画像の画
角とをそれぞれ任意のビデオフィールドまたはビデオフ
レームごとに検出するカメラデータ検出部と、そのカメ
ラデータ検出部において検出した振り角度と画角に基づ
いて、任意のビデオフィールドまたはビデオフレームご
とに撮像した複数の撮像画像をそれぞれ透視変換する画
像変換回路と、その画像変換回路において透視変換した
複数の画像を上記透視変換で決まる所定のアドレスに記
憶する大画面メモリとを具えて構成した。
Description
【0001】
【発明の属する技術分野】本発明は、リモートセンシン
グ画像の処理など画像信号処理装置に係わり、特に、同
一シーンを空間的に分割して撮像することにより得られ
た複数のテレビジョン画像信号を連続した大画面画像信
号に再構成する大画面画像合成処理装置、およびその再
構成した大画面画像に自動車などの動いている被写体を
そのまま、あるいはストロボ軌跡としてはめ込む大画面
画像合成処理装置に関する。
グ画像の処理など画像信号処理装置に係わり、特に、同
一シーンを空間的に分割して撮像することにより得られ
た複数のテレビジョン画像信号を連続した大画面画像信
号に再構成する大画面画像合成処理装置、およびその再
構成した大画面画像に自動車などの動いている被写体を
そのまま、あるいはストロボ軌跡としてはめ込む大画面
画像合成処理装置に関する。
【0002】
【発明が解決しようとする課題】一般に、広視野の画像
を得るためには、広角レンズや魚眼レンズをカメラに取
付けて撮影する方法が考えられる。しかし、この方法で
は、低解像度でかつ歪のある画像しか撮影できないとい
う欠点がある。
を得るためには、広角レンズや魚眼レンズをカメラに取
付けて撮影する方法が考えられる。しかし、この方法で
は、低解像度でかつ歪のある画像しか撮影できないとい
う欠点がある。
【0003】また、高解像度の画像を得るためには、写
真などの静止画をスキャナーで取込む方法などが考えら
れる。しかし、この方法では、動画が扱えず、また、取
込みなどに時間がかかるといった欠点もある。
真などの静止画をスキャナーで取込む方法などが考えら
れる。しかし、この方法では、動画が扱えず、また、取
込みなどに時間がかかるといった欠点もある。
【0004】一方、分割して撮像される複数の画像から
連続した大画面を再構成する従来技術としては、例え
ば、衛星による地球の連続撮影画像や航空機を用いた写
真測量のようなリモートセンシング画像におけるつなぎ
合わせ技術がある。しかしこれらにおいては、いずれも
撮影対象面と投影面が正対する条件においての撮影(鉛
直写真)を基本とし、画像のつなぎ合わせ技術はパスポ
イントにおける偏位を図化機上で光学的に修正するもの
が中心である。
連続した大画面を再構成する従来技術としては、例え
ば、衛星による地球の連続撮影画像や航空機を用いた写
真測量のようなリモートセンシング画像におけるつなぎ
合わせ技術がある。しかしこれらにおいては、いずれも
撮影対象面と投影面が正対する条件においての撮影(鉛
直写真)を基本とし、画像のつなぎ合わせ技術はパスポ
イントにおける偏位を図化機上で光学的に修正するもの
が中心である。
【0005】また、本願人の出願に係わる特公平6−3
8462号公報に開示されている「映像合成方法」は、
同一のシーンを空間的に分割して撮像することにより得
られた複数のテレビジョン画像信号を連続した大画面の
画像信号に再構成するものであるが、これは、合成され
た各画像間の境界線における不一致を目立たなくしてい
るにすぎない。
8462号公報に開示されている「映像合成方法」は、
同一のシーンを空間的に分割して撮像することにより得
られた複数のテレビジョン画像信号を連続した大画面の
画像信号に再構成するものであるが、これは、合成され
た各画像間の境界線における不一致を目立たなくしてい
るにすぎない。
【0006】本発明の目的は、上記課題を解決した新規
な大画面画像合成処理装置を提供することにある。
な大画面画像合成処理装置を提供することにある。
【0007】
【課題を解決するための手段】本発明は、以下に説明す
るように、テレビジョンカメラの振り角度と撮像画像の
画角とからなるカメラデータを検出し、それら検出した
カメラデータから撮像画像の幾何学変換(ここでは、透
視変換)に必要なパラメータを算出し、これに基づいて
画像を透視変換して相互につなぎ合わせることにより、
高解像度、広画角の大画面画像を作成するものである。
るように、テレビジョンカメラの振り角度と撮像画像の
画角とからなるカメラデータを検出し、それら検出した
カメラデータから撮像画像の幾何学変換(ここでは、透
視変換)に必要なパラメータを算出し、これに基づいて
画像を透視変換して相互につなぎ合わせることにより、
高解像度、広画角の大画面画像を作成するものである。
【0008】より具体的には、本発明においては、定点
カメラ(テレビジョンカメラ)を連続的にパンおよびチ
ルトしながら撮像し、任意のビデオフィールドまたはビ
デオフレームにおいて得られた個々の撮像画像からその
ときのカメラデータに基づき実空間に置かれた仮想平面
上に透視変換したそれぞれの画像(複数)を電気的に生
成し、それら生成した画像を相互に隣接してつなぎ合わ
せ、大画面画像を作成するようにしている。
カメラ(テレビジョンカメラ)を連続的にパンおよびチ
ルトしながら撮像し、任意のビデオフィールドまたはビ
デオフレームにおいて得られた個々の撮像画像からその
ときのカメラデータに基づき実空間に置かれた仮想平面
上に透視変換したそれぞれの画像(複数)を電気的に生
成し、それら生成した画像を相互に隣接してつなぎ合わ
せ、大画面画像を作成するようにしている。
【0009】すなわち、本発明大画面画像合成処理装置
は、大画面画像を構成する各部分画像を連続的にパン、
チルトしながら撮像するテレビジョンカメラと、該テレ
ビジョンカメラの振り角度と該カメラによる撮像画像の
画角とをそれぞれ任意のビデオフィールドまたはビデオ
フレームごとに検出するカメラデータ検出部と、該カメ
ラデータ検出部において検出した前記振り角度と前記画
角に基づいて、前記任意のビデオフィールドまたはビデ
オフレームごとに撮像した複数の撮像画像をそれぞれ透
視変換する画像変換回路と、該画像変換回路において透
視変換した複数の画像を前記透視変換で決まる所定のア
ドレスに記憶する大画面メモリとを少なくとも具えてな
ることを特徴とするものである。
は、大画面画像を構成する各部分画像を連続的にパン、
チルトしながら撮像するテレビジョンカメラと、該テレ
ビジョンカメラの振り角度と該カメラによる撮像画像の
画角とをそれぞれ任意のビデオフィールドまたはビデオ
フレームごとに検出するカメラデータ検出部と、該カメ
ラデータ検出部において検出した前記振り角度と前記画
角に基づいて、前記任意のビデオフィールドまたはビデ
オフレームごとに撮像した複数の撮像画像をそれぞれ透
視変換する画像変換回路と、該画像変換回路において透
視変換した複数の画像を前記透視変換で決まる所定のア
ドレスに記憶する大画面メモリとを少なくとも具えてな
ることを特徴とするものである。
【0010】また、本発明大画面画像合成処理装置は、
前記大画面メモリが、背景用と前景用とに分離して設け
られ、それらそれぞれの大画面メモリに、背景画像と前
景画像のそれぞれ透視変換された複数の画像を記憶し、
それら記憶した画像をそれぞれの大画面メモリから両メ
モリのアドレスを一致させて読出し前景画像データが存
在する領域を超えない範囲で背景画像に前景画像を上書
きするように構成され、該装置から背景画像に前景画像
がはめ込まれた画像が得られるようになっていることを
特徴とするものである。
前記大画面メモリが、背景用と前景用とに分離して設け
られ、それらそれぞれの大画面メモリに、背景画像と前
景画像のそれぞれ透視変換された複数の画像を記憶し、
それら記憶した画像をそれぞれの大画面メモリから両メ
モリのアドレスを一致させて読出し前景画像データが存
在する領域を超えない範囲で背景画像に前景画像を上書
きするように構成され、該装置から背景画像に前景画像
がはめ込まれた画像が得られるようになっていることを
特徴とするものである。
【0011】また、本発明大画面画像合成処理装置は、
前記それぞれの大画面メモリからの画像の読出しが、前
記背景用の大画面メモリの全アドレスに前記背景画像が
記憶された後に行うように構成されていることを特徴と
するものである。
前記それぞれの大画面メモリからの画像の読出しが、前
記背景用の大画面メモリの全アドレスに前記背景画像が
記憶された後に行うように構成されていることを特徴と
するものである。
【0012】
【発明の実施の形態】以下に添付図面を参照し、実施の
形態に基づいて本発明を詳細に説明する。図1は、本発
明による大画面画像合成処理装置の一実施形態を示すブ
ロック図である。図示のように、本発明装置は、大別し
てテレビジョンカメラ1と、そのテレビジョンカメラお
よび撮像画像についてそれぞれパン、チルトなどの振り
角度および画像の画角を検出するカメラデータ検出部2
と、撮像画像を上記振り角度および画角に基づいて透視
変換した変換画像をメモリの所定アドレスに記憶する大
画面画像生成部3と、大画面画像生成部3の出力画像に
ついて、メモリが複数ある場合には各出力画像を予め定
められた領域および順序で上書きしたうえで、必要な拡
大、縮小、移動などの幾何学変換を行う幾何学変換回路
4とからなっている。なお、上記において最後の幾何学
変換回路4は、本発明を構成するうえで必ずしも必要と
するものではない。
形態に基づいて本発明を詳細に説明する。図1は、本発
明による大画面画像合成処理装置の一実施形態を示すブ
ロック図である。図示のように、本発明装置は、大別し
てテレビジョンカメラ1と、そのテレビジョンカメラお
よび撮像画像についてそれぞれパン、チルトなどの振り
角度および画像の画角を検出するカメラデータ検出部2
と、撮像画像を上記振り角度および画角に基づいて透視
変換した変換画像をメモリの所定アドレスに記憶する大
画面画像生成部3と、大画面画像生成部3の出力画像に
ついて、メモリが複数ある場合には各出力画像を予め定
められた領域および順序で上書きしたうえで、必要な拡
大、縮小、移動などの幾何学変換を行う幾何学変換回路
4とからなっている。なお、上記において最後の幾何学
変換回路4は、本発明を構成するうえで必ずしも必要と
するものではない。
【0013】以下に、図1につき、装置の動作を画像の
流れに沿って説明する。まず、カメラデータ検出部2を
構成する振り角度検出器5は、例えばテレビジョンカメ
ラ1の雲台からパン、チルト情報を受信し、その受信し
た信号について、予め定められたある向きを中心に大画
面画像を生成することを考え、その中心にカメラを向け
たときの振り角度をゼロ度とし、そこからのテレビジョ
ンカメラの振り角度を演算してフィールド単位(1/6
0秒毎)に出力する。同様に、カメラデータ検出部2の
画角検出器6は、例えばテレビジョンカメラ1のズーム
レンズからズーム情報を受信し、これをもとに画像の横
および縦の画角を演算してフィールド単位(1/60秒
毎)に出力する。
流れに沿って説明する。まず、カメラデータ検出部2を
構成する振り角度検出器5は、例えばテレビジョンカメ
ラ1の雲台からパン、チルト情報を受信し、その受信し
た信号について、予め定められたある向きを中心に大画
面画像を生成することを考え、その中心にカメラを向け
たときの振り角度をゼロ度とし、そこからのテレビジョ
ンカメラの振り角度を演算してフィールド単位(1/6
0秒毎)に出力する。同様に、カメラデータ検出部2の
画角検出器6は、例えばテレビジョンカメラ1のズーム
レンズからズーム情報を受信し、これをもとに画像の横
および縦の画角を演算してフィールド単位(1/60秒
毎)に出力する。
【0014】上記において、パン、チルト情報および画
角情報は、それぞれ雲台のパン軸、チルト軸およびテレ
ビジョンカメラのズームレンズに高分解能のロータリエ
ンコーダやリニアエンコーダを装着することによって、
それぞれのロータリエンコーダ等から振り角度および画
角に比例したパルス数の信号を得ることができる。
角情報は、それぞれ雲台のパン軸、チルト軸およびテレ
ビジョンカメラのズームレンズに高分解能のロータリエ
ンコーダやリニアエンコーダを装着することによって、
それぞれのロータリエンコーダ等から振り角度および画
角に比例したパルス数の信号を得ることができる。
【0015】テレビジョンカメラ1からの撮像画像、お
よび同じタイミングでカメラデータ検出部2から出力さ
れる振り角度(パン、チルト角度)と撮像画像の画角
は、大画面画像生成部3の画像変換回路7に入力され
る。画像変換回路7においては、振り角度と画角とから
画像の幾何学変換(透視変換)に必要なパラメータを計
算し、得られたパラメータを用いて撮像画像の変換を行
い、変換画像の位置に対応し、大画面上のどの位置に表
示するかを示す表示位置アドレスとそのアドレスにおけ
る変換画像とを出力する。
よび同じタイミングでカメラデータ検出部2から出力さ
れる振り角度(パン、チルト角度)と撮像画像の画角
は、大画面画像生成部3の画像変換回路7に入力され
る。画像変換回路7においては、振り角度と画角とから
画像の幾何学変換(透視変換)に必要なパラメータを計
算し、得られたパラメータを用いて撮像画像の変換を行
い、変換画像の位置に対応し、大画面上のどの位置に表
示するかを示す表示位置アドレスとそのアドレスにおけ
る変換画像とを出力する。
【0016】ここで、透視変換の原理につき説明する。
図2は、テレビジョンカメラがある時点において、例え
ば背景などの被写体を撮像して得られた画像面(カメラ
画像面)を、大画面メモリ(大画面の表示スクリーンに
相当する)上に投影する、いわゆる透視変換の原理を示
す概念図である。
図2は、テレビジョンカメラがある時点において、例え
ば背景などの被写体を撮像して得られた画像面(カメラ
画像面)を、大画面メモリ(大画面の表示スクリーンに
相当する)上に投影する、いわゆる透視変換の原理を示
す概念図である。
【0017】図2において、いま、カメラの向いている
方向に関して角度検出器5(図1参照)からパン、チル
ト角度がそれぞれP,T(度)であると計測されたとす
る。また、画角検出器からは水平画角がZh(度)であ
ると測定されたとする。
方向に関して角度検出器5(図1参照)からパン、チル
ト角度がそれぞれP,T(度)であると計測されたとす
る。また、画角検出器からは水平画角がZh(度)であ
ると測定されたとする。
【0018】またここで、視点をカメラと同じ位置に置
いて、視点から投影する大画面(投影面)までの距離F
を予め設定する。さらに、(x,y,z)直交座標系で
視点を原点(0,0,0)に置いて投影面に垂直な軸が
z軸、投影面に平行な水平軸がx軸、投影面に平行な鉛
直軸がy軸であると定義する。
いて、視点から投影する大画面(投影面)までの距離F
を予め設定する。さらに、(x,y,z)直交座標系で
視点を原点(0,0,0)に置いて投影面に垂直な軸が
z軸、投影面に平行な水平軸がx軸、投影面に平行な鉛
直軸がy軸であると定義する。
【0019】いま、図2に示すように、カメラの捕える
画像面(以下、単にカメラ画像面という)の画面サイズ
が横および縦それぞれにおいてH、V(画素)であった
とすると、水平画角Zhと水平画面サイズHとから、視
点からカメラ画像面までの距離Lは L=H/(2×tan (Zh/2)) で表わされる。
画像面(以下、単にカメラ画像面という)の画面サイズ
が横および縦それぞれにおいてH、V(画素)であった
とすると、水平画角Zhと水平画面サイズHとから、視
点からカメラ画像面までの距離Lは L=H/(2×tan (Zh/2)) で表わされる。
【0020】カメラ画像面上のある画素の点(X2,Y
2,Z2)は、その点(X2,Y2,Z2)と視点
(0,0,0)を結ぶ線が投影面と交差する点(X1,
Y1,Z1)がその点と同じ画素情報を保って投影され
る点となるため、点(X1,Y1,Z1)と点(X2,
Y2,Z2)との関係が求められる。すなわち、
2,Z2)は、その点(X2,Y2,Z2)と視点
(0,0,0)を結ぶ線が投影面と交差する点(X1,
Y1,Z1)がその点と同じ画素情報を保って投影され
る点となるため、点(X1,Y1,Z1)と点(X2,
Y2,Z2)との関係が求められる。すなわち、
【数1】
【0021】また、カメラ画像面はサンプリング画像で
あるため、カメラ画像面を構成する各画素を1対1の関
係で投影面上に座標変換したのでは、投影面上の画素が
例えば正方格子のように規則的に並ばないことになって
しまう。このため、投影面上のサンプリング点となる画
素の値を、例えば、その画素の近傍に位置するカメラ画
像面から座標変換した画素の値を用いて補間フィルタに
より内挿補間して生成する。最も簡単な補間フィルタと
しては近傍4画素との距離に反比例して重み付け加算す
るものが使用され得る。
あるため、カメラ画像面を構成する各画素を1対1の関
係で投影面上に座標変換したのでは、投影面上の画素が
例えば正方格子のように規則的に並ばないことになって
しまう。このため、投影面上のサンプリング点となる画
素の値を、例えば、その画素の近傍に位置するカメラ画
像面から座標変換した画素の値を用いて補間フィルタに
より内挿補間して生成する。最も簡単な補間フィルタと
しては近傍4画素との距離に反比例して重み付け加算す
るものが使用され得る。
【0022】次に、本発明により大画面画像を合成する
にあたり、これを背景画像について行う(背景取り込み
モード)か、動いている被写体など前景画像について行
う(前景取り込みモード)かのいずれかについて選択的
に行い、それら個別に得られた2つの画像を合成するこ
とにより、予め本発明により大画面に構成した背景中
に、例えば、走行する自動車(前景)をリアルタイムで
表示するなどすることができる。以下これにつき説明す
る。
にあたり、これを背景画像について行う(背景取り込み
モード)か、動いている被写体など前景画像について行
う(前景取り込みモード)かのいずれかについて選択的
に行い、それら個別に得られた2つの画像を合成するこ
とにより、予め本発明により大画面に構成した背景中
に、例えば、走行する自動車(前景)をリアルタイムで
表示するなどすることができる。以下これにつき説明す
る。
【0023】図1の操作部8において、背景取り込みモ
ードを指定すると、スイッチSWにより大画面背景メモ
リ9側が選択され、画像変換回路7の出力は、カメラ画
面で(X2,Y2,Z2)の点が大画面背景メモリ9の
アドレス(X1,Y1,Z1)に書き込まれる。また、
操作部8において、前景取り込みモードを指定すると、
スイッチSWにより大画面前景メモリ10側が選択さ
れ、画像変換回路7の出力は同様に大画面前景メモリ1
0のアドレス(X1,Y1,Z1)に書き込まれる。
ードを指定すると、スイッチSWにより大画面背景メモ
リ9側が選択され、画像変換回路7の出力は、カメラ画
面で(X2,Y2,Z2)の点が大画面背景メモリ9の
アドレス(X1,Y1,Z1)に書き込まれる。また、
操作部8において、前景取り込みモードを指定すると、
スイッチSWにより大画面前景メモリ10側が選択さ
れ、画像変換回路7の出力は同様に大画面前景メモリ1
0のアドレス(X1,Y1,Z1)に書き込まれる。
【0024】図3は、背景取り込みモードの処理手順を
示す説明図である。図3において、静止している被写体
を対象に、カメラをなめるように操作(チルト、パン、
ズーム)して、あるパン角度P′、チルト角度T′およ
び画角Z′のカメラ画像面を瞬時の演算により各画素に
対応するアドレスを計算(計算方法については、図2に
基き既述)しながら透視変換を行い、変換画像を順次大
画面背景メモリ9(図1参照)の表示位置アドレスに書
き込んでいく。
示す説明図である。図3において、静止している被写体
を対象に、カメラをなめるように操作(チルト、パン、
ズーム)して、あるパン角度P′、チルト角度T′およ
び画角Z′のカメラ画像面を瞬時の演算により各画素に
対応するアドレスを計算(計算方法については、図2に
基き既述)しながら透視変換を行い、変換画像を順次大
画面背景メモリ9(図1参照)の表示位置アドレスに書
き込んでいく。
【0025】以上のようにして、とくにカメラ操作を極
端に早くしないかぎり、連続するフィールド画像は重複
部分を含み、結果的に、画素データを隙間なく大画面背
景メモリ9に書き込むことができ、従って、この処理手
順により大画面背景画像を作成することができる。
端に早くしないかぎり、連続するフィールド画像は重複
部分を含み、結果的に、画素データを隙間なく大画面背
景メモリ9に書き込むことができ、従って、この処理手
順により大画面背景画像を作成することができる。
【0026】図4は、前景取り込みモードの処理手順を
示す説明図である。図4において、動いている被写体
(本例の場合、自動車)を追うカメラ操作に従って、あ
るパン角度P″、チルト角度T″および画角Z″のカメ
ラ画像面を瞬時の演算により各画素に対応するアドレス
を計算しながら透視変換を行い、変換画像を順次大画面
前景メモリ10(図1参照)の表示位置アドレスに書き
込んでいく。このようにして、背景取り込みモードの場
合と同様に大画面前景画像を作成することができる。
示す説明図である。図4において、動いている被写体
(本例の場合、自動車)を追うカメラ操作に従って、あ
るパン角度P″、チルト角度T″および画角Z″のカメ
ラ画像面を瞬時の演算により各画素に対応するアドレス
を計算しながら透視変換を行い、変換画像を順次大画面
前景メモリ10(図1参照)の表示位置アドレスに書き
込んでいく。このようにして、背景取り込みモードの場
合と同様に大画面前景画像を作成することができる。
【0027】ただし、この場合においては、大画面背景
画像のときと異なり、被写体を追うカメラ操作によって
撮像された範囲にのみデータが存在する画像となってい
る。
画像のときと異なり、被写体を追うカメラ操作によって
撮像された範囲にのみデータが存在する画像となってい
る。
【0028】例えば、図1に示すような操作部からのタ
イミング制御により撮像画像の取り込みタイミングをビ
デオフレーム単位に行い、垂直ブランキング期間中に大
画面前景メモリ10上で前フレームに書き込まれた領域
をゼロクリアして、新たに現在のフレームの変換画像を
順次大画面前景メモリ10の表示位置アドレスに書き込
んでいく。この操作をビデオフレーム毎に行い、後述す
るように予め作成された大画面背景画像と画像合成する
ことで、任意のカメラアングルの動いている被写体の表
示が可能になる。
イミング制御により撮像画像の取り込みタイミングをビ
デオフレーム単位に行い、垂直ブランキング期間中に大
画面前景メモリ10上で前フレームに書き込まれた領域
をゼロクリアして、新たに現在のフレームの変換画像を
順次大画面前景メモリ10の表示位置アドレスに書き込
んでいく。この操作をビデオフレーム毎に行い、後述す
るように予め作成された大画面背景画像と画像合成する
ことで、任意のカメラアングルの動いている被写体の表
示が可能になる。
【0029】また、動いている被写体に関しては、ブラ
ンキング期間中にゼロクリアを行わないと、大画面前景
画像はストロボ軌跡表示になる。このストロボ軌跡表示
は、例えば、操作部8(図1参照)からのタイミング制
御によりカメラ画像面の入力タイミングを予め設定した
時間おきに間引きすることにより、ストロボ表示の間隔
が決まるので、テレビジョン放送の特殊効果等に使用す
ることができる。
ンキング期間中にゼロクリアを行わないと、大画面前景
画像はストロボ軌跡表示になる。このストロボ軌跡表示
は、例えば、操作部8(図1参照)からのタイミング制
御によりカメラ画像面の入力タイミングを予め設定した
時間おきに間引きすることにより、ストロボ表示の間隔
が決まるので、テレビジョン放送の特殊効果等に使用す
ることができる。
【0030】以上のようにして得られた大画面背景画像
と大画面前景画像(いずれも、図1に示す大画面画像生
成部3の出力)とは、前景画像データが存在する領域を
超えない範囲で画像合成器11にて背景画像に前景画像
が上書きされ、その出力が幾何学変換回路4に供給さ
れ、幾何学変換回路4から最終的な出力画像が得られ
る。なお、上書きは前景画像データが存在する領域すべ
てについて行うことができるほか、後述するように被写
体キー信号を発生させ、その被写体部分についてのみ行
ってもよい。
と大画面前景画像(いずれも、図1に示す大画面画像生
成部3の出力)とは、前景画像データが存在する領域を
超えない範囲で画像合成器11にて背景画像に前景画像
が上書きされ、その出力が幾何学変換回路4に供給さ
れ、幾何学変換回路4から最終的な出力画像が得られ
る。なお、上書きは前景画像データが存在する領域すべ
てについて行うことができるほか、後述するように被写
体キー信号を発生させ、その被写体部分についてのみ行
ってもよい。
【0031】図5は、大画面背景画像と大画面前景画像
との合成、および合成された画像の一部を取出し、縮小
を行う場合の処理手順を示す説明図である。図5におい
て、大画面画像生成部3中の大画面背景メモリ9(図1
参照、以下同じ)に書き込まれた大画面背景画像と、大
画面前景メモリ10に書き込まれた大画面前景画像とは
画像合成器11にて合成され、大画面合成画像となる。
この大画面合成画像は、操作者が操作部8を操作するこ
とによって合成画像中で出力したい部位(位置)で切り
出し、かつ縮小された出力画像を、幾何学変換回路4の
出力として出力する。ここで、縮小は拡大に変えること
も可能で、縮小率、拡大率も任意に操作部8を介して制
御することができる。
との合成、および合成された画像の一部を取出し、縮小
を行う場合の処理手順を示す説明図である。図5におい
て、大画面画像生成部3中の大画面背景メモリ9(図1
参照、以下同じ)に書き込まれた大画面背景画像と、大
画面前景メモリ10に書き込まれた大画面前景画像とは
画像合成器11にて合成され、大画面合成画像となる。
この大画面合成画像は、操作者が操作部8を操作するこ
とによって合成画像中で出力したい部位(位置)で切り
出し、かつ縮小された出力画像を、幾何学変換回路4の
出力として出力する。ここで、縮小は拡大に変えること
も可能で、縮小率、拡大率も任意に操作部8を介して制
御することができる。
【0032】また、図5から読みとれるように、大画面
背景画像は、その画像を完成した後、すなわち、大画面
背景メモリの全アドレスに背景画像を記憶した後に繰り
返し読出すようにし、これに対し、大画面前景画像はリ
アルタイムで大画面前景メモリに書込み、読出すように
するのが望ましい。これは、背景は静止画の場合が多い
からである。
背景画像は、その画像を完成した後、すなわち、大画面
背景メモリの全アドレスに背景画像を記憶した後に繰り
返し読出すようにし、これに対し、大画面前景画像はリ
アルタイムで大画面前景メモリに書込み、読出すように
するのが望ましい。これは、背景は静止画の場合が多い
からである。
【0033】以上説明した本発明の実施形態において
は、大画面メモリとして、大画面背景メモリと大画面前
景メモリの2面を具えるものとしたが、3面以上のメモ
リを使用することで多層合成を実現することもできる。
また、カメラデータ検出部は本実施形態で説明したカメ
ラ雲台に測定器を取付ける方法の他に、文献J. Park et
al,“Estimation of camera Parameters from image se
quence for model-based video coding”, IEEE Trans.
CAV−VT,vol.4,no. 3,June, 1994に開示さ
れているように、カメラの撮像画像から画像処理により
検出する方法に変更してもよい。
は、大画面メモリとして、大画面背景メモリと大画面前
景メモリの2面を具えるものとしたが、3面以上のメモ
リを使用することで多層合成を実現することもできる。
また、カメラデータ検出部は本実施形態で説明したカメ
ラ雲台に測定器を取付ける方法の他に、文献J. Park et
al,“Estimation of camera Parameters from image se
quence for model-based video coding”, IEEE Trans.
CAV−VT,vol.4,no. 3,June, 1994に開示さ
れているように、カメラの撮像画像から画像処理により
検出する方法に変更してもよい。
【0034】また、本発明では、大画面画像の生成手法
として透視変換を使用するため、屋外など、条件によっ
ては、輝度や色調が時間により変化して、前景、背景の
境界に違和感を生じることも考えられる。前景と背景の
明度、色調を合わせるために、例えば、奥井、他「パノ
ラマ合成撮像における階調の統一処理の検討」昭和62
年画像電子学会全国大会予稿13に記載の明度色調調整
回路を使用することにより、違和感のない合成が可能に
なる。
として透視変換を使用するため、屋外など、条件によっ
ては、輝度や色調が時間により変化して、前景、背景の
境界に違和感を生じることも考えられる。前景と背景の
明度、色調を合わせるために、例えば、奥井、他「パノ
ラマ合成撮像における階調の統一処理の検討」昭和62
年画像電子学会全国大会予稿13に記載の明度色調調整
回路を使用することにより、違和感のない合成が可能に
なる。
【0035】また、例えばRGB各信号について前景と
背景の差分を取り、あるしきい値を境に、しきい値以上
を“1”、しきい値以下を“0”としてキー信号を発生
させることにより、被写体を抜き出すことが可能にな
る。従って、ストロボ軌跡画像を生成する際に、変換画
像が前フレームと現フレームとで重なる場合でも、RG
Bのいずれかのキー信号が“1”のところの被写体の画
像のみをメモリ10に上書きすることにより、ストロボ
表示間隔がつまっている場合の被写体のストロボ軌跡画
像を表示することも可能になる。
背景の差分を取り、あるしきい値を境に、しきい値以上
を“1”、しきい値以下を“0”としてキー信号を発生
させることにより、被写体を抜き出すことが可能にな
る。従って、ストロボ軌跡画像を生成する際に、変換画
像が前フレームと現フレームとで重なる場合でも、RG
Bのいずれかのキー信号が“1”のところの被写体の画
像のみをメモリ10に上書きすることにより、ストロボ
表示間隔がつまっている場合の被写体のストロボ軌跡画
像を表示することも可能になる。
【0036】
【発明の効果】本発明は、テレビジョンカメラの操作に
よって得られるカメラデータ(振り角度、画角)を用い
て、テレビジョンカメラで捕らえられた画像面を透視変
換して、大画面を作成するものであるから、最終的に得
られる画像として超高解像度、広画角の画像を短時間に
作成することができる。
よって得られるカメラデータ(振り角度、画角)を用い
て、テレビジョンカメラで捕らえられた画像面を透視変
換して、大画面を作成するものであるから、最終的に得
られる画像として超高解像度、広画角の画像を短時間に
作成することができる。
【0037】また、本発明によれば、大画面メモリを複
数用意することによって動画像表示やストロボ軌跡表示
が可能である。
数用意することによって動画像表示やストロボ軌跡表示
が可能である。
【0038】また、本発明の実施形態の幾何学変換回路
は、作成した大画面画像から任意の部位(位置)とサイ
ズの画像を出力することができ、後処理によって自由な
カメラワークを実現することができる。
は、作成した大画面画像から任意の部位(位置)とサイ
ズの画像を出力することができ、後処理によって自由な
カメラワークを実現することができる。
【0039】また、従来技術との対比で言えば、本発明
は、大画面画像を作成するうえで、互いに接する画像同
士で幾何学上のマッチングをとる必要がなく、カメラデ
ータの検出角度および撮像画像の画角のみから透視変換
のパラメータを算出し、画像の変換を行うだけでつなぎ
合わせられるために高速な処理が可能である。また、大
画面メモリを2以上具えることにより、メモリを前景用
と背景用とに分けて入力画像を変換して書き込むこと
で、動きのある被写体を入力することが可能になる。
は、大画面画像を作成するうえで、互いに接する画像同
士で幾何学上のマッチングをとる必要がなく、カメラデ
ータの検出角度および撮像画像の画角のみから透視変換
のパラメータを算出し、画像の変換を行うだけでつなぎ
合わせられるために高速な処理が可能である。また、大
画面メモリを2以上具えることにより、メモリを前景用
と背景用とに分けて入力画像を変換して書き込むこと
で、動きのある被写体を入力することが可能になる。
【図1】本発明による大画面画像合成処理装置の一実施
形態を示すブロック図である。
形態を示すブロック図である。
【図2】透視変換の原理を示す概念図である。
【図3】背景取り込みモードの処理手順を示す説明図で
ある。
ある。
【図4】前景取り込みモードの処理手順を示す説明図で
ある。
ある。
【図5】大画面背景画像と大画面前景画像との合成、お
よび合成された画像の一部を取出し、縮小を行う場合の
処理手順を示す説明図である。
よび合成された画像の一部を取出し、縮小を行う場合の
処理手順を示す説明図である。
1 テレビジョンカメラ 2 カメラデータ検出部 3 大画面画像生成部 4 幾何学変換回路 5 振り角度検出器 6 画角検出器 7 画像変換回路 8 操作部 9 大画面背景メモリ 10 大画面前景メモリ 11 画像合成器 SW スイッチ P,P′,P″ パン角度 T,T′,T″ チルト角度 Z,Z′,Z″ 画角
Claims (3)
- 【請求項1】 大画面画像を構成する各部分画像を連続
的にパン、チルトしながら撮像するテレビジョンカメラ
と、 該テレビジョンカメラの振り角度と該カメラによる撮像
画像の画角とをそれぞれ任意のビデオフィールドまたは
ビデオフレームごとに検出するカメラデータ検出部と、 該カメラデータ検出部において検出した前記振り角度と
前記画角に基づいて、前記任意のビデオフィールドまた
はビデオフレームごとに撮像した複数の撮像画像をそれ
ぞれ透視変換する画像変換回路と、 該画像変換回路において透視変換した複数の画像を前記
透視変換で決まる所定のアドレスに記憶する大画面メモ
リとを少なくとも具えてなることを特徴とする大画面画
像合成処理装置。 - 【請求項2】 請求項1記載の大画面画像合成処理装置
において、該装置は、前記大画面メモリが、背景用と前
景用とに分離して設けられ、それらそれぞれの大画面メ
モリに、背景画像と前景画像のそれぞれ透視変換された
複数の画像を記憶し、それら記憶した画像をそれぞれの
大画面メモリから両メモリのアドレスを一致させて読出
し前景画像データが存在する領域を超えない範囲で背景
画像に前景画像を上書きするように構成され、該装置か
ら背景画像に前景画像がはめ込まれた画像が得られるよ
うになっていることを特徴とする大画面画像合成処理装
置。 - 【請求項3】 請求項2記載の大画面画像合成処理装置
において、前記それぞれの大画面メモリからの画像の読
出しは、前記背景用の大画面メモリの全アドレスに前記
背景画像が記憶された後に行うように構成されているこ
とを特徴とする大画面画像合成処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8187526A JPH1032755A (ja) | 1996-07-17 | 1996-07-17 | 大画面画像合成処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8187526A JPH1032755A (ja) | 1996-07-17 | 1996-07-17 | 大画面画像合成処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1032755A true JPH1032755A (ja) | 1998-02-03 |
Family
ID=16207633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8187526A Pending JPH1032755A (ja) | 1996-07-17 | 1996-07-17 | 大画面画像合成処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1032755A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11234563A (ja) * | 1998-02-13 | 1999-08-27 | For A Co Ltd | スタジオ装置およびテレビジョンカメラ |
JP2013197980A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、及び、プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0779440A (ja) * | 1993-07-12 | 1995-03-20 | Sony Corp | デジタル画像信号の伝送装置及び受信装置 |
JPH0888787A (ja) * | 1994-09-20 | 1996-04-02 | Fujitsu Ltd | 画像処理装置 |
JPH08149356A (ja) * | 1994-11-17 | 1996-06-07 | Canon Inc | 動画表示装置 |
-
1996
- 1996-07-17 JP JP8187526A patent/JPH1032755A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0779440A (ja) * | 1993-07-12 | 1995-03-20 | Sony Corp | デジタル画像信号の伝送装置及び受信装置 |
JPH0888787A (ja) * | 1994-09-20 | 1996-04-02 | Fujitsu Ltd | 画像処理装置 |
JPH08149356A (ja) * | 1994-11-17 | 1996-06-07 | Canon Inc | 動画表示装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11234563A (ja) * | 1998-02-13 | 1999-08-27 | For A Co Ltd | スタジオ装置およびテレビジョンカメラ |
JP2013197980A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、及び、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
JP4048511B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
US8427538B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
EP0758515B1 (en) | Improved chromakeying system | |
EP1310091B1 (en) | Fast digital pan tilt zoom video system | |
JP4243767B2 (ja) | 魚眼レンズカメラ装置及びその画像抽出方法 | |
JP4268206B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
US6738073B2 (en) | Camera system with both a wide angle view and a high resolution view | |
US20130021434A1 (en) | Method and System of Simultaneously Displaying Multiple Views for Video Surveillance | |
US20030076413A1 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
JPWO2005024723A1 (ja) | 画像合成システム、画像合成方法及びプログラム | |
JP2000278602A (ja) | 画像入力方法、画像入力装置及び記録媒体 | |
JP2012175631A (ja) | 映像監視装置 | |
JP3247307B2 (ja) | 情報提供システム | |
JP2004015205A (ja) | マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法 | |
KR101916419B1 (ko) | 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 | |
JP3730450B2 (ja) | 画像入力装置および画像入力方法 | |
JP2821042B2 (ja) | 画像合成装置 | |
JPH1032755A (ja) | 大画面画像合成処理装置 | |
JP3066594U (ja) | 画像変換装置 | |
JPH08305841A (ja) | 歪曲収差画像補正表示装置 | |
KR20000058739A (ko) | 파노라마 영상 감시 시스템 및 그 제어방법 | |
JPH06105232A (ja) | 画像合成装置 | |
JP2024064155A (ja) | 映像合成用フレーム生成装置、映像合成装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040914 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050125 |