JPH08163433A - パノラマ静止画像作成装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 パノラマ静止画像作成装置において、画像の
垂直方向の動きを最終表示に現れないようにし、かつパ
ノラマ表示効果を高める。 【構成】 背景パターンＲＯＭ３１から任意の背景パタ
ーンＦを、入力映像信号Ｅと同期するように読み出す。
背景パターンＦは影生成ブロック３２で影のエリアだけ
輝度レベルを下げられた映像信号Ｇとなり、次に白枠生
成ブロック３３で白枠のエリアだけ白レベルと置き換え
た映像信号Ｈとなる。さらに、背景／枠合成ブロック３
４で実際のパノラマ静止画像エリアだけ入力映像信号Ｅ
がはめ込まれるようにスイッチＳＷを切り替えて背景／
枠／影の合成が終了し、完成された映像信号Ｉが最終出
力としてモニタへ送られる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＣＣＤ等の撮像素子に
より被写体を撮像して得た画像をつなぎ合わせて一枚の
広角な静止画像であるパノラマ静止画像を作成する装置
に関するものである。

【０００２】

【従来の技術】従来、この種のパノラマ静止画像作成装
置としては、例えば本願発明者等が先に提案した特願平
４−２９７７７３号（特開平６−２８４３２１号）に開
示されたものがあった。このパノラマ静止画像作成装置
は、例えば図１１に示されているように、カメラ一体型
ビデオテープレコーダ（以下「カムコーダ」という。）
をパニングさせながら撮影した画像Ａ１〜Ａ８の動きベ
クトルを利用して画像を水平方向につなぎ合わせること
により、図１２に示されているような１枚の広角な静止
画像を作成する。この時、広角な画像を１画面に表示す
るために、画像を水平方向及び垂直方向に縮小してつな
ぎあわせている。

【０００３】

【発明が解決しようとする課題】しかしながら、前記従
来のパノラマ静止画像作成装置では、パニング時にカム
コーダが上下にぶれることにより、撮影された画像の垂
直方向に動きが生じた場合には、図１２に示されている
ように、そのままその動きが最終的に表示される画像の
つなぎ部分に凹凸として現れてしまい、パノラマ静止画
像としてはいま一つ美しくない思える部分があった。

【０００４】また、パノラマ静止画像は縮小サイズで作
成されており、その上下の部分に空白があるため、パノ
ラマ静止画像の効果を半減しかねないという問題点があ
った。

【０００５】本発明はこのような問題点に鑑みてなされ
たものであって、画像の垂直方向に動きがあっても表示
される画像にはその動きが現れないようにするパノラマ
静止画像作成装置を提供することを目的とする。また、
本発明はパノラマ静止画像の空白部分の有効利用を図る
パノラマ静止画像作成装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】前記課題を解決するため
に本発明は、被写体を撮像して作成した複数枚の画像を
つなぎ合わせてパノラマ静止画像を作成する装置であっ
て、複数枚の画像の垂直方向の動き幅の最大値と最小値
をもとに画像の枠の垂直位置を決定すると共に、この枠
の垂直位置の中央部を画面の中央部とすることを特徴と
するものである。

【０００７】また、本発明は前記枠の上下の空白領域に
少なくとも背景パターンを付加するものである。

【０００８】

【作用】本発明によれば、複数枚の画像の垂直方向の動
き幅の最大値と最小値をもとに画像の枠の垂直位置を決
定するので、画像の垂直方向に動きがあっても、表示さ
れるパノラマ静止画像には動きは現れない。また、枠の
垂直位置の中央部を画面の中央部とするのて、枠の垂直
位置が変動しても、常に枠の中央部が画面の中央部に表
示される。

【０００９】そして、本発明によれば、枠の上下の空白
領域に少なくとも背景パターンを付加し、さらに影、日
付データ等を付加するので、表示効果が高まる。

【００１０】

【実施例】以下図面を参照しながら本発明の実施例につ
いて、 〔１〕本発明を適用したカムコーダ 〔２〕メモリシステムの構成／動作（パノラマ静止画像
合成時） 〔３〕メモリシステムの構成／動作（パノラマ静止画像
表示時） 〔４〕メモリシステムの構成／動作（背景／枠発生回
路） （１）背景／枠発生回路例 （２）合成枠エリア算出方法 の順序で詳細に説明する。

【００１１】〔１〕本発明を適用したカムコーダ 図１は本発明を適用したカムコーダのシステム構成を示
す図である。レンズ１を通してＣＣＤイメージャ２に蓄
えられた映像信号は、Ｓ／Ｈ，ＡＧＣ回路３を経てＡ／
Ｄコンバータ４でデジタル映像信号にＡ／Ｄ変換され
る。このデジタル映像信号は、カメラ信号処理ブロック
５でガンマ補正、ホワイトバランス等のカメラ信号処理
が施された後にメモリシステムブロック６へ入力され
る。

【００１２】一方、水平方向及び垂直方向の角速度セン
サー７から得られたカムコーダ本体の角速度情報は、Ｈ
ＰＦ，アンプ８で直流成分をカットされて増幅された
後、Ａ／Ｄコンバータ９でデジタル角速度情報にＡ／Ｄ
変換される。このデジタル角速度情報はマイコン１０で
積分して角度情報に変換され、更に加工を加えて動きベ
クトルとしてメモリシステムブロック６へ送られる。

【００１３】さらに、操作部１１に設けられたパノラマ
モード制御スイッチからの制御信号がマイコン１０を介
してメモリシステムブロック６に与えられる。そして、
この制御信号と前述した動きベクトル情報を基にメモリ
の書き込み／読み出しが制御され、画像が縮小、合成さ
れてメモリにパノラマ静止画像が形成されていく。この
メモリシステムブロック６におけるパノラマ静止画像合
成動作についての詳細は後述する。

【００１４】メモリシステムブロック６では、パノラマ
静止画像合成中はメモリシステムスルーの映像信号が、
また合成終了後はパノラマ静止画映像信号が、ビデオ信
号処理ブロック１２へ入力され、コンポジット映像信号
として成形されて、Ｄ／Ａコンバータ１３によりアナロ
グの映像信号に変換された後にビューファインダー等へ
出力される。

【００１５】また、パノラマ静止画合成終了後記録モー
ドになった時には、パノラマ静止画映像信号はビデオ信
号処理ブロック１２で輝度信号のエンファシスとＦＭ変
調、及び色信号の低域変換等の記録信号処理を施され、
Ｄ／Ａコンバータ１４でＤ／Ａ変換された後、Ｒ／Ｐア
ンプ１５を経てビデオヘッド１６に送られて、電磁変換
によりビデオテープ１７に記録される。

【００１６】そして、ビデオテープ１７からビデオヘッ
ド１６により再生された映像信号は、Ｒ／Ｐアンプ１５
を経てＡ／Ｄコンバータ１８でデジタル信号に変換さ
れ、ビデオ再生処理ブロック１９で、色信号の低域変換
の逆変換、及び輝度信号のＦＭ復調とディエンファシス
等のビデオ信号再生処理を施され、メモリシステムブロ
ック６へ送られる。

【００１７】メモリシステムブロック６では、記録時に
パノラマ静止画像作成処理を施されている映像信号はそ
のままビデオ信号処理回路１２へ送る。ビデオ信号処理
回路１２は入力された映像信号をＤ／Ａコンバータ１３
へ送る。Ｄ／Ａコンバータ１３でアナログに変換された
映像信号は、外部等へ出力される。また、前述した特開
平６−２８４３２１号に記載の装置と同様に、映像信号
と共に画像の動きベクトルデータをビデオテープに記録
しておけば、記録時にパノラマ静止画像合成処理を受け
ていない再生映像信号からパノラマ静止画像を合成する
ことができる。

【００１８】〔２〕メモリシステムの構成／動作〔パノ
ラマ静止画像合成時〕 図２にパノラマ静止画合成時のメモリシステムの構成と
動作を示す。ここで、スイッチＳＷ１〜ＳＷ３は実線側
に接続されている。また、メモリコントローラ２１から
出力されている点線は制御信号を示す。

【００１９】図１のカメラ信号処理ブロック５から入力
された映像信号は、スイッチＳＷ１，ＳＷ２を通ってＳ
ＲＡＭ／４点補間回路２２へ入力されると共に、モニタ
出力のためにスイッチＳＷ３を通ってスルーで外部へ出
力される。これにより、パノラマ静止画像合成中でも撮
影した画像を見ることができる。

【００２０】ＳＲＡＭ／４点補間回路２２では、ＳＲＡ
Ｍを利用してパノラマ縮小率に応じて水平方向の縮小が
行われ、４点補間回路で動きベクトルに対応した水平／
垂直の１ドット以下／１ライン以下の位相ずらしが行わ
れる。パノラマ静止画像合成前に垂直方向の縮小を行わ
ないのは画質をなるべく損なわないようにするためで、
パニングによるパノラマ静止画像では垂直方向にはメモ
リ上に余裕があるので、垂直方向の縮小は合成終了後の
パノラマ静止画像をフィールドメモリ２３から読み出す
時に行い、ＳＲＡＭ／４点補間回路２２で垂直方向の１
ライン以下の位相ずらしを行う。

【００２１】図３はＳＲＡＭ／４点補間回路２２の構成
の一例を示す図であり、図４はその補間動作を説明する
図である。図３において、映像信号入力１，２はそれぞ
れスイッチＳＷ１，ＳＷ２から入力される映像信号であ
る。そして、映像信号入力１はラインメモリ３１，３２
へ入力され、映像信号入力２はラインメモリ３３，３４
へ入力される。

【００２２】これらのラインメモリ３１〜３４では、パ
ノラマ縮小率に応じて書き込みサンプル数に対する読み
出しサンプル数を減少させて読み出す（例えば１／２に
縮小する場合には、１サンプルおきに間引く）ことによ
り、水平方向に縮小した画像のサンプルを得る。この
時、ラインメモリ３２はラインメモリ３１よりも１サン
プル後のデータを出力し、ラインメモリ３４はラインメ
モリ３３よりも１サンプル後のデータを出力する。

【００２３】したがって、ラインメモリ３１，３２から
出力されるサンプルは図４に示されているＰ，Ｑとな
る。また、ラインメモリ３３，３４から出力されるサン
プルは図４に示されているＲ，Ｓとなる。ここで、Ｑは
Ｐの１サンプル後のデータであり、Ｒ，Ｓはそれぞれ
Ｐ，Ｑの１ライン後のデータである。そして、これらの
サンプルを用いて図４に示されているＺの点を内挿する
場合、４点Ｐ，Ｑ，Ｒ，Ｓのデータと水平内挿係数α及
び垂直内挿係数βから図４に示されている式で求めるこ
とができる。

【００２４】再び図２の説明に戻る。合成用のフィール
ドメモリ２３は１カラム単位のランダムアクセスができ
ないため、縮小された原画像を任意の位置に書き込むこ
とができない。そこで、パノラマ静止画像の合成はフィ
ールドメモリ２３から読み出された映像信号とＳＲＡＭ
／４点補間回路２２で水平方向に縮小・補間された映像
信号をバススイッチ２４を切り替えてフィードバックパ
スへ出力し、毎回フィールドメモリ２３上に全て上書き
する方式を採用する。

【００２５】すなわち、フィールドメモリ２３では、動
きベクトルに応じて合成画像が読み出される。この時、
縮小原画像が固定タイミングなので合成画像側がタイミ
ングをズラして位置合わせを行うために、実際には動き
ベクトルと逆方向にタイミングをズラして読み出すこと
になる。フィールドメモリ２３から読み出された映像信
号はバススイッチ２４のＣに、ＳＲＡＭ／４点補間回路
２２からの縮小原映像信号は背景／枠発生回路２５をス
ルーで抜けてＢに入力され、縮小原映像信号の有効画面
サイズに連動してバススイッチ２４が切り替わり、Ｄか
らＢ，Ｃの合成映像信号が出力される。

【００２６】この合成映像信号はフィードバックパスを
通って再びフィールドメモリ２３の同じ位置に上書きさ
れ、１フィールド分の合成が終了する。この処理を繰り
返すことによりフィールドメモリ２３上にパノラマ静止
画像が形成される。

【００２７】これらパノラマ静止画合成の制御は、全て
メモリコントローラ２１が行っており、図１のマイコン
１０からの情報を１フィールド毎に受け、１ライン単位
で処理し、それぞれのブロックへリアルタイムで制御信
号を送る。

【００２８】以上説明したパノラマ静止画像の合成動作
を図５に示す。この図において、（１）〜（８）は図１
１の画像Ａ１〜Ａ８に対応する画像の処理を示す。左側
の入力画像Ａは図２のメモリシステムへ入力される画像
を示す。また、中央部の水平縮小画像Ｂは入力画像Ａを
ＳＲＡＭ／四点補間回路２２で水平方向にほぼ１／３に
縮小・補間し、バススイッチ２４のＢへ入力される画像
を示す。そして、右側の合成メモリ画像Ｄは、バススイ
ッチ２４のＤからフィードバックパスを通ってフィール
ドメモリ２３上で合成される画像を示す。この時、例え
ば（１）の合成メモリ画像Ｄには（２）の縮小画像Ｃが
合成され、（２）の合成メモリ画像Ｄとなる。そして、
この動作を（８）まで繰り返すことにより、図５の
（８）の右端に描かれている合成画像がフィールドメモ
リ２３上に形成され、パノラマ静止画の合成が完了す
る。

【００２９】〔３〕メモリシステムの構成／動作（パノ
ラマ静止画像表示時） 図６にパノラマ静止画像表示時のメモリシステムの構成
と動作を示す。フィールドメモリ２３に形成されたパノ
ラマ静止画像は、最終映像出力（モニタ出力）までの遅
延を逆算して垂直及び水平同期するように読み出され
る。また、このパノラマ静止画像は垂直方向に縮小され
ていないので、垂直方向の縮小率に応じて間引き読み出
される。この時、フィールドメモリ２３から読み出され
るデータが奇数フィールドのデータか偶数フィールドの
データかに応じてインターレースするように間引く。

【００３０】フィールドメモリ２３から読み出されたデ
ータは、縮小率が整数分の１でない場合や間引き読み出
しではインターレースが正確にできない場合、ＳＲＡＭ
／４点補間回路２２において垂直補間が実行される。な
お、垂直縮小で補間を行う場合には、常時近接した２ラ
インのデータが必要なためフィールドメモリには読み出
し２ポートのものを使用する。

【００３１】このようにして垂直方向に縮小処理を受け
た映像信号は背景／枠発生回路２５においてパノラマ静
止画像に適切な枠（白枠）、影、及び背景パターンを付
加されて、最終出力となり、スイッチＳＷ３からモニタ
等へ送られる。図７にフィールドメモリ２３で合成され
たパノラマ静止画像及びＳＲＡＭ／４点補間回路で垂直
縮小されたパノラマ静止画像の一例を示す。

【００３２】なお、これらパノラマ静止画像表示の制御
は、全てメモリコントローラ２１が行っており、マイコ
ンからの情報を１フィールド毎に受け、１ライン単位で
処理し、それぞれのブロックヘリアルタイムで制御信号
を送る。

【００３３】〔４〕メモリシステムの構成／動作（背景
／枠発生回路） （１）背景／枠発生回路例 図８に背景／枠発生回路２５の具体的構成の一例を示
し、図９にその各部の入力画像の一例を示す。パノラマ
静止画合成時は、背景／枠合成ブロック３４のスイッチ
ＳＷ４が映像入力Ｅ側に接続されるので、この背景／枠
発生回路２５はスルーとなり何の処理も行わない。一
方、パノラマ静止画像表示時には、映像入力Ｅとして、
図７に示したような完成したパノラマ静止画像が入って
くるため、ここで白枠、影、背景の合成処理を行ない最
終出力として出力する。

【００３４】まず、背景パターンＲＯＭ３１から任意の
背景パターンＦを、入力映像信号Ｅと同期するように読
み出す。この背景パターンＦはＲＯＭ容量に応じてパタ
ーン数や絵柄の細かさを自由に設定できるため、様々な
バリエーションが考えられる。ここでは図９（１）に示
されているパターンにした。

【００３５】次に、その背景パターンＦは影生成ブロッ
ク３２で影のエリアだけ輝度レベルを下げられた映像信
号Ｇとなり、次に白枠生成ブロック３３で白枠のエリア
だけ白レベルと置き換えた映像信号Ｈとなる。映像信号
ＧとＨに対応する画像の図９の（２）と（３）に示す。

【００３６】さらに、背景／枠合成ブロック３４で実際
のパノラマ静止画像エリアだけ入力映像信号Ｅがはめ込
まれるようにスイッチＳＷ４を切り替えて背景／枠／影
の合成が終了し、完成された映像信号Ｉが最終出力とし
てモニタへ送られる。映像信号Ｉに対応する画像の図９
（４）に示す。

【００３７】なお、スイッチＳＷ４の切り替え信号等の
制御信号は、マイコンで計算して送られてきた最適枠エ
リアデータをメモリコントローラが受け、各種制御信号
としてパルスにした後、各ブロックへ送られる。また、
背景パターンに撮影日時等のデータを付加することもで
きる。

【００３８】（２）合成枠エリア算出方法 図１０を参照しながら合成枠エリアの算出方法を説明す
る。パニングによるパノラマ静止画像の場合、水平方向
の枠位置は水平同期信号周波数とサンプリング周波数に
より固定値となる。例えばＮＴＳＣ方式の場合、サンプ
リングを周波数４ｆｓｃ（約１４．３ＭＨ_Z ）とする
と、１ラインのあたり９１０ドットとなるため画面有効
エリアはほぼ７２０ドットとなり、そこから水平枠の開
始位置／終了位置は有効エリアを程よく切り取るように
任意に設定することになる。

【００３９】これに対し、垂直方向は縮小率と撮影した
画像の上下の動きに応じて枠の幅が変化する。ＮＴＳＣ
方式の場合、垂直の走査線数は１フィールド２５２．５
本で画面有効エリアはほぼ２３０本なので、標準として
はその数を縮小率で割った数が枠の幅となる。垂直方向
の動きがない場合は、その標準枠が実際の枠幅となりパ
ノラマ静止画像に合うように枠開始／終了位置を決め
る。

【００４０】一方、垂直方向の動きがあった場合は、垂
直方向の動きベクトルの最大値／最小値をマイコンに保
存しておき、その動き幅から有効エリアを狭めて実際の
枠幅とする。図１０の場合、画像Ａ１を基準ｒｅｆとし
て、絶対垂直動きベクトルの最大値ｍａｘ（図では画像
Ａ５の動きベクトル）とｒｅｆとの差分だけ標準枠から
枠開始位置を遅くし、絶対垂直動きベクトルの最小値ｍ
ｉｎ（図では画像Ａ３の動きベクトル）とｒｅｆとの差
分だけだけ枠終了位置を早くする。

【００４１】このように、垂直方向の枠の位置は画像の
動きによって変化するので、これをそのままモニタへ送
ると、枠の垂直方向の位置がモニタ上で上下動してしま
う。そこで、本実施例では、上記方法で枠幅を算出する
と同時に有効画像の中央位置も算出する。具体的には枠
の垂直方向の中央位置を有効画像の中央位置とする。そ
して、その中央位置がモニタの中央部になるようにパノ
ラマ映像信号をフィールドメモリから読み出すタイミン
グを制御して、その後それに合わせて枠開始／終了位置
を上記のように決める。これにより、パノラマ静止画像
を常に画面の中央部に表示することができる。

【００４２】

【発明の効果】以上詳細に説明したように、本発明によ
れば、画像の垂直方向の動きを考慮した幅の枠を付加す
るので、表示されるパノラマ静止画像には垂直方向のず
れが現れなくなる。また、パノラマ静止画像以外の空白
領域に背景を付加するので、記念写真的な効果が大であ
り、バノラマ静止画像が単なる遊び感覚から保存用のス
ナップショットへとその応用範囲が広がる。さらに、パ
ノラマ静止画像以外の空白部分に背景パターン等を入れ
ることにより画像縮小のための無効スペースを感じさせ
ず、逆に必要なものとしての認識も期待できる。

【図面の簡単な説明】

【図１】本発明を適用したカムコーダのシステム構成を
示す図である。

【図２】パノラマ静止画像合成時のメモリシステムの構
成と動作を示す図である。

【図３】ＳＲＡＭ／４点補間回路の構成の一例を示す図
である。

【図４】ＳＲＡＭ／４点補間回路の補間動作を説明する
図である。

【図５】パノラマ静止画像の合成動作を示す図である。

【図６】パノラマ静止画像表示時のメモリシステムの構
成と動作を示す図である。

【図７】フィールドメモリで合成されたパノラマ静止画
像及びＳＲＡＭ／４点補間回路で垂直縮小されたパノラ
マ静止画像の一例を示す図である。

【図８】背景／枠発生回路の具体的構成の一例を示す図
である。

【図９】図８の背景／枠発生回路の各部の入力画像の一
例を示す図である。

【図１０】合成枠エリアの算出方法を説明する図であ
る。

【図１１】従来のパノラマ静止画像作成方法を説明する
図である。

【図１２】従来の方法で作成されたパノラマ静止画像の
表示画面の一例を示す図である。

【符号の説明】

２１…メモリコントローラ、２２…ＳＲＡＭ／４点補間
回路、２３…フィールドメモリ、２４…バススイッチ、
２５…背景／枠発生回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】 被写体を撮像して作成した複数枚の画像
   をつなぎ合わせてパノラマ静止画像を作成する装置であ
   って、 複数枚の画像の垂直方向の動き幅の最大値と最小値をも
   とに画像の枠の垂直位置を決定すると共に、該枠の垂直
   位置の中央部を画面の中央部とすることを特徴とするパ
   ノラマ静止画像作成装置。
2. 【請求項２】 枠の上下の空白領域に少なくとも背景パ
   ターンを付加する請求項１記載のパノラマ静止画像作成
   装置。