JPH07203278A - 画像取り扱い装置 - Google Patents

Abstract

(57)【要約】 【目的】各ブロック領域内での画像のコントラストの程
度を評価する演算が極めて素早く実行でき、高精細な画
像データを素早く取り扱うことが可能な画像取り扱い装
置を提供する。 【構成】ブロック領域内での画像のコントラストを評価
する画像取扱装置であって、上記ブロック領域の各行の
所定数の単位領域毎の映像信号レベル値を累積加算する
累積加算器１８a1と、上記累積加算器１８a1による加算
値を保持するｎ個のレジスタ１８a2〜１８a4と、該レジ
スタに保持された値の総和を得る加算器１８a5と、ａ個
のレジスタに保持された値を更新する第２メモリコント
ローラ１９を備えてなることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像取り扱い装置、詳
しくは、画像データの所定のブロック領域に関するコン
トラスト情報を取り込み、評価する機能部を有する画像
取り扱い装置に関するものである。

【０００２】

【従来の技術】従来、画像データの所定のブロック領域
に関するコントラスト情報を取り込み、評価する機能部
を有するような画像取り扱い装置として、例えば、可動
ミラーを走査させることによって、１被写体像を分割
し、その分割被写体像を撮像素子で取り込み、その分割
被写体像の画像データを重複部を貼り合わせることによ
って、１被写体像に対する画像データを生成するカメラ
が考えられる。そして、この種のカメラは、通常の分解
能を持つ撮像素子を適用したとしても、効果的に得られ
る１フレーム（フィールド）の画像に対応して、精細度
の高い撮影画像データを取り込むことが可能なものであ
る。

【０００３】本カメラにおいて、上記分割画像データの
貼り合わせは、できる限り食い違いなく重ね合わせる処
理が必要であるが、機械的走査精度により撮影毎に該貼
り合わせ部分が僅かにずれることが考えられることか
ら、撮影毎にずれ量を検出し、該ずれ量に基づいて貼り
合わせを行う必要がある。

【０００４】そこで、考えられる貼り合わせ処理は、図
３７に示すように貼り合わせの基準となる１枚目の撮影
画面Ｍ11(図３参照）の第１の貼り合わせ部Ｒ11上のブ
ロック領域Ｐから求められる２つの第１，第２特徴領域
Ｂａ，Ｂｂに対して、貼り合わされる２枚目の撮影画面
Ｍ12（図３参照）の第２の貼り合わせ部Ｒ12上にあっ
て、上記特徴領域との相関性が高く、重ね合わせるべき
２つの対応領域Ｂａ，Ｂｄを検出して、そのずれ量を検
出する。そして、上記１枚目の画面に対して特徴領域Ｂ
ａ，Ｂｂと２枚目の画面の対応領域Ｂｃ，Ｂｄを重ね合
わせるように該２枚目の画面を相対移動させることによ
って、該貼り合わせ部が目立たないような１被写体像に
対する撮影画面Ｍ10（図３参照）の画像データを生成す
る。上記領域の重ね合わせは、特徴領域Ｂａ，Ｂｂの所
定の左上点である特徴領域点Ｂa0，Ｂb0と対応領域Ｂ
ｃ，Ｂｄの所定の左上点である対応領域点Ｂc0，Ｂd0と
を一致させることによって行われる。

【０００５】なお、上記画像データの貼り合わせ技術
は、上記画像貼り合わせを行う分割撮影式カメラに限ら
ず、２つの被写体画像のずれ量、即ち、動きベクトル量
を検出する技術としても適用されるものである。

【０００６】

【発明が解決しようとする課題】上述の分割画面貼り合
わせカメラにおいて、対応する領域との相関性を求める
ための上記特徴領域Ｂａ，Ｂｂが全領域白色（例えば、
図３７の領域Ｂｅ）、あるいは、全領域黒色のようにコ
ントラストがない領域の画面であってはその対応領域を
検索するのに具合が悪い。そこで、上記特徴領域Ｂａ，
Ｂｂを撮影画面上に設定するために、該当する領域のコ
ントラストの状態をチェックする必要がある。

【０００７】そのチェックの方法としては、図３８の画
面領域拡大図に示すように検出対象の所定数の画素数の
ブロック画素数ｎB （この場合、５×５画素とする）で
構成されるブロック領域Ｐにおける各画素の画素データ
Ｄs である０，１データ、この例では、モノクロ画像と
し、所定の閾値を境にして求められるデータにて、黒を
０，白を１として検出する。そして、その値の総和であ
る累積加算値Σp （Ｄs ）をコントラストの程度を示す
指数として求める。なお、この場合、ブロック領域Ｐを
５×５画素で形成させるとして該加算値Σp （Ｄs ）
は、次式で示される。即ち、 Σp （Ｄs ）＝Ｄk＋Ｄk+1＋…………＋Ｄk+24 …………………（１） となる。そして、この値が所定数の画素数ｎB 、この場
合、２４画素数の１／２にできる限り近い値を示すよう
な領域Ｐを特徴領域Ｂａ，Ｂｂとして選定することにな
る。

【０００８】そこで、この各ブロック領域に対する総和
の累積加算値Σp （Ｄs ）は、１枚目の撮影画面の貼り
合わせ部の上方部分、または、下方部分の範囲で、画素
の位置を１行、または、１列ずつ変化させて、図３９に
示すようにΣ0（Ｄs ）からΣ1（Ｄs ）……を求めてゆ
く。そのΣ0（Ｄs ），Σ1（Ｄs ）は次式で示される。
即ち、 Σ0（Ｄs ）＝Ｄ0＋Ｄ1＋…………＋Ｄ24 …………………（２） Σ1（Ｄs ）＝Ｄ5＋Ｄ6＋…………＋Ｄ29 …………………（３） になる。

【０００９】この例においては、上記（２），（３）
式、更に、後続するブロック領域Ｐに関してΣm （Ｄs
）について上記（１）式により演算し、Σp （Ｄs ）
が画素数ｎB の１／２に近い値を示すコントラストの度
合いの高い高コントラスト領域を検索して、第１特徴領
域Ｂａ、または、第２特徴領域Ｂｂとして設定する。

【００１０】図４０は、上記累積加算を行う累積加算演
算回路図である。コントロール部５１０により指定され
る画像メモリ５１１の画素ｍ列×画素ｎ行の領域Ｐ（ｐ
＝０）の画素データを累積加算器５１２にて累積加算
し、累積加算値Σp （Ｄs ）が求められる。領域の累積
演算が終了するとリセット信号ＲＳＴによりリセットさ
れ、領域Ｐ（ｐ＝１），Ｐ（ｐ＝２）……についての演
算が順次実行される。図４１は、メモリ５１１の画像デ
ータ出力信号とＲＳＴ信号、および、累積加算値Σp
（Ｄs ）の出力信号のタイムチャ−トを示している。

【００１１】ところが、上述のカメラによる累積加算演
算処理では、領域ｐを１行、または、１列変える毎に上
記（１）式の演算を行うことになり、処理時間が極めて
長くなってしまう。そこで、図４２の累積加算演算回路
を用いた累積演算により累積加算値Σp （Ｄs ）を求
め、前記第１，第２特徴領域を設定する方法が考えられ
る。

【００１２】この演算方法は、累積加算値Σp （Ｄs ）
を次式によって求める。即ち、 Σp （Ｄs ）＝Σp-1 （Ｄs ）−（Ｄk＋…＋Ｄk+4）＋（Ｄk+25＋…＋Ｄk+29 ） …………………（４） で示す演算を行う。但し、この演算では、最初の１行目
を含む領域Ｐ（ｐ＝０）での値Σ0 （Ｄs ）のみは前記
（１）式、従って、（２）式により加算演算を行う。そ
の次の１行下がった領域Ｐ（ｐ＝１）以降に対しては、
上記（４）に従う。即ち、 Σ1 （Ｄs ）＝Σ0 （Ｄs ）−（Ｄ0＋…＋Ｄ4）＋（Ｄ25＋…＋Ｄ29） …………………（５） で示す演算を行う。上記（５）は、前領域のΣ0 （Ｄs
）に対して、１行目の画素データの和の値（Ｄ0＋…＋
Ｄ4）を差し引いて、新規追加（Ｄ25＋…＋Ｄ29）の和
の値を加えて累積加算値Σ1 （Ｄs ）を求めることにな
る。以下の領域についても同様である。このようにして
各ブロック領域についてのコントラストの度合いを検出
し、高コントラストをもつ領域を検索して、第１特徴領
域、または、第２特徴領域を設定する 図４２は、上記累積加算を行う累積加算演算回路図であ
る。前記図４２に対してコントロール部５１０のＳＥＬ
信号により±１が切り換えられる切り換えスイッチ付き
乗算器５１３を追加した回路である。他の構成は図４０
と同一の構成である。この回路により上記（４）式の演
算が行われる。図４３は、図４２の回路によるメモリ５
１１の画像データ出力信号とＳＥＬ信号、および、累積
加算値Σp （Ｄs ）の出力信号のタイムチャ−トを示し
ている。

【００１３】しかしながら、この演算処理においても、
検出ブロック領域ｐ を１行変える毎に、（４）式の
（Ｄk＋…＋Ｄk+4）の加算と（Ｄk+25＋…＋Ｄk+29）の
加算を行う必要があって、演算時間が非常に長くなって
しまう。そして、第１特徴領域、または、第２特徴領域
を選定する場合の単位領域の画素数を増やした場合に
は、更に演算時間が延びてしまい、短時間に高コントラ
ストの領域の第１特徴領域、または、第２特徴領域を設
定することができず、結果的に１フレーム（フィール
ド）を構成する画像データを得るまでに時間が掛かりす
ぎてしまうことになる。

【００１４】本発明は、上述の不具合を解決するために
なされたものであり、評価すべきブロック領域を逐次移
動してブロック領域内での画像のコントラストの程度を
評価する演算が極めて素早く実行でき、高精細な画像デ
ータを素早く取り扱うことが可能な画像取り扱い装置を
提供することを目的とする。

【００１５】

【課題を解決するための手段および作用】本発明の画像
取り扱い装置は、当該画面において、各所定寸法を有し
てなり映像信号レベル検出の単位とするものとしてその
形状と大きさを規定してなる単位領域を所定方向に沿っ
て整列させて構成されるブロック領域を想定し、該ブロ
ック領域を所定方向に沿って移動の前後において重なり
部を形成しながら逐次移動するときの毎回の停止位置で
の当該ブロック領域内に含まれる上記単位領域毎の映像
信号レベルの総和を求めることによって、上記毎回の停
止位置でのブロック領域内での画像のコントラストの程
度を評価する機能部を有する画像取り扱い装置であっ
て、上記ブロック領域の所定数の単位領域毎の映像信号
レベル値を累積加算する累積加算手段と、上記累積加算
手段による当該ブロック領域の単位領域毎の映像信号レ
ベルの累積加算値を保持すべく設けられた保持手段と、
上記保持手段に保持された値の総和を得るための加算手
段と、上記ブロック領域の垂直又は水平方向の逐次移動
に追随して上記保持手段のうちの一部に保持された値を
該逐次移動に対応して上記累積加算手段により新たに得
られる値に更新する保持値更新手段を備えてなることを
特徴とし、上記保持手段に蓄えられた累積加算値を更に
加算手段により加算して、映像信号レベルとしての総和
値を求める。

【００１６】

【実施例】以下、本発明の実施例を図に基づいて説明す
る。図１は、本発明の第１実施例を示すカメラの主要ブ
ロック構成図である。本実施例のカメラは、特に黒板等
に記載された文字や書籍等に記載された文字や写真等の
記録に好適な画像取り扱い装置であるカメラであって、
高精細な撮影画像を得ることの可能な画面分割撮影式の
カメラである。そして、１フレーム（フィールド）を構
成する撮影画像データの生成は、該被写体の撮影領域を
可動ミラーの走査により画面水平方向に分割し、分割領
域を上下に配設された２系統のＣＣＤで構成される２板
構成撮像光学系２により各分割領域毎に取り込む。そし
て、図２に示すように水平方向に分割されたＡ〜Ｄの各
領域の分割画面領域Ｍ1〜Ｍ4 の撮像画像の重複部を貼
り合わ処理により、撮影毎に走査位置のずれ補正を行
い、１撮影画面（１フレーム）Ｍ0 の画像データとして
形成せしめるものとする。

【００１７】なお、該分割画面Ｍ1 〜Ｍ4 には、隣接す
る画面同士で共有する重複する貼り合わせ領域Ｒ1 〜Ｒ
3 を有している。更に、上記分割画面Ｍ1 〜Ｍ4 の分割
撮影画像データはそれぞれ２系統の撮像出力で構成さ
れ、その上下２画面Ｍ1a，Ｍ1bの画像の接合処理を行う
必要があるが、この接合には、走査位置ずれが発生しな
いので、撮影の度に補正する必要はない。また、上記貼
り合わせ処理により得られた主映像信号に基づく撮像画
像は、モニタに表示されるが、更に、記録媒体に画像デ
ータとして記録される。この記録媒体としては、メモリ
カ−ド、フロッピィディスク，ハードディスク，光磁気
ディスク等を適用し得る。また、プリンタ等に出力さ
れ、プリントアウトも可能である。

【００１８】図１に示すように本カメラにおいては、被
写体像は回動ミラー機構で構成されるミラースキャン部
１で走査され、分割被写体領域毎に上下２板構成の撮像
光学系２にて結像し、各領域の分割画面Ｍ1 〜Ｍ4 毎
（図２参照）の２系統の撮像信号がモノクロプロセス回
路３に出力される。その出力は、分割画面の画像データ
としてフレームバッファ４に取り込まれる。このフレー
ムバッファ４においては、ミラー反転処理やノンインタ
ーレース処理と第１メモリコントローラ１６を介して行
われる貼り合わせ時のずれ補正処理も行われる。

【００１９】そして、補間演算回路５で補間処理がなさ
れ、その出力は、ガンマ補正回路６，擬似中間調補正回
路７を介して処理される。そして、該画像補正出力は、
像域分離回路１５でコントロールされる切り換えスイッ
チ１０に入力される。該切り換えスイッチ１０の画像デ
ータ出力は、ＣＰＵ１２でコントロールされる圧縮回路
１１で圧縮処理され、カ−ドＩ／Ｆ１３を介してメモリ
カ−ド２２に書き込まれる。

【００２０】また、補間演算回路５の出力は、エッヂ強
調回路８とＣＰＵ２１で閾値を設定される２値化回路９
により２値化されて、切り換えスイッチ１０に入力さ
れ、また、上記２値化画像信号のうち貼り合わせられる
２分割画面の重複部分である２つの貼り合わせ部の画像
データが、第２メモリコントローラ１９により書き込み
アドレスがコントロールされた状態で、後述する貼り合
わせのずれ量演算用メモリである境界バッファ１７に書
き込まれる。

【００２１】更に、補間演算回路５の出力は、ＡＦ（自
動合焦），ＡＥ（自動露光）処理回路１４、および、像
域分離回路１５に入力される。ＡＦ，ＡＥ処理回路１４
の出力は、ＣＰＵ２１に取り込まれ、自動合焦、また
は、自動露光制御が実行される。また、上記像域分離回
路１５の出力により、切り換えスイッチ１０の切り換え
動作がコントロールされる。即ち、フレームバッファ４
からの補間出力が、自然画像データであると判断したと
きは、擬似中間調補正回路７の出力を取り込み、文字画
像データであると判断したときは、２値化回路９の出力
を取り込むようにコントロールされる。

【００２２】上記境界バッファ１７に取り込まれた画像
データであって、互いに貼り合わせられる２つ貼り合わ
せ部の画像データに基づいて、相関演算処理回路１８ａ
にて２画像データについての動きベクトルとしての相関
演算が行われ、貼り合わせのためのずれ量がずれ算出回
路１８ｂにて算出される。そのずれ量は、前（最初の貼
り合わせ処理では１枚目となる）の画面を基準にして、
後続の（最初の貼り合わせでは２枚目）画面のずれを移
動量（水平移動量ｘ，垂直移動量ｙ）と回転量（θ）と
ズーム率とで与えるられる。詳しくは、図４のブロック
図により後述する。

【００２３】上記ずれ量を示す移動量（水平移動量ｘ，
垂直移動量ｙ）と回転量（θ）とズーム率が、ＣＰＵ２
１でコントロールされる第１メモリコントローラ１６に
入力され、フレームバッファ４の画像データの書き込み
アドレスの補正を行う。なお、上記第１メモリコントロ
ーラ１６は、上記ずれ量補正以外に、フレームバッファ
４におけるミラー歪の補正やノンインターレース処理も
行う。

【００２４】次に、相関演算とずれ算出処理について、
貼り合わせ画面を示す図である図３と、上記相関演算処
理回路１８ａとずれ算出回路１８ｂとで構成される検出
回路１８まわりのブロック図である図４等を用いて説明
する。図３の（Ａ）は、２つの貼り合わせるべき分割画
面Ｍ11，Ｍ12を示し、図３の（Ｂ）は、貼り合わせ後の
画面である撮影画面Ｍ10を示している。なお、本実施例
において、被写体像は図２では４分割されて撮影されて
いる。しかし、以下の説明では当該２枚の画面を貼り合
わせる処理につき詳細に説明するが、それ以上の貼り合
わせは同一の処理が繰り返される。

【００２５】図４の状態では、フレームバッファ４に２
枚目の撮影画像データが取り込まれた後の状態におい
て、境界バッファ１７には基準となる前の（１枚目とし
て説明する）撮影画面Ｍ11の貼り合わせ部Ｒ11の２値化
画像データと貼り合わされるべき、後続の（２枚目とし
て説明する）撮影画面Ｍ12の重複部である貼り合わせ部
Ｒ12の２値化画像データとが取り込まれる。

【００２６】検出回路１８を構成する相関検出回路１８
ａにおいて、前記図３７〜図４３により従来例のカメラ
における貼り合わせ処理で説明したように、１枚目の撮
影画面Ｍ11の該貼り合わせ部Ｒ11に、ｍ列×ｎ行の画
素、この場合、５×５画素のブロック領域の大きさを持
つ第１の特徴領域Ｂａと第２の特徴領域Ｂｂを設定し、
それらの特徴領域のコントラストの程度を評価する値、
即ち、前記（４）式に示す画素データを加算した累積加
算値Σｐ（Ｄｓ）により等しい値を示すブロック領域で
ある、２枚目の撮影画面Ｍ12の貼り合わせ部Ｒ12上で第
１の対応領域Ｂｃ、または、第２の対応領域Ｂｄを検索
する。

【００２７】そして、検出回路１８を構成するずれ算出
回路１８ｂにおいて、上記第１の特徴領域Ｂａと第２の
特徴領域Ｂｂ上の所定の左上点である特徴領域点Ｂa0，
Ｂb0と、上記第１の対応領域Ｂｃと第２の対応領域Ｂｄ
上の所定の左上点である対応領域点Ｂc0，Ｂd0とを一致
させるための貼り合わせるときのずれ量を算出する。こ
のずれ量は、移動量（水平移動量ｘ，垂直移動量ｙ）と
回転量（θ）とズーム率で示される。本実施例のカメラ
においては、上記第１の特徴領域Ｂａと第２の特徴領域
Ｂｂの位置を設定する方法に特徴があるが、その処理の
詳細については後で説明する。

【００２８】上記ずれ量データは第１メモリコントロー
ラ１６に出力され、フレームバッファ４に書き込まれて
いる２枚目の画像データを該ずれ量に基づいて補正す
る。その後、２枚目画像データの貼り合わせ部を境界バ
ッファ１７のＲ11側に書き、そして、３枚目画像データ
の貼り合わせ部をＲ12側に書いて繰り返す。以降に取り
込まれる分割撮影画面についても同様にずれ量が検出さ
れ、それぞれ貼り合わせが実行される。

【００２９】図５は、図４の検出回路１８の相関検出回
路１８ａにおける上記累積加算値Σｐ（Ｄｓ）を出力す
る部分のブロック構成を示す図である。本実施例のカメ
ラにおいては、上記第１，第２特徴領域Ｂａ，Ｂｂを設
定する際に、参照される検出ブロック領域Ｐに関する累
積加算値Σｐ（Ｄｓ）を求めるのにレジスタを用いるこ
とによって演算を単純化し、演算時間を短縮し、素早く
第１，第２特徴領域Ｂａ，Ｂｂを設定できる。

【００３０】即ち、検出ブロック領域Ｐは前記図３８に
示すブロック領域と同一のｍ列×ｎ行の画素、この場
合、５×５画素のとし、その各画素データ０，１を加算
した累積加算値を求め、ａ行ずつ移動させる。本例で
は、１行ずつ垂直方向に移動させて上記累積加算値を求
める。そして、前記（２），（３）式、または、
（４），（５）等に示されるような演算値Σ0 （Ｄ
ｓ），Σ1 （Ｄｓ），……Σp （Ｄｓ）を求めるが、そ
の際、本実施例の場合、図３９に示されるブロック領域
１行当たりの部分和である（Ｄk＋…＋Ｄk+4）の値を、
順次に行対応のレジスタ（１）１８a2，レジスタ（２）
１８a3，……レジスタ（ｎ）１８a4に書き込み、それら
の値を加算器１８a5で加算することによってΣp （Ｄ
ｓ）を求める。なお、この実施例では、ｎ＝５であるこ
とからレジスタ（ｎ）は、以下の説明では、レジスタ
（５）とする。

【００３１】具体的に説明すると前記（１）式を書き換
え、（６）式を求める。即ち、 Σp （Ｄs ）＝Ｄk＋Ｄk+1＋…………＋Ｄk+24 ＝（Ｄk＋…＋Ｄk+4） ＋（Ｄk+5＋…＋Ｄk+9） ＋（Ｄk+10＋…＋Ｄk+14） ＋（Ｄk+15＋…＋Ｄk+19） ＋（Ｄk+20＋…＋Ｄk+24） …………………（６） に示す右辺の（）内の各行の部分加算値をレジスタ
（１）〜レジスタ（５）にそれぞれ書き込み、それらの
レジスタの値を加算器１８a5で加算して、累積加算値Σ
p （Ｄs ）を出力する。図６は、上記各領域の累積加算
値Σp （Ｄs ）を演算する場合のタイムチャ−トを示
す。本図の下方にはメモリ出力等の拡大波形を示してい
る。対象とするブロック領域の画像データは図３９に示
す。累積加算を開始する際、最初はメモリ１７からブロ
ック領域の画素数ｍ×ｎ分の画素データＤ0 からＤ24を
出力し、Ｑ点の加算出力を１行分のｍ個のデータ毎にレ
ジスタ（１）〜レジスタ（５）に格納する。レジスタ切
り換え時には第２メモリコントローラ１９は、ＣＮＴ信
号を出力し、上記各行の加算値を書き込むレジスタの番
号順１〜ｎ，即ち、１〜５を切り換える。また、その度
毎に第２メモリコントローラ１９からのＲＳＴ信号で加
算器１８a1の加算出力はリセットされるものとする。そ
して、各レジスタの格納値を加算回路１８a5で加算して
最初のブロック領域の累積加算値Σ0 （Ｄs ）を演算す
る。

【００３２】そこで、第２メモリコントローラ１９は、
レジスタのデータを書き換えるＣＮＴ信号を出力して、
部分和データの格納先のレジスタ番号をｎ，即ち、５か
ら１に切り換える。従って、次の１行ずらしたブロック
領域での累積加算値Σ1 （Ｄs ）を求める場合、新規の
１行分の画素データ、例えば、Ｄ25〜Ｄ29の和の値は、
レジスタ（１）に格納される。そして、各レジスタの格
納値を加算回路１８a5で加算して累積加算値Σ1 （Ｄs
）を出力する。以下、領域を１行ずつずらして、ブロ
ック領域の重なり部を形成しながら順次累積加算値Σｐ
（Ｄs ）を求める。

【００３３】本実施例によれば、所定範囲の順次移動し
て指定されるブロック領域の累積加算値Σp （Ｄs ）を
演算する場合、ブロック領域の重なり部をもって指定位
置を１行移動したときに、レジスタの値の書き換えと、
レジスタに１行分の画素データの和の格納と、ブロック
領域行数分のレジスタの値の加算を行う、少ない回数の
処理で上記累積加算値Σp （Ｄs ）を求めることができ
る。従って、上記累積加算値Σp （Ｄs ）によって、高
コントラストを示すブロック領域が素早く検出され、そ
の領域を第１，第２の特徴領域Ｂａ，Ｂｂとして選定す
ることができ，より精度の高い貼り合わせが実行でき
る。

【００３４】図８は、本実施例のカメラにおける累積加
算値Σp （Ｄs ）を求めるための演算処理回数を前記２
種類の従来例の技術の例で述べたカメラの場合と比較を
示したものである。図中、ｍ，ｎはブロック領域の列，
行数を示し、ｋは累積加算値Σp （Ｄs ）を求める検索
ブロック領域数を示す。本図に示すように本実施例の場
合、数分の１の処理回数となる。

【００３５】なお、上記実施例においては、累積加算値
Σp （Ｄs ）を求めるためのデータ抽出単位はブロック
領域の構成単位の１画素を単位としたが、数画素を１単
位として累積加算値Σp （Ｄs ）を求めるようにしても
良い。また、演算のためのブロック領域の移動単位とし
ても、１列，１行と限る必要はなく、上記ｍ列，ｎ行の
ブロック領域に係って、ｍ、または、ｎより小さい自然
数ａを上記単位領域（画素）の該当する方向の寸法に乗
じた量だけ列、または、行方向に移動させてもよい。更
に、移動方向としては水平、または、垂直方向以外に、
例えば、斜め方向等の如何なる方向への移動を行うにせ
よ本発明の概念に包摂されるものである。

【００３６】次に、貼り合わせ処理、即ち、基準とする
１枚目画面上に設定された上記第１，第２の特徴領域Ｂ
ａ，Ｂｂと、貼り合わせられる２枚目画面で検索された
第１，第２の対応領域を一致させ、１枚目と２枚目の分
割画面を貼り合わせる処理について説明する。

【００３７】図９は、２つの分割画面Ｍ11，Ｍ12と、そ
れらを貼り合わせた画面Ｍ10を示す図である。この貼り
合わせは、設定された第１，第２の特徴領域Ｂａ，Ｂｂ
と２枚目上で検索された第１，第２の対応領域Ｂｃ，Ｂ
ｄを重ねる場合、図示するように第１，第２の特徴領域
Ｂａ，Ｂｂ上の特徴点Ｂa0，Ｂb0と、第１，第２の対応
領域Ｂｃ，Ｂｄ上の対応点Ｂc0，Ｂd0に一致させて貼り
合わせる。

【００３８】図１０は、第１，第２対応点Ｂc0，Ｂd0が
ずれている場合の貼り合わせ状態を示した図である。１
枚目の画面Ｍ13の特徴点Ｂa0，Ｂb0に対応する位置ずれ
のない対応点Ｂa0′，Ｂb0′に対して、２枚目の画面Ｍ
14の実際の対応点Ｂc0，Ｂd0がずれている場合、本図の
ように貼り合わせを行う。

【００３９】図１１は、上記の画面Ｍ13，Ｍ14の貼り合
わせ処理状態を示した図であって、（Ａ）に示すよう
に、まず、第１の特徴点Ｂa0と第１の対応点Ｂc0とをず
らして合わせる。そして、（Ｂ）に示すように、２枚目
の画面Ｍ14を回転させて第２の特徴点Ｂb0と第２の対応
点Ｂd0と一致させて貼り合わせを行う。

【００４０】図４４は、従来の分割撮影式カメラにおけ
る貼り合わせ画面のそれぞれの貼り合わせ部の特徴点と
対応点を示した図である。この従来例においては、基準
となる画面の貼り合わせ領域Ｒ11には、任意の位置に第
１特徴点Ｂa0（x1，ｙ1）と第２特徴点Ｂb0（x2，ｙ2）
がｘｙ座標上に設定される。そして、その領域に対応す
る重ね合わされるべき第１対応点Ｂc0（Ｘ3 ，Ｙ3）と
第２対応点Ｂd0（Ｘ4 ，Ｙ4）がＸＹ座標上で検出され
る。上記第１特徴点Ｂa0（x1，ｙ1）と第２特徴点Ｂb0
（x2，ｙ2）のｙ軸に対する傾き角をθ1 とし、第１対
応点Ｂc0（Ｘ3 ，Ｙ3）と第２対応点Ｂd0（Ｘ4 ，Ｙ4）
のｙ軸に対する傾き角をθ2 とする。なお、基準画面
と、貼り合わされる画面とは前記ミラースキャンの誤差
や手振れによる位置ずれ以外に構造上の所定の静的な座
標ずれがあって、ｘｙ座標系とＸＹ座標系とは、例え
ば、 （Ｘ，Ｙ）＝（ｘ，ｙ）＋１０ …………………（７） の座標ずれがある。従って、上記Ｘ，Ｙの値は（７）の
補正が必要である。

【００４１】この従来例における貼り合わせのずれを求
めるには、上記第１特徴点Ｂa0（x1，ｙ1）と第１対応
点Ｂc0（Ｘ3 ，Ｙ3）との差Δｘ，Δｙと、第２特徴点
Ｂb0（x2，ｙ2）と第２対応点Ｂd0（Ｘ4 ，Ｙ4）とを合
わせるための回転角度差Δθを求める必要がある。即
ち、上記（７）式の補正をした後、 Δｘ＝Ｘ1−Ｘ3 …………………（８） Δｙ＝Ｙ1−Ｙ3 …………………（９） Δθ＝arc ｔａｎ｛（ｘ2−ｘ1）／（ｙ2−ｙ1）｝ ＋arc ｔａｎ｛（Ｘ3−Ｘ4）／（Ｙ4−Ｙ3）｝………（１０） この場合、（１０）式によるΔθの値の演算は、arc ｔ
ａｎの項が２つあって、演算が複雑化する。

【００４２】そこで、本実施例の場合、上記回転角度差
Δθの演算が簡単に行えるずれ量演算方法を適用する。
即ち、図１２に示す２つの貼り合わせ部Ｍ15，Ｍ16のよ
うに基準となる画面Ｍ15上の第１特徴点Ｂa0（x，ｙ1）
を設定後、該特徴点Ｂa0を通るｙ軸と平行線上に第２特
徴点Ｂb0（x，ｙ2）を設定する。従って、上記従来例に
おける傾き角θ1 が０となる。貼り合わされる画面の貼
り合わせ部Ｍ１６上の第１対応点Ｂc0（Ｘ3 ，Ｙ3）と
第２対応点Ｂd0（Ｘ4 ，Ｙ4）は上記従来例と同一にし
て求める。第１対応点のずれ、第２対応点の回転角は、
上記（７）式の補正をした後、 Δｘ＝Ｘ−Ｘ3 …………………（１１） Δｙ＝Ｙ1−Ｙ3 …………………（１２） θ＝arc ｔａｎ｛（Ｘ4−Ｘ3）／（Ｙ4−Ｙ3）｝………（１３） この場合、回転ずれのΔθの値は、１つのarc ｔａｎの
項を求めるだけでよく、演算が単純化し、精度も上が
る。回路規模も小さくなる。

【００４３】なお、上記（１１），（１２），（１３）
の演算はソフトにより演算しても良いが、ハード構成に
より演算を行うようにしてもよい。図１３の演算回路
は、該演算を行うためのずれ演算回路２１ａのブロック
構成図であり、４つの減算器とarc ｔａｎ（ａ／ｂ）の
値を書き込んだＲＯＭテーブルにより構成されている。
また、このずれ量演算回路２１ａは、前記図４のＣＰＵ
２１に内蔵される。そして、その出力Δｘ，Δｙ，θ
は、第１メモリコントローラ１６に出力され、フレーム
バッファ４の画像データの貼り合わせが行われる。

【００４４】次に前記基準画面の特徴領域のコントラス
ト状態に対応する貼り合わせられる画面の対応領域の検
索処理の変形例について説明する。図４５は、従来例に
おけるブロック総和検出処理は、基準画面の特徴領域、
例えば、４列×４行の領域の画像データ０，１の累積加
算値Σの値が一致する貼り合わせ画面上の対応ブロック
領域を対応領域として指定するものである。この図の場
合、基準画面側の貼り合わせ部Ｍ21上の特徴領域Ｂ21の
累積加算値Σは８である。そして、貼り合わされる画面
側の貼り合わせ部Ｍ22のブロック領域Ｂ22，Ｂ23，Ｂ24
の累積加算値Σをチェックしたとき、０，１６，８であ
った場合、累積加算値Σが８であるブロック領域Ｂ24を
対応領域として指定することになる。

【００４５】図４６の例は、領域のパターンマッチング
方法を適用するものであって、画像データのパターンが
一致するブロック領域を対応領域に指定する。この場
合、特徴領域Ｂ21の画像パターンに一致するパターンを
有するブロック領域はＢ25，Ｂ26，Ｂ27のうち、ブロッ
ク領域Ｂ27を対応領域として指定することになる。

【００４６】ところが、上記図４５に示したブロック総
和方式の場合、累積加算値Σが一致したとしても画像パ
ターンが異なるものを指定してしまう場合がある。図４
７の特徴領域と対応領域の画像データに示すように、累
積加算値Σが４である特徴領域Ｂ31に対して累積加算値
Σが一致する領域として、パターンが一致する領域Ｂ32
が対応するがパターンが異なるブロック領域Ｂ33，Ｂ3
4，Ｂ35が対応領域として指定されてしまう。

【００４７】また、上記図４６に示したパターンマッチ
ング方式では、図４８の特徴領域と対応領域の画面に示
すように、基準画面Ｍ３１に対して貼り合わされる画面
Ｍ32が回転して撮影された場合、特徴領域Ｂ36に対し
て、本来、対応しているブロック領域であるにも関わら
ず、パターンが相対的に傾いているために対応しないと
判断してしまう。

【００４８】そこで、前記実施例のカメラにおける特徴
領域に対する対応領域の検索処理の変形例として提案す
るものは、前記ブロック総和方式とパターンマッチング
方式とを併用する処理である。本処理では、図１４の
（Ａ）に示す基準画面Ｍ51に貼り合わせ画面Ｍ52を貼り
合わせ、図１４の（Ｂ）に示す合成された１撮影画面Ｍ
50を得るものとする。本処理を実行する回路構成は前記
図４に示す検出回路まわりのブロック構成図と略同一で
あるが、検出回路自体が図１５，図１６に示すようにブ
ロック総和検出回路１８Ａとパターンマッチング検出回
路１８Ｂとで構成されている点が異なる。

【００４９】本処理において、まず、基準画面Ｍ51の貼
り合わせ部Ｒ51と、貼り合わせる画面Ｍ52の重複貼り合
わせ部Ｒ52の画像データを境界バッファ１７に取り込
む。そして、図１５の検出回路１８に内蔵されるブロッ
ク総和検出回路１８Ａにより特徴領域Ｂ51の累積加算値
Σを求め、その値に対応する累積加算値Σを有するブロ
ック領域を検索することによって、対応領域Ｂ52を指定
し、回転成分θを含むずれ量を検出する。

【００５０】続いて、図１６に示す検出回路まわりのブ
ロック構成図に示すように、上記検出された回転成分を
含むずれ量に基づき、第１メモリコントローラ１６を介
してフレームバッファ４の貼り合わせ画面Ｍ52を書き換
え補正画面Ｍ53を生成する。その後、更に、補正画面Ｍ
53の貼り合わせ部Ｒ53の画像データを境界バッファ１７
に取り込む。そして、基準画面の貼り合わせ部Ｒ51と上
記貼り合わせ部Ｒ53とのパターンマッチング検出を検出
回路１８に内蔵されるパターンマッチング検出回路１８
Ｂにより実行する。

【００５１】この場合、補正画面Ｍ53が回転補正がなさ
れていることから、累積加算値Σ上、パターン上ともに
完全に対応しているブロック領域を対応領域として指定
することになる。このように本変形例によると、累積加
算値Σが一致し、しかも、パターンも一致するブロック
領域を検索し、特徴領域により完全に対応する対応領域
を検索することが可能となる。そして、前記図４７に示
したように、累積加算値Σが一致してもパターンが一致
しないようなブロック領域を対応領域から除外すること
ができる。

【００５２】次に、前記基準画面の特徴領域のコントラ
スト状態に対応して貼り合わせられる画面の対応領域の
検索処理の別の変形例について説明する。図４９は、従
来例における対応領域検出処理の検出状態を示す図であ
って、基準画面M61と貼り合わせ画面Ｍ62を貼り合わせ
る場合の第１，第２の特徴領域Ａ，Ｂと、検出された第
１，第２の対応領域Ｃ，Ｄを示した図である。この従来
の検出処理においては、特徴領域Ａに対して、Δｘ，Δ
ｙだけ移動した対応領域Ｃが検出され、更に、特徴領域
Ｂに対応する対応領域Ｄが検出され、貼り合わせ画面の
回転成分θが検出される。

【００５３】図５０は、上記基準画面M61と貼り合わせ
画面Ｍ62を貼り合わせた状態を示す図であるが、貼り合
わせ画面Ｍ62を移動量Δｘ，Δｙだけ移動し、更に、相
対的に角度θだけ回転させて貼り合わせる。この貼り合
わせ状態で、第２の特徴領域Ｂと第２の対応領域Ｄと
は、特徴領域間距離ＡＢと対応領域間距離ＣＤが合わな
いために一致しない。本処理では、このような対応領域
検出ミスの状態のままで貼り合わせを行ってしまうこと
が起こり得る。

【００５４】そこで、上述のような不具合が生じない対
応領域検出処理として、本変形例を提案する。この処理
における検出回路まわりのブロック構成図は、図１７に
示すように、前記図４のブロック構成図と略同一である
が、検出回路３８が異なる。

【００５５】即ち、本検出回路における検出処理では、
図２１のフローチャートに示すように、まず、一回目の
検索における対応領域として認識する許容限度の累積加
算値Σの差の許容値Δｄを５に設定する。即ち、特徴領
域とブロック領域との累積加算値Σの差が５以内であれ
ば、一応、そのブロック領域を対応領域として扱うこと
になる。この値Δｄは、適正な対応領域が求められない
ときには、順次、値を減らしてゆく。例えば、図１８の
検索状態図に示すように、特徴領域Ｂ55の累積加算値Σ
が１００であった場合、最初の段階で差の許容値Δｄを
５として、累積加算値Σが８０，９５，９９であるブロ
ック領域Ｂ56，Ｂ57，Ｂ58等を比較すると、領域Ｂ57を
対応領域としての検索許容対象として認める。なお、後
述する次ステップの処理段階で、許容差Δｄを４とした
場合は、上記領域Ｂ58のみを対応領域としての検索許容
対象として認めることにする。

【００５６】続いて、図２１のフローチャートにおい
て、第１の対応領域の検索のためのブロック領域位置を
示すｐを０にリセットする。以下、図２０に示すように
貼り合わせ部Ｒ56において、ｐをインクリメントしなが
らブロック領域ＣをＣ0 から順次Ｃp へ対象とする領域
を変化させ、特徴領域Ａに対してブロック領域Ｃp との
累積加算値Σの差が値Δｄ以内、この場合、５以内であ
るかをチェックする。５以内であった場合、ブロック領
域Ｃp を第１の対応領域として設定する。

【００５７】更に、第２の対応領域の検索のためのブロ
ック領域位置を示すｑを０にリセットする。以下、図２
０に示すように貼り合わせ部Ｒ56において、ｑをインク
リメントしながらブロック領域ＤをＤ0 から順次Ｄｑ
へ対象とする領域を変化させ、特徴領域Ｂに対してブロ
ック領域Ｄq との累積加算値Σの差が値Δｄ以内、この
場合、５以内であるかをチェックする。５以内であった
場合、ブロック領域Ｄq を第２の対応領域として設定す
る。

【００５８】その後、図１９に示すように第１，第２の
特徴領域Ａ，Ｂ間の距離と上記の処理で検出された第
１，第２の対応領域Ｃ，Ｄ間の距離とを比較する。両者
の距離が一致したときは、第１，第２の特徴領域Ａ，Ｂ
に対応する第１，第２の対応領域Ｃ，Ｄが検出されたと
して、ずれ量演算を実行する。

【００５９】また、両者の距離が一致しないときは、累
積加算値Σの許容差の値Δｄをデクリメントして、前記
ブロック領域Ｃp との累積加算値Σの差が上記値Δｄ以
内であるかのチェックと、前記ブロック領域Ｄq との累
積加算値Σの差が上記値Δｄ以内であるかのチェックを
再開する。

【００６０】このように適合した対応領域が求められな
い場合には、許容差の値を徐々にデクリメントしてゆ
き、累積加算値Σの差が少ない領域での検索を繰り返
す。そして、累積加算値Σの許容差の値Δｄが０となっ
ても、適合する対応領域Ｃ，Ｄが検出できなかった場
合、対応領域検出不能としてアラームを鳴らす等のエラ
ー処理を行う。

【００６１】前記図２１のフローチャートに示す変形例
の対応領域検出処理に対して、更に、別の対応領域検出
処理について説明する。この処理は、図１９の分割撮影
画面の貼り合わせ部に示すように第１と第２の特徴領域
間隔と検出された第１と第２の対応領域間隔とが一致し
なかった場合、基準となる画面の特徴領域の選定自体が
適正ではなかったとして、ＡＦ，ＡＥのやり直しやシャ
ッタ速度、更には、２値化処理時の閾値等の変更を行
い、その状態で特徴領域の選定と対応領域を検出をやり
直すようにするものである。

【００６２】図２２は、本変形例の特徴領域，対応領域
検出処理のフローチャートである。まず、ＡＦ，ＡＥ処
理、並びに、２値化処理を行って得られた基準画面と貼
り合わせ画面をフレームバッファに書き込み、その貼り
合わせ部を境界バッファに取り込む。特徴領域Ａ，Ｂの
選出を行った後、対応領域Ｃ，Ｄの検出を行う。そこ
で、特徴領域Ａ，Ｂ間の距離と対応領域Ｃ，Ｄ間の距離
を比較し、一致すれば、検出された特徴領域Ａ，Ｂと対
応領域Ｃ，Ｄとが適合性の高いものであると判別し、ず
れ量演算を行う。一致しなければ、再度、ＡＦ，ＡＥ処
理等の常数や２値化処理における閾値レベル、または、
シャッタ速度等の再設定を行って撮影し、再度、前記の
画像データの書き込みを行う。そして、特徴領域の設定
や対応領域の検出を行うことになる。

【００６３】前記図２１のフローチャートに示す変形例
の対応領域検出処理に対して、更に、別の対応領域検出
処理について説明する。この処理は、図２３にそのフロ
ーチャートを示すが、図１９の分割撮影画面の貼り合わ
せ部に示すような第１と第２の特徴領域間隔と検出され
た第１と第２の対応領域間隔とが一致しなかった場合、
ズーム倍率を変更し、変更後の撮影画像データに基づい
て対応領域検出処理を行うものである。

【００６４】更に、上記検出処理で適合する対応領域が
検出できないとき、上記図２１，２２，２３に示すフロ
ーチャートの検出処理を順次繰り返すようにすれば、効
果的な検出が行われる。

【００６５】次に、前記本発明の一実施例の画像取り扱
い装置であるカメラにおける分割画の貼り合わせと関連
する動き検出技術を有する画像取り扱い装置について説
明する。図５１は、従来の画像取り扱い装置であるビデ
オカメラにおける２画像データ画面の動き検出処理にお
ける参照画像と対象画像、並びに、代表点（特徴点）の
エリア拡大図を示すものである。

【００６６】この従来例は、代表点（特徴点）マッチン
グ方法を適用するものであって、参照画像Ｍ71が動き検
出のためのマッチング基準となる画像であり、対象画像
Ｍ72が移動した後の画像とする。参照画像Ｍ71と対象画
像Ｍ72とは、４つの領域に分割される。そして、対象画
像Ｍ72の４分割画面上にそれぞれ設定される代表点エリ
アＢ72は、例えば、８×８画素で構成される。また、上
記代表点エリアＢ72に対応する画像データが検索される
べきサーチエリアＲ71が参照画像Ｍ71の４分割画面上に
設定される。

【００６７】この従来例においては、上記画像の画像デ
ータは２値化データであり、上記代表点エリアＢ72の
黒，白部分に対応する画像データ０，１の総和、即ち、
累積加算値Σに等しい８×８画素で構成されるブロック
領域を参照画面Ｍ71のサーチエリアＲ71の中から対応点
として検出して、その検出対応点エリアのメモリ空間ア
ドレスと、上記代表点エリアＢ72のメモリ空間アドレス
とから移動による動き量、即ち、ずれ量が算出される。

【００６８】上記従来例の場合、代表点エリア（特徴領
域）Ｂ72が対象画像の絵柄のコントラスト状態に関係な
く固定された位置に設定されており、真っ白の部分と
か、真っ黒の部分が設定されることもあり、必ずしもサ
ーチに適当な画像情報を有していない。従って、動き検
出の精度が上がらない。この従来例に対して、ここで提
案する本例の画像取り扱い装置は、対象画像上の代表点
エリアとしてコントラストの高いエリアを速やかに選定
することができ、精度の高い動き検出が可能とするもの
である。図２４は、上記提案の画像取り扱い装置の動き
検出部のブロック構成図である。撮像系から出力される
画像データは、まず、１フィールド目の撮像画像データ
が参照画像データとしてフィールドメモリ５２に書き込
まれる。同時に、該１フィールド目の画像データにおけ
るコントラスト値に関する情報が領域情報とともにコン
トラスト検出回路５１で検出され、動き検出回路５３に
取り込まれる。

【００６９】その後、２フィールド目の撮像画像データ
が対象画像データとして、動き検出回路５３に取り込ま
れ、同時にフィールドメモリ５２より読み出され、１フ
ィールド目の参照画像データが動き検出回路５３に取り
込まれる。

【００７０】そこで、上述の動き検出回路５３に取り込
まれている上記１フィールド目の画像データに対するコ
ントラスト情報より、高コントラスト部分を検出する。
この高コントラスト部の検出は、例えば、図２７の画像
データ画面Ｍ75における所定分割数による分割画面の内
の分割エリアＲ75を検出することになる。そして、高コ
ントラスト分割エリアＲ75の位置情報をそのまま２枚目
の画像データ用の高コントラスト位置情報として適用す
る。これは、１枚目と２枚目画像間では、高コントラス
ト領域の大きな移動はないと見做して、１枚目画像のの
コントラスト情報を２枚目用として流用するものであ
る。

【００７１】そして、図２７に示すように２枚目の対象
画像データ用の高コントラストを示す分割エリアＲ75の
更にその中心位置の領域を特徴領域Ｂf としてに指定す
る。また、動き検出回路５３において、１枚目の参照画
面Ｍ７４の画像データにおいて、上記高コントラストエ
リアＲ75に対応しているエリアＲ76の画像データの中か
ら、上記特徴領域Ｂf の高コントラスト状態を示す累積
加算値Σが一致する対応ブロック領域を対応領域として
選定する。その対応領域と上記特徴領域Ｂf との位置の
相対ずれ量から１枚目に対する２枚目の動き量を演算
し、動きベクトル情報として出力する。この動きベクト
ル情報は、図１に示される第１メモリコントローラ１６
に出力され、フレームバッファ４の画像データの書き換
えが行われる。

【００７２】図２５は、上記図２４の動き検出部の画像
データのコントラスト情報取り込み処理のタイムチャ−
トを示す。画像データは、Ａフィールドデータ，Ｂフィ
ールドデータ，……と順次対象画像データが出力される
と、その各フィールドでのコントラストデータがコント
ラスト検出回路５１を介して動き検出回路５３に取り込
まれる。同時に各フィールドの画像データがフィールド
メモリ５２にも取り込まれる。画像データ読み込み直
後、垂直同期信号出力期間中に、取り込まれている上記
コントラストデータから対象画像の高コントラスト位置
情報を読み出す。次フィールド期間で、ＣＰＵによる対
象画像上での位置指定情報を出力する。

【００７３】図２６は、上記図２４の動き検出部のコン
トラスト検出回路５１の詳細なブロック構成と各処理経
過中の信号波形を記載した図である。検出回路５１に取
り込まれた画像データ（輝度信号）はＢＰＦ（バンドパ
スフィルタ）５１ａで所定の高周波成分が抽出され、絶
対値処理回路５１ｂで処理した後、累積加算器５１ｃで
絶対値処理出力を加算し、コントラスト値として図２７
に示す各分割領域に対応したアドレスにコントラストデ
ータメモリ５１ｄに書き込む。更に、ＣＰＵ５１ｅによ
り、上記コントラストデータメモリ５１ｄのデータか
ら、高コントラストの分割領域Ｒ75（図２７参照）の位
置情報を出力する。

【００７４】上記図２７は、取り込み画像データ画面の
分割状態を示した図であって、本例の装置にあっては、
上記高コントラストを有する分割エリアＲ75を上記コン
トラスト検出回路５１で検出する。そして、該エリアの
中の中央に位置する領域を特徴領域Ｂｆとして設定す
る。

【００７５】以上説明したように、本例の画像取り扱い
装置によると、対象画像における特徴領域を設定する際
に、まず、上記対象画面の分割エリア毎のコントラスト
データを取り込み、その中で高コントラストを示す分割
エリアを検出し、その分割エリアの中心領域を上記特徴
領域に設定するので、後の対応領域検出時に用いる特徴
領域に理想的な高コントラスト領域を指定することがで
き、精度の高い動き検出が可能となる。

【００７６】上記の画像取り扱い装置の図２７で説明し
た特徴領域の設定方法に対する変形例として、図２８に
示す方法は、図２４のコントラスト検出回路５１で検出
された高コントラストの分割エリアＲ75について、更に
そのエリアの中でコントラストを示す領域を確実に検索
する方法である。即ち、エリアＲ75を所定の数、例え
ば、図２８のように１２分割する。その分割エリアＰｃ
を順次移動して、各エリアのコントラスト情報を検出
し、高コントラストを示すエリアを特徴領域Ｂｇとして
設定するものである。この方法によると、分割エリアＲ
75中の高コントラストを示す領域を確実に検索すること
ができる。

【００７７】また、特徴領域の設定方法に対する別の変
形例として、図２９に示す方法は、図２４のコントラス
ト検出回路５１で検出された高コントラストの分割エリ
アＲ75について、高コントラスト領域を検索する場合、
例えば、その分割エリアＰｆｍ列×ｎ行画素で構成する
ものとし、ａ画素分だけ行、または、列を順次移動させ
ながら、各エリアのコントラスト情報を検出し、高コン
トラストを示すエリアを特徴領域Ｂｇとして設定するも
のである。この方法によると、分割エリアＲ75中の高コ
ントラストを示す領域を確実にしかも細かく検索するこ
とができる。

【００７８】次に、前記分割画の貼り合わせと関連する
動き検出技術についての別の例の画像取り扱い装置につ
いて説明する。図３０は、本提案の画像取り扱い装置の
動き検出部のブロック構成図である。なお、上記図３０
に示す以外の撮像素子系等の構成は、図１のカメラの構
成と同一とする。

【００７９】撮像系で出力される画像データは、２値化
回路６１で処理され、基準となる１枚目の撮像画像デー
タの重複する部分（貼り合わせ部）Ｒｈの２値化画像デ
ータと、重ね合わされるべき２枚目の撮像画像データの
重複する部分（貼り合わせ部）Ｒｉの２値化画像データ
とが境界バッファ６２に対象画像データ、および、参照
画像データとして書き込まれる。

【００８０】コントラスト検出回路６３にて、１枚目の
領域Ｒｈの中の所定の大きさ、例えば、１００×１００
画素のブロック領域毎の画像データ（０，１）のコント
ラスト情報を検出して、高コントラストを示す２つの領
域を高コントラストを示す領域Ｒｈ，Ｒｉの位置情報を
動き検出回路６４に取り込む。更に、領域Ｒｈ，Ｒｉの
大きさより狭い領域、例えば、８×８画素のブロック領
域について、画像データ（０，１）による高コントラス
トを示す領域を検出し、その領域を２つの特徴領域Ｂ
ｈ，Ｂｉとして設定する。

【００８１】更に、上記領域Ｒｈ，Ｒｉに対応する２枚
目画像における領域Ｒｊ，Ｒｋ内において、上記特徴領
域Ｂｈ，Ｂｉのコントラスト情報（画像データの累積加
算値）と各一致するブロック領域を検索して、２つの対
応領域Ｂｊ，Ｂｋとする。そして、１枚目画面の上記特
徴領域Ｂｈ，Ｂｉに対して、２枚目画面の上記対応領域
Ｂｊ，Ｂｋを一致させて重ねたときの移動量と回転量を
ずれ量として出力する。上記ずれ量は、図１に示す第１
メモリコントローラ１６に入力される。そして、フレー
ムバッファ４に取り込まれている２枚目画面のデータを
上記ずれ量に基づいて、移動，回転させて重ね合わせを
行う。

【００８２】図３１は、上記コントラスト検出回路６
３、または、動き検出回路６４における高コントラスト
領域の検出回路の処理状態を合わせて示したブロック構
成図である。この回路の処理状態を、例えば、８×８画
素のブロック領域についてのコントラストデータを検出
する動作として説明する。

【００８３】いま、検索ブロック領域Ｐｉ，Ｐｊの２領
域の画像データのコントラストデータについて考えると
して、画像データが図３２の（Ａ），（Ｂ）に示すよう
なデータとする。まず、図３１の累積加算器６５によ
り、検索ブロック領域Ｐｉ，Ｐｊの画像データ（０，
１）を累積し、値６０，３０を得る。減算器６６にて、
上記出力値６０，３０からブロック領域の画素数６４の
１／２である値３２を減算し、値２８，−２を得る。絶
対値化回路６７で絶対値をとり、減算器６８にて、上記
ブロック領域の画素数の１／２である値３２から上記絶
対値化した値２８，２を減算し、コントラストの高さを
示すコントラストデータとして４，３０を出力する。こ
の出力値により検索ブロック領域Ｐｉ，Ｐｊのコントラ
スト状態ととしては領域Ｐｊの方が高コントラストであ
り、領域Ｐｉが低コントラストであると判別される。な
お、図３２の（Ｃ）に示すブロック領域Ｐｋのコントラ
ストデータは、各画素が殆ど黒（０）であり、低コント
ラストである状態を示している。

【００８４】次に、分割画の貼り合わせと関連する動き
検出技術を有する更に別の画像取り扱い装置について説
明する。図３３は、上記提案の画像取り扱い装置の動き
検出部のブロック構成図である。この検出部は、前記図
２４に示すものと略同一の構成を有している。異なって
いる点は、コントラスト検出回路５１Ａが対象画像デー
タのブロック領域のコントラスト情報を検出する処理以
外、撮影光学系のＡＦ（自動合焦）制御用に用いられる
点である。図１のＡＦ／ＡＥ回路１４のＡＦ部が上記コ
ントラスト検出回路５１Ａに対応する。

【００８５】図３４は、ＡＦ処理用の撮影画面のＡＦエ
リアＭ８１の分割状態を示し、１分割ブロックが３０×
９６画素のブロック領域Ｒ81で構成され、所定領域のコ
ントラスト情報がＡＦ制御に用いられる。また、本変形
例の場合、この分割エリアがそのまま画像重ね合わせ処
理の特徴領域の検出にも用いられることになる。

【００８６】図３５は、上記コントラスト検出回路５１
Ａは、前記図２６のコントラスト検出回路５１と略同一
の構成を有しており、前述のようにＣＰＵ５１ｅからＡ
Ｆ用のコントラスト情報も出力される。本変形例によれ
ば、コントラスト検出回路５１ＡがＡＦ制御用と画像重
ね合わせ処理の特徴領域の検出用とに共用して用いられ
ることから、回路規模が大型化することがなくなる。

【００８７】次に、分割画の貼り合わせと関連する動き
検出技術を用いた更に別の画像取り扱い装置について説
明する。図３６は、上記提案の画像取り扱い装置の動き
検出部のブロック構成図である。この検出部は、前記図
３０に示すものと略同一の構成を有している。異なって
いる点は、コントラスト検出回路６３Ａが対象画像デー
タのブロック領域のコントラスト情報を検出する処理以
外、撮影光学系のＡＦ（自動合焦）制御用にも用いられ
る点が異なる。但し、上記コントラスト検出回路６３Ａ
には、２値化される前の画像データが取り込まれるもの
とする。

【００８８】本変形例においても、コントラスト検出回
路５１ＡがＡＦ制御用と画像重ね合わせ処理の特徴領域
の検出用とに共用して用いられることから、回路規模が
大型化することがなくなる。

【００８９】以上説明した実施例、または、その変形例
の装置に基づいて、画像取り扱い装置として次のような
構成を有する装置が提案される。即ち、１つの画像取り
扱い装置は、部分的に重複する当該一の領域に係る画像
と当該他の領域に係る画像とを、上記重複する領域に係
って少なくとも上記一の領域に係る上記重複する領域中
の第１の特徴部及び第２の特徴部として設定した領域が
これらに対応すべき上記他の領域に係る上記重複する領
域中の第１の対応部及び第２の対応部として認識される
領域と正規に重なるようにして動きを検出処理するため
の機能部を有する画像取り扱い装置であって、上記第１
の特徴部及び第２の特徴部を設定するに際しこれら各部
をその座標位置を表すための直交座標系における一方の
座標位置を同じくする如く設定する手段を備えてなるこ
とを特徴とする。この画像取り扱い装置によると検出精
度（認識精度）、検出速度が向上し、演算の回路規模が
縮小される。

【００９０】他の１つの画像取り扱い装置は、部分的に
重複する当該一の領域に係る画像と当該他の領域に係る
画像とを、上記重複する領域に係って少なくとも上記一
の領域に係る上記重複する領域中の第１の特徴部及び第
２の特徴部として設定した領域がこれらに対応すべき上
記他の領域に係る上記重複する領域中の第１の対応部及
び第２の対応部として認識される領域と正規に重なるよ
うにして貼り合わせ処理するための機能部を有する画像
取り扱い装置であって、上記第１の対応部及び／又は第
２の対応部の認識を、上記第１の特徴部及び／又は第２
の特徴部との比較対象とされる当該部内での映像信号レ
ベルの累算値が同等か否かの第１の識別動作の後に上記
一の領域に係る画像と当該他の領域に係る画像との相対
位置を整合させる動作を行いこの後当該部内でのパター
ンが同等か否かの第２の識別動作を行う識別手段を備え
てなることを特徴とする。この画像取り扱い装置による
と、検出精度（認識精度）が向上する。

【００９１】更に他の１つの画像取り扱い装置は、部分
的に重複する当該一の領域に係る画像と当該他の領域に
係る画像とを、上記重複する領域に係って少なくとも上
記一の領域に係る上記重複する領域中の第１の特徴部及
び第２の特徴部として設定した領域がこれらに対応すべ
き上記他の領域に係る上記重複する領域中の第１の対応
部及び第２の対応部として認識される領域と正規に重な
るようにして貼り合わせ処理するための機能部を有する
画像取り扱い装置であって、上記第１の対応部及び第２
の対応部として認識される領域間の距離が上記第１の特
徴部及び第２の特徴部として設定した領域間の距離と所
定の許容範囲を越えて異なる旨識別されたときには、上
記第１の特徴部及び／又は第２の特徴部についての当初
の条件を変えての設定動作、上記第１の対応部及び／又
は第２の対応部についての当初の条件を変えての認識動
作、上記異なった双方の距離を等しくするための電子的
画像倍率可変動作、又は、上記３種の動作のうちの２以
上の動作を順次実行する動作を行うための手段を備えて
なることを特徴とする。

【００９２】更に他の１つの画像取り扱い装置は、部分
的に重複する当該一の領域に係る画像と当該他の領域に
係る画像とを、上記重複する領域に係って少なくとも上
記一の領域に係る上記重複する領域中の一つの特徴部と
して設定した領域がこれらに対応すべき上記他の領域に
係る上記重複する領域中の一つの対応部として認識され
る領域と正規に重なるようにして貼り合わせ処理するた
めの機能部を有する画像取り扱い装置であって、上記特
徴部を設定するに際し、この特徴部を自己の中に設定す
べき領域を該特徴部よりも大きい複数のブロックに分割
し、当該ブロック内に上記特徴部を設定するに相応する
画像のコントラスト値等の所定の第１の要件を満たすか
否かの第１の弁別動作を上記各ブロック単位での比較的
粗な領域弁別動作として実行し、爾後、第１の弁別動作
によって自己の内に上記特徴部を設定するに相応する所
定要件を満たすものと弁別されたブロックについてのみ
同ブロック内領域について上記特徴部として設定するに
相応する画像のコントラスト値等の所定の第２の要件を
満たす小領域を特定する第２の弁別動作を当該ブロック
内領域についての比較的密な領域弁別動作として実行す
るための設定手段を備えてなることを特徴とする。この
画像取り扱い装置によると、特徴部の選定が速やかにな
されるため、装置全体として処理速度が向上する。

【００９３】更に他の画像取り扱い装置は、画像のコン
トラスト状態の如何を識別して合焦状態の如何を評価す
るための第１の機能部、及び、部分的に重複する当該一
の領域に係る画像と当該他の領域に係る画像とを、上記
重複する領域に係って少なくとも上記一の領域に係る上
記重複する領域中の一つの特徴部として設定した領域が
これらに対応すべき上記他の領域に係る上記重複する領
域中の一つの対応部として認識される領域と正規に重な
るようにして貼り合わせ処理するための第２の機能部を
有する画像取り扱い装置であって、上記特徴部を設定す
るに際し、この特徴部を上記第１の機能部によってコン
トラストが所定程度以上あるものと識別された領域中か
ら選定する手段を備えてなることを特徴とする。この画
像取り扱い装置によると、ＡＦ手段と特徴部設定のため
の手段が部分的に重複して構成されるため簡素化され
る。

【００９４】

【発明の効果】上述のように本発明の画像取り扱い装置
は、評価すべきブロック領域を逐次移動してブロック領
域内での画像のコントラストの程度を評価する演算が極
めて素早く実行でき、高精細な画像データを素早く取り
扱うことが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す画像取り扱い装置であ
るカメラの構成を示すブロック構成図。

【図２】上記図１のカメラにおける撮影画面の分割画面
を示す図。

【図３】上記図１のカメラにおける撮影画面の分割画面
の貼り合わせ状態を示し、（Ａ）は分割画面、（Ｂ）は
貼り合わせ画面を示す。

【図４】上記図１のカメラにおける検出回路まわりの詳
細なブロック構成図。

【図５】上記図１のカメラにおける検出回路の更に詳細
なブロック構成図。

【図６】上記図１のカメラにおける検出回路の検出処理
のタイムチャ−ト。

【図７】上記図１のカメラにおける検出回路の検出処理
の検索ブロック領域の移動状態を示す図。

【図８】上記図１のカメラと別途に規定されたカメラと
において、特徴領域検出のための検索回数を比較して示
した図。

【図９】上記図１のカメラにおける分割画面の貼り合わ
せ状態を示す図。

【図１０】上記図１のカメラにおける分割画面を貼り合
わせ方を示す図。

【図１１】上記図１のカメラにおける分割画面を貼り合
わせ方を示す図。

【図１２】上記図１のカメラにおける分割画面の特徴領
域と対応領域を示す図。

【図１３】上記図１のカメラにおける検出回路の加算回
路の一例を示す図。

【図１４】上記図１のカメラにおける検出処理の変形例
の画面貼り合わせ状態を示す図。

【図１５】上記図１のカメラにおける検出回路の変形例
の回路のブロック構成図の一部。

【図１６】上記図１のカメラにおける検出回路の変形例
の回路のブロック構成図の一部。

【図１７】上記図１のカメラにおける検出回路の別の変
形例の回路のブロック構成図

【図１８】上記図１のカメラにおける検出処理の変形例
の特徴領域検索状態を示す図。

【図１９】上記図１のカメラにおける検出処理の変形例
で貼り合わされる画面の特徴領域と対応領域を示す図。

【図２０】上記図１のカメラにおける検出処理の変形例
で対応領域を検出するためのブロック領域の移動状態を
示す図。

【図２１】上記図１のカメラにおける検出処理の変形例
のフローチャート。

【図２２】上記図１のカメラにおける検出処理の別の変
形例のフローチャート。

【図２３】上記図１のカメラにおける検出処理の更に別
の変形例のフローチャート。

【図２４】本発明の装置に関連する画像取り扱い装置の
動き検出部のブロック構成図。

【図２５】上記図２４の動き検出部のコントラストデー
タ取り込み処理のタイムチャ−ト。

【図２６】上記図２４の動き検出部のコントラスト検出
回路のブロック構成図。

【図２７】上記図２４の動き検出部におけるコントラス
ト検出のための分割ブロック領域を示す図。

【図２８】上記図２４の動き検出部の検出処理の変形例
における分割ブロック内の高コントラスト検索状態を示
す図。

【図２９】上記図２４の動き検出部の検出処理の別の変
形例における分割ブロック内の高コントラスト検索状態
を示す図。

【図３０】本発明の装置に関連する別の例の画像取り扱
い装置の動き検出部のブロック構成図。

【図３１】上記図３０の動き検出部のコントラスト検出
回路のブロック構成図。

【図３２】上記図３１のコントラスト検出処理に適用さ
れるブロック領域の画像データを示す図。

【図３３】本発明の装置に関連する更に別の例の画像取
り扱い装置の動き検出部のブロック構成図。

【図３４】上記図３３の動き検出部の検出処理における
検出対象画面の分割状態を示す図。

【図３５】上記図３３の動き検出部のコントラスト検出
回路のブロック構成図。

【図３６】本発明の装置に関連する更に別の例の画像取
り扱い装置の動き検出部のブロック構成図。

【図３７】一つの構想による画像取り扱い装置における
貼り合わせ画面の２枚の重ね合わせ部（貼り合わせ部）
の画面を示す図。

【図３８】一つの構想による画像取り扱い装置における
貼り合わせ処理の特徴領域検出に適用されるブロック領
域の拡大図。

【図３９】一つの構想による画像取り扱い装置における
貼り合わせ処理の特徴領域検索のためのコントラスト情
報検出に適用されるブロック領域の画素拡大図。

【図４０】一つの構想による画像取り扱い装置の貼り合
わせ処理のための画像データ累積加算値演算回路のブロ
ック構成図。

【図４１】上記図４０の画像取り扱い装置の累積加算値
演算回路のタイムチャ−ト。

【図４２】他の構想による画像取り扱い装置の貼り合わ
せ処理のための画像データ累積加算値演算回路のブロッ
ク構成図。

【図４３】上記図４２の画像取り扱い装置の累積加算値
演算回路のタイムチャ−ト。

【図４４】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域と対応領域を示す図。

【図４５】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域に対応するブロック領域を検索
する状態を示す図。

【図４６】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域に対応するブロック領域を検索
する状態を示す図。

【図４７】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域に対応するブロック領域を検索
する状態を示す図。

【図４８】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域に対応するブロック領域を検索
する状態を示す図。

【図４９】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域と対応領域を示す図。

【図５０】上記図４９の構想による貼り合わせ処理にお
ける貼り合わせ状態を示す図。

【図５１】他の構想による画像取り扱い装置の動き検出
処理における重ね合わせるべき対象画面と参照画面を示
す図。

【符号の説明】

１８a1………………加算器（累積加算手段） １８a5………………加算器（加算手段） １９ ………………第２メモリコントローラ（レジスタ
保持更新手段） Ｂa …………………第１特徴領域（第１の特徴部） Ｂb …………………第２特徴領域（第２の特徴部） Ｂc …………………第１対応領域（第１の対応部） Ｂd …………………第２対応領域（第２の対応部） Ｂ55，Ｂｆ，Ｂｇ………特徴領域（特徴部） Ｐ，Ｐk …………………ブロック領域

Claims (1)

【特許請求の範囲】
1. 【請求項１】当該画面において、各所定寸法を有してな
   り映像信号レベル検出の単位とするものとしてその形状
   と大きさを規定してなる単位領域を所定方向に沿って整
   列させて構成されるブロック領域を想定し、該ブロック
   領域を所定方向に沿って移動の前後において重なり部を
   形成しながら逐次移動するときの毎回の停止位置での当
   該ブロック領域内に含まれる上記単位領域毎の映像信号
   レベルの総和を求めることによって、上記毎回の停止位
   置でのブロック領域内での画像のコントラストの程度を
   評価する機能部を有する画像取り扱い装置であって、 上記ブロック領域の所定数の単位領域毎の映像信号レベ
   ル値を累積加算する累積加算手段と、 上記累積加算手段による当該ブロック領域の単位領域毎
   の映像信号レベルの累積加算値を保持すべく設けられた
   保持手段と、 上記保持手段に保持された値の総和を得るための加算手
   段と、 上記ブロック領域の垂直又は水平方向の逐次移動に追随
   して上記保持手段のうちの一部に保持された値を該逐次
   移動に対応して上記累積加算手段により新たに得られる
   値に更新する保持値更新手段と、 を備えてなることを特徴とする画像取り扱い装置。