JPH06315114A - Image handling device - Google Patents

Abstract

PURPOSE:To provide the image handling device using plural imagers for obtaining a high picture quality image by providing a scanning line processing means for executing a thinning-out processing matching to the number of scanning lines related to a display screen area is formed. CONSTITUTION:The image handling device is provided with plural image pickup elements 1A, 1B, 1C and 1D constituted by being arranged in each prescribed position in order to process the generation of a partial image in which the number of picture elements counted in the horizontal direction and the number of scanning lines counted in the vertical direction correspond at every partial area formed by dividing a display screen area set to each prescribed value into plural areas containing at least the vertical division. This device is constituted by providing scanning line processing means 11, 12 for executing such a thinning-out processing matching to the number of scanning lines related to the display screen area is formed with regard to a horizontal scanning line corresponding signal of the output of each of plural image pickup elements thereof 1A, 1B, 1C and 1D. That is, by the processing of the outputs from plural image pickup elements 1A, 1B, 1C and 1D, matching to the number of scanning lines related to the display screen area can be taken simply.

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は画像取扱い装置に関し、
特に複数個のイメージャーを用いた撮像装置の画質改善
を図る画像取扱い装置に関する。 【０００２】 【従来の技術】画素数の比較的少ないイメージャー（Ｃ
ＣＤ等）を複数個用い、各イメージャーに一枚の画像を
分割した各分割領域を分担させ、複数個のイメージャー
で得られた画像を合成して高画質（多画素数）の画像を
得るような、いわゆる貼り合わせ撮像装置が提案されて
いる。 【０００３】例えば、図２７に示すように、一枚の画像
Ｇを左右上下（右下部Ｇ１、左下部Ｇ２、右上部Ｇ３、
左上部Ｇ４）の４領域に分割し、各領域の画像は対応す
るイメージャーが出力するように構成する。このような
分割画像は、例えば、図２８に示す如く公知の複数個の
プリズムを用いて得られる。図２８のように配設された
プリズムの透過光と反射光を適切に選択し、入射光画像
（光学像）Ｇを上記４つの領域に分割し、適切に配設さ
れた４個のイメージャーＩ１〜Ｉ４のそれぞれで各分割
画像を受光する。 【０００４】 【発明が解決しようとする課題】しかしながら、上述の
ように、従来の画像取扱い装置は、例えば、ＮＴＳＣ方
式の通常のＣＣＤをイメージャとして用い、４個のイメ
ージャにより上下左右４領域の画像を得、これらを結合
してＮＴＳＣ用のモニタに映出する場合につき、特にそ
の走査線については整合を図らねばならないところであ
るが、その点での具体的な手段までは配慮されていなか
った。 【０００５】そこで、本発明の目的は、上述した問題点
を解決すべく高画質画像を得る複数のイメージャーを用
いた画像取扱い装置を提供することにある。 【０００６】 【課題を解決するための手段】前述の課題を解決するた
め、本発明による画像取扱い装置は、水平方向に数えた
画素数及び垂直方向に数えた走査線数が各所定の値に設
定された表示画面領域を少なくとも上下の分割を含んで
複数に分割してなる各部分領域毎に対応する部分画像の
生成を賄うべく各所定位置に配されてなる複数の撮像素
子と、上記複数の各撮像素子の出力の水平走査線対応信
号について上記表示画面領域に係る走査線数との整合が
成り立つような間引処理を行うための走査線処理手段
と、を備えて構成される。 【０００７】 【作用】本発明では、各イメージャーから得られるライ
ン情報を適宜、間引処理して、複数の撮像素子からの出
力を合成し、表示画面領域に係る走査線との整合が成り
立つようにしている。 【０００８】 【実施例】次に、本発明の実施例について図面を参照し
ながら説明する。図１〜図３は本発明の一実施例を示す
図である。ＮＴＳＣ方式で３８万画素の通常のＣＣＤを
イメージャーとして用い、４個のイメージャーにより上
下左右４領域の画像を得、これらを結合した図が図１に
示されている。本例では、各分割画像は水平方向：７６
８画素×垂直方向：４８０ラインであり、総合的には水
平方向：１５３６画素、垂直方向：９６０ラインとなっ
て、水平方向の解像度は改善される。しかしながら、実
際のＮＴＳＣ方式では、有効ライン数は４８０ライン、
１フィールドラインは２４０ラインで良く、イメージャ
ー一枚当り４８０ラインから１２０ラインを生成すれば
良い。つまり、４ラインで１ラインを生成すれば良い。
図２に示すように、４本のライン情報Ａ〜Ｄから１本の
ライン情報を生成するために、ライン情報ＣとＤは用い
ずに奇数ラインは１ライン目はライン情報ＡとＢから生
成し、２ライン目を次のライン情報ＡとＢから生成す
る。また、インターレース方式では、ライン情報ＡとＢ
は用いず、偶数ラインの各ライン情報はライン情報Ｃと
Ｄを用いて生成される。このとき、インターレースのた
め、偶数フィールドを１ラインずつずらせ、奇数ライン
と偶数ラインの読み出しは混合画素が互い違いにずれる
ように行われる。 【０００９】図３には、２個のイメージャーＩ１とＩ２
の出力を用いて混合出力を得るときのタイミングチャー
トが示されている。他の２個のイメージャーＩ３、Ｉ４
も同様である。これらのイメージャの駆動は、後述する
図４のＴＧ（タイミングジェネレータ）６Ｂからの信号
によって行われている。水平転送パルスに同期して、イ
メージャーＩ１の出力がライン情報ＡとＢの平均ＡＢ＝
（Ａ＋Ｂ）／２、ライン情報ＣとＤの平均ＣＤ＝（Ｃ＋
Ｄ）／２として求められる。ここで、Ａ〜Ｄのサフィッ
クス番号は順番を示す。これらイメージャーＩ１とＩ２
の出力を交互に読み出し、ライン情報ＣとＤは廃棄し、
必要なライン情報を生成する。したがって、きわめて簡
単な構成により、表示系との整合が図られた合成画像が
得られる。 【００１０】図４は、本発明の一実施例を示す画像取扱
い装置の構成ブロック図である。本実施例では、上記例
で廃棄していた図２のライン情報ＣとＤを廃棄せず、図
５に示すように、情報ＡＢとＣＤから新たな１ライン目
を生成する。その際、ライン情報ＡＢとライン情報ＣＤ
の相関を検出し、相関が強いときには両情報の平均値を
新たなライン情報とすることによってノイズリダクショ
ン効果を得ている。この処理は、奇数ライン及び偶数ラ
インについて行われる。平均処理のためには、図６に示
すように、１Ｈディレー部８と加算器１１及び１／２乗
算器１２から成る平均回路を用いることができる。 【００１１】図７には、かかる平均化処理動作のタイミ
ングチャートが示されている。水平同期信号ＨＳＹＮＣ
に同期して、イメージャー（ＣＣＤ）からのｍライン目
のデータＡとＢの平均データＡＢ（ｍ）、ＣＤ（ｍ）、
続いて（ｍ＋１）ライン目の平均データＡＢ（ｍ＋１）
…が出力され、１Ｈディレー部８によって１Ｈ遅延され
た平均データがＣＤ（ｍ−１）、ＡＢ（ｍ）、ＣＤ
（ｍ）のように出力される。したがって、平均処理（Ｃ
Ｄ＋ＡＢ）／２、（ＡＢ＋ＣＤ）／２、（ＣＤ＋ＡＢ）
／２が出力として得られることになる。 【００１２】図４を参照すると、４個（４枚）のイメー
ジャー（ＣＣＤ）１Ａ，１Ｂ，１Ｃ及び１Ｄは、それぞ
れ一枚の画像を上下左右に分割した左上部、右上部、左
下部及び右下部の画像領域を分担しており、ＴＧ（タイ
ミングジェネレータ）６Ｂによって駆動される各イメー
ジャーの出力は、Ｓ／Ｈ＆ＡＧＣ部２Ａ〜２Ｄでそれぞ
れサンプルホールドされ、ＡＧＣ（自動利得制御）され
た後、Ａ／Ｄコンバータ３Ａ〜３Ｄでデジタル信号に変
換される。 【００１３】Ａ／Ｄコンバータ３Ａ〜３Ｄからの各出力
は、撮像プロセス部４Ａ〜４Ｄで、例えばγ処理、アパ
ーチャ処理、色分離処理等の所定の撮像プロセスが施さ
れて、それぞれフィールドメモリ５Ａ〜５Ｄに記憶され
る。フィールドメモリ５Ａ〜５Ｄの書き込み及び読み出
しは、メモリコントロール部６Ａからの制御信号により
制御される。 【００１４】スイッチ７Ａと７Ｂは、一枚の画像の上半
分、下半分等の必要とする画像領域対応のデータをフィ
ールドメモリ５Ａ〜５Ｄから選択的に出力するもので、
切換制御信号CONT1が“Ｌ”のとき上半分領域が指定さ
れ、“Ｈ”のとき下半分領域が指定されて対応データが
読み出される。すなわち、切換制御信号CONT1が“Ｌ”
のときには、フィールドメモリ５Ａと５Ｂからのデータ
が切換スイッチ７Ａと７Ｂから出力され、切換制御信号
CONT1が“Ｈ”のときにはフィールドメモリ５Ｃと５Ｄ
からのデータが出力される。 【００１５】切換スイッチ７Ａと７Ｂからの出力は、切
換スイッチ９ＡのＬ端子とＨ端子に入力されるととも
に、１／２Ｈディレー部８Ａと８Ｂで１／２Ｈ遅延され
て切換スイッチ９ＢのＬ端子とＨ端子に送出される。切
換スイッチ９Ａと９Ｂは、一画面の左半部と右半部領域
を指定、選択出力するもので、切換制御信号CONT2が
“Ｌ”のとき左半部領域が指定され、“Ｈ”のとき右半
部領域が指定されて選択出力される。すなわち、切換制
御信号CONT2が“Ｌ”のときには切換スイッチ７Ａの出
力と、該出力が１／２Ｈデイレー部８Ａで１／２Ｈ遅延
された出力とが選択され、加算器１１で加算された後、
１／２乗算器１２で１／２が乗算されて平均化処理が施
される。一方、切換制御信号CONT2が“Ｈ”のときに
は、 切換スイッチ７Ｂの出力と、該出力が１／２Ｈデ
ィレー部８Ｂで１／２遅延された出力とが選択され、同
様に、加算器１１と１／２乗算器１２で平均化処理が施
される。 【００１６】相関検出部１０は、切換スイッチ９Ａと９
Ｂの出力の相関、つまり、隣り合うライン間の相関を検
出し、相関が高いときには、１／２乗算器１２からの出
力である上記平均化処理されたデータを、また相関が低
いときには平均化処理されない切換スイッチ９Ａからの
データを選択すべく、切換スイッチ１３を切り換え制御
せしめる。こうすることにより、相関の低いデータ（横
線のある画像）を平均化処理することによる垂直解像度
の劣化を防止できるとともに、相関の高いデータに対し
ては平均化処理することによってノイズリダクションに
よる画質の改善を図ることができる。切換スイッチ１３
の出力は、ＮＴＳＣ用エンコーダ１４で、エンコード処
理され、Ｄ／Ａコンバータ１５でアナログ信号に変換さ
れて、ビデオ出力が得られる。 【００１７】図８には、上述図１における切換スイッチ
７Ａと７Ｂによるフィールドメモリ５Ａ〜５Ｄの選択出
力の動作タイミングチャートが示されている。１フィー
ルド分のタイミングに相当する垂直同期信号ＶＳＹＮＣ
に同期して、切換制御信号CONT1が“Ｌ”と“Ｈ”交互
に変化し、それに伴ってフィールドメモリ５Ａ，５Ｂと
５Ｃ，５Ｄの出力が図示の如く選択される。 【００１８】図９には、上述切換スイッチ９Ａ，９Ｂに
よるフィールドメモリ５Ａと５Ｂからの出力の選択動作
及び平均化処理出力の関係が示されている。フィールド
メモリ５Ｃと５Ｄからの出力についても同様であるの
で、本図では省略してある。水平同期信号ＨＳＹＮＣに
同期してフィールドメモリ５Ａ，５Ｂからは、図示のよ
うにデータが出力されるが、上述ノイズリダクション効
果を得るため、１水平同期信号周期内に２ライン分を読
み出している。 【００１９】切換制御信号CONT2が”Ｌ”では左半部の
データが選択され、フィールドメモリ５Ａの出力と、該
出力が１／２Ｈ遅延された出力とが切換スイッチ９Ａと
９Ｂを通り、加算器１１と１／２乗算器１２による平均
化処理データが得られる。一方、切換制御信号 CONT2が
“Ｈ”では右半部のデータが選択され、フィールドメモ
リ５Ｂの出力と、該出力が１／２Ｈ遅延された出力とが
切換スイッチ９Ａと９Ｂを通り、同様に平均化処理デー
タが得られる。 【００２０】上述画像取扱い装置では、所定位置に配設
された複数個のイメージャーからの画像データを電気的
に合成して一枚の画面画像を生成しているが、イメージ
ャーを互いに高精度の関係で配設することは困難であ
り、隣り合うイメージャー配設関係がずれることは避け
られない場合が多い。 【００２１】本発明の次の実施例は、かかるイメージャ
ー配設関係のずれを補償するものでなおかつ高画質を維
持するための画像取扱い装置である。例えば、図１０に
示すように、左上部領域を分担するイメージャーＩA と
右上部領域を分担するイメージャーＩB について、イメ
ージャーＩB が水平方向及び垂直方向にずれたときに
は、このずれを補償する必要がある。図中、白丸がイメ
ージャーＩA からの画素データを、黒丸がイメージャー
ＩB からの画素データを示し、三角印が補間による補償
後の画素データを示す。この補償された画素データは、
隣接周辺の４つの画素データに基づく補間により得られ
る。 【００２２】ＮＴＳＣ方式では、イメージャー出力画像
は図１１（Ｂ）に示すようにアスペクト比は３：４、１
画素のアスペクト比は２．４：１となり、上述の例で
は、１フィールドから１２０ライン生成すれば良い。こ
こで、同図（Ａ）のように、ライン情報Ｃ，Ｄを廃棄す
ると、補間に用いる周辺の４画素データの垂直方向の距
離は４．８となり、距離が長くなって補間精度が劣化す
る。 【００２３】そこで、本実施例では、画素データＣ，Ｄ
を廃棄せず、補間に用いる基礎データとして用いること
により補間精度を上げ、高画質化を図っている。 【００２４】図１２と図１３は、本実施例による画像取
扱い装置の構成ブロック図を示し、図１２のイメージャ
ー（ＣＣＤ）１Ａ〜１Ｄ、Ｓ／Ｈ＆ＡＧＣ部２Ａ〜２
Ｄ、Ａ／Ｄコンバータ３Ａ〜３Ｄ、撮像プロセス部４Ａ
〜４Ｄ、切換スイッチ７Ａと７Ｂ、１／２Ｈデイレー部
８Ａと８Ｂ及び切換スイッチ９Ａと９Ｂは、図４の構成
と同様であり、切換スイッチ９Ａ，９Ｂの出力側＃Ａ、
＃Ｂと、エンコーダ１４の入力側＃Ｃ間に、図１３に示
すような補間回路が挿入される。 【００２５】切換スイッチ９Ａからの出力であるフィー
ルドメモリ５Ａからの出力と、切換スイッチ９Ｂからの
出力であるフィールドメモリ５Ａからの１／２Ｈデイレ
ー出力は、１クロック（１ＣＬＫ）ディレー部１６Ａ，
１６Ｂと乗算器１７Ａ，１７Ｃに供給される。このと
き、補間処理を説明する図１４において、切換スイッチ
９Ａと９Ｂからの出力が、図１４の画素データとに
相当し、１ＣＬＫディレー部１６Ａと１６Ｂからの出力
が画素データとにそれぞれ相当する。 【００２６】乗算器１７Ａと１７Ｂは、周知のように画
素データとに対して、図１４に示す距離係数Ｋxと
１−Ｋxをそれぞれ乗算し、乗算結果が加算器１８Ａで
加算されて、図１４のＢ位置の補間画素データが得られ
る。同様に、乗算器１７Ｃと１７Ｄは、画素データと
に対して、距離係数Ｋxと１−Ｋxを乗算し、乗算結果
が加算器１８Ｂで加算されて、図１４のＡ位置の補間画
素データが得られる。続いて加算器１８Ａと１８Ｂの出
力は、それぞれ、乗算器１９Ａと１９Ｂで距離係数Ｋy
と１−Ｋyが乗算され、乗算結果が加算器２０で加算さ
れて、求めるべき補間データ（図１４の黒丸位置）が得
られ、図１２のエンコーダ１４に出力されることにな
る。 【００２７】図１５には、図１２の切換制御信号CONT1
により動作する切換スイッチ７Ａと７Ｂを介してフィー
ルドメモリ５Ａ〜５Ｄからの読み出し出力のタイミング
チャートが示されている。このタイミングチャートは図
８と実質的に同一である。また、図１６には、図１２の
切換制御信号CONT2により切換スイッチ９Ａと９Ｂを介
してフィールドメモリ５Ａ，５Ｂと、１／２Ｈディレー
部８Ａ，８Ｂの出力のタイミングチャートが示されてい
る。 【００２８】図１７は、本発明の更に他の実施例を説明
するための図で、先の実施例が水平方向と垂直方向のイ
メージャー配設位置のずれを補償するのに対して、隣接
イメージャーの配設関係が角度θだけずれている場合に
補償を行う実施例である。同図（Ａ）に示すように、２
つのイメージャーでの配設位置が角度θだけ回転ずれが
ある場合に得られる画像を補償するため、同図（Ｂ）に
示すように、一旦メモリに記憶された画像データを角度
θだけ斜め方向に読み出す。すなわち、同図（Ｂ）にお
いて、実線は回転ずれのあるイメージャー出力でメモリ
に記憶されている画像を示し、被写体画像もθだけ傾斜
している画像データがメモリライトエリアに記憶されて
いる。この被写体画像を回転ずれのない状態にするに
は、メモリからの読み出しを同図の矢印で示す方向にθ
だけ傾けて読み出すようなメモリリードエリアとすれば
良い。このとき、読み出し方向には画素データが存在し
ないから、読み出し方向に位置すべき画素データを、現
存する画素データから補間により生成しなければならな
い。 【００２９】図１８は、この補間処理を説明するための
図で、白丸で示す４つの現存する画素データ（メモリラ
イト画素データ）から、読み出し方向上にある黒丸で示
す画素データを生成するには、図１４と同様に、距離係
数Ｋx，Ｋy，１−Ｋx ，１−Ｋyを用いて補間により得
られる。このときにも、図１１と同様垂直方向のライン
データの補間の際には、ライン情報（ＣＤ）を用いて行
う。 【００３０】図１８のように得られた読み出し方向の補
間画素データに対応するアドレスが回転ずれ補償には必
要である。この回転制御を行うために必要なアドレスを
得るためのアドレス変換の原理を図１９を参照して説明
する。図１９は、細線で示される原画を、θだけ回転し
て斜め読み出し（走査）による太線画像を得る際のアド
レス位置関係を示している。図中、白丸はメモリに記憶
された実画素を示し、黒丸はメモリから読み出す仮想画
素を示す。各アドレス位置Ｐ（００），Ｐ（１０），Ｐ
（２０），Ｐ（０１），Ｐ（１１），Ｐ（２１），Ｐ
（０２），Ｐ（１２），Ｐ（２２）対応の画素データが
フィールドメモリに書き込まれており、これらアドレス
位置の画素データを用いて、位置Ｐ（００）を中心にし
てθだけ回転した後の太線で示す対応アドレス位置Ｑ
（１０），Ｑ（２０），Ｑ（０１），Ｑ（１１），Ｑ
（２１），…を求め、アドレス信号Ａｄｄとしてフィー
ルドメモリに送出する。 【００３１】例えば、図１９におけるアドレス位置Ｑ
（１０），Ｑ（２０），Ｑ（０１），Ｑ（１１）仮想画
素アドレスは、図示の関係から次のようにして求まる。 Ｑ（１０）：ｘ…Ｐ（００）＋ｃｏｓθ ｙ…Ｐ（００）＋ｓｉｎθ Ｑ（２０）：ｘ…Ｐ（００）＋２ｃｏｓθ ＝Ｐ（１０）＋２ｃｏｓθ−１ ｙ…Ｐ（００）＋２ｓｉｎθ ＝Ｐ（１０）＋２ｓｉｎθ Ｑ（０１）：ｘ…Ｐ（００）−ｓｉｎθ ｙ…Ｐ（００）＋ｃｏｓθ Ｑ（１１）：ｘ…Ｐ（００）−ｓｉｎθ＋ｃｏｓθ ＝Ｐ（０１）−ｓｉｎθ＋ｃｏｓθ ｙ…Ｐ（００）＋ｃｏｓθ＋ｓｉｎθ ＝Ｐ（０１）＋ｃｏｓθ＋ｓｉｎθ−１ 【００３２】図２０には、上述Ｘアドレスを発生する回
路例が示されている。ＸＳＴレジスタ１０１Ｘには、最
初に読み出す画素アドレス、本例では０が設定され、Ｘ
Ｗレジスタ１０２Ｘからは、図１９に示すＸＷ＝ｃｏｓ
θが発生され、Ｘ０レジスタ１０３Ｘからは、図１９に
示すＸ０＝−ｓｉｎθが発生されている。加算器１０４
Ｘの出力は、遅延器１０６Ｘで１クロック（１画素分）
遅延される。加算器１０４Ｘは、ＸＷレジスタ１０２Ｘ
からのｃｏｓθと、遅延器１０６Ｘからの出力とを加算
する。遅延器１０６Ｘの出力は、ＸＳＴレジスタ１０１
Ｘからの出力（本例では０）と、加算器１０８Ｘにおい
て加算される。遅延器１０７Ｘは、加算器１０５Ｘの出
力を１Ｈだけ遅延する。加算器１０５Ｘは、Ｘ０レジス
タ１０３Ｘからの−ｓｉｎθと、遅延器１０７Ｘからの
出力とを加算する。加算器１０９Ｘは、遅延器１０７Ｘ
の出力と、加算器１０８Ｘの出力とを加算してＸアドレ
ス信号ＫXとして出力する。 【００３３】図２１は、図２０と同様な構成のＹアドレ
ス信号を発生する回路例が示されている。ＹＳＴレジス
タ１０１Ｙは、０が設定され、ＹＷレジスタ１０２Ｙか
らは、図１９に示すＹＷ＝ｓｉｎθが発生され、Ｙ０レ
ジスタ１０３Ｙからは、図１９に示すＹ０＝ｃｏｓθが
発生されている。加算器１０４Ｙの出力は遅延器１０６
Ｙで１クロック（１画素分）遅延される。加算器１０４
Ｙは、ＹＷレジスタ１０２Ｙからのｓｉｎθと、遅延器
１０６Ｙからの出力とを加算する。遅延器１０６Ｙの出
力は、ＹＳＴレジスタ１０１Ｙからの出力（本例では
０）と、加算器１０８Ｙにより加算される。遅延器１０
７Ｙは、加算器１０５Ｙの出力を１Ｈだけ遅延する。加
算器１０５Ｙは、Ｙ０レジスタ１０３Ｙからのｃｏｓθ
と、遅延器１０７Ｙからの出力とを加算する。加算器１
０９Ｙは、遅延器１０７Ｙの出力と、加算器１０８Ｙの
出力とを加算してＹアドレス信号として出力する。 【００３４】図２２には、図１９に示すアドレス変換原
理図を、図２３に示す３対４のアスペクト比（７６８画
素，２４０ライン）に適用した場合で、３０度だけ回転
した場合のアドレス変換図が示されている。この場合、
図２３に示す如く、１画素は縦横が２．４対１の大きさ
となる。 このとき、ＸＳＴ＝０ ＸＷ＝０．８６６ Ｘ
０＝−２．４×０．５ ＹＳＴ＝０ ＹＷ＝０．５／２．４ Ｙ０＝０．８
６６ であり、図からも明らかなように、画素数ｍ、ライン数
ｎにおけるＸアドレスＸｍｎとＹアドレスＹｍｎを表す
一般式は次のようになる。 Ｘｍｎ＝ＸＳＴ＋ｍ・ＸＷ＋ｎ・Ｘ０ Ｙｍｎ＝ＹＳＴ＋ｍ・ＹＷ＋ｎ・Ｙ０ 例えば、０ライン目（ｎ＝０）のアドレス（座標）は、 （ＸＹ）＝（０，０），（０．８６６，０．２０８），
（１．７３２，０．４１７），… １ライン目（ｎ＝１）では、 （ＸＹ）＝（−１．２，０．８６６），（−０．３３
４，１．０７４），（０．５３２，１．２８），…とな
る。ここで、各アドレスの整数部がアドレスＡｄｄを、
小数部が補間係数Ｋを示していることは図から明らかで
ある。 【００３５】例えば図２４示すような前述と同様な４点
加重方式が好ましい。メモリから読み出すべきアドレス
位置Ｑは、図のように、Ｘ１とＸ２を定めると、周囲の
４点Ｐ（１１），Ｐ（２１），Ｐ（１２），Ｐ（２２）
の加重平均を用いて、下式により求める。 Ｑ＝（１−Ｋｙ）Ｘ１＋Ｋｙ・Ｘ２ Ｘ１＝（１−Ｋｘ）Ｐ（１１）＋ＫｘＰ（２１） Ｘ２＝（１−Ｋｘ）Ｐ（１２）＋ＫｘＰ（２２） したがって、 Ｑ＝（１−Ｋｘ）（１−Ｋｙ）Ｐ（１１）＋Ｋｘ（１−Ｋｙ）Ｐ（２１） ＋Ｋｙ（１−Ｋｘ）Ｐ（１２）＋Ｋｘ・Ｋｙ・Ｐ（２２）…（１） （１）式の演算は、１サイクル内に４画素アドレスＰ
（１１），Ｐ（２１），Ｐ（１２），Ｐ（２２）を同時
に読み出すことにより実現できる。上記４画素の同時読
み出しは、例えば図２５に示すようなメモリ構成を用い
て行うことができる。 【００３６】図２５に示す例では、一度のアドレス供給
により４画素を読み出すことができるように、偶数列、
偶数行メモリ（Ａ）、奇数列、偶数行メモリ（Ｂ）、偶
数列、奇数行メモリ（Ｃ）及び奇数列、奇数行メモリ
（Ｄ）の４個の独立メモリを設けている。 【００３７】図２６は、上述４点加重平均回路による演
算を行うためにメモリからのデータ読み出し用アドレス
発生回路を示し、列アドレス０〜９ビットと行アドレス
０〜７ビットから奇数列メモリ用列アドレス、偶数列メ
モリ用列アドレス、奇数行メモリ用行アドレスおよび偶
数行メモリ用行アドレスが生成される。列アドレスの０
ビットはセレクト信号ＨＳＥＬとして出力されるととも
に、加算器２０１で、１〜９ビットと加算される。１〜
９ビットが奇数列メモリ用列アドレスとなり、加算器２
０１の出力が偶数列メモリ用列アドレスとなる。同様
に、行アドレスの０ビットはセレクト信号ＶＳＥＬとし
て出力されるとともに、加算器２０２で、１〜７ビット
と加算される。１〜７ビットが奇数行メモリ用行アドレ
スとなり、加算器２０２の出力が偶数行メモリ用行アド
レスとなる。 【００３８】図２７にはメモリから読み出したリードデ
ータを用いて（１）式に示す４点加重平均演算を行うた
めの回路例が示されている。図２７において、セレクタ
２０３と２０４は、図２６で得られたセレクト信号ＨＳ
ＥＬが“Ｈ”のときは“Ｈ”端子が、“Ｌ”のときは
“Ｌ”端子が選択され、セレクタ２１１は、同様にセレ
クト信号ＶＳＥＬにより対応する端子が選択される。セ
レクタ２０３には、図１３に示されている偶数列偶数行
リードデータＡと奇数列偶数行リードデータＢが入力さ
れ、セレクタ２０４には、図１３には図示していない偶
数列奇数行リードデータＣと奇数列奇数行リードデータ
Ｄが入力されている。 【００３９】セレクタ２０３からの２つの出力は、それ
ぞれ乗算器２０５，２０６により係数（１−Ｋｘ），Ｋ
ｘが乗算される。乗算器２０５と２０６の出力は、加算
器２０７で加算され、セレクタ２１１の２入力端子
（Ｌ，Ｈ）に出力される。一方、セレクタ２０４からの
２つの出力は、それぞれ乗算器２０８，２０９により係
数（１−Ｋｘ），Ｋｘが乗算される。乗算器２０８と２
０９の出力は、加算器２１０で加算され、セレクタ２１
１の他の２入力端子（Ｌ，Ｈ）に出力される。 【００４０】セレクタ２１１からの２つの出力は、上記
Ｘ１とＸ２であり、それぞれ乗算器２１２，２１３によ
り係数（１−ＫY），ＫYが乗算される。乗算器２１２と
２１３の出力は、加算器２１４で加算されて補間後のデ
ータが得られる。 【００４１】図２６と図２７の例において、セレクト信
号が必要なのは、図２８に示すように、選択すべき４点
のアドレスが、パターン＃１〜＃４の４通りに応じて生
成されるからであり、本例ではパターン＃２の例を示し
ている。 【００４２】図２９は、本実施例による画像取扱い装置
の構成ブロック図である。図中、図４と同一符号が付さ
れている構成部は、同様な機能を有する構成部を示す。
４個の各イメージャー対応に設けられたフィールドメモ
リ２１Ａ〜２１Ｄはメモリコントロール部２２により読
み出し、書き込みが制御される。上記回転ずれは一つの
イメージャー出力に対してのものであるため、本例では
フィールドメモリ２１Ａには上述補間処理部を設けず、
フィールドメモリ２１Ｂ，２１Ｃ及び２１Ｄの出力に対
して補間処理を施す補間処理部２３Ｂ，２３Ｃ及び２３
Ｄが設けられている。この補間処理に用いられる補間係
数（Ｋx，Ｋy等）は補間係数発生部２４から発生され
る。切換スイッチ２５は、フィールドメモリ２１Ａ及び
出力補間処理部２３Ｂ〜２３Ｄからの出力を切り換え出
力してエンコーダ１３に送出する。 【００４３】上述実施例は、回転ずれに対する補償につ
いて説明しているが、水平方向や垂直方向ずれに対して
も有効であることは明らかである。また、４個の各イメ
ージャー出力のバックフォーカス（ズーム比率）のずれ
をも補償することができる。以上の各実施例の説明は、
ＮＴＳＣイメージャーについてのものであるが、ＰＡＬ
方式やＨＤＴＶ等の他の方式のイメージャーについても
適用できることは勿論である。 【００４４】以上の各実施例をまとめると、次のような
要旨で表現することもできる。すなわち、 （１）水平方向に数えた画素数及び垂直方向に数えた走
査線数が各所定の値に設定された表示画面領域を少なく
とも上下の分割を含んで複数に分割してなる各部分領域
毎に対応する部分画像の生成を賄うべく各所定位置に配
されてなる複数の撮像素子と、上記複数の各撮像素子の
出力に基づいて上記表示画面領域の全域に対応する映像
信号を形成するに際し、当該撮像素子毎に見て、上記表
示画面領域での上記走査線数との整合をはかるべく該他
の撮像素子がその正規の位置に配されているときには有
効な走査線としては用いられない走査線に対応する画素
の信号とこの走査線に隣接する走査線として用いられる
走査線に対応する画素信号とを入力して映像信号のノイ
ズをキャンセルするためのノイズキャンセル手段と、を
備える画像取扱い装置。 （２）水平方向に数えた画素数及び垂直方向に数えた走
査線数が各所定の値に設定された表示画面領域を少なく
とも上下の分割を含んで複数に分割してなる各部分領域
毎に対応する部分画像の生成を賄うべく各所定位置に配
されてなる複数の撮像素子と、複数の撮像素子のうちの
当該一の撮像素子の配置に対応する当該他の撮像素子の
正規の位置からの平行移動による位置ずれに係る映像信
号の誤差を補正すべく上記当該他の撮像素子からの信号
を読み出すにつき、上記表示画面領域での上記走査線数
との整合をはかるべく該他の撮像素子がその正規の位置
に配されているときには有効な走査線としては用いられ
ない走査線に対応する画素の信号とこの走査線に隣接す
る走査線として用いられる走査線に対応する画素信号と
から補間演算によって補間走査信号を生成するための補
間走査信号生成手段と、を備える画像取扱い装置。 （３）水平方向に数えた画素数及び垂直方向に数えた走
査線数が各所定の値に設定された表示画面領域を少なく
とも上下の分割を含んで複数に分割してなる各部分領域
毎に対応する部分画像の生成を賄うべく各所定位置に配
されてなる複数の撮像素子と、複数の撮像素子のうちの
当該一の撮像素子の配置に対応する当該他の撮像素子の
正規の位置からの位置の回転移動による位置ずれに係る
映像信号の誤差を補正すべく上記当該他の撮像素子から
の信号を読み出すにつき、上記表示画面領域での上記走
査線数との整合をはかるべく該他の撮像素子がその正規
の位置に配されているときには有効な走査線としては用
いられない走査線に対応する画素の信号を上記有効な走
査線として用いられる走査線に対応する画素の信号との
補間演算に用いて補間走査信号を生成するための補間走
査信号生成手段と、を備える画像取扱い装置。 【００４５】 【発明の効果】以上説明したように、本発明による画像
取扱い装置によれば、複数の撮像素子からの出力の処理
により、表示画面領域に係る走査線数との整合を簡単に
とることができる。Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image handling device,
Particularly, the present invention relates to an image handling device for improving the image quality of an image pickup device using a plurality of imagers. An imager (C having a relatively small number of pixels)
Using a plurality of CDs etc., each imager is made to share each divided area of one image, and the images obtained by the plurality of imagers are combined to obtain a high quality (multi-pixel number) image. A so-called bonded image pickup device has been proposed that can be obtained. For example, as shown in FIG. 27, one image G is vertically and vertically (lower right part G1, lower left part G2, upper right part G3,
The image is divided into four areas (upper left G4), and the image in each area is output by the corresponding imager. Such a divided image is obtained by using a plurality of known prisms as shown in FIG. 28, for example. The transmitted light and the reflected light of the prisms arranged as shown in FIG. 28 are appropriately selected, the incident light image (optical image) G is divided into the above four regions, and four imagers are arranged appropriately. Each of the divided images is received by each of I1 to I4. However, as described above, the conventional image handling device uses, for example, a normal NTSC CCD as an imager, and four imagers form images of four regions in the vertical and horizontal directions. In the case of combining them and displaying them on an NTSC monitor, it is necessary to match the scanning lines in particular, but no specific means has been taken into consideration at that point. Therefore, an object of the present invention is to provide an image handling apparatus using a plurality of imagers for obtaining a high quality image in order to solve the above problems. In order to solve the above-mentioned problems, in the image handling apparatus according to the present invention, the number of pixels counted in the horizontal direction and the number of scanning lines counted in the vertical direction are set to predetermined values. A plurality of image pickup elements arranged at respective predetermined positions so as to generate a partial image corresponding to each partial area formed by dividing the set display screen area into a plurality of areas including at least upper and lower divisions; The scanning line processing means for performing the thinning-out process for the horizontal scanning line corresponding signal of the output of each image pickup device so as to be matched with the number of scanning lines related to the display screen area. According to the present invention, the line information obtained from each imager is appropriately thinned out, the outputs from a plurality of image pickup devices are combined, and the alignment with the scanning line in the display screen area is established. I am trying. Embodiments of the present invention will now be described with reference to the drawings. 1 to 3 are views showing an embodiment of the present invention. A normal CCD having 380,000 pixels in the NTSC system is used as an imager to obtain images of four regions in the upper, lower, left, and right directions by using four imagers, and the combined image is shown in FIG. In this example, each divided image has a horizontal direction of 76.
8 pixels × vertical direction: 480 lines, so that the total is 1536 pixels in the horizontal direction and 960 lines in the vertical direction, and the resolution in the horizontal direction is improved. However, in the actual NTSC system, the number of effective lines is 480 lines,
One field line may be 240 lines, and 120 lines may be generated from 480 lines per imager. That is, one line may be generated from four lines.
As shown in FIG. 2, in order to generate one line information from the four line information A to D, the odd line is generated from the line information A and B without using the line information C and D. Then, the second line is generated from the following line information A and B. In the interlaced method, line information A and B
Is not used, and each line information of even-numbered lines is generated using the line information C and D. At this time, because of interlacing, the even fields are shifted by one line, and the reading of the odd lines and the even lines is performed so that the mixed pixels are displaced in a staggered manner. FIG. 3 shows two imagers I1 and I2.
A timing chart for obtaining a mixed output by using the output of FIG. The other two imagers I3 and I4
Is also the same. These imagers are driven by signals from a TG (timing generator) 6B shown in FIG. 4, which will be described later. In synchronism with the horizontal transfer pulse, the output of the imager I1 is the average AB of the line information A and B =
(A + B) / 2, average CD of line information C and D = (C +
D) / 2. Here, the suffix numbers A to D indicate the order. These imagers I1 and I2
Alternately read the output of, and discard the line information C and D,
Generate the required line information. Therefore, with a very simple configuration, a composite image matched with the display system can be obtained. FIG. 4 is a block diagram showing the arrangement of an image handling apparatus showing an embodiment of the present invention. In the present embodiment, the line information C and D of FIG. 2 which were discarded in the above example are not discarded, and as shown in FIG. 5, a new first line is generated from the information AB and CD. At that time, line information AB and line information CD
The noise reduction effect is obtained by detecting the correlation of the above and using the average value of both information as new line information when the correlation is strong. This process is performed for odd lines and even lines. For the averaging process, an averaging circuit including a 1H delay unit 8, an adder 11 and a 1/2 multiplier 12 can be used as shown in FIG. FIG. 7 shows a timing chart of the averaging processing operation. Horizontal sync signal HSYNC
In synchronism with, the average data AB (m), CD (m) of the data A and B of the m-th line from the imager (CCD),
Then, the average data AB (m + 1) of the (m + 1) th line
Is output, and the average data delayed by 1H by the 1H delay unit 8 is CD (m−1), AB (m), CD
It is output as shown in (m). Therefore, the averaging process (C
D + AB) / 2, (AB + CD) / 2, (CD + AB)
/ 2 will be obtained as the output. Referring to FIG. 4, four (4) imagers (CCDs) 1A, 1B, 1C and 1D are formed by dividing one image into upper, lower, left and right parts, respectively, an upper left portion, an upper right portion, a lower left portion and The output of each imager, which shares the image area at the lower right and is driven by the TG (timing generator) 6B, is sampled and held by the S / H & AGC units 2A to 2D, and after being AGC (automatic gain control). , A / D converters 3A to 3D convert into digital signals. The respective outputs from the A / D converters 3A to 3D are subjected to a predetermined image pickup process such as γ processing, aperture processing, color separation processing, etc. in the image pickup process units 4A to 4D, and the field memories 5A to 5D respectively. Stored in 5D. Writing and reading of the field memories 5A to 5D are controlled by control signals from the memory control unit 6A. The switches 7A and 7B selectively output the data corresponding to the required image area such as the upper half and the lower half of one image from the field memories 5A to 5D.
When the switching control signal CONT1 is "L", the upper half area is designated, and when it is "H", the lower half area is designated and corresponding data is read. That is, the switching control signal CONT1 is "L"
In the case of, the data from the field memories 5A and 5B are output from the changeover switches 7A and 7B, and the changeover control signal is output.
Field memory 5C and 5D when CONT1 is "H"
The data from is output. The outputs from the changeover switches 7A and 7B are input to the L terminal and the H terminal of the changeover switch 9A, and are delayed by 1 / 2H at the 1 / 2H delay sections 8A and 8B to the L terminal of the changeover switch 9B. It is sent to the H terminal. The changeover switches 9A and 9B specify and selectively output the left half area and the right half area of one screen. When the changeover control signal CONT2 is "L", the left half area is specified, and when it is "H". The right half area is designated and selectively output. That is, when the changeover control signal CONT2 is "L", the output of the changeover switch 7A and the output delayed by 1 / 2H in the 1 / 2H delay section 8A are selected and added by the adder 11,
The 1/2 multiplier 12 multiplies by 1/2 to perform averaging processing. On the other hand, when the changeover control signal CONT2 is "H", the output of the changeover switch 7B and the output delayed by 1/2 in the 1 / 2H delay section 8B are selected, and similarly, the adders 11 and 1 The averaging process is performed by the / 2 multiplier 12. The correlation detector 10 includes changeover switches 9A and 9A.
The correlation of the output of B, that is, the correlation between adjacent lines is detected. When the correlation is high, the averaged data output from the 1/2 multiplier 12 is averaged, and when the correlation is low, the averaged data is averaged. In order to select the data from the unprocessed changeover switch 9A, the changeover switch 13 is controlled to change. By doing so, it is possible to prevent deterioration of the vertical resolution due to averaging processing of low-correlation data (images with horizontal lines), and to improve image quality due to noise reduction by averaging processing of high-correlation data. Can be improved. Changeover switch 13
The output of is encoded by the NTSC encoder 14 and converted into an analog signal by the D / A converter 15 to obtain a video output. FIG. 8 shows an operation timing chart of the selective output of the field memories 5A to 5D by the changeover switches 7A and 7B shown in FIG. Vertical sync signal VSYNC corresponding to the timing of one field
The switching control signal CONT1 alternately changes to "L" and "H" in synchronism with the above, and accordingly, the outputs of the field memories 5A, 5B and 5C, 5D are selected as shown. FIG. 9 shows the relationship between the selecting operation of the outputs from the field memories 5A and 5B by the changeover switches 9A and 9B and the averaging processing output. The same applies to the outputs from the field memories 5C and 5D, so they are omitted in this figure. Although data is output from the field memories 5A and 5B in synchronization with the horizontal synchronizing signal HSYNC as shown in the figure, two lines are read out within one horizontal synchronizing signal period in order to obtain the noise reduction effect. When the changeover control signal CONT2 is "L", the left half data is selected, the output of the field memory 5A and the output delayed by 1 / 2H pass through the changeover switches 9A and 9B, and the adder is added. The averaging processed data by 11 and 1/2 multiplier 12 is obtained. On the other hand, when the changeover control signal CONT2 is "H", the right half data is selected, the output of the field memory 5B and the output delayed by 1 / 2H pass through the changeover switches 9A and 9B, and are similarly averaged. Processing data is obtained. In the above-mentioned image handling device, image data from a plurality of imagers arranged at a predetermined position are electrically combined to generate one screen image. It is difficult to arrange the imagers according to the above relationship, and it is often unavoidable that the adjacent imager arrangement relationships are displaced. The second embodiment of the present invention is an image handling apparatus for compensating for the deviation of the imager arrangement relationship and maintaining high image quality. For example, as shown in FIG. 10, for the imager IA sharing the upper left area and the imager IB sharing the upper right area, when the imager IB shifts in the horizontal direction and the vertical direction, this shift needs to be compensated. There is. In the figure, white circles represent pixel data from the imager IA, black circles represent pixel data from the imager IB, and triangles represent pixel data after compensation by interpolation. This compensated pixel data is
It is obtained by interpolation based on the four pixel data around the adjacent pixels. In the NTSC system, the imager output image has an aspect ratio of 3: 4, 1 as shown in FIG.
The pixel aspect ratio is 2.4: 1, and in the above example, 120 lines may be generated from one field. Here, when the line information C and D are discarded as shown in FIG. 9A, the vertical distance of the surrounding four pixel data used for interpolation becomes 4.8, and the distance becomes long and the interpolation accuracy deteriorates. . Therefore, in this embodiment, the pixel data C, D
Is not discarded but is used as basic data used for interpolation to improve interpolation accuracy and improve image quality. 12 and 13 are block diagrams showing the configuration of the image handling apparatus according to this embodiment. The imager (CCD) 1A to 1D and the S / H & AGC section 2A to 2 shown in FIG.
D, A / D converters 3A to 3D, imaging process unit 4A
4D, changeover switches 7A and 7B, 1 / 2H delay sections 8A and 8B, and changeover switches 9A and 9B have the same configuration as in FIG. 4, and the output side #A of the changeover switches 9A and 9B,
An interpolation circuit as shown in FIG. 13 is inserted between #B and the input side #C of the encoder 14. The output from the field memory 5A, which is the output from the changeover switch 9A, and the 1 / 2H delay output from the field memory 5A, which is the output from the changeover switch 9B, are one clock (1CLK) delay section 16A,
16B and the multipliers 17A and 17C. At this time, in FIG. 14 illustrating the interpolation process, the outputs from the change-over switches 9A and 9B correspond to the pixel data in FIG. 14, and the outputs from the 1CLK delay units 16A and 16B correspond to the pixel data, respectively. As is well known, the multipliers 17A and 17B multiply the pixel data by the distance coefficients Kx and 1-Kx shown in FIG. 14, respectively, and the multiplication results are added by the adder 18A. The interpolated pixel data at the position B is obtained. Similarly, the multipliers 17C and 17D multiply the pixel data by the distance coefficients Kx and 1-Kx, and the multiplication result is added by the adder 18B to obtain the interpolated pixel data at the position A in FIG. To be Subsequently, the outputs of the adders 18A and 18B are supplied to the multipliers 19A and 19B, respectively, to obtain the distance coefficient Ky.
And 1-Ky are multiplied, and the multiplication result is added by the adder 20 to obtain the interpolation data (black circle position in FIG. 14) to be obtained and output to the encoder 14 in FIG. FIG. 15 shows the switching control signal CONT1 shown in FIG.
The timing chart of the read output from the field memories 5A to 5D via the changeover switches 7A and 7B operated by the above is shown. This timing chart is substantially the same as FIG. Further, FIG. 16 shows a timing chart of the outputs of the field memories 5A and 5B and the 1 / 2H delay units 8A and 8B via the changeover switches 9A and 9B by the changeover control signal CONT2 of FIG. FIG. 17 is a view for explaining still another embodiment of the present invention. While the above embodiment compensates for the shift of the imager arrangement position in the horizontal direction and the vertical direction, This is an example of performing compensation when the arrangement relationship of the imagers is deviated by an angle θ. As shown in FIG.
In order to compensate for the image obtained when the arrangement positions of the two imagers are rotationally offset by the angle θ, the image data once stored in the memory is obliquely rotated by the angle θ as shown in FIG. Read to. That is, in FIG. 6B, the solid line shows the image stored in the memory by the imager output with the rotation deviation, and the image data in which the subject image is also inclined by θ is stored in the memory write area. In order to keep this subject image in a rotation-free state, the reading from the memory is performed in the direction indicated by the arrow in FIG.
The memory read area should be set so that it can be read only by tilting it. At this time, since pixel data does not exist in the reading direction, pixel data to be located in the reading direction must be generated by interpolation from existing pixel data. FIG. 18 is a diagram for explaining this interpolation processing. To generate pixel data indicated by black circles in the reading direction from four existing pixel data (memory write pixel data) indicated by white circles. , The distance coefficients Kx, Ky, 1-Kx, and 1-Ky are obtained by interpolation as in FIG. Also at this time, the line information (CD) is used for the interpolation of the vertical line data as in FIG. An address corresponding to the interpolated pixel data in the read direction obtained as shown in FIG. 18 is necessary for the rotation deviation compensation. The principle of address conversion for obtaining the address necessary for performing this rotation control will be described with reference to FIG. FIG. 19 shows an address positional relationship when a thick line image is obtained by obliquely reading (scanning) an original image shown by a thin line by rotating by θ. In the figure, white circles represent real pixels stored in the memory, and black circles represent virtual pixels read from the memory. Each address position P (00), P (10), P
(20), P (01), P (11), P (21), P
Pixel data corresponding to (02), P (12), and P (22) are written in the field memory, and after the pixel data at these address positions are rotated by θ around the position P (00). Corresponding address position Q shown in bold line
(10), Q (20), Q (01), Q (11), Q
(21), ... Are obtained and sent to the field memory as the address signal Add. For example, the address position Q in FIG.
The virtual pixel addresses (10), Q (20), Q (01), Q (11) are obtained as follows from the relationship shown in the figure. Q (10): x ... P (00) + cos θ y ... P (00) + sin θ Q (20): x ... P (00) +2 cos θ = P (10) +2 cos θ-1 y ... P (00) +2 sin θ = P (10 ) +2 sin θ Q (01): x ... P (00) -sin θ y ... P (00) + cos θ Q (11): x ... P (00) -sin θ + cos θ = P (01) -sin θ + cos θ y ... P (00) + cos θ + sin θ = P (01) + cos θ + sin θ−1 FIG. 20 shows an example of a circuit for generating the X address. In the XST register 101X, the pixel address to be read out first, 0 in this example, is set, and X
From the W register 102X, XW = cos shown in FIG.
θ is generated, and X0 = −sin θ shown in FIG. 19 is generated from the X0 register 103X. Adder 104
The output of X is 1 clock (for 1 pixel) with the delay device 106X.
Be delayed. The adder 104X is the XW register 102X.
From cos θ and the output from the delay device 106X are added. The output of the delay device 106X is the XST register 101.
The output from X (0 in this example) is added in the adder 108X. The delay device 107X delays the output of the adder 105X by 1H. The adder 105X adds -sin θ from the X0 register 103X and the output from the delay device 107X. The adder 109X is a delay device 107X
And the output of the adder 108X are added and output as an X address signal KX. FIG. 21 shows an example of a circuit for generating a Y address signal having the same configuration as that of FIG. The YST register 101Y is set to 0, the YW register 102Y produces YW = sin θ shown in FIG. 19, and the Y0 register 103Y produces Y0 = cos θ shown in FIG. The output of the adder 104Y is the delay device 106.
Y delays one clock (one pixel). Adder 104
Y adds sin θ from the YW register 102Y and the output from the delay device 106Y. The output of the delay device 106Y is added to the output (0 in this example) from the YST register 101Y by the adder 108Y. Delay device 10
7Y delays the output of the adder 105Y by 1H. The adder 105Y outputs cos θ from the Y0 register 103Y.
And the output from the delay device 107Y are added. Adder 1
09Y adds the output of the delay device 107Y and the output of the adder 108Y, and outputs it as a Y address signal. In FIG. 22, the address conversion principle diagram shown in FIG. 19 is applied to the aspect ratio of 3 to 4 (768 pixels, 240 lines) shown in FIG. 23, and the address conversion is performed when rotated by 30 degrees. The figure is shown. in this case,
As shown in FIG. 23, one pixel has a horizontal and vertical size of 2.4: 1. At this time, XST = 0 XW = 0.866 X
0 = −2.4 × 0.5 YST = 0 YW = 0.5 / 2.4 Y0 = 0.8
66, and as is clear from the figure, the general formula expressing the X address Xmn and the Y address Ymn when the number of pixels is m and the number of lines is n is as follows. Xmn = XST + m * XW + n * X0 Ymn = YST + m * YW + n * Y0 For example, the address (coordinates) of the 0th line (n = 0) is (XY) = (0,0), (0.866,0.208) ，
(1.732, 0.417), ... In the first line (n = 1), (XY) = (− 1.2, 0.866), (−0.33)
4, 1.074), (0.532, 1.28), ... Here, the integer part of each address is the address Add,
It is clear from the figure that the fractional part indicates the interpolation coefficient K. For example, a four-point weighting system similar to that described above as shown in FIG. 24 is preferable. The address position Q to be read from the memory is determined by defining X1 and X2 as shown in the figure, and the four surrounding points P (11), P (21), P (12), P (22).
It is calculated by the following formula using the weighted average of. Q = (1-Ky) X1 + Ky * X2 X1 = (1-Kx) P (11) + KxP (21) X2 = (1-Kx) P (12) + KxP (22) Therefore, Q = (1-Kx) ( 1-Ky) P (11) + Kx (1-Ky) P (21) + Ky (1-Kx) P (12) + Kx · Ky · P (22) (1) The operation of the formula (1) is one cycle. 4 pixel address P in
This can be realized by reading (11), P (21), P (12), and P (22) at the same time. The simultaneous reading of the four pixels can be performed using a memory configuration as shown in FIG. 25, for example. In the example shown in FIG. 25, even columns are arranged so that four pixels can be read by supplying an address once.
Four independent memories are provided: an even row memory (A), an odd column, an even row memory (B), an even column, an odd row memory (C), and an odd column and an odd row memory (D). FIG. 26 shows an address generation circuit for reading data from a memory for performing the arithmetic operation by the above-mentioned four-point weighted average circuit, which is composed of column addresses 0 to 9 bits and row addresses 0 to 7 bits and odd column memory columns. An address, a column address for even column memory, a row address for odd row memory, and a row address for even row memory are generated. 0 for column address
The bits are output as the select signal HSEL and added by the adder 201 with 1 to 9 bits. 1 to
9 bits become the column address for the odd column memory, and the adder 2
The output of 01 becomes the column address for the even column memory. Similarly, 0 bit of the row address is output as the select signal VSEL, and is added by the adder 202 with 1 to 7 bits. Bits 1 to 7 become the row address for the odd row memory, and the output of the adder 202 becomes the row address for the even row memory. FIG. 27 shows an example of a circuit for performing the 4-point weighted average calculation shown in the equation (1) using the read data read from the memory. In FIG. 27, the selectors 203 and 204 are the select signals HS obtained in FIG.
When EL is "H", the "H" terminal is selected, and when it is "L", the "L" terminal is selected, and the selector 211 similarly selects the corresponding terminal by the select signal VSEL. The even-numbered even-row read data A and the odd-numbered even-row read data B shown in FIG. 13 are input to the selector 203, and the selector 204 receives the even-numbered odd-row read data not shown in FIG. C and odd row / odd row read data D are input. The two outputs from the selector 203 are converted into coefficients (1-Kx) and K by multipliers 205 and 206, respectively.
x is multiplied. The outputs of the multipliers 205 and 206 are added by the adder 207 and output to the two input terminals (L, H) of the selector 211. On the other hand, the two outputs from the selector 204 are multiplied by the coefficients (1-Kx) and Kx by the multipliers 208 and 209, respectively. Multipliers 208 and 2
The output of 09 is added by the adder 210, and the selector 21
It is output to the other two input terminals (L, H). The two outputs from the selector 211 are the above X1 and X2, which are multiplied by the coefficients (1-KY) and KY by the multipliers 212 and 213, respectively. The outputs of the multipliers 212 and 213 are added by the adder 214 to obtain the interpolated data. In the example of FIGS. 26 and 27, the select signal is necessary because, as shown in FIG. 28, the addresses of four points to be selected are generated according to the four patterns # 1 to # 4. In this example, pattern # 2 is shown. FIG. 29 is a block diagram showing the arrangement of an image handling apparatus according to this embodiment. In the figure, the components designated by the same reference numerals as those in FIG. 4 indicate components having the same function.
The memory control unit 22 controls reading and writing of the field memories 21A to 21D provided for the four imagers. Since the rotation deviation is for one imager output, the field memory 21A is not provided with the interpolation processing section in this example.
Interpolation processing units 23B, 23C and 23 for performing interpolation processing on the outputs of the field memories 21B, 21C and 21D.
D is provided. The interpolation coefficient (Kx, Ky, etc.) used for this interpolation processing is generated from the interpolation coefficient generating unit 24. The change-over switch 25 switches and outputs the outputs from the field memory 21A and the output interpolation processing units 23B to 23D and sends them to the encoder 13. Although the above-mentioned embodiment describes the compensation for the rotational deviation, it is obvious that it is effective for the horizontal and vertical deviations. Further, it is possible to compensate for the back focus (zoom ratio) shift of each of the four imager outputs. The above description of each embodiment is as follows.
As for the NTSC imager, PAL
It is needless to say that the present invention can also be applied to imagers of other systems such as the system and HDTV. The above embodiments can be summarized as follows. That is, (1) each partial area obtained by dividing the display screen area in which the number of pixels counted in the horizontal direction and the number of scanning lines counted in the vertical direction are set to respective predetermined values into at least upper and lower divisions. A plurality of image pickup devices arranged at respective predetermined positions to generate a corresponding partial image, and a video signal corresponding to the entire display screen area is formed based on outputs of the plurality of image pickup devices. At this time, when viewed for each of the image pickup devices, the other image pickup device is used as an effective scanning line when the other image pickup device is arranged at its regular position in order to match the number of scanning lines in the display screen area. Noise canceling means for canceling the noise of the video signal by inputting the signal of the pixel corresponding to the non-scanning line and the pixel signal corresponding to the scanning line used as the scanning line adjacent to this scanning line. Image handling equipment. (2) The display screen area in which the number of pixels counted in the horizontal direction and the number of scanning lines counted in the vertical direction are set to respective predetermined values is divided into a plurality of partial areas including at least upper and lower divisions. From the regular positions of the plurality of image pickup devices arranged at respective predetermined positions to cover the generation of the corresponding partial image and the other image pickup device corresponding to the arrangement of the one image pickup device among the plurality of image pickup devices When the signal from the other image pickup device is read in order to correct the error in the video signal due to the position shift due to the parallel movement of the other image pickup device, the other image pickup device is arranged to match the number of scanning lines in the display screen area. Is arranged at the regular position, the pixel signals corresponding to the scanning lines not used as effective scanning lines and the pixel signals corresponding to the scanning lines used as the scanning lines adjacent to this scanning line are interpolated. By calculation Image handling apparatus and an interpolation scanning signal generation means for generating an interpolation scanning signal Te. (3) The display screen area in which the number of pixels counted in the horizontal direction and the number of scanning lines counted in the vertical direction are set to respective predetermined values is divided into a plurality of partial areas including at least upper and lower divisions. From the regular positions of the plurality of image pickup devices arranged at respective predetermined positions to cover the generation of the corresponding partial image and the other image pickup device corresponding to the arrangement of the one image pickup device among the plurality of image pickup devices When a signal from the other image pickup device is read in order to correct an error of the video signal due to the positional shift due to the rotational movement of the position, the other image is read in order to match the number of scanning lines in the display screen area. When the image sensor is arranged at its regular position, the signal of the pixel corresponding to the scanning line which is not used as the effective scanning line is interpolated with the signal of the pixel corresponding to the scanning line used as the effective scanning line. Used for calculation Image handling apparatus and an interpolation scanning signal generation means for generating between the scan signal. As described above, according to the image handling apparatus of the present invention, the output from the plurality of image pickup devices is processed to easily match the number of scanning lines in the display screen area. be able to.

【図面の簡単な説明】 【図１】ＮＴＳＣ方式で３８万画素の通常のＣＣＤを４
個イメージャーとして用い、得られた画像の結合図であ
る。 【図２】４本のライン情報Ａ〜Ｄから１本のライン情報
を生成する原理を説明するための図である。 【図３】２個のイメージャーＩ１とＩ２の出力を用いて
混合出力を得るときのタイミングチャートを示す図であ
る。 【図４】本発明の一実施例を示す画像取扱い装置の構成
ブロック図である。 【図５】図４に示す実施例におけるライン情報ＡＢとＣ
Ｄから新たな１ライン目を生成する原理を説明するため
の図である。 【図６】図４に示す実施例における平均回路を示す図で
ある。 【図７】図４に示す実施例における平均化処理動作のタ
イミングチャート図である。 【図８】図４に示す実施例における切換スイッチ７Ａと
７Ｂによるフィールドメモリ５Ａ〜５Ｄの選択出力の動
作タイミングチャートを示す図である。 【図９】図４に示す実施例における切換スイッチ９Ａ，
９Ｂによるフィールドメモリ５Ａと５Ｂからの出力の選
択動作及び平均化処理出力の関係を示す図である。 【図１０】本発明の他の実施例を説明するための図であ
る。 【図１１】ＮＴＳＣ方式のイメージャー出力画像を示す
図である。 【図１２】本実施例の更に他の実施例による画像取扱い
装置の構成ブロック図である。 【図１３】図１２における補間回路例を示す図である。 【図１４】図１３における補間処理を説明する図であ
る。 【図１５】図１２の切換制御信号CONT1により動作する
切換スイッチ７Ａと７Ｂを介するフィールドメモリ５Ａ
〜５Ｄからの読み出し出力のタイミングチャートを示す
図である。 【図１６】図１２の切換制御信号CONT2により切換スイ
ッチ９Ａと９Ｂを介してフィールドメモリ５Ａ，５Ｂ
と、１／２Ｈディレー部８Ａ，８Ｂの出力のタイミング
チャートを示す図である。 【図１７】本発明の更に他の実施例を説明するための図
である。 【図１８】図１７におけるこの補間処理を説明するため
の図である。 【図１９】本発明の上述実施例における画像回転原理を
示すアドレス生成原理図である。 【図２０】図１９に示す原理図によりＸアドレスを生成
するための回路図である。 【図２１】図１９に示す原理図によりＹアドレスを生成
するための回路図である。 【図２２】図１９に示す原理を実際の画像回転に適用し
た場合のアドレス生成原理を示す図である。 【図２３】図２２に示す原理図の基本となる画像構成図
である。 【図２４】本発明の実施例における４点加重平均演算に
よる補間処理の原理図である。 【図２５】図２４に示す補間処理を行うのに用いられる
メモリ構成図である。 【図２６】図２４に示す補間処理で用いられるメモリ読
み出し用のアドレス生成回路の一例を示す回路図であ
る。 【図２７】図２４示す補間処理の一例を示す回路図であ
る。 【図２８】図２４に示す補間処理における選択される４
点の偶、奇組み合わせ例を示す図である。 【図２９】本実施例による画像取扱い装置の構成ブロッ
ク図である。 【図３０】画素数の比較的少ないイメージャーを複数個
用いた撮像装置を説明するための図である。 【図３１】図３０に示す撮像装置の構成を説明する図で
ある。 【符号の説明】 １Ａ〜１Ｄ イメージャー
（ＣＣＤ） ２Ａ〜２Ｄ Ｓ／Ｈ＆ＡＧＣ
部 ３Ａ〜３Ｄ Ａ／Ｄコンバー
タ ４Ａ〜４Ｄ 撮像プロセス部 ５Ａ〜５Ｄ，２１Ａ〜２１Ｄ フィールドメモ
リ ６Ａ，２２ メモリコントロ
ール部 ６Ｂ ＴＧ（タイミン
グジェネレータ） ７Ａ，７Ｂ，９Ａ，９Ｂ，１３，２５ 切換スイッチ ８Ａ，８Ｂ １／２Ｈディレ
ー部 １０ 相関検出部 １１，１８Ａ，１８Ｂ，２０ 加算器 １２ １／２乗算部 １４ エンコーダ １５ Ｄ／Ａコンバー
タ １６Ａ，１６Ｂ １ＣＬＫデイレ
ー部 １７Ａ〜１７Ｄ，１９Ａ，１９Ｂ 乗算器 ２３Ｂ〜２３Ｄ 補間処理部 ２４ 補間係数発生部[Brief Description of the Drawings] [FIG. 1] Four normal CCDs of 380,000 pixels in the NTSC system
It is a combined view of the images obtained by using as an individual imager. FIG. 2 is a diagram for explaining the principle of generating one line information from four line information A to D. FIG. 3 is a diagram showing a timing chart when a mixed output is obtained by using outputs of two imagers I1 and I2. FIG. 4 is a configuration block diagram of an image handling apparatus showing an embodiment of the present invention. FIG. 5 is line information AB and C in the embodiment shown in FIG.
FIG. 8 is a diagram for explaining the principle of generating a new first line from D. 6 is a diagram showing an averaging circuit in the embodiment shown in FIG. 4; FIG. 7 is a timing chart of an averaging process operation in the embodiment shown in FIG. 8 is a diagram showing an operation timing chart of selective output of the field memories 5A to 5D by the changeover switches 7A and 7B in the embodiment shown in FIG. 9 is a changeover switch 9A in the embodiment shown in FIG.
It is a figure which shows the selection operation of the output from the field memories 5A and 5B by 9B, and the relationship of the averaging process output. FIG. 10 is a diagram for explaining another embodiment of the present invention. FIG. 11 is a diagram showing an image output from an NTSC imager. FIG. 12 is a configuration block diagram of an image handling apparatus according to still another embodiment of the present embodiment. 13 is a diagram showing an example of an interpolation circuit in FIG. FIG. 14 is a diagram illustrating an interpolation process in FIG. FIG. 15 is a field memory 5A via changeover switches 7A and 7B operated by the changeover control signal CONT1 of FIG.
It is a figure which shows the timing chart of the read output from 5D. 16] Field memories 5A and 5B via changeover switches 9A and 9B according to the changeover control signal CONT2 of FIG.
FIG. 6 is a diagram showing a timing chart of outputs of the 1 / 2H delay units 8A and 8B. FIG. 17 is a diagram for explaining still another embodiment of the present invention. FIG. 18 is a diagram for explaining this interpolation processing in FIG. FIG. 19 is an address generation principle diagram showing an image rotation principle in the above-described embodiment of the present invention. 20 is a circuit diagram for generating an X address according to the principle diagram shown in FIG. 21 is a circuit diagram for generating a Y address according to the principle diagram shown in FIG. 19. FIG. 22 is a diagram showing an address generation principle when the principle shown in FIG. 19 is applied to actual image rotation. FIG. 23 is an image configuration diagram which is the basis of the principle diagram shown in FIG. 22. FIG. 24 is a principle diagram of interpolation processing by four-point weighted average calculation according to the embodiment of the present invention. FIG. 25 is a memory configuration diagram used for performing the interpolation processing shown in FIG. 24. 26 is a circuit diagram showing an example of a memory read address generation circuit used in the interpolation processing shown in FIG. 27 is a circuit diagram showing an example of the interpolation processing shown in FIG. FIG. 28 is a selected 4 in the interpolation processing shown in FIG.
It is a figure which shows the example of the even and odd combination of a point. FIG. 29 is a configuration block diagram of the image handling apparatus according to the present embodiment. FIG. 30 is a diagram for explaining an image pickup apparatus using a plurality of imagers having a relatively small number of pixels. 31 is a diagram illustrating a configuration of the image pickup apparatus shown in FIG. [Explanation of Codes] 1A to 1D Imager (CCD) 2A to 2D S / H & AGC
Parts 3A to 3D A / D converters 4A to 4D Imaging process parts 5A to 5D, 21A to 21D Field memories 6A, 22 Memory control part 6B TG (timing generator) 7A, 7B, 9A, 9B, 13, 25 Changeover switch 8A, 8B 1 / 2H delay unit 10 Correlation detection unit 11, 18A, 18B, 20 Adder 12 1/2 multiplication unit 14 Encoder 15 D / A converter 16A, 16B 1CLK delay unit 17A to 17D, 19A, 19B Multiplier 23B to 23D Interpolation processing unit 24 Interpolation coefficient generation unit

Claims (1)

【特許請求の範囲】 水平方向に数えた画素数及び垂直方向に数えた走査線数
が各所定の値に設定された表示画面領域を少なくとも上
下の分割を含んで複数に分割してなる各部分領域毎に対
応する部分画像の生成を賄うべく各所定位置に配されて
なる複数の撮像素子と、 上記複数の各撮像素子の出力の水平走査線対応信号につ
いて上記表示画面領域に係る走査線数との整合が成り立
つような間引処理を行うための走査線処理手段と、を備
えたことを特徴とする画像取扱い装置。What is claimed is: 1. A display screen area in which the number of pixels counted in the horizontal direction and the number of scanning lines counted in the vertical direction are set to respective predetermined values, and the display screen area is divided into a plurality of portions including at least upper and lower divisions. A plurality of image pickup devices arranged at respective predetermined positions to cover generation of partial images corresponding to each region, and horizontal scanning line corresponding signals output from the plurality of image pickup devices, the number of scanning lines related to the display screen region An image handling apparatus, comprising: a scanning line processing unit for performing a thinning process that is consistent with the above.