JP3164481B2

JP3164481B2 - 撮像装置

Info

Publication number: JP3164481B2
Application number: JP31682494A
Authority: JP
Inventors: 利明原田; 栄二山田; 哲男岩木
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1994-12-20
Filing date: 1994-12-20
Publication date: 2001-05-08
Anticipated expiration: 2016-05-08
Also published as: US5657082A; JPH08172636A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラの映像信
号やビデオスチルカメラの静止画信号等の画像信号を得
ることができる撮像装置に関する。

【０００２】

【従来の技術】近年のディジタル信号処理技術の進歩に
より、映像信号のディジタル化が容易になり、ディジタ
ルＶＴＲ等が家庭用又はパーソナルユースとして普及の
兆しを見せ始めている。ディジタルＶＴＲは、高Ｓ／Ｎ
比（信号対雑音比）で高画質の映像を得ることができ、
ディジタルダビングによる信号劣化がないため高品質の
編集等が行えるという点でアナログＶＴＲよりも優れて
いるため、従来から要望の高かったものである。また、
このディジタルＶＴＲは、ＳＤ[Standard Definition]
フォーマットとＨＤ[High Definition]フォーマットの
統一規格が既に制定されていて仕様が明確化されている
ことも、今後の普及に際して有利となる。

【０００３】上記ＳＤフォーマットの仕様を図１５に示
し、ＨＤフォーマットの仕様を図１６に示す。ただし、
これらのフォーマットは、各ラインの画素数とライン数
（走査線数）が異なり、しかも画面の縦横比であるアス
ペクト比も異なる。そして、このように異なるフォーマ
ットの映像信号を得るには、本来それぞれの方式に適合
したＣＣＤ撮像素子等を用いる必要があり、各ＣＣＤ撮
像素子等が高価であるため、これら複数のフォーマット
に適合したビデオカメラは高価なものとなる。

【０００４】そこで、１種類の方式に適合したＣＣＤ撮
像素子を用いて複数のフォーマットの映像信号を出力す
ることができる撮像装置が従来から提案されていた（特
開平５−２０７３７７公報）。この撮像装置は、図１７
に示すように、ＣＣＤ撮像素子５１とＣＣＤ駆動部５２
と不要電荷転送部５３とで構成されている。ＣＣＤ撮像
素子５１は、出力可能なフォーマットのうちで最も高画
素数のフォーマットに適合した撮像素子であり、例えば
水平１９２０×垂直１０３５画素の合計約２００万画素
を有するハイビジョン方式に適合したものが用いられ
る。ＣＣＤ駆動部５２は、このＣＣＤ撮像素子５１にお
ける必要な領域の各画素の信号をインターレース走査又
はノンインターレース走査によって順次読み出す装置で
ある。また、不要電荷転送部５３は、このＣＣＤ撮像素
子５１における不要な画素の電荷を垂直帰線期間内に転
送し破棄するための装置である。

【０００５】上記撮像装置は、ハイビジョン方式の映像
信号を出力する場合には、ＣＣＤ撮像素子５１の水平１
９２０×垂直１０３５画素の全画素についてインターレ
ース走査を行う。また、ＮＴＳＣ[National Television
System Committee]方式の映像信号を出力する場合に
は、ＣＣＤ撮像素子５１の全画素のうちの水平１３７０
×垂直９８４画素の領域の画素についてインターレース
走査を行う。これらのインターレース走査では、例えば
第１フィールドの走査時に、まず不要電荷転送部５３が
第２フィールド側の各ラインの画素に蓄積された電荷を
転送破棄した後に、第１フィールドの各ラインの画素の
電荷を垂直転送部に転送すると共に順次水平転送部に転
送して出力する。また、ＮＴＳＣ方式の場合には、水平
方向に５５０個、垂直方向に５１個の画素が不要となる
ので、これらの画素についても不要電荷転送部５３で同
時に転送破棄する。従って、この撮像装置は、ＣＣＤ撮
像素子５１の全領域又は一部の領域の画素を読み出すこ
とにより、異なるフォーマットの映像信号を出力するこ
とができる。

【０００６】ところで、安価で画素数の少ないＣＣＤ撮
像素子の解像度を向上させる技術としていわゆる空間斜
め画素ずらし法がある。この空間斜め画素ずらし法は、
図１８に示すように、ＲＧＢ三原色の各色用のＣＣＤ撮
像素子の画素ピッチの水平方向をｄx、垂直方向をｄyと
すると、緑色（Ｇ）用のＣＣＤ撮像素子の各画素に対し
て、赤色（Ｒ）用と青色（Ｂ）用のＣＣＤ撮像素子の各
画素を水平方向にｄx／２と垂直方向にｄy／２ずつずら
して配置する。赤色用と青色用に対して緑色用のＣＣＤ
撮像素子の画素をずらすのは、輝度信号を生成する際に
緑色の映像信号と、赤色および青色の映像信号の寄与率
が同程度であるからである。（例えばＮＴＳＣ方式では
輝度信号の生成に使用される各色の寄与率は緑０．５９
に対して、赤０．３０、青０．１１である。）そして、
各色の映像信号の画素数を水平及び垂直方向にそれぞれ
２倍に拡大させ全体で４倍の画素数とする補間処理を行
う。この補間処理は、図１９に示すように、隣接する４
個の実画素Ｓ（１，１）〜Ｓ（２，２）に対して、これ
らの間に５個の画素Ｓａ〜Ｓｅを補間する処理である。
各画素Ｓａ〜Ｓｅのサンプリング値は、４個の実画素
（１，１）〜Ｓ（２，２）の各サンプリング値に基づい
て数１の各演算を行うことにより計算する。

【０００７】

【数１】

【０００８】この数１の演算は、１次のラグランジュ[L
agrange]多項式補間に相当するものである。

【０００９】上記のようにして画素数を４倍にした各色
の映像信号は、赤色と青色の映像信号の場合、図１９に
示した４個の実画素Ｓ（１，１）〜Ｓ（２，２）の中間
に補間された画素Ｓｃの位置に緑色の映像信号の実画素
が重ねて配置され、また、緑色の映像信号で補間された
画素に対しても赤色と青色の映像信号の実画素が同様に
重ねて配置される。従って、この空間斜め画素ずらし法
は、各色の映像信号における画素間の情報を他の色の映
像信号により補うことができるので、単に補間処理のみ
によって画素数を４倍に増加させた場合よりも水平及び
垂直解像度を向上させることができる。

【００１０】

【発明が解決しようとする課題】ところが、上記従来の
複数のフォーマットの映像信号を出力することができる
撮像装置は、ＣＣＤ撮像素子５１の一部の領域の画素を
読み出すことにより異なるフォーマットの映像信号を得
るようにしているので、出力可能なフォーマットにおけ
る最大画素数のフォーマットに適合した撮像素子を用い
る必要がある。そして、このような例えばハイビジョン
方式に適合した高画素数のＣＣＤ撮像素子５１は、製造
時の歩留りが悪く製造コストが極めて高いものになるた
め、撮像装置も高価になるという問題があった。また、
このような２００万画素を有する高画素数のＣＣＤ撮像
素子５１は、同じ光学系を用いた場合には、標準画素数
（例えば４０万画素程度）のＣＣＤ撮像素子に比べて、
画素ごとの受光面積が狭くなるので、感度やダイナミッ
クレンジが低下するという問題もあった。

【００１１】ところで、高画素数のＣＣＤ撮像素子５１
が高価であるという問題に対しては、上記空間斜め画素
ずらし法によりＣＣＤ撮像素子の画素数を４倍に増加さ
せるという方法が考えられる。この空間斜め画素ずらし
法は、汎用に用いられる標準画素数のＣＣＤ撮像素子を
用いることにより、安価に高解像度を得ることができる
という特徴が発揮できるものである。ところが、例えば
水平７２０×垂直４８０画素の標準画素数のＣＣＤ撮像
素子を用いた場合、これを空間斜め画素ずらし法により
画素数を４倍にして水平１４４０×垂直９６０画素とし
ても、既存の高解像度のフォーマットが標準画素数のも
のと大きく異なるため、例えばＨＤフォーマットの水平
１００８×垂直１０２４画素に対して、水平方向の画素
数は足りるが垂直方向の画素数が不足することになる。
従って、上記従来の撮像装置における高画素数のＣＣＤ
撮像素子５１をこの空間斜め画素ずらし法を用いたＣＣ
Ｄ撮像素子に取り替えたとしても、既存の高解像度のフ
ォーマットには対応し得ない。

【００１２】しかも、この空間斜め画素ずらし法は、上
記のように１次のラグランジュ多項式補間を用いるの
で、図１９に示す水平方向のみの補間となる画素Ｓａ，
Ｓｅと垂直方向のみの補間となる画素Ｓｂ，Ｓｄについ
ては、数１に示したように、隣接する２個の実画素Ｓ
（１，１），Ｓ（２，１）等のみから補間される。従っ
て、例えば画像の斜めエッジ部では、各画素で重なる実
画素と補間された画素の色が異なることから色ムラを生
じるおそれがあるという問題もあった。

【００１３】本発明は、上記のような従来の問題点に鑑
みてなされたもので、空間斜め画素ずらし法により安価
に高解像度で４倍の画素数を得ると共に、画素数変換に
より任意の複数のフォーマットに対応した画像信号を得
ることができる撮像装置を提供することが本発明の目的
である。

【００１４】

【課題を解決するための手段】請求項１の発明は、撮像
光を三原色に分解する色分解光学系と、該色分解光学系
によって分解されたいずれかの色の撮像光を受光する第
１の撮像部と、該色分解光学系によって分解された他の
２色の撮像光をそれぞれ受光し、かつ該第１の撮像部に
対して水平及び垂直方向に１／２画素ずらして配置され
た第２と第３の撮像部と、該第１ないし第３の撮像部が
撮像した三原色の画像信号をそれぞれディジタル信号に
変換するＡ／Ｄ変換部と、該Ａ／Ｄ変換部でディジタル
信号に変換された三原色の各画像信号について、各画素
間の画素を補間することにより、水平及び垂直方向に画
素数をそれぞれ２倍に拡大させる補間処理を行う補間処
理部と、該補間処理部で補間された三原色の各画像信号
に対して、水平及び垂直方向の画素数変換処理を行うこ
とにより各ラインの画素数とライン数を変換する処理、
及びトリミング若しくは画像範囲外への所定信号の付加
を行うことによりアスペクト比を変換する処理のうち少
なくとも一つの処理を施し、該各画像信号を複数のフォ
ーマットのうちのいずれかに基づいた画像信号に変換す
るフォーマット変換処理を行う画素数変換部とを備えた
ものであり、そのことにより上記目的が達成される。

【００１５】請求項２の発明は、前記補間処理部を、補
間処理を１次のラグランジュ型多項式補間によって行う
構成としたものである。

【００１６】請求項３の発明は、前記補間処理部を、補
間処理を２次のラグランジュ型多項式補間によって行う
構成としたである。

【００１７】請求項４の発明は、前記補間処理部を、補
間処理を２次以上のラグランジュ型多項式補間によって
行う構成としたものである。

【００１８】請求項５の発明は、前記画素数変換部を、
画素数変換処理をラグランジュ型多項式補間によって行
う構成としたものである。

【００１９】請求項６の発明は、前記画素数変換部を、
各ラインの各カラムの画素を現画素として順次供給する
と共に、該各現画素ごとに、当該現画素に対して１ライ
ンからｎライン遅延したｎ個の遅延画素と、該現画素と
該１ラインからｎライン遅延したｎ個の画素に対してそ
れぞれ１カラムからｎカラム遅延したｎ×（ｎ＋１）個
の遅延画素の合計ｎ×（ｎ＋２）個の遅延画素を供給す
る画素供給手段と、該現画素と当該現画素についての遅
延画素をそれぞれ係数倍して加算することによりｎ次の
ラグランジュ型多項式補間による補間画素を得る演算手
段と、該演算手段に所定の周期で各係数を供給する係数
供給手段とによって画素数変換を行う構成としたもので
ある。

【００２０】請求項７の発明は、前記Ａ／Ｄ変換部でデ
ィジタル信号に変換された三原色の各画像信号について
前記補間処理部で補間処理を行うかどうかを選択する選
択手段、該補間処理部で補間された三原色の各画像信号
について画素数変換部でフォーマット変換処理を行うか
どうかを選択する選択手段、又は、該Ａ／Ｄ変換部でデ
ィジタル信号に変換された三原色の各画像信号について
該補間処理部と該画素数変換部で補間処理とフォーマッ
ト変換処理を行うかどうかを選択する選択手段を有する
ものである。

【００２１】

【作用】色分解光学系は、撮像光を例えばＲＧＢ（赤緑
青）の三原色に分解する。そして、本発明は、これら分
解された各色の撮像光をそれぞれ個別の撮像部で受光す
る３板式の撮像装置を用いる。第１の撮像部と第２及び
第３の撮像部は、画素が水平及び垂直方向に１／２ずつ
ずれている。従って、これらの撮像部で撮像された画像
信号上においては、第２及び第３の撮像部で撮像された
隣接する４個の画素の中間に第１の撮像部で撮像された
画素がそれぞれ配置されることになる。通常は、輝度信
号に最も寄与する緑色（Ｇ）の撮像光を撮像するものが
第１の撮像部となる。

【００２２】上記各撮像部で撮像された各画像信号は、
Ａ／Ｄ変換部でディジタル信号に変換されて、補間処理
部で水平及び垂直方向に画素数をそれぞれ２倍に拡大さ
せる補間処理が行われる。即ち、水平及び垂直方向に隣
接する２個の画素の中間に１個の画素が補間されると共
に、隣接する４個の画素の中間にも１個の画素が補間さ
れることになる。この際、画素をずらすことなく撮像し
た画像信号に同じ補間処理を行っても、補間による単な
る拡大処理にすぎないため本来の解像度の向上は図れな
い。しかし、本発明では、第２及び第３の撮像部で撮像
された画像信号において隣接する４個の画素の中間に補
間された画素が、第１の撮像部で撮像された画像信号に
おける実画素と重なり合うので、いわゆる空間斜め画素
ずらし法により解像度を向上させることができる。

【００２３】上記補間処理部で補間処理された各画像信
号は、画素数変換部でフォーマット変換処理が行われ
る。フォーマット変換処理では、水平方向及び垂直方向
の画素数変換処理を行うことにより各ラインの画素数と
ライン数の変換を行う。この際、画素数を整数分の１に
減ずる場合の処理以外では、各画素間の適宜位置に画素
の補間処理が行われる。また、このフォーマット変換処
理では、トリミング若しくは画像範囲外への所定信号の
付加を行うことによりアスペクト比の変換も行う。そし
て、これら各ラインの画素数及びライン数の変換とアス
ペクト比の変換の双方又はいずれか一方の処理を行うこ
とにより、複数のフォーマットのうちのいずれかに基づ
いた画像信号に変換する。ただし、複数のフォーマット
のうちのいずれかについては、各ラインの画素数及びラ
イン数の変換とアスペクト比の変換のいずれの処理も行
わないものがあってもよい。なお、これら各ラインの画
素数及びライン数の変換とアスペクト比の変換には、画
像信号の時間軸を伝送レートに合わせるための時間軸補
正処理が伴う。

【００２４】この結果、本発明によれば、空間斜め画素
ずらし法により、低価格の撮像部を用いて画像信号の解
像度を高めることができ、各撮像部においても、画素ご
との受光量の増加を図り感度を向上させることができ
る。また、このようにして得た高解像度の画像信号に画
素数変換処理等を施すことにより、複数のフォーマット
の画像信号を選択して出力することが可能となる。

【００２５】請求項２の発明は、上記補間処理部による
補間処理を１次のラグランジュ型多項式補間によって行
うものである。１次のラグランジュ型多項式補間は、隣
接する４個の画素に基づいて補間を行うものであるた
め、この演算を行う回路の構成又はプログラムの構成を
簡単なものにすることができる。

【００２６】ただし、上記空間斜め画素ずらし法におけ
る補間処理を１次のラグランジュ型多項式補間によって
行うと、画像の斜めエッジ部で色ムラを生じるという欠
点がある。そこで、請求項３又は請求項４の発明では、
この補間処理を２次又は２次以上のラグランジュ型多項
式補間によって行うようにしている。２次のラグランジ
ュ型多項式補間は、隣接する９個の画素に基づいて補間
を行うものであるため、水平又は垂直方向の補間の場合
にも、隣接する２個のみの画素に基づいて補間が行われ
るような場合がなくなり、画像の斜めエッジ部において
も色ムラを抑制することができるようになる。２次以上
のラグランジュ型多項式補間の場合も、次数をｎ次とす
ると、９個以上の（ｎ＋１）²個の画素に基づいて補間
が行われるので、同様に色ムラを抑制することができ
る。

【００２７】請求項５の発明は、上記画素数変換部が、
画素数変換処理をラグランジュ型多項式補間によって行
うものである。通常の画素数変換処理は、各画素間の適
正位置にサンプリング値０の画素を内挿して低域通過フ
ィルタを通した後に画素の間引きを行うことにより画素
数の変換を行う。しかし、画素の内挿は、サンプリング
周波数を高めることになり、処理速度を高速化する必要
がある。また、低域通過フィルタによるフィルタリング
処理は、水平及び垂直方向の各画素について、前後の複
数の画素をそれぞれフィルタ係数倍して加算する処理で
あるが、各画素についての前後の画素数が低域通過フィ
ルタの次数に応じて増大し、しかも、内挿により画素数
も増加することから、膨大な演算量を必要とする。従っ
て、安価な撮像装置において、このような画素数変換処
理は非現実的である。そこで、この請求項５の発明で
は、画素の内挿処理が不要となるラグランジュ型多項式
補間を用いて変換後に必要となる画素の補間を行うこと
により、画素数変換処理の演算を行う回路の構成又はプ
ログラムの構成を低速で処理可能となる安価で簡単なも
のにしている。

【００２８】請求項６の発明は、１次のラグランジュ型
多項式補間による画素数変換処理を行う上記請求項５の
画素数変換部の具体的実施例を示すものであり、画素供
給手段と演算手段と係数供給手段とによって実現してい
る。

【００２９】請求項７の発明は、補間処理部での補間処
理と画素数変換部でのフォーマット変換処理を行うかど
うかを選択することができる選択手段が設けられた撮像
装置を示す。このような選択手段により、例えば不必要
な信号処理をパスすることが可能となり、また、出力可
能なフォーマットのバリエーションを広げることもでき
るようになる。

【００３０】

【実施例】以下、図面を参照しながら、本発明の実施例
を詳述する。

【００３１】（実施例１）図１ないし図１３は本発明の
第１実施例を示すものであって、図１は撮像装置の構成
を示すブロック図、図２は４種類のモードによる画素数
変換処理を示す図、図３はＳＤモードにおける出力部で
の走査を示す図、図４はＨＤ１モードとＨＤ２モードに
おける出力部での走査を示す図、図５はｎ次のラグラン
ジュ型多項式補間を行う画素を示す図、図６は１次のラ
グランジュ型多項式補間を行う画素を示す図、図７は２
次のラグランジュ型多項式補間を行う画素を示す図、図
８は補間回路の構成を示すブロック図、図９はメモリ部
の構成を示すブロック図、図１０は補間処理部の補間回
路として用いる場合のメモリ部の動作を示すタイムチャ
ート、図１１は画素数変換部の補間回路として用いる場
合のメモリ部の動作を示すタイムチャート、図１２は補
間回路による一般的な画素数変換処理を行う画素を示す
図、図１３はディジタル−ディジタル変換による画素数
変換処理を説明するための図である。

【００３２】本実施例の撮像装置は、図１に示すよう
に、撮像レンズ１とダイクロイックミラー２と３個のＣ
ＣＤ撮像素子３〜５を備えている。撮像レンズ１は、被
写体からの撮像光を各ＣＣＤ撮像素子３〜５の受光面に
結像させるための光学系である。ダイクロイックミラー
２は、撮像レンズ１を通して入射した撮像光を、青反射
ダイクロイック膜と赤反射ダイクロイック膜とによって
ＲＧＢ三原色の各色の光に分解してそれぞれのＣＣＤ撮
像素子３〜５に送る光学系である。各ＣＣＤ撮像素子３
〜５は、ダイクロイックミラー２から送られて来た各色
の撮像光を画素ごとに光電変換して電気信号に変換し画
像信号（映像信号）として出力するＣＣＤ[Charge Coup
led Device]を用いた固体撮像素子であり、ＣＣＤ撮像
素子３は、赤色の撮像光を受けてこの赤色（Ｒ）の画像
信号を出力し、ＣＣＤ撮像素子４は、緑色の撮像光を受
けてこの緑色（Ｇ）の画像信号を出力し、ＣＣＤ撮像素
子５は、青色の撮像光を受けてこの青色（Ｂ）の画像信
号を出力する。

【００３３】各ＣＣＤ撮像素子３〜５は、ＳＤフォーマ
ット対応の標準的な画素数である水平７２０×垂直４８
０画素の汎用で安価なものが用いられる。また、赤色
（Ｒ）用と青色（Ｂ）用のＣＣＤ撮像素子３，５の画素
は、空間斜め画素ずらし法のために、緑色（Ｇ）のＣＣ
Ｄ撮像素子４の画素に対して水平及び垂直方向に１／２
画素ずつずらして配置されている。なお、ＣＣＤ撮像素
子は、インターレース走査を行うために内部で各画素の
信号電荷を加算してから読み出すようにしたものがあ
る。しかし、ここでは、全画素をそのままノンインター
レース走査で読み出す全画素読み出し方式のＣＣＤを使
用する。

【００３４】上記各ＣＣＤ撮像素子３〜５から出力され
た各色の画像信号は、それぞれアンプ部６とＡ／Ｄ変換
部７を介してガンマ補正部８に送られるようになってい
る。アンプ部６は、各画像信号について相関二重サンプ
リングとオートゲインコントロールと信号レベルの増幅
処理を行う。Ａ／Ｄ変換部７は、アンプ部６から出力さ
れたアナログ信号の各画像信号をディジタル信号に変換
する。そして、ガンマ補正部８は、Ａ／Ｄ変換部７でデ
ィジタル信号に変換された各画像信号にガンマ補正を行
う。このガンマ補正は、ＣＣＤ撮像素子３〜５の光電変
換特性による階調（色調）の非線形性を補正するための
係数を各画像信号に乗じる処理である。

【００３５】上記ガンマ補正部８から出力された各画像
信号は、補間処理部９に送られるようになっている。補
間処理部９は、各画像信号の画素数を各画素間の補間に
より水平及び垂直方向に２倍に拡大する補間処理を行
い、各ＣＣＤ撮像素子３〜５が出力する水平７２０×垂
直４８０画素を水平１４４０×垂直９６０画素として４
倍の画素数とする。画素間の補間には、後に詳細に説明
するラグランジュ型多項式補間を用いる。このようにし
て画素数を４倍に拡大すると、各画像信号における隣接
する４個の実画素の中間に補間される画素が相互に他の
色の画像信号の実画素と重なり合うことになるので、単
なる画素数の拡大処理の場合と異なり、空間斜め画素ず
らし法によって解像度の向上を図ることができる。

【００３６】上記補間処理部９で補間された各画像信号
は、画素数変換部１０に送られるようになっている。画
素数変換部１０は、画素数変換処理とアスペクト比の変
換処理とからなるフォーマット変換処理を行う。画素数
変換処理は、各画像信号の水平及び垂直方向の画素数を
変換することにより、各ラインの画素数とライン数を変
えるものであり、一般に適宜位置への画素の補間を行う
必要があるので、本実施例ではこの補間にも上記ラグラ
ンジュ型多項式補間を用いる。アスペクト比の変換処理
は、画像範囲の一部をカットするトリミングを行った
り、画像範囲外への適宜信号の付加を行うことによりア
スペクト比を変更する処理である。なお、このようなト
リミングや信号の付加を行った場合にも画素数は変化す
る。そして、画素数変換処理やこのアスペクト比の変換
処理では、画像信号の時間軸を伝送レートに合わせるた
めに時間軸を補正する処理が伴う。これら画素数変換処
理とアスペクト比の変換処理は、撮像装置に設定された
変換モードに応じて実行される。変換モードは、図２に
示すように、ＳＤモードとＨＤ１モードとＨＤ２モード
とスチルモードの４種類が設定可能となっている。ただ
し、これらの変換モードでは、アスペクト比の変換処理
が行われない場合がある。

【００３７】ＳＤモードは、水平７２０×垂直４８０画
素でアスペクト比が４：３のＳＤフォーマットに対応す
るモードであり、補間処理部９で補間された水平１４４
０×垂直９６０画素でアスペクト比が４：３の各画像信
号を、水平７２０×垂直９６０画素で同じアスペクト比
の画像信号に変換する。ここでの画素数変換では、各ラ
インの画素数のみを１／２に縮小している。従って、変
換後の各画像信号の垂直方向の画素数（ライン数）は９
６０画素のままになっているが、これは後に説明するよ
うに出力時に４８０画素に縮小される。

【００３８】ＨＤ１モードは、水平１００８×垂直１０
２４画素でアスペクト比が１６：９のＨＤフォーマット
に対応するモードであるが、画素数変換処理では、ＳＤ
フォーマットと同じ水平７２０×垂直９６０画素でアス
ペクト比が４：３の画像信号に変換される。そして、こ
の画素数変換した画像信号を本来のＨＤフォーマットの
画像に貼り付ける。即ち、図２に示すハッチング部の領
域に背景色の無地信号を付加することによりアスペクト
比を１６：９に変換する。

【００３９】ＨＤ２モードは、本来のＨＤフォーマット
に対応したモードである。この場合には、まず水平１４
４０×垂直９６０画素でアスペクト比が４：３の画像信
号から図２に示す上下のハッチング部の領域をカット
し、水平１４４０×垂直７６８画素でアスペクト比が１
６：９の画像信号にトリミングした後に、水平１００８
×垂直１０２４画素のＨＤフォーマットの画像信号に画
素数変換する。ここでの画素数変換では、水平方向には
各ラインの画素を１０画素から７画素に縮小する操作を
行い、垂直方向には３ラインを４ラインに拡大する操作
を行っている。

【００４０】スチルモードは、静止画像を得るためのフ
ォーマットであり、この場合には、補間処理部９で補間
された水平１４４０×垂直９６０画素でアスペクト比が
４：３の各画像信号を変換を行うことなくそのまま出力
する。つまり、このスチルモードは、本実施例の撮像装
置におけるオリジナルのモードであるため、アスペクト
比の変換処理はもちろん、画素数変換処理も行わない。
そして、このスチルモードによって、空間斜め画素ずら
し法による解像度の向上効果が最大限に利用される。

【００４１】上記画素数変換部１０でフォーマット変換
処理された各画像信号は、図１に示すように、出力部１
１に送られるようになっている。出力部１１は、各画像
信号をそれぞれのモードに応じた形式で外部に出力す
る。即ち、ＳＤモードでは、図３に示すように、奇数フ
ィールドごとに順次連続する４ラインの各画素をそれぞ
れ加算平均しながら出力し、偶数フィールドでは、前回
と次回の奇数フィールドと２ラインずつ重複する４ライ
ンの各画素をそれぞれ加算平均しながら出力することに
よりインターレース走査を行い、１フレーム当たり上記
垂直方向の９６０画素から４８０画素への縮小を行う。
また、ＲＧＢ三原色の各画像信号から輝度信号（Ｙ信
号）、とＢ−Ｙ信号及びＲ−Ｙ信号からなる色差信号を
作成し、ＣＣＩＲ（国際無線通信諮問委員会）の勧告６
０１「４：２：２コンポーネント符号化方式」に準拠す
るように、輝度信号を１３．５ＭＨｚ、Ｂ−Ｙ信号の色
差信号を６．７５ＭＨｚ及びＲ−Ｙ信号の色差信号を
６．７５ＭＨｚで伝送する。

【００４２】ＨＤ１モードとＨＤ２モードでは、図４に
示すように、奇数フィールドごとに順次連続する２ライ
ンの各画素をそれぞれ加算平均しながら出力し、偶数フ
ィールドでは、前回と次回の奇数フィールドと１ライン
ずつ重複する２ラインの各画素をそれぞれ加算平均しな
がら出力することによりインターレース走査を行う。ま
た、ＲＧＢ三原色の各画像信号から輝度信号（Ｙ信
号）、とＢ−Ｙ信号及びＲ−Ｙ信号からなる色差信号を
作成し、「１２：４：０コンポーネント符号化方式」に
基づき、輝度信号を４０．５ＭＨｚ、色差信号を１３．
５ＭＨｚで伝送する。ここでの色差信号のＢ−Ｙ信号と
Ｒ−Ｙ信号は、各ラインごとに時分割多重化される。

【００４３】スチルフォーマットでは、ＲＧＢ三原色の
各画像信号をそのまま線順次のＲＧＢデータとして出力
する。そして、このＲＧＢデータは、ディジタルインタ
ーフェイスを通して、計算機やビデオプリンタ等に送ら
れ画像処理やディスプレイ表示又はプリント出力され
る。

【００４４】上記補間処理部９の補間処理と画素数変換
部１０の画素数変換処理で用いるラグランジュ型多項式
補間について説明する。ｎ次のラグランジュ型多項式補
間は、図５に示すような水平及び垂直方向にｎ＋１個ず
つの画素Ｓ（ｘ1，ｙ1）〜Ｓ（ｘn+1，ｙn+1）のサンプ
リング値に基づいて、任意位置の画素Ｓ（ｘ，ｙ）の補
間値を求めるものである。この場合、水平方向であるｘ
方向のラグランジュ多項式は数２に示すものとなり、

【００４５】

【数２】

【００４６】ｙ方向のラグランジュ多項式は数３に示す
ものとなる。

【００４７】

【数３】

【００４８】ここで、ｉは１〜ｎ＋１の整数であり、ｘ
方向の各カラムとｙ方向の各ラインに対応する。従っ
て、画素Ｓ（ｘ，ｙ）の補間値は、数４の行列式によっ
て求めることができる。

【００４９】

【数４】

【００５０】上記説明より、１次のラグランジュ型多項
式補間は、図６に示す４個の画素Ｓ（ｘ1，ｙ1）〜Ｓ
（ｘ2，ｙ2）のサンプリング値に基づいて画素Ｓ（ｘ，
ｙ）の補間値を求めることになる。ここでは、画素Ｓ
（ｘ，ｙ）の画素Ｓ（ｘ1，ｙ1）からのｘ方向の距離を
ｒxとし、ｙ方向の距離をｒyとしている。そして、ｘ方
向のラグランジュ多項式は、数２より数５に示すものと
なり、

【００５１】

【数５】

【００５２】ｙ方向のラグランジュ多項式は、数３より
数６に示すものとなる。

【００５３】

【数６】

【００５４】ここでは、各カラム間とライン間の距離を
それぞれ１とし、各ラグランジュ多項式を距離ｒx，ｒy
を用いて表現している。また、これら各ラグランジュ多
項式は、それぞれ係数Ｋ1〜Ｋ4に割り当てている。これ
らの係数Ｋ1〜Ｋ4には、Ｋ1＋Ｋ2＝１、Ｋ3＋Ｋ4＝１の
関係がある。そして、画素Ｓ（ｘ，ｙ）の補間値は、数
７の行列式によって求めることができる。

【００５５】

【数７】

【００５６】この数７では、行列式を展開した式と、こ
れを係数Ｋ1〜Ｋ4を用いて表した式も示している。

【００５７】ここで、上記図１９に示した画素Ｓｃを補
間すべき画素Ｓ（ｘ，ｙ）とすると、距離ｒx，ｒyと係
数Ｋ1〜Ｋ4はそれぞれ数８に示したものとなり、

【００５８】

【数８】

【００５９】これを数７に代入すると、この画素Ｓ
（ｘ，ｙ）の補間値は数９となる。

【００６０】

【数９】

【００６１】また、例えば画素Ｓａを補間すべき画素Ｓ
（ｘ，ｙ）とすると、距離ｒx，ｒyと係数Ｋ1〜Ｋ4はそ
れぞれ数１０に示したものとなり、

【００６２】

【数１０】

【００６３】これを数７に代入すると、この画素Ｓ
（ｘ，ｙ）の補間値は数１１となる。

【００６４】

【数１１】

【００６５】そして、以下も同様にして計算すると、画
素Ｓａ〜Ｓｅの数７による各補間値は上記数１に一致
し、空間斜め画素ずらし法の補間処理では従来から１次
のラグランジュ型多項式補間を行っていることが分か
る。

【００６６】次に、２次のラグランジュ型多項式補間の
場合には、図７に示す９個の画素Ｓ（ｘ1，ｙ1）〜Ｓ
（ｘ3，ｙ3）のサンプリング値に基づいて画素Ｓ（ｘ，
ｙ）の補間値を求めることになる。ここでも、画素Ｓ
（ｘ，ｙ）の画素Ｓ（ｘ2，ｙ2）からの距離をそれぞれ
ｒx，ｒyとしている。そして、ｘ方向のラグランジュ多
項式は数１２に示すものとなり、

【００６７】

【数１２】

【００６８】ｙ方向のラグランジュ多項式は数１３に示
すものとなる。

【００６９】

【数１３】

【００７０】従って、画素Ｓ（ｘ，ｙ）の補間値は、数
１４の行列式によって求めることができる。

【００７１】

【数１４】

【００７２】補間処理部９と画素数変換部１０で上記１
次のラグランジュ型多項式補間を行う場合の具体的な構
成を説明する。図８に上記数７の演算を行う補間回路を
示す。この数７の演算では、隣接する４個の画素のサン
プリング値を用いるので、シリアルに入力される各画素
に対して１ライン遅延した画素とこれらの画素からさら
に１画素（カラム）遅延した画素が必要となる。従っ
て、この補間回路は、画素を１ライン遅延させるため
と、補間による入出力のサンプリングレートの相違を緩
衝するためにメモリ部２１を備えている。補間処理部９
と画素数変換部１０は、各色の画像信号ごとにそれぞれ
補間回路を設けているので、このメモリ部２１には、い
ずれかの画像信号がシリアルに入力される。

【００７３】上記補間回路には、図示しないタイミング
コントローラから入力用クロックと入力用ラインクロッ
クと第１出力用クロックと第２出力用クロックと出力用
ラインクロックが供給されるようになっている。そし
て、メモリ部２１には、これらのうち、入力用クロック
と入力用ラインクロックと第１出力用クロックと出力用
ラインクロックが入力されるようになっている。入力用
クロックと入力用ラインクロックは、入力される画像信
号の各画素と各ラインを１周期とした信号であり、第２
出力用クロックと出力用ラインクロックは、補間後の画
像信号の各画素と各ラインを１周期とした信号である。
そして、第１出力用クロックは、入力される画像信号を
垂直方向にのみ補間した場合の各画素を１周期とした信
号である。従って、補間処理部９の補間回路として用い
る場合には、入力用クロックと入力用ラインクロックに
対して、第１出力用クロックと出力用ラインクロックの
周波数が２倍になり、第２出力用クロックの周波数は４
倍となる。また、画素数変換部１０の補間回路として用
いる場合には、フォーマットに応じた周波数となる。

【００７４】上記メモリ部２１は、図９に示すように、
４個のラインメモリ２１ａ〜２１ｄを備えている。これ
らのラインメモリ２１ａ〜２１ｄは、入力画素を１ライ
ン分記憶できるＦＩＦＯ[First-In First-Out]メモリに
よって構成され、入力用クロックに基づいて各画素の入
力が行われると共に、第１出力用クロックに基づいて各
画素の出力が行われるようになっている。また、本来の
ＦＩＦＯメモリは出力データが失われるので、同じライ
ンの画素を繰り返し読み出すことができるように、出力
された画素をそれぞれスイッチ回路２１ｅ…を介して第
１出力用クロックに基づき再度入力できるように帰還回
路が設けられている。ただし、これらのラインメモリ２
１ａ〜２１ｄがＲＡＭと入出力アドレス制御部によって
構成される場合には、アドレス操作だけで繰り返し読み
出しを行うことができるので、このような帰還回路は不
要となる。

【００７５】メモリ部２１に入力された画素は、まずセ
レクタ２１ｆに送られる。このセレクタ２１ｆは、入力
用ラインクロックによって４進カウントを行うカウンタ
２１ｇの出力に応じて、上記ラインメモリ２１ａ〜２１
ｄを順に選択し、この選択したいずれかのラインメモリ
２１ａ〜２１ｄに画素を送るようになっている。また、
メモリ制御部２１ｈも、入力用ラインクロックに基づい
て同じラインメモリ２１ａ〜２１ｄを選択し入力動作を
行うように制御する。従って、各画素は、ラインごとに
振り分けて各ラインメモリ２１ａ〜２１ｄに入力される
ことになる。

【００７６】上記各ラインメモリ２１ａ〜２１ｄから出
力された各画素は、２個のマルチプレクサ２１ｉ，２１
ｊを介してノードＡとノードＢから外部に出力されるよ
うになっている。メモリ制御部２１ｈは、出力用ライン
クロックに基づいて、入力動作を行っているラインメモ
リ２１ａ〜２１ｄ以外のいずれか２個を選択し、それぞ
れに画素の出力動作を行わせると共に、各マルチプレク
サ２１ｉ，２１ｊの入力を切り替えて、これらの出力画
素をノードＡとノードＢのいずれから出力するかを制御
する。ここでのメモリ制御部２１ｈは、２個のラインメ
モリ２１ａ〜２１ｄを画素が入力された順に選択すると
共に、一方のラインメモリ２１ａ〜２１ｄから読み出し
た画素をマルチプレクサ２１ｉを介してノードＡに出力
する場合には、他方のラインメモリ２１ａ〜２１ｄは必
ず１ライン前の画素を入力したものを選択して、このラ
インメモリ２１ａ〜２１ｄから読み出した画素をマルチ
プレクサ２１ｊを介してノードＢに出力するように制御
する。そして、補間処理部９の補間回路として用いる場
合には、最初の１ラインを除き各ラインメモリ２１ａ〜
２１ｄから２回ずつ繰り返し読み出しを行う。しかし、
画素数変換部１０の補間回路として用いる場合に、１ラ
イン分の画素を読み出した後に再度同じラインメモリ２
１ａ〜２１ｄから繰り返し読み出すかどうかはフォーマ
ットによって異なる。

【００７７】従って、メモリ部２１では、入力画素をノ
ードＡとノードＢから第１出力用クロックに応じたレー
トで順次出力し、しかも、垂直方向の補間の際の必要に
応じて同一ラインの画素を繰り返し出力することにな
る。また、ノードＢから出力される画素は、常にノード
Ａから出力される画素より１ライン遅延したものとな
る。

【００７８】補間処理部９の補間回路として用いる場合
の上記構成のメモリ部２１の動作を図１０に基づいて説
明する。この図１０では、各ラインの画像信号をＤ1，
Ｄ2…というようにライン番号の添え字を付して示して
いる。また、ハッチングで示した部分は、ラインメモリ
２１ａ〜２１ｄが入力状態であることを示し、空白の部
分はデータが不定であることを示す。

【００７９】メモリ部２１に入力された第１ラインの画
像信号Ｄ1は、ラインメモリ２１ａに記憶され、次に入
力された第２ラインの画像信号Ｄ2は、ラインメモリ２
１ｂに記憶され、第３ラインと第４ラインの画像信号Ｄ
3，Ｄ4も同様にラインメモリ２１ｃ，２１ｄに記憶され
る。そして、第５ラインの画像信号Ｄ5が入力される
と、ラインメモリ２１ａの記憶内容がこの画像信号Ｄ5
に書き替わり、以降同様の動作を繰り返す。また、ノー
ドＡからは、入力の２倍の周波数で、まず第１ラインの
画像信号Ｄ1が１回出力され、第２ライン以降の画像信
号Ｄ2…が２回ずつ繰り返して出力される。これに対し
てノードＢの出力は、このノードＡの出力より１ライン
遅れて各画像信号Ｄ1…が２回ずつ繰り返し出力され
る。従って、この場合には、最初の１ラインを除けば、
ノードＡとノードＢから各ラインの画像信号が２回ずつ
出力されることになる。

【００８０】画素数変換部１０の補間回路として用いる
場合の上記構成のメモリ部２１の動作を図１１に基づい
て説明する。この図１１でも、画像信号Ｄ1，Ｄ2…等を
図１０と同様に表す。また、ここでは、ＨＤ２モードの
場合を例示する。従って、ライン数については、３本の
ラインを４本に変換することにより、７６８本のライン
を１０２４本に拡大する場合を示す。各ラインメモリ２
１ａ〜２１ｄへの入力動作は、図１０の場合と同じであ
る。

【００８１】ノードＡからは、入力の４／３倍の周波数
で、まず第１ライン〜第３ラインの画像信号Ｄ1〜Ｄ3が
１回ずつ順に出力され、その後第４ラインの画像信号Ｄ
4が２回続けて出力され、第５ライン以降は同じ動作を
繰り返す。また、ノードＢからは、このノードＡの出力
よりも１ライン遅れて、まず第１ラインと第２ラインの
画像信号Ｄ1，Ｄ2が１回ずつ順に出力され、その後第３
ラインの画像信号Ｄ3が２回続けて出力され、最後に第
４ラインの画像信号Ｄ4が１回出力され、第５ライン以
降は同じ動作を繰り返す。従って、この場合には、最初
の１ラインを除けば、ノードＡとノードＢから３ライン
の画像信号が出力されると、次の１ラインは前回と同じ
ラインの画像信号が出力され、４ライン周期でこれを繰
り返すことになる。

【００８２】図８に示すように、上記メモリ部２１のノ
ードＡから出力される各画素は、係数器２２を介して加
算器２３に送られると共に、１画素遅延回路２４で１画
素遅延されて係数器２５を介し同じ加算器２３に送られ
る。また、ノードＢから出力される１ライン遅延された
各画素は、係数器２６を介して加算器２７に送られると
共に、１画素遅延回路２８で１画素遅延されて係数器２
９を介し同じ加算器２７に送られる。そして、加算器２
３の出力は係数器３０を介して加算器３１に送られ、加
算器２７の出力は係数器３２を介して同じ加算器３１に
送られる。ここで、係数器２２と係数器２６は、入力値
を上記数５に示した係数Ｋ1倍する回路であり、係数器
２５と係数器２９は、入力値を係数Ｋ2倍する回路であ
る。また、係数器３０は、入力値を上記数６に示した係
数Ｋ3倍する回路であり、係数器３２は、入力値を係数
Ｋ4倍する回路である。従って、この加算器３１の出力
は、上記数７に示した最後の式の演算により画素Ｓ
（ｘ，ｙ）の補間値を計算したものとなる。

【００８３】上記係数器３０，３２の各係数Ｋ3，Ｋ4
は、出力用ラインクロックに基づくラインカウンタ３３
の出力に応じて値が変化するので、ノードＡ，Ｂから１
ラインの画素信号が出力されるたびに係数Ｋ3，Ｋ4が切
り替わる。また、これらの係数Ｋ3，Ｋ4は、補間処理が
ＰラインをＱラインに変換するものである場合には、Ｐ
とＱの最小公倍数をＲとすると、Ｒ／Ｐラインの周期で
繰り返し値が変化することになる。そして、ラインカウ
ンタ３３は、このＲ／Ｐ進カウンタとして動作する。補
間処理部９の補間回路として用いられる場合には、１ラ
インが２ラインに拡張されるので２ラインで１周期とな
り、図１０に示すように、係数Ｋ3の値が１→１／２→
１と変化し、係数Ｋ4の値が０→１／２→０と変化す
る。また、画素数変換部１０の補間回路として用いられ
る場合であって、図１１に示したＨＤ２モードによる３
本のラインを４本に変換する際には、Ｐ＝３、Ｑ＝４、
Ｒ＝１２となるので４ラインで１周期となり、この図１
１に示すように、Ｋ3の値が１→３／４→１／２→１／
４→１と変化し、Ｋ4の値が０→１／４→１／２→３／
４→０と変化する。

【００８４】上記係数器２２，２５，２６，２９の各係
数Ｋ1，Ｋ2は、第２出力用クロックに基づくカラムカウ
ンタ３４の出力に応じて値が変化するので、ノードＡ，
Ｂから出力される１個の画素に対して、水平方向の補間
に応じこれらの係数Ｋ1，Ｋ2が複数回変化する場合があ
る。また、これらの係数Ｋ1，Ｋ2は、各ラインの画素に
ついて水平方向にＭ画素をＮ画素に変換する場合には、
ＭとＮの最小公倍数をＫとすると、Ｋ／Ｍ画素の周期で
繰り返し値が変化する。そして、カラムカウンタ３４
は、このＫ／Ｍ進カウンタとして動作する。補間処理部
９の補間回路として用いられる場合には、１画素が２画
素に拡張されるので２画素で１周期となり、係数Ｋ1の
値が１→１／２→１と変化し、係数Ｋ2の値が０→１／
２→０と変化する。この際、係数Ｋ1が１となる場合に
は、上記係数Ｋ3も１となり、係数Ｋ2，Ｋ4は０となる
ので、ノードＡから出力された画素のサンプリング値が
そのまま加算器３１から出力される。これは、補間回路
が形式的に実画素からの距離が０の位置にも画素を補間
することを示す。そして、係数Ｋ1，Ｋ2の値が１／２と
なった場合に本来の補間が行われ、加算器３１から補間
された画素の補間値が出力される。また、画素数変換部
１０の補間回路として用いられる場合には、フォーマッ
トに応じた周期で変化する。

【００８５】上記加算器３１から出力される値は、第２
出力用クロックに基づいてラッチ回路３５でラッチされ
る。そして、このラッチ回路３５から第２出力用クロッ
クに同期して出力される信号が補間回路の出力となる。
従って、この補間回路は、補間処理部９に用いる場合に
は、画素数を垂直方向と水平方向に２倍ずつ合計で４倍
に変換する補間処理を行う。これに対して、画素数変換
部１０に用いる場合には、出力フォーマットに応じて異
なる画素数変換処理を行うことになる。そこで、この図
８の補間回路を用いた一般的な画素数変換処理の場合に
ついて図１２にもとづいてさらに詳しく説明する。

【００８６】ここでは、簡単のために、水平８×垂直６
画素の画像を水平６×垂直４画素の画像に変換する場合
について説明する。入力信号の各画素Ｓ（１，１）〜Ｓ
（８，６）は白抜きの丸で示し、出力信号の各画素Ｓm
（１，１）〜Ｓm（６，４）はハッチングを施した三角
形で示す。ここで、ｆIHは入力用クロックの周波数を示
し、ｆIVは入力用ラインクロックの周波数を示す。ま
た、ｆOHは第２出力用クロックの周波数を示し、ｆOVは
出力用ラインクロックの周波数を示す。

【００８７】この図１２では、図の下端に出力信号の各
画素Ｓm（１，１）〜Ｓm（６，４）のカラムごとの係数
Ｋ1，Ｋ2の値を示している。ここでは、上記Ｍ＝８、Ｎ
＝６、Ｋ＝２４であることから、Ｋ／Ｍ＝３画素の周期
で値が変化している。また、図の右端には、出力信号の
各画素Ｓm（１，１）〜Ｓm（６，４）のラインごとの係
数Ｋ3，Ｋ4の値を示している。ここでは、上記Ｐ＝６、
Ｑ＝４、Ｒ＝１２となるので、Ｒ／Ｐ＝２ラインの周期
で値が変化している。

【００８８】この図１２における例えば画素Ｓm（３，
２）のサンプリング値は、数１５を計算すればよい。

【００８９】

【数１５】

【００９０】従って、図１１ではＨＤ２モードにおける
ライン数の変換のみを示したが、各ラインの画素数を１
４４０画素から１００８画素に変換する処理も、係数Ｋ
1，Ｋ2を適宜定めることにより可能となり、これによっ
てＨＤ２モードでの画素数変換処理を行うことができ
る。

【００９１】なお、上記で説明した補間回路による演算
処理は、図８に示すようなハードウエアを用いる他、そ
の一部又は全部の処理をソフトウエアで実現することも
可能である。

【００９２】ここで、上記補間回路に用いた１次のラグ
ランジュ型多項式補間は、同一ライン上の画素間又は同
一カラム上の画素間の補間を行う場合に、画像の斜め方
向のエッジ部で色ムラが生じるという欠点がある。しか
し、例えば、数１４に示した２次のラグランジュ型多項
式補間の行列式に基づいて図８の補間回路を構成すれ
ば、このような色ムラを抑制することができる。この補
間回路は、図８で示した場合と同様に、数１４の行列式
を展開すれば、これに応じて係数器と加算器を組み合わ
せることにより容易に構成することができる。また、数
４に示した行列式を用いて、３次以上のラグランジュ型
多項式補間による補間回路を構成することも可能であ
る。

【００９３】さらに、上記補間回路は、ラグランジュ型
多項式補間以外の補間方式を用いることもできる。特に
画素数変換部１０における画素数変換処理は、従来から
のテレビジョン方式の変換処理等に用いられるものと同
様の処理であるため、通常はディジタル−ディジタル変
換によるのが一般的である。このようなディジタル−デ
ィジタル変換による画素数変換処理を図１３に基づいて
説明する。ここでは、ＨＤ２モードにおける水平１４４
０×垂直７６８画素から水平１００８×垂直１０２４画
素への画素数変換処理を例示する。即ち、水平方向には
１０画素を７画素に縮小し、垂直方向には３ラインを４
ラインに拡大する処理を示す。

【００９４】変換前の原信号は、図示のように、水平空
間サンプリング周波数がｆSH、垂直空間サンプリング周
波数がｆSVとする。まず、この原信号をプリフィルタ４
１に入力する。このプリフィルタ４１は、画素数変換後
に折り返し歪みが影響しないように、事前に帯域を制限
するための低域通過フィルタである。

【００９５】次に、内挿処理部４２で、水平方向の各画
素間にサンプリング値０の画素を６画素ずつ内挿すると
共に、垂直方向の各ライン間にもサンプリング値０の画
素のみからなるラインを３ラインずつ内挿する。即ち、
水平空間サンプリング周波数を７倍の７ｆSHにし、垂直
空間サンプリング周波数を４倍の４ｆSVにオーバーサン
プリングする。このような内挿を行っても原信号の周波
数スペクトルは変化しない。しかし、この周波数スペク
トル上におけるナイキスト周波数は水平方向が７ｆSH／
２に広がり垂直方向が４ｆSV／２に広がることになるの
で、元のナイキスト周波数であるｆSH／２とｆSV／２を
超える周波数帯域に不要な周波数成分が生じることにな
る。そこで、この信号を、水平空間周波数ｆSH／２、垂
直空間周波数ｆSV／２を遮断周波数とする低域通過フィ
ルタである補間用ローパスフィルタ４３に通すと、この
不要な周波数成分が除去される。そして、これにより、
先に内挿した各画素のサンプリング値が補間されること
になる。また、間引き処理部４４で、この補間された信
号から水平方向の１０画素に１画素ずつ、及び、垂直方
向の３画素に１画素ずつを取り出す間引きを行うと、水
平空間サンプリング周波数が（７／１０）ｆSH、垂直空
間サンプリング周波数（４／３）ｆSVに画素数変換され
た信号を得ることができる。

【００９６】ところが、このような処理は、変換前の周
波数と変換後の周波数の最小公倍数による極めて高い周
波数によるオーバーサンプリングを行う必要があり、し
かも、プリフィルタ４１や補間用ローパスフィルタ４３
によるフィルタリング処理は、水平及び垂直方向の各画
素について、前後の複数の画素をそれぞれフィルタ係数
倍して加算する処理であり、各画素についての前後の画
素数がこれらのフィルタ４１，４３の次数に応じて増大
し、しかも、内挿により画素数も増加することから膨大
な演算量を必要とするので、演算速度の点では必ずしも
現実的ではない。

【００９７】このため、本実施例では、この計算量を短
縮するために上記ラグランジュ型多項式補間を用いてい
る。ただし、上記プリフィルタ４１と補間用ローパスフ
ィルタ４３によるフィルタリング処理を１度で済ませ、
しかも、サンプリング値が０である内挿した画素を省い
て、本来の画素にのみフィルタ係数を供給するようにす
れば、計算量を大幅に減少させることができる。そし
て、このような演算は、フィルタ係数がラグランジュ多
項式の次数に対応するラグランジュ型多項式補間と同様
の効果を得ることができる。

【００９８】以上説明したように本実施例の撮像装置に
よれば、空間斜め画素ずらし法により、標準画素数を有
する低価格のＣＣＤ撮像素子３〜５を用いて画像信号の
解像度を向上させることができるようになる。また、高
画素数の撮像素子に比べて、各ＣＣＤ撮像素子３〜５の
各画素の受光量が多いので、感度やダイナミックレンジ
を向上させることができる。しかも、画素数変換部１０
でこの高解像度の画像信号の画素数変換処理やアスペク
ト比の変換処理を行うことにより、４種類のフォーマッ
トの画像信号を任意に選択して出力することが可能とな
る。

【００９９】さらに、補間処理部９の補間処理を１次の
ラグランジュ型多項式補間で行う場合には、演算処理が
簡単になり、装置を安価にすることができる。また、こ
の補間処理部９の補間処理を２次以上のラグランジュ型
多項式補間で行う場合には、空間斜め画素ずらし法の欠
点である画像の斜めエッジ部での色ムラを抑制すること
ができる。そして、画素数変換部１０での画素数変換処
理も演算処理が簡単な１次又は２次以上のラグランジュ
型多項式補間によるので、装置を安価にすることができ
る。

【０１００】（実施例２）図１４は本発明の第２実施例
を示すものであって、撮像装置の構成を示すブロック図
である。なお、図１に示した第１実施例と同様の機能を
有する構成部材には同じ番号を付記して説明する。

【０１０１】本実施例は、図１に示した第１実施例の撮
像装置に出力セレクタ１２〜１４を設けたものである。
出力セレクタ１２〜１４は、出力部１１の入力をガンマ
補正部８の出力と画素数変換部１０の出力とに切り替え
るものである。そして、これらの出力セレクタ１２〜１
４が図１４に示すように画素数変換部１０の出力側に接
続されている場合には、第１実施例と同じ構成となる。
しかし、ＳＤモードの場合には、これらの出力セレクタ
１２〜１４がガンマ補正部８の出力側に接続されるよう
になっている。すると、このガンマ補正部８から出力さ
れた各色の画像信号は、補間処理部９と画素数変換部１
０とを通過せずにそのまま出力部１１に入力することが
できる。ＳＤモードは、ＣＣＤ撮像素子３〜５が出力す
る水平７２０×垂直４８０画素の画像信号と同じ形式で
ある。従って、このＳＤモードの場合には、出力部１１
が上記図４に示したＨＤ１モードと同じように、２ライ
ンの各画素をそれぞれ加算平均すれば、インタレース走
査による画像信号を出力することができる。

【０１０２】なお、スチルモード時には、画素数変換部
１０での画素数変換処理を行わないので、同様の出力セ
レクタ１２〜１４を用いて、補間処理部９で補間処理を
行った信号を直接出力部１１に送るようにしてもよい。
また、ガンマ補正部８から出力された信号を補間処理部
９での補間処理を行わずに直接画素数変換部１０に送り
画素数変換処理等のみを行うようにすることもできる。

【０１０３】以上説明したように本実施例の撮像装置に
よれば、ＳＤモードの場合に、緑色の画像信号と赤色及
び青色の画像信号との間に１／２画素のずれは生じる
が、補間処理部９での補間処理と画素数変換部１０での
間引き処理を行う無駄をなくすことができるので、信号
の劣化を少なくすることができる。また、同様の出力セ
レクタ１２〜１４を用いることにより、出力可能なフォ
ーマットのバリエーションを増加することも可能とな
る。

【０１０４】

【発明の効果】以上の説明から明らかなように、本発明
によれば、安価で高感度の撮像部を用いて複数のフォー
マットによる解像度の高い画像信号を得ることができる
ので、各フォーマットごとに異なる撮像装置を用いる必
要がなくなり、汎用性の高い撮像装置を得ることができ
る。

【０１０５】また、補間処理や画素数変換処理にラグラ
ンジュ型多項式補間を用いることにより演算処理を簡単
にして、撮像装置のコストアップを低減することができ
る。しかも、補間処理に２次以上のラグランジュ型多項
式補間を用いることにより、空間斜め画素ずらし法にお
ける画像の斜めエッジ部に生じる色ムラを抑制すること
ができる。

【図面の簡単な説明】

【図１】本発明の第１実施例を示すものであって、撮像
装置の構成を示すブロック図である。

【図２】本発明の第１実施例を示すものであって、４種
類のモードによる画素数変換処理を示す図である。

【図３】本発明の第１実施例を示すものであって、ＳＤ
モードにおける出力部での走査を示す図である。

【図４】本発明の第１実施例を示すものであって、ＨＤ
１モードとＨＤ２モードにおける出力部での走査を示す
図である。

【図５】本発明の第１実施例を示すものであって、ｎ次
のラグランジュ型多項式補間を行う画素を示す図であ
る。

【図６】本発明の第１実施例を示すものであって、１次
のラグランジュ型多項式補間を行う画素を示す図であ
る。

【図７】本発明の第１実施例を示すものであって、２次
のラグランジュ型多項式補間を行う画素を示す図であ
る。

【図８】本発明の第１実施例を示すものであって、補間
回路の構成を示すブロック図である。

【図９】本発明の第１実施例を示すものであって、メモ
リ部の構成を示すブロック図である。

【図１０】本発明の第１実施例を示すものであって、補
間処理部の補間回路として用いる場合のメモリ部の動作
を示すタイムチャートである。

【図１１】本発明の第１実施例を示すものであって、画
素数変換部の補間回路として用いる場合のメモリ部の動
作を示すタイムチャートである。

【図１２】本発明の第１実施例を示すものであって、補
間回路による一般的な画素数変換処理を行う画素を示す
図である。

【図１３】本発明の第１実施例を示すものであって、デ
ィジタル−ディジタル変換による画素数変換処理を説明
するための図である。

【図１４】本発明の第２実施例を示すものであって、撮
像装置の構成を示すブロック図である。

【図１５】ＳＤフォーマットの仕様を示す図である。

【図１６】ＨＤフォーマットの仕様を示す図である。

【図１７】従来例を示すものであって、撮像装置の構成
を示すブロック図である。

【図１８】従来例を示すものであって、空間斜め画素ず
らし法による各ＣＣＤ撮像素子の画素の配置を示す図で
ある。

【図１９】従来例を示すものであって、空間斜め画素ず
らし法による画素の補間処理を示す図である。

【符号の説明】

２ダイクロイックミラー３Ｒ用ＣＣＤ撮像素子４Ｇ用ＣＣＤ撮像素子５Ｂ用ＣＣＤ撮像素子６アンプ部７Ａ／Ｄ変換部８ガンマ補正部９補間処理部１０画素数変換部１２、１３、１４出力セレクタ２１メモリ部２１ａ、２１ｂ、２１ｃ、２１ｄラインメモリ２１ｅスイッチ回路２１ｆセレクタ２１ｇカウンタ２１ｈメモリ制御部２１ｉ、２１ｊマルチプレクサ２２、２５、２６、２９、３０、３２係数器２４、２８１画素遅延回路２３、２７、３１加算器３３ラインカウンタ３４カラムカウンタ３５ラッチ回路４１プリフィルタ４２内挿処理部４３補間用ローパスフィルタ４４間引き処理部

フロントページの続き (56)参考文献特開平６−217330（ＪＰ，Ａ) 特開平７−288825（ＪＰ，Ａ) 特開平５−199547（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/00 - 9/11 H04N 11/00 - 11/22

Claims

(57)【特許請求の範囲】

【請求項１】撮像光を三原色に分解する色分解光学系
と、該色分解光学系によって分解されたいずれかの色の撮像
光を受光する第１の撮像部と、該色分解光学系によって分解された他の２色の撮像光を
それぞれ受光し、かつ該第１の撮像部に対して水平及び
垂直方向に１／２画素ずらして配置された第２と第３の
撮像部と、該第１ないし第３の撮像部が撮像した三原色の画像信号
をそれぞれディジタル信号に変換するＡ／Ｄ変換部と、該Ａ／Ｄ変換部でディジタル信号に変換された三原色の
各画像信号について、各画素間の画素を補間することに
より、水平及び垂直方向に画素数をそれぞれ２倍に拡大
させる補間処理を行う補間処理部と、該補間処理部で補間された三原色の各画像信号に対し
て、水平及び垂直方向の画素数変換処理を行うことによ
り各ラインの画素数とライン数を変換する処理、及びト
リミング若しくは画像範囲外への所定信号の付加を行う
ことによりアスペクト比を変換する処理のうち少なくと
も一つの処理を行い、該各画像信号を複数のフォーマッ
トのうちのいずれかに基づいた画像信号に変換するフォ
ーマット変換処理を行う画素数変換部とを備えた撮像装
置。
【請求項２】前記補間処理部が、補間処理を１次のラ
グランジュ型多項式補間によって行うものである請求項
１に記載の撮像装置。
【請求項３】前記補間処理部が、補間処理を２次のラ
グランジュ型多項式補間によって行うものである請求項
１に記載の撮像装置。
【請求項４】前記補間処理部が、補間処理を２次以上
のラグランジュ型多項式補間によって行うものである請
求項１に記載の撮像装置。
【請求項５】前記画素数変換部が、画素数変換処理を
ラグランジュ型多項式補間によって行うものである請求
項１ないし請求項４のいずれかに記載の撮像装置。
【請求項６】前記画素数変換部が、各ラインの各カラ
ムの画素を現画素として順次供給すると共に、該各現画
素ごとに、当該現画素に対して１ラインからｎライン遅
延したｎ個の遅延画素と、該現画素と該１ラインからｎ
ライン遅延したｎ個の画素に対してそれぞれ１カラムか
らｎカラム遅延したｎ×（ｎ＋１）個の遅延画素の合計
ｎ×（ｎ＋２）個の遅延画素を供給する画素供給手段
と、該現画素と当該現画素についての遅延画素をそれぞ
れ係数倍して加算することによりｎ次のラグランジュ型
多項式補間による補間画素を得る演算手段と、該演算手
段に所定の周期で各係数を供給する係数供給手段とによ
って画素数変換を行う請求項５に記載の撮像装置。
【請求項７】前記Ａ／Ｄ変換部でディジタル信号に変
換された三原色の各画像信号について前記補間処理部で
補間処理を行うかどうかを選択する選択手段、該補間処
理部で補間された三原色の各画像信号について画素数変
換部でフォーマット変換処理を行うかどうかを選択する
選択手段、又は、該Ａ／Ｄ変換部でディジタル信号に変
換された三原色の各画像信号について該補間処理部と該
画素数変換部で補間処理とフォーマット変換処理を行う
かどうかを選択する選択手段を有する請求項１ないし請
求項６のいずれかに記載の撮像装置。