JPH06315154A

JPH06315154A - カラー撮像装置

Info

Publication number: JPH06315154A
Application number: JP5123196A
Authority: JP
Inventors: Kazutake Kamihira; 員丈上平; Takahiro Muraki; 隆浩村木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-04-28
Filing date: 1993-04-28
Publication date: 1994-11-08
Anticipated expiration: 2020-05-18
Also published as: JP3648638B2

Abstract

(57)【要約】【目的】固体撮像素子の画素密度を高めたり、画素数
を増加させることなく解像度を向上させる。【構成】レンズ２を通った画像はダイクロイックプリ
ズム４で分解され、赤，緑，青の被写体像をＣＣＤ１１
Ｒ，１１Ｇ，１１Ｂに結像する。ＣＣＤ１１Ｇを圧電素
子３により、画素ピッチの整数分の１の長さづつ水平方
向および垂直方向にレフトさせ、それらの補間処理部５
Ｇ，フレーム合成部７，画像合成部８で合成することに
より静止画像を高精細化することを特徴としている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像入力技術に関
し、詳しくは色分解プリズムと複数の固体撮像素子を用
い高精細なカラー撮像装置に関するものである。

【０００２】

【従来の技術】カラー画像を高精細に撮像する方法とし
て、従来、ダイクロイックプリズムと呼ばれる色分解プ
リズムを使用する方法が用いられている。この方法は、
ダイクロイックプリズムによりレンズ通過後の光を赤，
緑，青などの複数の色成分に分解し、各色成分毎の被写
体像を複数の位置に結像し、これら複数の被写体像を複
数の固体撮像素子により撮像する方法である。

【０００３】従来のダイクロイックプリズムを使用する
カラー撮像装置の構成を図１６に示す。図１６におい
て、４はダイクロイックプリズム、４Ｒ，４Ｇ，４Ｂは
前記ダイクロイックプリズム４の出射側端面、１Ｒ，１
Ｇ，１Ｂは固体撮像素子（総称するときは１という）、
２はレンズである。各色成分の被写体像はダイクロイッ
クプリズム４の出射側端面４Ｒ，４Ｇ，４Ｂにそれぞれ
結像される。そして、これらの被写体像は各出射側端面
４Ｒ，４Ｇ，４Ｂに接着剤等で張り付けられた固体撮像
素子１Ｒ，１Ｇ，１Ｂによりそれぞれ撮像され、各色成
分毎の画像信号が生成される。

【０００４】

【発明が解決しようとする課題】上記、従来のダイクロ
イックプリズム４を用いるカラー撮像装置の解像度は、
使用する固体撮像素子１の画素数によって決まる。固体
撮像素子１の画素数を増やす方法としては微細加工技術
を駆使し、画素密度を高めることによる方法が主流であ
るが、固体撮像素子１のサイズを大きくして画素数を増
やす方法もある。しかし、画素密度を高める方法ではプ
ロセスが難しくなる問題もあり、さらに画素面積縮小に
よる感度低下の問題も生じる。近年、この方法によりＨ
ＤＴＶ用の２００万画素の固体撮像素子１が開発されて
いるが、特に感度の低下を考慮した場合、この画素数は
もはや限界に近く、現状ではさらに画素数を増加させ解
像度を向上することは困難となっている。

【０００５】一方、画素密度は変えずに固体撮像素子１
のサイズを大きくして画素数を増やす方法では、製造歩
留りを低下させコスト増加につながる。このため、専ら
天文などの科学用や軍事用に用途は限られている。上記
問題の他、１つの固体撮像素子１内の画素数を増やすこ
とにより高解像度化を図る従来の方法では、画素数増加
に伴い固体撮像素子１の駆動速度や、ディジタル化の際
のＡ／Ｄ変換速度等を高速化しなければならないという
問題も深刻化している。

【０００６】本発明の目的は、固体撮像素子の画像密度
を高めたり、画素数を増加させることなく解像度を向上
させたカラー撮像装置を提供することにある。

【０００７】

【課題を解決するための手段】本発明にかかるカラー撮
像装置は、少なくとも１つの固体撮像素子をフィールド
あるいはフレーム周期に同期させて、画素ピッチの整数
分の１の長さづつ水平方向または垂直方向、あるいは水
平，垂直の両方向にシフトさせるシフト手段（以下、イ
メージシフト法とよぶ）を備える。ここで、イメージシ
フト法を適用する固体撮像素子はダイクロイックプリズ
ムの出射側端面に固定しない。

【０００８】また、本発明では撮像画像から動き部分を
検出する動領域検出手段を備える。

【０００９】さらに、上記イメージシフト法を適用する
固体撮像素子は色分解された各色成分の中で輝度成分に
最も近い色成分の被写体像の撮像に用いる。

【００１０】

【作用】本発明においては、ダイクロイックプリズムで
分解した赤，緑，青の被写体像を３つの固体撮像素子で
撮像する場合について説明する。この場合、輝度成分に
最も近い色成分は緑成分であり、イメージシフト法を適
用する固体撮像素子では緑成分の被写体像を撮像する。

【００１１】本発明によれば、緑成分画像がイメージシ
フト法により高精細化される。イメージシフト法による
高精細化の原理図を図１５に示す。固体撮像素子では、
２次元の光学像情報を読み取り電気信号に変換する光電
変換部（感光部）が図１５に示すように離散的に配置さ
れており、隣接する光電変換部の間には撮像には直接寄
与しない非感光部が存在する。イメージシフト法とはこ
の非感光部の存在を利用し、画像のサンプリング点を倍
増することにより、入力画像の高精細化を図る方法であ
る。

【００１２】すなわち、あるフレームで入力した画像
（図１５（ａ））と、次のフレームで被写体像と固体撮
像素子の画素の相対的な位置関係を画素ピッチの１／２
ずらして入力した画像（図１５（ｂ））を合成すれば、
それぞれのフレーム画像において固体撮像素子の非感光
部にあたる領域の光学像情報がもう一方のフレーム画像
ではサンプリングされていることになり、結局、図１５
（ｃ）に示すように実効的に２倍の画素密度で画像を読
み取ったことに相当し、高精細化が可能になる。図１５
では簡単なため２枚の画像を水平方向に補間する方法に
ついて説明したが、水平方向、垂直方向ともに補間によ
る高精細化が可能であり、さらに、画素ピッチの１／３
ずつずらして１方向について３倍の高密度化も可能であ
る。

【００１３】イメージシフト法は上述のように複数のフ
レーム（またはフィールド）合成により高精細化を実現
する方法であり、したがって動領域では多重像が生じる
ため適用できない。そこで、本発明では動領域検出手段
を用い、静止領域にのみイメージシフト法による高精細
化法を適用する。この結果、高精細化されるのは静止領
域のみとなるが、人間の目の視覚特性が動領域に対して
は静止領域に比べ解像力が劣ることを考慮すれば、静止
領域のみ高精細化することにより視覚的には画面全体が
高精細となる。

【００１４】また、本発明では緑成分の静止領域のみ高
精細化されることになるが、一般にカラー画像では輝度
成分のみ高精細にすることにより視覚的に高精細な画像
を再現できることが知られている。したがって、本発明
のように輝度成分に近い色成分画像のみ高精細にするこ
とにより、高精細なカラー画像を出力することができ
る。

【００１５】本発明は、動領域と静止領域では要求され
る解像度が異なること、およびカラー画像の解像度が緑
成分の解像度に大きく依存する点に着目し、上述の手段
を用いそれぞれの領域および色成分に適した特性で画像
の取り込みを行うものであり、画素数の少ない固体撮像
素子で高精細なカラー撮像装置を提供するものである。

【００１６】

【実施例】

〔実施例１〕本発明の第１の実施例の概略構成を図１に
示す。図１において、１１Ｒ，１１Ｇ，１１ＢはＣＣＤ
エリアセンサ（以下、単にＣＣＤと呼ぶ）、２はレン
ズ、３は圧電素子、４はダイクロイックプリズム、４
Ｒ，４Ｇ，４Ｂは前記ダイクロイックプリズム４の出射
側端面、５Ｒ，５Ｇ，５Ｂは補間処理部、６Ｒ，６Ｇ，
６Ｂは動領域検出部、７はフレーム合成部、８は画像合
成部、９Ｒ，９Ｇ，９Ｂは出力端子である。なお、図１
において、増幅器やＡ／Ｄ変換器は省略した。

【００１７】実施例１では、固体撮像素子としてＣＣＤ
を用いている。３つのＣＣＤのうち赤成分画像と青成分
画像を撮像するＣＣＤ１１Ｒおよび１１Ｂは通常の３板
式ＣＣＤカメラと同様に、ダイクロイックプリズム４の
出射側端面４Ｒ，４Ｂに接着し固定する。ＣＣＤ１１Ｇ
は上下左右に圧電素子３を取り付け、ダイクロイックプ
リズム４の出射側端面４Ｇに接近して配置する。この圧
電素子３によりＣＣＤ１１Ｇを垂直，水平方向に画素ピ
ッチの１／２の幅でフレーム周期に同期させながらシフ
トさせる。

【００１８】ＣＣＤ１１Ｒ，１１Ｇおよび１１Ｂで撮像
された信号は、それぞれ補間処理部５Ｒ，５Ｇ，５Ｂで
の補間処理によって、画素密度をＣＣＤによる撮像画素
数の４倍（水平，垂直各２倍）とする。各補間処理部５
Ｒ，５Ｇ，５Ｂでの補間法は、水平方向についてはフィ
ールド内補間し、一方、垂直方向については動領域検出
部６Ｒ，６Ｂからの信号を用いて、動領域ではフィール
ド内補間、静止領域ではフィールド間補間とする静／動
適応型の補間処理を行う。

【００１９】さらに、ＣＣＤ１１Ｇからの画像信号につ
いては、フレーム合成部７で合成する。フレーム合成部
７での合成方法を図２に示す。図２（ａ）はＣＣＤの光
電変換部の配列図であり、これをイメージシフト法で
左，下，右，上の繰り返しでフレーム周期に同期してシ
フトさせる。したがって、画像合成部８において各フレ
ームで撮像した画像を合成すると、合成画像における画
素の位置関係は図２（ｂ）に示すようになる。ここで、
Ｐ１を第ｎフレームで撮像した画像の画素とすると、Ｐ
２は第ｎ＋１フレームの画素、Ｐ３は第ｎ＋２フレーム
の画素、Ｐ４は第ｎ＋３フレームの画素となる。

【００２０】画像合成部８には、補間処理部５Ｇからの
画像信号およびフレーム合成部７からの画像信号を入力
し、さらに、動領域検出部６Ｇからの動き検出信号を入
力する。そして、動き検出信号が大きい場合は補間処理
部５Ｇからの画像信号を出力し、また、動き検出信号が
小さい場合はフレーム合成部７からの画像信号を出力す
る。画像合成部８で合成された信号を緑成分画像の出力
信号とし出力端子９Ｇより出力する。一方、赤および青
成分の画像信号は補間処理部５Ｒ，５Ｂで補間処理され
た後、出力端子９Ｒおよび９Ｂからそれぞれ出力され
る。

【００２１】動領域検出部６Ｒ，６Ｇおよび６Ｂでの動
き検出信号の生成法はＮＴＳＣで用いられている公知の
方法を用いる。なお、動領域検出部６Ｇでの動き検出信
号の生成法は前記の他、文献（特願平５−２２２０４号
参照）に記載の方法を採用することができる。

【００２２】上記画像合成部８に入力されるフレーム合
成部７からの信号は高精細化された緑成分画像であり、
これが動き検出信号があるレベルより小さいとき出力さ
れることから、緑成分画像の静止領域が高精細化され
る。〔実施例２〕本発明の第２の実施例の概略構成を図３に
示す。本実施例におけるレンズ２，ダイクロイックプリ
ズム４，ＣＣＤ１１Ｒ，１１Ｇ，１１Ｂ，圧電素子３等
の光学系構成は、実施例１と同じにする。本実施例で
は、画像合成部８で用いる動き検出信号として動領域検
出部６Ｒおよび６Ｂの出力信号を用いる。すなわち、赤
成分画像および青成分画像から得た動き検出信号を用い
る。そして、これら２つの動き検出信号のうち、いずれ
か一方が大きい場合は補間処理部５Ｇからの画像信号を
出力し、また動き検出信号が小さい場合はフレーム合成
部７からの画像信号を出力する。画像合成部８で合成さ
れた信号を緑成分画像の出力信号とし出力端９Ｇより出
力する。

【００２３】なお、この実施例２では、以上の点を除き
実施例１と同じ動作を行う。〔実施例３〕本発明の第３の実施例の概略構成を図４に
示す。図４において、１１１Ｇ，１１２ＧはＣＣＤ、４
１はダイクロイックプリズム、４１Ｒ，４１Ｂ，４１１
Ｇ，４１２Ｇは前記ダイクロイックプリズム４１の出射
側端面である。なお、図４ではダイクロイックプリズム
４１の構成の詳細は省略した。

【００２４】本実施例では、入射光を赤，青および２つ
の緑光に分岐するダイクロイックプリズム４１を使用す
る。すなわち、赤，青および２つの緑成分の被写体像を
ダイクロイックプリズム４１の４つの出射側端面４１
Ｒ，４１Ｂ，４１１Ｇ，４１２Ｇに結像し、これを４つ
のＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２Ｇにより撮
像する。緑成分画像撮像用の２つのＣＣＤのうちの１つ
１１２Ｇは上下左右に圧電素子３を取り付け、ダイクロ
イックプリズム４１の出射側端面４１２Ｇに近接して配
置する。また、緑成分画像撮像用の他のＣＣＤ１１１
Ｇ、および赤成分画像、青成分画像を撮像するＣＣＤ１
１Ｒおよび１１Ｂはダイクロイックプリズム４１の出射
側端面４１１Ｇ，４１Ｒ，４１Ｂにそれぞれ接着し固定
する。

【００２５】ＣＣＤ１１２Ｇは圧電素子３により垂直，
水平方向に画素ピッチの１／２の幅でフレーム周期に同
期させながらシフトさせる。そして、実施例１と同様の
方法により画像信号をフレーム合成部７で合成する。

【００２６】ＣＣＤ１１Ｒ，１１１Ｇ，１１Ｂで撮像さ
れた信号はそれぞれ補間処理部５Ｒ，５Ｇ，５Ｂでの補
間処理によって、画素密度をフレーム合成部７から出力
される画像と同一とする。補間処理部５Ｒおよび５Ｂで
の補間法は、水平方向についてはフィールド内補間し、
一方、垂直方向については動領域検出部６Ｒ，６Ｂから
の信号を用いて動領域ではフィールド内補間、静止領域
ではフィールド間補間とする静／動適応型の補間処理を
行う。また、補間処理部５Ｇでの処理は動領域、静止領
域にかかわらず全画面についてフィールド内補間処理を
施す。

【００２７】画像合成部８には、補間処理部５Ｇからの
画像信号およびフレーム合成部７からの画像信号を入力
し、さらに動領域検出部６Ｇからの動き検出信号を入力
する。そして、動き検出信号が大きい場合は補間処理部
５Ｇからの画像信号を出力し、また、動き検出信号が小
さい場合はフレーム合成部７からの画像信号を出力す
る。画像合成部８で合成された信号を緑成分画像出力信
号とし出力端子９Ｇより出力する。一方、赤および青成
分の画像信号は補間処理部５Ｒ，５Ｂで補間処理された
後、出力端子９Ｒおよび９Ｂからそれぞれ出力される。

【００２８】なお、動領域検出部６Ｒおよび６Ｂでの動
き検出信号の生成法は、ＮＴＳＣで用いられている公知
の方法を用いる。画像合成部８に入力されるフレーム合
成部７からの信号は高精細化された緑成分画像であり、
これが動き検出信号が小さいとき出力されることから、
緑成分画像の静止領域が高精細化される。〔実施例４〕本発明の第４の実施例の概略構成を図５に
示す。本実施例におけるレンズ２，ダイクロイックプリ
ズム４１，ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２
Ｇ，圧電素子３等の光学系構成は実施例３と同じとす
る。本実施例では、補間処理部５Ｇでの補間処理におい
て、ＣＣＤ１１１Ｇの画像信号に加え、ＣＣＤ１１２Ｇ
で撮像された画像信号も利用する。補間処理部５Ｇにお
ける補間処理法を図６〜図９により説明する。

【００２９】図６〜図９において、実線の正方形で示さ
れる画素はＣＣＤ１１１Ｇで撮像された緑成分画像の画
素であり、円形で示される画素がＣＣＤ１１２Ｇで撮像
された画素である。また、網掛けおよび斜線で塗りつぶ
された正方形、および円形は各フィールドでサンプリン
グされた画素である。また、図６〜図９において、Pq
(m,n)(q=1〜4、m=i,i+1、n=j,j+1)は画素位置を示す。こ
こで、ｉ，ｉ＋１は各ＣＣＤ１１Ｒ，１１Ｂ，１１１
Ｇ，１１２Ｇの水平方向の画素アドレス、ｊ，ｊ＋１は
垂直方向の画素アドレス（ライン番号）である。さら
に、図６〜図９において、ｋ，ｋ＋１…は補間処理後の
画像におけるライン番号である。

【００３０】ＣＣＤ１１２Ｇではイメージシフト法によ
り撮像されるため、フレーム毎に画素位置が異なる。い
ま、第ｎフレームでの画素配置がＣＣＤ１１１Ｇの画素
位置（Ｐ１（ｍ，ｎ）で示す位置）と同じとする。ただ
し、ＣＣＤ１１１ＧとＣＣＤ１１２Ｇで画素配列を１ラ
インずらして配置するものとする。第ｎフレームにおけ
る画素配置を図６に示す。図６（ａ）は奇数フィールド
の画素配置、図６（ｂ）は偶数フィールドの画素配置を
示す。両ＣＣＤ１１１Ｇ，１１２Ｇは１ラインずれて配
置されているため、奇数フィールドで、ＣＣＤ１１１Ｇ
ではｊ番目のラインの画素がサンプリングされるのに対
し、ＣＣＤ１１２Ｇではｊ＋１番目のラインの画素がサ
ンプリングされる。第ｎフレームの奇数フィールドでは
補間処理部５Ｇからｋ，ｋ＋２、…ラインの画像を出力
する。したがって、補間処理部５Ｇからの出力画像では
両ＣＣＤ１１１Ｇ，１１２Ｇからの信号が奇数ラインお
よび偶数ラインの信号としてそれぞれ出力される。ただ
し、Ｐ２（ｍ，ｎ）で示される画素ではサンプリングデ
ータがないため、左右のＰ１（ｍ，ｎ）で示される画素
の平均値をとりその画素の値とすることにより補間され
る。

【００３１】図６（ｂ）に第ｎフレームの偶数フィール
ドでの画素配置を示す。このフィールドではＣＣＤ１１
１Ｇではｊ＋１番目のラインの画素がサンプリングさ
れ、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサンプ
リングされる。しかし、このフィールドで補間処理部５
Ｇから出力されるラインはｋ＋１，ｋ＋２，…であり、
このラインの画素（Ｐ３（ｍ，ｎ），Ｐ４（ｍ，ｎ）で
示す画素）はサンプリングされていない。そこで、
（１），（２）式にしたがって内挿法によりサンプリン
グされた画素からＰ３（ｍ，ｎ），Ｐ４（ｍ，ｎ）で示
す画素の値を求めて出力する。

【００３２】

【数１】 P3(i,j)={P1(i,j)+P1(i+1,j)+P1(i,j+1)+P1(i+1,j+1)} ／４ ……（１） P4(i,j)={P1(i,j)+P1(i,j+1)} ／２ ……（２）図７（ａ）に第ｎ＋１フレームの奇数フィールドでの画
素配置を示す。このフィールドではＣＣＤ１１１Ｇでは
ｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１
２Ｇではｊ＋１番目のラインの画素がサンプリングされ
る。ここで、ＣＣＤ１１１Ｇでは前フレームの奇数フィ
ールドと同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で
示される画素）がサンプリングされるのに対し、ＣＣＤ
１１２Ｇではイメージシフト法により画素位置がＣＣＤ
の撮像面上で右に１／２画素ピッチ分（出力側で１画素
ピッチ分）だけシフトし、サンプリング画素はｊ＋１番
目のラインのＰ２（ｍ，ｎ）で示す画素となる。このフ
ィールドでは補間処理部５Ｇからｋ，ｋ＋２，…ライン
の画像が出力される。そこで、出力画像でのｋラインに
おけるＰ２（ｍ，ｎ）で示される画素では、左右のＰ１
（ｍ，ｎ）で示される画素の平均値をとりその画素の値
とし、一方、ｋ＋２ラインにおけるＰ１（ｍ，ｎ）で示
される画素では、左右のＰ２（ｍ，ｎ）で示される画素
の平均値をとりその画素の値とする。

【００３３】図７（ｂ）に第ｎ＋１フレームの偶数フィ
ールドでの画素配置を示す。このフィールドではＣＣＤ
１１１Ｇではｊ＋１番目のラインの画素がサンプリング
され、ＣＣＤ１１２Ｇではｊ番目のラインの画素がサン
プリングされる。しかし、このフィールドで補間処理部
５Ｇから出力されるラインはｋ＋１，ｋ＋３，…であ
り、このラインの画素（Ｐ３，Ｐ４で示す画素）はサン
プリングされていない。そこで、（３），（４）式にし
たがってサンプリング画素からＰ３，Ｐ４で示す画素の
値を求めて出力する。

【００３４】

【数２】 P3(i,j)={P1(i,j)+P1(i+1,j)+2 x P2(i,j+1)} ／４ ……（３） P4(i,j)={2 x P1(i,j)+P2(i-1,j+1)+P2(i,j+1)} ／４ ……（４）図８（ａ）に第ｎ＋２フレームの奇数フィールドでの画
素配置を示す。このフィールドではＣＣＤ１１１Ｇでは
ｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１
２Ｇではｊ＋１番目のラインの画素がサンプリングされ
る。ＣＣＤ１１２Ｇでは前フレームの奇数フィールドと
同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される
画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇ
ではイメージシフト法により画素位置がＣＣＤの撮像面
上で下に１／２画素ピッチ分（出力側で１画素ピッチ
分）だけシフトし、サンプリング画素はｊ＋１番目のラ
インのＰ３（ｍ，ｎ）で示す画素となる。このフィール
ドでは補間処理部５Ｇからｋ，ｋ＋２，…ラインの画像
が出力される。そこで、出力画像でのｋラインおけるＰ
２（ｍ，ｎ）で示される画素では左右のＰ１で示される
画素の平均値をとりその画素の値とし、一方、ｋ＋２ラ
インにおけるＰ１（ｍ，ｎ）およびＰ２（ｍ，ｎ）で示
される画素では（５），（６）式にしたがってサンプリ
ング画素からこれらの画素の値を求めて出力する。

【００３５】

【数３】 P1(i,j+1)={P3(i-1,j+1)+P3(i,j+1)+P1(i,j)} ／３ ……（５） P2(i,j+1)={4 x P3(i,j+1)+P1(i,j)+P1(i+1,j)} ／６ ……（６）図８（ｂ）に第ｎ＋２フレームの偶数フィールドでの画
素配置を示す。このフィールドではＣＣＤ１１１Ｇでは
ｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ
１１２Ｇではｊ番目のラインの画素がサンプリングされ
る。このフィールドでは補間処理部５Ｇからｋ＋１，ｋ
＋３，…ラインの画像が出力されるが、これらのライン
におけるＰ３およびＰ４で示される画素はサンプリング
されていない。そこで、ｋ＋１ラインのＰ４で示される
画素では左右のＰ３で示される画素の平均値をとりその
画素の値とし、一方、ｋ＋３ラインにおけるＰ３および
Ｐ４で示される画素では（７），（８）式にしたがって
サンプリング画素からこれらの画素の値を求めて出力す
る。

【００３６】

【数４】 P3(i,j+1)={P1(i,j+1)+P1(i+1,j+1)+P3(i,j+2)} ／３ ……（７） P4(i,j+1)={4 x P1(i,j+1)+P3(i-1,j+2)+P3(i,j+2)} ／６ ……（８）図９（ａ）に第ｎ＋３フレームの奇数フィールドでの画
素配置を示す。このフィールドではＣＣＤ１１１Ｇでは
ｊ番目のラインの画素がサンプリングされ、ＣＣＤ１１
２Ｇではｊ＋１番目のラインの画素がサンプリングされ
る。ＣＣＤ１１１Ｇでは前フレームの奇数フィールドと
同一画素（ｊ番目のラインのＰ１（ｍ，ｎ）で示される
画素）がサンプリングされるのに対し、ＣＣＤ１１２Ｇ
ではイメージシフト法により画素位置がＣＣＤの撮像面
上で左に１／２画素ピッチ分（出力側で１画素ピッチ
分）だけシフトし、サンプリング画素はｊ＋１番目のラ
インのＰ４で示す画素となる。このフィールドでは補間
処理部５Ｇからｋ，ｋ＋２，…ラインの画像が出力され
る。そこで、出力画像でのｋラインおけるＰ２（ｍ，
ｎ）で示される画素では左右のＰ１（ｍ，ｎ）で示され
る画素の平均値をとりその画素の値とし、一方、ｋ＋２
ラインにおけるＰ１（ｍ，ｎ）およびＰ２（ｍ，ｎ）で
示される画素では（９），（１０）式にしたがってサン
プリング画素からこれらの画素の値を求めて出力する。

【００３７】

【数５】 P1(i,j+1)={P1(i,j)+2 x P4(i,j+1)} ／３ ……（９） P2(i,j+1)={P1(i,j)+P1(i+1,j)+2xP4(i,j+1)+2xP4(i+1,j+1)} ／６ ……（１０）図９（ｂ）に第ｎ＋３フレームの偶数フィールドでの画
素配置を示す。このフィールドではＣＣＤ１１１Ｇでは
ｊ＋１番目のラインの画素がサンプリングされ、ＣＣＤ
１１２Ｇではｊ番目のラインの画素がサンプリングされ
る。このフィールドでは補間処理部５Ｇからｋ＋１，ｋ
＋３，…ラインの画像が出力されるが、これらのライン
における、Ｐ３およびＰ４で示される画素はサンプリン
グされていない。そこで、ｋ＋１ラインのＰ４で示され
る画素では左右のＰ３で示される画素の平均値をとりそ
の画素の値とし、一方、ｋ＋３ラインにおけるＰ３およ
びＰ４で示される画素では（１１），（１２）式にした
がってサンプリング画素からこれらの画素の値を求めて
出力する。

【００３８】

【数６】 P3(i,j+1)={P4(i,j+2)+P4(i+1,j+2)+2xP1(i,j+1)+P1(i+1,j+1)} ／６ ……（１１） P4(i,j+1)={2xP1(i,j+1)+P4(i,j+2)} ／３ ……（１２）以上４フレーム（８フィールド）の処理が順次繰り返し
て行われる。この実施例４では以上述べた補間処理部５
Ｇでの処理を除き、実施例１と同じである。本実施例で
は補間処理をＣＣＤ１１２Ｇからの信号を用いるため、
緑成分画像の動領域も高精細にすることができる。〔実施例５〕本発明の第５の実施例の概略構成を図１０
に示す。本実施例におけるレンズ２，ダイクロイックプ
リズム４１，ＣＣＤ１１Ｒ，１１Ｂ，１１１Ｇ，１１２
Ｇ，圧電素子３等の光学系構成は実施例３と同じとす
る。この実施例５でも補間処理部５Ｇでの補間処理にお
いて、ＣＣＤ１１１Ｇの画像信号に加え、ＣＣＤ１１２
Ｇで撮像された画像信号も利用する。さらに、本実施例
ではフレーム合成部７でＣＣＤ１１２Ｇの画像信号に加
え、ＣＣＤ１１１Ｇからの緑成分画像信号も用いてフレ
ーム合成を行う。

【００３９】この実施例５で、ＣＣＤ１１２Ｇ用いるイ
メージシフト法を図１１に示す。図１１において、実線
の正方形で示される画素はＣＣＤ１１１Ｇで撮像される
緑成分画像の画素であり、円形で示される画素がＣＣＤ
１１２Ｇで撮像される画素である。前記各実施例で用い
たイメージシフト法では画素ピッチの１／２ずつ右，
下，左，上の順でシフトさせて、４フレームで１つの画
素が４つの位置をサンプリングしたのに対し、この実施
例５では下，左，右上の順でシフトさせてＣＣＤ１１１
Ｇでサンプリングされる位置を除く３つの位置を３フレ
ームでサンプリングする。そして、フレーム合成はＣＣ
Ｄ１１２Ｇで撮像された３フレーム分の画素およびＣＣ
Ｄ１１１Ｇで撮像された１フレーム分の画素を合成して
行う。

【００４０】なお、この実施例５では上記フレーム合成
部７での処理を除き、実施例４と同様の動作である。〔実施例６〕本発明の第６の実施例の概略構成を図１２
に示す。図１２において、７Ｒおよび７Ｂはフィールド
間補間処理部、８Ｒ，８Ｇおよび８Ｂは画像合成部、Ａ
Ｒ，ＡＢおよび６ＲＧＢは加算器、ＨＦはハイパスフィ
ルタである。この実施例６におけるレンズ２，ダイクロ
イックプリズム４，ＣＣＤ１１Ｒ，１１Ｇ，１１Ｂ，圧
電素子３等の光学系構成は実施例１と同じとする。上記
各実施例では、いずれも赤および青成分画像の静止領域
の高精細化を現フィールドと前フィールドの２フィール
ド間の補間で実現したが、この実施例６ではこの補間処
理後の信号に緑成分の高周波成分を加えることにより、
より高精細な赤および青成分画像を実現する。すなわ
ち、フレーム合成部７Ｇで合成された緑成分の画像信号
のうちハイパスフィルタＨＦを通過させた信号を、フィ
ールド間補間処理部７Ｒおよび７Ｂで補間処理された青
成分および赤成分の画像信号にそれぞれ加算器ＡＲ，Ａ
Ｂで加算する。この処理は、赤および青成分画像と緑成
分画像の高周波成分間の相関性を利用して、赤および青
成分画像の高精細化を実現する処理である。

【００４１】上記高精細化処理を行うためには、現フィ
ールドから過去８フィールドにわたり注目画素が動領域
でないことが条件となる。したがって、動領域検出部６
Ｒおよび６Ｂでは前記実施例のようにＮＴＳＣ等で用い
られている公知の方法を使用することはできない。そこ
で、本実施例では過去８フィールド間の輝度変化を全て
検出する。図１３にこの実施例６での動領域検出部６Ｒ
および６Ｂでの動き検出信号の算出法を示す。いま、現
フィールドを第ｍフィールドとし、図１４のＰ１（ｉ，
ｊ）で示される画素の動き係数の算出をするものとす
る。なお、赤および青成分画像用のＣＣＤ１１Ｒ，１１
Ｂは固定されているため、図１４で実線の四角で示され
る画素のみサンプリングされることになる。第ｍフィー
ルドでの画素Ｐ１（ｉ，ｊ）の信号値をＰ１（ｉ，ｊ）
_m と表すことにすれば、本実施例での動領域検出部６Ｒ
での動き検出信号ｋ_R は（１３）式で与えるものとす
る。

【００４２】

【数７】 k_R ＝｜P1(i,j)_m −P1(i,j)_m-2｜＋｜P1(i,j)_m-2−P1(i,j)_m-4｜＋｜P1(i,j)_m-4−P1(i,j)_m-6｜＋｜P1(i,j)_m-6−P1(i,j)_m-8｜＋｜P1(i,j)_m-1−P1(i,j)_m-3｜＋｜P1(i,j)_m-3−P1(i,j)_m-5｜＋｜P1(i,j)_m-5−P1(i,j)_m-7｜ ……（１３）ただし、ＣＣＤは全てインタレース方式で駆動するた
め、第ｍフィールドで画素Ｐ１（ｉ，ｊ）を含むｊライ
ンが走査されているとすれば、m-1 ，m-3 ，m-5，m-7
の各フィールドではｊラインが走査されないため、画素
Ｐ１（ｉ，ｊ）の信号値を得ることができない。そこ
で、これらのフィールドにおいては、そのフィールドで
走査される上下のラインにある画素Ｐ１（ｉ，ｊ−１）
およびＰ１（ｉ，ｊ＋１）の信号値の平均値を用いるこ
ととする。また、動領域検出部６Ｂでの動き検出信号k_B
もk_Rと同様にして求める。

【００４３】この実施例６では赤，緑および青成分画像
で動領域を同一とするため１つの動き検出信号ｋで各色
成分画像の動領域と静止領域の判定を行う。動き検出信
号ｋは（１４）式により算出する。

【００４４】

【数８】ｋ＝k_R ＋ k_G ＋ k_B ……（１４）上記動き検出信号ｋを用い、画像合成部８Ｒ，８Ｇおよ
び８Ｂでそれぞれ静止領域画像と動領域画像を合成す
る。

【００４５】本実施例でも赤および青成分画像の撮像用
ＣＣＤは固定されているため、これらの画像には高周波
成分は含まれないが、緑成分画像の高周波成分との相関
性を利用して、これを加えることにより赤および青成分
画像の高精細化を実現する。

【００４６】以上においては、本発明の６つの実施例を
示したにとどまり、本発明の精神を脱することなく種々
の変更が可能なことはいうまでもない。例えば、上記実
施例では固体撮像素子としてＣＣＤを用いたが、固体撮
像素子の種類を問わず実施することが可能である。

【００４７】また、上記実施例では静止領域の緑成分画
像をＣＣＤを１方向について画素ピッチの１／２だけず
らした画像を合成して生成したが、画素ピッチの１／３
または１／４づつずらし、さらに解像度の高い画像を合
成することも可能である。

【００４８】また、上記実施例では圧電素子３でＣＣＤ
１１Ｒ，１１Ｂ，１１Ｇ，１１１Ｇ，１１２Ｇ等を振動
させるシフト手段によるイメージシフト法を用いて、撮
像素子上で被写体像をシフトさせたが、例えば、ダイク
ロイックプリズムと撮像素子の間で透明板を振動させる
方法等いずれのシフト手段を用いても本発明の実施が可
能である。

【００４９】また、上記実施例では、ダイクロイックプ
リズムを用いる３ＣＣＤ方式および４ＣＣＤ方式につい
て述べたが、２個のＣＣＤを用い赤成分と青成分の画像
を１つのＣＣＤで撮像する方法でも本発明の実施は可能
である。

【００５０】

【発明の効果】本発明は以上説明したように、色分解プ
リズムと複数の固体撮像素子を備えたカラー撮像装置に
おいて、少なくとも１つの固体撮像素子をフィールドあ
るいはフレーム周期に同期させて、画素ピッチの整数分
の１の長さづつ水平方向または垂直方向、あるいは水
平，垂直の両方向にシフトさせるシフト手段を有するの
で、それぞれの領域および色に適した特性で画像の取り
込みが可能となる。すなわち、画像の精細度を決定する
静止領域については画素数の少ない撮像素子を用いても
時間をかけることにより十分高精細に撮像することがで
きる。また、動領域については従来の動画撮像と同一速
度で撮像でき、自然な動画像を撮像できる。以上から、
本発明のカラー撮像装置では画素数の少ない固体撮像素
子を用いても高精細な動画の撮像が可能である。このた
め、ＨＤＴＶなどの高精細な動画撮像装置を低コストで
実現できる。さらに、ＨＤＴＶ用などの高解像度の撮像
素子を用いて本発明を実施すれば、従来にはない超高精
細な動画の撮像が可能となる。

【００５１】また、本発明は連続する複数のフレームま
たはフィールド画像を合成する画像合成手段、および撮
像画像から動領域を検出する動領域検出手段を備えてい
るので動領域を検出して取り出すことができるため、受
信側への伝送に当たってはこの動領域と静止領域におい
て１コマ前に動領域であった部分のみの信号を送ればよ
く伝送信号を容易に圧縮することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の概略構成を示すブロッ
ク図である。

【図２】第１の実施例でのフレーム合成法を示す図であ
る。

【図３】本発明の第２の実施例の概略構成を示すブロッ
ク図である。

【図４】本発明の第３の実施例の概略構成を示すブロッ
ク図である。

【図５】本発明の第４の実施例の概略構成を示すブロッ
ク図である。

【図６】本発明の第４の実施例の撮像画像と出力画像の
画素位置関係をフレームおよびフィールド毎に示す図で
ある。

【図７】本発明の第４の実施例の撮像画像と出力画像の
画素位置関係をフレームおよびフィールド毎に示す図で
ある。

【図８】本発明の第４の実施例の撮像画像と出力画像の
画素位置関係をフレームおよびフィールド毎に示す図で
ある。

【図９】本発明の第４の実施例の撮像画像と出力画像の
画素位置関係をフレームおよびフィールド毎に示す図で
ある。

【図１０】本発明の第５の実施例の概略構成を示すブロ
ック図である。

【図１１】第５の実施例で用いるイメージシフト法の説
明図である。

【図１２】本発明の第６の実施例の概略構成を示すブロ
ック図である。

【図１３】第６の実施例における動領域検出部での動き
検出信号の算出法を示す図である。

【図１４】第６の実施例の撮像画像と出力画像の画素位
置関係を示す図である。

【図１５】本発明によるイメージシフト法による高解像
度化の原理説明図である。

【図１６】従来のダイクロイックプリズムを用いるカラ
ー撮像装置の概略構成図である。

【符号の説明】

２レンズ３圧電素子４ダイクロイックプリズム５Ｒ補間処理部５Ｇ補間処理部５Ｂ補間処理部６Ｒ動領域検出部６Ｇ動領域検出部６Ｂ動領域検出部７フレーム合成部８画像合成部９Ｒ出力端子９Ｇ出力端子９Ｂ出力端子１１ＲＣＣＤエリアセンサ１１ＧＣＣＤエリアセンサ１１ＢＣＣＤエリアセンサ４１ダイクロイックプリズム

Claims

【特許請求の範囲】

【請求項１】色分解プリズムと複数の固体撮像素子を
備えたカラー撮像装置において、少なくとも１つの固体撮像素子をフィールドあるいはフ
レーム周期に同期させて、画素ピッチの整数分の１の長
さづつ水平方向または垂直方向、あるいは水平，垂直の
両方向にシフトさせるシフト手段を有することを特徴と
するカラー撮像装置。
【請求項２】連続する複数のフレームまたはフィール
ド画像を合成する画像合成手段、および撮像画像から動
領域を検出する動領域検出手段を備えていることを特徴
とする請求項１記載のカラー撮像装置。