JP2004015236A

JP2004015236A - 撮像装置

Info

Publication number: JP2004015236A
Application number: JP2002163471A
Authority: JP
Inventors: Hidetoshi Wada; 和田　秀俊
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-06-04
Filing date: 2002-06-04
Publication date: 2004-01-15
Also published as: US20030222989A1

Abstract

【課題】全画素の信号を読み出すときにフレームレートの低いメガピクセルクラスのＣＣＤ撮像素子で構成されるビデオカメラ部を持つ撮像装置において、構図調整時にはフレームレートを高くすることにより構図調整の行い易い撮像装置を提供する。
【解決手段】被写体を結像させる結像光学系と、この結像光学系により結像された像を電気的な画像信号に変換して出力するＣＣＤイメージセンサと該イメージセンサの駆動を制御する駆動制御手段を有する画素信号出力手段と、該画素信号出力手段により出力された画素信号を処理して画像データを生成するカメラ信号処理手段と、被写体の動きを検出する動き検出手段とから構成される。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ撮像素子を用いた撮像装置、特に書画カメラに関するものである。
【０００２】
【従来の技術】
プレゼンテーション用の装置としてオーバーヘッドプロジェクタ（以下、ＯＨＰと呼ぶ）と呼ばれる機器がある。これは透明フィルムに書き込み或いはコピーした書類に投光し、その透過光もしくは反射光を拡大光学系を通してスクリーンに投射するものである。
【０００３】
しかし近年、原稿台に置いた原稿をビデオカメラで撮影し、ビデオカメラ部から出力された映像信号をプロジェクターによってスクリーンに投射したり、テレビジョンやパーソナルコンピュータ・モニターに映す、いわゆる書画カメラと呼ばれる機器が使われている。
【０００４】
【発明が解決しようとする課題】
従来、この書画カメラのビデオカメラ部は、カメラ一体型ＶＴＲのカメラ部を流用したものが多かった。しかしＤＶ規格のビデオカメラでも出力される画素数は７２０（Ｈ）＊４８０（Ｖ）しかないために、例えば細かい文字原稿などでは解像度の面で物足りない場合があった。
【０００５】
そのため１０２４（Ｈ）＊７６８（Ｖ）や１２００（Ｈ）＊１６００（Ｖ）のような高解像度の映像信号を出力するビデオカメラを用いた書画カメラが登場している。
【０００６】
ここで１２００（Ｈ）＊１６００（Ｖ）のような高解像度の映像信号を出力するには、単板ＣＣＤ撮像素子を用いると２００万画素クラスのものが必要となる。しかしＣＣＤ撮像素子は駆動クロックがある程度制限され、例えば２００万画素ＣＣＤ撮像素子の全画素を読み出すと、標準テレビジョンフォーマットの信号が３０フレーム／秒（実際には６０フィールド／秒）であるのに対して、約５フレーム／秒程度となってしまう。
【０００７】
そのため３００万画素クラスのＣＣＤ撮像素子のビデオカメラ部を持つ書画カメラから出力された映像信号はフレームレートが低いことから動画としては品位の低いものとなってしまい、原稿を原稿台に位置決めする際にも難しくなってしまう。
【０００８】
高画質な静止画像と両立する動画像を撮像する手段として、特開２０００−２９９８１０号公報（撮像装置）において、標準テレビジョンフォーマットの画像を出力する撮像装置において、標準テレビジョンフォーマットに基づく画像を表示するのに必要とされる画素数よりも多い画素を有する撮像素子を用いて、動画像を撮像するときにはＣＣＤ撮像素子をインターレース読み出しと垂直高速転送を行い、静止画を撮像するときには全画素読み出しもしくはＣ．Ｃ．駆動により垂直方向に画素を加算せずに画素信号を読み出して高画質な静止画を得る方法が公開されている。
【０００９】
前記の手段は標準テレビジョンフォーマットの動画像の撮像を基本としており、標準テレビジョンフォーマットの動画像を撮像するためＣＣＤ撮像素子はインターレース読み出しが可能であり、なおかつ、高画質静止画を撮像するために全画素非加算読み出しも可能なものを用いる。
【００１０】
しかし、ＣＣＤ撮像素子の読み出し速度にはある程度の限界があるため、標準テレビジョンフォーマットの信号を撮像するＣＣＤ撮像素子の有効画素数も必然的に制限され、例えばデジタルスチルカメラ等に用いられる３００万画素クラス以上の多画素のＣＣＤ撮像素子に前記の手段を適用することは難しい。
【００１１】
本発明はこのような問題点に鑑みなされたもので、全画素の信号を読み出すときにフレームレートの低いメガピクセルクラスのＣＣＤ撮像素子で構成されるビデオカメラ部を持つ撮像装置において、構図調整の行い易い撮像装置を提供することを目的とするものである。
【００１２】
【課題を解決するための手段】
ＣＣＤ撮像素子の撮像信号を高速に読み出す手段として、特開平９−２９８７５５号公報（個体撮像素子）に全画素読み出し時と色シーケンスを保ってライン間引きを行う方法がある。
【００１３】
例えば２つのラインを読み出して、もう２つのラインを間引いて読み出さないように撮像素子駆動回路１−９がＣＣＤ撮像素子１−２を駆動すれば、結果的にＣＣＤ撮像素子１−２のラインを半分間引いたことになり、垂直解像度は半分になるが、半分の時間で画素データを読み出すことが出来る。
【００１４】
図３はＣＣＤ撮像素子の画素の配列を表した図であり、図の左の数字はラインの番号を示している。ここで通常は１ライン目、２ライン目、３ライン目と言うように順番にラインを読み出すが、１ライン目と２ライン目を読み出した次は、５ライン目と６ライン目を読み出し、次は９ライン目と１０ライン目を読み出すように全画素のラインを読み出すときと同じ色シーケンスを保ってライン間引きを行うことにより、ＣＣＤ撮像素子の持つラインの半分を間引いたことになり、結果的にフレームレートが２倍になる。
【００１５】
図４に全てのラインの画素信号を読み出したときに出力される映像信号と、間引き読み出しをしたときに出力される映像信号の様子を示す。ここでは読み出すラインを１／４に削減したときに出力される映像信号を表しており、全てのラインを読み出すときと比較して１／４にラインを間引きしたときにはフレームレートが４倍になることを表している。
【００１６】
本発明の撮像装置は、被写体を結像させる結像光学系と、前記結像光学系により結像された像を電気的な画素信号に変換して出力するＣＣＤ撮像素子と前記ＣＣＤ撮像素子の駆動を制御する駆動制御手段とを有する画素信号出力手段と、前記画素信号出力手段により出力された画素信号を処理して画像データを生成するカメラ信号処理手段と、被写体の動きを検出する動き検出手段を備えたものである。
【００１７】
本発明は前記の構成によって前記のＣＣＤ撮像素子からの高速読み出し方法を用い、画素信号出力手段から出力された画素信号より、前記動き検出手段において撮像した画像の動きを検出し、動きが検知された場合には前記のＣＣＤ撮像素子の間引き読み出しによる高速読み出し方法を用いて画素信号出力手段のＣＣＤ撮像素子の駆動制御手段によりＣＣＤ撮像素子のラインを間引きながら読み出してフレームレートを上げ、動きが検知されない場合には画素信号出力手段のＣＣＤ撮像素子の駆動制御手段によりＣＣＤ撮像素子のラインは間引かずに全ラインを読み出すことにより、３００万画素クラス以上の多画素のＣＣＤ撮像素子を持つ書画カメラにおいて、原稿の位置決めやカメラ部の画角の調整時にはフレームレートを高くして原稿の位置決めやカメラ部の画角の調整を行いやすくするものである。
【００１８】
【発明の実施の形態】
図１は本発明の一実施例である。ここで撮像光学系１−１から入射し結像した画像は、ＣＣＤ撮像素子１−２で画素信号に変換される。前記ＣＣＤ撮像素子１−２から出力された画素信号はＣＤＳ／ＡＧＣ１−３にて相関二重サンプリングによりノイズ低減処理され利得調整される。アナログ画素信号はＡ／Ｄ変換器１−４にてデジタル化されカメラ信号処理回路１−５に入力される。
【００１９】
またＡ／Ｄ変換器１−４から出力されたデジタル画素信号は動き判別回路１−７にも入力される。
【００２０】
図２は動き判別回路１−７の構成を表した図である。ここで前記Ａ／Ｄ変換器１−４から入力したデジタル画素信号を二値化回路２−１で二値化する。
【００２１】
二値化の方法としては、入力されたデジタル画素信号のレベルがあるレベルより高いか低いかを比較器で判定しても良いし、フィルターで帯域制限を行いゼロクロス値をとっても良い。例えばバンドパスフィルターで帯域制限を行うことにより、低域が制限されることにより撮像画像の明るさに影響されにくくなり、また高域を制限することにより高域に多く含まれる雑音の影響を少なくすることが出来るので本発明における二値化に適している。
【００２２】
二値化された画素信号は、一方はそのままＥＸＯＲ２−３に入力され、もう一方はメモリ２−２を経由してＥＸＯＲ２−３に入力される。
【００２３】
メモリ２−２には二値化回路２−１から入力された二値化画素信号を、図１における撮像素子駆動制御回路１−８から入力される動き判別ライン信号に基づいて記憶する。
【００２４】
撮像素子駆動制御回路１−８から入力する動き判別ライン信号は、後述するが、撮像素子駆動回路１−９がＣＣＤ撮像素子１−２を間引き駆動するよう制御させているとき、間引きをしないラインを判別する信号として出力される。また間引き駆動していないときにも、間引き駆動をしているときと同様に間引き駆動時に間引かないラインを判別する信号として動き判別ライン信号を出力する。
【００２５】
よって撮像素子駆動制御回路１−８は動き判別ライン信号を、間引き駆動をするときにはライン毎に出力し、間引き駆動をしないときには間引き率に応じて数ラインに一回出力する。
【００２６】
メモリ２−２では、撮像素子駆動制御回路１−８から入力した動き判別ライン信号により、間引き駆動をしているときにも間引き駆動をしていないときにも共に、間引きされないラインから出力された二値化画素信号のみを記憶する。
【００２７】
そしてメモリ２−２に記憶した二値化画素信号を、ＣＣＤ撮像素子１−２上において同じ位置関係となるように現フレームの二値化回路２−１から出力される二値化画素信号と同じタイミングで出力する。
【００２８】
すなわちメモリ２−２からは間引き駆動時にも間引き駆動ではなかったときにも同じ位置のラインの二値化画素信号を、１フレーム後のＣＣＤ撮像素子１−２上において同じ位置関係の二値化画素信号と同じタイミングで出力する。
【００２９】
図５は全ライン読み出し駆動時と、間引き読み出し駆動時の二値化回路２−１出力信号とメモリ２−２出力信号を表した図である。ここで全ライン読み出し駆動時には、二値化回路出力信号は１ライン目から順番に出力され、メモリ出力は間引きされないラインのみ出力されている。
【００３０】
また間引き読み出し駆動時にはＣＣＤ撮像素子１−２からはライン間引きされて出力されるために、二値化回路出力信号は１ライン目、２ライン目の次は、５ライン目と６ライン目となり、同様に二値化回路出力信号と同じタイミングでメモリ出力も１ライン目と２ライン目、５ライン目と６ライン目と出力する。
【００３１】
このようにメモリ２−２を制御することにより、全ライン読み出し駆動から間引き読み出し駆動に切り替わったとしても、メモリ２−２には間引き駆動時に出力されるラインと同じラインの二値化画素信号しか記憶・出力しないため、二値化回路２−１から出力される現時刻の二値化画素信号と同じタイミングでＣＣＤ撮像素子１−２上での同じ位置関係の二値化画素信号を出力することができる。
【００３２】
前記のように二値化回路２−１から出力した現時刻の二値化画素信号とメモリ２−２から出力した１フレーム過去の二値化画素信号により、ＥＸＯＲ２−３にて排他的論理和を取る。
【００３３】
ＥＸＯＲ２−３では入力した二値化画素信号が‘０’と‘１’もしくは‘１’と‘０’のように一致しないときに‘１’を出力する。また入力した二値化画素信号が‘０’と‘０’もしくは‘１’と‘１’のように一致したときに‘０’を出力する。
【００３４】
これはすなわち現時刻と１フレーム過去の二値化された画素信号を比較して、両方のデータが一致すれば一致判別信号として‘０’を出力して撮像された画素信号に動きが無かったと判定し、両方のデータが一致しなければ一致判別信号として‘１’を出力して撮像された画素信号に動きがあったと判定するものである。
【００３５】
そしてＥＸＯＲ２−３から出力した画素ごとの動き判別を表す一致判別信号をカウンタ２−４に入力する。
【００３６】
カウンタ２−４ではＥＸＯＲ２−３から出力された一致判別信号を計数する。そして１フレーム時間計数を行い、計数結果を動き量信号として出力する。これはすなわち１フレーム過去と現時刻の画像を比較して、動きがあったと判別される画素の数を計数していることになる。
【００３７】
ここでカウンタ２−４は１フレーム時間の全ての画素信号の一致判別信号を計数せず、図１における撮像素子駆動制御回路１−８より出力される動き判別ライン信号により、撮像素子駆動回路１−９がＣＣＤ撮像素子１−２を間引き駆動したときにも読み出されるラインに該当する画素信号による一致判別信号のみを計数する。
【００３８】
そしてＣＣＤ撮像素子１−２が間引き駆動されても読み出されるラインに該当する画素信号による一致判別信号を１フレーム分計数した結果を動き量信号として出力する。
【００３９】
このようにカウンタ２−４を制御することにより、全ライン読み出し駆動から間引き読み出し駆動に切り替わったとしても、ＥＸＯＲ２−３において現時刻と１フレーム過去の同じラインの画素信号同士で論理を取った一致判別信号のみを計数することができる。
【００４０】
カウンタ２−４から出力した動き量信号は比較器２−５に入力する。比較器２−５には動き量信号を入力する他に任意の値として動き判定値を設定する。
【００４１】
ここで設定する動き判定値は任意の値を設定しても良いが、ＣＣＤ撮像素子１−２で撮像されＣＤＳ／ＡＧＣ回路１−３で雑音低減と利得制御を行った画素信号の雑音レベルを考慮して、例えば明るい場所で撮像された画像では雑音レベルは低いと考えられるので動き判定値は低く設定し、逆に暗い場所で撮像された画像では雑音レベルが高くなると考えられるので動き判定値を高く設定することにより、撮像した画像に適した値を設定できる。
【００４２】
そして比較器２−５において、カウンタ２−４から入力された動き量信号と設定した動き判別値と比較して、設定した動き判別値よりも動き量信号が低い場合にはそのフレームでは動きが無かったと判別する。逆に動き量信号が設定された動き判別値よりも高い場合にはそのフレームで動きがあったと判別する。そして判別結果を動き判別信号として出力する。
【００４３】
図１に戻り、動き判別回路１−７から出力した動き判別信号を撮像素子駆動制御回路１−８に入力する。
【００４４】
撮像素子駆動制御回路１−８では入力された動き判別信号により、撮像した画像に動きが無いと判断された場合にはＣＣＤ撮像素子１−２を通常の全てのラインを読み出すように撮像素子駆動回路１−９を制御することにより、ＣＣＤ撮像素子１−２をフレームレートは低くなるが垂直解像度の高い画像を読み出すよう制御する。
【００４５】
また撮像した画像に動きがあったと判断された場合にはＣＣＤ撮像素子１−２を間引いて読み出すように撮像素子駆動回路１−９を制御することにより、ＣＣＤ撮像素子１−２を間引き読み出し制御して垂直解像度は低くなるがフレームレートが高くなるよう制御する。
【００４６】
一方、Ａ／Ｄ変換器１−４にてデジタル化した画素信号は、動き判別回路１−７だけでなくカメラ信号処理回路１−５にも入力する。
【００４７】
カメラ信号処理回路１−５は、マトリクス、ガンマ補正、ホワイトバランス回路等を持ち、前記Ａ／Ｄ変換器１−４から入力したデジタル画素信号から輝度信号と色信号を生成し出力する。
【００４８】
カメラ信号処理回路１−５から出力する輝度信号と色信号は、動き判別回路１−８が動きが無いと判断して撮像素子駆動回路１−９がＣＣＤ撮像素子１−２の全画素を出力するモードで駆動しているときには１フレーム分全てのラインの画素信号により作られて出力するが、動き判別回路１−８が動きがあると判断して撮像素子駆動回路１−９がＣＣＤ撮像素子１−２を間引きモードで駆動しているときには間引きされたライン分だけの少ない画素信号からしか作られない。
【００４９】
例えば動き検出されたときに１／２間引きをした場合には、輝度信号と色信号はカメラ信号処理回路１−５から全ラインを読み出したときの１／２しか出力しないこととなる。
【００５０】
そのため動きが検出されてライン間引きしたときにも、動きが検出されないときに全ラインを読み出したときと同じだけのライン数を出力できるように、ライン補間回路１−６において間引きされた輝度信号と色信号から間引きされたラインを補間して補間輝度信号と補間色信号を生成する。
【００５１】
図６はライン補間回路の構成を表した図であり、カメラ信号処理回路１−５から入力した輝度信号と色信号はメモリ６−２とメモリ６−３に記憶される。
【００５２】
ここでメモリ制御回路６−１は撮像素子駆動制御回路１−８から入力される全ライン読み出し駆動か間引き読み出し駆動かを判別する駆動モード判別信号と、ＨＤ／ＶＤの同期信号に基づいてメモリ６−２とメモリ６−３を駆動する。
【００５３】
撮像素子駆動制御回路１−８から入力される駆動モード判別信号が全ライン読み出し駆動であることを示しているときには、メモリ６−２に全ての輝度信号と色信号を一旦記憶してから出力するか、もしくはそのままスルーで出力する。そしてセレクタ６−４は常にメモリ６−２から出力された輝度信号と色信号を選択し出力する。
【００５４】
撮像素子駆動制御回路１−８から入力される駆動モード判別信号がライン間引きをして読み出すモードであることを示しているときには、メモリ６−２とメモリ６−３において交互に間引きされた１フレーム分の輝度信号と色信号を記憶し、１／２間引きの際には同じラインの組み合わせを２回ずつ読み出しながら、セレクタ６−４により切り換えながら交互にメモリ６−２とメモリ６−３から輝度信号・色信号を読み出す。セレクタ６−４は読み出しされている状況のメモリの出力を選択するようメモリ制御回路６−１から制御される。
【００５５】
【発明の効果】
撮像した映像信号から動きが検知される原稿の位置合わせやカメラ部の画角調整時には、間引きモードとしてライン間引きによりフレームレートを上げることにより、垂直解像度は落ちるが原稿の位置合わせやカメラ部の画角調整をやりやすくし、撮像した映像信号から動きが検出されないときには、高画質モードとしてフレームレートは下がるが、全てのラインを読み出すことにより垂直解像度の高い画像を出力する。
【００５６】
それにより原稿の位置合わせやカメラの画角調整がしやすく、しかも高画質な画像を撮像できる撮像装置を実現できる。
【図面の簡単な説明】
【図１】本発明の実施例を表した図
【図２】動き判別回路の構成を表した図
【図３】ＣＣＤ撮像素子のラインの配列を表した図
【図４】全てのラインを読み出したときと、ライン間引き読み出しをしたときに出力される画素信号を表した図
【図５】全ラインを読み出したときと、ライン間引き読み出しをしたときに出力される二値化回路とメモリから出力される二値化画素信号を表した図
【図６】ライン補間回路の構成を表した図
【符号の説明】
１―１　撮像光学系（レンズ）
１―２　ＣＣＤ撮像素子
１―３　ＣＤＳ／ＡＧＣ
１―４　ＡＤ変換器
１―５　カメラ信号処理回路
１―６　ライン補間回路
１―７　動き判別回路
１―８　撮像素子駆動制御回路
１―９　撮像素子駆動回路

Claims

被写体を結像させる結像光学系と、前記結像光学系により結像された像を電気的な画素信号に変換して出力する画素信号出力手段と、前記画素信号出力手段により出力された画素信号を処理して画像データを生成するカメラ信号処理手段と、被写体の動きを検出する動き検出手段とを備える撮像装置であって、
前記画素信号出力手段は、ＣＣＤ撮像素子と前記ＣＣＤ撮像素子の駆動を制御する駆動制御手段とを有しており、前記駆動制御手段は、前記ＣＣＤ撮像素子から全ラインを読み出すモードと、ラインを間引きながら読み出すモードのいずれかで駆動し、前記動き検出手段において検出した撮像画像中の動き量によって前記駆動制御手段は、前記ＣＣＤ撮像素子を垂直方向に１ラインずつ全てのラインを読み出すモードで駆動するか、前記ＣＣＤ撮像素子を垂直方向にｍライン毎にｎラインの画素信号（ここにｍとｎは整数で、かつｍ＞ｎ）を読み出すように間引きながら読み出すモードで駆動するかを、選択して撮像することを特徴とする撮像装置。
請求項１における動き検出手段は、結像光学系により結像された像を、画素信号出力手段において電気信号に変換した画素信号を用いて動き情報を出力することを特徴とする撮像装置。
請求項１における動き検出手段は、任意のラインの画素信号より動きを検出することを特徴とする撮像装置。
被写体を結像させる結像光学系と、前記結像光学系により結像された像を電気的な画素信号に変換して出力する画素信号出力手段と、前記画素信号出力手段により出力された画素信号を処理して画像データを生成するカメラ信号処理手段と、被写体の動きを検出する動き検出手段とを備える撮像装置であって、
前記画素信号出力手段は、ＣＣＤ撮像素子と前記ＣＣＤ撮像素子の駆動を制御する駆動制御手段とを有しており、前記駆動制御手段は、前記ＣＣＤ撮像素子から全ラインを読み出すモードと、ラインを間引きながら読み出すモードのいずれかで駆動し、前記動き検出手段において検出した撮像画像中の動き量によって前記駆動制御手段は、前記ＣＣＤ撮像素子を垂直方向に１ラインずつ全てのラインを読み出すモードで駆動するか、前記ＣＣＤ撮像素子を垂直方向にｍライン毎にｎラインの画素信号（ここにｍとｎは整数で、かつｍ＞ｎ）を読み出すように間引きながら読み出すモードで駆動するかを、選択して撮像することを特徴とする撮像装置。
請求項４における動き検出手段は、結像光学系により結像された像を、画素信号出力手段において電気信号に変換した画素信号を用いて動き情報を出力することを特徴とする撮像装置。
請求項４における動き検出手段は、任意のラインの画素信号より動きを検出することを特徴とする撮像装置。