JP2003250094A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP2003250094A
JP2003250094A JP2002048433A JP2002048433A JP2003250094A JP 2003250094 A JP2003250094 A JP 2003250094A JP 2002048433 A JP2002048433 A JP 2002048433A JP 2002048433 A JP2002048433 A JP 2002048433A JP 2003250094 A JP2003250094 A JP 2003250094A
Authority
JP
Japan
Prior art keywords
image signal
image
signal
brightness
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002048433A
Other languages
English (en)
Other versions
JP4154157B2 (ja
Inventor
Hiroo Takemura
裕夫 竹村
Akira Nishimaki
章 西牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002048433A priority Critical patent/JP4154157B2/ja
Priority to EP03251097A priority patent/EP1339227B1/en
Priority to DE60308242T priority patent/DE60308242T2/de
Priority to US10/372,656 priority patent/US20040165091A1/en
Publication of JP2003250094A publication Critical patent/JP2003250094A/ja
Application granted granted Critical
Publication of JP4154157B2 publication Critical patent/JP4154157B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

(57)【要約】 【課題】撮像装置は被写体内の輝度差に応じてカメラダ
イナミックレンジ拡大率を高速に可変させ、被写体輝度
差に最適化した撮像画像を得ることで、極めて輝度差の
大きい被写体および刻一刻と変化する被写体の撮像に有
効な撮像装置を提供する。 【解決手段】撮像装置20は、撮像により第1の画像信
号および第2の画像信号を得る際に、制御手段24で被
写体の輝度差に応じてシャッタ速度を制御することで、
被写体の輝度差に応じたダイナミックレンジ拡大率を得
ることができる。また、撮像装置20は、撮像素子にC
MOSセンサ28を採用し、撮像して得た画像信号を高
速に読み出すと共に、エリア選択抽出手段113で、任
意の画像情報を選択抽出し、信号処理する画像信号の情
報量を絞り込むことで、撮像から画像信号出力までの所
要時間短縮を図った。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は撮像装置に係り、特
に広範囲な輝度を持つ被写体の撮像を可能にし、撮像さ
れた画像信号の処理を行い得るようにした撮像装置に関
する。
【0002】
【従来の技術】従来CCDセンサの撮像素子を用いたカ
メラでは、電荷の蓄積容量の限界と、その特性の関係か
らカメラの入射光量をある範囲内に抑えるようにして撮
影していた。従って、屋外等での撮影時には被写体の輝
度範囲を撮像可能とするダイナミックレンジが得られ
ず、撮像画像に問題があった。このため、撮像素子など
の電子シャッタ機能を用いて、高速シャッタと低速シャ
ッタのように異なったシャッタ時間、すなわち2つの異
なる露光時間で撮像し、この画像信号を信号処理するこ
とで、広ダイナミックレンジ拡大幅を図っていた。
【0003】従来の広ダイナミックレンジカメラ1の動
作原理を図22を用いて説明する。図22は、従来の広
ダイナミックレンジカメラ1における画像信号処理の説
明図であり、図22(A)は、CCDセンサ(撮像素
子)の信号出力、図22(B)は、高ダイナミックレン
ジカメラ画像の信号出力である。
【0004】図22において、Aフィールドを低速シャ
ッタ画像、Bフィールドを高速シャッタ画像とする。こ
こで、低速シャッタ画像とは、例えばシャッタ速度が1
/60秒で撮像した画像、高速シャッタ画像とは、例え
ばシャッタ速度が1/2000秒で撮像した画像であ
る。これらの画像信号は、例えば、CCDセンサの撮像
素子にシャッタパルスを直接与える電子シャッタを制御
し、シャッタ速度、すなわち、露光時間を制御した画像
信号のことである。
【0005】広ダイナミックレンジカメラ1は、低速シ
ャッタで被写体の輝度の低い部分(輝度の高い部分は飽
和してしまう)を撮像し、高速シャッタで被写体の輝度
の高い部分(輝度の低い部分は撮像不可能)を撮像す
る。そして、両方の画像を合成することによって、1画
面で被写体の輝度の低い部分から輝度の高い部分の撮像
を可能にするものである。
【0006】例えば、A1フィールド画像(低速シャッ
タ画像)とB0フィールド画像(高速シャッタ画像)を
合成し、次に、A1フィールド画像(低速シャッタ画
像)とB1フィールド画像(高速シャッタ画像)を合成
する。以降、同じ動作を繰り返し行う。この場合、低速
シャッタと高速シャッタの速度と合成比率は固定であ
る。
【0007】また、このシャッタ速度の比はダイナミッ
クレンジの拡大比である。ここでは、低速シャッタ速度
1/60秒、高速シャッタ速度1/2000秒で固定さ
れているので、この広ダイナミックレンジカメラ1は、
約33倍の拡大率を持っているということになる。尚、
広ダイナミックレンジカメラ1に入射光量を自動調節す
るオートアイリスレンズ等を搭載してもダイナミックレ
ンジは拡大しない。
【0008】図23に従来の広ダイナミックレンジカメ
ラ1のブロック図を示す。この広ダイナミックレンジカ
メラ1は、被写体像から、CCDセンサ等の光電素子を
用いた撮像素子2で画像信号を得る。得られた画像信号
はA/D変換器3で、アナログ信号からデジタル信号に
変換(以下、A/D変換とする)され、デジタル信号処
理手段4に送られる。
【0009】デジタル信号処理手段4は、フレームメモ
リ6,7と、合成処理回路8と、プロセス回路9とを備
える。デジタル信号処理手段4に送られた画像信号は、
まず、フレームメモリ6,7に入力され、書き込まれ
る。フレームメモリ6,7から読み出された画像信号
は、合成処理回路8に送られ、プロセス回路9で処理さ
れた後、画像信号出力端子10から出力される。
【0010】一方、広ダイナミックレンジカメラ1は広
ダイナミックレンジカメラ1に具備される制御部11で
デジタル信号処理手段4と撮像素子2の制御を行ってい
る。この制御部11は、CPU(中央演算処理装置)1
3と露光制御部14とを備え、CPU13でデジタル信
号処理手段4からの測光データの演算処理を行う。演算
処理された結果は、CPU13からデジタル信号処理手
段4と露光制御部14へ送られ、それぞれ制御信号が生
成され、デジタル信号処理手段4と撮像素子2の制御が
なされる。
【0011】このような広ダイナミックレンジカメラ1
は、例えば特願昭61−255984号公報に示されて
いる。
【0012】
【発明が解決しようとする課題】しかしながら、従来の
広ダイナミックレンジカメラ1では、異なる電子シャッ
タ時間の画像を数回撮像し合成していた。このため、静
止画では有効であったが、監視カメラや車載カメラのよ
うに動きのある被写体を撮像する装置には不向きであっ
た。
【0013】一方、撮像素子2にCCDセンサを備える
従来の広ダイナミックレンジカメラ1は、CCDセンサ
の蓄積電荷読出しを順次行うため、撮像から画像処理完
了までの所要時間、すなわち、画像信号処理時間が長く
かかる。このため、広ダイナミックレンジカメラ1で動
きの速い被写体を撮像する場合、被写体の動きに画像信
号処理が追従できなかった。
【0014】特に、移動体の制御目的等で、従来の広ダ
イナミックレンジカメラ1を設置した移動体から広ダイ
ナミックレンジカメラ1で撮像を行う場合、広ダイナミ
ックレンジカメラ1での画像信号処理時間の長さから、
撮像した画像信号を基に制御動作を行っても、制御動作
が間に合わないという問題があった。
【0015】本発明は、上述した事情を考慮してなされ
たもので、被写体内の輝度差に応じてカメラダイナミッ
クレンジ拡大率を高速に可変させ、被写体輝度差に最適
化した撮像画像を得ることで、被写体として極めて輝度
差の大きい画像認識用車載カメラ、屋内、夜間の屋外を
同時撮像する監視カメラとして有効な撮像装置を提供す
ることを目的とする。
【0016】また、本発明の他の目的は、撮像素子にC
MOSセンサを用いること、および、撮像画面範囲内の
うち、特に重要度の高いエリアを選択抽出し、画像信号
処理する画像信号情報量を絞り込むことで、撮像から画
像処理完了までの所要時間を短縮し、撮像された画像信
号の処理を高速で行い得るようにした撮像装置を提供す
るにある。
【0017】さらに、本発明の他の目的は、被写体が刻
一刻と変化する移動体からの撮像を行うのに有効な撮像
装置を提供するにある。
【0018】
【課題を解決するための手段】本発明に係る撮像装置
は、上述した課題を解決するために、請求項1に記載し
たように、第1の露光時間で撮影した第1の画像信号お
よび前記第1の露光時間とは異なる第2の露光時間で撮
像した第2の画像信号を得る撮像手段と、前記第1の画
像信号と第2の画像信号とを画像信号処理し、1つの画
像信号に合成する画像信号処理手段と、前記撮像手段と
前記画像信号処理手段とを制御する制御手段と、前記画
像信号処理手段で信号処理された画像信号を取り出す画
像信号出力手段とを具備し、前記撮像手段にCMOSセ
ンサを有し、前記撮像手段からの第1の画像信号と第2
の画像信号とを光電変換して、直ちに信号出力し、前記
画像信号処理手段で信号処理するようにしたことを特徴
とする。
【0019】上述した課題を解決するために、本発明に
係る撮像装置は、請求項2に記載したように、前記制御
手段が、前記撮像手段で得られる前記第1の画像信号と
前記第2の画像信号とから前記第1の画像信号と前記第
2の画像信号との画像信号情報を取得する画像信号情報
取得手段を備え、前記画像信号情報取得手段から取得し
た画像信号情報を用いて、前記第1の画像信号および前
記第2の画像信号を独立に可変する制御信号生成手段を
備え、前記画像信号処理手段の制御を行うようにしたこ
とを特徴とする。
【0020】また、上述した課題を解決するために、本
発明に係る撮像装置は、請求項3に記載したように、前
記制御手段が、前記撮像手段で得られる前記第1の画像
信号と前記第2の画像信号とから各々の画像信号情報を
取得する画像信号情報取得手段を備え、この画像信号情
報取得手段から取得した画像信号情報を用いて、前記第
1の画像信号および前記第2の画像信号の輝度平均値を
取得する輝度平均値算出手段を備えることを特徴とす
る。
【0021】さらに、上述した課題を解決するために、
本発明に係る撮像装置は、請求項4に記載したように、
前記制御手段が、前記撮像手段で得られる前記第1の画
像信号と前記第2の画像信号とから各々の画像信号情報
を取得する画像信号情報取得手段を備え、前記画像信号
情報取得手段は、撮像画面を複数に分割し、分割された
分割画面毎に画像情報を取得し、前記分割画像情報を用
いて前記第1の画像信号と前記第2の画像信号の画像信
号情報を取得することを特徴とする。
【0022】さらにまた、上述した課題を解決するため
に、本発明に係る撮像装置は、請求項5に記載したよう
に、前記制御手段が、前記撮像手段で得られる前記第1
の画像信号と前記第2の画像信号とから各々の画像信号
情報を取得する画像信号情報取得手段を備え、前記画像
信号情報取得手段は、撮像画面を複数に分割し、分割さ
れた分割画面毎の画像情報を取得する手段として、分割
画像輝度積算手段と、分割画像輝度ピーク値検出手段と
を備えることを特徴とする。
【0023】一方、上述した課題を解決するために、本
発明に係る撮像装置は、請求項6に記載したように、前
記制御手段が、前記第1の露光時間および前記第2の露
光時間の比率を演算する演算手段を備え、前記演算手段
の演算結果を用いて、前記第1の露光時間および前記第
2の露光時間を独立に可変することを特徴とする。
【0024】また、上述した課題を解決するために、本
発明に係る撮像装置は、請求項7に記載したように、前
記制御手段が、前記第1の露光時間および前記第2の露
光時間の比率を演算する演算手段を備え、前記演算手段
の演算結果は、前記制御手段が適切な画像信号を得るた
めに、前記撮像手段で得られる前記第1の画像信号と前
記第2の画像信号とから各々の画像信号情報を取得する
画像信号情報取得手段にて取得した画像情報に基づき実
行されることを特徴とする。
【0025】さらに、上述した課題を解決するために、
本発明に係る撮像装置は、請求項8に記載したように、
前記制御手段が、前記第1の露光時間および前記第2の
露光時間を独立に可変する場合、前記第1の露光時間お
よび前記第2の露光時間の比率を演算する演算手段を備
え、前記演算手段の演算結果に基づき、前記撮像手段か
らの前記第1の画像信号および前記第2の画像信号の増
幅度を個別に制御する自動利得制御信号生成手段を備え
ることを特徴とする。
【0026】他方、上述した課題を解決するために、本
発明に係る撮像装置は、請求項9に記載したように、前
記制御手段が、前記第1の露光時間および前記第2の露
光時間の比率を演算する演算手段を備え、前記演算手段
の演算結果に基づき、前記撮像手段からの前記第1の画
像信号および前記第2の画像信号の入出力特性を個別に
変換制御する特性変換制御信号生成手段を備えることを
特徴とする。
【0027】また、上述した課題を解決するために、本
発明に係る撮像装置は、請求項10に記載したように、
前記制御手段が、前記第1の露光時間および前記第2の
露光時間を独立に可変する場合、前記第1の露光時間お
よび前記第2の露光時間の比率を演算する演算手段を備
え、前記演算手段の演算結果に基づき、前記撮像手段か
らの前記第1の画像信号および前記第2の画像信号を合
成する画像信号合成比率を個別に制御する画像合成比率
制御信号生成手段を備えることを特徴とする。
【0028】さらに、上述した課題を解決するために、
本発明に係る撮像装置は、請求項11に記載したよう
に、前記制御手段が前記第1の露光時間および前記第2
の露光時間を決める電子シャッタの最終発生タイミング
をタイミングジェネレータの1CLOCK単位での時間
的移動を行うことが可能なことを特徴とする。
【0029】さらにまた、上述した課題を解決するため
に、本発明に係る撮像装置は、請求項12に記載したよ
うに、前記画像信号処理手段が、前記第1の画像信号お
よび第2の画像信号の信号経路に設けられ、前記第1の
画像信号および前記第2の画像信号の利得を制御する自
動利得制御回路と、この自動利得制御回路で利得制御さ
れた前記第1の画像信号と前記第2の画像信号との各信
号経路に各々設けられ、前記第1の画像信号および前記
第2の画像信号の入出力特性を制御する入出力特性変換
回路と、この入出力特性変換回路で入出力特性変換され
た前記第1の画像信号および前記第2の画像信号を1つ
の画像信号に合成する画像信号合成手段とを具備するこ
とを特徴とする。
【0030】一方、上述した課題を解決するために、本
発明に係る撮像装置は、請求項13に記載したように、
前記制御信号生成手段が、前記第1の露光時間および前
記第2の露光時間の比率を演算した演算結果に基づき、
前記撮像手段からの前記第1の画像信号および前記第2
の画像信号の増幅度を個別に制御する自動利得制御信号
生成手段と、前記撮像手段からの前記第1の画像信号お
よび前記第2の画像信号の入出力特性を個別に変換制御
する特性変換制御信号生成手段と、前記撮像手段からの
前記第1の画像信号および前記第2の画像信号を合成す
る画像信号合成比率を個別に制御する画像合成比率制御
信号生成手段とを備えることを特徴とする。
【0031】また、上述した課題を解決するために、本
発明に係る撮像装置は、請求項14に記載したように、
前記画像信号情報取得手段が、輝度平均値算出手段で前
記第1の画像信号および前記第2の画像信号の輝度平均
値を取得するために、撮像画面を複数に分割し、分割さ
れた分割画面毎に分割画像の輝度積算する分割画像輝度
積算手段と、分割画像の輝度ピーク値検出を行う分割画
像輝度ピーク値検出手段とを備え、前記分割画像輝度積
算手段の輝度積算結果および前記分割画像輝度ピーク値
検出手段の輝度ピーク値検出結果に基づき、前記第1の
画像信号および前記第2の画像信号の輝度平均値を算出
することを特徴とする。
【0032】さらに、上述した課題を解決するために、
本発明に係る撮像装置は、請求項15に記載したよう
に、前記画像信号情報取得手段が、輝度平均値算出手段
で前記第1の画像信号および前記第2の画像信号の輝度
平均値を取得するために、撮像画面を複数に分割し、分
割された分割画面毎に分割画像の輝度積算する分割画像
輝度積算手段と、分割画像の輝度ピーク値検出を行う分
割画像輝度ピーク値検出手段とを備え、前記分割画像輝
度積算手段で輝度積算した分割画像輝度積算結果および
前記分割画像輝度ピーク値検出手段で輝度ピーク値検出
した分割画像輝度ピーク値検出結果に基づき、前記第1
の画像信号および前記第2の画像信号の輝度平均値を得
る輝度平均値算出手段にて輝度平均値を算出する場合、
前記第1の画像信号に対しては、前記第1の画像信号の
高輝度エリアを抽出し、前記第1の画像信号に対して前
記抽出エリアを除いたエリアの輝度平均値を算出し、前
記第2の画像信号に対しては、抽出した前記第1の画像
信号の高輝度エリアに対応する前記第2の画像信号のエ
リアに対して輝度平均値を算出することを特徴とする。
【0033】このような撮像装置は、被写体内の輝度差
に応じてカメラダイナミックレンジ拡大率を高速に可変
させ、被写体輝度差に最適化した撮像画像を得ること
で、極めて輝度差の大きい被写体を撮像する場合にも有
効である。
【0034】本発明に係る撮像装置は、上述した課題を
解決するために、請求項16に記載したように、移動体
に設置され、CMOSセンサを有し画像を撮像する撮像
手段と、この撮像手段で撮像された1画面分の画像信号
のうち、画面範囲から任意のエリアを選択抽出するエリ
ア選択抽出手段と、このエリア選択抽出手段で、選択抽
出されたエリアの画像信号を信号処理し、出力する画像
信号出力手段とを具備することを特徴とする。
【0035】上述した課題を解決するために、本発明に
係る撮像装置は、請求項17に記載したように、前記撮
像手段が光電変換後、前記撮像手段で得られる前記画像
信号を直ちに信号出力を行い、前記画像信号出力手段で
信号処理し、出力することを特徴とする。
【0036】また、上述した課題を解決するために、本
発明に係る撮像装置は、請求項18に記載したように、
前記エリア選択抽出手段が、前記撮像手段で得られる前
記画像信号の任意のエリアを選択抽出し、前記画像信号
の情報量を絞り込んでから前記画像信号処理手段で信号
処理し、出力することを特徴とする。
【0037】さらに、上述した課題を解決するために、
本発明に係る撮像装置は、請求項19に記載したよう
に、前記移動体が、自動二輪車、自動車および列車等の
移動車両、航空機又は船舶のいずれかであることを特徴
とする。
【0038】このような撮像装置は、被写体内の輝度差
に応じてカメラダイナミックレンジ拡大率を高速に可変
させ、被写体輝度差に最適化した撮像画像を得ること
で、極めて輝度差の大きい被写体を撮像する場合にも有
効である。
【0039】また、撮像装置の撮像手段が備える撮像素
子にCMOSセンサを用いること、および、撮像画面範
囲内のうち、特に重要度の高いエリアを選択抽出し、画
像信号処理する画像信号情報量を絞り込むことで、撮像
から画像処理完了までの所要時間を短縮し、撮像された
画像信号の高速処理を可能とする。従って、被写体が刻
一刻と変化する移動体からの撮像を行う場合にも有効で
ある。
【0040】
【発明の実施の形態】以下、本発明に係る撮像装置の実
施形態を添付図面を参照して説明する。
【0041】[第1実施形態]図1に本発明に係る撮像
装置20の第1実施形態を示す回路ブロック図の一例を
示す。
【0042】図1に示される撮像装置20は撮像手段2
1と、画像信号処理手段としてのアナログ信号処理手段
22およびデジタル信号処理手段23と、制御手段24
と、画像信号出力手段としての画像信号出力端子25と
を具備する。
【0043】撮像装置20は被写体像を撮像手段21で
撮像し、画像信号(アナログ信号)を生成する。生成さ
れたアナログ画像信号はアナログ信号処理手段22でア
ナログ信号からデジタル信号に変換(以下、A/D変換
とする)後、デジタル画像信号として出力される。この
デジタル画像信号は、2つに分岐し、一方がデジタル信
号処理手段23に入力され、信号処理される。信号処理
後のデジタル画像信号はデジタル信号からアナログ信号
に変換(以下、D/A変換とする)後、画像信号出力端
子25から出力される。
【0044】また、アナログ信号処理手段22から出力
された画像信号の他方は、制御手段24に入力される。
制御手段24は制御信号を生成し、撮像手段21、アナ
ログ信号処理手段22およびデジタル信号処理手段23
の制御を行う。制御手段24がこれら各部を制御するこ
とにより、撮像装置20は広範囲な輝度差を有する被写
体に対しても常に最適なシャッタ速度で撮像することが
可能となる。
【0045】図1に示される撮像装置20の各部につい
て説明する。
【0046】撮像手段21は被写体像を示す画像光を撮
像する撮像レンズ27と、例えば、撮像素子としてのC
MOSセンサ28とを備える。
【0047】撮像手段21は被写体像を示す画像光を撮
像レンズ27で撮像し、CMOSセンサ28の受光面に
結像する。結像された画像光は、CMOSセンサ28の
露光時間、つまり、電子シャッタ速度を調節すること
で、CMOSセンサ28に露光される光量の調節がなさ
れる。CMOSセンサ28は光電変換を行い、画像光量
に応じた量の電荷をCMOSセンサ28に蓄積する。こ
の蓄積された蓄積電荷の電荷量に応じた画像信号がCM
OSセンサ28から出力される。
【0048】また、被写体を撮像する際、撮像手段21
に備えられるCMOSセンサ28の電子シャッタは、異
なる2つのシャッタ速度での撮像を交互に繰り返す。2
つのシャッタ速度のうち、遅い側のシャッタ速度(以
下、低速シャッタ速度とする)と、速い側のシャッタ速
度(以下、高速シャッタ速度とする)とで撮像される。
CMOSセンサ28から交互に出力される画像信号は、
撮像手段21から出力され、アナログ信号処理手段22
に入力される。
【0049】アナログ信号処理手段22は交互に入力さ
れたアナログ画像信号の利得調整を行う自動利得制御回
路(以下、AGC回路とする)31と、A/D変換を行
うA/D変換回路32とを備える。アナログ信号処理手
段22に入力されたアナログ画像信号は、AGC回路3
1と、A/D変換回路32とに順次伝送され、信号処理
される。AGC回路31は行利得調整を制御手段24か
らの制御信号により、アナログ画像信号毎に利得を可変
させて調整することができる。
【0050】A/D変換回路32はアナログ画像信号の
A/D変換を行う。変換後の画像信号、すなわち、デジ
タル画像信号は、アナログ信号処理手段22から交互に
出力され、デジタル信号処理手段23に交互に入力され
る。
【0051】デジタル信号処理手段23は、画像信号処
理実行手段33と、画像信号合成手段としての加算回路
34と、合成された画像信号のD/A変換を行うD/A
変換回路35とを備える。
【0052】画像信号処理実行手段33は、低速シャッ
タで撮像されたデジタル画像信号を信号処理する低速シ
ャッタ用信号処理手段37と、高速シャッタ速度で撮像
されたデジタル画像信号を処理する高速シャッタ用信号
処理手段38とを備える。そして、低速シャッタ用信号
処理手段37および高速シャッタ用信号処理手段38
は、各々、メモリ回路と、切換回路と、特性変換回路と
を有する。すなわち、低速シャッタ用信号処理手段37
は、低速シャッタ用メモリ回路39と、低速シャッタ用
切換回路40と、低速シャッタ用特性変換回路41とを
有し、一方、高速シャッタ用信号処理手段38は、高速
シャッタ用メモリ回路43と、高速シャッタ用切換回路
44と、高速シャッタ用特性変換回路45とを有する。
【0053】画像信号処理実行手段33で行われる画像
信号処理について、図2および図3を参照して説明す
る。
【0054】図2は、撮像装置20の動作について時系
列を合わせて、詳細に説明した動作説明図である。
【0055】図2(A)は、垂直同期信号であり、撮像
装置20は、この周期に同期して動作する。CMOSセ
ンサ28で撮像し、画像信号を出力する期間(1垂直同
期期間)は、2A01が低速シャッタ側の画像信号出力
期間(以下、低速シャッタ期間とする)、2A02が高
速シャッタ側の画像信号出力期間(以下、高速シャッタ
期間とする)、2A03が低速シャッタ期間、2A04
が高速シャッタ期間、2A05が低速シャッタ期間であ
る。
【0056】図2(B)にCMOSセンサ28の電子シ
ャッタ動作を示す。CMOSセンサ28の電子シャッタ
動作は、CMOSセンサ28の電荷蓄積と読出し時間の
関係で1垂直期間の遅れを生じる。従って、図2(A)
のような垂直同期信号に対して、電子シャッタ動作は、
2B01は高速シャッタ動作期間、2B02は低速シャ
ッタ動作期間となり、以下同様に高速シャッタ動作期
間、低速シャッタ動作期間の繰り返しで、2B03、2
B04、2B05の動作期間となる。
【0057】図2(C)にAGC回路31の動作を示
す。AGC回路31は、低速シャッタ動作期間と、高速
シャッタ動作期間とで、独立で動作する。2C01が低
速シャッタ用動作期間、2C02が高速シャッタ用動作
期間となり、以下同様な繰り返しで、2C03、2C0
4、2C05の動作期間となる。
【0058】図2(D)はCMOSセンサ28から出力
される画像信号で、2D01が低速シャッタ画像信号、
2D02が高速シャッタ画像信号となり、以下同様な繰
り返しで、2D03、2D04、2D05となる。
【0059】図2(D)のCMOSセンサ28から出力
される低速シャッタ画像信号および高速シャッタ画像信
号の出力特性について、図3を用いて補足する。
【0060】図3は、CMOSセンサ28の撮像特性を
示した説明図であり、低速シャッタと高速シャッタの入
射光量に対する画像信号の出力レベルを示している。図
3において、低速シャッタによる画像信号の出力特性は
3aであり、低速シャッタ出力の飽和点は3bである。
一方、高速シャッタの画像出力特性は3cであり、高速
シャッタ出力の飽和点は3dである。図3によれば、低
速シャッタ画像信号は飽和に達する入射光量が少なく、
飽和に達するのが早い。逆に、高速シャッタ画像信号は
飽和に達する入射光量が多く、飽和に達するのが遅い。
このことから、図2(D)の画像出力信号の特性におい
て、2D01(低速シャッタ画像信号)では、1垂直同
期期間内に飽和して、出力が頭打ちとなっている。一
方、2D02(高速シャッタ画像信号)では、1垂直同
期期間内に飽和がなく、緩やかに出力が増加している。
【0061】図2(E)〜図2(J)は、動作説明をわ
かりやすくするために示した説明図である。
【0062】図2(E)は、図2(D)と同意であり、
いずれも図1に示されるアナログ信号処理手段22のA
/D変換回路32からの出力である。
【0063】図2(E)において、2E01が低速シャ
ッタ画像信号、2E02が高速シャッタ画像信号で、以
下、同様の繰り返しで、2E03、2E04、2E05
と画像信号が出力される。図2(E)によれば、低速シ
ャッタ画像信号および高速シャッタ画像信号は両者とも
間欠信号である。例えば、低速シャッタ画像信号に着目
すれば、低速シャッタ画像信号は2E01、2E03お
よび2E05とで形成される間欠信号である。
【0064】尚、図2(E)中では低速シャッタ画像信
号および高速シャッタ画像信号を低速シャッタ信号およ
び高速シャッタ信号と簡略化してある。以降、図2
(E)以外の他図においても同様に簡略化する。
【0065】図1に示されるアナログ信号処理手段22
のA/D変換回路32から出力された低速シャッタ画像
信号は、一方が、低速シャッタ用メモリ回路39を経由
して、低速シャッタ用切換回路40に入力され、他方
は、低速シャッタ用切換回路40に直接入力される。低
速シャッタ用切換回路40は、画像信号を1垂直期間毎
に低速シャッタ用メモリ回路39側からの入力と、アナ
ログ信号処理手段22のA/D変換回路32側からの入
力とを切り換えることで、間欠信号を連続信号にする。
【0066】図2(F)は、連続信号となった低速シャ
ッタ画像信号を示す。尚、図2(F)で符号Mがついて
いる信号は、低速シャッタ用メモリ回路39から入力さ
れた画像信号を示す。この図2(F)は、図2(E)に
おいて、間欠となっている2E02および2E04の期
間に低速シャッタ用メモリ回路39側からの入力に切り
換え、低速シャッタ用メモリ回路39のメモリに蓄積さ
れた低速シャッタ画像信号を入力することで生成され
る。
【0067】一方、高速シャッタ画像信号については図
2(G)に示す。高速シャッタ画像信号においても連続
信号とするプロセスは低速シャッタ画像信号の場合と同
様のため、高速シャッタ画像信号については、その説明
を省略する。
【0068】図1に示される低速シャッタ用切換回路4
0および高速シャッタ用切換回路44で連続信号となっ
た低速シャッタ画像信号および高速シャッタ画像信号
は、低速用特性変換回路41および高速用特性変換回路
45において、例えば、ガンマ特性を得る特性変換がな
される。特性変換後の低速シャッタ画像信号および高速
シャッタ画像信号は、それぞれ、図2(H)および図2
(I)に対応する。
【0069】図1に示される画像信号合成手段としての
加算回路34は、画像信号処理実行手段33に備えられ
る低速用特性変換回路41および高速用特性変換回路4
5において特性変換された低速シャッタ画像信号および
高速シャッタ画像信号を加算し、1つの合成デジタル画
像信号を得る。
【0070】図2(J)および図2(K)は、特性変換
後の低速シャッタ画像信号および高速シャッタ画像信号
を加算することを示す説明図である。図2(K)は、図
2(J)をアナログ的に示したものであり、図2(K)
および図2(J)両図は同意である。また、図4は、得
られた合成画像信号の出力特性を示す。図4の合成画像
信号の出力特性は、図3における低速シャッタ画像信号
特性3aと、高速シャッタ画像信号特性3cとを合成し
た特性となる。従って、図2(K)は、2K01〜2K
05の期間の各期間において、図4に示される画像信号
出力特性と同様の合成画像信号出力(デジタル信号)が
得られる。
【0071】図1に示されるD/A変換回路35は、加
算回路34において合成された画像信号のD/A変換を
行い、アナログ画像信号を出力する。D/A変換回路3
5で出力されたアナログ画像信号は、画像信号出力手段
に伝送され、画像信号出力手段としての画像信号出力端
子25より撮像装置20の出力として出力される。
【0072】制御手段24は、画像信号情報取得手段4
7と、制御信号生成手段としてのマイクロコンピュータ
回路(以下、マイコン回路とする)48と、電子シャッ
タ回路49とを備える。
【0073】制御手段24は、画像信号情報取得手段4
7で低速シャッタ画像信号および高速シャッタ画像信号
から画像信号情報を取得し、取得した画像信号情報に基
づき、撮像装置20を制御する制御信号をマイコン回路
48で生成する。マイコン回路48で生成された制御信
号のうち、撮像手段21を制御する制御信号は電子シャ
ッタ回路49に入力され、撮像手段21に備えられるC
MOSセンサ28の電子シャッタを制御する制御信号を
出力する。
【0074】画像信号情報取得手段47は、まず、画像
信号情報を取得するために、撮像した1画面分の画像信
号を分割する。画像信号情報取得手段47は、分割した
画像信号個々に対して、画像信号情報である輝度を積算
する分割画像輝度積算手段としての輝度積算値回路50
と、輝度のピーク値を検出する分割画像輝度ピーク値検
出手段としての輝度ピーク値検出回路51と、撮像した
1画面分の画像信号を分割するゲート波形発生回路52
とを備える。
【0075】画像信号情報取得手段47は、まず、画像
信号情報として、分割画像輝度積算値および分割画像輝
度ピーク値を算出するために、撮像により得た1画面分
の画像信号を分割する。
【0076】図5は1画面分の画像信号を分割し、画面
分割した様子を示す説明図である。図5によれば、撮像
した全体画面53において、この1画面分の画像信号
を、例えば、25分割等、複数のエリアに分割し、25
個の分割画面54の画像信号の集合とする。この画面分
割は、画像信号情報取得手段47に備えられるゲート信
号発生回路52で生成したゲート信号を用いて実行され
る。
【0077】ゲート波形発生回路52は、水平同期パル
ス(以下、HDパルスとする)、垂直同期パルス(以
下、VDパルスとする)、クロックパルス(以下、CL
Kパルスとする)を用いてゲート信号を生成する。この
ゲート信号は輝度を積算する積算値回路50と、輝度の
ピーク値を検出する輝度ピーク値検出回路51とに伝送
され、撮像した全体画面53の1画面分の画像信号を2
5個の分割画面54に分割する。
【0078】図6は画像信号情報取得手段47に備えら
れる分割画像輝度積算手段としての輝度積算値回路50
のブロック図である。
【0079】図6に示される輝度積算値回路50は、分
割画面54の1画面分の画像信号毎に輝度積算値を算出
する。輝度積算値回路50は、アナログ信号処理手段2
2から出力された画像信号およびゲート波形発生回路5
2で発生したゲート信号をゲート回路58に入力し、設
定された分割画面54の画面範囲の画像信号をゲートす
る。ゲートされた画像信号は、積算処理部59で輝度の
積算が実行され、積算出力制御回路60で図1に示され
るマイコン回路48からの制御信号により、輝度積算値
が出力される。出力された輝度積算値はマイコン回路4
8に入力される。
【0080】積算処理部59で実行される輝度積算は、
ゲートされた画像信号内の各画素に対して行われ、積算
処理部59が備える積算回路62および1画素保持回路
63でなされる。積算回路62は入力された1画素分の
画像信号の輝度値と既に積算処理が完了した画素分の画
像信号の輝度値とを加算し、加算した輝度値を1画素保
持回路63に入力する。1画素保持回路63は入力され
た輝度値を記憶し、記憶した輝度値を積算回路62にフ
ィードバックし、積算回路62に入力された画像信号の
輝度値との加算を繰り返し、ゲートされた画像信号の輝
度の積算値を算出する。算出された輝度の積算値は、図
1に示されるマイコン回路48からの出力制御信号によ
り、積算出力制御回路60で1画素保持回路63からの
出力を受け付ける。受け付けられた輝度の積算値は、積
算出力制御回路60から出力され、マイコン回路48に
伝送される。
【0081】一方、図7は画像信号情報取得手段47に
備えられる分割画像輝度ピーク値検出手段としての輝度
ピーク値検出回路51のブロック図である。
【0082】図7に示される輝度ピーク値検出回路51
は、分割画面54の1画面分の画像信号毎の輝度値のピ
ーク値を検出する輝度ピーク値検出回路51は、分割画
面54の1画面分の画像信号毎の輝度のピーク値を検出
する。輝度ピーク値検出回路51は、輝度積算値回路5
0と同様にして、アナログ信号処理手段22から出力さ
れた画像信号およびゲート波形発生回路52で発生した
ゲート信号をピーク値検出用ゲート回路64に入力し、
設定された分割画面54の画面範囲の画像信号をゲート
する。ピーク値検出用ゲート回路64はゲートした画像
信号を1画素ずつ出力する。
【0083】ゲートした画像信号の輝度ピーク値を検出
する。輝度ピーク値の検出は、連続する2画素分の輝度
を加算してから行う。これは、CMOSセンサ28の光
学色フィルタが補色モザイクの場合、信号の大きさが画
素単位で変化するためである。2画素分の輝度を加算す
ることにより、色フィルタの違いによる影響が無くな
る。
【0084】2画素分の輝度を加算するには、入力され
た現信号と、ピーク値検出用1画素保持回路65で1画
素分遅らせた信号、すなわち、現信号に対して1画素前
の信号とを輝度加算回路66で加算する。加算された2
画素分の輝度値は1単位としてピーク値検出処理され、
2画素保持回路67に入力される。2画素保持回路67
は、2画素保持信号発生回路68から信号を受けて、2
画素分の輝度値を1単位とした輝度値信号を生成する。
【0085】2画素保持回路67から出力された現信号
を含む輝度値信号は、比較回路69に入力され、現信号
に対して2画素前の信号を含む輝度値信号と比較され
る。比較回路69は、2つの輝度値信号を比較し、輝度
値の大きい方を選択する選択信号を生成して、切換回路
70に供給する。切換回路70は、比較回路69からの
選択信号に基づき、現信号と、現信号に対して2画素前
の信号を含む輝度値信号とのうち、輝度値の大きい一方
が選択される。この選択された信号は、輝度値信号保持
回路71に入力され保持される。
【0086】輝度値信号保持回路71で保持された輝度
値信号は、比較回路69にフィードバックされ、2画素
保持回路67からの輝度値信号との比較処理を繰り返
す。この比較処理は、ピーク値検出用ゲート回路64か
ら出力される画像信号の出力が終了するまで行われる。
比較処理完了後、ピーク値出力制御回路72は、図1に
示されるマイコン回路48からの出力制御信号により、
輝度値信号保持回路71の出力すなわち、輝度ピーク値
信号の出力を受け付ける。出力を受け付けられた輝度ピ
ーク値信号は、ピーク値出力制御回路72から出力さ
れ、マイコン回路48に伝送される。
【0087】ゲート波形発生回路52は、輝度の積算値
およびピーク値検出のために画面を分割するゲート信号
を生成する。ゲート波形発生回路52のブロック図を図
8に示す。図8に示されるゲート波形発生回路52は、
ゲートする範囲を設定する垂直方向設定部74および水
平方向設定部75と、ゲート信号を生成する合成回路7
6とを備える。ゲート波形発生回路52は、入力された
VDパルス,HDパルス,CLKパルスの3つの信号か
らゲートするエリアを設定したゲート信号を生成し、出
力する。
【0088】垂直方向のゲート範囲の設定は、垂直方向
設定部74で行われる。垂直方向設定部74に入力され
たVDパルスは、垂直同期リセット信号発生回路78に
入力される。垂直同期リセット信号発生回路78はリセ
ット信号を生成し、生成されたリセット信号は、垂直方
向スタート位置設定回路79に入力される。垂直方向ス
タート位置設定回路79は、HDパルスをカウントし、
垂直方向のスタート点を決める。垂直方向のスタート点
が決まれば、このスタート点より、垂直方向幅設定回路
80で、HDパルスをカウントし、垂直方向の幅を設定
することができる。垂直方向幅設定回路80で設定され
た垂直方向の幅は、垂直幅信号として合成回路76に入
力される。
【0089】一方、水平方向のゲート範囲の設定は、水
平方向設定部75で行われる。水平方向設定部75に入
力されたHDパルスは、水平同期リセット信号発生回路
82に入力される。水平同期リセット信号発生回路82
はリセット信号を生成し、生成されたリセット信号は、
水平方向スタート位置設定回路83に入力される。水平
方向スタート位置設定回路83は、CLKパルスをカウ
ントし、水平方向のスタート点を決定する。水平方向の
スタート点が決まれば、このスタート点より、水平方向
幅設定回路84で、CLKパルスをカウントし、水平方
向の幅を決めることができる。水平方向幅設定回路84
で設定された水平方向の幅は、水平幅信号として出力さ
れ、合成回路76に入力される。
【0090】垂直方向幅設定回路80と、水平方向幅設
定回路84とから得られた垂直幅信号と、水平幅信号
は、合成回路76で合成される。この合成された信号が
ゲート信号となって、ゲート波形発生回路52から出力
される。
【0091】制御手段24が備えるマイコン回路48の
回路ブロック図を図9に示す。
【0092】マイコン回路48には、画像信号情報とし
て、画像信号情報取得手段47が備える輝度積算値回路
50および輝度ピーク値検出回路51から輝度の積算値
およびピーク値が入力される。入力された輝度の積算値
およびピーク値は輝度平均値算出手段86に入力され、
輝度平均値が算出される。算出された輝度平均値は、制
御信号生成手段87に入力され、まず、電子シャッタ速
度が計算される。次に、電子シャッタ速度の計算結果か
ら適切な撮像画像が得られるように撮像装置20の各部
を制御する制御信号を生成する。
【0093】マイコン回路48が参照するデータを視覚
的に表した例を図10に示す。この図10を用いて、マ
イコン回路48が備える輝度平均値算出手段86の輝度
平均値算出処理について説明する。
【0094】輝度平均値算出手段86は、輝度積算値回
路50で、図5に示される分割画面54毎に輝度積算さ
れた低速シャッタ画像信号の輝度積算値(以下、低速輝
度積算値とする)と、輝度ピーク値検出回路51から得
られた低速シャッタ画像信号の輝度ピーク値(以下、低
速輝度ピーク値)とから輝度飽和しているエリア(以
下、輝度飽和エリアとする)89と、輝度飽和していな
いエリア(以下、不飽和エリアとする)90とに分けら
れる。
【0095】輝度飽和エリア89と輝度不飽和エリア9
0の分別は、まず、分割画面54毎の低速輝度積算値か
ら低速シャッタ画像信号の輝度平均値(以下、低速輝度
平均値とする)を求める。
【0096】図10(A)は低速輝度積算値を示す分割
画面54の説明図である。例えば、輝度レベルが8BI
T(2=256)幅において、低速輝度平均値が20
0とする。そして、低速輝度平均値200以上のエリア
を抽出する。抽出された低速輝度平均値以上のエリアは
図10(A)の破線で囲まれたエリアである。
【0097】次に、同じ低速シャッタ画像信号から得ら
れる輝度ピーク値が8BIT幅の最大値となるエリアを
抽出する。図10(B)は低速輝度ピーク値を示す分割
画面54の説明図である。この図10(B)において、
抽出された低速輝度ピーク値が最大値となるエリアは図
10(B)の破線で囲まれたエリアである。
【0098】次に、低速輝度平均値が200以上、か
つ、低速輝度ピーク値が8BIT幅の最大値のエリアを
抽出する。図10(C)は、低速輝度積算値を示す分割
画面54において、低速輝度積算値および低速輝度ピー
ク値から輝度飽和エリア89を算出する説明図である。
低速輝度平均値が200以上、かつ、低速輝度ピーク値
が8BIT幅の最大値として抽出されたエリアは、図1
0(A)および図10(B)の破線で囲まれたエリアの
共通エリアであり、図10(C)においては、破線で囲
まれたエリアである。図10(C)の破線で囲まれたエ
リアを輝度飽和エリア89とし、その他のエリアを輝度
不飽和エリア90としている。輝度飽和エリア89は、
高速シャッタによる撮像対象とされる。
【0099】画像信号が輝度飽和エリア89と、輝度不
飽和エリア90とに低速シャッタ画像信号が分けられた
後、低速シャッタ画像信号の輝度積算値の不飽和エリア
から低速輝度平均値を算出する。
【0100】また、高速シャッタ画像信号については、
低速シャッタ画像信号と同様にして、高速シャッタ画像
信号の輝度積算値の輝度飽和エリア89から高速シャッ
タ画像信号の輝度平均値(以下、高速輝度平均値とす
る)を算出する。図10(D)は高速シャッタ画像信号
の輝度積算値の輝度飽和エリア89から高速輝度平均値
算出する説明図を示している。
【0101】制御信号生成手段87はシャッタ速度およ
びシャッタ速度比の演算を行う演算手段としての計算処
理手段91を備える。また、この計算処理手段91は、
低速シャッタ画像信号から算出された輝度平均値(以
下、低速輝度平均値とする)を処理する低速シャッタ用
計算処理部92と、高速シャッタ画像信号から算出され
た輝度平均値(以下、高速輝度平均値とする)を処理す
る低速シャッタ用計算処理部93とを備える。低速シャ
ッタ用計算処理部92および高速シャッタ用計算処理部
93により、低速シャッタ画像および高速シャッタ画像
に対して、各々適切な撮像画像を得るために電子シャッ
タ回路49と、AGC回路31とを制御し、電子シャッ
タ速度と画像信号の利得を可変させることで、適切な撮
像画像が得られる。
【0102】また、制御信号生成手段87は、計算処理
手段91の他に特性変換制御信号生成手段として、画像
信号の特性変換を制御する特性変換制御信号生成部95
と、画像合成比率制御信号生成手段として、2つの画像
信号の画像合成比率を制御する合成比率制御信号生成部
96とを備える。
【0103】計算処理手段91が備える低速シャッタ用
計算処理部92は、低速シャッタ速度制御信号生成部9
8と、自動利得制御信号生成手段としての低速用AGC
回路制御信号生成部99とを備え、低速シャッタ速度制
御信号およびAGC制御信号とを生成する。
【0104】低速シャッタ速度制御信号生成部98は入
力された低速輝度平均値から図1に示されるCMOSセ
ンサ28の電子シャッタ速度を変化させる低速シャッタ
制御信号を生成する。入力された低速輝度平均値が適正
範囲を超えている場合は大きな幅で粗く電子シャッタ速
度を変化させる(以下、粗調整とする)。また、入力さ
れた低速輝度平均値が適正範囲内の場合は小さな幅で細
かく電子シャッタ速度を変化させる(以下、微調整とす
る)。すなわち、電子シャッタ速度は2段階に調整され
る。この制御結果により次第に低速輝度平均値が適正範
囲の中心になるように低速シャッタ速度制御信号を生成
する。生成された低速シャッタ速度制御信号は電子シャ
ッタ回路49に入力され、電子シャッタ回路49の制御
がなされる。
【0105】低速シャッタ速度制御信号生成部98で実
行される電子シャッタ速度の制御について、図11およ
び図12を用いて説明する。
【0106】図11は、輝度平均値算出手段86から出
力される低速輝度平均値の推移をグラフ化した一例であ
る。このグラフにおいて、縦軸は輝度平均値算出手段8
6から出力される低速輝度平均値、横軸は時間軸を表し
ている。階段状に変化している波形は低速輝度平均値を
示す波形である。
【0107】図11に示す例では、低速輝度平均値の初
期値Psは、適正輝度平均値レベル幅Wよりも下にあ
るため、(現在の電子シャッタ速度)×(適正輝度平均
値レベル幅Wの下限値)/(低速輝度平均値)だけ電
子シャッタ速度を遅くする。電子シャッタ速度を遅くし
ていき、低速輝度平均値が適正輝度平均値レベル幅W
に入った後、適正輝度平均値レベル幅Wの中心を超え
るまでシャッタ速度を垂直同期期間V毎に10%遅くし
ていく。そして、適正輝度平均値レベル幅Wの中心を
超えたところで、電子シャッタ速度の変更を止める。初
期状態から電子シャッタ速度の変更が止まるまでのシャ
ッタ速度変更期間をTaとする。また、シャッタ速度の
変更が止まり、輝度レベルの推移が安定した状態期間を
適正輝度レベル状態期間Tbとする。
【0108】低速シャッタ速度制御信号生成部98は、
一度、適正輝度レベル状態期間Tbに入ると、ある一定
時間Tcは適正輝度レベル幅Wの範囲外の値が観測さ
れても、適正輝度レベル幅Wの範囲外の値が観測され
続けない限り、シャッタ速度の補正を行わない。上記一
定時間Tcを保護時間とする。
【0109】図11を例にすれば、低速輝度平均値が変
動し、TdおよびTfの期間で適正輝度レベル幅W
超えているが、適正輝度レベル幅Wを超えているTd
およびTfの期間は保護時間Tcよりも短い期間である
ため、シャッタ速度は変更されない。
【0110】低速シャッタ速度制御信号生成部98は、
図1に示されるCMOSセンサ28の電子シャッタ速度
を2段階で制御することによって、急激な被写体輝度値
の変化には粗調整で、素早くシャッタ速度を変化させ、
緩やかな被写体輝度値の変化には微調整で、緩やかにシ
ャッタ速度を変化させることができる。従って、撮像装
置20は被写体輝度値の変化に対して常に自然な露出を
保つことができる。また、保護時間Tcを設けることに
よって、被写体の急激な輝度変化による低速シャッタ速
度制御信号生成部98の発振を抑止できる。
【0111】一方、図12は撮像手段21におけるCM
OSセンサ28の電子シャッタの状態遷移図である。こ
の状態遷移図において、定義されているCMOSセンサ
28の電子シャッタ状態は6個あり、低速シャッタ速度
制御信号生成時は、常に上記6個のいずれかの状態にあ
る。これらの状態間にある矢印は状態の遷移を示す。
【0112】低速シャッタ速度制御信号生成部98は、
垂直同期期間V毎に輝度平均値算出手段86から入力さ
れる低速輝度平均値の輝度レベルに応じて、低速シャッ
タ制御信号を生成する。生成された制御信号により、電
子シャッタ回路49を制御することで、電子シャッタの
露出状態を現在の状態から外にむいている矢印の方向へ
遷移させる。電子シャッタの露出状態は矢印の低速輝度
レベル範囲と入力された低速輝度平均値の低速輝度レベ
ル範囲とが一致する矢印の先の方向へと遷移する。垂直
同期期間V毎に上記処理動作を繰り返し実行することに
より、低速シャッタ速度制御信号生成が適切に行われ
る。
【0113】図12の状態遷移図を図11に示される低
速輝度平均値の推移を例に挙げて説明する。
【0114】図12には低速輝度平均値の状態に応じた
6個の状態が定義され、図示されている。定義される6
個の状態は、輝度平均値算出手段86から入力された直
後の初期状態を示す状態(以下、初期状態Sとする)が
1個と、露出の具合を示す状態が3個と、保護時間中の
露出補正待機状態が2個とに大別される。
【0115】露出の具合を示す3個の状態は、露出過剰
状態Sと、露出不足状態Sと、露出適正状態S
がある。ここでいう露出不足状態Sとは、輝度レベル
が適正範囲以下であり、CMOSセンサ28に露光する
時間が適正時間よりも短い状態、すなわち、シャッタ速
度が適正な撮像画像を得るには速すぎる状態を言う。ま
た、露出適正状態Sとは、輝度レベルが適正範囲であ
り、CMOSセンサ28に露光する時間が適切、すなわ
ち、シャッタ速度が適正な状態を言う。そして、露出過
剰Sとは、輝度レベルが適正範囲以上であり、CMO
Sセンサ28に露光する時間が適正時間よりも長い状
態、すなわち、シャッタ速度が適正な撮像画像を得るに
は遅すぎる状態を言う。
【0116】露出補正待機状態を示す2個の状態は、第
1の露出補正待機状態SWUと、第2の露出補正待機状
態SWLとがある。ここでいう第1の露出補正待機状態
は、入力される低速輝度平均値が露出適正状態S
から適正輝度平均値レベル幅Wの適正範囲の上限値
を超過、すなわち露出過剰となり、保護時間カウント中
の露出補正待機状態である。また、第2の露出補正待機
状態SWL入力される低速輝度平均値が露出適正状態S
から適正輝度平均値レベル幅Wの適正範囲の下限値
未満、すなわち露出不足となり、保護時間カウント中の
露出補正待機状態である。
【0117】状態遷移は低速シャッタ速度制御信号生成
部98に低速輝度平均値が入力されることで行われる。
状態遷移のトリガとなるイベントは、入力される低速輝
度平均値の輝度レベルの範囲によるものが5通りと、露
出補正待機状態に関するもの1通りと、合計6通りあ
る。これらのイベントが低速シャッタ速度制御信号生成
部98で発生した場合、電子シャッタの露出状態は遷移
する。
【0118】入力される低速輝度平均値の輝度レベルの
範囲により発生するイベントは、適正範囲Wに関する
ものが3つ、適正範囲W以外の範囲(以下、適正範囲
外とする)Wに関するものが2つに分類される。適正範
囲Wに関するイベントは、適正範囲Wの中心値、す
なわち、最適値P入力と、適正上部範囲WBU入力
と、適正下部範囲WBL入力との3つである。一方、適
正範囲外Wは、輝度レベルが適正範囲上限値より大きく
最大値までの範囲(以下、適正範囲超とする)W 入力
と、輝度レベルが適正範囲下限値より小さく最小値まで
の範囲(以下、適正範囲未満)W入力との2つであ
る。
【0119】露出補正待機状態に関するイベントは、露
出補正待機状態から保護時間が経過した場合発生する保
護時間経過のイベントがある。
【0120】図12において、低速シャッタ用計算処理
部92の初期状態は、初期状態Sである。初期状態Sで
起こり得るイベントは、適正範囲未満W入力と、適正
下部範囲WBL入力と、最適値P入力と、適正上部範
囲WBU入力と、適正範囲超W入力とがある。
【0121】図11において、輝度平均値算出手段86
から入力される低速輝度平均値(初期値)は、適正範囲
未満Wにあるから実行されるイベントは適正範囲未満
入力となり、電子シャッタの露出状態が露出不足状
態Sに遷移する。
【0122】露出不足状態Sで起こり得るイベントは
次の3つがある。
【0123】1:適正範囲未満W入力の場合は、露出
不足状態Sのままで、状態は遷移しない。この時、電
子シャッタ速度は粗調整される。 2:適正下部範囲WBL入力の場合は、露出不足状態S
のままで露出不足状態Sの状態は遷移しない。この
時、電子シャッタ速度は微調整される。 3: 最適値P入力の場合は、露出不足状態Sから
露出適正状態Sに遷移させる。
【0124】電子シャッタ速度変更期間Taでは、イベ
ントが適正下部範囲WBL入力であるため、上記2項に
該当するイベントが起こる。すなわち、電子シャッタ速
度を微調整する。
【0125】微調整を繰り返し、イベントが適正下部範
囲WBL入力から適正上部範囲W 入力になると、こ
のイベントを示す矢印に従って、電子シャッタの露光状
態を露出不足状態Sから露出適正状態Sに遷移させ
る。
【0126】露出適正状態Sで処理されるイベントは
次の2つがある。
【0127】1:イベントが適正範囲超W入力の場
合、保護時間カウンタをリセットし、電子シャッタの露
光状態を第1の保護時間待機状態SWUに遷移する。 2:イベントが適正範囲未満W入力の場合、保護時間
カウンタをリセットし、電子シャッタの露光状態を第2
の保護時間待機状態SWLに遷移する。
【0128】入力される低速輝度平均値が適正範囲超W
に入ると、保護時間カウンタをリセットし、保護時間
カウンタのカウントを開始する。そして、電子シャッタ
の露出状態を露出適正状態Sから第1の保護時間待機
状態SWUに遷移させる。
【0129】第1の保護時間待機状態SWUで処理され
るイベントは次の3つがある。
【0130】1:イベントが適正上部範囲WBU入力の
場合、保護時間カウンタをリセットし、露出適正状態S
に遷移する。 2:イベントが適正下部範囲WBL入力の場合、保護時
間カウンタをリセットし、露出適正状態Sに遷移す
る。 3:イベントが保護時間Tc経過の場合、露出過剰状態
に遷移する。
【0131】図11の適正輝度レベル状態期間Tb以降
の期間において、低速輝度平均値が適正範囲超Wとな
る時間taで、露出適正状態Sから第1の保護時間待
機状態SWUに遷移する。そして、低速輝度平均値が適
正範囲超Wとなるtaから適正範囲Wに戻る時間t
bまでの期間Tdでは、第1の保護時間待機状態S
を保つ。
【0132】第1の保護時間待機状態SWUの状態が期
間Td(Tdは保護時間Tc未満)継続後、低速シャッ
タ速度制御信号生成部98に入力される低速輝度平均値
が低下し、適正範囲Wに戻る時間tbで、イベントが適
正上部範囲WBU入力となり、保護時間カウンタをリセ
ットし、露出適正状態Sに遷移する。そして、適正範
囲Wに戻る時間tbから適正範囲未満Wとなる時間t
cまでの期間Teでは、露出適正状態Sを保つ。
【0133】入力される低速輝度平均値が更に低下し、
低速輝度平均値が適正範囲未満Wとなる時間tcで、
イベントが適正範囲未満W入力となり、保護時間カウ
ンタのリセットおよびカウントを開始し、第2の保護時
間待機状態SWLに遷移する。そして、適正範囲未満W
となる時間tcから適正範囲Wに戻る時間tdまで
の期間Tfでは、第2の保護時間待機状態SWLを保
つ。
【0134】第2の保護時間待機状態SWLの状態が期
間Tf(Tfは保護時間Tc未満)継続後、低速シャッ
タ速度制御信号生成部98に入力される低速輝度平均値
が上昇し、適正範囲Wに戻る時間tdで、イベントが適
正下部範囲WBL入力となり、保護時間カウンタをリセ
ットし、露出適正状態Sに遷移する。そして、適正範
囲Wに戻る時間tdから適正範囲超Wとなる時間t
eまでの期間Tgでは、露出適正状態Sを保つ。
【0135】入力される低速輝度平均値が更に上昇し、
イベントが適正範囲超Wとなる時間teで、イベント
が適正範囲超Wとなり、保護時間カウンタをリセット
およびカウントを開始し、状態を第1の保護時間待機状
態SWUに遷移する。そして、低速輝度平均値が適正範
囲超Wとなる時間teから適正範囲超Wのまま保護
時間カウンタの設定時間、すなわち、保護時間Tcが経
過した時間tfで、イベントが保護時間Tc経過とな
り、露出過剰状態Sに遷移する。
【0136】以降、露出過剰状態Sでは、露出不足状
態Sと逆方向にシャッタ速度を変化させる動作とな
り、最終的には露出適正状態Sとなる。
【0137】一方、低速用AGC回路制御信号生成部9
9は図1に示されるAGC回路31を制御するAGC制
御信号を生成する。生成されたAGC制御信号はAGC
回路31へ伝送され、AGC回路31の制御がなされ
る。
【0138】また、低速シャッタ用計算処理部92は、
明るさの微小な変化に応じて電子シャッタ速度を微調整
する低速シャッタ微調整処理部100を備え、低速電子
シャッタ速度制御信号の制御を行う。
【0139】低速シャッタ微調整処理部100は、長周
期の画面輝度変動を補償するための処理である。照明光
源の輝度変動、例えば、蛍光灯フリッカの周波数と、C
MOSセンサ28のフレーム周波数とが自然数倍で極め
て近接している場合、折り返し歪による極めて長周期の
画面輝度変動を生じる。この画面輝度変動を低速シャッ
タ微調整処理部100で検出し、当該変動を抑圧するよ
うに処理している。
【0140】図13は、照明光源とCMOSセンサ28
のフレーム周期との関係で生じる輝度変動を測定し、グ
ラフ化した一例である。このグラフの縦軸は低速シャッ
タ速度制御信号生成部98から入力される低速輝度平均
値であり、グラフの横軸はフレーム周期(時間軸)を表
している。図13によれば、CMOSセンサ28のフレ
ーム周期との関係で生じる輝度変動波形は緩やかな傾き
であるが、輝度変動波形の振幅は30%程度と大きい。
従って、照明光源とCMOSセンサ28のフレーム周期
との関係で生じる輝度変動によって、低速輝度平均値の
輝度レベルが適正範囲外Wとなる場合が生じる。
【0141】低速シャッタ速度制御信号生成部98で生
成された低速シャッタ速度制御信号による電子シャッタ
回路49の制御のみの場合は、低速輝度平均値が適正範
囲外Wとなると、保護時間Tc経過後にCMOSセンサ
28の電子シャッタを制御し、図12に示される露出適
正状態Sに合わせてしまう。更に露出は低速輝度平均
値が上下し、各々上部と下部で電子シャッタ速度を変化
させて露出適正状態S に合わせてしまう為に、画面は
極めて低い周期の発振を生じてしまう。
【0142】長周期の画面輝度変動に対する改善を次の
方法で実行する。
【0143】画面輝度変動が、例えば、1フレーム周期
に±1%以内である緩やかな画面輝度変動を検出し、微
少な電子シャッタ制御によって、1フレーム毎に露出適
正状態Sに追い込む。緩やかな画面輝度変動に対して
は、保護時間Tcを設けずに露出適正状態Sに調節す
る。
【0144】低速シャッタ微調整処理部100が実行す
る緩やかな画面輝度変動に対する微調整処理について詳
細を説明する。
【0145】低速シャッタ微調整処理部100が実行す
る微調整処理は、低速シャッタ用計算処理部92が露出
適正状態Sと判断している場合にのみ動作を行う。微
調整処理動作は、露出適正状態S中に低速シャッタ用
計算処理部92が露出適正状態Sの低速輝度平均値を
記憶し、この記憶した低速輝度平均値を初期値とする。
【0146】初期値に対して1フレーム周期に±1%以
内の範囲で低速輝度平均値が変動した場合、(初期値)
/(平均値)を求める。(初期値)/(平均値)から演
算した演算結果は、低速シャッタ用計算処理部92で露
光時間のa%となる露出補正時間Δtが図14に示され
る電子シャッタ回路49が備える1CLOCK単位シフ
トレジスタ101を何段シフトさせれば露出適正状態S
となるかを算出する。
【0147】露出適正状態Sとする1CLOCK単位
シフトレジスタ101のシフトレジスタ段数の算出は、
マイコン回路48自身が現在のシャッタ速度を認知して
いる為、露光時間のa%に対応する露出補正時間Δt
は、
【数1】 であり、例えば、露光時間の1%に対応する露出補正時
間Δt1は、
【数2】 となる。また、露出補正するための1CLOCK単位シ
フトレジスタ101のシフトレジスタ段数は、
【数3】 である。
【0148】算出されたシフトレジスタ段数を電子シャ
ッタ回路49が備える1CLOCK単位シフトレジスタ
101への制御信号とすれば、極めて微少な露光時間調
整が可能となり、1フレーム周期単位で±1%の露光時
間調整が実現できる。
【0149】尚、低速シャッタ微調整処理部100が実
行する微調整処理はCCDセンサ出力信号のAGC(自
動利得制御)でも適用できる。しかし、S/N(信号対
雑音比)を考慮した場合、前記方式を適用した方が増幅
度アップに伴うノイズが少ない。
【0150】一方、高速シャッタ用計算処理部93も低
速シャッタ用計算処理部92と同様の機能を有する高速
シャッタ速度制御信号生成部103と、高速用AGC回
路制御信号生成部104と、高速シャッタ微調整処理部
105とを備える。高速シャッタ用計算処理部93の処
理動作は、入力される信号が高速輝度平均値である点以
外は低速シャッタ用計算処理部92と同様である。
【0151】特性変換制御信号生成部95には、低速シ
ャッタ用計算処理部92および高速シャッタ用計算処理
部93で生成された低速シャッタ速度制御信号および高
速シャッタ速度制御信号が入力される。特性変換制御信
号生成部95は入力されたシャッタ速度制御信号から特
性変換制御信号を生成する。特性変換制御信号生成部9
5に低速シャッタ速度制御信号が入力された場合は、図
1に示される低速シャッタ用特性変換回路41を制御す
る低速特性変換制御信号が得られる。
【0152】一方、高速シャッタ速度制御信号が入力さ
れた場合は、図1に示される高速シャッタ用特性変換回
路45を制御する高速特性変換制御信号が得られる。生
成された低速特性変換制御信号および高速特性変換制御
信号は、低速シャッタ用特性変換回路41および高速シ
ャッタ用特性変換回路45に伝送される。
【0153】低速特性変換制御信号および高速特性変換
制御信号は、低速シャッタの画像と高速シャッタ画像を
合成しダイナミックレンジ拡大画像を構築する際、合成
画像の最適化を図るための制御信号である。低速特性変
換制御信号および高速特性変換制御信号は、低速シャッ
タ用特性変換回路41および高速シャッタ用特性変換回
路45の制御に用いる。
【0154】画像合成の際に生ずる問題点として、2枚
の画像を単純に加算しただけでは、拡大率が増大すると
共に合成画面の階調特性に非直線歪みを生じ、コントラ
ストのとれない画像となる問題点がある。従って、2枚
の画像を加算する前にダイナミックレンジ拡大率に応じ
て画像信号の特性を変換し、非直線歪みを抑えてコント
ラスト低下の改善を図るものである。
【0155】低速シャッタ用特性変換回路41および高
速シャッタ用特性変換回路45の特性変換制御について
説明する。
【0156】まず、ダイナミックレンジ拡大率を以下の
式より演算する。
【0157】ダイナミックレンジ拡大率=低速シャッタ
制御信号/高速シャッタ制御信号 ここで演算されるダイナミックレンジ拡大率は露出制御
完了時点でのダイナミックレンジ拡大率である。
【0158】このダイナミックレンジ拡大率の値は、特
性変換制御信号生成部95の演算手段としての計算処理
手段91で演算され、演算結果は、低速特性変換制御信
号および高速特性変換制御信号として出力される。
【0159】低速シャッタ用特性変換回路41および高
速シャッタ用特性変換回路45は、入力X−出力Yの特
性としてX〜X0.7とlog101〜10のテーブ
ルを持っており、ダイナミックレンジ拡大率に応じてテ
ーブルを切り換え、画像信号に対する非直線歪みの改善
を行う。以下にダイナミックレンジ拡大率に対するテー
ブル選択の関係を示す。
【0160】
【外1】
【0161】特性変換制御信号生成部95は、この条件
分岐の結果を低速特性変換制御信号および高速特性変換
制御信号として生成し、低速シャッタ用特性変換回路4
1および高速シャッタ用特性変換回路45のテーブル切
り換えを自動制御で行う。
【0162】合成比率制御信号生成部96は2つの画像
信号、すなわち、低速シャッタ用画像信号および高速シ
ャッタ用画像信号の合成比率を制御する合成比率制御信
号を生成する。生成された合成比率制御信号は図1に示
される画像合成手段としての加算回路34に伝送され
る。
【0163】合成比率制御の目的は特性変換制御と同様
に低速シャッタの画像と高速シャッタ画像の合成を最適
化し、合成画像のコントラストを高めるものである。画
像合成の際の問題点としては、ダイナミックレンジ拡大
率を大きく取っていった場合、白浮きした画像となりコ
ントラストの劣化が大きくなる問題点がある。
【0164】このコントラストの劣化の原因は、低速シ
ャッタ画像のほとんどが飽和エリアとなり、飽和信号に
高速シャッタ画像の信号が乗るためである。コントラス
トの劣化を改善するために、拡大率の増加と共に高速シ
ャッタ画像の合成割合を大きくしていき、画像の白浮き
を抑圧することでコントラスト低下の補正を図る。特
に、合成画像のコントラストの向上には、特性変換制御
と同時にこの合成比率制御を行うと効果が高い。
【0165】合成比率制御信号生成部96の動作は、特
性変換制御信号生成部95と同様にダイナミックレンジ
拡大率を演算し、演算結果から低速シャッタと高速シャ
ッタの画像合成比率を切り換えるための合成比率制御信
号を生成する。この合成比率制御信号は図1に示される
画像信号合成手段としての加算回路34へ送られ、2枚
の画像の合成配分、すなわち合成比率を自動制御する。
【0166】ダイナミックレンジ拡大率による合成比率
制御の関係は以下の通りである。
【0167】
【外2】 但し、上記の合成比率は一例であって、必要に応じて変
えても良い。
【0168】電子シャッタ回路49の回路ブロック図を
図14に示す。図14に示される電子シャッタ回路49
は、低速シャッタパルス生成手段107と、高速シャッ
タパルス生成手段108と、シャッタパルス切換回路1
09とを備える。
【0169】電子シャッタ回路49には低速シャッタ速
度制御信号と、CLKパルス、HDパルス、VDパルス
およびフィールド情報(以下、FIとする)とが入力さ
れる。
【0170】電子シャッタ回路49に入力された低速シ
ャッタ速度制御信号と、CLKパルス、HDパルス、V
DパルスおよびFIは、低速シャッタパルス生成手段1
07に入力され、低速シャッタパルス生成手段107で
低速側の電子シャッタを切るための低速シャッタパルス
を生成する。また、電子シャッタ回路49に入力された
高速シャッタ速度制御信号と、CLKパルス、HDパル
ス、VDパルスおよびFIは、高速シャッタパルス生成
手段108に入力され、高速シャッタパルス生成手段1
08で高速側の電子シャッタを切るための高速シャッタ
パルスを生成する。
【0171】生成された低速シャッタパルスおよび高速
シャッタパルスはシャッタパルス切換回路109に入力
される。また、シャッタパルス切換回路109にはFI
も入力され、FIの情報内容に応じて低速シャッタパル
スおよび高速シャッタパルスを切り換える。シャッタパ
ルスの切り換えは、FIの情報に基づき、低速シャッタ
速度で撮像する場合は低速シャッタパルスを、高速シャ
ッタ速度で撮像する場合は高速シャッタパルスを出力す
る。シャッタパルス切換回路109から出力されたシャ
ッタパルスは撮像手段21に入力され、撮像手段21が
備えるCMOSセンサ28の電子シャッタを制御する。
【0172】低速シャッタパルス生成手段107は、水
平同期期間H単位のシャッタパルス生成部(以下、H周
期単位のシャッタパルス生成部とする)110と、数十
CLOCK周期単位のシャッタパルス生成部111と、
OR回路112と、1CLOCK単位シフトレジスタ1
01とを備える。H周期単位のシャッタパルス生成部1
10で生成された水平同期期間H単位のシャッタパルス
および数十CLOCK単位のシャッタパルス生成部11
1で生成された数十CLOCK単位のシャッタパルスは
OR回路112で多重され、1CLOCK単位シフトレ
ジスタ101に入力される。1CLOCK単位シフトレ
ジスタ101は、CLOCK単位の露光時間の微調整を
行い、シャッタパルスを1CLOCK単位シフトレジス
タ101で遅延させることにより得る。この遅延量はマ
イコン回路48から入力される制御信号、すなわち、シ
フトレジスタ段数によって制御される。
【0173】電子シャッタパルス発生タイミングおよび
電子シャッタパルス時間について、図15〜図18を用
いて説明する。
【0174】図15(A)はVDパルス、図15(B)
は、図15(A)に示されるVDパルスの周期(以下、
V周期とする)の時間スケールで見た電子シャッタパル
スの一例を示している。
【0175】電子シャッタパルス発生タイミングは、電
荷読出しパルス(図外)入力の直後であり、通常のTV
カメラと同様の発生タイミングである。すなわち、図1
5で説明すれば、図15に示される時間t1および時間
t3で電子シャッタパルスは発生する。図15(B)に
示される電子シャッタパルスの一例では、時間t1でH
Dパルスの周期(以下、H周期とする)単位の電子シャ
ッタパルスが、時間t3でCLOCKパルスの周期の例
えば、8倍等の自然数倍周期(以下、数CLK周期とす
る)単位の電子シャッタパルスが発生している。
【0176】また、電子シャッタパルス時間とは、電子
シャッタパルスのパルス幅に対応する時間であり、被写
体の画像光をCMOSセンサ28に露光する露光時間で
ある。電子シャッタパルス時間の調整は、VDパルス、
HDパルスおよびCLOCKパルスを用いてなされ、V
周期単位、H周期単位および数CLK周期単位で調整が
可能である。
【0177】HDパルスを用いてなされる電子シャッタ
パルス時間の調整を説明する説明図を図16(A)およ
び図16(B)に、数CLK周期の電子シャッタパルス
時間の調整を説明する説明図を図17(A)および図1
7(B)に示す。
【0178】図16(A)および図16(B)は、図1
5(B)に示される時間t1〜時間t3の電子シャッタ
パルス発生タイミングにおいて、V周期の一部を拡大し
た拡大図である。図16(A)はV周期内のHDパルス
を示し、図16(B)は図16(A)に示されるH周期
の時間スケールで見た電子シャッタパルスを示してい
る。図16(B)に示される電子シャッタパルスの一例
では、時間t1でH周期の電子シャッタパルスが発生す
る。
【0179】また、図17(A)および図17(B)
は、図15(B)に示される電子シャッタパルス発生タ
イミングにおける細かいパルスであり、時間t3〜時間
t5のV周期において、一部を拡大した拡大図である。
図17(A)はV周期内のCLOCKパルス、図17
(B)は数CLK周期の電子シャッタパルスを示してい
る。図17(B)に示される電子シャッタパルスの一例
では、時間t3で数CLK周期の電子シャッタパルスが
発生する。
【0180】尚、HDパルスを用いてなされる電子シャ
ッタパルス時間の調整は、図16(B)に示されるH周
期の電子シャッタパルス時間に限らない。最初の電子シ
ャッタパルスが発生した時間t1から時間t3までのV
周期において、H周期単位に時間調整が可能である。一
方、数CLKパルスを用いてなされる電子シャッタパル
ス時間の調整は、図17(B)に示される数CLK周期
の電子シャッタパルス時間に限らない。最初の電子シャ
ッタパルスが発生した時間t3から時間t5までのV周
期において、数CLK周期単位に時間調整が可能であ
る。
【0181】この様なH周期単位および数CLK周期単
位での電子シャッタパルス時間の調整手法は、通常のC
CDセンサカメラに適用されている調整手法である。撮
像装置20は、画像の露光時間を1CLOCK周期で調
整を行うことができ、電子シャッタ速度調整のみで微調
整処理を行える。この微調整処理は、撮像装置20の特
徴となる点である。
【0182】図18に電子シャッタパルスをシフトさ
せ、1CLOCK周期で露光時間の調整を行う説明図を
示す。
【0183】従来の撮像装置における電子シャッタパル
ス時間は、CLOCK周期の自然数倍周期単位の調整で
あり、通常、CLOCK周期の7,8倍程度であった。
このため、電荷読出しパルスの直前で“数CLK周期の
シャッタパルス”を1パルス切ると、露光時間が50%
程度変化してしまい、露光時間のキザミが粗かった。
【0184】これに対し、撮像装置20は、低速シャッ
タ微調整処理部100および高速シャッタ微調整処理部
105で微調整処理を行い、1CLOCK周期単位で電
子シャッタパルスをシフトさせ、1CLOCK周期単位
で露光時間の調整を行うことができる。従って、電荷読
出しパルスの直前に発生させたシャッタパルスの露光時
間調整を数%ずつ行うことができ、露光時間を細かく調
整することが可能となる。
【0185】撮像装置20は、露光時間の細かな調整が
可能なため、画像信号の輝度レベルを細かく調整するこ
とができ、高輝度部分で極めて早い電子シャッタ速度で
撮像を行った画像信号に対して、電子シャッタの露光時
間調整のみでフリッカ補正が可能となる。すなわち、本
発明のような広ダイナミックレンジを実現する撮像装置
20において、高速シャッタ画像信号のフリッカ補正が
電子シャッタのみで可能となる。
【0186】高速シャッタパルス生成手段108も低速
シャッタパルス生成手段107と同様である。高速シャ
ッタパルス生成手段108は低速シャッタパルス生成手
段107と内部構成および動作が全く異ならないので、
説明を割愛する。
【0187】第1実施形態を示す撮像装置20によれ
ば、被写体内の輝度差に応じてカメラダイナミックレン
ジ拡大率を高速に可変させ、被写体輝度差に最適化した
撮像画像を得ることで、被写体として極めて輝度差の大
きい画像認識用車載カメラ、屋内、夜間の屋外を同時撮
像する監視カメラ等として有効な撮像装置を提供でき
る。
【0188】第1実施形態を示す撮像装置20において
は、画像信号処理手段としてのアナログ信号処理手段2
2およびデジタル信号処理手段23と、制御手段24と
は、集積化される。集積化される範囲は、種々の形態が
可能である。例えば、電子シャッタ回路49、低速シャ
ッタ用メモリ回路39、高速シャッタ用メモリ回路4
3、低速シャッタ用切換回路40、高速シャッタ用切換
回路44、低速用特性変換回路41、高速用特性変換回
路45、画像信号合成手段としての加算回路34、輝度
積算値回路50、輝度ピーク値検出回路51、ゲート波
形発生回路52が1つの集積化半導体チップとして構築
されても良い。もちろん、上記例に限らず、集積化する
場合、図1に示される各構成部位の組み合せは任意であ
る。また、加算回路34は切換回路でも良い。
【0189】尚、上記の説明では撮像素子としてCMO
Sセンサ28を適用した例を説明したが、本発明は撮像
素子にCCDセンサ等の光電素子を用いた場合にも、同
様に被写体内の輝度差に応じてカメラダイナミックレン
ジ拡大率を可変させ、被写体輝度差に最適化した撮像画
像を得ることができる。
【0190】[第2実施形態]本発明の第2実施形態を
示す撮像装置20Aを図19に示す。第2実施形態を示
す撮像装置20Aは、撮像して得られた画像信号のう
ち、重要度の高い画像情報エリアを選択抽出するエリア
選択抽出手段113を備えている点以外は、図1に示さ
れる第1実施形態の撮像装置20とほぼ同様である。従
って、撮像装置20と異なる構成部位にのみ符号を付
し、全く異ならない構成部位については、同じ符号を付
して、説明を省略する。
【0191】図19によれば、撮像装置20Aは、撮像
素子にCMOSセンサ28を有し、画像を撮像する撮像
手段21と、この撮像手段21で撮像された1画面分の
画像信号のうち、画面範囲から任意のエリアを選択抽出
するエリア選択抽出手段113と、このエリア選択抽出
手段113で、選択抽出されたエリアの画像信号を信号
処理し、出力する画像信号出力手段114とを具備す
る。
【0192】撮像装置20Aの撮像手段21が備える撮
像素子としてのCMOSセンサ28で1画面分の画像信
号が生成される。この1画面分の画像信号は、エリア選
択抽出手段113からCMOSセンサ28に入力される
エリア選択抽出信号により、1画面分の画像信号の画面
範囲から任意のエリアが選択抽出される。そして、CM
OSセンサ28は、生成された1画面分の画像信号のう
ち任意のエリアを選択抽出した画像信号(以下、エリア
選択抽出画像信号とする)を出力する。出力されたエリ
ア選択抽出画像信号は、画像信号出力手段114に入力
される。
【0193】画像信号出力手段114に入力されたエリ
ア選択抽出画像信号は、相関二重サンプリング回路(以
下、CDS回路とする)116でエリア選択抽出画像信
号に重畳されたノイズが除去され、A/D変換回路32
でA/D変換され、画像信号処理回路117で信号処理
される。画像信号処理回路117で信号処理されたエリ
ア選択抽出画像信号は、画像信号出力端子25を介して
画像信号出力手段114から撮像装置20Aの画像信号
出力として出力される。また、画像信号処理回路117
で信号処理されたエリア選択抽出画像信号は、フィード
バック信号として、撮像装置20Aが備えるエリア選択
抽出手段113にもフィードバックされる。
【0194】エリア選択抽出手段113にフィードバッ
クされるフィードバック信号は、制御回路118に入力
され、走査パルス生成回路119を制御する制御信号が
生成される。生成された制御信号は、走査パルス生成回
路119に入力され、走査パルスの生成が制御される。
走査パルス生成回路119で生成された走査パルスは、
撮像素子としてのCMOSセンサ28が出力するエリア
選択抽出画像信号のエリアを選択するエリア選択手段1
20に入力される。エリア選択手段120は、入力され
た走査パルスをトリガにして、エリア選択抽出情報を出
力し、出力されたエリア選択抽出情報は撮像素子駆動回
路121に入力される。
【0195】また、走査パルス生成回路119で生成さ
れた走査パルスは、撮像素子駆動回路121にも直接入
力される。撮像素子駆動回路121は、入力された走査
パルスから撮像素子としてのCMOSセンサ28を駆動
させる転送パルスおよびエリア選択抽出信号を生成し、
生成された転送パルスおよびエリア選択抽出信号は、C
MOSセンサ28に入力される。
【0196】撮像装置20Aは、撮像素子であるCMO
Sセンサ28を有することで、撮像から撮像素子に蓄積
された蓄積電荷、すなわち、画像信号の読出し時間の大
幅な短縮を図っている。また、エリア選択抽出手段11
3を備えることで、図19に示される撮像装置20A内
の画像信号出力手段114における画像信号処理時間の
短縮を図っている。撮像装置20Aは、撮像素子からの
画像信号の読出し時間短縮および画像信号出力手段11
4での画像信号処理時間短縮によって、撮像から画像信
号出力までの所要時間短縮を図っている。
【0197】撮像装置20Aは、撮像から画像信号出力
までの所要時間短縮により、高速制御が要求される場
合、例えば、移動体が走行ルート上にある障害物を検知
し、衝突しないように回避する等の制御を行う場合にお
いて、第1実施形態を示す撮像装置20と比較するとよ
り適した撮像装置となる。すなわち、撮像装置20A
は、制御情報取得の用途で移動体に設置する撮像装置と
して有効な撮像装置である。
【0198】まず、撮像装置20Aの撮像素子としての
CMOSセンサ28による画像信号の読出し時間の短縮
効果について説明する。
【0199】図20(A)および図20(B)に例え
ば、640×480画素のCCDセンサとCMOSセン
サ28で比較した場合におけるCCDセンサとCMOS
センサ28からの画像信号の読出し時間、すなわち、C
CDセンサとCMOSセンサ28に蓄積された蓄積電荷
の読出し時間について示す。
【0200】図20(A)に示されるCCDセンサの場
合は、蓄積電荷の読出しに要する時間、すなわち、転送
パルス(撮像素子駆動信号)が入力され、全ての画素1
23から蓄積電荷を垂直転送部124に転送し、垂直転
送部124に転送された蓄積電荷を順次読み出すまで、
約1/30sec要する。
【0201】一方、図20(B)に示されるCMOSセ
ンサ28の場合は、転送パルス(撮像素子駆動信号)が
入力された直後、どの画素でも(CMOSセンサでは転
送パルスは1つでなく各画素(素子)でタイミングが異
なるため)蓄積電荷をほとんど瞬時(約30nsec)
に画像信号読出しライン125から読み出すことができ
る。このことから、撮像素子にCMOSセンサ28を有
することで、撮像装置20Aは、撮像素子からの蓄積電
荷の読出し時間を大幅に短縮できる。
【0202】ここで、撮像素子にCCDセンサを備えた
撮像装置20と、撮像素子にCMOSセンサ28を備え
た撮像装置20Aとを車両等の移動体に設置し、時速1
50km(≒秒速41.7m)で走行した場合を比較す
る。撮像装置20では、撮像素子のCCDセンサからの
蓄積電荷の読出し時間、すなわち、約1/30sec経
過後では車は約1.4m進んでしまうのに対し、撮像装
置20Aでは、撮像素子であるCMOSセンサ28から
の蓄積電荷読出し時間経過後において、ほぼ0mであ
る。
【0203】従って、各々の撮像装置が前方にある障害
を検知し、衝突回避のため、移動体を停止する制御を行
う場合、撮像装置20を設置した移動体は、制動動作に
入るまでに約1.4m空走してしまうのに対し、撮像装
置20Aを設置した移動体は、ほぼ空走0mで制動動作
に入れることを意味する。また、移動体の移動速度がさ
らに高速になれば、蓄積電荷読出し時間中の空走距離の
違いは、より顕著なものとなる。
【0204】次に、図19に示される撮像装置20Aが
備えるエリア選択手段120および撮像素子駆動回路1
21について説明する。
【0205】エリア選択手段120は、垂直方向の走査
範囲を選択する垂直位置選択回路127と、水平方向の
水平位置選択回路128とを備える。エリア選択手段1
20による画像信号の選択抽出エリアの設定は、垂直方
向プリセット端子129および水平方向プリセット端子
130から垂直位置選択回路127および水平方向の水
平位置選択回路128にCMOSセンサ28を走査する
走査範囲情報を予めインプットしておくことにより実施
される。
【0206】垂直方向のエリア選択抽出は、垂直方向プ
リセット端子129から垂直位置選択回路127にCM
OSセンサ28を走査する走査範囲情報を予めインプッ
トする。走査範囲情報は、CMOSセンサの垂直方向の
有効走査線に対して、各有効走査線毎に0,1を垂直位
置選択回路127にインプットすることで行われる。
【0207】また、垂直位置選択回路127には、走査
範囲情報の他に走査パルス生成回路119からの走査パ
ルスが入力される。入力された走査パルスをトリガにし
て、インプットされた0,1情報がCMOSセンサ28
を駆動する撮像素子駆動回路121に入力される。
【0208】水平方向のエリア選択抽出も垂直方向エリ
ア選択抽出と同様にして、水平方向プリセット端子13
0から水平位置選択回路128にCMOSセンサ28を
走査する走査範囲を0,1でインプットする。そして、
走査パルス生成回路119から入力される走査パルスを
トリガにして、インプットされた0,1情報がCMOS
センサ28を駆動する撮像素子駆動回路121に入力さ
れる。
【0209】撮像素子駆動回路121は、垂直方向の有
効走査線の走査を行う垂直シフトレジスタ132と、水
平方向の有効走査線の走査を行う水平シフトレジスタ1
33とを備える。垂直シフトレジスタ132は、走査パ
ルス生成回路119からの走査パルスをトリガにして、
垂直位置選択回路127からの走査範囲情報、すなわ
ち、0,1情報に応じてCMOSセンサ28を駆動する
駆動信号を生成する。また、水平シフトレジスタ133
に対しても、走査パルス生成回路119からの走査パル
スをトリガにして、水平位置選択回路128からの走査
範囲情報、すなわち、0,1情報に応じてCMOSセン
サ28を駆動する駆動信号(以下、CMOSセンサ駆動
信号とする)を生成する。
【0210】垂直シフトレジスタ132および水平シフ
トレジスタ133で生成されたCMOSセンサ駆動信号
は、CMOSセンサ28に伝送される。そして、入力さ
れたCMOSセンサ駆動信号により、CMOSセンサ2
8は、画像信号の選択抽出を行う。
【0211】画像信号の選択抽出は、走査範囲情報とし
て、1がインプットされた有効走査線に対しては、走査
実施領域として画像信号の抽出を行う。一方、0がイン
プットされた有効走査線は走査実施不要領域として画像
信号の抽出がなされない。選択抽出された画像信号は、
第1実施形態を示す撮像装置20と同様にして、信号処
理手段で画像信号処理される。
【0212】撮像装置20Aが備える画像信号処理手段
は、第1実施形態を示す撮像装置20と同じであるが、
画像信号処理する情報量は、画像信号を選択抽出し、情
報量を絞り込む分だけ素早く画像信号処理される。そし
て、画像信号処理手段で画像信号処理された画像信号
は、画像信号出力手段114から出力される。
【0213】図21は、撮像装置20Aに設置する一例
として車載カメラとして用いた例を示す説明図である。
車載カメラにおいては、画面中央部付近から画面上方に
かけては、空135であり、車136、道路137、道
路上の白線138等の被写体は画面中央付近より画面下
方に多い。従って、車載カメラでは、画面中央付近より
画面下方部を走査実施領域として設定し、その他の部分
を走査実施不要領域として設定すれば、車136、道路
137、道路上の白線138等の被写体がある重要度の
高い領域の画像を素早く得ることができる。
【0214】第2実施形態を示す撮像装置20Aによれ
ば、撮像素子にCMOSセンサ28を有することで、光
電変換後にCMOSセンサ28からの画像信号の読出し
をほぼ瞬時に行うことが可能となる。また、エリア選択
抽出手段113を備えることで、画像信号のうち重要度
の高いエリアを選択抽出し、信号処理に必要な処理時間
を短縮することが可能となる。
【0215】このことから、撮像装置20Aは、撮像か
ら画像信号出力までの所要時間短縮を実現し、高速制御
が要求される場合、例えば、移動体が走行ルート上にあ
る障害物を検知し、衝突しないように回避する等の制御
を行う場合において、制御情報取得のために移動体に設
置する撮像装置として有効である。
【0216】尚、第2実施形態を示す撮像装置20Aを
設置する移動体は、車両を例に説明したが、車両に限定
されない。撮像装置20Aを設置する移動体は、車両、
船舶、航空機等、撮像装置20Aを設置可能なあらゆる
移動体を包含している。
【0217】
【発明の効果】本発明に係る撮像装置によれば、被写体
内の輝度差に応じてカメラダイナミックレンジ拡大率を
高速に可変させ、被写体輝度差に最適化した撮像画像を
得ることで、被写体として極めて輝度差の大きい画像認
識用車載カメラ、屋内、夜間の屋外を同時撮像する監視
カメラ等として有効な撮像装置を提供できる。
【0218】また、撮像手段が備える撮像素子にCMO
Sセンサを用いること、および、撮像画面範囲内のう
ち、特に重要度の高いエリアを選択抽出し、画像信号処
理する画像信号情報量を絞り込むことで、撮像から画像
処理完了までの所要時間を短縮することができ、被写体
が刻一刻と変化する移動体からの撮像を行うのに有効な
撮像装置を提供できる。
【0219】特に、移動体に設置される撮像装置からの
画像信号を制御情報として用いて、この移動体を制御す
る等、撮像装置からの撮像情報を用いて次の動作を素早
く制御する必要がある場合において、有効である。
【図面の簡単な説明】
【図1】本発明に係る第1実施形態を示す撮像装置の一
実施例を示す回路ブロック図。
【図2】本発明に係る撮像装置における低速シャッタ画
像信号および高速シャッタ画像信号の画像信号合成を説
明する説明図。
【図3】撮像装置に備えられる撮像素子の撮像特性の説
明図。
【図4】本発明に係る撮像装置の信号処理出力特性を示
す説明図。
【図5】本発明に係る撮像装置で撮影される撮像画面の
分割例を示す説明図。
【図6】図1に示される輝度積算値回路のブロック図。
【図7】図1に示される輝度ピーク値検出回路のブロッ
ク図。
【図8】図1に示されるゲート波形発生回路のブロック
図。
【図9】図1に示されるマイコン回路のブロック図。
【図10】撮像した画面が分割された画像の処理内容の
説明図であり、(A)は低速輝度積算値を示す画面、
(B)は低速輝度ピーク値を示す画面、(C)は低速輝
度積算値を示す画面において、低速輝度積算値および低
速輝度ピーク値から飽和エリアを算出する画面、(D)
高速輝度積算値を示す画面。
【図11】本発明に係る撮像装置に備えられる輝度平均
値算出手段からの輝度平均値の推移を示す説明図(グラ
フ)。
【図12】本発明に係る撮像装置に備えられる撮像素子
の電子シャッタ露出の制御状態の遷移を示す状態遷移
図。
【図13】交流照明光源による画面輝度変動を示す説明
図。
【図14】本発明に係る撮像装置に備えられる電子シャ
ッタ回路の電子シャッタパルス発生を示す内部ブロック
図。
【図15】(A)はVDパルスを示し、(B)は電子シ
ャッタパルスの発生タイミングをV周期の時間スケール
で見た場合を示す説明図。
【図16】(A)は図15に示されるV周期(t1〜t
3)内のHDパルスを示し、(B)は電子シャッタパル
スの発生タイミングをH周期の時間スケールで見た場合
を示す説明図。
【図17】(A)は図15に示されるV周期(t3〜t
5)内の数CLKパルスを示し、(B)は電子シャッタ
パルスの発生タイミングを数CLK周期の時間スケール
で見た場合を示す説明図。
【図18】(A)はV周期内の数CLKパルスを示し、
(B)は数CLK周期の電子シャッタパルスがシフトレ
ジスタにより、1CLOCK単位で位相が可変する様子
を示す説明図。
【図19】本発明に係る第2実施形態を示す撮像装置の
一実施例を示す回路ブロック図。
【図20】本発明に係る撮像装置に備えられる撮像素子
の違いによる蓄積電荷の読出し時間の違いを説明する図
であり、(A)はCCDセンサの場合、(B)はCMO
Sセンサの場合を示す説明図。
【図21】本発明に係る第2実施形態を示す撮像装置を
移動体に設置する一例として車載カメラとして用いた例
を示す説明図。
【図22】従来の撮像装置において、(A)はCCDセ
ンサ出力、(B)は撮像装置の画像出力を示す説明図。
【図23】従来の撮像装置の回路ブロック図。
【符号の説明】
20 撮像装置 21 撮像手段 22 アナログ信号処理手段(画像信号処理手段) 23 デジタル信号処理手段(画像信号処理手段) 24 制御手段 25 画像信号出力端子(画像信号出力手段) 27 撮像レンズ 28 CMOSセンサ(撮像素子) 31 AGC(自動利得制御)回路 32 A/D変換回路 33 画像信号処理実行手段 34 加算回路(画像信号合成手段) 35 D/A変換回路 37 低速シャッタ用信号処理手段 38 高速シャッタ用信号処理手段 39 低速シャッタ用メモリ回路 40 低速シャッタ用切換回路 41 低速シャッタ用特性変換回路 43 高速シャッタ用メモリ回路 44 高速シャッタ用切換回路 45 高速シャッタ用特性変換回路 47 画像信号情報取得手段 48 マイコン回路(制御信号生成手段) 49 電子シャッタ回路 50 輝度積算値回路(分割画像輝度積算手段) 51 輝度ピーク値検出回路(分割画像輝度ピーク値検
出手段) 52 ゲート波形発生回路 53 全体画面 54 分割画面 58 ゲート回路 59 積算処理部 60 積算出力制御回路 62 積算回路 63 1画素保持回路 64 ピーク値検出用ゲート回路 65 ピーク値検出用1画素保持回路 66 輝度加算回路 67 2画素保持回路 68 2画素保持信号発生回路 69 比較回路 70 切換回路 71 輝度信号保持回路 72 ピーク値出力制御回路 74 垂直方向設定部 75 水平方向設定部 76 合成回路 78 垂直同期リセット信号発生回路 79 垂直方向スタート位置設定回路 80 垂直方向幅設定回路 82 水平同期リセット信号発生回路 83 水平方向スタート位置設定回路 84 水平方向幅設定回路 86 輝度平均値算出手段 87 制御信号生成手段 89 輝度飽和エリア 90 輝度不飽和エリア 91 計算処理手段 92 低速シャッタ用計算処理部 93 高速シャッタ用計算処理部 95 特性変換制御信号生成部(特性変換制御信号生成
手段) 96 合成比率制御信号生成部(画像合成比率制御信号
生成手段) 98 低速シャッタ速度制御信号生成部 99 低速用AGC回路制御信号生成部 100 低速シャッタ微調整処理部 101 1CLOCK単位シフトレジスタ 103 高速シャッタ速度制御信号生成部 104 高速用AGC回路制御信号生成部 105 高速シャッタ微調整処理部 107 低速シャッタパルス生成手段 108 高速シャッタパルス生成手段 109 シャッタパルス切換回路 110 H周期(水平同期期間H)単位のシャッタパル
ス生成部 111 数十CLOCK周期単位のシャッタパルス生成
部 112 OR回路 113 エリア選択抽出手段 114 画像信号出力手段(第2実施形態) 116 CDS回路 117 画像信号処理回路 118 制御回路 119 走査パルス生成回路 120 エリア選択手段 121 撮像素子駆動回路 123 画素 124 CCDセンサの垂直転送部 125 CMOSセンサの画像信号読出しライン 127 垂直位置選択回路 128 水平位置選択回路 129 垂直方向プリセット端子 130 水平方向プリセット端子 132 垂直シフトレジスタ 133 水平シフトレジスタ 135 空 136 車 137 道路 138 道路上の白線
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G03B 15/00 G03B 15/00 V H04N 5/225 H04N 5/225 Z 5/235 5/235 // H04N 101:00 101:00 Fターム(参考) 2H002 CC00 CC01 DB14 DB24 DB25 DB26 DB27 DB31 DB32 JA07 5C022 AA13 AB04 AB05 AB06 AB17 AB19 AB20 AC42 AC52 AC69 CA00 5C024 BX01 CX47 CX54 GY31 HX18 HX20 HX21 HX28 HX51

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 第1の露光時間で撮影した第1の画像信
    号および前記第1の露光時間とは異なる第2の露光時間
    で撮像した第2の画像信号を得る撮像手段と、前記第1
    の画像信号と第2の画像信号とを画像信号処理し、1つ
    の画像信号に合成する画像信号処理手段と、前記撮像手
    段と前記画像信号処理手段とを制御する制御手段と、前
    記画像信号処理手段で信号処理された画像信号を取り出
    す画像信号出力手段とを具備し、前記撮像手段はCMO
    Sセンサを有し、前記撮像手段からの第1の画像信号と
    第2の画像信号とを光電変換して、直ちに信号出力し、
    前記画像信号処理手段で信号処理するようにしたことを
    特徴とする撮像装置。
  2. 【請求項2】 前記制御手段は、前記撮像手段で得られ
    る前記第1の画像信号と前記第2の画像信号とから前記
    第1の画像信号と前記第2の画像信号との画像信号情報
    を取得する画像信号情報取得手段を備え、前記画像信号
    情報取得手段から取得した画像信号情報を用いて、前記
    第1の画像信号および前記第2の画像信号を独立に可変
    する制御信号生成手段を備え、前記画像信号処理手段の
    制御を行うようにしたことを特徴とする請求項1記載の
    撮像装置。
  3. 【請求項3】 前記制御手段は、前記撮像手段で得られ
    る前記第1の画像信号と前記第2の画像信号とから各々
    の画像信号情報を取得する画像信号情報取得手段を備
    え、この画像信号情報取得手段から取得した画像信号情
    報を用いて、前記第1の画像信号および前記第2の画像
    信号の輝度平均値を算出する輝度平均値算出手段を備え
    ることを特徴とする請求項1記載の撮像装置。
  4. 【請求項4】 前記制御手段は、前記撮像手段で得られ
    る前記第1の画像信号と前記第2の画像信号とから各々
    の画像信号情報を取得する画像信号情報取得手段を備
    え、前記画像信号情報取得手段は、撮像画面を複数に分
    割し、分割された分割画面毎に画像情報を取得し、前記
    分割画像情報を用いて前記第1の画像信号と前記第2の
    画像信号の画像信号情報を取得することを特徴とする請
    求項1記載の撮像装置。
  5. 【請求項5】 前記制御手段は、前記撮像手段で得られ
    る前記第1の画像信号と前記第2の画像信号とから各々
    の画像信号情報を取得する画像信号情報取得手段を備
    え、前記画像信号情報取得手段は、撮像画面を複数に分
    割し、分割された分割画面毎の画像情報を取得する手段
    として、分割画像輝度積算手段と、分割画像輝度ピーク
    値検出手段とを備えることを特徴とする請求項1記載の
    撮像装置。
  6. 【請求項6】 前記制御手段は、前記第1の露光時間お
    よび前記第2の露光時間の比率を演算する演算手段を備
    え、前記演算手段の演算結果を用いて、前記第1の露光
    時間および前記第2の露光時間を独立に可変することを
    特徴とする請求項1記載の撮像装置。
  7. 【請求項7】 前記制御手段は、前記第1の露光時間お
    よび前記第2の露光時間の比率を演算する演算手段を備
    え、前記演算手段の演算結果は、前記制御手段が適切な
    画像信号を得るために、前記撮像手段で得られる前記第
    1の画像信号と前記第2の画像信号とから各々の画像信
    号情報を取得する画像信号情報取得手段にて取得した画
    像情報に基づき実行されることを特徴とする請求項1に
    記載の撮像装置。
  8. 【請求項8】 前記制御手段は、前記第1の露光時間お
    よび前記第2の露光時間を独立に可変する場合、前記第
    1の露光時間および前記第2の露光時間の比率を演算す
    る演算手段を備え、前記演算手段の演算結果に基づき、
    前記撮像手段からの前記第1の画像信号および前記第2
    の画像信号の増幅度を個別に制御する自動利得制御信号
    生成手段を備えることを特徴とする請求項1記載の撮像
    装置。
  9. 【請求項9】 前記制御手段は、前記第1の露光時間お
    よび前記第2の露光時間の比率を演算する演算手段を備
    え、前記演算手段の演算結果に基づき、前記撮像手段か
    らの前記第1の画像信号および前記第2の画像信号の入
    出力特性を個別に変換制御する特性変換制御信号生成手
    段を備えることを特徴とする請求項1記載の撮像装置。
  10. 【請求項10】 前記制御手段は、前記第1の露光時間
    および前記第2の露光時間を独立に可変する場合、前記
    第1の露光時間および前記第2の露光時間の比率を演算
    する演算手段を備え、前記演算手段の演算結果に基づ
    き、前記撮像手段からの前記第1の画像信号および前記
    第2の画像信号を合成する画像信号合成比率を個別に制
    御する画像合成比率制御信号生成手段を備えることを特
    徴とする請求項1記載の撮像装置。
  11. 【請求項11】 前記制御手段は前記第1の露光時間お
    よび前記第2の露光時間を決める電子シャッタの最終発
    生タイミングをタイミングジェネレータの1CLOCK
    単位での時間的移動を行うことが可能なことを特徴とす
    る請求項1記載の撮像装置。
  12. 【請求項12】 前記画像信号処理手段は、前記第1の
    画像信号および第2の画像信号の信号経路に設けられ、
    前記第1の画像信号および前記第2の画像信号の利得を
    制御する自動利得制御回路と、 この自動利得制御回路で利得制御された前記第1の画像
    信号と前記第2の画像信号との各信号経路に各々設けら
    れ、前記第1の画像信号および前記第2の画像信号の入
    出力特性を制御する入出力特性変換回路と、 この入出力特性変換回路で入出力特性変換された前記第
    1の画像信号および前記第2の画像信号を1つの画像信
    号に合成する画像信号合成手段とを具備することを特徴
    とする請求項1記載の撮像装置。
  13. 【請求項13】 前記制御信号生成手段は、前記第1の
    露光時間および前記第2の露光時間の比率を演算した演
    算結果に基づき、 前記撮像手段からの前記第1の画像信号および前記第2
    の画像信号の増幅度を個別に制御する自動利得制御信号
    生成手段と、 前記撮像手段からの前記第1の画像信号および前記第2
    の画像信号の入出力特性を個別に変換制御する特性変換
    制御信号生成手段と、 前記撮像手段からの前記第1の画像信号および前記第2
    の画像信号を合成する画像信号合成比率を個別に制御す
    る画像合成比率制御信号生成手段とを備えることを特徴
    とする請求項2記載の撮像装置。
  14. 【請求項14】 前記画像信号情報取得手段は、輝度平
    均値算出手段で前記第1の画像信号および前記第2の画
    像信号の輝度平均値を取得するために、撮像画面を複数
    に分割し、 分割された分割画面毎に分割画像の輝度積算する分割画
    像輝度積算手段と、 分割画像の輝度ピーク値検出を行う分割画像輝度ピーク
    値検出手段とを備え、 前記分割画像輝度積算手段の輝度積算結果および前記分
    割画像輝度ピーク値検出手段の輝度ピーク値検出結果に
    基づき、前記第1の画像信号および前記第2の画像信号
    の輝度平均値を算出することを特徴とする請求項3記載
    の撮像装置。
  15. 【請求項15】 前記画像信号情報取得手段は、輝度平
    均値算出手段で前記第1の画像信号および前記第2の画
    像信号の輝度平均値を取得するために、撮像画面を複数
    に分割し、 分割された分割画面毎に分割画像の輝度積算する分割画
    像輝度積算手段と、 分割画像の輝度ピーク値検出を行う分割画像輝度ピーク
    値検出手段とを備え、前記分割画像の輝度積算結果およ
    び前記分割画像の輝度ピーク値検出結果に基づき、前記
    第1の画像信号および前記第2の画像信号の輝度平均値
    を得る輝度平均値算出手段にて輝度平均値を算出する場
    合、 前記第1の画像信号に対しては、前記第1の画像信号の
    高輝度エリアを抽出し、前記第1の画像信号に対して前
    記抽出エリアを除いたエリアの輝度平均値を算出し、 前記第2の画像信号に対しては、抽出した前記第1の画
    像信号の高輝度エリアに対応する前記第2の画像信号の
    エリアに対して輝度平均値を算出することを特徴とする
    請求項3記載の撮像装置。
  16. 【請求項16】 移動体に設置され、CMOSセンサを
    有し画像を撮像する撮像手段と、 この撮像手段で撮像された1画面分の画像信号のうち、
    画面範囲から任意のエリアを選択抽出するエリア選択抽
    出手段と、 このエリア選択抽出手段で、選択抽出されたエリアの画
    像信号を信号処理し、出力する画像信号出力手段とを具
    備することを特徴とする撮像装置。
  17. 【請求項17】 前記撮像手段は、光電変換後、前記撮
    像手段で得られる前記画像信号を直ちに信号出力を行
    い、前記画像信号出力手段で信号処理し、出力すること
    を特徴とする請求項16に記載の撮像装置。
  18. 【請求項18】 前記エリア選択抽出手段は、前記撮像
    手段で得られる前記画像信号の任意のエリアを選択抽出
    し、前記画像信号の情報量を絞り込んでから前記画像信
    号処理手段で信号処理し、出力することを特徴とする請
    求項16に記載の撮像装置。
  19. 【請求項19】 前記移動体は、自動二輪車、自動車お
    よび列車等の移動車両、航空機又は船舶のいずれかであ
    ることを特徴とする請求項16記載の撮像装置。
JP2002048433A 2002-02-25 2002-02-25 撮像装置 Expired - Fee Related JP4154157B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002048433A JP4154157B2 (ja) 2002-02-25 2002-02-25 撮像装置
EP03251097A EP1339227B1 (en) 2002-02-25 2003-02-24 Image pickup apparatus
DE60308242T DE60308242T2 (de) 2002-02-25 2003-02-24 Bildaufnahmevorrichtung
US10/372,656 US20040165091A1 (en) 2002-02-25 2003-02-25 Image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002048433A JP4154157B2 (ja) 2002-02-25 2002-02-25 撮像装置

Publications (2)

Publication Number Publication Date
JP2003250094A true JP2003250094A (ja) 2003-09-05
JP4154157B2 JP4154157B2 (ja) 2008-09-24

Family

ID=27655442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002048433A Expired - Fee Related JP4154157B2 (ja) 2002-02-25 2002-02-25 撮像装置

Country Status (4)

Country Link
US (1) US20040165091A1 (ja)
EP (1) EP1339227B1 (ja)
JP (1) JP4154157B2 (ja)
DE (1) DE60308242T2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110236A (ja) * 2003-09-09 2005-04-21 Konica Minolta Holdings Inc 撮像装置
WO2005064922A1 (ja) * 2003-12-25 2005-07-14 Niles Co., Ltd. 撮像システム
JP2006222935A (ja) * 2005-01-13 2006-08-24 Canon Inc 電子スチルカメラ及び撮像方法及びプログラム及び記憶媒体
JP2006287612A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 固体撮像装置
JP2007129631A (ja) * 2005-11-07 2007-05-24 Toshiba Corp 撮像装置、デバイス及び画像用信号処理方法
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2008506308A (ja) * 2004-07-07 2008-02-28 イーストマン コダック カンパニー 拡張ダイナミックレンジ撮像システム
JP2009126391A (ja) * 2007-11-26 2009-06-11 Honda Motor Co Ltd 車載撮像装置
US7920175B2 (en) 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
JP2013161340A (ja) * 2012-02-07 2013-08-19 Nippon Hoso Kyokai <Nhk> 画像処理装置及びプログラム
JP2016220056A (ja) * 2015-05-21 2016-12-22 株式会社デンソー 画像生成装置
JP2017204819A (ja) * 2016-05-13 2017-11-16 株式会社日立国際電気 テレビジョンカメラ
WO2019181390A1 (ja) * 2018-03-23 2019-09-26 株式会社デンソー 露出制御装置および露出制御方法
KR20210003918A (ko) 2018-10-01 2021-01-12 테크 아이디어 컴퍼니 리미티드 이미지 센서

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
TWI224463B (en) * 2003-05-22 2004-11-21 Benq Corp Calibration method and scan device for transmitted scan
KR100555755B1 (ko) * 2004-05-04 2006-03-03 삼성전자주식회사 휘도 히스토그램을 이용한 영상 자동 보정 장치
CA2511220C (en) * 2005-03-21 2012-08-14 Sunnybrook Technologies Inc. Multiple exposure methods and apparatus for electronic cameras
US7616256B2 (en) * 2005-03-21 2009-11-10 Dolby Laboratories Licensing Corporation Multiple exposure methods and apparatus for electronic cameras
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP4424292B2 (ja) * 2005-09-28 2010-03-03 ソニー株式会社 撮像装置、露出制御方法およびプログラム
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
JP2008219523A (ja) * 2007-03-05 2008-09-18 Canon Inc 撮像装置及びその制御方法
KR20080095084A (ko) * 2007-04-23 2008-10-28 삼성전자주식회사 영상 잡음 제거 장치 및 방법
DE102007045448A1 (de) 2007-09-24 2009-04-02 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
JP5094607B2 (ja) * 2008-07-16 2012-12-12 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8346008B2 (en) * 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
DE102010024415B4 (de) 2010-06-19 2021-09-16 Volkswagen Ag Verfahren und Vorrichtung zur Aufnahme einer Bilderfolge einer Umgebung eines Fahrzeugs
US9179072B2 (en) 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
JP5936323B2 (ja) * 2011-09-26 2016-06-22 キヤノン株式会社 画像記録装置およびその制御方法
EP3011536B1 (en) * 2013-06-13 2019-03-06 Hewlett-Packard Development Company, L.P. Establish image pipeline
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
US11979340B2 (en) 2017-02-12 2024-05-07 Mellanox Technologies, Ltd. Direct data placement
US11190462B2 (en) 2017-02-12 2021-11-30 Mellanox Technologies, Ltd. Direct packet placement
US12058309B2 (en) 2018-07-08 2024-08-06 Mellanox Technologies, Ltd. Application accelerator
US11252464B2 (en) * 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US20190320102A1 (en) * 2018-04-13 2019-10-17 Qualcomm Incorporated Power reduction for dual camera synchronization
WO2021200213A1 (ja) * 2020-03-30 2021-10-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像システム及び撮像方法
US20240114238A1 (en) * 2022-09-30 2024-04-04 Zebra Technologies Corporation Systems and Methods for Operating Illumination Assemblies in a Multi-Imager Environment

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638118A (en) * 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
AUPO798697A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Data processing method and apparatus (ART51)
US6285398B1 (en) * 1997-11-17 2001-09-04 Sony Corporation Charge-coupled device video camera with raw data format output and software implemented camera signal processing
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
JP4058789B2 (ja) * 1998-02-24 2008-03-12 ソニー株式会社 固体撮像装置及びその駆動方法、並びにカメラ
US6584235B1 (en) * 1998-04-23 2003-06-24 Micron Technology, Inc. Wide dynamic range fusion using memory look-up
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP3443341B2 (ja) * 1998-10-19 2003-09-02 三洋電機株式会社 ディジタルカメラ
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP3615454B2 (ja) * 2000-03-27 2005-02-02 三洋電機株式会社 ディジタルカメラ
US6765619B1 (en) * 2000-04-04 2004-07-20 Pixim, Inc. Method and apparatus for optimizing exposure time in image acquisitions
US20010040632A1 (en) * 2000-05-09 2001-11-15 Yang David Xiao Dong Multiple sampling via a time-indexed method to achieve wide dynamic ranges
JP4403635B2 (ja) * 2000-05-31 2010-01-27 パナソニック株式会社 ダイナミックレンジ拡大カメラ
US6958778B2 (en) * 2000-11-21 2005-10-25 Hitachi Kokusai Electric Inc. Iris control method and apparatus for television camera for controlling iris of lens according to video signal, and television camera using the same
JP3724374B2 (ja) * 2001-01-15 2005-12-07 ソニー株式会社 固体撮像装置及びその駆動方法
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
WO2002076090A1 (en) * 2001-03-16 2002-09-26 Vision Robotics Corporation System and method to increase effective dynamic range of image sensors
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
US20030103158A1 (en) * 2001-12-05 2003-06-05 Creo Il. Ltd. System and method for the formation of multiple exposure images

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110236A (ja) * 2003-09-09 2005-04-21 Konica Minolta Holdings Inc 撮像装置
JP4720130B2 (ja) * 2003-09-09 2011-07-13 コニカミノルタホールディングス株式会社 撮像装置
WO2005064922A1 (ja) * 2003-12-25 2005-07-14 Niles Co., Ltd. 撮像システム
JP2008506308A (ja) * 2004-07-07 2008-02-28 イーストマン コダック カンパニー 拡張ダイナミックレンジ撮像システム
US7920175B2 (en) 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
JP2006222935A (ja) * 2005-01-13 2006-08-24 Canon Inc 電子スチルカメラ及び撮像方法及びプログラム及び記憶媒体
JP2006287612A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 固体撮像装置
JP2007129631A (ja) * 2005-11-07 2007-05-24 Toshiba Corp 撮像装置、デバイス及び画像用信号処理方法
JP4693602B2 (ja) * 2005-11-07 2011-06-01 株式会社東芝 撮像装置、及び画像用信号処理方法
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2009126391A (ja) * 2007-11-26 2009-06-11 Honda Motor Co Ltd 車載撮像装置
JP2013161340A (ja) * 2012-02-07 2013-08-19 Nippon Hoso Kyokai <Nhk> 画像処理装置及びプログラム
JP2016220056A (ja) * 2015-05-21 2016-12-22 株式会社デンソー 画像生成装置
JP2017204819A (ja) * 2016-05-13 2017-11-16 株式会社日立国際電気 テレビジョンカメラ
WO2019181390A1 (ja) * 2018-03-23 2019-09-26 株式会社デンソー 露出制御装置および露出制御方法
JP2019169853A (ja) * 2018-03-23 2019-10-03 株式会社デンソー 露出制御装置
KR20210003918A (ko) 2018-10-01 2021-01-12 테크 아이디어 컴퍼니 리미티드 이미지 센서
US11758304B2 (en) 2018-10-01 2023-09-12 Tech Idea Co., Ltd. Image sensor

Also Published As

Publication number Publication date
JP4154157B2 (ja) 2008-09-24
DE60308242D1 (de) 2006-10-26
DE60308242T2 (de) 2007-08-30
US20040165091A1 (en) 2004-08-26
EP1339227B1 (en) 2006-09-13
EP1339227A3 (en) 2004-03-10
EP1339227A2 (en) 2003-08-27

Similar Documents

Publication Publication Date Title
JP4154157B2 (ja) 撮像装置
JP3949903B2 (ja) 撮像装置及び撮像信号処理方法
US8154619B2 (en) Imaging apparatus, imaging processing method, and imaging control program
KR100798230B1 (ko) 촬상장치, 촬상방법 및 컴퓨터 판독 가능 기록매체
JP4607006B2 (ja) 映像信号処理方法および映像信号処理装置
JP4424402B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
US7596310B2 (en) Focus control device, image pickup device, and focus control method
JP4630730B2 (ja) 撮像装置、カメラ及び撮像方法
CN103297701B (zh) 成像方法及成像装置
JPH07212645A (ja) テレビジョンカメラ
JP2003319250A (ja) 撮像装置および撮像方法
JPWO2008023706A1 (ja) 撮像装置
WO2019187901A1 (ja) 撮像装置、撮像方法、およびプログラム
CN202535464U (zh) 成像装置
JP2015056758A (ja) 撮像装置、その制御方法、及び制御プログラム
JP2002314885A (ja) 撮像装置
JPH10173988A (ja) 電子スチルカメラ
JP4089676B2 (ja) 撮像装置
US11089231B2 (en) Image capturing apparatus, image capturing method, and program
JP2005286819A (ja) 撮像装置及びプログラム
JP5485680B2 (ja) 撮像装置および撮像方法
JP3852821B2 (ja) 固体撮像装置
JP2007129631A (ja) 撮像装置、デバイス及び画像用信号処理方法
JP2002218320A (ja) 撮像装置およびその制御方法
JP2007336092A (ja) 撮像装置、撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130711

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees