JPH11258654A - カメラのシャッタ速度制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像画像の輝度分布に影響されることなく、
常に適正な露光を確保する。 【解決手段】 サンプル画像中の輝度をｉ＝０〜ｎで区
間分けして輝度分布のヒストグラムを作成し、度数ｈ
[i]を輝度の低い側から積算したヒストグラムの和Ｈdar
kが第１の設定値を超えたときの区間指標値Ｄ、度数ｈ
[i]を輝度の高い側から積算したヒストグラムの和Ｈbri
ghtが第２の設定値を超えたときの区間指標値Ｂを求
め、輝度の低い側での区間指標値Ｄまでの区間長さと、
輝度の高い側での区間指標値Ｂまでの区間長さとが等し
くなるようシャッタ速度を制御することで、カメラのダ
イナミックレンジに包含されてしまうような均一輝度の
画像や極端に輝度差のある画像に対しても適正にシャッ
タ速度を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像画像の輝度分
布に影響されることなく適正露光を得ることのできるカ
メラのシャッタ速度制御装置に関する。

【０００２】

【従来の技術】近年、自動車や小型ヘリコプタ等の移動
体においては、カメラを搭載して撮像画像を処理し、周
囲環境認識や自己位置認識処理を行なう技術が積極的に
採用されている。

【０００３】この撮像画像を用いて認識処理を行なう技
術では、処理結果に大きな影響を与える要因としてカメ
ラのシャッタ速度（露光時間）があり、従来、このシャ
ッタ速度を制御する手法としては、図４に示すように、
画像の平均輝度を求めてシャッタ速度を制御する手法
や、図５に示すように、画像の輝度の低い側の分布（Ａ
の度数）と輝度の高い側の分布（Ａ’の度数）とが等し
くなるように画像中の明暗差によってシャッタ速度を制
御する手法が知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、画像の
平均輝度を用いてシャッタ速度を制御する手法では、画
面中に極端に輝度差のある物体が写っている場合、明暗
のどちらも適正露光にならない場合があり、また、明暗
両端の差を用いてシャッタ速度を制御する手法では、ダ
イナミックレンジの広い画像には有効に作用するが、輝
度が均一な物体を撮像すると、不感帯に入って適正露光
にならない場合がある。

【０００５】本発明は上記事情に鑑みてなされたもの
で、撮像画像の輝度分布に影響されることなく、常に適
正な露光を確保することのできるカメラのシャッタ速度
制御装置を提供することを目的としている。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
カメラの撮像画像をサンプルし、撮像画像中の輝度分布
を区間分けして輝度のヒストグラムを作成する手段と、
上記ヒストグラムの度数を輝度の低い側で順に加算した
積算値が第１の設定値を超えたときの区間指標値を第１
の指標値として求める手段と、上記ヒストグラムの度数
を輝度の高い側で順に加算した積算値が第２の設定値を
超えたときの区間指標値を第２の指標値として求める手
段と、上記第１の指標値までの輝度の低い側での区間長
さと上記第２の指標値までの輝度の高い側での区間長さ
とが等しくなるよう、上記カメラのシャッタ速度を制御
する手段とを備えたことを特徴とする。

【０００７】請求項２記載の発明は、請求項１記載の発
明において、上記第１の指標値までの輝度の低い側での
区間長さと上記第２の指標値までの輝度の高い側での区
間長さとの差を求め、この差に制御ゲインを乗算した値
を現在のシャッタ速度制御値に加算して次回の撮像タイ
ミングのシャッタ速度制御値を求めることを特徴とす
る。

【０００８】すなわち、本発明によるカメラのシャッタ
速度制御装置では、サンプルした撮像画像の輝度分布を
指標値で区間分けしてヒストグラムを作成し、このヒス
トグラムの度数を輝度の低い側で順に加算した積算値が
第１の設定値を超えたときの区間指標値を第１の指標値
として求め、また、ヒストグラムの度数を輝度の高い側
で順に加算した積算値が第２の設定値を超えたときの区
間指標値を第２の指標値として求める。そして、第１の
指標値までの輝度の低い側での区間長さと第２の指標値
までの輝度の高い側での区間長さとが等しくなるよう、
カメラのシャッタ速度を制御する。この場合のシャッタ
速度制御値は、第１の指標値までの輝度の低い側での区
間長さと第２の指標値までの輝度の高い側での区間長さ
との差に制御ゲインを乗算した値を、現在のシャッタ速
度制御値に加算することで求めることができる。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図３は本発明の実施の一形
態に係わり、図１はステレオ画像処理システムのブロッ
ク図、図２は輝度の低い側のヒストグラムを示す説明
図、図３は輝度の高い側のヒストグラムを示す説明図で
ある。

【００１０】図１は、互いに同期が取れ、例えば電荷結
合素子（ＣＣＤ）等のイメージセンサを内蔵したシャッ
タ速度可変の２台のカメラからなるステレオカメラ１で
撮像した画像を処理するステレオ画像処理システムの構
成を示し、例えば、自動車やヘリコプタ等の移動体に搭
載され、周囲環境や自己位置を認識するシステムの一部
として使用される。

【００１１】上記ステレオカメラ１は、一方のカメラを
ステレオ処理の際の基準画像を撮像するメインカメラ、
他方のカメラをステレオ処理の際の比較画像を撮像する
サブカメラとして、図示しないカメラステイに所定の基
線長をもって配設される。ステレオカメラ１で撮像した
２枚の画像は、ゲインコントロールアンプ（ＧＣＡ）２
ａを有するアナログＩ／Ｆ（インターフェース）２を介
してＡ／Ｄコンバータ３に入力され、所定の輝度階調の
デジタル画像に変換される。さらに、このＡ／Ｄコンバ
ータ３でデジタル変換された画像は、画像の補正・変換
やカメラ制御等のデジタル処理のための各種機能を有す
る画像処理部１０へ入力される。

【００１２】上記画像処理部１０におけるデジタル信号
処理のための各種機能は、例えばＦＰＧＡによるゲート
の論理設計によって実現することができる。この画像処
理部１０の各機能としては、上記ＧＣＡ２ａ及び上記Ａ
／Ｄコンバータ３への制御電圧を発生するためのＤ／Ａ
コンバータ４を制御するＤ／Ａコントローラ１１、ステ
レオカメラ１を構成する２台のカメラのイメージセンサ
の出力特性の相違等に起因する相互の画像信号のバラツ
キを補正するために画像信号のゲインやオフセット量を
変更するためのルックアップテーブル（ＬＵＴ；ＲＯＭ
で構成される）１２、このＬＵＴ１２で補正された画像
データと、画素毎の輝度の歪みを補正するためのシェー
ディング補正データをストアするＲＯＭ及びＲＡＭから
なるシェーディング補正用メモリ５からのシェーディン
グ補正データとを乗算する乗算器１３、画像の明暗部を
対数変換して感度調整を行うためのログ（Ｌｏｇ）変換
テーブル（ＲＯＭで構成される）１４、アドレスコント
ローラ１５、シェーディング補正用メモリ５から乗算器
１３へのシェーディング補正データの転送を制御するシ
ェーディングコントローラ１６、ステレオカメラ１のシ
ャッタ速度（ＣＣＤに対する電子シャッタの露光時間）
制御等を行うカメラコントローラ１７、ＦＰＧＡ内部の
各種パラメータを外部から書き換え、また、外部から読
み出すための外部Ｉ／Ｆ１８等がある。

【００１３】上記画像処理部１０で補正・変換された画
像は、メイン画像及びサブ画像をストアする画像メモリ
２０、カメラシャッタ制御用に画像データをストアする
シャッタ制御用元画像メモリ２１にストアされ、ステレ
オマッチング回路２２でメイン画像とサブ画像とのステ
レオマッチングによって距離画像が生成され、距離画像
メモリ２３にストアされる。

【００１４】上記シャッタ制御用元画像メモリ２１や距
離画像メモリ２３にストアされた画像データは、各種認
識処理を行う認識処理部３０に読み込まれる。この認識
処理部３０は、例えば複数個のＲＩＳＣプロセッサを並
列動作させるマルチプロセッサ構成として高速処理を実
現するようになっており、ステレオカメラ１のシャッタ
速度制御を行なうとともに、距離画像から三次元情報に
基づいて、例えば自動車やヘリコプタ等の移動体の周囲
環境や自己位置を認識する処理を行なう。

【００１５】以上のステレオ処理システムでは、電源投
入によるシステム起動時、ハードウエア各部が初期化さ
れるとともに、ステレオカメラ１の仕様定数値や各種処
理変数値等の変数値が初期化される。同時に、シェーデ
ィングコントローラ１６によってシェーディング補正用
メモリ７のシェーディング補正データがＲＯＭからＲＡ
Ｍに転送される。

【００１６】次に、システムクロックに基づく水平同期
信号及び垂直同期信号がステレオカメラ１の各カメラに
外部同期信号として供給され、認識処理部３０から外部
Ｉ／Ｆ１８を介してカメラコントローラ１７に書き込ま
れたシャッタ速度制御値でステレオカメラ１の各カメラ
にシャッタトリガ信号が出力される。

【００１７】ステレオカメラ１で撮像された画像は、ア
ナログＩ／Ｆ２に入力され、このアナログＩ／Ｆ２で、
Ｄ／Ａコンバータ４からのコントロール電圧に応じてＧ
ＣＡ２ａで画像信号のゲインが調整され、２台のカメラ
のゲインのバラツキが調整されてＡ／Ｄコンバータ３に
出力される。

【００１８】Ａ／Ｄコンバータ３では、Ｄ／Ａコントロ
ーラ４からのリファレンス電圧によって２台のカメラの
画像信号のオフセット差を調整し、アナログ画像を所定
の輝度階調（例えば２５６階調のグレースケール）のデ
ジタル画像に変換する。尚、上記ＧＣＡ２ａのゲインコ
ントロール電圧、Ａ／Ｄコンバータ４のリファレンス電
圧は、認識処理部３０から外部Ｉ／Ｆ１８を介してＤ／
Ａコントローラ１１に書き込まれる電圧値である。

【００１９】上記アナログＩ／Ｆ２からＡ／Ｄコンバー
タ３を経て各カメラ毎にゲイン・オフセットの整合が取
られたデジタル画像データは、画像処理部１０内部のＬ
ＵＴ１２へアドレスデータとして与えられ、ＬＵＴ１２
からのデータとシェーディングコントローラ１６からの
指示で転送されるシェーディング補正用メモリ７からの
シェーディング補正データとが乗算器１４で乗算され
る。これにより、各カメラ毎に更に厳密にゲイン及びオ
フセットが整合されるとともに、各カメラの光学系に発
生するシェーディング現象による輝度低下が補正され
る。

【００２０】次に、乗算器１３から出力される画像デー
タがログ変換テーブル１４によって対数変換されて明る
さに比例するノイズ成分の影響が除去され、画像メモリ
２０にメイン画像及びサブ画像のデータがストアされ
る。この画像メモリ２０にストアされる画像データは、
例えば水平ラインの４ライン毎のデータであり、同時
に、水平４ラインに１ライン分の画像データがシャッタ
制御用元画像メモリ２１にストアされる。

【００２１】画像メモリ２０にストアされた元画像デー
タは、ステレオマッチング回路２２に転送される。ステ
レオマッチング回路２２では、メイン画像とサブ画像と
の所定の小領域（例えば４×４画素の領域）毎にシティ
ブロック距離を計算して互いの相関を求めることで対応
する領域を特定し、対象物までの距離に応じて生じる画
素のズレ（＝視差）を求める。そして、このズレ量から
得られる対象物までの遠近情報を数値化した３次元画像
情報（距離画像）を生成し、距離画像メモリ２３に書き
込む。尚、ステレオカメラの撮像画像から距離画像を生
成する処理については、本出願人による特開平５−１１
４０９９号公報に詳述されている。

【００２２】認識処理部３０では、距離画像メモリ２３
からの距離画像データを読み込んで各種認識処理を行な
うとともに、シャッタ制御用元画像メモリ２１の元画像
データをサンプル画像として読み込み、サンプル画像中
の輝度のヒストグラムを作成してステレオマッチング及
び認識処理に最適な画像を得ることのできるシャッタ速
度制御値を決定する。

【００２３】尚、輝度のヒストグラムは上記認識処理部
３０におけるソフトウエア処理で作成することができる
が、専用の回路で作成しても良く、例えば、本出願人が
先に提出した特願平９−２４７３２０号におけるヒスト
グラム処理回路（自己加算型階調・度数モジュールを複
数個並列接続した処理回路）を採用することで、大幅に
処理速度を向上することができる。

【００２４】このシャッタ制御のためのヒストグラム
は、サンプル画像中の輝度分布を所定の輝度階調毎に区
間分けして各区間毎にｉ＝０〜ｎの指標値を割り付け、
この指標値を横軸、各指標値毎の度数を縦軸として作成
する。例えば、アナログ撮像画像を２５６階調の輝度階
調でデジタル変換した場合、１６階調毎に区間分けして
ヒストグラムを作成し、図２に示すような暗い側でのヒ
ストグラムの分布と、図３に示すような明るい側でのヒ
ストグラムの分布とに基づいてシャッタ速度を制御す
る。

【００２５】具体的には、以下の(1)式に示すように、
度数ｈ[i]を輝度の低い側から積算した積算値（ヒスト
グラムの和）Ｈdarkが第１の設定値を超えたときの横軸
の区間指標値（第１の指標値）Ｄを求め、また、以下の
(2)式で示すように、度数ｈ[i]を輝度の高い側から積算
したヒストグラムの和Ｈbrightが第２の設定値を超えた
ときの横軸の区間指標値（第２の指標値）Ｂを求める。
但し、(1)式はｉ＝０〜Ｄまでの総和、(2)式はｉ＝ｎ〜
Ｂまでの総和であり、Ｄ≦ｎ、０≦Ｂである。

【００２６】Ｈdark ＝Σ ｈ[i] …(1) Ｈbright ＝Σ ｈ[i] …(2) そして、ヒストグラムの輝度の低い側での区間指標値Ｄ
までの区間長さＤ’（Ｄ’＝Ｄ；図２の矢印で示すベク
トルの大きさ）と、輝度の高い側での区間指標値Ｂまで
の区間長さＢ’（Ｂ’＝ｎ−Ｂ；図３の矢印で示すベク
トルの大きさ）とを用い、現在のシャッタ速度制御値を
ｔ0、制御ゲインをＫとして、シャッタ速度制御値ｔを
以下の(3)式によって求め、区間長さＤ’と区間長さ
Ｂ’とが等しくなるようにシャッタ速度を制御する。

【００２７】ｔ＝ｔ0＋Ｋ・(Ｄ’−Ｂ’) …(3) この場合、第１の設定値と第２の設定値とは、通常、同
じ値で良いが、ステレオマッチングや認識処理結果に応
じて互いの比率を可変することができる。すなわち、第
１の設定値と第２の設定値とを同じ値として暗い側での
ヒストグラムの面積と明るい側でのヒストグラムの面積
とが同じになるようにシャッタ速度を制御することによ
り、画像中に暗い部分と明るい部分が少なく処理対象と
する被写体の輝度が暗い部分と明るい部分とに分布する
ような均一輝度の画像の場合にも、従来の明暗差による
シャッタ速度制御のように不感帯に入って不適切なシャ
ッタ速度（露光）となることがなく、平均測光的に被写
体の輝度に応じた適切なシャッタ速度とすることがで
き、ステレオマッチングのミスマッチングや認識処理に
おける誤認識を防止することができる。

【００２８】一方、暗い被写体あるいは明るい被写体の
場合には、、従来の平均測光によるシャッタ速度制御で
は、画像全体が中間的な輝度となるようシャッタ速度が
制御されてしまい、被写体に対するステレオマッチング
が不適切となって正確な距離情報が得られず誤認識を生
じる等の問題があったが、暗い被写体の場合には第１の
設定値を第２の設定値よりも大きくし、明るい被写体の
場合には第１の設定値よりも第２の設定値の方を大きく
することにより、重み付きで平均測光することになり、
被写体の輝度に応じた適切なシャッタ速度（露光）とし
て適正なステレオマッチングによる正確な距離情報を得
ることができるとともに、認識処理の信頼性を向上する
ことができる。

【００２９】

【発明の効果】以上説明したように本発明によれば、サ
ンプルした撮像画像の輝度分布を区間分けしてヒストグ
ラムを作成し、このヒストグラムの度数を輝度の低い側
で順に加算した積算値が第１の設定値を超えたときの区
間指標値を第１の指標値として求め、また、ヒストグラ
ムの度数を輝度の高い側で順に加算した積算値が第２の
設定値を超えたときの区間指標値を第２の指標値として
求め、第１の指標値までの輝度の低い側での区間長さと
第２の指標値までの輝度の高い側での区間長さとが等し
くなるようカメラのシャッタ速度を制御するため、撮像
画像の輝度分布に影響されることなく処理対象とする被
写体の輝度に応じた適正な露光を確保することができ、
画像処理における精度を向上することができる等優れた
効果が得られる。

【図面の簡単な説明】

【図１】ステレオ画像処理システムの説明図

【図２】輝度の低い側のヒストグラムを示す説明図

【図３】輝度の高い側のヒストグラムを示す説明図

【図４】画像の輝度平均による従来のシャッタ速度制御
の説明図

【図５】画像の明暗差による従来のシャッタ速度制御の
説明図

【符号の説明】 ２，３…カメラ １０ …画像処理部 １７ …カメラコントローラ ３０ …認識処理部 Ｈdark，Ｈbright…ヒストグラムの和（積算値） Ｄ …第１の指標値 Ｂ …第２の指標値

Claims (2)

【特許請求の範囲】
1. 【請求項１】 カメラの撮像画像をサンプルし、撮像画
   像中の輝度分布を区間分けして輝度のヒストグラムを作
   成する手段と、 上記ヒストグラムの度数を輝度の低い側で順に加算した
   積算値が第１の設定値を超えたときの区間指標値を第１
   の指標値として求める手段と、 上記ヒストグラムの度数を輝度の高い側で順に加算した
   積算値が第２の設定値を超えたときの区間指標値を第２
   の指標値として求める手段と、 上記第１の指標値までの輝度の低い側での区間長さと上
   記第２の指標値までの輝度の高い側での区間長さとが等
   しくなるよう、上記カメラのシャッタ速度を制御する手
   段とを備えたことを特徴とするカメラのシャッタ速度制
   御装置。
2. 【請求項２】 上記第１の指標値までの輝度の低い側で
   の区間長さと上記第２の指標値までの輝度の高い側での
   区間長さとの差を求め、この差に制御ゲインを乗算した
   値を現在のシャッタ速度制御値に加算して次回の撮像タ
   イミングのシャッタ速度制御値を求めることを特徴とす
   る請求項１記載のカメラのシャッタ速度制御装置。