JPH1021378A - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法

Info

Publication number
JPH1021378A
JPH1021378A JP8189999A JP18999996A JPH1021378A JP H1021378 A JPH1021378 A JP H1021378A JP 8189999 A JP8189999 A JP 8189999A JP 18999996 A JP18999996 A JP 18999996A JP H1021378 A JPH1021378 A JP H1021378A
Authority
JP
Japan
Prior art keywords
image
images
divided
moving
synthesizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8189999A
Other languages
English (en)
Inventor
Kazuo Kurosawa
和雄 黒沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyo Communication Equipment Co Ltd
Original Assignee
Toyo Communication Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyo Communication Equipment Co Ltd filed Critical Toyo Communication Equipment Co Ltd
Priority to JP8189999A priority Critical patent/JPH1021378A/ja
Publication of JPH1021378A publication Critical patent/JPH1021378A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】従来の撮像装置及び撮像方法が有する欠点を除
去する為になされたものであって、撮像した画像の物体
の輪郭が二重線になる、或いはぼやけることなく、改善
した画像を提供することを目的とする。 【解決手段】複数の露光条件で画像を撮像する手段と、
該複数の撮像した夫々の画像を分割する手段と、該分割
した露光条件の異なる画像を合成する手段とを備えた撮
像装置において、前記分割した画像中の被撮影物の移動
量を検出する手段と、その検出に基づいて画像を合成す
る手段とを備えたものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は例えば、自動車搭載
用カメラ、移動ロボット等の自律走行システムの視覚セ
ンサ等に好適な撮像装置及びその方法、特に被撮影物の
移動を修正する撮像装置及びその方法に関する。
【0002】
【従来の技術】近年、自立走行システム、例えば、自動
車にテレビカメラを搭載し、道路標識、道路のセンター
ライン、障害物や前後方の走行車両等を識別することに
よって、衝突等の事故を未然に防止し運転者の安全向上
を図るシステムが研究されている。
【0003】このシステムが使用される環境は自動車が
走行する場所は直射日光で照らされた路面、トンネル
内、木や建物の影等、周囲の明るさが明るいところから
暗いところまで、対応する明るさの範囲が非常に広い。
そのため、従来のテレビカメラでは、撮影の条件によっ
て画像の明るい部分が白くなるハレーションが起こり、
明るいところから暗いところまで良好な画質で撮像する
ことができなかった。
【0004】従って、周囲の明るさが明るいところから
暗いところまで、広いダイナミックレンジをもつカメラ
が要求されている。
【0005】前記カメラのダイナミックレンジを拡大す
る方法として、カメラを構成する撮像素子の特性を向上
することが各種提案されているが、その特性向上には限
度があり、必ずしも有効な方法とはなり得なかった。
【0006】そこで、図4に示すように同一シーンを露
光条件を1からnまで変えて撮像し、その複数の画像を
合成する撮像装置が提案されている。同図は光学系1か
ら入射する撮像を露光制御部2によって露光条件を1か
らnまで変化して撮像し、その撮像した画像のハレーシ
ョンが発生している箇所を検出し、画素選択部3にて異
なる露光条件で撮像した画像からハレーションの発生し
ていない画素を選択し、合成部4にて前記画素選択部3
で選択した画素を合成し、その合成した画面を画像メモ
リー5にて保存した後、出力するものである。
【0007】尚、同一シーンを複数の露光条件で撮像す
る方法としては、入射光を分割して複数の撮像素子によ
りそれぞれの露光条件で撮像する方法と、単一の撮像素
子で順次露光時間を変化させて撮像する方法があるが、
前者の方法は複数の撮像素子の特性のばらつき、入射光
分割の損失を生じることを問題視し、後者の方法を採用
する。
【0008】以下、前述した後者の単一の撮像素子によ
り順次露光時間を変えて撮像する方法を簡単に説明す
る。
【0009】使用する撮像装置を次のようにモデル化す
る。尚、表記の都合上、「^」をべき乗の記号とする。
【0010】今、図5に示すように撮像装置への入射光
強度をS、露光条件で決まる比例係数をEとすると出力
Lは、
【0011】 L(S)=E×S (E×S<Lsat) L(S)=Lsat (E×S≧Lsat)
【0012】という関係を示す。ただし、Lsatは出
力Lの飽和レベルとする。
【0013】露光条件の種類をnとし、各露光条件をE
0、E1、E2、……、En−1とする。例えば、i番
目の露光条件Eiが、
【0014】
【数1】
【0015】となるように各露光条件を設定する。この
条件は、露光時間を1/A倍ずつ短くしていくことで実
現できる。
【0016】前述のように複数の露光条件を設定して画
像を撮像し、その撮像した画像を所望数の画素に分割す
る。更に初期設定の露光で撮像した画像においてハレー
ションが発生している画素を異なる露光条件で撮像した
画素と合成することによってカメラのダイナミックレン
ジを拡大することを実現している。
【0017】前述のダイナミックレンジ拡大方法を数学
的に述べれば以下に示すようになる。即ち、図6に示す
ように、i番目の露光条件Eiによる撮像で検出する光
強度Siの範囲を、
【0018】
【数2】
【0019】とし、この露光条件で撮像することによ
り、(Lsat/E0)×A^(n−1)以下の光強度
範囲をカバーすることができる。尚、前記Lnoiは撮
像装置の雑音レベルである。
【0020】従って、前述の方法で撮影するカメラ自体
のダイナミックレンジをD0とすると、n種類の露光条
件で撮像した場合のダイナミックレンジは、
【0021】Dn=D0×A^(n−1)
【0022】となる。即ち、n種類の露光条件で撮像し
た場合のダイナミックレンジはA^(n−1)倍とな
る。
【0023】画像の合成方法を図7のフローチャートに
示す。このとき、時刻tにおけるダイナミックレンジ拡
大画像(合成画像)をLwide(S,t)とする。
【0024】まず、Lwide(S,t)を露光条件E
0の画像L0(S,t)で初期化する。露光条件E0、
E1、E2、……、En−1で撮像した画像Li(S,
t)について、すべての画素毎に飽和レベルLsat以
下であるかどうかを判断し、Lsat以下の場合には、
【0025】 Lwide(S,t)=Li(S,t)/A^i
【0026】とする。
【0027】このようにすれば、飽和レベルに達した画
素を他の露光条件で撮像した画像の画素値で置き換える
こととなり結果的に撮像装置のダイナミックレンジを拡
大することと等しい効果が得られる。
【0028】
【発明が解決しようとする課題】しかしながら、従来の
撮像装置及びその方法で撮像した画像は、露光条件を変
更して撮像するためその撮像した時刻が異なり、被撮影
物が高速に移動している場合には各画像が同一位置に対
応せず対象画像が二重画像になる、或いは境界線がぼけ
るという欠点があった。このことを簡単に説明する。
【0029】図8(a)に示すような撮像すべき物体
が、同図の右矢印に示す方向に動く場合を考える。前述
のように画面にハレーションが発生した際には画面を分
割し、その発生している画素を異なる露光で撮影した画
素と交換して画像を合成している。従って、露光を変更
して画像を撮影する際にはその撮影した画像に時間差が
できることとなり、その時間差の発生した各画面を再度
合成すると同図(b)に示すように撮影すべき被撮影物
の輪郭が二重線になる、或いは輪郭がはっきりしなくな
るという欠点があった。
【0030】本発明は上述した如き従来の撮像装置及び
その方法が有する欠点を除去する為になされたものであ
って、撮像した画像の物体の輪郭が二重線になる、或い
はぼやけることなく、改善した画像を提供することを目
的とする。
【0031】
【発明の概要】上述の目的を達成するため本発明に係わ
る撮像装置は、複数の露光条件で画像を撮像する手段
と、該複数の撮像した夫々の画像を分割する手段と、該
分割した露光条件の異なる画像を合成する手段とを備え
た撮像装置において、前記分割した画像中の被撮影物の
移動量を検出する手段と、その検出に基づいて画像を合
成する手段とを備えたものである。また撮像方法は、所
定の時間間隔で複数の露光条件により撮像し、該複数の
撮像した夫々の画像を分割した後、該分割した露光条件
の異なる画像を合成する撮像方法において、前記複数の
露光条件の画像を合成する際に、画像中の被撮影物の移
動量を検出し、その移動した検出量に基づいて、複数の
分割画面の同一の移動体が撮像されている場合それらの
像が一致するように、前記分割した画像を移動し且つ合
成するものである。
【0032】
【発明の実施の形態例】以下、本発明を実施の形態例を
示す図面に基づいて詳細に説明する。
【0033】図1、図2は本発明に係る撮像装置の一形
態例の概要の構成ブロック図及びそのフローチャートで
ある。即ち、同図に示すように、従来の撮像装置に移動
量検出部6を備えたことを特徴とするものである。前記
移動量検出部6は動き検出器7とスイッチ8で構成し、
カメラの露光制御とともに制御部9によって制御する。
【0034】更に、前記移動量検出器は、時刻Tにおけ
る合成画像Lwide(S,T)を合成する際に、露光
条件を変化することによる時間差によって発生する、撮
像した画像中の移動体の動き量を検出し、前記Lwid
e(S,T)の画像を合成する際に、前記被撮影物の動
きを補正して画像合成するよう機能するものである。
【0035】従って、前述した如く構成することによっ
て、所定の時間間隔で複数の露光条件により撮像し、そ
の複数の撮像した夫々の画像を分割した後、該分割した
露光条件の異なる画像を合成した画像において、前記複
数の露光条件の画像を合成する際に、画像中の被撮影物
の移動量を検出し、その検出量に基づいて、複数の分割
画面の同一の移動体が撮像されている場合それらの像が
一致するように、前記分割した画像を移動し且つ合成す
るものであるから、その撮像した画像の被撮影物の輪郭
が二重線になる、或いは輪郭がぼやけるということを改
善する。
【0036】前記動き検出には、例えばブロックマッチ
ング法により行う。該ブロックマッチング法とは、電子
情報通信学会編「ディジタル通信処理ハンドブック」に
記載されているように、より積極的に画像の動きを調べ
るための手法として、動きベクトルを利用するものであ
り、前記動きベクトルは、画面をm×n画素の小ブロッ
クに分割し、前画面のうち最も相関が強い部分との空間
的距離によって定義するものである。即ち、画像を微小
なブロックに分割し、その微少なブロック毎に動きベク
トルを利用してブロック毎に最も相関の高い位置を探索
する手法である。
【0037】前記ブロックマッチング法によって動き量
を検出し、画像を合成する方法について説明する。尚、
画像を合成する時間を、……、T−1、T、T+1、…
…とする。また、時刻Tにおける画像合成するために露
光条件を変更して撮像する時刻をt、t+1、t+2、
……、とする。即ち、前記時刻t、t+1、t+2、…
…、において撮像した画像を合成した際に時刻Tの合成
画像となる。
【0038】従来の技術で説明したように、露光条件を
変更して撮像した画像Li(S,t)を合成し、ハレー
ションの発生のない、時刻Tにおける画像Lwide
(S,T)を合成することを考える。
【0039】まず、時刻Tの画像Lwide(S,T)
を合成するために、露光条件iの画像Li(S,t)を
撮像する。この際、撮像する画像中の移動体は移動して
おり、時刻T−1における合成画像Lwide(S,T
−1)の画像と比較して、被撮影物は移動している。
【0040】その動き量は、図3に示すように、前記ブ
ロックマッチング法により、撮像した被撮影物が水平方
向にu画素、垂直方向にv画素移動したことを検出す
る。
【0041】次に時刻Tにおける合成画像Lwide
(S,T)の画像を合成するときには、画像Li(S,
t)の撮像中の被撮像物の動きを修正する必要がある。
このとき、画像を構成する時刻T−1と時刻tの時間差
は既知であるので、その各時間差と水平方向と垂直方向
の動きu、vとから、時刻T−1から時刻Tにおける被
撮影物の動き量を計算し、画像Lwide(S,T)を
合成する際に被撮影物の輪郭が二重線になることのない
ように修正する。同様の方法で時刻t+1、t+2、…
…において露光条件を変更して撮像した画像から被撮像
物の動きを検出し、その検出結果に基づいて画像を合成
する。
【0042】即ち、時間的変化のデータを数式で示すな
らば、以下に示すとおりとなる。ハレーションの発生が
ない状態を
【0043】Li(S,t)(x,y)<Lsat
【0044】と示し、画像を合成した際に
【0045】
【数3】
【0046】とする。
【0047】従って、単位時間当たり、水平方向にu画
素、垂直方向にv画素移動したことを検出した後、合成
した画像の被撮影物を、水平方向にu画素、及び垂直方
向にv画素修正する。従って、被撮影物の動きを修正し
た画像を合成することが可能となる。
【0048】尚、前述のように画像中の被撮影物の動き
検出にはブロックマッチング法を使用する方法を例とし
て説明したが本発明はこれのみに限定されるものではな
く、勾配法等の他の動き検出手法を使用してもよい。
【0049】また、動き検出は必ずしも各露光条件の画
像それぞれについて行う必要はなく、画像L1,L2の
動き量を画像L0で検出した動き量から外捜することに
よって算出してもよい。
【0050】
【発明の効果】本発明は以上説明した如く構成するもの
であるから、画像の被撮影物の輪郭が二重線になる、或
いはぼけることがない、被撮影物の動きを考慮した画像
を合成する上で著しい効果を発揮する。
【図面の簡単な説明】
【図1】本発明に係る撮像装置を示す構成図
【図2】本発明に係る撮像方法を示す図
【図3】ブロックマッチング方法により動き量を検出す
る方法を示す図
【図4】従来の撮像装置を示す構成図
【図5】カメラの露光条件と光強度の関係を示す図
【図6】カメラのダイナミックレンジを広くしたときの
露光条件と光強度の関係を示す図
【図7】従来の撮像方法を示す図
【図8】(a)、(b)は従来の撮像装置及びその方法
の欠点を示す図
【符号の説明】
6……移動量検出部、 7……動き検出器、 8……ス
イッチ、 9……制御部

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】複数の露光条件で画像を撮像する手段と、
    該複数の撮像した夫々の画像を分割する手段と、該分割
    した露光条件の異なる画像を合成する手段とを備えた撮
    像装置において、前記分割した画像中の被撮影物の移動
    量を検出する手段と、その検出に基づいて画像を合成す
    る手段とを備えたことを特徴とした撮像装置。
  2. 【請求項2】所定の時間間隔で複数の露光条件により撮
    像し、該複数の撮像した夫々の画像を分割した後、該分
    割した露光条件の異なる画像を合成する撮像方法におい
    て、前記複数の露光条件の画像を合成する際に、画像中
    の被撮影物の移動量を検出し、その移動した検出量に基
    づいて、複数の分割画面の同一の移動体が撮像されてい
    る場合それらの像が一致するように、前記分割した画像
    を移動し且つ合成することを特徴とした撮像方法。
JP8189999A 1996-07-01 1996-07-01 撮像装置及び撮像方法 Pending JPH1021378A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8189999A JPH1021378A (ja) 1996-07-01 1996-07-01 撮像装置及び撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8189999A JPH1021378A (ja) 1996-07-01 1996-07-01 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
JPH1021378A true JPH1021378A (ja) 1998-01-23

Family

ID=16250704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8189999A Pending JPH1021378A (ja) 1996-07-01 1996-07-01 撮像装置及び撮像方法

Country Status (1)

Country Link
JP (1) JPH1021378A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004088590A1 (ja) * 2003-03-28 2004-10-14 Fujitsu Limited 撮影装置および個人識別システム
US7190402B2 (en) 2001-05-09 2007-03-13 Fanuc Ltd Visual sensor for capturing images with different exposure periods
JP2007171033A (ja) * 2005-12-22 2007-07-05 Univ Nagoya 葉面積指数の間接測定方法および間接測定システム
JP2012008975A (ja) * 2010-06-28 2012-01-12 Canon Inc 画像処理装置、画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190402B2 (en) 2001-05-09 2007-03-13 Fanuc Ltd Visual sensor for capturing images with different exposure periods
WO2004088590A1 (ja) * 2003-03-28 2004-10-14 Fujitsu Limited 撮影装置および個人識別システム
KR100732136B1 (ko) 2003-03-28 2007-06-27 후지쯔 가부시끼가이샤 촬영 장치 및 개인 식별 시스템
CN100361160C (zh) * 2003-03-28 2008-01-09 富士通株式会社 摄影装置及个人识别***
US7340159B2 (en) 2003-03-28 2008-03-04 Fujitsu Limited Image taking device and personal identification system
JP2007171033A (ja) * 2005-12-22 2007-07-05 Univ Nagoya 葉面積指数の間接測定方法および間接測定システム
JP2012008975A (ja) * 2010-06-28 2012-01-12 Canon Inc 画像処理装置、画像処理方法

Similar Documents

Publication Publication Date Title
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
CN107021015B (zh) 用于图像处理的***及方法
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
JP4970516B2 (ja) 周囲確認支援装置
US7664293B2 (en) Image sensing apparatus and control method thereof
CN100593341C (zh) 摄像装置
EP1383331A1 (en) Method and apparatus for synthesizingdisplaying images of cameras installed in vehicle
KR101367637B1 (ko) 감시장치
JPH10512694A (ja) 連続画像内での物体の移動を検知する方法及び装置
GB2276790A (en) Image Tracking Apparatus
JP6750519B2 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
WO2000060853A9 (en) Method and apparatus for providing virtual processing effects for wide-angle video images
JP3847547B2 (ja) 車両周辺監視支援装置
JP2004312402A (ja) 道路監視システム,道路監視装置
JPH04274941A (ja) 車両用車外監視装置
Yamada et al. A vision sensor having an expanded dynamic range for autonomous vehicles
JPH1021378A (ja) 撮像装置及び撮像方法
JPH0948282A (ja) 車両用間接視認装置
JP3848023B2 (ja) 動き適応型映像高感度化装置
KR101615381B1 (ko) 이미지 획득 방법 및 디지털 카메라 시스템
CN111107303A (zh) 行车图像***及行车图像处理方法
US20230171510A1 (en) Vision system for a motor vehicle
JP2008230561A (ja) 撮像制御装置および測光領域調整方法
JP6944350B2 (ja) 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法
JP2004304303A (ja) 対象物認識装置および対象物認識方法