JPWO2018025633A1 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
JPWO2018025633A1
JPWO2018025633A1 JP2018531820A JP2018531820A JPWO2018025633A1 JP WO2018025633 A1 JPWO2018025633 A1 JP WO2018025633A1 JP 2018531820 A JP2018531820 A JP 2018531820A JP 2018531820 A JP2018531820 A JP 2018531820A JP WO2018025633 A1 JPWO2018025633 A1 JP WO2018025633A1
Authority
JP
Japan
Prior art keywords
psf
unit
subject
image
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018531820A
Other languages
English (en)
Other versions
JP6559354B2 (ja
Inventor
敬太 望月
敬太 望月
河野 裕之
裕之 河野
一 長原
長原  一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018025633A1 publication Critical patent/JPWO2018025633A1/ja
Application granted granted Critical
Publication of JP6559354B2 publication Critical patent/JP6559354B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • G03B9/02Diaphragms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Diaphragms For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

走行車両に搭載される撮影装置は、被写体の画像を取得するカメラ部であって、被写体に光を照射する照明と、被写体で反射した光を通すレンズユニットであって、走行方向の開口幅は、走行方向と該カメラ部の撮影方向とに直交する方向の開口幅より狭い開口部を有する絞りと、レンズとを有するレンズユニットと、レンズユニットを通った光から画像データを取得する画像センサと、を含むカメラ部と、照明の点灯および該画像センサの露光を制御する制御部を含む処理部と、走行車両の速度を検出する車両速度検出部とを含む。

Description

本発明は、走行車両に搭載する撮影装置に関し、特に撮影中の被写体との距離の変動に影響されず被写体の画像が得られる撮影装置に関する。
高度経済成長期に建造された社会インフラ設備の劣化とその修復が社会問題となっており、効率的な劣化の点検技術が求められている。この中で、トンネル覆工面コンクリートのように範囲の広い設備の点検方法として、車両上に撮影装置を実装し、走行撮影する方法が提案されている(例えば、特許文献1、2参照)。コンクリートの代表的な劣化指標として、ひび割れがあるが、その定量的な調査には、画像中の1画素がサブミリ角の被写体を映し出す程度の高解像度撮影が要求される。
走行車両上から静止する被写体を高解像度で撮影する場合、走行車両の走行方向の移動に起因するぶれによる解像度の低下を防止するために、撮影した画像を後処理により補正し、走行方向のぶれを除去した画像に復元する方法が有効である。例えば、点像分布関数(Point-Spread Function、以下において「PSF」と呼ぶ。)で表される撮像画像上のぶれ関数が既知であれば、デジタル処理の逆フィルタ演算によって画像を補正できる。
通常の撮影では、露光時間中の露光状態は一定であり、一方向に走行する車両上から撮影した場合、その撮影過程におけるPSFは被写体の動き方向に延びた線形状であり、一様な値をもつ。このPSFの周波数特性は高帯域の周波数成分が低く、所定の周波数間隔で大幅に減衰するものであり、復元性が低くなるという問題がある。撮影過程での画像情報の損失を防ぐ方法として、露光時間中の露光状態を変調制御する方法が提案されている。例えば、露光時間中にシャッタを不規則に開閉したり、照明を不規則に点灯制御する方法(例えば、特許文献3)、画像センサのゲインを変調制御する方法(例えば、特許文献4)を用いて、PSFが広帯域でフラットな周波数特性になるようにしている。
特開平5−256633号公報 特許第5149403号 特許第4679662号 特開2007−336064号公報
走行車両上から被写体を撮影する場合、走行方向のぶれに加えて、走行ラインがずれることで被写体と撮影装置との距離が変動し、ピンぼけが発生する。このため、撮影過程でのPSFは、被写体の動きによるぶれとピンぼけとが重畳した形状となる。ピンぼけが発生した場合、特許文献3や4に記載された方法では、ぶれの補正に要求される被写体の動き方向(走行方向と反対方向)に広帯域なPSFの周波数特性が維持できない。ピンぼけを防止する場合、一般にはレンズの開口を絞ることで被写界深度を確保することが考えられるが、露光時間を短縮した場合と同様に、入射光量が減少するという問題がある。
そこで、本発明は、入射光量の低下を抑えつつ、被写体の動き方向に広帯域のPSF特性を維持する撮影装置の提供を目的とする。
本発明は、
走行車両に搭載される撮影装置において、
被写体の画像を取得するカメラ部であって、
該被写体に光を照射する照明と、
該被写体で反射した光を通すレンズユニットであって、走行方向の開口幅は、走行方向と該カメラ部の撮影方向とに直交する方向の開口幅より狭い開口部を有する絞りと、レンズとを有するレンズユニットと、
該レンズユニットを通った光から画像データを取得する画像センサと、を含むカメラ部と、
該照明の点灯および該画像センサの露光を制御する制御部を含む処理部と、
該走行車両の速度を検出する車両速度検出部と、を含むことを特徴とする撮影装置である。
本発明にかかる撮影装置では、走行方向に狭い開口部を有する絞りを用いることで、撮影中に被写体との距離が変動しても走行方向に広帯域なPSF周波数特性が維持され、復元画像からぶれとピンぼけの影響を効果的に除去できる。また、開口部は走行方向に狭ければ良いため、入射光量の低下を最小限に抑えることができる。
本発明の実施の形態1にかかる撮影装置のブロック図である。 本発明の実施の形態1にかかる撮影装置のカメラ部のブロック図である。 走行方向に幅の狭い開口部を備えた絞りを適用した場合のピンぼけPSFを示す図である。 本発明の実施の形態1にかかる撮影装置の制御部から出力される各信号のタイミングチャートである。 本発明の実施の形態1にかかるぶれPSFを示す図である。 本発明の実施の形態1にかかる絞りを用いて作成したPSFを示す図である。 従来の絞りを用いて作成したPSFを示す図である。 ピンぼけ発生時におけるPSF:hの走行方向D1の周波数特性を示す図である。 本発明の実施の形態1にかかる他の撮影装置のブロック図である。 本発明の実施の形態2にかかる絞りを用いて作成したPSFを示す図である。 ピンぼけ発生時におけるPSF:hの直交方向D2の周波数特性を示す図である。
実施の形態1.
図1は、全体が100で表される、本発明の実施の形態1にかかる撮影装置の構成を示すブロック図である。撮影装置100は、撮影面となる被写体1と平行して走行する走行車両に実装される。例えば、撮影装置100は、車両に搭載してトンネル内を通り、トンネル覆工面コンクリートの撮影を行う。
図1において、撮影装置100は、被写体1を撮影するカメラ部10と、車両の速度を検出するための車両速度検出部20と、取得したデータを処理するための処理部40とを有する。
図2は、カメラ部10の構成を示す図である。カメラ部10は、被写体1を照らすための照明11と、被写体1から得られた光信号を集光するレンズユニット13と、レンズユニット13を通った光信号を検出する画像センサ12とを有する。また、図2中、D1は、カメラ部10を搭載する移動車両の移動方向であり、Zは、被写体1に直交する方向、D2は、これら2軸に直交する上下方向を示す。
照明11は、外部からの点灯制御信号によって点灯および消灯が制御され、点灯時に被写体1に光を照射する。レンズユニット13により、被写体1から反射された光の像Iが画像センサ12の上に結像する。像Iは、被写体1の各点からの反射光が、画像センサ12上に結像した点像Pの総和からなる。点像Pは、カメラ部10と被写体1との距離Lによって異なる形状となる。レンズユニット13の被写界深度を超えて被写体1が離れるにつれて、点像Pはより広がった形状となる。
画像センサ12は、例えばアレイ状に配置されたCCDやCMOSのような複数の光電変換素子からなり、図3に示すように、その露光のタイミングおよび露光時間Teは、露光トリガー信号S2によって制御される。画像センサ12は、露光時間中の像Iの積算パターンを、画像データgとして処理部40に出力する。画像データg上において、所望の分解能X(mm/画素)で被写体1を撮影するように、予め画像センサ12の各画素サイズおよびレンズユニット13の焦点距離が設定される。画像データg上での点像Pは、走行車両が静止した状態で撮影した場合の点像分布関数(PSF)に相当する。このときのPSFをピンぼけPSF:h1とする。
被写体1の像Iは、走行車両の移動により、画像センサ12上を相対的に移動する(逆方向に移動する)。従って、画像データgは、照明11の点灯時の像Iを移動方向にずらしながら積算したパターンとなる。露光時間中において、照明11の点灯時に像Iが画像データg上を移動した軌跡を、ぶれPSF:h2とする。走行車両が走行中に撮影した場合におけるPSF:hは、次式(1)で得られる。
Figure 2018025633
式(1)中の*は畳み込み演算を示す。
レンズユニット13は、例えば2つのレンズ130、132の間に挟まれた絞り131を有する。絞り131は、走行車両の走行方向D1が、それと直交する方向D2より幅が狭くなった開口部を有する。通常のレンズユニットの場合、被写体1と走行車両との間の距離(Z方向の距離)が変動し、合焦位置から被写体1が外れた場合(非合焦)、像のボケは大きくなる。絞り131は、被写体1の反射光のうち、レンズユニット13を通過し、画像センサ12に結像される光線束の量(画像の明るさに相当)と大きさ(一般にレンズの開口数NAと呼ばれる値)を制限するものである。絞り131は、レンズ130、132の近傍であって、被写体1の撮影範囲の各点からの各光線束が互いに重なる箇所に配置され、画像センサ12と間隔をあけて配置される。一般に絞り131の開口幅が狭いほど被写界深度が深くなるが、明るさが低下する。絞り131は、その開口形状によって明るさと被写界深度を制御するものであって、画像センサ上に配置されてカメラの視野又は画角といった撮影範囲を制限するマスクとは異なる。
これに対して、本発明の実施の形態1にかかるレンズユニット13では、走行方向D1に、幅W1の狭い矩形の開口部を有するため(W1<W2)、走行方向D1の被写界深度が深くなる。図3は、PSF:h1の形状を輝度値で表現した画像と、走行方向D1および走行方向D1と光軸Zに直交する方向D2のPSFのプロファイルを示す。
図3は合焦位置の場合(a)と、距離が変動して非合焦位置となった場合(b)とをそれぞれ示している。PSF:h1は、静止する被写体上の点像が画像上でどのような広がりを持つかを表す。理想的なレンズでは合焦位置で撮像した場合、被写体上の点像はレンズを介して画像センサの特定の1画素に結像される。このときのPSFは結像する1画素のみ明るく、それ以外の画素が暗い画像で表現される。
本発明の実施の形態1にかかるレンズユニット13は、図3(a)に示すように、合焦位置で少なくともPSFの広がりが、D1方向、D2方向ともに2画素以下となるよう設計されている。
本発明の形態の形態1にかかるレンズユニット13の絞り131は、走行方向D1に幅の狭い開口部を有するため、非合焦位置の場合(b)も走行方向D1のPSFの広がりを抑えられる。走行方向D1の開口幅W1は、所定の範囲で被写体1と走行車両との間の距離が変動した場合においても、走行方向D1にピンぼけが発生しないように設定される。すなわち、図3(b)に示すように、幅W1は、被写体1と走行車両との間の距離が所定の範囲内の場合、走行方向D1での被写体1からのピンボケPSF:h1の広がりが、2画素以下となるよう設定される(D1プロファイル)。一方、走行方向D1と光軸Zに直交する方向D2に関する絞り131の幅W2は、被写体1が画像データg上で十分な明るさの階調値をもつよう設定される(D2プロファイル)。
また、車両速度検出部20は、走行車両に搭載したオドメータなどを介して、走行車両の車速Vを検出する。
また、被写体距離検出部30は、カメラ部10と同じ方向、即ち図2のZ方向に配向され、被写体1までの距離Lを検出する。
更に、処理部40は、制御部41、ピンぼけPSFテーブル記録部42、ピンぼけPSF算出部43、ぶれPSF算出部44、PSF算出部45、画像復元演算部46、および画像記録部47を有する。
ここで、図4は、本発明の実施の形態1にかかる撮影装置の制御部から出力される各信号のタイミングチャートである。制御部41は、画像センサ12に対して、図4に示すような露光トリガー信号S2を出力すると共に、画像センサ12の露光のタイミングと露光時間とを制御する。また、制御部41は、照明11に対して、図4に示すような点灯制御信号S1を出力する。このとき、点灯制御信号S1は、所定の符号化系列Cに基づいて決定される。このようにして、制御部41は露光時間中の露光状態を符号化変調する。
ところで、前記絞り131の実装により、ピンぼけPSF:h1は走行方向D1に広がりがない一方で、走行方向D1と光軸Zに直交する方向D2にカメラ部10と被写体1との間の距離L1に応じてわずかに広がりをもつ。本実施の形態1における処理部40は、走行方向D1へのぶれの補正と併せて、方向D2のピンぼけPSF:h1の広がりの補正処理を行う。
ピンぼけPSFテーブル記録部42には、予め、距離L1に対応したピンぼけPSF:h1が記録される。
ピンぼけPSF選択部43は、制御部41により制御され、画像センサ12の露光のタイミングで、被写体距離検出部30から、走行車両と被写体1との距離L1を取得する。次に、ピンぼけPSF選択部43は、ピンぼけPSFテーブル記録部42を参照し、距離L1に対応するピンぼけPSF:h1を取得する。
ぶれPSF算出部44は、制御部41により制御され、画像センサ12の露光のタイミングで車両速度検出部20から車速Vを取得する。次に、ぶれPSF算出部44は、前述の照明11の点灯パターンと車速Vから、ぶれPSF:h2を算出する。画像上では、被写体1は、走行車両の走行方向D1と反対方向に相対的に移動する。図5はPSF:h2の形状を輝度値で表現した画像である。縦方向が走行方向D1、横方向が上下方向D2である。画像上での明暗は露光時間中の画像上での被写体1の点像の動きの軌跡に相当する。軌跡の幅P(画素)は、走行車両の走行速度Vおよび撮影分解能X、露光時間Tから次式(2)のように算出される。
Figure 2018025633
PSF:h2は、被写体1の動きに、露光時間中の照明の点灯消灯の状態を重畳して算出される。図5に示すPSF画像中の輝度値の高い画素は照明が点灯中に、輝度値の低い画素は消灯中に、それぞれ被写体1の点像が画像センサの画素間を通過したことを示す。具体的には、PSF:h2は、軌跡の幅Pに合わせて符号化系列Cを拡大または縮小し、補間処理することで得られる。
PSF算出部45は、ピンぼけPSF選択部43よりピンぼけPSF:h1を、ぶれPSF算出部44よりぶれPSF:h2をそれぞれ取得し、式(1)に基づいてPSF:hを算出する。
画像復元演算部46は、画像センサ12から画像データgを、またPSF算出部45からPSF:hをそれぞれ取得する。次に、画像復元演算部46は、画像データgおよびPSF:hをそれぞれフーリエ変換したG(u,v)、H(u,v)を算出する。u、vは画像データgの水平および垂直の各方向の周波数空間上での座標を表す。
また、画像復元演算部46は、次式(3)に示すウィナーフィルタ関数を用いた逆フィルタ演算による画像補正を実行する。
Figure 2018025633
ここで、HはHの複素共役、σはウィナーフィルタの安定化定数である。また、Fは補正画像データfがフーリエ変換されたものである。
さらに、画像復元演算部46は、前述のようにして算出したFに対して逆フーリエ変換を実行し、補正画像データfを算出し、画像記録部47に出力する。
画像記録部47は、画像復元演算部46より補正画像データfを取得し、これを随時記録する。
図6は、走行方向D1に幅の狭い開口部を有する絞り131の概略図と、この絞り131を用いた場合の、ピンぼけPSF:h1、ぶれPSF:h2、およびPSF:hの例を示す。左の図が絞り131の概略図で、右の2列の図の、上段がピンぼけPSF:h1の合焦および非合焦、中段がぶれPSF:h2、下段が、それらを重畳したPSF:hの合焦および非合焦を示す。これらにおいて、左右方向が走行方向D1、上下方向がD2である。
ぶれPSF:h2の幅は、走行車両の車速Vと露光時間Teによって決まる。例えば、車速V=100km/h、露光時間Te=1(ms)、分解能X=0.5(mm/画素)の場合、画像データg上での露光時間中の像Iの移動量、すなわち、ぶれPSF:h2の形状の幅Pは約56画素である。また、ぶれPSF:h2の形状は、照明11の点灯パターンとなる点灯制御信号S1によって決まる。点灯制御信号S1は、ぶれPSF:h2の周波数特性が広帯域かつフラットとなるように決定することが望ましい。ここでは、露光時間中の照明11の点灯パターンに、特許文献3に記載の以下の符号系列を適用して図示している。
1010000111000001010000110011110111010111001001100111
走行車両が、被写体1に対してピントが合う距離を走行した場合(以下、「合焦条件」という。)、ピンぼけPSF:h1の広がりは小さい。図6では、広がりが1画素に収まるものとして図示している。
一方、走行車両が被写体1に対してピントが合わない距離を走行した場合(以下、「非合焦条件」という。)、通常の円形開口絞りを有するレンズユニットでは点像Pはピンぼけしたものとなる。
これに対して、本発明の実施の形態1にかかる撮影装置100では、結像するレンズユニット13は、走行方向D1に幅の狭い開口部を備えた絞り131を有する(W1<W2)。そのため、非合焦条件であっても、ピンぼけPSF:h1は直交方向D2へは広がった形状となるが、走行方向D1には広がりが抑えられる。図6では、ピンぼけPSF:h1の走行方向D1の広がりは、1画素に収まるものとし、直交方向D2の広がりは、ガウシアン分布で半値全幅5画素分を有するものとして図示している。このとき、PSF:hは走行方向D1の形状は、ぶれPSF:h2の形状に維持される。このため、非合焦条件時においても、PSF:hの走行方向D1の周波数特性は、広帯域かつフラットな周波数特性となるよう制御されたぶれPSF:h2の特性を引き継ぐ(PSF:h(非合焦)参照)。
図7は、比較例として、明るさを維持した円形開口絞りを適用した場合の、ピンぼけPSF:h1、ぶれPSF:h2、およびPSF:hを示す。左の図が円形開口絞りの概略図で、右の2列の図の、上段がピンぼけPSF:h1の合焦および非合焦、中段がぶれPSF:h2、下段が、それらを重畳したPSF:hの合焦および非合焦を示す。これらにおいて、左右方向が走行方向D1、上下方向がD2である。
図7に示すように、非合焦条件において、ピンぼけPSF:h1の形状は、全方向に広がったものとなり、ここでは、ガウシアン分布で半値全幅5画素分を有するものとして図示している。このとき、ピンぼけPSF:h1は走行方向D1にも広がりをもつため、図7のように、PSF:hはぶれPSF:h2の走行方向D1の形状を引き継ぐことができない(PSF:h(非合焦)参照)。
図8に、ピンぼけ発生時におけるPSF:hの走行方向D1の周波数特性を示す。横軸が周波数、縦軸が輝度の対数を示す。また実線は、走行方向に幅の狭い開口部(図7)を備えた絞りを適用した場合(実施例)、破線は、円形開口絞り(図8)を適用した場合(比較例)を示す。
図8では、ぶれPSF:h2の形状と点像Pの広がりは、図6、7の例に示した条件で算出している。図8によると、走行方向D1に幅の狭い開口の絞り131を組み合わせた本実施の形態にかかる例では、非合焦条件においても、PSF:hは広帯域かつフラットな走行方向D1の周波数特性を維持できている。一方、一般的な円形開口絞りを用いた比較例では、ぶれに対して十分小さなピンぼけであっても(図7ではぶれ56画素、ピンぼけ5画素としている)、PSF:hの走行方向D1の周波数特性は、高い周波数帯域で低くなってしまい、特許文献3や特許文献4で期待される復元性能や補正性能が得られないことが分かる。
このように、本発明の実施の形態1にかかる撮影装置100は、走行方向D1に幅の狭い開口部を備えた絞り131を有するレンズユニット13を含むため、撮影中に、カメラ部10と被写体1との距離が変動して非合焦条件となっても、走行方向D1に広帯域かつフラットなPSF周波数特性が維持され、画像復元処理の際、ぶれとピンぼけとを効果的に除去できる。また、円形開口絞りを単純に絞った場合に比べて、絞り131では、走行方向D1にのみ幅を絞っており、画像データg上の明るさの低下を最小限に抑えることができる。
なお、本発明の実施の形態1にかかる撮影装置100では、絞り131の開口部の開口形状は、走行車両の走行方向D1が、それと直交する方向D2より幅の狭い矩形形状を有しているが、開口形状は、非合焦条件下でピンぼけPSF:h1が走行方向D1に広がりをもたない形状であればよい。絞り131の開口部の開口形状は、例えば、走行車両の走行方向D1が、それと直交する方向D2より幅の狭い長方形状であって、開口部のコーナがR面取り又はC面取りされた形状であってもよい。絞り131の開口部の開口形状は、例えば、走行車両の走行方向D1を長軸、それと直交する方向D2を短軸とする楕円形状であってもよい。
なお、本発明の実施の形態1にかかる撮影装置100では、ピンぼけPSFテーブル記録部42に、カメラ部10と被写体1との間の距離Lに対応したピンぼけPSF:h1が予め記録され、ピンぼけPSF選択部43が、ピンぼけPSFテーブル記録部42を参照し、距離Lに対応するピンぼけPSF:h1を取得していたが、ピンぼけPSF:h1は、実際に画像センサ12で取得した画像データgから直接取得しても良い。
図9は、本発明の実施の形態1にかかる他の撮影装置200の撮影装置のブロック図であり、図9中、図1と同一符合は、同一または相当箇所を示す。撮影装置200では、撮影装置100に比べて、被写体距離検出部30、ピンぼけPSFテーブル記録部42、ピンぼけPSF選択部43、およびPSF算出部45が省略されている。
画像復元演算部46は、画像センサ12から画像データgを取得する。この時、画像データgから直接、合焦条件および非合焦状条件のピンぼけPSF:h1を取得する。
一方、ぶれPSF算出部44は、制御部41により制御され、画像センサ12の露光のタイミングで車両速度検出部20から車速Vを取得し、前述の照明11の点灯パターンと車速Vから、ぶれPSF:h2を算出する。
画像復元演算部46において、上述のようにPSF:h1とPSF:h2とをそれらを重畳してPSF:hを得る。
このように、撮影蔵置200では、より簡単な構成で、PSF:hの取得が可能となる。
実施の形態2.
本発明の実施の形態2にかかる撮影装置では、実施の形態1の走行方向D1に幅の狭い開口部を有する絞り131に代えて、走行方向D1に幅が狭く、かつ直交方向D2に符号化された開口部を備えた絞りを用いる。他の構造は撮影装置100と同様である。
図10は、走行方向D1に幅が狭く、かつ直交方向D2に符号化された開口絞りを適用した場合の、ピンぼけPSF:h1、ぶれPSF:h2、およびPSF:hを示す。左の図がこのような開口の概略図で、右の2列の図の、上段がピンぼけPSF:h1の合焦および非合焦、中段がぶれPSF:h2、下段が、それらを重畳したPSF:hの合焦および非合焦を示す。これらにおいて、左右方向が走行方向D1、上下方向がD2である。
図10では、非合焦条件において、ピンぼけPSF:h1の形状は、走行方向D1のみならず、符号化した直交方向D2でも拡がりが押さえられている。この結果、ぶれPSF:h2と重畳した場合、PSF:hは、ぶれPSF:h2の走行方向D1の形状を、D1、D2の両方向において引き継ぐことができる(PSF:h(非合焦)参照)。
図11は、ピンぼけ発生時におけるPSF:hの直交方向D2の周波数特性(PSF:h(非合焦)参照。)であり、横軸は周波数、縦軸は輝度の対数を示す。実施の形態1の図10に示したPSF:hの走行方向D1の周波数特性と同様に、図11に示す周波数特性は広帯域かつフラットである。
このように、走行方向D1に狭く、直交方向D2に符号化した開口部の絞りを適用することで、直交方向D2も広帯域かつフラットなPSF:hの周波数特性が得られ、画像復元処理の際、ぶれとピンぼけとを効果的に除去できる。
なお、本実施の形態2で用いた絞りは、上述の撮影装置200にも適用することができる。
1 被写体、10 カメラ部、20 車両速度検出部、30 被写体距離検出部、40 処理部、11 照明、12 画像センサ、13 レンズユニット、130、132 レンズ、131 走行方向に幅の狭い開口の絞り、41 制御部、42 ピンぼけPSFテーブル記録部、43 ピンぼけPSF選択部、44 ぶれPSF算出部、45 PSF算出部、46 画像復元演算部、47 画像記録部、100、200 撮影装置。

Claims (7)

  1. 走行車両に搭載される撮影装置において、
    被写体の画像を取得するカメラ部であって、
    該被写体に光を照射する照明と、
    該被写体で反射した光を通すレンズユニットであって、走行方向の開口幅は、走行方向と該カメラ部の撮影方向とに直交する方向の開口幅より狭い開口部を有する絞りと、レンズとを有するレンズユニットと、
    該レンズユニットを通った光から画像データを取得する画像センサと、を含むカメラ部と、
    該照明の点灯および該画像センサの露光を制御する制御部を含む処理部と、
    該走行車両の速度を検出する車両速度検出部と、を含むことを特徴とする撮影装置。
  2. 上記絞りは、画像センサから間隔をおいて配置されることを特徴とする請求項1に記載の撮影装置。
  3. 上記絞りの開口部は、更に、走行方向に直交する方向に符号化されたことを特徴とする請求項1または2に記載の撮影装置。
  4. 更に、上記撮影装置と上記被写体との間の距離を測定する被写体距離検出部を含み、
    上記処理部は、更に、ぶれPSF算出部と、画像復元演算部とを含むことを特徴とする請求項1〜3のいずれかに記載の撮影装置。
  5. 上記処理部は、上記走行車両の走行速度および方向と、上記撮影装置と上記被写体との距離と、上記画像データとに基づいて、該画像データのPSFを算出し、算出した該PSFに基づいて画像復元処理を行って復元画像を得たことを特徴とする請求項1〜4のいずれかに記載の撮影装置。
  6. 上記PSFは、ピンぼけPSFと、ぶれPSFとを、上記走行車両の走行方向に畳み込み演算して作成したことを特徴とする請求項5に記載の撮影装置。
  7. 上記ピンぼけPSFは、被写体距離検出部が検出した距離に応じて、予め記録されたピンぼけPSFが記録部から選択されることを特徴とする請求項6に記載の撮影装置。
JP2018531820A 2016-08-03 2017-07-19 撮影装置 Active JP6559354B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016153102 2016-08-03
JP2016153102 2016-08-03
PCT/JP2017/026037 WO2018025633A1 (ja) 2016-08-03 2017-07-19 撮影装置

Publications (2)

Publication Number Publication Date
JPWO2018025633A1 true JPWO2018025633A1 (ja) 2019-01-10
JP6559354B2 JP6559354B2 (ja) 2019-08-14

Family

ID=61073361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531820A Active JP6559354B2 (ja) 2016-08-03 2017-07-19 撮影装置

Country Status (2)

Country Link
JP (1) JP6559354B2 (ja)
WO (1) WO2018025633A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5366229A (en) * 1976-11-25 1978-06-13 Fuji Photo Film Co Ltd Photographic device for stereophotography
JPH03223616A (ja) * 1989-12-20 1991-10-02 Fuji Electric Co Ltd 光電式測距装置
JP2015170989A (ja) * 2014-03-07 2015-09-28 西日本高速道路エンジニアリング関西株式会社 トンネル壁面撮影装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5366229A (en) * 1976-11-25 1978-06-13 Fuji Photo Film Co Ltd Photographic device for stereophotography
JPH03223616A (ja) * 1989-12-20 1991-10-02 Fuji Electric Co Ltd 光電式測距装置
JP2015170989A (ja) * 2014-03-07 2015-09-28 西日本高速道路エンジニアリング関西株式会社 トンネル壁面撮影装置

Also Published As

Publication number Publication date
WO2018025633A1 (ja) 2018-02-08
JP6559354B2 (ja) 2019-08-14

Similar Documents

Publication Publication Date Title
JP6140935B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
JP5132401B2 (ja) 画像処理装置及び画像処理方法
JP5388671B2 (ja) 撮像装置及び画像変換方法
US8849055B2 (en) Image processing apparatus and method
JP5898481B2 (ja) 撮像装置及び焦点検出方法
JP2009070384A (ja) 映像復元装置および方法
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5947601B2 (ja) 焦点検出装置、その制御方法および撮像装置
JP4420921B2 (ja) 撮像装置
US8149287B2 (en) Imaging system using restoration processing, imaging apparatus, portable terminal apparatus, onboard apparatus and medical apparatus having the imaging system
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP5487955B2 (ja) 撮像装置および撮像方法
JP2009260622A (ja) 撮像装置
JP6559354B2 (ja) 撮影装置
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
JP2015204566A (ja) カメラシステム
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2009047735A (ja) 撮像装置及び画像処理プログラム
JP2007214662A (ja) 固体撮像装置
JP6570230B2 (ja) 撮像装置および撮像方法
JP2018110299A (ja) 画像処理方法、画像処理装置、および、撮像装置
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6628510B2 (ja) 焦点調節装置の制御装置、撮像装置、焦点調節装置の制御方法、プログラム、記憶媒体
JP6671963B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP6541477B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190716

R150 Certificate of patent or registration of utility model

Ref document number: 6559354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250