JP2014135567A - 撮像装置、および、撮像方法 - Google Patents
撮像装置、および、撮像方法 Download PDFInfo
- Publication number
- JP2014135567A JP2014135567A JP2013001366A JP2013001366A JP2014135567A JP 2014135567 A JP2014135567 A JP 2014135567A JP 2013001366 A JP2013001366 A JP 2013001366A JP 2013001366 A JP2013001366 A JP 2013001366A JP 2014135567 A JP2014135567 A JP 2014135567A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- estimated
- vignetting
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像装置において、撮像中心の位置合わせを高精度かつ短期間に実現すること。
【解決手段】撮像装置1のデジタル信号処理部8は、撮像領域11内において互いに平行である複数本の走査線上を走査し、走査線上の画素から撮像領域11内のケラレ領域と非ケラレ領域との境界点として、互いに略直線上にない境界点を3点抽出し、イメージサークル10の推定結果として、抽出した3点の境界点をそれぞれ円周上の点とする推定イメージサークル12を計算し、撮像素子5の撮像中心11aが推定イメージサークル12の推定中心12bと一致するように、撮像素子5を移動させる。
【選択図】図1
【解決手段】撮像装置1のデジタル信号処理部8は、撮像領域11内において互いに平行である複数本の走査線上を走査し、走査線上の画素から撮像領域11内のケラレ領域と非ケラレ領域との境界点として、互いに略直線上にない境界点を3点抽出し、イメージサークル10の推定結果として、抽出した3点の境界点をそれぞれ円周上の点とする推定イメージサークル12を計算し、撮像素子5の撮像中心11aが推定イメージサークル12の推定中心12bと一致するように、撮像素子5を移動させる。
【選択図】図1
Description
本発明は、撮像装置、および、撮像方法に関する。
デジタルカメラ、ビデオカメラ、監視カメラなどの撮像装置において、撮像装置のレンズにはイメージサークルと呼ばれるレンズを通った光が結像する光軸を中心とする円形の範囲があり、イメージサークルの範囲外では、レンズの性能は保証されず、極端な場合にはケラレ領域になってしまう。ケラレ領域とは、レンズからの入射光が結像されずに、黒色の領域として撮像素子の撮像領域に撮像されてしまう領域である。
そこで、レンズの光軸(レンズ中心である光学中心を通り、レンズ面に垂直な直線)が、撮像素子の撮像領域の中心である撮像中心を通過するように、撮像素子の位置を調節する必要がある。光学中心の位置と撮像中心の位置とが大きくずれてしまうと、次のような問題がある。
まず、ズーム機能を具備する撮像装置では、広角撮影にて、被写体を出力映像の中央に置いた状態で、その被写体をズーム撮影していったときに、本来中央にあるはずの被写体が、中央から徐々に移動して出力映像の端のほうにずれてしまう問題がある。これはズーム倍率が高いレンズほど顕著に発生する。
また、手振れ補正機能を具備する撮像装置では、撮像装置が手触れで移動した距離と、手触れ補正距離の相関がとれず、精度の高い手振れ補正が行えない問題がある。
また、手振れ補正機能を具備する撮像装置では、撮像装置が手触れで移動した距離と、手触れ補正距離の相関がとれず、精度の高い手振れ補正が行えない問題がある。
特許文献1には、画像取得領域の中心位置とイメージサークルの中心位置とを一致させるため、画像ケラレ領域とケラレの生じていない有効領域との境界線上の点から、同一距離となる点をイメージサークルの中心位置として求める手法が記載されている。
特許文献2では、等輝度値の画素を結ぶ等輝度線を抽出から、シェーディング中心座標を求める手法が記載されている。
特許文献2では、等輝度値の画素を結ぶ等輝度線を抽出から、シェーディング中心座標を求める手法が記載されている。
撮像中心の位置を光学中心の位置へと移動させるために、光学中心の位置を求めるための演算は、高精度であることだけでなく、短期間で演算できるようにする必要がある。しかし、前記した各特許文献1,2には、光学中心の位置を単に計算するだけであり、高精度と短期間のバランスがとれた手法は、提案されていない。
例えば、特許文献1の図5〜図7には、光学中心の手がかりとなるケラレ領域の探索のために、CCD(Charge Coupled Device)を、上方向(Y軸+方向)と下方向(Y軸−方向)にそれぞれ大きく移動させる処理が記載されている。しかし、CCDの移動処理は、物理デバイスを実際に移動させる処理であるので、その移動量が大きくなってしまうと、光学中心を求めるために要する時間も、長くかかってしまう。
そこで、本発明は、撮像装置において、撮像中心の位置合わせを高精度かつ短期間に実現することを、主な目的とする。
前記課題を解決するために、本発明の撮像装置は、レンズからの入射光が結像する範囲であるイメージサークル内を非ケラレ領域とし、前記イメージサークル外をケラレ領域として、撮像画像の撮像領域内に撮像する撮像素子と、
前記撮像領域内において互いに平行である複数本の走査線上を走査し、走査線上の画素から前記撮像領域内の前記ケラレ領域と前記非ケラレ領域との境界点として、互いに略直線上にない境界点を3点抽出し、
前記イメージサークルの推定結果として、前記抽出した3点の境界点をそれぞれ円周上の点とする推定イメージサークルを計算し、
前記撮像素子の撮像中心が前記推定イメージサークルの推定中心と一致するように、前記撮像素子を移動させるデジタル信号処理部と、を有することを特徴とする。
その他の手段は、後記する。
前記撮像領域内において互いに平行である複数本の走査線上を走査し、走査線上の画素から前記撮像領域内の前記ケラレ領域と前記非ケラレ領域との境界点として、互いに略直線上にない境界点を3点抽出し、
前記イメージサークルの推定結果として、前記抽出した3点の境界点をそれぞれ円周上の点とする推定イメージサークルを計算し、
前記撮像素子の撮像中心が前記推定イメージサークルの推定中心と一致するように、前記撮像素子を移動させるデジタル信号処理部と、を有することを特徴とする。
その他の手段は、後記する。
本発明によれば、撮像装置において、撮像中心の位置合わせを高精度かつ短期間に実現することができる。
以下、本発明の一実施形態を、図面を参照して詳細に説明する。
図1は、撮像装置を示す構成図である。撮像装置1は、レンズ2、赤外線カットフィルタ3、光学ローパスフィルタ4、撮像素子5、位置調整機構6、A/D変換部7、および、デジタル信号処理部8を含めて構成される。
レンズ2から入射した光は、赤外線カットフィルタ3にて赤外線成分がカットされ、光学ローパスフィルタ4により、入射光のサンプリング周波数(空間周波数の画素ピッチ周波数)がカットされる。なお、レンズ2のセンサホルダ部(図示省略)内には、赤外線カットフィルタ3、光学ローパスフィルタ4、撮像素子5が納められている。センサホルダ部は、外部から余分な光が入射しないように、図示しないゴムなどで完全に撮像素子5の周りを遮光する構造としている。
撮像素子5は、CCD型やCMOS(Complementary Metal Oxide Semiconductor)型のイメージセンサ(受光部)である。撮像素子5を移動するための位置調整機構6は、公知の圧電素子などを利用すれば精密な位置調整が可能となる。撮像素子5にて、入射された光はアナログ信号へと光電変換され、A/D変換部7に送られる。アナログ信号は、A/D変換部7でデジタル信号に変換されて、デジタル信号処理部8に送られる。
デジタル信号処理部8は、DSP(Digital Signal Processor)81、機構制御部82、CPU83、メモリ84、および、映像出力部85を含めて構成される。CPU83は、読み込んだプログラムに従って各種演算処理、画質設定処理、データ保持処理、機構制御部82を介した位置調整機構6の制御処理、映像出力部85を介した映像信号の出力処理などを実行する。
映像出力装置9は、LCD(Liquid Crystal Display)などのモニタとして構成され、デジタル信号処理部8で生成された映像信号を映像出力部85から受信して表示する。映像出力部85と映像出力装置9との間は、図示しないケーブルなどの有線、あるいは無線などで通信可能に接続される。
図2は、イメージサークルと撮像領域の位置関係を示す説明図である。
イメージサークル10は、レンズを通った光が結像する光軸を中心とする円形の範囲であり、そのイメージサークル10の中心が光学中心10bである。以下、イメージサークル10の範囲内を「非ケラレ領域」とし、イメージサークル10の範囲外を「ケラレ領域」とする。ケラレ領域は、映像上は黒色に表示される。
撮像素子5により撮影される画像は、撮像中心11aを中心とした撮像領域11の範囲が映る。位置調整機構6は、機構制御部82からの指示を受け、撮像領域11の位置を調整する。撮像中心11aの座標は、メモリ84内に記憶されている。
イメージサークル10は、レンズを通った光が結像する光軸を中心とする円形の範囲であり、そのイメージサークル10の中心が光学中心10bである。以下、イメージサークル10の範囲内を「非ケラレ領域」とし、イメージサークル10の範囲外を「ケラレ領域」とする。ケラレ領域は、映像上は黒色に表示される。
撮像素子5により撮影される画像は、撮像中心11aを中心とした撮像領域11の範囲が映る。位置調整機構6は、機構制御部82からの指示を受け、撮像領域11の位置を調整する。撮像中心11aの座標は、メモリ84内に記憶されている。
図2(a)では、撮像中心11aが光学中心10bに対して左斜め上側にずれてしまっているため、撮像領域11の左側に、イメージサークル10のケラレ領域が存在している。このように両中心がずれる要因は、例えば、レンズ2やその他周辺部品の寸法ばらつき、組立てのばらつきなどが挙げられる。
図2(b)では、位置調整機構6によって撮像中心11aが光学中心10bと一致するように移動した結果、撮像領域11の全体がイメージサークル10内に収まり、ケラレ領域を消去することができる。以下、図3以降で位置調整機構6による撮像中心11aの移動内容を求める処理を詳細に説明する。
図2(b)では、位置調整機構6によって撮像中心11aが光学中心10bと一致するように移動した結果、撮像領域11の全体がイメージサークル10内に収まり、ケラレ領域を消去することができる。以下、図3以降で位置調整機構6による撮像中心11aの移動内容を求める処理を詳細に説明する。
図3は、撮像領域の位置調節処理を示すフローチャートである。
S11において、CPU83は、撮像領域11内に走査線を走査させることで、撮像領域11内にケラレ領域があるか否かを判定する(詳細は、図4参照)。例えば、図4の推定円周点集合12gを構成する推定円周点が1点以上あるときに、ケラレ領域があると判定してもよいし、黒画素が所定点数以上あるときに、ケラレ領域があると判定してもよい。S11でYesならS13に進み、NoならS12に進む。
なお、ケラレ領域を発見しやすくするために、撮像素子5の初期位置をあらかじめケラレ領域が発生しやすい位置(光学中心10bから遠い位置)に置いておくことで、S12の移動処理を実行させやすくしてもよい。
S11において、CPU83は、撮像領域11内に走査線を走査させることで、撮像領域11内にケラレ領域があるか否かを判定する(詳細は、図4参照)。例えば、図4の推定円周点集合12gを構成する推定円周点が1点以上あるときに、ケラレ領域があると判定してもよいし、黒画素が所定点数以上あるときに、ケラレ領域があると判定してもよい。S11でYesならS13に進み、NoならS12に進む。
なお、ケラレ領域を発見しやすくするために、撮像素子5の初期位置をあらかじめケラレ領域が発生しやすい位置(光学中心10bから遠い位置)に置いておくことで、S12の移動処理を実行させやすくしてもよい。
S12において、CPU83は、撮像領域11内にケラレ領域が確認できる位置まで、位置調整機構6によって撮像素子5を水平方向、垂直方向に移動させるように機構制御部82に指示する。そして、CPU83は、ケラレ領域が確認できる位置になったら(S11でYes)、撮像素子5の移動を停止して、S13に進む。
S13において、CPU83は、ケラレ領域と非ケラレ領域との境界線上に、推定円周点集合12gを構成する3点の推定円周点があるか確認する(詳細は、図5(a)参照)。S13でYesならS14に進み、NoならS15に進む。
S14において、CPU83は、推定円周点集合12gを構成する3点の推定円周点が、略直線上に位置するか否かを判定する(詳細は、図5(b)、(c)参照)。S14でYesなら(略直線上に位置するなら)S15に進み、NoならS16に進む。
S14において、CPU83は、推定円周点集合12gを構成する3点の推定円周点が、略直線上に位置するか否かを判定する(詳細は、図5(b)、(c)参照)。S14でYesなら(略直線上に位置するなら)S15に進み、NoならS16に進む。
S15において、CPU83は、推定円周点集合12gを構成する推定円周点を増やす(新たに、推定円周点を発見する)ための処理を行い、S13に戻る。
S15の処理の一例として、発見済みの推定円周点に撮像中心11aが近づくように、撮像素子5の位置(撮像領域11)を移動してもよいし、発見済みの1点の推定円周点の近辺に、新たに走査線を追加してもよいし、発見済みの2点の推定円周点の中間位置に、新たに走査線を追加してもよい。
S15の処理の一例として、発見済みの推定円周点に撮像中心11aが近づくように、撮像素子5の位置(撮像領域11)を移動してもよいし、発見済みの1点の推定円周点の近辺に、新たに走査線を追加してもよいし、発見済みの2点の推定円周点の中間位置に、新たに走査線を追加してもよい。
S16において、CPU83は、3点の推定円周点から推定イメージサークル12を形成し、その推定中心12bの座標を算出する(詳細は、図5(a)、図6(a)参照)。
S17において、CPU83は、撮像中心11aの座標と、推定中心12bの座標とが略一致しているか否かを判定する。S17でYesなら(略一致しているなら)処理を終了し(詳細は、図6(b)参照)、NoならS18に進む。
S17において、CPU83は、撮像中心11aの座標と、推定中心12bの座標とが略一致しているか否かを判定する。S17でYesなら(略一致しているなら)処理を終了し(詳細は、図6(b)参照)、NoならS18に進む。
S18において、CPU83は、撮像中心11aと推定中心12bとが略一致する(S17でYes)ように、撮像領域11(撮像中心11a)を水平方向および垂直方向のうちの少なくとも1つの方向に推定中心12bまで移動する。
または、S18において、撮像領域11(撮像中心11a)を移動させずに、推定中心12b(推定中心12bが推定対象とする光学中心10bのレンズ2)を、撮像中心11aまで移動させてもよい。
または、S18において、撮像領域11(撮像中心11a)を移動させずに、推定中心12b(推定中心12bが推定対象とする光学中心10bのレンズ2)を、撮像中心11aまで移動させてもよい。
なお、S17でYesとなった後、推定円周点集合12gから求めた推定イメージサークル12や推定中心12bを、単独で、または撮像領域11や撮像中心11aと併せて、映像出力装置9に表示するようにしてもよい。そして、CPU83は、機構制御部82を介して位置調整機構6に入力させる撮像領域11の移動指示を、映像出力装置9の表示内容を見ているユーザに直接入力させてもよい。これにより、中心位置合わせの精度が、S18の移動結果から、さらに向上する。
図4は、推定円周点の抽出処理を示す説明図である。
図4(a)は、撮像領域11の一例を示す。撮像素子5には、水平方向と垂直方向とでそれぞれ格子状に画素が敷き詰められている。撮像素子5は、それらの画素ごとの画素値(輝度値など)を撮影し、その結果を撮像領域11に出力する。図4(a)では、例えば白一面を撮影した1つの撮像領域11内に、2カ所のケラレ領域(第1,第2)が発生している。これは、撮像中心11aが光学中心10bよりも左側にずれているためである。
図4(a)は、撮像領域11の一例を示す。撮像素子5には、水平方向と垂直方向とでそれぞれ格子状に画素が敷き詰められている。撮像素子5は、それらの画素ごとの画素値(輝度値など)を撮影し、その結果を撮像領域11に出力する。図4(a)では、例えば白一面を撮影した1つの撮像領域11内に、2カ所のケラレ領域(第1,第2)が発生している。これは、撮像中心11aが光学中心10bよりも左側にずれているためである。
なお、撮像領域11内に撮影する対象物は、白一面の物体でなく、ケラレ領域の黒色が明確になる被写体であれば白一面でなくてもよい。以下、本実施形態では、説明を読みやすくするために、ケラレ領域の画素を黒とし非ケラレ領域の画素を白として例示するが、この色表記はあくまで一例であり、黒画素は、ケラレ領域の画素判定を満たす画素であり、白画素は、ケラレ領域の画素判定を満たさない画素である。
図4(b)は、図4(a)の各走査線(L1〜L11)についての輝度値を示す。走査線とは、撮像領域11内の互いに平行となる複数本の線である。推定円周点集合12gの候補として、走査線上の画素が参照される。なお、走査線は、等間隔でも任意の間隔でもよく、ケラレ領域が発生しやすい画面上部、画面下部に偏って配置してもよい。また走査線の本数も任意である。走査線は、撮像領域11の横方向(水平方向)と平行であってもよいし、平行でなくてもよい。
CPU83は、撮像領域11内の走査線を例えばL1から順に読み込み、読み込んだ各走査線上の画素が黒い箇所をケラレ領域とし、白い箇所を非ケラレ領域とする。図4(b)では、各走査線上の黒い箇所を値「0」とし、各走査線上の白い箇所を値「1」とする。黒画素の判定処理は、例えば、画素の輝度値が所定閾値よりも小さい(暗い、黒に近い)ときに、その画素を黒と判定する。または、黒画素の判定処理は、走査線上の互いに近傍にある複数の画素について、その画素値の差分値(変化値)が所定閾値よりも大きいときに、その画素を黒と判定してもよい。
なお、所定閾値を所定閾値をユーザにより入力させる入力手段と、その入力手段を介して入力された所定閾値をもとにした画素の黒判定結果を映像出力装置9に表示することで、ユーザにケラレ領域を直接確認させてもよい。
なお、所定閾値を所定閾値をユーザにより入力させる入力手段と、その入力手段を介して入力された所定閾値をもとにした画素の黒判定結果を映像出力装置9に表示することで、ユーザにケラレ領域を直接確認させてもよい。
図4(b)では、走査線L2、L3、L4、L10からそれぞれ黒画素と白画素との境界点を発見できる。CPU83は、発見した黒画素と白画素との境界点を、推定円周点集合12gに属する推定円周点12x,12y,12zとして抽出する。図4(a)では、第1ケラレ領域から2つの推定円周点12x,12yが検出される。このように、1つのケラレ領域から1つ以上の推定円周点が検出される。
図5は、推定中心の計算処理を示す説明図である。推定イメージサークル12は、イメージサークル10の推定結果であり、推定中心12bは、光学中心10bの推定結果である。
まず、図5(a)に示すように、図4(a)で求めた3つの推定円周点12x,12y,12zを通る円周の円を推定イメージサークル12(図6参照)とし、その円の中心を推定中心12bとして求める。推定中心12bは、推定円周点12x,12yの垂直二等分線と、推定円周点12y,12zの垂直二等分線との交点として計算できる。
なお、CPU83は、3つの推定円周点12x,12y,12zがなす角度のうちの最大の角度をもとに、3つの推定円周点12x,12y,12zが略直線上に位置しているか否かを判定する。例えば、図5(b)では、角度=170度>閾値150度なので、略直線上に位置していると判定される。一方、図5(c)では、角度=120度≦閾値150度なので、略直線上に位置していないと判定される。
まず、図5(a)に示すように、図4(a)で求めた3つの推定円周点12x,12y,12zを通る円周の円を推定イメージサークル12(図6参照)とし、その円の中心を推定中心12bとして求める。推定中心12bは、推定円周点12x,12yの垂直二等分線と、推定円周点12y,12zの垂直二等分線との交点として計算できる。
なお、CPU83は、3つの推定円周点12x,12y,12zがなす角度のうちの最大の角度をもとに、3つの推定円周点12x,12y,12zが略直線上に位置しているか否かを判定する。例えば、図5(b)では、角度=170度>閾値150度なので、略直線上に位置していると判定される。一方、図5(c)では、角度=120度≦閾値150度なので、略直線上に位置していないと判定される。
ここで、推定円周点集合12gとして、4点以上の推定円周点を抽出できたときには、CPU83は、そのうちの3点の推定円周点を推定中心12bの計算用に選択(選別)する。この選択は、例えば、3つの推定円周点12x,12y,12zがなす角度のうちの最大の角度が、もっとも小さくなるように(3つの推定円周点がなす三角形が正三角形に近くなるように)、選ぶことが望ましい。そのために、例えば、互いに別々のケラレ領域から、それぞれ推定円周点を抽出することが望ましい。
図6は、撮像中心を推定中心へと移動させる処理を示す説明図である。図6(a)では、3つの推定円周点12x,12y,12zを通る円周の円を推定イメージサークル12の中心である推定中心12bに対して、撮像中心11aは左上にずれてしまっている。そこで、機構制御部82は、撮像素子5に対して、符号11cに示すように撮像中心11aを推定中心12bと一致するように移動させることで、図6(b)に示すように、撮像領域11内のケラレ領域をなくすことができる。
なお、イメージサークル10よりも撮像領域11のほうが大きいときには、どのように撮像領域11を移動させてもケラレ領域は発生してしまう。しかし、撮像領域11の四隅に均等にケラレ領域が発生するだけで済むので、光学中心10bに近い領域において鮮明な画像を撮影することができる。
なお、イメージサークル10よりも撮像領域11のほうが大きいときには、どのように撮像領域11を移動させてもケラレ領域は発生してしまう。しかし、撮像領域11の四隅に均等にケラレ領域が発生するだけで済むので、光学中心10bに近い領域において鮮明な画像を撮影することができる。
図7は、1カ所のケラレ領域をもとにした推定円周点の抽出処理を示す説明図である。図4ではケラレ領域が2箇所であったが、図7ではケラレ領域が左上の1箇所だけである。このようなケラレ領域が1箇所の場合でも、そのケラレ領域から3本の走査線L1〜L3を介して3つの推定円周点を求めることができる。なお、図5で説明したように、3つの推定円周点がなす角度を小さくするために、走査線の間隔は、撮像領域11の縦幅の5%分など、広めにとったほうがよい。これにより、推定イメージサークル12の形成の精度を上げることができる。
図8は、図7で示した1カ所のケラレ領域をもとにした、撮像中心と推定中心との位置関係を示す説明図である。ケラレ領域が左上の1カ所だけであっても、図6で説明したケラレ領域が2カ所であるときと同じ手法で、撮像中心11aと推定中心12bとを求めることができる。
図9は、イメージサークルと撮像領域との大きさの関係を示す説明図である。
図9(a)は、イメージサークル10よりも撮像領域11が少しだけ大きいため、光学中心10bと撮像中心11aとが略一致していても(中心ずれが少なくても)、ケラレ領域が発生している。
図9(b)は、イメージサークル10よりも撮像領域11がかなり大きいため、光学中心10bと撮像中心11aとが略一致していても(中心ずれが少なくても)、広範囲のケラレ領域が発生している。なお、このように小さい範囲のイメージサークル10は、例えば、魚眼レンズなどの特殊なレンズを用いることにより発生する。
図9(a)は、イメージサークル10よりも撮像領域11が少しだけ大きいため、光学中心10bと撮像中心11aとが略一致していても(中心ずれが少なくても)、ケラレ領域が発生している。
図9(b)は、イメージサークル10よりも撮像領域11がかなり大きいため、光学中心10bと撮像中心11aとが略一致していても(中心ずれが少なくても)、広範囲のケラレ領域が発生している。なお、このように小さい範囲のイメージサークル10は、例えば、魚眼レンズなどの特殊なレンズを用いることにより発生する。
以上説明した本実施形態では、撮像装置1が自身の撮像素子5の撮像領域11を、自身のレンズ2のイメージサークル10の略中央にくるように、撮像素子5の移動量と移動方向を計算することを特徴とする。
そのため、撮像装置1は、撮像領域11に撮影されたケラレ領域と非ケラレ領域との境界上の推定円周点集合12gを取得して、イメージサークル10の推定結果である推定イメージサークル12を計算する。
さらに、撮像装置1は、撮像領域11の撮像中心11aを、推定イメージサークル12の推定中心12bへと略一致させるように、撮像領域11を移動することにより、イメージサークル10の領域と撮像領域11の領域との重複範囲を最大化させることができ、ケラレ領域の面積を小さくすることができる。
そのため、撮像装置1は、撮像領域11に撮影されたケラレ領域と非ケラレ領域との境界上の推定円周点集合12gを取得して、イメージサークル10の推定結果である推定イメージサークル12を計算する。
さらに、撮像装置1は、撮像領域11の撮像中心11aを、推定イメージサークル12の推定中心12bへと略一致させるように、撮像領域11を移動することにより、イメージサークル10の領域と撮像領域11の領域との重複範囲を最大化させることができ、ケラレ領域の面積を小さくすることができる。
さらに、本実施形態では、推定中心を計算するための推定円周点の抽出処理の終了条件として、単に推定円周点が3点以上あればよい(S13,Yes)わけではなく、その3点が略直線上に存在しない(換言すると、精度の高い推定中心を計算できるための3点である)ことを、S14で判定している。この略直線上の判定により、推定中心の精度を保証するだけでなく、S14の判定式を満たした段階で推定円周点を増やすための処理(S15)を終了させるので、短期間に推定中心を計算(S16)できる。
なお、S14の判定で「直線上」とせずに、「略直線上」としたのは、幾何学上、円周上の互いに位置が異なるどの3点も、厳密には直線上には位置しないためである。
なお、S14の判定で「直線上」とせずに、「略直線上」としたのは、幾何学上、円周上の互いに位置が異なるどの3点も、厳密には直線上には位置しないためである。
本実施形態との比較例を2つ挙げ、本実施形態の構成から得られる効果を説明する。
まず、第1比較例は、撮像素子5の撮像領域11を物理的に移動せずに、撮像領域11に対する撮影後のデジタル画像処理により、撮像領域11に撮影されるケラレ領域を除去する手法である。この第1比較例では、撮像領域11の上下左右の端を切り落とした分、撮影画角が狭くなってしまい、広範囲を撮影したい場合には不利である。また、切り落とした部分の映像を補間するため、切り出した映像を電子的に拡大して映像表示するため、解像度が低下してしまう。
まず、第1比較例は、撮像素子5の撮像領域11を物理的に移動せずに、撮像領域11に対する撮影後のデジタル画像処理により、撮像領域11に撮影されるケラレ領域を除去する手法である。この第1比較例では、撮像領域11の上下左右の端を切り落とした分、撮影画角が狭くなってしまい、広範囲を撮影したい場合には不利である。また、切り落とした部分の映像を補間するため、切り出した映像を電子的に拡大して映像表示するため、解像度が低下してしまう。
次に、第2比較例は、撮像素子5の撮像領域11を物理的に移動する点は、本実施形態の方式とは共通するものの、推定イメージサークル12の計算に、ケラレ領域と非ケラレ領域との境界上の推定円周点集合12gを使用せずに、他の特徴(例えば、非ケラレ領域に撮影された陰影情報)を利用する手法である。この第2比較例は、交換式レンズの場合など、レンズの性能や特性が不明確である場合は、シェーディングが明確に発生しない可能性がある。また組込みばらつきによって、撮像素子の撮像面とレンズ面が平行でなく、傾き(アオリ)が発生した場合は、シェーディングが片側に偏ってしまう可能性もある。
一方、本実施形態では、撮像素子5を物理的に移動することにより、第1比較例の問題点は発生せず、かつ、推定イメージサークル12の計算に、ケラレ領域と非ケラレ領域との境界上の推定円周点集合12gを使用するため、第2比較例の問題点も発生しない。
よって、本実施形態では、高精度に撮像中心11aを光学中心10bと略一致させることができ、撮影画角を狭めることなく、精度の高い手触れ補正が実現でき、広角撮影からズーム撮影したときの被写体の位置ずれがおさえられる。なお、イメージサークル10よりも撮像領域11が大きい場合でも、ケラレ領域が4隅に均等に発生するだけで済み、歪み補正の精度を向上させることができる。
よって、本実施形態では、高精度に撮像中心11aを光学中心10bと略一致させることができ、撮影画角を狭めることなく、精度の高い手触れ補正が実現でき、広角撮影からズーム撮影したときの被写体の位置ずれがおさえられる。なお、イメージサークル10よりも撮像領域11が大きい場合でも、ケラレ領域が4隅に均等に発生するだけで済み、歪み補正の精度を向上させることができる。
なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、SSD(Solid State Drive)などの記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
1 撮像装置
2 レンズ
3 赤外線カットフィルタ
4 光学ローパスフィルタ
5 撮像素子
6 位置調整機構
7 A/D変換部
8 デジタル信号処理部
81 DSP
82 機構制御部
83 CPU
84 メモリ
85 映像出力部
9 映像出力装置
10 イメージサークル
10b 光学中心
11 撮像領域
11a 撮像中心
12 推定イメージサークル
12b 推定中心
12x,12y,12z 推定円周点
12g 推定円周点集合
2 レンズ
3 赤外線カットフィルタ
4 光学ローパスフィルタ
5 撮像素子
6 位置調整機構
7 A/D変換部
8 デジタル信号処理部
81 DSP
82 機構制御部
83 CPU
84 メモリ
85 映像出力部
9 映像出力装置
10 イメージサークル
10b 光学中心
11 撮像領域
11a 撮像中心
12 推定イメージサークル
12b 推定中心
12x,12y,12z 推定円周点
12g 推定円周点集合
Claims (5)
- レンズからの入射光が結像する範囲であるイメージサークル内を非ケラレ領域とし、前記イメージサークル外をケラレ領域として、撮像画像の撮像領域内に撮像する撮像素子と、
前記撮像領域内において互いに平行である複数本の走査線上を走査し、走査線上の画素から前記撮像領域内の前記ケラレ領域と前記非ケラレ領域との境界点として、互いに略直線上にない境界点を3点抽出し、
前記イメージサークルの推定結果として、前記抽出した3点の境界点をそれぞれ円周上の点とする推定イメージサークルを計算し、
前記撮像素子の撮像中心が前記推定イメージサークルの推定中心と一致するように、前記撮像素子を移動させるデジタル信号処理部と、を有することを特徴とする
撮像装置。 - 前記デジタル信号処理部は、前記撮像領域から抽出した境界点が2点以下であるときには、互いに略直線上にない境界点を3点抽出するまで前記撮像素子を移動させることを特徴とする
請求項1に記載の撮像装置。 - 前記デジタル信号処理部は、前記撮像領域から抽出した境界点が1点または2点であるときには、前記抽出した境界点を通過する走査線の近傍に、新たに境界点を発見するための走査線を配置することを特徴とする
請求項1に記載の撮像装置。 - 前記デジタル信号処理部は、前記ケラレ領域と前記非ケラレ領域との境界点の候補となる画素の輝度値が所定閾値以下の場合、その候補が境界点であると判定することを特徴とする
請求項1に記載の撮像装置。 - 撮像装置は、撮像素子と、デジタル信号処理部とを有しており、
前記撮像素子は、レンズからの入射光が結像する範囲であるイメージサークル内を非ケラレ領域とし、前記イメージサークル外をケラレ領域として、撮像画像の撮像領域内に撮像し、
前記デジタル信号処理部は、
前記撮像領域内において互いに平行である複数本の走査線上を走査し、走査線上の画素から前記撮像領域内の前記ケラレ領域と前記非ケラレ領域との境界点として、互いに略直線上にない境界点を3点抽出し、
前記イメージサークルの推定結果として、前記抽出した3点の境界点をそれぞれ円周上の点とする推定イメージサークルを計算し、
前記撮像素子の撮像中心が前記推定イメージサークルの推定中心と一致するように、前記撮像素子を移動させることを特徴とする
撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001366A JP2014135567A (ja) | 2013-01-08 | 2013-01-08 | 撮像装置、および、撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001366A JP2014135567A (ja) | 2013-01-08 | 2013-01-08 | 撮像装置、および、撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014135567A true JP2014135567A (ja) | 2014-07-24 |
Family
ID=51413575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013001366A Pending JP2014135567A (ja) | 2013-01-08 | 2013-01-08 | 撮像装置、および、撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014135567A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123639A1 (ja) | 2016-12-27 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | 撮像装置および撮像方法 |
JP2019176302A (ja) * | 2018-03-28 | 2019-10-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2021220605A1 (ja) * | 2020-04-28 | 2021-11-04 | 富士フイルム株式会社 | 撮像装置のプロセッサ、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
-
2013
- 2013-01-08 JP JP2013001366A patent/JP2014135567A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123639A1 (ja) | 2016-12-27 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | 撮像装置および撮像方法 |
JP2019176302A (ja) * | 2018-03-28 | 2019-10-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP7134666B2 (ja) | 2018-03-28 | 2022-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2021220605A1 (ja) * | 2020-04-28 | 2021-11-04 | 富士フイルム株式会社 | 撮像装置のプロセッサ、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
JPWO2021220605A1 (ja) * | 2020-04-28 | 2021-11-04 | ||
JP7358633B2 (ja) | 2020-04-28 | 2023-10-10 | 富士フイルム株式会社 | 撮像装置のプロセッサ、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
US11936984B2 (en) | 2020-04-28 | 2024-03-19 | Fujifilm Corporation | Processor of imaging apparatus, imaging apparatus, control method of imaging apparatus, and control program of imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5744161B2 (ja) | 画像処理装置 | |
US9386216B2 (en) | Imaging device, defocus amount calculating method, and imaging optical system | |
CN104363378B (zh) | 相机对焦方法、装置及终端 | |
TWI518436B (zh) | 影像擷取裝置及影像處理方法 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US20180182075A1 (en) | Image processing apparatus, image capturing apparatus, method of image processing, and storage medium | |
JP2016197177A (ja) | 表示制御装置及びその制御方法、及び撮像装置 | |
JP2013123123A (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP2014135567A (ja) | 撮像装置、および、撮像方法 | |
JP6564284B2 (ja) | 画像処理装置および画像処理方法 | |
EP3163345A1 (en) | Imaging element and imaging device | |
KR20160104236A (ko) | 자동 초점 조절 촬상 장치 및 이를 포함하는 단말기와 그 장치를 이용한 자동 초점 조절 방법 | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6012396B2 (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP2007049266A (ja) | 画像撮像装置 | |
JP6352150B2 (ja) | 画像処理装置および画像処理方法 | |
JP2014160998A (ja) | 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体 | |
JP6105960B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP6592881B2 (ja) | 面検出方法、面検出装置、及び撮像装置 | |
JP2013206000A (ja) | 画像補正装置 | |
JP5769534B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
US20240054750A1 (en) | Image processing device, image processing method, and storage medium | |
JP7051580B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP6907040B2 (ja) | 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2011234172A (ja) | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140718 |