JP5762587B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP5762587B2
JP5762587B2 JP2014045624A JP2014045624A JP5762587B2 JP 5762587 B2 JP5762587 B2 JP 5762587B2 JP 2014045624 A JP2014045624 A JP 2014045624A JP 2014045624 A JP2014045624 A JP 2014045624A JP 5762587 B2 JP5762587 B2 JP 5762587B2
Authority
JP
Japan
Prior art keywords
distortion
image data
image
correction
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014045624A
Other languages
English (en)
Other versions
JP2014225864A (ja
Inventor
英俊 西郡
英俊 西郡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014045624A priority Critical patent/JP5762587B2/ja
Priority to US14/249,216 priority patent/US9560277B2/en
Priority to CN201410150677.3A priority patent/CN104113703B/zh
Publication of JP2014225864A publication Critical patent/JP2014225864A/ja
Application granted granted Critical
Publication of JP5762587B2 publication Critical patent/JP5762587B2/ja
Priority to US15/266,964 priority patent/US9607361B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Description

本発明は、撮像光学系の歪曲収差を画像処理により補正する歪曲収差補正機構と、撮像装置の動きによって生じる撮像素子上での像の振れを補正する振れ補正機構を有する画像処理装置に関するものである。
特開2005−252626号公報には、撮像光学系に固有の歪曲収差を画像処理により補正する機能と、撮影時に撮像装置が動くことで生じる被写体の像の振れを補正することが可能な電子防振方式の振れ補正機能を有する画像処理装置が開示されている。
特開2005−252626号公報
撮像光学系に固有の歪曲収差が生じている画像に対して、この歪曲収差を低減するための画像処理を行うと、画像に広角歪みが発生してしまう。平面的な被写体の画像に生じた広角歪みは目立たないが、立体的な被写体の画像に生じた広角歪みは目立やすい。特に、ズーム機能を備えた撮像光学系の画角を広角に設定して撮影された画像においては、程度の大きな歪曲収差が画像に生じるため、この歪曲収差を補正した際に生じる広角歪みも大きくなる。
広角歪みは、画面の周辺部の被写体が、画面の像高方向に引き伸ばされるように変形する歪みであり、特に人の顔に広角歪みが生じると違和感の強い画像になる。
図7(A)は歪曲収差が良好に補正された画像を示しており、平面的な直線上の形状は良好に見えるが、画面周辺部の人物の顔のような立体物には広角歪が発生しやすく、違和感のある画像となる。図7(B)は樽型の歪曲収差が残る画像を示しており、平面的な直線上の形状は歪んでしまい違和感のある画像となるが、画面周辺部の人物の顔のような立体物は、比較的良好に見える画像となる。このため、歪曲収差の程度が大きい場合には、あえて歪曲収差を少し残す補正を行うことで、平面的な直線上の形状と広角歪のどちらも比較的程度が良いように感じられる画像を得ることができる。
一方、撮像装置の振れに起因した画像のブレを低減するための防振処理として、いわゆる電子防振処理がある。この電子防振処理は、画像の中から実際に出力(記録又は表示)する切り出し領域を、撮像装置の振れに応じてシフトさせることで、画像のブレを低減するものである。
ところが動画撮影時などで撮像素子からの出力を用いて生成された画像に歪曲収差が残っていると、実際に出力する切り出し領域の位置の変化に応じて、切り出した画像に含まれる歪曲収差の状態が変化する。図8は切り出し領域の位置が変化することによって、切り出し領域に残る歪曲収差の状態が変化することを示す図である。図8(A)の画像から、図8(B)や図8(C)のように、切り出し位置の異なる画像を生成すると、それぞれの画像に残る歪曲収差の状態が異なる。そのため、このような画像が連続する動画においては、この切り出し位置の違いよって、画像に残る歪曲収差の違いが目立ってしまう。
また、被写体の輝度が低い場合に、複数回の撮像により得られた複数の画像データのそれぞれから同一の被写体を検出し、それぞれの画像データに含まれる同一の被写体の位置が一致するように、複数の画像データの位置を調整して合成する方式がある。
このとき、同一の被写体の撮像素子上の位置が複数の画像間で異なるならば、この被写体に残る歪曲収差の状態も複数の画像間で異なる。図9は、複数の画像間で、被写体の撮像素子上の位置がずれることによって、被写体に合わせて切り出した画像に残る歪曲収差の状態が変化することを示す図である。図9(A)の画像から、図9(B)や図9(C)のように、切り出し位置の異なる画像を生成すると、それぞれの画像に残る歪曲収差の状態が異なる。そのため、このような画像を合成すると、同一の被写体であるにも関わらず、異なる形状の像が合成された画像が生成されてしまい、被写体がボケたような画像になってしまう。
上記課題を達成するため、本願発明に係る画像処理装置は、撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、前記画像データが生成されたときの撮像部の動きに基づいて、前記画像データから一部の画像データを切り出す電子防振処理を行う電子防振手段を有し、前記歪曲収差補正手段は、前記電子防振処理を行わない場合には、前記電子防振処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とするものである。また、上記課題を解決するため、本願発明に係る画像処理装置は、撮像光学系による歪曲収差が生じた複数の画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、前記複数の画像データのそれぞれに含まれる被写体の位置に基づいて、前記複数の画像データの位置を調整して合成する合成処理を行う合成手段を有し、前記歪曲収差補正手段は、前記合成処理を行わない場合には、前記合成処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とするものである。
また、上記課題を解決するため、本願発明に係る画像処理装置は、撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、前記画像データから一部の画像データを切り出す処理を行う切り出し手段を有し、前記歪曲収差補正手段は、前記一部の画像データを切り出す処理を行わない場合には、前記一部の画像データを切り出す処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とするものである。
上記の手段により、電子防振による画像データの切り出しを行う場合と、行わない場合とで、それぞれに適した歪曲収差の補正を行う画像処理装置を提供することが可能となる。
本実施形態に係る画像処理装置の一例である撮像装置の構成を示すブロック図である。 電子防振を行わない場合における、歪曲収差の補正の程度を示す図である。 電子防振を行う場合における、歪曲収差の補正の程度を示す図である。 電子防振による出力画像の切り出し位置を示す図である。 電子防振による出力画像の切り出し位置を示す図である。 電子防振と射影変換による出力画像の切り出し位置を示す図である。 歪曲収差と広角歪みの関係を模式的に示す図である。 歪曲収差と電子防振による出力画像の切り出し位置の関係を模式的に示す図である。 歪曲収差と電子防振による出力画像の合成の位置の関係を模式的に示す図である。
以下、図面を用いて本発明の好適な実施形態について説明を行う。
図1は、本発明に係る画像処理装置の一例である撮像装置の構成を示すブロック図である。ここでは、電子防振機能と歪曲収差補正機能を備えた撮像装置を例に説明を行うが、本発明はこれに限られるものではない。撮影時の振れ情報に基づいて画像を切り出す機能、または、複数の画像の位置合わせをして複数の画像を合成する機能と、歪曲収差を補正する機能を備えているのであれば、撮像装置と分離された画像処理装置においても本発明を適用することは可能である。
撮像光学系101は複数のレンズからなるレンズ群を含んでおり、焦点位置やズーム倍率を変更することができる。撮像素子102は、撮像光学系101を透過した光線を受けて光電変換を行い、被写体に応じたアナログ信号を生成する。撮像光学系101と撮像素子102で撮像ユニットを構成する。A/Dコンバータ103は、撮像素子102にて生成されたアナログ信号をデジタル信号に変換し、画像データを生成する。
一時メモリ104は、A/Dコンバータ103にて生成された画像データを一時的に記憶する。画像処理回路105は、一時メモリ104から読み出した画像データに対して、ホワイトバランス、歪曲収差補正、電子防振処理、および、合成処理などの画像処理を行う。モニター106は小型液晶画面などにより構成されており、画像処理回路105によって処理された画像データを用いて、画像の表示を行う。記録回路107は、画像処理回路105から出力された画像データをJPEGなどのフォーマットに変換し、記録するものである。
操作部108は、ユーザーがこの撮像装置に対して各種の指示を入力するためのものである。制御回路109は同図に示す各部の動作を制御するものである。制御回路109は、操作部108からの指示に応じた制御も行う。動き検出回路110は、撮影時における撮像ユニットの振れを検出し、制御回路109に撮像装置の動きを出力するものである。動き検出回路110は、例えば、撮像装置に搭載された角速度センサーの出力から撮像装置の動きを検出したり、撮影された複数の画像を比較することで得られる動きベクトルから撮像装置の動きを検出したりする。また、制御回路109は動き検出回路110から得られた動きの情報に基づいて、電子防振時の画像の切り出し位置を、画像処理回路105に伝達するものである。また、制御回路109は、画像データから人物などの特定の被写体を検出することができる。
(第1の実施形態)
次に、本発明に係る撮像装置の第1の実施形態における動作について説明する。
操作部108の不図示の電源スイッチをオンにすると、本撮像装置を構成する各部に電源が供給される。撮像光学系101を通過した被写体像の光線は撮像素子102上に結像し、光電変換されたアナログ信号が撮像素子102からA/Dコンバータ103に出力される。A/Dコンバータ103は入力したアナログ信号をデジタル信号に変換し、画像データを生成し、一時メモリ104がこの画像データを記憶する。そして、画像処理回路105は、一時メモリ104から読み出した画像データに対してホワイトバランスを行う。
ここで、操作部108により、予め電子防振を実行しないように設定されていた場合には、画像処理回路105は、ホワイトバランスを行った画像データに対して、画像データの一部の領域の切り出しを行わずに、歪曲収差補正を行った画像データを生成する。そして、制御回路109は、モニター106に、この画像データに基づく画像の表示を行わせる。
反対に、操作部108により、予め電子防振を実行するように設定されていた場合には、制御回路109が動き検出回路110で検出された動き量に基づいて、画像の切り出し位置を設定する。そして、画像処理回路105は、ホワイトバランスおよび歪曲収差補正を行った画像に対して、制御回路109によって設定された位置に従って、画像データの切り出しを行う。そして、制御回路109は、モニター106に、この切り出した画像データに基づく画像の表示を行わせる。このときの歪曲収差補正に用いられるパラメータは、電子防振を実行しないように設定されているときの歪曲収差補正に用いられるパラメータとは異なる。この違いについては後述する。
撮像装置は、操作部108のシャッタースイッチからSW1なる信号の通知(即ち、シャッタースイッチの半押しの通知)を受けるまでは、上記処理を繰り返す。これにより、モニター106には動画が表示される。
一方、制御回路109が信号SW1なる信号の通知を操作部108のシャッタースイッチから受けると、生成された画像データを用いて自動フォーカス制御および自動露出制御を行い、撮影に最適なピントおよび露出設定条件を取得する。
撮像装置は、操作部108のシャッタースイッチからSW2なる信号の通知(即ち、シャッタースイッチの全押しの通知)を受けると、本撮影処理を実行する。この本撮影処理では、画像処理回路105は、電子防振の有無によるそれぞれの設定に従った処理を画像データに施し、JPEGなどのフォーマットに変換を行ってから、記録回路107がこの画像データの記録を行う。
次に、電子防振の有無に応じて、歪曲収差補正のパラメータがどう変化するかについて説明する。
図2は電子防振を行わない場合の、歪曲収差補正の様子を模式的に示した図である。撮像光学系101によって画像が樽型に歪む歪曲収差が生じた場合には、図2(A)に示すように、格子状の被写体201のうち、樽型に歪んだ撮像範囲202が撮像素子102上に結像する。
ここで、撮像光学系101に固有の歪曲収差が完全になくなるように補正を行った場合には、平面的な被写体の画像の歪みは低減できるが、立体的な被写体においては広角歪みが目立つようになってしまう。このため、ズーム機能を備えた撮像光学系の画角を広角に設定した場合などのように、歪曲収差の程度が大きい場合には、画像処理回路105は敢えて樽型の歪曲収差を少し残すように歪曲収差補正を行う。このようにすることで、平面的な直線上の形状と広角歪みのどちらも目立ちにくい画像データを生成する。このときの歪曲収差補正のパラメータは、歪曲収差補正によって生じる広角歪みの程度に応じて、予め調整される。画像処理回路105は、図2(B)に示すように、撮像範囲202のうちの補正範囲203が出力画像となるように歪曲収差補正を行い、図2(C)に示すように、樽型の歪曲収差を少し残した画像を歪曲収差補正後の画像データとして出力する。
図3は電子防振を行う場合の、歪曲収差の補正の様子を模式的に示した図である。撮像光学系101によって画像が樽型に歪む歪曲収差が生じた場合には、図3(A)に示すように、格子状の被写体301のうち、樽型に歪んだ撮像範囲302が撮像素子102上に結像する。
電子防振は、撮像装置の手振れなどに起因した画像の振れを低減するために、画像処理回路105で歪曲収差補正を行った後の画像から、動き検出回路110で検出された撮像装置の動き情報に応じた位置で、画像の切り出しを行う。図2(C)に示すように、樽型の歪曲収差を敢えて残した画像データの一部を切り出すと、切り出し位置がシフトすることにより、画像に残る歪曲収差の形状がフレームごとに変化する。そのため、電子防振を用いて動画撮影を行った際に、歪曲収差を残してしまうと、フレーム間の歪曲収差の形状の違いが目立ってしまい、違和感のある画像となってしまう。このため、本実施形態の撮像装置は、電子防振を用いて動画撮影を行う場合には、画像処理回路105は、電子防振を行わない場合に比べて、歪曲収差が残る程度が小さくなるように、歪曲収差補正のパラメータを設定する。例えば、画像処理回路105は、図3(B)に示すように、撮像範囲302のうちの補正範囲303が出力画像となるように歪曲収差補正を行い、図3(C)に示すように、樽型の歪曲収差がほとんど残らない画像を歪曲収差補正後の画像データとして出力する。
図4は、歪曲収差がほとんど残っていない画像から電子防振のための切り出しを行ったことを模式的に示す図である。
図4(A)は画像処理回路105によって、歪曲収差がほとんど残らないように補正された画像データを示す。図4(B)と図4(C)からわかるように、図4(A)に示す画像から位置を変えて画像データの切り出しを行ったとしても、歪曲収差の形態の違いによる違和感をユーザーにほとんど与えずに済むようになる。
さらに、電子防振を行う場合には、画像処理回路105で歪曲収差補正を行った後の画像から出力画像を切り出すので、切り出し位置によっては、歪曲収差補正によって生じた広角歪みが発生した領域が除外されることもある。
このように、本実施形態の画像処理装置においては、電子防振を行う場合は、電子防振を行わない場合に比較して、歪曲収差の補正の程度が強くなるように、歪曲収差補正のパラメータを設定するようにしている。これは言い換えれば、電子防振を行わない場合は、電子防振を行う場合に比較して、歪曲収差補正に起因する広角歪みの程度が小さくなるように、歪曲収差補正のパラメータを設定するようにしていることになる。
このようにすることで、電子防振によって動画のフレーム間の歪曲収差の形状の変化が目立つ場合には、広角歪みよりも歪曲収差の補正を優先することで違和感の少ない動画を生成することが可能となる。反対に、電子防振を行わない場合には、敢えて歪曲収差を残すことで、広角歪みによる違和感の少ない画像を生成することが可能となる。
なお、上述した実施形態では、電子防振の有無によって歪曲収差の補正の程度を変化させたが、これに限られるものではない。動画に対して電子防振を行う場合であっても、記録メディアに記録するための本撮影にて得られた動画に対して歪曲収差の補正を行う場合は、そうではない動画に対して歪曲収差の補正を行う場合よりも、歪曲収差の補正の程度を小さくするようにしてもよい。本撮影にて得られた動画ではない動画とは、本撮影の前に被写体を観察するために生成された動画を指す。これは、保存しない動画に対する歪曲収差の形状の変化による違和感については考慮せずに、保存される動画に対する歪曲収差の形状の変化による違和感のみを考慮するという考え方である。
また、静止画に対して切り出し位置をシフトさせる電子防振を行う必要は低いため、静止画撮影を行う場合は、動画撮影を行う場合に比較して、歪曲収差の補正の程度が強くなるように、歪曲収差補正のパラメータを設定するようにしてもよい。
また、歪曲収差を敢えて少し残すのは、撮像光学系が広角側に設定されているなど、歪曲収差が大きくなる所定の条件が満たされた場合のみでよく、それ以外の場合は電子防振の有無によらずに、歪曲収差の補正の程度を等しくしてもよい。
(第2の実施形態)
次に、本発明に係る撮像装置の第2の実施形態における動作について説明する。
第1の実施形態では、動画に対して電子防振を実行するか否かに応じて、歪曲収差補正に用いるパラメータを異ならせる構成を説明した。これに対し、本実施形態では、複数枚の静止画の合成処理を実行するか否かに応じて、歪曲収差補正に用いるパラメータを異ならせる構成について説明する。なお、本実施形態では、主に第1の実施形態と異なる点について説明を行う。
制御回路109は、操作部108によって予め合成処理を実行するように設定されていた場合、あるいは、適正輝度の画像を得るために必要とされる露光時間が閾値を超えると判断された場合に、静止画の合成処理が必要であると判断する。
制御回路109によって静止画の合成処理が不要と判断された場合は、SW2なる信号の通知を受けると、撮像装置は1回の静止画の撮影を行う。そして、撮影で得られた静止画は、画像処理回路105にて、ホワイトバランスおよび歪曲収差補正の画像処理が行われ、それぞれの画像データが生成される。
反対に、制御回路109によって合成処理が必要と判断された場合は、SW2なる信号の通知を受けると、撮像装置は複数回の静止画の撮影を行う。画像処理回路105は、複数回の撮影により得られた複数の静止画のそれぞれについてホワイトバランスおよび歪曲収差補正を行い、複数の画像データを生成する。そして、制御回路109は、複数の画像データのそれぞれから同一の被写体を検出する。ここでは、例えば、制御回路109は画像データから人物を検出するものとする。そして、画像処理回路105は、同一の被写体(人物)の位置が一致するように複数の画像データの位置を調整し、これらの画像データを合成する。
本実施形態の撮像装置は、画像処理回路105は、合成処理を行う場合には、行わない場合に比べて、歪曲収差が残る程度が小さくなるように、歪曲収差補正のパラメータを設定する。例えば、画像処理回路105は、図3(B)に示すように、撮像範囲302のうちの補正範囲303が出力画像となるように歪曲収差補正を行い、図3(C)に示すように、樽型の歪曲収差がほとんど残らない画像データを生成する。そして、樽型の歪曲収差がほとんど残らない画像データを用いて、複数の画像データのそれぞれから同一の被写体の位置を検出し、同一の被写体の位置が重なるように複数の画像データの合成位置を調整する。
図5は、歪曲収差がほとんど残っていない画像データから、合成処理のための切り出しを行ったことを模式的に示す図である。
図5(A)は画像処理回路105によって、歪曲収差がほとんど残らないように補正された画像データを示す。図5(B)と図5(C)からわかるように、複数の画像データ間で、同一の被写体における歪曲収差の形状が同じになるため、図5(D)のように画像データの合成を行った場合の重ね合わせの誤差を少なくすることができる。
図6は歪曲収差補正および射影変換を行った画像データの合成処理を示す。図6(A)は画像処理回路105によって、歪曲収差がほとんど残らないように補正された画像データを示す。その後、図6(B)と図6(C)のように、撮像装置のあおりにより台形の歪みが生じた画像データに対して射影変換処理を行う場合も、図6(D)と図6(E)のように射影変換後の画像データは台形の歪みが正確に補正される。このため合成処理される画像は図6(F)のように画像データの重ね合わせの誤差を少なくすることができる。
さらに、合成処理を行う場合には、それぞれの画像において、他の画像と重複しない領域を削除する。つまり、他の画像と重畳する領域のみが切り出されることになる。画像の周辺部は広角歪みの程度が大きくなりやすいが、合成処理の際に他の画像と重畳せずに削除される可能性が高いため、広角歪みが目立たない画像が生成される可能性が高い。
このように、本実施形態の画像処理装置においては、合成処理を行う場合は、合成処理を行わない場合に比較して、歪曲収差の補正の程度が強くなるように、歪曲収差補正のパラメータを設定するようにしている。これは言い換えれば、合成処理を行わない場合は、合成処理を行う場合に比較して、歪曲収差補正に起因する広角歪みの程度が小さくなるように、歪曲収差補正のパラメータを設定するようにしていることになる。
このようにすることで、合成処理を行う場合には、広角歪みよりも歪曲収差の補正を優先することで画像の重ね合わせ誤差の少ない画像データを生成することが可能となる。反対に、合成処理を行わない場合には、敢えて歪曲収差を残すことで、広角歪みによる違和感の少ない画像を生成することが可能となる。
なお、複数の画像間で同一の被写体の検出ができなかった場合や、複数の画像間で同一の被写体の位置が閾値よりも離れている場合などは、画像データの合成処理を行わないと判断してもよい。画像の合成処理を行わない場合には、画像の重ね合わせの誤差の発生はないため、広角歪みを低減することを優先する処理となる。
また、複数の画像に対して合成処理を実行した後に、広角歪みを低減するために、敢えて歪曲収差を付加する補正を行っても良い。このような処理により画像データの合成による重ね合わせ誤差を少なくし、広角歪も低減することができる。
また、歪曲収差を敢えて付加するのは、撮像光学系が広角側に設定されているなど、歪曲収差が大きくなる所定の条件が満たされた場合のみでよく、それ以外の場合は電子防振の有無によらずに、歪曲収差の補正の程度を等しくしてもよい。
以上、本発明の撮影時及び再生時における実施形態について説明したが、本発明はこれらの実施形態に限定されず、それぞれ説明された構成を組み合わせる等、種々の変形および変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
101 撮像光学系
102 撮像素子
103 A/Dコンバータ
104 一時メモリ
105 画像処理回路
106 モニター
107 記録回路
108 操作部
109 制御回路
110 動き検出回路

Claims (13)

  1. 撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、
    前記画像データが生成されたときの撮像手段の動きに基づいて、前記画像データから一部の画像データを切り出す電子防振処理を行う電子防振手段を有し、
    前記歪曲収差補正手段は、前記電子防振処理を行わない場合には、前記電子防振処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理装置。
  2. 前記電子防振手段は、前記歪曲収差補正手段によって歪曲収差の補正が行われた画像データから、前記一部の画像データを切り出すことを特徴とする請求項に記載の画像処理装置。
  3. 前記歪曲収差補正手段は、前記撮像光学系が所定の条件を満たす場合は、前記電子防振処理を行わない場合と前記電子防振処理を行う場合とで、歪曲収差の補正の程度を等しくすることを特徴とする請求項1または2に記載の画像処理装置。
  4. 撮像光学系による歪曲収差が生じた複数の画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、
    前記複数の画像データのそれぞれに含まれる被写体の位置に基づいて、前記複数の画像データの位置を調整して合成する合成処理を行う合成手段を有し、
    前記歪曲収差補正手段は、前記合成処理を行わない場合には、前記合成処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理装置。
  5. 前記合成手段は、前記歪曲収差補正手段によって歪曲収差の補正が行われた複数の画像データを合成することを特徴とする請求項に記載の画像処理装置。
  6. 前記歪曲収差補正手段によって歪曲収差の補正が行われた画像に対して、あおりの補正を行うための射影変換処理を行う射影変換手段を有し、
    前記合成手段は、前記射影変換手段によってあおりの補正が行われた複数の画像データを合成することを特徴とする請求項に記載の画像処理装置。
  7. 前記合成手段によって合成された画像データに対して、歪曲収差を付加する付加手段を有することを特徴とする請求項に記載の画像処理装置。
  8. 撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正手段と、
    前記画像データから一部の画像データを切り出す処理を行う切り出し手段を有し、
    前記歪曲収差補正手段は、前記一部の画像データを切り出す処理を行わない場合には、前記一部の画像データを切り出す処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理装置。
  9. 複数の画像データを合成する合成手段を有し、
    前記切り出し手段は、前記合成手段によって合成された複数の画像データのそれぞれにおいて、他の画像データと重畳する領域を含むように、前記一部の画像データを切り出す処理を行うことを特徴とする請求項に記載の画像処理装置。
  10. 撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正工程と、
    前記画像データが生成されたときの撮像手段の動きに基づいて、前記画像データから一部の画像データを切り出す電子防振処理を行う電子防振工程を有し、
    前記歪曲収差補正工程において、前記電子防振処理を行わない場合には、前記電子防振処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理方法。
  11. 撮像光学系による歪曲収差が生じた複数の画像データに対して、歪曲収差の補正を行う歪曲収差補正工程と、
    前記複数の画像データのそれぞれに含まれる被写体の位置に基づいて、前記複数の画像データの位置を調整して合成する合成処理を行う合成工程を有し、
    前記歪曲収差補正工程において、前記合成処理を行わない場合には、前記合成処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理方法。
  12. 撮像光学系による歪曲収差が生じた画像データに対して、歪曲収差の補正を行う歪曲収差補正工程と、
    前記画像データから一部の画像データを切り出す処理を行う切り出し工程を有し、
    前記歪曲収差補正工程において、前記一部の画像データを切り出す処理を行わない場合には、前記一部の画像データを切り出す処理を行う場合よりも、歪曲収差の補正の程度を小さくすることを特徴とする画像処理方法。
  13. 画像処理装置のコンピュータに、請求項10乃至12のいずれか1項に記載された画像処理方法の各ステップを実行させるためのプログラム。
JP2014045624A 2013-04-15 2014-03-07 画像処理装置および画像処理方法 Active JP5762587B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014045624A JP5762587B2 (ja) 2013-04-15 2014-03-07 画像処理装置および画像処理方法
US14/249,216 US9560277B2 (en) 2013-04-15 2014-04-09 Image processing apparatus and image processing method
CN201410150677.3A CN104113703B (zh) 2013-04-15 2014-04-15 图像处理装置及图像处理方法
US15/266,964 US9607361B2 (en) 2013-04-15 2016-09-15 Image processing apparatus and image processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013085106 2013-04-15
JP2013085106 2013-04-15
JP2014045624A JP5762587B2 (ja) 2013-04-15 2014-03-07 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2014225864A JP2014225864A (ja) 2014-12-04
JP5762587B2 true JP5762587B2 (ja) 2015-08-12

Family

ID=51686544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014045624A Active JP5762587B2 (ja) 2013-04-15 2014-03-07 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (2) US9560277B2 (ja)
JP (1) JP5762587B2 (ja)
CN (1) CN104113703B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6047008B2 (ja) * 2012-12-25 2016-12-21 キヤノン株式会社 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法
JP6395156B2 (ja) * 2015-01-16 2018-09-26 オリンパス株式会社 撮像装置及び撮像方法
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
JP6727791B2 (ja) * 2015-11-05 2020-07-22 キヤノン株式会社 追尾制御装置および追尾制御方法、撮像装置
US9986169B2 (en) * 2016-02-04 2018-05-29 KARL STORZ, Imaging, Inc. Exposure control method and system for an image capture device
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
JP6885133B2 (ja) * 2017-03-23 2021-06-09 カシオ計算機株式会社 画像処理装置、撮像システム、画像処理方法及びプログラム
DE102018107950A1 (de) * 2017-04-18 2018-10-18 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
TWI663421B (zh) * 2018-02-01 2019-06-21 大陸商江西聯創電子有限公司 廣角鏡頭的畸變矯正方法、裝置及系統
CN108492246B (zh) * 2018-03-12 2023-01-24 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN108492287B (zh) * 2018-03-14 2020-06-02 罗普特(厦门)科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN108259759A (zh) 2018-03-20 2018-07-06 北京小米移动软件有限公司 对焦方法、装置及存储介质
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
JP2021097402A (ja) * 2019-12-12 2021-06-24 キヤノン株式会社 画像処理装置および撮像装置
US11727545B2 (en) 2019-12-12 2023-08-15 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus
CN111093031B (zh) * 2019-12-31 2021-06-15 维沃移动通信有限公司 图像生成方法及电子设备
CN115136579B (zh) * 2020-02-27 2023-08-04 株式会社富士 图像校正方法、拍摄装置及检查装置
CN112333385B (zh) * 2020-10-28 2022-02-22 维沃移动通信有限公司 电子防抖控制方法及装置
WO2023135726A1 (ja) * 2022-01-14 2023-07-20 日本電気株式会社 情報処理装置、情報処理方法、及びコンピュータ可読媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679693B2 (ja) * 2000-07-31 2005-08-03 三洋電機株式会社 オートフォーカスカメラ
JP2005252626A (ja) 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP4418317B2 (ja) * 2004-07-21 2010-02-17 オリンパス株式会社 撮像装置
JP2006140971A (ja) * 2004-11-15 2006-06-01 Canon Inc 画像処理装置及び画像処理方法
JP4567593B2 (ja) 2005-12-27 2010-10-20 三星デジタルイメージング株式会社 撮像装置および撮影方法
US9736346B2 (en) * 2006-05-09 2017-08-15 Stereo Display, Inc Imaging system improving image resolution of the system with low resolution image sensor
JP5253020B2 (ja) 2008-07-04 2013-07-31 キヤノン株式会社 像振れ補正装置およびその制御方法
JP5124372B2 (ja) * 2008-07-10 2013-01-23 株式会社リコー 画像処理装置、画像処理方法およびデジタルスチルカメラ
JP5487722B2 (ja) 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP5511324B2 (ja) * 2009-11-17 2014-06-04 キヤノン株式会社 補償光学装置、補償光学方法、撮像装置、撮像方法

Also Published As

Publication number Publication date
US20170004600A1 (en) 2017-01-05
US20140307111A1 (en) 2014-10-16
US9607361B2 (en) 2017-03-28
US9560277B2 (en) 2017-01-31
CN104113703B (zh) 2017-07-28
CN104113703A (zh) 2014-10-22
JP2014225864A (ja) 2014-12-04

Similar Documents

Publication Publication Date Title
JP5762587B2 (ja) 画像処理装置および画像処理方法
US7450155B2 (en) Image capturing apparatus
JP4757085B2 (ja) 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP2004242113A (ja) 画像記録再生装置、画像撮影装置及び色収差補正方法
JP2007116309A (ja) 画像情報再生装置
JP2015007750A (ja) 光学機器、その制御方法、および制御プログラム
JP2008236645A (ja) 撮影装置
US10447944B2 (en) Imaging apparatus, control method thereof and program
JP6652300B2 (ja) 画像処理装置、撮像装置および制御方法
JP2007104248A (ja) 電子カメラおよびプログラム
JP2013138413A (ja) 撮像装置
JP2012119804A (ja) 画像記録装置
WO2017104102A1 (ja) 撮像装置
JP2016050973A (ja) 撮像装置及びその制御方法
JP2013104921A (ja) 撮像装置、撮像システム、撮像装置の制御方法
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
RU2761187C1 (ru) Устройство обработки изображения и устройство захвата изображения
JPWO2011129036A1 (ja) 撮像装置および集積回路
JP5760654B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5621265B2 (ja) 手ぶれ補正装置、撮像処理方法及びプログラム
JP2010200178A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP6289070B2 (ja) 撮像装置およびその制御方法
US10425614B2 (en) Moving image reproduction apparatus having function of correcting camera shake during moving image reproduction, method of controlling the same, and storage medium
JP5455485B2 (ja) 撮像装置
WO2014136703A1 (ja) 撮像装置及び画像表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150609

R151 Written notification of patent or utility model registration

Ref document number: 5762587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151