JP6421955B2 - 撮像装置および撮像画像の揺れ補正方法 - Google Patents
撮像装置および撮像画像の揺れ補正方法 Download PDFInfo
- Publication number
- JP6421955B2 JP6421955B2 JP2017037327A JP2017037327A JP6421955B2 JP 6421955 B2 JP6421955 B2 JP 6421955B2 JP 2017037327 A JP2017037327 A JP 2017037327A JP 2017037327 A JP2017037327 A JP 2017037327A JP 6421955 B2 JP6421955 B2 JP 6421955B2
- Authority
- JP
- Japan
- Prior art keywords
- correction amount
- image
- primary
- shake
- primary correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
本発明は、撮像装置および撮像画像の揺れ補正方法に関し、より詳細には、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置および該撮像装置により撮像された撮像画像の揺れ補正方法に関する。
従来、監視カメラが揺れたときに生じる撮像画像の画像揺れを補正することを目的として、振動検出手段(振動センサ)により監視カメラの揺れを検出し、検出された揺れ成分の解析結果に応じて、撮像画像の揺れ補正を行う揺れ補正手段に対して揺れ補正モードを指示するように構成した技術が知られている(特許文献1)。
また、監視カメラにより対象エリアを所定タイミング毎に撮影した撮像のカメラ揺れを補正することを目的として、前記画像の2フレームの一方を基準画像、他方を処理画像とし、基準画像から作成したテンプレートパターンを用いて前記処理画像のパターンマッチングを行い、カメラ揺れによる画像ずれ(画像揺れ)の規則性を利用して特定のマッチング領域を選択し、その移動ベクトルからカメラ揺れ量を算出して画像ずれを補正するように構成した技術が知られている(特許文献2)。
しかしながら、上記の特許文献1の技術では、拡大ズーム撮像を行っている場合は、監視カメラの揺れ量が小さくても撮像画像の画像揺れは大きくなるため、撮像画像の画像揺れを補正することができなかった。また、上記の特許文献2の技術では、例えば夜間等の照度の低い撮像画像での撮像により撮像画像の明るさが低い場合は、処理画像におけるパターンマッチングが困難になるため、撮像画像の画像揺れを補正することができなかった。すなわち、従来は、撮像条件によっては、撮像画像の画像揺れの補正を行うことはできなかった。
本開示は、このような従来技術の課題を鑑みて案出されたものであり、撮像条件に応じて撮像画像の画像揺れの補正を行うことができる撮像装置および撮像画像の揺れ補正方法を提供することを主目的とする。
本開示の撮像装置は、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、該撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための1次補正量を算出する1次補正量算出部と、現フレーム画像とその1つ前の前フレーム画像に対して、前記1次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための2次補正量を算出する2次補正量算出部と、撮像条件および前記1次補正量の少なくとも一方に基づき、前記1次補正量および前記2次補正量の少なくとも一方を選択する補正量選択部と、前記補正量選択部で選択された前記1次補正量および前記2次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施す画像変換部と、を備え、前記補正量選択部により前記1次補正量および前記2次補正量が選択された場合に、前記1次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記2次補正量に基づく幾何学的変換を施すことを特徴とする。
本開示によれば、撮像装置の撮像条件や物理的揺れ量により、1次補正量および2次補正量が選択された場合に、1次補正量に基づく幾何学的変換が施された現フレーム画像に対して、2次補正量に基づく幾何学的変換を施すので、大きな画像揺れが補正された1次補正画像に小さな揺れがさらに補正された2次補正画像を生成することが可能となる。
上記課題を解決するためになされた第1の発明は、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、該撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための1次補正量を算出する1次補正量算出部と、現フレーム画像とその1つ前の前フレーム画像に対して、前記1次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための2次補正量を算出する2次補正量算出部と、撮像条件および前記1次補正量の少なくとも一方に基づき、前記1次補正量および前記2次補正量の少なくとも一方を選択する補正量選択部と、前記補正量選択部で選択された前記1次補正量および前記2次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施す画像変換部と、を備え、前記補正量選択部により前記1次補正量および前記2次補正量が選択された場合に、前記1次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記2次補正量に基づく幾何学的変換を施すことを特徴とする。
この第1の発明に係る撮像装置によれば、撮像装置の撮像条件や物理的揺れ量により、1次補正量および2次補正量が選択された場合に、1次補正量に基づく幾何学的変換が施された現フレーム画像に対して、2次補正量に基づく幾何学的変換を施すので、大きな画像揺れが補正された1次補正画像に小さな揺れがさらに補正された2次補正画像を生成することが可能となる。
また、第2の発明は、上記第1の発明において、前記2次補正量算出部は、現フレーム画像の縮小画像と、前フレーム画像の縮小画像とを用いて前記2次補正量を算出することを特徴とする。
この第2の発明に係る撮像装置によれば、画面サイズの小さい縮小画像を使用することにより、2次補正量を算出する処理を迅速に行うことが可能となる。
また、第3の発明は、上記第1の発明または第2の発明において、前記補正量選択部は、前記1次補正量が予め定められた閾値以上である場合には、前記1次補正量のみを選択することを特徴とする。
この第3の発明に係る撮像装置によれば、撮像装置の揺れ量が大きい場合に、大きな揺れの補正に適する1次補正量のみを用い、大きな揺れの補正に適さない2次補正量を用いないようにすることができる。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。
また、第4の発明は、上記第1の発明から第3の発明のいずれかにおいて、前記撮像条件が、パン動作、チルト動作、およびズーム動作のオン・オフ、ならびに前記撮像画像の明るさのうちの少なくとも1つを含むことを特徴とする。
この第4の発明に係る撮像装置によれば、パン動作、チルト動作、およびズーム動作のオン・オフや撮像画像の明るさに基づき現フレーム画像の画像揺れの補正に用いる補正量を選択することができ。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。
また、第5の発明は、上記第4の発明において、前記補正量選択部は、パン動作、チルト動作、およびズーム動作がオフである場合には、少なくとも前記1次補正量を選択することを特徴とする。
この第5の発明に係る撮像装置によれば、1次補正量を用いた揺れ補正に適する撮像条件である、パン動作、チルト動作、およびズーム動作がオフである場合に、1次補正量を用いて撮像画像の揺れ補正を行うことができる。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。
また、第6の発明は、上記第4の発明において、前記補正量選択部は、前記撮像画像の明るさが予め定められた閾値以上である場合には、少なくとも前記2次補正量を選択することを特徴とする。
この第6の発明に係る撮像装置によれば、2次補正量を用いた画像揺れの補正に適する撮像条件である、撮像画像の明るさが高い場合に、2次補正量を用いて撮像画像の揺れ補正を行うことができる。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。
また、第7の発明は、撮像素子により時系列的に取得した複数のフレーム画像からなる撮像画像の揺れ補正方法であって、撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための1次補正量を算出するステップと、現フレーム画像とその1つ前の前フレーム画像に対して、前記1次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための2次補正量を算出するステップと、撮像条件および前記1次補正量の少なくとも一方に基づき、前記1次補正量および前記2次補正量の少なくとも一方を選択するステップと、選択された前記1次補正量および前記2次補正量の少なくとも一方に基づき前記現フレーム画像に対して幾何学的変換を施すステップと、を有し、前記選択するステップにより前記1次補正量および前記2次補正量が選択された場合に、前記1次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記2次補正量に基づく幾何学的変換を施すことを特徴とする。
この第7の発明に係る撮像画像の揺れ補正方法によれば、撮像装置の撮像条件や物理的揺れ量により、1次補正量および2次補正量が選択された場合に、1次補正量に基づく幾何学的変換が施された現フレーム画像に対して、2次補正量に基づく幾何学的変換を施すので、大きな画像揺れが補正された1次補正画像に小さな揺れがさらに補正された2次補正画像を生成することが可能となる。
以下、本開示の実施形態について、図面を参照しながら説明する。
本実施形態では、本開示に係る撮像装置1を監視カメラとして使用する場合について説明する。撮像装置1は、例えば電柱やポール等に取り付けられる。したがって、地震、風、交通振動等により電柱やポールが揺れた場合は、撮像装置1も揺れるため、撮像装置1により撮像された撮像画像に画像揺れが生じることとなる。
図1は、本開示に係る撮像装置1の概略構成図である。撮像装置1は、ネットワーク3を介して、監視本部等に設置されたモニタ装置2(監視端末)に接続されている。撮像装置1は、ズームレンズを含むレンズ系11と、イメージセンサ12と、カメラ信号処理部13と、角速度センサ14と、1次補正量算出部15と、ネットワークインターフェース(I/F)17と、制御部17と、パン・チルト制御部18と、照度センサ19と、揺れ補正部20とを備えている。なお、この制御部17は、プロセッサで構成することができ、揺れ補正部20等は、図示しない記憶部に記憶されたプログラムを図示しないプロセッサで実行することにより実現される。
ズームレンズを含むレンズ系11は、被写体からの撮像光を集光し、イメージセンサ12の撮像面に結像させて被写体像を形成する。イメージセンサ12は、CMOS(Complementary Metal Oxide Semiconductor)であり、所定のフレーム周期(撮像周期)で、その撮像面に結像した被写体像を電気信号に変換する。カメラ信号処理部13は、イメージセンサ12で生成された画像信号に対して各種の信号処理を施し、フレーム画像(画像データ)を生成する。
角速度センサ14は、撮像装置1の角度が単位時間当たりどれだけ変化しているか、すなわち、物理的揺れ量を検出する。具体的には、撮像装置1の左右方向(パン方向)の回転角速度と、撮像装置1の上下方向(チルト方向)の回転角速度とをそれぞれ検出する。1次補正量算出部15は、角速度センサ14で検出された回転角速度に基づき、現時点のフレーム(以降、「現フレーム」と称する)の画像揺れを補正するための補正量(以降、「1次補正量」と称する)を算出する。また、1次補正量算出部15は、同様にして、現フレームの1つ前のフレーム(以降、「前フレーム」と称する)の画像揺れを補正するための補正量(すなわち1次補正量)を算出する。
図2は、回転角速度と1次補正量との関係を説明するための図である。1次補正量算出部15は、現フレーム(フレームN)と前フレーム(フレームN−1)との間での、フレーム画像中の被写体の左右方向(x方向)および上下方向(y方向)の平均移動量(Δx、Δy)を求める。平均移動量(Δx、Δy)は、角速度センサ14の回転角速度を、従来公知の手法を用いて被写体のx方向およびy方向の変位量に換算することにより求めることができる。求められた平均移動量(Δx、Δy)が、現フレーム(フレームN)の画像揺れを補正するための1次補正量「Δx(N)、Δy(N)」となる。
また、1次補正量算出部15は、同様にして、前フレーム(フレームN−1)と、その1つ前のフレーム(フレームN−2)との間での、フレーム画像中の被写体の平均移動量(Δx、Δy)を求める。求められた平均移動量(Δx、Δy)が、前フレーム(N―1)の画像揺れを補正するための1次補正量「Δx(N−1)、Δy(N−1)」となる。1次補正量算出部15で算出された1次補正量は揺れ補正部20に入力される。
ネットワークI/F16は、撮像装置1をネットワーク3に接続するためのものである。ネットワークI/F16は、ネットワーク3を介してモニタ装置2から、撮像画像の揺れ補正を指示する命令や、ズーム動作、パン動作、およびチルト動作の各動作を指示する命令を受信する。ネットワークI/F16がモニタ装置2から受信した各命令は、制御部17に入力される。また、ネットワークI/F16は、揺れ補正部20で生成された後述する揺れ補正画像43(図3参照)を、ネットワーク3を介してモニタ装置2に送信する。
制御部17は、撮像画像の揺れ補正、ズーム動作、パン動作、およびチルト動作を含む撮像装置1の各処理を統括して制御するためのものであり、不図示のROM(Read only memory)に予め記憶された制御プログラムおよびネットワークI/F16から入力された各命令に基づき撮像装置1の各処理を制御する。制御部17は、パン・チルト制御部18を制御することにより、不図示のパン・チルト機構のパン動作およびチルト動作を制御する。また、制御部17は、不図示のズームレンズ制御部を制御することにより、レンズ系11に含まれるズームレンズのズーム動作を制御する。
照度センサ19は、撮像時の撮像装置1の周囲の明るさ(照度)を検出するためのものである。照度センサ19での検出結果は、揺れ補正部20に入力される。
揺れ補正部20は、現フレームのフレーム画像と前フレームのフレーム画像との間での被写体の変位量を補正するための補正量(以降、「2次補正量」と称する)を算出する2次補正量算出部21と、撮像条件および1次補正量の少なくとも一方に基づき、1次補正量および2次補正量の少なくとも一方を選択する補正量選択部22と、補正量選択部22で1次補正量および2次補正量の少なくとも一方が選択された場合に、その選択された1次補正量および2次補正量の少なくとも一方に基づき現フレームのフレーム画像に対して幾何学的変換を施すことにより画像揺れを補正する画像変換部23とを有している。
撮像条件は、例えば、撮像時のパン動作、チルト動作、およびズーム動作のオン・オフや、撮像画像の明るさ等を含む。撮像画像の明るさは、照度センサ19での検出結果に基づき求めることができる。なお、撮像画像の明るさは、照度センサ19を用いず、イメージセンサ12で取得した撮像画像の輝度に基づき求めるようにしてもよい。
図3は、揺れ補正部20での処理を示す図であり、図4および図5は、2次補正量算出部21での2次補正量の算出を説明するための図である。図4中の符号VDは、各フレーム画像の垂直同期信号である。
まず、2次補正量算出部21は、カメラ信号処理部13から現フレーム(フレームN)と前フレーム(フレームN−1)のフレーム画像(画像データ)を取得する。そして、各フレームのフレーム画像を予め定められた割合で縮小して、縮小画像31、32を生成する。具体的には、図4に示すように、現フレーム(フレームN)のフレーム画像からその縮小画像31を生成し、前フレーム(フレームN−1)のフレーム画像からその縮小画像32を生成する。
続いて、2次補正量算出部21は、1次補正量算出部15から、現フレーム(フレームN)の1次補正量「Δx(N)、Δy(N)」と、前フレーム(フレームN−1)の1次補正量「Δx(N−1)、Δy(N−1)」を取得する。そして、取得した1次補正量に基づき、現フレーム(フレームN)の縮小画像31と、前フレーム(フレームN−1)の縮小画像32とに対して幾何学的変換を施す。以降、幾何学的変換後の画像を変換画像と称する。
具体的には、図4に示すように、現フレーム(フレームN)の縮小画像31を幾何学的変換することにより変換画像41を生成し、前フレーム(フレームN−1)の縮小画像32を幾何学的変換することにより変換画像42を生成する。本実施形態では、画面サイズの小さい縮小画像31、32を使用するので、縮小画像31、32を使用しない場合と比べて、幾何学的変換処理を高速に行うことができる。なお、この幾何学的変換において、処理速度が問題なく、メモリも十分確保できる場合は、縮小画像を用いなくてもよい。
次に、2次補正量算出部21は、現フレーム(フレームN)の変換画像41と、前フレーム(フレームN−1)の変換画像42とに対して、従来公知のテンプレートマッチング法を用いた画像探索を行うことにより、現フレーム(フレームN)と前フレーム(フレームN−1)との間での被写体の変位量、すなわち、探索揺れ量を求める。
図5は、2次補正量算出部21での画像探索を説明するための図である。図5に示すように、変換画像41、42上に所定サイズの枠を有するテンプレート51を配置し、そのテンプレート51を水平方向(x方向)および垂直方向(y方向)に細かく移動させて画像探索を行うことにより、現フレーム(フレームN)と前フレーム(フレームN−1)との間での探索揺れ量を求めることができる。本実施形態では、縮小画像31、31から生成した変換画像41、42に対して画像探索を行うので、縮小画像31、32を使用しない場合と比べて画像探索の処理を高速に行うことができる。
そして、画像探索により求めた探索揺れ量に対して、従来公知の積分処理・センタリング処理を施すことにより、その探索揺れ量を補正するための補正量(すなわち2次補正量)を算出する。
図6は、補正量選択部22での処理を説明するためのフロー図である。補正量選択部22は、パン動作、チルト動作、およびズーム動作のオン・オフ、撮像画像の明るさ、ならびに1次補正量の大きさの少なくとも1つに基づき、1次補正量のみを選択するか、1次補正量および2次補正量の両方を選択するか、または、撮像画像の揺れ補正を行わないことを選択する。また、図6のフロー図には示されていないが、補正量選択部22は、2次補正量のみを選択することもできる。2次補正量のみの選択は、1次補正量が小さく1次補正量に基づく揺れ補正の効果が小さい場合に有効である。
まず、ステップST101では、撮像装置1で撮像画像の画像揺れの補正操作を行うか否かを判定する。この判定は、制御部17から入力される撮像画像の揺れ補正を指示する命令の有無に基づき行われる。画像揺れの補正操作を行うと判定された場合(ステップST101:Yes)は、ステップST102に進み、画像揺れの補正操作を行わないと判定された場合(ステップST101:No)はステップST103に進む。
ステップST102では、パン動作、チルト動作、およびズーム動作(以降、「PTZ動作」と称する)のいずれかの操作がオンであるか否かを判定する。この判定は、制御部17から入力されるPTZ動作を指示する命令の有無に基づき行われる。PTZのいずれかの操作がオンであると判定された場合(ステップST102:Yes)は、ステップST103に進み、PTZのいずれかの操作がオンではないと判定された場合(ステップST102:No)はステップST104に進む。
ステップST103では、撮像画像の揺れ補正を行わないことを選択する。すなわち、1次補正量および2次補正量のいずれも選択されない。
ステップST104では、1次補正量算出部15で算出された1次補正量が予め定められた閾値(基準値)以上であるか否かを判定する。1次補正量が閾値以上であると判定された場合(ステップST104:Yes)は、ステップST105に進み、1次補正量が閾値以上ではないと判定された場合(ステップST104:No)は、ステップST106に進む。
ステップST106では、撮像画像の明るさが予め定められた閾値(基準値)以上であるか否かを判定する。撮像画像の明るさは、照度センサ19での検出結果に基づき求めるか、または撮像画像の輝度に基づき求める。撮像画像の明るさが閾値以上であると判定された場合(ステップST106:Yes)は、ステップST107に進み、撮像画像の明るさが閾値以上ではないと判定された場合(ステップST104:No)はステップST105に進む。
ステップST105では、1次補正量のみを選択し、2次補正量は選択しない。
ステップST107では、1次補正量および2次補正量の両方を選択する。
このように、補正量選択部22は、PTZ操作のオン・オフ、撮像画像の明るさ、および1次補正量の大きさに基づいて、1次補正量のみを選択するか、1次補正量および2次補正量の両方を選択するか、または、撮像画像の揺れ補正を行わないことを選択することができる。PTZ操作中は、撮像画像の撮像角度や撮像倍率が変化し、撮像画像の画像揺れの補正に適さないので、撮像画像の揺れ補正を行わない。また、1次補正量が大きい場合、すなわち撮像装置1の揺れ量が大きい場合は、2次補正量に基づく揺れ補正の効果が小さいため、1次補正量のみを選択し、2次補正量は選択しない。また、撮像画像の明るさが低い場合は、テンプレートマッチング法を用いた画像探索が困難であるため、2次補正量は選択しない。
図7は、画像変換部23での幾何学的変換処理を説明するための図である。補正量選択部22で1次補正量が選択された場合は、図7(a)に示すように、1次補正量に基づき現フレーム(フレームN)のフレーム画像に対して幾何学的変換を施すことにより、画像揺れが補正された揺れ補正画像43を生成する。また、補正量選択部22で2次補正量が選択された場合は、図7(b)に示すように、2次補正量に基づき現フレーム(フレームN)のフレーム画像に対して幾何学的変換を施すことにより、画像揺れが補正された揺れ補正画像43を生成する。
また、補正量選択部22で1次補正量および2次補正量の両方が選択された場合は、図7(c)に示すように、1次補正量に基づき現フレーム(フレームN)のフレーム画像に対して幾何学的変換を施して大きな画像揺れが補正された1次補正画像44を生成した後、その1次補正画像44に対して2次補正量に基づき幾何学的変換を施すことにより、小さな画像揺れがさらに補正された2次補正画像45を生成する。この2次補正画像45が揺れ補正画像43となる。
なお、実際は、ローリングシャッタ歪みを補正するために、フレーム画面(フレーム画像)を複数の領域に分割し、分割した複数の領域に対してそれぞれ幾何学的変換を施している。図8は、フレーム画面を5つの領域に分割した例を示す図である。図8に示すように、フレーム画面は、画面上端露光期間、画面上端・中央間露光期間、画面中央露光期間、画面中央・下端露光期間、画面下端露光期間の各露光期間に対応する、画面TOP61、画面T−C中間62、画面CENTER63、画面C−B中間64、画面BOTTOM65の5つの領域に分割されている。そして、各領域61−65に対してそれぞれ幾何学的変換を施す。
図9は、家屋の撮像画像の画像揺れを、1次補正量および2次補正量の両方を用いて補正した例を示す図である。図9に示すように、まず、撮像画像である元画像71に対して1次補正量に基づく揺れ補正(1次補正)を行うことにより、1次補正画像72を生成する。この1次補正により、撮像装置1の大きな揺れや、それに伴うローリングシャッタ歪みに起因する撮像画像の大きな画像揺れを補正することができる。なお、この1次補正は、夜間等の照度が低い撮像環境下で撮像する場合でも有効である。
そして、1次補正画像72に対して2次補正量に基づく揺れ補正(2次補正)を行うことにより、2次補正画像73を生成する。この2次補正により、1次補正で除去することができなかった1次補正画像72の微細な画像揺れを補正することができる。なお、このような2次補正は、拡大ズーム動作を行った場合の画像揺れの補正に有効である。拡大ズーム動作を行った場合は、撮像装置1の揺れ量(すなわち1次補正量)が小さくても、撮像画像の画像揺れが大きい場合があるからである。
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る撮像装置および撮像画像の揺れ補正方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本開示に係る撮像装置および撮像画像の揺れ補正方法は、撮像条件に応じて撮像画像の画像揺れの補正を行うことができる撮像装置および撮像画像の揺れ補正方法として有用である。
1 撮像装置
2 ネットワーク
3 モニタ装置
11 レンズ系
12 イメージセンサ
13 カメラ信号処理部
14 角速度センサ
15 1次補正量算出部
16 ネットワークインターフェース(I/F)
17 制御部
18 パン・チルト制御部
19 照度センサ
20 揺れ補正部
21 2次補正量算出部
22 補正量選択部
23 画像変換部
2 ネットワーク
3 モニタ装置
11 レンズ系
12 イメージセンサ
13 カメラ信号処理部
14 角速度センサ
15 1次補正量算出部
16 ネットワークインターフェース(I/F)
17 制御部
18 パン・チルト制御部
19 照度センサ
20 揺れ補正部
21 2次補正量算出部
22 補正量選択部
23 画像変換部
Claims (7)
- 撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、
該撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための1次補正量を算出する1次補正量算出部と、
現フレーム画像とその1つ前の前フレーム画像に対して、前記1次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための2次補正量を算出する2次補正量算出部と、
撮像条件および前記1次補正量の少なくとも一方に基づき、前記1次補正量および前記2次補正量の少なくとも一方を選択する補正量選択部と、
前記補正量選択部で選択された前記1次補正量および前記2次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施す画像変換部と、を備え、
前記補正量選択部により前記1次補正量および前記2次補正量が選択された場合に、前記1次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記2次補正量に基づく幾何学的変換を施すことを特徴とする撮像装置。 - 前記2次補正量算出部は、現フレーム画像の縮小画像と、前フレーム画像の縮小画像とを用いて前記2次補正量を算出することを特徴とする請求項1に記載の撮像装置。
- 前記補正量選択部は、前記1次補正量が予め定められた閾値以上である場合には、前記1次補正量のみを選択することを特徴とする請求項1または請求項2に記載の撮像装置。
- 前記撮像条件が、パン動作、チルト動作、およびズーム動作のオン・オフ、ならびに前記撮像画像の明るさのうちの少なくとも1つを含むことを特徴とする請求項1から請求項3のいずれかに記載の撮像装置。
- 前記補正量選択部は、パン動作、チルト動作、およびズーム動作がオフである場合には、少なくとも前記1次補正量を選択することを特徴とする請求項4に記載の撮像装置。
- 前記補正量選択部は、前記撮像画像の明るさが予め定められた閾値以上である場合には、少なくとも前記2次補正量を選択することを特徴とする請求項4または請求項5に記載の撮像装置。
- 撮像素子により時系列的に取得した複数のフレーム画像からなる撮像画像の揺れ補正方法であって、
撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための1次補正量を算出するステップと、
現フレーム画像とその1つ前の前フレーム画像に対して、前記1次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための2次補正量を算出するステップと、
撮像条件および前記1次補正量の少なくとも一方に基づき、前記1次補正量および前記2次補正量の少なくとも一方を選択するステップと、
選択された前記1次補正量および前記2次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施すステップと、を有し、
前記選択するステップにより前記1次補正量および前記2次補正量が選択された場合に、前記1次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記2次補正量に基づく幾何学的変換を施すことを特徴とする撮像画像の揺れ補正方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037327A JP6421955B2 (ja) | 2017-02-28 | 2017-02-28 | 撮像装置および撮像画像の揺れ補正方法 |
PCT/JP2018/001115 WO2018159122A1 (ja) | 2017-02-28 | 2018-01-17 | 撮像装置および撮像画像の揺れ補正方法 |
US16/486,377 US10863092B2 (en) | 2017-02-28 | 2018-01-17 | Imaging device and method for correcting shake of captured image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037327A JP6421955B2 (ja) | 2017-02-28 | 2017-02-28 | 撮像装置および撮像画像の揺れ補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142911A JP2018142911A (ja) | 2018-09-13 |
JP6421955B2 true JP6421955B2 (ja) | 2018-11-14 |
Family
ID=63371354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017037327A Active JP6421955B2 (ja) | 2017-02-28 | 2017-02-28 | 撮像装置および撮像画像の揺れ補正方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10863092B2 (ja) |
JP (1) | JP6421955B2 (ja) |
WO (1) | WO2018159122A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112492223B (zh) * | 2019-07-23 | 2023-05-12 | 影石创新科技股份有限公司 | 一种相机镜头平滑处理方法、装置及便携式终端 |
US11900521B2 (en) * | 2020-08-17 | 2024-02-13 | LiquidView Corp | Virtual window apparatus and system |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08275049A (ja) * | 1995-03-31 | 1996-10-18 | Hitachi Ltd | 撮像装置 |
JP3776514B2 (ja) | 1996-07-08 | 2006-05-17 | 株式会社日立製作所 | カメラ揺れ補正方法および画像監視システム |
JP4162333B2 (ja) | 1999-07-09 | 2008-10-08 | 株式会社東芝 | 監視システム |
WO2009001467A1 (ja) * | 2007-06-28 | 2008-12-31 | Fujitsu Limited | 低照度環境における撮影画像の明るさを改善する電子機器 |
JP5959850B2 (ja) * | 2011-12-27 | 2016-08-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2014126861A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP6124588B2 (ja) * | 2012-12-27 | 2017-05-10 | キヤノン株式会社 | 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体 |
JP6170395B2 (ja) * | 2013-09-26 | 2017-07-26 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6147172B2 (ja) * | 2013-11-20 | 2017-06-14 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
JP6282133B2 (ja) * | 2014-02-17 | 2018-02-21 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
-
2017
- 2017-02-28 JP JP2017037327A patent/JP6421955B2/ja active Active
-
2018
- 2018-01-17 WO PCT/JP2018/001115 patent/WO2018159122A1/ja active Application Filing
- 2018-01-17 US US16/486,377 patent/US10863092B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018159122A1 (ja) | 2018-09-07 |
US10863092B2 (en) | 2020-12-08 |
JP2018142911A (ja) | 2018-09-13 |
US20200186716A1 (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI387330B (zh) | 具有用於拍攝平移圖像之平移模式的攝像裝置 | |
CN103139492B (zh) | 摄像装置、摄像方法以及监视*** | |
US9531938B2 (en) | Image-capturing apparatus | |
JP7197981B2 (ja) | カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム | |
JP6418879B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2011040902A (ja) | 撮像装置及び撮像装置用制御装置 | |
US20190238748A1 (en) | Image pickup apparatus capable of consecutively displaying different types of image, control method, and storage medium | |
JP6421955B2 (ja) | 撮像装置および撮像画像の揺れ補正方法 | |
JP5566145B2 (ja) | マスキング機能を有する撮像装置およびその制御方法 | |
JP2017173480A (ja) | フォーカス制御装置、撮像装置及びフォーカス制御方法 | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
KR20080061629A (ko) | 이미지센서의 중심점 최적화를 위한 촬영장치 및 그촬영제어방법 | |
JP5067234B2 (ja) | 撮像装置、及び撮影方法、撮影制御プログラム | |
JP5161939B2 (ja) | 画像処理装置、撮像システム、及び画像処理装置の制御方法 | |
JP2010103888A (ja) | 撮像装置、撮像動作処理方法 | |
JP6410062B2 (ja) | 撮像装置および撮像画像の表示方法 | |
JP6289070B2 (ja) | 撮像装置およびその制御方法 | |
JP2009159553A (ja) | カメラ,カメラシステムおよびその制御方法 | |
US10038835B2 (en) | Image pickup device and still picture generating method | |
JP4936799B2 (ja) | 電子カメラ | |
US6785426B1 (en) | Imaging apparatus, control method for imaging apparatus, and computer program product for providing control program for imaging apparatus | |
JP6590539B2 (ja) | 撮像装置 | |
JP2010245582A (ja) | 電子カメラ | |
JP4613829B2 (ja) | 撮影装置、その制御方法及び制御プログラム | |
JP2010096963A (ja) | Af枠自動追尾機能を備えたオートフォーカスシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6421955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |