JP2021082911A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2021082911A JP2021082911A JP2019207962A JP2019207962A JP2021082911A JP 2021082911 A JP2021082911 A JP 2021082911A JP 2019207962 A JP2019207962 A JP 2019207962A JP 2019207962 A JP2019207962 A JP 2019207962A JP 2021082911 A JP2021082911 A JP 2021082911A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- image sensor
- image pickup
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、撮像画像を処理する技術に関する。 The present invention relates to a technique for processing a captured image.
撮像装置では、撮像光学系からの光線入射角と撮像素子のマイクロレンズのシュリンクの関係等から、色シェーディングと呼ばれる撮像画像の色むらが発生することがある。撮像装置において、撮影光学系の光軸と撮像素子の中心とが一致している場合、撮像素子への撮像光学系からの光線入射角が撮像素子のマイクロレンズのシュリンクに対して回転対称となる。このため、撮影光学系の光軸と撮像素子の中心とが一致している場合の色シェーディングについては、光軸から像高方向への一次元の補正データで色シェーディング補正を行えばよかった。 In the image pickup apparatus, color unevenness of the captured image called color shading may occur due to the relationship between the angle of incidence of light rays from the imaging optical system and the shrinkage of the microlens of the image pickup element. In the imaging device, when the optical axis of the photographing optical system and the center of the imaging element coincide with each other, the angle of incidence of light rays from the imaging optical system on the imaging element is rotationally symmetric with respect to the shrink of the microlens of the imaging element. .. Therefore, for color shading when the optical axis of the photographing optical system and the center of the image sensor are aligned, it is sufficient to perform color shading correction with one-dimensional correction data from the optical axis in the image height direction.
しかし、撮像装置において、撮影光学系に対して撮像素子の位置を相対的に動かして像のブレを補正するような場合、撮像光学系からの光線入射角がマイクロレンズのシュリンクに対して非対称となる。このため、撮影光学系に対して撮像素子の位置を相対的に動かした場合、光軸から像高方向への一次元の補正データで色シェーディング補正を行うことはできない。なお、特許文献1には、ブレを補正するために撮像素子をずらした場合に発生する非対称な色シェーディングを、複数の色シェーディング補正データを切り替えて補正することによって画像の劣化を抑制する技術が開示されている。 However, in an imaging device, when the position of the image sensor is moved relative to the imaging optical system to correct image blur, the angle of light incident from the imaging optical system is asymmetric with respect to the shrink of the microlens. Become. Therefore, when the position of the image sensor is moved relative to the photographing optical system, it is not possible to perform color shading correction with one-dimensional correction data in the image height direction from the optical axis. Note that Patent Document 1 provides a technique for suppressing image deterioration by correcting asymmetric color shading that occurs when the image sensor is shifted to correct blur by switching a plurality of color shading correction data. It is disclosed.
しかしながら、上記の特許文献1に開示された技術の場合、光軸に対して、撮像素子をずらしたときの複数の撮像素子位置ごとに各々対応した多数の色シェーディング補正データを記憶しておかなければならない。このため、色シェーディング補正データを記憶するためのメモリ容量が大きくなる。また、複数の色シェーディング補正データを切り替えて色シェーディング補正が行われるため、動画撮影時等で色シェーディング補正データが切り替わる時に、画像の色の変化が目立つ可能性がある。 However, in the case of the technique disclosed in Patent Document 1 above, it is necessary to store a large number of color shading correction data corresponding to each of a plurality of image sensor positions when the image sensor is shifted with respect to the optical axis. Must be. Therefore, the memory capacity for storing the color shading correction data becomes large. Further, since the color shading correction is performed by switching a plurality of color shading correction data, the color change of the image may be conspicuous when the color shading correction data is switched at the time of moving image shooting or the like.
そこで本発明は、多くの補正データを必要とせず、画像の色の変化が生ずることもない色シェーディング補正を実現可能にすることを目的とする。 Therefore, an object of the present invention is to make it possible to realize color shading correction that does not require a large amount of correction data and does not cause a change in the color of an image.
本発明の画像処理装置は、撮像光学系の光軸に対して撮像素子を直交する方向に移動させ像のブレ補正がなされた際の、前記撮像素子の各画素への前記撮像光学系からの光線の入射角を取得する取得手段と、前記撮像素子に対する光線入射角と前記撮像素子の色比との関係と、前記取得手段によって取得された前記撮像素子の各画素への前記撮像光学系からの前記光線の入射角とに基づいて、前記撮像素子の各画素の色シェーディングを補正する補正データを生成する生成手段と、前記撮像光学系の光軸に対して撮像素子を直交する方向に移動させて前記像のブレ補正が行われた際の撮像画像に対し、前記補正データに基づいた色シェーディング補正を行う補正手段と、を有することを特徴とする。 In the image processing apparatus of the present invention, when the image sensor is moved in a direction orthogonal to the optical axis of the image sensor to correct image blurring, each pixel of the image sensor is subjected to the image sensor from the image sensor. From the acquisition means for acquiring the incident angle of light rays, the relationship between the incident angle of light rays with respect to the image sensor and the color ratio of the image sensor, and the image pickup optical system for each pixel of the image sensor acquired by the acquisition means. A generation means for generating correction data for correcting the color shading of each pixel of the image sensor based on the incident angle of the light beam, and moving the image sensor in a direction orthogonal to the optical axis of the image sensor. It is characterized by having a correction means for performing color shading correction based on the correction data on the captured image when the blur correction of the image is performed.
本発明によれば、多くの補正データを必要とせず、画像の色の変化が生ずることもない色シェーディング補正を実現可能となる。 According to the present invention, it is possible to realize color shading correction that does not require a large amount of correction data and does not cause a change in the color of an image.
以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。
本実施形態では、画像処理装置の一適用例として、レンズ交換式の撮像装置(デジタルカメラ)を挙げて説明する。なお本実施形態に係るデジタルカメラは、レンズ交換式のデジタルカメラに限定されるものではなく、レンズ一体型のデジタルカメラやビデオカメラ、カメラ機能を備えた情報端末、監視カメラ、車載カメラなどにも適用可能である。以下の説明では、本実施形態のデジタルカメラを単にカメラと表記する。本実施形態のカメラは、特に撮像素子を撮像光学系の光軸に対して直交する方向に移動させて撮影時のブレ等を補正する機能を有する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
In the present embodiment, an image processing device (digital camera) with an interchangeable lens will be described as an application example of the image processing device. The digital camera according to the present embodiment is not limited to the digital camera with interchangeable lenses, but also includes a digital camera with an integrated lens, a video camera, an information terminal having a camera function, a surveillance camera, an in-vehicle camera, and the like. Applicable. In the following description, the digital camera of this embodiment is simply referred to as a camera. The camera of the present embodiment has a function of moving the image pickup element in a direction orthogonal to the optical axis of the image pickup optical system to correct blurring and the like during shooting.
図1は、本実施形態に係るカメラの機能構成例を示すブロック図である。
操作部101は、操作者が本カメラに対して各種の指示を入力するために操作するスイッチやボタン、タッチパネルなどにより構成されている。操作部101の中には、シャッタースイッチも含まれており、このシャッタースイッチがいわゆる半押し状態に操作された場合には信号SW1が操作部101から制御部102に対して通知される。また、シャッタースイッチがいわゆる全押し状態に操作された場合には信号SW2が操作部101から制御部102に対して通知される。
FIG. 1 is a block diagram showing an example of a functional configuration of a camera according to the present embodiment.
The
撮像光学系104は、合焦用のレンズやズーム用のレンズなどを含む撮像レンズと、絞り等による露出機構105等を有する。また、撮像光学系104は、不図示のマウント部によって本カメラの筐体に対して着脱可能となされている。本カメラのマウント部に装着された場合、撮像光学系104は、後述する撮像素子部103の前に配置される。撮像光学系104は、撮像レンズによる焦点距離、露出機構105における絞りの値、および合焦用のレンズによるピント位置を示す情報等を、後述する制御部102に送信可能となされている。
The imaging
データ保持部107は、撮像光学系104から撮像光学系104に入射する光線入射角データを含む撮像光学系104に関する各種データを保持している。データ保持部107に保持されている撮像光学系104に関する各種データには、光線入射角データの他に、撮像光学系104の焦点距離、絞り値、合焦用レンズによってピント合わせがなされた場合のピント位置を示す情報等も含まれる。データ保持部107に保持されている光線入射角データは、撮像光学系104の中心と撮像素子部103の撮像面中心とが一致している場合に、撮像光学系104からの光が撮像素子部103に入射する際の像高ごとの入射角を示すデータである。データ保持部107には、撮像光学系104における焦点距離、絞り値、およびピント位置に対応した光線入射角データが保持されている。データ保持部107は、本カメラのマウント部に撮像光学系104が装着されると、それら撮像光学系に関する各種データを制御部102に出力する。なおデータ保持部107は、レンズ交換式の場合の撮像光学系104に設けられていてもよいし、カメラ本体が備えていてもよい。カメラ本体がデータ保持部107を備えている場合、データ保持部107は、当該カメラに着脱可能な撮影レンズごとの、撮像光学系に関する各種データを保持している。
The
撮像素子部103は、撮像光学系104を介して入射されて撮像面上に形成される光像を受光し、その光量に応じた電荷を出力するものである。また本実施形態において、撮像素子部103は、後述する撮像素子駆動部108によって、撮像光学系104の光軸に対して直交する方向に移動されることで、カメラのブレを光学的に補正可能にするブレ補正機構をも含んでいる。
The
ブレ検出部106は、本カメラのブレ等による動きを検出し、そのブレ検出結果を制御部102に出力する。
The
制御部102は、本実施形態のカメラの各部の動作を制御するものである。制御部102は、不図示のメモリ等に記憶されているプログラムを実行することにより、各部を制御し、また操作部101からの指示に応じて各部を制御する。
また制御部102は、ブレ検出部106によって検出された当該カメラのブレ検出結果と、データ保持部107から送られてくる撮像光学系に関するデータとに基づいて、当該カメラのブレを補正するためのブレ補正信号を算出する。当該ブレ補正信号は、撮像素子駆動部108に送られる。
The
Further, the
撮像素子駆動部108は、制御部102からのブレ補正信号に基づいて、撮像素子部103のブレ補正機構を駆動することにより、当該撮像素子部103を撮像光学系104の光軸に対して直交する方向に移動させる。このため、制御部102が出力するブレ補正信号は、撮像素子部103を撮像光学系104の光軸に対して直交する方向に移動させる際のブレ補正機構に対する駆動方向と駆動量とを少なくとも含んだ信号となされている。このように、制御部102が生成したブレ補正信号に基づいて、撮像素子駆動部108が撮像素子部103を撮像光学系104の光軸に直交する方向に移動させることにより、撮像素子部103からは、カメラのブレが補正された撮像信号が出力されることになる。
The image
A/D変換部109は、撮像素子部103から出力されたアナログ撮像信号に対して、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。
The A /
画像処理部110は、A/D変換部109から出力されたデジタル画像信号に対して各種の画像処理を行い、それら画像処理済みのデジタル画像信号を出力する。例えば、画像処理部110は、A/D変換部109から受けたデジタル画像信号に、ホワイトバランス等の画像処理を行って出力する。
The
また、画像処理部110は、撮像素子部103への光線入射角と撮像素子部103の各画素における色比との関係を示すデータを保持している。以下、画像処理部110に保持されている、撮像素子部への光線入射角と撮像素子部の各画素における色比との関係を示すデータを、入射角色比対応データと呼ぶことにする。
ここで、撮像光学系104の光軸に直交する方向へ撮像素子部103を移動させるブレ補正が行われる場合、制御部102は、ブレ補正信号におけるブレ補正機構の駆動方向および駆動量のデータを画像処理部110に送る。さらに、制御部102は、データ保持部107から光線入射角データを取得して、その光線入射角データを画像処理部110に送る。
Further, the
Here, when blur correction is performed in which the
画像処理部110は、ブレ補正信号の駆動方向および駆動量のデータと、保持している入射角色比対応データと、制御部102から送られてきた光線入射角データとに基づいて、撮像素子部103の各画素の色シェーディングを補正する補正データを生成する。なお、カメラのブレ補正が行われる場合に生ずる色シェーディングおよびその補正についての詳細な説明は後述する。
The
このときの画像処理部110は、まず、制御部102から送られてきた光線入射角データと、ブレ補正信号におけるブレ補正機構の駆動方向および駆動量とを基に、ブレ補正時における撮像素子部103の各画素に対する光線入射角を算出する。以下、当該算出された光線入射角を、算出入射角と呼ぶことにする。
At this time, the
続いて画像処理部110は、その算出入射角と、保持している入射角色比対応データとを基に、算出入射角に対する撮像素子部103の各画素の色比を算出する。
さらに画像処理部110は、その算出した色比を基に、撮像素子部103の各画素に対する色シェーディング補正のための補正データを算出する。
Subsequently, the
Further, the
そして、画像処理部110は、撮像素子駆動部108が撮像光学系104の光軸に対して撮像素子部103を直交方向に移動してブレ補正を行った際の撮像画像に対し、当該補正データに基づいた色シェーディング補正を行う。
Then, the
EVF表示部111は、小型液晶画面などにより構成されており、画像処理部110による処理済みの画像データに従った画像を表示する。
フォーマット変換部112は、画像処理部110から出力されたデジタル画像信号(画像データ)のフォーマットをJPEGなどのフォーマットに変換し、画像記録部113に出力するものである。
画像記録部113は、フォーマット変換部112によるフォーマット変換後の画像データを、本カメラ内の不図示のメモリや、本カメラに挿入されている外部メモリなどに記録する処理を行う。
外部接続部114は、本カメラをPC(パーソナルコンピュータ)やプリンタといった外部装置に接続するためのインターフェースとして機能するものである。
The
The
The
The
以下、本実施形態のカメラを用いて撮像を行う場合の、本カメラの動作について説明する。
先ず、操作者が、操作部101に含まれている電源スイッチをオンにすると、制御部102はこれを検知し、本カメラの各部に電源を供給する。カメラを構成する各部に電源が供給されるとシャッターが開くので、撮像素子部103には、撮像光学系104および露出機構105を介して光が入光することになる。そして、撮像素子部103は、蓄積した電荷を読み出し、A/D変換部109にアナログ画像信号として出力する。
Hereinafter, the operation of the camera when imaging is performed using the camera of the present embodiment will be described.
First, when the operator turns on the power switch included in the
また制御部102は、ブレ検出部106にて検知された本カメラのブレ検出結果と、データ保持部107から取得した撮像光学系に関するデータとを基に、ブレ補正のための撮像素子駆動部108のブレ補正信号を算出する。
また制御部102は、ブレ補正信号と、データ保持部107から取得した撮像光学系に関するデータとを画像処理部110に送り、色シェーディング補正等の画像処理を行えるように画像処理部110を制御する。
Further, the
Further, the
このとき画像処理部110は、ブレ補正信号に含まれる駆動方向および駆動量の情報と、撮像光学系に関するデータに含まれる光線入射角データとから、算出入射角を取得、つまり撮像素子部103の各画素への光線入射角を算出する。さらに、画像処理部110は、当該算出入射角と、保持している入射角色比対応データとを基に、各画素の色シェーディングを補正するための補正データを生成する。
At this time, the
そして、画像処理部110は、A/D変換部109から出力されたデジタル画像信号に対してホワイトバランスや色シェーディング補正等の各種画像処理を行い、その処理済みのデジタル画像信号を出力する。色シェーディング補正では、撮像素子駆動部108へのブレ補正信号における最新の駆動量および駆動方向の情報を用いて色シェーディング補正が行われることになる。また画像処理部110は、処理済みの画像データをEVF表示部111に出力するので、EVF表示部111には、この処理済みの画像データに従った画像が表示されることになる。
Then, the
制御部102は、シャッタースイッチから信号SW1の通知(すなわちシャッタースイッチの半押しの通知)を受けていない限りは、前述の処理を繰り返す。一方、制御部102は、シャッタースイッチから信号SW1の通知を受けると、その時点における画像を用いてAE(自動露出)処理を行い、撮影に最適な露出設定条件を取得する。
The
また、制御部102は、シャッタースイッチから信号SW2の通知(すなわちシャッタースイッチの全押しの通知)を受けていない限りは、信号SW1の通知後の前述した処理を繰り返す。その後、制御部102は、シャッタースイッチから信号SW2の通知を受けた場合には本カメラにおいて本撮影を行うように各部を制御する。本撮影の場合、外界からの光が撮像光学系104、露出機構105介して撮像素子部103に入光するので、撮像素子部103を構成する光電変換素子には、入光した光の光量に応じた電荷が蓄積される。
Further, the
そして、撮像素子部103に蓄積された電荷は読み出され、A/D変換部109にアナログ画像信号として送られる。A/D変換部109は、撮像素子部103から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。
Then, the electric charge accumulated in the
画像処理部110は、A/D変換部109から出力されたデジタル画像信号に対して撮影条件に対応した、ホワイトバランスや色シェーディング補正等の各種の画像処理を行い、処理済みのデジタル画像信号を出力する。
フォーマット変換部112は、画像処理部110から出力されたデジタル画像信号(画像データ)のフォーマットをJPEGなどのフォーマットに変換し、画像記録部113に出力する。画像記録部113は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。
The
The
以上説明した動作により、本実施形態によれば、ブレ補正による撮像素子部103への光線入射角の変化に対応した色シェーディング補正が行われた画像データを取得することができるデジタルカメラが実現される。
By the operation described above, according to the present embodiment, a digital camera capable of acquiring image data in which color shading correction corresponding to a change in the incident angle of light rays on the
以下、カメラのブレ補正により色シェーディングが画面に対して非対象に発生する原因と色シェーディング補正について説明する。 Hereinafter, the cause of color shading occurring asymmetrically with respect to the screen due to camera shake correction and the color shading correction will be described.
図2(a)〜図2(e)は、撮像素子部103の画素構造と、カメラのブレ補正のために撮像素子駆動部108によってブレ補正機構が駆動されて撮像素子部103が移動した場合の、画素への光線の入射角を示した図である。
図2(a)は、撮像素子部103の一つの画素207の構造を模式的に示した図である。図2(a)に示すように、画素207の上部(撮像光学系側)には、当該画素207への入射光を集光するマイクロレンズ201が配置されている。また、マイクロレンズ201の下部には画素207の色特性を決めるカラーフィルタ202が配置され、さらにその下部には入射光を光電変換するフォトダイオード203が配置されている。フォトダイオード203によって光電変換された電気信号は、当該フォトダイオード203の下部に配置される不図示の配線によってA/D変換部109に送られる。
2 (a) to 2 (e) show the case where the pixel structure of the
FIG. 2A is a diagram schematically showing the structure of one
ここで、画素207の中心204とマイクロレンズ201の中心205とは、撮像素子部103の中心部では一致しているが、撮像素子部103の周辺部に行くにしたがってシュリンク206として離れていく。このように撮像素子部103上の画素に対する光線入射角は、撮像素子部103上の画素の配置場所(つまり像高)によって異なるため、光線入射角に依存した色シェーディングと呼ばれる色ずれが発生する。
Here, the
図2(b)と図2(c)は、カメラのブレ補正をしていない場合の、撮像光学系104のイメージサークル210と、撮像素子部103の位置関係と、図2(a)の画素構造への光線入射角とを示した図である。図2(b)は、撮像光学系104のイメージサークル210と、撮像素子部103とを、撮像光学系104側から見た図である。図2(c)は、撮像素子部103の中心aに対する矢印で示した光線入射角と、撮像素子部103の中心aから等距離にある画素b部および画素c部に対する矢印で示した光線入射角とをそれぞれ表した図である。ブレ補正がなされていない場合、イメージサークル210の中心と撮像素子部103の中心aとが一致しているため、撮像素子部103の中心aでは光線は垂直に入射する。また、撮像素子部103の中心aからそれぞれ等距離にある周辺部の画素b部および画素c部に対する光線入射角は、それぞれ等しくなる。ブレ補正が行われていない場合、中心aからそれぞれ等距離の画素b部および画素c部に対する光線入射角が等しいため、色シェーディング補正データは、撮像素子部103の中心aから周辺部に行くにしたがって一次元的に変化する補正データを適用すればよい。
2 (b) and 2 (c) show the positional relationship between the
図2(d)と図2(e)は、カメラでブレ補正が行われている場合の、撮像光学系104のイメージサークルと、撮像素子部103の位置関係と、図2(a)の画素構造への光線入射角とを示した図である。図2(d)は、撮像光学系104のイメージサークル210と、撮像素子部103とを、撮像光学系104側から見た図である。図2(e)は、撮像素子部103の中心aに対する矢印で示した光線入射角と、中心aから等距離にある画素b部および画素c部に対する矢印で示した光線入射角とをそれぞれ表した図である。ブレ補正が行われている場合、イメージサークル210の中心と撮像素子部103の中心aとが一致しない状態になることがある。このように、イメージサークル210の中心と撮像素子部103の中心aとが一致しない状態になる場合、撮像素子部103の中心aでは光線は垂直に入射せず、また中心aから等距離にある画素b部および画素c部に対する光線入射角は等しくならない。このため、ブレ補正が行われている場合、色シェーディング補正を行うためには、撮像素子部103の各画素についての光線入射角と各画素の光線入射角とに対する撮像素子部103の色比を求めて画素ごとの色シェーディング補正データを算出する必要がある。
2 (d) and 2 (e) show the image circle of the image pickup
図3(a)〜図3(c)は、撮像素子部103の中心部と最周辺部とそれらの中間部とにおける撮像素子部103の色比を示した図であり、図3(a)が中心部、図3(b)が最周辺部、図3(c)が中間部を示している。色比は、撮像素子部103のG(緑)信号に対するR(赤)信号とB(青)信号の比率である。
3 (a) to 3 (c) are views showing the color ratio of the
画像処理部110は、少なくとも、図3(a)に示した撮像素子部103の中心部の光線入射角と色比との関係、および図3(b)に示した撮像素子部103の最周辺部の光線入射角と色比との関係を示したデータを、入射角色比対応データとして保持している。つまり画像処理部110は、図3(c)に示した撮像素子部103の中間部における入射角色比対応データについては保持していないとする。この場合、画像処理部110は、図3(c)に示した撮像素子部103の中間部における光線入射角と色比との関係は、保持している入射角色比対応データを基に補間演算により求める。つまり、画像処理部110は、撮像素子部103の中心部と最周辺部の入射角色比対応データを基に、撮像素子部103の中心部から中間部までと最周辺部から中間部までの距離に応じた補間により、撮像素子部103の中間部の光線入射角と色比との関係を求める。そして、画像処理部110は、撮像素子部103の各画素に同じ光量が入射した場合にG信号の出力とR信号とB信号の出力が同じになるような撮像素子部103の各画素へのゲインを計算して、色シェーディングを補正する補正データを生成する。
The
図4は、画像処理部110において、色シェーディングを補正する補正データを生成するフローチャートである。
図4の処理の前に、制御部102は、ブレ検出部106によるカメラのブレ検出結果とデータ保持部107からの撮像光学系に関するデータとから、撮像素子駆動部108のブレ補正信号(ブレ補正機構の駆動量と駆動方向を示す信号)を算出する。
FIG. 4 is a flowchart in which the
Prior to the processing of FIG. 4, the
そして、ステップS401において、画像処理部110は、ブレ補正信号におけるブレ補正機構の駆動量と駆動方向を基に、撮像素子部103の各画素の、撮像光学系104のイメージサークル中心からの距離を算出する。
さらにステップS402において、画像処理部110は、イメージサークル中心からの距離と、データ保持部107から出力されて制御部102から送られてきた撮像光学系104の光線入射角データとから、撮像素子部103の各画素への光線入射角を算出する。
Then, in step S401, the
Further, in step S402, the
またステップS403において、画像処理部110は、撮像素子部103の各画素について撮像素子中心からの距離を算出する。
さらにステップS404において、画像処理部110は、保持している各画素位置に対応した入射角色比対応データから、撮像素子部103の各画素の位置における光線入射角に対応した色比を、補間等により算出する。
Further, in step S403, the
Further, in step S404, the
次にステップS405において、画像処理部110は、ステップS402で算出した光線入射角(算出入射角)と、ステップS404で算出した色比とから、撮像素子部103の各画素位置(つまり像高)への光線入射角に対する色比を算出する。
Next, in step S405, the
次にステップS406において、画像処理部110は、ステップS405で算出した各画素位置への光線入射角に対する色比から、各画素に同じ光量が入射した場合にG信号の出力とR信号とB信号の出力とが同じになるような各画素へのゲインを計算する。そして、画像処理部110は、それら各画素へのゲインを基に色シェーディング補正データを生成する。
Next, in step S406, the
その後、ステップS407において、画像処理部110は、ステップS406で生成した色シェーディング補正データを用いて、撮像画像に対する色シェーディング補正処理を行う。本実施形態によれば、これらの処理が撮像画像ごとに行われることで、ブレ補正を行っても色シェーディングの変化の少ない画像を得ることができるようになる。
After that, in step S407, the
本実施形態では、撮像素子部103を撮像光学系104の光軸に直交する方向に移動させて撮影時のブレを補正する機構を有するカメラにおいて、ブレ補正時の撮像素子部103への光線入射角変化に対応した色シェーディング補正データを随時作成可能になる。したがって、本実施形態によれば、常に色シェーディングが抑制された画像を得ることができる。すなわち、本実施形態によれば、多数の色シェーディング補正データを必要とせず、また動画撮影時等で色シェーディング補正データが切り替わるようなことがないため、画像の色の変化が生ずることもない。
In the present embodiment, in a camera having a mechanism for correcting blur during shooting by moving the
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
The above-described embodiments are merely examples of embodiment in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
102:制御部、103:撮像素子部、104:撮像光学系、106:ブレ検出部、107:データ保持部、108:撮像素子駆動部、110:画像処理部 102: Control unit, 103: Image sensor unit, 104: Image pickup optical system, 106: Blur detection unit, 107: Data holding unit, 108: Image sensor drive unit, 110: Image processing unit
Claims (10)
前記撮像素子に対する光線入射角と前記撮像素子の色比との関係と、前記取得手段によって取得された前記撮像素子の各画素への前記撮像光学系からの前記光線の入射角とに基づいて、前記撮像素子の各画素の色シェーディングを補正する補正データを生成する生成手段と、
前記撮像光学系の光軸に対して撮像素子を直交する方向に移動させて前記像のブレ補正が行われた際の撮像画像に対し、前記補正データに基づいた色シェーディング補正を行う補正手段と、
を有することを特徴とする画像処理装置。 Acquires the angle of incidence of light rays from the image pickup optical system on each pixel of the image pickup element when the image sensor is moved in a direction orthogonal to the optical axis of the image pickup optical system to correct image blurring. Acquisition method and
Based on the relationship between the light ray incident angle on the image sensor and the color ratio of the image sensor, and the incident angle of the light ray from the image pickup optical system on each pixel of the image sensor acquired by the acquisition means. A generation means for generating correction data for correcting the color shading of each pixel of the image sensor, and
A correction means for performing color shading correction based on the correction data on the captured image when the image blur correction is performed by moving the image sensor in a direction orthogonal to the optical axis of the image pickup optical system. ,
An image processing device characterized by having.
前記生成手段は、前記保持手段が保持している前記情報を用いて前記補正データの生成を行うことを特徴とする請求項1に記載の画像処理装置。 It has a holding means for holding information indicating the relationship between the light ray incident angle with respect to the image pickup element and the color ratio of the image pickup element.
The image processing apparatus according to claim 1, wherein the generation means generates the correction data by using the information held by the holding means.
前記補正手段は、前記撮像素子の各画素の色シェーディング補正を前記撮像画像ごとに行うことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。 The generation means generates the correction data of the color shading for each pixel of the image sensor, and generates the correction data.
The image processing apparatus according to any one of claims 1 to 6, wherein the correction means performs color shading correction of each pixel of the image pickup device for each captured image.
前記撮像光学系により形成された像を撮像する撮像素子と、
前記撮像光学系の光軸に対して前記撮像素子を直交する方向に移動させて前記像のブレを補正するブレ補正機構と、
請求項1から7のいずれか1項に記載の画像処理装置と、
を有することを特徴とする撮像装置。 Imaging optics and
An image sensor that captures an image formed by the imaging optical system,
A blur correction mechanism that corrects the blur of the image by moving the image sensor in a direction orthogonal to the optical axis of the imaging optical system.
The image processing apparatus according to any one of claims 1 to 7.
An imaging device characterized by having.
撮像光学系の光軸に対して撮像素子を直交する方向に移動させて像のブレ補正がなされた際の、前記撮像素子の各画素への前記撮像光学系からの光線の入射角を取得する取得工程と、
前記撮像素子に対する光線入射角と前記撮像素子の色比との関係と、前記取得工程によって取得された前記撮像素子の各画素への前記撮像光学系からの前記光線の入射角とに基づいて、前記撮像素子の各画素の色シェーディングを補正する補正データを生成する生成工程と、
前記撮像光学系の光軸に対して撮像素子を直交する方向に移動させて前記像のブレ補正が行われた際の撮像画像に対し、前記補正データに基づいた色シェーディング補正を行う補正工程と、
を有することを特徴とする画像処理方法。 An image processing method executed by an image processing device.
Acquires the angle of incidence of light rays from the image pickup optical system on each pixel of the image pickup element when the image sensor is moved in a direction orthogonal to the optical axis of the image pickup optical system to correct image blurring. Acquisition process and
Based on the relationship between the light ray incident angle on the image sensor and the color ratio of the image sensor, and the incident angle of the light ray from the image pickup optical system on each pixel of the image sensor acquired by the acquisition step. A generation step of generating correction data for correcting the color shading of each pixel of the image sensor, and
A correction step of performing color shading correction based on the correction data on the captured image when the image blur correction is performed by moving the image sensor in a direction orthogonal to the optical axis of the image pickup optical system. ,
An image processing method characterized by having.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207962A JP2021082911A (en) | 2019-11-18 | 2019-11-18 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207962A JP2021082911A (en) | 2019-11-18 | 2019-11-18 | Image processing device, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021082911A true JP2021082911A (en) | 2021-05-27 |
Family
ID=75963306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019207962A Pending JP2021082911A (en) | 2019-11-18 | 2019-11-18 | Image processing device, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021082911A (en) |
-
2019
- 2019-11-18 JP JP2019207962A patent/JP2021082911A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5241355B2 (en) | Imaging apparatus and control method thereof | |
JP2012226213A (en) | Imaging apparatus and control method therefor | |
JP2007028008A (en) | Imaging apparatus, imaging system, and operating program thereof | |
JP2009044669A (en) | Digital camera system | |
WO2012111220A1 (en) | Image capturing device, image capturing device main body, and shading correction method | |
CN102404506A (en) | Shooting device | |
CN110602350B (en) | Image processing apparatus, image processing method, image capturing apparatus, lens apparatus, and storage medium | |
JP2010213083A (en) | Imaging device and method | |
JP4281724B2 (en) | Imaging apparatus and method | |
JP6539075B2 (en) | Imaging device, control method therefor, program, storage medium | |
JP5272699B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
JP5279638B2 (en) | Imaging device | |
JP7289055B2 (en) | Imaging device | |
JP2015115865A (en) | Camera module | |
JP2021082911A (en) | Image processing device, image processing method, and program | |
JP2014142497A (en) | Imaging apparatus and method for controlling the same | |
JP2017116738A (en) | Image correction device, method for controlling image correction device, and program | |
JP4323925B2 (en) | Optical equipment | |
JP6618575B2 (en) | Image processing apparatus, imaging apparatus, lens apparatus, and image processing method | |
JP6547742B2 (en) | Imaging control apparatus, imaging apparatus and imaging control method | |
US11122196B2 (en) | Image processing apparatus | |
WO2014136703A1 (en) | Image-capturing device and image display method | |
WO2012140919A1 (en) | Stereo image generation device and stereo image generation method | |
JP2018098764A (en) | Imaging apparatus and image synthesis method | |
JP2010204303A (en) | Imaging apparatus |