JP2011259314A - Imaging device, image processing device, and program - Google Patents

Imaging device, image processing device, and program Download PDF

Info

Publication number
JP2011259314A
JP2011259314A JP2010133275A JP2010133275A JP2011259314A JP 2011259314 A JP2011259314 A JP 2011259314A JP 2010133275 A JP2010133275 A JP 2010133275A JP 2010133275 A JP2010133275 A JP 2010133275A JP 2011259314 A JP2011259314 A JP 2011259314A
Authority
JP
Japan
Prior art keywords
image
acceleration
unit
imaging
correction function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010133275A
Other languages
Japanese (ja)
Inventor
康久 ▲高▼橋
Yasuhisa Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010133275A priority Critical patent/JP2011259314A/en
Publication of JP2011259314A publication Critical patent/JP2011259314A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device which corrects a captured image by following the change in acceleration.SOLUTION: A imaging device comprises: an imaging unit for capturing an image of a subject by use of a liquid lens; an acceleration detecting unit for detecting acceleration applied to the liquid lens; and an image correcting unit for correcting the image captured by the imaging unit, on the basis of the acceleration detected by the acceleration detecting unit. The acceleration detecting unit detects a vector of the acceleration, and the image correcting unit corrects the image captured by the imaging unit, on the basis of the vector of the acceleration detected by the acceleration detecting unit.

Description

本発明は、撮像装置、画像処理装置及びプログラムに関する。   The present invention relates to an imaging apparatus, an image processing apparatus, and a program.

従来、可撓性レンズにおけるレンズ歪みを画像処理により補正する技術が知られている（例えば、特許文献１参照）。また、液体レンズに印加する電圧を制御することで、重力等によるレンズ歪みを補正する技術が知られている（例えば、特許文献２、３参照）。
特許文献１ 特表２０００−５０７４１５号公報
特許文献２ 特開２００６−６４９４８号公報
特許文献３ 特開２００６−６４９５１号公報 Conventionally, a technique for correcting lens distortion in a flexible lens by image processing is known (for example, see Patent Document 1). Further, a technique for correcting lens distortion due to gravity or the like by controlling a voltage applied to a liquid lens is known (see, for example, Patent Documents 2 and 3).
Patent Document 1 Japanese Translation of PCT International Publication No. 2000-507415 Patent Document 2 Japanese Patent Application Laid-Open No. 2006-64948 Japanese Patent Application Laid-Open No. 2006-64951

しかし、特許文献１に記載の技術は、レンズの一定の歪みを補正するものであり、加速度や重力によってレンズの歪み方が変わったときにレンズの歪み方に応じて画像処理を行うことができない。また、特許文献２、３に記載の技術は、さまざまに変化する重力方向、加速度方向、加速度量に高速に追従してレンズ歪みを補正することは困難である。   However, the technique described in Patent Document 1 corrects a certain distortion of the lens, and when the distortion of the lens changes due to acceleration or gravity, image processing cannot be performed according to the distortion of the lens. . In addition, it is difficult for the techniques described in Patent Documents 2 and 3 to correct lens distortion by following a gravity direction, an acceleration direction, and an acceleration amount that change variously at high speed.

上記課題を解決するために、本発明の第１の態様においては、被写体を撮像する撮像装置であって、液体レンズを用いて被写体を撮像する撮像部と、液体レンズにかかる加速度を検出する加速度検出部と、加速度検出部が検出した加速度に基づいて、撮像部が撮像した画像を補正する画像補正部とを備える撮像装置が与えられる。   In order to solve the above-described problem, in a first aspect of the present invention, an imaging apparatus that images a subject, an imaging unit that images the subject using a liquid lens, and an acceleration that detects acceleration applied to the liquid lens An imaging device is provided that includes a detection unit and an image correction unit that corrects an image captured by the imaging unit based on the acceleration detected by the acceleration detection unit.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

第１実施形態にかかる撮像装置のブロック図である。It is a block diagram of the imaging device concerning a 1st embodiment. レンズ歪みにより得られる点像を概略的に示す。1 schematically shows a point image obtained by lens distortion. 第１実施形態にかかる撮像装置１００の詳細なブロック図である。1 is a detailed block diagram of an imaging apparatus 100 according to a first embodiment. 補正関数選択部１６０の機能を示すブロック図である。5 is a block diagram illustrating functions of a correction function selection unit 160. FIG. 第１実施形態にかかる撮像装置１００の変形例のブロック図である。It is a block diagram of the modification of the imaging device 100 concerning 1st Embodiment. レンズ制御部と画像補正部４０による画像処理のフローチャートである。5 is a flowchart of image processing by a lens control unit and an image correction unit 40. 第２実施形態にかかる撮像装置１００のブロック図である。It is a block diagram of imaging device 100 concerning a 2nd embodiment. 補正関数算出部１９０の機能を示すフローチャートである。5 is a flowchart illustrating functions of a correction function calculation unit 190. 第３実施形態にかかる撮像装置１００のブロック図である。It is a block diagram of imaging device 100 concerning a 3rd embodiment. コンピュータ８００のハードウェア構成を示す。2 shows a hardware configuration of a computer 800.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図１は、第１実施形態にかかる撮像装置１００の構成を概略的に示す。被写体７０を撮像する撮像装置１００は、撮像部８０と、加速度検出部３０と、画像補正部４０と、補正関数テーブル５０と、メモリ６０とを備える。撮像部８０は、液体レンズ１０及び撮像素子２０を有する。液体レンズ１０は、水と油のように屈折率が異なりかつ混じり合わない２つの液体が、透明の隔壁に囲まれたキャビティ内に充填されたレンズである。撮像素子２０は、液体レンズ１０を介して被写体７０の画像を取得する。撮像素子２０は、例えば、ＣＣＤ素子、ＣＭＯＳセンサである。   FIG. 1 schematically shows a configuration of an imaging apparatus 100 according to the first embodiment. The imaging device 100 that images the subject 70 includes an imaging unit 80, an acceleration detection unit 30, an image correction unit 40, a correction function table 50, and a memory 60. The imaging unit 80 includes the liquid lens 10 and the imaging element 20. The liquid lens 10 is a lens in which two liquids having different refractive indexes such as water and oil and not mixed are filled in a cavity surrounded by a transparent partition wall. The image sensor 20 acquires an image of the subject 70 via the liquid lens 10. The imaging element 20 is, for example, a CCD element or a CMOS sensor.

加速度検出部３０は、液体レンズ１０にかかる加速度を検出する。加速度検出部３０は、検出した加速度情報を画像補正部４０に提供する。加速度情報は、重力加速度またはその他の加速度の情報を含む。液体レンズ１０に含まれる第１の液体と第２の液体の比重が異なるため、液体レンズ１０にかかる加速度により、液体界面の形状が変化する。この結果、撮像される画像に歪みが生じる。加速度検出部３０は、既存の加速度センサであってよい。   The acceleration detection unit 30 detects the acceleration applied to the liquid lens 10. The acceleration detection unit 30 provides the detected acceleration information to the image correction unit 40. The acceleration information includes gravity acceleration or other acceleration information. Since the specific gravity of the first liquid and the second liquid included in the liquid lens 10 is different, the shape of the liquid interface changes due to the acceleration applied to the liquid lens 10. As a result, distortion occurs in the captured image. The acceleration detection unit 30 may be an existing acceleration sensor.

具体的には、加速度検出部３０は、加速度のベクトルを検出する。ここで、加速度のベクトルとは、液体レンズ１０にかかる加速度の方向及び量を指す。より具体的には、加速度ベクトルは、速度ベクトルを時間で微分したものである。加速度検出部３０は、ｘ軸、ｙ軸、ｚ軸の各軸における加速度の量を検出する各軸用センサを有してよい。また、加速度検出部３０は、液体レンズ１０が固定される撮像部８０の筐体に取り付けられてよい。   Specifically, the acceleration detection unit 30 detects an acceleration vector. Here, the acceleration vector refers to the direction and amount of acceleration applied to the liquid lens 10. More specifically, the acceleration vector is obtained by differentiating the velocity vector with respect to time. The acceleration detection unit 30 may include a sensor for each axis that detects the amount of acceleration in each of the x axis, the y axis, and the z axis. The acceleration detection unit 30 may be attached to the housing of the imaging unit 80 to which the liquid lens 10 is fixed.

また、加速度検出部３０は、重力方向を検出する重力センサと、撮像部８０の移動速度の変化による加速度情報を検出する加速度センサとを有してよい。加速度センサは、重力センサよりも高周波の加速度変動を検出できることが好ましい。また、加速度検出部３０は、単一のセンサにより、重力ベクトルおよび撮像部８０の移動速度の変化による加速度ベクトルを合成したベクトルを検出してもよい。   The acceleration detection unit 30 may include a gravity sensor that detects the direction of gravity and an acceleration sensor that detects acceleration information based on a change in the moving speed of the imaging unit 80. The acceleration sensor is preferably capable of detecting high-frequency acceleration fluctuations than the gravity sensor. Further, the acceleration detection unit 30 may detect a vector obtained by combining the gravity vector and the acceleration vector due to the change in the moving speed of the imaging unit 80 by a single sensor.

画像補正部４０は、加速度検出部３０が検出した加速度に基づいて、撮像部８０が撮像した画像を補正する。具体的には、画像補正部４０は、加速度検出部３０が検出した加速度のベクトルに基づいて、撮像部８０が撮像した画像を補正する。画像補正部４０は、撮像素子２０が撮像した被写体７０の画像と、その画像を撮像したときの液体レンズ１０にかかる加速度ベクトルとを対応づけて取得する。   The image correction unit 40 corrects the image captured by the imaging unit 80 based on the acceleration detected by the acceleration detection unit 30. Specifically, the image correction unit 40 corrects the image captured by the imaging unit 80 based on the acceleration vector detected by the acceleration detection unit 30. The image correction unit 40 acquires the image of the subject 70 captured by the image sensor 20 and the acceleration vector applied to the liquid lens 10 when the image is captured.

補正関数テーブル５０は、複数種類の加速度ベクトルに対応して補正関数を格納する。ここで、補正関数とは、液体レンズ１０にかかる加速度により生じる画像の歪みを補正するための関数を指す。一例として補正関数は、補正後の画像の各画素の値を、補正前の画像の各画素の値を変数として算出する関数である。当該補正関数は、例えば画像の中央部と端部のように、画像の領域毎に異なる関数である。画像補正部４０は、撮像部８０が撮像した画像に対応付けられた加速度ベクトルに応じた補正関数を、補正関数テーブル５０から取得する。補正関数は、例えば、撮像装置１００の出荷前に補正関数テーブル５０に格納される。   The correction function table 50 stores correction functions corresponding to a plurality of types of acceleration vectors. Here, the correction function refers to a function for correcting image distortion caused by acceleration applied to the liquid lens 10. As an example, the correction function is a function that calculates the value of each pixel of the image after correction using the value of each pixel of the image before correction as a variable. The correction function is a function that is different for each region of the image, such as a center portion and an end portion of the image. The image correction unit 40 acquires from the correction function table 50 a correction function corresponding to the acceleration vector associated with the image captured by the imaging unit 80. For example, the correction function is stored in the correction function table 50 before the imaging device 100 is shipped.

具体的には、補正関数は、撮像装置１００にかける加速度ベクトルを順次変化させて、加速度ベクトル毎に既知の被写体を撮像することで算出できる。より具体的には、加速度ベクトル毎に撮像された撮像画像と、歪みが無いレンズを用いて当該既知の被写体を撮像した参照画像との相関関係から補正関数を算出してよい。この場合、撮像画像を参照画像に変換する変換式を加速度ベクトル毎に算出して、当該変換式を補正関数としてよい。また、参照画像を撮像画像に変換する変換式を加速度ベクトル毎に算出して、当該変換式の逆関数を補正関数としてよい。   Specifically, the correction function can be calculated by sequentially changing the acceleration vector applied to the imaging apparatus 100 and imaging a known subject for each acceleration vector. More specifically, the correction function may be calculated from a correlation between a captured image captured for each acceleration vector and a reference image captured from the known subject using a lens having no distortion. In this case, a conversion formula for converting the captured image into the reference image may be calculated for each acceleration vector, and the conversion formula may be used as a correction function. Further, a conversion formula for converting the reference image into the captured image may be calculated for each acceleration vector, and an inverse function of the conversion formula may be used as the correction function.

画像補正部４０は、補正関数テーブル５０から取得した補正関数を用いて、撮像部８０が撮像した画像を補正する。メモリ６０は、画像補正部４０により補正された画像データを格納する。これにより、液体レンズ１０の加速度による歪みが補正された画像を取得することができる。   The image correction unit 40 corrects the image captured by the imaging unit 80 using the correction function acquired from the correction function table 50. The memory 60 stores the image data corrected by the image correction unit 40. Thereby, an image in which distortion due to the acceleration of the liquid lens 10 is corrected can be acquired.

このように、画像データ及び加速度情報を対応づけておくことにより、加速度により歪んだレンズを通じて取得した画像の補正をハードウェアではなく、ソフトウェアによる後処理で実行することができる。したがって、加速度が高速に変動するような場合であっても、加速度の変動に追従した画像補正を行なうことができる。また、ハードウェアによる補正よりも加速度による歪みを簡易かつ高精度に補正することができる。   As described above, by associating the image data and the acceleration information, correction of the image acquired through the lens distorted by the acceleration can be executed by post-processing by software instead of hardware. Therefore, even when the acceleration fluctuates at high speed, it is possible to perform image correction following the acceleration fluctuation. In addition, distortion due to acceleration can be corrected more easily and more accurately than hardware correction.

なお、画像補正部４０は、加速度検出部３０が検出した加速度ベクトルと完全に一致する加速度ベクトルに対応する補正関数が、補正関数テーブル５０に存在しない場合、加速度検出部３０が検出した加速度ベクトルに対する誤差が最も小さい加速度ベクトルに対応する補正関数を、補正関数テーブル５０から抽出してよい。また、画像補正部４０は、加速度検出部３０が検出した加速度ベクトルを複数のベクトルに分解して、それぞれの分解ベクトルに対応する補正関数を、補正関数テーブル５０から抽出してもよい。この場合、画像補正部４０は、抽出した補正関数を合成して画像を補正してよく、それぞれの補正関数で順番に画像を補正してもよい。   Note that the image correction unit 40 determines that the correction function corresponding to the acceleration vector that completely matches the acceleration vector detected by the acceleration detection unit 30 does not exist in the correction function table 50 with respect to the acceleration vector detected by the acceleration detection unit 30. A correction function corresponding to the acceleration vector with the smallest error may be extracted from the correction function table 50. Further, the image correction unit 40 may decompose the acceleration vector detected by the acceleration detection unit 30 into a plurality of vectors and extract a correction function corresponding to each decomposition vector from the correction function table 50. In this case, the image correction unit 40 may correct the image by synthesizing the extracted correction functions, and may correct the images in order using the respective correction functions.

また、補正関数テーブル５０は、ｘ軸、ｙ軸、ｚ軸のそれぞれについて、基準ベクトルの整数倍の大きさの加速度ベクトルに対応する補正関数を格納してよい。基準ベクトルは、各軸と平行な方向で、大きさが予め定められたベクトルを指す。なお、ｘ軸、ｙ軸、ｚ軸は、それぞれ直交せずともよい。   The correction function table 50 may store a correction function corresponding to an acceleration vector having an integer multiple of the reference vector for each of the x-axis, y-axis, and z-axis. The reference vector refers to a vector having a predetermined size in a direction parallel to each axis. Note that the x-axis, y-axis, and z-axis do not have to be orthogonal to each other.

また、画像補正部４０は、加速度検出部３０が検出した加速度ベクトルと方向が一致する加速度ベクトルに対応する補正関数を、補正関数テーブル５０から抽出してよい。画像補正部４０は、加速度検出部３０が検出した加速度ベクトルの大きさと、補正関数テーブル５０から検出した加速度ベクトルの大きさの比に応じて、当該補正関数を補正してよい。例えば画像補正部４０は、当該加速度ベクトルの大きさの比に応じて、当該補正関数の係数を変化させる。   In addition, the image correction unit 40 may extract a correction function corresponding to an acceleration vector whose direction matches the acceleration vector detected by the acceleration detection unit 30 from the correction function table 50. The image correction unit 40 may correct the correction function according to the ratio between the magnitude of the acceleration vector detected by the acceleration detection unit 30 and the magnitude of the acceleration vector detected from the correction function table 50. For example, the image correction unit 40 changes the coefficient of the correction function according to the ratio of the magnitudes of the acceleration vectors.

図２は、加速度によるレンズの歪みにより得られる点像を概略的に示す。点像は、被写体画像１０２とコマ収差等による画像成分１０４を有する。液体レンズ１０の液体界面が加速度により歪むと、被写体画像１０２の周囲に、画像成分１０４があらわれる。どのような画像成分１０４が現われるかは、液体レンズ１０の歪み方により決定される。液体レンズ１０の歪みは、加速度ベクトルから求められるので、取得画像を加速度ベクトルに応じて補正することで、画像成分１０４を補正することができる。   FIG. 2 schematically shows a point image obtained by lens distortion due to acceleration. The point image has a subject image 102 and an image component 104 due to coma aberration or the like. When the liquid interface of the liquid lens 10 is distorted by acceleration, an image component 104 appears around the subject image 102. What image component 104 appears is determined by how the liquid lens 10 is distorted. Since the distortion of the liquid lens 10 is obtained from the acceleration vector, the image component 104 can be corrected by correcting the acquired image according to the acceleration vector.

図３は、本実施形態にかかる撮像装置１００の詳細な構成を示すブロック図である。撮像装置１００は、図１に示した撮像装置１００の構成に加え、さらに、電圧印加制御部１２０およびＲａｗ保存メモリ１１０を有する。電圧印加制御部１２０は、液体レンズ１０に印加する電圧を調節することによって液体界面の形状を変化させる。この場合、液体レンズ１０に含まれる２つの液体の少なくとも一方は、導電性水溶液である。電圧印加制御部１２０は、当該導電性水溶液の複数の領域に印加する電圧を、領域毎に独立して調整してよい。Ｒａｗ保存メモリ１１０は、撮像素子２０からの撮像画像データを格納し、画像補正部４０に出力する。Ｒａｗ保存メモリ１１０は、ＣＣＤ等の撮像素子２０が出力する映像信号を記憶する。   FIG. 3 is a block diagram illustrating a detailed configuration of the imaging apparatus 100 according to the present embodiment. In addition to the configuration of the imaging apparatus 100 illustrated in FIG. 1, the imaging apparatus 100 further includes a voltage application control unit 120 and a raw storage memory 110. The voltage application control unit 120 changes the shape of the liquid interface by adjusting the voltage applied to the liquid lens 10. In this case, at least one of the two liquids included in the liquid lens 10 is a conductive aqueous solution. The voltage application control unit 120 may independently adjust the voltage applied to the plurality of regions of the conductive aqueous solution for each region. The raw storage memory 110 stores captured image data from the image sensor 20 and outputs it to the image correction unit 40. The raw storage memory 110 stores a video signal output from the image sensor 20 such as a CCD.

画像補正部４０は、コンボリューション演算装置１４０、カメラ信号処理部１５０、補正関数選択部１６０を有する。補正関数選択部１６０は、加速度検出部３０が検出した加速度ベクトルおよび電圧印加制御部１２０により液体レンズ１０に印加される電圧に基づいて、補正関数テーブル５０から補正関数を選択する。本例の補正関数テーブル５０は、加速度ベクトルおよび液体レンズ１０に印加される電圧の双方に対応付けて、補正関数を格納する。コンボリューション演算装置１４０は、補正関数選択部１６０からの補正関数を用いて、Ｒａｗ保存メモリ１１０からの映像信号を補正する。本例のコンボリューション演算装置１４０は、液例レンズ１０に加速度による歪みがない場合に、撮像素子２０が出力する映像信号を生成する。   The image correction unit 40 includes a convolution operation device 140, a camera signal processing unit 150, and a correction function selection unit 160. The correction function selection unit 160 selects a correction function from the correction function table 50 based on the acceleration vector detected by the acceleration detection unit 30 and the voltage applied to the liquid lens 10 by the voltage application control unit 120. The correction function table 50 of this example stores a correction function in association with both the acceleration vector and the voltage applied to the liquid lens 10. The convolution operation device 140 corrects the video signal from the raw storage memory 110 using the correction function from the correction function selection unit 160. The convolution operation device 140 of this example generates a video signal output from the image sensor 20 when the liquid example lens 10 is not distorted by acceleration.

カメラ信号処理部１５０は、コンボリューション演算装置１４０が補正した映像信号を受信し、当該映像信号をカメラ出力信号に変換する。カメラ出力信号とは、表示装置等に供給される画像データである。カメラ信号処理部１５０は、映像信号から、画像データの各画素値を算出してよい。カメラ信号処理部１５０は、撮像素子２０から出力された映像信号に対して、Ａ／Ｄ変換、補間演算、色空間変換、ガンマ補正、収差補正、ノイズリダクション、画像圧縮等の処理を行う。   The camera signal processing unit 150 receives the video signal corrected by the convolution operation device 140 and converts the video signal into a camera output signal. The camera output signal is image data supplied to a display device or the like. The camera signal processing unit 150 may calculate each pixel value of the image data from the video signal. The camera signal processing unit 150 performs processes such as A / D conversion, interpolation calculation, color space conversion, gamma correction, aberration correction, noise reduction, and image compression on the video signal output from the image sensor 20.

ここで、画像補正部４０での画像処理の方法について説明する。被写体ｆからの光が液体レンズ１０を通過することによって画像ｇが取得されるとすると、以下のように、画像ｇは、ｆとＨとのコンボリューションで表される。

Figure 2011259314
Here, an image processing method in the image correction unit 40 will be described. Assuming that the image g is acquired by the light from the subject f passing through the liquid lens 10, the image g is represented by a convolution of f and H as follows.
Figure 2011259314

ここで、Ｈは撮像部８０の点広がり関数を表す。点広がり関数とは、点光源を撮影したときに、撮像部８０が取得する画像における点像の分布を示す。液体レンズ１０によって歪んだ画像ｇから被写体ｆの画像を復元するには、以下の関係を利用する。

Figure 2011259314
Here, H represents a point spread function of the imaging unit 80. The point spread function indicates a distribution of point images in an image acquired by the imaging unit 80 when a point light source is captured. In order to restore the image of the subject f from the image g distorted by the liquid lens 10, the following relationship is used.
Figure 2011259314

ここでＨ−１は、点広がり関数Ｈの逆行列であり、画像ｇの補正関数である。つまり、歪んだ画像ｇに補正関数Ｈ−１をコンボリューション演算することにより、被写体画像ｆを復元することができる。補正関数Ｈ−１は以下のような行列であってよい。

Figure 2011259314
Here, H −1 is an inverse matrix of the point spread function H, and is a correction function of the image g. That is, the subject image f can be restored by performing a convolution operation on the distorted image g with the correction function H- 1 . The correction function H −1 may be a matrix as follows.
Figure 2011259314

ここで、行及び列の数がカーネルサイズ、行列の各要素（ａ、ｂ、ｃ・・・）が画像補正パラメータに相当する。液体レンズ１０の点広がり関数Ｈは、液体レンズ１０に印加する電圧や加速度ベクトルによって変化する。そのため、補正関数Ｈ−１のカーネルサイズ、補正パラメータも、以下のＨｎ −１、Ｈｎ＋１ ―１のように動的に変化する。画像補正部４０は、液体レンズ１０に印加する電圧及び加速度ベクトルに基づいて、最適な補正関数Ｈ−１を選択する。

Figure 2011259314
Here, the number of rows and columns corresponds to the kernel size, and each element (a, b, c...) Of the matrix corresponds to an image correction parameter. The point spread function H of the liquid lens 10 varies depending on the voltage applied to the liquid lens 10 and the acceleration vector. Therefore, the kernel size and the correction parameter of the correction function H −1 also dynamically change as H n −1 and H n + 1 −1 below. The image correction unit 40 selects an optimal correction function H −1 based on the voltage applied to the liquid lens 10 and the acceleration vector.
Figure 2011259314

画像補正部４０は、複数種類の加速度のベクトルと、画像を補正するのに用いる補正関数との関係を予め補正関数テーブル５０に格納してよい。画像補正部４０は、加速度検出部３０が検出した加速度のベクトルに対応する補正関数を用いて、画像を補正する。つまり、画像補正部４０は、複数種類の加速度ベクトルに対応して画像補正を行うことができる。   The image correction unit 40 may store a relationship between a plurality of types of acceleration vectors and a correction function used for correcting an image in the correction function table 50 in advance. The image correction unit 40 corrects the image using a correction function corresponding to the acceleration vector detected by the acceleration detection unit 30. That is, the image correction unit 40 can perform image correction corresponding to a plurality of types of acceleration vectors.

図４は、本実施形態にかかる補正関数選択部１６０の動作を示す。補正関数選択部１６０は、電圧印加制御部１２０からの印加電圧量、加速度検出部３０からの加速度情報に基づいて、補正関数テーブル５０から最適な補正関数Ｈ−１を選択する。 FIG. 4 shows the operation of the correction function selection unit 160 according to the present embodiment. The correction function selection unit 160 selects an optimal correction function H −1 from the correction function table 50 based on the applied voltage amount from the voltage application control unit 120 and the acceleration information from the acceleration detection unit 30.

ステップ１において、補正関数選択部１６０は、電圧印加制御部１２０が液体レンズ１０に印加する印加電圧量を取得する。印加電圧量は、パラメータＶ１・・・Ｖｎで表される。本例の補正関数選択部１６０は、印加電圧量として例えばＶ２を取得する。ステップ２において、補正関数選択部１６０は、液体レンズ１０に対する重力方向を、加速度検出部３０から取得する。   In step 1, the correction function selection unit 160 acquires the amount of applied voltage that the voltage application control unit 120 applies to the liquid lens 10. The amount of applied voltage is represented by parameters V1... Vn. The correction function selection unit 160 of this example acquires, for example, V2 as the applied voltage amount. In step 2, the correction function selection unit 160 acquires the direction of gravity with respect to the liquid lens 10 from the acceleration detection unit 30.

液体レンズ１０に対する重力方向とは、例えば液体レンズ１０の光射出面に対する重力方向の傾きを指す。重力方向は、パラメータＧ１・・Ｇｎで表される。本例の補正関数選択部１６０は、重力方向として例えばＧ３を取得する。   The gravitational direction with respect to the liquid lens 10 indicates, for example, the inclination of the gravitational direction with respect to the light exit surface of the liquid lens 10. The direction of gravity is represented by parameters G1 ·· Gn. The correction function selection unit 160 of this example acquires G3 as the gravity direction, for example.

ステップ３において、補正関数選択部１６０は、撮像部８０の移動速度の変化により液体レンズ１０にかかる加速度情報を、加速度検出部３０から取得する。加速度情報は、Ａ１・・・Ａｎで表される。補正関数選択部１６０は、加速度情報として例えばＡｎ−２を取得する。最後にステップ４において、補正関数選択部１６０は、印加電圧量（本例ではＶ２）、重力方向（本例ではＧ３）、および、加速度情報（本例ではＡｎ−２）の組み合わせに応じて、映像信号を補正する補正関数Ｈ−１を取得する。補正関数は、印加電圧量（本例ではＶ２）、重力方向（本例ではＧ３）、および、加速度情報（本例ではＡｎ−２）の全ての組み合わせに対して与えられる。補正関数として、ステップ３で取得した加速度情報Ａｎ−２に対応する補正関数Ｈ−１を選択してよい。 In step 3, the correction function selection unit 160 acquires acceleration information applied to the liquid lens 10 from the acceleration detection unit 30 due to a change in the moving speed of the imaging unit 80. The acceleration information is represented by A1. The correction function selection unit 160 acquires, for example, An-2 as acceleration information. Finally, in step 4, the correction function selection unit 160 determines the applied voltage amount (V2 in this example), the direction of gravity (G3 in this example), and the combination of acceleration information (An-2 in this example), A correction function H- 1 for correcting the video signal is acquired. The correction function is given to all combinations of the applied voltage amount (V2 in this example), the direction of gravity (G3 in this example), and the acceleration information (An-2 in this example). As the correction function, the correction function H- 1 corresponding to the acceleration information An-2 acquired in step 3 may be selected.

補正関数テーブル５０は、出荷時に取得した補正関数Ｈ−１を格納する。補正関数選択部１６０は、電圧印加制御部１２０からの印加電圧量及び加速度検出部３０からの重力方向および加速度情報に基づいて、最も適した補正関数Ｈ−１を補正関数テーブル５０から選択する。補正関数選択部１６０は、選択した補正関数Ｈ−１をコンボリューション演算装置１４０に送信する。コンボリューション演算装置１４０は、補正関数Ｈ−１と、映像信号とをコンボリューション演算することにより、撮像素子２０が出力した映像信号を補正する。 The correction function table 50 stores the correction function H- 1 acquired at the time of shipment. The correction function selection unit 160 selects the most suitable correction function H −1 from the correction function table 50 based on the applied voltage amount from the voltage application control unit 120 and the gravity direction and acceleration information from the acceleration detection unit 30. The correction function selection unit 160 transmits the selected correction function H- 1 to the convolution operation device 140. The convolution operation device 140 corrects the video signal output from the image sensor 20 by performing a convolution operation on the correction function H −1 and the video signal.

図５は、本実施形態にかかる撮像装置１００の変形例を示す。本例において、撮像装置１００は、図３に示す撮像装置１００の構成に加え、さらに、温度検出部１１２、撮像制御部１１４、及び距離検出部１１６を備える。温度検出部１１２は、液体レンズ１０の温度を検出する。この場合、画像補正部４０は、液体レンズ１０の温度毎に、補正関数を格納する。つまり、補正関数テーブル５０は、液体レンズ１０の温度にさらに対応付けて補正関数を格納する。画像補正部４０は、撮像部８０が画像を撮像したときに温度検出部１１２が検出した温度にさらに対応する補正関数を用いて当該画像を補正する。これにより、画像補正部４０は、液体レンズ１０の温度変化に追従して映像信号を精度よく補正することができる。   FIG. 5 shows a modification of the imaging apparatus 100 according to the present embodiment. In this example, the imaging device 100 further includes a temperature detection unit 112, an imaging control unit 114, and a distance detection unit 116 in addition to the configuration of the imaging device 100 shown in FIG. The temperature detection unit 112 detects the temperature of the liquid lens 10. In this case, the image correction unit 40 stores a correction function for each temperature of the liquid lens 10. That is, the correction function table 50 stores the correction function in further association with the temperature of the liquid lens 10. The image correction unit 40 corrects the image using a correction function that further corresponds to the temperature detected by the temperature detection unit 112 when the imaging unit 80 captures an image. Thereby, the image correction unit 40 can accurately correct the video signal following the temperature change of the liquid lens 10.

撮像制御部１１４は、撮像部８０における焦点距離を制御する。撮像制御部１１４は、電圧印加制御部１２０が液体レンズ１０に印加する電圧を制御することで、液体レンズ１０の焦点距離を制御してよい。この場合、画像補正部４０は、撮像部８０における焦点距離毎に、補正関数を格納する。つまり、補正関数テーブル５０は、焦点位置にさらに対応付けて補正関数を格納する。画像補正部４０は、撮像部８０が画像を撮像したときの撮像部８０における焦点距離にさらに対応する補正関数を用いて画像を補正する。これにより、画像補正部４０は、焦点距離の変化に追従して映像信号を精度良く補正することができる。   The imaging control unit 114 controls the focal length in the imaging unit 80. The imaging control unit 114 may control the focal length of the liquid lens 10 by controlling the voltage that the voltage application control unit 120 applies to the liquid lens 10. In this case, the image correction unit 40 stores a correction function for each focal length in the imaging unit 80. That is, the correction function table 50 stores the correction function in further association with the focal position. The image correction unit 40 corrects the image using a correction function that further corresponds to the focal length in the imaging unit 80 when the imaging unit 80 captures an image. Accordingly, the image correction unit 40 can correct the video signal with high accuracy following the change in the focal length.

距離検出部１１６は、液体レンズ１０から被写体７０までの距離を検出する。この場合、画像補正部４０は、距離検出部１１６が検出する距離毎に、補正関数を格納する。つまり、補正関数テーブル５０は、液体レンズ１０から被写体７０までの被写体距離にさらに対応付けて補正関数を格納する。画像補正部４０は、撮像部８０が画像を撮像したときに距離検出部１１６が検出した距離に対応する補正関数を用いて画像を補正する。これにより、画像補正部４０は、液体レンズ１０から被写体７０までの距離の変化に追従して映像信号を精度良く補正することができる。撮像装置１００は、温度検出部１１２、撮像制御部１１４、および、距離検出部１１６のうち、いずれか１つまたは２つを有してよい。   The distance detection unit 116 detects the distance from the liquid lens 10 to the subject 70. In this case, the image correction unit 40 stores a correction function for each distance detected by the distance detection unit 116. That is, the correction function table 50 stores the correction function in further association with the subject distance from the liquid lens 10 to the subject 70. The image correction unit 40 corrects the image using a correction function corresponding to the distance detected by the distance detection unit 116 when the imaging unit 80 captures an image. As a result, the image correction unit 40 can accurately correct the video signal following the change in the distance from the liquid lens 10 to the subject 70. The imaging apparatus 100 may include any one or two of the temperature detection unit 112, the imaging control unit 114, and the distance detection unit 116.

尚、画像補正部４０は、撮像部８０が撮像した画像と、当該画像を撮像したときの加速度のベクトルとに基づいて、当該加速度のベクトルに対応する補正関数を算出して格納してよい。つまり、画像補正部４０は、撮像装置１００の出荷後に、既知の被写体７０を撮像装置１００に撮像させ、そのときの加速度ベクトルに基づいて、補正関数を更新してよい。具体的には、ある加速度が印加された液体レンズ１０により撮像した画像と、歪みの無い液体レンズ１０を用いて既知の被写体を撮像した参照画像とを比較し、それらの間の相関関係から、当該加速度における補正関数を算出してよい。こうすることにより、画像補正部４０は、出荷後において加速度に応じた補正関数を学習し、更新することができる。その結果、映像信号をより精度良く補正することができる。   The image correcting unit 40 may calculate and store a correction function corresponding to the acceleration vector based on the image captured by the imaging unit 80 and the acceleration vector obtained when the image is captured. That is, the image correction unit 40 may cause the imaging device 100 to capture an image of the known subject 70 after the imaging device 100 is shipped, and update the correction function based on the acceleration vector at that time. Specifically, an image captured by the liquid lens 10 to which a certain acceleration is applied is compared with a reference image obtained by capturing a known subject using the liquid lens 10 without distortion, and from the correlation between them, A correction function for the acceleration may be calculated. By doing so, the image correction unit 40 can learn and update a correction function corresponding to the acceleration after shipment. As a result, the video signal can be corrected with higher accuracy.

図６は、電圧印加制御部１２０によるレンズ制御と、画像補正部４０による画像処理の動作の一例を表す。ここで、電圧印加制御部１２０は、液体レンズ１０におけるレンズ形状を制御するレンズ制御部として機能する。電圧印加制御部１２０は、加速度検出部３０が検出する加速度の変化のうち、予め定められた周波数以下の成分に基づいて、液体レンズ１０を制御してよい。また、画像補正部４０は、加速度検出部３０が検出する加速度の変化のうち、当該予め定められた周波数より大きい成分に基づいて、画像を補正してよい。つまり、加速度ベクトルの変化のうち、所定の周波数以下の成分による液体レンズ１０の歪みについては、電圧印加制御部１２０を用いて、ハードウェア的に液体レンズ１０の液面形状を制御する。加速度ベクトルの変化のうち、所定の周波数より大きい成分による画像歪みについては、画像補正部４０を用いてソフトウェア的に画像を補正する。   FIG. 6 illustrates an example of lens control by the voltage application control unit 120 and image processing operation by the image correction unit 40. Here, the voltage application control unit 120 functions as a lens control unit that controls the lens shape of the liquid lens 10. The voltage application control unit 120 may control the liquid lens 10 based on a component having a frequency equal to or lower than a predetermined frequency among changes in acceleration detected by the acceleration detection unit 30. Further, the image correction unit 40 may correct the image based on a component larger than the predetermined frequency in the change in acceleration detected by the acceleration detection unit 30. That is, regarding the distortion of the liquid lens 10 due to a component having a predetermined frequency or less in the change in the acceleration vector, the liquid surface shape of the liquid lens 10 is controlled by hardware using the voltage application control unit 120. For image distortion due to a component greater than a predetermined frequency among changes in the acceleration vector, the image is corrected by software using the image correction unit 40.

こうすることにより、加速度ベクトルの変化のうち周波数の低い成分についてはハードウェアにより補正するので、補正関数テーブル５０が格納する補正関数のデータ量を低減することができる。また、加速度ベクトルの変化のうち周波数の高い成分についてはソフトウェアにより補正するので、高周波で変化する加速度による画像歪みを補正することができる。   By doing this, the low frequency component of the change in the acceleration vector is corrected by hardware, so that the data amount of the correction function stored in the correction function table 50 can be reduced. Further, since the high frequency component of the change in the acceleration vector is corrected by software, it is possible to correct the image distortion due to the acceleration changing at a high frequency.

まず、ステップ１において、電圧印加制御部１２０により液体レンズ１０に電圧を印加し、液体レンズ１０の液体界面の形状を制御する。ステップ２において、加速度検出部３０により加速度情報を取得する。加速度情報は、液体レンズ１０にかかる加速度のベクトルを時系列で計測した情報を含む。   First, in step 1, a voltage is applied to the liquid lens 10 by the voltage application control unit 120 to control the shape of the liquid interface of the liquid lens 10. In step 2, acceleration information is acquired by the acceleration detector 30. The acceleration information includes information obtained by measuring a vector of acceleration applied to the liquid lens 10 in time series.

ステップ３において、加速度ベクトルの変化に所定の周波数より大きい成分があるか否かを判定する。加速度ベクトルの変化に所定の周波数より大きい成分がない場合には、画像補正部４０による制御は行わず、電圧印加制御部１２０による制御のみで終了する。なお、所定の周波数は、電圧印加制御部１２０が、液体レンズ１０のレンズ形状を制御可能な周波数の上限に応じて定められる。   In step 3, it is determined whether or not there is a component larger than a predetermined frequency in the change of the acceleration vector. If there is no component greater than the predetermined frequency in the change of the acceleration vector, the control by the image correction unit 40 is not performed, and the control is terminated only by the control by the voltage application control unit 120. The predetermined frequency is determined according to the upper limit of the frequency at which the voltage application control unit 120 can control the lens shape of the liquid lens 10.

加速度ベクトルの変化に当該所定の周波数より大きい成分がある場合には、ステップ４に進み、画像補正部４０を用いて映像信号を補正する。つまり、加速度ベクトルの変化の低周波成分については電圧印加制御部１２０が液体界面を制御し、高周波成分については画像補正部４０が映像信号を補正する。   If there is a component larger than the predetermined frequency in the change of the acceleration vector, the process proceeds to step 4 and the video signal is corrected using the image correction unit 40. That is, the voltage application control unit 120 controls the liquid interface for the low-frequency component of the acceleration vector change, and the image correction unit 40 corrects the video signal for the high-frequency component.

図７は、第２実施形態にかかる撮像装置１００の構成を示す。第１実施形態と同一機能を有する部材には同一符号を付し、説明を省略する。第２実施形態は、補正関数選択部１６０が補正関数算出部１９０に置き換えられる点で第１実施形態と異なる。本例において、補正関数テーブル５０は、液体レンズＰＳＦ保存メモリ４００及びモーションブラーＰＳＦ保存メモリ４２０を有する。   FIG. 7 shows a configuration of the imaging apparatus 100 according to the second embodiment. Members having the same functions as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted. The second embodiment is different from the first embodiment in that the correction function selection unit 160 is replaced with a correction function calculation unit 190. In this example, the correction function table 50 includes a liquid lens PSF storage memory 400 and a motion blur PSF storage memory 420.

撮像画像の歪みの原因として、液体レンズ１０の液体界面の歪みと、手ぶれ等のモーションブラーとが考えられる。そこで、予め、液体レンズ１０の歪みによる画像ぼけ量及びモーションブラーによる画像ぼけ量を液体レンズ１０の加速度毎に取得し、液体レンズＰＳＦ保存メモリ４００及びモーションブラーＰＳＦ保存メモリ４２０にそれぞれ格納する。   Possible causes of distortion of the captured image include distortion at the liquid interface of the liquid lens 10 and motion blur such as camera shake. Therefore, the image blur amount due to distortion of the liquid lens 10 and the image blur amount due to motion blur are acquired in advance for each acceleration of the liquid lens 10 and stored in the liquid lens PSF storage memory 400 and the motion blur PSF storage memory 420, respectively.

液体レンズＰＳＦ保存メモリ４００及びモーションブラーＰＳＦ保存メモリ４２０は、図１から図６に関連して説明した補正関数テーブル５０と同様に、液体レンズ１０の温度、撮像部における焦点距離、及び液体レンズ１０から被写体７０までの距離にさらに対応付けられた液体レンズＰＳＦ及びモーションブラーＰＳＦを格納してもよい。画像補正部４０は、印加電圧量、重力方向、加速度情報に応じた画像ぼけ量に基づいて補正関数を算出し、当該補正関数を用いてコンボリューション処理を行って映像信号を補正する。こうすることで、補正関数を動的に取得することができる。その結果、手ぶれ等のモーションブラーによる画像歪みを補正することができる。   The liquid lens PSF storage memory 400 and the motion blur PSF storage memory 420 are similar to the correction function table 50 described with reference to FIGS. 1 to 6, and the temperature of the liquid lens 10, the focal length in the imaging unit, and the liquid lens 10. The liquid lens PSF and the motion blur PSF further associated with the distance from the subject 70 to the subject 70 may be stored. The image correction unit 40 calculates a correction function based on the applied voltage amount, the direction of gravity, and the amount of image blur according to the acceleration information, and performs a convolution process using the correction function to correct the video signal. In this way, the correction function can be acquired dynamically. As a result, image distortion due to motion blur such as camera shake can be corrected.

撮像系に加速度が加わったときの系のＰＳＦは、レンズ自身の持つ光学特性である液体レンズＰＳＦとモーションブラーＰＳＦとをコンボリューション演算することにより得られる。ここで、ＰＳＦは点広がり関数を指す。そこで、予め液体レンズＰＳＦ保存メモリ４００及びモーションブラーＰＳＦ保存メモリ４２０に格納した、加速度に対応する液体レンズＰＳＦ及びモーションブラーＰＳＦを読み出してコンボリューション演算することにより、補正関数算出部１９０は、撮像系のＰＳＦを算出することができる。補正関数算出部１９０は、撮像系のＰＳＦに基づいて補正関数Ｈ−１を算出する。 The PSF of the system when acceleration is applied to the imaging system is obtained by performing a convolution operation on the liquid lens PSF and the motion blur PSF, which are optical characteristics of the lens itself. Here, PSF indicates a point spread function. Therefore, the correction function calculation unit 190 reads the liquid lens PSF and motion blur PSF corresponding to acceleration stored in the liquid lens PSF storage memory 400 and the motion blur PSF storage memory 420 in advance, and performs a convolution operation. Can be calculated. The correction function calculation unit 190 calculates a correction function H −1 based on the PSF of the imaging system.

図８は、補正関数算出部１９０の動作を示すフローチャートである。ステップ１において、補正関数算出部１９０は、電圧印加制御部１２０により液体レンズ１０へ印加する印加電圧量を取得する。ステップ２において、補正関数算出部１９０は、加速度検出部３０により重力方向を取得する。   FIG. 8 is a flowchart showing the operation of the correction function calculation unit 190. In step 1, the correction function calculation unit 190 acquires the amount of applied voltage applied to the liquid lens 10 by the voltage application control unit 120. In step 2, the correction function calculation unit 190 acquires the direction of gravity using the acceleration detection unit 30.

ステップ３において、補正関数算出部１９０は、液体レンズＰＳＦ保存メモリ４００からステップ１及びステップ２で取得した印加電圧量及び重力方向に対応する液体レンズＰＳＦを選択する。ステップ４において、補正関数算出部１９０は、加速度検出部３０により加速度情報を取得する。   In step 3, the correction function calculation unit 190 selects the liquid lens PSF corresponding to the applied voltage amount and the gravity direction acquired in steps 1 and 2 from the liquid lens PSF storage memory 400. In step 4, the correction function calculation unit 190 acquires acceleration information by the acceleration detection unit 30.

ステップ５において、補正関数算出部１９０は加速度が所定の閾値以上であるか否かを判定する。加速度が所定の閾値以上である場合には、ステップ６に進み、補正関数算出部１９０は、モーションブラーＰＳＦ保存メモリ４２０から加速度情報に対応するモーションブラーＰＳＦを選択する。加速度が所定の閾値以下である場合には、モーションブラーＰＳＦは選択されず、ステップ７に進む。   In step 5, the correction function calculation unit 190 determines whether the acceleration is equal to or greater than a predetermined threshold value. When the acceleration is equal to or greater than the predetermined threshold value, the process proceeds to step 6, and the correction function calculation unit 190 selects the motion blur PSF corresponding to the acceleration information from the motion blur PSF storage memory 420. If the acceleration is equal to or less than the predetermined threshold, the motion blur PSF is not selected and the process proceeds to step 7.

ステップ７において、補正関数算出部１９０は撮像系ＰＳＦを算出する。具体的には、モーションブラーＰＳＦを選択している場合には、ステップ３において選択した液体レンズＰＳＦと、ステップ６において選択したモーションブラーＰＳＦとをコンボリューション演算することにより、補正関数算出部１９０は撮像系ＰＳＦを算出する。モーションブラーＰＳＦを選択していない場合には、補正関数算出部１９０はステップ３において選択した液体レンズＰＳＦを撮像系ＰＳＦとする。   In step 7, the correction function calculation unit 190 calculates the imaging system PSF. Specifically, when the motion blur PSF is selected, the correction function calculation unit 190 performs a convolution operation on the liquid lens PSF selected in step 3 and the motion blur PSF selected in step 6. An imaging system PSF is calculated. When the motion blur PSF is not selected, the correction function calculation unit 190 sets the liquid lens PSF selected in step 3 as the imaging system PSF.

ステップ８において、補正関数算出部１９０は撮像系ＰＳＦから補正関数Ｈ−１を算出する。具体的には、撮像系ＰＳＦの逆関数をとることにより、補正関数算出部１９０は補正関数Ｈ−１を算出することができる。こうすることにより、手ぶれ等のモーションブラーによる影響に応じて、補正関数を動的に変更することができる。その結果、手ぶれ等のモーションブラーによる画像歪みを動的に補正することができる。 In step 8, the correction function calculation unit 190 calculates a correction function H −1 from the imaging system PSF. Specifically, the correction function calculation unit 190 can calculate the correction function H −1 by taking the inverse function of the imaging system PSF. By doing so, the correction function can be dynamically changed according to the influence of motion blur such as camera shake. As a result, image distortion due to motion blur such as camera shake can be dynamically corrected.

図９は、第３の実施形態にかかる撮像装置１００および画像処理装置９０の構成を示す。本例において、撮像装置１００の外部に、画像処理装置９０が設けられる。例えば、画像処理装置９０は、撮像装置１００に接続されるパーソナルコンピュータの内部に設けられる。画像処理装置９０は、画像取得部６２と、加速度取得部３２と、画像補正部４０と、補正関数テーブル５０と、及びメモリ５２とを備える。画像補正部４０および補正関数テーブル５０は、図１から図８に関連して説明した画像補正部４０および補正関数テーブル５０と同一である。   FIG. 9 shows configurations of the imaging device 100 and the image processing device 90 according to the third embodiment. In this example, an image processing device 90 is provided outside the imaging device 100. For example, the image processing device 90 is provided inside a personal computer connected to the imaging device 100. The image processing apparatus 90 includes an image acquisition unit 62, an acceleration acquisition unit 32, an image correction unit 40, a correction function table 50, and a memory 52. The image correction unit 40 and the correction function table 50 are the same as the image correction unit 40 and the correction function table 50 described with reference to FIGS.

本例の撮像装置１００は、図１から図８に関連して説明した撮像装置１００の構成要素のうち、画像処理装置９０に含まれない構成要素を有する。一例として、撮像部８０、加速度検出部３０、およびメモリ６０を有する撮像装置１００を図９に示す。   The imaging device 100 of this example includes components that are not included in the image processing device 90 among the components of the imaging device 100 described in relation to FIGS. 1 to 8. As an example, an imaging apparatus 100 including an imaging unit 80, an acceleration detection unit 30, and a memory 60 is illustrated in FIG.

画像取得部６２は、撮像装置１００が撮像した画像を取得する。加速度取得部３２は、画像取得部６２が取得した画像を撮像装置１００が撮像したときに、液体レンズ１０にかかっていた加速度を示す加速度情報を取得する。画像補正部４０は、加速度取得部３２が取得した加速度情報に基づいて、画像取得部６２が取得した画像を補正する。具体的には、画像補正部４０は、加速度ベクトル情報に応じた補正関数Ｈ―１を補正関数テーブル５０から選択し、映像信号を補正する。補正された画像は、メモリ５２に格納される。 The image acquisition unit 62 acquires an image captured by the imaging device 100. The acceleration acquisition unit 32 acquires acceleration information indicating the acceleration applied to the liquid lens 10 when the imaging apparatus 100 images the image acquired by the image acquisition unit 62. The image correction unit 40 corrects the image acquired by the image acquisition unit 62 based on the acceleration information acquired by the acceleration acquisition unit 32. Specifically, the image correction unit 40 selects a correction function H- 1 corresponding to the acceleration vector information from the correction function table 50, and corrects the video signal. The corrected image is stored in the memory 52.

こうすることで、画像処理装置９０が撮像装置１００の外部に設けられるので、撮像装置１００の構成を簡略化することができる。また画像処理装置９０は、液体レンズ１０にかかる加速度の変化に応じて映像信号を補正することができる。   By doing so, since the image processing apparatus 90 is provided outside the imaging apparatus 100, the configuration of the imaging apparatus 100 can be simplified. Further, the image processing device 90 can correct the video signal in accordance with a change in acceleration applied to the liquid lens 10.

図１０は、コンピュータ８００のハードウェア構成の一例を示す。コンピュータ８００は、与えられるプログラムに応じて、図１から図９に関連して説明した画像処理装置９０として機能する。   FIG. 10 shows an example of a hardware configuration of the computer 800. The computer 800 functions as the image processing apparatus 90 described with reference to FIGS. 1 to 9 according to a given program.

本実施形態に係るコンピュータ８００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。   A computer 800 according to the present embodiment is connected to a CPU peripheral unit having a CPU 2000, a RAM 2020, a graphic controller 2075, and a display device 2080 connected to each other by a host controller 2082, and to the host controller 2082 by an input / output controller 2084. Input / output unit having communication interface 2030, hard disk drive 2040, and CD-ROM drive 2060, and legacy input / output unit having ROM 2010, flexible disk drive 2050, and input / output chip 2070 connected to input / output controller 2084 With.

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 2082 connects the RAM 2020 to the CPU 2000 and the graphic controller 2075 that access the RAM 2020 at a high transfer rate. The CPU 2000 operates based on programs stored in the ROM 2010 and the RAM 2020 and controls each unit. The graphic controller 2075 acquires image data generated by the CPU 2000 or the like on a frame buffer provided in the RAM 2020 and displays it on the display device 2080. Instead of this, the graphic controller 2075 may include a frame buffer for storing image data generated by the CPU 2000 or the like.

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ８００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。   The input / output controller 2084 connects the host controller 2082 to the communication interface 2030, the hard disk drive 2040, and the CD-ROM drive 2060, which are relatively high-speed input / output devices. The communication interface 2030 communicates with other devices via a network. The hard disk drive 2040 stores programs and data used by the CPU 2000 in the computer 800. The CD-ROM drive 2060 reads a program or data from the CD-ROM 2095 and provides it to the hard disk drive 2040 via the RAM 2020.

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ８００が起動時に実行するブート・プログラム、及び／又は、コンピュータ８００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。   The input / output controller 2084 is connected to the ROM 2010, the flexible disk drive 2050, and the relatively low-speed input / output device of the input / output chip 2070. The ROM 2010 stores a boot program that is executed when the computer 800 is started and / or a program that depends on the hardware of the computer 800. The flexible disk drive 2050 reads a program or data from the flexible disk 2090 and provides it to the hard disk drive 2040 via the RAM 2020. The input / output chip 2070 connects the flexible disk drive 2050 to the input / output controller 2084 and inputs / outputs various input / output devices via, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like. Connect to controller 2084.

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ８００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。   A program provided to the hard disk drive 2040 via the RAM 2020 is stored in a recording medium such as the flexible disk 2090, the CD-ROM 2095, or an IC card and provided by the user. The program is read from the recording medium, installed in the hard disk drive 2040 in the computer 800 via the RAM 2020, and executed by the CPU 2000.

コンピュータ８００にインストールされ、コンピュータ８００を画像処理装置９０として機能させるプログラムは、画像生成モジュール、画像処理モジュール、配列方向制御モジュール、および、モード切替モジュールのうちの少なくともいずれかを有する。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ８００を画像処理装置９０としてそれぞれ機能させる。   A program that is installed in the computer 800 and causes the computer 800 to function as the image processing apparatus 90 includes at least one of an image generation module, an image processing module, an arrangement direction control module, and a mode switching module. These programs or modules work on the CPU 2000 or the like to cause the computer 800 to function as the image processing apparatus 90, respectively.

これらのプログラムに記述された情報処理は、コンピュータ８００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像処理装置９０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ８００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置９０が構築される。   Information processing described in these programs functions as an image processing apparatus 90 that is a specific means in which software and the various hardware resources described above cooperate when read by the computer 800. The specific image processing apparatus 90 corresponding to the purpose of use is constructed by realizing calculation or processing of information according to the purpose of use of the computer 800 in this embodiment by these specific means.

一例として、コンピュータ８００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。   As an example, when communication is performed between the computer 800 and an external device or the like, the CPU 2000 executes a communication program loaded on the RAM 2020, and based on the processing contents described in the communication program, the communication interface A communication process is instructed to 2030. Under the control of the CPU 2000, the communication interface 2030 reads transmission data stored in a transmission buffer area or the like provided on a storage device such as the RAM 2020, the hard disk drive 2040, the flexible disk 2090, or the CD-ROM 2095, and sends it to the network. The reception data transmitted or received from the network is written into a reception buffer area or the like provided on the storage device. As described above, the communication interface 2030 may transfer transmission / reception data to / from the storage device by a DMA (direct memory access) method. Instead, the CPU 2000 transfers the storage device or the communication interface 2030 as a transfer source. The transmission / reception data may be transferred by reading the data from the data and writing the data to the communication interface 2030 or the storage device of the transfer destination.

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。   The CPU 2000 is all or necessary from among files or databases stored in an external storage device such as a hard disk drive 2040, a CD-ROM drive 2060 (CD-ROM 2095), and a flexible disk drive 2050 (flexible disk 2090). This portion is read into the RAM 2020 by DMA transfer or the like, and various processes are performed on the data on the RAM 2020. Then, CPU 2000 writes the processed data back to the external storage device by DMA transfer or the like. In such processing, since the RAM 2020 can be regarded as temporarily holding the contents of the external storage device, in the present embodiment, the RAM 2020 and the external storage device are collectively referred to as a memory, a storage unit, or a storage device.

本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。   Various types of information such as various programs, data, tables, and databases in the present embodiment are stored on such a storage device and are subjected to information processing. Note that the CPU 2000 can also store a part of the RAM 2020 in the cache memory and perform reading and writing on the cache memory. Even in such a form, the cache memory bears a part of the function of the RAM 2020. Therefore, in the present embodiment, the cache memory is also included in the RAM 2020, the memory, and / or the storage device unless otherwise indicated. To do.

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。   In addition, the CPU 2000 performs various operations, such as various operations, information processing, condition determination, information search / replacement, etc., described in the present embodiment, specified for the data read from the RAM 2020 by the instruction sequence of the program. Is written back to the RAM 2020. For example, when performing the condition determination, the CPU 2000 determines whether the various variables shown in the present embodiment satisfy the conditions such as large, small, above, below, equal, etc., compared to other variables or constants. When the condition is satisfied (or not satisfied), the program branches to a different instruction sequence or calls a subroutine.

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。   Further, the CPU 2000 can search for information stored in a file or database in the storage device. For example, in the case where a plurality of entries in which the attribute value of the second attribute is associated with the attribute value of the first attribute are stored in the storage device, the CPU 2000 displays the plurality of entries stored in the storage device. The entry that matches the condition in which the attribute value of the first attribute is specified is retrieved, and the attribute value of the second attribute that is stored in the entry is read, thereby associating with the first attribute that satisfies the predetermined condition The attribute value of the specified second attribute can be obtained.

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ８００に提供してもよい。   The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the flexible disk 2090 and the CD-ROM 2095, an optical recording medium such as DVD or CD, a magneto-optical recording medium such as MO, a tape medium, a semiconductor memory such as an IC card, and the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 800 via the network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

１０・・・液体レンズ、２０・・・撮像素子、３０・・・加速度検出部、３２・・・加速度取得部、４０・・・画像補正部、５０・・・補正関数テーブル、５２・・・メモリ、６０・・・メモリ、６２・・・画像取得部、７０・・・被写体、８０・・・撮像部、９０・・・画像処理装置、１００・・・撮像装置、１０２・・・被写体画像、１０４・・・画像成分、１１０・・・Ｒａｗ保存メモリ、１１２・・・温度検出部、１１４・・・撮像制御部、１１６・・・距離検出部、１２０・・・電圧印加制御部、１４０・・・コンボリューション演算装置、１５０・・・カメラ信号処理部、１６０・・・補正関数選択部、１９０・・・補正関数算出部、４００・・・液体レンズＰＳＦ保存メモリ、４２０・・・モーションブラーＰＳＦ保存メモリ、８００・・・コンピュータ、２０００・・・ＣＰＵ、２０１０・・・ＲＯＭ、２０２０・・・ＲＡＭ、２０３０・・・通信インターフェイス、２０４０・・・ハードディスクドライブ、２０５０・・・フレキシブルディスク・ドライブ、２０６０・・・ＣＤ−ＲＯＭドライブ、２０７０・・・入出力チップ、２０７５・・・グラフィック・コントローラ、２０８０・・・表示装置、２０８２・・・ホスト・コントローラ、２０８４・・・入出力コントローラ、２０９０・・・フレキシブルディスク、２０９５・・・ＣＤ−ＲＯＭ DESCRIPTION OF SYMBOLS 10 ... Liquid lens, 20 ... Image sensor, 30 ... Acceleration detection part, 32 ... Acceleration acquisition part, 40 ... Image correction part, 50 ... Correction function table, 52 ... Memory, 60 ... Memory, 62 ... Image acquisition unit, 70 ... Subject, 80 ... Imaging unit, 90 ... Image processing device, 100 ... Imaging device, 102 ... Subject image , 104 ... Image components, 110 ... Raw storage memory, 112 ... Temperature detection unit, 114 ... Imaging control unit, 116 ... Distance detection unit, 120 ... Voltage application control unit, 140 ... Convolution calculation device, 150 ... Camera signal processing unit, 160 ... Correction function selection unit, 190 ... Correction function calculation unit, 400 ... Liquid lens PSF storage memory, 420 ... Motion Blur PSF storage memory 800 ... Computer, 2000 ... CPU, 2010 ... ROM, 2020 ... RAM, 2030 ... Communication interface, 2040 ... Hard disk drive, 2050 ... Flexible disk drive, 2060 ... CD-ROM drive, 2070 ... input / output chip, 2075 ... graphic controller, 2080 ... display device, 2082 ... host controller, 2084 ... input / output controller, 2090 ... flexible Disc, 2095 ... CD-ROM

Claims (10)

被写体を撮像する撮像装置であって、
液体レンズを用いて前記被写体を撮像する撮像部と、
前記液体レンズにかかる加速度を検出する加速度検出部と、
前記加速度検出部が検出した前記加速度に基づいて、前記撮像部が撮像した画像を補正する画像補正部と
を備える撮像装置。 An imaging device for imaging a subject,
An imaging unit that images the subject using a liquid lens;
An acceleration detector for detecting an acceleration applied to the liquid lens;
An imaging apparatus comprising: an image correction unit that corrects an image captured by the imaging unit based on the acceleration detected by the acceleration detection unit. 前記加速度検出部は、前記加速度のベクトルを検出し、
前記画像補正部は、前記加速度検出部が検出した前記加速度のベクトルに基づいて、前記撮像部が撮像した画像を補正する
請求項１に記載の撮像装置。 The acceleration detection unit detects a vector of the acceleration,
The imaging apparatus according to claim 1, wherein the image correction unit corrects an image captured by the imaging unit based on the acceleration vector detected by the acceleration detection unit. 前記画像補正部は、複数種類の前記加速度のベクトルと、前記画像を補正するのに用いる補正関数との関係を予め格納し、前記加速度検出部が検出した前記加速度のベクトルに対応する前記補正関数を用いて、前記撮像部が撮像した画像を補正する
請求項２に記載の撮像装置。 The image correction unit stores in advance a relationship between a plurality of types of acceleration vectors and a correction function used to correct the image, and the correction function corresponding to the acceleration vector detected by the acceleration detection unit. The image pickup apparatus according to claim 2, wherein the image picked up by the image pickup unit is corrected using. 前記液体レンズの温度を検出する温度検出部を更に備え、
前記画像補正部は、前記液体レンズの温度毎に、前記補正関数を格納し、
前記画像補正部は、前記温度検出部が検出した温度に対応する前記補正関数を用いて前記画像を補正する
請求項３に記載の撮像装置。 A temperature detection unit for detecting the temperature of the liquid lens;
The image correction unit stores the correction function for each temperature of the liquid lens,
The imaging apparatus according to claim 3, wherein the image correction unit corrects the image using the correction function corresponding to the temperature detected by the temperature detection unit. 前記撮像部における焦点距離を制御する撮像制御部を更に備え、
前記画像補正部は、前記撮像部における前記焦点距離毎に、前記補正関数を格納し、
前記画像補正部は、前記撮像部における前記焦点距離に対応する前記補正関数を用いて前記画像を補正する
請求項３に記載の撮像装置。 An imaging control unit for controlling a focal length in the imaging unit;
The image correction unit stores the correction function for each focal length in the imaging unit,
The imaging apparatus according to claim 3, wherein the image correction unit corrects the image using the correction function corresponding to the focal length in the imaging unit. 前記液体レンズから前記被写体までの距離を検出する距離検出部を更に備え、
前記画像補正部は、前記距離検出部が検出する距離毎に、前記補正関数を格納し、
前記画像補正部は、前記距離検出部が検出した距離に対応する前記補正関数を用いて前記画像を補正する
請求項３に記載の撮像装置。 A distance detection unit that detects a distance from the liquid lens to the subject;
The image correction unit stores the correction function for each distance detected by the distance detection unit,
The imaging apparatus according to claim 3, wherein the image correction unit corrects the image using the correction function corresponding to the distance detected by the distance detection unit. 前記画像補正部は、前記撮像部が撮像した画像と、当該画像を撮像したときの前記加速度のベクトルとに基づいて、当該加速度のベクトルに対応する前記補正関数を算出して格納する
請求項３に記載の撮像装置。 The image correction unit calculates and stores the correction function corresponding to the acceleration vector based on the image captured by the imaging unit and the acceleration vector when the image is captured. The imaging device described in 1. 前記加速度検出部が検出する加速度の変化のうち、予め定められた周波数以下の成分に基づいて、前記液体レンズを制御するレンズ制御部を更に備え、
前記画像補正部は、前記加速度検出部が検出する加速度の変化のうち、前記予め定められた周波数より大きい成分に基づいて、前記画像を補正する
請求項１から７のいずれか一項に記載の撮像装置。 Of the change in acceleration detected by the acceleration detection unit, further comprising a lens control unit for controlling the liquid lens based on a component having a predetermined frequency or less,
The said image correction part correct | amends the said image based on the component larger than the said predetermined frequency among the changes of the acceleration which the said acceleration detection part detects. Imaging device. 液体レンズを用いて被写体を撮像する撮像装置により撮像された画像を処理する画像処理装置であって、
前記撮像装置が撮像した画像を取得する画像取得部と、
前記画像取得部が取得した画像を撮像したときに、前記液体レンズにかかっていた加速度を示す加速度情報を取得する加速度取得部と、
前記加速度取得部が取得した前記加速度情報に基づいて、前記画像取得部が取得した画像を補正する画像補正部と
を備える画像処理装置。 An image processing device that processes an image picked up by an image pickup device that picks up a subject using a liquid lens,
An image acquisition unit for acquiring an image captured by the imaging device;
An acceleration acquisition unit that acquires acceleration information indicating an acceleration applied to the liquid lens when an image acquired by the image acquisition unit is captured;
An image processing apparatus comprising: an image correction unit that corrects an image acquired by the image acquisition unit based on the acceleration information acquired by the acceleration acquisition unit. コンピュータを、請求項９の画像処理装置として機能させるプログラム。   A program that causes a computer to function as the image processing apparatus according to claim 9.
JP2010133275A 2010-06-10 2010-06-10 Imaging device, image processing device, and program Withdrawn JP2011259314A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010133275A JP2011259314A (en) 2010-06-10 2010-06-10 Imaging device, image processing device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010133275A JP2011259314A (en) 2010-06-10 2010-06-10 Imaging device, image processing device, and program

Publications (1)

Publication Number Publication Date
JP2011259314A true JP2011259314A (en) 2011-12-22

Family

ID=45474973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010133275A Withdrawn JP2011259314A (en) 2010-06-10 2010-06-10 Imaging device, image processing device, and program

Country Status (1)

Country Link
JP (1) JP2011259314A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255055A (en) * 2012-06-06 2013-12-19 Canon Inc Image processing method, image processing apparatus, and imaging apparatus
WO2014050189A1 (en) * 2012-09-27 2014-04-03 富士フイルム株式会社 Imaging device and image processing method
WO2014050188A1 (en) * 2012-09-27 2014-04-03 富士フイルム株式会社 Imaging device and image processing method
JP2016224204A (en) * 2015-05-29 2016-12-28 キヤノン株式会社 Tremor correction device, optical device, imaging device, and tremor correction method
US10810714B2 (en) 2017-08-15 2020-10-20 Canon Kabushiki Kaisha Image restoration processing utilizing settings for image correction
WO2020246770A1 (en) * 2019-06-03 2020-12-10 엘지이노텍(주) Liquid lens control device for controlling liquid lens module comprising liquid lens, control method therefor, and camera module comprising device
WO2021118264A1 (en) * 2019-12-11 2021-06-17 엘지이노텍 주식회사 Camera module
CN115115530A (en) * 2022-01-14 2022-09-27 长城汽车股份有限公司 Image deblurring method, device, terminal equipment and medium
DE112021007326T5 (en) 2021-05-27 2024-02-29 Fanuc Corporation IMAGING DEVICE FOR CALCULATION OF THE THREE-DIMENSIONAL POSITION BASED ON AN IMAGE RECORDED BY AN IMAGE SENSOR

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255055A (en) * 2012-06-06 2013-12-19 Canon Inc Image processing method, image processing apparatus, and imaging apparatus
DE112013004759B4 (en) * 2012-09-27 2017-10-19 Fujifilm Corporation Image pickup device and image processing method
DE112013004760B4 (en) * 2012-09-27 2017-10-19 Fujifilm Corporation Image capture device and image processing method
CN104662890A (en) * 2012-09-27 2015-05-27 富士胶片株式会社 Imaging device and image processing method
CN104685863A (en) * 2012-09-27 2015-06-03 富士胶片株式会社 Imaging device and image processing method
US9363430B2 (en) 2012-09-27 2016-06-07 Fujifilm Corporation Imaging device and image processing method
US9402024B2 (en) 2012-09-27 2016-07-26 Fujifilm Corporation Imaging device and image processing method
WO2014050188A1 (en) * 2012-09-27 2014-04-03 富士フイルム株式会社 Imaging device and image processing method
WO2014050189A1 (en) * 2012-09-27 2014-04-03 富士フイルム株式会社 Imaging device and image processing method
CN104662890B (en) * 2012-09-27 2017-11-17 富士胶片株式会社 Camera device and image processing method
JP2016224204A (en) * 2015-05-29 2016-12-28 キヤノン株式会社 Tremor correction device, optical device, imaging device, and tremor correction method
US10810714B2 (en) 2017-08-15 2020-10-20 Canon Kabushiki Kaisha Image restoration processing utilizing settings for image correction
WO2020246770A1 (en) * 2019-06-03 2020-12-10 엘지이노텍(주) Liquid lens control device for controlling liquid lens module comprising liquid lens, control method therefor, and camera module comprising device
WO2021118264A1 (en) * 2019-12-11 2021-06-17 엘지이노텍 주식회사 Camera module
DE112021007326T5 (en) 2021-05-27 2024-02-29 Fanuc Corporation IMAGING DEVICE FOR CALCULATION OF THE THREE-DIMENSIONAL POSITION BASED ON AN IMAGE RECORDED BY AN IMAGE SENSOR
CN115115530A (en) * 2022-01-14 2022-09-27 长城汽车股份有限公司 Image deblurring method, device, terminal equipment and medium

Similar Documents

Publication Publication Date Title
JP2011259314A (en) Imaging device, image processing device, and program
JP5414405B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5794705B2 (en) Imaging apparatus, control method thereof, and program
KR101017802B1 (en) Image distortion correction
US8606035B2 (en) Image processing apparatus and image processing method
JP5535053B2 (en) Image processing apparatus and image processing method
US20110033132A1 (en) Image correction apparatus and image correction method
JP5499050B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN102986208A (en) Imaging apparatus, image processing method, and recording medium for recording program thereon
KR102581210B1 (en) Method for processing image signal, image signal processor, and image sensor chip
US8159554B2 (en) Image processing apparatus, image processing method, image capturing apparatus, and medium storing a program for processing an image based on spread of light
JP2011113234A (en) Image processor, and method of operating the image processor
US20180033121A1 (en) Image processing apparatus, image processing method, and storage medium
JP5103637B2 (en) Imaging apparatus, imaging method, and program
JP4885150B2 (en) Image processing device
US9002128B2 (en) Image processing apparatus, integrated circuit, program, imaging apparatus, and display apparatus
CN102625046B (en) Anti-shake device and method for photography
CN112752086B (en) Image signal processor, method and system for environment mapping
JP2013232757A (en) Imaging apparatus, image processing apparatus, image processing method, and program
JP6016546B2 (en) Imaging device, control method thereof, and control program
JP4763415B2 (en) Image processing device
JP5919998B2 (en) Imaging apparatus, image processing apparatus, image processing method, and program
JP5633248B2 (en) Signal processing apparatus, defect detection apparatus, signal processing method, defect detection method, and program
WO2022141620A1 (en) Integrated visual-inertial odometry and image stabilization for image processing
KR102522566B1 (en) Electronic devices for and methods of implementing memory transfers for image warping in an electronic device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130903