JP2017049410A - Camera module - Google Patents

Camera module Download PDF

Info

Publication number
JP2017049410A
JP2017049410A JP2015171999A JP2015171999A JP2017049410A JP 2017049410 A JP2017049410 A JP 2017049410A JP 2015171999 A JP2015171999 A JP 2015171999A JP 2015171999 A JP2015171999 A JP 2015171999A JP 2017049410 A JP2017049410 A JP 2017049410A
Authority
JP
Japan
Prior art keywords
pixel
lens
phase difference
signal
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015171999A
Other languages
Japanese (ja)
Inventor
加治 伸暁
Nobuaki Kaji
伸暁 加治
哲也 中川
Tetsuya Nakagawa
哲也 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015171999A priority Critical patent/JP2017049410A/en
Publication of JP2017049410A publication Critical patent/JP2017049410A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a camera module that makes accurate focusing possible.SOLUTION: According to an embodiment of the invention, a camera module 2 comprises an image-capturing optical system 4, a pixel area, a memory 17 that is a holding unit, a correction circuit 16 that is a correction unit, and a focus driver 12 that is a focus adjustment unit. The pixel area includes a focus detection pixel. The focus detection pixel is a pixel for detecting misalignment between a subject and a focus of the image-capturing optical system 4. The holding unit holds a lens position relative to the pixel area and a correction coefficient in association with each other, with regard to a first direction and/or a second direction. The first direction is perpendicular to the optical axis of the image-capturing optical system 4. The second direction is perpendicular to the optical axis and the first direction. The correction unit corrects the signal value of the focus detection pixel using the correction coefficient. The correction coefficient is read out from the holding unit in accordance with the lens position. The focus adjustment unit adjusts the focus of the image-capturing optical system 4 on the basis of the result of misalignment detection by use of a signal from the correction unit.SELECTED DRAWING: Figure 1

Description

本実施形態は、カメラモジュールに関する。   The present embodiment relates to a camera module.

従来、カメラモジュールのオートフォーカスの方式の1つとして、画素アレイの焦点検出画素を用いる方式が知られている。カメラモジュールは、焦点検出画素からの信号を基に、撮像レンズの焦点と被写体とのずれを検出し、被写体に焦点を合わせる。カメラモジュールは、画素アレイに対する撮像レンズの位置に応じて、焦点検出画素からの信号に変動を生じさせる場合がある。   2. Description of the Related Art Conventionally, a method using focus detection pixels of a pixel array is known as one of autofocus methods for camera modules. The camera module detects a shift between the focus of the imaging lens and the subject based on a signal from the focus detection pixel, and focuses the subject. The camera module may cause a variation in the signal from the focus detection pixel depending on the position of the imaging lens with respect to the pixel array.

特開2012−226213号公報JP 2012-226213 A

一つの実施形態は、正確な焦点合わせを可能とするカメラモジュールを提供することを目的とする。   An object of one embodiment is to provide a camera module that enables accurate focusing.

一つの実施形態によれば、カメラモジュールは、撮像光学系、画素領域、保持部、補正部および焦点調節部を備える。撮像光学系は、レンズを備える。レンズは、被写体からの光を取り込む。画素領域は、行列状に配列された画素を備える。画素領域は、焦点検出画素を含む。焦点検出画素は、被写体と撮像光学系の焦点とのずれを検出するための画素である。保持部は、レンズの位置と補正係数とを互いに関連付けて保持する。レンズの位置は、第1方向および第2方向のうち少なくとも一方についての、画素領域に対するレンズの位置である。第1方向は、撮像光学系の光軸に垂直である。第2方向は、光軸および第1方向に垂直である。補正部は、補正係数を用いて、焦点検出画素の信号値を補正する。補正係数は、レンズの位置に応じて保持部から読み出される。焦点調節部は、補正部からの信号の使用によりずれを検出した結果を基に、撮像光学系の焦点を調節する。   According to one embodiment, the camera module includes an imaging optical system, a pixel region, a holding unit, a correction unit, and a focus adjustment unit. The imaging optical system includes a lens. The lens captures light from the subject. The pixel area includes pixels arranged in a matrix. The pixel area includes focus detection pixels. The focus detection pixel is a pixel for detecting a shift between the subject and the focus of the imaging optical system. The holding unit holds the lens position and the correction coefficient in association with each other. The position of the lens is the position of the lens with respect to the pixel region in at least one of the first direction and the second direction. The first direction is perpendicular to the optical axis of the imaging optical system. The second direction is perpendicular to the optical axis and the first direction. The correction unit corrects the signal value of the focus detection pixel using the correction coefficient. The correction coefficient is read from the holding unit according to the position of the lens. The focus adjustment unit adjusts the focus of the imaging optical system based on the result of detecting the shift by using the signal from the correction unit.

図1は、実施形態のカメラモジュールを備えるカメラシステムの概略構成を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration of a camera system including the camera module of the embodiment. 図2は、図1に示すカメラモジュールに備えられたイメージセンサおよび撮像処理回路を示すブロック図である。FIG. 2 is a block diagram showing an image sensor and an imaging processing circuit provided in the camera module shown in FIG. 図3は、図2に示す画素領域の一部構成を模式的に示す平面図である。FIG. 3 is a plan view schematically showing a partial configuration of the pixel region shown in FIG. 図4は、図3に示す位相差画素の信号値と光の入射角との関係を説明する図である。FIG. 4 is a diagram for explaining the relationship between the signal value of the phase difference pixel shown in FIG. 3 and the incident angle of light. 図5は、実施形態のカメラモジュールによるフォーカス調節の手順を説明するフローチャートである。FIG. 5 is a flowchart for explaining a focus adjustment procedure by the camera module of the embodiment.

以下に添付図面を参照して、実施形態にかかるカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。   Hereinafter, a camera module according to an embodiment will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by this embodiment.

(実施形態)
図1は、実施形態のカメラモジュールを備えるカメラシステムの概略構成を示すブロック図である。カメラシステム1は、カメラモジュール2を備える電子機器である。カメラシステム1は、例えばカメラ付き携帯端末である。カメラシステム1は、デジタルカメラ等の電子機器であっても良い。
(Embodiment)
FIG. 1 is a block diagram illustrating a schematic configuration of a camera system including the camera module of the embodiment. The camera system 1 is an electronic device that includes a camera module 2. The camera system 1 is a mobile terminal with a camera, for example. The camera system 1 may be an electronic device such as a digital camera.

カメラシステム1は、カメラモジュール2および後段処理部3を備える。カメラモジュール2は、撮像光学系4、イメージセンサ7および撮像処理回路8を備える。また、カメラモジュール2は、オートフォーカス調整のための機構と、手振れ補正(Optical Image Stabilization;OIS)のための機構を備える。   The camera system 1 includes a camera module 2 and a post-processing unit 3. The camera module 2 includes an imaging optical system 4, an image sensor 7, and an imaging processing circuit 8. The camera module 2 also includes a mechanism for autofocus adjustment and a mechanism for camera shake correction (Optical Image Stabilization; OIS).

イメージセンサ7は、裏面照射型のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。裏面照射型のCMOSイメージセンサは、光電変換素子を含む半導体層のうち入射光が入射する側とは逆側に配線層が設けられている。なお、イメージセンサ7は、裏面照射型のCMOSイメージセンサに限られず、表面照射型のCMOSイメージセンサ、CCD(Charge Coupled Device)等であっても良い。   The image sensor 7 is a backside illuminated CMOS (Complementary Metal Oxide Semiconductor) image sensor. In the back-illuminated CMOS image sensor, a wiring layer is provided on the opposite side of the semiconductor layer including the photoelectric conversion element from the incident light incident side. Note that the image sensor 7 is not limited to a back-illuminated CMOS image sensor, and may be a front-illuminated CMOS image sensor, a CCD (Charge Coupled Device), or the like.

後段処理部3は、イメージシグナルプロセッサ(Image Signal Processor;ISP)20、記憶部21、表示部22および操作部23を備える。ISP20は、カメラモジュール2からの画像信号の信号処理を実施する。記憶部21は、ISP20での信号処理を経た画像を格納する。記憶部21は、ユーザによる操作部23への操作等に応じて、表示部22へ画像信号を出力する。   The post-processing unit 3 includes an image signal processor (ISP) 20, a storage unit 21, a display unit 22, and an operation unit 23. The ISP 20 performs signal processing of the image signal from the camera module 2. The storage unit 21 stores an image that has undergone signal processing in the ISP 20. The storage unit 21 outputs an image signal to the display unit 22 in response to an operation on the operation unit 23 by the user.

表示部22は、ISP20あるいは記憶部21から入力される画像信号に応じて、画像を表示する。表示部22は、例えば、液晶ディスプレイである。操作部23は、ユーザによるカメラシステム1への入力操作を受け付け、入力操作に応じた信号をISP20へ出力する。ISP20は、所定のプログラムおよび操作部23からの信号に応じて、カメラシステム1を制御する。ISP20は、カメラモジュール2からの画像信号を処理した結果を基に、カメラモジュール2のフィードバック制御を実施する。   The display unit 22 displays an image according to the image signal input from the ISP 20 or the storage unit 21. The display unit 22 is, for example, a liquid crystal display. The operation unit 23 receives an input operation to the camera system 1 by the user and outputs a signal corresponding to the input operation to the ISP 20. The ISP 20 controls the camera system 1 according to a predetermined program and a signal from the operation unit 23. The ISP 20 performs feedback control of the camera module 2 based on the result of processing the image signal from the camera module 2.

撮像光学系4は、撮像レンズ5および絞り6を備える。撮像レンズ5は、被写体からの光を取り込み、被写体像を結像させる。絞り6は、光量を調節する。イメージセンサ7は、被写体像を撮像する。撮像処理回路8は、イメージセンサ7からの画像信号を処理する。撮像処理回路8は、イメージセンサ7の駆動を制御する。   The imaging optical system 4 includes an imaging lens 5 and a diaphragm 6. The imaging lens 5 takes in light from a subject and forms a subject image. The diaphragm 6 adjusts the amount of light. The image sensor 7 captures a subject image. The imaging processing circuit 8 processes the image signal from the image sensor 7. The imaging processing circuit 8 controls driving of the image sensor 7.

図2は、図1に示すカメラモジュールに備えられたイメージセンサおよび撮像処理回路を示すブロック図である。イメージセンサ7は、画素領域30、制御回路31、行走査回路32、列走査回路33およびカラム処理回路34を備える。   FIG. 2 is a block diagram showing an image sensor and an imaging processing circuit provided in the camera module shown in FIG. The image sensor 7 includes a pixel region 30, a control circuit 31, a row scanning circuit 32, a column scanning circuit 33, and a column processing circuit 34.

画素領域30は、行列状に配列された画素を備える領域である。各画素は、光電変換素子であるフォトダイオードを備える。光電変換素子は、入射光量に応じた信号電荷を生成する。画素は、入射光量に応じて生成された信号電荷を蓄積する。制御回路31、行走査回路32、列走査回路33、カラム処理回路34および撮像処理回路8は、画素領域30が実装されているチップ上に集積された周辺回路部を構成する。   The pixel region 30 is a region including pixels arranged in a matrix. Each pixel includes a photodiode that is a photoelectric conversion element. The photoelectric conversion element generates a signal charge corresponding to the amount of incident light. The pixel accumulates signal charges generated according to the amount of incident light. The control circuit 31, the row scanning circuit 32, the column scanning circuit 33, the column processing circuit 34, and the imaging processing circuit 8 constitute a peripheral circuit unit integrated on a chip on which the pixel region 30 is mounted.

イメージセンサ7の駆動のための各種データおよびクロック信号は、チップ外部のISP20から、撮像処理回路8を経て制御回路31へ供給される。制御回路31は、クロック信号に応じて、周辺回路部の駆動を制御するための各種パルス信号を生成する。制御回路31は、駆動タイミングを指示するパルス信号を、行走査回路32、列走査回路33、カラム処理回路34および撮像処理回路8のそれぞれに供給する。   Various data and clock signals for driving the image sensor 7 are supplied from the ISP 20 outside the chip to the control circuit 31 via the imaging processing circuit 8. The control circuit 31 generates various pulse signals for controlling the driving of the peripheral circuit unit according to the clock signal. The control circuit 31 supplies a pulse signal instructing drive timing to each of the row scanning circuit 32, the column scanning circuit 33, the column processing circuit 34, and the imaging processing circuit 8.

行走査回路32は、シフトレジスタおよびアドレスデコーダ等を備える。画素駆動回路である行走査回路32は、画素領域30の画素へ駆動信号を供給する。制御回路31は、垂直同期信号に応じたパルス信号を、行走査回路32へ供給する。行走査回路32は、画素信号が読み出される画素行を、制御回路31からのパルス信号に応じて順次選択する。行走査回路32は、選択された画素行において画素ごとに順次読み出し信号を供給することによる読み出し走査を行う。読み出し信号は、入射光量に応じて生成された画素信号を画素から読み出すための駆動信号である。   The row scanning circuit 32 includes a shift register and an address decoder. The row scanning circuit 32 which is a pixel driving circuit supplies a driving signal to the pixels in the pixel region 30. The control circuit 31 supplies a pulse signal corresponding to the vertical synchronization signal to the row scanning circuit 32. The row scanning circuit 32 sequentially selects pixel rows from which pixel signals are read according to the pulse signal from the control circuit 31. The row scanning circuit 32 performs readout scanning by sequentially supplying a readout signal for each pixel in the selected pixel row. The read signal is a drive signal for reading a pixel signal generated according to the amount of incident light from the pixel.

行走査回路32は、画素ごとへの読み出し信号の供給に先行して、各画素へのリセット信号の供給による掃き出し走査を行う。リセット信号は、光電変換素子に残存されている電荷を排出させるための駆動信号である。各画素は、リセット信号が供給されたときから読み出し信号が供給されるまでの間、入射光量に応じて生成された信号電荷を蓄積する。   The row scanning circuit 32 performs sweep-out scanning by supplying a reset signal to each pixel prior to supplying a readout signal to each pixel. The reset signal is a drive signal for discharging the charge remaining in the photoelectric conversion element. Each pixel accumulates signal charges generated according to the amount of incident light from when the reset signal is supplied to when the readout signal is supplied.

駆動信号は、行走査回路32から各画素へ、画素駆動線35を通じて伝送される。画素駆動線35は、画素領域30の画素行ごとに設けられている。画素行は、行方向(水平方向)へ配列された画素からなる。   The drive signal is transmitted from the row scanning circuit 32 to each pixel through the pixel drive line 35. The pixel drive line 35 is provided for each pixel row in the pixel region 30. A pixel row consists of pixels arranged in the row direction (horizontal direction).

画素信号は、各画素からカラム処理回路34へ、垂直信号線36を通じて伝送される。垂直信号線36は、画素領域30の画素列ごとに設けられている。画素列は、列方向(垂直方向)へ配列された画素からなる。   The pixel signal is transmitted from each pixel to the column processing circuit 34 through the vertical signal line 36. The vertical signal line 36 is provided for each pixel column in the pixel region 30. The pixel column is composed of pixels arranged in the column direction (vertical direction).

カラム処理回路34は、垂直信号線36を伝送した画素信号を、画素列ごとに設けられた単位回路(図示省略)にて処理する。カラム処理回路34は、画素信号へ、固定パターンノイズの低減のための相関二重サンプリング処理(CDS)を施す。カラム処理回路34は、アナログ信号である画素信号へ、デジタル信号への変換であるAD変換を施す。カラム処理回路34は、CDSおよびAD変換以外の処理を実施しても良い。カラム処理回路34は、CDSおよびAD変換を経た画素信号を、単位回路ごとに保持する。   The column processing circuit 34 processes the pixel signal transmitted through the vertical signal line 36 by a unit circuit (not shown) provided for each pixel column. The column processing circuit 34 performs correlated double sampling processing (CDS) for reducing fixed pattern noise on the pixel signal. The column processing circuit 34 performs AD conversion, which is conversion to a digital signal, on the pixel signal, which is an analog signal. The column processing circuit 34 may perform processing other than CDS and AD conversion. The column processing circuit 34 holds the pixel signal that has undergone CDS and AD conversion for each unit circuit.

列走査回路33は、シフトレジスタおよびアドレスデコーダ等を備える。制御回路31は、水平同期信号に応じたパルス信号を、列走査回路33へ供給する。列走査回路33は、画素信号を読み出す画素列を、制御回路31からのパルス信号に応じて順次選択する。カラム処理回路34は、列走査回路33による選択走査に応じて、各単位回路に保持されている画素信号を順次出力する。イメージセンサ7は、カラム処理回路34からの画素信号を成分とする画像信号を出力する。   The column scanning circuit 33 includes a shift register and an address decoder. The control circuit 31 supplies a pulse signal corresponding to the horizontal synchronization signal to the column scanning circuit 33. The column scanning circuit 33 sequentially selects pixel columns from which pixel signals are read according to the pulse signal from the control circuit 31. The column processing circuit 34 sequentially outputs pixel signals held in each unit circuit in accordance with the selective scanning by the column scanning circuit 33. The image sensor 7 outputs an image signal having the pixel signal from the column processing circuit 34 as a component.

撮像処理回路8は、イメージセンサ7からの画像信号に対し、各種の信号処理を実施する。撮像処理回路8は、キズ補正、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等の信号処理を実施する。   The imaging processing circuit 8 performs various signal processing on the image signal from the image sensor 7. The imaging processing circuit 8 performs signal processing such as scratch correction, gamma correction, noise reduction processing, lens shading correction, white balance adjustment, distortion correction, and resolution restoration.

絞りアクチュエータ9は、絞り6を動作させる駆動機構である。絞りドライバ11は、ISP20による制御に応じて、絞り6の動作の制御のための制御信号を生成する。絞りアクチュエータ9は、絞りドライバ11からの制御信号に応じて、絞り6を動作させる。   The aperture actuator 9 is a drive mechanism that operates the aperture 6. The aperture driver 11 generates a control signal for controlling the operation of the aperture 6 in accordance with the control by the ISP 20. The aperture actuator 9 operates the aperture 6 in response to a control signal from the aperture driver 11.

レンズアクチュエータ10は、撮像レンズ5を動作させる駆動機構である。レンズアクチュエータ10は、撮像光学系4の光軸に平行な方向と、撮像光学系4の光軸に垂直な二軸方向とへ、撮像レンズ5を移動させる。焦点調節部であるフォーカスドライバ12は、フォーカス調整のための撮像レンズ5の動作を制御する制御信号を生成する。フォーカスドライバ12は、後述する位相差検出回路14におけるデフォーカス量の算出結果に応じた制御信号を生成する。   The lens actuator 10 is a drive mechanism that operates the imaging lens 5. The lens actuator 10 moves the imaging lens 5 in a direction parallel to the optical axis of the imaging optical system 4 and a biaxial direction perpendicular to the optical axis of the imaging optical system 4. A focus driver 12 that is a focus adjustment unit generates a control signal for controlling the operation of the imaging lens 5 for focus adjustment. The focus driver 12 generates a control signal according to a defocus amount calculation result in a phase difference detection circuit 14 described later.

レンズアクチュエータ10は、フォーカスドライバ12からの制御信号に応じて、撮像光学系4の光軸に平行な方向へ撮像レンズ5を動作させる。レンズアクチュエータ10は、撮像光学系4の光軸に平行な方向における撮像レンズ5の繰り出し量を調節することで、撮像光学系4のフォーカスを調節する。   The lens actuator 10 operates the imaging lens 5 in a direction parallel to the optical axis of the imaging optical system 4 in accordance with a control signal from the focus driver 12. The lens actuator 10 adjusts the focus of the imaging optical system 4 by adjusting the extension amount of the imaging lens 5 in the direction parallel to the optical axis of the imaging optical system 4.

レンズ位置調節部であるレンズシフトドライバ13は、手振れ補正のための撮像レンズ5の動作を制御する制御信号を生成する。レンズシフトドライバ13は、後述する移動量検出回路15における移動量の算出結果に応じた制御信号を生成する。レンズシフトドライバ13は、撮像光学系4の光軸に垂直な二次元方向におけるカメラシステム1の移動量に応じて、画素領域30に対し、当該二次元方向における撮像レンズ5の位置を調節する。   The lens shift driver 13 which is a lens position adjusting unit generates a control signal for controlling the operation of the imaging lens 5 for camera shake correction. The lens shift driver 13 generates a control signal corresponding to the movement amount calculation result in the movement amount detection circuit 15 described later. The lens shift driver 13 adjusts the position of the imaging lens 5 in the two-dimensional direction with respect to the pixel region 30 according to the movement amount of the camera system 1 in the two-dimensional direction perpendicular to the optical axis of the imaging optical system 4.

レンズアクチュエータ10は、レンズシフトドライバ13からの制御信号に応じて、撮像光学系4の光軸に垂直な二次元方向において撮像レンズ5を移動させる。レンズアクチュエータ10は、撮像光学系4の光軸に垂直な二次元方向における撮像レンズ5の位置を調節することで、カメラシステム1の手振れ補正を実施する。   The lens actuator 10 moves the imaging lens 5 in a two-dimensional direction perpendicular to the optical axis of the imaging optical system 4 in accordance with a control signal from the lens shift driver 13. The lens actuator 10 performs camera shake correction of the camera system 1 by adjusting the position of the imaging lens 5 in a two-dimensional direction perpendicular to the optical axis of the imaging optical system 4.

センサ18は、例えばホール素子を備える。ホール素子は、ホール効果を利用して磁界を電気信号へ変換する。移動量検出回路15は、センサ18からの信号を基に、カメラシステム1の移動量および移動方向を検出する。レンズシフトドライバ13は、カメラシステム1の移動による被写体像のぶれを低減させる方向および長さのレンズシフト量を算出する。レンズシフトドライバ13は、算出されたレンズシフト量に応じて撮像レンズ5をシフトさせる制御信号を生成する。センサ18は、例えば、振動ジャイロ機構を備える角速度センサであっても良い。   The sensor 18 includes, for example, a hall element. The Hall element converts a magnetic field into an electric signal using the Hall effect. The movement amount detection circuit 15 detects the movement amount and movement direction of the camera system 1 based on the signal from the sensor 18. The lens shift driver 13 calculates the amount of lens shift in the direction and length that reduces blurring of the subject image due to movement of the camera system 1. The lens shift driver 13 generates a control signal for shifting the imaging lens 5 in accordance with the calculated lens shift amount. The sensor 18 may be, for example, an angular velocity sensor including a vibration gyro mechanism.

カメラモジュール2は、後述する位相差画素を用いて、いわゆる瞳分割方式による撮像を実施する。位相差検出回路14は、撮像により得られた2つの像の位相差を求める。補正部である補正回路16は、位相差画素の信号値を補正する。保持部であるメモリ17は、補正回路16における補正のための補正係数を保持する。   The camera module 2 performs imaging by a so-called pupil division method using phase difference pixels described later. The phase difference detection circuit 14 obtains a phase difference between two images obtained by imaging. The correction circuit 16 serving as a correction unit corrects the signal value of the phase difference pixel. A memory 17 as a holding unit holds a correction coefficient for correction in the correction circuit 16.

なお、カメラシステム1は、本実施形態においてカメラモジュール2内で実施するものとした信号処理の少なくともいずれかを、後段処理部3のISP20が実施することとしても良い。カメラシステム1は、信号処理の少なくともいずれかを、カメラモジュール2内の構成およびISP20の双方が実施しても良い。カメラモジュール2およびISP20は、本実施形態で説明する信号処理以外の信号処理を実施することとしても良い。   Note that the camera system 1 may be configured such that the ISP 20 of the post-processing unit 3 performs at least one of the signal processing performed in the camera module 2 in the present embodiment. In the camera system 1, at least one of the signal processing may be performed by both the configuration in the camera module 2 and the ISP 20. The camera module 2 and the ISP 20 may perform signal processing other than the signal processing described in the present embodiment.

図3は、図2に示す画素領域の一部構成を模式的に示す平面図である。画素領域30は、撮像画素40および位相差画素41を含む。撮像画素40は、被写体像を検出するための画素である。焦点検出画素である位相差画素41は、被写体と撮像光学系4の焦点とのずれを検出するための画素である。なお、図3に示すX方向は行方向、Y方向は列方向とする。   FIG. 3 is a plan view schematically showing a partial configuration of the pixel region shown in FIG. The pixel region 30 includes an imaging pixel 40 and a phase difference pixel 41. The imaging pixel 40 is a pixel for detecting a subject image. The phase difference pixel 41 which is a focus detection pixel is a pixel for detecting a shift between the subject and the focus of the imaging optical system 4. Note that the X direction shown in FIG. 3 is the row direction, and the Y direction is the column direction.

図3において、「R」、「G」および「B」は、それぞれ撮像画素40である赤色(R)画素、緑色(G)画素および青色(B)画素を表す。R画素、G画素およびB画素は、それぞれ不図示のカラーフィルタを備える。なお、各画素は、不図示のマイクロレンズを備える。R画素のカラーフィルタは、R光を選択的に透過させる。G画素のカラーフィルタは、G光を選択的に透過させる。B画素のカラーフィルタは、B光を選択的に透過させる。図3において、撮像画素40はベイヤー配列をなして配置されている。   In FIG. 3, “R”, “G”, and “B” represent a red (R) pixel, a green (G) pixel, and a blue (B) pixel, which are the imaging pixels 40, respectively. Each of the R pixel, the G pixel, and the B pixel includes a color filter (not shown). Each pixel includes a microlens (not shown). The color filter of the R pixel selectively transmits R light. The color filter of the G pixel selectively transmits G light. The color filter of the B pixel selectively transmits B light. In FIG. 3, the imaging pixels 40 are arranged in a Bayer array.

図3に示す位相差画素41の斜線部分は、遮光層により覆われた部分を示している。遮光層は、光を遮蔽する。遮光層は、光を反射させる金属材料を含む層である。遮光層は、光吸収性の材料を含む層であっても良い。   The hatched portion of the phase difference pixel 41 shown in FIG. 3 indicates the portion covered with the light shielding layer. The light shielding layer shields light. The light shielding layer is a layer containing a metal material that reflects light. The light shielding layer may be a layer containing a light absorbing material.

位相差画素41のうち遮光層により覆われた部分以外の部分には、光電変換素子へ進行する光を通過させる開口が設けられている。位相差画素41Rは、X方向における右半分の領域に開口、左半分の領域に遮光層がそれぞれ設けられた位相差画素41である。位相差画素41Lは、X方向における左半分の領域に開口、右半分の領域に遮光層がそれぞれ設けられた位相差画素41である。位相差画素41は、不図示のカラーフィルタを備える。位相差画素41のカラーフィルタは、G光を選択的に透過させる。   In the portion of the phase difference pixel 41 other than the portion covered with the light shielding layer, an opening through which the light traveling to the photoelectric conversion element passes is provided. The phase difference pixel 41R is the phase difference pixel 41 in which an opening is provided in the right half region in the X direction and a light shielding layer is provided in the left half region. The phase difference pixel 41L is the phase difference pixel 41 in which an opening is provided in the left half region in the X direction and a light shielding layer is provided in the right half region. The phase difference pixel 41 includes a color filter (not shown). The color filter of the phase difference pixel 41 selectively transmits G light.

第1焦点検出画素である位相差画素41Rの開口中心は、位相差画素41Rの中心に対してプラスX側にある。第2焦点検出画素である位相差画素41Lの開口中心は、位相差画素41Lの中心に対してマイナスX側にある。位相差画素41Rと位相差画素41Lとでは、画素の中心に対して開口を偏らせた向きが互いに異なる。位相差画素41R,41Lは、光の入射角に対してそれぞれ異なる出力特性を示す。   The opening center of the phase difference pixel 41R that is the first focus detection pixel is on the plus X side with respect to the center of the phase difference pixel 41R. The opening center of the phase difference pixel 41L, which is the second focus detection pixel, is on the minus X side with respect to the center of the phase difference pixel 41L. The phase difference pixel 41R and the phase difference pixel 41L are different from each other in the direction in which the opening is biased with respect to the center of the pixel. The phase difference pixels 41R and 41L show different output characteristics with respect to the incident angle of light.

図3において、位相差画素41R,41Lは、画素領域30のうちの2つの画素行に配置されている。2つの画素行において、2つの位相差画素41R,41Lからなる複数の組み合わせがX方向へ配列している。各位相差画素41R,41Lは、X方向において、撮像画素40であるB画素を介して配置されている。   In FIG. 3, the phase difference pixels 41 </ b> R and 41 </ b> L are arranged in two pixel rows in the pixel region 30. In two pixel rows, a plurality of combinations including two phase difference pixels 41R and 41L are arranged in the X direction. Each of the phase difference pixels 41R and 41L is arranged via a B pixel that is the imaging pixel 40 in the X direction.

なお、画素領域30において位相差画素41R,41Lが配置される位置および個数は任意であるものとする。複数の位相差画素41Rおよび複数の位相差画素41Lは、少なくとも画素領域30の一部の領域に、所定のパターンで配置されていれば良い。複数の位相差画素41Rおよび複数の位相差画素41Lは、画素領域30の全体に分散されていても良い。   It is assumed that the position and the number of the phase difference pixels 41R and 41L in the pixel region 30 are arbitrary. The plurality of phase difference pixels 41R and the plurality of phase difference pixels 41L may be arranged in a predetermined pattern in at least a part of the pixel region 30. The plurality of phase difference pixels 41 </ b> R and the plurality of phase difference pixels 41 </ b> L may be dispersed throughout the pixel region 30.

撮像処理回路8は、位相差画素41の信号値を位相差検出回路14へ出力する。撮像処理回路8は、撮像画素40の信号値を用いて、位相差画素41の位置における画像情報を生成するための補間処理を実施する。   The imaging processing circuit 8 outputs the signal value of the phase difference pixel 41 to the phase difference detection circuit 14. The imaging processing circuit 8 performs interpolation processing for generating image information at the position of the phase difference pixel 41 using the signal value of the imaging pixel 40.

カメラモジュール2は、複数の位相差画素41Rで得られる像と、複数の位相差画素41Lで得られる像とを同時に取得する。カメラモジュール2は、互いに開口が左右対称とされた位相差画素41R,41Lを用いることにより、瞳分割方式による撮像を実施する。   The camera module 2 simultaneously acquires an image obtained by the plurality of phase difference pixels 41R and an image obtained by the plurality of phase difference pixels 41L. The camera module 2 performs imaging by the pupil division method by using the phase difference pixels 41R and 41L whose openings are symmetric with respect to each other.

合焦状態において、複数の位相差画素41Rで得られる像と、複数の位相差画素41Lで得られる像とは一致する。複数の位相差画素41Rで得られる像と、複数の位相差画素41Lで得られる像との位相差はゼロとなる。   In the in-focus state, the image obtained by the plurality of phase difference pixels 41R matches the image obtained by the plurality of phase difference pixels 41L. The phase difference between the image obtained by the plurality of phase difference pixels 41R and the image obtained by the plurality of phase difference pixels 41L is zero.

撮像光学系4の焦点が被写体からずれた状態では、複数の位相差画素41Rで得られる像と、複数の位相差画素41Lで得られる像とに位相差が生じる。位相差検出回路14は、2つの像の位相差を求め、位相差から撮像光学系4のデフォーカス量を算出する。フォーカスドライバ12は、位相差検出回路14で得られたデフォーカス量に応じて、被写体へ焦点を合わせるフォーカス動作のための制御信号を生成する。   In a state where the focus of the imaging optical system 4 is deviated from the subject, a phase difference occurs between the image obtained by the plurality of phase difference pixels 41R and the image obtained by the plurality of phase difference pixels 41L. The phase difference detection circuit 14 calculates the phase difference between the two images, and calculates the defocus amount of the imaging optical system 4 from the phase difference. The focus driver 12 generates a control signal for a focus operation for focusing on the subject according to the defocus amount obtained by the phase difference detection circuit 14.

図4は、図3に示す位相差画素の信号値と光の入射角との関係を説明する図である。図4では、位相差画素41R,41Lへ平行光を入射した場合における、入射角と位相差画素41R,41Lの信号値との関係を示している。ここでは、入射角は、撮像光学系4の光軸およびX方向に平行な面内において、光軸と入射光線とがなす角度とする。なお、入射角と位相差画素41R,41Lの信号値との関係を、適宜「出力特性」と称する。   FIG. 4 is a diagram for explaining the relationship between the signal value of the phase difference pixel shown in FIG. 3 and the incident angle of light. FIG. 4 shows the relationship between the incident angle and the signal values of the phase difference pixels 41R and 41L when parallel light is incident on the phase difference pixels 41R and 41L. Here, the incident angle is an angle formed by the optical axis and the incident light beam in a plane parallel to the optical axis of the imaging optical system 4 and the X direction. The relationship between the incident angle and the signal values of the phase difference pixels 41R and 41L is appropriately referred to as “output characteristics”.

図4に示す「SL0」の曲線は、手振れ補正によるレンズシフト量がゼロである場合における位相差画素41Lの出力特性の一例を表したグラフである。「SL1」の曲線は、手振れ補正により第1方向へ撮像レンズ5をシフトさせた場合における位相差画素41Lの出力特性の一例を表したグラフである。第1方向は、X方向に平行な方向であって、かつ撮像光学系4の光軸に垂直な方向とする。   A curve “SL0” illustrated in FIG. 4 is a graph showing an example of output characteristics of the phase difference pixel 41L when the lens shift amount due to camera shake correction is zero. The curve “SL1” is a graph showing an example of output characteristics of the phase difference pixel 41L when the imaging lens 5 is shifted in the first direction by camera shake correction. The first direction is a direction parallel to the X direction and a direction perpendicular to the optical axis of the imaging optical system 4.

「SR0」の曲線は、手振れ補正によるレンズシフト量がゼロである場合における位相差画素41Rの出力特性の一例を表したグラフである。「SR1」の曲線は、手振れ補正によりX方向に平行な方向へ撮像レンズ5をシフトさせた場合における位相差画素41Rの出力特性の一例を表したグラフである。なお、レンズシフト量がゼロであるとき、画素領域30の中心は撮像レンズ5の中心軸の延長上にある。   The curve “SR0” is a graph showing an example of output characteristics of the phase difference pixel 41R when the lens shift amount due to camera shake correction is zero. The curve “SR1” is a graph showing an example of output characteristics of the phase difference pixel 41R when the imaging lens 5 is shifted in a direction parallel to the X direction by camera shake correction. When the lens shift amount is zero, the center of the pixel region 30 is on the extension of the central axis of the imaging lens 5.

レンズシフト量がゼロであるときの「SL0」の曲線と「SR0」の曲線とは、入射角ゼロのグラフ軸を中心としてほぼ左右対称となる。「SL0」における信号値のピークのレベルと、「SR0」における信号値のピークのレベルとは略同じとなる。入射角がゼロであるとき、位相差画素41L,41Rの信号値は同じである。   The curve of “SL0” and the curve of “SR0” when the lens shift amount is zero are substantially bilaterally symmetric about the graph axis with zero incident angle. The peak level of the signal value in “SL0” is substantially the same as the peak level of the signal value in “SR0”. When the incident angle is zero, the signal values of the phase difference pixels 41L and 41R are the same.

レンズシフト量がゼロである状態から撮像レンズ5をシフトさせた場合、位相差画素41Lの出力特性は、「SL0」から「SL1」に変化する。「SL1」における信号値のピークは、「SL0」における信号値のピークに対して高くなる。   When the imaging lens 5 is shifted from a state where the lens shift amount is zero, the output characteristics of the phase difference pixel 41L change from “SL0” to “SL1”. The peak of the signal value in “SL1” is higher than the peak of the signal value in “SL0”.

レンズシフト量がゼロである状態から撮像レンズ5をシフトさせた場合、位相差画素41Rの出力特性は、「SR0」から「SR1」に変化する。「SR1」における信号値のピークは、「SR0」における信号値のピークに対して低くなる。位相差画素41L,41Rの信号値が同じとなる入射角は、ゼロから変化する。   When the imaging lens 5 is shifted from a state where the lens shift amount is zero, the output characteristics of the phase difference pixel 41R change from “SR0” to “SR1”. The peak of the signal value in “SR1” is lower than the peak of the signal value in “SR0”. The incident angles at which the signal values of the phase difference pixels 41L and 41R are the same change from zero.

撮像レンズ5をシフトさせることで、撮像レンズ5の中心軸の延長線は、画素領域30の中心からずれる。画素領域30の各画素へ入射する主光線の入射角は、撮像レンズ5のシフト量がゼロであるときから変化する。主光線の入射角の変化に応じて、画素の入射側にあるマイクロレンズによる集光位置が変化するため、光電変換素子へ入射する光の強度は変動することとなる。これにより、手振れ補正のために撮像レンズ5をシフトさせたことにより、位相差画素41Lおよび位相差画素41Rの出力特性は、レンズシフト量がゼロである場合からいずれも変化する。   By shifting the imaging lens 5, the extension line of the central axis of the imaging lens 5 is shifted from the center of the pixel region 30. The incident angle of the chief ray incident on each pixel in the pixel region 30 changes when the shift amount of the imaging lens 5 is zero. Since the condensing position by the microlens on the incident side of the pixel changes according to the change in the incident angle of the principal ray, the intensity of the light incident on the photoelectric conversion element varies. Thus, by shifting the imaging lens 5 for camera shake correction, the output characteristics of the phase difference pixel 41L and the phase difference pixel 41R both change from when the lens shift amount is zero.

撮像レンズ5の一方向へのシフトに対し、位相差画素41Lおよび位相差画素41Rの各出力特性は、一方は出力レベルが上昇し他方は出力レベルが減少するように、互いに異なる態様で変化する。このように、位相差画素41Lおよび位相差画素41Rの出力特性は、撮像レンズ5の第1方向における位置に応じてそれぞれ変化する。   As the image pickup lens 5 is shifted in one direction, the output characteristics of the phase difference pixel 41L and the phase difference pixel 41R change in different manners so that one of the output levels increases and the other decreases the output level. . As described above, the output characteristics of the phase difference pixel 41L and the phase difference pixel 41R change in accordance with the position of the imaging lens 5 in the first direction.

位相差画素41Lおよび位相差画素41Rの出力特性は、手振れ補正により第2方向へ撮像レンズ5をシフトさせた場合にも変化する。第2方向は、Y方向に平行な方向であって、撮像光学系4の光軸および第1方向に垂直な方向とする。第2方向へ撮像レンズ5をシフトさせることで、撮像光学系4の光軸および第2方向に平行な面内における入射角と位相差画素41R,41Lの信号値との関係に変化が生じる。   The output characteristics of the phase difference pixel 41L and the phase difference pixel 41R also change when the imaging lens 5 is shifted in the second direction by camera shake correction. The second direction is a direction parallel to the Y direction and perpendicular to the optical axis of the imaging optical system 4 and the first direction. By shifting the imaging lens 5 in the second direction, a change occurs in the relationship between the optical axis of the imaging optical system 4 and the incident angle in the plane parallel to the second direction and the signal values of the phase difference pixels 41R and 41L.

このように、位相差画素41Lおよび位相差画素41Rの出力特性は、撮像レンズ5の第1方向および第2方向における位置に応じて変化する。手振れ補正のために第1方向および第2方向へ撮像レンズ5をシフトさせているとき、位相差検出回路14における位相差の検出精度が低下する場合がある。これにより、カメラモジュール2は、正確なフォーカス調節が困難となる場合がある。   Thus, the output characteristics of the phase difference pixel 41L and the phase difference pixel 41R change according to the positions of the imaging lens 5 in the first direction and the second direction. When the imaging lens 5 is shifted in the first direction and the second direction for camera shake correction, the phase difference detection accuracy in the phase difference detection circuit 14 may decrease. This may make it difficult for the camera module 2 to perform accurate focus adjustment.

また、位相差画素41Lおよび位相差画素41Rの出力特性は、第3方向における撮像レンズ5の位置に応じても変化する。第3方向は、撮像光学系4の光軸に平行な方向とする。さらに、位相差画素41Lおよび位相差画素41Rの出力特性は、撮像光学系4のF値に応じても変化する。カメラモジュール2は、第3方向における撮像レンズ5の位置の変動およびF値の変動によっても、位相差検出回路14における位相差の検出精度に影響が及ぶ場合がある。   Further, the output characteristics of the phase difference pixel 41L and the phase difference pixel 41R also change depending on the position of the imaging lens 5 in the third direction. The third direction is a direction parallel to the optical axis of the imaging optical system 4. Furthermore, the output characteristics of the phase difference pixel 41L and the phase difference pixel 41R also change according to the F value of the imaging optical system 4. In the camera module 2, the detection accuracy of the phase difference in the phase difference detection circuit 14 may be affected by the change in the position of the imaging lens 5 and the change in the F value in the third direction.

メモリ17は、位相差画素41L,41Rの出力特性を変化させる要因ごとに、第1から第4の補正係数を保持する。第1補正係数は、第1方向における撮像レンズ5の位置に応じて位相差画素41L,41Rの信号値をそれぞれ補正するための補正係数である。メモリ17は、第1方向における撮像レンズ5の位置と、第1補正係数であるゲインとを互いに関連付けて格納する第1テーブルを保持する。   The memory 17 holds the first to fourth correction coefficients for each factor that changes the output characteristics of the phase difference pixels 41L and 41R. The first correction coefficient is a correction coefficient for correcting the signal values of the phase difference pixels 41L and 41R in accordance with the position of the imaging lens 5 in the first direction. The memory 17 holds a first table that stores the position of the imaging lens 5 in the first direction and the gain that is the first correction coefficient in association with each other.

撮像レンズ5の位置およびゲインの情報は、カメラモジュール2の製造時に、第1テーブルに格納される。カメラモジュール2の製造時に、第1方向における撮像レンズ5の位置ごとの位相差画素41L,41Rの信号値を検出する試験が実施される。かかる試験結果から算出されたゲインが、第1方向における撮像レンズ5の位置と関連付けられて、第1テーブルに格納される。第1テーブルには、第1方向における撮像レンズ5の位置ごとに、位相差画素41L,41Rに対し互いに異なるゲインが格納される。   Information on the position and gain of the imaging lens 5 is stored in the first table when the camera module 2 is manufactured. When the camera module 2 is manufactured, a test is performed to detect the signal values of the phase difference pixels 41L and 41R for each position of the imaging lens 5 in the first direction. The gain calculated from the test result is stored in the first table in association with the position of the imaging lens 5 in the first direction. The first table stores different gains for the phase difference pixels 41L and 41R for each position of the imaging lens 5 in the first direction.

第2補正係数は、第2方向における撮像レンズ5の位置に応じて位相差画素41L,41Rの信号値をそれぞれ補正するための補正係数である。メモリ17は、第2方向における撮像レンズ5の位置と、第2補正係数であるゲインとを互いに関連付けて格納する第2テーブルを保持する。カメラモジュール2の製造時に、第2方向における撮像レンズ5の位置ごとの位相差画素41L,41Rの信号値を検出する試験が実施される。かかる試験結果から算出されたゲインが、第2方向における撮像レンズ5の位置と関連付けられて、第2テーブルに格納される。第2テーブルには、第2方向における撮像レンズ5の位置ごとに、位相差画素41L,41Rに対し互いに同じゲインが格納される。   The second correction coefficient is a correction coefficient for correcting the signal values of the phase difference pixels 41L and 41R according to the position of the imaging lens 5 in the second direction. The memory 17 holds a second table that stores the position of the imaging lens 5 in the second direction and the gain that is the second correction coefficient in association with each other. When the camera module 2 is manufactured, a test for detecting the signal values of the phase difference pixels 41L and 41R for each position of the imaging lens 5 in the second direction is performed. The gain calculated from the test result is stored in the second table in association with the position of the imaging lens 5 in the second direction. In the second table, the same gain is stored for the phase difference pixels 41L and 41R for each position of the imaging lens 5 in the second direction.

第3補正係数は、第3方向における撮像レンズ5の位置に応じて位相差画素41L,41Rの信号値をそれぞれ補正するための補正係数である。メモリ17は、第3方向における撮像レンズ5の位置と、第3補正係数であるゲインとを互いに関連付けて格納する第3テーブルを保持する。カメラモジュール2の製造時に、第3方向における撮像レンズ5の位置ごとの位相差画素41L,41Rの信号値を検出する試験が実施される。かかる試験結果から算出されたゲインが、第3方向における撮像レンズ5の位置と関連付けられて、第3テーブルに格納される。第3テーブルには、第3方向における撮像レンズ5の位置ごとに、位相差画素41L,41Rに対し互いに同じゲインが格納される。   The third correction coefficient is a correction coefficient for correcting the signal values of the phase difference pixels 41L and 41R according to the position of the imaging lens 5 in the third direction. The memory 17 holds a third table that stores the position of the imaging lens 5 in the third direction and the gain that is the third correction coefficient in association with each other. When the camera module 2 is manufactured, a test is performed to detect the signal values of the phase difference pixels 41L and 41R for each position of the imaging lens 5 in the third direction. The gain calculated from the test result is stored in the third table in association with the position of the imaging lens 5 in the third direction. In the third table, the same gain is stored for the phase difference pixels 41L and 41R for each position of the imaging lens 5 in the third direction.

第4補正係数は、F値に応じて位相差画素41L,41Rの信号値をそれぞれ補正するための補正係数である。メモリ17は、F値と第4補正係数であるゲインとを互いに関連付けて保持する第4テーブルを保持する。カメラモジュール2の製造時に、F値ごとの位相差画素41L,41Rの信号値を検出する試験が実施される。かかる試験結果から算出されたゲインが、F値と関連付けられて、第4テーブルに格納される。第4テーブルには、F値ごとに、位相差画素41L,41Rに対し互いに同じゲインが格納される。   The fourth correction coefficient is a correction coefficient for correcting the signal values of the phase difference pixels 41L and 41R according to the F value. The memory 17 holds a fourth table that holds the F value and the gain that is the fourth correction coefficient in association with each other. At the time of manufacturing the camera module 2, a test for detecting the signal values of the phase difference pixels 41L and 41R for each F value is performed. The gain calculated from the test result is associated with the F value and stored in the fourth table. In the fourth table, the same gain is stored for each of the phase difference pixels 41L and 41R for each F value.

補正回路16は、第1方向および第2方向における現在の撮像レンズ5の位置情報をレンズシフトドライバ13から取得する。補正回路16は、第1方向における撮像レンズ5の位置に応じたゲインを、メモリ17の第1テーブルから読み出す。補正回路16は、第2方向における撮像レンズ5の位置に応じたゲインを、メモリ17の第2テーブルから読み出す。   The correction circuit 16 acquires the current position information of the imaging lens 5 in the first direction and the second direction from the lens shift driver 13. The correction circuit 16 reads the gain corresponding to the position of the imaging lens 5 in the first direction from the first table of the memory 17. The correction circuit 16 reads the gain corresponding to the position of the imaging lens 5 in the second direction from the second table of the memory 17.

補正回路16は、撮像レンズ5の現在のレンズ繰り出し量の情報をフォーカスドライバ12から取得する。補正回路16は、取得されたレンズ繰り出し量から、第3方向における現在の撮像レンズ5の位置を把握する。補正回路16は、第3方向における撮像レンズ5の位置に応じたゲインを、メモリ17の第3テーブルから読み出す。   The correction circuit 16 acquires information on the current lens extension amount of the imaging lens 5 from the focus driver 12. The correction circuit 16 grasps the current position of the imaging lens 5 in the third direction from the acquired lens extension amount. The correction circuit 16 reads the gain corresponding to the position of the imaging lens 5 in the third direction from the third table of the memory 17.

補正回路16は、撮像光学系4に設定されている現在のF値を、絞りドライバ11から取得する。補正回路16は、ISP20からF値を取得しても良い。補正回路16は、F値に応じたゲインを、メモリ17の第4テーブルから読み出す。   The correction circuit 16 acquires the current F value set in the imaging optical system 4 from the aperture driver 11. The correction circuit 16 may acquire the F value from the ISP 20. The correction circuit 16 reads the gain corresponding to the F value from the fourth table in the memory 17.

補正回路16は、メモリ17から読み出された各ゲインを、位相差画素41L,41Rの信号値に乗算する。補正回路16は、ゲインの乗算により、位相差画素41L,41Rの信号値を補正する。なお、補正回路16は、第1方向における撮像レンズ5の位置に応じた補正として、位相差画素41L,41Rの双方の信号値に対して互いに異なるゲインを乗算する。   The correction circuit 16 multiplies each gain read from the memory 17 by the signal value of the phase difference pixels 41L and 41R. The correction circuit 16 corrects the signal values of the phase difference pixels 41L and 41R by gain multiplication. The correction circuit 16 multiplies signal values of both the phase difference pixels 41L and 41R by different gains as correction according to the position of the imaging lens 5 in the first direction.

補正回路16は、第2方向における撮像レンズ5の位置に応じた補正として、位相差画素41L,41Rの双方の信号値に対して互いに同じゲインを乗算する。補正回路16は、第3方向における撮像レンズ5の位置に応じた補正として、位相差画素41L,41Rの双方の信号値に対して互いに同じゲインを乗算する。補正回路16は、F値に応じた補正として、位相差画素41L,41Rの双方の信号値に対して互いに同じゲインを乗算する。   The correction circuit 16 multiplies the signal values of both the phase difference pixels 41L and 41R by the same gain as correction according to the position of the imaging lens 5 in the second direction. The correction circuit 16 multiplies the signal values of both the phase difference pixels 41L and 41R by the same gain as correction according to the position of the imaging lens 5 in the third direction. The correction circuit 16 multiplies the signal values of both the phase difference pixels 41L and 41R by the same gain as correction according to the F value.

このようにして、補正回路16は、第1方向、第2方向および第3方向における撮像レンズ5の位置と、撮像光学系4のF値とに応じて、位相差画素41L,41Rの信号値を補正する。   In this way, the correction circuit 16 determines the signal values of the phase difference pixels 41L and 41R according to the position of the imaging lens 5 in the first direction, the second direction, and the third direction and the F value of the imaging optical system 4. Correct.

位相差検出回路14は、補正回路16にて補正された位相差画素41L,41Rの信号値を使用して、デフォーカス量を算出する。フォーカスドライバ12は、位相差検出回路14で算出されたデフォーカス量を基に、撮像光学系4の焦点を調節する。   The phase difference detection circuit 14 calculates the defocus amount using the signal values of the phase difference pixels 41L and 41R corrected by the correction circuit 16. The focus driver 12 adjusts the focus of the imaging optical system 4 based on the defocus amount calculated by the phase difference detection circuit 14.

カメラモジュール2は、補正回路16での補正により、撮像レンズ5の位置およびF値の変動による位相差の検出精度の低下を抑制可能とする。カメラモジュール2は、位相差画素41L,41Rによる高精度な位相差検出が可能となる。これにより、カメラモジュール2は、正確なフォーカス調節が可能となる。   The camera module 2 can suppress a decrease in detection accuracy of the phase difference due to fluctuations in the position of the imaging lens 5 and the F value by the correction in the correction circuit 16. The camera module 2 can detect the phase difference with high accuracy by the phase difference pixels 41L and 41R. Thereby, the camera module 2 can perform accurate focus adjustment.

図5は、実施形態のカメラモジュールによるフォーカス調節の手順を説明するフローチャートである。この例では、カメラモジュール2は、カメラシステム1の手振れ補正機能がONである場合に、補正回路16における補正を実施する。カメラモジュール2は、手振れ補正機能がOFFである場合も、第1方向、第2方向および第3方向における撮像レンズ5の位置およびF値の少なくともいずれかに応じて、補正回路16における補正を実施しても良い。   FIG. 5 is a flowchart for explaining a focus adjustment procedure by the camera module of the embodiment. In this example, the camera module 2 performs correction in the correction circuit 16 when the camera shake correction function of the camera system 1 is ON. Even when the camera shake correction function is OFF, the camera module 2 performs correction in the correction circuit 16 in accordance with at least one of the position of the imaging lens 5 and the F value in the first direction, the second direction, and the third direction. You may do it.

カメラシステム1の手振れ補正機能がONにされている場合(ステップS1、Yes)において、移動量検出回路15は、ユーザによる操作部23への撮影操作に応じて、カメラシステム1の移動量および移動方向を検出する。移動量検出回路15は、センサ18からの信号を基に、カメラシステム1の移動量および移動方向を検出する。レンズシフトドライバ13は、移動量検出回路15における検出結果に応じたレンズシフト量を算出する。   When the camera shake correction function of the camera system 1 is turned on (step S1, Yes), the movement amount detection circuit 15 moves and moves the camera system 1 according to the shooting operation on the operation unit 23 by the user. Detect direction. The movement amount detection circuit 15 detects the movement amount and movement direction of the camera system 1 based on the signal from the sensor 18. The lens shift driver 13 calculates a lens shift amount corresponding to the detection result in the movement amount detection circuit 15.

補正回路16は、レンズシフトドライバ13からレンズシフト量を取得する(ステップS2)。補正回路16は、取得されたレンズシフト量から、第1方向および第2方向における撮像レンズ5の位置を検出する。   The correction circuit 16 acquires the lens shift amount from the lens shift driver 13 (step S2). The correction circuit 16 detects the position of the imaging lens 5 in the first direction and the second direction from the acquired lens shift amount.

補正回路16は、撮像光学系4のF値、および撮像レンズ5のレンズ繰り出し量を取得する(ステップS3)。補正回路16は、絞りドライバ11あるいはISP20から、F値を取得する。補正回路16は、フォーカスドライバ12から、撮像レンズ5の現在のレンズ繰り出し量を取得する。補正回路16は、取得されたレンズシフト量から、第3方向における撮像レンズ5の位置を検出する。   The correction circuit 16 acquires the F value of the imaging optical system 4 and the lens extension amount of the imaging lens 5 (step S3). The correction circuit 16 acquires the F value from the aperture driver 11 or the ISP 20. The correction circuit 16 acquires the current lens extension amount of the imaging lens 5 from the focus driver 12. The correction circuit 16 detects the position of the imaging lens 5 in the third direction from the acquired lens shift amount.

補正回路16は、補正係数であるゲインをメモリ17から読み出す(ステップS4)。補正回路16は、第1方向、第2方向および第3方向における撮像レンズ5の位置に応じたゲインを、それぞれメモリ17内の第1テーブル、第2テーブルおよび第3テーブルから読み出す。補正回路16は、F値に応じたゲインを、メモリ17内の第4テーブルから読み出す。   The correction circuit 16 reads the gain that is the correction coefficient from the memory 17 (step S4). The correction circuit 16 reads the gain corresponding to the position of the imaging lens 5 in the first direction, the second direction, and the third direction from the first table, the second table, and the third table in the memory 17, respectively. The correction circuit 16 reads the gain corresponding to the F value from the fourth table in the memory 17.

撮像処理回路8は、ユーザによる操作部23への撮影操作により、イメージセンサ7から画像信号が入力される。位相差検出回路14は、位相差画素41の信号値を撮像処理回路8から取得する。   The imaging processing circuit 8 receives an image signal from the image sensor 7 by a shooting operation on the operation unit 23 by the user. The phase difference detection circuit 14 acquires the signal value of the phase difference pixel 41 from the imaging processing circuit 8.

補正回路16は、位相差検出回路14で取得された信号値を補正する(ステップS5)。補正回路16は、位相差画素41L,41Rの信号値にそれぞれ各ゲインを乗算することで、位相差画素41L,41Rの信号値をそれぞれ補正する。   The correction circuit 16 corrects the signal value acquired by the phase difference detection circuit 14 (step S5). The correction circuit 16 corrects the signal values of the phase difference pixels 41L and 41R by multiplying the signal values of the phase difference pixels 41L and 41R by the respective gains.

位相差検出回路14は、補正回路16での補正を経た信号値を基に、撮像により得られた2つの像の位相差を検出する(ステップS6)。位相差検出回路14は、得られた位相差を基に、撮像光学系4のデフォーカス量を検出する(ステップS7)。   The phase difference detection circuit 14 detects the phase difference between the two images obtained by imaging based on the signal value that has been corrected by the correction circuit 16 (step S6). The phase difference detection circuit 14 detects the defocus amount of the imaging optical system 4 based on the obtained phase difference (step S7).

フォーカスドライバ12は、位相差検出回路14で得られたデフォーカス量を基に、被写体へ焦点を合わせるフォーカス動作のための制御信号を生成する。レンズアクチュエータ10は、フォーカスドライバ12からの制御信号に応じて、撮像レンズ5のレンズ繰り出し量を調節する。これにより、フォーカスドライバ12およびレンズアクチュエータ10は、撮像光学系4のフォーカスを調節する(ステップS8)。   The focus driver 12 generates a control signal for a focus operation for focusing on the subject based on the defocus amount obtained by the phase difference detection circuit 14. The lens actuator 10 adjusts the lens extension amount of the imaging lens 5 in accordance with a control signal from the focus driver 12. Thereby, the focus driver 12 and the lens actuator 10 adjust the focus of the imaging optical system 4 (step S8).

カメラシステム1の手振れ補正機能がOFFにされている場合(ステップS1、No)、カメラモジュール2は、ステップS2からステップS5の手順をスキップして、ステップS6以降の動作を実施する。以上により、カメラモジュール2は、フォーカス調節のための一連の動作を終了する。   When the camera shake correction function of the camera system 1 is turned off (No at Step S1), the camera module 2 skips the procedure from Step S2 to Step S5 and performs the operations after Step S6. As described above, the camera module 2 ends a series of operations for focus adjustment.

なお、カメラモジュール2は、手振れ補正機能がOFFである場合に、第1方向および第2方向における撮像レンズ5の位置に応じて、位相差画素41の信号値を補正しても良い。例えば、補正回路16は、第1方向および第2方向における、画素領域30の中心と撮像レンズ5の中心とのずれに応じた一定の補正値を保持する。かかる補正値は、カメラモジュール2の製造時に、画素領域30および撮像レンズ5の位置を測定した結果に応じて算出され、補正回路16に格納される。   Note that the camera module 2 may correct the signal value of the phase difference pixel 41 according to the position of the imaging lens 5 in the first direction and the second direction when the camera shake correction function is OFF. For example, the correction circuit 16 holds a fixed correction value according to the shift between the center of the pixel region 30 and the center of the imaging lens 5 in the first direction and the second direction. The correction value is calculated according to the result of measuring the positions of the pixel region 30 and the imaging lens 5 at the time of manufacturing the camera module 2 and stored in the correction circuit 16.

この場合、カメラモジュール2は、手振れ補正を行わない場合にも、位相差検出回路14における高精度な位相差検出を可能とし、正確なフォーカス調節が可能となる。なお、カメラモジュール2は、手振れ補正機能がONである場合に、手振れ補正によるレンズシフト量と、かかる保持された補正値の双方に応じて、位相差画素41の信号値を補正しても良い。   In this case, the camera module 2 can detect the phase difference with high accuracy in the phase difference detection circuit 14 even when the camera shake correction is not performed, thereby enabling accurate focus adjustment. Note that when the camera shake correction function is ON, the camera module 2 may correct the signal value of the phase difference pixel 41 according to both the lens shift amount due to camera shake correction and the held correction value. .

カメラモジュール2は、手振れ補正機能がOFFである場合に、第3方向の撮像レンズ5の位置と、F値との少なくとも一方に応じて、位相差画素41の信号値を補正しても良い。この場合、カメラモジュール2は、手振れ補正を行わない場合にも、位相差検出回路14における高精度な位相差検出を可能とし、正確なフォーカス調節が可能となる。   The camera module 2 may correct the signal value of the phase difference pixel 41 according to at least one of the position of the imaging lens 5 in the third direction and the F value when the camera shake correction function is OFF. In this case, the camera module 2 can detect the phase difference with high accuracy in the phase difference detection circuit 14 even when the camera shake correction is not performed, thereby enabling accurate focus adjustment.

実施形態によれば、カメラモジュール2は、第1方向から第3方向における撮像レンズ5の位置およびF値に応じて位相差画素41の信号値を補正する。カメラモジュール2は、位相差画素41により取得された画像の位相差を、補正された信号値に応じて検出する。カメラモジュール2は、高い精度での位相差検出が可能となり、被写体への正確な焦点合わせを実施できる。その結果、カメラモジュール2は、正確な焦点合わせが可能となるという効果を得ることができる。   According to the embodiment, the camera module 2 corrects the signal value of the phase difference pixel 41 according to the position of the imaging lens 5 and the F value from the first direction to the third direction. The camera module 2 detects the phase difference of the image acquired by the phase difference pixel 41 according to the corrected signal value. The camera module 2 can detect the phase difference with high accuracy and can accurately focus on the subject. As a result, the camera module 2 can obtain an effect that accurate focusing is possible.

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although the embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

2 カメラモジュール、4 撮像光学系、5 撮像レンズ、12 フォーカスドライバ、13 レンズシフトドライバ、14 位相差検出回路、16 補正回路、17 メモリ、30 画素領域、41,41L,41R 位相差画素。   2 camera module, 4 imaging optical system, 5 imaging lens, 12 focus driver, 13 lens shift driver, 14 phase difference detection circuit, 16 correction circuit, 17 memory, 30 pixel area, 41, 41L, 41R phase difference pixel.

Claims (5)

被写体からの光を取り込むレンズを備える撮像光学系と、
行列状に配列された画素を備え、前記被写体と前記撮像光学系の焦点とのずれを検出するための画素である焦点検出画素を含む画素領域と、
前記撮像光学系の光軸に垂直な第1方向と、前記光軸および前記第1方向に垂直な第2方向とのうち少なくとも一方についての、前記画素領域に対する前記レンズの位置と、前記焦点検出画素の信号値の補正のための補正係数とを互いに関係付けて保持する保持部と、
前記レンズの位置に応じて前記保持部から読み出された補正係数を用いて、前記焦点検出画素の信号値を補正する補正部と、
前記補正部からの信号の使用により前記ずれを検出した結果を基に、前記撮像光学系の焦点を調節する焦点調節部と、を備えることを特徴とするカメラモジュール。
An imaging optical system including a lens that captures light from the subject;
A pixel region including pixels arranged in a matrix, and including focus detection pixels that are pixels for detecting a shift between the subject and the focus of the imaging optical system;
The position of the lens with respect to the pixel region and the focus detection in at least one of a first direction perpendicular to the optical axis of the imaging optical system and a second direction perpendicular to the optical axis and the first direction. A holding unit that holds the correction coefficient for correcting the signal value of the pixel in association with each other;
A correction unit that corrects the signal value of the focus detection pixel using a correction coefficient read from the holding unit according to the position of the lens;
A camera module comprising: a focus adjustment unit that adjusts a focus of the imaging optical system based on a result of detecting the shift by using a signal from the correction unit.
前記焦点検出画素は、光を透過させる開口以外の部分に設けられる遮光層を備え、
前記焦点検出画素のうちの第1焦点検出画素と第2焦点検出画素とは、画素の中心に対して前記開口を偏らせた向きが互いに異なり、
前記保持部は、前記第1方向および前記第2方向のうち前記第1焦点検出画素および前記第2焦点検出画素を並列させた方向に平行な一方向における前記レンズの位置に関連付けられた補正係数を保持することを特徴とする請求項1に記載のカメラモジュール。
The focus detection pixel includes a light shielding layer provided in a portion other than the opening that transmits light,
Among the focus detection pixels, the first focus detection pixel and the second focus detection pixel have different directions in which the opening is biased with respect to the center of the pixel,
The holding unit includes a correction coefficient associated with a position of the lens in one direction parallel to a direction in which the first focus detection pixel and the second focus detection pixel are arranged in parallel in the first direction and the second direction. The camera module according to claim 1, wherein the camera module is held.
前記第1方向および前記第2方向に平行な二次元方向における前記カメラモジュールの移動量に応じて、前記画素領域に対し、前記二次元方向における前記レンズの位置を調節するレンズ位置調節部を備え、
前記補正部は、前記レンズの位置の情報を前記レンズ位置調節部から取得することを特徴とする請求項1または2に記載のカメラモジュール。
A lens position adjusting unit configured to adjust the position of the lens in the two-dimensional direction with respect to the pixel region according to a movement amount of the camera module in a two-dimensional direction parallel to the first direction and the second direction; ,
The camera module according to claim 1, wherein the correction unit acquires information on the position of the lens from the lens position adjustment unit.
前記保持部は、前記光軸に平行な第3方向における前記レンズの位置と、前記焦点検出画素の信号値の補正のための補正係数とを互いに関係付けて保持し、
前記補正部は、前記第3方向における前記レンズの位置に応じて前記保持部から読み出された補正係数を用いて、前記焦点検出画素からの信号を補正することを特徴とする請求項1から3のいずれか一項に記載のカメラモジュール。
The holding unit holds the position of the lens in a third direction parallel to the optical axis and the correction coefficient for correcting the signal value of the focus detection pixel in relation to each other,
The correction unit corrects a signal from the focus detection pixel using a correction coefficient read from the holding unit in accordance with the position of the lens in the third direction. 4. The camera module according to any one of 3.
前記保持部は、前記撮像光学系のF値と前記焦点検出画素の信号値の補正のための補正係数とを互いに関連付けて保持し、
前記補正部は、前記撮像光学系のF値に応じて前記保持部から読み出された補正係数を用いて、前記焦点検出画素からの信号を補正することを特徴とする請求項1から4のいずれか一項に記載のカメラモジュール。
The holding unit holds the F value of the imaging optical system and the correction coefficient for correcting the signal value of the focus detection pixel in association with each other,
The correction unit corrects a signal from the focus detection pixel using a correction coefficient read from the holding unit according to an F value of the imaging optical system. The camera module according to any one of the above.
JP2015171999A 2015-09-01 2015-09-01 Camera module Pending JP2017049410A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015171999A JP2017049410A (en) 2015-09-01 2015-09-01 Camera module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015171999A JP2017049410A (en) 2015-09-01 2015-09-01 Camera module

Publications (1)

Publication Number Publication Date
JP2017049410A true JP2017049410A (en) 2017-03-09

Family

ID=58279391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015171999A Pending JP2017049410A (en) 2015-09-01 2015-09-01 Camera module

Country Status (1)

Country Link
JP (1) JP2017049410A (en)

Similar Documents

Publication Publication Date Title
JP4292426B2 (en) Imaging apparatus and imaging data correction method
JP5045350B2 (en) Imaging device and imaging apparatus
JP6253272B2 (en) Imaging apparatus, imaging system, signal processing method, program, and storage medium
JP5895355B2 (en) Imaging device
JP5361535B2 (en) Imaging device
JP5946421B2 (en) Imaging apparatus and control method thereof
JP6944846B2 (en) Imaging device, control method of imaging device
JP5911445B2 (en) Imaging apparatus and control method thereof
JP5746521B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2015109588A (en) Signal processor and imaging system
JP5539584B2 (en) Color imaging device, imaging device, and imaging program
JP5539585B2 (en) Color imaging device, imaging device, and imaging program
JP5657184B2 (en) Imaging apparatus and signal processing method
JP5526287B2 (en) Imaging apparatus and imaging method
JP6815777B2 (en) Imaging device and control method of imaging device
JP5775918B2 (en) Imaging apparatus, image processing method, and image processing program
JP5750918B2 (en) Solid-state imaging device and imaging apparatus using the same
US10551591B2 (en) Imaging apparatus, control method of imaging apparatus, and storage medium storing control program of imaging apparatus for performing focus detection and display
KR102346622B1 (en) Image sensor and image pick-up apparatus including the same
JP2018019139A (en) Imaging device and control method of imaging device
JP2015154153A (en) Camera with imaging apparatus
JP2017049410A (en) Camera module
US20150146034A1 (en) Solid-state imaging device and digital camera
JP2017147528A (en) Solid state image pickup device and camera system
JP2010039106A (en) Imaging element, focus detection device and imaging apparatus