JP2017055317A - Image data generation device, imaging apparatus and image data generation program - Google Patents
Image data generation device, imaging apparatus and image data generation program Download PDFInfo
- Publication number
- JP2017055317A JP2017055317A JP2015179149A JP2015179149A JP2017055317A JP 2017055317 A JP2017055317 A JP 2017055317A JP 2015179149 A JP2015179149 A JP 2015179149A JP 2015179149 A JP2015179149 A JP 2015179149A JP 2017055317 A JP2017055317 A JP 2017055317A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- file
- pixel
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像素子から読み出された信号を用いて画像データを生成する装置に関し、特に画素ごとに複数の光電変換部を含む撮像素子から読み出された信号を用いて画像データを生成する画像データ生成装置に関する。 The present invention relates to an apparatus for generating image data using a signal read from an image sensor, and in particular, generates image data using a signal read from an image sensor including a plurality of photoelectric conversion units for each pixel. The present invention relates to an image data generation device.
撮像光学系の射出瞳のうち互いに異なる領域を通過した複数の光束をそれぞれ受光する複数の光電変換部（以下、ＰＤという）を画素ごとに含む撮像素子を備えた撮像装置が従来提案されている。特許文献１には、画素ごとにマイクロレンズと複数のＰＤとを設け、マイクロレンズによって上記射出瞳の互いに異なる領域からの複数の光束を複数のＰＤに導くようにした撮像素子が開示されている。特許文献２には、このような撮像素子の各画素からＰＤごとに読み出した信号を用いて互いに視差を持つ複数の視差画像を生成したり、各画素の複数のＰＤからの信号を合成（加算）して読み出した信号を用いて１つの画像を生成したりする撮像装置が開示されている。 2. Description of the Related Art Conventionally, there has been proposed an imaging apparatus including an imaging element that includes a plurality of photoelectric conversion units (hereinafter referred to as PDs) that receive a plurality of light beams that have passed through different areas of an exit pupil of an imaging optical system. . Patent Document 1 discloses an imaging device in which a microlens and a plurality of PDs are provided for each pixel, and a plurality of light beams from different regions of the exit pupil are guided to the plurality of PDs by the microlens. . In Patent Document 2, a plurality of parallax images having parallax are generated using signals read out for each PD from each pixel of such an image sensor, or signals from a plurality of PDs of each pixel are synthesized (added). An image pickup apparatus that generates one image using the read signal is disclosed.
複数の視差画像は、立体画像の表示に用いることが可能である。また、複数の視差画像は、被写体からの光束の強度分布および角度分布を示すＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データにもなる。このため、非特許文献１にて開示されているように、撮像後にＬＦデータを用いて撮像素子の撮像面とは異なる仮想結像面に合焦した画像（リフォーカス画像）を生成することも可能である。 A plurality of parallax images can be used for displaying a stereoscopic image. The plurality of parallax images also become light field (LF) data indicating the intensity distribution and angle distribution of the light flux from the subject. For this reason, as disclosed in Non-Patent Document 1, it is possible to generate an image (refocused image) focused on a virtual imaging plane different from the imaging surface of the image sensor using LF data after imaging. Is possible.
しかしながら、上記のような撮像素子には、製造上の問題等により、一部の画素において個々のＰＤからの信号を単独で読み出すことができず、複数のＰＤからの加算された信号としてしか読み出せない場合がある。この場合、複数のＰＤからの信号を合成して読み出した信号を用いて生成される１つの画像には欠陥はないが、個々のＰＤから読み出した信号を用いて生成される視差画像には欠陥が含まれることになる。この結果、良好な立体画像を表示したり画質が高いリフォーカス画像を生成したりすることができなくなる。 However, due to manufacturing problems and the like, the image sensor as described above cannot read signals from individual PDs alone in some pixels, and can only read them as added signals from a plurality of PDs. You may not be able to put it out. In this case, there is no defect in one image generated using signals read out by combining signals from a plurality of PDs, but there is no defect in a parallax image generated using signals read out from individual PDs. Will be included. As a result, it becomes impossible to display a good stereoscopic image or generate a refocus image with high image quality.
本発明は、各画素に含まれる一部のＰＤから読み出された信号のみを用いて生成されるべき画像に欠陥が含まれる場合に、その欠陥の情報を含む画像データファイルを生成できるようにした画像データ生成装置および撮像装置等を提供する。 In the present invention, when a defect is included in an image to be generated using only signals read from a part of PDs included in each pixel, an image data file including information on the defect can be generated. An image data generation device, an imaging device, and the like are provided.
本発明の一側面としての画像データ生成装置は、それぞれ複数の光電変換部を含む複数の画素を有する撮像素子から得られる信号を用いて画像データを生成する。該画像データ生成装置は、複数の画素のそれぞれにおける複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する第１の画像生成手段と、複数の画素のそれぞれにおける複数の光電変換部からの信号を相互に合成することで得られる第２の信号を用いて第２の画像データを生成する第２の画像生成手段と、第１の画像データおよび第２の画像データを含む画像データファイルを生成するファイル生成手段とを有する。そして、ファイル生成手段は、第１の画像データに含まれる欠陥に関する情報を示す欠陥データを画像データファイルに含めることを特徴とする。 An image data generation device according to an aspect of the present invention generates image data using signals obtained from an imaging element having a plurality of pixels each including a plurality of photoelectric conversion units. The image data generation device generates a first image data by using a first signal obtained from a part of a plurality of photoelectric conversion units in each of a plurality of pixels. And second image generation means for generating second image data using a second signal obtained by mutually synthesizing signals from the plurality of photoelectric conversion units in each of the plurality of pixels, File generating means for generating an image data file including the image data and the second image data. The file generating means includes defect data indicating information on defects included in the first image data in the image data file.
なお、それぞれ複数の光電変換部を含む複数の画素を有する撮像素子と、上記画像データ生成装置とを有する撮像装置も、本発明の他の一側面を構成する。 Note that an imaging device having an image sensor having a plurality of pixels each including a plurality of photoelectric conversion units and the image data generation device also constitutes another aspect of the present invention.
また、本発明の他の一側面としての画像データ生成プログラムは、コンピュータに、それぞれ複数の光電変換部を含む複数の画素を有する撮像素子から得られる信号を用いて画像データを生成する処理を実行させるコンピュータプログラムである。該処理は、複数の画素のそれぞれにおける複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する処理と、複数の画素のそれぞれにおける複数の光電変換部からの信号を相互に合成することで得られる第２の信号を用いて第２の画像データを生成する処理と、第１の画像データおよび第２の画像データを含む画像データファイルを生成するファイル生成処理とを含む。そして、ファイル生成処理は、第１の画像データに含まれる欠陥に関する情報を示す欠陥データを画像データファイルに含めることを特徴とする。 An image data generation program according to another aspect of the present invention executes a process of generating image data using a signal obtained from an image sensor having a plurality of pixels each including a plurality of photoelectric conversion units. It is a computer program to make it. The processing includes processing for generating first image data using a first signal obtained from some of the plurality of photoelectric conversion units in each of the plurality of pixels, and in each of the plurality of pixels. A process of generating second image data using a second signal obtained by combining signals from a plurality of photoelectric conversion units, and image data including the first image data and the second image data File generation processing for generating a file. The file generation process is characterized in that defect data indicating information related to defects included in the first image data is included in the image data file.
本発明によれば、撮像素子における各画素の一部の光電変換部から読み出された信号のみを用いて生成されるべき第１の画像に欠陥が含まれた場合に、その欠陥に関する情報のデータを含む画像データファイルを生成することができる。このため、第１の画像を用いた処理において該欠陥が反映されることを防止したり、該欠陥を補正したりすること等が可能となる。 According to the present invention, when a defect is included in the first image to be generated using only the signals read from the photoelectric conversion units of a part of each pixel in the image sensor, information on the defect is stored. An image data file containing the data can be generated. For this reason, it is possible to prevent the defect from being reflected in the processing using the first image, correct the defect, and the like.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１には、本発明の実施例１である撮像装置としてのカメラ本体２００と該カメラ２００に取り外し可能に装着される交換レンズ１００の構成を示している。 FIG. 1 shows a configuration of a camera body 200 as an image pickup apparatus that is Embodiment 1 of the present invention and an interchangeable lens 100 that is detachably attached to the camera 200.
交換レンズ１００は、被写体からの光を結像させて被写体像（光学像）を形成する撮像レンズ１０１を有し、カメラ本体２００に設けられたレンズマウント１０２に対して機械的に結合されるとともにカメラ本体２００との通信が可能に電気的に接続される。なお、本実施例では撮像装置がレンズ交換型のカメラ（カメラ本体２００）について説明するが、撮像装置はレンズ一体型のカメラであってもよい。撮像レンズ１０１は、変倍レンズ、フォーカスレンズおよび絞り等を含む。レンズ制御部１４１は、レンズマウント１０２を介してカメラ本体２００の後述するＣＰＵ１３１から受信した制御指令に応じて変倍レンズ、フォーカスレンズおよび絞りの駆動を制御する。 The interchangeable lens 100 includes an imaging lens 101 that forms an object image (optical image) by forming an image of light from the object, and is mechanically coupled to a lens mount 102 provided in the camera body 200. The camera body 200 is electrically connected to enable communication. In the present embodiment, a camera with an interchangeable lens (camera body 200) is described as an imaging device, but the imaging device may be a lens-integrated camera. The imaging lens 101 includes a variable power lens, a focus lens, a diaphragm, and the like. The lens control unit 141 controls driving of the variable power lens, the focus lens, and the diaphragm according to a control command received from a CPU 131 (described later) of the camera body 200 via the lens mount 102.
カメラ本体２００において、撮像素子１０３は、ＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換して電気信号を出力する複数の画素を有する。ＡＦＥ１０４は、撮像素子１０３から出力されたアナログ信号を増幅するアンプや増幅されたアナログ信号をデジタル信号に変換するＡＤコンバータ等を含む。画像データ生成装置としての映像信号処理部１２１は、ＡＦＥ１０４からのデジタル信号に対して各種画像処理を行うことで画像データを生成する。 In the camera body 200, the imaging element 103 is configured by a photoelectric conversion element such as a CMOS sensor, and includes a plurality of pixels that photoelectrically convert a subject image and output an electrical signal. The AFE 104 includes an amplifier that amplifies the analog signal output from the image sensor 103, an AD converter that converts the amplified analog signal into a digital signal, and the like. The video signal processing unit 121 as an image data generation device generates image data by performing various image processing on the digital signal from the AFE 104.
メモリ１３２は、映像信号処理部１２１で生成された画像データや後述するＣＰＵ１３１が各種処理に使用するデータを一時的に記憶する。不揮発性メモリ１３３は、ＣＰＵ１３１が実行するプログラムや後述する右画像欠陥行データ（欠陥データ）を保持する。タイミング発生部１４２は、撮像素子１０３および映像信号処理回路１２１にタイミング信号を供給する。 The memory 132 temporarily stores image data generated by the video signal processing unit 121 and data used by the CPU 131 described later for various processes. The non-volatile memory 133 holds a program executed by the CPU 131 and right image defective row data (defect data) described later. The timing generator 142 supplies a timing signal to the image sensor 103 and the video signal processing circuit 121.
撮像素子１０３、ＡＦＥ１０４、映像信号処理部１２１、メモリ１３２、不揮発性メモリ１３３、タイミング発生部１４２およびレンズマウント１０２は、バス１５０を介してＣＰＵ１３１と接続されている。また、ＣＰＵ１３１には、バス１５０を介して、電源１１０、表示制御部１５１、カード入出力部１７１およびユーザにより操作される各種スイッチが接続されている。各種スイッチには、カメラ本体２００の電源をオン／オフするためのメインスイッチ１６１と、ＡＦや測光等の撮像準備動作を開始させる撮像準備スイッチ１６２と、記録用撮像動作を開始させる撮像開始スイッチ１６３とが含まれる。また、各種スイッチには、撮像モード等の設定項目を選択するための項目選択ボタン１６４と、選択した設定項目を決定するための決定ボタン１６５も含む。 The image sensor 103, AFE 104, video signal processor 121, memory 132, nonvolatile memory 133, timing generator 142, and lens mount 102 are connected to the CPU 131 via the bus 150. The CPU 131 is connected to the power source 110, the display control unit 151, the card input / output unit 171 and various switches operated by the user via the bus 150. The various switches include a main switch 161 for turning on / off the power of the camera body 200, an imaging preparation switch 162 for starting an imaging preparation operation such as AF and photometry, and an imaging start switch 163 for starting a recording imaging operation. And are included. The various switches also include an item selection button 164 for selecting a setting item such as an imaging mode and a determination button 165 for determining the selected setting item.
電源１１０は、バス１５０を介してカメラ本体２００内の各回路に電源を供給するとともに、レンズマウント１０２を介して交換レンズ１００にも電源を供給する。 The power supply 110 supplies power to each circuit in the camera body 200 via the bus 150 and also supplies power to the interchangeable lens 100 via the lens mount 102.
表示制御部１５１は、Ｄ／Ａ変換部１５２を介して、液晶パネル等の表示素子により構成される表示部１５３にメモリ１３２に保存された表示用の画像データを表示させる。Ｄ／Ａ変換部１５２は、表示制御部１５１から入力された表示用の画像データ（デジタル画像データ）をアナログ画像データに変換して表示部１５３に出力する。また、表示制御部１５１は、Ｄ／Ａ変換部１５２を介して、ＶＩＤＥＯ出力端子１５４やＨＤＭＩ(登録商標)出力端子１５５にケーブルを介して接続された外部表示装置（図示せず）に画像データを出力する。 The display control unit 151 causes the display unit 153 configured by a display element such as a liquid crystal panel to display the display image data stored in the memory 132 via the D / A conversion unit 152. The D / A conversion unit 152 converts display image data (digital image data) input from the display control unit 151 into analog image data and outputs the analog image data to the display unit 153. In addition, the display control unit 151 receives image data from an external display device (not shown) connected to the VIDEO output terminal 154 and the HDMI (registered trademark) output terminal 155 via the D / A conversion unit 152 via a cable. Is output.
カードスロット１７２には、ＳＤカード等の着脱可能な記録媒体１７３が装着される。カードスロット１７２に装着された記録媒体１７３はカード入出力部１７１と電気的に接続され、この状態において、メモリ１３２に記録されている画像データを記録媒体１７３記録することができる。また、記録媒体１７３に記録されたデータをカード入出力部１７１を介して読み出すこともできる。 A removable recording medium 173 such as an SD card is mounted in the card slot 172. The recording medium 173 mounted in the card slot 172 is electrically connected to the card input / output unit 171. In this state, the image data recorded in the memory 132 can be recorded on the recording medium 173. In addition, data recorded on the recording medium 173 can be read out via the card input / output unit 171.
メインコントローラとしてのＣＰＵ１３１は、バス１５０を介してカメラ本体２００内の各部および交換レンズ１００内のレンズ制御部１４１の動作全体を制御する。 The CPU 131 as a main controller controls the entire operation of each unit in the camera body 200 and the lens control unit 141 in the interchangeable lens 100 via the bus 150.
図２には、撮像素子１０３の構成を示している。撮像素子１０３は、２次元配列された複数の画素を含む画素アレイ２０１と、画素アレイ２０１における画素行を順次選択する垂直選択回路２０２と、画素アレイ２０１における画素列を順次選択する水平選択回路２０４とを有する。また、撮像素子１０３は、画素アレイ２０１における複数の画素のうち垂直選択回路２０２により選択された画素行に含まれる複数の画素から信号を読み出す読み出し回路２０３を有する。さらに、撮像素子１０３は、上記回路２０２〜２０４の動作モード等を指定する信号の入力部となるシリアルインターフェイス（ＳＩ）２０５を有する。 FIG. 2 shows the configuration of the image sensor 103. The image sensor 103 includes a pixel array 201 including a plurality of pixels arranged two-dimensionally, a vertical selection circuit 202 that sequentially selects pixel rows in the pixel array 201, and a horizontal selection circuit 204 that sequentially selects pixel columns in the pixel array 201. And have. In addition, the image sensor 103 includes a readout circuit 203 that reads signals from a plurality of pixels included in a pixel row selected by the vertical selection circuit 202 among a plurality of pixels in the pixel array 201. Furthermore, the image sensor 103 has a serial interface (SI) 205 serving as an input unit for a signal designating an operation mode or the like of the circuits 202 to 204.
読み出し回路２０３は、画素からの信号を蓄積するメモリ、ゲインアンプおよびＡＤ変換器等を画素列ごとに有する。垂直選択回路２０２は画素アレイ２０１における複数の画素行を順次選択し、選択した画素行に含まれる複数の画素の信号を読み出し回路２０３に読み出させる。また、水平選択回路２０４は、読み出し回路２０３によって読み出された各画素行における複数の画素からの信号を画素列ごとに順次選択して出力する。 The readout circuit 203 has a memory for accumulating signals from the pixels, a gain amplifier, an AD converter, and the like for each pixel column. The vertical selection circuit 202 sequentially selects a plurality of pixel rows in the pixel array 201 and causes the readout circuit 203 to read out signals of a plurality of pixels included in the selected pixel row. Further, the horizontal selection circuit 204 sequentially selects and outputs signals from a plurality of pixels in each pixel row read by the reading circuit 203 for each pixel column.
図３には、撮像素子１０３における１画素の構成を示している。画素３００は、１つのマイクロレンズ３０１と、複数（図では４つ）のフォトダイオード（光電変換部：以下、ＰＤと記す）３０２ａ，３０２ｂ，３０２ｃ，３０２ｄとを有する。なお、１画素に含まれるＰＤの数は４つでなくてもよく、２つ以上であればよい。 FIG. 3 shows the configuration of one pixel in the image sensor 103. The pixel 300 includes one microlens 301 and a plurality (four in the figure) of photodiodes (photoelectric conversion units: hereinafter referred to as PD) 302a, 302b, 302c, and 302d. Note that the number of PDs included in one pixel need not be four, but may be two or more.
この画素３００からは、４つのＰＤ３０２ａ〜３０２ｄのうち個々（つまりは一部）のＰＤの信号を読み出すことも、４つ全部のＰＤ３０２ａ〜３０２ｄの信号を相互に合成（加算）して読み出すことも可能である。また、４つのＰＤ３０２ａ〜３０２ｄのうち２つずつ（つまりは一部）のＰＤの信号を相互に合成して読み出すことも可能である。なお、画素３００は、ＰＤの信号を増幅して読み出し回路２０３に読み出させるための増幅アンプや、垂直選択回路２０２による画素（行）の選択を可能と画素選択スイッチや、ＰＤの信号をリセットするリセットスイッチ等も備えている。 From this pixel 300, the individual PD signals among the four PDs 302a to 302d (that is, a part) can be read, and the signals of all the four PDs 302a to 302d can be combined (added) and read out. Is possible. It is also possible to read out the signals of two (that is, a part of) PD among the four PDs 302a to 302d by synthesizing each other. The pixel 300 amplifies the PD signal and causes the readout circuit 203 to read the pixel, the pixel (row) can be selected by the vertical selection circuit 202, the pixel selection switch, and the PD signal is reset. A reset switch is also provided.
図４には、画素アレイ２０１に、水平方向にＮ個の画素を含む画素列が垂直方向にＭ行並ぶように行列状に２次元配列された複数の画素を示している。これら複数の画素のそれぞれにはカラーフィルタが設けられている。本実施例では、奇数画素行の画素に対して赤と緑のカラーフィルタが交互に設けられ、偶数画素行の画素に対して緑と青のカラーフィルタが交互に設けられている。このように複数の画素が２次元配列されることで、該複数の画素（つまりはＰＤ３０２ａ〜３０２ｄ）から読み出された信号を用いて２次元の画像データを生成することができる。 FIG. 4 shows a plurality of pixels that are two-dimensionally arranged in a matrix in a pixel array 201 such that a pixel column including N pixels in the horizontal direction is arranged in M rows in the vertical direction. Each of the plurality of pixels is provided with a color filter. In the present embodiment, red and green color filters are alternately provided for pixels in odd pixel rows, and green and blue color filters are alternately provided for pixels in even pixel rows. As described above, when a plurality of pixels are two-dimensionally arranged, two-dimensional image data can be generated using signals read from the plurality of pixels (that is, PDs 302a to 302d).
図５には、画素アレイ２０１の各画素３００による瞳分割を示している。図５において、５０６は図１に示した撮像レンズ１０１の射出瞳であり、３０１は図３にも示したマイクロレンズであり、３０３は図４を用いて説明したカラーフィルタである。３０２Ａは図３に示したＰＤ３０２ａおよびＰＤ３０２ｃのうち少なくとも一方であり、３０２Ｂは図３に示したＰＤ３０２ｂおよびＰＤ３０２ｄのうち少なくとも一方である。５０９はマイクロレンズ３０１を有する画素に対して射出瞳５０６から入射する光束の中心であり、ここでは光軸という。被写体からの光束であって射出瞳５０６のうち光軸５０９を挟んで位置する互いに異なる領域である部分瞳５０７，５０８を通過した２つの光束５１０，５１２はそれぞれ、マイクロレンズ３０１を透過してＰＤ３０２Ａ，３０２Ｂに入射する。つまり、ＰＤ３０２ＡとＰＤ３０２Ｂは、互いに視差を持って被写体を撮像する。これにより、互いに視差を有する少なくとも２つの画像（視差画像）を生成することができる。 FIG. 5 shows pupil division by each pixel 300 of the pixel array 201. In FIG. 5, 506 is the exit pupil of the imaging lens 101 shown in FIG. 1, 301 is the microlens also shown in FIG. 3, and 303 is the color filter described with reference to FIG. 302A is at least one of PD 302a and PD 302c shown in FIG. 3, and 302B is at least one of PD 302b and PD 302d shown in FIG. Reference numeral 509 denotes the center of a light beam incident on the pixel having the microlens 301 from the exit pupil 506, which is herein referred to as an optical axis. Two light fluxes 510 and 512 that are light fluxes from the subject and that have passed through partial pupils 507 and 508, which are different areas located across the optical axis 509 of the exit pupil 506, are transmitted through the microlens 301 and PD302A. , 302B. That is, the PD 302A and the PD 302B capture a subject with parallax. Thereby, at least two images (parallax images) having parallax with each other can be generated.
以下の説明においては、ＰＤ３０２Ａから得られる信号がＰＤ３０２ａおよびＰＤ３０２ｃから得られる信号を加算した信号であり、ＰＤ３０２Ｂから得られる信号がＰＤ３０２ｂおよびＰＤ３０２ｄから得られる信号を加算した信号であるとする。このとき、ＰＤ３０２Ａ，３０２Ｂから得られる信号のうちＰＤ３０２Ａからの信号（つまりは２つのＰＤ３０２ａ，３０２ｃから得られる信号を加算した信号であり、第１の信号に相当する）のみを用いて生成される画像を「右画像」（第１の画像データ）という。また、ＰＤ３０２Ａ，３０２Ｂから得られる信号を加算した信号（つまりは４つのＰＤ３０２ａ〜３０２ｄから得られる信号を全て加算した信号であり、第２の信号に相当する）を用いて生成される画像を「右＋左画像」（第２の画像データ）という。 In the following description, it is assumed that the signal obtained from PD 302A is a signal obtained by adding signals obtained from PD 302a and PD 302c, and the signal obtained from PD 302B is a signal obtained by adding signals obtained from PD 302b and PD 302d. At this time, of the signals obtained from the PDs 302A and 302B, only the signal from the PD 302A (that is, the signal obtained by adding the signals obtained from the two PDs 302a and 302c and corresponding to the first signal) is generated. The image is called “right image” (first image data). In addition, an image generated using a signal obtained by adding the signals obtained from the PDs 302A and 302B (that is, a signal obtained by adding all the signals obtained from the four PDs 302a to 302d and corresponding to the second signal) is expressed as “ This is referred to as “right + left image” (second image data).
図６には、映像信号処理部１２１の構成を示している。映像信号処理部１２１は、右＋左画像生成部６０１と、画像処理部６０２と、非可逆圧縮処理部６０３と、メモリインターフェイス６０４と、右画像抽出部６０５と、可逆圧縮処理部６０６と、ファイル生成部６１０とを有する。右画像抽出部６０５が第１の画像生成手段に相当し、右＋左画像生成部６０１が第２の画像生成手段に相当する。また、ファイル生成部６１０がファイル生成手段に相当する。 FIG. 6 shows the configuration of the video signal processing unit 121. The video signal processing unit 121 includes a right + left image generation unit 601, an image processing unit 602, an irreversible compression processing unit 603, a memory interface 604, a right image extraction unit 605, a lossless compression processing unit 606, a file A generation unit 610. The right image extraction unit 605 corresponds to the first image generation unit, and the right + left image generation unit 601 corresponds to the second image generation unit. The file generation unit 610 corresponds to a file generation unit.
右＋左画像生成部６０１は、撮像素子１０３の複数の画素のそれぞれにおけるＰＤ３０２ＡおよびＰＤ３０２Ｂから出力された信号を加算した信号を用いて右＋左画像を生成する。画像処理部６０２は、右＋左画像生成部６０１で生成された右＋左画像に対して、ホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換等の画像処理を行う。 The right + left image generation unit 601 generates a right + left image using a signal obtained by adding signals output from the PD 302A and the PD 302B in each of the plurality of pixels of the image sensor 103. The image processing unit 602 performs image processing such as white balance, color interpolation, color correction, γ conversion, edge enhancement, and resolution conversion on the right + left image generated by the right + left image generation unit 601.
非可逆圧縮処理部６０３は、画像処理部６０２で処理された右＋左画像に対して、そのデータ量を圧縮するためのＪＰＥＧ圧縮等の非可逆圧縮処理を行って非可逆圧縮画像を生成する。そして、この非可逆圧縮画像をメモリインターフェイス６０４およびバス１５０を介してメモリ１３２に出力し、保存させる。 The irreversible compression processing unit 603 performs irreversible compression processing such as JPEG compression for compressing the data amount on the right + left image processed by the image processing unit 602 to generate an irreversible compressed image. . The lossy compressed image is output to the memory 132 via the memory interface 604 and the bus 150 and stored.
右画像抽出部６０５は、撮像素子１０３の複数の画素のそれぞれにおけるＰＤ３０２ＡおよびＰＤ３０２Ｂから出力された信号のうちＰＤ３０２Ａからの信号を抽出して右画像を生成する。 The right image extraction unit 605 extracts a signal from the PD 302A among signals output from the PD 302A and PD 302B in each of the plurality of pixels of the image sensor 103, and generates a right image.
可逆圧縮処理部６０６は、右＋左画像生成部６０１で生成された右＋左画像と右画像抽出部６０５で生成された右画像のそれぞれに対して、そのデータ量を圧縮するためのＴＩＦＦ圧縮等の可逆圧縮処理を行って可逆圧縮右＋左画像と可逆圧縮右画像を生成する。そして、これらの可逆圧縮右＋左画像と可逆圧縮右画像をメモリインターフェイス６０４およびバス１５０を介してメモリ１３２に出力し、保存させる。 The lossless compression processing unit 606 performs TIFF compression to compress the data amount of each of the right + left image generated by the right + left image generation unit 601 and the right image generated by the right image extraction unit 605. A reversible compression right + left image and a reversible compression right image are generated by performing a reversible compression process. Then, these lossless compression right + left image and lossless compression right image are output to the memory 132 via the memory interface 604 and the bus 150 and stored.
ファイル生成部６１０は、メモリ１３２から可逆圧縮右＋左画像、可逆圧縮右画像および非可逆圧縮右＋左画像等を含む画像データファイルを生成する。なお、ファイル生成部６１０の機能をＣＰＵ１３１が有していてもよく、この場合は映像信号処理部１２１とＣＰＵ１３１によって画像データ生成装置が構成される。 The file generation unit 610 generates an image data file including a lossless compression right + left image, a lossless compression right image, a lossy compression right + left image, and the like from the memory 132. Note that the CPU 131 may have the function of the file generation unit 610. In this case, the video signal processing unit 121 and the CPU 131 constitute an image data generation device.
次に、図７のフローチャートを用いて本実施例において映像信号処理部１２１が行う画像データ生成処理について説明する。この画像データ生成処理には、後述する画像ファイルを生成するファイル生成処理も含まれる。コンピュータとしての映像信号処理部１２１は、不揮発性メモリ１３３に格納されたコンピュータプログラムである画像データ生成プログラムに従って本処理を実行する。 Next, image data generation processing performed by the video signal processing unit 121 in this embodiment will be described using the flowchart of FIG. This image data generation process includes a file generation process for generating an image file to be described later. The video signal processing unit 121 as a computer executes this processing according to an image data generation program that is a computer program stored in the nonvolatile memory 133.
ステップＳ１００においてＣＰＵ１３１による撮像準備スイッチ１６２の操作の検出に応じた撮像準備動作に続き、撮像開始スイッチ１６３の操作の検出に応じた撮像動作が行われると、ステップＳ１０１から映像信号処理部１２１が本処理を開始する。 In step S100, when the imaging operation corresponding to the detection of the operation of the imaging start switch 163 is performed following the imaging preparation operation corresponding to the detection of the operation of the imaging preparation switch 162 by the CPU 131, the video signal processing unit 121 is started from step S101. Start processing.
ステップＳ１０１では、映像信号処理部１２１は、撮像素子１０３の各画素からＰＤ３０２ＡおよびＰＤ３０２Ｂから信号を読み出す。 In step S101, the video signal processing unit 121 reads signals from the PD 302A and the PD 302B from each pixel of the image sensor 103.
ステップＳ１０２では、映像信号処理部１２１（右＋左画像生成部６０１）は、撮像素子１０３の各画素のＰＤ３０２ＡおよびＰＤ３０２Ｂから出力された信号を加算した信号を用いて右＋左画像を生成する。また、映像信号処理部１２１（右画像生成部６０５）は、各画素のＰＤ３０２Ａからの信号を抽出し、該抽出した信号を用いて右画像を生成する。 In step S102, the video signal processing unit 121 (right + left image generation unit 601) generates a right + left image using a signal obtained by adding the signals output from the PD 302A and PD 302B of each pixel of the image sensor 103. Further, the video signal processing unit 121 (right image generation unit 605) extracts a signal from the PD 302A of each pixel, and generates a right image using the extracted signal.
次にステップＳ１１０では、映像信号処理部１２１（可逆圧縮処理部６０６）は、ステップＳ１０２で生成された右＋左画像に対して可逆圧縮処理を行い、その結果得られた可逆圧縮画像（以下、右＋左画像という）をメモリ１３２に保存する。右＋左画像は、撮像後にアプリケーションソフトによって撮像パラメータを変更した画像を生成するために用いられる画像である。 Next, in step S110, the video signal processing unit 121 (reversible compression processing unit 606) performs a reversible compression process on the right + left image generated in step S102, and a reversible compressed image (hereinafter, referred to as a result) is obtained. (Right + left image) is stored in the memory 132. The right + left image is an image used for generating an image in which imaging parameters are changed by application software after imaging.
また、ステップＳ１２０では、映像信号処理部１２１（画像処理部６０２）は、ステップＳ１０２で生成された右＋左画像に対して上述した画像処理を行う。そして、ステップＳ１２１では、映像信号処理部１２１（非可逆圧縮処理部６０３）は、画像処理後の右＋左画像に対して非可逆圧縮処理を行い、その結果得られた表示用の非可逆圧縮右＋左画像（以下、表示用右＋左画像という）をメモリ１３２に保存する。表示用右＋左画像は、表示部１５３での表示に用いるためのＪＰＥＧ画像等である。 In step S120, the video signal processing unit 121 (image processing unit 602) performs the above-described image processing on the right + left image generated in step S102. In step S121, the video signal processing unit 121 (irreversible compression processing unit 603) performs irreversible compression processing on the right + left image after the image processing, and the resultant irreversible compression for display is performed. The right + left image (hereinafter referred to as display right + left image) is stored in the memory 132. The display right + left image is a JPEG image or the like for use in display on the display unit 153.
また、映像信号処理部１２１（非可逆圧縮処理部６０３）は、右＋左画像をサムネイル表示用に縮小したサムネイル右＋左画像を生成して、メモリ１３２に保存する。サムネイル右＋左画像は、表示部１５３に複数の画像のインデックス表示を行う場合に用いられ、表示用右＋左画像を間引いてリサイズした画像である。 Also, the video signal processing unit 121 (lossy compression processing unit 603) generates a thumbnail right + left image obtained by reducing the right + left image for thumbnail display, and stores the thumbnail right + left image in the memory 132. The thumbnail right + left image is used when the display unit 153 displays an index of a plurality of images, and is a resized image obtained by thinning the display right + left image.
さらに、ステップＳ１３０では、映像信号処理部１２１（可逆圧縮処理部６０６）は、ステップＳ１０２で生成された右画像に対して可逆圧縮処理を行い、その結果得られた可逆圧縮右画像（以下、単に右画像という）をメモリ１３２に保存する。右画像は、撮像後にアプリケーションソフトを用いて、右＋左画像とともにリフォーカス画像や立体表示用画像の生成処理に用いられる画像である。 Further, in step S130, the video signal processing unit 121 (reversible compression processing unit 606) performs a reversible compression process on the right image generated in step S102, and the reversible compression right image (hereinafter, simply referred to as a result) is obtained. Is stored in the memory 132. The right image is an image used for generating a refocus image and a stereoscopic display image together with the right + left image using application software after imaging.
これらステップＳ１１０，Ｓ１２０，Ｓ１２１およびＳ１３０の処理は、映像信号処理部１２１が同時に並行して行ってもよいし、順に行ってもよい、
ステップＳ１１０，Ｓ１２１およびＳ１３０が完了すると、映像信号処理部１２１（ファイル生成部６１０）はステップＳ１４０に進み、画像データファイル（以下、単に画像ファイルという）を生成するファイル生成処理を行う。
The processing of these steps S110, S120, S121, and S130 may be performed simultaneously by the video signal processing unit 121 or sequentially.
When steps S110, S121, and S130 are completed, the video signal processing unit 121 (file generation unit 610) proceeds to step S140, and performs a file generation process for generating an image data file (hereinafter simply referred to as an image file).
具体的には、映像信号処理部１２１は、可逆圧縮右＋左画像、可逆圧縮右画像、表示用の非可逆圧縮右＋左画像およびサムネイル右＋左画像をメモリ１３２から読み出して画像ファイルを生成する。また、映像信号処理部１２１は、不揮発性メモリ（記憶手段）１３３から、これに記憶（保持）されている後述する右画像欠陥行データを読み出すことで取得して画像ファイルに付加する。画像ファイルの詳しい構成については後述する。 Specifically, the video signal processing unit 121 reads the lossless compression right + left image, the lossless compression right image, the irreversible compression right + left image and the thumbnail right + left image for display from the memory 132, and generates an image file. To do. Further, the video signal processing unit 121 reads out right image defective row data (to be described later) stored (held) from the nonvolatile memory (storage unit) 133 and adds it to the image file. The detailed configuration of the image file will be described later.
次にステップＳ１４１では、映像信号処理部１２１は、生成した画像ファイルを、カード入出力部１７１を介して記録媒体１７３に記録する。そして、ステップＳ１４２にて本処理を終了する。 In step S141, the video signal processing unit 121 records the generated image file on the recording medium 173 via the card input / output unit 171. In step S142, the process ends.
上述した右画像欠陥行データにおける「欠陥」および「欠陥行」について、図１３を用いて説明する。図１３には、撮像素子１０３における画素の回路構成を示している。ここでは、１画像行のうち３つの画素の回路を示している。また、説明を簡単にするために、１つの画素７０１に２つのＰＤ７０３，７０４が含まれているものとして説明する。 The “defect” and “defective row” in the right image defective row data described above will be described with reference to FIG. FIG. 13 shows a circuit configuration of a pixel in the image sensor 103. Here, a circuit of three pixels in one image row is shown. In order to simplify the description, it is assumed that one pixel 701 includes two PDs 703 and 704.
画素７０１の転送スイッチ７０５，７０６はそれぞれ転送パルスφＴＸ１，φＴＸ２によって駆動され、これら転送スイッチ７０５，７０６に対応するＰＤ７０３，７０４で発生した電荷をＦＤ７０７に転送する。ＦＤ７０７は電荷を一時的に蓄積するバッファとしての役割を有する。９０１はソースフォロアとして機能する増幅ＭＯＳアンプであり、９０２は垂直選択パルスφＳＥＬによって画素を選択する選択スイッチである。ＦＤ７０７、増幅ＭＯＳアンプ９０１および垂直出力線９０３に接続された不図示の定電流源によりフローティングディフュージョンアンプが構成される。画素選択スイッチ９０２により選択された画素のＦＤ７０７の電荷がフローティングディフュージョンアンプにより電圧に変換されて、垂直出力線９０３に出力され、図２に示した読み出し回路２０３により読み出される。９０４はリセットパルスφＲＥＳを受けてＶＤＤによりＦＤ７０７をリセットするリセットスイッチである。 The transfer switches 705 and 706 of the pixel 701 are driven by transfer pulses φTX1 and φTX2, respectively, and charges generated in the PDs 703 and 704 corresponding to the transfer switches 705 and 706 are transferred to the FD 707. The FD 707 functions as a buffer that temporarily accumulates charges. Reference numeral 901 denotes an amplification MOS amplifier that functions as a source follower, and reference numeral 902 denotes a selection switch that selects a pixel by a vertical selection pulse φSEL. A floating diffusion amplifier is configured by a constant current source (not shown) connected to the FD 707, the amplification MOS amplifier 901, and the vertical output line 903. The electric charge of the FD 707 of the pixel selected by the pixel selection switch 902 is converted into a voltage by the floating diffusion amplifier, outputted to the vertical output line 903, and read by the read circuit 203 shown in FIG. Reference numeral 904 denotes a reset switch that receives the reset pulse φRES and resets the FD 707 with VDD.
ＰＤ７０３，７０４はそれぞれに対応する転送スイッチ７０５，７０６を有するが、画素中の回路においてＦＤ７０７以降で信号読み出しに用いる回路は共有する。このような構成にすることで、画素の縮小化を図ることができる。また、転送パルスφＴＸ１，φＴＸ２を提供する配線は各画素行に配列された画素により共有される。 The PDs 703 and 704 have transfer switches 705 and 706 corresponding to the PDs 703 and 704, respectively, but the circuits used for signal readout in the circuits in the pixels after the FD 707 are shared. With such a configuration, the pixels can be reduced. Also, the wiring for providing the transfer pulses φTX1 and φTX2 is shared by the pixels arranged in each pixel row.
このように構成された回路において、リセットパルスφＲＥＳと転送パルスφＴＸ１，φＴＸ２が同時に高電位（Ｈ）とされると、リセットスイッチ９０４と転送スイッチ７０５，７０６がオンとなる。これにより、ＰＤ７０３，７０４およびＦＤ７０７の電位が初期電位ＶＤＤにリセットされる。その後、転送パルスφＴＸ１，φＴＸ２が低電位（Ｌ）になると、ＰＤ７０３，７０４において電荷の蓄積が始まる。 In the circuit thus configured, when the reset pulse φRES and the transfer pulses φTX1 and φTX2 are simultaneously set to a high potential (H), the reset switch 904 and the transfer switches 705 and 706 are turned on. As a result, the potentials of the PDs 703 and 704 and the FD 707 are reset to the initial potential VDD. Thereafter, when the transfer pulses φTX1 and φTX2 become low potential (L), charge accumulation starts in the PDs 703 and 704.
所定の電荷蓄積時間が経過すると、垂直選択パルスφＳＥＬがＨにされて画素選択スイッチ９０２がオンなることで読み出し画素行が選択され、１画素行の信号の読み出し動作が行われる。また同時にリセットパルスφＲＥＳがＬにされ、ＦＤ７０７のリセットが解除される。 When a predetermined charge accumulation time elapses, the vertical selection pulse φSEL is set to H and the pixel selection switch 902 is turned on, whereby a readout pixel row is selected and a signal readout operation for one pixel row is performed. At the same time, the reset pulse φRES is set to L, and the reset of the FD 707 is released.
そして、φＴＮがＨにされることで読み出し回路２０３によりＦＤ７０７のリセット信号であるＮ信号が読み出されて記録される。図示はしないが、読み出し回路２０３は、φＴＮ，φＳ１およびφＳ２の制御に基づいてＦＤ７０７の電位を垂直出力線９０３を介し読み出して記録する。次に、転送パルスφＴＸ１とφＳ１とが同時にＨにされて転送スイッチ７０５がオンになることでＰＤ７０３の電荷（光信号）とノイズ信号との加算信号である第１ＰＤ信号が読み出し回路２０３に記録される。 When φTN is set to H, the read circuit 203 reads and records the N signal, which is a reset signal of the FD 707. Although not shown, the reading circuit 203 reads and records the potential of the FD 707 via the vertical output line 903 based on the control of φTN, φS1, and φS2. Next, when the transfer pulses φTX1 and φS1 are simultaneously set to H and the transfer switch 705 is turned on, the first PD signal, which is an addition signal of the charge (optical signal) of the PD 703 and the noise signal, is recorded in the readout circuit 203. The
次に、リセットスイッチ９０４がオンにされない状態で転送パルスφＴＸ１，φＴＸ２とφＳ２とが同時にＨにされることで転送スイッチ７０５，７０６がオンにされる。これにより、ＰＤ７０３の光信号とＰＤ２０４の光信号とノイズ信号とが加算された加算信号である第２ＰＤ信号が読み出し回路２０３に記録される。 Next, the transfer switches 705, 706 are turned on by simultaneously setting the transfer pulses φTX1, φTX2, and φS2 to H while the reset switch 904 is not turned on. As a result, the second PD signal, which is an addition signal obtained by adding the optical signal of the PD 703, the optical signal of the PD 204, and the noise signal, is recorded in the readout circuit 203.
こうして読み出し回路２０３に読み出されたＮ信号、第１ＰＤ信号および第２ＰＤ信号に基づいて、第１ＰＤ信号とノイズ信号との差分である右画像用の信号と、第２ＰＤ信号とノイズ信号との差分である右＋左画像用の信号とが撮像素子１０３から出力される。 Based on the N signal, the first PD signal, and the second PD signal read out by the readout circuit 203 in this manner, the difference between the right image signal, which is the difference between the first PD signal and the noise signal, and the difference between the second PD signal and the noise signal. The right + left image signal is output from the image sensor 103.
ただし、撮像素子１０３の製造上の問題によって、例えば転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線がショートし、本来Ｌとなるべき転送パルスφＴＸ２がＨになる場合がある。この場合、第１ＰＤ信号を読み出す動作において第２ＰＤ信号が読み出されることになる。第２ＰＤ信号は、もともと転送パルスφＴＸ１，φＴＸ２が同時にＨになることで読み出されるので影響はない。結果として、転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線とがショートした画素行（すなわち欠陥画素行：略して欠陥行）では右＋左画像用の信号は正常に得られるが、右画像用の信号として右＋左画像用の信号と同じ信号が読み出される。つまり、欠陥行から得られる信号を用いて生成される右画像には、欠陥行に対応した欠陥が発生する。 However, due to a manufacturing problem of the image sensor 103, for example, the wiring of the transfer pulse φTX1 and the wiring of the transfer pulse φTX2 may be short-circuited, and the transfer pulse φTX2 that should originally be L may become H. In this case, the second PD signal is read in the operation of reading the first PD signal. The second PD signal is not affected because it is read out when the transfer pulses φTX1 and φTX2 become H at the same time. As a result, in the pixel row in which the wiring of the transfer pulse φTX1 and the wiring of the transfer pulse φTX2 are short-circuited (that is, defective pixel row: defective row for short), the signal for the right + left image is normally obtained. As the signal, the same signal as the signal for the right + left image is read out. That is, a defect corresponding to the defective row occurs in the right image generated using the signal obtained from the defective row.
右画像欠陥行データは、カメラ本体２００に用いられた撮像素子１０３に固有のデータであり、撮像素子１０３の検査等によって特定された欠陥行を示す（言い換えれば、欠陥に関する情報を示す）データとして予め不揮発性メモリ１３３に記憶される。 The right image defective row data is data specific to the image sensor 103 used in the camera body 200, and is data indicating a defective row identified by inspection of the image sensor 103 or the like (in other words, indicating information on the defect). It is stored in advance in the nonvolatile memory 133.
次に、画像ファイルの構成について、図８（ａ），（ｂ）を用いて説明する。図８（ａ）には、従来の一般的なＴＩＦＦ（TaggedImageFileFormat）画像ファイルの構造を示している。ＴＩＦＦ画像ファイル８００は、１つのファイルに複数の画像データを格納することができ、ＴＩＦＦヘッダ部８０１と、複数のＩＦＤ（ImageFileDirectory）部８０２〜８０５と、複数の画像データ部８０６〜８０９とで構成されている。 Next, the configuration of the image file will be described with reference to FIGS. FIG. 8A shows the structure of a conventional general TIFF (Tagged Image File Format) image file. The TIFF image file 800 can store a plurality of image data in one file, and includes a TIFF header portion 801, a plurality of IFD (ImageFileDirectory) portions 802 to 805, and a plurality of image data portions 806 to 809. Has been.
ＴＩＦＦヘッダ部８０１は、ＴＩＦＦファイル構造であることを識別するためのデータを格納する領域である。ＩＦＤ部８０２〜８０５は、画像データ部８０６〜８０９に格納された画像データに関連する撮像情報やパラメータ等のメタデータＡ〜Ｄと本画像ファイル内での画像データ部８０６〜８０９の場所を示すオフセット値Ｅ〜Ｈとを格納する領域である。例えば０ｔｈＩＦＤ部８０２が０ｔｈ画像データ部８０６に対応するように、１つのＩＦＤ部は１つの画像データ部に対応しており、ＩＦＤ部８０２〜８０５のオフセット値Ｅ〜Ｈにより本画像ファイル内での複数の画像データのそれぞれの開始位置が特定される。 The TIFF header portion 801 is an area for storing data for identifying the TIFF file structure. The IFD units 802 to 805 indicate metadata A to D such as imaging information and parameters related to the image data stored in the image data units 806 to 809 and the location of the image data units 806 to 809 in the main image file. This is an area for storing offset values E to H. For example, one IFD unit corresponds to one image data unit so that the 0th IFD unit 802 corresponds to the 0th image data unit 806, and the offset values E to H of the IFD units 802 to 805 Each start position of a plurality of image data is specified.
一方、図８（ｂ）には、本実施例にて生成されるＴＩＦＦ画像ファイルの構造を示している。ＴＩＦＦ画像ファイル８１０は、ＴＩＦＦヘッダ部８１１と、サムネイル右＋左画像用のＩＦＤ部である０ｔｈＩＦＤ部８１２と、表示用右＋左画像用のＩＦＤ部である１ｓｔＩＦＤ部８１３とを有する。また、ＴＩＦＦ画像ファイル８１０は、右＋左画像用のＩＦＤ部である２ｎｄＩＦＤ部８１４と、右画像用のＩＦＤ部である３ｒｄＩＦＤ部８１５とを有する。さらに、ＴＩＦＦ画像ファイル８１０は、それぞれ画像データを格納するサムネイル右＋左画像部８１６と、表示用右＋左画像部８１７と、右＋左画像部８１８と、右画像部８１９とを含む。 On the other hand, FIG. 8B shows the structure of the TIFF image file generated in this embodiment. The TIFF image file 810 includes a TIFF header portion 811, a 0th IFD portion 812 that is an IFD portion for thumbnail right + left images, and a 1st IFD portion 813 that is an IFD portion for display right + left images. The TIFF image file 810 includes a 2nd IFD unit 814 that is an IFD unit for right and left images, and a 3rd IFD unit 815 that is an IFD unit for right images. Further, the TIFF image file 810 includes a thumbnail right + left image portion 816, a display right + left image portion 817, a right + left image portion 818, and a right image portion 819, each storing image data.
ＴＩＦＦヘッダ部８１１は、図８（ａ）のＴＩＦＦヘッダ部８０１と同じである。０ｔｈＩＦＤ部８１２は、サムネイル右＋左画像部８１６に関連する撮像情報やパラメータ等のメタデータＡと本画像ファイルにおけるサムネイル右＋左画像部８１６の場所を示すオフセット値Ｅとを格納する領域である。 The TIFF header portion 811 is the same as the TIFF header portion 801 in FIG. The 0th IFD unit 812 is an area for storing metadata A such as imaging information and parameters related to the thumbnail right + left image unit 816 and an offset value E indicating the location of the thumbnail right + left image unit 816 in the main image file. .
１ｓｔＩＦＤ部８１３は、表示用右＋左画像部８１７に関連する撮像情報やパラメータ等のメタデータＢと表示用右＋左画像部８１７の場所を示すオフセット値Ｆとを格納する領域である。２ｎｄＩＦＤ部８１４は、右＋左画像部８１８に関連する撮像情報やパラメータ等のメタデータＣと右＋左画像部８１８の場所を示すオフセット値Ｇとを格納する領域である。３ｒｄＩＦＤ部８１５は、右画像部８１９に関連する撮像情報やパラメータ等のメタデータＤと右画像部８１９の場所を示すオフセット値Ｈとを格納する領域である。 The 1st IFD unit 813 is an area for storing metadata B such as imaging information and parameters related to the display right + left image unit 817 and an offset value F indicating the location of the display right + left image unit 817. The 2nd IFD unit 814 is an area for storing metadata C such as imaging information and parameters related to the right + left image unit 818 and an offset value G indicating the location of the right + left image unit 818. The 3rd IFD unit 815 is an area for storing metadata D such as imaging information and parameters related to the right image unit 819 and an offset value H indicating the location of the right image unit 819.
サムネイル右＋左画像部８１６は前述したサムネイル右＋左画像を、表示用右＋左画像部８１７は前述した表示用右＋左画像をそれぞれ格納する領域である。また、右＋左画像部８１８は前述した可逆圧縮により生成された右＋左画像を、右画像部８１９は前述した右画像をそれぞれ格納する領域である。３ｒｄＩＦＤ部８１５が第１の領域に相当し、２ｎｄＩＦＤ部８１４が第２の領域に相当する。 The thumbnail right + left image portion 816 is an area for storing the above-described thumbnail right + left image, and the display right + left image portion 817 is an area for storing the above-described display right + left image. The right + left image portion 818 is an area for storing the right + left image generated by the above-described lossless compression, and the right image portion 819 is an area for storing the above-described right image. The 3rd IFD unit 815 corresponds to the first region, and the 2nd IFD unit 814 corresponds to the second region.
そして、本実施例では、右画像のメタデータの１つとして、右画像の欠陥（欠陥行）に関する情報を示すデータとしての右画像欠陥行データをＴＩＦＦ画像ファイルに含ませる。図９には、右画像欠陥行データの例を示している。 In this embodiment, the right image defective row data as data indicating information on the defect (defective row) of the right image is included in the TIFF image file as one of the metadata of the right image. FIG. 9 shows an example of the right image defective row data.
右画像欠陥行データは、欠陥行の総数と欠陥行の行番号を含む。例えば、画素行の１０行目、１５行目および３０行目が欠陥行である場合には、総数＝３、欠陥行＝１０，１５，３０のデータとなる。 The right image defective line data includes the total number of defective lines and the line number of the defective line. For example, when the 10th, 15th and 30th rows of the pixel rows are defective rows, the total number = 3 and the defective row = 10, 15, 30 data.
撮像後にリフォーカス画像や立体表示用画像の生成処理を行うに際して、３ｒｄＩＦＤ部８１５に保持された右画像欠陥行データに含まれる欠陥行を除外してこれらの処理を行うことができる。したがって、欠陥行が反映されないリフォーカス画像の生成や立体表示を行うことができる。 When performing processing for generating a refocus image and a stereoscopic display image after imaging, these processing can be performed by excluding defective rows included in the right image defective row data held in the 3rd IFD unit 815. Therefore, it is possible to generate a refocus image that does not reflect a defective row and to perform stereoscopic display.
また、撮像後にリフォーカス画像や立体表示用画像の生成処理を行うことができないアプリケーションソフトを使用する場合には、不要なデータとなる３ｒｄＩＦＤ部８１５を画像ファイルから分離することにより、画像ファイルの互換性を維持することができる。 In addition, when using application software that cannot generate a refocus image or a stereoscopic display image after imaging, the 3rd IFD unit 815 that is unnecessary data is separated from the image file, thereby making the image file compatible. Sex can be maintained.
本実施例によれば、右＋左画像にはない欠陥行が右画像に存在する場合に、そのまま右画像を用いた処理において該欠陥行が反映されることを防止することができる。 According to the present embodiment, when a defective line that does not exist in the right + left image exists in the right image, it is possible to prevent the defective line from being reflected in the process using the right image as it is.
次に、本発明の実施例２について説明する。本実施例の撮像装置（カメラ）は、実施例１のカメラ２００と同様の構成を有しており、映像信号処理部１２１′が図１０に示すように欠陥行補正部１００１を有する点で実施例１と異なる。本実施例において実施例１と共通する構成要素には実施例１と同符号を付して説明に代える。 Next, a second embodiment of the present invention will be described. The image pickup apparatus (camera) of the present embodiment has the same configuration as the camera 200 of the first embodiment, and is implemented in that the video signal processing unit 121 ′ has a defective row correction unit 1001 as shown in FIG. Different from Example 1. In this embodiment, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and the description is omitted.
欠陥行補正部１００１は、右画像抽出部６０５により生成された右画像に対して、不揮発性メモリ１３３に保持された右画像欠陥行データに基づいて欠陥行補正を行う。また、欠陥行補正部１００１は、可逆圧縮処理部６０６によるデータ量の圧縮方法である可逆圧縮方法に応じた欠陥行補正を行う。図１１（ａ），（ｂ）には、可逆圧縮方法に応じた欠陥行補正の例を示す。 The defective row correction unit 1001 performs defective row correction on the right image generated by the right image extraction unit 605 based on the right image defective row data held in the nonvolatile memory 133. The defective row correction unit 1001 performs defective row correction according to a lossless compression method that is a data amount compression method by the lossless compression processing unit 606. FIGS. 11A and 11B show examples of defective row correction according to the lossless compression method.
図１１（ａ）には、可逆圧縮処理部６０６による可逆圧縮方法が画素行内において隣接する画素（ここでは左画素とする）の画素値による予測を用いた方法である場合に、左画素の画素値を用いた欠陥行補正を行う例を示している。この例では、不揮発性メモリ１３３に保持された右画像欠陥行データが示す欠陥行内のすべての画素の画素値を、その欠陥行の一端である左端の画素の画素値と同じ画素値に置き換える。 FIG. 11A shows the pixel of the left pixel when the lossless compression method by the lossless compression processing unit 606 is a method using prediction based on the pixel value of an adjacent pixel (here, left pixel) in the pixel row. An example of performing defective row correction using values is shown. In this example, the pixel values of all the pixels in the defective row indicated by the right image defective row data held in the nonvolatile memory 133 are replaced with the same pixel value as the pixel value of the leftmost pixel that is one end of the defective row.
図１１（ｂ）には、可逆圧縮処理部６０６による可逆圧縮方法が画素行に対して隣接する画素行（ここでは上画素行とする）の画素の画素値による予測を用いた方法である場合に、上画素行の画素の画素値を用いた欠陥行補正を行う例を示している。この例では、不揮発性メモリ１３３に保持された右画素欠陥行データが示す欠陥行のすべての画素の画素値を、その欠陥行の１つ上の欠陥画素行ではない非欠陥画素行の画素の画素値と同じ画素値に置き換える。 FIG. 11B shows a case where the lossless compression method by the lossless compression processing unit 606 is a method using prediction based on pixel values of pixels in a pixel row adjacent to the pixel row (here, the upper pixel row). An example of performing defective row correction using pixel values of pixels in the upper pixel row is shown. In this example, the pixel values of all the pixels in the defective row indicated by the right pixel defective row data held in the nonvolatile memory 133 are set to the pixels of the non-defective pixel rows that are not the defective pixel row immediately above the defective row. Replace with the same pixel value as the pixel value.
次に、図１２を用いて、本実施例において映像信号処理部１２１′が行う画像データ生成処理について説明する。コンピュータとしての映像信号処理部１２１′は、不揮発性メモリ１３３に格納されたコンピュータプログラムである画像データ生成プログラムに従って本処理を実行する。なお、実施例１（図７）と同じ処理を行うステップについては、実施例１と同ステップ番号を付して説明に代える。 Next, image data generation processing performed by the video signal processing unit 121 ′ in this embodiment will be described with reference to FIG. The video signal processing unit 121 ′ as a computer executes this processing in accordance with an image data generation program that is a computer program stored in the nonvolatile memory 133. In addition, about the step which performs the same process as Example 1 (FIG. 7), the same step number as Example 1 is attached | subjected and it replaces with description.
ステップＳ１０２において右＋左画像および右画像の生成を完了した映像信号処理部１２１′は、ステップＳ２００に進む。 After completing the generation of the right + left image and the right image in step S102, the video signal processing unit 121 ′ proceeds to step S200.
ステップＳ２００では、映像信号処理部１２１′（右画像欠陥行補正部６２０）は、不揮発性メモリ１３３に保持された右画素欠陥行データに基づいて、図１１（ａ），（ｂ）に例示した方法により右画像に対する欠陥行補正を行う。欠陥行補正が完了すると、映像信号処理部１２１′（可逆圧縮処理部６０６）は、ステップＳ１３０において、欠陥行補正が行われた右画像に対して可逆圧縮処理を行い、その結果得られた可逆圧縮右画像をメモリ１３２に保存する。 In step S200, the video signal processing unit 121 ′ (right image defective row correction unit 620) is illustrated in FIGS. 11A and 11B based on the right pixel defective row data held in the nonvolatile memory 133. The method corrects a defective row for the right image by the method. When the defective row correction is completed, the video signal processing unit 121 ′ (reversible compression processing unit 606) performs a reversible compression process on the right image on which the defective row correction has been performed in step S130, and the reversible obtained as a result. The compressed right image is stored in the memory 132.
本実施例によれば、右画像における欠陥行の画素値が可逆圧縮処理部６０６による可逆圧縮方法に応じた画素値に補正されるため、可逆圧縮画像のサイズを減らすことができる。これにより、メモリ１３２や記録媒体１７３において使用される記憶容量を削減することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
According to the present embodiment, since the pixel value of the defective row in the right image is corrected to the pixel value according to the lossless compression method by the lossless compression processing unit 606, the size of the lossless compressed image can be reduced. Thereby, the storage capacity used in the memory 132 and the recording medium 173 can be reduced.
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
２００ カメラ本体（撮像装置）
１０３ 撮像素子
１２１，１２１′ 映像信号処理部
200 Camera body (imaging device)
103 Image sensor 121, 121 ′ Video signal processor
Claims (9)
前記複数の画素のそれぞれにおける前記複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する第１の画像生成手段と、
前記複数の画素のそれぞれにおける前記複数の光電変換部からの信号が相互に合成されることで得られる第２の信号を用いて第２の画像データを生成する第２の画像生成手段と、
前記第１の画像データおよび前記第２の画像データを含む画像データファイルを生成するファイル生成手段とを有し、
前記ファイル生成手段は、前記第１の画像データに含まれる欠陥に関する情報を示す欠陥データを前記画像データファイルに含めることを特徴とする画像データ生成装置。 An image data generation device that generates image data using a signal obtained from an image sensor having a plurality of pixels each including a plurality of photoelectric conversion units,
First image generation means for generating first image data using a first signal obtained from some of the plurality of photoelectric conversion units in each of the plurality of pixels;
Second image generation means for generating second image data using a second signal obtained by combining signals from the plurality of photoelectric conversion units in each of the plurality of pixels;
File generating means for generating an image data file including the first image data and the second image data;
The image data generation apparatus, wherein the file generation means includes defect data indicating information on defects included in the first image data in the image data file.
前記第１の画像データに関するメタデータおよび該画像データファイルにおける前記第１の画像データの場所を示すオフセット値を含む第１の領域と、
前記第２の画像データに関するメタデータおよび該画像データファイルにおける前記第２の画像データの場所を示すオフセット値を含む第２の領域と、
前記第１の画像データおよび前記第２の画像データとを含み、
前記ファイル生成手段は、前記欠陥データを前記第１のメタデータに含めることを特徴とする請求項１または２に記載の画像データ生成装置。 The image data file is
A first region including metadata relating to the first image data and an offset value indicating a location of the first image data in the image data file;
A second region including metadata relating to the second image data and an offset value indicating a location of the second image data in the image data file;
Including the first image data and the second image data;
The image data generation apparatus according to claim 1, wherein the file generation unit includes the defect data in the first metadata.
前記補正手段は、前記圧縮手段による前記データ量の圧縮方法に応じた前記補正を行うことを特徴とする請求項４に記載の画像データ生成装置。 Compression means for compressing the data amounts of the first and second image data,
The image data generation apparatus according to claim 4, wherein the correction unit performs the correction according to a compression method of the data amount by the compression unit.
前記補正手段は、前記欠陥データが示す前記欠陥を含む欠陥画素行を、該欠陥画素行の一端の画素の画素値を用いて補正することを特徴とする請求項５に記載の画像データ生成装置。 The compression method is lossless compression using pixel values of adjacent pixels in a pixel row;
The image data generation device according to claim 5, wherein the correction unit corrects a defective pixel row including the defect indicated by the defect data using a pixel value of a pixel at one end of the defective pixel row. .
前記補正手段は、前記欠陥データが示す前記欠陥を含む欠陥画素行を、該欠陥画素行に隣接する画素行に含まれる画素の画素値を用いて補正することを特徴とする請求項５に記載の画像データ生成装置。 The compression method is lossless compression using pixel values of pixels in a pixel row adjacent to the pixel row;
The correction unit corrects a defective pixel row including the defect indicated by the defect data using a pixel value of a pixel included in a pixel row adjacent to the defective pixel row. Image data generation apparatus.
請求項１から７のいずれか一項に記載の画像データ生成装置とを有することを特徴とする撮像装置。 An imaging device having a plurality of pixels each including a plurality of photoelectric conversion units;
An image pickup apparatus comprising: the image data generation apparatus according to claim 1.
前記処理は、
前記複数の画素のそれぞれにおける前記複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する処理と、
前記複数の画素のそれぞれにおける前記複数の光電変換部からの信号が相互に合成されることで得られる第２の信号を用いて第２の画像データを生成する処理と、
前記第１の画像データおよび前記第２の画像データを含む画像データファイルを生成するファイル生成処理とを含み、
前記ファイル生成処理は、前記第１の画像データに含まれる欠陥に関する情報を示す欠陥データを前記画像データファイルに含めることを特徴とする画像データ生成プログラム。 A computer program for causing a computer to execute processing for generating image data using a signal obtained from an image sensor having a plurality of pixels each including a plurality of photoelectric conversion units,
The process is
A process of generating first image data using a first signal obtained from some of the plurality of photoelectric conversion units in each of the plurality of pixels;
A process of generating second image data using a second signal obtained by synthesizing signals from the plurality of photoelectric conversion units in each of the plurality of pixels;
A file generation process for generating an image data file including the first image data and the second image data,
The image data generation program characterized in that the file generation processing includes defect data indicating information on defects included in the first image data in the image data file.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015179149A JP6537416B2 (en) | 2015-09-11 | 2015-09-11 | Image data generation device, imaging device and image data generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015179149A JP6537416B2 (en) | 2015-09-11 | 2015-09-11 | Image data generation device, imaging device and image data generation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017055317A true JP2017055317A (en) | 2017-03-16 |
| JP6537416B2 JP6537416B2 (en) | 2019-07-03 |
Family
ID=58321148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015179149A Active JP6537416B2 (en) | 2015-09-11 | 2015-09-11 | Image data generation device, imaging device and image data generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6537416B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113589117A (en) * | 2021-08-16 | 2021-11-02 | 国网江苏省电力有限公司泰州供电分公司 | Power equipment defect detection system and detection method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002111989A (en) * | 2000-10-02 | 2002-04-12 | Mega Chips Corp | Image processing circuit |
| JP2005286668A (en) * | 2004-03-30 | 2005-10-13 | Seiko Epson Corp | Imaging apparatus, image processor and image processing method |
| JP2012100215A (en) * | 2010-11-05 | 2012-05-24 | Nikon Corp | Image processing device, imaging device, and image processing program |
| WO2013038950A1 (en) * | 2011-09-13 | 2013-03-21 | 富士フイルム株式会社 | 3d imaging device |
| JP2014146023A (en) * | 2013-01-07 | 2014-08-14 | Canon Inc | Imaging device and method for controlling the same |
-
2015
- 2015-09-11 JP JP2015179149A patent/JP6537416B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002111989A (en) * | 2000-10-02 | 2002-04-12 | Mega Chips Corp | Image processing circuit |
| JP2005286668A (en) * | 2004-03-30 | 2005-10-13 | Seiko Epson Corp | Imaging apparatus, image processor and image processing method |
| JP2012100215A (en) * | 2010-11-05 | 2012-05-24 | Nikon Corp | Image processing device, imaging device, and image processing program |
| WO2013038950A1 (en) * | 2011-09-13 | 2013-03-21 | 富士フイルム株式会社 | 3d imaging device |
| JP2014146023A (en) * | 2013-01-07 | 2014-08-14 | Canon Inc | Imaging device and method for controlling the same |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113589117A (en) * | 2021-08-16 | 2021-11-02 | 国网江苏省电力有限公司泰州供电分公司 | Power equipment defect detection system and detection method |
| CN113589117B (en) * | 2021-08-16 | 2024-05-07 | 国网江苏省电力有限公司泰州供电分公司 | Power equipment defect detection system and detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6537416B2 (en) | 2019-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101889932B1 (en) | Apparatus and Method for photographing image | |
| JP6678504B2 (en) | Imaging device, control method therefor, program, and storage medium | |
| JP2010206521A (en) | Image capturing apparatus, method of correcting image, and program | |
| JP6488545B2 (en) | Electronics | |
| JP6537416B2 (en) | Image data generation device, imaging device and image data generation program | |
| JP5871535B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JPWO2019189892A1 (en) | Image sensor and image sensor | |
| JP2017120971A (en) | Solid state imaging device and imaging apparatus | |
| JP6289515B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6467455B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
| US10382740B2 (en) | Image processing apparatus, method for controlling the same, and image capture apparatus | |
| JP2015166799A (en) | Imaging apparatus, imaging method, and program thereof | |
| US10855887B2 (en) | Image capturing apparatus, image processing apparatus, and control method therefor | |
| WO2020203799A1 (en) | Imaging element and imaging device | |
| JP6161307B2 (en) | Imaging apparatus and control method thereof | |
| JP5072466B2 (en) | Imaging device | |
| JP2017126916A (en) | Imaging apparatus | |
| WO2019189210A1 (en) | Moving image compression device, decompression device, electronic device, moving image compression program, and decompression program | |
| JP2014206562A (en) | Imaging apparatus and control method therefor | |
| JP6389693B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2014225815A (en) | Imaging apparatus | |
| JP2014222268A (en) | Imaging device and imaging device control method | |
| JP2013115547A (en) | Imaging apparatus and control method of the same | |
| JP2013232850A (en) | Image pickup device and control method thereof | |
| JP2019092220A (en) | Electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190604 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6537416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |