WO2011065012A1 - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
WO2011065012A1
WO2011065012A1 PCT/JP2010/006911 JP2010006911W WO2011065012A1 WO 2011065012 A1 WO2011065012 A1 WO 2011065012A1 JP 2010006911 W JP2010006911 W JP 2010006911W WO 2011065012 A1 WO2011065012 A1 WO 2011065012A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
interpolation
output
pixel
plane
Prior art date
Application number
PCT/JP2010/006911
Other languages
English (en)
French (fr)
Inventor
竹林知治
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2011543112A priority Critical patent/JP5633518B2/ja
Priority to US13/511,553 priority patent/US8897551B2/en
Priority to CN201080053427.8A priority patent/CN102648632B/zh
Publication of WO2011065012A1 publication Critical patent/WO2011065012A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Definitions

  • the present invention relates to a data processing apparatus that reduces the data size of image data in a format based on a Bayer array.
  • Patent Document 1 discloses a method of reducing the data size by performing resizing processing on image data in a format based on a Bayer array at the stage of Bayer data before interpolation.
  • Patent Document 2 discloses a technique of reducing the data size of output image data (Bayer data) by driving an image sensor in a pixel addition mode.
  • the interpolation is performed on the image data (Bayer data) output from the image sensor, and the data is obtained after the R, G, and B colors are arranged in each pixel. It is a desirable method to reduce the size. By doing so, it is possible to minimize degradation of image quality, which is a problem in the conventional method.
  • An object of the present invention is to provide a data processing apparatus capable of reducing the data size of Bayer data while suppressing deterioration in image quality.
  • the data processing device of the present invention generates interpolation data for each pixel constituting a horizontal line for each horizontal line of Bayer data output from the imaging unit, and each pixel includes interpolation data and original pixel data.
  • each pixel includes interpolation data and original pixel data.
  • data with a reduced data amount (data size) is generated for each horizontal line, and the generation Data size reducing means for outputting Bayer data composed of the data.
  • the horizontal interpolation means may perform the interpolation by the following equations (1) to (5).
  • the data processing apparatus of the present invention generates interpolation data for each pixel constituting a horizontal line for each horizontal line of Bayer data output from the imaging unit, and each pixel includes the interpolation data and the original pixel. Generates thinned data with reduced data amount (data size) for each horizontal line using horizontal interpolation means that performs interpolation so that the data has two color data and two color data that each pixel has. And data size reduction means for combining and outputting synthesized data obtained by reducing at least the R plane data and B plane data (data size) from the thinned data.
  • the data size reduction means may generate the composite data by the following equations (10) to (11).
  • FIG. 1 is a block diagram illustrating a configuration of a digital camera according to an embodiment.
  • FIG. 6 is a diagram for explaining a primary color filter array method (Bayer array) of the image sensor 104; The figure which shows the image from which the object pixel is read by the vertical size reduction process. Block diagram of horizontal size reduction processing. The figure which shows the image which produces
  • the present embodiment is an embodiment of a digital camera.
  • FIG. 1 is a block diagram showing the configuration of the digital camera of this embodiment.
  • the digital camera includes an imaging lens 101, a lens driving unit 102, an imaging unit 103, a data processing unit 110, a display unit 111, a recording medium 112, and a CPU 113 that performs overall control of the digital camera.
  • the lens driving unit 102 and the imaging unit 103 are respectively connected to the CPU 113.
  • the CPU 113, the data processing unit 110, the display unit 111, and the recording medium 112 are connected via a bus 114.
  • the imaging unit 103 includes an imaging device 104, an AFE (analog front end) circuit 105, and a timing generation circuit 109.
  • the AFE circuit 105 includes a CDS (Correlated Double Sampling) circuit 106, a gain adjustment circuit 107, and an A / D conversion circuit 108.
  • CDS Correlated Double Sampling
  • the imaging lens 101 is composed of a plurality of lens groups including a focus lens and a zoom lens.
  • the imaging lens 101 is illustrated as a single lens in FIG.
  • the lens driving unit 102 generates a lens driving signal in accordance with an instruction from the CPU 113, moves the imaging lens 101 in the optical axis direction, performs focus adjustment and zoom adjustment, and also creates a subject image by the light flux that has passed through the imaging lens 101. It is formed on the light receiving surface of the image sensor 104.
  • the image sensor 104 is an image sensor that can shoot a moving image, and includes, for example, a CCD image sensor or a CMOS image sensor. Note that the image sensor 104 can also capture still images for each frame.
  • the image sensor 104 is an image sensor that can perform thinning readout, pixel addition (mixing) readout, all pixel readout, and window readout (crop).
  • the image sensor 104 is arranged on the image space side of the image pickup lens 101, photoelectrically converts the subject image formed on the light receiving surface thereof, and outputs an analog image signal.
  • a plurality of photodiodes are two-dimensionally arranged on the light receiving surface of the image sensor 104.
  • primary color filters of red (R), green (G), and blue (B) are arranged in a Bayer array corresponding to each photodiode in order to capture a subject image in color.
  • R red
  • G green
  • B blue
  • the analog image signal output from the image sensor 104 includes R, G, and B color signal components.
  • primary color filters of red (R), green (G), and blue (B) are arranged in a Bayer array corresponding to each photodiode (Photo Diode: PD). .
  • the primary color filters are arranged in an array in which the arrangement pattern (Bayer pattern) of “R, Gr, Gb, B” is repeated.
  • a green (G) filter is disposed in both PD01 and PD10.
  • PD01 is referred to as “Gr”.
  • PD10 is represented as “Gb”.
  • the type of each pixel (photodiode) on the light receiving surface is determined. That is, in the case of the Bayer arrangement, four types of R (red), Gr (first green), Gb (second green), and B (blue) are determined.
  • the CDS circuit 106 samples both the signal at the time of resetting (before exposure) of the analog image signal output from the image sensor 104 and the signal at the time of data transfer (after exposure), and at the time of resetting from the signal value at the time of data transfer Is subtracted from the analog image signal to remove noise caused by dark current.
  • the gain adjustment circuit 107 sets the gain adjustment amount of the analog image signal based on an instruction from the CPU 113. As a result, the photographing sensitivity corresponding to the ISO sensitivity is adjusted with respect to the analog image signal after noise removal output from the CDS circuit 106.
  • the A / D conversion circuit 108 converts the analog image signal output from the gain adjustment circuit 107 into digital data. Then, the digital data (image data) is output to the data processing unit 110 as the output of the imaging unit 103.
  • the timing generation circuit 109 supplies timing pulses to the image sensor 104 and the AFE circuit 105 based on an instruction from the CPU 113. By supplying the timing pulse, the driving timing of the image sensor 104 and each circuit in the AFE circuit 105 is controlled. For example, in the image sensor 104, the timing for reading out charges from the photodiode on the light receiving surface is controlled, and in the AFE circuit 105, for example, in the CDS circuit 106, the analog image signal output from the image sensor 104 is sampled. Is controlled.
  • the data processing unit 110 performs various types of image processing such as horizontal size reduction processing, interpolation, white balance adjustment, edge enhancement, and gamma correction on the image data (Bayer data) output from the imaging unit 103 in accordance with an instruction from the CPU 113. Apply.
  • the data processing unit 110 is configured as an ASIC or the like. The horizontal size reduction process will be described later.
  • the display unit 111 is an LCD monitor provided on the back surface of the digital camera housing or the like, an electronic viewfinder having an eyepiece unit, and the like, and displays various images including moving images and still images according to instructions from the CPU 113. To do.
  • the recording medium 112 includes a memory card, a small hard disk, an optical disk such as a DVD, and the like.
  • the recording medium 112 may be built in the digital camera, may be detachably mounted, or may be provided outside. When provided externally, the recording medium 112 and the digital camera are electrically connected by wire or wireless.
  • image data compressed by the CPU 113 is recorded.
  • compression is performed in the MPEG (Moving Picture Experts Group) format in the case of moving images, and in the JPEG (Joint Photographic Experts Group) format in the case of still images.
  • MPEG Motion Picture Experts Group
  • JPEG Joint Photographic Experts Group
  • the CPU 113 controls each part of the digital camera according to the operation content of the operation member by the user.
  • the CPU 113 drives the lens driving unit 102 and the imaging unit 103 to start shooting a moving image.
  • the imaging device 104 of the imaging unit 103 is driven so that an image with a predetermined resolution is acquired at a predetermined frame rate, and image data (moving image data) corresponding to each frame of the moving image is stored in the imaging unit 103.
  • the data are sequentially output to the data processing unit 110 via the AFE circuit 105.
  • the CPU 113 drives the data processing unit 110 and performs necessary image processing on the image data (moving image data) output from the imaging unit 103 in this way. Further, the CPU 113 displays the moving image data after the image processing on the display unit 111. Then, the CPU 113 performs compression processing on the moving image data after image processing in the MPEG format or the like, and records the compressed moving image data on the recording medium 112.
  • the CPU 113 continues to perform control operations of automatic focus adjustment (AF) and automatic exposure (AE).
  • AF automatic focus adjustment
  • AE automatic exposure
  • the CPU 113 stops the above operation and ends movie shooting.
  • the digital camera according to the present embodiment reduces the data size of moving image data (hereinafter simply referred to as “size”) while suppressing deterioration in image quality by performing the following operation during moving image shooting.
  • an output of an imaging device having an effective pixel of 6000 ⁇ 4000 pixels (in this embodiment, the imaging device 104 of the imaging unit 103) is 2000 ⁇ 1126 pixels (1 / The operation for reducing the size to 3) will be described.
  • the CPU 113 performs vertical size reduction processing in order to reduce 4000 pixels, which are effective pixels in the vertical (vertical) direction of the image sensor 104, to 1126 pixels.
  • the remaining 3 pixels of the same color excluding the central pixel of the 3378 pixels are set as readout targets for thinning readout, and the 2 pixels of the same color are added (synthesized). ) Read target.
  • the CPU 113 drives the image sensor 104 so as to read out the target pixels in a mode in which window reading, thinning-out reading, and pixel addition (synthesis) reading are combined.
  • FIG. 1 an image in which the target pixel is read is shown in FIG.
  • the remaining “R” 2 pixels of the same color are added (synthesized), and as a result, read as “R” 1 pixel in the upper right of FIG.
  • the CPU 113 causes the imaging unit 103 to output image data (Bayer data) of 6000 ⁇ 1126 pixels obtained by reducing 3378 pixels in the vertical (vertical) direction to 1/3 (1126 pixels).
  • the CPU 113 performs horizontal size reduction processing on the image data (Bayer data) output from the imaging unit 103 in order to reduce the effective pixels in the horizontal (horizontal) direction to 6000 pixels to 2000 pixels.
  • the horizontal size reduction process is performed before interpolation as one of the image processes in the data processing unit 110. That is, the CPU 113 drives the data processing unit 110 and performs horizontal size reduction processing on the image data (Bayer data) output from the imaging unit 103.
  • FIG. 4 is a block diagram of the horizontal size reduction process.
  • the data processing unit 110 driven by the CPU 113 receives the image data (Bayer data) from the imaging unit 103 as an input, and “horizontal” for each pixel row (horizontal line) in the horizontal (lateral) direction. Interpolation ”is performed.
  • the data of each pixel of the input horizontal line has a bit width of “12 bits”.
  • the data processing unit 110 generates interpolation data for the target pixel from the data (pixel value) of four pixels of the same color in the vicinity of the target pixel among the pixels of the horizontal line by the following formula (1).
  • the interpolation of the Gr component for the target pixel is performed based on the data of the four Gr (first green) pixels in the vicinity thereof. Data “Gr *” is generated.
  • the Gr (first green) pixel is the target pixel
  • the R component interpolation data “R *” for the target pixel is generated based on the data of the four R (red) pixels in the vicinity thereof. Is done.
  • the pixel of interest has two color data of input original data (for example, “R”) and interpolation data (for example, “Gr *” if the original data is “R”).
  • I indicates the position of the pixel of interest (processing target pixel) in each horizontal line.
  • Wide is “6000” which is the number of effective pixels in the horizontal (lateral) direction.
  • IMP (i) indicates interpolation data for the generated target pixel.
  • the data processing unit 110 corrects the interpolation data for the target pixel generated above using the following equations (2) to (4).
  • the interpolation data for the pixel of interest is corrected by subtracting the correction data from the original data of the pixel of interest or adding the correction data with the original data according to equation (4).
  • the Gr (first green) component is subtracted from the R (red) component regardless of whether the target pixel is an R (red) pixel or a Gr (first green) pixel. Thus, the difference is obtained.
  • the data processing unit 110 uses the expression (5) to output each 1 pixel that is the target pixel of the horizontal line as the output of “horizontal interpolation processing”. For each pixel, two color data of the original data “Din (i)” and the corrected interpolation data “IMP ′ (i)” are output.
  • FIG. 6 shows images output from “horizontal interpolation processing” when the input horizontal line is an R / Gr line, that is, images of “Deven (i)” and “Dodd (i)”.
  • the output “Deven (i)” is input to The corrected original data “Din (i)” is output as it is, and the corrected interpolation data “IMP ′ (i)” acquired above is output to “Dodd (i)” of the other output.
  • the output “Deven (i)” includes the corrected interpolation data “IMP ′ ( i) ”is output, and the input original data“ Din (i) ”is output as it is to“ Dodd (i) ”of the other output.
  • the R plane data is output to “Deven (i)” and the Gr plane data is output to “Dodd (i)”.
  • the input horizontal line is a Gb (second green) / B (blue) line
  • data of the Gb plane is output to “Deven (i)” and data of the B plane is output to “Dodd (i)”.
  • the data processing unit 110 suppresses deterioration in image quality in the horizontal direction of image data (Bayer data) in particular by the above-described “horizontal interpolation processing”. I am doing so.
  • the data processing unit 110 uses the following equation (6) for each of “Deven (i)” data and “Dodd (i)” data, that is, three taps, that is, horizontal lines.
  • the upper three adjacent pixels are set as sample points, and LPF (low-pass filter) processing is performed based on pixel data (pixel values) of the three sample points.
  • the processed data is output as “Oeven (i)” and “Oodd (i)”.
  • the data processing unit 110 suppresses the generation of moire or shaggy due to aliasing noise caused by frequency components exceeding the Nyquist frequency.
  • LPF processing can be performed using a conventional method such as the bicubic method in addition to the equation (6).
  • the data processing unit 110 for the R plane and Gr plane (or Gb plane and B plane) data input as “Oeven” and “Oodd”, continues on the plane for each plane.
  • a predetermined pixel is selected from the “a” pixels.
  • the data of one pixel selected for the R plane (or Gb plane) is set as “O′even (j)”
  • the data of one pixel selected for the Gr plane (or B plane) is set to “O′odd (j)”.
  • the data processing unit 110 reduces the data of the R plane and the Gr plane (or the Gb plane and the B plane) input as “Oeven” and “Oodd” to 1/3, respectively.
  • the data processing unit 110 receives “O′even (j)” and “O′odd (j)” as outputs and inputs the following equation (9). The “compositing process” is performed.
  • the data processing unit 110 converts the input “O′even (j)” data to “Dout (j ) ".
  • the data of the input “O′odd (j)” is output as “Dout (j)”.
  • the input data is arranged in a format based on the Bayer array and output as “Dout (j)”.
  • the data processing unit 110 reduces the size of the Bayer data while suppressing the deterioration of the image quality.
  • the present embodiment is an embodiment of a digital camera, and is the same as the digital camera of one embodiment shown in FIG. Therefore, the detailed description about each component of the digital camera of this embodiment is abbreviate
  • the operation of the digital camera of this embodiment is the same as that of the first embodiment up to the “thinning process” shown in FIG.
  • the difference between the present embodiment and the first embodiment is that the “synthesis process” shown in FIG. 4 is performed using the following equations (10) to (11), and the synthesized data output by the “synthesis process” is as follows.
  • the “interpolation process” is applied to Therefore, in the following, operations of “synthesis processing” and “interpolation processing” in the present embodiment will be described.
  • the “synthesis process” is performed as follows. An image of this “compositing process” is shown in FIG. Note that “jE” in FIG. 7 indicates that the data is even-numbered in input / output, and “jO” indicates that the data is odd-numbered.
  • the sixth to eleventh bit data (6 bit length) of the even-numbered Gr plane data “O′odd (“ jE ”)” is also output to the even-numbered data “D (“ jE ”)”.
  • the 10th to 15th bits are inserted.
  • the 0th to 11th bits are inserted.
  • the even-numbered Gr plane data “O′odd (“ jE ”)” is used again, and this time, the second to fifth bits of data (4 bits long) should be output to the odd-numbered output. It is inserted into the 12th to 15th bits of the data “D (“ jO ”)”.
  • the data processing unit 110 uses Expression (11) if the input data is data on the Gb plane and the B plane, that is, data on the horizontal line Gb (second green) / B (blue) line.
  • the 0th to 11th bit data (12-bit length) of the even-numbered Gb plane data “O'even (“ jE ”)” is even-numbered in the output. Inserted in the 0th to 11th bits of the data “D (“ jE ”)” to be output.
  • the second to fifth bit data (4 bit length) of the odd-numbered Gb plane data “O'even (“ jO ”)” is also output to the even-numbered data “D (“ jE ”)”.
  • bits are inserted in the 12th to 15th bits.
  • the odd-numbered Gb plane data “O'even (“ jO ”)” is used again, and this time, the sixth to eleventh bit data (6 bits long) should be output to the odd-numbered output. It is inserted into the 10th to 15th bits of the data “D (“ jO ”)”.
  • the data processing unit 110 further reduces 1/3 of the input Bayer data whose size has been reduced by this “compositing process” to reduce the data amount to 2/3 of the original.
  • the data processing unit 110 reduces the data size while suppressing the deterioration of the image quality.
  • the odd-numbered R plane data “O′even (“ jO ”)” "Is not used, but it may be retained and used in later processing.
  • the even-numbered B plane data “O′odd (“ jE ”)” when the input data is data for the Gb (second green) / B (blue) line is not used. Similarly, it may be held and used in later processing.
  • the bit width of each pixel data to be output is set to “16 bits” so that the logic can be configured using a general-purpose circuit that is generally available without requiring a special circuit. " However, the present invention is not limited to this, and the bit width may be, for example, “14 bits” or “18 bits”.
  • the data processing unit 110 performs an interpolation process on the combined data in which the amount of data output thereby is reduced after the “combining process”.
  • interpolation processing is performed in units of planes of horizontal lines (rows) and vertical lines (columns), not in units of horizontal lines (rows).
  • FIG. 8 is a block diagram of interpolation processing.
  • the data processing unit 110 combines the input data from the input data according to the following equations (12) and (13).
  • the G plane and R plane (or B plane) data are separated, and the separated plane data is output.
  • the data processing unit 110 indicates “r” indicating a horizontal line (row) of input data as an even number (R / Gr line) and a vertical line (column) according to the following equation (12). If “c” is an even number (“D (“ jE ”)” in FIG. 7), the data (12-bit length) obtained by multiplying the 0th to 9th bit data by 4 is output to the first output “Bayer”. [11: 0] (r, c) ". Similarly, when “r” is an odd number (Gb / B line) and “c” is an odd number (“D (“ jO ”)” in FIG. 7), the 0th to 9th bits are similarly displayed. Data (12-bit length) obtained by multiplying the data by 4 is output as the first output “Bayer [11: 0] (r, c)”.
  • the data processing unit 110 uses the following equation (13) to indicate that “r” indicating a horizontal line (row) of input data is an even number (R / Gr line) and “c” indicating a vertical line (column). Is an even number (“D (“ jE ”)” in FIG. 7), the data of the 10th to 15th bits is multiplied by 64. Then, the data obtained by the multiplication is added to the data obtained by multiplying the 12th to 15th bit data of “D (“ jO ”)”) at the next “c + 1” position by 4; Data (12-bit length) obtained by the addition is output as the second output “tmpG [11: 0] (r, c)”.
  • the data processing unit 110 outputs the first output “Bayer (r, c)” and the second output “tmpG (r, c)” of the “data separation processing”.
  • “G plane generation processing” is performed by the following equations (14) and (15). Note that the G plane data (inputted as “tmpG (r, c)” in this process) has already been generated, but only the gradient of the pixel signal level (pixel value) in the horizontal (horizontal) direction of the screen. Here, it is again evaluated whether or not the G plane data is correlated in the vertical (vertical) direction.
  • R, B plane generation process The data processing unit 110 outputs the first output “Bayer (r, c)” of the “data separation process” and the output “G ( r, c) ”as an input, and“ R, B plane generation processing ”is performed. It is to be noted that a conventional technique can be applied to the “R, B plane generation processing”, but here, as an example, a general technique shown in the following equations (16) to (19) is used. , B plane generation process ”.
  • the R plane “R (r, c)” and the B plane “B (r, c)” at the Gr pixel position are generated using the following equation (16). Further, the R plane “R (r, c)” and the B plane “B (r, c)” at the Gb pixel position are generated using the following equation (17). Then, a B plane “B (r, c)” at the R pixel position is generated using the following equation (18). Also, the R plane “R (r, c)” at the B pixel position is generated using the following equation (19).
  • the data processing unit 110 outputs the R plane and B plane data generated in this way by the “R, B plane generation process” as “R (r, c)” and “B (r, c)”, respectively. .
  • the “data separation process” and the “G plane generation process” of the interpolation process are performed separately.
  • the information (data) of “tmpG” actually uses only the pixel of interest, both can be processed at once.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

　撮像部から出力されるベイヤーデータの水平ライン毎に、水平ラインを構成する各画素に対して補間データを生成し、各画素が、補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、各画素が有する２つのカラーデータを用いて、水平ライン毎にデータ量（データサイズ）を縮小させたデータを生成し、その生成したデータで構成されるベイヤーデータを出力するデータサイズ縮小手段とを備える。

Description

データ処理装置
　本発明は、ベイヤー（Bayer）配列に基づく形式の画像データのデータサイズを縮小させるデータ処理装置に関する。
　最近では、ビデオカメラに限らず、デジタルスチルカメラや携帯電話機などでも動画の撮影が可能なものが一般化している。また、それらの機器では、近年、撮像素子の高画素化が進展しており、１０００万画素を超える撮像素子を搭載したものも当たり前のように登場している。
　そのような高画素の機器では、そのまま撮影を行うと、非常に大きなデータ量（データサイズ）の画像データが撮像素子から出力されてしまう。そのため、それらの機器で動画を撮影可能とするには、性能面や価格面などからの制約により、撮像素子から出力される画像データのデータサイズを縮小させることが要求される。
　そこで、例えば、特許文献１には、ベイヤー（Bayer）配列に基づく形式の画像データに対して、補間前のベイヤーデータの段階でリサイズ処理を行うことで、データサイズを縮小するという手法が開示されている。また、特許文献２には、撮像素子を画素加算モードで駆動することで、出力される画像データ（ベイヤーデータ）のデータサイズを縮小するという手法が開示されている。
特開２００２－８４５７号公報 特開２００９－１４７４８９号公報
　ところで、画質の観点からすると、従来手法とは異なり、撮像素子から出力された画像データ（ベイヤーデータ）に対して補間を行い各画素にＲ、Ｇ、Ｂの各色が揃った後の段階でデータサイズを縮小するのが望ましい方法である。そうすれば、従来手法で問題となる画質の劣化を最小限に留めることができるようになる。
　しかし、そうすると、元のベイヤーデータに比してデータサイズが３倍の画像データを扱うことになるので、やはり性能やコストなどの点から問題が生じることとなる。
　本発明の目的は、画質の劣化を抑制しつつ、ベイヤーデータのデータサイズを縮小させることの可能なデータ処理装置を提供することである。
　本発明のデータ処理装置は、撮像部から出力されるベイヤーデータの水平ライン毎に、水平ラインを構成する各画素に対して補間データを生成し、各画素が、補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、各画素が有する２つのカラーデータを用いて、水平ライン毎にデータ量（データサイズ）を縮小させたデータを生成し、その生成したデータで構成されるベイヤーデータを出力するデータサイズ縮小手段とを備える。
　また、水平補間手段は、補間を、下記の式（１）～（５）によって行ってもよい。
　また、本発明のデータ処理装置は、撮像部から出力されるベイヤーデータの水平ライン毎に、水平ラインを構成する各画素に対して補間データを生成し、各画素が、補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、各画素が有する２つのカラーデータを用いて、水平ライン毎に、データ量（データサイズ）を縮小させた間引きデータを生成し、その間引きデータから、少なくともＲプレーンデータ及びＢプレーンデータのデータ量（データサイズ）を縮小させた合成データを合成して出力するデータサイズ縮小手段とを備える。
　また、データサイズ縮小手段は、合成データの生成を、下記の式（１０）～（１１）によって行ってもよい。
実施形態のデジタルカメラの構成を示すブロック図。 撮像素子１０４の原色フィルタの配列方法（Bayer配列）を説明する図。 垂直サイズ縮小処理で対象画素が読み出されるイメージを示す図。 水平サイズ縮小処理のブロックダイアグラム。 水平補間処理で注目画素に対して補間データを生成するイメージを示す図。 水平補間処理から出力されるデータのイメージを示す図。 合成処理を説明する図。 補間処理のブロックダイアグラム。
（一の実施形態）
　以下、本発明の一の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
　図１は、本実施形態のデジタルカメラの構成を示すブロック図である。
　デジタルカメラは、撮像レンズ１０１と、レンズ駆動部１０２と、撮像部１０３と、データ処理部１１０と、表示部１１１と、記録媒体１１２と、デジタルカメラを統括制御するＣＰＵ１１３とから構成される。ここで、レンズ駆動部１０２と撮像部１０３は、ＣＰＵ１１３にそれぞれ接続されている。また、ＣＰＵ１１３と、データ処理部１１０、表示部１１１、記録媒体１１２は、バス１１４を介して接続されている。
　撮像部１０３は、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）回路１０５と、タイミング発生回路１０９とを有している。また、ＡＦＥ回路１０５は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路１０６と、ゲイン調整回路１０７と、Ａ／Ｄ変換回路１０８とを有している。
　撮像レンズ１０１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１０１を１枚のレンズとして図示している。
　レンズ駆動部１０２は、ＣＰＵ１１３の指示に応じてレンズ駆動信号を発生し、撮像レンズ１０１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１０１を通過した光束による被写体像を撮像素子１０４の受光面に形成する。
　撮像素子１０４は、動画の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１０４は、勿論、１フレーム毎の静止画の撮影も可能である。また、撮像素子１０４は、間引き読み出し、画素加算（混合）読み出し、全画素読み出し、窓読み出し（クロップ）が可能な撮像素子である。
　撮像素子１０４は、撮像レンズ１０１の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を出力する。
　撮像素子１０４の受光面には、複数のフォトダイオードが二次元状に配列されている。また、同受光面には、被写体像をカラー撮影するために、各フォトダイオードに対応して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色フィルタがベイヤー（Bayer）配列で配置されている。これにより、撮像素子１０４が出力するアナログ画像信号には、Ｒ、Ｇ、Ｂのカラー信号成分が含まれることになる。
　ここで、原色フィルタの配置方法を簡単に説明する。
　撮像素子１０４の受光面には、各フォトダイオード（Photo Diode：ＰＤ）に対応して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色フィルタがベイヤー（Bayer）配列で配置される。具体的には、図２に示すように、ＰＤ００に対しては赤（Ｒ）、ＰＤ０１に対しては緑（Ｇr）、ＰＤ１０に対しては緑（Ｇb）、そしてＰＤ１１に対しては青（Ｂ）というように、「Ｒ、Ｇr、Ｇb、Ｂ」の配列パターン（ベイヤーパターン）を繰り返す並びで原色フィルタが配置される。なお、ＰＤ０１とＰＤ１０には、どちらにも緑（Ｇ）のフィルタが配置されるが、フィルタがどちらに配置されたものであるかを区別するため、前記のように、ＰＤ０１の方を「Ｇr」、ＰＤ１０の方を「Ｇb」と表記している。
　このように原色フィルタが配置されることにより、受光面の各画素（フォトダイオード）の種類が定められることとなる。即ち、上記ベイヤー配列の場合には、Ｒ（赤色）、Ｇr（第１の緑色）、Ｇb（第２の緑色）、Ｂ（青色）という４つの種類が定められる。
　ＣＤＳ回路１０６は、撮像素子１０４が出力するアナログ画像信号のリセット時（露光前）の信号と、データ転送時（露光後）の信号との両方をサンプリングし、データ転送時の信号値からリセット時の信号値を減算することによって、アナログ画像信号から暗電流によるノイズを除去する。
　ゲイン調整回路１０７は、ＣＰＵ１１３の指示に基づき、アナログ画像信号のゲイン調整量を設定する。これにより、ＣＤＳ回路１０６が出力するノイズ除去後のアナログ画像信号に対してＩＳＯ感度に相当する撮影感度の調整を行う。
　Ａ／Ｄ変換回路１０８は、ゲイン調整回路１０７が出力するアナログ画像信号をデジタルデータに変換する。そして、そのデジタルデータ（画像データ）を撮像部１０３の出力としてデータ処理部１１０へ出力する。
　タイミング発生回路１０９は、ＣＰＵ１１３の指示に基づき、撮像素子１０４とＡＦＥ回路１０５とにタイミングパルスを供給する。このタイミングパルスの供給により、撮像素子１０４、また、ＡＦＥ回路１０５内各回路の駆動タイミングが制御される。例えば、撮像素子１０４では、受光面のフォトダイオードから電荷を読み出すタイミングなどが制御され、また、ＡＦＥ回路１０５内の、例えばＣＤＳ回路１０６では、撮像素子１０４が出力するアナログ画像信号をサンプリングするタイミングなどが制御される。
　データ処理部１１０は、ＣＰＵ１１３の指示に応じて、撮像部１０３が出力する画像データ（ベイヤーデータ）に対し、水平サイズ縮小処理、補間、ホワイトバランス調整、輪郭強調、ガンマ補正などの各種の画像処理を施す。このデータ処理部１１０は、ＡＳＩＣなどとして構成される。なお、水平サイズ縮小処理については後で説明する。
　表示部１１１は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、ＣＰＵ１１３の指示に応じて、動画や静止画を含む各種の画像を表示する。
　記録媒体１１２は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。なお、記録媒体１１２は、デジタルカメラに内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体１１２とデジタルカメラとは、有線または無線で電気的に接続される。
　記録媒体１１２には、ＣＰＵ１１３によって圧縮処理された画像データなどが記録される。なお、圧縮は、動画の場合にはＭＰＥＧ（Moving Picture Experts Group）形式などによって、また静止画の場合にはＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。
　ＣＰＵ１１３は、ユーザーによる操作部材の操作内容に応じて、デジタルカメラの各部を統括制御する。
　例えば、デジタルカメラが撮影モードで動作中に動画撮影ボタンが押下されると、ＣＰＵ１１３は、レンズ駆動部１０２および撮像部１０３を駆動して動画の撮影を開始する。このとき、撮像部１０３の撮像素子１０４は、所定の解像度の画像が所定のフレームレートで取得されるように駆動され、動画の各フレームに対応する画像データ（動画像データ）が撮像部１０３のＡＦＥ回路１０５を介してデータ処理部１１０へ順次出力される。
　その後、ＣＰＵ１１３は、このように撮像部１０３から出力される画像データ（動画像データ）に対し、データ処理部１１０を駆動して必要な画像処理を施す。また、ＣＰＵ１１３は、その画像処理後の動画像データを表示部１１１に表示させる。そして、ＣＰＵ１１３は、画像処理後の動画像データに対しＭＰＥＧ形式などによる圧縮処理を施すと共に、その圧縮後の動画像データを記録媒体１１２へ記録する。
　なお、動画撮影中には、ＣＰＵ１１３は、自動焦点調節（ＡＦ）および自動露出（ＡＥ）の制御動作を続けて行う。
　また、動画撮影中に、もう一度動画撮影ボタンが押下されると、ＣＰＵ１１３は、上記の動作を停止して動画の撮影を終了する。
　ところで、動画の撮影においては、既述のとおり、動画像データのデータ量（データサイズ）を縮小する必要があるが、その縮小により動画像データの画質が劣化してしまうという問題がある。
　そこで、本実施形態のデジタルカメラは、動画撮影時に以下の動作を実施することで、画質の劣化を抑制しつつ、動画像データのデータサイズ（以下、単に、サイズとする。）を縮小する。
　なお、以下では、一例として、有効画素が６０００×４０００画素である撮像素子（本実施形態では撮像部１０３の撮像素子１０４）の出力を、フルＨＤ動画を得るため、２０００×１１２６画素（１／３）のサイズに縮小する動作について説明する。
　（垂直サイズ縮小処理）
　先ず、ＣＰＵ１１３は、撮像素子１０４の垂直（縦）方向の有効画素である４０００画素を１１２６画素に縮小するために、垂直サイズ縮小処理を行う。
　具体的には、画角を１６：９に合わせるため、撮像素子１０４の受光面における垂直（縦）方向に配列された４０００画素のうち、中央寄りの３３７８画素を窓読出しの対象とする。例えば、上下各３１１画素を除いた残りの３３７８画素を窓読出しの対象とする。
　また、それら３３７８画素を、垂直（縦）方向において、３画素毎に、その中央の１画素を除いた残りの同色２画素を間引き読み出しの読み出し対象とし、かつ、当該同色２画素を加算（合成）読み出しの対象とする。
　そして、ＣＰＵ１１３は、窓読み出し、間引き読み出し、画素加算（合成）読み出しを組み合わせたモードでそれらの対象画素を読み出すように撮像素子１０４を駆動する。
　ここで、対象画素が読み出されるイメージを図３に示す。例えば、対象画素である図３左上の垂直（縦）方向に配列された「Ｒ」、「Ｇｂ」、「Ｒ」の３画素は、その中央の「Ｇｂ」１画素が間引かれ、そして、残る同色の「Ｒ」２画素が加算（合成）されて、結果、図３右上の「Ｒ」１画素として読み出される。
　このようにして、ＣＰＵ１１３は、垂直（縦）方向の３３７８画素を１／３（１１２６画素）に縮小した６０００×１１２６画素の画像データ（ベイヤーデータ）を撮像部１０３から出力させる。
　（水平サイズ縮小処理）
　次に、ＣＰＵ１１３は、撮像部１０３から出力される画像データ（ベイヤーデータ）について、その水平（横）方向の有効画素である６０００画素を２０００画素に縮小するために、水平サイズ縮小処理を行う。
　なお、水平サイズ縮小処理は、データ処理部１１０での画像処理の１つとして、補間を行う前に実施される。即ち、ＣＰＵ１１３は、撮像部１０３から出力される画像データ（ベイヤーデータ）に対し、データ処理部１１０を駆動して水平サイズ縮小処理を施す。
　図４は、水平サイズ縮小処理のブロックダイアグラムである。
　以下、このブロックダイアグラムに沿って水平サイズ縮小処理の詳細を説明する。
　（１）水平補間処理
　ＣＰＵ１１３によって駆動されたデータ処理部１１０は、撮像部１０３からの画像データ（ベイヤーデータ）を入力として、その水平（横）方向の各画素行（水平ライン）毎に「水平補間処理」を行う。
　なお、「水平補間処理」では、図４に示すように、入力される水平ラインの各画素のデータは「１２ｂｉｔ」のビット幅を持つものとしている。
　データ処理部１１０は、先ず、下記の式（１）により、水平ラインの画素のうち、注目画素近傍の同色４画素のデータ（画素値）から注目画素に対する補間データを生成する。
　例えば、図５に示すように、Ｒ（赤色）画素のＲ０４が注目画素である場合には、その近傍の同色４画素、つまり、Ｇｒ（第１の緑色）画素のＧｒ０１、Ｇｒ０３、Ｇｒ０５、Ｇｒ０７のデータに基づいて、注目画素に対するＧｒ成分の補間データ「Ｇｒ*」を生成する。
　このように、式（１）では、Ｒ（赤色）画素が注目画素である場合には、その近傍の４つのＧｒ（第１の緑色）画素のデータに基づいて、注目画素に対するＧｒ成分の補間データ「Ｇｒ*」が生成される。反対に、Ｇｒ（第１の緑色）画素が注目画素である場合には、その近傍の４つのＲ（赤色）画素のデータに基づいて、注目画素に対するＲ成分の補間データ「Ｒ*」が生成される。
　これにより、注目画素は、入力の元データ（例えば「Ｒ」）と補間データ（例えば元データが「Ｒ」であれば「Ｇｒ*」）との２つのカラーのデータを有するようになる。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）の「Ｄｉｎ(ｉ)」は、入力のベイヤーデータにおける各水平ラインの画素のデータを示している。
　また、「ｉ」は、各水平ラインでの注目画素（処理対象画素）の位置を示している。なお、この説明においては、「ｉ」は「ｉ＝０～Ｗｉｄｅ－１」の値であり、Ｗｉｄｅは水平（横）方向の有効画素数の「６０００」である。
　また、「ｋ＿ｉｍｐ」は、重み付けのための係数であり、例えば「ｋ＿ｉｍｐ＝［－１，９，９，－１］」とのような値が予め設定されている。
　そして、「ＩＭＰ(ｉ)」は、生成された注目画素に対する補間データを示している。
　次に、データ処理部１１０は、上記で生成された注目画素に対する補間データを、下記の式（２）～（４）を用いて補正する。
　具体的には、式（２）により、注目画素の元データと補間データ、即ち２つのカラーデータの差分「ＣＤ(ｉ)」を求める。
　続いて、求めた差分のデータを基に、式（３）により、注目画素を中央とする隣接５画素、つまり、「ＣＤ(ｉ－２)，ＣＤ(ｉ－１)，ＣＤ(ｉ)，ＣＤ(ｉ＋１)，ＣＤ(ｉ＋２)」の色差平均を算出し、算出した色差平均のデータを注目画素に対する補正データ「ＣＤ＿ａｖｇ(ｉ)」する。
　そして、式（４）により、その補正データを、注目画素の元データから減算、または元データと加算することで、注目画素に対する補間データを補正する。
　このようにして補正後の補間データ「ＩＭＰ’(ｉ)」を取得する。
　なお、式（２）では、注目画素が、Ｒ（赤色）画素、Ｇｒ（第１の緑色）画素の何れである場合にも、Ｒ（赤色）成分からＧｒ（第１の緑色）成分を減算するようにして差分が求められる。
　また、式（４）では、Ｒ（赤色）画素が注目画素である場合には、補正後の補間データ「ＩＭＰ’(ｉ)」として、Ｇｒ成分のデータ「Ｇｒ＾」が取得される。反対に、Ｇｒ（第１の緑色）画素が注目画素である場合には、補正後の補間データ「ＩＭＰ’(ｉ)」として、Ｒ成分のデータ「Ｒ＾」が取得される。
Figure JPOXMLDOC01-appb-M000002
　なお、式（３）の「ｋ＿ｃｄ」は、上記の色差平均を行う際に用いる重み付けのための係数であり、例えば「ｋ＿ｃｄ＝［１，２，２，２，１］」とのような値が予め設定されている。
　上記のように補正後の補間データ「ＩＭＰ’(ｉ)」を取得すると、データ処理部１１０は、式（５）により、「水平補間処理」の出力として、水平ラインの注目画素となる各１画素毎に、その元データ「Ｄｉｎ(ｉ)」と、補正後の補間データ「ＩＭＰ’(ｉ)」との２つのカラーのデータをそれぞれ出力する。
Figure JPOXMLDOC01-appb-M000003
　ここで、図６に、入力の水平ラインがＲ／Ｇｒラインである場合の「水平補間処理」から出力されるデータ、即ち「Ｄｅｖｅｎ(ｉ)」及び「Ｄｏｄｄ(ｉ)」のイメージを示す。
　図６に示すように、「水平補間処理」では、注目画素「Ｄｉｎ(ｉ)」が水平ライン上の偶数位置に配置されたものである場合、出力の「Ｄｅｖｅｎ(ｉ)」には、入力された元データ「Ｄｉｎ(ｉ)」がそのまま出力され、もう片方の出力の「Ｄｏｄｄ(ｉ)」には、上記で取得した補正後の補間データ「ＩＭＰ’(ｉ)」が出力される。また、注目画素「Ｄｉｎ(ｉ)」が水平ライン上の奇数位置に配置されたものである場合、出力の「Ｄｅｖｅｎ(ｉ)」には、上記で取得した補正後の補間データ「ＩＭＰ’(ｉ)」が出力され、もう片方の出力の「Ｄｏｄｄ(ｉ)」には、入力された元データ「Ｄｉｎ(ｉ)」がそのまま出力される。
　このように、入力の水平ラインがＲ（赤色）／Ｇｒ（第１の緑色）ラインであれば、「Ｄｅｖｅｎ(ｉ)」にＲプレーン、「Ｄｏｄｄ(ｉ)」にＧｒプレーンのデータが出力される。また、入力の水平ラインがＧｂ（第２の緑色）／Ｂ（青色）ラインであれば、「Ｄｅｖｅｎ(ｉ)」にＧｂプレーン、「Ｄｏｄｄ(ｉ)」にＢプレーンのデータが出力される。
　人の目は水平方向により高い解像度を持つと言われていることから、データ処理部１１０では、上記の「水平補間処理」によって、特に画像データ（ベイヤーデータ）の水平方向の画質劣化を抑制するようにしている。
　（２）ＬＰＦ処理
　上記の「水平補間処理」を終えると、データ処理部１１０は、その出力の「Ｄｅｖｅｎ(ｉ)」及び「Ｄｏｄｄ(ｉ)」を入力として「ＬＰＦ処理」を行う。
　具体的には、データ処理部１１０は、「Ｄｅｖｅｎ(ｉ)」のデータと「Ｄｏｄｄ(ｉ)」のデータのそれぞれについて、下記の式（６）により、３タップ（ｔａｐ）、即ち、水平ライン上の隣接する３画素をサンプル点とし、その３つのサンプル点の画素データ（画素値）を基にＬＰＦ（ローパスフィルタ）処理を行う。
　そして、その処理後のデータを、「Ｏｅｖｅｎ(ｉ)」及び「Ｏｏｄｄ(ｉ)」として出力する。
　この「ＬＰＦ処理」の実施により、データ処理部１１０では、特に、ナイキスト周波数を超えた周波数成分による折り返しノイズに起因した、モアレやシャギーなどの発生を抑制するようにしている。
Figure JPOXMLDOC01-appb-M000004
　なお、式（６）の「Ｋ１，Ｋ２，Ｋ３」は、任意の係数であり、例えば「Ｋ１＝Ｋ２＝Ｋ３＝１」とのような値が予め設定されている。
　また、「ＬＰＦ処理」は、式（６）以外にも、バイキュービック法などの従来の手法を用いて行うことができる。
　（３）間引き処理
　「ＬＰＦ処理」を終えると、データ処理部１１０は、その出力の「Ｏｅｖｅｎ」及び「Ｏｏｄｄ」を入力とし、下記の式（７）、（８）を用いて、「間引き処理」を行う。
　具体的には、データ処理部１１０は、「Ｏｅｖｅｎ」及び「Ｏｏｄｄ」として入力されるＲプレーン及びＧｒプレーン（またはＧｂプレーン及びＢプレーン）のデータについて、各プレーン毎に、当該プレーン上の連続する「ａ」画素から所定の１画素を選択する。なお、この説明ではベイヤーデータを１／３に縮小するため「ａ＝３」とする。従って、この場合には、各プレーン上の連続する「３」画素から所定の１画素が選択される。そして、Ｒプレーン（またはＧｂプレーン）について選択した１画素のデータを「Ｏ’ｅｖｅｎ(ｊ)」として、またＧｒプレーン（またはＢプレーン）について選択した１画素のデータを「Ｏ’ｏｄｄ(ｊ)」として出力する。
　このようにして、データ処理部１１０では、「Ｏｅｖｅｎ」及び「Ｏｏｄｄ」として入力されるＲプレーン及びＧｒプレーン（またはＧｂプレーン及びＢプレーン）のデータを、それぞれ１／３に縮小させる。
Figure JPOXMLDOC01-appb-M000005
　なお、式（８）の「ａ」は、縮小率によって決まる係数であり、上記のとおり、この説明ではベイヤーデータを１／３に縮小するため「ａ＝３」に設定される。
　また、「ｂ」は、入力データ中の連続する「ａ」画素のうちのどの画素を「間引き処理」の出力とするかを指定するためのオフセットであり、この説明では「ａ＝３」であるため「０～２」の何れかの値であるが、ここでは例えば「ｂ＝０」に設定されるものとする。
　また、式（８）の「ＲｏｕｎｄＤｏｗｎ」は、端数切り捨てを行う関数である。
　（４）合成処理
　「間引き処理」を終えると、データ処理部１１０は、その出力の「Ｏ’ｅｖｅｎ(ｊ)」及び「Ｏ’ｏｄｄ(ｊ)」を入力とし、下記の式（９）を用いて、「合成処理」を行う。
　具体的には、データ処理部１１０は、入力データが水平ライン上の偶数位置に配置されたものである場合には、入力の「Ｏ’ｅｖｅｎ(ｊ)」の方のデータを「Ｄｏｕｔ(ｊ)」として出力する。一方、入力データが水平ライン上の奇数位置に配置されたものである場合には、入力の「Ｏ’ｏｄｄ(ｊ)」の方のデータを「Ｄｏｕｔ(ｊ)」として出力する。
　これにより、入力データは、ベイヤー（Bayer）配列に基づいた形式に揃えられて、「Ｄｏｕｔ(ｊ)」として出力される。
Figure JPOXMLDOC01-appb-M000006
　このような動作によって、データ処理部１１０では、画質の劣化を抑制しつつ、ベイヤーデータのサイズを縮小させるようにしている。
　その後、上記の処理によって２０００×１１２６画素のサイズに縮小された画像データ（動画像データ）が「Ｄｏｕｔ(ｊ)」を介して取得されると、ＣＰＵ１１３は、その動画像データに対し、補間及びその他の必要な画像処理を施すようにして、既述の動画撮影時の動作を行う。
（他の実施形態）
　次に、本発明の他の実施形態を説明する。本実施形態は、デジタルカメラの実施形態であり、図１に示す一の実施形態のデジタルカメラと同一である。したがって、本実施形態のデジタルカメラの各構成要素についての詳細な説明は省略する。
　また、本実施形態のデジタルカメラによる動作は、図４に示す「間引き処理」まで一の実施形態と同一であり詳細な説明は省略する。本実施形態と一の実施形態との相違点は、図４に示す「合成処理」を下記の式（１０）～（１１）を用いて行うとともに、その「合成処理」によって出力された合成データに対する「補間処理」を施す点にある。そこで、下記では、本実施形態における「合成処理」および「補間処理」の動作について説明する。
　（４）合成処理
　図４に示す「間引き処理」を終えると、データ処理部１１０は、その出力の「Ｏ’ｅｖｅｎ(ｊ)」及び「Ｏ’ｏｄｄ(ｊ)」を入力とし、上記の式（９）の代わりに、下記の式（１０）、（１１）を用いて、「合成処理」を行う。
Figure JPOXMLDOC01-appb-M000007
　具体的には、データ処理部１１０は、入力データの「Ｏ’ｅｖｅｎ(ｊ)」及び「Ｏ’ｏｄｄ(ｊ)」を２組、つまり、入力における偶数番目の「Ｏ’ｅｖｅｎ(ｊ＝偶数)」及び「Ｏ’ｏｄｄ(ｊ＝偶数)」と、奇数番目の「Ｏ’ｅｖｅｎ(ｊ＝奇数)」及び「Ｏ’ｏｄｄ(ｊ＝奇数)」とを一組のデータとして使用し、以下のように「合成処理」を行う。この「合成処理」のイメージを図７に示す。なお、図７中の「ｊＥ」は、データが、入出力において、偶数番目のものであることを示し、また「ｊＯ」は、データが、奇数番目のものであることを示している。
　データ処理部１１０は、入力データがＲプレーン及びＧｒプレーンのデータ、即ち、水平ラインのＲ（赤色）／Ｇｒ（第１の緑色）ライン時のデータであれば、式（１０）を用いて、「１２ｂｉｔ」のビット幅を持つ入力の偶数番目の「Ｏ’ｅｖｅｎ(ｊ＝偶数)」及び「Ｏ’ｏｄｄ(ｊ＝偶数)」、また奇数番目の「Ｏ’ｅｖｅｎ(ｊ＝奇数)」及び「Ｏ’ｏｄｄ(ｊ＝奇数)」のデータを合成して、その合成結果を「１６ｂｉｔ」のビット幅を持つ出力における偶数番目の「Ｄ(ｊ＝偶数)」と奇数番目の「Ｄ(ｊ＝奇数)」との一組のデータとして出力する。
　ここで、図７を用いて詳しく説明すると、先ず、偶数番目のＲプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＥ」)」の（ゼロ「０」勘定で）２～１１ビット目のデータ（１０ビット長）を、出力において偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の０～９ビット目に挿入する。
　次に、偶数番目のＧｒプレーンデータ「Ｏ’ｏｄｄ(「ｊＥ」)」の６～１１ビット目のデータ（６ビット長）を、同じく偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の１０～１５ビット目に挿入する。
　また、奇数番目のＧｒプレーンデータ「Ｏ’ｏｄｄ(「ｊＯ」)」の０～１１ビット目のデータ（１２ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の０～１１ビット目に挿入する。
　次に、再び偶数番目のＧｒプレーンデータ「Ｏ’ｏｄｄ(「ｊＥ」)」を使用し、今度は、その２～５ビット目のデータ（４ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の１２～１５ビット目に挿入する。
　そして、上記のように合成した１６ｂｉｔ長のデータ「Ｄ(「ｊＥ」)」と「Ｄ(「ｊＯ」)」とを一組にして、これを「合成処理」の結果として出力する。
　このように、入力における偶数番目の「Ｏ’ｅｖｅｎ(ｊＥ)」及び「Ｏ’ｏｄｄ(ｊＥ)」と、奇数番目の「Ｏ’ｅｖｅｎ(ｊＯ)」及び「Ｏ’ｏｄｄ(ｊＯ)」との合計「４８ｂｉｔ（「１２ｂｉｔ」×４）」のデータを合成して、出力における偶数番目のデータ「Ｄ(「ｊＥ」)」と奇数番目のデータ「Ｄ(「ｊＯ」)」との合計「３２ｂｉｔ（「１６ｂｉｔ」×２）」のデータを出力する。
　また、データ処理部１１０は、入力データがＧｂプレーン及びＢプレーンのデータ、即ち、水平ラインのＧｂ（第２の緑色）／Ｂ（青色）ライン時のデータであれば、式（１１）を用いて、「１２ｂｉｔ」のビット幅を持つ入力の偶数番目の「Ｏ’ｅｖｅｎ(ｊ＝偶数)」及び「Ｏ’ｏｄｄ(ｊ＝偶数)」、また奇数番目の「Ｏ’ｅｖｅｎ(ｊ＝奇数)」及び「Ｏ’ｏｄｄ(ｊ＝奇数)」のデータを合成して、その合成結果を「１６ｂｉｔ」のビット幅を持つ出力における偶数番目の「Ｄ(ｊ＝偶数)」と奇数番目の「Ｄ(ｊ＝奇数)」との一組のデータとして出力する。
　ここで、図７を用いて詳しく説明すると、先ず、偶数番目のＧｂプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＥ」)」の０～１１ビット目のデータ（１２ビット長）を、出力において偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の０～１１ビット目に挿入する。
　次に、奇数番目のＧｂプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＯ」)」の２～５ビット目のデータ（４ビット長）を、同じく偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の１２～１５ビット目に挿入する。
　また、奇数番目のＢプレーンデータ「Ｏ’ｏｄｄ(「ｊＯ」)」の２～１１ビット目のデータ（１０ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の０～９ビット目に挿入する。
　次に、再び奇数番目のＧｂプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＯ」)」を使用し、今度は、その６～１１ビット目のデータ（６ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の１０～１５ビット目に挿入する。
　そして、このように合成した１６ｂｉｔ長のデータ「Ｄ(「ｊＥ」)」と「Ｄ(「ｊＯ」)」とを一組にして、これを「合成処理」結果の合成データとして出力する。
　このように、入力における偶数番目の「Ｏ’ｅｖｅｎ(ｊＥ)」及び「Ｏ’ｏｄｄ(ｊＥ)」と、奇数番目の「Ｏ’ｅｖｅｎ(ｊＯ)」及び「Ｏ’ｏｄｄ(ｊＯ)」との合計「４８ｂｉｔ（「１２ｂｉｔ」×４）」のデータを合成して、出力における偶数番目のデータ「Ｄ(「ｊＥ」)」と奇数番目のデータ「Ｄ(「ｊＯ」)」との合計「３２ｂｉｔ（「１６ｂｉｔ」×２）」のデータを出力する。
　即ち、データ処理部１１０は、この「合成処理」によって、入力のサイズの縮小されたベイヤーデータから更に１／３のデータを削減して、データ量を元の２／３に減少させる。
　このような動作によって、データ処理部１１０では、画質の劣化を抑制しつつ、データのサイズを縮小させるようにしている。
　なお、上記の「合成処理」では、１２ビット長の入力の特にＲプレーンデータ、Ｂプレーンデータを、１０ビット長に縮小して出力するようにしている。これは、最終的に取得される画像データは、各画素のＲ、Ｇ、Ｂ各色のビット幅を「８ｂｉｔ」とする場合が一般的であるので、少なくともその「８ｂｉｔ」の情報量を確保するためである。これにより、画質の劣化を抑制しつつ、データのサイズを縮小させることができる。
　また、上記の「合成処理」では、入力データがＲ（赤色）／Ｇｒ（第１の緑色）ライン時のデータである場合に、その奇数番目のＲプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＯ」)」については使用していないが、それを保持しておいて後の処理で利用するようにしてもよい。また入力データがＧｂ（第２の緑色）／Ｂ（青色）ライン時のデータである場合の偶数番目のＢプレーンデータ「Ｏ’ｏｄｄ(「ｊＥ」)」についても使用していないが、これも同様に保持しておいて後の処理で利用するようにしてもよい。
　また、上記の「合成処理」では、特別な回路を必要とせず、一般に入手し易い汎用的な回路を用いてそのロジックを構成可能とするために、出力する各画素データのビット幅を「１６ｂｉｔ」としている。しかし、これに限らず、ビット幅は、例えば「１４ｂｉｔ」や「１８ｂｉｔ」などとしてもよい。
　ところで、データ処理部１１０は、上記の「合成処理」の後に、それによって出力されるデータ量を減少させた合成データに対して補間処理を施す。
　以下、この補間処理の一例について説明する。なお、以下の説明においては、簡単のため、補間処理を、水平ライン（行）単位ではなく、水平ライン（行）及び垂直ライン（列）の面単位で行うようにする。
　図８は、補間処理のブロックダイアグラムである。
　以下、このブロックダイアグラムに沿って補間処理の詳細を説明する。
　（１）データ分離処理
　データ処理部１１０は、データ量を減少させた合成データ「Ｄ」が入力されると、下記の式（１２）、（１３）により、入力データから、そこに合成されているＧプレーンとＲプレーン（またはＢプレーン）のデータを分離して、その分離後のプレーンデータを出力する。
Figure JPOXMLDOC01-appb-M000008
　具体的には、データ処理部１１０は、下記の式（１２）により、入力データの水平ライン（行）を示す「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、垂直ライン（列）を示す「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）であれば、その０～９ビット目のデータに４を乗じて得たデータ（１２ビット長）を第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。また、「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）である場合にも、同様に、その０～９ビット目のデータに４を乗じて得たデータ（１２ビット長）を第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。
　一方、入力データの水平ライン（行）を示す「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、垂直ライン（列）を示す「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）であれば、その０～１１ビット目のデータ（１２ビット長）をそのまま第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。また、「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）である場合にも、同様に、その０～１１ビット目のデータ（１２ビット長）をそのまま第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。
　また、データ処理部１１０は、下記の式（１３）により、入力データの水平ライン（行）を示す「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、垂直ライン（列）を示す「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）であれば、その１０～１５ビット目のデータに６４を乗じる。そして、その乗算によって得たデータと、次の「ｃ＋１」の位置にある「Ｄ(「ｊＯ」)」）の１２～１５ビット目のデータに４を乗じて得たデータとを加算して、その加算により得られたデータ（１２ビット長）を第２の出力「ｔｍｐＧ［１１：０］(ｒ，ｃ)」として出力する。
　また、入力データの水平ライン（行）を示す「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、垂直ライン（列）を示す「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）である場合には、その１０～１５ビット目のデータに６４を乗じる。そして、その乗算によって得たデータと、１つ前の「ｃ－１」の位置にある「Ｄ(「ｊＥ」)」）の１２～１５ビット目のデータに４を乗じて得たデータとを加算して、その加算により得られたデータ（１２ビット長）を第２の出力「ｔｍｐＧ［１１：０］(ｒ，ｃ)」として出力する。
　また、入力データの水平ライン（行）を示す「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、垂直ライン（列）を示す「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）である場合、又は、「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）である場合には、その０～１１ビット目のデータ（１２ビット長）をそのまま第２の出力「ｔｍｐＧ［１１：０］(ｒ，ｃ)」として出力する。
　（２）Ｇプレーン生成処理
　次に、データ処理部１１０は、上記「データ分離処理」の第１の出力「Ｂａｙｅｒ(ｒ，ｃ)」と第２の出力「ｔｍｐＧ(ｒ，ｃ)」とを入力として、下記の式（１４）、（１５）により「Ｇプレーン生成処理」を行う。なお、Ｇプレーンのデータ（本処理に「ｔｍｐＧ(ｒ，ｃ)」として入力される）は既に生成されているが、それは画面の横（水平）方向の画素信号レベル（画素値）の勾配のみに基づいて生成されたものであるため、ここで、そのＧプレーンのデータについて、縦（垂直）方向の相関を取るかどうかを改めて評価する。
Figure JPOXMLDOC01-appb-M000009
　具体的には、下記の式（１４）によって求めた「ｄＶ(ｒ，ｃ)」と「ｄＨ(ｒ，ｃ)」との差が所定の閾値「Ｔｈ」を超える場合には、下記の式（１５）により、縦（垂直）方向の相関を取らずに入力の「ｔｍｐＧ(ｒ，ｃ)」をそのまま「Ｇ(ｒ，ｃ)」として出力する。一方、それらの差が所定の閾値「Ｔｈ」以下となる場合には、下記の式（１５）により、縦（垂直）方向の相関を取って、その結果のデータを「Ｇ(ｒ，ｃ)」として出力する。
　（３）Ｒ，Ｂプレーン生成処理
　そして、データ処理部１１０は、上記「データ分離処理」の第１の出力「Ｂａｙｅｒ(ｒ，ｃ)」と、上記「Ｇプレーン生成処理」の出力「Ｇ(ｒ，ｃ)」とを入力として、「Ｒ，Ｂプレーン生成処理」を行う。なお、この「Ｒ，Ｂプレーン生成処理」には従来技術を適用可能であるが、ここでは、その一例として、下記の式（１６）～（１９）に示す一般的な手法を用いて「Ｒ，Ｂプレーン生成処理」を行うものとする。
Figure JPOXMLDOC01-appb-M000010
　具体的には、下記の式（１６）を用いて、Ｇｒ画素位置におけるＲプレーン「Ｒ(ｒ，ｃ)」及びＢプレーン「Ｂ(ｒ，ｃ)」を生成する。また、下記の式（１７）を用いて、Ｇｂ画素位置におけるＲプレーン「Ｒ(ｒ，ｃ)」及びＢプレーン「Ｂ(ｒ，ｃ)」を生成する。そして、下記の式（１８）を用いて、Ｒ画素位置におけるＢプレーン「Ｂ(ｒ，ｃ)」を生成する。また、下記の式（１９）を用いて、Ｂ画素位置におけるＲプレーン「Ｒ(ｒ，ｃ)」を生成する。
　データ処理部１１０は、「Ｒ，Ｂプレーン生成処理」によってこのように生成したＲプレーン、Ｂプレーンのデータを、それぞれ「Ｒ(ｒ，ｃ)」、「Ｂ(ｒ，ｃ)」として出力する。
　データ処理部１１０による補間処理の結果として、「Ｇプレーン生成処理」の出力の「Ｇ(ｒ，ｃ)」、「Ｒ，Ｂプレーン生成処理」の出力の「Ｒ(ｒ，ｃ)」と「Ｂ(ｒ，ｃ)」により構成された動画像データが取得されると、ＣＰＵ１１３は、その動画像データに対し、他の必要な画像処理（ガンマ補正など）を施すようにして、既述の動画撮影時の動作を行う。
　（実施形態の補足事項）
　上記では、本発明の実施形態の一例としてデジタルカメラ（デジタルスチルカメラ）の実施形態を説明したが、本発明は、動画の撮影が可能なデジタルビデオカメラや携帯電話機などの他の機器にも適用することが可能である。
　上記他の実施形態では、説明を簡単にするため、補間処理の「データ分離処理」と「Ｇプレーン生成処理」とを分けて行うようにしている。しかし、実際には、「ｔｍｐＧ」の情報（データ）は注目画素のものしか使用していないので、両者は一度に処理することも可能である。
　１０１…撮像レンズ，１０２…レンズ駆動部，１０３…撮像部，１０４…撮像素子，１０５…ＡＦＥ回路，１０６…ＣＤＳ回路，１０７…ゲイン調整回路，１１８…Ａ／Ｄ変換回路，１０９…タイミング発生回路，１１０…データ処理部，１１１…表示部，１１２…記録媒体，１１３…ＣＰＵ，１１４…バス

Claims (4)

  1. 　撮像部から出力されるベイヤーデータの水平ライン毎に、前記水平ラインを構成する各画素に対して補間データを生成し、前記各画素が前記補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、
    　前記各画素が有する２つのカラーデータを用いて、前記水平ライン毎にデータ量を縮小させたデータを生成し、その生成したデータで構成されるベイヤーデータを出力するデータサイズ縮小手段と
    　を備えることを特徴とするデータ処理装置。
  2. 　請求項１に記載のデータ処理装置において、
    　前記水平補間手段は、前記補間を、下記の式（１）～（５）によって行う
    　ことを特徴とするデータ処理装置。
    Figure JPOXMLDOC01-appb-M000011
  3. 　撮像部から出力されるベイヤーデータの水平ライン毎に、前記水平ラインを構成する各画素に対して補間データを生成し、前記各画素が前記補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、
    　前記各画素が有する２つのカラーデータを用いて、前記水平ライン毎に、データ量を縮小させた間引きデータを生成し、その間引きデータから、少なくともＲプレーンデータ及びＢプレーンデータのデータ量を縮小させた合成データを合成して出力するデータサイズ縮小手段と
    　を備えることを特徴とするデータ処理装置。
  4. 　請求項３に記載のデータ処理装置において、
    　前記データサイズ縮小手段は、前記合成データの生成を、下記の式（６）～（７）によって行う
    　ことを特徴とするデータ処理装置。
    Figure JPOXMLDOC01-appb-M000012
PCT/JP2010/006911 2009-11-27 2010-11-26 データ処理装置 WO2011065012A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011543112A JP5633518B2 (ja) 2009-11-27 2010-11-26 データ処理装置
US13/511,553 US8897551B2 (en) 2009-11-27 2010-11-26 Data processing apparatus with horizontal interpolation
CN201080053427.8A CN102648632B (zh) 2009-11-27 2010-11-26 数据处理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-270273 2009-11-27
JP2009270273 2009-11-27
JP2009-270272 2009-11-27
JP2009270272 2009-11-27

Publications (1)

Publication Number Publication Date
WO2011065012A1 true WO2011065012A1 (ja) 2011-06-03

Family

ID=44066117

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006911 WO2011065012A1 (ja) 2009-11-27 2010-11-26 データ処理装置

Country Status (4)

Country Link
US (1) US8897551B2 (ja)
JP (1) JP5633518B2 (ja)
CN (2) CN102648632B (ja)
WO (1) WO2011065012A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101981573B1 (ko) * 2012-11-22 2019-05-23 삼성전자주식회사 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치
CN106507019B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128583A (ja) * 2002-09-30 2004-04-22 Ricoh Co Ltd 撮像装置、画像処理方法、プログラム及び記録媒体
JP2005286415A (ja) * 2004-03-26 2005-10-13 Olympus Corp 画像圧縮方法及び画像圧縮装置
JP2008067315A (ja) * 2006-09-11 2008-03-21 Olympus Corp 撮像装置、画像処理装置、撮像システム及び画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008457A (ja) 2000-06-22 2002-01-11 Toshiba Corp 複合信号ケーブルとその取り付け方法
JP4133283B2 (ja) * 2002-12-10 2008-08-13 シャープ株式会社 画像処理装置および画像処理方法、デジタルスチルカメラ
JP2005057529A (ja) * 2003-08-05 2005-03-03 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置およびプログラム
JP4287331B2 (ja) * 2004-07-06 2009-07-01 株式会社メガチップス 縮小補間回路および縮小補間方法
KR100699831B1 (ko) * 2004-12-16 2007-03-27 삼성전자주식회사 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
US8452090B1 (en) * 2005-04-25 2013-05-28 Apple Inc. Bayer reconstruction of images using a GPU
KR100652408B1 (ko) * 2005-04-27 2006-12-01 삼성전자주식회사 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치
JP4695552B2 (ja) * 2006-06-28 2011-06-08 富士フイルム株式会社 画像処理装置及び方法
JP4377428B2 (ja) 2007-12-12 2009-12-02 アキュートロジック株式会社 固体撮像素子及びそれを用いた撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128583A (ja) * 2002-09-30 2004-04-22 Ricoh Co Ltd 撮像装置、画像処理方法、プログラム及び記録媒体
JP2005286415A (ja) * 2004-03-26 2005-10-13 Olympus Corp 画像圧縮方法及び画像圧縮装置
JP2008067315A (ja) * 2006-09-11 2008-03-21 Olympus Corp 撮像装置、画像処理装置、撮像システム及び画像処理プログラム

Also Published As

Publication number Publication date
CN104580942B (zh) 2017-12-15
CN102648632B (zh) 2015-01-28
US20120281136A1 (en) 2012-11-08
CN104580942A (zh) 2015-04-29
JPWO2011065012A1 (ja) 2013-04-11
CN102648632A (zh) 2012-08-22
JP5633518B2 (ja) 2014-12-03
US8897551B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US7626619B2 (en) Digital camera
JP5207853B2 (ja) 静止画像及び動画像撮像装置
JP4622790B2 (ja) 撮像素子および撮像装置
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
JP4905279B2 (ja) 撮像回路および撮像装置
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5633518B2 (ja) データ処理装置
JP4024057B2 (ja) デジタルカメラ
JP4984517B2 (ja) 撮像ユニット及び撮像装置
JP2004194248A (ja) 撮像素子及び撮像装置
JP4133179B2 (ja) 画像信号処理装置
JP2013030939A (ja) 撮像装置
JP2001285688A (ja) デジタルカメラ
JP4852490B2 (ja) 撮像装置及びそのポストビュー画像生成方法
JP5066476B2 (ja) 撮像装置
JP5476785B2 (ja) 撮像装置
JP6010943B2 (ja) 撮像装置
US8797438B2 (en) Digital camera and pixel adding method of same
JP2006148591A (ja) 固体撮像装置および固体撮像素子駆動方法
JP2012034310A (ja) 画像撮像装置および信号処理方法
JP2007174474A (ja) 撮像装置
JP2012231197A (ja) 撮像装置、電子カメラ装置および電子カメラシステム
JP2011114474A (ja) 撮像装置及び固体撮像素子の駆動方法
JP2006180108A (ja) デジタルカメラ

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080053427.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10832861

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011543112

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13511553

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10832861

Country of ref document: EP

Kind code of ref document: A1