WO2009147939A1 - 画像撮像装置 - Google Patents

画像撮像装置 Download PDF

Info

Publication number
WO2009147939A1
WO2009147939A1 PCT/JP2009/058981 JP2009058981W WO2009147939A1 WO 2009147939 A1 WO2009147939 A1 WO 2009147939A1 JP 2009058981 W JP2009058981 W JP 2009058981W WO 2009147939 A1 WO2009147939 A1 WO 2009147939A1
Authority
WO
WIPO (PCT)
Prior art keywords
photoelectric conversion
conversion element
image
exposure time
element group
Prior art date
Application number
PCT/JP2009/058981
Other languages
English (en)
French (fr)
Inventor
徳井　圭
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US12/992,941 priority Critical patent/US8441539B2/en
Publication of WO2009147939A1 publication Critical patent/WO2009147939A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Definitions

  • the present invention relates to an image pickup apparatus that improves image quality, and more particularly, to an image pickup apparatus that improves image quality when a moving subject is shot.
  • Patent Document 1 discloses a photographing method for detecting the movement of a subject by comparing a first image and a second image taken at different times, and recording an image when the subject has no movement. Yes.
  • this method when capturing a stationary object, an image with little motion blur can be captured, but it cannot be applied to capturing a moving object.
  • Japanese Patent Application Laid-Open No. H10-228867 discloses a technique for enabling a moving subject to be photographed without blurring.
  • a motion vector is detected from two consecutive images, and the shutter speed is changed in accordance with the detected amount to obtain a still image with less blur.
  • Patent Document 2 can obtain an effect in a very bright scene, but when shooting in a dark environment, only a dark image in which the subject cannot be identified can be obtained because the shutter speed is high. In addition, in order to increase the shutter speed, there is a problem in that the S / N ratio deteriorates and the image quality decreases.
  • the present invention has been made in view of the above circumstances, and is an image pickup apparatus capable of obtaining a clear image with reduced motion blur even when a moving subject is photographed in a dark environment.
  • the purpose is to provide.
  • a first technical means of the present invention includes a plurality of photoelectric conversion element groups, and generates an imaged image based on intermediate image data read from each photoelectric conversion element group And an exposure time setting unit for setting an exposure time at the time of imaging for each of the photoelectric conversion element groups, and at least one of the plurality of photoelectric conversion element groups is different from other photoelectric conversion element groups.
  • the exposure time for performing multiple exposures for one imaging is set, and read from the photoelectric conversion element group in which the exposure time for performing the multiple exposures is set corresponding to the multiple exposures.
  • a motion detection unit that detects image motion information from a plurality of intermediate image data, and a motion blur correction unit that corrects the intermediate image data read from the other photoelectric conversion element group using the detected motion information; And It is obtained is characterized in that serial plurality of intermediate image data and the corrected based on the intermediate image data to generate the captured image.
  • the second technical means is the first technical means, wherein an exposure time set for the other photoelectric conversion element group is within a total exposure time of a plurality of exposures performed for at least one of the plurality of photoelectric conversion element groups. It is characterized by being.
  • the photoelectric conversion element group is provided for each color, and the photoelectric conversion of the color predicted to have the fastest pixel value saturation when the subject is photographed.
  • an exposure time in which a plurality of exposures are performed for the one imaging is set.
  • the photoelectric conversion element group is provided for each of red, green, and blue, and the blue photoelectric conversion element group is configured for the one-time imaging.
  • an exposure time for performing a plurality of exposures is set.
  • the plurality of photoelectric conversion element groups include a photoelectric conversion element group that reacts to an entire visible light region, and the photoelectric conversion element group includes the one time The exposure time for performing multiple exposures for the imaging is set.
  • the image pickup apparatus of the present invention it is possible to obtain a clear image with reduced motion blur even when a moving subject is photographed.
  • the image pickup apparatus of the present invention includes a plurality of photoelectric conversion element groups, and each of the photoelectric conversion element groups is provided with information on light irradiated to the photoelectric conversion elements during the exposure time for each exposure time passage. Reading is performed to generate an intermediate image (data), and an output image (captured image) is generated based on the intermediate image.
  • FIG. 1 is a diagram illustrating an outline of a configuration example of an image capturing apparatus according to the present invention.
  • the image capturing apparatus 1 in the example of FIG. 1 includes an image sensor 11 that receives light transmitted through a lens L, and a control unit 12 that controls the entire image capturing apparatus 1 including the image sensor 11.
  • the image forming unit 12a includes a composition image generation unit 12a, an exposure time setting unit 12b, a motion detection unit 12c, a motion blur correction unit 12d, and an image composition unit 12e.
  • the image sensor 11 has one photoelectric conversion element group for each of red (R), green (G), and blue (B) (that is, has a plurality of photoelectric conversion element groups) and receives light by the photoelectric conversion element. The obtained light quantity can be acquired for each photoelectric conversion element group.
  • the image pickup device 11 includes, for example, an XY address type solid-state image pickup device such as a CMOS (Complementary Metal Oxide ⁇ ⁇ ⁇ Semiconductor) sensor in which color filters for R, G, and B are arranged for each photoelectric conversion element in a Bayer array or the like. Can be used.
  • CMOS Complementary Metal Oxide ⁇ ⁇ ⁇ Semiconductor
  • the photoelectric conversion element group that receives light through the R color filter is appropriately used as the R pixel, and the photoelectric conversion element group that receives light through the G color filter as appropriate through the G pixel and the B color filter.
  • a photoelectric conversion element group that receives light is referred to as a B pixel.
  • parameters (aperture etc.) relating to image generation other than the exposure time are common to each pixel.
  • the compositing image generation unit 12a of the control unit 12 performs the exposure period elapses during the shooting period (the period necessary for generating the output image or the mechanical shutter (not shown) of the image capturing apparatus 1). Information on the amount of light applied to the photoelectric conversion element during the exposure time is read out from the imaging element 11 to generate an image for synthesis (intermediate image data).
  • the exposure time setting unit 12b is for setting an exposure time at the time of imaging for each pixel, that is, each photoelectric conversion element group.
  • the exposure time setting unit 12 sets an exposure time in which a plurality of exposures are performed for one image capture in at least one photoelectric conversion element group (that is, for at least one photoelectric conversion element group, an image for synthesis).
  • a short exposure time different from that of other photoelectric conversion element groups is set so that the generation unit 12a generates a plurality of synthesis images for one output image).
  • the exposure time setting unit 12b includes a plurality of compositing image generation units 12a for colors predicted to have the fastest saturation of values (pixel values) detected by pixels when a subject is photographed.
  • the exposure time is set to be shortest (electronic shutter speed is fast) so as to generate a composite image of two sheets (for example, two sheets).
  • the exposure time is individually set as described above, and this can be realized by changing the timing of a signal for controlling the exposure time in each pixel.
  • a short exposure time capable of generating a plurality of images for synthesis is set as described later, for example, can be determined according to the shooting mode.
  • calculation of an appropriate exposure time can be realized by using an exposure setting method such as that used in a digital camera.
  • the composition image generation unit 12a corresponds to two exposures during a shooting period for a specific color.
  • the information on the amount of light is read to generate two images for composition, that is, two images for composition are generated in succession.
  • the two pieces of image data generated successively in the composition image generation unit 12a are transmitted to the motion detection unit 12c, and the other image data are transmitted to the motion blur correction unit 12d.
  • the motion detection unit 12c When there is a moving object (animal body) in the subject, the motion of the moving object can be calculated from the two continuous images for composition. Therefore, the motion detection unit 12c has two continuous images for composition. To detect the motion of the subject and calculate the motion information. As a calculation method, various methods used in motion compensation in image compression, double speed driving in a liquid crystal display, and the like can be used. The motion detection unit 12c transmits the calculated motion information to the motion blur correction unit 12d. In addition, the motion detection unit 12c transmits the two continuous images for composition to the image composition unit 12e.
  • the color for which one image for composition is generated is set to a value with a longer exposure time compared to the color for which two images for composition are generated in succession. Therefore, when a moving object is present in the subject, the image with the least motion blur among the generated images for synthesis is a color with a short exposure time for generating two images for synthesis in succession. That is, the motion blur is larger in the synthesis images of the other colors than in the synthesis images of the colors in which the synthesis images are continuously generated. Therefore, the motion blur correction unit 12d corrects the motion blur of the color compositing images for which the two compositing images are not continuously generated based on the subject motion information detected by the motion detecting unit 12c.
  • the image to be corrected reduces motion blur in accordance with the first or second image generated continuously. In other words, the image correction is performed so that either the photographing start or the photographing completion is achieved.
  • the motion detection unit 12c transmits the synthesis image of each color subjected to motion correction to the image synthesis unit 12e.
  • the image synthesizing unit 12e synthesizes an image for synthesis of each color including those subjected to motion correction as an output image (color image). At this time, with respect to the color for which two images for composition have been generated in succession, the image for composition that has become the reference for motion blur correction is used for composition. Further, since the images for synthesis of the respective colors are taken with different exposure times, a color image can be generated by combining these values in consideration. In the image pickup apparatus 1, the color image obtained by combining in this way is stored in various storage devices or output to a monitor.
  • the exposure time setting unit 12b sets a short exposure time that can generate a plurality of composite images for which photoelectric conversion element group.
  • the spectral sensitivity of the image sensor 11 has a wavelength spectrum as shown in FIG. 2 (R, G, and B in FIG. 2 indicate the spectral sensitivities of the R pixel, G pixel, and B pixel, respectively).
  • the spectral sensitivity of the G pixel is the highest, and the spectral sensitivity of each of the R pixel and the B pixel is about 80% of the G pixel).
  • the image capturing apparatus 1 captures an image in a capturing mode used under illumination in which the entire visible region has an intensity and the intensity of red light is about 60% of that of blue.
  • the exposure time is set as follows.
  • the gradation value of an output image increases when a white subject (an example of the subject of the present invention) Is taken.
  • a conventional image pickup device different from the image pickup device 1 that is, a device having the image pickup element 11 but having a common pixel exposure time, aperture, etc. for each color, is used to appropriately set the exposure time, aperture, etc.
  • the image is actually taken under illumination having intensity over the entire visible region as shown in FIG.
  • detection is performed by the G pixel or B pixel (at a position corresponding to the white portion) in consideration of the wavelength sensitivity of the image sensor 11 shown in FIG.
  • the value detected from the R pixel is smaller than the value to be calculated, and is about half that of the B pixel. That is, in the conventional image pickup apparatus, the gradation resolution cannot be used to the maximum for the R pixel. This is because the setting values such as exposure time and aperture are common to each pixel.
  • the image pickup apparatus 1 setting values (aperture etc.) other than the exposure time are made common to all the pixels, and the exposure time is individually set for each pixel.
  • the pixel values of the B pixel and the R pixel are about twice as large.
  • the image pickup apparatus 1 causes the pixel value of the B pixel even when white is similarly photographed by causing a difference of twice in the exposure time, for example, as shown in FIG.
  • the pixel value of the R pixel can be made substantially the same.
  • the exposure time of the B pixel is 1/200 second
  • the exposure time of the R pixel is set to 1/100, so that the pixel values of the respective colors can be made comparable.
  • the gradation value detected by the R pixel, the G pixel, and the B pixel can make maximum use of the resolution of the detected gradation. That is, the image quality can be improved by increasing the number of gradations of the captured image.
  • the image pickup apparatus 1 has the imaging element 11 having the wavelength sensitivity shown in FIG. 2 and performs shooting in the shooting mode (first shooting mode) used under illumination of the wavelength spectrum of FIG.
  • the operation is based on the exposure time and photographing time as shown in FIG.
  • the exposure time is set as shown in (1) and (2) below.
  • (1) When a subject (in this example, a white subject) is photographed under illumination in the photographing mode, a color (saturation fastest color) whose pixel value is predicted to be saturated first is the subject in the photographing mode.
  • the time required for the pixel value to be saturated when the image is photographed (expected saturation time) is set as the exposure time. In FIG. 4, the fastest saturation color is blue.
  • the expected saturation time of the color is set as the exposure time (example in FIG. 4). Then, G pixel corresponds to this). If it is larger, a value that is twice the expected saturation time of the fastest saturated color is set as the exposure time (R pixel corresponds to this in the example of FIG. 4).
  • the composition image is generated and photographed to generate two continuous composition images for the saturation fastest color, detect the motion of the subject, and based on the detected motion, By correcting the composite image, an output image with reduced motion blur can be obtained, and by appropriately setting the exposure time for each color, the pixel gradation value can be improved and high image quality can be achieved. .
  • the color for continuously generating the synthesis image is described as one color. However, two colors may be used, and if the image pickup apparatus is capable of multi-primary color shooting, continuous generation is performed for three or more colors. Also good.
  • the image capturing apparatus 1 has a wavelength spectrum as shown in FIG. 2 in which the spectral sensitivity of the image sensor 11 is similar to the previous example, and unlike the previous example, red and blue are used as shown in FIG. It is assumed that shooting is performed in a shooting mode (second shooting mode) used under illumination in which the light intensity is approximately the same.
  • the exposure time is set as follows.
  • the pixel exposure time, aperture, etc. are common to each color, and a conventional image pickup device in which these are appropriately set is used under the illumination having the intensity in the entire visible region as shown in FIG.
  • a conventional image pickup device in which these are appropriately set is used under the illumination having the intensity in the entire visible region as shown in FIG.
  • the pixel values detected from each pixel are the same when considering the wavelength sensitivity of the image sensor 11 in FIG. 2 and the wavelength spectrum of the illumination light in FIG.
  • the exposure time of each pixel is set individually, and two images for synthesis are generated for the saturation fastest color. Then, the shooting time becomes long.
  • the exposure time does not change greatly between the saturation fastest color and the other colors, even if motion blur is corrected based on motion information calculated from two consecutive images for synthesis, a great effect cannot be obtained.
  • the saturation prediction time is set as the exposure time for two colors other than the color for generating two images for composition, and the exposure time for one color for generating two images for composition is determined from that. shorten. For example, as shown in FIG. 6, when a white subject is photographed under illumination in the photographing mode, the exposure is half the saturation prediction time of the color whose pixel value is predicted to be saturated most slowly (saturation slowest color). Set to time. Thereby, even if two images for composition are generated in succession, the photographing time does not become long. By adjusting the gains for the colors for which two images for synthesis with a short exposure time are generated, the balance of each color in the output image can be adjusted.
  • the image pickup apparatus 1 has the imaging element 11 having the wavelength sensitivity shown in FIG. 2 and performs shooting in the second shooting mode used under illumination of the wavelength spectrum shown in FIG. 5, for example, as shown in FIG. It operates based on such exposure time and photographing time.
  • the color that shortens the exposure time is good as shown in FIG.
  • the influence on the luminance is the largest among red, green, and blue, and the smallest blue. Therefore, when the output image is viewed, the color in which the influence of noise generated by increasing the gain by shortening the exposure time is the least visible is blue. That is, by shortening the blue exposure time, it is possible to minimize the visibility of noise and reduce the motion blur of the subject.
  • two output images are generated by shortening the exposure time for two color pixels, and motion blur is generated based on these images. You may make it reduce. At this time, it is preferable to perform shooting while shortening the exposure time for red and blue other than green, which has a large influence on the luminance, because noise can be kept low. Thereby, the motion blur reduction effect can be increased.
  • the image capturing apparatus 1 determines, for each photoelectric conversion element group, a short exposure time capable of generating a plurality of compositing images depending on the shooting mode.
  • the expected saturation time of the color is set as the exposure time of the predetermined color according to the shooting mode so that the gradation resolution of each pixel can be used effectively.
  • a specific ratio saturation prediction time may be used instead of the saturation prediction time. Estimated specific ratio saturation time is expected to be necessary until the number of gradation value saturation elements for each pixel (the entire photoelectric conversion element group) reaches a specific ratio when the subject is photographed under illumination in the shooting mode. It is time to be.
  • the configuration of the image pickup apparatus is not limited to the above.
  • light from a subject is separated into each color by a prism or the like, and a red CCD (Charge Coupled Device) sensor or CMOS sensor, green CCD sensor or CMOS sensor, blue CCD sensor or CMOS sensor is used for each color. You may make it receive light.
  • a red CCD (Charge Coupled Device) sensor or CMOS sensor Green CCD sensor or CMOS sensor, blue CCD sensor or CMOS sensor
  • a mechanical shutter speed may be used if a mechanical shutter is provided for each image sensor
  • a specific color is obtained.
  • the exposure time of the photoelectric conversion element group is made different from that of the other colors, a plurality of images for synthesis are generated for the specific color, and motion blur is reduced based on this.
  • a photoelectric conversion element group that reacts to the entire visible light region is provided, and as illustrated in FIG.
  • a plurality of images may be acquired for calculating motion information.
  • motion blur can be reduced by correcting the synthesis image of each color based on the calculated motion information and generating an output image based on the corrected image.
  • the photoelectric conversion element group that reacts to the visible light region may be provided in the CMOS sensor of the imaging element 11. Further, for example, an optical member that transmits part of the light toward the image sensor 11 and reflects the other is provided in the image pickup device, and visible light is included in another CMOS sensor that receives the light reflected by the optical member. You may provide the photoelectric conversion element group which reacts to an area
  • an optical member that transmits a part of light directed to a prism or the like that can be separated for each color and reflects the other is provided in the image pickup device, is transmitted through the optical member and separated into each color by the prism, and for each color, The entire visible light region is received by another CCD sensor or CMOS sensor that receives light using a red CCD sensor or CMOS sensor, a green CCD sensor or CMOS sensor, a blue CCD sensor or CMOS sensor, and receives light reflected by the optical member. May be received.
  • a multi-lens system configuration having a plurality of sets of lenses and image sensors may be used.
  • motion blur can be achieved by shooting with different shutter speeds and different exposure times. Can be reduced.
  • one color image is output by one shooting, but the motion blur correction unit 12d corrects each color image based on each of the two consecutive images.
  • two color images may be output.
  • the number of images continuously generated for motion information calculation has been described as two, but may be three or more.
  • the present invention can also be applied to moving images.
  • this image capturing apparatus for example, for colors that generate a plurality of images for calculating motion information, the exposure time is 1/120 seconds or less, and for other colors, the exposure time is 1/60 seconds or less.
  • 60 output images with reduced motion blur can be generated per second. That is, the present image capturing apparatus can generate a moving image composed of 60 images per second and having high image quality with reduced motion blur.
  • a corrected image is generated in 1/120 seconds by generating two corrected images. An image can be recorded, and the image quality can be further improved.
  • SYMBOLS 1 ... Image pick-up device, 11 ... Image sensor, 12 ... Control part, 12a ... Image production

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　動いている被写体を暗い環境で撮影する場合であっても、動きぼけが低減された鮮明な画像を得ることができる画像撮像装置を提供する。画像撮像装置１は、複数の光電変換素子群を備え、各光電変換素子群から読み出した中間画像データに基づいて撮像画像を生成するものである。装置１は、素子群ごとに撮像の際の露光時間を設定する露光時間設定部１２ｂを具備し、少なくとも１つの素子群には、１回の撮像に対して複数回の露光が行われる露光時間を設定する。また、装置１は、当該素子群から複数の露光に対応して読み出された複数の中間画像データから画像の動き情報を検出する動き検出部１２ｃと、その動き情報を用いて他の素子群から読み出した中間画像データを補正する動きぼけ補正部１２ｄとを具備し、複数の中間画像データ及び補正した中間画像データに基づいて撮像画像を生成する。

Description

画像撮像装置
　本発明は、画質を向上させる画像撮像装置に関し、特に、動きのある被写体を撮影したときの画質を向上させる画像撮像装置に関する。
　従来から、画像撮像装置により動きのある物体を撮影する場合、シャッタ速度が大きくなるに連れ、被写体の鮮鋭感のないぼけた画像として撮影されてしまっていた。これは、シャッタが開放されている時間、つまり、露光している間に被写体が動いてしまい、それが一画像として記録されてしまうことに起因する。
　また、近年ではレンズや撮像素子を振動させることにより、撮像装置が動いた場合のぼけを低減する技術が普及している。しかしながら、この方法では特定の被写体が動いた場合には適用することができない。これは、被写体は動いているが背景は動いていないためである。
　また、特許文献１には、異なる時間に撮影した第１画像と第２画像とを比較することで被写体の動きを検出し、被写体に動きが無い場合に画像を記録する撮影方法が開示されている。しかし、この方法では、静止している物体を撮像する場合には、動きぼけの少ない画像を撮影することができるが、動いている物体の撮影に対しては適用することができない。
　動きのある被写体をぼけずに撮影できるようにするための技術としては、例えば、特許文献２に開示のようなものがある。これは、連続する２枚の画像から動きベクトルを検出し、その量に応じてシャッタスピードを変化させ、ぶれの少ない静止画像を得るものである。
特開２００５－１５９８０６号公報 特開２００２－３３０３３５号公報
　しかしながら、特許文献２の方法では、非常に明るい場面では効果を得ることができるが、暗い環境で撮影する場合、シャッタスピードを高速にしているため被写体が判別できない暗い画像しか得ることができない。また、シャッタスピードを高速にするために、Ｓ／Ｎ比が劣化して画質が低下するという問題がある。
　本発明は、上述のごとき実情に鑑みてなされたものであり、動いている被写体を暗い環境で撮影する場合であっても、動きぼけが低減された鮮明な画像を得ることができる画像撮像装置を提供することを目的とする。
　上記の課題を解決するために、本発明の第１の技術手段は、複数の光電変換素子群を備え、各光電変換素子群から読み出した中間画像データに基づいて撮像画像を生成する画像撮像装置であって、前記光電変換素子群ごとに撮像の際の露光時間を設定する露光時間設定部を具備し、前記複数の光電変換素子群の少なくとも１つについて、他の光電変換素子群とは異なり、１回の撮像に対して複数回の露光が行われる露光時間を設定し、前記複数回の露光が行われる露光時間を設定した光電変換素子群から複数の露光に対応して読み出された複数の中間画像データから画像の動き情報を検出する動き検出部を具備し、前記検出した動き情報を用いて前記他の光電変換素子群から読み出した中間画像データを補正する動きぼけ補正部を具備し、前記複数の中間画像データ及び前記補正した中間画像データに基づいて前記撮像画像を生成することを特徴としたものである。
　第２の技術手段は、第１の技術手段において、前記他の光電変換素子群に設定する露光時間が、前記複数の光電変換素子群の少なくとも１つについて行う複数回の露光の合計露光時間以内であることを特徴としたものである。
　第３の技術手段は、第１又は第２の技術手段において、色毎に前記光電変換素子群を設け、被写体を撮影したときに画素値の飽和が最も速いと予測される色の前記光電変換素子群に、前記１回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴としたものである。
　第４の技術手段は、第１又は第２の技術手段において、赤色、緑色、及び青色のそれぞれに対し前記光電変換素子群を設け、前記青色の光電変換素子群に、前記１回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴としたものである。
　第５の技術手段は、第１又は第２の技術手段において、前記複数の光電変換素子群が、可視光領域全体に反応する光電変換素子群を含み、当該光電変換素子群に、前記１回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴としたものである。
　本発明の画像撮像装置によれば、動いている被写体を撮影した場合においても、動きぼけが低減された鮮明な画像を得ることが可能となる。
本発明の画像撮像装置の一構成例の概略を説明する図である。 図１の撮像素子１１の分光感度の一例を示す図である。 本発明の画像撮像装置の撮影モードの一例において想定される撮影環境の照明光の波長スペクトルを示す図である。 本発明の画像撮像装置における各色の露光時間と撮影時間の一例について説明する図である。 本発明の画像撮像装置の撮影モードの他の例において想定される撮影環境の照明光の波長スペクトルを示す図である。 本発明の画像撮像装置における各色の露光時間と撮影時間について説明する図である。 等色関数を示す図である。 本発明の画像撮像装置における各色の露光時間と撮影時間の他の例について説明する図である。 本発明の画像撮像装置における各色の露光時間と、可視光領域全体に反応する光電変換素子群の露光時間と、撮影時間の一例について説明する図である。
　以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は、理解しやすいように誇張して記載しており、実施の間隔や大きさとは異なる。
　本発明の画像撮像装置は、複数の光電変換素子群を備えるものであって、光電変換素子群のそれぞれについて、露光時間経過毎に当該露光時間中に光電変換素子に照射された光の情報を読み出して中間画像（データ）を生成し、その中間画像に基づいて出力用画像（撮像画像）を生成する。
　図１は、本発明の画像撮像装置の一構成例の概略を説明する図である。図１の例の画像撮像装置１は、レンズＬを透過した光を受光する撮像素子１１と、その撮像素子１１を含め画像撮像装置１全体を制御する制御部１２とを備え、制御部１２が合成用画像生成部１２ａ、露光時間設定部１２ｂ、動き検出部１２ｃ、動きぼけ補正部１２ｄ、及び画像合成部１２ｅを備える。
　撮像素子１１は、赤色（Ｒ），緑色（Ｇ），及び青色（Ｂ）のそれぞれに対し光電変換素子群を１つ有する（すなわち複数の光電変換素子群を有する）と共に、光電変換素子で受光された光量を光電変換素子群毎に取得できるものである。撮像素子１１には、例えば、Ｒ，Ｇ，Ｂ用のカラーフィルタがベイヤ配列などで各光電変換素子に対して配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのＸ－Ｙアドレス型固体撮像素子を使用することができる。なお、以下の説明では、適宜、Ｒ用カラーフィルタを介して受光する光電変換素子群をＲ画素，Ｇ用カラーフィルタを介して受光する光電変換素子群をＧ画素，Ｂ用カラーフィルタを介して受光する光電変換素子群をＢ画素という。ここでは、撮像素子１１について、露光時間以外の画像生成に関わるパラメータ（絞り等）は、各画素で共通であるものとする。
　制御部１２の合成用画像生成部１２ａは、撮影期間（出力用画像を生成するために必要な期間、あるいは画像撮像装置１の図示しないメカニカルなシャッタの開放期間）中、露光時間経過毎に、当該露光時間中に光電変換素子に照射された光量の情報を撮像素子１１から読み出して、合成用画像（中間画像データ）を生成する。
　露光時間設定部１２ｂは、画素すなわち光電変換素子群毎に撮像の際の露光時間を設定するものである。露光時間設定部１２は、少なくとも一の光電変換素子群に、１回の撮像に対して複数回の露光が行われる露光時間を設定する（すなわち、少なくとも一の光電変換素子群について、合成用画像生成部１２ａが１つの出力用画像に対し複数枚の合成用画像を生成するように、他の光電変換素子群とは異なる短い露光時間を設定する）。露光時間設定部１２ｂは、例えば、後述のように、被写体を撮影したときに画素で検出される値（画素値）の飽和が最も速いと予測される色について、合成用画像生成部１２ａが複数枚（例えば、２枚）の合成画像を生成するように、最も露光時間を短く（電子シャッタ速度を速く）設定する。画像撮像装置１では、上述のように露光時間を個別に設定しており、これは、各画素で露光時間を制御する信号のタイミングを変えることで実現できる。どのような条件において、どの光電変換素子群に対して、複数の合成用画像を生成可能な短い露光時間を設定するかについては、後述するが、例えば、撮影モードに応じて決定できる。また、適切な露光時間の算出は、デジタルカメラで使用されているような露出設定方法を用いることで実現できる。
　露光時間設定部１２ｂが上述のように露光時間を光電変換素子群毎に設定するため、合成用画像生成部１２ａは、特定の色については、撮影期間中に、２回の露光に対応して光量の情報を読み出して２枚の合成用画像を生成する、すなわち、連続して２枚の合成用画像を生成する。合成用画像生成部１２ａにおいて連続して生成された２枚の画像データは、動き検出部１２ｃへ伝送され、その他の画像データは動きぼけ補正部１２ｄへ伝送される。
　被写体に動きのある物体（動物体）が存在した場合、連続した２枚の合成用画像から動物体の動きを算出することができるので、動き検出部１２ｃは、連続した２枚の合成用画像を解析することにより、被写体の動きを検出し、動き情報を算出する。算出方法としては、画像圧縮での動き補償や、液晶ディスプレイでの倍速駆動などで使用されている種々の方法を利用することができる。動き検出部１２ｃは、動きぼけ補正部１２ｄへ算出した動き情報を伝送する。また、動き検出部１２ｃは、画像合成部１２ｅへ上記連続した２枚の合成用画像を伝送する。
　２枚の合成用画像が連続して生成された色に比べて、１枚の合成用画像が生成された色は、露光時間が大きい値に設定されている。したがって、被写体に動物体が存在した場合、生成した合成用画像のうち動きぼけが最も少ないものは、連続して２枚の合成用画像が生成される露光時間が小さい色のものである。すなわち、連続して合成用画像が生成される色の合成用画像に比べ、他の色の合成用画像は動きぼけが大きくなっている。そこで、動きぼけ補正部１２ｄは、動き検出部１２ｃで検出された被写体の動き情報をもとに、連続して２枚の合成用画像が生成されない色の合成用画像の動きぼけを補正する。補正する画像は、連続して生成された画像の１枚目または２枚目に合わせて動きぼけを低減する。すなわち、撮影開始または撮影完了のどちらかの状態になるように画像補正を行う。動き検出部１２ｃは、画像合成部１２ｅへ、動き補正を行った各色の合成用画像を伝送する。
　画像合成部１２ｅは、動き補正を行ったものを含む各色の合成用画像を、出力用画像（カラー画像）として合成する。このとき、連続して２枚の合成用画像が生成された色については、動きぼけ補正の基準となった方の合成用画像を合成に用いる。また、各色の合成用画像は露光時間が異なる値で撮影されているため、これらの値を考慮して合成することでカラー画像を生成することができる。画像撮像装置１では、このようにして合成して得たカラー画像を、各種記憶装置に記憶したり、モニタへ出力したりなどする。
　以上のように、合成用画像生成用の光電変換素子の露光時間を色毎に適切に設定することにより、特定の色については、複数枚の合成用画像を連続して生成して被写体の動きを検出し、この特定の色の複数枚の画像から他の色の合成用画像の動きぼけを補正することにより、合成用画像に基づく出力用画像において動きぼけを低減させることができる。
　続いて、露光時間設定部１２ｂが、どのような条件において、どの光電変換素子群に対して、複数の合成用画像を生成可能な短い露光時間を設定するかについて説明する。
　例えば、撮像素子１１の分光感度が図２に示すような波長スペクトルを有しているものとする（図２のＲ，Ｇ，Ｂはそれぞれ、Ｒ画素、Ｇ画素、Ｂ画素の分光感度を示しており、Ｇ画素の分光感度が最も高く、Ｒ画素及びＢ画素それぞれの分光感度はＧ画素の８０％程度である）。そして、画像撮像装置１は、図３のように可視領域全体に強度を持ち且つ赤色の光の強度が青色のものの６０％程度である照明下で用いられる撮影モードで撮影するものとする。この場合、画像撮像装置１では、光電変換素子から得られる階調値を大きくし高画質の出力用画像を生成するため、例えば、以下のように露光時間を設定する。
　一般的に、画像撮像装置において露光時間、絞りといったものの設定値を適切に設定し撮影をしたとき、出力される画像の階調値が大きくなるのは白色の被写体（本発明の被写体の一例）を撮影したときである。
　ここで、画像撮像装置１とは異なる従来の画像撮像装置、すなわち、撮像素子１１を有するが画素の露光時間、絞り等が各色で共通であるものを用いて、露光時間や絞り等を適切に設定し、実際に図３のように可視領域全体に強度を持つ照明下で撮影を行った場合を考える。この場合において白色を撮影したとき、図２で示される撮像素子１１の波長感度と図３の照明光の波長スペクトルとを考慮すると、（白色部分に対応する箇所において）Ｇ画素やＢ画素で検出される値に比べて、Ｒ画素から検出される値は小さく、Ｂ画素の半分程度の値となる。つまり、従来の画像撮像装置では、Ｒ画素について、階調の分解能を最大限に利用することができない。これは、各画素で、露光時間や絞り等の設定値が共通であるためである。
　一方、画像撮像装置１では、露光時間以外の設定値（絞り等）を全画素で共通にして、露光時間を画素毎に個別に設定する。露光時間を含む全設定値を共通にした従来の画像撮像装置では、図３の波長スペクトルを有する照明下で白色を撮影した場合に、Ｂ画素とＲ画素とで、画素値に約２倍の差が生じていたが、画像撮像装置１では、例えば図４に示すように露光時間に２倍の差を生じさせることで、同様に白色を撮影した場合であっても、Ｂ画素の画素値とＲ画素の画素値をほぼ同じとすることができる。例えば、Ｂ画素の露光時間が１／２００秒であったらＲ画素の露光時間を１／１００とすることで、各色の画素値を同程度とすることができる。これにより、Ｒ画素、Ｇ画素、Ｂ画素で検出される階調値が、検出される階調の分解能を最大限に利用することができる。すなわち、撮影画像の階調数を増加させることによって高画質化が可能となる。
　このように画像撮像装置１は、図２で示される波長感度の撮像素子１１を有すると共に図３の波長スペクトルの照明下で用いられる撮影モード（第１撮影モード）で撮影を行う場合、例えば、図４に示すような露光時間及び撮影時間に基づいて動作する。図４の例では、以下の（１），（２）のように露光時間を設定している。
（１）当該撮影モードである照明下で被写体（本例では白色の被写体）を撮影したときに画素値が最初に飽和すると予測される色（飽和最速色）については、当該撮影モードで当該被写体を撮影したときに画素値が飽和するまでに必要と予想される時間（飽和予想時間）を、露光時間として設定する。図４では、飽和最速色は青色である。
（２）飽和最速色を除く色については、その飽和予想時間が、飽和最速色の飽和予想時間の２倍より小さい場合は、当該色の飽和予想時間を露光時間として設定する（図４の例ではＧ画素がこれに該当）。大きい場合は、飽和最速色の飽和予想時間の２倍の値を露光時間として設定する（図４の例ではＲ画素がこれに該当）。
　この場合、全色の画素で同時に撮影を開始し、飽和最速色（最も露光時間が短く設定される色）については、最も早く１枚の合成用画像の生成が完了する。飽和最速色の合成用画像の生成が完了した後も、他の色の画素の露光時間は経過しておらず露光は続けられることになる。この間に、１枚の合成用画像の生成が既に完了した飽和最速色に関して再度露光を行う。したがって、飽和最速色については、他の色について合成用画像を１枚生成する間に、連続して２枚生成することになる。
　以上のように合成用画像を生成し撮影を行うことで、飽和最速色に関して、連続した２枚の合成用画像を生成して被写体の動きを検出し、検出した動きに基づき、他の色の合成用画像を補正することにより、動きぼけを低減した出力用画像を得られ、また、色毎に適切に露光時間を設定することにより、画素の階調値を向上させ高画質化を達成できる。
　なお、以上では、合成用画像を連続生成する色を１色として説明したが、２色でもよく、多原色撮影が可能な画像撮像装置であれば、３色以上に対して連続生成を行ってもよい。
　次に、例えば、画像撮像装置１は、前例と同様に、撮像素子１１の分光感度が図２に示すような波長スペクトルを有しており、前例とは異なり、図５のように赤色と青色の光の強度が同程度である照明下で用いられる撮影モード（第２撮影モード）で撮影するものとする。この場合、画像撮像装置１では、光電変換素子から得られる階調値を大きくし高画質の出力用画像を生成するため、例えば、以下のように露光時間を設定する。
　ここでまた、画素の露光時間、絞り等が各色で共通であり、これらが適切に設定された従来の画像撮像装置を用いて、実際に図５のように可視領域全体に強度を持つ照明下で撮影を行った場合を考える。この場合において白色を撮影すると、図２の撮像素子１１の波長感度と図５の照明光の波長スペクトルとを考慮すれば、各画素から検出される画素値は同じような値になる。このことからも明らかなように、本条件では、前例の（１），（２）のように、各画素の露光時間を個別に設定し飽和最速色について２つの合成用画像を生成するようにすると、撮影時間が長くなってしまう。また、飽和最速色とその他の色とで露光時間が大きく変わらないため、連続した２つの合成用画像から算出した動き情報に基づいて、動きぼけを補正しても大きな効果を得ることができない。
　そこで、この条件では、２枚の合成用画像を生成する色以外の２色については、飽和予測時間を露光時間として設定し、２枚の合成用画像を生成する１色の露光時間はそれより短くする。例えば、図６に示すように、当該撮影モードである照明下で白色の被写体を撮影したときに画素値が最も遅く飽和すると予測される色（飽和最遅色）の飽和予測時間の半分の露光時間に設定する。これにより、連続して２つの合成用画像を生成しても撮影時間が長くなることがない。露光時間を短くした２つの合成用画像を生成した色に関してはゲインを調整することにより、出力用画像内の各色のバランスを調整することができる。
　このように画像撮像装置１は、図２で示される波長感度の撮像素子１１を有すると共に図５の波長スペクトルの照明下で用いられる第２撮影モードで撮影を行う場合、例えば、図６に示すような露光時間及び撮影時間に基づいて動作する。そして、赤色、緑色、青色の三原色で撮影を行うときに、上述のように第２撮影モードで撮影を行う場合、図６に示すように、露光時間を短くする色は青色が良い。図７に示した等色関数から分かるように、輝度への影響は、赤色、緑色、青色のうち、緑色が最も大きく、青色が最も小さい。したがって、出力用画像を見た場合、露光時間を短くしてゲインを上げることにより発生したノイズの影響が最も視認されにくい色が青色となる。すなわち、青色の露光時間を短くすることで、ノイズの視認を最小限に留め、被写体の動きぼけを低減することができる。
　また、上述のように第２撮影モードで撮影を行う場合、図８に示すように、２色の画素について露光時間を短くして出力用画像を２つ生成し、これらに基づいて動きぼけを低減するようにしてもよい。このとき、輝度への影響が大きい緑色を除く赤色及び青色について露光時間を短くして撮影を行うと、ノイズの視認が低く抑えることができるため好適である。これにより、動きぼけ低減効果を大きくすることができる。
　以上のように、画像撮像装置１では、撮影モードに応じて、どの光電変換素子群に対して、複数の合成用画像を生成可能な短い露光時間を設定するかを決定している。
　また、上述の例では、各画素の階調の分解能を有効に使えるように、撮影モードに応じて、所定の色の露光時間として、当該色の飽和予想時間を設定していた。この飽和予想時間に代えて、例えば、特定割合飽和予想時間を用いてもよい。特定割合飽和予想時間とは、当該撮影モードである照明下で被写体を撮影したときに、各画素（光電変換素子群全体）に対する階調値飽和素子の数が特定の割合に達するまで必要と予想される時間である。
　なお、画像撮像装置の構成は、上述に限られない。例えば、被写体からの光をプリズムなどによって各色に分離して、それぞれの色について、赤色用ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳセンサ、緑色ＣＣＤセンサまたはＣＭＯＳセンサ、青色ＣＣＤセンサまたはＣＭＯＳセンサを用いて受光するようにしてもよい。この場合は、各撮像素子（ＣＣＤセンサやＣＭＯＳセンサ）の電子シャッタタイミング（撮像素子毎にメカニカルなシャッタを設けるのであればメカニカルなシャッタ速度であってもよい）を異ならせることにより、特定の色の光電変換素子群の露光時間を他の色のものと異ならせ、当該特定の色について複数枚の合成用画像を生成し、これに基づき動きぼけを低減する。
　さらに、各色（例えば、赤、緑、青）に対する光電変換素子群の他に、可視光領域全体に反応する光電変換素子群を設け、図９に示すように、可視光領域全体に反応する光電変換素子群については、動き情報の算出のために複数の画像を取得するようにしてもよい。この場合も、算出した動き情報に基づいて、各色の合成用画像を補正し、補正したものに基づき出力用画像を生成することで、動きぼけを低減することができる。このように、可視領域全体という広範囲について受光することにより、赤色、緑色及び青色のみ受光するときと比べて、光量が増加するため、同じ撮影環境ならば、露光時間を短くすることができる。このように可視光領域に反応する光電変換素子群は、撮像素子１１のＣＭＯＳセンサの中に設けてもよい。また、例えば、撮像素子１１に向う光の一部を透過し他を反射する光学部材を画像撮像装置に設け、当該光学部材に反射された光を受光する別のＣＭＯＳセンサの中に、可視光領域に反応する光電変換素子群を設けてもよい。
　また、色毎に分離できるプリズム等に向う光の一部を透過し他を反射する光学部材を画像撮像装置に設け、当該光学部材を透過しプリズムによって各色に分離して、それぞれの色について、赤色用ＣＣＤセンサまたはＣＭＯＳセンサ、緑色ＣＣＤセンサまたはＣＭＯＳセンサ、青色ＣＣＤセンサまたはＣＭＯＳセンサを用いて受光し、当該光学部材に反射された光を受光する別のＣＣＤセンサまたはＣＭＯＳセンサで可視光領域全体を受光するようにしてもよい。
　さらに、他の例では、レンズと撮像素子を複数組有する多眼システムの構成でもよく、この場合も、シャッタ速度を異なるようにし露光時間を異なる値に設定して撮影することにより、動きぼけを低減することができる。
　また、以上の例では、１回の撮影で１枚のカラー画像を出力したが、動きぼけ補正部１２ｄにて、連続した２枚の画像のそれぞれを基準として各色の画像の補正を行う等して、２枚のカラー画像が出力できるようにしてもよい。また、動き情報算出用に連続して生成する画像の枚数は２枚として説明したが、３枚以上であってもよい。さらに、画像を連続生成する色を１色として説明したが、２色でもよく、多原色撮影が可能な画像撮像装置であれば、３色以上に対して連続生成を行ってもよい。
　また、以上では、静止画について説明したが動画に対しても適用することができる。本画像撮像装置において、例えば、動き情報算出のために複数枚の画像を生成する色については、露光時間を１／１２０秒以下とし、他の色については、露光時間を１／６０秒以下とすれば、動きぼけが低減された出力用画像を１秒間に６０枚生成できる。すなわち、本画像撮像装置では、１秒間に６０枚の画像からなる動画であって、動きぼけが低減された高画質なものを生成することができる。さらに、例えば、１／１２０秒で生成された画像から１／６０秒で生成された画像の動きぼけを補正したときに、２枚の補正した画像を生成することで、１／１２０秒で動画像を記録することができ、さらに高画質化ができる。
　なお、特許文献２の方法では、非常に明るい場面では効果を得ることができたが、暗い環境で撮影する場合、シャッタスピードを高速にしているため被写体が判別できない暗い画像しか得ることができなかった。また、シャッタスピードを高速にするために、Ｓ／Ｎ比が劣化して画質が低下するという問題があった。それに対し、本発明の画像撮像装置では、上述のように構成されているため、動いている被写体を暗い環境で撮影した場合においても、動きぼけが低減された鮮明な画像を得ることができる。
１…画像撮像装置、１１…撮像素子、１２…制御部、１２ａ…合成用画像生成部、１２ｂ…露光時間設定部、１２ｃ…動き検出部、１２ｄ…動きぼけ補正部、１２ｅ…画像合成部。

Claims (5)

  1. 　複数の光電変換素子群を備え、各光電変換素子群から読み出した中間画像データに基づいて撮像画像を生成する画像撮像装置であって、
    　前記光電変換素子群ごとに撮像の際の露光時間を設定する露光時間設定部を具備し、前記複数の光電変換素子群の少なくとも１つについて、他の光電変換素子群とは異なり、１回の撮像に対して複数回の露光が行われる露光時間を設定し、
    　前記複数回の露光が行われる露光時間を設定した光電変換素子群から複数の露光に対応して読み出された複数の中間画像データから画像の動き情報を検出する動き検出部を具備し、
    　前記検出した動き情報を用いて前記他の光電変換素子群から読み出した中間画像データを補正する動きぼけ補正部を具備し、
    　前記複数の中間画像データ及び前記補正した中間画像データに基づいて前記撮像画像を生成することを特徴とする画像撮像装置。
  2. 　前記他の光電変換素子群に設定する露光時間は、前記複数の光電変換素子群の少なくとも１つについて行う複数回の露光の合計露光時間以内であることを特徴とする請求項１に記載の画像撮像装置。
  3. 　色毎に前記光電変換素子群を設け、被写体を撮影したときに画素値の飽和が最も速いと予測される色の前記光電変換素子群に、前記１回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴とする請求項１または２に記載の画像撮像装置。
  4. 　赤色、緑色、及び青色のそれぞれに対し前記光電変換素子群を設け、前記青色の光電変換素子群に、前記１回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴とする請求項１または２に記載の画像撮像装置。
  5. 　前記複数の光電変換素子群は、可視光領域全体に反応する光電変換素子群を含み、当該光電変換素子群に、前記１回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴とする請求項１または２に記載の画像撮像装置。
PCT/JP2009/058981 2008-06-06 2009-05-14 画像撮像装置 WO2009147939A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/992,941 US8441539B2 (en) 2008-06-06 2009-05-14 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008149268A JP5199736B2 (ja) 2008-06-06 2008-06-06 画像撮像装置
JP2008-149268 2008-06-06

Publications (1)

Publication Number Publication Date
WO2009147939A1 true WO2009147939A1 (ja) 2009-12-10

Family

ID=41398015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058981 WO2009147939A1 (ja) 2008-06-06 2009-05-14 画像撮像装置

Country Status (3)

Country Link
US (1) US8441539B2 (ja)
JP (1) JP5199736B2 (ja)
WO (1) WO2009147939A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
EP2661872A4 (en) * 2011-01-04 2015-11-25 Piqx Imaging Pte Ltd SCANNING METHOD AND DEVICE
CN102779334B (zh) 2012-07-20 2015-01-07 华为技术有限公司 一种多曝光运动图像的校正方法及装置
KR20150100998A (ko) * 2014-02-24 2015-09-03 삼성디스플레이 주식회사 영상처리장치 및 영상처리방법
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
KR102465212B1 (ko) * 2015-10-30 2022-11-10 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330335A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 静止画像撮像装置
JP2004289709A (ja) * 2003-03-25 2004-10-14 Toshiba Corp 撮像装置、撮像方法
JP2006094085A (ja) * 2004-09-24 2006-04-06 Fuji Photo Film Co Ltd 撮影装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2005159806A (ja) 2003-11-27 2005-06-16 Fuji Photo Film Co Ltd 撮像装置および撮像方法
KR100859431B1 (ko) * 2003-12-26 2008-09-23 마쯔시다덴기산교 가부시키가이샤 촬영 장치，촬영 시스템 및 반도체 집적회로
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
US7319216B2 (en) * 2004-09-10 2008-01-15 Fujifilm Corporation Light receiving unit and image taking apparatus
JP2006229868A (ja) * 2005-02-21 2006-08-31 Canon Inc 画像処理装置及び方法、動き検出装置及び方法
JP4562182B2 (ja) * 2005-03-07 2010-10-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP4315971B2 (ja) 2006-11-09 2009-08-19 三洋電機株式会社 撮像装置
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330335A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 静止画像撮像装置
JP2004289709A (ja) * 2003-03-25 2004-10-14 Toshiba Corp 撮像装置、撮像方法
JP2006094085A (ja) * 2004-09-24 2006-04-06 Fuji Photo Film Co Ltd 撮影装置

Also Published As

Publication number Publication date
JP5199736B2 (ja) 2013-05-15
JP2009296434A (ja) 2009-12-17
US20110063460A1 (en) 2011-03-17
US8441539B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
US9843735B2 (en) Image processing apparatus, imaging apparatus comprising the same, and image processing method
JP5199736B2 (ja) 画像撮像装置
JP4987355B2 (ja) 撮像装置および撮像方法
JP2007336561A (ja) 映像生成装置及び方法
JP4024581B2 (ja) 撮像装置
JP2007060449A (ja) 撮像装置
JP2007214892A (ja) 撮像装置
JP5302058B2 (ja) 撮像装置および撮像方法
KR20090091597A (ko) 카메라의 백라이트 보정 장치 및 방법
JP2007243917A (ja) 撮像装置および画像処理プログラム
JP5138521B2 (ja) 撮像装置及び撮像方法
JP4167200B2 (ja) 信号処理装置、信号処理方法及びデジタルカメラ
JP2006148550A (ja) 画像処理装置及び撮像装置
JP2009164859A (ja) 撮像装置及び撮像制御方法
JP6393091B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP2008236739A (ja) 撮像装置および撮像方法
JP2006121165A (ja) 撮像装置、画像形成方法
JP4043379B2 (ja) 撮像装置
JP2005167465A (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP5184325B2 (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP2006148645A (ja) 撮像装置
JP2011077770A (ja) 固体電子撮像装置の制御装置およびその動作制御方法
JP2007306064A (ja) 撮像装置
JP2010136239A (ja) 撮影装置および撮影装置の制御方法並びにプログラム

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09758206

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12992941

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09758206

Country of ref document: EP

Kind code of ref document: A1