WO2011155429A1 - 信号処理装置及び静止画生成方法 - Google Patents

信号処理装置及び静止画生成方法 Download PDF

Info

Publication number
WO2011155429A1
WO2011155429A1 PCT/JP2011/062904 JP2011062904W WO2011155429A1 WO 2011155429 A1 WO2011155429 A1 WO 2011155429A1 JP 2011062904 W JP2011062904 W JP 2011062904W WO 2011155429 A1 WO2011155429 A1 WO 2011155429A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
screen
noise reduction
memory
Prior art date
Application number
PCT/JP2011/062904
Other languages
English (en)
French (fr)
Inventor
鈴木　達彦
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to CN201180028311.3A priority Critical patent/CN102934422B/zh
Priority to JP2012519366A priority patent/JP5123443B2/ja
Priority to EP11792386.2A priority patent/EP2579570B1/en
Publication of WO2011155429A1 publication Critical patent/WO2011155429A1/ja
Priority to US13/594,080 priority patent/US8548235B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to a signal processing device and a still image generation method capable of generating a still image without blurring.
  • an imaging device using a CCD charge coupled device
  • an electronic endoscope device or the like is also used in an electronic endoscope device or the like.
  • Electronic endoscopes are widely used because they can display a moving image in real time on a color monitor and reduce the fatigue of the operator who operates the endoscope.
  • the electronic endoscope has an image memory that stores an image obtained by imaging a subject. By using this image memory, not only moving images but also still images can be displayed. When the surgeon presses the freeze switch in the operation unit of the scope to view the still image, the writing to the image memory is interrupted and the still image is displayed on the monitor.
  • the output of the image sensor that electronically captures images includes random noise.
  • Such image quality degradation due to random noise is not noticeable in moving images, but is noticeable in still images. Therefore, for example, a cyclic noise reduction circuit that removes noise using correlation in the time axis direction may be employed (for example, Japanese Patent Application Laid-Open No. 2007-312832).
  • the frame-sequential endoscope has advantages such as good color reproducibility and the ability to make the image sensor compact.
  • advantages such as good color reproducibility and the ability to make the image sensor compact.
  • the subject since the relative positional relationship between the image sensor and the image sensor changes, there is a drawback that color misregistration occurs.
  • Japanese Patent Application Laid-Open No. 2007-252635 has proposed a method for obtaining a still image without color misregistration.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide a signal processing apparatus and a still image generation method that can obtain a high-quality still image by removing blur and noise.
  • a signal processing device includes a first image memory that stores input moving images for a plurality of screens, a shake amount calculation unit that calculates a shake amount of each screen of the input moving images, and the blur A blur amount holding unit that holds the blur amount calculated by the amount calculation unit in correspondence with each screen of the input moving image, and one image of the input moving image and the output of the first image memory is selected.
  • An image switching unit that outputs the image, a noise reduction unit that outputs an image from which noise has been removed using images for a plurality of screens from the image switching unit, and a first image that stores at least one screen of the image from the noise reduction unit.
  • a freeze that reads out the necessary two or more screen images from the first image memory and outputs them from the image switching unit, and controls the second image memory to continuously output the screen with the smallest blur amount. And a control unit.
  • the first image memory stores input moving images for a plurality of screens
  • the shake amount calculation unit calculates the shake amount of each screen of the input moving images.
  • the blur amount holding unit holds the calculated blur amount corresponding to each screen of the input moving image
  • the image switching unit stores one image of the input moving image and the output of the first image memory.
  • the noise reduction unit outputs an image from which noise has been removed using images for a plurality of screens from the image switching unit
  • the second image memory has at least an image from which noise has been removed.
  • One screen is stored, and when the freeze instruction is generated, the freeze control unit includes two or more images including a screen with the smallest amount of blur and necessary for removing noise in the noise reduction unit based on the amount of blur.
  • the first picture Causes outputted from the image switching unit is read from the memory, said second image memory control to the to output images of the blur amount is the smallest screen continuously.
  • FIG. 1 is a block diagram showing a signal processing device according to a first embodiment of the present invention.
  • FIG. 2 is a circuit diagram showing an example of a specific configuration of a cyclic NR24 in FIG. 3 is a timing chart for explaining the operation of the first exemplary embodiment. It is a timing chart for demonstrating the 2nd Embodiment of this invention. It is a block diagram which shows the 3rd Embodiment of this invention.
  • FIG. 1 is a block diagram showing a signal processing apparatus according to the first embodiment of the present invention.
  • an endoscope 11 is provided with a solid-state image sensor 12 at the tip of an elongated insertion portion.
  • a solid-state image sensor 12 for example, a CCD or the like is adopted, and the solid-state image sensor 12 images a subject and outputs an image signal.
  • An imaging signal from the solid-state imaging device 12 is supplied to a preprocessing unit 22 that constitutes the signal processing device 21.
  • the pre-processing unit 22 converts the input imaging signal into a digital image signal and outputs the digital image signal to the image switching unit 23, the image memory 27, and the blur amount calculation unit 28.
  • the image memory 27 has a capacity capable of storing a predetermined number of image signals, and writing and reading are controlled by a freeze control unit 30 to be described later, and sequentially stores the image signals from the preprocessing unit 22 in units of frames. At the same time, the stored image signal is output to the image switching unit 23 in units of frames.
  • the image switching unit 23 is controlled by the freeze control unit 30 to switch between the image signal from the preprocessing unit 22 and the image signal from the image memory 27 and to output to the cyclic NR (noise reduction circuit) 24. It has become.
  • FIG. 2 is a circuit diagram showing an example of a specific configuration of the cyclic NR 24 in FIG.
  • the image signal for each frame input to the cyclic NR 24 is given to the multiplier 41.
  • the multiplier 41 is supplied with the multiplication coefficient (1-k) from the threshold memory 45, multiplies the input image signal by the multiplication coefficient, and outputs the result to the adder 42.
  • the output of the adder 42 is delayed by one frame by the frame memory 44 and then supplied to the multiplier 43.
  • the multiplier 43 receives the multiplication coefficient k from the threshold memory 45, multiplies the input image signal by the multiplication coefficient, and outputs the result to the adder 42.
  • the adder 42 sequentially adds the image signals of each frame.
  • a coefficient (1-k) is assigned to the input-side image signal, and a coefficient k is assigned to the addition-output image signal. If the coefficient k is 0.5, the input image signal and the addition result image signal are mixed at 1: 1, and random noise included in the image signal is averaged and suppressed. become. By repeating this addition process, random noise is gradually reduced.
  • the multiplication coefficient k is larger than 0.5, the rate at which the output of the adder 42 is added is increased, and the noise reduction effect is increased.
  • the input image is a still image, an image signal with sufficiently reduced noise can be obtained by increasing k.
  • the inter-frame correlation is relatively small. Therefore, by reducing k, it is possible to prevent noise from increasing due to the addition process.
  • the threshold memory 45 changes the multiplication coefficient k depending on whether the input image signal is based on a still image or a moving image. Accordingly, optimum noise removal is performed regardless of whether the input image is a still image or a moving image.
  • a noise reduction circuit other than the cyclic type may be employed as long as the circuit performs noise reduction using a plurality of screen images. .
  • the output of the cyclic NR 24 is given to the output image memory 25.
  • the output image memory 25 has a capacity capable of storing an image signal for one frame, for example, and the freeze control unit 30 controls writing and reading to store the image signal from the cyclic NR 24 and the stored image.
  • the signal is output to the video signal processing circuit 26 in units of frames.
  • the video signal processing circuit 26 performs predetermined video signal processing on the input image signal and then outputs it to the observation monitor 35.
  • the video signal processing circuit 26 performs video signal processing such as white balance adjustment and ⁇ correction, for example.
  • the observation monitor 35 displays an image based on the input image signal on the display screen.
  • a blur amount detection unit 28 that detects the blur amount of the image output from the preprocessing unit 22 is provided.
  • the shake amount detection unit 28 receives the image signal from the preprocessing unit 22 and calculates the shake amount for each frame.
  • the shake amount detection unit 28 can detect a change in pixels between the previous and next fields in the same frame as the shake amount.
  • the blur amount detection unit 28 checks the increase / decrease in the pixel value of pixels adjacent in the horizontal direction of the preceding and following fields, accumulates the number of adjacent pixels whose increase / decrease matches in the preceding and succeeding fields for one screen, and accumulates the accumulated value.
  • the amount of shake may be calculated based on the value. It is considered that the larger the cumulative value, the smaller the blur.
  • the blur amount calculation method in the blur amount detection unit 28 is not limited to this.
  • the blur amount calculation unit 28 may obtain the blur amount based on the cumulative value of the pixel value differences.
  • the shake amount obtained by the shake amount detection unit 28 for each frame is given to the shake amount holding unit 29.
  • the shake amount holding unit 29 stores the shake amount for each frame in association with each frame.
  • the freeze control unit 30 controls each unit by a freeze signal from the freeze instruction unit 31.
  • the freeze instruction unit 31 is provided with an operation signal based on an operation of a freeze button 13 provided in the endoscope 11, for example, and generates a freeze signal.
  • the freeze control unit 30 causes the image switching unit 23 to select the image signal from the preprocessing unit 22 and supply it to the cyclic NR 24 until a freeze signal is generated.
  • the moving image signal based on the image picked up by the endoscope 11 is sequentially supplied to the cyclic NR 24, and the cyclic NR 24 removes the noise of the moving image signal and outputs it.
  • the freeze control unit 30 reads an image with a small blur amount from the image memory 27 based on the blur amount of each frame held by the blur amount holding unit 29 and controls the image switching unit 23. Then, it gives to cyclic type NR24.
  • the freeze control unit 30 is an image of a frame (hereinafter referred to as a minimum blurred image) with the smallest amount of blur among the images (frame images) of each frame held in the image memory 27 when the freeze signal is generated. A signal is selected and output to the image switching unit 23.
  • the freeze control unit 30 determines the range for selecting the minimum blurred image in consideration of the number of frames held in the image memory 27 and the number of frames used by the cyclic NR 24 for noise reduction. May be.
  • the frame image with the smallest blur amount may be selected from the frame images held in the image memory 27 for a predetermined period before the freeze signal is generated.
  • the range of the period for selecting the minimum blurred image may be determined so that the time difference between the frame of the image selected as the minimum blurred image and the input frame at the time of the freeze instruction is within a predetermined threshold.
  • the output image memory 25 can output a moving image by sequentially capturing and outputting the output of the cyclic NR 24, and can continuously output the stored image without capturing the output of the cyclic NR 24. Can output a still image.
  • the cyclic NR24 noise reduction processing requires time based on the number of frames used for noise reduction. Therefore, the freeze control unit 30 controls the writing and reading of the output image memory 25 during the noise reduction process, and determines the image to be output.
  • FIG. 3A shows an input image (moving image) from the preprocessing unit 22,
  • FIG. 3B shows an output image of the image switching unit 23,
  • FIG. 3C shows an output image of the cyclic NR24.
  • FIG. 3D shows an output image of the output image memory 25.
  • FIG. 3 shows the frame image D with each frame, the frame number with a subscript, and the smaller the subscript number, the earlier the frame in time.
  • the frame image D having the same numbered suffix indicates that the image is based on the same frame.
  • “′” in FIG. 3 indicates that the frame image is changed by the noise reduction process.
  • the imaging signal from the endoscope 11 is given to the preprocessing unit 22.
  • the preprocessing unit 22 converts the imaging signal into a digital image signal.
  • the image signal of each frame from the preprocessing unit 22 is supplied to the image switching unit 23, the image memory 27, and the shake amount calculation unit 28.
  • the current mode is a moving image mode that outputs an image signal based on a moving image from an endoscope.
  • the freeze control unit 30 controls the image switching unit 23 to give the moving image signal from the preprocessing unit 22 to the cyclic NR 24. From the preprocessing unit 22, image signals are sequentially output in units of frames. In FIG. 3, the processing delay of each unit is not considered.
  • the output of the preprocessing unit 22 (FIG. 3A) is transmitted via the image switching unit 23, the cyclic NR 24, and the output image memory 25. Are output sequentially.
  • the output of the preprocessing unit 22 is supplied to and stored in the image memory 27 and is also supplied to the shake amount calculation unit 28.
  • the blur amount calculation unit 28 calculates the blur amount of each frame image based on the image signal of each frame that is sequentially input.
  • the shake amount calculated by the shake amount calculation unit 28 is given to the shake amount holding unit 29 and stored corresponding to each frame.
  • the freeze button 13 of the endoscope 11 is operated to display a still image.
  • the freeze button 13 is operated at the timing of the freeze instruction in FIG. 3 and a freeze signal is supplied from the freeze instruction unit 31 to the freeze control unit 30.
  • Frame images of a predetermined number of frames are recorded in the image memory 27, and the freeze control unit 30 stores the frame images stored in the image memory 27 based on the blur amount stored in the blur amount holding unit 29. Among them, a frame image with a small amount of blur is selected. For example, the freeze control unit 30 minimizes the frame image having the smallest amount of blurring from the frame images stored in the image memory 27 from the first frame to the frame image after the number of frames necessary for the noise reduction process in the cyclic NR 24. Select as blurred image.
  • the frame image after the frame image D1 in FIG. 3A is stored in the image memory 27 and the number of frames necessary for the noise reduction processing in the cyclic NR24 is 4, the frame image after the frame image D4.
  • the minimum blur image is selected from the frame images.
  • FIG. 3 shows an example in which the freeze control unit 30 selects the frame image D10 as the minimum blurred image when the number of frames required for the noise reduction process is 4 in the cyclic NR24.
  • the freeze control unit 30 sequentially reads out the images of the frames before the minimum blurred image by the number of frames necessary for the noise reduction process in the cyclic NR24.
  • the freeze control unit 30 causes the image switching unit 23 to select an image signal from the image memory 27 during a period necessary for the cyclic NR 24 noise reduction processing, and the minimum blur image and the frame image necessary for the noise reduction are as follows. Are sequentially read out in the frame order and supplied to the cyclic NR 24 via the image switching unit 23.
  • reading is sequentially performed from the frame image D7, and each image is sequentially supplied to the cyclic NR 24 via the image switching unit 23.
  • the cyclic NR 24 performs cyclic noise reduction processing on sequentially input frame images.
  • the output of the cyclic NR 24 is output via the output image memory 25.
  • the cyclic NR 24 sequentially outputs the images after the frame image D7.
  • the minimum blurred image the frame image D10 in FIG. 3
  • the noise of the minimum blurred image is sufficiently reduced.
  • the minimum blurred image with sufficiently reduced noise is output by the noise reduction processing by the cyclic NR 24, the minimum blurred image is thereafter held in the output image memory 25, and the minimum blurred image is output from the output image memory 25. Output continuously. In this way, the minimum blurred image is output as a still image (FIG. 3D).
  • the image signal from the output image memory 25 is processed by the image signal processing circuit 26 and then supplied to the observation monitor 35 for display.
  • the frame image D10 with a small amount of blur is selected as the minimum blur image, and after this frame image D10 is subjected to noise reduction by the cyclic NR24. Is output.
  • the frame image used for noise reduction it is better to use a frame image that is close in time to the minimum blurred image. Note that, as a result of noise reduction, a minimum blurred image may be finally output, and noise reduction may be performed using a frame image later than the minimum blurred image in terms of time.
  • FIG. 4 is a timing chart for explaining the second embodiment of the present invention.
  • the hardware configuration in the present embodiment is the same as that in the first embodiment, and this embodiment is different from the first embodiment only in the control of the freeze control unit 30.
  • FIG. 4 is a timing chart based on the same notation as FIG. 3, FIG. 4A shows an input image (moving image) from the preprocessing unit 22, and FIG. 4B shows an output image of the image switching unit 23.
  • FIG. 4C shows an output image of the cyclic NR 24, and
  • FIG. 4D shows an output image of the output image memory 25.
  • the output image memory 25 sequentially outputs the frame images before the freeze instruction in spite of the occurrence of the freeze instruction. That is, the moving image is output even after the freeze instruction.
  • a still image is displayed after a freeze instruction.
  • the frame image held in the output image memory 25 is continuously output when the freeze instruction is generated until the minimum blurred image is output by the noise reduction process. .
  • FIG. 4 shows that the freeze instruction is generated when the frame image D12 is input.
  • FIG. 4 shows an example in which D10 is selected as the minimum blur image and a frame image of 4 frames is used for the noise reduction process, as in FIG. That is, after the freeze instruction is generated, the frame image D7 is read from the image memory 27 and provided to the cyclic NR 24 as shown in FIG.
  • the cyclic NR 24 performs noise reduction processing and outputs frame images D7, D8,..., D10.
  • the output image memory 25 is controlled by the freeze control unit 30 and does not store the output of the cyclic NR 24 until the noise reduction processing of the minimum blurred image D10 from the cyclic NR 24 is completed, and the frame image already held is stored. D12 is continuously output.
  • the output image memory 25 subsequently outputs the minimum blurred image D10 continuously.
  • a still image is output when a freeze instruction is generated, and an unintended moving image is prevented from being output, thereby enabling an operation with no sense of incongruity.
  • the output image memory 25 has a storage capacity of a plurality of frames, it is possible to output an arbitrary frame image as a still image, output a minimum blurred image immediately after the freeze instruction, and perform noise reduction processing. It is also possible to output a minimum blurred image from which noise is gradually removed.
  • FIG. 5 is a block diagram showing a third embodiment of the present invention.
  • the same components as those of FIG. 5 are identical to those of FIG. 5.
  • This embodiment is an example applied to a signal processing apparatus that processes an input image signal by Y / C separation.
  • An image signal from a simultaneous imaging device may be input to the signal processing device 50.
  • the present embodiment is applied to this case.
  • the signal processing device 50 employs a Y / C separation unit 60 and an OB clamp unit 61, as well as a cyclic NR 24, an output image memory 25, a video signal processing circuit 26, a shake amount calculation unit 28, and a shake amount.
  • 1 is different from the signal processing apparatus 21 of FIG. 1 in that a cyclic NR 54, an image memory 55, a video signal processing circuit 56, a shake amount calculation unit 58, and a shake amount holding unit 59 are employed instead of the holding unit 29.
  • the Y / C separation unit 60 receives the image signal from the preprocessing unit 22 via the image switching unit 23 and separates it into a luminance signal (Y) and a color signal (C).
  • the luminance signal and the color signal from the Y / C separation unit 60 are given to the OB clamp unit 61.
  • the OB clamp unit 61 performs OB clamp processing on the luminance signal and the color signal.
  • the luminance signal and the color signal from the OB clamp unit 61 are supplied to the cyclic NR 54. Further, the luminance signal from the OB clamp unit 61 is also supplied to the blur amount calculation unit 58.
  • the cyclic NR 54, the image memory 55, and the video signal processing circuit 56 have the same configuration as the cyclic NR 24, the output image memory 25, and the video signal processing circuit 26, and are different only in that they process the luminance signal and the color signal. It is.
  • the blur amount calculation unit 58 calculates the blur amount of the image using the luminance signal from the OB clamp unit 61.
  • the output of the shake amount calculation unit 58 is supplied to and held by the shake amount holding unit 59.
  • Other configurations of the shake amount calculation unit 58 and the shake amount holding unit 59 are the same as those of the shake amount calculation unit 28 and the shake amount holding unit 29.
  • the luminance signal and the color signal are separately processed in the circuits after the Y / C separation unit 60, and the blur amount calculation unit is based on the luminance signal from the OB clamp unit 61.
  • the operation is the same as that of the first embodiment except that the amount of movement is calculated.
  • the same operation as in FIG. 3 or FIG. 4 is performed. That is, from the frame images of the predetermined period among the images held in the image memory 27 before the freeze instruction, an image with the minimum blur amount calculated by the blur amount calculation unit 58 is selected as the minimum blur image. An image having a predetermined number of frames including the minimum blurred image is supplied to the cyclic NR 54, and noise of the minimum blurred image is removed.
  • the image memory 27 holds the image signal before Y / C separation. As a result, a still image with reduced blur and noise can be obtained using a memory with a small capacity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　信号処理装置は、複数画面分の入力動画像を記憶する第１の画像メモリと、前記入力動画像の各画面のぶれ量を算出するぶれ量算出部と、前記ぶれ量算出部が算出した前記ぶれ量を前記入力動画像の各画面に対応させて保持するぶれ量保持部と、前記入力動画像と前記第１の画像メモリの出力との一方の画像を選択して出力する画像切替部と、前記画像切替部からの複数画面分の画像を用いてノイズを除去した画像を出力するノイズリダクション部と、前記ノイズリダクション部からの画像を少なくとも１画面分記憶する第２の画像メモリと、フリーズ指示が発生すると、前記ぶれ量保持部に保持された前記ぶれ量に基づいて、ぶれ量が最も小さい画面を含み前記ノイズリダクション部においてノイズを除去するために必要な２画面以上の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させると共に、前記第２の画像メモリを制御して前記ぶれ量が最も小さい画面の画像を連続的に出力させるフリーズ制御部とを具備する。

Description

信号処理装置及び静止画生成方法
　本発明は、ぶれのない静止画像を生成することができる信号処理装置及び静止画生成方法
　従来、固体撮像素子を利用して被写体像を電子的に撮像する種々の装置が開発されている。例えば、ＣＣＤ（電荷結合素子）を用いた撮像装置は電子内視鏡装置等にも利用されている。電子内視鏡は、カラーモニタ上にリアルタイムで動画像を表示することができ、内視鏡を操作する術者の疲労が少ないことから、広く利用されている。
　電子内視鏡は、被写体を撮像して得た画像を記憶する画像メモリを有している。この画像メモリを用いることで、動画だけでなく静止画を表示させることもできる。術者が静止画像を見るためにスコープの操作部にあるフリーズスイッチを押すと、画像メモリへの書き込みが中断されて、モニタ上に静止画像が表示されるのである。
　電子的に撮像を行う撮像素子の出力にはランダムノイズが含まれる。このようなランダムノイズによる画質劣化は、動画では目立ちにくいが、静止画では目立ってしまう。そこで、時間軸方向の相関を利用してノイズを除去する例えば巡回型のノイズリダクション回路が採用されることがある（例えば、日本国特開２００７－３１２８３２号公報）。
　ところで、電子内視鏡装置でカラー画像を得る方法として、電子撮像デバイスの前面にカラーモザイクフィルタを挿入する同時方式と、被写体を照明する光源装置のランプ前面にＲ，Ｇ，Ｂのフィルタを順次挿入して、Ｒ，Ｇ，Ｂの光学像をモノクロＣＣＤで撮像する面順次方式が実用化されている。
　面順次方式の内視鏡は、色再現性が良好であり、撮像素子をコンパクトにすることができる等の利点があるが、Ｒ，Ｇ，Ｂの画像が時系列で取り込まれるために、被写体と撮像素子の相対的な位置関係が変化した場合には、色ずれが生じるという欠点があった。
　特に、内視鏡画像の静止画表示において色ずれが目立った場合には、正確な診断を著しく妨げてしまう。そこで、従来、日本国特開２００７－２５２６３５号公報においては、色ずれのない静止画像を得る方法が提案されている。
　しかしながら、面順次方式における色ずれの発生と同様の理由から、同時方式の撮像装置であっても、被写体と撮像素子の相対的な位置関係が変化することによってぶれが生じる。従来、このようなぶれを除去すると共に、時間軸方向の相関を利用したノイズ除去によって十分にノイズを低減した静止画像を得る装置は開発されていないという問題点があった。
　本発明はかかる問題点に鑑みてなされたものであって、ぶれ及びノイズを除去して高画質の静止画像を得ることができる信号処理装置及び静止画生成方法を提供することを目的とする。
　本発明の一態様に係る信号処理装置は、複数画面分の入力動画像を記憶する第１の画像メモリと、前記入力動画像の各画面のぶれ量を算出するぶれ量算出部と、前記ぶれ量算出部が算出した前記ぶれ量を前記入力動画像の各画面に対応させて保持するぶれ量保持部と、前記入力動画像と前記第１の画像メモリの出力との一方の画像を選択して出力する画像切替部と、前記画像切替部からの複数画面分の画像を用いてノイズを除去した画像を出力するノイズリダクション部と、前記ノイズリダクション部からの画像を少なくとも１画面分記憶する第２の画像メモリと、フリーズ指示が発生すると、前記ぶれ量保持部に保持された前記ぶれ量に基づいて、ぶれ量が最も小さい画面を含み前記ノイズリダクション部においてノイズを除去するために必要な２画面以上の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させると共に、前記第２の画像メモリを制御して前記ぶれ量が最も小さい画面を連続的に出力させるフリーズ制御部とを具備する。
　本発明の一態様に係る静止画生成方法は、第１の画像メモリが、複数画面分の入力動画像を記憶し、ぶれ量算出部が、前記入力動画像の各画面のぶれ量を算出し、ぶれ量保持部が、算出した前記ぶれ量を前記入力動画像の各画面に対応させて保持し、画像切替部が、前記入力動画像と前記第１の画像メモリの出力との一方の画像を選択して出力し、ノイズリダクション部が、前記画像切替部からの複数画面分の画像を用いてノイズを除去した画像を出力し、第２の画像メモリが、ノイズが除去された画像を少なくとも１画面分記憶し、フリーズ制御部が、フリーズ指示が発生すると、前記ぶれ量に基づいて、ぶれ量が最も小さい画面を含み前記ノイズリダクション部においてノイズを除去するために必要な２画面以上の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させると共に、前記第２の画像メモリを制御して前記ぶれ量が最も小さい画面の画像を連続的に出力させる。
本発明の第１の実施の形態に係る信号処理装置を示すブロック図である。 図１中の巡回型ＮＲ２４の具体的な構成の一例を示す回路図である。 第１の実施の形態の動作を説明するためのタイミングチャートである。 本発明の第２の実施の形態を説明するためのタイミングチャートである。 本発明の第３の実施の形態を示すブロック図である。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　図１は本発明の第１の実施の形態に係る信号処理装置を示すブロック図である。
　本実施の形態は内視鏡装置に適用した例について説明する。
　図１において、内視鏡１１は、細長な挿入部の先端に固体撮像素子１２が設けられている。固体撮像素子１２としては、例えばＣＣＤ等が採用され、固体撮像素子１２は、被写体を撮像して撮像信号を出力するようになっている。固体撮像素子１２からの撮像信号は、信号処理装置２１を構成する前処理部２２に供給される。
　前処理部２２は、入力された撮像信号をデジタルの画像信号に変換して、画像切替部２３、画像メモリ２７及びぶれ量算出部２８に出力する。画像メモリ２７は、所定フレーム数の画像信号を記憶可能な容量を有し、後述するフリーズ制御部３０により書き込み及び読み出しが制御されて、前処理部２２からの画像信号をフレーム単位で順次記憶すると共に、記憶した画像信号をフレーム単位で画像切替部２３に出力するようになっている。
　画像切替部２３は、フリーズ制御部３０に制御されて、前処理部２２からの画像信号と画像メモリ２７からの画像信号とを切換えて、巡回型ＮＲ（ノイズリダクション回路）２４に出力するようになっている。
　図２は図１中の巡回型ＮＲ２４の具体的な構成の一例を示す回路図である。
　巡回型ＮＲ２４に入力されるフレーム単位の画像信号は、乗算器４１に与えられる。乗算器４１は、閾値メモリ４５から乗算係数（１－ｋ）が与えられて、入力された画像信号に乗算係数を乗算して加算器４２に出力する。加算器４２の出力は、フレームメモリ４４によって１フレーム遅延された後、乗算器４３に与えられる。乗算器４３は、閾値メモリ４５から乗算係数ｋが与えられて、入力された画像信号に乗算係数を乗算して加算器４２に出力する。
　加算器４２によって、各フレームの画像信号が順次加算処理されることになる。この加算処理において、入力側の画像信号には係数（１－ｋ）が付与され、加算出力の画像信号には係数ｋが付与される。仮に係数ｋが０．５の場合には、入力画像信号と加算結果の画像信号とは１：１で混合されることになり、画像信号に含まれるランダムノイズは平均化されて抑制されることになる。この加算処理が繰り返されることにより、ランダムノイズが次第に低減される。
　乗算係数ｋが０．５よりも大きい場合には、加算器４２の出力が加算される割合が高くなり、ノイズ低減効果が高くなる。入力される画像が静止画像である場合には、ｋを大きくすることによって、ノイズを十分に低減した画像信号が得られる。しかし、入力される画像が動画像の場合には、フレーム間相関が比較的小さくなるので、ｋを小さくすることで、加算処理によってノイズが増加することを防止する。
　閾値メモリ４５は入力される画像信号が静止画像に基づくものであるか動画像に基づくものであるかによって、乗算係数ｋを変化させるようになっている。これにより、入力画像が静止画像であるか動画像であるかに拘わらず、最適なノイズ除去が行われる。
　なお、本実施の形態においては、巡回型ＮＲ２４を採用する例について説明するが、複数画面の画像を用いてノイズリダクションを行う回路であれば、巡回型以外のノイズリダクション回路を採用してもよい。
　巡回型ＮＲ２４の出力は、出力画像メモリ２５に与えられる。出力画像メモリ２５は、例えば１フレーム分の画像信号を記憶可能な容量を有し、フリーズ制御部３０に書き込み及び読み出しが制御されて、巡回型ＮＲ２４からの画像信号を記憶すると共に、記憶した画像信号をフレーム単位で映像信号処理回路２６に出力するようになっている。
　映像信号処理回路２６は、入力された画像信号に対して所定の映像信号処理を施した後、観察モニタ３５に出力するようになっている。映像信号処理回路２６は、例えば、ホワイトバランス調整、γ補正等の映像信号処理を行う。観察モニタ３５は、入力された画像信号に基づく画像を表示画面上に映出するようになっている。
　本実施の形態においては、前処理部２２から出力される画像のぶれ量を検出するぶれ量検出部２８が設けられている。ぶれ量検出部２８は、前処理部２２からの画像信号が与えられ、各フレーム毎のぶれ量を算出する。例えば、ぶれ量検出部２８は、同一フレーム中の前後のフィールド間で画素の変化をぶれ量として検出することができる。例えば、ぶれ量検出部２８は、前後のフィールドの水平方向に隣接する画素同士の画素値の増減を調べ、前後のフィールドで増減が一致する隣接画素同士の数を１画面分累積し、その累積値に基づいてぶれ量を算出してもよい。累積値が大きいほど、ぶれが小さい画像であると考えられる。なお、ぶれ量検出部２８におけるぶれ量の算出方法はこれに限るものではなく、例えば、ぶれ量算出部２８は、画素値の差分の累積値によって、ぶれ量を求めてもよい。
　ぶれ量検出部２８がフレーム毎に求めたぶれ量は、ぶれ量保持部２９に与えられる。ぶれ量保持部２９は、各フレーム毎のぶれ量を各フレームに対応させて記憶するようになっている。
　本実施の形態においては、フリーズ制御部３０は、フリーズ指示部３１からのフリーズ信号によって各部を制御するようになっている。フリーズ指示部３１は、例えば内視鏡１１に設けられたフリーズボタン１３の操作に基づく操作信号が与えられ、フリーズ信号を発生するようになっている。
　フリーズ制御部３０は、フリーズ信号が発生するまでは、画像切替部２３に前処理部２２からの画像信号を選択させて巡回型ＮＲ２４に供給させる。これにより、巡回型ＮＲ２４には、内視鏡１１によって撮像された画像に基づく動画像信号が順次供給されることになり、巡回型ＮＲ２４は、動画像信号のノイズを除去して出力する。
　一方、フリーズ信号が発生すると、フリーズ制御部３０は、ぶれ量保持部２９が保持する各フレームのぶれ量に基づいて、画像メモリ２７からのぶれ量が小さい画像を読み出し、画像切替部２３を制御して、巡回型ＮＲ２４に与える。
　例えば、フリーズ制御部３０は、フリーズ信号が発生した時点において画像メモリ２７に保持されている各フレームの画像（フレーム画像）のうち、最もぶれ量が小さいフレーム（以下、最小ぶれ画像という）の画像信号を選択して画像切替部２３に出力させる。この場合には、フリーズ制御部３０は、画像メモリ２７に保持されているフレーム数と巡回型ＮＲ２４がノイズリダクションに用いるフレーム数とを考慮して、最小ぶれ画像を選択する期間の範囲を決定してもよい。例えば、画像メモリ２７に保持されているフレーム画像のうちフリーズ信号の発生前の所定期間のフレーム画像から最も小さいぶれ量のフレーム画像を選択してもよい。また、最小ぶれ画像として選択する画像のフレームとフリーズ指示時における入力フレームとの時間差が所定の閾値以内となるように、最小ぶれ画像を選択する期間の範囲を決定してもよい。
　出力画像メモリ２５は、巡回型ＮＲ２４の出力を順次取り込んで出力することにより動画像を出力することができると共に、巡回型ＮＲ２４の出力を取り込むことなく記憶している画像を連続的に出力することにより静止画像を出力することができる。
　巡回型ＮＲ２４のノイズリダクション処理には、ノイズリダクションに用いるフレーム数に基づく時間を要する。そこで、フリーズ制御部３０は、ノイズリダクション処理の間は、出力画像メモリ２５の書き込み及び読出しを制御して、出力する画像を決定するようになっている。
　次に、このように構成された実施の形態の動作について図３のタイミングチャートを参照して説明する。図３（ａ）は前処理部２２からの入力画像（動画像）を示し、図３（ｂ）は画像切替部２３の出力画像を示し、図３（ｃ）は巡回型ＮＲ２４の出力画像を示し、図３（ｄ）は出力画像メモリ２５の出力画像を示している。図３は各枠によってフレーム画像Ｄを示し、添え字によってフレーム番号を示しており、添え字の番号が小さいほど時間的に前のフレームを示している。図３において、同一番号の添え字を有するフレーム画像Ｄは同一フレームに基づく画像であることを示している。なお、図３中の’は、ノイズリダクション処理によって、フレーム画像が変化していることを示している。
　内視鏡１１からの撮像信号は前処理部２２に与えられる。前処理部２２は、撮像信号をデジタル画像信号に変換する。前処理部２２からの各フレームの画像信号は画像切替部２３、画像メモリ２７及びぶれ量算出部２８に供給される。
　いま、内視鏡からの動画像に基づく画像信号を出力する動画像モードであるものとする。この場合には、フリーズ制御部３０は、画像切替部２３を制御して、前処理部２２からの動画像信号を巡回型ＮＲ２４に与える。前処理部２２からは、順次、フレーム単位で画像信号が出力される。図３においては、各部の処理遅延は考慮しないものとする。図３（ａ）乃至（ｄ）に示すように、動画像モードにおいては、前処理部２２の出力（図３（ａ））が、画像切替部２３、巡回型ＮＲ２４及び出力画像メモリ２５を介して順次出力される。
　本実施の形態においては、前処理部２２の出力は画像メモリ２７に供給されて記憶されると共に、ぶれ量算出部２８にも供給される。ぶれ量算出部２８は、順次入力される各フレームの画像信号に基づいて、各フレーム画像のぶれ量を算出する。ぶれ量算出部２８が算出したぶれ量は、ぶれ量保持部２９に与えられて、各フレームに対応して記憶される。
　ここで、例えば内視鏡１１のフリーズボタン１３を操作して、静止画像を表示させるものとする。例えば、図３のフリーズ指示のタイミングでフリーズボタン１３が操作されて、フリーズ指示部３１からフリーズ信号がフリーズ制御部３０に供給されるものとする。
　画像メモリ２７には、所定フレーム数のフレーム画像が記録されており、フリーズ制御部３０は、ぶれ量保持部２９に記憶されているぶれ量に基づいて、画像メモリ２７に記憶されているフレーム画像のうち、ぶれ量が小さいフレーム画像を選択する。例えば、フリーズ制御部３０は、画像メモリ２７に記憶されているフレーム画像のうち先頭フレームから巡回型ＮＲ２４においてノイズリダクション処理に必要なフレーム数以降のフレーム画像から、ぶれ量が最も小さいフレーム画像を最小ぶれ画像として選択する。
　例えば、画像メモリ２７に図３（ａ）のフレーム画像Ｄ１以降のフレーム画像が記憶されている場合において、巡回型ＮＲ２４においてノイズリダクション処理に必要なフレーム数が４の場合には、フレーム画像Ｄ４以降のフレーム画像から最小ぶれ画像を選択する。
　図３の例は、巡回型ＮＲ２４においてノイズリダクション処理に必要なフレーム数が４である場合において、フリーズ制御部３０が最小ぶれ画像としてフレーム画像Ｄ１０を選択した例を示している。
　フリーズ制御部３０は、フリーズ指示が発生すると、最小ぶれ画像よりも以前のフレームの画像を、巡回型ＮＲ２４においてノイズリダクション処理に必要なフレーム数だけ順次読み出す。フリーズ制御部３０は、巡回型ＮＲ２４のノイズリダクション処理に必要な期間は、画像切替部２３に画像メモリ２７からの画像信号を選択させており、最小ぶれ画像及びそのノイズリダクションに必要なフレーム画像は、フレーム順に順次読み出されて画像切替部２３を介して巡回型ＮＲ２４に供給される。
　図３の例では、フレーム画像Ｄ７から順次読出しが行われて、画像切替部２３を介して巡回型ＮＲ２４に各画像が順次供給される。巡回型ＮＲ２４は、順次入力されるフレーム画像に対して巡回型ノイズリダクション処理を施す。巡回型ＮＲ２４の出力は、出力画像メモリ２５を介して出力される。こうして、図３（ｃ）に示すように、フリーズ指示の後、巡回型ＮＲ２４からはフレーム画像Ｄ７以降の画像が順次出力される。巡回型ＮＲ２４から最小ぶれ画像（図３ではフレーム画像Ｄ１０）が出力される時点では、最小ぶれ画像のノイズは十分に低減される。
　巡回型ＮＲ２４によるノイズリダクション処理によって、ノイズが十分に低減された最小ぶれ画像が出力されると、以後、この最小ぶれ画像が出力画像メモリ２５に保持され、出力画像メモリ２５からは最小ぶれ画像が連続的に出力される。こうして、最小ぶれ画像が静止画像として出力されることになる（図３（ｄ））。
　出力画像メモリ２５からの画像信号は映像信号処理回路２６において映像信号処理された後、観察モニタ３５に供給されて表示される。図３の例では、フレーム画像Ｄ１２の入力タイミングでフリーズ指示が発生した場合でも、ぶれ量が小さいフレーム画像Ｄ１０が最小ぶれ画像として選択され、このフレーム画像Ｄ１０が巡回型ＮＲ２４によってノイズリダクションされた後、出力される。
　このように本実施の形態においては、ぶれ及びノイズを除去して高画質の静止画像を得ることができる。
　なお、上記実施の形態においては、ぶれ及びノイズを除去した静止画像を表示する例について説明したが、得られた静止画像を記録処理するようにしてもよい。また、図３では、ノイズリダクションに４枚のフレーム画像を用いる例について説明したが、ノイズリダクションに用いるフレーム数は適宜設定可能である。
　ノイズリダクションに用いるフレーム画像としては、最小ぶれ画像に時間的に近いフレーム画像を用いた方がよい。なお、ノイズリダクションの結果、最終的に最小ぶれ画像を出力すればよく、時間的に最小ぶれ画像よりも後のフレーム画像を用いてノイズリダクションするように構成してもよい。
（第２の実施の形態）
　図４は本発明の第２の実施の形態を説明するためのタイミングチャートである。本実施の形態におけるハードウェア構成は第１の実施の形態と同様であり、本実施の形態はフリーズ制御部３０の制御が第１の実施の形態と異なるのみである。
　図４は図３と同様の表記法によるタイミングチャートであり、図４（ａ）は前処理部２２からの入力画像（動画像）を示し、図４（ｂ）は画像切替部２３の出力画像を示し、図４（ｃ）は巡回型ＮＲ２４の出力画像を示し、図４（ｄ）は出力画像メモリ２５の出力画像を示している。
　本実施の形態はフリーズ制御部３０による出力画像メモリ２５の制御が異なるのみである。
　第１の実施の形態においては、フリーズ指示が発生したにも拘わらず、出力画像メモリ２５はフリーズ指示前のフレーム画像を順次出力する。即ち、フリーズ指示後においても、動画像が出力されることになる。これに対し、本実施の形態は、フリーズ指示後には、静止画像を表示させるものである。
　この場合において、複数枚の画像を用いるノイズリダクション処理においては、ノイズリダクション処理に用いるフレーム数分の処理時間が必要である。そこで、本実施の形態においては、ノイズリダクション処理によって最小ぶれ画像が出力されるまでは、フリーズ指示発生時において出力画像メモリ２５に保持されているフレーム画像を連続的に出力するようになっている。
　図４においては、フリーズ指示がフレーム画像Ｄ１２の入力時に発生したことを示している。図４においては、図３と同様に、最小ぶれ画像としてＤ１０を選択し、ノイズリダクション処理に４フレームのフレーム画像を用いる例を示している。即ち、フリーズ指示発生後において、画像メモリ２７からは、図４（ｂ）に示すように、フレーム画像Ｄ７が読み出されて巡回型ＮＲ２４に与えられる。巡回型ＮＲ２４は、ノイズリダクション処理を行って、フレーム画像Ｄ７，Ｄ８，…，Ｄ１０を出力する。出力画像メモリ２５は、フリーズ制御部３０に制御されて、巡回型ＮＲ２４から最小ぶれ画像Ｄ１０のノイズリダクション処理が終了するまで、巡回型ＮＲ２４の出力を記憶することなく、既に保持されているフレーム画像Ｄ１２を連続的に出力する。最小ぶれ画像Ｄ１０が巡回型ＮＲ２４から出力されると、出力画像メモリ２５は、以後、最小ぶれ画像Ｄ１０を連続的に出力する。
　このように本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。また、本実施の形態においては、フリーズ指示の発生によって、静止画像を出力しており、意図しない動画像が出力されることを防止して、違和感のない操作を可能にしている。
　なお、本実施の形態においては、フリーズ指示直後において、出力画像メモリ２５に保持されている最新のフレーム画像を連続的に出力する例について説明したが、他のフレーム画像を連続的に出力させるようにしてもよい。例えば、出力画像メモリ２５が複数フレームの記憶容量を有する場合には、任意のフレーム画像を静止画像として出力することが可能であり、フリーズ指示直後から最小ぶれ画像を出力すると共に、ノイズリダクション処理毎に、次第にノイズが除去された最小ぶれ画像を出力することも可能である。
（第３の実施の形態）
　図５は本発明の第３の実施の形態を示すブロック図である。図５において図１と同一の構成要素には同一符号を付して説明を省略する。
　本実施の形態は入力された画像信号をＹ／Ｃ分離して処理する信号処理装置に適用した例である。信号処理装置５０に、同時式の撮像装置からの画像信号が入力されることがある。この場合には、入力された画像信号を輝度信号と色信号に分離するＹ／Ｃ分離処理を行う必要がある。本実施の形態はこの場合に適用したものである。
　本実施の形態における信号処理装置５０は、Ｙ／Ｃ分離部６０及びＯＢクランプ部６１を採用すると共に、巡回型ＮＲ２４、出力画像メモリ２５、映像信号処理回路２６、ぶれ量算出部２８及びぶれ量保持部２９に代えて巡回型ＮＲ５４、画像メモリ５５、映像信号処理回路５６、ぶれ量算出部５８及びぶれ量保持部５９を採用した点が図１の信号処理装置２１と異なる。
　固体撮像素子１２として例えばベイヤ配列等のカラーフィルタを採用した撮像素子が採用されることがある。Ｙ／Ｃ分離部６０は、前処理部２２からの画像信号が画像切替部２３を介して与えられて、輝度信号（Ｙ）と色信号（Ｃ）とに分離する。
　Ｙ／Ｃ分離部６０からの輝度信号と色信号とは、ＯＢクランプ部６１に与えられる。ＯＢクランプ部６１は、輝度信号及び色信号に対して、ＯＢクランプ処理を施す。ＯＢクランプ部６１からの輝度信号及び色信号は、巡回型ＮＲ５４に供給される。また、ＯＢクランプ部６１からの輝度信号はぶれ量算出部５８にも供給される。
　巡回型ＮＲ５４、画像メモリ５５、映像信号処理回路５６は、巡回型ＮＲ２４、出力画像メモリ２５、映像信号処理回路２６と同様の構成であり、輝度信号と色信号とに対する処理を行う点が異なるのみである。
　本実施の形態においては、ぶれ量算出部５８は、ＯＢクランプ部６１からの輝度信号を用いて画像のぶれ量を算出する。ぶれ量算出部５８の出力はぶれ量保持部５９に供給されて保持される。ぶれ量算出部５８及びぶれ量保持部５９の他の構成は、ぶれ量算出部２８及びぶれ量保持部２９と同様である。
　このように構成された実施の形態においては、Ｙ／Ｃ分離部６０以降の回路において輝度信号と色信号とを別々に処理する点、ぶれ量算出部がＯＢクランプ部６１からの輝度信号に基づいてぶれ量を算出する点を除き、第１の実施の形態と同様の作用となる。
　本実施の形態においても、図３又は図４と同様の動作が行われる。即ち、フリーズ指示の以前に画像メモリ２７に保持されている画像のうちの所定期間のフレーム画像から、ぶれ量算出部５８において算出されたぶれ量が最小の画像が最小ぶれ画像として選択され、この最小ぶれ画像を含む所定フレーム数の画像が巡回型ＮＲ５４に供給されて最小ぶれ画像のノイズが除去される。
　また、本実施の形態においては、画像メモリ２７は、Ｙ／Ｃ分離前の画像信号を保持するようになっている。これにより、少ない容量のメモリを用いて、ぶれ及びノイズが低減された静止画像を得ることができる。
　なお、上記各実施の形態においては、ぶれ量算出及びノイズリダクションを１画面であるフレーム単位で行う例について説明したが、１画面であるフィールド単位でこれらの処理を行ってもよい。

　本出願は、２０１０年６月７日に日本国に出願された特願２０１０－１３０１５７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (8)

  1. 　複数画面分の入力動画像を記憶する第１の画像メモリと、
    　前記入力動画像の各画面のぶれ量を算出するぶれ量算出部と、
    　前記ぶれ量算出部が算出した前記ぶれ量を前記入力動画像の各画面に対応させて保持するぶれ量保持部と、
    　前記入力動画像と前記第１の画像メモリの出力との一方の画像を選択して出力する画像切替部と、
    　前記画像切替部からの複数画面分の画像を用いてノイズを除去した画像を出力するノイズリダクション部と、
    　前記ノイズリダクション部からの画像を少なくとも１画面分記憶する第２の画像メモリと、
    　フリーズ指示が発生すると、前記ぶれ量保持部に保持された前記ぶれ量に基づいて、ぶれ量が最も小さい画面を含み前記ノイズリダクション部においてノイズを除去するために必要な２画面以上の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させると共に、前記第２の画像メモリを制御して前記ぶれ量が最も小さい画面の画像を連続的に出力させるフリーズ制御部と
    　を具備したことを特徴とする信号処理装置。
  2. 　前記フリーズ制御部は、前記ぶれ量が最も小さい画面より時間的に前に前記第１の画像メモリに記憶された画面の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させることを特徴とする請求項１に記載の信号処理装置。
  3. 　前記フリーズ制御部は、前記ぶれ量が最も小さい画面より時間的に後に前記第１の画像メモリに記憶された画面の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させることを特徴とする請求項１に記載の信号処理装置。
  4. 　前記フリーズ制御部は、前記第２の画像メモリを制御して、前記フリーズ指示後の前記ノイズリダクション部におけるノイズ除去処理に要する期間に前記ノイズリダクション部から出力される画像を前記第２の画像メモリから出力させることを特徴とする請求項１乃至３のいずれか１つに記載の信号処理装置。
  5. 　前記フリーズ制御部は、前記第２の画像メモリを制御して、前記フリーズ指示後の前記ノイズリダクション部におけるノイズ除去処理に要する期間に前記第２の画像メモリに記憶されている同一画面の画像を連続的に出力させることを特徴とする請求項１乃至３のいずれか１つに記載の信号処理装置。
  6. 　前記ぶれ量算出部は、前記入力動画像の前後の画面間で水平方向に隣接する画素同士の画素値の増減が一致する隣接画素同士の数を画面内で累積し、累積結果に基づいてぶれ量を求める
    ことを特徴とする請求項１乃至３のいずれか１つに記載の信号処理装置。
  7. 　複数画面分の入力動画像を記憶する第１の画像メモリと、
    　複数画面分の画像を用いてノイズを除去した画像を出力するノイズリダクション部と、
    　前記入力動画像と前記第１の画像メモリの出力との一方の画像を選択して出力する画像切替部と、
    　前記画像切替部からの画像を輝度信号と色信号とに分離して、分離した輝度信号及び色信号を前記ノイズリダクション部に与えるＹ／Ｃ分離部と、
    　前記ノイズリダクション部からの画像を少なくとも１画面分記憶する第２の画像メモリと、
    　前記Ｙ／Ｃ分離部が分離した輝度信号に基づいて前記入力動画像の各画面のぶれ量を算出するぶれ量算出部と、
    　前記ぶれ量算出部が算出した前記ぶれ量を前記入力動画像の各画面に対応させて保持するぶれ量保持部と、
    　フリーズ指示が発生すると、前記ぶれ量保持部に保持された前記ぶれ量に基づいて、ぶれ量が最も小さい画面を含み前記ノイズリダクション部においてノイズを除去するために必要な２画面以上の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させると共に、前記第２の画像メモリを制御して前記ぶれ量が最も小さい画面の画像を連続的に出力させるフリーズ制御部と
    　を具備したことを特徴とする信号処理装置。
  8. 　第１の画像メモリが、複数画面分の入力動画像を記憶し、
    　ぶれ量算出部が、前記入力動画像の各画面のぶれ量を算出し、
    　ぶれ量保持部が、算出した前記ぶれ量を前記入力動画像の各画面に対応させて保持し、
    　画像切替部が、前記入力動画像と前記第１の画像メモリの出力との一方の画像を選択して出力し、
    　ノイズリダクション部が、前記画像切替部からの複数画面分の画像を用いてノイズを除去した画像を出力し、
    　第２の画像メモリが、ノイズが除去された画像を少なくとも１画面分記憶し、
    　フリーズ制御部が、フリーズ指示が発生すると、前記ぶれ量に基づいて、ぶれ量が最も小さい画面を含み前記ノイズリダクション部においてノイズを除去するために必要な２画面以上の画像を前記第１の画像メモリから読み出して前記画像切替部から出力させると共に、前記第２の画像メモリを制御して前記ぶれ量が最も小さい画面の画像を連続的に出力させる
    　ことを特徴とする静止画生成方法。
PCT/JP2011/062904 2010-06-07 2011-06-06 信号処理装置及び静止画生成方法 WO2011155429A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180028311.3A CN102934422B (zh) 2010-06-07 2011-06-06 信号处理装置和静止图像生成方法
JP2012519366A JP5123443B2 (ja) 2010-06-07 2011-06-06 信号処理装置及び静止画生成方法
EP11792386.2A EP2579570B1 (en) 2010-06-07 2011-06-06 Signal processing device and still image generation method
US13/594,080 US8548235B2 (en) 2010-06-07 2012-08-24 Signal processing apparatus and still image generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010130157 2010-06-07
JP2010-130157 2010-06-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/594,080 Continuation US8548235B2 (en) 2010-06-07 2012-08-24 Signal processing apparatus and still image generation method

Publications (1)

Publication Number Publication Date
WO2011155429A1 true WO2011155429A1 (ja) 2011-12-15

Family

ID=45098036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/062904 WO2011155429A1 (ja) 2010-06-07 2011-06-06 信号処理装置及び静止画生成方法

Country Status (5)

Country Link
US (1) US8548235B2 (ja)
EP (1) EP2579570B1 (ja)
JP (1) JP5123443B2 (ja)
CN (1) CN102934422B (ja)
WO (1) WO2011155429A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013157755A (ja) * 2012-01-27 2013-08-15 Canon Inc ノイズ低減装置およびその制御方法
JP2014220690A (ja) * 2013-05-09 2014-11-20 オリンパスメディカルシステムズ株式会社 信号処理装置、信号処理方法
JP2015198875A (ja) * 2014-04-10 2015-11-12 Hoya株式会社 内視鏡用画像処理装置および内視鏡システム
JP2018007837A (ja) * 2016-07-13 2018-01-18 オリンパス株式会社 画像処理装置
US10462440B2 (en) 2016-04-19 2019-10-29 Olympus Corporation Image processing apparatus

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3238636A4 (en) * 2014-12-26 2018-09-19 Olympus Corporation Medical diagnostic device, ultrasonic observation system, method for operating medical diagnostic device, and program for operating medical diagnostic device
JP6660707B2 (ja) * 2015-10-23 2020-03-11 Hoya株式会社 内視鏡システム
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
KR102499033B1 (ko) 2018-01-31 2023-02-13 삼성전자주식회사 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US11792510B2 (en) * 2020-11-18 2023-10-17 Micron Technology, Inc. Image sensor data management using a multi-port memory device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07289507A (ja) * 1994-04-22 1995-11-07 Olympus Optical Co Ltd フリーズ装置
JPH11285019A (ja) * 1998-03-31 1999-10-15 Sharp Corp 画像処理装置および画像処理プログラムを記憶する媒体
JP2002247444A (ja) * 2001-02-14 2002-08-30 Olympus Optical Co Ltd 画像処理装置及び画像処理プログラムを記録した記録媒体
JP2006174069A (ja) * 2004-12-15 2006-06-29 Canon Inc 撮影装置及び撮影方法
JP2007252635A (ja) 2006-03-23 2007-10-04 Olympus Medical Systems Corp 画像処理装置
JP2007312832A (ja) 2006-05-23 2007-12-06 Pentax Corp 内視鏡装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621937B1 (en) * 1999-10-08 2003-09-16 Eastman Kodak Company Removing chroma noise from digital images by using variable shape pixel neighborhood regions
JP4290066B2 (ja) * 2004-05-20 2009-07-01 キヤノン株式会社 固体撮像装置および撮像システム
US20060152596A1 (en) * 2005-01-11 2006-07-13 Eastman Kodak Company Noise cleaning sparsely populated color digital images
JP2006262221A (ja) * 2005-03-18 2006-09-28 Seiko Epson Corp 撮像装置および画像処理方法
US7821578B2 (en) * 2006-04-07 2010-10-26 Marvell World Trade Ltd. Reconfigurable self-calibrating adaptive noise reducer
US8018504B2 (en) * 2006-12-22 2011-09-13 Eastman Kodak Company Reduction of position dependent noise in a digital image
US8160309B1 (en) * 2007-12-21 2012-04-17 Csr Technology Inc. Method, apparatus, and system for object recognition and classification
US8259208B2 (en) * 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07289507A (ja) * 1994-04-22 1995-11-07 Olympus Optical Co Ltd フリーズ装置
JPH11285019A (ja) * 1998-03-31 1999-10-15 Sharp Corp 画像処理装置および画像処理プログラムを記憶する媒体
JP2002247444A (ja) * 2001-02-14 2002-08-30 Olympus Optical Co Ltd 画像処理装置及び画像処理プログラムを記録した記録媒体
JP2006174069A (ja) * 2004-12-15 2006-06-29 Canon Inc 撮影装置及び撮影方法
JP2007252635A (ja) 2006-03-23 2007-10-04 Olympus Medical Systems Corp 画像処理装置
JP2007312832A (ja) 2006-05-23 2007-12-06 Pentax Corp 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2579570A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013157755A (ja) * 2012-01-27 2013-08-15 Canon Inc ノイズ低減装置およびその制御方法
JP2014220690A (ja) * 2013-05-09 2014-11-20 オリンパスメディカルシステムズ株式会社 信号処理装置、信号処理方法
JP2015198875A (ja) * 2014-04-10 2015-11-12 Hoya株式会社 内視鏡用画像処理装置および内視鏡システム
US10462440B2 (en) 2016-04-19 2019-10-29 Olympus Corporation Image processing apparatus
JP2018007837A (ja) * 2016-07-13 2018-01-18 オリンパス株式会社 画像処理装置

Also Published As

Publication number Publication date
JPWO2011155429A1 (ja) 2013-08-01
JP5123443B2 (ja) 2013-01-23
EP2579570A1 (en) 2013-04-10
CN102934422A (zh) 2013-02-13
EP2579570B1 (en) 2017-01-04
EP2579570A4 (en) 2014-12-24
US8548235B2 (en) 2013-10-01
US20130058573A1 (en) 2013-03-07
CN102934422B (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
JP5123443B2 (ja) 信号処理装置及び静止画生成方法
JP5764740B2 (ja) 撮像装置
US11582401B2 (en) Image signal processing device, imaging device, flicker check method in imaging device, and server
CN102970914A (zh) 内窥镜***
WO2016129405A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2008005048A (ja) 撮像装置及び信号処理装置
JPWO2017086091A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2018207413A (ja) 撮像装置
US8699827B2 (en) Imaging apparatus, signal processing method, and program
JP6517573B2 (ja) 画像処理装置および内視鏡装置
JP5829122B2 (ja) 撮像装置および評価値生成装置
JP5581968B2 (ja) 撮像装置
JP2014220690A (ja) 信号処理装置、信号処理方法
JP6118118B2 (ja) 撮像装置およびその制御方法
JP2002209838A (ja) 内視鏡撮像装置
JP2009135792A (ja) 撮像装置および画像信号処理方法
JP2008079222A (ja) デジタルカメラ
JP2009027555A (ja) 撮像装置及び信号処理方法
JP2021044621A (ja) 撮像装置およびその制御方法
JP2012257043A (ja) 撮像装置および撮像方法
JP3917982B2 (ja) 内視鏡装置
JP3655679B2 (ja) 内視鏡装置
JP6786346B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2023055302A (ja) 画像処理装置、撮像装置および画像処理方法
JP2010206591A (ja) 固体撮像装置、集積回路及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180028311.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792386

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012519366

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2011792386

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011792386

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE