JP2007329619A - Video signal processor, video signal processing method and video signal processing program - Google Patents

Video signal processor, video signal processing method and video signal processing program Download PDF

Info

Publication number
JP2007329619A
JP2007329619A JP2006158104A JP2006158104A JP2007329619A JP 2007329619 A JP2007329619 A JP 2007329619A JP 2006158104 A JP2006158104 A JP 2006158104A JP 2006158104 A JP2006158104 A JP 2006158104A JP 2007329619 A JP2007329619 A JP 2007329619A
Authority
JP
Japan
Prior art keywords
video signal
gradation conversion
distance information
correction coefficient
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006158104A
Other languages
Japanese (ja)
Inventor
Hiroshi Suzuki
博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006158104A priority Critical patent/JP2007329619A/en
Priority to PCT/JP2007/060758 priority patent/WO2007142048A1/en
Publication of JP2007329619A publication Critical patent/JP2007329619A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video signal processor, a video signal processing method and a video signal processing program for photographing an image of high quality corresponding to a subject. <P>SOLUTION: In the video signal processor, a video signal obtained through photography by a CCD 102 is transferred to a buffer 105 through an A/D 104, and the video signal in the buffer 105 is transferred to a photometric evaluation part 106, a distance information calculation part 108, and a signal processing part 110. The distance information calculation part 108 calculates information on the distance from an imaging apparatus to the subject, and transfers it to a lens control part 107 and a correction coefficient calculation part 112. The correction coefficient calculation part 112 calculates a correction coefficient based upon the information on the distance between the imaging apparatus and the subject obtained through the distance information calculation part 108. A conversion part 111 sets a gray-level conversion curve using a histogram of a local area and the correction coefficient calculated by the correction coefficient calculation part 112, and applies gray-level conversion processing to the video signal. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、映像信号に対する信号処理を行う映像信号処理装置と映像信号処理方法、および映像信号処理プログラムに係わり、特に、映像信号に対する階調変換処理を行う映像信号処理装置と映像信号処理方法、および映像信号処理プログラムに関するものである。   The present invention relates to a video signal processing apparatus and a video signal processing method for performing signal processing on a video signal, and a video signal processing program, and in particular, a video signal processing apparatus and a video signal processing method for performing gradation conversion processing on a video signal, And a video signal processing program.

一般的なデジタルカメラやビデオカメラ等の電子カメラ（映像信号処理装置）において、デジタル信号処理での階調飛びなどのまるめ誤差による画質劣化を防止するために、入力および処理系における信号の階調ビット幅を出カ信号の階調ｂｉｔ幅より広く設定する場合がある。この場合、出カ系の階調ビット幅に合致するように入力系の信号に対して階調変換を行う必要がある。   In an electronic camera (video signal processing device) such as a general digital camera or video camera, in order to prevent image quality deterioration due to rounding errors such as gradation skip in digital signal processing, the gradation of signals in the input and processing system In some cases, the bit width is set wider than the gradation bit width of the output signal. In this case, it is necessary to perform gradation conversion on the input signal so as to match the output gradation bit width.

従来は、標準的なシーンに対する固定的な階調変換により処理が行われていた。また、固定的に階調変換を行わずに、映像信号を複数の領域に分割し、各領域ごとに独立に階調変換を行う手法も提案されている。例えば、特許文献１ではテクスチャ情報に基づき映像信号を複数の領域に分割し、分割した各領域に対して適応的に階調変換を行う例が開示されている。   Conventionally, processing is performed by fixed gradation conversion for a standard scene. There has also been proposed a technique in which a video signal is divided into a plurality of areas without performing gradation conversion in a fixed manner, and gradation conversion is performed independently for each area. For example, Patent Document 1 discloses an example in which a video signal is divided into a plurality of areas based on texture information, and gradation conversion is adaptively performed on each divided area.

また、特許文献２には、被写体までの距離情報を用いて主要被写体領域を検出し、検出した領域に重点を置いて撮影時の露光量を制御する例が開示されている。特許文献２に示されている方法では、測距した情報を基に主要被写体領域を抽出し、抽出した領域に重点を置いて露光量の制御を行っているため、主要被写体に応じた適切な露光が行える。   Patent Document 2 discloses an example in which a main subject area is detected using distance information to a subject, and an exposure amount at the time of shooting is controlled with emphasis on the detected area. In the method disclosed in Patent Document 2, the main subject region is extracted based on the distance measurement information, and the exposure amount is controlled with emphasis on the extracted region. Exposure is possible.

特開２００１−１１８０６２号公報Japanese Patent Laid-Open No. 2001-118062 特開平５―６８２０５号公報JP-A-5-68205

従来技術では、映像信号全体に対して平均的に階調の圧縮を行うか、またはγ変換などの固定的な階調変換を行っていた。この場合、逆光などの標準的なシーンとは異なる場合に主要被写体が適切な階調とならず、主観的に好ましい画像にならないという課題がある。   In the prior art, gradation compression is performed on the entire video signal on average, or fixed gradation conversion such as γ conversion is performed. In this case, there is a problem that the main subject does not have an appropriate gradation when the scene is different from a standard scene such as backlight, and a subjectively preferable image is not obtained.

特許文献１に示される方法では、領域ごとに独立に階調変換を行うために、逆光のような明暗比の大きいシーンでも好ましい画像が得られるが、個々の階調変換に制限が設けられていない。そのため、極端な階調変換が行われる場合があり、ノイズ成分の増加や色再現の破綻、階調飛びによる画質劣化などの副作用の発生が新たな課題となる。さらに、画像中で手前と奥に存在する領域が同様のヒストグラム分布を持つ場合にも同じ階調変換処理が行われるため、コントラスト感の欠落した平坦な画像となってしまうという問題があった。   In the method disclosed in Patent Document 1, since tone conversion is performed independently for each region, a preferable image can be obtained even in a scene with a high contrast ratio such as backlight, but there is a limitation on individual tone conversion. Absent. Therefore, extreme gradation conversion may be performed, and the occurrence of side effects such as an increase in noise components, color reproduction failure, and image quality deterioration due to gradation skipping becomes a new issue. Furthermore, since the same gradation conversion processing is performed when the regions existing in the foreground and the back in the image have the same histogram distribution, there is a problem that a flat image lacking a sense of contrast is formed.

特許文献２に示される方法では、主要被写体と背景の明暗の比が大きいシーンでは、背景に対しては適切な露光が行われないため、極喘に明るくなったり暗くなったりするという課題がある。また、上記方法では、距離の最も近い領域を主要被写体の領域であるとしているが、主要被写体として撮影したい物体の手前に他の物体が存在する場合、その手前の物体に適切な露光量で撮影を行ってしまうため、主要被写体に応じた適切な階調の高品位な画像を得ることができないという問題があった。   In the method disclosed in Patent Document 2, in a scene where the ratio of the main subject to the background is large, since the background is not appropriately exposed, there is a problem that it becomes extremely bright or dark. . In the above method, the area closest to the distance is the main subject area. However, if there is another object in front of the object to be photographed as the main subject, the object is photographed with an appropriate exposure amount. Therefore, there is a problem in that a high-quality image having an appropriate gradation corresponding to the main subject cannot be obtained.

本発明は、上記問題点に鑑み、映像信号に対して、被写体に応じた高品位な階調変換を行なう映像信号処理装置と映像信号処理方法、および映像信号処理プログラムの提供を目的とする。   In view of the above problems, an object of the present invention is to provide a video signal processing device, a video signal processing method, and a video signal processing program that perform high-quality gradation conversion corresponding to a subject for a video signal.

（１）上記目的を達成するために、本発明の映像信号処理装置は、撮像手段から得られた撮像対象の映像信号に対し．階調変換処理を行う映像信号処理装置において、前記撮影対象と前記撮影手段との距離情報を取得する距離情報取得手段と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う階調変換手段とを有することを特徴とする。   (1) In order to achieve the above object, the video signal processing apparatus according to the present invention applies a video signal to the imaging target obtained from the imaging means. In a video signal processing apparatus that performs gradation conversion processing, distance information acquisition means for acquiring distance information between the imaging target and the imaging means, and gradation conversion for a target pixel of the video signal using the distance information Gradation conversion means for performing processing.

（１）の発明に関する実施形態は、図１〜図７に示される第１の実施形態および図８〜図１３に示される第２の実施形態が対応する。（１）の発明の構成である距離情報取得手段は、図１、図８に示される距離情報算出部１０８が該当し、階調変換手段は、図１、図２、図５、図７に示される変換部１１１が該当する。この発明の好ましい適用例は、図１、図８に示される距離情報算出部１０８にて被写体との距離を求め、変換部１１１にて各注目画素に対して距離情報を用いて階調変換処理を行う映像信号処理装置である。   The first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. 8 to 13 correspond to the embodiment of the invention (1). The distance information acquisition means which is the configuration of the invention of (1) corresponds to the distance information calculation unit 108 shown in FIGS. 1 and 8, and the gradation conversion means corresponds to FIGS. 1, 2, 5 and 7. The conversion part 111 shown corresponds. In a preferred application example of the present invention, the distance information calculation unit 108 shown in FIGS. 1 and 8 obtains the distance to the subject, and the conversion unit 111 uses the distance information for each target pixel to perform gradation conversion processing. This is a video signal processing device for performing

（１）の発明は、入力映像信号の注目画素ごとに距離情報を基に独立に階調変換処理を行う。このような構成としているので、明暗比の小さなシーンに対しても主観的に好ましい映像信号が得られる。   In the invention of (1), gradation conversion processing is independently performed based on the distance information for each target pixel of the input video signal. With such a configuration, a subjectively preferable video signal can be obtained even for a scene with a small contrast ratio.

（２）の発明は、（１）の発明において、前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記距離情報に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、前記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする。   In the invention of (2), in the invention of (1), the gradation conversion means is a histogram calculation means for calculating a histogram of the pixel of interest and a neighboring region, and clipping for performing a clipping process on the histogram based on the distance information And gradation conversion curve setting means for setting a gradation conversion curve based on the histogram after the clipping process.

（２）の発明に関する実施の形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（２）の発明の構成であるヒストグラム算出手段は、図２のヒストグラム作成部２０３が該当し、クリッピング手段は、図２のクリッピング部２０４が該当する。また、階調変換曲線設定手段は、図２の階調曲線作成部２０６が該当する。この発明の好ましい適用例は、ヒストグラム作成部２０３にて注目画素および近傍領域のヒストグラムを算出し、クリッピング２０４にて上記ヒストグラムのクリンプ処理を行い、階調曲線作成部２０６にて上記クリップ処理後のヒストグラムに基づき階調変換曲線の設定を行う映像信号処理装置である。   The embodiment of the invention (2) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. The histogram calculation means that is the configuration of the invention of (2) corresponds to the histogram creation section 203 in FIG. 2, and the clipping means corresponds to the clipping section 204 in FIG. The gradation conversion curve setting means corresponds to the gradation curve creation unit 206 in FIG. In a preferred application example of the present invention, the histogram creation unit 203 calculates the histogram of the pixel of interest and the neighboring region, the clipping 204 is subjected to crimp processing, and the gradation curve creation unit 206 performs the clip processing after the clip processing. This is a video signal processing apparatus for setting a gradation conversion curve based on a histogram.

（２）の発明は、注目画素および近傍領域のヒストグラムを作成し、クリッピング処理を行った後に階調変換曲線を設定する。このような構成としているので、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、階調変換曲線の設定と制限の設定を一体化することで低コストの装置構成が可能となる。   In the invention of (2), a histogram of the pixel of interest and the neighboring region is created, and after performing clipping processing, a gradation conversion curve is set. With such a configuration, a high-quality video signal can be obtained even for a scene with a large contrast ratio, and side effects such as an increase in noise components and failure of color reproduction can be suppressed. Further, by integrating the setting of the gradation conversion curve and the setting of the restriction, a low-cost device configuration can be realized.

（３）の発明は、（１）の発明において、前記階調変換手段は、前記距離情報に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段、を更に有することを特徴とする。（３）の発明に関する実施形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（３）の発明の構成である階調変換記憶手段は、図７の階調変換曲線ＲＯＭ２０８が該当する。この発明の好ましい適用例は、図７に示されている階調変換曲線ＲＯＭ２０８にて距離に対する所定の標準的な階調変換曲線を読み込み、読み込んだ階調変換曲線を用いて階調変換処理を行う映像信号処理装置である。   The invention of (3) is characterized in that, in the invention of (1), the gradation conversion means further comprises gradation conversion curve storage means for storing a predetermined gradation conversion curve for the distance information. . The embodiment relating to the invention of (3) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. The gradation conversion storage means which is the configuration of the invention of (3) corresponds to the gradation conversion curve ROM 208 of FIG. In a preferred application example of the present invention, a predetermined standard gradation conversion curve with respect to a distance is read by the gradation conversion curve ROM 208 shown in FIG. 7, and gradation conversion processing is performed using the read gradation conversion curve. It is a video signal processing apparatus to be performed.

（３）の発明は、距離に対する標準的な階調変換曲線を設定し、入力映像信号の注目画素ごとに距離情報を基に独立に階調変換処理を行う。このような構成としているので、距離に対応する標準的な階調変換曲線を固定的に設定することにより、高速な処理が可能となる。
In the invention of (3), a standard gradation conversion curve with respect to the distance is set, and gradation conversion processing is independently performed based on the distance information for each target pixel of the input video signal. Since such a configuration is adopted, high-speed processing can be performed by fixedly setting a standard gradation conversion curve corresponding to the distance.

（４）の発明は、（１）の発明において、前記距離情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段とを有することを特徴とする。   In the invention of (4), in the invention of (1), using the distance information, a correction coefficient calculating means for calculating a correction coefficient for the date pixel of the video signal, and using the correction coefficient for the pixel of interest It is characterized by having gradation conversion means for performing gradation conversion processing.

（４）の発明に関する実施の形態は、図１〜図７に示される第１の実施形態が対応する。（４）の発明の構成である距離情報取得手段は、図１に示される距離情報算出部１０８が該当し、構成補正係数算出手段は、図１、図２、図５に示される補正係数算出部１１２が該当する。また、階調変換手段は、図１、図２、図５、図７に示される変換部１１１が該当する。この発明の好ましい適用例は、距離情報算出部１０８にて被写体との距離を求め、補正係数算出部１１２にて階調変換処理に関する補正係数を算出し、変換部１１１にて各注目画素に対して補正係数を用いて階調変換処理を行う映像信号処理装置である。   The embodiment related to the invention of (4) corresponds to the first embodiment shown in FIGS. The distance information acquisition means that is the configuration of the invention of (4) corresponds to the distance information calculation unit 108 shown in FIG. 1, and the configuration correction coefficient calculation means calculates the correction coefficient shown in FIG. 1, FIG. 2, and FIG. This corresponds to the section 112. Further, the gradation converting means corresponds to the converting unit 111 shown in FIGS. 1, 2, 5, and 7. In a preferred application example of the present invention, the distance information calculation unit 108 obtains the distance to the subject, the correction coefficient calculation unit 112 calculates a correction coefficient related to the gradation conversion processing, and the conversion unit 111 calculates each of the target pixels. The video signal processing apparatus performs gradation conversion processing using a correction coefficient.

（４）の発明は、入力映像信号の注目画素ごとに距離情報を基に階調変換を制限するための補正係数を算出し、この補正係数を用いて独立に階調変換処理を行う。このような構成としているので、明暗比の小さなシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、階調変換処理と階調変換に対する制限設定を一体化することで低コストの装置構成が可能となる。   In the invention of (4), a correction coefficient for limiting gradation conversion is calculated for each target pixel of the input video signal based on the distance information, and gradation conversion processing is independently performed using this correction coefficient. With such a configuration, a high-quality video signal can be obtained even for a scene with a small contrast ratio, and side effects such as an increase in noise components and failure of color reproduction can be suppressed. Further, by integrating the gradation conversion process and the restriction setting for gradation conversion, a low-cost apparatus configuration can be realized.

（５）の発明は、（１）の発明において、前記映像信号の輝度分布を算出する輝度分布算出手段と、前記距離情報取得手段で取得した距離情報と、前記輝度分布算出手段で算出した輝度分布とに基づいて撮影状況の推定を行う撮影状況推定手段と、前記距離情報および前記撮影状況の情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段と、を有することを特徴とする。   In the invention of (5), in the invention of (1), the luminance distribution calculating means for calculating the luminance distribution of the video signal, the distance information acquired by the distance information acquiring means, and the luminance calculated by the luminance distribution calculating means A shooting condition estimation unit that estimates a shooting situation based on the distribution; a correction coefficient calculation unit that calculates a correction coefficient for the date-added pixel of the video signal using the distance information and the shooting situation information; and the attention Gradation conversion means for performing gradation conversion processing on the pixel using the correction coefficient.

（５）の発明に関する実施形態は、図８〜図１３に示される第２の実施形態が対応する。（５）の発明の構成である距離情報取得手段は、図７に示される距離情報算出部１０８が該当し、輝度分布算出手段は、図８に示される測光評価部１０６が該当する。また、撮影状況推定手段は、図８、図９に示される撮影状況推定部１１７が該当し、補正係数算出手段は、図８、図９に示される補正係数算出部１１２が該当する。さらに、階調変換手段は、図８に示される変換部１１１が該当する。この発明の好ましい適用例である映像信号処理装置は、距離情報算出部１０８にて被写体との距離を求め、測光評価部１０６にて映像信号の輝度分布を算出する。また、撮影状況推定部１１７にてレンズ制御部１０７で取得した距離情報と上記測光評価部１０６で算出した輝度分布に基づいて撮影状況の判定を行い、楠正係数算出部１１２にて上記距離情報と上記撮影状況の情報を用いて階調変換処理に関する補正係数を算出する。さらに、変換部１１１にて各注日画素に対して補正係数を用いて階稠変換処理を行う。   The embodiment relating to the invention of (5) corresponds to the second embodiment shown in FIGS. The distance information acquisition means according to the invention of (5) corresponds to the distance information calculation section 108 shown in FIG. 7, and the luminance distribution calculation means corresponds to the photometric evaluation section 106 shown in FIG. Further, the shooting situation estimation means corresponds to the shooting situation estimation section 117 shown in FIGS. 8 and 9, and the correction coefficient calculation means corresponds to the correction coefficient calculation section 112 shown in FIGS. Furthermore, the gradation converting means corresponds to the converting unit 111 shown in FIG. In the video signal processing apparatus which is a preferred application example of the present invention, the distance information calculation unit 108 obtains the distance to the subject, and the photometric evaluation unit 106 calculates the luminance distribution of the video signal. Further, the shooting situation is determined based on the distance information acquired by the lens control unit 107 in the shooting situation estimation unit 117 and the luminance distribution calculated by the photometry evaluation unit 106, and the distance information is calculated by the correction coefficient calculation unit 112. And a correction coefficient relating to the gradation conversion process is calculated using the information on the photographing situation. Further, the conversion unit 111 performs a gradation conversion process using the correction coefficient for each day-date pixel.

（５）の発明は、入力信号の注目画素ごとに距離情報と撮影状況の情報を基に階調変換を制限するための補正係数を算出し、この補正係数を用いて独立に階調変換処理を行う。このような構成としているので、撮影シーンごとに階調変換を制限するための補正係数の算出が可能となり、より高品位な映像信号が得られる。   In the invention of (5), a correction coefficient for limiting gradation conversion is calculated for each target pixel of the input signal based on the distance information and the shooting situation information, and gradation conversion processing is independently performed using this correction coefficient. I do. With such a configuration, it is possible to calculate a correction coefficient for limiting gradation conversion for each shooting scene, and a higher-quality video signal can be obtained.

（６）の発明は、（４）の発明において、前記階調変換手段は、前記注日画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数と上記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段と、を更に有することを特徴とする。   In the invention of (6), in the invention of (4), the gradation conversion means includes a histogram calculation means for calculating a histogram of the date-of-date pixels and neighboring areas, a gradation conversion curve based on the correction coefficient and the histogram. And a gradation conversion curve setting means for setting.

（６）の発明に関する実施形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（６）の発明の構成であるヒストグラム算出手段は、図２のヒストグラム作成部２０３が該当し、クリッピング手段は、図２のクリッピング部２０４が該当する。また、階調変換曲線設定手段は、図２の階調曲線作成部２０６が該当する。この発明の好ましい適用例は、ヒストグラム作成部２０３にて注目画素および近傍領域のヒストグラムを算出し、階調曲線作成部２０６にて補正係数算出部１１０で算出した補正係数と上記ヒストグラムに基づき階調変換曲線の設定を行う映像信号処理装置である。   The embodiment related to the invention of (6) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. The histogram calculation means according to the invention of (6) corresponds to the histogram creation section 203 in FIG. 2, and the clipping means corresponds to the clipping section 204 in FIG. The gradation conversion curve setting means corresponds to the gradation curve creation unit 206 in FIG. In a preferred application example of the present invention, the histogram creation unit 203 calculates a histogram of the pixel of interest and the neighboring region, and the gradation curve creation unit 206 calculates the gradation based on the correction coefficient calculated by the correction coefficient calculation unit 110 and the histogram. It is a video signal processing device for setting a conversion curve.

（６）の発明は、注日画素、および近傍領域のヒストグラムと補正係数に基づき階調変換曲線を設定する。このような構成としているので、明暗比の大きいシーンに対しても高品位な映像信号が得られる。   In the invention of (6), the tone conversion curve is set based on the date-of-day pixel, the histogram of the neighboring area, and the correction coefficient. With such a configuration, a high-quality video signal can be obtained even for a scene with a large contrast ratio.

（７）の発明は、（４）の発明において、前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段と、を更に有することを特徴とする。（７）の発明は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（７）の発明の構成であるヒストグラム算出手段は、図２のヒストグラム作成部２０３が該当し、クリッピング手段は、図２のクリッピング部２０４が該当する。また、階調変換曲線設定手段は、図２の階調曲線作成部２０６が該当する。この発明の好ましい適用例は、ヒストグラム作成部２０３にて注目画素および近傍領域のヒストグラムを算出し、クリッピング２０４にて補正係数算出部１１２で算出した補正係数を用いて上記ヒストグラムのクリンプ処理を行い、階調曲線作成部２０６にて上記クリップ処理後のヒストグラムに基づき階調変換曲線の設定を行う映像信号処理装置である。   In the invention of (7), in the invention of (4), the gradation conversion means is a histogram calculation means for calculating a histogram of the pixel of interest and a neighboring region, and clipping for performing clipping processing on the histogram based on the correction coefficient And a gradation conversion curve setting means for setting a gradation conversion curve based on the histogram after the clipping process. The invention (7) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. 8 to 13. The histogram calculation means which is the configuration of the invention of (7) corresponds to the histogram creation section 203 in FIG. 2, and the clipping means corresponds to the clipping section 204 in FIG. The gradation conversion curve setting means corresponds to the gradation curve creation unit 206 in FIG. In a preferred application example of the present invention, the histogram creation unit 203 calculates the histogram of the pixel of interest and the neighboring region, and the clipping processing of the histogram is performed using the correction coefficient calculated by the correction coefficient calculation unit 112 in clipping 204. This is a video signal processing apparatus for setting a gradation conversion curve based on the histogram after the clipping process in the gradation curve creating unit 206.

（７）の発明は、注目画素および近傍領域のヒストグラムを作成し、補正係数に基づきクリッピング処理を行った後に階調変換曲線を設定する。このような構成としているので、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、階調変換曲線の設定と制限の設定を一体化することで低コストの装置構成が可能となる。   In the invention of (7), a gradation conversion curve is set after creating a histogram of a pixel of interest and a neighboring region, performing a clipping process based on a correction coefficient. With such a configuration, a high-quality video signal can be obtained even for a scene with a large contrast ratio, and side effects such as an increase in noise components and failure of color reproduction can be suppressed. Further, by integrating the setting of the gradation conversion curve and the setting of the restriction, a low-cost device configuration can be realized.

（８）の発明は、（４）の発明において、前記階調変換手段は、輝度に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段と、前記補正係数に基づき上記階調変換曲線を変更する階調曲線変更手段と、を更に有することを特徴とする。（８）の発明に関する実施形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（８）の発明の構成である階調変換記憶手段は、図５の階調変換曲線ＲＯＭ２０８が該当し、階調曲線変更手段は、図５の階調曲線変更部２０９が該当する。この発明の好ましい適用例は、階調変換曲線ＲＯＭ２０８にて輝度に対する所定の標準的な階調変換曲線を読み込み、階調曲線変更部２０９にて補正係数算出部１１２で算出した補正係数を用いて上記階調変換曲線の変換を行う映像信号処理装置である。   In the invention of (8), in the invention of (4), the gradation conversion means includes gradation conversion curve storage means for storing a predetermined gradation conversion curve for luminance, and the gradation conversion based on the correction coefficient. And a gradation curve changing means for changing the curve. The embodiment relating to the invention of (8) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. The gradation conversion storage means that is the configuration of the invention of (8) corresponds to the gradation conversion curve ROM 208 of FIG. 5, and the gradation curve change means corresponds to the gradation curve change unit 209 of FIG. In a preferred application example of the present invention, a predetermined standard gradation conversion curve with respect to luminance is read by the gradation conversion curve ROM 208 and the correction coefficient calculated by the correction coefficient calculation unit 112 by the gradation curve changing unit 209 is used. A video signal processing apparatus for converting the gradation conversion curve.

（８）の発明は、輝度に対する標準的な階調変換曲線を設定し、補正係数に基づき階調変換曲線の変更を行う。このような構成としているので、標準的な階調変換曲線を固定的に設定することにより、高速な処理が可能となる。   In the invention of (8), a standard gradation conversion curve with respect to luminance is set, and the gradation conversion curve is changed based on the correction coefficient. Since such a configuration is adopted, high-speed processing can be performed by fixedly setting a standard gradation conversion curve.

（９）上記目的を達成するために、本発明の映像信号処理方法は、撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う段階と、からなることを特徴とする。   (9) In order to achieve the above object, a video signal processing method of the present invention includes a step of acquiring a video signal to be imaged by an imaging unit, and a step of acquiring distance information between the imaging target and the imaging unit. And performing gradation conversion processing on the target pixel of the video signal using the distance information.

（９）の発明の適用例をその構成と共に説明する。（９）の発明は、図１〜図７に示されている第１の実施形態、図８〜図１３に示されている第２の実施形態が対応する。（９）の発明の構成である「撮像手段により撮像対象の映像信号を取得する段階」は、図１、図８に示されているＣＣＤ１０２による撮影が該当する。「前記撮影対象と前記撮影手段との距離情報を取得する段階」は、図１、図８の距離情報算出部１０８の処理が該当する。「前記距離情報を用いて前記映像信号の注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階」は、図１、図８の変換部１１１の処理が該当する。（９）の発明の好ましい適用例は、前記のように図１、図８に示されている撮像装置（映像信号処理装置）における画像処理方法である。しかしながら、（９）の発明は、図１、図８に示されている構成の撮像装置における映像信号処理方法には限定されず、前記各段階の処理を行う構成を備えた映像信号処理装置であれば、適用可能である。   An application example of the invention of (9) will be described together with its configuration. The invention (9) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. The “stage of acquiring a video signal to be imaged by the imaging means”, which is the configuration of the invention of (9), corresponds to imaging by the CCD 102 shown in FIGS. The “step of obtaining distance information between the photographing object and the photographing means” corresponds to the processing of the distance information calculation unit 108 in FIGS. 1 and 8. The “stage of adaptively performing gradation conversion processing using the correction coefficient for the target pixel of the video signal using the distance information” corresponds to the processing of the conversion unit 111 in FIGS. 1 and 8. A preferred application example of the invention of (9) is an image processing method in the imaging apparatus (video signal processing apparatus) shown in FIGS. 1 and 8 as described above. However, the invention of (9) is not limited to the video signal processing method in the imaging device having the configuration shown in FIGS. 1 and 8, and is a video signal processing device having a configuration for performing the processing of each stage. If applicable, it is applicable.

（９）の発明は、撮影手段により撮影対象の映像信号の取得、前記撮影対象と前記撮影手段との距離情報の取得、前記距離情報を用いて前記映像信号の注目画素に対し階調変換処理を行う処理、を一連の工程で行っているので、適切な階調でノイズの増加や色再現の破綻などの副作用の少ない、被写体に応じた高品位な画像を生成することができる。   In the invention of (9), acquisition of a video signal to be imaged by an imaging unit, acquisition of distance information between the imaging object and the imaging unit, and gradation conversion processing on a target pixel of the video signal using the distance information Since the process is performed in a series of steps, it is possible to generate a high-quality image according to the subject with appropriate gradation and less side effects such as noise increase and color reproduction failure.

（１０）本発明の映像信号処理方法は、撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対する補正係数を算出する段階と、前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階と、からなることを特徴とする。   (10) The video signal processing method of the present invention includes a step of acquiring a video signal to be imaged by an imaging unit, a step of acquiring distance information between the imaging target and the imaging unit, and the distance information using the distance information. The method includes a step of calculating a correction coefficient for a target pixel of a video signal and a step of adaptively performing gradation conversion processing on the target pixel using the correction coefficient.

（１０）の発明の適用例をその構成と共に説明する。（１０）の発明は、図１〜図７に示されている第１の実施形態、図８〜図１３に示されている第２の実施形態が対応する。（１０）の発明の構成である「撮像手段により撮像対象の映像信号を取得する段階」は、図１、図８に示されているＣＣＤ１０２による撮影が該当する。「前記撮影対象と前記撮影手段との距離情報を取得する段階」は、図１、図８の距離情報算出部１０８の処理が該当する。「前記距離情報を用いて前記映像信号の注目画素に対する補正係数を算出する段階」は、図１、図８の補正係数算出部１１２の処理が該当する。「前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階」は、図１、図８の変換部１１１の処理が該当する。（１０）の発明の好ましい適用例は、前記のように図１、図８に示されている撮像装置（映像信号処理装置）における画像処理方法である。しかしながら、（１０）の発明は、図１、図８に示されている構成の撮像装置における映像信号処理方法には限定されず、前記各段階の処理を行う構成を備えた映像信号処理装置であれば、適用可能である。   An application example of the invention of (10) will be described together with its configuration. The invention (10) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. The “step of acquiring a video signal to be imaged by the imaging means”, which is the configuration of the invention of (10), corresponds to imaging by the CCD 102 shown in FIGS. The “step of obtaining distance information between the photographing object and the photographing means” corresponds to the processing of the distance information calculation unit 108 in FIGS. 1 and 8. “The step of calculating the correction coefficient for the target pixel of the video signal using the distance information” corresponds to the processing of the correction coefficient calculation unit 112 in FIGS. The “stage of adaptively performing gradation conversion processing on the target pixel using the correction coefficient” corresponds to the processing of the conversion unit 111 in FIGS. 1 and 8. A preferred application example of the invention of (10) is an image processing method in the imaging apparatus (video signal processing apparatus) shown in FIGS. 1 and 8 as described above. However, the invention of (10) is not limited to the video signal processing method in the image pickup apparatus having the configuration shown in FIGS. 1 and 8, and is a video signal processing apparatus having a configuration for performing the processing of each stage. If applicable, it is applicable.

（１０）の発明は、撮影手段により撮影対象の映像信号の取得、前記撮影対象と前記撮影手段との距離情報の取得、前記距離情報を用いて前記映像信号の注目画素に対する補正係数の算出、前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う処理、を一連の工程で行っているので、適切な階調でノイズの増加や色再現の破綻などの副作用の少ない、被写体に応じた高品位な画像を生成することができる。   In the invention of (10), acquisition of a video signal to be imaged by an imaging unit, acquisition of distance information between the imaging target and the imaging unit, calculation of a correction coefficient for a target pixel of the video signal using the distance information, Since the process of adaptively performing gradation conversion processing on the target pixel using the correction coefficient is performed in a series of steps, there are few side effects such as increase in noise and failure of color reproduction at an appropriate gradation. A high-quality image corresponding to the subject can be generated.

（１１）上記目的を達成するために、本発明の映像信号処理プログラムは、コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、撮影対象と撮影手段との距離情報を取得させる手順と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行わせる手順と、を実行させることを特徴とする。   (11) In order to achieve the above object, the video signal processing program of the present invention causes a computer to read an unprocessed video signal at the time of shooting and a procedure to acquire distance information between the shooting target and the shooting means. And a procedure for performing gradation conversion processing on the target pixel of the video signal using the distance information.

（１１）の発明の適用例をその構成と共に説明する。（１１）の発明は、図１〜図７に示されている第１の実施形態、図８〜図１３に示されている第２の実施形態が対応する。（１０）の発明の構成である「撮影時の未処理の映像信号を読み込ませる手順」は、コンピュータに、図２に記載されているＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１５からの撮影時の情報をヘッダ情報として出力した映像信号を読み込ませる処理に相当する。「撮影対象と撮影手段との距離情報を取得させる手順」は、図１、図８の距離情報算出部１０８の処理をコンピュータが処理することに該当する。「前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行わせる手順」は、図１、図８の変換部１１１の処理をコンピュータが処理することに該当する。   An application example of the invention of (11) will be described together with its configuration. The invention (11) corresponds to the first embodiment shown in FIGS. 1 to 7 and the second embodiment shown in FIGS. The “procedure for reading an unprocessed video signal at the time of photographing”, which is the configuration of the invention of (10), allows the computer to control the signal from the CCD 102 described in FIG. 2 as raw data as unprocessed. This corresponds to a process of reading a video signal that is output from the information at the time of shooting from the unit 115 as header information. “Procedure for obtaining distance information between photographing object and photographing means” corresponds to the processing of the distance information calculation unit 108 in FIGS. 1 and 8 being performed by a computer. The “procedure for performing gradation conversion processing on the target pixel of the video signal using the distance information” corresponds to the processing of the conversion unit 111 in FIG. 1 and FIG.

（１２）本発明の映像信号処理プログラムは、コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、信号処理された前記映像信号により距離情報を算出する手順と、前記距離情報に基づき補正係数を算出する手順と、前記信号処理された前記映像信号により注目画素を中心とする局所領域を順次抽出する手順と、前記抽出した領域のヒストグラムを作成する手順と、前記補正係数に基づき前記ヒストグラムに対してクリッピング処理を行う手順と、前記クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する手順と、前記階調変換曲線に基づき注目画素に対して階調変換処理を行う手順と、
を実行させることを特徴とする。 (12) The video signal processing program of the present invention is based on a procedure for causing a computer to read an unprocessed video signal at the time of shooting, a procedure for calculating distance information from the signal-processed video signal, and the distance information. A procedure for calculating a correction coefficient, a procedure for sequentially extracting a local area centered on a pixel of interest from the signal signal processed by the signal processing, a procedure for creating a histogram of the extracted area, and the correction coefficient based on the correction coefficient A procedure for performing a clipping process on a histogram, a procedure for generating a gradation conversion curve by accumulating and normalizing the histogram after the clipping process, and a gradation conversion for a target pixel based on the gradation conversion curve Procedure to process,
Is executed.

（１２）の発明の適用例をその構成と共に説明する。（１２）の発明は、図６に示されている第１の実施形態、図１３に示されている第２の実施形態が対応する。（１２）の発明の構成は、図６、図１３の各Ｓｔｅｐと対応している。すなわち、「撮影時の未処理の映像信号を読み込ませる手順」は、Ｓｔｅｐ１、「信号処理された映像信号により距離情報を算出する手順する手順」は、Ｓｔｅｐ５、「前記距離情報に基づき補正係数を算出する手順」は、Ｓｔｅｐ６、「前記信号処理された映像信号により注目画素を中心とする局所領域を順次抽出する手順」は、Ｓｔｅｐ３、「前記抽出した領域のヒストグラムを作成する手順」は、Ｓｔｅｐ４、「前記補正係数に基づき前記ヒストグラムに対してクリッピング処理を行う手順」は、Ｓｔｅｐ７、「前記クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する手順」は、Ｓｔｅｐ８、「前記階調変換曲線に基づき注目画素に対して階調変換処理を行う手順」は、Ｓｔｅｐ９、にそれぞれ対応する。   An application example of the invention of (12) will be described together with its configuration. The invention (12) corresponds to the first embodiment shown in FIG. 6 and the second embodiment shown in FIG. The configuration of the invention of (12) corresponds to each step of FIGS. 6 and 13. In other words, “Procedure for reading an unprocessed video signal at the time of photographing” is Step 1, “Procedure for calculating distance information from a signal signal that has been signal processed” is Step 5, and “Correction coefficient is calculated based on the distance information”. "Procedure to calculate" is Step 6, "Procedure for sequentially extracting local regions centered on the target pixel from the signal-processed video signal" is Step 3, and "Procedure for creating a histogram of the extracted region" is Step 4. , “Procedure for performing clipping processing on the histogram based on the correction coefficient” is Step 7, and “Procedure for generating a gradation conversion curve by accumulating and normalizing the histogram after the clipping processing” is Step 8. “Procedure for performing gradation conversion processing on the pixel of interest based on the gradation conversion curve” corresponds to Step 9 respectively. That.

（１１）、（１２）の発明の映像信号処理プログラムによれば、ノイズの増加や色再現の破綻などの副作用の少ない、被写体に応じた高品位な画像が得られる。   According to the video signal processing program of the inventions (11) and (12), a high-quality image corresponding to the subject can be obtained with few side effects such as an increase in noise and failure of color reproduction.

本発明によれば、映像信号に対して、副作用の少ない、被写体に応じた高品位な階調変換を行なう映像信号処理装置と映像信号処理方法、および映像信号処理プログラムを得ることができる。   According to the present invention, it is possible to obtain a video signal processing device, a video signal processing method, and a video signal processing program that perform high-quality gradation conversion according to a subject with few side effects on a video signal.

以下、本発明の第１の実施形態について図を参照して説明する。第１の実施形態は、図１〜図７に示されている。図１は第１の実施形態の構成図、図２は変換部１１１の構成図、図３はクリップ処理の説明図、図４は線形補間の説明図、図５は変換部１１１の第２の構成図、図６は第１の実施形態における階調変換処理のフローチャート、図７は変換部１１１の第３の構成図である。   Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. The first embodiment is shown in FIGS. FIG. 1 is a configuration diagram of the first embodiment, FIG. 2 is a configuration diagram of the conversion unit 111, FIG. 3 is an explanatory diagram of clip processing, FIG. 4 is an explanatory diagram of linear interpolation, and FIG. FIG. 6 is a flowchart of gradation conversion processing in the first embodiment, and FIG. 7 is a third configuration diagram of the conversion unit 111.

第１の実施形態の構成を図１により説明する。レンズ系１００、絞り１０１、ＣＣＤ１０２を介して撮影された映像は、Ａ／Ｄ変換器１０４（以下、本発明の明細書、図面では単にＡ／Ｄ１０４と表記することがある）にてデジタル信号に変換される。Ａ／Ｄ１０４からの映像信号は、バッファ１０５を介して測光評価部１０６、距離情報算出部１０８、信号処理部１１０へ転送される。測光評価部１０６は、絞り１０１、ＣＣＤ１０２に接続されており、距離情報算出部１０８は、レンズ制御部１０７、補正係数算出部１１２に接続されている。レンズ制御部１０７はＡＦモータ１０３に接続されており、赤外線センサ１０９は距離情報算出部１０８に接続されている。補正係数算出部１１２は、変換部１１１に接続されており、信号処理部１１０は変換部１１１に接続されている。変換部１１１は圧縮部１１３に接続されており、圧縮部１１３は出カ部１１４に接続されている。マイクロコンピュータなどの制御部１１５は、Ａ／Ｄ１０４、測光評価部１０６、レンズ制御部１０７、距離情報算出部１０８、赤外線センサ１０９、信号処理部１１０、変換部１１１、補正係数算出部１１２、圧縮部１１３、出力部１１４と双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部１／Ｆ部１１６も、制御部１１５と双方向に接続されている。   The configuration of the first embodiment will be described with reference to FIG. An image captured through the lens system 100, the aperture 101, and the CCD 102 is converted into a digital signal by an A / D converter 104 (hereinafter, simply referred to as A / D 104 in the specification and drawings of the present invention). Converted. The video signal from the A / D 104 is transferred to the photometric evaluation unit 106, the distance information calculation unit 108, and the signal processing unit 110 via the buffer 105. The photometric evaluation unit 106 is connected to the aperture 101 and the CCD 102, and the distance information calculation unit 108 is connected to the lens control unit 107 and the correction coefficient calculation unit 112. The lens control unit 107 is connected to the AF motor 103, and the infrared sensor 109 is connected to the distance information calculation unit 108. The correction coefficient calculation unit 112 is connected to the conversion unit 111, and the signal processing unit 110 is connected to the conversion unit 111. The conversion unit 111 is connected to the compression unit 113, and the compression unit 113 is connected to the output unit 114. A control unit 115 such as a microcomputer includes an A / D 104, a photometric evaluation unit 106, a lens control unit 107, a distance information calculation unit 108, an infrared sensor 109, a signal processing unit 110, a conversion unit 111, a correction coefficient calculation unit 112, and a compression unit. 113 and the output unit 114 are bidirectionally connected. Furthermore, an external 1 / F unit 116 having a power switch, a shutter button, and an interface for switching various modes at the time of shooting is also connected to the control unit 115 in both directions.

次に、第１の実施形態について図１に示す信号の流れに沿って説明する。外部１／Ｆ部１１６を介して、ＩＳＯ感度、シャッター速度などの撮影条件のパラメータを設定した後に、シャンターボタンを半押しにすることでプリ撮影モードに入る。レンズ系１００、絞り１０１、ＣＣＤ１０２を介して撮影された映像信号は、Ａ／Ｄ１０４にてデジタル信号に変換されてバッファ１０５へ転送される。ここで、本実施形態においては、デジタル化された映像信号の階調幅を例えば１２ビットとする。バッファ１０５内の映像信号は、測光評価部１０６、距離情報算出部１０８、信号処理部１１０へ転送される。測光評価部１０６では、映像信号中の輝度レベルを求めて、適正露光となるよう絞り１０１やＣＣＤ１０２の電子シャッター速度などを制御する。距離情報算出部１０８では、外部赤外線センサ１０９を用いて撮像装置と被写体までの距離を示す距離情報を算出する。あるいは、映像信号のコントラスト情報を検出し、画像中の距離情報を得たい位置においてコントラストが最大となるようにＡＦモータ１０３を制御することで合焦画像を取得する。当該合焦画像が得られるときのレンズ位置（あるいはＡＦモータの制御情報）から距離情報を算出する。算出された距離情報は、レンズ制御部１０７、補正係数算出部１１２へ転送される。   Next, the first embodiment will be described along the signal flow shown in FIG. After setting shooting condition parameters such as ISO sensitivity and shutter speed via the external 1 / F unit 116, the pre-shooting mode is entered by pressing the shunt button halfway. A video signal photographed through the lens system 100, the diaphragm 101, and the CCD 102 is converted into a digital signal by the A / D 104 and transferred to the buffer 105. Here, in this embodiment, the gradation width of the digitized video signal is, for example, 12 bits. The video signal in the buffer 105 is transferred to the photometric evaluation unit 106, the distance information calculation unit 108, and the signal processing unit 110. The photometric evaluation unit 106 obtains the luminance level in the video signal and controls the electronic shutter speed of the aperture 101 and the CCD 102 so as to achieve proper exposure. The distance information calculation unit 108 uses the external infrared sensor 109 to calculate distance information indicating the distance between the imaging device and the subject. Alternatively, the contrast information of the video signal is detected, and the in-focus image is acquired by controlling the AF motor 103 so that the contrast is maximized at the position where the distance information in the image is desired. The distance information is calculated from the lens position (or AF motor control information) when the focused image is obtained. The calculated distance information is transferred to the lens control unit 107 and the correction coefficient calculation unit 112.

次に、外部１／Ｆ部１１６を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。木撮影は、測光評価部１０６にて求められた露光条件と、レンズ制御部１０７によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部１１５ヘ転送される。バッファ１０５内の映像信号は、信号処理部１１０へ転送される。信号処理部１１０は、制御部１１５の制御に基づきバッファ１０５上の単板状態の映像信号を読み込み、公知の補間処理、ホワイトバランス処理、強調処理などが行われた三板状態の信号を生成し、変換部１１１へ転送する。補正係数算出部１１２では、距離情報算出部１０８を介して得られる撮像装置と被写体間の距離を示す距離情報に基づいて、階調変換曲線の物性に変化を与えるための補正係数を算出する。例えば、距離に対して階調変換曲線の傾斜が単調に抑制されるように補正係数を算出する。なお、本実施形態においては、距離情報算出剖１０８で得られる距離情報は映像信号中の複数点であるとする。外部赤外線センサ１０９を用いて画像上の複数領域に対応する位置での距離情報を算出したり、画素あるいは複数画素を包含する複数領域に対応する位置での映像信号のコントラストから距離情報を算出したりすることで、複数点の距離情報を取得する。変換部１１１では、局所領域のヒストグラム、および補正係数算出部１１２にて算出された補正係数を用いて階調変換曲線を設定し、映像信号に対して階調変換処理を行う。階調変換処理後の映像信号は、圧縮部１１３へ転送される。圧縮部１１３では、変換部１１１を介して得られた映像信号に対して、公知のＪＰＥＧなどの圧縮処理を行い、圧縮処理後の映像信号は出力部１１４へ転送される。出力部１１４では、圧縮した信号をメモリカードなどへ記録、保存する。   Next, full shooting is performed by fully pressing the shutter button via the external 1 / F unit 116, and the video signal is transferred to the buffer 105 in the same manner as the pre-shooting. Tree photographing is performed based on the exposure condition obtained by the photometric evaluation unit 106 and the focusing condition obtained by the lens control unit 107, and these photographing conditions are transferred to the control unit 115. The video signal in the buffer 105 is transferred to the signal processing unit 110. Based on the control of the control unit 115, the signal processing unit 110 reads a single-panel video signal on the buffer 105, generates a three-plate signal that has undergone known interpolation processing, white balance processing, enhancement processing, and the like. Transfer to the conversion unit 111. The correction coefficient calculation unit 112 calculates a correction coefficient for changing the physical properties of the gradation conversion curve based on distance information indicating the distance between the imaging device and the subject obtained via the distance information calculation unit 108. For example, the correction coefficient is calculated so that the slope of the gradation conversion curve is monotonously suppressed with respect to the distance. In the present embodiment, it is assumed that the distance information obtained by the distance information calculation 108 is a plurality of points in the video signal. Using the external infrared sensor 109, distance information at a position corresponding to a plurality of areas on the image is calculated, or distance information is calculated from a contrast of a video signal at a position corresponding to a pixel or a plurality of areas including a plurality of pixels. To obtain the distance information of a plurality of points. In the conversion unit 111, a gradation conversion curve is set using the histogram of the local region and the correction coefficient calculated by the correction coefficient calculation unit 112, and gradation conversion processing is performed on the video signal. The video signal after the gradation conversion process is transferred to the compression unit 113. The compression unit 113 performs compression processing such as known JPEG on the video signal obtained via the conversion unit 111, and the compressed video signal is transferred to the output unit 114. The output unit 114 records and stores the compressed signal in a memory card or the like.

図２は変換部１１１の構成の一例を示すものである。図２において、変換部１１１は、バッファ２００、局所領域抽出部２０１、代表点抽出部２０２、ヒストグラム作成部２０３、クリッピング部２０４、累積正規化部２０５、階調曲線作成部２０６、階調変換部２０７からなる。信号処理部１０８は、バッファ２００に接続されており、バッファ２００および代表点抽出部２０２は局所領域抽出部２０１に接続されている。局所領域抽出部２０１は、ヒストグラム作成部２０３に接続されており、ヒストグラム作成部２０３、および補正係数算出部１１２はクリッピング部２０４に接続されている。   FIG. 2 shows an example of the configuration of the conversion unit 111. In FIG. 2, a conversion unit 111 includes a buffer 200, a local region extraction unit 201, a representative point extraction unit 202, a histogram creation unit 203, a clipping unit 204, a cumulative normalization unit 205, a gradation curve creation unit 206, and a gradation conversion unit. 207. The signal processing unit 108 is connected to the buffer 200, and the buffer 200 and the representative point extraction unit 202 are connected to the local region extraction unit 201. The local region extraction unit 201 is connected to the histogram creation unit 203, and the histogram creation unit 203 and the correction coefficient calculation unit 112 are connected to the clipping unit 204.

クリッピング部２０４は、累積正規化部２０５に接続されており、累積正規化部２０５は階調曲線作成部２０６に接続されている。階調曲線作成部２０６は、階調変換部２０７に接続されており、階調変換部２０７は圧縮部１１３に接続されている。制御部１１５は、局所領域抽出部２０１、代表点抽出部２０２、ヒストグラム作成部２０３、クリッピング部２０４、累積正規化部２０５階調曲線作成部２０６、階調変換部２０７と双方向に接続されている。   The clipping unit 204 is connected to the cumulative normalization unit 205, and the cumulative normalization unit 205 is connected to the gradation curve creation unit 206. The gradation curve creation unit 206 is connected to the gradation conversion unit 207, and the gradation conversion unit 207 is connected to the compression unit 113. The control unit 115 is bidirectionally connected to the local region extraction unit 201, the representative point extraction unit 202, the histogram creation unit 203, the clipping unit 204, the cumulative normalization unit 205, the gradation curve creation unit 206, and the gradation conversion unit 207. Yes.

信号処理部１１０から転送される映像信号は、バッファ２００に保存される。代表点抽出部２０２は、制御部１１５を介して、距離情報算出部１０８にて被写体との距離情報が得られている映像信号の代表点を一点、あるいは複数点抽出する。局所領域抽出部２０１は、代表点抽出部２０２にて抽出された代表点の画素を中心とした所定のサイズの矩形領域、例えば本例では１６×１６画素単位の局所領域を抽出する。ヒストグラム作成部２０３では、局所領域抽出部２０１で抽出された局所領域ごとにヒストグラムを作成し、作成したヒストグラムの情報をクリッピング部２０４へ転送する。クリッピング部２０４は、処理対象の代表点の距離情報を用いて補正係数算出部１１２にて得られた補正係数に基づいて、ヒストグラム作成部２０３で作成したヒストグラムに対してクリップ処理を行う。   The video signal transferred from the signal processing unit 110 is stored in the buffer 200. The representative point extracting unit 202 extracts one or a plurality of representative points of the video signal from which distance information to the subject is obtained by the distance information calculating unit 108 via the control unit 115. The local region extraction unit 201 extracts a rectangular region having a predetermined size centered on the pixel of the representative point extracted by the representative point extraction unit 202, for example, a local region of 16 × 16 pixels in this example. The histogram creation unit 203 creates a histogram for each local region extracted by the local region extraction unit 201, and transfers the created histogram information to the clipping unit 204. The clipping unit 204 performs clip processing on the histogram created by the histogram creation unit 203 based on the correction coefficient obtained by the correction coefficient calculation unit 112 using the distance information of the representative point to be processed.

図３はクリップ処理の説明図である。図３（ａ）は、ヒストグラム作成部２０３からのオリジナルのヒストグラムと、縦軸の頻度に対するクリップ値を示している。第３図（ｂ）は、クリップ処理によりクリップ値以上の頻度をクリップ値に置換したヒストグラムを示す。第３図（ｃ）は、オリジナルのヒストグラムとクリップ処理後のヒストグラムを累積、正規化して得られた階調変換曲線を示す。クリップ処理によりヒストグラムの頻度を抑制し、その結果、階調変換曲線の傾斜が抑制される。クリップ処理におけるクリップ値を低めに設定すると、信号に対するゲインを低くすると共に、局所領域におけるコントラストをあまり変えない。これに対して、クリップ処理におけるクリップ値を高めに設定すると、信号に対するゲインを高くすると共に、局所領域におけるコントラストを高める効果がある。本実施例では、クリップＣは（１）式で算出する。   FIG. 3 is an explanatory diagram of clip processing. FIG. 3A shows an original histogram from the histogram creation unit 203 and clip values with respect to the frequency on the vertical axis. FIG. 3 (b) shows a histogram in which the frequency equal to or higher than the clip value is replaced with the clip value by the clip processing. FIG. 3 (c) shows a gradation conversion curve obtained by accumulating and normalizing the original histogram and the histogram after clipping. The frequency of the histogram is suppressed by clip processing, and as a result, the gradient of the gradation conversion curve is suppressed. If the clip value in the clip process is set low, the gain for the signal is lowered and the contrast in the local region is not changed much. On the other hand, when the clip value in the clipping process is set high, there is an effect of increasing the gain for the signal and increasing the contrast in the local region. In this embodiment, the clip C is calculated by the equation (1).

Figure 2007329619
Figure 2007329619

ここで、Ｗは所定の重み係数を、Ｎは局所領域内の総画素数を表す。ｋ（ｄ）は補正係数算出部１１２から得られた距離ｄに関する補正係数を表す。補正係数ｋ（ｄ）は、距離情報で示される距離ｄに関して単調減少となる形が望ましく、例えば、（２）式の関数で表される。   Here, W represents a predetermined weight coefficient, and N represents the total number of pixels in the local region. k (d) represents a correction coefficient related to the distance d obtained from the correction coefficient calculation unit 112. The correction coefficient k (d) is desirably in a monotonically decreasing manner with respect to the distance d indicated by the distance information, and is represented by, for example, a function of equation (2).

Figure 2007329619
Figure 2007329619

ここで、ｃｏｎｓｔは所定の定数を表す。（２）式に示されているように、撮像装置から被写体までの距離が近い程、階調変換曲線を生成するためのクリップ値を高く設定し、階調変換処理によってコントラストが高くなるようにする。クリップ処理されたヒストグラムは、累積正規化部２０５に転送される。累積正規化部２０５は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅に合わせて正規化することで階調変換曲線を生成する。   Here, const represents a predetermined constant. As shown in equation (2), the closer the distance from the imaging device to the subject, the higher the clip value for generating the gradation conversion curve and the higher the contrast by the gradation conversion process. To do. The clipped histogram is transferred to the cumulative normalization unit 205. The cumulative normalization unit 205 creates a cumulative histogram by accumulating the histogram, and generates a gradation conversion curve by normalizing it according to the gradation width.

本実施形態では、映像信号の階調幅を１２ビットとするため、上記階調変換曲線は１２ビット入力１２ビット出カとなる。上記階調変換曲線は、階調曲線作成部２０６に転送される。階調曲線作成部２０６では、累積正規化部２０５で得られた複数点における階調変換曲線をもとに、映像信号の全画素における階調変換曲線を算出する。距離情報の得られていない画素位置がある場合には、階調変換曲線の算出は、例えば図４に示す線形補間処理にて行う。本実施形態では注目画素（ｘ、ｙ）の階調変換曲線ｆ（ｘ、ｙ）を、周囲の４点の画素を用いて（３）式で算出する。   In this embodiment, since the gradation width of the video signal is 12 bits, the gradation conversion curve is a 12-bit input 12-bit output. The gradation conversion curve is transferred to the gradation curve creation unit 206. The gradation curve creation unit 206 calculates a gradation conversion curve for all pixels of the video signal based on the gradation conversion curves at a plurality of points obtained by the cumulative normalization unit 205. When there is a pixel position for which distance information is not obtained, the gradation conversion curve is calculated by, for example, linear interpolation processing shown in FIG. In the present embodiment, the gradation conversion curve f (x, y) of the target pixel (x, y) is calculated by the expression (3) using the surrounding four pixels.

Figure 2007329619
Figure 2007329619

（３）式の計算は、図４のＡ点とＢ点の値を、最初にそれぞれの左右の値を用いて線形補間することにより求め、さらに求めたＡ，Ｂの点を縦方向に線形補間する。同様に、同図のＣ点とＤ点の値を、それぞれ上下の値を用いて線形補間することにより求め、さらにＣ，Ｄ点の横方向に線形補間して、画素（ｘ、ｙ）の階調変換曲線ｆ（ｘ、ｙ）を算出する。算出された上記階調変換曲線は、階調変換部２０７へ転送される。階調変換部２０７は、階調曲線作成部２０６から転送される階調変換曲線に基づき、バッファ２００上の注目画素を階調変換処理する。その後、出力時の階調幅（本実施例では８ビットと仮定）に適合するように除算処理を行う。８ビットの映像信号は圧縮部１１３へ転送される。なお、上記例では局所領域のヒストグラムに基づく階調変換曲線を算出しているが、このような構成に限定される必要はない。   In the calculation of equation (3), the values of points A and B in FIG. 4 are first obtained by linear interpolation using the respective left and right values, and the obtained points A and B are linearly aligned in the vertical direction. Interpolate. Similarly, the values of points C and D in the figure are obtained by linear interpolation using the upper and lower values, respectively, and further linearly interpolated in the horizontal direction of points C and D to obtain the pixel (x, y). A gradation conversion curve f (x, y) is calculated. The calculated gradation conversion curve is transferred to the gradation conversion unit 207. The tone conversion unit 207 performs tone conversion processing on the pixel of interest on the buffer 200 based on the tone conversion curve transferred from the tone curve creation unit 206. Thereafter, division processing is performed so as to conform to the gradation width at the time of output (in this embodiment, 8 bits are assumed). The 8-bit video signal is transferred to the compression unit 113. In the above example, the gradation conversion curve based on the histogram of the local region is calculated, but it is not necessary to be limited to such a configuration.

例えば、図５に示されるように、予め設定した階調変換曲線を用いる構成も可能である。図５は、図２に示す変換部１１１の構成において、局所領域抽出部２０１、ヒストグラム作成部２０３、クリッピング部２０４、累積正規化部２０５を省略し、階調変換曲線ＲＯＭ２０８および階調曲線変更部２０９を追加した構成になっている。基本構成は、第２図に示す変換部と同等であり、同一の構成には同一の名称と番号を付している。以下、異なる部分のみ説明する。   For example, as shown in FIG. 5, a configuration using a preset gradation conversion curve is also possible. 5 omits the local region extraction unit 201, the histogram creation unit 203, the clipping unit 204, and the cumulative normalization unit 205 in the configuration of the conversion unit 111 shown in FIG. 2, and the gradation conversion curve ROM 208 and the gradation curve change unit. 209 is added. The basic configuration is equivalent to the conversion unit shown in FIG. 2, and the same name and number are assigned to the same configuration. Only different parts will be described below.

階調変換曲線ＲＯＭ２０８は、階調曲線変更部２０９へ接続されている。補正係数算出部１１２は、階調曲線変更部２０９へ接続されており、階調曲線変更部２０９は階調曲線作成部２０６に接続されている。階調曲線変更部２０９は、補正係数算出部１１２の補正係数に基づき、階調変換曲線ＲＯＭ２０８から読み込まれる階調変換曲線を補正する。例えば、入力輝度値ｉ（ｉ＝０〜１）に対する階調変換曲線がγ（ｉ）で与えられていれば、補正された階調変換曲線γ′（ｉ）は（４）式で表される。   The tone conversion curve ROM 208 is connected to the tone curve changing unit 209. The correction coefficient calculation unit 112 is connected to the gradation curve changing unit 209, and the gradation curve changing unit 209 is connected to the gradation curve creating unit 206. The gradation curve changing unit 209 corrects the gradation conversion curve read from the gradation conversion curve ROM 208 based on the correction coefficient of the correction coefficient calculation unit 112. For example, if the gradation conversion curve for the input luminance value i (i = 0 to 1) is given by γ (i), the corrected gradation conversion curve γ ′ (i) is expressed by equation (4). The

Figure 2007329619
Figure 2007329619

階調変換曲線ＲＯＭ２０８には、予め輝度値と階調変換曲線との間の関係を記録する。ここでは、例えば、距離ｄに関する補正係数ｋ（ｄ）は、距離ｄの大きさに応じて補正係数ｋ（ｄ）の値が大きくなるよう設定することが望ましい。このように、標準的な階調変換曲線を予め設定しておくことにより、処理速度を高速化することができる。上記補正された階調変換曲線は、階調変換作成部２０６へ転送される。以後の処理は、図２で説明した処理と同等である。   In the gradation conversion curve ROM 208, the relationship between the luminance value and the gradation conversion curve is recorded in advance. Here, for example, the correction coefficient k (d) related to the distance d is desirably set so that the value of the correction coefficient k (d) increases in accordance with the magnitude of the distance d. Thus, by setting a standard gradation conversion curve in advance, the processing speed can be increased. The corrected gradation conversion curve is transferred to the gradation conversion creation unit 206. The subsequent processing is equivalent to the processing described in FIG.

上記図５の構成により、被写体までの距離に応じた適応的な階調変換曲線を得ることができる。このような適応的な階調変換曲線により、距離に応じて適切な階調特性を有し、奥行き感のある主観的に好ましい画像が得られる。階調変換処理は従来と同一構成で、補正処理を追加する形態となるため、従来の装置との親和性が高く実装が容易となる。階調変換曲線はヒストグラムに基づき設定されるため、多様なシーンに対して適応的に階調変換処理を行うことが可能となり、明暗比の大きなシーンに対しても高品位な映像信号を得ることができる。また、領域ごとに独立に階調特性に対する制限を設定することにより、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、標準的な階調変換曲線を固定的に設定することにより、高速な処理が可能となる。   With the configuration shown in FIG. 5, an adaptive tone conversion curve corresponding to the distance to the subject can be obtained. With such an adaptive gradation conversion curve, a subjectively preferable image having a suitable gradation characteristic according to the distance and having a sense of depth can be obtained. Since the gradation conversion processing has the same configuration as the conventional one and a correction processing is added, the compatibility with the conventional apparatus is high and mounting is easy. Since the gradation conversion curve is set based on the histogram, it is possible to adaptively perform gradation conversion processing for various scenes, and to obtain high-quality video signals even for scenes with a large contrast ratio. Can do. In addition, by setting the restriction on the gradation characteristics independently for each region, side effects such as an increase in noise components and failure of color reproduction can be suppressed. Furthermore, high-speed processing is possible by setting a standard gradation conversion curve fixedly.

なお、上記構成例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。映像信号処理を所定の段階を経て実施する構成、すなわち、映像信号処理方法として構成することができる。さらに、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１５からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図６は、本発明にかかる第１の実施形態における階調変換処理のソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ１にて、未処理の映像信号と撮像条件などの付隨情報を含むヘッダ情報を読み込む。Ｓｔｅｐ２にて、公知の補間処理，ホワイトバランス処理，強調処理などを行う。Ｓｔｅｐ２にて信号処理された映像信号は、一方でＳｔｅｐ５にて、距離情報を算出し、Ｓｔｅｐ６で上記距離情報に基づき補正係数を算出する。また、Ｓｔｅｐ２にて信号処理された映像信号は、他方でＳｔｅｐ３にて、代表点を中心とする局所領域を順次抽出する。次に、Ｓｔｅｐ４にて、抽出した局所領域のヒストグラムを作成する。   In the above configuration example, processing by hardware is assumed, but it is not necessary to be limited to such a configuration. The video signal processing can be configured through a predetermined stage, that is, a video signal processing method. Further, it is also possible to output the signal from the CCD 102 as raw data as raw data, output information at the time of photographing from the control unit 115 as header information, and separately process it with software. FIG. 6 is a flowchart regarding the software processing of the gradation conversion processing according to the first embodiment of the present invention. At Step 1, header information including unprocessed video signals and supplementary information such as imaging conditions is read. In Step 2, known interpolation processing, white balance processing, enhancement processing, and the like are performed. On the other hand, the video signal subjected to the signal processing in Step 2 calculates distance information in Step 5, and calculates a correction coefficient based on the distance information in Step 6. On the other hand, the local signal centering on the representative point is sequentially extracted from the video signal subjected to signal processing in Step 2 on the other hand. Next, in Step 4, a histogram of the extracted local region is created.

Ｓｔｅｐ７にて、Ｓｔｅｐ６からの補正係数に基づきＳｔｅｐ４で得られたヒストグラムに対してクリッピング処理を行う。Ｓｔｅｐ８にて、クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する。Ｓｔｅｐ３〜Ｓｔｅｐ８の処理は、距離情報を算出できる代表点すべてに対して行う。
Ｓｔｅｐ９にて、Ｓｔｅｐ８からの階調変換曲線に基づき注目画素に対して階調変換処理を行う。Ｓｔｅｐ１０にて、全注目画素が完了したか否かを判断し、全注目画素が完了していない場合はＳｔｅｐ９へ移行し、全注目画素が完了した場合はＳｔｅｐ１１へ移行する。Ｓｔｅｐ１１にて、公知のＪＰＥＧなどの圧縮処理を行う。Ｓｔｅｐ１２にて、処理後の信号が出力されプログラムを終了する。 In Step 7, clipping processing is performed on the histogram obtained in Step 4 based on the correction coefficient from Step 6. In Step 8, a gradation conversion curve is generated by accumulating and normalizing the histogram after the clipping process. The processing of Step 3 to Step 8 is performed for all representative points for which distance information can be calculated.
In Step 9, gradation conversion processing is performed on the target pixel based on the gradation conversion curve from Step 8. In Step 10, it is determined whether or not all the target pixels are completed. If all the target pixels are not completed, the process proceeds to Step 9, and if all the target pixels are completed, the process proceeds to Step 11. At Step 11, a known compression process such as JPEG is performed. At Step 12, the processed signal is output and the program is terminated.

また、上記図５の構成例では、被写体までの距離情報に基づき各画素に対する補正係数を算出し、算出した補正係数を用いて階調変換曲線を設定していたが、これに限定されるものではない。補正係数を介さずに、距離情報を用いて直接階調変換曲線を設定する構成も可能である。例えば、距離情報の値に対応した階調変換曲線を予め設定しておき、各画素ごとに距離情報に対応する階調変換曲線を選択し、選択した階調変換曲線を用いて階調変換処理を行う方法が考えられる。   In the configuration example of FIG. 5, the correction coefficient for each pixel is calculated based on the distance information to the subject, and the gradation conversion curve is set using the calculated correction coefficient. However, the present invention is not limited to this. is not. A configuration in which a gradation conversion curve is directly set using distance information without using a correction coefficient is also possible. For example, a gradation conversion curve corresponding to the distance information value is set in advance, a gradation conversion curve corresponding to the distance information is selected for each pixel, and gradation conversion processing is performed using the selected gradation conversion curve. A way to do this is conceivable.

図７は、上記処理を行うための変換部１１１の構成の一例を示すものである。図７の構成では、図５に示す構成から、補正係数算出部１１２、階調曲線変更部２０９を省略し、階調曲線設定部２１０を追加した形態となっている。基本構成は図５に示す変換部１１１と同等であり、同一の構成には同一の名称と番号を付している。以下、図５に示す構成と異なる部分のみ説明する。   FIG. 7 shows an example of the configuration of the conversion unit 111 for performing the above processing. In the configuration of FIG. 7, the correction coefficient calculation unit 112 and the gradation curve changing unit 209 are omitted from the configuration illustrated in FIG. 5, and a gradation curve setting unit 210 is added. The basic configuration is the same as that of the conversion unit 111 shown in FIG. 5, and the same configuration is given the same name and number. Only the parts different from the configuration shown in FIG. 5 will be described below.

図７において、階調変換曲線ＲＯＭ２０８は、階調曲線設定部２１０に接続されている。階調曲線設定部２１０は階調曲線作成部２０６に接続されており、制御部１１５は階調曲線設定部２１０へ接続されている。階調変換曲線ＲＯＭ２０８には、予め距離情報と階調変換曲線との間の関係を記億する。階調曲線設定部２１０は、階調変換曲線ＲＯＭ２０８より制御部１１５からの距離情報に応じた階調変換曲線を読み込む。   In FIG. 7, the gradation conversion curve ROM 208 is connected to the gradation curve setting unit 210. The gradation curve setting unit 210 is connected to the gradation curve creation unit 206, and the control unit 115 is connected to the gradation curve setting unit 210. In the gradation conversion curve ROM 208, the relationship between the distance information and the gradation conversion curve is recorded in advance. The gradation curve setting unit 210 reads a gradation conversion curve corresponding to the distance information from the control unit 115 from the gradation conversion curve ROM 208.

以後の処理は、図５と同等である。なお、本例のように、階調変換曲線ＲＯＭ２０８に距離情報に応じた階調変換曲線を保存する構成に限定されるものではない。例えば、階調変換曲線ＲＯＭ２０８に、距離情報と輝度情報に対応する階調変換後の出力信号値の関係をテーブルとして予め保存しておき、注目画素の距離情報と輝度情報に基づき、テーブルを参照して階調変換処理を行うことも可能である。   The subsequent processing is the same as in FIG. Note that the present invention is not limited to the configuration in which the gradation conversion curve according to the distance information is stored in the gradation conversion curve ROM 208 as in this example. For example, the relationship between the distance information and the output signal value after gradation conversion corresponding to the luminance information is stored in advance in the gradation conversion curve ROM 208 as a table, and the table is referred to based on the distance information and luminance information of the target pixel. It is also possible to perform gradation conversion processing.

図８〜図１３は、本発明の第２実施形態を示している。図８は第２の実施形態の構成図、図９は撮影状況推定部１１７の構成図、図１０は評価測光用の分割パターンの説明図、図１１は撮影シーンの分類パターンの説明図、図１２は分類パターンに対する階調曲線設定の特性図、図１３は第２の実施形態における階調変換処理のフローチャートである。   8 to 13 show a second embodiment of the present invention. FIG. 8 is a block diagram of the second embodiment, FIG. 9 is a block diagram of the shooting state estimation unit 117, FIG. 10 is an explanatory diagram of a division pattern for evaluation photometry, FIG. 11 is an explanatory diagram of a shooting scene classification pattern, and FIG. 12 is a characteristic diagram of gradation curve setting for a classification pattern, and FIG. 13 is a flowchart of gradation conversion processing in the second embodiment.

本発明の第２の実施形態の構成を、図８により説明する。本実施形態は、第１の実施形態において、撮影推定状況部１１７を追加した構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を付している。以下、第１の実施形態とは異なる部分のみ説明する。測光評価部１０６、レンズ制御部１０７は撮影状況推定部１１７に接続されている。撮影状況推定部１１７は、補正係数算出部１１２に接続されており、制御部１１５は、撮影状況推定部１１７と双方向に接続されている。   The configuration of the second embodiment of the present invention will be described with reference to FIG. This embodiment has a configuration in which a shooting estimation situation unit 117 is added to the first embodiment. The basic configuration is the same as that of the first embodiment, and the same name and number are assigned to the same configuration. Only the parts different from the first embodiment will be described below. The photometric evaluation unit 106 and the lens control unit 107 are connected to the photographing state estimation unit 117. The shooting situation estimation unit 117 is connected to the correction coefficient calculation unit 112, and the control unit 115 is connected to the shooting situation estimation unit 117 in both directions.

次に、第２の実施形態について、図８に示す信号の流れに沿って説明する。第２実施形態は、基本的には第１の実施形態と同等であり、異なる部分のみ説明する。信号処理部１１０にて、公知の補間処理、ホワイトバランス処理、強調処理などが行われた三板状態の映像信号は、変換部１１１へ転送される。撮影状況推定部１１７では、測光評価部１０６にて求められた露光条件、レンズ制御部１０７にて求められた合焦条件に基づき、風景、ポートレート、逆光などの撮影状況を推定し、推定した撮影状況を補正係数算出部１１２へ転送する。   Next, a second embodiment will be described along the signal flow shown in FIG. The second embodiment is basically the same as the first embodiment, and only different parts will be described. The three-plate video signal that has been subjected to known interpolation processing, white balance processing, enhancement processing, and the like by the signal processing unit 110 is transferred to the conversion unit 111. The shooting situation estimation unit 117 estimates and estimates the shooting situation such as landscape, portrait, backlight, etc. based on the exposure conditions obtained by the photometric evaluation unit 106 and the focusing conditions obtained by the lens control unit 107. The shooting situation is transferred to the correction coefficient calculation unit 112.

補正係数算出部１１２では、距離情報算出部１０８で得られる被写体までの距離情報と、上記撮影状況推定部１１７からの撮影状況に関する情報に基づき補正係数を算出する。変換部１１１では、局所領域のヒストグラム、および補正係数算出部１１２にて算出された補正係数を用いて階調変換曲線を設定し、映像信号に対して階調変換処理を行う。階調変換処理後の映像信号は、圧縮部１１３へ転送される。   The correction coefficient calculation unit 112 calculates a correction coefficient based on the distance information to the subject obtained by the distance information calculation unit 108 and the information on the shooting situation from the shooting situation estimation unit 117. In the conversion unit 111, a gradation conversion curve is set using the histogram of the local region and the correction coefficient calculated by the correction coefficient calculation unit 112, and gradation conversion processing is performed on the video signal. The video signal after the gradation conversion process is transferred to the compression unit 113.

図９は撮影状況推定部１１７の構成の一例を示すものであり、撮影状況推定部１１７は、被写体分布推定部３００、合焦位置推定部３０１、統合部３０２からなる。測光評価部１０６およびレンズ制御部１０７からの情報が、被写体分布推定部３００および合焦位置推定部３０１へ転送される。被写体分布推定部３００、合焦位置推定部３０１は統合部３０２へ接続されており、統合部３０２は補正係数算出部１１２に接続されている。合焦位置推定部３０１では、制御部１１５を介して距離情報算出部１０８から距離情報を得る。合焦位置での距離情報に基づき、被写体を、例えば風景（５ｍ以上）、ポートレート（ｌｍ〜５ｍ）の２種類に分類し、この分類結果を合焦情報として統合部３０２へ転送する。   FIG. 9 shows an example of the configuration of the shooting situation estimation unit 117. The shooting situation estimation unit 117 includes a subject distribution estimation unit 300, a focus position estimation unit 301, and an integration unit 302. Information from the photometric evaluation unit 106 and the lens control unit 107 is transferred to the subject distribution estimation unit 300 and the focus position estimation unit 301. The subject distribution estimation unit 300 and the focus position estimation unit 301 are connected to the integration unit 302, and the integration unit 302 is connected to the correction coefficient calculation unit 112. The focused position estimation unit 301 obtains distance information from the distance information calculation unit 108 via the control unit 115. Based on the distance information at the in-focus position, the subject is classified into, for example, a landscape (5 m or more) and a portrait (lm to 5 m), and the classification result is transferred to the integration unit 302 as in-focus information.

一方、被写体分布推定部３００は、制御部１１５を介して測光評価に関する情報を得る。図１０は、測光評価用の分割パターンの一例を示す説明図であり、１３個の領域に分割し、各領域ごとに輝度値（ａi、ｉ＝１〜１３）を得る。被写体分布推定部３０１は、各領域の輝度値ａｉから、測光情報として例えば（５）式のパラメータを算出する。これにより輝度分布を算出する。 On the other hand, the subject distribution estimation unit 300 obtains information regarding photometric evaluation via the control unit 115. FIG. 10 is an explanatory diagram showing an example of a division pattern for photometric evaluation, which is divided into 13 regions, and luminance values (a i , i = 1 to 13) are obtained for each region. The subject distribution estimation unit 301 calculates, for example, a parameter of equation (5) as photometric information from the luminance value ai of each region. Thereby, the luminance distribution is calculated.

Figure 2007329619
Figure 2007329619

Ｓは中心領域と端領域の差の絶対値を求めるものであり、例えばポートレート撮影時に、暗所でストロボを焚いて撮影した場合にはＳの値が正の大きな値となり、逆光の環境で撮影した場合には、Ｓの値が負の大きな値となる。被写体分布推定部３００では、上記のような測光情報を算出し統合部３０２に転送する。統合部３０２は、合焦および測光情報に基づき撮影状況を推定する。   S is an absolute value of the difference between the center area and the edge area. For example, when taking a picture in a dark place with a strobe, the value of S becomes a large positive value. When shooting, the value of S becomes a large negative value. The subject distribution estimation unit 300 calculates the photometric information as described above and transfers it to the integration unit 302. The integration unit 302 estimates the shooting situation based on the focus and photometry information.

図１１は、合焦および測光情報から４種類の撮影状況を推定する場合を示す説明図である。図１１の例では、３種類のポートレート（Ｔｙｐｅ１〜Ｔｙｐｅ３）と、風景（Ｔｙｐｅ４）に分類されている。合焦情報からポートレートに分類された場合には、測光情報のパラメータＳを所定の閾値ｔｈと比較することで、標準シーン（Ｔｙｐｅ１）と、暗所ストロボシーン（Ｔｙｐｅ２）と、逆光シーン（Ｔｙｐｅ３）に分類できる。結合部３０２は、上記撮影状況を補正係数算出部１１２へ転送する。   FIG. 11 is an explanatory diagram showing a case where four types of shooting situations are estimated from focusing and photometry information. In the example of FIG. 11, the image is classified into three types of portraits (Type 1 to Type 3) and a landscape (Type 4). When the focus information is classified into the portrait, the standard scene (Type 1), the dark strobe scene (Type 2), and the backlight scene (Type 3) are compared by comparing the parameter S of the photometry information with a predetermined threshold th. ). The combining unit 302 transfers the shooting situation to the correction coefficient calculating unit 112.

図１２は、図１１に示す４種類の撮影状況に対応する、補正係数算出部１１２における補正係数の算出方法を示す説明図である。例えば、Ｔｙｐｅｌに分別された場合は、被写体までの距離の近い画素ほどゲインを大きく上げ、距離の遠い画素ほどゲインをほぼ変化させないように補正係数を算出する。具体的には、（２）式より距離に応じたクリップ値を設定し、代表点画素近傍領域より生成したヒストグラムのクリップ処理を行う、もしくは距離に応じて最適な処理を行う階調変換曲線を選択する。Ｔｙｐｅ２に分別された場合は、距離の近い画素の輝度が全体的に高くなり、距離の遠い画素の輝度が全体的に低くなるので、距離の近い画素ほどゲインを下げ、距離の遠い画素ほどゲインを大きく上げるよう、補正係数を算出する。具体的には、（２）式の定数ｃｏｎｓｔに距離ｄを積算してクリップ値を設定し、ヒストグラムのクリップ処理を行う、もしくは距離に応じた最適な階調変換曲線を選択する。   FIG. 12 is an explanatory diagram showing a correction coefficient calculation method in the correction coefficient calculation unit 112 corresponding to the four types of shooting situations shown in FIG. For example, in the case of classification into Type, the correction coefficient is calculated so that the closer the pixel to the subject is, the higher the gain is, and the farther the pixel is, the more the gain is not changed. Specifically, a gradation conversion curve for setting a clip value according to the distance from the equation (2) and clipping the histogram generated from the representative pixel vicinity region or performing an optimum process according to the distance is shown. select. In the case of classification into Type 2, the brightness of pixels that are close to each other is generally high, and the brightness of pixels that are far away is generally low, so that the gain is lowered as the pixels are closer and the gain is higher as the pixels are farther away. The correction coefficient is calculated so as to greatly increase. Specifically, the clip value is set by adding the distance d to the constant const in the equation (2), and the clip processing of the histogram is performed, or the optimum gradation conversion curve corresponding to the distance is selected.

撮影状況がＴｙｐｅ３に分別された場合は、距離の近い画素ほど輝度が全体的に低くなるのに対して、距離の遠い画素ほど輝度が全体的に高くなるので、距離の近い画素ほどゲインを高くし、距離の遠い画素ほどゲインが低くなるよう、補正係数、もしくは階調変換曲線を選択する。Ｔｙｐｅ４の場合は、主要被写体が距離の遠い場所に存在するので、距離の遠い画素ほどゲインを大きく上げるよう補正係数、もしくは階調変換曲線を選択する。   When the shooting situation is classified as Type 3, the closer the pixel is, the lower the overall brightness, whereas the farther the pixel is, the higher the overall brightness is. Therefore, the closer the pixel is, the higher the gain is. Then, a correction coefficient or a gradation conversion curve is selected so that the gain becomes lower as the pixel is farther away. In the case of Type 4, since the main subject exists at a far place, a correction coefficient or a gradation conversion curve is selected so that the gain is increased as the pixel is farther away.

上記構成により、被写体までの距離と撮影状況に関する情報に基づいた適応的な階調変換曲線を得ることができる。撮影時に撮影シーンを推定し補正係数を求めるため、撮影シーンごとに階調変換処理を制御することが可能となり、被写体に応じた主観的に好ましい画像が得られる。なお、上記構成例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。映像信号処理を所定の段階を経て実施する構成、すなわち、映像信号処理方法として構成することができる。さらに、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１５からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。   With the above configuration, it is possible to obtain an adaptive tone conversion curve based on the information about the distance to the subject and the shooting situation. Since the shooting scene is estimated and the correction coefficient is obtained at the time of shooting, the gradation conversion process can be controlled for each shooting scene, and a subjectively preferable image corresponding to the subject can be obtained. In the above configuration example, processing by hardware is assumed, but it is not necessary to be limited to such a configuration. The video signal processing can be configured through a predetermined stage, that is, a video signal processing method. Further, it is also possible to output the signal from the CCD 102 as raw data as raw data, output information at the time of photographing from the control unit 115 as header information, and separately process it with software.

図１３は、本発明の第２の実施形態における階調変換処理のソフトウェア処理に関するフローチャートを示す。なお、図６に示す第１の実施形態における階調変換処理のフローチャートと同一の処理ステップに関しては、同一のＳｔｅｐ数を付している。Ｓｔｅｐ１にて、未処理の映像信号と撮像条件などの付随情報を含むヘッダ情報を読み込む。Ｓｔｅｐ２にて、公知の補間処理，ホワイトバランス処理，強調処理などを行う。Ｓｔｅｐ２にて信号処理された映像信号は、一方でＳｔｅｐ５にて、距離情報を算出し、この距離情報に基づいて上述のように合焦情報を得る。例えば風景、ポートレートの２種類に合焦位置の推定を行う。Ｓｔｅｐ１３にて、測光評価に基づき、例えば逆光や暗所でストロボなどに応じて変化する輝度分布を算出する。Ｓｔｅｐ１４にて、上記合焦位置および撮影環境を統合し、例えば図１１に示す４種類のタイプに撮影状況を分類する。Ｓｔｅｐ６で、推定されたシーンのタイプに基づき補正係数を算出する。   FIG. 13 shows a flowchart regarding the software processing of the gradation conversion processing according to the second embodiment of the present invention. Note that the same step numbers are assigned to the same processing steps as those in the flowchart of the gradation conversion processing in the first embodiment shown in FIG. At Step 1, header information including unprocessed video signals and accompanying information such as imaging conditions is read. In Step 2, known interpolation processing, white balance processing, enhancement processing, and the like are performed. On the other hand, the video signal subjected to the signal processing in Step 2 calculates distance information in Step 5, and obtains focusing information as described above based on the distance information. For example, the focus position is estimated for two types of scenery and portrait. In Step 13, based on the photometric evaluation, for example, a luminance distribution that changes in accordance with a strobe or the like in backlight or a dark place is calculated. At Step 14, the in-focus position and the shooting environment are integrated, and the shooting situations are classified into, for example, four types shown in FIG. In Step 6, a correction coefficient is calculated based on the estimated scene type.

また、Ｓｔｅｐ２にて信号処理された映像信号は、他方でＳｔｅｐ３にて、注目画素を中心とする局所領域を順次抽出する。次に、Ｓｔｅｐ４にて、抽出した領域のヒストグラムを作成する。Ｓｔｅｐ７にて、Ｓｔｅｐ６からの補正係数に基づきＳｔｅｐ４で得られたヒストグラムに対してクリッピング処理を行う。Ｓｔｅｐ８にて、クリッピング処理後のヒストグラムを累積、正規化することで階調変換曲線を生成する。これまでの処理は、距離情報を算出できる代表点すべてに対して行う。Ｓｔｅｐ９にて、Ｓｔｅｐ８からの階調変換曲線に基づき注目画素に対して階調変換処理を行う。Ｓｔｅｐ１０で、全注目画素が完了したか否かを判断し、全注目画素が完了していない場合はＳｔｅｐ３へ移行し、全注目画素が完了した場合はＳｔｅｐ１１へ移行する。Ｓｔｅｐ１１にて、公知のＪＰＥＧなどの圧縮処理を行う。Ｓｔｅｐ１２にて、処理後の信号が出力されプログラムを終了する。   On the other hand, the local signal centered on the target pixel is sequentially extracted from the video signal subjected to the signal processing in Step 2 on the other hand. Next, in Step 4, a histogram of the extracted area is created. In Step 7, clipping processing is performed on the histogram obtained in Step 4 based on the correction coefficient from Step 6. In Step 8, a gradation conversion curve is generated by accumulating and normalizing the histogram after the clipping process. The processing so far is performed for all representative points for which distance information can be calculated. In Step 9, gradation conversion processing is performed on the target pixel based on the gradation conversion curve from Step 8. In Step 10, it is determined whether or not all the target pixels are completed. If all the target pixels are not completed, the process proceeds to Step 3, and if all the target pixels are completed, the process proceeds to Step 11. At Step 11, a known compression process such as JPEG is performed. At Step 12, the processed signal is output and the program is terminated.

上記構成例では、合焦および測光情報に基づいて自動的に撮影状況の推定を行っていたが、これに限定されることはなく、手動により撮影状況を指定する構成も可能である。   In the above configuration example, the shooting situation is automatically estimated based on the focusing and photometry information. However, the present invention is not limited to this, and a configuration in which the shooting situation is manually specified is also possible.

以上説明したように、本発明によれば、被写体に応じた高品位な階調変換を行なう映像信号処理装置と映像信号処理方法、および映像信号処理プログラムを提供することができる。このような映像信号処理装置は、特に撮像装置に好適に適用される。   As described above, according to the present invention, it is possible to provide a video signal processing device, a video signal processing method, and a video signal processing program that perform high-quality gradation conversion according to a subject. Such a video signal processing apparatus is particularly preferably applied to an imaging apparatus.

第１の実施形態の構成図である。It is a block diagram of 1st Embodiment. クリップ処理の説明図である。It is explanatory drawing of a clip process. 線形補間の説明図である。It is explanatory drawing of linear interpolation. 第１の実施形態における変換部１１１の第２の構成図である。It is a 2nd block diagram of the conversion part 111 in 1st Embodiment. 第１の実施形態における変換部１１１の構成図である。It is a block diagram of the conversion part 111 in 1st Embodiment. 第１の実施形態における階調変換処理のフローチャートである。It is a flowchart of the gradation conversion process in 1st Embodiment. 変換部１１１の第３の構成図である。FIG. 6 is a third configuration diagram of a conversion unit 111. 第２の実施形態における構成図である。It is a block diagram in 2nd Embodiment. 撮影状況推定部１１７の構成図である。FIG. 11 is a configuration diagram of a shooting situation estimation unit 117. 評価測光用の分割パターンの説明図である。It is explanatory drawing of the division pattern for evaluation photometry. 撮影シーンの分類パターンの説明図である。It is explanatory drawing of the classification pattern of an imaging scene. 分類パターンに対する階調曲線設定の特性図である。It is a characteristic diagram of the gradation curve setting with respect to a classification pattern. 第２の実施形態における階調変換処理のフローチャートである。It is a flowchart of the gradation conversion process in 2nd Embodiment.

符号の説明Explanation of symbols

１００・・・レンズ系、１０２・・・ＣＣＤ、１０６・・・測光評価部、１０７・・・レンズ制御部、１０８・・・距離情報算出部、１１１・・・変換部、１１２・・・補正係数算出部、１１７・・・撮影状況推定部、２０３・・・ヒストグラム作成部、２０４・・・クリッピング部、２０６・・・階調曲線作成部、２０８・・・階調変換曲線ＲＯＭ、２０９・・・階調曲線変更部、３００・・・合焦点位置推定部、３０１・・・被写体分布推定部     DESCRIPTION OF SYMBOLS 100 ... Lens system, 102 ... CCD, 106 ... Photometry evaluation part, 107 ... Lens control part, 108 ... Distance information calculation part, 111 ... Conversion part, 112 ... Correction Coefficient calculation unit, 117 ... photographing state estimation unit, 203 ... histogram creation unit, 204 ... clipping unit, 206 ... gradation curve creation unit, 208 ... gradation conversion curve ROM, 209 ..Gradation curve changing unit, 300... In-focus position estimating unit, 301.

Claims (12)

撮像手段から得られた撮影対象の映像信号に対し階調変換処理を行う映像信号処理装置において、
前記撮影対象と前記撮影手段との距離情報を取得する距離情報取得手段と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う階調変換手段とを有することを特徴とする映像信号処理装置。 In a video signal processing apparatus that performs gradation conversion processing on a video signal to be captured obtained from an imaging means,
Distance information acquisition means for acquiring distance information between the imaging object and the imaging means, and gradation conversion means for performing gradation conversion processing on a target pixel of the video signal using the distance information. A characteristic video signal processing apparatus. 前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記距離情報に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、前記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする請求項１に記載の映像信号処理装置。 The gradation conversion means includes a histogram calculation means for calculating a histogram of the pixel of interest and a neighboring region, a clipping means for performing a clipping process on the histogram based on the distance information, and a gradation conversion based on the histogram after the clipping process. The video signal processing apparatus according to claim 1, further comprising a gradation conversion curve setting unit that sets a curve. 前記階調変換手段は、前記距離情報に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段を更に有することを特徴とする請求項１に記載の映像信号処理装置。 The video signal processing apparatus according to claim 1, wherein the gradation conversion unit further includes a gradation conversion curve storage unit that stores a predetermined gradation conversion curve for the distance information. 前記距離情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段とを有することを特徴とする請求項１に記載の映像信号処理装置。 Correction coefficient calculating means for calculating a correction coefficient for the date-added pixel of the video signal using the distance information; and gradation conversion means for performing gradation conversion processing on the target pixel using the correction coefficient. The video signal processing apparatus according to claim 1. 前記映像信号の輝度分布を算出する輝度分布算出手段と、前記距離情報取得手段で取得した距離情報と、前記輝度分布算出手段で算出した輝度分布とに基づいて撮影状況の推定を行う撮影状況推定手段と、前記距離情報および前記撮影状況の情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段とを有することを特徴とする請求項１に記載の映像信号処理装置。 Shooting situation estimation for estimating the shooting situation based on the brightness distribution calculating means for calculating the brightness distribution of the video signal, the distance information acquired by the distance information acquiring means, and the brightness distribution calculated by the brightness distribution calculating means Means, a correction coefficient calculation means for calculating a correction coefficient for the day-of-date pixel of the video signal using the distance information and the information of the shooting situation, and a gradation conversion process using the correction coefficient for the target pixel. The video signal processing apparatus according to claim 1, further comprising a gradation conversion unit that performs the conversion. 前記階調変換手段は、前記注日画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数と前記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする請求項４に記載の映像信号処理装置。 The gradation conversion means further includes a histogram calculation means for calculating a histogram of the date-of-day pixel and a neighboring area, and a gradation conversion curve setting means for setting a gradation conversion curve based on the correction coefficient and the histogram. The video signal processing apparatus according to claim 4. 前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、前記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする請求項４に記載の映像信号処理装置。 The gradation converting means includes a histogram calculating means for calculating a histogram of the pixel of interest and a neighboring region, a clipping means for performing a clipping process on the histogram based on the correction coefficient, and a gradation conversion based on the histogram after the clipping process. 5. The video signal processing apparatus according to claim 4, further comprising gradation conversion curve setting means for setting a curve. 前記階調変換手段は、輝度に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段と、前記補正係数に基づき上記階調変換曲線を変更する階調曲線変更手段とを更に有することを特徴とする請求項４に記載の映像信号処理装置。 The gradation conversion means further includes a gradation conversion curve storage means for storing a predetermined gradation conversion curve for luminance, and a gradation curve changing means for changing the gradation conversion curve based on the correction coefficient. The video signal processing apparatus according to claim 4. 撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う段階と、からなることを特徴とする映像信号処理方法。 A step of acquiring a video signal to be imaged by an imaging unit; a step of acquiring distance information between the imaging target and the imaging unit; and a gradation conversion process for a target pixel of the video signal using the distance information And a video signal processing method characterized by comprising: 撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対する補正係数を算出する段階と、前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階と、からなることを特徴とする映像信号処理方法。 Acquiring a video signal to be imaged by the imaging means, obtaining distance information between the imaging object and the imaging means, and calculating a correction coefficient for the target pixel of the video signal using the distance information. And a step of adaptively performing gradation conversion processing on the pixel of interest using the correction coefficient. コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、撮影対象と撮影手段との距離情報を取得させる手順と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行わせる手順と、を実行させることを特徴とする映像信号処理プログラム。 A procedure for causing a computer to read an unprocessed video signal at the time of shooting, a procedure for acquiring distance information between a shooting target and a shooting means, and a tone conversion for a target pixel of the video signal using the distance information A video signal processing program characterized by executing a procedure for performing the processing. コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、信号処理された前記映像信号により距離情報を算出する手順と、前記距離情報に基づき補正係数を算出する手順と、前記信号処理された前記映像信号により注目画素を中心とする局所領域を順次抽出する手順と、前記抽出した領域のヒストグラムを作成する手順と、前記補正係数に基づき前記ヒストグラムに対してクリッピング処理を行う手順と、前記クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する手順と、前記階調変換曲線に基づき注目画素に対して階調変換処理を行う手順と、を実行させることを特徴とする映像信号処理プログラム。 A procedure for causing a computer to read an unprocessed video signal at the time of shooting, a procedure for calculating distance information based on the signal signal processed, a procedure for calculating a correction coefficient based on the distance information, and the signal processing A procedure for sequentially extracting a local region centered on a pixel of interest from the video signal, a procedure for creating a histogram of the extracted region, a procedure for performing a clipping process on the histogram based on the correction coefficient, A procedure for generating a gradation conversion curve by accumulating and normalizing a histogram after clipping processing and a procedure for performing gradation conversion processing on a pixel of interest based on the gradation conversion curve are executed. A video signal processing program.
JP2006158104A 2006-06-07 2006-06-07 Video signal processor, video signal processing method and video signal processing program Withdrawn JP2007329619A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006158104A JP2007329619A (en) 2006-06-07 2006-06-07 Video signal processor, video signal processing method and video signal processing program
PCT/JP2007/060758 WO2007142048A1 (en) 2006-06-07 2007-05-22 Video signal processing device, video signal processing method, and video signal processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006158104A JP2007329619A (en) 2006-06-07 2006-06-07 Video signal processor, video signal processing method and video signal processing program

Publications (1)

Publication Number Publication Date
JP2007329619A true JP2007329619A (en) 2007-12-20

Family

ID=38801308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006158104A Withdrawn JP2007329619A (en) 2006-06-07 2006-06-07 Video signal processor, video signal processing method and video signal processing program

Country Status (2)

Country Link
JP (1) JP2007329619A (en)
WO (1) WO2007142048A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171282A (en) * 2008-01-17 2009-07-30 Nikon Corp Electronic camera
WO2009093386A1 (en) * 2008-01-21 2009-07-30 Olympus Corporation Image processing apparatus, image processing program, computer readable storage medium having image processing program stored therein, and image processing method
JP2009194728A (en) * 2008-02-15 2009-08-27 Olympus Corp Imaging system, image processing method and image processing program
JP2009194727A (en) * 2008-02-15 2009-08-27 Olympus Corp Imaging system, image processing method and image processing program
US8525888B2 (en) 2008-01-17 2013-09-03 Nikon Corporation Electronic camera with image sensor and rangefinding unit
JP2017036937A (en) * 2015-08-07 2017-02-16 コニカミノルタ株式会社 Colorimetry device, colorimetry system and colorimetry method
WO2023047693A1 (en) * 2021-09-27 2023-03-30 富士フイルム株式会社 Image processing device, image processing method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010103668A1 (en) * 2009-03-11 2010-09-16 Olympus Corporation Image processing apparatus, image processing method, and image processing program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238129A (en) * 2000-02-22 2001-08-31 Olympus Optical Co Ltd Image processing apparatus and recording medium
JP2003069821A (en) * 2001-08-23 2003-03-07 Olympus Optical Co Ltd Imaging system
JP2003244620A (en) * 2002-02-19 2003-08-29 Fuji Photo Film Co Ltd Image processing method and apparatus, and program
JP2004215100A (en) * 2003-01-07 2004-07-29 Nikon Corp Image pickup device
JP4468734B2 (en) * 2004-04-27 2010-05-26 オリンパス株式会社 Video signal processing apparatus and video signal processing program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171282A (en) * 2008-01-17 2009-07-30 Nikon Corp Electronic camera
US8525888B2 (en) 2008-01-17 2013-09-03 Nikon Corporation Electronic camera with image sensor and rangefinding unit
WO2009093386A1 (en) * 2008-01-21 2009-07-30 Olympus Corporation Image processing apparatus, image processing program, computer readable storage medium having image processing program stored therein, and image processing method
JP2009194728A (en) * 2008-02-15 2009-08-27 Olympus Corp Imaging system, image processing method and image processing program
JP2009194727A (en) * 2008-02-15 2009-08-27 Olympus Corp Imaging system, image processing method and image processing program
JP2017036937A (en) * 2015-08-07 2017-02-16 コニカミノルタ株式会社 Colorimetry device, colorimetry system and colorimetry method
WO2023047693A1 (en) * 2021-09-27 2023-03-30 富士フイルム株式会社 Image processing device, image processing method, and program

Also Published As

Publication number Publication date
WO2007142048A1 (en) 2007-12-13

Similar Documents

Publication Publication Date Title
JP4218723B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US20180041691A1 (en) Camera using preview image to select exposure
JP4567593B2 (en) Imaging apparatus and imaging method
JP5672796B2 (en) Image processing apparatus and image processing method
JP5693271B2 (en) Image processing apparatus and method
JP2008104009A (en) Imaging apparatus and method
CN105960658B (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory storage medium that can be processed by computer
KR101309008B1 (en) Image processing method and image processing apparatus
US20100245632A1 (en) Noise reduction method for video signal and image pickup apparatus
WO2007077730A1 (en) Imaging system and image processing program
JP2007329619A (en) Video signal processor, video signal processing method and video signal processing program
KR20130061083A (en) Image pickup apparatus, control method for image pickup apparatus, and storage medium
JP2005318063A (en) Video signal processing apparatus and program, and video signal recording medium
JP4999871B2 (en) Imaging apparatus and control method thereof
US8345121B2 (en) Image processing apparatus, method, and program
JP2007329620A (en) Imaging device and video signal processing program
JP2006295582A (en) Image processor, imaging apparatus, and image processing program
JP2010183460A (en) Image capturing apparatus and method of controlling the same
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP2003069821A (en) Imaging system
JP2006157599A (en) Imaging device
JP6786273B2 (en) Image processing equipment, image processing methods, and programs
JP4705146B2 (en) Imaging apparatus and imaging method
KR101408359B1 (en) Imaging apparatus and imaging method
JP2009022044A (en) Image processing apparatus and image processing program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090901