JP2010135865A - Video signal processing device, image capturing apparatus and video signal processing method - Google Patents
Video signal processing device, image capturing apparatus and video signal processing method Download PDFInfo
- Publication number
- JP2010135865A JP2010135865A JP2008285899A JP2008285899A JP2010135865A JP 2010135865 A JP2010135865 A JP 2010135865A JP 2008285899 A JP2008285899 A JP 2008285899A JP 2008285899 A JP2008285899 A JP 2008285899A JP 2010135865 A JP2010135865 A JP 2010135865A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- contour
- unit
- level
- adder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、映像信号処理装置、撮像装置及び映像信号処理方法に関し、特にマニュアルフォーカスでのフォーカシング操作を容易にする技術に関する。 The present invention relates to a video signal processing device, an imaging device, and a video signal processing method, and more particularly to a technique for facilitating a focusing operation with manual focus.
放送局用、業務用ビデオカメラにおいては、その映像表現の自由度を上げる為に、画面の中央部に均一的にピントを合わせるオートフォーカスよりも、制作者の意図を反映できるマニュアルフォーカスによるフォーカシングが用いられる事が多い。そして、このようにマニュアルフォーカシングを行えるカメラでは、フォーカスの調整を容易にするために、フォーカス調整時に、映像信号の高域部分を強調してビューファインダに表示することを行っている。具体的な処理としては、映像信号を構成する輝度信号から高域成分を抽出して輪郭強調信号を生成し、その輪郭強調信号を本線の輝度信号に加算して、ビューファインダに出力することを行っている。 For broadcast and professional video cameras, focusing with manual focus that reflects the intentions of the producer can be performed rather than autofocus that focuses uniformly on the center of the screen in order to increase the degree of freedom of video expression. Often used. In such a camera capable of manual focusing, in order to facilitate focus adjustment, the high frequency part of the video signal is emphasized and displayed on the viewfinder during focus adjustment. As specific processing, a high frequency component is extracted from the luminance signal constituting the video signal to generate a contour emphasis signal, and the contour emphasis signal is added to the main luminance signal and output to the viewfinder. Is going.
フォーカスが合ってくると輝度信号中の高域成分の量が増加するため、上述した処理を行うことにより、ビューファインダ上の画像の輪郭(エッジ)部分が強調されるようになる。これによりユーザ(撮影者)は、フォーカスが合っているか否かをビューファインダの画面上で確認しながら、フォーカスの調整を行うことができる。 When the focus is achieved, the amount of high frequency components in the luminance signal increases, so that the contour (edge) portion of the image on the viewfinder is emphasized by performing the above-described processing. As a result, the user (photographer) can adjust the focus while confirming whether or not the image is in focus on the viewfinder screen.
例えば特許文献1には、カラー液晶表示素子を用いたビューファインダにおいて、撮像画の輪郭部分を十分に強調して表示する技術について記載されている。
ところで、近年、性能向上によりビデオカメラや電子スチルカメラで撮影できる画像の解像度は高くなっており、フルHD(High Definition)と呼ばれる「1920画素×1080画素」の高解像度映像を撮影できるものも増えている。一方、撮影時に画像を確認するためのビューファインダのサイズは、大きさが制限される等の理由により、「640画素×480画素」等の小さなものである場合が多い。すなわち、ビューファインダで表示できる解像度が、カメラで撮影された画像の解像度に対して不十分になってきている。 By the way, in recent years, the resolution of images that can be taken with a video camera or an electronic still camera has increased due to the improvement in performance, and the number that can shoot “1920 × 1080 pixels” high-resolution video called full HD (High Definition) has increased. ing. On the other hand, the size of a viewfinder for confirming an image at the time of shooting is often a small size such as “640 pixels × 480 pixels” due to the limitation of the size. That is, the resolution that can be displayed by the viewfinder has become insufficient with respect to the resolution of the image taken by the camera.
このようにダイナミックレンジが狭いだけでなく低解像度であるビューファインダでは、フルHD映像の74MHzの1〜2クロック幅分の輪郭強調成分は解像できない。よって、輪郭強調信号のレベル方向における微妙な変化が表現されなくなってしまう。このため、ピント状態の変化やピントの山・谷の変化をユーザが画面上で認識することが非常に難しくなってしまうという問題があった。 As described above, in the viewfinder not only having a narrow dynamic range but also a low resolution, it is not possible to resolve a contour enhancement component corresponding to 1 to 2 clock widths of 74 MHz of a full HD video. Therefore, a subtle change in the level direction of the contour enhancement signal is not expressed. For this reason, there is a problem that it becomes very difficult for the user to recognize a change in focus state and a change in focus peak / valley on the screen.
本発明はかかる点に鑑みてなされたものであり、輪郭強調信号のレベルの変化が小さい箇所におけるフォーカス状態の変化も、視覚的に認識しやすくすることを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to make it easy to visually recognize a change in the focus state at a place where a change in the level of the contour emphasis signal is small.
本発明の映像信号処理装置は、入力映像信号の輝度信号に含まれる高域成分を抽出して、抽出した高域成分の大きさに応じたレベルの輪郭強調信号を生成する輪郭成分抽出部を備えた。さらに、輪郭成分抽出部で生成された輪郭強調信号を所定のクロック周期毎にサンプリングして出力する周波数低減部と、周波数低減部から出力された輪郭強調信号を、入力映像信号を構成する色差信号に加算する加算器とを備えたものである。 The video signal processing apparatus according to the present invention includes a contour component extraction unit that extracts a high frequency component included in a luminance signal of an input video signal and generates a contour emphasis signal having a level corresponding to the size of the extracted high frequency component. Prepared. In addition, a frequency reduction unit that samples and outputs the contour enhancement signal generated by the contour component extraction unit at predetermined clock cycles, and a color difference signal that forms the input video signal from the contour enhancement signal output from the frequency reduction unit And an adder for adding to.
このようにしたことで、輪郭強調信号の周波数が低減されてから本線の色差信号に加算されるようになる。 By doing so, the frequency of the contour emphasis signal is reduced and then added to the main line color difference signal.
本発明によると、輪郭強調信号の周波数が低減されてから本線の色差信号に加算されるため、従来の輪郭強調信号を輝度信号に加算する方法に対して、低解像度或いは低ダイナミック・レンジの表示デバイスにおいても、フォーカス状態のわずかな変化を視覚的に認識しやすくなる。 According to the present invention, since the frequency of the edge enhancement signal is reduced and then added to the main line color difference signal, a display with a low resolution or a low dynamic range is performed compared to the conventional method of adding the edge enhancement signal to the luminance signal. Even in the device, it becomes easy to visually recognize a slight change in the focus state.
1.撮像装置の全体構成例
以下、本発明の一実施の形態を、添付図面を参照して説明する。本実施の形態では、本発明の映像信号処理装置を撮像装置に適用している。図1は、撮像装置1の内部構成例を示したブロック図である。図1に示した撮像装置1は、撮像部100を備えて、撮像により映像信号を得る。また撮像部100は、輪郭強調信号を生成する輪郭成分抽出部200と、輪郭成分抽出部200で生成された輪郭強調信号の周波数を低減させたり、幅変調の処理等を施す輪郭強調処理部300とを含む。撮像部100はさらに、LCD(Liquid Crystal Display)等よりなるビューファインダ400とを含む。
1. Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings. In the present embodiment, the video signal processing device of the present invention is applied to an imaging device. FIG. 1 is a block diagram illustrating an internal configuration example of the
撮像部100は、図示せぬレンズや、レンズの位置を移動させるためのフォーカスリング、レンズを通して装置内に入射された被写体光を光電変換してR,G,Bの各画素信号を得る撮像素子を含む。また、R,G,Bの各画素信号を輝度信号Yと色差信号Cr(赤色差信号),色差信号Cb(青色差信号)に変換するマトリクス回路や、各種同期信号を生成するタイミング生成部、信号処理部、画像処理部等を含む(いずれも図示略)。タイミング生成部で生成される各種同期信号は、フレーム同期信号F,垂直同期信号V,水平同期信号Hなどである。
The
輪郭成分抽出部200は、ハイパスフィルタ等で構成され、撮像部100から出力された輝度信号Yに含まれる高域成分のみを抽出して輪郭強調信号Dtを生成する。輪郭成分抽出部200は、輪郭強調信号Dtだけでなく、撮像部100から出力された輝度信号Yと色差信号Cr,Cbとフレーム同期信号Fと水平同期信号Hを出力する。
The contour
輪郭成分抽出部200で生成された輪郭強調信号Dtは、輪郭成分抽出部200の後段に設けられた加算器AM1によって本線の輝度信号Yに加算され、輪郭強調信号Dtが付加された輝度信号Yは、セレクタSL1に出力される。セレクタSL1は、輪郭強調信号Dtが付加された輝度信号Yと、輪郭強調処理部300によって所定の処理が施された輝度信号Y′のうち、いずれかを選択してビューファインダ400に出力する。どちらの輝度信号を選択するかは、モード選択信号SEmdによって定められるものであり、モード選択信号SEmdは、図示せぬ操作入力部へのユーザからの操作入力等に基づいて制御部(図示略)で生成される。生成されたモード選択信号SEmdは、セレクタSL1に供給される。
The contour emphasis signal Dt generated by the contour
モード選択信号SEmdは、セレクタSL1だけでなくセレクタSL2にも供給される。セレクタSL2は、輪郭成分抽出部200から出力された色差信号Cr,色差信号Cbと、輪郭強調処理部300によって処理された色差信号Cr′、色差信号Cb′のいずれかを選択して、ビューファインダ400に出力する。すなわち、モード選択信号SEmdは、輪郭強調信号Dtを輝度信号Yに付加する従来のモードと、本実施の形態によるモード(以下、フォーカスアシストモードと称する)とを切り替えるための信号である。つまりフォーカスアシストモードとは、輪郭強調処理部300によって処理が施された輪郭強調信号C′をセレクタSL2で選択させて、ビューファインダ400に出力させるモードである。なお、輪郭強調処理部300内で輪郭強調信号C′を生成させる処理構成の詳細は後述する。
The mode selection signal SEmd is supplied not only to the selector SL1 but also to the selector SL2. The selector SL2 selects any one of the color difference signal Cr and the color difference signal Cb output from the contour
輪郭成分抽出部200が出力するフレーム同期信号Fと水平同期信号Hは、カウンタ500に供給する。カウンタ500は、入力されたフレーム同期信号Fと水平同期信号Hを基準にカウントを行い、画面上の水平方向の画素の位置を特定するカウント値CNhと、垂直方向の画素の位置を特定するカウント値CNvとを生成する。カウント値CNhとCNvは、輪郭強調処理部300のタイミング処理部350に供給する。
The frame synchronization signal F and the horizontal synchronization signal H output from the contour
タイミング処理部350は、カウンタ500から供給されるカウント値CNh及びCNvに基づいて、信号供給先のブロックでの処理タイミングを制御するタイミングパルスを生成する。そして生成したタイミングパルスを、後述する周波数低減/ピーク検出部310と、幅変調部320と、セレクタSL5に供給する。
Based on the count values CNh and CNv supplied from the
1−1.輪郭強調処理部300の構成例
次に、輪郭強調処理部300の構成について、同じく図1を参照して説明する。輪郭強調処理部300は、周波数低減/ピーク検出部310と、幅変調部320とを含む。周波数低減/ピーク検出部310は、輪郭成分抽出部200から出力された輪郭強調信号Dtをサブサンプリングすることにより、輪郭強調信号Dtの周波数を落とす処理を行う。周波数低減/ピーク検出部310はさらに、2〜3クロック周期の所定のサブサンプリング区間中のピーク値を検出する処理も行う。
1-1. Configuration Example of Outline
サブサンプリングとは、輪郭成分抽出部200から出力される輪郭強調信号Dtを、後述するタイミング処理部350から供給されるタイミングパルスに基づいて、2クロックに1回又は3クロックに1回サンプリングする処理である。輪郭強調信号Dtの周波数が例えば74MHzであった場合には、サンプルの回数が1/2となればサブサンプリングされた輪郭強調信号Dtの周波数は37MHzになる。また、サンプルの回数が1/3となれば約25MHzとなる。
Sub-sampling is a process of sampling the contour enhancement signal Dt output from the contour
輪郭強調信号Dtの周波数が74MHzである場合には、解像度がVGA(Video Graphics Array)やQVGA(Quarter VGA)等の低解像度のビューファインダ400では、1〜2クロック分の幅の高域成分(輪郭強調成分)は解像できない事がある。これに対して、本実施の形態のように輪郭強調信号Dtの周波数が落とされることによって、VGA等の低解像度のビューファインダ400であっても、確実に画像の輪郭部分が強調して表現されるようになる。
When the frequency of the contour emphasis signal Dt is 74 MHz, the low-
なお、サブサンプリングの周期を2クロック周期とするか3クロック周期とするかは、撮像条件等に応じて制御部(図示略)で最適なものが選択される。もしくは、ユーザが自由に設定することもできるようにしてある。 Whether the sub-sampling cycle is set to 2 clock cycles or 3 clock cycles is selected by a control unit (not shown) in accordance with the imaging conditions and the like. Alternatively, the user can freely set it.
1−1−a.周波数低減/ピーク検出部の構成例
次に、図2を参照して、周波数低減/ピーク検出部310の内部構成例について説明する。周波数低減/ピーク検出部310は、入力される輪郭強調信号Dtに1クロック分の遅延を加える遅延部311と、遅延部311で遅延が加えられた輪郭強調信号Dtにさらに1クロック分の遅延を加える遅延部312とを備える。遅延部311に入力される前の輪郭強調信号Dt0と、遅延部311によって1クロック分の遅延が加えられた輪郭強調信号Dt1と、遅延部311と遅延部312によって2クロック分の遅延が加えられた輪郭強調信号Dt2は、セレクタSL3に出力される。遅延部311に入力される前の輪郭強調信号Dt0は、周波数低減/ピーク検出部310に入力された輪郭強調信号Dtと同じである。
1-1-a. Configuration Example of Frequency Reduction / Peak Detection Unit Next, an internal configuration example of the frequency reduction /
周波数低減/ピーク検出部310はさらに、輪郭強調信号Dt0を絶対値化する絶対値化部313と、輪郭強調信号Dt1を絶対値化する絶対値化部314と、輪郭強調信号Dt2を絶対値化する絶対値化部315とを備える。絶対値化部313で絶対値化された輪郭強調信号ABDt0と、絶対値化部314で絶対値化された輪郭強調信号ABDt1と、絶対値化部315で絶対値化された輪郭強調信号ABDt2は、出力選択部316に入力される。
The frequency reduction /
出力選択部316は、2〜3クロック周期の所定のサブサンプリング区間中のピーク値を検出する「ピーク検出モード」が選択されているときと、ピーク値の検出を行わない「固定周期モード」選択時とで異なる動作を行う。「ピーク検出モード」が選択されおり、サブサンプリングの周期が3クロック周期に選択されている場合には、輪郭強調信号ABDt0と輪郭強調信号ABDt1と輪郭強調信号ABDt2の各値(レベル)を比較して、レベルが最も大きい信号を検出する。サブサンプルの周期が2クロック周期に選択されている場合には、出力選択部316によって輪郭強調信号ABDt0と輪郭強調信号ABDt1とを比較し、2つの信号のうちレベルの大きい方の信号を検出する。
The
そして出力選択部316は、セレクタSL3に対して、レベルが最も大きな信号を出力させるための制御信号を供給する。このような処理が行われることにより、セレクタSL3からは、輪郭強調信号Dtの山あるいは谷としてのピーク値が輪郭強調信号PDtとして出力されるようになる。
The
また出力選択部316は、固定周期モードが選択されている場合には、セレクタSL3に対して、常に輪郭強調信号Dt1のみを選択するように指示を行う。
Further, when the fixed cycle mode is selected, the
セレクタSL3の後段にはDフリップフロップ(以下DFFと称する)301aを設けてあり、DFF301aは、セレクタSL3から出力された信号を所定のクロック数分ラッチしてから出力する。
A D flip-flop (hereinafter referred to as DFF) 301a is provided at the subsequent stage of the selector SL3. The
ラッチのタイミングは、タイミング処理部350から供給されるタイミングパルスによって定められる。タイミング処理部350は、制御信号SEaによって規定されるサブサンプリングの周期毎にタイミングパルスを生成する。具体的には、水平ブランキング期間の終わり(=有効サンプリング区間の先頭)でリセットされる2進あるいは3進のカウンタを生成して、その値に基づいて2クロック周期あるいは3クロック周期のタイミングパルスを生成する。
The timing of the latch is determined by a timing pulse supplied from the
例えば、サブサンプルの周期が1/2に設定されている場合には、タイミング処理部350で、2クロック周期のラッチ・タイミングを指示するタイミングパルスが生成されてDFF301aに供給される。これにより、DFF301aではセレクタSL3から出力される信号が1つおきに選択され、出力されるようになる。
For example, when the sub-sample period is set to ½, the
次に、図3を参照して、周波数低減/ピーク検出部310によるピーク検出処理の詳細について説明する。図3のグラフの縦軸は絶対値化された輪郭強調信号のレベルを示し、破線で示した0のレベルを境に上方向が山(プラス)、下方向が谷(マイナス)を示す。横軸は、水平方向での画素の位置を示す。
Next, the details of the peak detection processing by the frequency reduction /
図3(a)は、サブサンプリングされていないオリジナルの輪郭強調信号Dtを示したものである。図3(b)は、2クロック周期毎にサブサンプリングした場合(固定周期モード)の例を示したものであり、図3(c)は、2クロック周期毎にサブサンプリングした上に、ピーク検出処理を行った場合(ピーク検出モード)の例を示したものである。 FIG. 3A shows the original edge enhancement signal Dt that has not been subsampled. FIG. 3B shows an example of the case where sub-sampling is performed every two clock cycles (fixed cycle mode), and FIG. 3C shows peak detection after sub-sampling every two clock cycles. An example in the case of performing processing (peak detection mode) is shown.
固定周期モードが選択された場合には、図3(a)における0画素目と2画素目と4画素目が1/2のクロック周期でサブサンプリングされ、サブサンプリングされた値は図3(b)に示したもののようになる。図3(b)においては、図3(a)における0画素目と2画素目と4画素目の値は、すべて0となってしまっていることが分かる。つまり、固定周期モードが選択された場合には、図3(a)のオリジナルの信号には存在した信号の山/谷の情報が消失してしまうことになる。 When the fixed cycle mode is selected, the 0th pixel, the 2nd pixel, and the 4th pixel in FIG. 3A are subsampled at a clock cycle of 1/2, and the subsampled values are shown in FIG. ). In FIG. 3B, it can be seen that the values of the 0th pixel, the second pixel, and the fourth pixel in FIG. In other words, when the fixed period mode is selected, the information on the peaks / valleys of the signal that existed in the original signal in FIG. 3A is lost.
これに対して、図3(c)に示すようにピーク検出処理を行った場合には、連続する2つのサンプル値のうち値の大きい方が出力されるようになる。図3(a)に示した3画素目と2画素目のうち、よりレベルの大きい3画素目の値が選択され、1画素目と0画素目のうち、よりレベルの大きい1画素目の値が選択されるようになる。これにより、図3(c)において楕円形の破線で囲った箇所において、図3(a)に示されたオリジナルの輪郭強調信号の山/谷の情報が保持されるようになる。 In contrast, when the peak detection process is performed as shown in FIG. 3C, the larger one of the two consecutive sample values is output. Among the third pixel and the second pixel shown in FIG. 3A, the value of the third pixel having the higher level is selected, and the value of the first pixel having the higher level among the first pixel and the zeroth pixel is selected. Will be selected. As a result, the peak / valley information of the original contour emphasis signal shown in FIG. 3 (a) is held at the location surrounded by the elliptical broken line in FIG. 3 (c).
次に、図4を参照して、周波数低減/ピーク検出部310における周波数低減処理の詳細について説明する。図4(a)は、サブサンプリング周期が1/2に指定された場合のサブサンプリング処理の例を示した図である。図4(a)の上段は、セレクタSL3から1クロック毎に出力される輪郭強調信号を水平方向に並べたものである。下段には、タイミング処理部350から出力されるタイミングパルスを、HighとLowよりなる方形波で示してある。
Next, the details of the frequency reduction processing in the frequency reduction /
サブサンプリング周期が1/2に設定されている場合は、図4(a)に示すように、有効サンプリング区間内で、輪郭強調信号PDtの0番目と2番目、4番目、6番目、8番目のみがサンプリングされる。サブサンプル周期が1/3に設定されている場合には、図4(b)に示すように、輪郭強調信号PDtの0番目と3番目、6番目、9番目のみがサンプリングされる。つまり、DFF301a(図2参照)からは、周波数が1/2又は1/3に低減された輪郭強調信号SDtが出力される。
When the sub-sampling period is set to 1/2, as shown in FIG. 4A, the 0th, 2nd, 4th, 6th, 8th of the edge emphasis signal PDt within the effective sampling period. Only is sampled. When the sub-sampling period is set to 1/3, as shown in FIG. 4B, only the 0th, 3rd, 6th and 9th of the edge emphasis signal PDt are sampled. That is, the
なお、ユーザによるフォーカスの調整操作によってフォーカスが合ってくると、輪郭強調信号Dtは高周波成分が主となる。このため、前記の方法によってサブサンプリング(Sub Nyquist Sampling)をしている輪郭強調信号SDtにおいては、エイリアシングが発生することになる。 When the focus is adjusted by the user's focus adjustment operation, the outline emphasis signal Dt mainly includes high frequency components. For this reason, aliasing occurs in the edge enhancement signal SDt that is sub-sampled (Sub Nyquist Sampling) by the above method.
1−1−b.幅変調部の構成例
次に、図5のブロック図を参照して、幅変調部320の内部構成例について説明する。図5において、図1及び図2と対応する箇所には同一の符号を付してあり、詳細な説明は省略する。幅変調部320は、レベル判定部321と、幅変調値決定部322と、幅変調処理部323と、DFF301bとを備える。
1-1-b. Configuration Example of Width Modulation Unit Next, an internal configuration example of the
レベル判定部321は、絶対値化部313で絶対値化された現在の輪郭強調信号ABDt0のレベルが、予め設定しておいた9段階のレベルのうちどのレベルに該当するのかを判定して、判定結果を幅変調値決定部322に出力する。
The
レベル判定部321に予め設定された各レベルの分割例を、図6に示してある。図6の縦軸は信号のレベルを示しており、ここでは映像信号が10ビットで構成されていることを想定している。そして、10ビットの信号における最小値0から最大値1023までの範囲が示されている。本実施の形態では、閾値TLv1〜閾値TLv8によってこの範囲をレベル0〜レベル8の9つのレベルに分割している。
FIG. 6 shows an example of division of each level preset in the
レベル判定部321は、輪郭強調信号ABDt0の信号値をこれらの閾値に照らし合わせることで、輪郭強調信号ABDt0をレベル0〜レベル8のうちのいずれかのレベルに分類する。例えば、輪郭強調信号ABDt0の信号レベルが閾値TLv3以上閾値TLv4未満である場合には、輪郭強調信号ABDt0はレベル3に分類される。
The
なお、図6においては、レベルの割り振り間隔を等間隔とした例を示してあるが、閾値TLvの値の大きさや各レベルの割り当て幅は、任意のものに設定可能であるものとする。 Although FIG. 6 shows an example in which the level allocation interval is equal, the size of the threshold TLv and the allocation width of each level can be set arbitrarily.
幅変調値決定部322は、幅変調処理部323で行われる幅変調処理における変調幅を設定する。具体的には、レベル判定部321に設定された各レベル設定値(レベル0〜レベル8)と、それぞれに値が異なる各幅変調値とを対応づけた情報を持っており、レベル判定部321で分類されたレベルと対応する幅変調値を読み出す処理を行う。
The width modulation
図6に示した例では、レベル0とレベル1には幅変調値WLv1を対応付けてあり、レベル2〜レベル8には、それぞれ幅変調値WLv2〜WLv8を対応付けてある。図示はしていないが、幅変調値WLv1の値を一番小さく設定してあり、幅変調値WLv8の値を一番大きく設定してある。
In the example illustrated in FIG. 6, the width modulation value WLv1 is associated with
図5に戻って説明を続けると、幅変調値決定部322は、幅変調処理部323によって幅変調された輪郭強調信号WDtを、本線の色差信号Crと色差信号Cbのどちらに加算するかを指定するWMxc1又は、両方への加算を指示する制御信号WMxc2を生成する。なお、以下の説明では、制御信号WMxc1とWMxc2を特に区別する必要がない場合は、単に制御信号WMxcと称する。制御信号WMxcの出力先は、本線の色差信号Crと幅変調後の輪郭強調信号WDtとを加算する加算器AM2(図1参照)と、本線の色差信号Cbと幅変調後の輪郭強調信号WDtとを加算する加算器AM3(図1参照)である。本線の信号と幅変調後の輪郭強調信号WDtとの加算の部分の詳細については後述する。
Returning to FIG. 5 and continuing the description, the width modulation
幅変調値決定部322は、レベル判定部321で判定されたレベルが例えばレベル0〜レベル5までだった場合は、輪郭強調信号WDtを色差信号Crと色差信号Cbのいずれか一方に加算させるための制御信号WMxc1を出力する。そして、レベル6〜レベル8の高レベルの場合には、色差信号Crと色差信号Cbの両方に加算させる制御信号WMxc2を出力するようにする。このような処理を行えば、レベル判定部321で判定された輪郭強調信号のレベルがレベル6を超えた時点で、画像の輪郭部分の色合いが変わるようになる。輪郭強調信号のレベルが高レベルに達したということは、ピントがジャストフォーカスに近づいたということであり、このような状態で輪郭部分の色合いが変化することで、ユーザはピントの合い具合を視覚的に容易に認識できるようになる。なお、制御信号Mxc1及び制御信号Wmc2とレベルとの対応付けは、ユーザが自由に設定できるようにしてある。
When the level determined by the
また、幅変調処理部323は、幅変調値決定部322から出力される幅変調値WLvに応じた幅のタイミングパルスを生成して、DFF301bのイネーブル信号として出力する。
In addition, the width
DFF301bは、タイミングパルスが入力されたタイミングで輪郭強調信号Dt1を取り込み、その次のパルス入力によって新たな値が入力されるまでの間、取り込んだ値を保持する。これにより、ピーク値が、幅設定値WLvによって設定された幅の分だけホールドされるようになる。このような処理が施された輪郭強調信号Dtは、輪郭強調信号WDtとしてセレクタSL4に出力される。 The DFF 301b captures the edge emphasis signal Dt1 at the timing when the timing pulse is input, and holds the captured value until a new value is input by the next pulse input. As a result, the peak value is held by the width set by the width setting value WLv. The contour emphasis signal Dt subjected to such processing is output to the selector SL4 as the contour emphasis signal WDt.
図7に、幅変調処理部323による幅変調処理の例を示してある。図7には、DFF301bに入力される輪郭強調信号Dt1の波形を破線で示してあり、セレクタSL4から出力される輪郭強調信号WDtを実線で示してある。
FIG. 7 shows an example of width modulation processing by the width
輪郭強調信号Dt1のレベルが増加中である場合には、セレクタSL3で選択されてDFF301aでラッチされたピーク値が、セレクタSL4に出力される。セレクタSL4は、輪郭強調信号Dt1のレベルが増加中はDFF301aから入力される輪郭強調信号SDtを選択し、そうでない時はDFF301bから入力される幅変調処理された輪郭強調信号WDtを選択する。この選択信号は幅変調処理部323から供給されるものであり、いずれの選択信号を供給するかは、輪郭強調信号ABDt0と輪郭強調信号ABDt1との大小比較により決定される。このような制御が行われることにより、セレクタSL4からの出力信号の波形は、図7に示したような等間隔の幅を有する階段状のものとなる。
When the level of the edge enhancement signal Dt1 is increasing, the peak value selected by the selector SL3 and latched by the
輪郭強調信号Dtのレベルが減少している場合には、DFF301bで幅変調処理が行われ、輪郭強調信号Dt1の幅が、幅設定値WLvで設定された幅に変調される。これにより、輪郭強調信号Dt1のレベルがピークの時にその値がホールドされ、図7に示すように輪郭強調信号WDtの山の部分で波形の幅が広くなる。 When the level of the contour emphasis signal Dt is decreased, the width modulation process is performed by the DFF 301b, and the width of the contour emphasis signal Dt1 is modulated to the width set by the width setting value WLv. Thus, the value is held when the level of the contour emphasis signal Dt1 is at a peak, and the width of the waveform is widened at the peak portion of the contour emphasis signal WDt as shown in FIG.
輪郭強調信号Dt1のレベルが増加しているときに幅変調を行うと、その処理時間分だけ、幅変調後の信号がピークレベルに到達する時間が遅れてしまい、オリジナルの信号の山/谷の情報を正確に取得することができなくなってしまう。このため、本実施の形態のDFF301bでは、レベルが減少しているときにのみ幅変調処理を行うようにしている。 If the width modulation is performed when the level of the contour emphasis signal Dt1 is increasing, the time for the width-modulated signal to reach the peak level is delayed by the processing time, and the peak / valley of the original signal is increased. Information cannot be obtained accurately. For this reason, in the DFF 301b of the present embodiment, the width modulation process is performed only when the level is decreasing.
次に、セレクタSL4から出力された信号に施される処理の詳細について、再び図1を参照して説明する。セレクタSL4の後段に設けられた絶対値化/極性反転処理部330は、図示せぬ制御部から供給される制御信号の内容に応じて、セレクタSL4から出力される輪郭強調信号SDt又は輪郭強調信号WDtを、絶対値化あるいは信号の極性を反転させる。絶対化又は極性の反転処理を行うことで、輪郭強調信号SDt又は輪郭強調信号WDtが付加された色差信号Cr又は色差信号Cbの色合いを変化させることができる。
Next, details of processing performed on the signal output from the selector SL4 will be described with reference to FIG. 1 again. The absolute value / polarity
絶対値化させるか極性の反転を行うか、あるいはいずれの処理も行わないかは、設定により変更できるようにしてある。絶対値化する設定がされている場合には、絶対値化/極性反転処理部330にHighの制御信号ABcが供給され、極性を反転する設定となっている場合には、絶対値化/極性反転処理部330にHighの制御信号INcが供給される。絶対値化又は極性の反転を行う設定がされていない場合には、絶対値化/極性反転処理部330にLowの制御信号ABcとLowの制御信号INcとが供給される。
Whether to make absolute values, invert the polarity, or not perform any processing can be changed by setting. When the absolute value is set, the high value control signal ABc is supplied to the absolute value / polarity
絶対値化/極性反転処理部330の後段には、絶対値化/極性反転処理部330からの出力信号に所定のゲイン係数GAcを乗算する乗算器ML1を設けてある。ゲイン係数GAcは、例えば1倍、2倍、4倍、1/2倍等複数設けてあり、いずれかの設定値が選択的に設定される。これらの設定値は、図示せぬ制御部により、撮影条件等に応じた最適な値が選択される。もしくは、ユーザが任意の値を選択できるようにしてある。このような機能を持たせることで、屋外などでビューファインダ400の画面が見づらいときに、輪郭強調信号自体のゲインを上げて強調表示をより分かりやすくすることもできるようになる。
A multiplier ML1 that multiplies an output signal from the absolute value / polarity
乗算器ML1でゲインの調整が行われた輪郭強調信号WDtgは、加算器AM2及び/又は加算器AM3に供給する。加算器AM2は、本線の色差信号Crに輪郭強調信号WDtgを加算し、加算器AM3は、本線の色差信号Cbに輪郭強調信号WDtgを加算する。加算器AM2と加算器AM3にはそれぞれ制御信号WMxcが供給され、制御信号WMxcがWMxc1であるかWMxc2であるかによって、本線の色差信号Cr又は色差信号Cbに輪郭強調信号を加算するか、それとも本線の色差信号Cr又は色差信号Cbをそのまま通過させるかが決定される。つまり、制御信号WMxc1が供給された場合には加算器AM2では加算が行われるが、加算器AM3では加算は行われなくなる。 The edge emphasis signal WDtg whose gain has been adjusted by the multiplier ML1 is supplied to the adder AM2 and / or the adder AM3. The adder AM2 adds the edge enhancement signal WDtg to the main line color difference signal Cr, and the adder AM3 adds the edge enhancement signal WDtg to the main line color difference signal Cb. A control signal WMxc is supplied to each of the adder AM2 and the adder AM3, and an edge emphasis signal is added to the main line color difference signal Cr or the color difference signal Cb, depending on whether the control signal WMxc is WMxc1 or WMxc2. It is determined whether the color difference signal Cr or the color difference signal Cb of the main line is passed as it is. That is, when the control signal WMxc1 is supplied, the adder AM2 performs addition, but the adder AM3 does not perform addition.
本線の色差信号Crと色差信号Cbは、乗算器ML3及び遅延部301Cを経由して、加算器AM2及び加算器AM3に供給される。
The main line color difference signal Cr and the color difference signal Cb are supplied to the adder AM2 and the adder AM3 via the multiplier ML3 and the
乗算器ML3は、本線の色差信号Crと色差信号Cbに所定のゲイン係数GAcoを乗算する。ゲイン係数GAcoは、例えば1/2倍、1/4倍、1/8倍、0倍等複数設けてあり、任意の値を選択できるようにしてある。つまり、これらのゲイン係数GAcoが本線の色差信号Crと色差信号Cbに乗算されることで、色差信号Crと色差信号Cbのレベルが下がるようになる。本線の色差信号Crと色差信号Cbのレベルが下がると、加算器AM2又は加算器AM3から出力される信号における輪郭強調信号の比率が増えるため、合焦部分以外の箇所の色がモノクロ又は薄くなり、画像の輪郭部分のみが色として表示されるようになる。 The multiplier ML3 multiplies the main line color difference signal Cr and the color difference signal Cb by a predetermined gain coefficient GAco. For example, a plurality of gain coefficients GAco, such as 1/2 times, 1/4 times, 1/8 times, and 0 times, are provided so that an arbitrary value can be selected. That is, the gain coefficient GAco is multiplied by the main line color difference signal Cr and the color difference signal Cb, so that the levels of the color difference signal Cr and the color difference signal Cb are lowered. When the levels of the color difference signal Cr and the color difference signal Cb on the main line decrease, the ratio of the edge emphasis signal in the signal output from the adder AM2 or the adder AM3 increases, so the color other than the in-focus portion becomes monochrome or light. Only the outline portion of the image is displayed as a color.
従って、撮影中の被写体の色と合焦度合いを示す信号とが同一色だったり、カラフルな色合いの場合等に、合焦部分をより分かりやすく表示させたい場合は、ここで所望のゲイン係数GAcoを選択するようにすればよい。従来のような、輪郭強調信号を本線の輝度信号Yに加算する手法においては、本線の輝度信号Yを弱めることはできないため、このような処理を行うことはできなかった。これに対して本実施の形態によれば、実現が可能となる。 Therefore, if the color of the subject being photographed and the signal indicating the degree of focus are the same color or colorful, for example, if it is desired to display the in-focus portion more clearly, the desired gain coefficient GAco is used here. Should be selected. In the conventional method of adding the contour enhancement signal to the main line luminance signal Y, the main line luminance signal Y cannot be weakened, and thus such processing cannot be performed. On the other hand, according to the present embodiment, it can be realized.
例えば、ゲイン係数を0に設定した場合には、ビューファインダ400には画像がモノクロで表示されるようになる。これにより、輪郭強調信号が付加された画像の輪郭部分のみがカラー表示されるため、フォーカスの状態の変化をより認識しやすくなる。
For example, when the gain coefficient is set to 0, the
遅延部301Cは、周波数低減/ピーク検出部310及び/又は幅変調部320で、輪郭強調信号に対して処理が行われた時間分、本線の色差信号Crと色差信号Cbに遅延を加える。
The delay unit 301 </ b> C adds a delay to the main line color difference signal Cr and the color difference signal Cb by the time when the frequency reduction /
加算器AM2から出力された輪郭強調信号付加済みの色差信号Cr′と、加算器AM3から出力された輪郭強調信号付加済みの色差信号Cb′は、ともにセレクタSL5に供給する。セレクタSL5は、タイミング処理部350からのタイミングパルスに基づいて、1クロック毎に、加算器AM2から出力された色差信号Cr′と加算器AM3から出力された色差信号Cb′のいずれか一方を選択してセレクタSL2に出力する。
The color difference signal Cr ′ with the outline emphasis signal added outputted from the adder AM2 and the color difference signal Cb ′ with the outline emphasis signal added outputted from the adder AM3 are both supplied to the selector SL5. The selector SL5 selects either one of the color difference signal Cr ′ output from the adder AM2 and the color difference signal Cb ′ output from the adder AM3 based on the timing pulse from the
周波数低減/ピーク検出部310の後段に設けられた絶対値化/極性反転処理部340は、周波数低減/ピーク検出部310によってサブサンプル及び/又はピーク検出された輪郭強調信号SDtを、絶対化又はその極性を反転させる。絶対値化/極性反転処理部330と同様に、入力された制御信号AByがHighであった場合には絶対値化を行い、入力された制御信号INyがHighであった場合には極性を反転させる。
The absolute value / polarity
絶対値化/極性反転処理部340の後段には乗算器ML2を設けてあり、乗算器ML2は、絶対値化/極性反転処理部340から出力された輪郭強調信号SDtaに所定のゲイン係数GAyを乗算する。ゲイン係数GAyは、1倍、2倍、4倍、1/2倍等複数設けてあり、任意の値を選択できるようにしてある。
A multiplier ML2 is provided at the subsequent stage of the absolute value / polarity
乗算器ML2でゲインの調整が行われた輪郭強調信号SDtgは、加算器AM4に供給される。そして加算器AM4は、入力された輪郭強調信号SDtgを本線の輝度信号Yに加算する。加算器AM4には制御信号WMxyが供給され、制御信号WMxyの値によって、本線の輝度信号Yに輪郭強調信号を加算するか否かが決定される。 The edge emphasis signal SDtg whose gain has been adjusted by the multiplier ML2 is supplied to the adder AM4. The adder AM4 adds the input contour emphasis signal SDtg to the main line luminance signal Y. A control signal WMxy is supplied to the adder AM4, and whether or not to add an edge enhancement signal to the main line luminance signal Y is determined by the value of the control signal WMxy.
本線の輝度信号Yは、遅延部301Yを経由して加算器AM4に供給される。遅延部301Yは、周波数低減/ピーク検出部310、輪郭強調信号に対して処理が行われた時間分、本線の輝度信号Yに遅延を加える。加算器AM4から出力された輪郭強調信号付加済みの輝度信号Y′は、セレクタSL1に供給される。
The main line luminance signal Y is supplied to the adder AM4 via the
2.撮像装置の動作の例
以下、撮像装置1の動作について、図1、図2、図5を参照して説明する。
2−1.従来のモード選択時の動作
撮像装置1では、フォーカスアシストモードではなく従来のモードが選択されている場合には、加算器AM1によって、輪郭成分抽出部200から出力された輪郭強調信号Dtが本線の輝度信号Yに加算される。そして、輪郭強調信号Dtが加算された輝度信号Yは、セレクタSL1を経由してビューファインダ400に出力される。一方、本線の色差信号Crと色差信号Cbも、セレクタSL2を経由してビューファインダ400に出力される。これにより、ビューファインダ400には、輪郭強調信号Dtが付加された輝度信号Yと、何も処理が施されていない色差信号Crと色差信号Cbによる画像が表示されるようになる。
2. Example of Operation of Imaging Device Hereinafter, the operation of the
2-1. Operation at the time of conventional mode selection In the
2−2.フォーカスアシストモード選択時の動作
フォーカスアシストモードにおいては、輪郭強調処理部300によって処理された輪郭強調信号を、本線の色差信号Crと色差信号Cbのどちらに付加するか、あるいは双方に付加するかを、ユーザが選択できるようにしてある。また、ユーザによって、輝度信号Yに輪郭強調処理を施す設定がされた場合には、周波数低減/ピーク検出部310でサブサンプリング及び/又はピーク検出された輪郭強調信号SDtgが、加算器AM4によって本線の輝度信号Yに加算される。加算器AM4によって加算されることで輝度信号Y′が生成されて、セレクタSL1に供給される。
2-2. Operation when the focus assist mode is selected In the focus assist mode, it is determined whether the contour enhancement signal processed by the contour
輪郭強調信号が色差信号Cr及び/又は色差信号Cbに付加されることで、輪郭強調信号のレベルの増減に応じて、ビューファインダ400上に表示される画像の輪郭部分の色も、濃くなったり薄くなったりする。幅変調の処理が行われた場合には画像の輪郭部分の色の幅も狭くなったり太くなったりするため、ユーザは、フォーカスの状態の変化を視覚的に把握することが可能となる。
By adding the edge enhancement signal to the color difference signal Cr and / or the color difference signal Cb, the color of the edge portion of the image displayed on the
本実施の形態では、輪郭強調処理部300によって処理された輪郭強調信号を、本線の色差信号Cr及び/又は色差信号Cbに加算する場合に、大きく分けて下記の3つのモードを選択することができるようになっている。
(1)サブサンプルにより周波数を低減させた輪郭強調信号を加算するモード
(2)周波数低減及び、ピーク検出を行った輪郭強調信号を加算するモード
(3)周波数低減及び/又はピーク検出を行った上に幅変調も行った輪郭強調信号を加算するモード
In the present embodiment, when the contour emphasis signal processed by the contour
(1) Mode for adding contour emphasis signal with frequency reduced by sub-sample (2) Mode for adding frequency emphasis signal with reduced frequency and peak detection (3) Frequency reduction and / or peak detection A mode to add a contour emphasis signal with width modulation on top
まず、(1)のモードが選択された場合の信号の流れを説明する。輪郭成分抽出部200で抽出された輪郭強調信号Dtは、図2に示す周波数低減/ピーク検出部310に供給され、遅延部311で1クロック分の遅延が加えられて輪郭強調信号Dt01とされる。輪郭強調信号Dt01は、セレクタSL4を通してDFF301aに供給され、タイミング処理部350から供給されるタイミングパルスに基づいて、2クロック周期又は3クロック周期でサブサンプルされる。
First, a signal flow when the mode (1) is selected will be described. The contour enhancement signal Dt extracted by the contour
周波数低減/ピーク検出部310でのサブサンプル処理によって周波数が低減された輪郭強調信号SDtは、セレクタSL4により選択されて絶対値化/極性反転処理部330に供給される。絶対値化/極性反転処理部330では、輪郭強調信号SDtに対して絶対値化又は極性反転を行って、処理された輪郭強調信号WDtaが得られる。この輪郭強調信号WDtaは、乗算器ML1に出力され、乗算器ML1によって、所定のゲイン係数が乗算される。乗算器ML1から出力された輪郭強調信号WDtgは、加算器AM2及び/又は加算器AM3によって、本線の色差信号Cr及び/又は色差信号Cbに加算され、輪郭強調された色差信号Cr′及び/又は色差信号Cb′が得られる。この輪郭強調された色差信号Cr′及び/又は色差信号Cb′が、セレクタSL5で1クロックごとに選択された色差信号C′となり、色差信号C′がセレクタSL2を経由してビューファインダ400に出力される。
The edge emphasis signal SDt whose frequency is reduced by the sub-sample processing in the frequency reduction /
輝度信号Yに輪郭強調処理を施す選択がされている場合には、周波数低減/ピーク検出部310でサブサンプリング及び/又はピーク検出された輪郭強調信号SDtgが、加算器AM4によって本線の輝度信号Yに加算される。そして、加算器AM4によって加算されることで生成された輝度信号Y′が、セレクタSL1を通してビューファインダ400に出力される。
If the brightness enhancement is selected for the brightness signal Y, the edge enhancement signal SDtg sub-sampled and / or peak-detected by the frequency reduction /
次に、(2)のモードが選択された場合の信号の流れを説明する。図2に示す周波数低減/ピーク検出部310では、遅延が加えられていない輪郭強調信号Dt0と、1クロック分の遅延が加えられた輪郭強調信号Dt1と、2クロック分の遅延が加えられた輪郭強調信号Dt2が生成される。これらの信号は、絶対値化部313〜絶対値化部315によって絶対値化されて輪郭強調信号ABDt0〜輪郭強調信号ABDt2とされ、出力選択部316に供給される。
Next, the signal flow when the mode (2) is selected will be described. In the frequency reduction /
出力選択部316では、サブサンプルの周期が1/2に設定されている場合には、輪郭強調信号ABDt0と輪郭強調信号ABDt1のうち値が大きいものが選択される。サブサンプルの周期が1/3に設定されている場合には、輪郭強調信号ABDt0〜輪郭強調信号ABDt2の中から最大のレベルを有するものが選択される。出力選択部316によって選択された最大レベルを有する輪郭強調信号PDtはDFF301aに供給され、タイミング処理部350から供給されるタイミングパルスに基づいて、2クロック周期又は3クロック周期でサブサンプリングされる。サブサンプリングされた輪郭強調信号SDtはセレクタSL4により選択されて、絶対値化/極性反転処理部330に供給される。この後の信号の流れは、上述した(1)のモードと同様であるため説明を省略する。
When the sub-sample period is set to ½, the
(3)のモードが選択された場合には、上述した(1)あるいは(2)のモードにおける周波数低減処理が行われた後に、図5に示す幅変調部320による幅変調処理が行われる。
When the mode (3) is selected, the frequency modulation processing by the
幅変調処理部323での処理に先立って、レベル判定部321によって、現在の輪郭強調信号ABDt0のレベルが、予め設定してあるレベル設定値のどれに該当するかが判断される。そして、幅変調値決定部322(図5参照)によって、判定されたレベルと予め対応付けられた幅変調値WLvが読み出されて、この幅変調値WLvが幅変調処理部323に供給される。
Prior to the processing by the width
幅変調値WLvの値は、レベル設定値が大きくなるほど大きな値となるように設定してあるため、フォーカスが合ってきて輪郭強調信号のレベルが上昇するほどに、画像の輪郭部分に含まれる色成分が太く表示されるようになる。また、レベルが所定のレベル以上となった時点で、輪郭強調信号の付加先を色差信号Crと色差信号Cbの両方とする設定をしておくことで、ピントが合ってくるに従って、画像の輪郭部分の色が変化するようになる。例えば、通常は色差信号Cbのみに付加される設定としておき、レベルが所定の閾値を超えた場合に色差信号Crと色差信号Cbの両方に付加される設定とすることで、ピントが合うに従って、画像の輪郭部分が青色からマゼンダに変化するようになる。 Since the value of the width modulation value WLv is set so as to increase as the level setting value increases, the color included in the contour portion of the image increases as the level of the contour emphasis signal increases as focus is achieved. Ingredients are displayed thicker. Further, when the level becomes equal to or higher than a predetermined level, by setting the addition destination of the edge enhancement signal to both the color difference signal Cr and the color difference signal Cb, the outline of the image is adjusted as the focus is achieved. The color of the part changes. For example, the setting is usually added only to the color difference signal Cb, and when the level exceeds a predetermined threshold, the setting is added to both the color difference signal Cr and the color difference signal Cb. The contour portion of the image changes from blue to magenta.
図8に、(3)のモードが設定された場合の、ビューファインダ400での表示の例を示してある。図8に立方体で示したのは被写体であり、図の左側のピントがぼけた状態から右側のピントが合った状態に移るに従って、被写体の輪郭部分の太さが太くなるとともに、色も淡色から濃い色に変化している状態が示されている。なお図8においては、色の変化を線の種類(破線の間隔や破線から実線への変化)で表現している。
FIG. 8 shows an example of display on the
さらに、図8に示した例では、最も合焦状態に近い図の右端の状態で、輪郭部分の色(図においては破線から実線)が変化している。これは、幅変調処理部323(図5参照)において、輪郭強調信号ABDt0のレベルが所定のレベル以上であった場合に、輪郭強調信号の付加先を、色差信号Crと色差信号Cbのいずれか一方から両方に切り替える制御信号WMxc1を出力させることで実現する。 Further, in the example shown in FIG. 8, the color of the contour portion (in the figure, from the broken line to the solid line) changes in the state of the right end of the drawing closest to the focused state. This is because, in the width modulation processing unit 323 (see FIG. 5), when the level of the edge enhancement signal ABDt0 is equal to or higher than a predetermined level, the addition destination of the edge enhancement signal is either the color difference signal Cr or the color difference signal Cb. This is realized by outputting a control signal WMxc1 for switching from one to both.
3.実施の形態の効果
上述した実施の形態によれば、輪郭強調信号が2クロック周期毎あるいは3クロック周期毎にサブサンプリングされるため、輪郭強調信号の周波数が、本線の輝度信号の周波数の1/2又は1/3になる。これにより、低解像度のビューファインダでも画像の輪郭部分が十分に強調して表示されるようになる。
3. Effects of Embodiment According to the above-described embodiment, the edge emphasis signal is subsampled every 2 clock cycles or every 3 clock cycles, so that the frequency of the edge emphasis signal is 1 / of the frequency of the luminance signal of the main line. 2 or 1/3. As a result, even in a low-resolution viewfinder, the contour portion of the image is displayed with sufficient emphasis.
また、上述した実施の形態によれば、本線の輝度信号から抽出された輪郭強調信号が色差信号Crと色差信号Cbのいずれか、あるいは双方に追加されるため、輪郭強調信号のレベルの増減に応じて、ビューファインダに表示される画像の輪郭部分の色の濃淡が変化するようになる。これにより、ユーザはフォーカスの状態の変化を視覚的に把握することができる。 Further, according to the above-described embodiment, the contour emphasis signal extracted from the main line luminance signal is added to one or both of the color difference signal Cr and the color difference signal Cb. Accordingly, the shade of the color of the contour portion of the image displayed on the viewfinder changes. As a result, the user can visually grasp the change in the focus state.
また、上述した実施の形態によれば、輪郭強調信号のレベルに応じて輪郭強調信号の幅が変化され、幅が変化した輪郭強調信号が本線の色差信号Cr及び/又は色差信号Cbに追加される。これにより、ピントが合焦状態に近づいて輪郭強調信号のレベルが上昇するに従って、画像の輪郭部分の幅が太くなる。従って、ダイナミックレンジが狭く色域が十分でないビューファインダにおいても、フォーカス状態の変化を視覚的に容易に判断することができるようになる。特に、直視型のビューファインダにおいては、使用環境によっては画像中の色の変化が認識しにくくなる場合もあるが、そのような際にも、フォーカス状態の変化が分かりやすく表示されるようになる。 Further, according to the above-described embodiment, the width of the edge enhancement signal is changed according to the level of the edge enhancement signal, and the edge enhancement signal with the changed width is added to the main line color difference signal Cr and / or the color difference signal Cb. The Thereby, the width of the contour portion of the image becomes thicker as the level of the contour emphasis signal rises as the focus approaches. Therefore, even in a viewfinder with a narrow dynamic range and insufficient color gamut, it is possible to easily determine a change in focus state visually. In particular, in a direct view type viewfinder, it may be difficult to recognize a change in color in an image depending on the usage environment. In such a case, the change in focus state is displayed in an easy-to-understand manner. .
また、上述した実施の形態では、輪郭強調信号のレベルが所定のレベルを超えた場合に、輪郭強調信号の付加先を、色差信号Crと色差信号Cbのいずれか一方から両方に切り替える設定をすることができる。これによって、ピントが合焦状態に近づくと、画像の輪郭部分の色合いが変化するようになる。つまり、色の変化によってジャストフォーカスに近づいているか否かを判断することができる。 In the above-described embodiment, when the level of the edge enhancement signal exceeds a predetermined level, the setting to switch the addition destination of the edge enhancement signal from either one of the color difference signal Cr and the color difference signal Cb is performed. be able to. As a result, when the focus approaches the in-focus state, the color of the contour portion of the image changes. That is, it is possible to determine whether or not the focus is approaching due to a color change.
また、上述した実施の形態によれば、輪郭強調信号に対する幅変調処理が、輪郭強調のレベルが増加していないときにのみ行われる。これにより、輪郭強調信号の山/谷の情報を正確に取得することができるようになり、信号の山/谷に応じた幅変調処理が行われるようになる。 Further, according to the above-described embodiment, the width modulation process for the contour emphasis signal is performed only when the level of the contour emphasis is not increased. As a result, it becomes possible to accurately acquire the peak / valley information of the contour emphasis signal, and the width modulation processing corresponding to the peak / valley of the signal is performed.
また、上述した実施の形態では、2つ又は3つの連続するサンプル値の中から最大の値を有するサンプル値を検出して、この値を用いてサブサンプリングを行うピーク検出モードも選択できる。このモードを選択することで、オリジナルの輪郭強調信号が持つ山/谷の情報をより正確に取得することができるようになる。つまり、フォーカス状態の変化が輪郭の強調表示により正確に反映されるようになる。 In the embodiment described above, it is also possible to select a peak detection mode in which a sample value having the maximum value is detected from two or three consecutive sample values and subsampling is performed using this value. By selecting this mode, it becomes possible to more accurately acquire the peak / valley information of the original contour enhancement signal. That is, the change in the focus state is accurately reflected by the highlighting of the outline.
また、上述した実施の形態によれば、本線の色差信号Cr及び/又は色差信号Cbに輪郭強調信号を加算する際に、色差信号Cr及び/又は色差信号Cbに所定のゲイン係数を乗算してそのレベルを落とすこともできる。これにより、画像の輪郭部分の強調をよりはっきり表示することができるようになる。 Further, according to the above-described embodiment, when the edge enhancement signal is added to the main line color difference signal Cr and / or color difference signal Cb, the color difference signal Cr and / or color difference signal Cb is multiplied by a predetermined gain coefficient. You can also drop that level. This makes it possible to display the emphasis of the contour portion of the image more clearly.
また、上述した実施の形態では、輪郭強調信号に対してもゲインの調整を行えるようにしてある。これにより、輪郭強調信号をレベル方向に強調することができるため、屋外等の明るい場所においても、画像の輪郭部分の強調表示を分かりやすく表示することができるようになる。 In the above-described embodiment, the gain can be adjusted also for the contour enhancement signal. As a result, the contour emphasis signal can be emphasized in the level direction, so that the emphasis display of the contour portion of the image can be displayed in an easy-to-understand manner even in bright places such as outdoors.
また、上述した実施の形態によれば、サブサンプルされた輪郭強調信号を本線の輝度信号に付加する設定や、従来通り、何も処理が加えられていない輪郭強調信号を本線の輝度信号に加算する設定も選択することができる。これにより、撮影状況等に応じて好みの強調方法を選択することができるようになる。 In addition, according to the above-described embodiment, the setting of adding the subsampled contour enhancement signal to the main line luminance signal, and the addition of the outline emphasis signal that has not been processed as usual, to the main line luminance signal are added. You can also select the settings you want. As a result, a preferred emphasis method can be selected in accordance with the shooting situation or the like.
4.本実施の形態の他の例
なお、上述した実施の形態では、サブサンプリングされた輪郭強調信号にアンチエイリアシングの処理を施さないで本線の信号に加算することで、エイリアシングによるフリッカを自然発生させている。これによって発生する画像の輪郭部分におけるフリッカも、輪郭強調表示の1つであると考えるためである。
4). Another Example of the Embodiment In the above-described embodiment, flicker due to aliasing is naturally generated by adding the sub-sampled contour enhancement signal to the main line signal without performing anti-aliasing processing. Yes. This is because flicker in the contour portion of the image generated thereby is considered to be one of the contour emphasis display.
このため、輪郭強調表示の1つとしてのフリッカを、意図的に発生させる構成を採用してもよい。具体的には、本線の信号への輪郭強調信号の付加のタイミングをオン又はオフすることによって、画像の輪郭部分を明滅させるようにしてもよい。オンとオフの切り替えは、垂直方向の1ライン毎に行ってもよく、1フィールド(又はフレーム)毎に行うようにしてもよい。 For this reason, a configuration that intentionally generates flicker as one of the outline emphasis displays may be employed. Specifically, the contour portion of the image may be blinked by turning on or off the timing of adding the contour emphasis signal to the main line signal. Switching between ON and OFF may be performed for each line in the vertical direction, or may be performed for each field (or frame).
又は、固定周期モードが選択されている場合には、サブサンプルの位相を選択することで、フリッカの発生状態と非発生状態とを切り替えるようにしてもよい。 Alternatively, when the fixed cycle mode is selected, the flicker generation state and the non-occurrence state may be switched by selecting the phase of the subsample.
このような処理を行うことにより、画像の輪郭部分近辺が周期的に明滅するようになるため、フォーカスが合焦状態に近づいたことを容易に判断できるようになる。 By performing such processing, the vicinity of the contour portion of the image periodically blinks, so that it is possible to easily determine that the focus is close to the focused state.
また、上述した実施の形態では、ビューファインダ400を備えた撮像装置1に適用した例を挙げたが、ビューファインダ等の表示部は備えない構成に適用するようにしてもよい。つまり、出力端子等を通して外部の表示装置に映像信号を出力する装置に適用してもよい。また、撮像部100を有さず、外部の撮像装置から入力される映像信号を処理する映像信号処理装置に適用してもよい。
In the above-described embodiment, the example is applied to the
1…撮像装置、100…撮像部、200…輪郭成分抽出部、300…輪郭強調処理部、301C,301Y…遅延部,301a,301b…Dフリップフロップ、310…周波数低減/ピーク検出部、311,312…遅延部、313〜315…絶対値化部、316…出力選択部、320…幅変調部、321…レベル判定部、322…幅変調値決定部、323…幅変調処理部、330,340…絶対値化/極性反転処理部、350…タイミング処理部、400…ビューファインダ、500…カウンタ、AM1〜AM4…加算器、ML1〜ML3…乗算器、SL1〜SL4…セレクタ
DESCRIPTION OF
Claims (17)
前記輪郭成分抽出部で生成された輪郭強調信号を所定のクロック周期毎にサンプリングして出力する周波数低減部と、
前記周波数低減部から出力された輪郭強調信号を、前記入力映像信号を構成する色差信号に加算する加算器とを備えた
映像信号処理装置。 A contour component extraction unit that extracts a high frequency component included in a luminance signal of an input video signal and generates a contour enhancement signal at a level corresponding to the size of the extracted high frequency component;
A frequency reduction unit that samples and outputs the contour enhancement signal generated by the contour component extraction unit every predetermined clock period;
A video signal processing apparatus comprising: an adder that adds a contour enhancement signal output from the frequency reduction unit to a color difference signal constituting the input video signal.
請求項1記載の映像信号処理装置。 A width modulation unit that modulates the width of the contour enhancement signal generated by the contour component extraction unit to a width corresponding to the level of the contour enhancement signal, and outputs the width-enhanced contour enhancement signal to the adder; The video signal processing apparatus according to claim 1.
前記複数のレベルのそれぞれに対して、前記幅の太さを規定する任意の幅変調値を予め対応づけておき、前記レベル判定部より前記判定されたレベルの情報が入力された場合に、前記判定されたレベルに対応する幅変調値を抽出する幅変調値決定部と、
前記幅変調値決定部で抽出された幅変調値に基づいて、前記輪郭強調信号に幅変調処理を施す幅変調処理部とを有する
請求項2記載の映像信号処理装置。 The width modulation unit, a level determination unit that determines which level of a plurality of preset levels the level of the contour enhancement signal is classified;
An arbitrary width modulation value that defines the width of the width is associated with each of the plurality of levels in advance, and when the information on the determined level is input from the level determination unit, A width modulation value determination unit that extracts a width modulation value corresponding to the determined level;
The video signal processing apparatus according to claim 2, further comprising: a width modulation processing unit that performs a width modulation process on the contour enhancement signal based on the width modulation value extracted by the width modulation value determination unit.
請求項3記載の映像信号処理装置。 4. The video signal processing according to claim 3, wherein the width modulation processing unit selectively switches whether or not to perform width modulation processing on the contour emphasis signal in accordance with an increase or decrease in the level of the contour emphasis signal. apparatus.
請求項4記載の映像信号処理装置。 5. The video signal processing device according to claim 4, wherein the width modulation processing unit performs width modulation processing on the contour emphasis signal only when the increase / decrease detection unit determines that the level of the contour emphasis signal is decreased. .
前記幅変調値決定部は、前記第1の加算器と前記第2の加算器のいずれで加算処理を行わせるかを決める加算制御を行い、前記レベル判定部で判定されたレベルが所定のレベル未満である場合と、所定のレベル以上である場合とで、前記加算制御を変化させる
請求項4記載の映像信号処理装置。 The adder adds a first adder that adds the edge enhancement signal and a red color difference signal of the color difference signal, and a second adder that adds the edge enhancement signal and a blue color difference signal of the color difference signal. And an adder
The width modulation value determination unit performs addition control for determining which of the first adder and the second adder performs the addition process, and the level determined by the level determination unit is a predetermined level. The video signal processing device according to claim 4, wherein the addition control is changed depending on whether the value is less than or equal to or greater than a predetermined level.
請求項6記載の映像信号処理装置。 When the level determined by the level determination unit is less than a predetermined level, the width modulation value determination unit uses only one of the first adder and the second adder to generate the contour enhancement signal. When the level determined by the level determination unit is equal to or higher than a predetermined level, both the first adder and the second adder output the contour. The video signal processing apparatus according to claim 6, wherein a control signal for adding the enhancement signal is output.
請求項4記載の映像信号処理装置。 Of the contour enhancement signals generated by the contour component extraction unit, a predetermined number of contour enhancement signals adjacent in the horizontal direction are extracted, and the levels of the extracted predetermined number of contour enhancement signals are compared to obtain the maximum value. The video signal processing apparatus according to claim 4, further comprising a peak detection unit that detects and outputs the detected maximum value to the delay unit.
請求項4記載の映像信号処理装置。 The video signal processing apparatus according to claim 4, further comprising a multiplier that multiplies the color difference signal by a predetermined gain coefficient that lowers the level of the color difference signal and outputs the result to the adder.
請求項4記載の映像信号処理装置。 5. The edge enhancement signal is multiplied by a predetermined gain coefficient that increases the level of the edge enhancement signal added to the color difference signal, and the edge enhancement signal after being multiplied by the gain coefficient is output to the adder. The video signal processing apparatus described.
請求項4記載の映像信号処理装置。 5. The video signal processing apparatus according to claim 4, further comprising a third adder that adds a contour enhancement signal sampled by the frequency reduction unit at a predetermined clock cycle to a luminance signal of the input video signal.
請求項11記載の映像信号処理装置。 In the third adder, addition or non-addition of a contour emphasis signal sampled at a predetermined clock cycle by the frequency reduction unit to a luminance signal of the input video signal is switched every predetermined cycle. 11. The video signal processing apparatus according to 11.
請求項10記載の映像信号処理装置。 A control signal for adding the edge enhancement signal to the luminance signal or a control signal for adding the edge enhancement signal to the red color difference signal and / or the blue color difference signal is generated based on a user instruction, The video signal processing apparatus according to claim 10, wherein the video signal processing apparatus is supplied to the first adder, the second adder, and the third adder.
請求項4記載の映像信号処理装置。 The video signal processing apparatus according to claim 4, further comprising: an absolute value conversion / polarity inversion processing unit that performs processing for converting the edge emphasis signal input to the delay unit into an absolute value and / or inverting the polarity thereof.
請求項1記載の映像信号処理装置。 The video signal processing apparatus according to claim 1, wherein the predetermined clock period in the frequency reduction processing unit is a two-clock period or a three-clock period.
前記撮像部で生成された映像信号の輝度信号に含まれる高域成分を抽出して、前記抽出した高域成分の大きさに応じたレベルの輪郭強調信号を生成する輪郭成分抽出部と、
前記輪郭成分抽出部で生成された輪郭強調信号を所定のクロック周期毎にサンプリングして出力する周波数低減部と、
前記周波数低減部から出力された輪郭強調信号を、前記入力映像信号を構成する色差信号に加算する加算器と、
前記加算器で前記輪郭強調信号が加算された前記色差信号を表示する表示部とを備えた
撮像装置。 An imaging unit that photoelectrically converts subject light to generate a video signal;
A contour component extraction unit that extracts a high frequency component included in a luminance signal of the video signal generated by the imaging unit, and generates a contour enhancement signal at a level according to the size of the extracted high frequency component;
A frequency reduction unit that samples and outputs the contour enhancement signal generated by the contour component extraction unit every predetermined clock period;
An adder for adding the contour enhancement signal output from the frequency reduction unit to the color difference signal constituting the input video signal;
An imaging apparatus comprising: a display unit that displays the color difference signal to which the contour enhancement signal is added by the adder.
前記輪郭成分抽出部で生成された輪郭強調信号を所定のクロック周期毎にサンプリングして出力するステップと、
前記周波数低減部から出力された輪郭強調信号を、前記入力映像信号を構成する色差信号に加算するステップとを含む
映像信号処理方法。 Extracting a high frequency component included in the luminance signal of the input video signal, and generating a contour enhancement signal having a level corresponding to the size of the extracted high frequency component;
Sampling and outputting the contour emphasis signal generated by the contour component extraction unit at predetermined clock cycles;
Adding a contour enhancement signal output from the frequency reduction unit to a color difference signal constituting the input video signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008285899A JP2010135865A (en) | 2008-10-27 | 2008-11-06 | Video signal processing device, image capturing apparatus and video signal processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008275650 | 2008-10-27 | ||
JP2008285899A JP2010135865A (en) | 2008-10-27 | 2008-11-06 | Video signal processing device, image capturing apparatus and video signal processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010135865A true JP2010135865A (en) | 2010-06-17 |
Family
ID=42346739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008285899A Pending JP2010135865A (en) | 2008-10-27 | 2008-11-06 | Video signal processing device, image capturing apparatus and video signal processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010135865A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013211757A (en) * | 2012-03-30 | 2013-10-10 | Jvc Kenwood Corp | Imaging device, imaging method, and image processing device |
US8810710B2 (en) | 2011-05-18 | 2014-08-19 | Sony Corporation | Imaging using normalized luminance value to display focus state |
JP2015152859A (en) * | 2014-02-18 | 2015-08-24 | 富士通株式会社 | Image display device, image display method, and image display program |
WO2020195246A1 (en) | 2019-03-28 | 2020-10-01 | ソニー株式会社 | Imaging device, imaging method, and program |
JP2021002066A (en) * | 2015-06-18 | 2021-01-07 | ソニー株式会社 | Display control device, display control method, and display control program |
-
2008
- 2008-11-06 JP JP2008285899A patent/JP2010135865A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8810710B2 (en) | 2011-05-18 | 2014-08-19 | Sony Corporation | Imaging using normalized luminance value to display focus state |
JP2013211757A (en) * | 2012-03-30 | 2013-10-10 | Jvc Kenwood Corp | Imaging device, imaging method, and image processing device |
JP2015152859A (en) * | 2014-02-18 | 2015-08-24 | 富士通株式会社 | Image display device, image display method, and image display program |
JP2021002066A (en) * | 2015-06-18 | 2021-01-07 | ソニー株式会社 | Display control device, display control method, and display control program |
JP7036176B2 (en) | 2015-06-18 | 2022-03-15 | ソニーグループ株式会社 | Display control device, display control method and display control program |
US11500174B2 (en) | 2015-06-18 | 2022-11-15 | Sony Corporation | Display control device and display control method |
WO2020195246A1 (en) | 2019-03-28 | 2020-10-01 | ソニー株式会社 | Imaging device, imaging method, and program |
US11729493B2 (en) | 2019-03-28 | 2023-08-15 | Sony Group Corporation | Image capture apparatus and image capture method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10896634B2 (en) | Image signal processing apparatus and control method therefor | |
JP5321163B2 (en) | Imaging apparatus and imaging method | |
JP5983616B2 (en) | Imaging apparatus, imaging method, and program | |
JP5523124B2 (en) | Imaging device | |
JP2007060328A (en) | Imaging apparatus and display control method | |
EP3327666A1 (en) | Control method and electronic apparatus | |
WO2016047240A1 (en) | Image processing device, image pickup element, image pickup device, and image processing method | |
JP2003224769A (en) | Digital camera | |
JP2002010108A (en) | Device and method for processing image signal | |
JP2013034261A (en) | Imaging apparatus and imaging method | |
JP2011082965A (en) | Imaging apparatus and imaging processing method | |
JP2010135865A (en) | Video signal processing device, image capturing apparatus and video signal processing method | |
US9137506B2 (en) | User interface (UI) providing method and photographing apparatus using the same | |
US8212916B2 (en) | Image display device, image pickup apparatus, and image display method that allow focus assistant display | |
JP5529424B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP2010074549A (en) | Video signal processor, image pickup device, display device and video signal processing method | |
JP6305194B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US9979943B2 (en) | Image processing apparatus for applying emphasis effect processing to a specific component of an image signal, image processing method and image capture apparatus | |
JP2003283873A (en) | Contour enhancement circuit | |
JP5095434B2 (en) | Imaging apparatus and image processing apparatus | |
EP2515543B1 (en) | Image capturing apparatus and image capturing method | |
KR20110057603A (en) | Apparatus and method for digital picturing image | |
JP2007189639A (en) | Digital camera | |
JP2014103450A (en) | Image processing apparatus, method and program | |
WO2022071271A1 (en) | Imaging device, image processing method, and image processing program |