JP2008252758A - Video signal processor and video signal processing method - Google Patents

Video signal processor and video signal processing method Download PDF

Info

Publication number
JP2008252758A
JP2008252758A JP2007094357A JP2007094357A JP2008252758A JP 2008252758 A JP2008252758 A JP 2008252758A JP 2007094357 A JP2007094357 A JP 2007094357A JP 2007094357 A JP2007094357 A JP 2007094357A JP 2008252758 A JP2008252758 A JP 2008252758A
Authority
JP
Japan
Prior art keywords
amount
motion
unit
video signal
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007094357A
Other languages
Japanese (ja)
Other versions
JP4924155B2 (en
Inventor
Nobuyuki Sudo
信幸 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007094357A priority Critical patent/JP4924155B2/en
Publication of JP2008252758A publication Critical patent/JP2008252758A/en
Application granted granted Critical
Publication of JP4924155B2 publication Critical patent/JP4924155B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To effectively remove noise. <P>SOLUTION: A video signal processor is provided with a moving amount detector 41 which detects a moving amount MV on the basis of a video signal Vsd, a recursive noise removing unit 46 which removes noise from the video signal, and a coefficient setting unit 45 which sets a coefficient for setting an amount of recursion of the recursive noise removing unit 46 according to the moving amount MV detected by the moving amount detector 412. When the difference in moving amount between sequential pictures exceeds a prescribed level, the coefficient setting unit 45 sets the coefficient so that the amount of recursion is smaller for a prescribed period than when the coefficient is set according to the moving amount. When the difference in moving amount between frames or fields increases owing to scene change etc., an afterimage is prevented from being generated to effectively remove the noise. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、映像信号処理装置と映像信号処理方法に関する。詳しくは、映像信号から動き量を検出して、この動き量に基づき巡回型ノイズ除去部の巡回量を設定して、時間的に連続する映像間の動き量の差が所定レベルを超えたとき、動き量に応じて設定したときよりも巡回量を所定期間小さくして、映像信号のノイズ除去を行うものである。   The present invention relates to a video signal processing apparatus and a video signal processing method. Specifically, when the motion amount is detected from the video signal, and the cyclic amount of the cyclic noise removal unit is set based on the motion amount, and the difference in the motion amount between temporally continuous images exceeds a predetermined level The video signal is denoised by making the amount of circulation smaller by a predetermined period than when set according to the amount of motion.

映像信号のノイズ除去を行うノイズ低減装置、例えば特許文献1のノイズ低減装置では、フレーム巡回型ノイズ低減装置と非巡回型フィルタノイズ低減装置を用いて構成されており、フレーム巡回型ノイズ低減装置で得た動き検出信号と映像信号レベルによって、フレーム巡回型ノイズ低減装置と非巡回型フィルタノイズ低減装置を制御する。   A noise reduction device that removes noise from a video signal, for example, the noise reduction device disclosed in Patent Document 1, is configured using a frame cyclic noise reduction device and a non-cyclic filter noise reduction device. The frame cyclic noise reduction device and the non-cyclic filter noise reduction device are controlled according to the obtained motion detection signal and video signal level.

ここで、フレーム巡回型ノイズ低減装置は、入力映像信号から映像の動きを検出して動きが小さいときは遅延映像の巡回量が大きく、動きが大きいときは巡回量が小さくされて、静止に近いほどノイズ低減の効果が大きく、動きが大きくなるにつれて残像が発生しないように制御されている。また、映像信号レベルが小さい場合は巡回量が大きく、映像信号レベルが大きいときは巡回量が小さくされている。非巡回型フィルタノイズ低減装置は、動画に近いほどノイズ低減の効果が大きくなるように制御されて、映像信号レベルが小さい場合はノイズが目立つのでノイズ低減効果を上げるように制御されている。   Here, the frame cyclic noise reduction device detects the motion of the video from the input video signal, and when the motion is small, the cyclic amount of the delayed video is large, and when the motion is large, the cyclic amount is small and close to a stillness. As the effect of noise reduction increases, the afterimage is controlled so as not to occur as the motion increases. When the video signal level is small, the amount of circulation is large, and when the video signal level is large, the amount of circulation is small. The non-recursive filter noise reduction device is controlled to increase the noise reduction effect as it is closer to a moving image, and is controlled to increase the noise reduction effect because noise is noticeable when the video signal level is low.

特開2002−10106号公報JP 2002-10106 A

ところで、動きが小さいときに遅延映像の巡回量を大きくすると、動きの小さいシーンから新たなシーンにシーンチェンジ等が行われたとき、遅延映像の巡回量が大きいことから残像が発生してしまう。特にシーンチェンジの前後で映像の構図が大きく異なる場合や輝度差が大きい場合、表示色が大きく異なる場合、残像が顕著となってしまい良好な画質で映像表示を行うことができなくなってしまう。   By the way, if the cyclic amount of the delayed video is increased when the motion is small, when a scene change or the like is performed from a scene with a small motion to a new scene, an afterimage is generated because the cyclic amount of the delayed video is large. In particular, when the composition of the video is greatly different before and after the scene change, when the luminance difference is large, or when the display color is largely different, the afterimage becomes noticeable and the video cannot be displayed with good image quality.

そこで、この発明では、ノイズ除去を効果的に行うことができる映像信号処理装置および映像信号処理方法を提供するものである。   Accordingly, the present invention provides a video signal processing apparatus and a video signal processing method that can effectively perform noise removal.

この発明の概念は、映像信号から検出した映像の動き量に応じて巡回型ノイズ除去部の巡回量を設定して映像信号のノイズ除去を行い、シーンチェンジ等によってフレーム間やフィールド間での動き量の差が大きくなったときには、残像が目立たないように巡回量を小さくすることにある。   The concept of the present invention is to set the cyclic amount of the cyclic noise removing unit according to the amount of motion of the video detected from the video signal, to remove the noise of the video signal, and to move between frames or between fields by scene change etc. When the amount difference becomes large, the amount of circulation is to be reduced so that the afterimage is not noticeable.

この発明の映像信号処理装置は、映像信号に基づいて動き量を検出する動き量検出部と、映像信号のノイズ除去を行う巡回型ノイズ除去部と、巡回型ノイズ除去部における巡回量を設定するための係数を、動き量検出部で検出された動き量に応じて設定する係数設定部を有し、係数設定部は、時間的に連続する映像間の動き量の差が所定レベルを超えたとき、動き量に応じて係数を設定したときよりも巡回量が所定期間小さくなるように係数の設定を行うものである。   The video signal processing apparatus according to the present invention sets a motion amount detection unit that detects a motion amount based on a video signal, a cyclic noise removal unit that removes noise from the video signal, and a cyclic amount in the cyclic noise removal unit. A coefficient setting unit that sets a coefficient for the image according to the amount of motion detected by the motion amount detection unit, and the coefficient setting unit has a difference in the amount of motion between temporally continuous images exceeds a predetermined level When the coefficient is set according to the amount of motion, the coefficient is set so that the cyclic amount is smaller than the predetermined period.

また、この発明の映像信号処理方法では、映像信号から動き量を検出する動き量検出工程と、映像信号のノイズ除去を行う巡回型ノイズ除去工程と、巡回型ノイズ除去工程における巡回量を設定するための係数を、動き量検出工程で検出された動き量に応じて設定する係数設定工程を有し、係数設定工程では、時間的に連続する映像間の動き量の差が所定レベルを超えたとき、動き量に応じて係数を設定したときよりも巡回量が所定期間小さくなるように係数の設定を行うものである。   In the video signal processing method of the present invention, a motion amount detecting step for detecting a motion amount from the video signal, a cyclic noise removing step for removing noise from the video signal, and a cyclic amount in the cyclic noise removing step are set. A coefficient setting step for setting a coefficient for the image according to the amount of motion detected in the motion amount detection step, and in the coefficient setting step, the difference in the amount of motion between temporally continuous images exceeds a predetermined level When the coefficient is set according to the amount of motion, the coefficient is set so that the cyclic amount is smaller than the predetermined period.

この発明によれば、映像信号から動き量を検出して、この動き量に基づき巡回型ノイズ除去部の巡回量を設定して、時間的に連続する映像間の動き量の差が所定レベルを超えたとき、動き量に応じて設定したときよりも巡回量を所定期間小さくして、映像信号のノイズ除去が行われる。このため、シーンチェンジ等によってフレーム間やフィールド間での動き量の差が大きくなったとき、残像の発生が防止されてノイズ除去を効果的に行うことができる。   According to the present invention, the amount of motion is detected from the video signal, and the amount of movement of the cyclic noise removing unit is set based on the amount of motion, so that the difference in the amount of motion between temporally continuous images has a predetermined level. When exceeding, the amount of circulation is made smaller than the time set according to the amount of motion for a predetermined period, and noise removal of the video signal is performed. For this reason, when a difference in the amount of motion between frames or fields becomes large due to a scene change or the like, afterimage generation is prevented and noise removal can be performed effectively.

以下、図を参照しながら、この発明の実施の一形態について説明する。図1は映像信号処理装置を用いた機器、例えばテレビジョン装置の構成を示している。なお、映像信号処理装置を用いた機器はテレビジョン装置に限られるものではなく、例えば記録媒体(磁気テープ,磁気ディスク,光ディスク,半導体メモリ等)を用いて映像信号の記録再生を行う記録再生装置、セットトップボックス等であってもよい。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a device using a video signal processing device, for example, a television device. The apparatus using the video signal processing apparatus is not limited to the television apparatus, and for example, a recording / reproducing apparatus for recording / reproducing a video signal using a recording medium (magnetic tape, magnetic disk, optical disk, semiconductor memory, etc.). It may be a set top box or the like.

図1において、テレビジョン装置11の衛星放送用アンテナ12は、ディジタル衛星放送を受信するアンテナであり、衛星放送用アンテナ12で得られた受信信号RF1は衛星放送用選局/復調部13に供給される。衛星放送用選局/復調部13は、所望のチャネル(周波数)の選局を行い、得られた中間周波信号をディジタル復調する。さらにディジタル復調により得られたトランスポートストリームTS1をデマルチプレクサ21に供給する。このディジタル復調では衛星放送で用いられている変調方式に対応した復調処理例えばQPSK復調処理等を行う。なお、衛星放送用選局/復調部13の動作は、後述する制御部80からの制御信号CTによって制御される。   In FIG. 1, a satellite broadcast antenna 12 of a television apparatus 11 is an antenna that receives digital satellite broadcast, and a received signal RF1 obtained by the satellite broadcast antenna 12 is supplied to a satellite broadcast tuning / demodulation unit 13. Is done. The satellite broadcast tuning / demodulation unit 13 selects a desired channel (frequency) and digitally demodulates the obtained intermediate frequency signal. Further, the transport stream TS1 obtained by digital demodulation is supplied to the demultiplexer 21. In this digital demodulation, demodulation processing corresponding to the modulation method used in satellite broadcasting, such as QPSK demodulation processing, is performed. The operation of the satellite broadcast tuning / demodulation unit 13 is controlled by a control signal CT from a control unit 80 described later.

地上放送用アンテナ15は、地上放送を受信するアンテナであり、地上放送用アンテナ15で得られた受信信号RF2は地上放送用選局/復調部16に供給される。地上放送用選局/復調部16は、所望のチャネルの選局を行い、得られた中間周波信号の復調処理を行う。ここで、地上放送用選局/復調部16は、地上アナログ放送を受信しているとき、中間周波信号のアナログ復調処理を行い、得られた映像信号をディジタルの映像信号VSbに変換して映像切換部31に供給し、得られた音声信号ASbを音声切換部71に供給する。また、地上放送用選局/復調部16は、地上ディジタル放送を受信しているとき、中間周波信号のディジタル復調を行い、得られたトランスポートストリームTS2をデマルチプレクサ21に供給する。このディジタル復調では、地上ディジタル放送で用いられている変調方式に対応した復調処理例えばQFDM復調処理等を行う。なお、地上放送用選局/復調部16の動作も、後述する制御部80からの制御信号CTによって制御される。   The terrestrial broadcast antenna 15 is an antenna for receiving terrestrial broadcasts, and the reception signal RF2 obtained by the terrestrial broadcast antenna 15 is supplied to the terrestrial broadcast channel selection / demodulation unit 16. The terrestrial broadcast channel selection / demodulation unit 16 selects a desired channel and demodulates the obtained intermediate frequency signal. Here, when receiving a terrestrial analog broadcast, the terrestrial broadcast tuning / demodulation unit 16 performs an analog demodulation process on the intermediate frequency signal, converts the obtained video signal into a digital video signal VSb, and outputs a video. The signal is supplied to the switching unit 31 and the obtained audio signal ASb is supplied to the audio switching unit 71. The terrestrial broadcast channel selection / demodulation unit 16 digitally demodulates the intermediate frequency signal when receiving the terrestrial digital broadcast, and supplies the obtained transport stream TS2 to the demultiplexer 21. In this digital demodulation, a demodulation process corresponding to a modulation method used in terrestrial digital broadcasting, such as a QFDM demodulation process, is performed. The operation of the terrestrial broadcast channel selection / demodulation unit 16 is also controlled by a control signal CT from a control unit 80 described later.

デマルチプレクサ21は、ディジタル衛星放送を受信するときトランスポートストリームTS1を選択して、地上ディジタル放送を受信するときトランスポートストリームTS2を選択する。さらに、デマルチプレクサ21は、選択したトランスポートストリームに時分割的に多重して含まれている映像データDTv、音声データDTa、放送データDTdなどを分離して、映像データDTvおよび音声データDTaをデコーダ部22に供給し、放送データDTdを放送データ処理部23に供給する。   The demultiplexer 21 selects the transport stream TS1 when receiving the digital satellite broadcast, and selects the transport stream TS2 when receiving the terrestrial digital broadcast. Further, the demultiplexer 21 separates the video data DTv, audio data DTa, broadcast data DTd, etc. included in the selected transport stream in a time-division multiplexed manner, and decodes the video data DTv and the audio data DTa. The broadcast data DTd is supplied to the broadcast data processing unit 23.

デコーダ部22は、映像データDTvの復号を行い、得られた映像信号VSaを映像切換部31に供給する。また、デコーダ部22は、音声データDTaの復号を行い、得られた音声信号ASaを音声切換部71に供給する。   The decoder unit 22 decodes the video data DTv and supplies the obtained video signal VSa to the video switching unit 31. The decoder unit 22 decodes the audio data DTa and supplies the obtained audio signal ASa to the audio switching unit 71.

放送データ処理部23は、ユーザ操作に応じた所定の処理、例えばEPG(Electric Program Guide)表示等を行うための制御信号CSを生成して信号生成部61に供給する。   The broadcast data processing unit 23 generates a control signal CS for performing predetermined processing according to a user operation, for example, EPG (Electric Program Guide) display, and supplies the control signal CS to the signal generation unit 61.

映像切換部31には、外部入力端子28が接続されており、この外部入力端子28を介して外部機器からコンポジット方式やコンポーネント方式、HDMI(High Definition Multimedia Interface)方式、DVI(Digital Visual Interface)方式等の映像信号の入力を行うことができるようになされている。また、映像切換部31には信号処理部40が接続されており、信号処理部40に供給する映像信号を、デコーダ部22から供給された映像信号VSa、地上放送用選局/復調部16からの映像信号VSb、外部入力端子28を介して供給された映像信号VScのいずれかに切り換える。なお、信号処理部40に供給する映像信号VSdは、輝度信号と色差信号で構成されているものとする。また、例えば外部入力端子28から異なる方式で映像信号が供給されているとき、映像切換部31は方式変換処理を行う。   An external input terminal 28 is connected to the video switching unit 31, and a composite method, a component method, an HDMI (High Definition Multimedia Interface) method, a DVI (Digital Visual Interface) method is used from an external device via the external input terminal 28. The video signal can be input. Further, a signal processing unit 40 is connected to the video switching unit 31, and the video signal supplied to the signal processing unit 40 is transmitted from the video signal VSa supplied from the decoder unit 22 and the terrestrial broadcast tuning / demodulation unit 16. Of the video signal VSb and the video signal VSc supplied via the external input terminal 28. It is assumed that the video signal VSd supplied to the signal processing unit 40 is composed of a luminance signal and a color difference signal. For example, when a video signal is supplied from the external input terminal 28 by a different method, the video switching unit 31 performs a method conversion process.

信号処理部40は、映像切換部31から供給された映像信号VSdに対して種々の信号処理を行い、信号処理後の映像信号VSeを例えば三原色信号として合成処理部62に供給する。なお、信号処理部40の構成や動作については後述する。   The signal processing unit 40 performs various signal processing on the video signal VSd supplied from the video switching unit 31, and supplies the video signal VSe after the signal processing to the synthesis processing unit 62 as, for example, three primary color signals. The configuration and operation of the signal processing unit 40 will be described later.

信号生成部61は、放送データ処理部23から供給された制御信号CSまたは後述する制御部80からの制御信号CTに基づき、オンスクリーン表示用映像信号VSoscを生成して合成処理部62に供給する。例えば、信号生成部61は、放送データ処理部23から供給された制御信号CSや制御部80からの制御信号CTに基づき、EPG表示やチャネル表示等を行うためのオンスクリーン表示用映像信号VSoscを生成して合成処理部62に供給する。   The signal generation unit 61 generates an on-screen display video signal VSosc based on a control signal CS supplied from the broadcast data processing unit 23 or a control signal CT from a control unit 80 described later, and supplies it to the synthesis processing unit 62. . For example, based on the control signal CS supplied from the broadcast data processing unit 23 and the control signal CT from the control unit 80, the signal generation unit 61 generates an on-screen display video signal VSosc for performing EPG display, channel display, and the like. Generated and supplied to the synthesis processing unit 62.

合成処理部62は、信号処理部40から供給された映像信号VSeに信号生成部61から供給されたオンスクリーン表示用映像信号VSoscを合成して、映像出力信号VSgとして映像出力処理部63に供給する。また、合成処理部62は、映像信号VSeにオンスクリーン表示用映像信号VSoscを合成するとき、いわゆるアルファブレンド処理を行い、映像出力信号VSgにおける映像信号VSeと合成用映像信号VSfの合成比を可変できるようにする。   The synthesis processing unit 62 combines the video signal VSe supplied from the signal processing unit 40 with the video signal VSosc for on-screen display supplied from the signal generation unit 61 and supplies the synthesized video signal VSosc to the video output processing unit 63 as a video output signal VSg. To do. Further, when the on-screen display video signal VSosc is synthesized with the video signal VSe, the synthesis processing unit 62 performs a so-called alpha blending process to change the synthesis ratio of the video signal VSe and the synthesis video signal VSf in the video output signal VSg. It can be so.

映像出力処理部63には、例えばLCD(Liquid Crystal Display),PDP(Plasma Display Panel),EL(Electro Luminescence),陰極線管などの表示デバイスを用いて構成された表示部64が接続されている。映像出力処理部63は、映像出力信号VSgに基づき、表示デバイスを駆動するための表示駆動信号DRvを生成して表示部64に供給する。このため表示部64で映像表示を行うことができる。また、映像出力処理部63は、外部機器(図示せず)に映像信号を供給するとき、映像出力信号VSgを外部機器に対応したフォーマットの出力信号Voutとして出力する。   The video output processing unit 63 is connected to a display unit 64 configured using a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an EL (Electro Luminescence), or a cathode ray tube. The video output processing unit 63 generates a display drive signal DRv for driving the display device based on the video output signal VSg and supplies the display drive signal DRv to the display unit 64. For this reason, video can be displayed on the display unit 64. Further, when the video output processing unit 63 supplies a video signal to an external device (not shown), the video output processing unit 63 outputs the video output signal VSg as an output signal Vout having a format corresponding to the external device.

音声切換部71には、外部入力端子28が接続されており、この外部入力端子28を介して外部機器から音声信号AScの入力を行うことができるようになされている。また、音声切換部71には音声出力処理部72が接続されており、音声出力処理部72に供給する音声信号ASdを、デコーダ部22から供給された音声信号ASa、地上放送用選局/復調部16からの音声信号ASb、外部入力端子28を介して供給された音声信号AScのいずれかに切り換える。   An external input terminal 28 is connected to the audio switching unit 71, and an audio signal ASc can be input from an external device via the external input terminal 28. In addition, an audio output processing unit 72 is connected to the audio switching unit 71, and the audio signal ASd supplied to the audio output processing unit 72 is replaced with the audio signal ASa supplied from the decoder unit 22, the channel selection / demodulation for terrestrial broadcasting. The audio signal ASb from the unit 16 or the audio signal ASc supplied via the external input terminal 28 is switched.

音声出力処理部72には、スピーカを用いて構成された音声出力部73が接続されている。音声出力処理部72は、音声切換部71から供給された音声信号ASdを用いて音声処理例えば信号レベル調整や音質調整、ノイズ除去処理等を行い、音声処理後の音声出力信号DRaを音声出力部73に供給して音声出力を行う。また、音声出力処理部72は、外部機器(図示せず)に音声信号を供給するとき、音声処理後の信号を外部機器に対応したフォーマットの出力信号Aoutとして出力する。   An audio output unit 73 configured using a speaker is connected to the audio output processing unit 72. The audio output processing unit 72 performs audio processing such as signal level adjustment, sound quality adjustment, noise removal processing, and the like using the audio signal ASd supplied from the audio switching unit 71, and outputs the audio output signal DRa after audio processing to the audio output unit 73 to perform audio output. Further, when the audio output processing unit 72 supplies an audio signal to an external device (not shown), the audio output processing unit 72 outputs the signal after the audio processing as an output signal Aout having a format corresponding to the external device.

制御部80にはユーザインタフェース部81が接続されている。ユーザインタフェース部81はユーザ操作に応じた操作信号PSを制御部80に供給するものであり、例えば操作キーやリモートコントロール信号受信部等で構成されている。   A user interface unit 81 is connected to the control unit 80. The user interface unit 81 supplies an operation signal PS corresponding to a user operation to the control unit 80, and includes, for example, an operation key and a remote control signal receiving unit.

制御部80は、バス85を介して上述の各部と接続されている。制御部80は、ユーザインタフェース部81からの操作信号PSに基づき、制御信号CTを生成して各部に供給することで、テレビジョン装置11の動作がユーザ操作に応じた動作となるように制御する。例えば、ユーザインタフェース部81から供給された操作信号PSによって、チャネル切り換えや放送切り換えまたは入力切り換え等の信号切り換え操作が行われたことが示されたとき、制御部80は、所望のチャネルや所望の放送方式の映像/音声または外部から供給された映像/音声の提示等を行うことができるように、衛星放送用選局/復調部13や地上放送用選局/復調部16の選局動作や、デマルチプレクサ21や映像切換部31および音声切換部71の切り換え動作等を制御する。   The control unit 80 is connected to the above-described units via the bus 85. The control unit 80 generates a control signal CT based on the operation signal PS from the user interface unit 81 and supplies the control signal CT to each unit, thereby controlling the operation of the television device 11 to be an operation corresponding to the user operation. . For example, when the operation signal PS supplied from the user interface unit 81 indicates that a signal switching operation such as channel switching, broadcast switching, or input switching has been performed, the control unit 80 determines the desired channel or desired channel. The channel selection operation of the satellite broadcast channel selection / demodulation unit 13 and the ground broadcast channel selection / demodulation unit 16 so that the broadcast video / audio or the video / audio supplied from the outside can be presented. The switching operation of the demultiplexer 21, the video switching unit 31, and the audio switching unit 71 is controlled.

図2は、信号処理部40の構成を示している。信号処理部40の動き量検出部41は、映像信号VSdの例えば輝度信号に基づいて動き量検出を行い、検出した動き量MVを係数設定部45に供給する。この動き量の検出では、例えば動きベクトルの検出を行い検出された各画素の動きベクトルの動き量を用いるものとする。また、時間的に連続する2つの映像の画素毎に信号レベル差を判別して、この信号レベル差を動き量とするものとしてもよい。   FIG. 2 shows the configuration of the signal processing unit 40. The motion amount detection unit 41 of the signal processing unit 40 detects a motion amount based on, for example, a luminance signal of the video signal VSd, and supplies the detected motion amount MV to the coefficient setting unit 45. In this motion amount detection, for example, the motion vector is detected and the motion amount of the motion vector of each pixel detected is used. Alternatively, a signal level difference may be determined for each pixel of two temporally continuous images, and this signal level difference may be used as a motion amount.

係数設定部45は、巡回型ノイズ除去部46における巡回量を設定するための係数を設定する。この係数設定部45は、動き量検出部41で検出された動き量MVに基づき係数αnr,(1−αnr)を設定して巡回型ノイズ除去部46に供給する。巡回型ノイズ除去部46は、係数設定部45から供給された係数αnr,(1−αnr)に基づいて巡回量を設定して映像信号VSdのノイズ除去を行い、ノイズ除去後の映像信号VSdaを変換処理部51に供給する。   The coefficient setting unit 45 sets a coefficient for setting the cyclic amount in the cyclic noise removing unit 46. The coefficient setting unit 45 sets coefficients αnr, (1−αnr) based on the motion amount MV detected by the motion amount detection unit 41 and supplies the coefficient αnr, (1-αnr) to the cyclic noise removal unit 46. The cyclic noise removing unit 46 sets a cyclic amount based on the coefficients αnr, (1−αnr) supplied from the coefficient setting unit 45, performs noise removal on the video signal VSd, and obtains the video signal VSda after noise removal. This is supplied to the conversion processing unit 51.

変換処理部51は、巡回型ノイズ除去部46から供給された映像信号VSdaのスケーラ処理を行い、表示部64の表示解像度や出力信号Voutが供給される外部装置の解像度に応じた映像信号に変換する。また、インタレース/プログレッシブ変換等も必要に応じて行う。変換処理部51で処理された輝度信号Ydaはコントラスト調整部52に供給される。また色差信号Cr,Cbはマトリクス演算部55に供給される。   The conversion processing unit 51 performs a scaler process on the video signal VSda supplied from the cyclic noise removal unit 46, and converts it into a video signal corresponding to the display resolution of the display unit 64 and the resolution of the external device to which the output signal Vout is supplied. To do. Also, interlace / progressive conversion is performed as necessary. The luminance signal Yda processed by the conversion processing unit 51 is supplied to the contrast adjustment unit 52. The color difference signals Cr and Cb are supplied to the matrix calculation unit 55.

コントラスト調整部52は、輝度信号Ydaの振幅補正を行い、黒の締まりや白の明るさを改善する。さらに、ユーザ設定に応じたコントラストとなるように輝度信号Ydaの振幅補正を行う。このコントラスト調整が行われた輝度信号Ydbはシャープネス調整部54に供給される。   The contrast adjustment unit 52 corrects the amplitude of the luminance signal Yda to improve blackness and white brightness. Further, the amplitude correction of the luminance signal Yda is performed so that the contrast according to the user setting is obtained. The luminance signal Ydb after the contrast adjustment is supplied to the sharpness adjustment unit 54.

シャープネス調整部54は、良好な鮮鋭度で映像表示を行うことができるように輝度信号Ydbに対して輪郭調整信号を加算する。また、ノイズ除去によって生ずる不具合が強調されることがないように輪郭調整信号を調整する。このシャープネス調整部54でシャープネス調整を行って得られた輝度信号Ydcは、マトリクス演算部55に供給される。   The sharpness adjustment unit 54 adds a contour adjustment signal to the luminance signal Ydb so that an image can be displayed with good sharpness. In addition, the contour adjustment signal is adjusted so that a problem caused by noise removal is not emphasized. The luminance signal Ydc obtained by performing the sharpness adjustment by the sharpness adjustment unit 54 is supplied to the matrix calculation unit 55.

マトリクス演算部55は、変換処理部51から供給された色差信号Cb,Crとシャープネス調整部54から供給された輝度信号Ydcを用いてマトリクス演算を行い、三原色信号である映像信号VSeを生成して合成処理部62に供給する。   The matrix calculation unit 55 performs matrix calculation using the color difference signals Cb and Cr supplied from the conversion processing unit 51 and the luminance signal Ydc supplied from the sharpness adjustment unit 54 to generate a video signal VSe that is a three primary color signal. This is supplied to the synthesis processing unit 62.

次に、係数設定部45と巡回型ノイズ除去部46の構成について図3を用いて説明する。動き量検出部41で得られた動き量検出結果は、係数設定部45の遅延部451と動き量補正部452に供給される。   Next, the configuration of the coefficient setting unit 45 and the cyclic noise removal unit 46 will be described with reference to FIG. The motion amount detection result obtained by the motion amount detection unit 41 is supplied to the delay unit 451 and the motion amount correction unit 452 of the coefficient setting unit 45.

遅延部451は、連続する2つの映像の動き量を比較できるようにするため、動き量MVを1フレーム(あるいは1フィールド)分だけ遅延させて、動き量MVdとして比較部453に供給する。   The delay unit 451 delays the motion amount MV by one frame (or one field) and supplies the motion amount MVd as the motion amount MVd to the comparison unit 453 so that the motion amounts of two consecutive videos can be compared.

動き量補正部452は、動き量MVが周期的に小さくなる映像を検出して検出して、この映像の動き量を補正する。例えば、2−3プルダウンや2−2プルダウン等のレート変換処理によってフレーム映像やフィールド映像の生成が行われると、このフレーム映像やフィールド映像が生成されたことにより動き量MVが周期的に「0」あるいは小さくなる。   The motion amount correction unit 452 detects and detects an image in which the motion amount MV periodically decreases, and corrects the motion amount of the image. For example, when frame video or field video is generated by rate conversion processing such as 2-3 pull-down or 2-2 pull-down, the motion amount MV is periodically “0” because the frame video or field video is generated. Or smaller.

図4はレート変換処理が行われたときの動き量を説明するためのものである。図4の(A)はレート変換前の映像信号に基づいて検出された動き量MVの変化を示しており、例えば24フレーム/秒の映像信号に基づくフレームFa1〜Fa8において検出された動き量MVが「Lg1」〜「Lg8」に変化したものとする。ここで、図4の(B)に示すように、5フレーム期間に1フレームの割合で異なる2フィールドから生成されたフレームを生成すると、フレームFa1〜Fa8は、フレームFb1〜Fb10に変換されて30フレーム/秒の映像信号となり、2−3プルダウンを行うことができる。この場合、異なる2フィールドから生成されたフレームFb3を用いて検出される動き量MVは、レート変換前の値「Lg3」に比べて小さい値「Ls1」「Ls2」となり、異なる2フィールドから生成されたフレームFb8を用いて検出される動き量MVは、レート変換前の値「Lg7」に比べて小さい値「Ls3」「Ls4」となる。すなわち、動き量MVの小さいフレームが周期的に生じることとなる。また、同じフレームを繰り返し用いて所望のフレームレートとすれば、動き量MVが「0」となるフレームが周期的に生じることとなる。   FIG. 4 is for explaining the amount of motion when the rate conversion process is performed. FIG. 4A shows changes in the amount of motion MV detected based on the video signal before rate conversion. For example, the amount of motion MV detected in frames Fa1 to Fa8 based on the video signal of 24 frames / second. Is changed from “Lg1” to “Lg8”. Here, as shown in FIG. 4B, when frames generated from two different fields at a rate of one frame in a five-frame period are generated, the frames Fa1 to Fa8 are converted into frames Fb1 to Fb10 and 30. It becomes a video signal of frame / second and can perform 2-3 pull-down. In this case, the motion amount MV detected using the frame Fb3 generated from two different fields is smaller than the value “Lg3” before rate conversion, and is generated from two different fields. The amount of motion MV detected using the frame Fb8 becomes smaller values “Ls3” and “Ls4” than the value “Lg7” before rate conversion. That is, a frame with a small amount of movement MV is periodically generated. In addition, if the same frame is repeatedly used to obtain a desired frame rate, a frame in which the motion amount MV is “0” is periodically generated.

したがって、動き量補正部452は、予め設定した閾値よりも動き量が小さく図4の(B)に示すように周期的に現れる映像の検出を行い、検出した映像の動き量を、直前の映像の動き量に補正して比較部453に供給する。例えば、値「Ls1」「Ls2」に対して値「Lg2」、値「Ls3」「Ls4」に対して値「Lg6」を用いるものとする。   Accordingly, the motion amount correction unit 452 detects a video whose motion amount is smaller than a preset threshold value and periodically appears as shown in FIG. 4B, and the motion amount of the detected video is determined as the immediately preceding video. The amount of movement is corrected and supplied to the comparison unit 453. For example, the value “Lg2” is used for the values “Ls1” and “Ls2”, and the value “Lg6” is used for the values “Ls3” and “Ls4”.

比較部453は、遅延部451から供給された動き量MVdと動き量補正部452から供給された動き量MVとの差が大きいか否かを判別する。例えば、比較部453は、遅延部451から供給された動き量MVdと動き量補正部452から供給された動き量MVとの差を映像内の各画素について検出して加算したのち、加算値が所定値よりも大きいか否かを判別する。ここで、動き量の差すなわち加算値が所定値よりも大きいときは、リセット係数設定信号SreをLUT部455に供給する。また、動き量の差が所定値よりも大きくないときは、動き量補正部452から供給された動き量MVをLUT部455に供給する。   The comparison unit 453 determines whether the difference between the motion amount MVd supplied from the delay unit 451 and the motion amount MV supplied from the motion amount correction unit 452 is large. For example, the comparison unit 453 detects and adds the difference between the motion amount MVd supplied from the delay unit 451 and the motion amount MV supplied from the motion amount correction unit 452 for each pixel in the video, and then the added value is It is determined whether or not it is larger than a predetermined value. Here, when the difference in motion amount, that is, the added value is larger than the predetermined value, the reset coefficient setting signal Sre is supplied to the LUT unit 455. When the difference in motion amount is not greater than the predetermined value, the motion amount MV supplied from the motion amount correction unit 452 is supplied to the LUT unit 455.

均一平面検出部454は、映像信号VSdに基づいて輝度の差が所定レベル範囲内である均一平面の映像を検出して、検出結果を示す均一平面領域信号FTをLUT部455に供給する。例えば、階級を信号レベルとして、この階級に含まれる画素信号の画素数を度数としたヒストグラムを求め、このヒストグラムにおける度数の最大値が所定画素数以上あるいは所定割合以上であるとき、均一平面領域と判別する。また、映像の最大信号レベルと最小信号レベルとの差分が予め設定した閾値以下となったとき均一平面領域と判別する。このように、均一平面領域であるか否かの検出を行う。また、均一平面検出部454では、映像単位で均一平面領域であるか否かの検出を行うだけでなく、映像内で均一平面領域を検出するものとしてもよい。例えば隣接する画素間の信号レベルを検出して、信号レベル差が所定レベルよりも小さい領域を均一平面領域として検出することもできる。   The uniform plane detection unit 454 detects a uniform plane image whose luminance difference is within a predetermined level range based on the video signal VSd, and supplies a uniform plane region signal FT indicating the detection result to the LUT unit 455. For example, when a class is used as a signal level and a histogram in which the number of pixels of a pixel signal included in this class is used as a frequency and the maximum value of the frequency in this histogram is equal to or greater than a predetermined number of pixels or a predetermined ratio, Determine. Further, when the difference between the maximum signal level and the minimum signal level of the video is equal to or less than a preset threshold value, it is determined as a uniform plane region. In this way, it is detected whether or not it is a uniform plane region. In addition, the uniform plane detection unit 454 may detect not only a uniform plane area on a video unit basis but also a uniform plane area in an image. For example, a signal level between adjacent pixels can be detected, and an area where the signal level difference is smaller than a predetermined level can be detected as a uniform planar area.

LUT部455は、信号レベル差ERと係数αnrとの関係を示すルックアップテーブルが動き量に応じて複数予め記憶されている。LUT部455は、比較部453から供給された動き量MVに基づいてルックアップテーブルの選択を行い、選択したルックアップテーブルを用いて、動き量検出部41から供給された映像信号VSdと、後述するメモリ464から読み出された映像信号VSdamの画素毎の信号レベル差ERに応じた係数αnr,(1−αnr)を巡回型ノイズ除去部46に供給する。また、比較部453からリセット係数設定信号Sreが供給されたときは、予め設定した係数αnrの値「Lre」と係数(1−αnr)の値「1−Lre」を巡回型ノイズ除去部46に所定期間だけ供給する。   The LUT unit 455 stores in advance a plurality of lookup tables indicating the relationship between the signal level difference ER and the coefficient αnr according to the amount of motion. The LUT unit 455 selects a lookup table based on the motion amount MV supplied from the comparison unit 453, and uses the selected lookup table to select a video signal VSd supplied from the motion amount detection unit 41 and a later-described. The coefficient αnr, (1−αnr) corresponding to the signal level difference ER for each pixel of the video signal VSdam read from the memory 464 is supplied to the cyclic noise removing unit 46. Further, when the reset coefficient setting signal Sre is supplied from the comparison unit 453, the value “Lre” of the coefficient αnr and the value “1-Lre” of the coefficient (1-αnr) set in advance to the cyclic noise removal unit 46. Supply only for a predetermined period.

さらに、LUT部455は、均一平面領域信号FTによって均一平面領域が検出されたことが示されたときは、動き量MVに応じて係数を設定したときよりも巡回型ノイズ除去部46における巡回量が小さくなるように、すなわちノイズ除去強度が小さくなるように係数αnr,(1−αnr)を設定して巡回型ノイズ除去部46に供給する。   Further, when the uniform plane area signal FT indicates that the uniform plane area is detected, the LUT unit 455 has a cyclic amount in the cyclic noise removing unit 46, rather than when a coefficient is set according to the motion amount MV. Is set to be small, that is, the coefficient αnr, (1−αnr) is set so as to reduce the noise removal strength, and is supplied to the cyclic noise removal unit 46.

巡回型ノイズ除去部46の乗算器461は、動き量検出部41から供給された映像信号VSdに係数αnrを乗算して、乗算結果を加算器463に供給する。乗算器462には、メモリ464から読み出された映像信号VSdamが供給されている。乗算器462は、メモリ464から読み出された映像信号VSdamに係数(1−αnr)を乗算して、乗算結果を加算器463に供給する。   The multiplier 461 of the cyclic noise removal unit 46 multiplies the video signal VSd supplied from the motion amount detection unit 41 by the coefficient αnr and supplies the multiplication result to the adder 463. The video signal VSdam read from the memory 464 is supplied to the multiplier 462. The multiplier 462 multiplies the video signal VSdam read from the memory 464 by a coefficient (1-αnr) and supplies the multiplication result to the adder 463.

加算器463は、乗算器461から供給された乗算結果と、乗算器462から供給された乗算結果を加算して、加算結果である映像信号VSdaを巡回型ノイズ除去部46から出力する。また、映像信号VSdaをメモリ464に供給して、メモリ464に記憶されている映像信号を更新する。   The adder 463 adds the multiplication result supplied from the multiplier 461 and the multiplication result supplied from the multiplier 462, and outputs the video signal VSda as the addition result from the cyclic noise removing unit 46. Further, the video signal VSda is supplied to the memory 464 and the video signal stored in the memory 464 is updated.

次に、ノイズ除去動作について説明する。図5は、動き量とルックアップテーブルの関係を示している。また図6は、ルックアップテーブル毎の信号レベル差ERと係数αnrの関係を示している。なお、図5,図6では、例えば5つのルックアップテーブルLUT1〜LUT5が予め設けられているものとする。また、各ルックアップテーブルにおける信号レベル差ERと係数αnrの関係を示す特性カーブは、信号レベル差ERが小さいときに巡回量が小さく信号レベル差が大きいときに巡回量が大きくなるように設定されている。   Next, the noise removal operation will be described. FIG. 5 shows the relationship between the motion amount and the lookup table. FIG. 6 shows the relationship between the signal level difference ER and the coefficient αnr for each lookup table. 5 and 6, for example, it is assumed that five lookup tables LUT1 to LUT5 are provided in advance. In addition, the characteristic curve indicating the relationship between the signal level difference ER and the coefficient αnr in each lookup table is set so that the cyclic amount is small when the signal level difference ER is small and the cyclic amount is large when the signal level difference is large. ing.

LUT部455は、比較部453から供給された動き量MVと閾値との比較に基づいてルックアップテーブルの選択を行う。例えば動き量MVが「MV<TH1」であるときは、ルックアップテーブルLUT1を選択する。また、動き量MVが「TH1≦MV<TH2」であるときは、ルックアップテーブルLUT2を選択する。さらに、動き量MVが「TH2≦MV<TH3」であるときはルックアップテーブルLUT3、動き量MVが「TH3≦MV<TH4」であるときはルックアップテーブルLUT4、動き量MVが「TH4≦MV」であるときはルックアップテーブルLUT5を選択する。   The LUT unit 455 selects a lookup table based on the comparison between the motion amount MV supplied from the comparison unit 453 and a threshold value. For example, when the motion amount MV is “MV <TH1”, the lookup table LUT1 is selected. When the motion amount MV is “TH1 ≦ MV <TH2,” the lookup table LUT2 is selected. Further, when the motion amount MV is “TH2 ≦ MV <TH3”, the lookup table LUT3, when the motion amount MV is “TH3 ≦ MV <TH4”, the lookup table LUT4 and the motion amount MV are “TH4 ≦ MV”. ", The lookup table LUT5 is selected.

図6に示すように、ルックアップテーブルLUT1とルックアップテーブルLUT2は、信号レベル差ERが等しいときにルックアップテーブルLUT2の係数値がルックアップテーブルLUT1の係数値以上となる特性とされている。同様に、ルックアップテーブルLUT2とルックアップテーブルLUT3は、信号レベル差ERが等しいときにルックアップテーブルLUT3の係数値がルックアップテーブルLUT2の係数値以上となる特性とされている。また、ルックアップテーブルLUT4やルックアップテーブルLUT5も同様に設定されている。   As shown in FIG. 6, the look-up table LUT1 and the look-up table LUT2 have characteristics that the coefficient value of the look-up table LUT2 is equal to or greater than the coefficient value of the look-up table LUT1 when the signal level difference ER is equal. Similarly, the look-up table LUT2 and the look-up table LUT3 have characteristics that the coefficient value of the look-up table LUT3 is equal to or greater than the coefficient value of the look-up table LUT2 when the signal level difference ER is equal. Similarly, the lookup table LUT4 and the lookup table LUT5 are set.

このため、信号レベル差ERが小さい場合、動き量MVが小さいときには、係数αnrの値が小さく巡回型ノイズ除去部46での巡回量が大きくなるので、ノイズを確実に除去できる。また、動き量MVが大きいときには、動き量MVが小さい場合よりも係数αnrの値が大きく巡回型ノイズ除去部46での巡回量が小さくなるので、残像が大きくなってしまうことを防止できる。   For this reason, when the signal level difference ER is small, when the motion amount MV is small, the value of the coefficient αnr is small and the cyclic amount in the cyclic noise removal unit 46 is large, so that noise can be reliably removed. Further, when the motion amount MV is large, the value of the coefficient αnr is larger than when the motion amount MV is small, and the cyclic amount in the cyclic noise removing unit 46 is small. Therefore, it is possible to prevent the afterimage from becoming large.

次に、比較部453で動き量の差が大きいと判別されて、リセット係数設定信号SreがLUT部455に供給された場合について説明する。この場合、LUT部455は、信号レベル差ERにかかわらず係数αnrを「1」未満で大きい値「Lrv」に設定して、所定期間(例えば数フレーム期間)たけ巡回型ノイズ除去部46に供給する。このように係数αnrを設定すると、巡回型ノイズ除去部46での巡回量が小さくなる。したがって、被写体等の動きが大きく変化したときやシーンが変化したとき、変化前の映像が残像として残ってしまうことを防止できる。また、係数αnrが値「Lrv」で所定期間保持されるのでノイズ除去動作を収束させることができる。さらに、動き量の差が大きいと判別されたとき係数αnrを「1」とすると、巡回量がなくなりノイズ除去動作が行われないものとなる。したがって、動き量の差が大きくなったときに、ノイズが急に増加したような映像表示となってしまう。しかし、係数αnrを「1」未満としていることから、引き続きノイズ除去動作が継続されるので、動き量の差が大きくなったときに、ノイズが急に増加したような映像表示となってしまうことを防止できる。なお、係数αnrの値「Lrv」は、動き量の差が大きい映像のノイズ除去を行い、残像が目立たなくなるように予め設定しておくものとする。   Next, a case where the comparison unit 453 determines that the difference in motion amount is large and the reset coefficient setting signal Sre is supplied to the LUT unit 455 will be described. In this case, the LUT unit 455 sets the coefficient αnr to a large value “Lrv” less than “1” regardless of the signal level difference ER, and supplies the coefficient αnr to the cyclic noise removing unit 46 for a predetermined period (for example, several frame periods). To do. When the coefficient αnr is set in this way, the cyclic amount in the cyclic noise removing unit 46 becomes small. Accordingly, it is possible to prevent the image before the change from remaining as an afterimage when the movement of the subject or the like changes greatly or when the scene changes. Further, since the coefficient αnr is held at the value “Lrv” for a predetermined period, the noise removal operation can be converged. Furthermore, if the coefficient αnr is set to “1” when it is determined that the difference in motion amount is large, the cyclic amount is lost and the noise removal operation is not performed. Therefore, when the difference in the amount of motion becomes large, the video display is such that the noise suddenly increases. However, since the coefficient αnr is set to less than “1”, the noise removal operation is continued, so that when the difference in the amount of motion becomes large, the image display is such that the noise suddenly increases. Can be prevented. Note that the value “Lrv” of the coefficient αnr is set in advance so as to remove noise from a video with a large difference in motion amount so that an afterimage becomes inconspicuous.

次に、動き量補正部452において、予め設定した閾値よりも動き量が小さくかつ周期的に現れる映像を検出した場合について説明する。この場合、動き量補正部452は、上述のように、検出した映像の動き量MVを直前の映像の動き量に補正して、比較部453を介してLUT部455に供給する。このため、予め設定した閾値よりも動き量MVが小さくかつ周期的に現れる映像では、LUT部455で選択されるルックアップテーブルの切り換えが行われない。したがって、新たに生成された映像を用いて動き量の検出が行われた期間だけ、他の映像とは大きく異なるノイズ除去処理が行われてしまうことを防止でき、違和感のないノイズ除去処理を行うことができる。   Next, a case where the motion amount correction unit 452 detects an image having a motion amount smaller than a preset threshold and periodically appearing will be described. In this case, as described above, the motion amount correction unit 452 corrects the detected motion amount MV of the video to the motion amount of the immediately preceding video, and supplies the corrected motion amount MV to the LUT unit 455 via the comparison unit 453. For this reason, the look-up table selected by the LUT unit 455 is not switched in a video whose motion amount MV is smaller than a preset threshold and appears periodically. Therefore, it is possible to prevent a noise removal process that is significantly different from other videos from being performed during the period in which the amount of motion is detected using a newly generated video, and to perform a noise removal process that does not cause a sense of incongruity. be able to.

均一平面検出部454で均一平面領域が検出された場合、上述のように動き量に応じて係数を設定したときよりも巡回型ノイズ除去部46における巡回量が小さくなるように係数αnrが設定される。例えば、動き量MVに応じた係数αnrに、「1」未満の補正係数を乗算して新たな係数αnrとする。このようにして巡回量が小さくされると残像が少なくなる。したがって、例えば微小な凹凸や細かい絵柄等の表示で均一平面領域と判別されたとき、残像によって微小な凹凸や細かい絵柄が消えてしまうことを防止できる。   When the uniform plane area is detected by the uniform plane detection unit 454, the coefficient αnr is set so that the cyclic amount in the cyclic noise removing unit 46 is smaller than when the coefficient is set according to the amount of motion as described above. The For example, a coefficient αnr corresponding to the motion amount MV is multiplied by a correction coefficient less than “1” to obtain a new coefficient αnr. When the amount of circulation is reduced in this way, the afterimage is reduced. Therefore, for example, when it is determined that the region is a uniform plane area by displaying minute irregularities and fine patterns, it is possible to prevent the minute irregularities and fine patterns from disappearing due to an afterimage.

なお、上述の実施の形態では、映像信号VSdの輝度信号について、ノイズ除去を行う場合について説明したが、色差信号についても輝度信号の場合と同様にしてノイズ除去を行うことができる。この場合、均一平面検出部454は、映像信号VSdに基づいて色差の差が所定レベル範囲内である均一平面領域を検出して、検出結果を示す均一平面領域信号FTを生成してLUT部455に供給する。さらに、輝度信号と色差信号の両方についてノイズ除去を行う場合、均一平面検出部454は、映像信号VSdに基づいて輝度の差と色差の差が所定レベル範囲内である均一平面領域をそれぞれ検出する。   In the above-described embodiment, the case of removing noise from the luminance signal of the video signal VSd has been described. However, noise removal can also be performed from the color difference signal in the same manner as in the case of the luminance signal. In this case, the uniform plane detection unit 454 detects a uniform plane region where the difference in color difference is within a predetermined level range based on the video signal VSd, generates a uniform plane region signal FT indicating the detection result, and generates an LUT unit 455. To supply. Further, when noise removal is performed on both the luminance signal and the color difference signal, the uniform plane detection unit 454 detects a uniform plane area where the difference in luminance and the difference in color difference are within a predetermined level range based on the video signal VSd. .

ところで、図2に示すように、巡回型ノイズ除去部46の後段にシャープネス調整部54が設けられている場合、巡回型ノイズ除去部46でノイズ除去処理を行ったことにより例えば映像のざらざら感が生じると、このざらざら感がシャープネス調整部54で強調されてしまうおそれがある。したがって、シャープネス調整部54では、ざらざら感が強調されてしまうことがないように、輪郭補償信号の信号レベルを調整する。   Incidentally, as shown in FIG. 2, when the sharpness adjusting unit 54 is provided at the subsequent stage of the cyclic noise removing unit 46, for example, a rough feeling of the image is caused by the noise removing process performed by the cyclic noise removing unit 46. If this occurs, there is a risk that this roughness will be emphasized by the sharpness adjusting unit 54. Therefore, the sharpness adjusting unit 54 adjusts the signal level of the contour compensation signal so that the rough feeling is not emphasized.

図7はシャープネス調整部54の構成を示している。輝度信号Ydbは補償信号生成部541と加算器545に供給される。   FIG. 7 shows the configuration of the sharpness adjustment unit 54. The luminance signal Ydb is supplied to the compensation signal generation unit 541 and the adder 545.

補償信号生成部541は、補償信号Yeaを生成して乗算器543に供給する。例えば補償信号生成部541は、輝度信号Ydbの二次微分処理を行って得られた二次微分信号を帯域通過フィルタでフィルタ処理して不要な周波数成分を除去して補償信号Yeaを生成して、乗算器543に供給する。   The compensation signal generation unit 541 generates the compensation signal Yea and supplies it to the multiplier 543. For example, the compensation signal generation unit 541 generates a compensation signal Yea by filtering the secondary differential signal obtained by performing the secondary differential processing of the luminance signal Ydb with a bandpass filter to remove unnecessary frequency components. To the multiplier 543.

調整量設定部542は、動き量検出部41で検出された動き量が大きくなるに伴い、シャープネスが弱くなるように係数αshを補正する。ここで、係数設定部45では、上述のように動き量MVに応じてルックアップテーブルの選択が行われて、選択されたルックアップテーブルを用いて係数αnrの設定が行われている。このため、シャープネス調整部54では、ルックアップテーブルに応じてシャープネス調整を行うことができるように係数αshを設定する。例えば、係数設定部45のLUT部455は、選択したルックアップテーブルを示すテーブル選択信号TBを生成して調整量設定部542に供給する。また、調整量設定部542は、テーブル選択信号TBによって示されたルックアップテーブルに対応させて係数αshを設定して乗算器543に供給する。   The adjustment amount setting unit 542 corrects the coefficient αsh so that the sharpness decreases as the motion amount detected by the motion amount detection unit 41 increases. Here, in the coefficient setting unit 45, the lookup table is selected according to the motion amount MV as described above, and the coefficient αnr is set using the selected lookup table. Therefore, the sharpness adjusting unit 54 sets the coefficient αsh so that sharpness adjustment can be performed according to the lookup table. For example, the LUT unit 455 of the coefficient setting unit 45 generates a table selection signal TB indicating the selected lookup table and supplies it to the adjustment amount setting unit 542. Further, the adjustment amount setting unit 542 sets the coefficient αsh corresponding to the lookup table indicated by the table selection signal TB and supplies the coefficient αsh to the multiplier 543.

乗算器543は、補償信号Yeaに係数αshを乗算して、乗算結果である補償信号Yebをコアリング部544に供給する。コアリング部544はクリップ回路によって構成されており、ゼロレベルを含む低レベルの信号をクリップする。このコアリング部544は、動き量検出部41で検出された動き量MVが大きくなるに伴いコアリング量(クリップレベル)CLを大きく設定する。コアリング部544は、補償信号Yebに対してクリップ処理を行い、得られた輪郭補償信号Yecを加算器545に供給される。加算器545は、輝度信号Ydbにコアリング部544から供給された輪郭補償信号Yecを加算して、シャープネス調整がなされた輝度信号Ydcを生成してマトリクス演算部55に供給する。なお、輪郭補償信号Yecの信号レベルをユーザ設定に応じて調整可能とすれば、シャープネスレベルをユーザが所望のレベルに調整することができる。   The multiplier 543 multiplies the compensation signal Yea by the coefficient αsh and supplies the compensation signal Yeb as a multiplication result to the coring unit 544. The coring unit 544 is configured by a clipping circuit, and clips a low level signal including a zero level. The coring unit 544 sets a larger coring amount (clip level) CL as the motion amount MV detected by the motion amount detection unit 41 increases. The coring unit 544 performs clip processing on the compensation signal Yeb and supplies the obtained contour compensation signal Yec to the adder 545. The adder 545 adds the contour compensation signal Yec supplied from the coring unit 544 to the luminance signal Ydb, generates a luminance signal Ydc that has undergone sharpness adjustment, and supplies the luminance signal Ydc to the matrix calculation unit 55. If the signal level of the contour compensation signal Yec can be adjusted according to user settings, the sharpness level can be adjusted to a desired level by the user.

次に、シャープネス調整部54の動作について説明する。図8は、選択されたルックアップテーブル(動き量)と係数αshの関係を示している。係数αshは、ルックアップテーブルを選択する際の動き量MVが大きくなるに伴い係数αshの値が順次小さくされて、その後、動き量にかかわらず一定となるように設定されている。このため、動き量MVが大きくなるに伴い補償信号Yebの信号レベルが順次小さくなるように調整されて、その後、動き量MVにかかわらず一定の値が乗算されたレベルとなる。   Next, the operation of the sharpness adjustment unit 54 will be described. FIG. 8 shows the relationship between the selected lookup table (motion amount) and the coefficient αsh. The coefficient αsh is set so that the value of the coefficient αsh is sequentially decreased as the motion amount MV when selecting the lookup table is increased, and thereafter is constant regardless of the motion amount. For this reason, the signal level of the compensation signal Yeb is adjusted so as to decrease sequentially as the motion amount MV increases, and then becomes a level multiplied by a constant value regardless of the motion amount MV.

図9は、選択されたルックアップテーブル(動き量)とコアリング量CLの関係を示している。コアリング量CLは、ルックアップテーブルを選択する際の動き量MVが大きくなるに伴い大きくされて、その後、動き量MVにかかわらず一定となるように設定されている。   FIG. 9 shows the relationship between the selected lookup table (motion amount) and the coring amount CL. The coring amount CL is set so as to increase as the motion amount MV at the time of selecting the lookup table increases, and thereafter becomes constant regardless of the motion amount MV.

図10はコアリング部544の特性を示すものであって、横軸は入力された補償信号Yebの信号レベル、縦軸は出力される輪郭補償信号Yecの信号レベルを示す。ここで、動き量が小さいときのコアリング部544の特性は図10の(A)に示すものとなり、補償信号Yebの信号レベルがコアリング量CL内にある低いレベルのときは、輪郭補償信号Yecの信号レベルが「0」となり、コアリング量CL以上となったときに輪郭補償信号Yecの信号レベルが補償信号Yebの信号レベルに応じて変化するように設定されている。また、動き量が大きいときのコアリング部の特性は図10の(B)に示すものとなり、コアリング量CLが図10の(A)に比べて大きく設定される。   FIG. 10 shows the characteristics of the coring unit 544. The horizontal axis indicates the signal level of the input compensation signal Yeb, and the vertical axis indicates the signal level of the output contour compensation signal Yec. Here, the characteristic of the coring unit 544 when the amount of motion is small is as shown in FIG. 10A. When the signal level of the compensation signal Yeb is a low level within the coring amount CL, the contour compensation signal The signal level of the contour compensation signal Yec is set to change in accordance with the signal level of the compensation signal Yeb when the signal level of Yec becomes “0” and becomes equal to or greater than the coring amount CL. Further, the characteristics of the coring portion when the amount of movement is large are as shown in FIG. 10B, and the coring amount CL is set to be larger than that in FIG.

このように、コアリング部544は、動き量MVが大きいとコアリング量CLが大きくなるように制御されることから、動き量MVが大きいときには、シャープネスを強調することによって目立つ低レベルの信号(ノイズ)等の影響が画面上に出力されないようにシャープネス調整を行うことができる。また、動き量MVが小さいとコアリング量CLが小さくなるように制御されるので、微少な部分の画質が失われないようにしてシャープネス調整を行うことができる。   Thus, the coring unit 544 is controlled so that the coring amount CL is increased when the motion amount MV is large. Therefore, when the motion amount MV is large, the low-level signal ( Sharpness adjustment can be performed so that the influence of noise is not output on the screen. Further, since the coring amount CL is controlled to be small when the movement amount MV is small, sharpness adjustment can be performed without losing the image quality of a minute portion.

なお、上述の実施の形態では、係数αnr,αshを「1」以下の値として、実数型の演算を行うものとしたが、これらの係数を整数値として、整数型の演算を行うものとすれば、処理を高速化できる。例えば係数を「0〜255」の範囲の整数値に設定して演算を行えば、小数点を考慮した演算を行う必要がないので、処理を高速化できる。   In the above-described embodiment, the coefficients αnr and αsh are set to values equal to or less than “1”, and the real type calculation is performed. However, the integer type calculation is performed using these coefficients as integer values. As a result, processing can be speeded up. For example, if the calculation is performed with the coefficient set to an integer value in the range of “0 to 255”, it is not necessary to perform an operation taking the decimal point into account, so the processing can be speeded up.

テレビジョン装置の構成を示す図である。It is a figure which shows the structure of a television apparatus. 信号処理部の構成を示す図である。It is a figure which shows the structure of a signal processing part. 係数設定部と巡回型ノイズ除去部の構成を示す図である。It is a figure which shows the structure of a coefficient setting part and a cyclic | annular noise removal part. レート変換処理が行われたときの動き量を示す図である。It is a figure which shows the amount of motion when a rate conversion process is performed. 動き量とルックアップテーブルの関係を示す図である。It is a figure which shows the relationship between a motion amount and a lookup table. ルックアップテーブル毎の信号レベル差ERと係数αnrの関係を示す図である。It is a figure which shows the relationship between the signal level difference ER and coefficient (alpha) nr for every look-up table. シャープネス調整部の構成を示す図である。It is a figure which shows the structure of a sharpness adjustment part. ルックアップテーブル(動き量)と係数αshの関係を示す図である。It is a figure which shows the relationship between a look-up table (motion amount) and coefficient (alpha) sh. ルックアップテーブル(動き量)とコアリング量CLの関係を示す図である。It is a figure which shows the relationship between a look-up table (motion amount) and the coring amount CL. コアリング部の特性を示す図である。It is a figure which shows the characteristic of a coring part.

符号の説明Explanation of symbols

11・・・テレビジョン装置、12・・・衛星放送用アンテナ、13・・・衛星放送用選局/復調部、15・・・地上放送用アンテナ、16・・・地上放送用選局/復調部、21・・・デマルチプレクサ、22・・・デコーダ部、23・・・放送データ処理部、28・・・外部入力端子、31・・・映像切換部、40・・・信号処理部、41・・・動き量検出部、45・・・係数設定部、46・・・巡回型ノイズ除去部、51・・・変換処理部、52・・・コントラスト調整部、54・・・シャープネス調整部、55・・・マトリクス演算部、61・・・信号生成部、62・・・合成処理部、63・・・映像出力処理部、64・・・表示部、71・・・音声切換部、72・・・音声出力処理部、73・・・音声出力部、80・・・制御部、81・・・ユーザインタフェース部、85・・・バス、451・・・遅延部、452・・・動き量補正部、453・・・比較部、454・・・均一平面検出部、455・・・ルックアップテーブル(LUT)部、461,462,543・・・乗算器、463,545・・・加算器、464・・・メモリ、541・・・補償信号生成部、542・・・調整量設定部、544・・・コアリング部   DESCRIPTION OF SYMBOLS 11 ... Television apparatus, 12 ... Satellite broadcasting antenna, 13 ... Satellite broadcasting channel selection / demodulation part, 15 ... Terrestrial broadcasting antenna, 16 ... Terrestrial broadcasting channel selection / demodulation , 21 ... Demultiplexer, 22 ... Decoder part, 23 ... Broadcast data processing part, 28 ... External input terminal, 31 ... Video switching part, 40 ... Signal processing part, 41・ ・ ・ Motion amount detection unit, 45 ・ ・ ・ Coefficient setting unit, 46 ・ ・ ・ Cyclic noise removal unit, 51 ・ ・ ・ Conversion processing unit, 52 ・ ・ ・ Contrast adjustment unit, 54 ・ ・ ・ Sharpness adjustment unit, 55... Matrix operation unit 61. Signal generation unit 62. Composition processing unit 63. Video output processing unit 64. Display unit 71. Audio switching unit 72. ..Audio output processing unit, 73... Audio output unit, 80... Control unit, 8 ... User interface unit, 85 ... Bus, 451 ... Delay unit, 452 ... Motion amount correction unit, 453 ... Comparison unit, 454 ... Uniform plane detection unit, 455 ... Look Uptable (LUT) unit, 461, 462, 543 ... multiplier, 463,545 ... adder, 464 ... memory, 541 ... compensation signal generation unit, 542 ... adjustment amount setting unit 544 ... Coring part

Claims (7)

映像信号から映像の動き量を検出する動き量検出部と、
前記映像信号のノイズ除去を行う巡回型ノイズ除去部と、
前記巡回型ノイズ除去部における巡回量を設定するための係数を、前記動き量検出部で検出された動き量に応じて設定する係数設定部を有し、
前記係数設定部は、時間的に連続する映像間の前記動き量の差が所定レベルを超えたとき、前記動き量に応じて前記係数を設定したときよりも前記巡回量が所定期間小さくなるように前記係数の設定を行う
ことを特徴とする映像信号処理装置。
A motion amount detector that detects the amount of motion of the video from the video signal;
A cyclic noise removing unit for removing noise from the video signal;
A coefficient setting unit that sets a coefficient for setting a cyclic amount in the cyclic noise removing unit according to a motion amount detected by the motion amount detection unit;
The coefficient setting unit may reduce the cyclic amount for a predetermined period when the difference in the amount of motion between temporally continuous images exceeds a predetermined level than when the coefficient is set according to the amount of motion. The video signal processing apparatus is characterized in that the coefficient is set.
前記動き量が周期的に小さくなる映像を検出して、該動き量が周期的に小さくなる映像の動き量を直前の映像の動き量に補正する動き量補正部を前記係数設定部に設けた
ことを特徴とする請求項1記載の映像信号処理装置。
The coefficient setting unit is provided with a motion amount correction unit that detects an image in which the amount of motion periodically decreases and corrects the amount of motion of the image in which the amount of motion periodically decreases to the amount of motion of the immediately preceding image. The video signal processing apparatus according to claim 1.
前記映像信号に基づいて輝度および/または色差の差が所定レベル範囲内である均一平面領域を検出する均一平面検出部を前記係数設定部に設け、
前記係数設定部は、前記均一平面領域において、前記動き量に応じて前記係数を設定したときよりも前記巡回量が小さくなるように前記係数の設定を行う
ことを特徴とする請求項1記載の映像信号処理装置。
A uniform plane detection unit that detects a uniform plane region in which a difference in luminance and / or color difference is within a predetermined level range based on the video signal is provided in the coefficient setting unit,
2. The coefficient setting unit according to claim 1, wherein the coefficient setting unit sets the coefficient so that the cyclic amount is smaller than when the coefficient is set according to the amount of motion in the uniform plane region. Video signal processing device.
前記係数設定部は、前記映像信号とノイズ除去された前記映像信号との差分に対する係数を示すルックアップテーブルを予め動き量に応じて複数備え、該ルックアップテーブルを動き量に応じて選択して用いることで前記係数の設定を行う
ことを特徴とする請求項1記載の映像信号処理装置。
The coefficient setting unit includes a plurality of look-up tables indicating coefficients for the difference between the video signal and the noise-removed video signal in advance according to the amount of motion, and selects the look-up table according to the amount of motion. The video signal processing apparatus according to claim 1, wherein the coefficient is set by using the video signal processing apparatus.
前記ノイズ除去が行われた映像信号に対してシャープネス調整を行うシャープネス調整部を有し、
前記シャープネス調整部は、前記動き量検出部で検出された動き量が大きくなるに伴いシャープネス調整量を減少させる
ことを特徴とする請求項1記載の映像信号処理装置。
A sharpness adjustment unit that performs sharpness adjustment on the video signal from which the noise has been removed;
The video signal processing apparatus according to claim 1, wherein the sharpness adjustment unit decreases the sharpness adjustment amount as the amount of motion detected by the motion amount detection unit increases.
前記ノイズ除去が行われた映像信号を用いてシャープネス調整を行うシャープネス調整部を有し、
前記シャープネス調整部は、前記動き量検出部で検出された動き量が大きくなるに伴いコアリング量を大きく設定する
ことを特徴とする請求項1記載の映像信号処理装置。
A sharpness adjustment unit that performs sharpness adjustment using the video signal from which the noise has been removed;
The video signal processing apparatus according to claim 1, wherein the sharpness adjustment unit sets the coring amount to a larger value as the motion amount detected by the motion amount detection unit increases.
映像信号から動き量を検出する動き量検出工程と、
前記映像信号のノイズ除去を行う巡回型ノイズ除去工程と、
前記巡回型ノイズ除去工程における巡回量を設定するための係数を、前記動き量検出工程で検出された動き量に応じて設定する係数設定工程を有し、
前記係数設定工程では、時間的に連続する映像間の前記動き量の差が所定レベルを超えたとき、前記動き量に応じて前記係数を設定したときよりも前記巡回量が所定期間小さくなるように前記係数の設定を行う
ことを特徴とする映像信号処理方法。
A motion amount detection step of detecting a motion amount from the video signal;
A cyclic noise removing step for removing noise from the video signal;
A coefficient setting step for setting a coefficient for setting a cyclic amount in the cyclic noise removal step according to a motion amount detected in the motion amount detection step;
In the coefficient setting step, when the difference in the amount of motion between temporally continuous images exceeds a predetermined level, the cyclic amount is reduced for a predetermined period than when the coefficient is set according to the amount of motion. The coefficient is set in the video signal processing method.
JP2007094357A 2007-03-30 2007-03-30 Video signal processing apparatus and video signal processing method Expired - Fee Related JP4924155B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007094357A JP4924155B2 (en) 2007-03-30 2007-03-30 Video signal processing apparatus and video signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007094357A JP4924155B2 (en) 2007-03-30 2007-03-30 Video signal processing apparatus and video signal processing method

Publications (2)

Publication Number Publication Date
JP2008252758A true JP2008252758A (en) 2008-10-16
JP4924155B2 JP4924155B2 (en) 2012-04-25

Family

ID=39977137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007094357A Expired - Fee Related JP4924155B2 (en) 2007-03-30 2007-03-30 Video signal processing apparatus and video signal processing method

Country Status (1)

Country Link
JP (1) JP4924155B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258996A (en) * 2009-04-28 2010-11-11 Sharp Corp Noise reduction apparatus, noise reduction method, and video reproducing apparatus
KR101375187B1 (en) * 2009-07-15 2014-03-17 삼성테크윈 주식회사 Apparatus for reducing noise in digital image processing device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0410788A (en) * 1990-04-26 1992-01-14 Victor Co Of Japan Ltd Method for controlling coding variable of image signal
JPH11289476A (en) * 1998-03-31 1999-10-19 Fujitsu General Ltd Contour emphasis circuit
JP2000224444A (en) * 1999-02-04 2000-08-11 Toshiba Corp Cyclic type noise reduction device
JP2000228770A (en) * 1999-02-05 2000-08-15 Toshiba Corp Variable rate moving picture coding method and moving picture edit system
JP2002330392A (en) * 2001-04-27 2002-11-15 Toshiba Corp Device, method and program for generating video outline
JP2003304417A (en) * 2002-04-08 2003-10-24 Olympus Optical Co Ltd Imaging system
JP2006222982A (en) * 2006-03-20 2006-08-24 Toshiba Corp Moving image signal processor
JP2006279812A (en) * 2005-03-30 2006-10-12 Matsushita Electric Ind Co Ltd Brightness signal processor
JP2006295350A (en) * 2005-04-07 2006-10-26 Sony Corp Imaging apparatus and method of processing imaging result

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0410788A (en) * 1990-04-26 1992-01-14 Victor Co Of Japan Ltd Method for controlling coding variable of image signal
JPH11289476A (en) * 1998-03-31 1999-10-19 Fujitsu General Ltd Contour emphasis circuit
JP2000224444A (en) * 1999-02-04 2000-08-11 Toshiba Corp Cyclic type noise reduction device
JP2000228770A (en) * 1999-02-05 2000-08-15 Toshiba Corp Variable rate moving picture coding method and moving picture edit system
JP2002330392A (en) * 2001-04-27 2002-11-15 Toshiba Corp Device, method and program for generating video outline
JP2003304417A (en) * 2002-04-08 2003-10-24 Olympus Optical Co Ltd Imaging system
JP2006279812A (en) * 2005-03-30 2006-10-12 Matsushita Electric Ind Co Ltd Brightness signal processor
JP2006295350A (en) * 2005-04-07 2006-10-26 Sony Corp Imaging apparatus and method of processing imaging result
JP2006222982A (en) * 2006-03-20 2006-08-24 Toshiba Corp Moving image signal processor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258996A (en) * 2009-04-28 2010-11-11 Sharp Corp Noise reduction apparatus, noise reduction method, and video reproducing apparatus
KR101375187B1 (en) * 2009-07-15 2014-03-17 삼성테크윈 주식회사 Apparatus for reducing noise in digital image processing device

Also Published As

Publication number Publication date
JP4924155B2 (en) 2012-04-25

Similar Documents

Publication Publication Date Title
US7839455B2 (en) Image processing apparatus, image display and image processing method
US20070286533A1 (en) Image correction circuit, image correction method and image display
US8369645B2 (en) Image correction circuit, image correction method and image display
KR20050000956A (en) Apparatus for converting video format
JP2008295023A (en) Image processing apparatus and method, and image display device and method
JPWO2008123217A1 (en) Video transmission device, video reception device, video recording device, video playback device, and video display device
JP2004266755A (en) Image processing apparatus, image display apparatus, and image processing method
US20090153442A1 (en) Plasma Display Apparatus
WO2017159182A1 (en) Display control device, display apparatus, television receiver, control method for display control device, control program, and recording medium
US20120008050A1 (en) Video processing apparatus and video processing method
JP4924155B2 (en) Video signal processing apparatus and video signal processing method
JP2004266757A (en) Image processing apparatus and method
JP2003348377A (en) Image display device and image processing apparatus, and image processing method
JP2004194311A (en) Video playback device and video playback method
JP5082549B2 (en) Video signal processing apparatus and video signal processing method
JP5119714B2 (en) Video signal processing apparatus and video signal processing method
JP2009025505A (en) Image signal processor, image signal processing method, and program
JP2008003519A (en) Liquid crystal television set
JP2008193645A (en) Lightness correcting device, method thereof, and display device
JP2011048040A (en) Video signal processing apparatus, method of processing video signal, and program
JP2007060169A (en) Image processing apparatus, image display apparatus and image processing method
JP2008252761A (en) Video signal processor, and video signal processing method
US8391625B2 (en) Image processing apparatus for image quality improvement and method thereof
KR20110080371A (en) Reducing noise in digital television
JP5261607B2 (en) Image processing apparatus, image processing method, and display system

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090916

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees