JP6277984B2 - 画像補正装置、画像補正方法及び画像補正プログラム - Google Patents

画像補正装置、画像補正方法及び画像補正プログラム Download PDF

Info

Publication number
JP6277984B2
JP6277984B2 JP2015059736A JP2015059736A JP6277984B2 JP 6277984 B2 JP6277984 B2 JP 6277984B2 JP 2015059736 A JP2015059736 A JP 2015059736A JP 2015059736 A JP2015059736 A JP 2015059736A JP 6277984 B2 JP6277984 B2 JP 6277984B2
Authority
JP
Japan
Prior art keywords
area
value
color
gamma
monochrome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015059736A
Other languages
English (en)
Other versions
JP2016180787A (ja
Inventor
伊藤　保
保 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2015059736A priority Critical patent/JP6277984B2/ja
Priority to PCT/JP2015/083159 priority patent/WO2016151944A1/ja
Publication of JP2016180787A publication Critical patent/JP2016180787A/ja
Priority to US15/671,047 priority patent/US10346711B2/en
Application granted granted Critical
Publication of JP6277984B2 publication Critical patent/JP6277984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18—Conditioning data for presenting it to the physical printing elements
    • G06K15/1867—Post-processing of the composed and rasterized print image
    • G06K15/1872—Image enhancement
    • G06K15/1878—Adjusting colours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/028—Circuits for converting colour display signals into monochrome display signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40012—Conversion of colour to monochrome
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像補正技術に関し、特に画像のガンマ補正技術に関する。
医用ディスプレイはモノクロ画像をＤＩＣＯＭ ＧＳＤＦによって補正して表示する必要がある。ＤＩＣＯＭ ＧＳＤＦとは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格で規定されるＧＳＤＦ（Grayscale Standard Display Function；「グレースケール標準表示関数」）のことである。ＧＳＤＦは人間の目の輝度に対する感度に合わせて人間工学的に設計されたグレースケール画像表示のための標準関数である。
本来γ＝２．２のガンマ補正をして表示すべきカラー画像をＧＳＤＦで補正して表示した場合、正常に表示されないという問題がある。特に、ＧＳＤＦが低階調時により明るさが低くなる特性であるため、淡色での彩度低下と色相の変化が顕著となる。
そこで、従来は画像のカラー領域とモノクロ領域を区別し、領域毎にガンマカーブの選択を行う、すなわちカラー領域に対しては２．２ガンマ補正を行い、モノクロ領域に対してはＧＳＤＦにより補正を行って表示する方法が取られている。たとえば特許文献１には、カラー領域とモノクロ領域に区分する方法が開示されている。
特開２０１３−２３２８８１号公報
画像が明確にカラー領域とモノクロ領域に分かれている場合は領域を区分することが可能であるが、カラー画像とモノクロ画像のレイアウトが複雑に入り組んでいる場合は領域の判定が難しい。たとえば、画面内で複数のウィンドウが互いに重なり合っている場合や、モノクロ画像内にカラーのサムネイル画像が入っている場合などは領域の判定が難しい。判定を誤った場合は領域の境界に不自然な段差が発生する場合がある。
本発明はこうした状況に鑑みてなされたものであり、その目的は、カラー画像領域とモノクロ画像領域の境界に不自然な段差が発生しにくい画像補正技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像補正装置は、入力画像に画素単位でカラー用のガンマ補正を施すカラーガンマ処理部と、前記入力画像に画素単位でモノクロ用のガンマ補正を施すモノクロガンマ処理部と、前記入力画像の画素単位の彩度値にもとづく混合比で、前記カラーガンマ処理部によるカラー用のガンマ補正値と前記モノクロガンマ処理部によるモノクロ用のガンマ補正値を混合して、前記入力画像の画素のガンマ補正値を出力する混合部とを含む。
本発明の別の態様は、画像補正方法である。この方法は、入力画像に画素単位でカラー用のガンマ補正を施すカラーガンマ処理ステップと、前記入力画像に画素単位でモノクロ用のガンマ補正を施すモノクロガンマ処理ステップと、前記入力画像の画素単位の彩度値にもとづく混合比で、前記カラーガンマ処理ステップによるカラー用のガンマ補正値と前記モノクロガンマ処理ステップによるモノクロ用のガンマ補正値を混合して、前記入力画像の画素のガンマ補正値を出力する混合ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、カラー画像領域とモノクロ画像領域の境界に不自然な段差が発生しにくい画像補正技術を提供することができる。
実施の形態に係る画像補正装置の構成図である。 ＪＮＤインデックスを説明する図である。 画像のエリアを説明する図である。 エリアの色判定結果の例を説明する図である。 エリア中心に対する画素の水平距離および垂直距離を説明する図である。 エリア中心に対する画素の水平距離および垂直距離を説明する図である。 エリア中心に対する画素の水平距離および垂直距離を説明する図である。
図１は、実施の形態に係る画像補正装置１００の構成図である。同図の各構成はハードウェア、ソフトウェア、あるいはその組合せによって実現することができる。
ＣＰＵ１０は、カラーガンマ処理部およびＧＳＤＦ処理部で使用するルックアップテーブル（ＬＵＴ）のデータ設定を行う。また、ＣＰＵ１０は、バックライトの明るさをユーザの指定した明るさに調整する機能を有する。ＬＵＴデータや明るさの設定はＵＳＢ等の外部インタフェースを経由してパーソナルコンピュータ（ＰＣ）から与えられ、図示しないＥＥＰＲＯＭ等のメモリに保存される。
カラーガンマ処理部１２は、入力されたＲＧＢの画像信号に対してγ＝２．２のガンマ補正を施す。これは入力信号とパネル出力の間の特性が２．２乗となるように演算する信号処理である。パネル特性が入力と出力で同一となる理想特性の場合、入力信号を２．２乗する演算を行う。実際は、パネル特性が非直線的であるため、パネル特性を測定して得たＬＵＴにもとづいて入力信号を変換する。
２．２ガンマ処理の実装例をより具体的に説明する。０から１０２３までＲＧＢにいずれも同じ値を入力し、ディスプレイパネルで測定した輝度値が１０２３を入力した場合を基準として、それ以下の値が入力信号の２．２乗と比例するようマッピングされた値をディスプレイのＬＵＴとして保管する。このＬＵＴはディスプレイ製造工程で設定されるか、ユーザのＰＣから設定される。２．２ガンマ処理では入力信号をこのＬＵＴにもとづいて変換することで２．２乗の特性の出力信号が得られる。実施例ではＬＵＴは揮発性メモリであるＳＲＡＭ（図示せず）で構成されるため、電源投入時にＣＰＵによってＥＥＰＲＯＭに保存されたデータを書き込むようにしている。なお、一般にカラー画像は撮影時に１／２．２乗のガンマ特性で記録されており、ディスプレイの２．２乗ガンマと組み合わせることで本来のリニアな特性が再現される。
ＧＳＤＦ処理部１４は、入力されたＲＧＢの画像信号に対してＧＳＤＦによる補正を施す。これは入力信号とパネル出力の間の特性がＤＩＣＯＭ ＧＳＤＦで定義された数値となる信号処理である。一般に医用モニタでは先ず目標最大輝度が設定され、これに対応するＪＮＤ（Just Noticeable Difference；「最小弁別閾」または「輝度弁別閾」）インデックスから入出力特性が決定される。カラーガンマ処理の場合と同様、パネル特性が非直線的であるため、パネル特性を測定して得たＬＵＴにもとづいて入力信号を変換する。
図２は、ＪＮＤインデックスを説明する図である。ＪＮＤインデックスはインデックス値と輝度値が対応づけられた対応表である。
ＧＳＤＦ処理の実装例をより具体的に説明する。ＧＳＤＦ処理では、ＤＩＣＯＭ ｐａｒｔ１４で定義された、最大輝度値に応じて定められた値（ＪＮＤ値）にマッピングする処理を行う。ＲＧＢに最大値である１０２３を入力しパネルで輝度を測定し目標の最大輝度となるようバックライト調整を行った後、それ以下の入力信号で測定輝度が最大輝度のＪＮＤ値と比例するようマッピングされた値をディスプレイのＬＵＴとして保管する。このＬＵＴはディスプレイ製造工程で設定されるか、ユーザのＰＣから設定される。ＧＳＤＦ処理では入力信号をこのＬＵＴにもとづいて変換することでＧＳＤＦの特性の出力信号が得られる。ＬＵＴのデータはカラーガンマ処理と同様、ＣＰＵによって電源投入時に設定される。
例えば最大輝度を３００ｃｄ／ｍ２とした時、図２の表（ＪＮＤインデックス）からＪＮＤ値の最大は６３０となる。入力ＩＮが１０ｂｉｔの場合、６３０＊（ＩＮ／１０２３）が各階調のＪＮＤ値で、例えばＩＮ＝５１２の場合は６３０＊５１２／１０２３＝３１５が対応するＪＮＤ値となり、図２の表からそのときの輝度値は２７．１ｃｄ／ｍ２である。モノクロ信号の場合、信号源（ＰＣ）からはリニアな特性で供給され、ディスプレイ側でＧＳＤＦ特性を実現する。
再び、図１を参照する。混合部２６は、カラーガンマ処理部１２による２．２ガンマ出力値Ｄ１とＧＳＤＦ処理部１４によるＧＳＤＦ出力値Ｄ２（これらの出力値はいずれもＲＧＢ値で与えられる）をリミッタ２２の出力値である彩度値Ｋに応じて混合する。彩度値Ｋが０であればＧＳＤＦ出力値Ｄ２が１００％、彩度値Ｋが上限値（実施例では５１２）であれば２．２ガンマ出力値Ｄ１が１００％選択される。彩度値Ｋがちょうど真ん中の値（実施例では２５６）であれば２．２ガンマ出力値Ｄ１とＧＳＤＦ出力値Ｄ２の混合比が５０％対５０％となる。一般に、２．２ガンマ出力値Ｄ１とＧＳＤＦ出力値Ｄ２の混合比は、Ｋ／５１２：（５１２−Ｋ）／５１２で与えられる。
ただし、リミッタ２２による画素の彩度値とエリア検出処理部３０によるエリア検出彩度値を組み合わせる場合は、リミッタ２２による彩度値とエリア検出処理部３０によるエリア検出彩度値の大きい方の値が最大値選択部２４により選択されて彩度値Ｋとして使用されることに留意する。
入力値Ｄ１、Ｄ２と、最大値５１２の彩度値Ｋが入力されたとき、混合部２６の出力ＯＵＴは次式で与えられる。
ＯＵＴ＝（Ｋ＊Ｄ１＋（５１２−Ｋ）＊Ｄ２）／５１２
ここでＤ１は２．２ガンマ出力値、Ｄ２はＧＳＤＦ出力値、Ｋは彩度値である。
マトリクス部１６は、ＲＧＢ信号から輝度信号（Ｙ）および色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換する処理を行う。ＩＴＵ−Ｒ ＢＴ．７０９準拠の場合、輝度信号Ｙは次式でＲＧＢ値から変換される。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ
他方、色差信号Ｂ−Ｙ、Ｒ−ＹはＢおよびＲから輝度信号Ｙを引くことにより得られる。
加算部１８は、２つの色差信号Ｒ−Ｙ、Ｂ−Ｙを加算し、彩度信号を求める。色差信号は負の値も持つので、ここでは絶対値化した後に加算する。
割算部２０は、加算部１８で求めた彩度信号の値Ｄ３を、マトリクス部１６で得られた輝度信号Ｙの値Ｄ４で割ることにより、正規化された彩度信号を求める。加算部１８で求めた彩度信号の値はＲＧＢそれぞれの入力値が大きければそれに依存して大きな値となってしまうため、暗い画像に対し明るい画像で同じ色の濃さでも検出結果に差がでてしまう。そこで彩度の判定が入力信号の大きさに依存しないよう、彩度信号値を輝度信号値で割算する。なお割算の結果は小数点以下となるため、割算の結果に対して例えば４０９６倍する係数をかけて整数化する。係数４０９６の場合、割算部２０による出力値ＯＵＴは、次式で得られる。
ＯＵＴ＝４０９６＊Ｄ３／Ｄ４
ここで、Ｄ３は加算部１８により２つの色差信号の絶対値を加算して得られた彩度信号値であり、Ｄ４はマトリクス部１６により得られた輝度信号値Ｙである。
リミッタ２２は、正規化後の彩度信号を一定値に制限する。リミット値（上限値）は、混合部２６による混合比が２．２ガンマ出力が１００％の状態のときの値であり、実施例では５１２である。例えば、入力が１２ｂｉｔで０から４０９５までの値をとる場合、リミッタ２２は５１３以上はクリップし５１２以下のみ出力する場合、入力値ＩＮと出力値ＯＵＴの関係は以下のようになる。
ｉｆ（ＩＮ＜＝５１２） ＯＵＴ＝ＩＮ
ｅｌｓｅ ＯＵＴ＝５１２
エリア検出処理部３０は、エリア単位でカラー／モノクロの判定を行い、エリア検出彩度値を出力する。エリア検出処理部３０は、色判定部３２、色信号面積判定部３４、同期信号処理部３６、メモリ３８、および補間部４０を含む。
色判定部３２は、入力信号である彩度信号が閾値よりも大きい場合に１（真）を出力、それ以外の場合は０（偽）を出力する。
色信号面積判定部３４は、実施例では水平３２画素、垂直３２ラインの固定領域（エリア）毎に設定されるメモリ３８に色判定部３２の判定結果をカウントした結果を格納する。カウント値がその固定領域の色信号比率の度合い（「エリア検出彩度値」と呼ぶ）となる。
メモリ３８は、前述のように色信号面積判定部３４に用いるカウント値を固定領域（エリア）毎に保存する。
同期信号処理部３６は、エリアの位置の特定を行い、色信号面積判定部３４の開始点・終了点を決定し、エリアに対応したメモリのアドレスの生成とリードライト処理を行う。また、同期信号処理部３６は補間部４０で使用する画素のｘ座標、ｙ座標を決定するための同期信号を生成する。
色信号面積判定部３４の出力をそのまま使用した場合、領域間で段差が発生するため、補間部４０は隣接する２つの領域の間で補間処理を行う。この補間処理は、一例として、領域の中心からの距離に応じて混合比を直線的に変えることで行われる直線補間処理である。補間処理は水平と垂直の両方で行われる。
最大値選択（ＭＡＸ）部２４は、リミッタ２２からの画素の彩度信号とエリア検出処理部３０の補間部４０により補間処理された後のエリア彩度信号との間で大小の判定を行い、大きい値を出力とする。最大値選択部２４の出力値は、彩度値Ｋとして混合部２６に入力され、２．２ガンマ出力値とＧＳＤＦ出力値を混合する混合比の計算に用いられる。
上記では、エリア検出処理部３０を含む画像補正装置１００の構成を説明したが、エリア検出処理部３０はオプションの構成としてもよく、エリア検出処理部３０を省いて、リミッタ２２からの画素の彩度信号をそのまま混合部２６に入力される彩度値Ｋとして用いる構成にしてもよい。
以上の構成の画像補正装置１００による信号処理の流れを説明する。
カラーガンマ処理部１２によるカラーガンマ処理とＧＳＤＦ処理部１４によるＧＳＤＦ処理とは並列に実行される。また、割算部２０およびリミッタ２２による画素単位の彩度判定処理とエリア検出処理部３０によるエリア単位の彩度判定処理とは並列に実行される。
入力端子よりＲＧＢ信号と同期信号が入力される。ＲＧＢ信号のＲ、Ｇ、Ｂそれぞれのデータはカラーガンマ処理部１２およびＧＳＤＦ処理部１４に入力され、カラーガンマ処理およびＧＳＤＦ処理を施され、混合部２６に入力される。
ＲＧＢ信号はマトリクス部１６にも入力され、色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙに変換される。
２つの色差信号Ｒ−Ｙ、Ｂ−Ｙは絶対値化された後、加算部１８により加算され、割算部２０の割り算の分子Ｄ３として割算部２０に入力される。輝度信号Ｙは割算部２０の割り算の分母Ｄ４として割算部２０に入力される。割算部２０の出力Ｄ３／Ｄ４が画素毎の彩度信号となる。
画素毎の彩度信号はリミッタ２２によりリミット処理され、最大値が例えば５１２に制限された後、最大値選択部２４に入力される。リミット値（上限値）５１２は混合部２６でカラーガンマ処理された入力信号Ａの混合比が１００％（最大）となる値である。
一方、加算部１８の出力Ｄ３はエリア検出処理部３０の色判定部３２にも供給される。エリア検出処理部３０の補間部４０から出力されたエリア検出彩度信号も最大値選択部２４に入力される。最大値選択部２４は、画素単位の彩度信号とエリア単位の彩度信号の内、より大きい方を選択し、混合比Ｋとして混合部２６に入力する。混合部２６は、混合比Ｋに応じた比率でカラーガンマ処理信号とＧＳＤＦ処理信号（モノクロ信号）を混合し、混合後のＲＧＢ信号ＲＧＢ’をＬＣＤパネルへ供給する。ＬＣＤパネルにはＣＰＵ１０からのバックライト制御信号も供給される。
次にエリア検出処理部３０によるエリア検出処理の詳細を説明する。
エリア検出の信号処理の流れを説明する。一般に映像信号は水平に連続した状態で一水平周期分のデータが入力され、水平ブランキングもしくは水平同期信号で分割され、次の垂直位置の画像信号が続き、有効ライン数回繰り返される。
水平・垂直の位置情報は同期信号入力を基にして同期信号処理部３６で生成される。色信号面積判定部３４は、同期信号処理部３６により生成された位置情報をもとにエリア毎の色判定結果を累積加算し、メモリ３８に保存する。
図３は、画像のエリアを説明する図である。実施例では水平３２画素、垂直３２ラインで１エリアが形成される。水平の総画素数が１２８０画素、垂直の総ライン数が１０２４ラインで、水平４０エリア、垂直３２エリアに分割されている。
エリアの最初のラインではエリア内の３２画素分の色判定結果をカウントし、水平エリアの最終画素でそのエリアに割り当てられたメモリに書き込みを行う。次のエリアでも同様に検出した色判定結果のカウント数をメモリに書き込む処理を行う。そのエリアで１０画素の色判定結果が真であれば、カウント値は１０となる。
エリアの２ライン目以降では前のラインで記録したデータをそのエリアに割り当てられたメモリから読み出し、そのエリアで検出したカウント数を加算して再度メモリに書き込む。エリアの最終ラインとなる３２ライン目の最終画素までカウントしたものがそのエリアの色判定結果となる。
その後、信号判定の対象は次のエリア列へ移り、そのエリアに対応したメモリに同様の処理を行い、最終的に全部で１２８０エリアの色判定結果が得られる。
図４は、エリアの色判定結果の例を説明する図である。例えば、水平が１画素目から３２画素目、垂直が１ライン目から３２ライン目までの画素で構成されるエリアにおいて、水平２１画素目、垂直２５ライン目から右および下が色判定部３２により真と判定される場合、全部で１２（画素）×８（ライン）＝９６個の画素において真となり、このカウント値がエリア検出彩度値Ｃ（１，１）のデータとなる。同様に当該エリアの真下のエリアではＣ（１，２）＝３８４となり、当該エリアの右隣のエリアではＣ（２，１）＝２５６となり、当該エリアの右斜め下のエリアではＣ（２，２）＝１０２４となる。
以上の処理で得た１フレーム分のエリア検出彩度値は次の映像フレームで読み出される。
各エリアで検出されたエリア検出彩度値Ｃをエリア内の画素の彩度値として用いた場合、隣接するエリアとの境界で不自然な段差が生じることがある。そこで、エリア内の画素の彩度値を、当該エリアのエリア検出彩度値に隣接エリアのエリア検出彩度値を組み合わせて補間することにより平準化して求める。水平１エリア目、垂直１エリア目のエリアについて補間処理を行うため、自分自身のエリアで１フレーム前に検出したエリア検出彩度値Ｃ（１，１）とその１エリア下のエリア検出彩度値Ｃ（１，２）、右隣のエリア検出彩度値Ｃ（２，１）、右下のエリア検出彩度値Ｃ（２，２）の４データを使用する。ここでＣ（ｘ，ｙ）のｘは水平エリア番号、ｙは垂直エリア番号とする。
水平ｘエリア目、垂直ｙエリア目の水平距離ｈ、垂直距離ｖの点をＰ（ｘ，ｙ）（ｈ，ｖ）と定義し、点Ｐにおける補間後のエリア検出彩度値をＨ（ｘ，ｙ）（ｈ，ｖ）と定義する。
エリアの中心を原点とし、中心からの水平距離ｈと垂直距離ｖに応じて４つのエリア検出彩度値Ｃを次式で加算することにより、補間後のエリア検出彩度値Ｈ（１，１）（ｈ，ｖ）が得られる。
Ｈ（１，１）（ｈ，ｖ）＝（（Ｃ（１，１）＊（３２−ｈ）＋Ｃ（１，２）＊ｈ）＊（３２−ｖ）＋（Ｃ（２，１）＊（３２−ｈ）＋Ｃ（２，２）＊ｈ）＊ｖ）／１０２４
なお、画面を構成する最も上端、下端、左端、右端となるエリアでは中点より外側の補間データが存在しないためｈ＝０もしくはｖ＝０として計算する。
図５〜図７は、エリア中心に対する画素の水平距離および垂直距離を説明する図である。
一般に水平・垂直の画素位置にもとづいてエリア番号とエリア中心からの距離を求める演算を説明する。水平・垂直とも画素の位置・ライン数に対しエリアサイズの１／２である１６を加え、３２で割った数がエリア番号、余りがエリア中心からの距離となる。例えば水平３１２画素目、垂直１００ライン目の画素は、３１２＋１６＝３２＊１０＋８、１００＋１６＝３２＊３＋２０であることから、水平エリア番号ｘは１０、垂直エリア番号ｙは３、エリア中心からの水平距離ｈは８、垂直距離ｖは２０である。すなわち、水平３１２画素目、垂直１００ライン目の画素の点はＰ（１０，３）（８，２０）である（図５参照）。
この点Ｐ（１０，３）（８，２０）における補間後のエリア検出彩度値は、水平１０エリア目、垂直３エリア目のエリアのエリア検出彩度値Ｃ（１０，３）と、その１エリア下のエリア検出彩度値Ｃ（１０，４）、右隣のエリア検出彩度値Ｃ（１１，３）、右下のエリア検出彩度値Ｃ（１１，４）を上述のように水平距離８、垂直距離２０に応じて加算して算出されるエリア検出彩度値Ｈ（１０，３）（８，２０）である。
ただし、垂直１６ライン未満の、例えば６ライン目、水平２４画素目の場合、垂直の演算結果６＋１６＝２２は３２以下であり、１から始まるべきエリア番号が０となってしまうため、２２＝３２−１０と考え、マイナスの値は０にクリップし、水平は２４＋１６＝３２＋８より、Ｐ（１，１）（８，０）と考えるものとする（図６参照）。水平も同様である。水平１６画素未満の場合も同様に水平エリア番号を１、水平距離を０とする。
また、１０１０ライン目は１０１０＋１６＝１０２６＝３２＊３２＋２であるが、Ｈ（ｘ，３２）（ｈ，２）の演算に必要なエリア検出彩度値Ｃ（ｘ，３３）は存在しない。この場合は垂直距離を０とみなし、Ｃ（ｘ，３３）に係る係数を０とすることで問題を回避するものとする（図７参照）。水平も同様に、１６加算後１２８０を超える１２６５以上の画素では水平距離を０とする。
以上の処理によって補間処理が行われ、補間後のエリア検出彩度信号が画素毎に階調をもった値で得ることができる。
以上述べたように、本実施の形態の画像補正装置１００によれば、カラーガンマ処理部１２による２．２ガンマ出力値とＧＳＤＦ処理部１４によるＧＳＤＦ出力値を彩度値Ｋから得られる混合比で混合することにより、画素値を補正する。彩度値Ｋは最大５１２であり、５１２段階で２．２ガンマ出力値とＧＳＤＦ出力値の混合比が調整される。カラーとモノクロの判別を２値で判定するのではなく、５１２段階でカラーとモノクロを重みづけし、画素毎に判定結果に応じて２．２ガンマ処理とＧＳＤＦ処理の両方のガンマカーブの処理を行った後の信号をカラー判別の割合に応じて混合する。すなわち、カラー判定の度合いが大きいほど２．２ガンマ処理に近づけ、モノクロ判定の度合いが大きいほどＧＳＤＦ処理に近づけることで、カラー画像領域とモノクロ画像領域の境界に不自然な段差が発生することを避けることができる。
さらに、リミッタ２２による画素単位の彩度値と、エリア検出処理部３０によるエリア単位の彩度値のいずれか大きい方を用いて彩度値Ｋを決定することにより、カラー／モノクロ領域の誤判定を避けることができる。カラーの割合が高い領域内に色の薄い部分やモノクロ部分があっても、エリア判定が優先されるため、これらの部分をモノクロ領域と誤判定することを回避することができる。このように、画素単位の彩度値の検出結果をさらにエリア単位で加算してエリア単位の検出彩度値とし、画素単位の彩度値の判別結果と合成することで検出精度を向上させることができる。また、エリア単位の判定の際、エリアの境界が目立たなくなるよう平滑処理した補間後のエリア検出彩度値を用いることでエリアの境界で不自然な段差が生じるのを回避することができる。
本実施の形態によれば、画素単位の検出を行うことでモノクロ画像中に描画される線分（ＣＡＤ、スケール等）や小面積のカラー画像（エラストグラフィ、カラードップラー等）の検出も可能である。完全な画素単位の検出の場合、輝度信号の変化が増幅されてしまい、カラー画像の色の薄い部分で階調歪が発生する場合があったが、エリア検出を併用することでこのような問題を改善することができた。また、判別結果を２値で扱わず、重みづけをすることで、画素単位の検出にエリア検出を組み合わせるという簡便な補正処理でも画像のカラー／モノクロ判別の破綻を防止することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
１０ ＣＰＵ、 １２ カラーガンマ処理部、 １４ ＧＳＤＦ処理部、 １６ マトリクス部、 １８ 加算部、 ２０ 割算部、 ２２ リミッタ、 ２４ 最大値選択部、 ２６ 混合部、 ３０ エリア検出処理部、 ３２ 色判定部、 ３４ 色信号面積判定部、 ３６ 同期信号処理部、 ３８ メモリ、 ４０ 補間部、 １００ 画像補正装置。

Claims (6)

  1. 入力画像に画素単位でカラー用のガンマ補正を施すカラーガンマ処理部と、
    前記入力画像に画素単位でモノクロ用のガンマ補正を施すモノクロガンマ処理部と、
    前記入力画像の画素単位の彩度値にもとづく混合比で、前記カラーガンマ処理部によるカラー用のガンマ補正値と前記モノクロガンマ処理部によるモノクロ用のガンマ補正値を混合して、前記入力画像の画素のガンマ補正値を出力する混合部とを含むことを特徴とする画像補正装置。
  2. 前記入力画像のエリア単位で彩度値を検出するエリア検出処理部と、
    前記入力画像の画素単位の彩度値と前記エリア検出処理部により検出された前記入力画像のエリア単位の彩度値のいずれか一方を選択する選択部とをさらに含み、
    前記混合部は、前記選択部により選択された彩度値にもとづく混合比で、前記カラーガンマ処理部によるカラー用のガンマ補正値と前記モノクロガンマ処理部によるモノクロ用のガンマ補正値を混合することを特徴とする請求項１に記載の画像補正装置。
  3. 前記選択部は、前記入力画像の画素単位の彩度値と前記エリア検出処理部により検出された前記入力画像のエリア単位の彩度値のいずれか大きい方を選択することを特徴とする請求項２に記載の画像補正装置。
  4. 前記エリア検出処理部は、エリア単位で検出された彩度値を隣接エリアの彩度値を用いて補間することにより、当該エリア内の画素の彩度値を求める補間部を含むことを特徴とする請求項２または３に記載の画像補正装置。
  5. 入力画像に画素単位でカラー用のガンマ補正を施すカラーガンマ処理ステップと、
    前記入力画像に画素単位でモノクロ用のガンマ補正を施すモノクロガンマ処理ステップと、
    前記入力画像の画素単位の彩度値にもとづく混合比で、前記カラーガンマ処理ステップによるカラー用のガンマ補正値と前記モノクロガンマ処理ステップによるモノクロ用のガンマ補正値を混合して、前記入力画像の画素のガンマ補正値を出力する混合ステップとを含むことを特徴とする画像補正方法。
  6. 入力画像に画素単位でカラー用のガンマ補正を施すカラーガンマ処理ステップと、
    前記入力画像に画素単位でモノクロ用のガンマ補正を施すモノクロガンマ処理ステップと、
    前記入力画像の画素単位の彩度値にもとづく混合比で、前記カラーガンマ処理ステップによるカラー用のガンマ補正値と前記モノクロガンマ処理ステップによるモノクロ用のガンマ補正値を混合して、前記入力画像の画素のガンマ補正値を出力する混合ステップとをコンピュータに実行させることを特徴とする画像補正プログラム。
JP2015059736A 2015-03-23 2015-03-23 画像補正装置、画像補正方法及び画像補正プログラム Active JP6277984B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015059736A JP6277984B2 (ja) 2015-03-23 2015-03-23 画像補正装置、画像補正方法及び画像補正プログラム
PCT/JP2015/083159 WO2016151944A1 (ja) 2015-03-23 2015-11-26 画像補正装置、画像補正方法及び画像補正プログラム
US15/671,047 US10346711B2 (en) 2015-03-23 2017-08-07 Image correction device, image correction method, and image correction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059736A JP6277984B2 (ja) 2015-03-23 2015-03-23 画像補正装置、画像補正方法及び画像補正プログラム

Publications (2)

Publication Number Publication Date
JP2016180787A JP2016180787A (ja) 2016-10-13
JP6277984B2 true JP6277984B2 (ja) 2018-02-14

Family

ID=56978077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059736A Active JP6277984B2 (ja) 2015-03-23 2015-03-23 画像補正装置、画像補正方法及び画像補正プログラム

Country Status (3)

Country Link
US (1) US10346711B2 (ja)
JP (1) JP6277984B2 (ja)
WO (1) WO2016151944A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234825A1 (ja) 2018-06-05 2019-12-12 Eizo株式会社 画像処理装置及び画像処理プログラム
US10819885B2 (en) * 2018-11-09 2020-10-27 Chongqing Advance Display Technology Research Gamma value tuning method and device of display panel

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020173721A1 (en) * 1999-08-20 2002-11-21 Novasonics, Inc. User interface for handheld imaging devices
US6947593B2 (en) * 2001-10-05 2005-09-20 Hewlett-Packard Development Company, Lp. Digital image processing
US6844881B1 (en) * 2002-03-29 2005-01-18 Apple Computer, Inc. Method and apparatus for improved color correction
EP1413972B1 (de) * 2002-10-24 2008-10-22 L-1 Identity Solutions AG Prüfung von Bildaufnahmen von Personen
KR101092539B1 (ko) * 2005-02-18 2011-12-14 삼성전자주식회사 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법
JP2006237856A (ja) * 2005-02-23 2006-09-07 Ricoh Co Ltd 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
EP2472505B1 (en) * 2005-10-14 2016-12-07 Samsung Display Co., Ltd. Improved gamut mapping and subpixel rendering systems and methods
JP4550727B2 (ja) * 2005-12-06 2010-09-22 株式会社リコー 画像処理装置及び画像形成装置
US8107762B2 (en) * 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
JP5043595B2 (ja) * 2007-10-23 2012-10-10 富士フイルム株式会社 撮影装置および内視鏡システム
JP5097574B2 (ja) * 2008-02-26 2012-12-12 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4692603B2 (ja) * 2008-09-29 2011-06-01 ブラザー工業株式会社 プロファイル補正装置、プロファイル補正プログラム及びプロファイル補正方法
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
JP5210348B2 (ja) * 2010-04-23 2013-06-12 株式会社ナナオ 画像表示装置、画像領域検出方法及びコンピュータプログラム
JP4977255B1 (ja) * 2011-03-31 2012-07-18 株式会社ナナオ 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム
JP6039203B2 (ja) * 2011-05-23 2016-12-07 キヤノン株式会社 画像出力装置、画像出力装置の制御方法、及び、プログラム
JP5509173B2 (ja) * 2011-10-19 2014-06-04 Ｅｉｚｏ株式会社 表示装置及び表示方法
US8630488B2 (en) * 2011-11-30 2014-01-14 Konica Minolta Laboratory U.S.A., Inc. Creating a duotone color effect using an ICC profile
JP5843662B2 (ja) * 2012-03-05 2016-01-13 シャープ株式会社 表示装置及びテレビジョン受信機
US9135718B2 (en) * 2012-03-30 2015-09-15 Canon Kabushiki Kaisha Image processing apparatus and control method therefor
JP6157138B2 (ja) 2012-03-30 2017-07-05 キヤノン株式会社 画像処理装置
US9591259B2 (en) * 2012-10-12 2017-03-07 Nec Display Solutions, Ltd. Display device and display method
WO2014203082A2 (en) * 2013-05-28 2014-12-24 Marvell World Trade Ltd. Systems and methods for red-eye correction
KR102113109B1 (ko) * 2013-10-01 2020-05-21 삼성디스플레이 주식회사 유기 발광 표시 장치의 구동 방법 및 유기 발광 표시 장치
KR102288334B1 (ko) * 2015-02-03 2021-08-11 삼성디스플레이 주식회사 표시 장치 및 이의 로고 영역 휘도 조절 방법
CN104575405B (zh) * 2015-02-04 2017-08-25 京东方科技集团股份有限公司 一种调节显示装置背光亮度的方法、显示装置
US10360868B2 (en) * 2015-12-09 2019-07-23 Hisense Electric Co., Ltd. Image processing method and liquid crystal display device

Also Published As

Publication number Publication date
JP2016180787A (ja) 2016-10-13
US20170337446A1 (en) 2017-11-23
US10346711B2 (en) 2019-07-09
WO2016151944A1 (ja) 2016-09-29

Similar Documents

Publication Publication Date Title
TWI413977B (zh) 階調特性檢查表產生方法及顯示裝置
CN111754946B (zh) 画质优化方法、显示装置及计算机可读存储介质
US10157582B2 (en) Display device, gradation correction map generation device, gradation correction map generation method, and program
JP6548517B2 (ja) 画像処理装置および画像処理方法
JP4490899B2 (ja) 調整方法及び表示装置
KR20160059021A (ko) 표시 패널 구동 장치 및 이를 포함하는 표시 장치
JP6779695B2 (ja) 画像処理装置及びその制御方法、表示装置
CN103581636A (zh) 图像显示装置、图像显示方法及图像显示程序
TWI667610B (zh) 顯示器的自動Gamma曲線設置方法
JP2018146949A (ja) 画像処理装置および画像処理方法
JP2002099238A (ja) 表示濃度変換方法及び表示装置
JP6277984B2 (ja) 画像補正装置、画像補正方法及び画像補正プログラム
CN111462260A (zh) 显示面板的mura补偿方法、装置和电子设备
KR20190001466A (ko) 영상을 처리하기 위한 방법 및 디스플레이 장치
JP2008268376A (ja) 調整方法、調整システム、表示装置、調整用装置及びコンピュータプログラム
JP2016201026A (ja) 画像処理装置及びプログラム
KR100859937B1 (ko) 디스플레이의 그레이 레벨 대 휘도 곡선을 신속히 생성하는방법 및 장치
US11763777B2 (en) Image display device, image display system, image display method, and computer program for providing a low-luminance grayscale standard display function (GSDF) display
CN108628715B (zh) 一种显示设备的显示效果校正方法及装置
JP2006093757A (ja) 画像処理装置と撮像装置、および画像処理プログラム
JP2017073699A (ja) 投影装置、投影システム及びプログラム
JP2009049752A (ja) 映像信号処理装置、映像信号処理方法、及び表示装置
JP7475190B2 (ja) 画像処理装置、画像処理方法、および制御プログラム
JP2014219724A (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP6645668B2 (ja) 画像表示装置および画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180101

R150 Certificate of patent or registration of utility model

Ref document number: 6277984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150