JP5136664B2 - 画像処理装置、及びプログラム - Google Patents
画像処理装置、及びプログラム Download PDFInfo
- Publication number
- JP5136664B2 JP5136664B2 JP2011044529A JP2011044529A JP5136664B2 JP 5136664 B2 JP5136664 B2 JP 5136664B2 JP 2011044529 A JP2011044529 A JP 2011044529A JP 2011044529 A JP2011044529 A JP 2011044529A JP 5136664 B2 JP5136664 B2 JP 5136664B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- unit
- image data
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 76
- 239000000203 mixture Substances 0.000 claims description 127
- 230000015572 biosynthetic process Effects 0.000 claims description 94
- 238000003786 synthesis reaction Methods 0.000 claims description 94
- 230000002194 synthesizing effect Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000012935 Averaging Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 description 60
- 238000000034 method Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 47
- 230000000694 effects Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 101000797092 Mesorhizobium japonicum (strain LMG 29417 / CECT 9101 / MAFF 303099) Probable acetoacetate decarboxylase 3 Proteins 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
例えば、このような画像処理として従来、ハイダナミックレンジ合成が知られている(特許文献1参照)。ハイダナミックレンジ合成とは、露出が各々異なる複数の画像のデータを合成することで、幅広いダイナミックレンジを表現する画像、即ちいわゆるハイダイナミックレンジ合成画像(High Dinamic Range合成画像、以下、「HDR合成画像」と呼ぶ)のデータを生成する画像処理をいう。
この撮像装置は、撮像部1と、駆動制御部2と、CDS/ADC3と、キー入力部4と、表示部5と、画像記録部6と、プログラムメモリ7と、RAM8と、制御部9と、画像処理部10と、を備えている。
キー入力部4は、撮影者の記録指示を検出するためのシャッターキー41を備えている。画像処理部10は、本発明の特徴的構成に対応する合成部11を備えている。これらはバスラインを介して接続されている。
そして、撮像部1は、シャッターキー41、制御部9、駆動制御部2を経由した撮影者の撮影指示を検出することで、露光条件(シャッタースピード、若しくは絞り値)を変えながら、露出アンダー、適正露出、露出オーバーを含む複数の画像(カラー画像)を取得する。
CDS/ADC3は、撮像部1から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路である。CDS/ADC3は、入力した撮像信号を保持するCDSと、その撮像信号を増幅するゲイン調整アンプ(AGC)と、増幅された撮像信号をデジタルの撮像信号に変換するA/D変換器(ADC)と、を含むように構成されている。
なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部2からの指示に基いて実行される。このため、露光条件(シャッタースピード、若しくは絞り値)を同じくして複数枚の画像を取得しても、RGBのゲイン調整アンプや画像の色味を順次変えることによる複数の条件の異なる画像を生成することができる。
表示部5は、合成処理された画像を表示する機能を有する。
画像記録部6は、本発明に係る合成処理が実行された後、JPEG方式で符号化された画像データ(画像ファイル)を記憶格納する。
プログラムメモリ7は、制御部9、画像処理部10にて実行されるプログラムを記憶し、必要に応じて制御部9が読み出す。
RAM8は、各種処理により発生する処理中のデータを一時的に保持する機能を有する。制御部9は撮像装置全体の処理動作を制御する。
画像処理部10は、画像データの符号化/復号化処理の他、本発明に係る合成処理を実行するための合成部11を備えている。
本実施形態でいう合成処理とは、露出が各々異なる複数の画像のデータを合成することで、HDR合成画像のデータを生成する処理をいう。
特に本実施形態のHDR合成処理では、撮像部1、CDS/ADC3を経て、露光条件(シャッタースピード、絞り値、若しくは、ゲイン調整値)を変えながら連写されて取得された複数の画像について、これらの画像のデータの各々が、YUV色空間で規定される輝度成分を示す輝度信号(Y)と、それ以外の成分、具体的には青色成分の差分信号(U)と、赤色成分の差分信号(V)との3要素の成分のうち、Y成分とUV成分とに分離されて与えられ、分離後の複数のY成分が合成されるのみならず、分離後の複数のUV成分が合成される。
このような合成後のY成分とUV成分をあわせた結果得られるHDR合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
ここで、適正な露出とは、撮像条件にとって必ずしも適正な露出であることを意味せず、露出オーバー画像及び露出アンダー画像の各々を撮像した時に用いた2つの露出の間の中間的な露出を意味する。換言すると、露出オーバー画像及び露出アンダー画像の各々を撮像した時に用いた2つの露出と比較した場合に適正な露出が、ここでいう適正な露出である。
一方、適正露出画像のデータのUV成分を「適正露出UV画像のデータ」と呼び、露出オーバー画像のデータのUV成分を「露出オーバーUV画像のデータ」と呼び、露出アンダー画像のデータのUV成分を「露出アンダーUV画像のデータ」と呼ぶ。
図2の例では、適正露出Y画像、露出オーバーY画像、及び、露出アンダーY画像の各データ、並びに、適正露出UV画像、露出オーバーUV画像、及び、露出アンダーUV画像の各データは、予め用意されているものとする。
一方、UV合成部22の処理対象となる各画像のデータを、個々に区別せずに、Y合成部21の処理対象に対して区別をすることを主目的とする場合、これらをまとめて、単に「UV画像のデータ」と呼ぶ。即ち、UV成分を各画素値として構成されるデータの全体が、UV画像のデータになる。
Y合成部21は、適正露出Y画像、露出オーバーY画像、及び露出アンダーY画像の各々のデータを合成することによって、合成画像のデータを生成する。このようなY合成部21により生成される合成画像のデータを、以下、「合成Y画像のデータ」と呼び、合成Y画像のデータが生成される一連の処理を、以下、「Y成分合成処理」と呼ぶ。このようなY成分合成処理により生成された合成Y画像のデータは、白飛びや黒つぶれがなく、かつ広いダイナミックレンジを持ったY成分となる。
一方、UV合成部22は、適正露出UV画像のデータ、露出オーバーUV画像のデータ、及び露出アンダーUV画像のデータを合成することによって、合成画像のデータ(以下、「合成UV画像のデータ」と呼ぶ)を生成する。このようなUV合成部22により生成される合成画像のデータを、以下、「合成UV画像のデータ」と呼び、合成UV画像のデータが生成される一連の処理を、以下、「UV成分合成処理」と呼ぶ。このようなUV成分合成処理により生成された合成UV画像のデータは、適切な色身に調整されたUV成分となる。
このようにして、合成部11からは、Y合成部21のY成分合成処理によって生成された合成Y画像のデータが出力されると共に、UV合成部22のUV成分合成処理によって生成された合成UV画像のデータが出力される。
合成比率とは、2以上の画像のデータが合成される場合、各々の画像のデータの混合の割合をいう。例えば、適正露出Y画像、露出オーバーY画像、及び露出アンダーY画像の各々のデータの合成比率の各々が、70%、30%、0%の各々である場合には、適正露出Y画像のデータの70%と、露出オーバーY画像のデータの30%とが混合された結果得られるデータが、合成Y画像のデータになる。なお、本例では、露出アンダーY画像のデータは、混合比率は0%であるため、合成に用いられない。
一方、UV成分合成処理においても、適正露出UV画像、露出オーバーUV画像、及び露出アンダーUV画像の各々のデータは、所定の合成比率に従って合成される。
ここで、UV成分合成処理に用いられる合成比率は、Y成分合成処理に用いられる合成比率と独立に設定されてもよいが、本実施形態では、Y成分合成処理に用いられる合成比率がそのまま用いられる。
このように、輝度(コントラスト)が調整された合成Y画像のデータのみならず、彩度が調整された合成UV画像のデータも得られるため、これらをあわせた結果得られるHDR合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
はじめに、Y合成部21の詳細について説明する。
ここで、εフィルタ部32から出力される画像のデータ、即ち、平均Y画像のデータに対してεフィルタをかけることによって得られる画像のデータは、後述するように、合成部33において判定用のデータとして用いられる。そこで、以下、当該データを、判定用Y画像のデータと呼ぶ。
具体的には例えば、合成部33は、適正露出Y画像、露出オーバーY画像、及び露出アンダーY画像の各々を構成する各画素のうち、処理の対象として注目すべき同一位置(座標)に存在する画素を、注目画素として設定する。
合成部33は、適正露出Y画像、露出オーバーY画像、及び露出アンダーY画像の各々の注目画素に対して合成比率をそれぞれ設定し、設定された各々の合成比率で、各々の注目画素の画素値を合成する。
図3において、横軸は、判定用Y画像の輝度値(0乃至255の範囲内の値)を示しており、縦軸は、合成比率(%)を示している。
実線は、適正露出Y画像に適用される合成比率Rm(以下、「適正露出用合成比率Rm」と呼ぶ)を示している。点線は、露出オーバーY画像に適用される合成比率Ro(以下、「露出オーバー用合成比率Ro」と呼ぶ)を示している。一点鎖線は、露出アンダーY画像に適用される合成比率Ru(以下、「露出アンダー用合成比率Ru」と呼ぶ)を示している。
図3に示すように、合成部33は、判定用Y画像(平滑化された画像)データの明るさ、即ち、判定用Y画像の輝度値に基づいて、適正露出用合成比率Rm、露出オーバー用合成比率Ro、及び露出アンダー用合成比率Ruの各々を設定する。
具体的には例えば、判定用Y画像の輝度値が低い場合(暗い場合)、明るく撮影された画像の合成比率が高くなるように、即ちここでは露出オーバー合成比率Roが高くなるように、適正露出用合成比率Rm、露出オーバー用合成比率Ro、及び露出アンダー用合成比率Ruの各々が設定される。
逆に、例えば、判定用Y画像の輝度値が高い場合(明るい場合)、暗く撮影された画像の合成比率が高くなるように、即ちここでは露出アンダー合成比率Ruが高くなるように、適正露出用合成比率Rm、露出オーバー用合成比率Ro、及び露出アンダー用合成比率Ruの各々が設定される。
この場合、合成部33は、次の式(1)を演算することで、各々の注目画素の合成値Ymixを演算することができる。
Ymix=Ru×Yu+Rm×Ym+Ro×Yo ・・・(1)
図4(A)は、露出アンダーY画像のデータの一例を示している。
図4(B)は、適正露出Y画像のデータの一例を示している。
図4(C)は、露出オーバーY画像のデータの一例を示している。
図4(D)は、平均Y画像のデータの一例を示している。即ち、図4(A)の露出アンダーY画像、図4(B)の適正露出Y画像、図4(C)の露出オーバーY画像の各々のデータが平均化部31により平均化された結果として、図4(D)の平均Y画像のデータが得られた。
図4(E)は、判定用Y画像のデータの一例を示している。即ち、図4(D)の平均Y画像のデータに対してεフィルタがεフィルタ部32によってかけられることによって、図4(E)の平滑化された画像のデータが得られ、これが判定用Y画像のデータとして用いられた。
図4(F)は、合成画像のデータの一例を示している。即ち、図4(E)の判定用Y画像のデータと図3のテーブルとに基づいて合成比率が設定され、当該合成比率で、図4(A)の露出アンダーY画像、図4(B)の適正露出Y画像、図4(C)の露出オーバーY画像の各々のデータが合成部33により合成された結果として、図4(F)の合成画像のデータが得られた。
具体的には、ゲイン設定部34は、合成Y画像のデータの明るさを調整するゲインとして、適正露出Y画像に適用される調整ゲインGmと、露出オーバーY画像に適用される調整ゲインGoと、露出アンダーY画像に適用される調整ゲインGuと、を設定する。
ゲイン設定部34により設定された調整ゲインGm,Go,Guの各々は、適正露出用合成比率Rm、露出オーバー用合成比率Ro、及び露出アンダー用合成比率Ruの各々に乗算される。これにより、結果として、合成Y画像のデータの明るさが調整される。
図5のテーブルは、図3のテーブルに対して、調整ゲインGm=2.0、調整ゲインGo=1.5、調整ゲインGu=1.0が適用された結果として、得られたものである。このため、横軸や縦軸等の前提事項は、図3と同様であるため、ここではその説明を省略する。
図6(A)は、このような調整ゲインGm,Go,Guによる調整が無い場合の合成画像のデータ、即ち、図3のテーブルに基づいて生成された合成画像のデータの一例を示している。
図6(B)は、このような調整ゲインGm,Go,Guによる調整がなされた場合の合成画像のデータ、即ち、図5のテーブルに基づいて生成された合成画像のデータの一例を示している。
図6(B)の合成画像のデータは、図5(B)の合成画像のデータと比較して、暗部を中心に明るくなるように調整されていることがわかる。
減算部35にはまた、εフィルタ部32から判定用Y画像のデータとして合成部33に供給される、平滑化された画像のデータ、即ち、平均Y画像のデータに対してεフィルタがかけられた画像のデータも供給される。
そこで、減算部35は、平均Y画像のデータと、それに対してεフィルタがかけられた画像のデータとの差分を演算し、その結果得られるデータをコントラスト成分として、コントラスト強調部36に出力する。
さらに、コントラスト強調部36は、コントラスト成分を足しこむことによる白飛びや黒つぶれの発生を防止すべく、合成Y画像の明るさ(輝度値)に応じて、コントラスト成分の足しこみ量を調整する。
図7において、横軸は、合成Y画像の輝度値(0乃至255の範囲内の値)を示しており、縦軸は、足しこみ量(%)を示している。
この場合、コントラスト成分Ycは、次の式(2)により示される。
Yc=Ya−Yaε+C ・・・(2)
式(2)において、Cは、定数を表わしており、本実施形態では127であるものとする。
即ち、減算部35は、式(2)に従って、コントラスト成分Ycを生成する。
なお、減算部35の処理の単位は、注目画素となるため、注目画素についてのコントラスト成分Ycが式(2)により演算されることになる。
Yr=Ymix+(Yc−C)×add_lev ・・・(3)
即ち、コントラスト強調部36は、式(3)に従って、コントラスト強調後の合成画像の注目画素の画素値Yrを演算する。
この場合の足しこみ量add_levは、合成部33から出力される合成Y画像の注目画素の輝度値と、図7のテーブルとによって設定される。
コントラスト強調部36は、合成部33から出力される合成Y画像を構成する各画素を注目画素に順次設定し、その都度、式(3)を演算する。このようにして、コントラスト強調後の合成Y画像のデータが生成される。
図8(A)は、コントラスト成分のデータの一例を示している。
図8(B)は、コントラスト強調前の合成画像のデータ、即ち、合成部33の出力データの一例を示している。
図8(C)は、コントラスト強調後の合成画像のデータ、即ち、コントラスト強調部36の出力データの一例を示している。
エッジ強調部37は、平均化によりエッジが低下してしまった合成Y画像のデータに対して、エッジ強調の処理を施す。
なお、この場合のエッジ強調部37の処理単位も注目画素になり、注目画素として設定される画素毎に、異なったエッジ強調の度合(以下、「エッジ強調レベル」)が設定される。
図9(A)は、合成比率のテーブルの一例であって、図3と同一の例を示している。
図9(B)は、エッジ強調レベルのテーブルの一例を示している。
図9(B)において、横軸は、判定用Y画像の輝度値(0乃至255の範囲内の値)を示しており、縦軸は、エッジ強調レベルを示している。
図9(B)の例では、平均化の度合が大きくなるほど、即ち、適正露出用合成比率Rmと露出オーバー用合成比率Roとの比率が1:1に近づくほど、或いはまた、適正露出用合成比率Rmと露出アンダー用合成比率Ruとの比率が1:1に近づくほど、大きなエッジ強調レベルが設定される。
なお、エッジ強調部37の処理量を減少させる必要がある場合、又は省略する必要がある場合、合成部33による合成前のY画像のデータ、ここでは、適正露出Y画像、露出オーバーY画像、及び露出アンダーY画像の各データとして、予め強めのエッジ強調が施されたデータを用意しておくよい。
次に、UV合成部22の詳細について説明する。具体的には、先ず、図2及び図10を参照して、UV合成部22の構成について説明する。次に、図11を参照して、UV合成部22が実行するUV成分合成処理の流れについて説明する。
ここで、後述するように、UV合成部22は、Y合成部21と必ずしも同期して実行する必要はないが、説明の便宜上、UV画像における注目画素と、Y画像における注目画素とは、同一座標の各々対応する画素であるものとして、以下の説明を行う。即ち、以下の説明では、Y画像と、それに対応するUV画像との各々において、同一座標に位置する各々対応する画素が、注目画素に設定されるものとする。
ここで、合成比率取得部41により取得される合成比率とは、適正露出用合成比率Rm、露出オーバー用合成比率Ro、及び露出アンダー用合成比率Ruの組である。
また、本実施形態では、合成比率取得部41は、ゲイン設定部34により設定される調整ゲインを用いた明るさ調整後の合成比率、即ち、図5のテーブルに基づいて設定された合成比率を取得する。
ただし、合成比率取得部41は、必要に応じて、図3のテーブルに基づいて設定された合成比率、即ち、ゲイン設定部34により設定される調整ゲインを用いた明るさ調整前の合成比率を取得するようにしてもよい。
この場合、合成部42は、次の式(4)を演算することで、各々の注目画素の合成値UVmixを演算することができる。
UVmix=Ru×UVu+Rm×UVm+Ro×UVo ・・・(4)
例えば、合成比率取得部41により取得された合成比率、即ち、Y合成部21の合成部33において注目画素の合成のための式(1)に用いられた、適正露出用合成比率Rm=0.7(70%)、露出オーバー用合成比率Ro=0.3(30%)、露出アンダー用合成比率Ru=0(0%)であるとする。この場合、式(4)においても、Rmに0,7が代入され、Roに0.3が代入され、かつ、Roに0が代入されて、合成部42により演算され、注目画素の合成値UVmixが算出される。
そして、合成部42は、注目画素に設定された画素毎に、合成比率取得部41により取得された合成比率、即ち、Y合成部21の合成部33において注目画素の合成に用いられた合成比率をそのまま用いて、上述した一連の処理を繰り返すことによって、合成画像のデータを生成する。
このようにしてUV合成部22の合成部42により生成された合成画像のデータを、以下、「合成UV画像のデータ」と呼ぶ。
非同期で動作する場合には、例えば、Y合成部21において用いられた合成比率はバッファ(図示せず)に一時的に蓄積され、合成比率取得部41は、当該バッファに蓄積された合成比率を取得する。この場合、バッファに蓄積された1以上の画素毎の合成比率の中から、UV画像側の注目画素と同一座標のY画像内の画素に対して適用された合成比率を合成部42が認識できる仕組みが、合成部11に設けられる。
彩度強調部43は、合成UV画像の注目画素の画素値に対して所定のゲインを乗算することによって、注目画素の彩度を強調する。
このように、彩度強調部43の処理単位も注目画素であり、注目画素として設定された画素毎に、ゲインが設定されることになる。
図10において、横軸は、彩度レベル(0乃至255の範囲内の値)を示しており、縦軸は、ゲイン(%)を示している。
ここで、彩度レベルとしては、YUV空間から変換されたHSV空間において算出されたS値を採用してもよいが、本実施形態では、処理負荷軽減のため、式(5)に示すように、U値とV値の各々の絶対値のうちの大きい方を採用する。
S_lev=max(|U_mix|,|V_mix|) ・・・(5)
式(5)において、S_levは、彩度レベルを示している。max(α,β)は、αとβのうちの最大値を出力する関数を示している。U_mixは、合成UV画像の注目画素のU値を示している。V_mixは、合成UV画像の注目画素のV値を示している。
図10の例では、彩度レベルS_levが低い場合と高い場合にゲインが抑えられる。即ち、合成UV画像のうち低彩度と高彩度の領域の画素が注目画素に設定された場合に、ゲインが抑えられる。これにより、ゲインによる色飽和や、グレー領域に対する不要な彩度強調を防止することが可能になる。
図11は、合成処理の流れの一例を示すフローチャートである。
なお、図11の説明においても、UV画像の注目画素の座標と同一座標に位置するY画像内の画素も、Y画像の注目画素として設定されているものとする。
Y画像の注目画素に対するY成分合成処理が実行中の場合には、ステップS2においてNOであると判定されて、処理はステップS2に戻さる。即ち、Y画像の注目画素に対するY成分合成処理が実行中の場合には、ステップS2の判定処理が繰り返し実行されて、UV成分合成処理は待機状態になる。
その後、Y画像の注目画素に対するY成分合成処理が終了した場合には、ステップS2においてYESであると判定されて、処理はステップS3に進む。
即ち、本実施形態では、適正露出UV画像、露出オーバーUV画像、及び、露出アンダーUV画像の各注目画素のデータが取得される。
適正露出UV画像、露出オーバーUV画像、及び、露出アンダーUV画像の各々を構成する画素のうち、注目画素に未だ設定されていない画素が存在する場合、ステップS7においてNOであると判定されて、処理はステップS2に戻され、それ以降の処理が繰り返される。
即ち、適正露出UV画像、露出オーバーUV画像、及び、露出アンダーUV画像の各々を構成する画素が注目画素として順次設定される毎に、ステップS1乃至S7のループ処理が繰り返し実行されて、合成UV画像のデータが生成されていく。
そして、最後の画素がステップS1の処理で注目画素に設定されて、ステップS2乃至S6の処理が実行されると、合成UV画像のデータが完成するので、次のステップS7においてYESであると判定されて、UV成分合成処理は終了となる。そしてこの後、合成処理された画像はファイル化され、画像記録部6に記録される。
例えば、合成比率を取得するステップS3の処理タイミングは、図11の例に特に限定されず、取得すべき合成比率が既知である段階であれば足りる。換言すると、ステップS3以降の処理は、Y画像の注目画素に対するY成分合成処理で用いられる合成比率が設定された後であればいつでも実行することが可能である。
また例えば、ステップS3乃至S6の処理は、図11の例では画素を単位として実行されたが、図11の例に特に限定されず、所定数の画素からなるブロックを単位として実行してもよいし、画像全体を単位として実行してもよい。
これにより、輝度(コントラスト)が調整された合成Y画像のデータのみならず、彩度が調整された合成UV画像のデータも得られるため、これらをあわせた結果得られるHDR合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
特に、Y合成部21が、複数のY画像内の同一座標の各画素のデータを、座標毎に異なる合成比率を用いて合成し、UV合成部22が、複数のUV画像内の同一座標の各画素のデータを、当該座標と同一のUV画像内の座標用の合成比率を用いて合成することによって、画素毎の適応的な調整が可能になるため、当該効果が顕著なものとなる。
このような効果は、図12と図13を比較することで明確にわかる。
図12(A)は、露出アンダーの画像のデータの一例を示している。
図12(B)は、適正露出の画像のデータの一例を示している。
図12(C)は、露出オーバーの画像のデータの一例を示している。
図13に示す合成画像は、図12の合成前の何れの画像と比較しても、広いダイナミックレンジを持った画像、即ちコントラストのはっきりとしたメリハリのある画像になっていることがわかる。
また、図13は、カラー画像を白黒画像に変換したために示すことが困難であるが、変換前のカラー画像では、彩度が適切に調整された画像になっていることが確認された。
しかしながら、判定用Y画像のデータは、特にこれに限定されず、平均Y画像のデータに対して、εフィルタの代わりに通常のLPF(Low Pass Filter)がかけられたデータを用いてもよい。
即ち、Y合成部21によるY成分合成処理においては、コントラスト強調部36によるコントラスト強調や、その前段の合成部33による合成Y画像のデータの生成のときに、オーバーシュート又はアンダーシュートが発生する。
このようなオーバーシュートやアンダーシュートの発生を軽減する効果を果たすのが、εフィルタである。即ち、εフィルタは、注目画素とその周辺の画素との間の画素値の差分を局所情報として用いることで、通常のLPFと比較して、輝度差の大きい領域を維持したまま、輝度差の小さい領域のみを効果的にボカすことができる。これにより、オーバーシュートやアンダーシュートの発生の軽減効果を奏することが可能になる。
図14(A)は、図4(D)の平均Y画像のデータに対して、通常のLPFをかけた結果得られるデータの一例を示している。
図14(B)は、図4(D)の平均Y画像のデータに対して、εフィルタをかけた結果得られるデータ、即ち、εフィルタ部32の出力データの一例を示している。
図14(C)は、図14(A)の通常のLPFがかけられたデータを判定用Y画像のデータとして用いた場合に、合成部33から出力される合成Y画像のデータの一例を示している。
図14(D)は、図14(B)のεフィルタがかけられたデータ(εフィルタ部32の出力データ)を判定用Y画像のデータとして用いた場合に、合成部33から出力される合成Y画像のデータの一例を示している。
図14(C)の領域101Cと図14(D)の領域101Dとを見比べたり、図9(C)の領域102Cと図9(D)の領域102Dとを見比べることで、εフィルタによるオーバーシュート及びアンダーシュートの軽減の効果を認めることができる。
このような問題を発生させないか又は軽減させる必要がある場合には、図示はしないが、平均化部31から出力された平均Y画像のデータのサイズを、例えばQVGA(Quarter VGA)に縮小させる縮小部を合成部11に設けるようにしてもよい。この場合、εフィルタ部32は、縮小後の画像のデータに対してεフィルタをかけることになるため、当該εフィルタのサイズを小さくすることができ、その結果、処理量と処理時間を減少させることが可能になる。なお、εフィルタ部32の出力データのサイズもQVGAのままのため、当該出力データのサイズを元のサイズに拡大する拡大部も合成部11に設ける必要がある。
なお、この場合には、縮小部の縮小率及び拡大部の拡大率が大きくなるに従って、判定用Y画像のエッジが緩慢になってしまうため、上述のεフィルタによる効果、即ちオーバーシュートとアンダーシュートの軽減の効果が若干弱まる点に注意が必要である。
少なくとも一つから顔画像領域を検出できればよいが、複数枚検出した場合であっても、その中から顔画像領域が含まれている画像データのうち、適正露出になっている画像データに最も近いものを選択する。
なお、上記選択処理を軽減させるため、適正露出値で撮影された画像データに露出値が近くかつ明るめの画像を選択するようにしてもよい。
そして、選択された画像データにおける顔画像領域の明るさ平均を計測し、この計測された露出に合わせて、非線形ガンマ変換等を適用することで、複数枚の画像データのうち、合成処理に採用する露出オーバー、及び、露出アンダーの各Y画像データを選択する。
また合成比率については、顔画像領域の明るさを中心にしたものに設定する。
また、上述の実施形態では特に言及しなかったが、露出が各々異なる複数の画像のデータは、合成されることを考慮すると、位置ズレが予め補正されていると好適である。
しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、デジタルフォトフレーム、パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータ等も適宜記憶される。
出力部207は、各種情報を出力する。例えば、出力部207には、図示しない表示部が設けられており、合成部11の出力データにより表わされる合成画像が表示される。
記憶部208は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部209は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
Claims (6)
- 露出が各々異なる複数の画像のデータ夫々から分離された、所定の色空間において規定される輝度成分からなる第1の画像のデータより、適正露出を基準とした露出オーバーのものと露出アンダーのものとを少なくとも選択する選択手段と、
この選択手段によって選択された複数の第1の画像のデータを平均化し平滑化した画像のデータを生成する生成手段と、
前記分離後の前記複数の第1の画像のデータの同じ位置に存在する各画素のデータを、前記生成手段によって生成された画像のデータの輝度値に基づいた座標毎に異なる合成比率を用いて合成する第1の合成手段と、
前記複数の画像のデータ夫々から分離され所定の色空間において規定される輝度成分以外からなる第2の画像のデータのうち、前記選択手段によって選択された第1の画像のデータに対応する第2の画像のデータの、当該第1の画像のデータと同じ位置に存在する各画素のデータを、当該位置と同じ前記第1の画像のデータの位置にある前記第1の合成手段で用いられた合成比率と等しい合成比率を用いて合成する第2の合成手段と、
を備えることを特徴とする画像処理装置。 - 前記第1の合成手段は、さらに、合成後の第1の画像のデータの明るさを調整するゲインを、前記複数の第1の画像のデータ毎に設定し、設定された前記ゲインを前記合成比率にかけることで、前記合成比率を調整し、
前記第2の合成手段は、前記第1の合成手段により調整された後の前記合成比率を用いて、前記第2の画像のデータを合成することを特徴とする請求項1に記載の画像処理装置。 - 前記露出が各々異なる複数の画像のデータの少なくとも一つから顔画像領域を検出する第1の画像領域検出手段を更に備え、
前記第1の合成手段は、前記第1の画像領域検出手段によって顔画像領域を検出すると、この顔画像領域に対し適正な明るさになっている画像のデータの明るさに基づいて前記合成比率を調整することを特徴とする請求項1又は2に記載の画像処理装置。 - 撮像手段と、
この撮像手段によって撮像されている画像のデータから顔画像領域を検出する第2の画像領域検出手段と、
この第2の画像領域検出手段によって顔画像領域を検出するとこの顔画像領域に対し適正な明るさになるように露出値を調整するとともに、この調整された露出値を中心に露出が各々異なる複数の画像のデータを撮像するよう制御する撮像制御手段と、
を更に備えることを特徴とする請求項1又は2に記載の画像処理装置。 - 前記第2の合成手段は、さらに、合成後の第2の画像のデータに対して、彩度を強調するゲインをかけることを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータを、
露出が各々異なる複数の画像のデータ夫々から分離された、所定の色空間において規定される輝度成分からなる第1の画像のデータより、適正露出を基準とした露出オーバーのものと露出アンダーのものとを少なくとも選択する選択手段、
この選択手段によって選択された複数の第1の画像のデータを平均化し平滑化した画像のデータを生成する生成手段、
前記分離後の前記複数の第1の画像のデータの同じ位置に存在する各画素のデータを、前記生成手段によって生成された画像のデータの輝度値に基づいた座標毎に異なる合成比率を用いて合成する第1の合成手段、
前記複数の画像のデータ夫々から分離され所定の色空間において規定される輝度成分以外からなる第2の画像のデータのうち、前記選択手段によって選択された第1の画像のデータに対応する第2の画像のデータの、当該第1の画像のデータと同じ位置に存在する各画素のデータを、当該位置と同じ前記第1の画像のデータの位置にある前記第1の合成手段で用いられた合成比率と等しい合成比率を用いて合成する第2の合成手段、
として機能させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011044529A JP5136664B2 (ja) | 2010-07-09 | 2011-03-01 | 画像処理装置、及びプログラム |
CN201110187890.8A CN102316331B (zh) | 2010-07-09 | 2011-07-06 | 图像处理装置以及图像处理方法 |
KR1020110067358A KR101247646B1 (ko) | 2010-07-09 | 2011-07-07 | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 |
US13/178,905 US8570401B2 (en) | 2010-07-09 | 2011-07-08 | Image combining apparatus, image combining method and program product |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010157280 | 2010-07-09 | ||
JP2010157280 | 2010-07-09 | ||
JP2011044529A JP5136664B2 (ja) | 2010-07-09 | 2011-03-01 | 画像処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012034340A JP2012034340A (ja) | 2012-02-16 |
JP5136664B2 true JP5136664B2 (ja) | 2013-02-06 |
Family
ID=45429098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011044529A Active JP5136664B2 (ja) | 2010-07-09 | 2011-03-01 | 画像処理装置、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8570401B2 (ja) |
JP (1) | JP5136664B2 (ja) |
KR (1) | KR101247646B1 (ja) |
CN (1) | CN102316331B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11070736B2 (en) | 2017-03-27 | 2021-07-20 | Samsung Electronics Co., Ltd | Electronic device and image processing method thereof |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5136665B2 (ja) * | 2010-07-21 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
JP5141733B2 (ja) * | 2010-08-18 | 2013-02-13 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
US8836816B2 (en) * | 2011-05-19 | 2014-09-16 | Foveon, Inc. | Method of adjusting the brightness of a digital camera image |
JP5784435B2 (ja) * | 2011-09-20 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、蛍光顕微鏡装置および画像処理プログラム |
US9354748B2 (en) | 2012-02-13 | 2016-05-31 | Microsoft Technology Licensing, Llc | Optical stylus interaction |
US9075566B2 (en) | 2012-03-02 | 2015-07-07 | Microsoft Technoogy Licensing, LLC | Flexible hinge spine |
US9158383B2 (en) | 2012-03-02 | 2015-10-13 | Microsoft Technology Licensing, Llc | Force concentrator |
US9870066B2 (en) | 2012-03-02 | 2018-01-16 | Microsoft Technology Licensing, Llc | Method of manufacturing an input device |
JP5896788B2 (ja) * | 2012-03-07 | 2016-03-30 | キヤノン株式会社 | 画像合成装置及び画像合成方法 |
US20130300590A1 (en) | 2012-05-14 | 2013-11-14 | Paul Henry Dietz | Audio Feedback |
US8964379B2 (en) | 2012-08-20 | 2015-02-24 | Microsoft Corporation | Switchable magnetic lock |
US8786767B2 (en) * | 2012-11-02 | 2014-07-22 | Microsoft Corporation | Rapid synchronized lighting and shuttering |
CN103118229A (zh) * | 2013-02-06 | 2013-05-22 | 重庆金山科技(集团)有限公司 | 一种成像方法及*** |
JP6123341B2 (ja) * | 2013-02-19 | 2017-05-10 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
FR3003581B1 (fr) * | 2013-03-20 | 2015-03-20 | Ahlstroem Oy | Support fibreux a base de fibres et de nanofibrilles de polysaccharide |
JP6121234B2 (ja) * | 2013-05-10 | 2017-04-26 | ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. | 画像処理装置および画像処理方法 |
US10120420B2 (en) | 2014-03-21 | 2018-11-06 | Microsoft Technology Licensing, Llc | Lockable display and techniques enabling use of lockable displays |
US10324733B2 (en) | 2014-07-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Shutdown notifications |
JP6579868B2 (ja) * | 2015-09-01 | 2019-09-25 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
CN105323569B (zh) * | 2015-10-27 | 2017-11-17 | 深圳市金立通信设备有限公司 | 一种图像增强的方法及终端 |
US10187587B2 (en) | 2016-04-13 | 2019-01-22 | Google Llc | Live updates for synthetic long exposures |
US10435841B2 (en) * | 2016-05-03 | 2019-10-08 | GranBio Intellectual Property Holdings, LLC | Nanocellulose-reinforced corrugated medium |
US10129511B2 (en) * | 2016-08-01 | 2018-11-13 | Ricoh Company, Ltd. | Image processing apparatus, image projection apparatus, and image processing method |
CN106303274A (zh) * | 2016-08-01 | 2017-01-04 | 凌云光技术集团有限责任公司 | 一种高动态范围图像合成方法及装置 |
EP3319013A1 (en) | 2016-11-03 | 2018-05-09 | Thomson Licensing | Method and device for estimating cast shadow regions and/or highlight regions in images |
CN110168562B (zh) * | 2017-03-09 | 2023-06-09 | Oppo广东移动通信有限公司 | 基于深度的控制方法、基于深度的控制装置和电子装置 |
CN107483844B (zh) * | 2017-09-04 | 2020-08-25 | 海信视像科技股份有限公司 | 一种图像处理的方法和设备 |
CN107948540B (zh) * | 2017-12-28 | 2020-08-25 | 信利光电股份有限公司 | 一种道路监控摄像头和道路监控图像的拍摄方法 |
CN108196924B (zh) * | 2017-12-28 | 2021-01-15 | 努比亚技术有限公司 | 一种亮度调节方法、终端及计算机可读存储介质 |
CN108989700B (zh) * | 2018-08-13 | 2020-05-15 | Oppo广东移动通信有限公司 | 成像控制方法、装置、电子设备以及计算机可读存储介质 |
CN110213502B (zh) * | 2019-06-28 | 2022-07-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111225160B (zh) * | 2020-01-17 | 2021-06-22 | 中国科学院西安光学精密机械研究所 | 基于图像多阈值控制的自动曝光控制方法 |
CN111551346B (zh) * | 2020-04-13 | 2022-04-01 | 深圳惠牛科技有限公司 | 一种视场角的测量方法、设备、***及计算机存储介质 |
CN112651914A (zh) * | 2020-12-17 | 2021-04-13 | 吉林师范大学 | 一种基于matlab的图像处理*** |
US11689814B1 (en) * | 2021-12-02 | 2023-06-27 | Centre For Intelligent Multidimensaional Data Analysis Limited | System and a method for processing an image |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10136269A (ja) * | 1996-10-24 | 1998-05-22 | Nissan Motor Co Ltd | 撮像装置 |
JPH10341367A (ja) * | 1997-06-06 | 1998-12-22 | Toshiba Corp | 静止画像生成方法及び静止画像取り込みシステム |
JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
US6825884B1 (en) * | 1998-12-03 | 2004-11-30 | Olympus Corporation | Imaging processing apparatus for generating a wide dynamic range image |
EP1475745B1 (en) * | 2002-02-12 | 2014-07-09 | Panasonic Corporation | Image processing device and image processing method |
US7409104B2 (en) * | 2002-07-18 | 2008-08-05 | .Sightic Vista Ltd | Enhanced wide dynamic range in imaging |
JP3817635B2 (ja) * | 2002-11-26 | 2006-09-06 | 学校法人慶應義塾 | カラ−画像処理装置および処理方法 |
US7480421B2 (en) | 2005-05-23 | 2009-01-20 | Canon Kabushiki Kaisha | Rendering of high dynamic range images |
WO2007077719A1 (ja) * | 2005-12-27 | 2007-07-12 | Kyocera Corporation | 撮像装置およびその画像処理方法 |
JP5019543B2 (ja) * | 2006-05-09 | 2012-09-05 | シャープ株式会社 | 撮像装置 |
JP4717720B2 (ja) * | 2006-06-05 | 2011-07-06 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP4208909B2 (ja) * | 2006-08-24 | 2009-01-14 | 株式会社東芝 | 画像処理装置と撮影装置 |
JP2008103831A (ja) * | 2006-10-17 | 2008-05-01 | Sony Corp | 撮像装置 |
JP2008131580A (ja) * | 2006-11-24 | 2008-06-05 | Olympus Imaging Corp | 撮像装置及び画像処理方法 |
JP5183297B2 (ja) * | 2008-05-19 | 2013-04-17 | 三洋電機株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
JP2010055194A (ja) * | 2008-08-26 | 2010-03-11 | Sony Corp | 画像処理装置および方法、学習装置および方法、並びにプログラム |
JP2010141653A (ja) * | 2008-12-12 | 2010-06-24 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
JP5589446B2 (ja) * | 2009-09-18 | 2014-09-17 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
US8823808B2 (en) * | 2009-10-27 | 2014-09-02 | Intellectual Ventures Fund 83 Llc | Method for improved digital video image quality |
JP5136665B2 (ja) * | 2010-07-21 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
JP5787648B2 (ja) * | 2011-07-11 | 2015-09-30 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
-
2011
- 2011-03-01 JP JP2011044529A patent/JP5136664B2/ja active Active
- 2011-07-06 CN CN201110187890.8A patent/CN102316331B/zh active Active
- 2011-07-07 KR KR1020110067358A patent/KR101247646B1/ko active IP Right Grant
- 2011-07-08 US US13/178,905 patent/US8570401B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11070736B2 (en) | 2017-03-27 | 2021-07-20 | Samsung Electronics Co., Ltd | Electronic device and image processing method thereof |
Also Published As
Publication number | Publication date |
---|---|
US8570401B2 (en) | 2013-10-29 |
US20120008015A1 (en) | 2012-01-12 |
KR20120005966A (ko) | 2012-01-17 |
KR101247646B1 (ko) | 2013-04-01 |
JP2012034340A (ja) | 2012-02-16 |
CN102316331B (zh) | 2014-08-06 |
CN102316331A (zh) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5136664B2 (ja) | 画像処理装置、及びプログラム | |
JP5136665B2 (ja) | 画像処理装置、及びプログラム | |
JP5157753B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP5615973B2 (ja) | 高ダイナミックレンジ画像を捕捉するデバイスの作動法 | |
JP5141733B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP4803284B2 (ja) | 画像処理装置、及び画像処理プログラム | |
US8982232B2 (en) | Image processing apparatus and image processing method | |
JP5761946B2 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
JP2013106141A (ja) | 画像合成装置、及びプログラム | |
JPWO2007129533A1 (ja) | 撮像装置 | |
US8717449B2 (en) | Image synthesizing apparatus, image recording method, and recording medium | |
WO2020034701A1 (zh) | 成像控制方法、装置、电子设备以及可读存储介质 | |
JP6087612B2 (ja) | 画像処理装置および画像処理方法 | |
JP2012249256A (ja) | 画像処理装置、画像処理方法、プログラム | |
US11620738B2 (en) | Hue preservation post processing with early exit for highlight recovery | |
US9432646B2 (en) | Image processing apparatus, image processing method, program and electronic apparatus | |
JP2018098670A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
KR20160030350A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP2009213032A (ja) | ワイド・ダイナミック・レンジ画像生成処理装置 | |
JP5146500B2 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
JP6858073B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2011199787A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120510 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20120515 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20120531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5136664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |