JP2004246644A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2004246644A JP2004246644A JP2003036128A JP2003036128A JP2004246644A JP 2004246644 A JP2004246644 A JP 2004246644A JP 2003036128 A JP2003036128 A JP 2003036128A JP 2003036128 A JP2003036128 A JP 2003036128A JP 2004246644 A JP2004246644 A JP 2004246644A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing
- color
- color original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 49
- 239000003086 colorant Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40093—Modification of content of picture, e.g. retouching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6002—Corrections within particular colour systems
- H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【解決手段】カラー原画像のビデオ信号に含まれる輝度データYに対して、ローパスフィルタ処理と輪郭強調処理とを繰り返し施し、さらに階調低減処理を行って、処理後の輝度データY’とカラー原画像の色差データとを合成して輪郭部分の線幅が太くかつ色相が変わらずに色数が少なくなったイラスト画像を得る。ローパスフィルタ処理により対象画素とその周囲画素の輝度レベル変化が滑らかになり、輪郭強調処理により対象画素とその周囲画素の輝度レベル変化が拡大し、階調低減処理により色数が減じられる。
【選択図】 図3
Description
【発明の属する技術分野】
本発明は、画像に任意の視覚的効果を与えるための画像処理を行う画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【0002】
【従来の技術】
近年、光学的被写体像を撮像してデジタルビデオ信号に変換する電子スチルカメラが普及しており、このような電子スチルカメラはケーブルで直接に、または外部記録媒体を介して間接的に、デジタルビデオ信号をパーソナルコンピュータ等に転送することができる。パーソナルコンピュータでは被写体像をモニタにカラー画像として表示することができるだけでなく、パーソナルコンピュータにインストールされた画像処理プログラムを用いてカラー画像を加工し、その視覚的効果を変えることができる。
【0003】
その視覚的効果を変える加工の一つとして、個々の画素の色を代表的な色に割り当てることによって、定められた色数になるように減色し、単調な色彩で表現されたイラスト画像を得ることが行われている(例えば、特許文献1参照)。
【0004】
しかし、個々の画素の色を最も近い限定色に割り当てると色相が回転する、即ちカラーバランスが変わるため、加工前のカラー原画像とイラスト画像とでは色合いが異なる、特に人物の肌を2、3色で表現する場合には色合いの違いが目立つことが問題であった。
【0005】
【特許文献1】
特開平10−74248号公報
【0006】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みて成されたものであり、カラー原画像と色合いが変わらないイラスト画像を得ることが課題である。
【0007】
【課題を解決するための手段】
本発明に係る画像処理装置は、カラー原画像のビデオ信号を得る入力手段と、ビデオ信号に含まれる輝度成分に画像加工処理を施す画像処理手段と、画像処理手段によって画像加工処理が施された輝度成分とカラー原画像のビデオ信号に含まれる色差成分とを合成して、カラー原画像に対して輪郭部分の線幅が太くかつ色数が少ないイラスト画像のビデオ信号を生成する合成手段とを備えることを特徴とする。ビデオ信号に含まれる輝度成分に画像加工処理を施し、ビデオ信号に含まれる色差成分には画像加工処理を施さないので、カラー原画像のカラーバランスを変えることなく色数を少なくできる。
【0008】
上記画像処理装置において、具体的には、画像加工処理は、輝度成分に対してローパスフィルタ処理と輪郭強調フィルタ処理とを施すフィルタ処理と、輝度成分の階調数を低減する階調低減処理とを含む。このフィルタ処理によって輪郭部分の線幅が太くさせられるとともに、階調低減処理によって色数が少なくさせられる。上記フィルタ処理では、ローパスフィルタ処理と輪郭強調フィルタ処理とがそれぞれ複数回行って、フィルタ効果を増幅してもよい。
【0009】
上記画像処理装置において、画像処理手段は、カラー原画像の画素数を減少させた後、フィルタ処理を実行させ、フィルタ処理後に再びカラー原画像と同数の画素数に復元してもよく、これにより輪郭部分の線幅をさらに太くすることができる。画像処理手段によるカラー原画像と同数の画素数への復元は、階調低減処理の後に行われてもよいし、前記階調低減処理の前に行われてもよい。
【0010】
また本発明に係る画像処理方法は、カラー原画像のビデオ信号を得る第1ステップと、ビデオ信号に含まれる輝度成分に画像加工処理を施す第2ステップと、画像加工処理が施された輝度成分とカラー原画像のビデオ信号に含まれる色差成分とを合成して、カラー原画像に対して輪郭部分の線幅が太くかつ色数が少ないイラスト画像のビデオ信号を生成する第3ステップとを備えることを特徴とする。
【0011】
また本発明に係る画像処理プログラムは、カラー原画像のビデオ信号を得る第1ステップと、ビデオ信号に含まれる輝度成分に画像加工処理を施す第2ステップと、画像加工処理が施された輝度成分とカラー原画像のビデオ信号に含まれる色差成分とを合成して、カラー原画像に対して輪郭部分の線幅が太くかつ色数が少ないイラスト画像のビデオ信号を生成する第3ステップとを実行可能であることを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して説明する。
【0013】
図1は、本発明の第1実施形態である画像処理装置を適用した電子スチルカメラを示す図であって、電子スチルカメラの主要構成を示す模式図である。
電子スチルカメラ10は、被写体からの反射光を結像する撮影光学系12と、撮影光学系12によって撮像面上に結像された光学的被写体像を光電変換する撮像素子、例えばCCD14とを備える。電子スチルカメラ10は1個のCCD14から3原色カラー信号を得る単板式撮像方式を採用しており、CCD14の撮像面には、各画素毎に3原色(R、GまたはB)のカラーフィルタアレイが2次元配列されており、CCD14は1画素当たり1色の色情報を出力する。
【0014】
CCD14から読み出された1フレーム分のアナログ画素信号は、アナログ信号処理回路16に順次送られて、適当な信号レベルにまで増幅されてA/D変換され、1フレーム分のデジタルの画素信号(以下、画素データと記載する)として画像処理回路18に送られ、内蔵メモリであるSDRAM20に一旦格納される。画像処理回路18はSDRAM20と協働して上記画素データに後述する様々な画像処理を施してビデオ信号を生成する。このビデオ信号は、画像の明るさの情報である輝度信号(輝度成分)と、画像の色情報である色差信号(色差成分)とを含んでいる。このように、撮影光学系12、CCD14、アナログ信号処理回路16、画像処理回路18およびSDRAM20は、カラー原画像のビデオ信号を得る入力手段として機能する。
【0015】
電子スチルカメラ10は、撮像した被写体像やメニューを表示するためのモニタ、例えばLCD22と、種々の撮影モードや撮影条件等を設定するためのスイッチ群24と、静止画像を得るためのシャッタボタン26とを備える。電源投入直後やスイッチ群24によってプレビューが指示されたときには、CCD14による1フレーム分の撮像と、アナログ信号処理回路16および画素処理回路18による信号処理と、SDRAM20の画素データの書換えと、LCD22による画像表示とが、一定の周期で繰り返し実行され、これによりLCD22には被写体像が動画として表示される。
【0016】
このプレビューの状態でシャッタボタン26が押されると、静止画撮影に必要な時間だけCCD14が露光され、画像処理回路18で1フレーム分のビデオ信号が生成される。ビデオ信号は所定の符号化方式に従って圧縮される、例えばJPEG規格の圧縮画像データに変換され、メモリカード28に記録される。このとき、LCD22は押下時点のビデオ信号に基づいて表示を繰り返し行い、これによりLCD22には被写体像が静止画として表示される。メモリカード24は、電子スチルカメラ10に着脱自在な外部記録媒体であり、例えばコンパクトフラッシュ(登録商標)が挙げられる。制御回路30は、例えばマイクロコンピュータであり、電子スチルカメラ10の各部の動作全体を制御する。
【0017】
第1実施形態の電子スチルカメラ10は、CCD14の撮像により得られた画像(以下、カラー原画像と記載する)を、その輪郭部分の線幅を太くしかつ色数を少なくする画像加工処理を施して得られるイラスト画像をメモリカード28に記録するイラスト撮影モードと、カラー原画像を上述した画像加工処理を施さずにそのままメモリカード28に記録する通常撮影モードとを有する。イラスト撮影モードまたは通常撮影モードはスイッチ群24の手動操作によって切替え可能であり、シャッタボタン26の押下前に設定されたモードに基づいて画像処理回路18の信号処理が選択される。
【0018】
図2は画像処理回路18における信号処理を段階的に示す模式図である。アナログ信号処理回路16から出力された画素データ40は、SDRAM20の所定の記憶領域に(a+α)×(b+α)画素(a、b、αは整数)分だけ格納される。aは水平方向画素数を示し、本実施形態では2048である。bは垂直方向画素数を示し、本実施形態では1536である。最終的に得られる画像はa×b画素であるが、後述する画素補間処理のために画素データ40は水平方向および垂直方向共にα画素分だけ余分に用意される。
【0019】
画像処理回路18は、1画素当たり1色の色情報を有する画素データ40をSDRAM20から読み出して、画素補間処理、ホワイトバランス補正処理、γ補正処理、色分離および彩度調整のためのカラーマトリクス処理を施し、1画素当たり3色の色情報を有する3原色データ42に変換する。3原色データ42は、a×b画素のR色データ42r、a×b画素のG色データ42gおよびa×b画素のB色データ42bとから成り、各色データを構成する個々の色信号はそれぞれの色濃度が256(=8ビット)の階調で表された数値データである。
【0020】
3原色データ42はYCbCrマトリクス処理によって画像データ44に変換され、SDRAM20における画素データ40の記憶領域とは異なる記憶領域に格納される。画像データ44は、輝度信号Yのa×b画素分のデータ(輝度データ)44yと、色差信号Cb、Crのそれぞれa/2×b画素分のデータ(色差データ)44cb、44crとから成る。輝度データ44yを構成する個々の輝度信号Yは対応する画素の輝度レベルが256の階調で表された数値データであり、0〜255のいずれかの値をとる。
【0021】
スイッチ群24によって通常撮影モードが設定されている場合、SDRAM20に格納されている輝度データ44yと、色差データ44cbおよび44crとが画像処理回路18に読み出されて多重され、カラー原画像のビデオ信号48としてLCD22に出力される。そして、ビデオ信号48は制御回路30にも送られ、ここで符号化処理を受けて圧縮画像データに変換され、メモリカード28に記録される。
【0022】
一方、スイッチ群24によってイラスト撮影モードが設定されている場合、SDRAM20に格納されている輝度データ44yは画像処理回路18に読み出されて後述する画像加工処理が施され、画像加工処理済の輝度信号Y’のデータ(輝度データ)46yに変換される。そしてこの輝度データ46yと、画像加工処理されていない色差データ44cbおよび44crとが画像処理回路18において合成され、イラスト画像のビデオ信号50としてLCD22に出力される。そして、ビデオ信号50は制御回路30にも送られ、ここで符号化処理を受けて圧縮画像データに変換され、メモリカード28に記録される。また、イラスト撮影モードが設定されたときには、カラーマトリクス処理において彩度が通常撮影モードに比べて相対的に高くなるように設定され、これによりイラスト画像が鮮やかな色で再現され、リアル感が薄められイラスト風の度合いが強められる。
【0023】
このように、画像処理回路18およびSDRAM20は輝度信号Yに画像加工処理を施す画像処理手段、および画像加工処理が施された輝度信号Y’とカラー原画像の色差信号Cb、Crとを合成してイラスト画像のビデオ信号50を得る合成手段として機能する。
【0024】
次に図3を参照して画像加工処理について詳述する。図3は画像加工処理の処理流れを輝度レベル値の変化と共に模式的に示す図である。画像加工処理は、輝度データ44yに対してローパスフィルタ処理と輪郭強調フィルタ処理とをそれぞれ複数回、例えば7回繰り返し施すフィルタ処理と、フィルタ処理後の輝度データ44yの階調数を低減する階調低減処理とを含む。
【0025】
ローパスフィルタ処理は、対称画素とその周囲画素との輝度レベル変化を滑らかにして細部を潰す即ちぼかす処理であり、下記に示す3×3マトリックスのフィルタ係数が設定されたローパスフィルタが用いられる。即ち、対象画素の輝度レベル値の48/256を乗算した値と、その周囲8画素の輝度レベル値にそれぞれ26/256を乗算した値との和を対象画素の輝度レベル値に定めるという処理をa×b個の全画素について行う。
【0026】
【数1】
【0027】
輪郭強調フィルタ処理は、周囲画素との輝度レベル変化を拡大し輪郭を強調する処理であり、下記に示す3×3マトリックスのフィルタ係数が設定された輪郭強調フィルタが用いられる。即ち、対象画素の輝度レベル値を4倍した値とその周囲8画素の輝度レベル値を(−0.5)倍した値との和を対象画素の輝度レベル値に加えるという処理をa×b個の全画素について行う。
【0028】
【数2】
【0029】
上記輪郭強調フィルタにはコアリング閾値(=56)が設定され、フィルタ処理によって対象画素の輝度レベル値がコアリング閾値以下になる場合には、その対象画素の輝度レベル値は元の値のままとされる。これにより、ノイズ成分の強調が防止される。また、高輝度レベル側にはクリップ値(=8)が設定され、フィルタ処理によって対象画素の周囲との輝度レベル差がクリップ値より大きくなる場合には、その対象画素の輝度レベル値は周囲との輝度レベル差がクリップ値に等しくなる値となる。これにより、高輝度成分の強調が抑えられる。
【0030】
カラー原画像の輪郭部分では隣合う画素間での輝度レベル差が存在し、ローパスフィルタ処理によって多少輝度レベル差が縮められるがその輪郭幅が太くなり、さらに輪郭強調フィルタ処理によって輪郭部分は相対的に黒レベルに近づけられる。フィルタ処理においては、輝度データ44yに対してローパスフィルタ処理およびその後の輪郭強調フィルタ処理を7回繰り返して施しており、これにより輪郭部分の幅が太くなり、かつその輝度レベルは相対的に低くなる。即ちイラスト画像における輪郭部分の輪郭幅が太く強調されるとともに、その明度が低下して黒色に近くなることになる。
【0031】
ローパスフィルタ処理および輪郭強調フィルタ処理の繰り返し回数は7回に限定されない。繰り返し回数を多くすると、イラスト画像における輪郭線が太くなると共に細部が省略されてベタ塗りの領域が大きくなる。繰り返し回数が少なくなると、イラスト画像における輪郭線は相対的に細く、細かい変化は省略されずに残る。従って、リアル感をなくすためには繰り返し回数を多くすればよく、カラー原画像に近づけるためには繰り返し回数を少なく設定すればよい。また第1実施形態では繰り返し回数は予め1つの値に設定されており、1パターンのフィルタ処理しか行えないが、繰り返し回数のデータを複数個用意しておき、操作者のモード選択に応じて複数パターンのフィルタ処理を選択的に行えるように構成してもよい。またさらに、ローパスフィルタ処理と輪郭強調フィルタ処理との順序も特に第1実施形態に限定されず輪郭強調フィルタ処理を行った後に、ローパスフィルタ処理を行っても同様の結果が得られる。
【0032】
ローパスフィルタおよび輪郭強調フィルタのフィルタ係数は、第1実施形態に限定されないが、ノイズ成分を輪郭と見做さないように適宜両フィルタ係数が設定されることが必要である。
【0033】
このように、第1実施形態ではローパスフィルタおよび輪郭強調フィルタを3×3という相対的に小さいマトリックスで構成して、これらを記憶する画像処理回路18のメモリ使用量を削減し、これらフィルタを繰り返し使うことによってフィルタ効果を徐々に強めている。一般にフィルタの効果を大きくするためにはフィルタ参照領域を大きくする必要があるが、この場合画像処理回路18の規模が大きくなる、あるいはハードウェアを使用しないでプログラムで行なう場合処理時間が長くなるため電子スチルカメラ10のように重量や大きさが人の手で持てる程度に制限される電子機器においては上述したようなイラスト画像を生成することは実質的に不可能であった。しかしながら、本発明の第1実施形態によると、フィルタが相対的に小さいものでありメモリ使用量が少ないので、電子スチルカメラ10等にもイラスト画像の加工機能を搭載することができる。
【0034】
階調低減処理は、フィルタ処理を受けた後の輝度データ44yの輝度レベルの階調数を低減する処理であり、図4のグラフで示す階調変換の入出力特性を持つルックアップテーブルを用いて、階調数を256から5に変換する。具体的には、入力値が0以上31以下の時は出力値は0に変換され、同様に入力値が32以上63以下の時は出力値は96に、入力値が64以上127以下の時は出力値は144に、入力値が128以上191以下の時は出力値は208に、入力値が192以上255以下の時は出力値は255に変換される。従って、輝度信号Y’は0、96、144、208および255の5つのうちいずれかの値をとることになる。この処理により輝度データ46yはその輝度レベルが5階調で表され、イラスト画像において明度による色変化が少なくなり、結果として再現される色数が減少することになる。また、細かい輝度レベル変化は無くなる。上述したように、イラスト画像の色差データCb、Crはカラー原画像の色差データCb、Crと同じであるため、カラー原画像と同じ色相のまま色数を減じることができる。即ち、カラー原画像が持つ本来の色味を残したままベタ塗りをしたようなイラスト画像を得ることができる。
【0035】
第1実施形態では輝度レベルが高輝度側にシフトするような階調変換を行っており、これによりイラスト画像の明度が全体的に上げられる。図4に示す入出力特性では、輪郭と認識され得る輝度レベルであるレベル値32未満をレベル値0に変換しており、イラスト画像のカラー再現に大きく影響する輝度レベルであるレベル値96以上を略均等に振り分けている。なお、階調低減処理後の輝度レベル値は上記5つの値に制限されず、また階調数も5に制限されない。階調数を多くすればイラスト画像における輝度レベル変化が細かくなり、色数はあまり減少しない。階調数を少なくすれば、色数が少なくなってベタ塗りしたような色変化の乏しい画像となる。
【0036】
画像処理回路18は、輝度データ44yに対してフィルタ処理を含む画像加工処理を行う前に、カラー原画像を解像度変換して解像度を低下させておき、画像加工処理後即ちフィルタ処理後に再び解像度変換を行ってカラー原画像と同じ解像度に復元することによって、フィルタ処理におけるフィルタ参照領域を相対的に拡大し、輪郭幅をさらに太く強調することができる。
【0037】
図5(a)は、解像度を変換せずに画像加工処理のみを行った場合のカラー原画像およびイラスト画像の輝度成分を示す模式図であり、図5(b)は画像加工処理の前後に解像度変換を行った場合のカラー原画像およびイラスト画像の輝度成分を示す模式図である。
【0038】
図5(b)について詳述すると、a(=2048)×b(=1536)画素の輝度データ44yは解像度変換処理によってその解像度が低減される。解像度変換処理では、画像領域を複数に分割して周辺データレベルに応じて線形補間するバイリニア方式、あるいは周辺データレベルに応じて3次元関数補間するバイキュービック方式等に従って、画素数がa”(=1792)×b”(=1344)画素にまで減少させられる。画像加工処理は、画像領域が縮小された輝度データ52yに対して施される。そして、画像加工処理を受けたa”×b”画素の輝度データ54yは、解像度復元処理によってその解像度が復元される。解像度復元処理では、上記と同じ方式に従う画素補間によって画素数がカラー原画像と同数のa×b画素にまで増加させられる。解像度復元処理によって得られたa×b画素の輝度データが、イラスト画像の輝度データ46yとして扱われる。
【0039】
図5(a)および図5(b)を比較すると、被写体である円柱の輪郭線は、画像加工処理の前に解像度を低減した場合の方が太くなっている。これは画像加工処理の対象となるべき画像サイズが図5(b)の場合の方が相対的に小さく、解像度変換後の輝度データ52yの1画素はカラー原画像の輝度データ44yの複数画素分に相当するため、フィルタ処理におけるフィルタ参照領域FA(3×3画素)が両者で同じであっても、a×b画素の輝度データ44yに対する実質的なフィルタ参照領域の大きさが異なるためである。図中、フィルタ参照領域をFAで示し、図5(b)の場合の輝度データ44yに対する実質的なフィルタ参照領域をFaで示している。解像度低下率が大きくなる程、即ち52yの画素数a”×b”が少なくなる程、実質的なフィルタ参照領域Faの相対的に大きくなり、輪郭線はさらに太くなる。
【0040】
このように、画像加工処理の前後に解像度変換を行うことによって、画像加工処理におけるローパスフィルタ処理および輪郭強調フィルタ処理の繰り返し回数を多くすることなく輪郭線を太く強調できる。従って、繰り返し回数を多く設定して輪郭線を太く強調する場合に比べて、処理速度を向上させることができる。ここで注目すべきことは、解像度を落とす際にカラー原画像の輝度情報が失われるということである。従って、単にフィルタ処理の繰り返し回数を多く設定する場合に比べて、相対的に広い領域で細かい輝度変化を除くことができイラスト調を強調できる。
【0041】
なお、図5(b)のように画像加工処理の前後に解像度変換を行うか否かはスイッチ群24によって設定されたモードに応じて決定され、画像処理回路18ではスイッチ群24によって「細線モード」が設定されていれば図5(a)に示すように画像加工処理のみが行われ、「太線モード」が設定されていれば図5(b)に示すように画像加工処理の前後に解像度変換が行われる。
【0042】
図6は制御回路30において実行される画像処理プログラムのメインルーチンを示すフローチャートである。画像処理プログラムは制御回路30の図示しないメモリにインストールされており、電子スチルカメラ10の電源投入によって開始される。
【0043】
まずステップS102では、種々の初期設定が行われる。この初期設定では、前回電源を切断する直前にメモリ(図示せず)に記憶された撮影条件やモード等のデータが読み出される。このとき、通常撮影モードまたはイラスト撮影モードのいずれか一方が決定され、またイラスト撮影する際に輪郭幅を決定する細線モードまたは太線モードのいずれか一方が決定される。
【0044】
次にステップS104では、プレビューが実行される。詳しくは、CCD14による撮像と、LCD22による画像表示とが一定周期で繰り返し実行され、これによりLCD22には被写体像が動画として表示される。このプレビュー時にスイッチ群24の操作によってモード変更が指示されると(ステップS106)、ステップS108でモード変更処理がなされ、変更されたモードに基づいて再びステップS104のプレビューが実行される。
【0045】
ステップS106においてモード変更が指示されなかったと判定されると、続いてステップS110においてシャッタボタン26が押されて撮影が指示されたか否かが判定される。シャッタボタン26が押されなければステップS406において終了即ち電源の切断が指示されたか否かが判定され、指示されていなければステップS104に戻る。即ち、シャッタボタン26が押されなければ、電源切断までプレビュー状態が続く。
【0046】
ステップS110でシャッタボタン24が押されて撮影が指示されると、ステップS112において撮像動作が行われる。即ち、制御回路30は、ステップS102で設定された撮影条件またはステップS108で変更された撮影条件に応じて露光時間を算出し、その露光時間だけCCD14に電荷を蓄積させる。そしてCCD14から読み出された1フレーム分のアナログ画素信号は、アナログ信号処理回路16、画像処理回路18を経て画素データ40(図2)としてSDRAM20に格納される。
【0047】
次のステップS114ではイラスト撮影モードであるか否かが判定され、イラスト撮影モードの時にはステップS200に進んでイラスト撮影モードの画像処理が実行され、SDRAM20に格納された画素データ40が画像処理回路18に読み出されてイラスト画像のビデオ信号50が生成される。ステップS114ではイラスト撮影モードでない即ち通常撮影モードであると判定されると、ステップS300に進んで通常撮影モードの画像処理が実行され、SDRAM20に格納された画素データ40が画像処理回路18によりカラー原画像のビデオ信号48が生成される。
【0048】
ステップS200で生成されたイラスト画像のビデオ信号50、またはステップS300において生成されたカラー原画像のビデオ信号48は、ステップS400のJPEG方式の符号化処理により圧縮され、ステップS402においてメモリカード28に圧縮画像データが記録される。そして、ステップS404において静止画像が一定時間だけLCD404に表示される。なお、ステップS404は符号化処理(ステップS400)の前に行われてもよい。ステップS404のLCDへの表示が完了するとステップS406において終了するか否かが判定され、終了が指示されなければステップS104のプレビューに戻り、終了が指示されればこの画像処理プログラムが終了する。
【0049】
図7は、図6におけるイラスト撮影モードの画像処理サブルーチン(ステップS200)を示すフローチャートである。まず、ステップS202において画素データ40がSDRAM20から画像処理回路18に読み出され、ステップS204ではカラーマトリクス処理における彩度を通常撮影モードの時よりも相対的に高くなるように画像処理回路18を設定する。そして、ステップS206において画素データ40はRGB3原色データ42に変換され、さらに輝度データ44yおよび色差データ44cb、44crに変換され、SDRAM20に格納される。
【0050】
ステップS208では太線モードが設定されているか否かが判定され、太線モードでない場合には細線モードであると見做されてステップS210の画像加工処理が実行され、図5(a)で示すように相対的に輪郭線の細いイラスト画像のビデオ信号が生成される。ステップS208で太線モードであると判定されるとステップS212の解像度変換処理、ステップS214の画像加工処理、およびステップS216の解像度復元処理が順次実行され、図5(b)で示すように相対的に輪郭線の太いイラスト画像のビデオ信号が生成される。ステップS210およびステップS214の画像加工処理は実質的に同じであり、上述したようにローパスフィルタ処理と輪郭強調フィルタ処理とを7回繰り返して、さらに階調低減処理を行うものである(図3を参照)。ステップS210またはステップS216が終了すると、このイラスト撮影モードの画像処理サブルーチンは終了し、メインルーチンに戻る。
【0051】
以上のように、第1実施形態の画像処理装置は、電子スチルカメラ10に組み合わされて光学的被写体像をCCD14によって撮像してカラー原画像を得、このカラー原画像に画像加工処理を施して輪郭線が太く色数の少ないイラスト画像を得るものである。第1実施形態では、カラー原画像の輝度成分についてのみ画像処理を施すため、色相が回転せず、カラー原画像の色合いを損なうことなくイラスト画像に加工できる。また、ローパスフィルタ処理と輪郭強調フィルタ処理とを繰り返し行うことによってイラスト画像を得るので、フィルタ参照領域が相対的に小さくても、所望のイラスト効果を得る、即ち太い輪郭線とベタ塗りで表現されたイラスト画像を得ることができる。また画像加工処理の前後に解像度変換を行う場合には実質的にフィルタ参照領域を拡大することができるので、画像加工処理に要する時間を削減することができる。イラスト撮影モードでは彩度が相対的に高く設定されるので、鮮やかなイラスト画像を得ることができる。
【0052】
なお、カラー原画像を得る入力手段としては、第1実施形態の電子スチルカメラ10に限定されず、銀塩写真やネガフィルム等に記録された画像をビデオ信号に変換するスキャナであってもよく、この場合画像処理機能をスキャナ自体、または接続するパーソナルコンピュータ等に持たせればよい。
【0053】
第1実施形態では、ステップS210の画像加工処理とステップS214の画像加工処理とは実質的に同じであるが、それぞれの画像加工処理におけるローパスフィルタ処理および輪郭強調フィルタ処理の繰り返し回数を互いに異ならせてもよい。また、イラスト風の度合いは2パターン(細線モードおよび太線モード)だけ用意されているが、3パターン以上あってもよい。
【0054】
図8は、本発明の第2実施形態を示す図であって、画像処理回路18における細線モードの画像処理(第1実施形態の図5(a)および図7のステップS210に相当する)の他の例を示す図である。図8は第1実施形態の図3に対応したものである。他の構成は第1実施形態と同じであり、説明は省略する。
【0055】
第2実施形態のフィルタ処理では、高周波帯域のノイズを除去するために第1ローパスフィルタ処理が行われ、次に輪郭線を太く強調するために輪郭強調フィルタ処理と第2ローパスフィルタ処理とが5回だけ繰り返されて、その後に強調されたノイズ成分を除去するために第3ローパスフィルタ処理が行われる。
【0056】
第1ローパスフィルタ処理のフィルタ係数は第1実施形態と同じであり、第2ローパスフィルタおよび第3ローパスフィルタのフィルタ係数は下記に示すように、第1ローパスフィルタ処理のフィルタ係数に比べて中央の係数値が相対的に大きくなっている。
【0057】
【数3】
【0058】
第2実施形態の輪郭強調フィルタ処理は、コアリング閾値が58ではなく126に設定されること以外は第1実施形態と同様である。コアリング閾値を高くすると、ノイズ除去の度合いが強められる。
【0059】
第2実施形態では、輪郭強調フィルタ処理およびローパスフィルタ処理の順序が第1実施形態と逆で、その繰り返し回数が7ではなく5に設定される。さらにその繰り返される処理の前後にローパスフィルタ処理が行われている点が第1実施形態と異なっている。特に、最後にローパスフィルタ処理を行うことによってクリップしても残る白線、特に輪郭強調処理によって黒色の輪郭線に沿ってできる不自然な白線の出現を抑えることができる。第1実施形態の場合と比べて繰り返し回数が7から5に減少していることによって細部が潰れにくく、リアル感の残るイラスト画像が得られる。
【0060】
第2実施形態の画像処置装置は、第1実施形態と同様、カラー原画像の輝度成分についてのみ画像処理を施すため、色相が回転せず、カラー原画像の色合いを損なうことなくイラスト画像が得られる。また、輪郭強調フィルタ処理とローパスフィルタ処理とを繰り返し行うことによってイラスト画像を得るので、フィルタ参照領域が相対的に小さくても、輪郭線が太くかつ色数の少ないイラスト画像を得ることができる。
【0061】
図9は、本発明の第3実施形態を示す図であって、画像処理回路18における太線モードの画像処理(図5(b)および図6のステップS212〜216)の他の例を示す図である。他の構成は第1実施形態と同じであり、説明は省略する。
【0062】
第3実施形態のフィルタ処理では、第1ローパスフィルタ処理と輪郭強調フィルタ処理とが7回だけ繰り返されて、その後に強調されたノイズ成分を除去するために第2ローパスフィルタ処理が行われる。第1および第2ローパスフィルタ処理のフィルタ係数は第1実施形態と同じであり、輪郭強調フィルタ処理のフィルタ係数、コアリング閾値およびクリップ値も第1実施形態と同じである。第1実施形態と異なる点はローパスフィルタ処理が最後に1回追加されている点である。
【0063】
第1実施形態では、解像度復元処理は階調低減処理の後、即ち画像加工処理が完了した後に行われていたが、第3実施形態では画像加工処理の途中であって階調低減処理の前に解像度復元処理が実行される。解像度低減処理および解像度復元処理はフィルタ参照領域を実質的に拡大する目的で行われるので、解像度復元処理はフィルタ処理の後であればよい。
【0064】
第1実施形態のように、階調低減処理を行なった後に解像度復元処理を行なう場合、解像度の復元は周辺データ値に応じて決められるので、最終的に得られる輝度レベルはそれらの中間値つまり階調低減処理で設定されていないレベル値になる。一方、第3実施形態のように解像度復元処理を行なった後に階調低減処理を行なう場合、第1実施形態に比べて処理すべき画素数が増加するので階調低減処理自体は処理時間が増加することになるが、全ての画素の輝度レベルを所望の設定レベル値に振分けることができる。
【0065】
第3実施形態の画像処理装置においても、第1および第2実施形態と同様、カラー原画像の輝度成分についてのみ画像処理を施すため、色相が回転せず、カラー原画像の色合いを損なうことなくイラスト画像に加工できる。また、ローパスフィルタ処理と輪郭強調フィルタ処理とを繰り返し行うことによってイラスト画像を得るので、フィルタ参照領域が相対的に小さくても、輪郭線が太くかつ色数の少ないイラスト画像を得ることができる。
【0066】
【発明の効果】
以上説明したように本発明の画像処理装置によると、カラー原画像と色合いが変わらないイラスト画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の第1実施形態を示す図であって、画像処理装置を適用した電子スチルカメラの主要構成を示す模式図である。
【図2】図1に示す画像処理回路における信号処理を段階的に示す模式図である。
【図3】画像加工処理の処理流れを輝度レベル値の変化と共に模式的に示す図である。
【図4】階調低減処理における階調変換の入出力特性を示すグラフである。
【図5】図5(a)は、解像度を変換せずに画像加工処理のみを行った場合のカラー原画像およびイラスト画像の輝度成分を示す模式図であり、図5(b)は画像加工処理の前後に解像度変換を行った場合のカラー原画像およびイラスト画像の輝度成分を示す模式図である。
【図6】図1に示す制御回路において実行される画像処理プログラムのメインルーチンを示すフローチャートである。
【図7】図6に示すイラスト撮影モードの画像処理サブルーチンの詳細を示すフローチャートである。
【図8】本発明の画像処理装置の第2実施形態を示す図であって、細線モードの画像処理の他の例を示す図である。
【図9】本発明の画像処理装置の第3実施形態を示す図であって、太線モードの画像処理の他の例を示す図である。
【符号の説明】
10 電子スチルカメラ
14 CCD
18 画像処理回路
20 SDRAM
Claims (8)
- カラー原画像のビデオ信号を得る入力手段と、前記ビデオ信号に含まれる輝度成分に所定の画像加工処理を施す画像処理手段と、前記画像処理手段によって前記画像加工処理が施された輝度成分と前記カラー原画像のビデオ信号に含まれる色差成分とを合成して、前記カラー原画像に対して輪郭部分の線幅が太くかつ色数が少ないイラスト画像のビデオ信号を生成する合成手段とを備えることを特徴とする画像処理装置。
- 前記画像加工処理は、前記輝度成分に対してローパスフィルタ処理と輪郭強調フィルタ処理とを施すフィルタ処理と、前記輝度成分の階調数を低減する階調低減処理とを含むことを特徴とする請求項1に記載の画像処理装置。
- 前記フィルタ処理において、前記ローパスフィルタ処理と前記輪郭強調フィルタ処理とがそれぞれ複数回行われることを特徴とする請求項2に記載の画像処理装置。
- 前記画像処理手段が、前記カラー原画像の画素数を減少させた後、前記フィルタ処理を実行させ、前記フィルタ処理の後に再び前記カラー原画像と同数の画素数に復元することを特徴とする請求項2に記載の画像処理装置。
- 前記画像処理手段が、前記階調低減処理の後に前記カラー原画像と同数の画素数に復元することを特徴とする請求項4に記載の画像処理装置。
- 前記画像処理手段が、前記階調低減処理の前に前記カラー原画像と同数の画素数に復元することを特徴とする請求項4に記載の画像処理装置。
- カラー原画像のビデオ信号を得る第1ステップと、前記ビデオ信号に含まれる輝度成分に画像加工処理を施す第2ステップと、前記画像加工処理が施された輝度成分と前記カラー原画像のビデオ信号に含まれる色差成分とを合成して、前記カラー原画像に対して輪郭部分の線幅が太くかつ色数が少ないイラスト画像のビデオ信号を生成する第3ステップとを備えることを特徴とする画像処理方法。
- カラー原画像のビデオ信号を得る第1ステップと、前記ビデオ信号に含まれる輝度成分に画像加工処理を施す第2ステップと、前記画像加工処理が施された輝度成分と前記カラー原画像のビデオ信号に含まれる色差成分とを合成して、前記カラー原画像に対して輪郭部分の線幅が太くかつ色数が少ないイラスト画像のビデオ信号を生成する第3ステップとを実行可能であることを特徴とする画像処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036128A JP2004246644A (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置、画像処理方法および画像処理プログラム |
US10/775,084 US20040160519A1 (en) | 2003-02-14 | 2004-02-11 | Image processor, image-processing method, and image-processing program product |
DE102004007177A DE102004007177A1 (de) | 2003-02-14 | 2004-02-13 | Gerät, Verfahren und Programmprodukt zur Bildverarbeitung |
FR0401465A FR2851393B1 (fr) | 2003-02-14 | 2004-02-13 | Dispositif de traitement d'image, procede de traitement d'image et programme-produit de traitement d'image |
GB0403379A GB2399252B (en) | 2003-02-14 | 2004-02-16 | Image processor, image-processing method, and image-processing program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036128A JP2004246644A (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004246644A true JP2004246644A (ja) | 2004-09-02 |
Family
ID=32025624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003036128A Withdrawn JP2004246644A (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20040160519A1 (ja) |
JP (1) | JP2004246644A (ja) |
DE (1) | DE102004007177A1 (ja) |
FR (1) | FR2851393B1 (ja) |
GB (1) | GB2399252B (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156841A (ja) * | 2005-12-05 | 2007-06-21 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2007251860A (ja) * | 2006-03-20 | 2007-09-27 | Ricoh Co Ltd | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 |
JP2009005273A (ja) * | 2007-06-25 | 2009-01-08 | Fujifilm Corp | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
JP2009124576A (ja) * | 2007-11-16 | 2009-06-04 | Seiko Epson Corp | 画像処理装置及びその制御方法 |
JP2011086190A (ja) * | 2009-10-16 | 2011-04-28 | 2Nd Design Inc | 画像加工方法及び印刷物 |
US8164613B2 (en) | 2005-05-12 | 2012-04-24 | Nec Corporation | Video communication system, terminal, and image converter |
KR101521441B1 (ko) * | 2011-11-30 | 2015-05-19 | 캐논 가부시끼가이샤 | 촬상장치, 촬상장치의 제어 방법, 및 기억매체 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006140594A (ja) * | 2004-11-10 | 2006-06-01 | Pentax Corp | デジタルカメラ |
JP5124102B2 (ja) * | 2006-05-16 | 2013-01-23 | Hoya株式会社 | 内視鏡プロセッサ、画像処理プログラム、および内視鏡システム |
JP5271631B2 (ja) * | 2008-08-07 | 2013-08-21 | Hoya株式会社 | 画像処理ユニット、撮像装置、合成画像作成プログラム |
JP5572954B2 (ja) * | 2009-01-26 | 2014-08-20 | 株式会社リコー | 撮像素子及び該撮像素子を備えた画像撮像装置 |
JP4748333B2 (ja) * | 2009-03-18 | 2011-08-17 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
US10602046B2 (en) | 2017-07-11 | 2020-03-24 | Htc Corporation | Mobile device and control method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5365277A (en) * | 1993-10-08 | 1994-11-15 | Genesis Microchip Inc. | Apparatus with reduction/magnification image size processing for producing low-pass filtered images |
US5621868A (en) * | 1994-04-15 | 1997-04-15 | Sony Corporation | Generating imitation custom artwork by simulating brush strokes and enhancing edges |
EP0705043B1 (en) * | 1994-09-30 | 2001-03-07 | STMicroelectronics S.r.l. | Device and method for filtering video images |
JP4159062B2 (ja) * | 1998-11-10 | 2008-10-01 | キヤノン株式会社 | 画像処理装置 |
SG75190A1 (en) * | 1998-12-14 | 2000-09-19 | Canon Kk | Image processing method and apparatus image processing system and storage medium |
JP4556276B2 (ja) * | 2000-03-23 | 2010-10-06 | ソニー株式会社 | 画像処理回路及び画像処理方法 |
US6873348B1 (en) * | 2002-01-29 | 2005-03-29 | Nisca Corporation | Printing method and printing system and printing apparatus |
US7274827B2 (en) * | 2002-09-12 | 2007-09-25 | Pentax Corporation | Filter process |
JP4217041B2 (ja) * | 2002-09-12 | 2009-01-28 | Hoya株式会社 | フィルタ処理 |
-
2003
- 2003-02-14 JP JP2003036128A patent/JP2004246644A/ja not_active Withdrawn
-
2004
- 2004-02-11 US US10/775,084 patent/US20040160519A1/en not_active Abandoned
- 2004-02-13 FR FR0401465A patent/FR2851393B1/fr not_active Expired - Fee Related
- 2004-02-13 DE DE102004007177A patent/DE102004007177A1/de not_active Withdrawn
- 2004-02-16 GB GB0403379A patent/GB2399252B/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8164613B2 (en) | 2005-05-12 | 2012-04-24 | Nec Corporation | Video communication system, terminal, and image converter |
JP5003488B2 (ja) * | 2005-05-12 | 2012-08-15 | 日本電気株式会社 | 映像コミュニケーションシステム、端末、および画像変換装置 |
JP2007156841A (ja) * | 2005-12-05 | 2007-06-21 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2007251860A (ja) * | 2006-03-20 | 2007-09-27 | Ricoh Co Ltd | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 |
JP2009005273A (ja) * | 2007-06-25 | 2009-01-08 | Fujifilm Corp | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
JP2009124576A (ja) * | 2007-11-16 | 2009-06-04 | Seiko Epson Corp | 画像処理装置及びその制御方法 |
JP2011086190A (ja) * | 2009-10-16 | 2011-04-28 | 2Nd Design Inc | 画像加工方法及び印刷物 |
KR101521441B1 (ko) * | 2011-11-30 | 2015-05-19 | 캐논 가부시끼가이샤 | 촬상장치, 촬상장치의 제어 방법, 및 기억매체 |
US9113059B2 (en) | 2011-11-30 | 2015-08-18 | Canon Kabushiki Kaisha | Image pickup apparatus and image region discrimination method |
Also Published As
Publication number | Publication date |
---|---|
US20040160519A1 (en) | 2004-08-19 |
FR2851393A1 (fr) | 2004-08-20 |
GB2399252A (en) | 2004-09-08 |
GB0403379D0 (en) | 2004-03-17 |
DE102004007177A1 (de) | 2004-08-26 |
FR2851393B1 (fr) | 2006-11-17 |
GB2399252B (en) | 2006-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
JP3948229B2 (ja) | 画像撮像装置及び方法 | |
US6812969B2 (en) | Digital camera | |
JP4720537B2 (ja) | 撮像装置 | |
JP2000228747A (ja) | 画像処理装置 | |
JP2001054013A (ja) | 撮像信号処理装置およびその処理方法 | |
JP4217041B2 (ja) | フィルタ処理 | |
JP2011018141A (ja) | 画像処理装置、及び画像処理プログラム | |
JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2006115444A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ | |
KR101005248B1 (ko) | 정보단말 | |
JP2004363853A (ja) | 画像信号のノイズ低減方法及びノイズ低減装置 | |
KR101003681B1 (ko) | 화소보간회로, 화소보간방법 및 기록매체 | |
KR101650050B1 (ko) | 화상 처리 장치, 방법, 및 프로그램 | |
JP2007180851A (ja) | Raw画像の階調変換装置、プログラム、方法、および電子カメラ | |
JP4272443B2 (ja) | 画像処理装置および画像処理方法 | |
KR101434897B1 (ko) | 화상 처리 장치, 및 화상 처리 장치의 제어 방법 | |
JP7296745B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006050042A (ja) | 画像処理装置 | |
JP2002288650A (ja) | 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体 | |
JP2004287794A (ja) | 画像処理装置 | |
JP2000013675A (ja) | デジタルカメラ | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
JP3951993B2 (ja) | 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法 | |
JP2007104267A (ja) | 色補正処理プログラムおよび電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060124 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090210 |