JP3777861B2 - 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 - Google Patents
画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3777861B2 JP3777861B2 JP08693499A JP8693499A JP3777861B2 JP 3777861 B2 JP3777861 B2 JP 3777861B2 JP 08693499 A JP08693499 A JP 08693499A JP 8693499 A JP8693499 A JP 8693499A JP 3777861 B2 JP3777861 B2 JP 3777861B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- filter
- row
- column
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000009499 grossing Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 47
- 239000003086 colorant Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 244000309466 calf Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Scanning Arrangements (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明はビデオカメラやディジタルスチルカメラなどの単板式撮像装置における画像処理方法に関するもので、特に色情報および輝度情報の補間処理に関する。
【0002】
【従来の技術】
固体撮像素子を用いたディジタルスチルカメラにおいて、単板式の撮像方式が多く用いられているが、撮像素子はひとつにつき単色の情報しか持たないため、撮像素子から入力されたデータを、近隣画素の情報を用いて補間する必要がある。
【0003】
この補間のための画像処理方法として、RGBの値を直接補間する平均法が知られており、この平均法を応用した例が特開平11−018047号公報に記載されている。
【0004】
以下、従来用いられている平均法について説明する。
【0005】
平均法では、欠落したRGB各素子の情報を、上下あるいは左右の画素情報を平均することで補間を行う。本発明が対象とする固体撮像装置が備えるカラーフィルターは、3色で構成され、単位面積あたり、ある色の数が残りの2色それぞれの数に対して2倍の数存在する特徴を持つものであり、特にベイヤー型配列のカラーフィルタは、RGの画素が並ぶ列とBGの画素が並ぶ列が交互に現れるものである。
【0006】
このようなカラーフィルタを持つ撮像素子において、RBの情報が欠落するGの画素を補間する場合は上下あるいは左右のRB情報を平均し、BGの情報が欠落するRの画素を補間する場合は斜め方向に隣接する4つのBと上下左右に隣接するGの画素を平均し、RGの情報が欠落するBの画素を補間する場合は斜め方向に隣接する4つのRと上下左右に隣接するGの画素を平均する。
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来の補間方法では、出力画像は輝度が急激に変化する境界部で色の誤差を伴うという問題点があり、その誤差を補間後に補正することは困難である。加えて、平均法ではエッジ部のピントがぼけるため、補間処理の後には鮮鋭化の処理が必須である。補間処理と鮮鋭化処理を独立に行う場合、2つの独立な処理部が存在する必要があり、さらに補間後の中間結果を保存する必要がある。
【0008】
この結果、二つの独立な処理部と中間結果を保存するための補助記録が必要となり、装置として実現した場合のコストが増大することになる。
【0009】
そこで本発明では、固体撮像装置が備えるカラーフィルターが、3色で構成され、単位面積あたり、ある色の数が残りの2色それぞれの数に対して2倍の数存在する特徴を持つ場合、特にベイヤー型配列を持つカラーフィルタを備える固体撮像素子から得られた画像を補間する手段において、輝度値成分と色差成分をあらかじめ分離し、メモリ使用量の低減を計り、また色ずれの回避を可能とし、全体として低コストで良好な出力画像を得ることができ、さらに補間位置による場合分けを伴わず、ハードウェア化の容易な補間方法及びこの補間方法を用いた画像処理装置並びにこの補間方法を記録した記録媒体を提供することを目的とする。
【0010】
前述した目的を達成するために、本発明の画像処理方法は、第1色、第2色及び第3色のフィルタセルを含み、前記第1色のフィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第1色、第2色及び第3色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する3行3列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第1の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、第2の列の第1の行から第3の行に対し2、4、2の割合で荷重を行ない、第3の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記3行3列のフィルタセルの第2行第2列目のフィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【0011】
また本発明の画像処理方法は、第1色、第2色及び第3色のフィルタセルを含み、前記第1色の前記フィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する5行5列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数fを用いて、第1の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、第2の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第3の列の第1の行から第5の行に対し−4f、18−12f、36−16f、18−12f、−4fの割合で荷重を行ない、第4の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第5の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記5行5列のフィルタセルの第3行第3列目のフィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【0012】
また本発明の画像処理方法は、前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに前記第1色、第2色及び第3色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴としている。
【0013】
また本発明の画像処理方法は、前記輝度値情報に変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む2行2列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴としている。
【0014】
また本発明の画像処理方法は、算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴としている。
【0015】
また本発明の画像処理装置は、第1色、第2色及び第3色のフィルタセルを含み、前記第1色のフィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第1色、第2色及び第3色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを用いて輝度値情報変換する工程とを含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する3行3列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、第1の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、第2の列の第1の行から第3の行に対し2、4、2の割合で荷重を行ない、第3の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記3行3列のフィルタセルの第2行第2列目のフィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【0016】
また本発明の画像処理装置は、第1色、第2色及び第3色のフィルタセルを含み、前記第1色の前記フィルタセルは市松状に配置され、前記第2色及び第3色の前記フィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記撮像素子により得られる出力データを用いて輝度値情報変換する工程を含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する5行5列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数fを用いて、第1の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、第2の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第3の列の第1の行から第5の行に対し−4f、18−12f、36−16f、18−12f、−4fの割合で荷重を行ない、第4の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第5の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記5行5列のフィルタセルの第3行第3列目の前記フィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【0017】
また本発明の画像処理装置は、前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに前記第1色、第2色及び第3色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴としている。
【0018】
また本発明の画像処理装置は、前記輝度値情報変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む2行2列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴としている。
【0019】
また本発明の画像処理装置は、算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴としている。
【0020】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、コンピュータに、第1色、第2色及び第3色のフィルタセルを含み、前記第1色の前記フィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第1色、第2色及び第3色の各フィルタセルで異なる輝度変換係数を乗算するステップと、前記撮像素子により得られる出力データを用いて輝度値情報変換するステップと、を実行させることを含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する3行3列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第1の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、第2の列の第1の行から第3の行に対し2、4、2の割合で荷重を行ない、第3の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記3行3列のフィルタセルの第2行第2列目のフィルタセルに対応する輝度値情報に置き換えることを実行するを特徴としている。
【0021】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、コンピュータに、第1色、第2色及び第3色のフィルタセルを含み、前記第1色のフィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを用いて輝度値情報に変換するステップと、を実行させることを含み、前記輝度値情報変換するステップでは、前記単板式カラーフィルタ内の隣接する5行5列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数fを用いて、第1の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、第2の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第3の列の第1の行から第5の行に対し−4f、18−12f、36−16f、18−12f、−4fの割合で荷重を行ない、第4の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第5の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記5行5列のフィルタセルの第3行第3列目のフィルタセルに対応する輝度値情報に置き換えることを実行させることを特徴としている。
【0022】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに前記第1色、第2色及び第3色のフィルタセルに応じた輝度変換係数を乗算するステップを実行させることを特徴としている。
【0023】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、前記輝度値情報変換するステップにおいて、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む2行2列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを実行させることを特徴としている。
【0024】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを実行させることを特徴としている。
【0025】
以上のように、本発明では、固体撮像装置が備えるカラーフィルターが、3色で構成され、単位面積あたり、ある色の数が残りの2色それぞれの数に対して2倍の数存在する特徴を持つ場合、特にRGRG、BGBGそれぞれの配列で構成される、ベイヤー型配列のカラーフィルターを持つ固体撮像素子から得られた輝度値を補間する方法において、適切なフィルタを用いることによって、補間対象のピクセルの位置やRGBの種類によって場合分けをする必要のない、荷重平均による補間処理を実現できる。このような補間処理は並列化し易く、デジタルスチルカメラなどの画像処理装置に実装した場合に短かい待ち時間で、良好な画質の出力画像を得ることができる。
【0026】
また、輝度値情報と色差情報を分離し、色差情報については輝度値情報と別の経路で補間することによって、従来の技術で問題となっていた輝度値が急激に変化する部分での色差のずれを、適切な補間方法を選択することによって回避できるという利点がある。
【0027】
さらに、輝度値の補間処理で必要となる平滑化と鮮鋭化の係数列処理を一括化することにより、中間結果を補間するための記録装置を省略することができる。このことは低コストで補間処理系を構成できることを示しており、ディジタルスチルカメラなどの組み込み用途においてはコスト削減に効果的である。
【0028】
【発明の実施の形態】
以下、本発明が行う画像補間処理方法の実施の形態を、添付図面を参照しながら説明する。
【0029】
なお、この実施の形態では固体撮像素子で撮影されたデータを補間し、最終的にRGBデータを出力する系について説明する。
【0030】
図1に示すように、本実施の形態に係る固体撮像素子処理系は、光学系や固体撮像素子を含む画像入力部10と画像入力部10から送られてきたRGB信号を輝度信号Yに変換する輝度変換部20、輝度信号Yに対して乗算処理を行う荷重平均処理部30、固体撮像素子10から送られてきたRGB信号をグループ化し、色差信号Cに変換する色差変換・補間処理部40、YCからRGBへ戻す処理を行うYC−>RGB処理部50から構成されている。
【0031】
画像入力部10で撮影されたRGB信号は処理過程で輝度信号Yと色差信号Cに分離され、それぞれの信号を補間するブロックにより独立に補間処理がおこなわれ、その二つの信号は最終的にRGB信号に復元されて表示系やメモリに出力される。
【0032】
画像入力部10は、図2に示したベイヤー配列の原色系カラーフィルタを備える。
【0033】
このフィルタはGのピクセル数がR、Bに比べて2倍あり、輝度情報をより多く得られる配列となっている。一般的にGのピクセル数がR、Bに比べて2倍あるフィルタがよく使われている。本実施例では原色系ベイヤー配列のカラーフィルタを用いているが、本発明の画像補間処理方法は、カラーフィルタの特性に合わせて適宜輝度変換部20と色差変換・補間処理部40の動作を変更することにより、補色系カラーフィルタや、非ベイヤー配列のフィルタを使用した固体撮像素子から得られたデータにも適用できる。
【0034】
画像入力部10から出力されたRGBデータは2つに分岐して輝度変換部20と色差変換・補間処理部40に入力される。2つに別れたRGBデータの一方の経路である輝度変換部20では各画素の入力データに対してRGBそれぞれの場合に対応した輝度変換係数がかけられ、輝度値画像に変換されて荷重平均処理部30に入力される。
【0035】
なお、輝度値はRGBすべての情報がそろっている場合に計算できるものであり、固体撮像素子の物理的制限で、各ピクセルは単色の情報しか持たないため、輝度変換係数をかけたものは、厳密には輝度値と呼べない。
【0036】
本来は、補間処理によって得られる画像が真の輝度値を表しているが、ここでは輝度値変換係数をかけ変換を行った情報と補間後の情報を共に輝度値と呼ぶことにする。
【0037】
ところで、ここで示した輝度変換係数は、たとえばNTSCのRGB3刺激値に対しては、それぞれR:0.2988、G:0.5868、B:0.1144の値が用いられる。
【0038】
この輝度変換部20ではRGBすべての情報を輝度値に変換しているが、たとえばGの色を持つフィルタを通過した光の感度曲線が輝度値特性と似ているという理由から、Gの情報だけを抽出して輝度値の補間を行う方法を用いてもよい。しかし、R、Bの輝度値情報も含めて補間を行ったほうが情報量が増えるため、出力結果の輪郭など細かい部分の再現性がよい。
【0039】
また、荷重平均処理部30では入力された輝度値画像から3×3の要素を抽出し、それらの値に上段から順に(1、2、1)(2、4、2)(1、2、1)の比で構成される荷重をそれぞれかけ、それらの和を3×3の要素の中心に対応する位置の出力とする処理を行う。なお、ここで行う処理は、対応する位置にあるデータに、前記の荷重をかけた結果を得ることが目的であり、同じ結果が得られる限り、演算の順番を変えたり演算を一括化するなど、これに相当する処理を用いてもよい。具体的には異なる要素にかけられる係数の値が同じ場合に、異なる要素をあらかじめ足しておいて乗算回数を減らした処理や、各要素に(1、2、1)(2、4、2)(1、2、1)の値をかけたものをそれぞれの位置に対応する出力バッファに加算していく処理などが考えられる。
【0040】
ところで、荷重平均処理部30において用いる荷重は、あらかじめRBから得られる輝度値データに係数2.0をかけておくことで、補間対象ピクセルのRGBの種類、位置によらずに等価な補間結果が得られるという特徴を持っている。
【0041】
このように補間方法が補間対象ピクセルのRGBの種類、位置に依存しないことでハードウェアによる並列化が容易となり、良好な画質の出力画像を短時間に得ることができるという利点がある。
【0042】
さらにこの荷重平均処理部30で用いる係数列に、平滑化フィルタと鮮鋭化フィルタを組み合わせた効果を持たせることで、二つのフィルタを独立に適用した場合よりも少ないメモリ量で、良好な画質の輝度値画像を得ることができる。
【0043】
具体的には第1行に1、2、1、第2行に2、4、2、第3行に1、2、1という比の要素で構成される3×3平滑化フィルタに加え、鮮鋭化の度合いを示す係数fを要素に含み、第1行に−f、−f、−f、第2行に−f、9−f、−f、第3行に−f、−f、−fという比の要素で構成される鮮鋭化フィルタの効果を組み合わせ、
第1行は−f、−3f、−4f、−3f、−f、
第2行は−3f、9−9f、18−12f、9−9f、−3f、
第3行は−4f、18−12f、36−16f、18−12f、−4f、
第4行は−3f、9−9f、18−12f、9−9f、−3f、
第5行は−f、−3f、−4f、−3f、−f
の比の要素で構成される係数列を用いて、実現される。
【0044】
この平滑化、鮮鋭化を一括化した処理についても、入力された輝度値画像から5x5の要素を抽出し、それらの値に上段から順に前記の係数列の値をそれぞれかけ、それらの和を5x5の要素の中心に対応する位置の出力とする処理を行う。なお、5x5の場合でも、対応する位置にあるデータに、前記の係数列をかけた結果を得ることがこの処理の目的であり、実装では同じ結果が得られる限り、演算の順番を変えたり、演算を一括化するなど、これに相当する処理を用いてもよい。
【0045】
具体的には異なる要素にかけられる係数の値が同じ場合に、異なる要素をあらかじめ足しておいて乗算回数を減らした処理や、各要素に前記係数列の値をかけたものをそれぞれの位置に対応する出力バッファに加算していく処理などが考えられる。
【0046】
例として鮮鋭化係数f=0.75 の場合の平滑化・鮮鋭化の効果がある荷重配列を図3に示す。
【0047】
この5x5の係数列を用いた場合の荷重平均処理部30での処理は一つのピクセルにつき、4回の掛け算、および25回のメモリに対する加算が必要である。
【0048】
一方、平滑化処理と鮮鋭化処理を一括化しない場合には、一つのピクセルにつき、4回の掛け算、および18回のメモリに対する加算が必要である。
【0049】
処理量を比べると独立して処理した場合のほうが一括化した場合よりも少ないが、平滑化と鮮鋭化それぞれについて荷重平均処理部が必要であるということと、データの受け渡しのために中間結果を保存するメモリが必要となることの二つの問題があるため、この二つの処理は一括化したほうがコスト的に有利である。
【0050】
また、分岐したもう一方のRGBデータが入力される色差変換・補間処理部40では、
固体撮像素子がベイヤー型のカラーフィルタを備えている場合、入力されたRGBデータを図4に示すように対象ピクセル近傍のRGBの配置によって4パターンに場合分けしてRGBの情報を持つ一つのグループとして扱い、
R=R1、G=(G1+G2)/2、B=B1
これらの式から求められるRGBから色差情報を計算し、その値をRGBへの再計算に用いている。
【0051】
輝度をY、色差を U、V とした場合の色差情報は、
【0052】
から求められる。
【0053】
この色差変換・補間処理部40で行うRGBからYUVへの変換処理は、RGB値に対する3×3行列演算によって表現することができる。
【0054】
なお、この色差情報を直接RGBデータへの再計算に用いず、図5に示すような13グループの平均として計算した結果を用いてもよい。このように13グループの平均値を使用することにより、従来の技術の問題点であった色ずれを減少させることができる。
【0055】
さらに、その他適切な色差情報補間方法を選択し、上記輝度値補間方法と組み合わせてRGBデータを再計算する方法を用いてもよい。
【0056】
すなわち、固体撮像素子がベイヤー型配列ではない原色系カラーフィルタを用いている場合や、ベイヤー型配列の原色系カラーフィルタを用いている場合でも、それらのデータに対して適切な補間方法を利用して、上記輝度値補間方法によって得られた輝度値データと併せて、RGBデータへの再計算を行ってもよい。
【0057】
そして、YC−>RGB処理部50では荷重平均処理部30から入力される輝度値データと色差変換・補間処理部40から入力される色差データからRGBデータを再計算し、カラー画像データを出力する。
【0058】
また、ここで行うYUVからRGBへの変換もRGBからYUVへの変換と同様に3×3行列演算で表現することができる。
【0059】
従来の技術では、画像入力部10から出力されるRGBデータを直接補間処理してRGBデータを出力していたため、輪郭付近で色ずれが発生し、画質の面で劣っていたが、
本発明で説明する方法および装置では、輝度情報と色差情報を分離して補間を行っているため、良好な出力画像を得ることが可能である。
【0060】
さらに、このシステムは単純な行列フィルタによる輝度値補間処理と単純な場合分けによる色差情報の補間処理を使用しているため、処理の並列化が容易であり、
高画質の出力が得られるリアルタイム撮像装置などへの応用が可能である。
【0061】
次に、この処理系をディジタルスチルカメラ装置として実現した場合の実施の形態を
図6を用いて説明する。
【0062】
ここで示したディジタルスチルカメラ装置は、光学系デバイスを含む固体撮像素子110と固体撮像素子110を制御し、データをその後の処理部に渡す役割を持つ固体撮像素子制御手段120、取得した画像データを一時記憶(あるいは記録)する画像データ記憶(あるいは記録)手段130、画像データの補間処理を行う補間処理部140、表示系に送り出すためのデータを記憶(あるいは記録)する表示メモリ150、画像データの表示を行う表示手段160から構成されている。
【0063】
以下に、この装置が画像を撮影して表示装置に画像が表示されるまでの処理の流れを示す。
【0064】
固体撮像素子110によって制御された固体撮像素子が画像を撮影し、そのデータは固体撮像素子110を経由し、画像データ記憶(あるいは記録)手段130に一時記録される。このデータは一つの画素につき1色の情報しかもたないため、近隣ピクセルの情報を用いた補間処理を行う補間処理部140に読みこまれ、補間処理が行われる。
【0065】
この補間処理結果は表示メモリに送られ、その情報は表示手段160によって読みだされ、カラー画像として表示される。
【0066】
この図6には本発明を説明するに必要な構成要素のみしか含まれていないが、たとえばデジタルビデオカメラのような情報記録機器であれば、それに必要なさまざまな要素が設けられることは勿論である。
【0067】
図6での固体撮像素子110と固体撮像素子制御手段120が実際に行う処理は、図2での画像入力部10が行う処理に対応する。
【0068】
なお、一般的にはCCDやCMOSデバイスが固体撮像素子として用いられているが、その他の入力デバイスを固体撮像素子として用いてもよい。
【0069】
画像データ記憶(あるいは記録)手段130は、撮影後の一時記憶(あるいは記録)として用いるものとするが、
この画像データ記憶(あるいは記録)手段130を中間処理結果記憶(あるいは記録)手段として兼ねる実装方法をとってもよい。つまり、画像処理中の中間処理結果記憶(あるいは記録)手段を補間処理部に持つ実装方法を使用したほうが、より高速な処理が行えると考えられるが、速度とコストとのトレードオフになると考えられる。
【0070】
補間処理部140は、本発明の方法の特徴である、単純な補間処理の並列化を実現するため、可能な限りハードウェア化し、高速な処理が行えるものとするべきであるが、
補間処理部140内部の処理部を汎用CPUに置き換え、補間処理プログラムを別の記憶(あるいは記録)装置に蓄えたディジタルスチルカメラの実装も考えられる。
【0071】
なお、図6では補間処理部で出力されたデータは表示メモリ150へと出力されているが、実際のディジタルスチルカメラでは、この間に白色に見える色の調整するホワイトバランス調整をする処理が入る実装も考えられる。
【0072】
表示メモリ150は補間処理部140から出力されたカラー画像データを一時記憶(あるいは記録)し、カラー画像表示を行う表示手段160へ出力するものである。
【0073】
この図6で示したような装置は、従来の技術を補間処理部に用いた装置よりも低コストで製造でき、さらに並列化をすすめることによって高速に処理を行うことができ、かつ良好な画質を持つ出力画像が得られる特徴がある。
【0074】
また、以上説明した本発明の画像補間処理を行う処理プログラムは、フロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができ、本発明はその記録媒体をも含むものである。また、ネットワークから処理プログラムを得るようにしてもよい。
【0075】
【発明の効果】
以上説明したように本発明によれば、補間対象のピクセルの位置やRGBの種類によって場合分けをする必要のない補間処理を実現でき、このような補間処理はハードウェア化、並列化し易く、短い処理時間で良好な画質の出力画像を得ることができる。
【0076】
また、色差情報と輝度値情報とを別の経路で補間することによって、輝度値が急激に変化する部分での色差のずれを回避できるという利点がある。
【0077】
さらに、平滑化と鮮鋭化の係数列処理を一括化することにより、中間結果保存のための記録装置を省略することができるので、低コストで補間処理系を構成することが可能となる。
【図面の簡単な説明】
【図1】 画像処理系全体のブロック図。
【図2】 ベイヤー配列のカラーフィルタの説明図。
【図3】 輝度値補間・鮮鋭化処理用荷重配列の説明図。
【図4】 色差情報を計算する時に行うグループ化の説明図。
【図5】 色差情報の平均範囲についての説明図。
【図6】 ディジタルスチルカメラのブロック図。
【符号の説明】
10 画像入力部
20 輝度変換部
30 荷重平均処理部
40 色差変換・補間処理部
50 YC−>RGB処理部
110 固体撮像素子
120 固体撮像素子制御手段
130 画像データ記録手段
140 補間処理部
150 表示メモリ
160 表示手段
Claims (15)
- 第1色、第2色及び第3色のフィルタセルを含み、前記第1色のフィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第1色、第2色及び第3色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する3行3列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第1の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、第2の列の第1の行から第3の行に対し2、4、2の割合で荷重を行ない、第3の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記3行3列のフィルタセルの第2行第2列目のフィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理方法。
- 第1色、第2色及び第3色のフィルタセルを含み、前記第1色の前記フィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する5行5列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数fを用いて、第1の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、第2の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第3の列の第1の行から第5の行に対し−4f、18−12f、36−16f、18−12f、−4fの割合で荷重を行ない、第4の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第5の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記5行5列のフィルタセルの第3行第3列目のフィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理方法。
- 前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに前記第1色、第2色及び第3色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴とする請求項2に記載の画像処理方法。
- 前記輝度値情報に変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む2行2列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴とする請求項1ないし請求項3のいずれかに記載の画像処理方法。
- 算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴とする請求項4に記載の画像処理方法。
- 第1色、第2色及び第3色のフィルタセルを含み、前記第1色のフィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第1色、第2色及び第3色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを用いて輝度値情報変換する工程とを含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する3行3列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、第1の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、第2の列の第1の行から第3の行に対し2、4、2の割合で荷重を行ない、第3の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記3行3列のフィルタセルの第2行第2列目のフィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理装置。
- 第1色、第2色及び第3色のフィルタセルを含み、前記第1色の前記フィルタセルは市松状に配置され、前記第2色及び第3色の前記フィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記撮像素子により得られる出力データを用いて輝度値情報変換する工程を含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する5行5列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数fを用いて、第1の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、第2の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第3の列の第1の行から第5の行に対し−4f、18−12f、36−16f、18−12f、−4fの割合で荷重を行ない、第4の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第5の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記5行5列のフィルタセルの第3行第3列目の前記フィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理装置。
- 前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに前記第1色、第2色及び第3色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴とする請求項7に記載の画像処理装置。
- 前記輝度値情報変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む2行2列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴とする請求項6ないし請求項8のいずれかに記載の画像処理装置。
- 算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴とする請求項9に記載の画像処理装置。
- コンピュータに、第1色、第2色及び第3色のフィルタセルを含み、前記第1色の前記フィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第1色、第2色及び第3色の各フィルタセルで異なる輝度変換係数を乗算するステップと、前記撮像素子により得られる出力データを用いて輝度値情報変換するステップと、を実行させることを含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する3行3列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第1の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、第2の列の第1の行から第3の行に対し2、4、2の割合で荷重を行ない、第3の列の第1の行から第3の行に対し1、2、1の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記3行3列のフィルタセルの第2行第2列目のフィルタセルに対応する輝度値情報に置き換えることを実行するを特徴とする画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
- コンピュータに、第1色、第2色及び第3色のフィルタセルを含み、前記第1色のフィルタセルは市松状に配置され、前記第2色及び第3色のフィルタセルのそれぞれ同数ずつを前記第1色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを用いて輝度値情報に変換するステップと、を実行させることを含み、前記輝度値情報変換するステップでは、前記単板式カラーフィルタ内の隣接する5行5列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数fを用いて、第1の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、第2の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第3の列の第1の行から第5の行に対し−4f、18−12f、36−16f、18−12f、−4fの割合で荷重を行ない、第4の列の第1の行から第5の行に対し−3f、9−9f、18−12f、9−9f、−3fの割合で荷重を行ない、第5の列の第1の行から第5の行に対し−f、−3f、−4f、−3f、−fの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記5行5列のフィルタセルの第3行第3列目のフィルタセルに対応する輝度値情報に置き換えることを実行させることを特徴とする画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
- 前記第1色、第2色及び第3色の各フィルタセルに対応する前記撮像素子の各出力データに前記第1色、第2色及び第3色のフィルタセルに応じた輝度変換係数を乗算するステップを実行させることを特徴とする請求項12に記載の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
- 前記輝度値情報変換するステップにおいて、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む2行2列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを実行させることを特徴とする請求項11ないし請求項13に記載の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
- 算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを実行させることを特徴とする請求項14に記載の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08693499A JP3777861B2 (ja) | 1999-03-29 | 1999-03-29 | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08693499A JP3777861B2 (ja) | 1999-03-29 | 1999-03-29 | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000287219A JP2000287219A (ja) | 2000-10-13 |
JP3777861B2 true JP3777861B2 (ja) | 2006-05-24 |
Family
ID=13900708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08693499A Expired - Fee Related JP3777861B2 (ja) | 1999-03-29 | 1999-03-29 | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3777861B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3719590B2 (ja) | 2001-05-24 | 2005-11-24 | 松下電器産業株式会社 | 表示方法及び表示装置ならびに画像処理方法 |
JP2004241991A (ja) | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
JP2006011618A (ja) * | 2004-06-23 | 2006-01-12 | Noritsu Koki Co Ltd | 写真画像処理方法及びその装置 |
KR100647402B1 (ko) * | 2005-11-01 | 2006-11-23 | 매그나칩 반도체 유한회사 | 이미지 센서의 화질개선장치 및 그 방법 |
DE102005058415A1 (de) * | 2005-12-07 | 2007-06-14 | Olympus Soft Imaging Solutions Gmbh | Verfahren zur Farbkorrekturberechnung |
JP5102115B2 (ja) | 2008-06-05 | 2012-12-19 | キヤノン株式会社 | 撮像装置、及び撮像システム |
-
1999
- 1999-03-29 JP JP08693499A patent/JP3777861B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000287219A (ja) | 2000-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9160935B2 (en) | Sensor arrangement for transforming color space representation in a digital color image | |
US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
JP5872407B2 (ja) | カラー撮像装置及び画像処理方法 | |
JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
US7948543B2 (en) | Imaging apparatus provided with image scaling function and image data thinning-out readout function | |
US7995868B2 (en) | Image processing method and image processing device | |
JP4803156B2 (ja) | 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム | |
WO2008001629A1 (fr) | dispositif de traitement d'image, programme de traitement d'image et procédé de traitement d'image | |
TW200816805A (en) | Solid-state image sensor | |
US6809765B1 (en) | Demosaicing for digital imaging device using perceptually uniform color space | |
JP3991011B2 (ja) | 画像信号処理装置 | |
JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
JP3777861B2 (ja) | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 | |
JP3902525B2 (ja) | 画像信号処理装置 | |
JP4302391B2 (ja) | 画素補間装置及び画素補間方法並びにデジタルカメラ | |
JP3647052B2 (ja) | 撮像装置 | |
JP6976789B2 (ja) | 撮像装置及び撮像方法 | |
JP2006262382A (ja) | 画像処理装置 | |
JP2010028374A (ja) | 画像処理装置および画像信号の補間処理方法、画像処理プログラム | |
JP3660504B2 (ja) | カラー固体撮像装置 | |
JP2004173060A (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
JP3657826B2 (ja) | 画素補間方法 | |
JP4677582B2 (ja) | 画像処理装置 | |
US8743237B2 (en) | Imaging device, signal processing method, and program | |
JP5572992B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090310 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140310 Year of fee payment: 8 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |