JP4243081B2 - 画像データ処理装置、及び画像データ処理方法 - Google Patents
画像データ処理装置、及び画像データ処理方法 Download PDFInfo
- Publication number
- JP4243081B2 JP4243081B2 JP2002259648A JP2002259648A JP4243081B2 JP 4243081 B2 JP4243081 B2 JP 4243081B2 JP 2002259648 A JP2002259648 A JP 2002259648A JP 2002259648 A JP2002259648 A JP 2002259648A JP 4243081 B2 JP4243081 B2 JP 4243081B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pixel
- image data
- circuit
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通常の画像に対して変換処理を行い、特殊効果が施された画像を得るための画像データ処理装置、及び画像データ処理方法に関する。
【０００２】
【従来の技術】
図８は、従来の撮像装置の概略構成を示すブロック構成図である。ここに示す撮像装置は、ＣＣＤイメージセンサ（固体撮像素子）１、ＣＣＤドライバ回路２、タイミング制御回路３、アナログ信号処理回路４、Ａ／Ｄ変換回路５及びデジタル信号処理回路６から構成される。
【０００３】
固体撮像素子１は、行列配置される複数の受光画素を有する受光領域を備えており、この受光面に入射される光を各受光画素で受けて光電変換によって情報電荷を発生する。固体撮像素子１では、この情報電荷を蓄積期間で各受光画素に蓄積し、その後、複数のシフトレジスタを介して順次転送する。そして、転送経路の最終段に設けられる出力部によって電圧値に変換し、画像信号Ｙ０(ｔ）として出力する。
【０００４】
ＣＣＤドライバ回路２は、後述するタイミング制御回路３から供給される垂直同期信号ＶＴ及び水平同期信号ＨＴに同期する複数のクロックパルスを生成する。そして、生成した複数のクロックパルスを固体撮像素子１に供給し、固体撮像素子１を駆動して複数の受光画素に蓄積された情報電荷を順次転送させる。
【０００５】
タイミング制御回路３は、基準クロックＣＫをカウントして垂直同期信号ＶＴ及び水平同期信号ＨＴを生成し、固体撮像素子１の垂直走査及び水平走査の期間を決定する。例えば、ＮＴＳＣ方式に従う場合、信号処理の過程で用いられる色副搬送波の周波数３．５８ＭＨｚの４倍の周波数の基準クロックＣＫを１／９１０に分周して水平同期信号ＨＴを生成する。更に、この水平同期信号ＨＴを２／５２５に分周して垂直同期信号ＶＴを生成する。
【０００６】
アナログ信号処理回路４は、固体撮像素子１から出力される画像信号Ｙ０(ｔ）に対してＣＤＳ(Correlatec Double Sampling：相関二重サンプリング)やＡＧＣ(Automatic Gain Control：自動利得制御)等のアナログ信号処理を施して画像信号Ｙ１(ｔ)を生成する。Ａ／Ｄ変換回路５は、固体撮像素子１の動作タイミングに同期して画像信号Ｙ１(ｔ)を規格化し、デジタル信号に変換して画像データＹ０(ｎ)として出力する。
【０００７】
デジタル信号処理回路６は、Ａ／Ｄ変換回路５から出力される画像データＹ０(ｎ)に対して色分離及びマトリクス演算等のデジタル信号処理を施し、輝度データ及び色差データを含む画像データＹ１(ｎ)を生成する。
【０００８】
このデジタル信号処理回路６から出力される画像データＹ１(ｎ)は、半導体メモリや磁気ディスク等の記憶媒体に格納されると共に、ＬＣＤパネル等の表示デバイスを駆動する駆動装置に供給される。
【０００９】
【発明が解決しようとする課題】
上述したような撮像装置では、例えば、画像データの各画素データを閾値で判別して二値化された画像としたり、または、配列する画素データを横方向又は縦方向に微分処理を行い、その微分値に応じて表示させることで輪郭抽出された画像とする処理などが行われている。この他にも様々な信号処理が提案され、多種多様な再生画像を得ることが考えられている。
【００１０】
【課題を解決するための手段】
本発明に係る画像データ処理装置は、規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理装置において、処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを格納するメモリ回路と、前記画素データの輝度分布のヒストグラムを生成するヒストグラム回路と、前記注目画素の画素データを前記ヒストグラムの最頻値の画素数に応じて決定される値に置換して出力するデータ処理回路と、を備え、前記データ処理回路の出力を前記第２の画像データとするものである。
【００１１】
このような処理を行うことにより、処理前の規格化された画像は、画像の明るさの変化が小さい領域にて輝度値が高く、一方、明るさの変化が大きい領域にて輝度値が低い画像に変換される。このため、明るさの変化が大きい領域が強調された画像を得ることができる。
【００１２】
また、本発明に係る画像データ処理装置は、前記メモリ回路に格納された前記画素データの所定ビットを抽出する抽出回路を更に備え、前記ヒストグラム回路は、前記抽出回路で抽出された前記画素データの所定ビットを取り込んで前記ヒストグラムを生成することが好ましい。これにより処理される画素データのデータサイズが小さくなり、ヒストグラム処理などの処理を簡略化することができる。
【００１３】
また、本発明に係る画像データ処理装置は、前記データ処理回路の出力に所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせする桁合わせ回路を、更に備えることが好ましい。
【００１４】
また、本発明に係る画像データ処理装置は、前記第２の画像データを取り込んで色データを生成する色データ生成回路と、前記色データに対して所定のゲインを与える色ゲイン回路と、を更に備え、前記色ゲイン回路は、前記注目画素の色データに対するゲイン量をゼロとすることが好ましい。
【００１５】
本発明に係る画像データ処理方法は、規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理方法において、処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを取得する第１のステップと、前記画素データの輝度分布のヒストグラムを生成する第２のステップと、前記注目画素の画素データに前記ヒストグラムの最頻値の画素数に応じて決定される値に置換する第３のステップと、を有し、前記第３のステップで置換された前記注目画素の画素データを前記第２の画像データとするものである。
【００１６】
また、本発明に係る画像データ処理方法は、前記第１のステップと前記第２のステップとの間に、前記画素データの所定ビットを抽出するステップを更に有し、前記第２のステップは、抽出された前記画素データの所定ビットに基づいて前記ヒストグラムを生成することが好ましい。
【００１７】
また、本発明に係る画像データ処理方法は、前記第３のステップの後に、前記置換された前記注目画素の画素データに所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせするステップを更に有することが好ましい。
【００１８】
また、本発明に係る画像データ処理方法は、前記第３のステップの後に、前記第２の画像データに基づいて輝度データ及び色データを生成するステップを更に有し、前記輝度データ及び色データを生成するステップのうちの前記色データを生成する際には、前記注目画素の色データに対するゲイン量をゼロとすることが好ましい。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態に係る画像処理装置について説明する。
【００２０】
図１に、本実施形態の画像処理装置の概略構成を示すブロック図を示す。
【００２１】
画像処理装置は、大別して、風景などを撮像するＣＣＤイメージセンサから送られてきた画像データを規格化してアナログ信号からデジタル信号に変換するＡ／Ｄ変換回路１０と、画像データをデッサン画のような表示形式に変換処理するデッサン処理回路２０と、Ａ／Ｄ変換回路１０から直接入力される信号と、デッサン処理回路２０を介して入力される信号のいずれか一方を選択的に出力するセレクタ２２と、セレクタ２２が出力する信号に基づき輝度信号を生成する輝度信号生成回路２４と、色信号を生成する色信号生成回路２６と、を含み構成されている。
【００２２】
この画像処理装置が行う一連の処理について詳しく説明する。
【００２３】
まず、Ａ／Ｄ変換回路１０には、ＣＣＤイメージセンサが出力した画像信号が入力される。ここでＣＣＤイメージセンサとは、図２に示されるように、モザイク型のカラーフィルタが装着され、ＣＣＤイメージセンサの受光画素に各色成分が規則的に割り当てられている。画像信号は、これらの複数画素により生成される複数の画素信号が含まれたアナログ信号となっている。この画像信号がＡ／Ｄ変換回路１０に入力されるときには、下側の水平ラインの画素から順次、入力される。Ａ／Ｄ変換回路１０は、画像信号をアナログの信号からデジタルの信号に変換して画像データを生成する処理を行い、セレクタ２２及びメモリ回路１２に向けて出力する。
【００２４】
Ａ／Ｄ変換回路１０から出力された画像データは、セレクタ２２及びデッサン処理回路２０に入力される。このうち、デッサン処理回路２０に入力された画像データは、デッサン処理回路２０内で処理され、セレクタ２２に入力される。ここでセレクタ２２は、通常の画像撮影時には、Ａ／Ｄ変換回路１０からセレクタ２２に直接入力される画像データを輝度信号生成回路２４及び色信号生成回路２６に対して出力する。また、ユーザが通常の画像をデッサン画のような表示形式に変換することを望む時には、ユーザの操作により、デッサンモード選択信号がセレクタ２２に入力される。そして、デッサン処理回路２０を介して入力されるデータを輝度信号生成回路２４及び色信号生成回路２６に対して出力する。
【００２５】
図３は、データ変換の処理を説明するフローチャートである。以下、図３に従ってデッサン処理回路２０が行うデータ変換処理を説明する。
【００２６】
先ず、ステップＳ１においてアナログ信号処理回路（図示せず）から出力されるアナログ画像信号をＡ／Ｄ変換回路１０で規格化し、デジタル信号である第１の画像データを生成する。この第１の画像データには、注目画素の画素データ及び注目画素に隣接する複数の周辺画素データが含まれる。
次に、ステップＳ２において、メモリ回路１２が、Ａ／Ｄ変換回路１０から画素データが入力される毎に順次、処理対象となる注目画素及び注目画素と同一の色成に対応付けられた複数の周辺画素の画素データを格納する。一例を挙げて説明すると、図２において、（列３，行ｂ）の画素データが入力されると、隣接するグリーンＧのカラーフィルタが施されている６つの画素（列３，行ｂ），（列５，行ｂ），（列７，行ｂ），（列３，行ｄ），（列５，行ｄ），（列７，行ｄ）の画素データを格納する。これら６つの画素のうち、中央下側の画素（列５，行ｄ）が、６つの画素データのほぼ中央に位置しており、注目画素となっている。また、画素（列３，行ｂ）に続く画素（列２，行ｂ）の画素データが入力された場合には、隣接するブルーＢのカラーフィルタが施されている６つの画素（列２，行ｂ），（列４，行ｂ），（列６，行ｂ），（列２，行ｄ），（列４，行ｄ），（列６，行ｄ）の画素データを格納する。このような処理を繰り返すことにより、順次、注目画素に隣接する複数の周辺画素を格納する。
【００２７】
次に、ステップＳ３において、上位ビット抽出回路１４が、メモリ回路１２に格納された画素データを取り込んで各画素データから上位側の４ビットのデータのみを取り出し、この４ビットの画素データをヒストグラム回路１６に出力する。例えば、画素データが「１１０１００１０」であれば、このうち上位側の「１１０１」を取り出す。このように画素データの上位ビットを抽出し、ビット数を減らすことにより、８ビットで表現される２５６階調が４ビットの１６階調へ変換される。この結果、後のデータ処理量を簡略化することができ、処理回路の簡略化や、処理速度の向上が達成できる。なお、このステップＳ３の処理で取り出される画素データの上位ビット数は、４ビットに限らず、それ以上又はそれ以下のビット数でもよい。
【００２８】
次に、ステップＳ４において、ヒストグラム回路１６が、入力された６つの４ビットデータに対して、図４に示すような輝度分布のヒストグラムを生成する。尚、図４においては、図２に示すようなＧの色成分に対応する６つの画素の画素データを対象としたものであり、（列５，行ｄ）を注目画素Ｐ０とすると共に、（列３，行ｂ）、（列５，行ｂ）、（列７，行ｂ）、（列３，行ｄ）、（列７，行ｄ）を周辺画素Ｐ１〜Ｐ５としたものである。
【００２９】
次に、ステップＳ５において、データ処理回路１７が、注目画素Ｐ０の画素データＰ０(d)をヒストグラムの最頻値の画素数に置換する。詳しくは、画素データのうちの同一輝度レベルを有する画素数を計数し、この画素数のうちの最大値を、新たな注目画素Ｐ０の画素データＰ０'(d)として出力する。例えば、図４に示すように、１６階調に変換された６つの画素Ｐ０〜Ｐ５の画像データＰ０(d)〜Ｐ５(d)の信号レベルが、それぞれ１４、１３、１３、１１、１２、１３である場合、同一レベルを有する画素の個数は、１１を有する画素が１つ、１２を有する画素が１つ、１３を有する画素が３つ、１４を有する画素が１つとなる。ステップＳ５では、同一レベルを有する画素の個数を参照し、画素の個数のうち最大値３を注目画素Ｐ０の画素データＰ０'(d)として出力する。なお、このとき、判別する領域は６画素のみであるため出力される値は１〜６である。したがって、出力されるデータは、００１から１１０までの３ビットデータのそれぞれに対応付けられて出力される。
【００３０】
次に、ステップＳ６において、桁合わせ回路１８が、画素データＰ０'(d)を輝度生成回路及び色信号生成回路に出力するのに適したビット数に変換する。桁合わせ回路１８のブロック図を図５に示す。本実施形態では、ヒストグラム回路から出力されるのは３ビットのデータであるため、桁追加部４０にて乗数２5を乗算して、３ビットデータの下位側に５ビットの０を追加する処理を行い、輝度信号生成回路２４などに出力するのに適した８ビットのデータに変換する。
【００３１】
また、画素データＰ０'(d)の３ビットデータの値は、上述したように００１〜１１０で表される。これに対応して、桁追加部４０の出力「００１０００００」〜「１１００００００」である。輝度調整部４２は、この桁追加部４０から出力された８ビットデータに「１１１１１」を足す処理を行う。これにより、桁合わせ回路１８から出力される８ビットデータの最大値は、「１１０１１１１１」となり、８ビットを有効に用いて、より高輝度で表示可能となり、鮮明な画像表示が実現される。このステップＳ６の処理が完了することにより、デッサン処理回路２０の処理が終了する。
【００３２】
デッサン処理回路２０でのデータ変換処理が終了した後は、デッサン処理回路２０から画素データＰ０'(d)がセレクタ２２に出力され、セレクタ２２で通常の画素データとデータ変換処理後のデータとが選択される。例えば、ユーザによりデッサンモードが選択され、デッサンモード選択信号がセレクタ２２に入力されているときには、桁合わせ回路１８から入力される８ビットに変換された画素データＰ０'(d)を、輝度信号生成回路２４及び色信号生成回路２６に出力する。なお、このユーザによるデッサンモードの選択は、次のようにして可能となる。例えば、画像処理装置がデジタルカメラの一部として構成されている場合には、デジタルカメラの外部表面に押しボタンを設け、この押しボタンをユーザが押すことにより、デッサンモードが選択され、デッサンモード選択信号がセレクタ２２に入力されるように設定すればよい。
【００３３】
次に、輝度信号生成回路２４は、通常の画像データに対して行うのと同じ処理を、入力された画素データＰ０'(d)に対して行い、輝度データを生成して表示装置（不図示）に向けて出力する。このとき同時に、色信号生成回路２６は色データを生成するが、生成された色データは、色信号生成回路２６の後段に配置される増幅回路２８でゲイン値が０とされて、値が０とされる。なお、増幅回路２８はデッサンモード選択信号が入力されたときのみ、ゲイン量を０とする。
【００３４】
以上で説明した処理が、本実施形態に係る画像処理装置が行う処理である。この処理を行った画像の例を、図６，図７に示す。図６はデッサン処理回路２０による処理を行わないときの画像であり、図７はデッサン処理回路２０による処理を行ったときの画像である。このように、デッサン処理回路２０によるデータ変換処理を行うことにより、同じ明るさの領域では輝度値が高く白色が出力され、明るさが変化する領域では輝度値が低く黒が出力される。このため、通常の撮像画像から、明るさの変化する領域が強調されたデッサン画のような画像を得ることができる効果がある。
【００３５】
なお、上述の実施形態では、ＣＣＤイメージセンサから取り込んだ画像データを対象としてデッサン処理を行ったが、別の実施形態では、メモリなどに保存された画像データに対してデッサン処理を行ってもよい。また、上述したデッサン処理をパーソナルコンピュータなどを用いて行う場合には、一連のデッサン処理をプログラム化して行うこともできる。また、上述の実施形態では、カラー画像に対してデッサン処理を行ったが、モノクロ画像に対して処理を行ってもよい。
【００３６】
【発明の効果】
本発明は、注目画素及びこれに隣接する周辺画素の輝度分布のヒストグラムを生成し、注目画素の画素データをヒストグラムの最頻値の画素数に対応した値に置換するため、通常の画像をデッサン画のような形式の画像に変換することができる効果がある。
【図面の簡単な説明】
【図１】 本実施形態の画像処理装置の概略構成を示すブロック図である。
【図２】 ＣＣＤイメージセンサの画素配列を示す説明図である。
【図３】 デッサン処理回路が行う処理を説明するフローチャートである。
【図４】 ヒストグラム回路における処理を説明するための説明図である。
【図５】 桁合わせ回路の概略構成を示すブロック図である。
【図６】 デッサンモードの処理前の画像を示す画像例である。
【図７】 デッサンモードの処理後の画像を示す画像例である。
【図８】 従来の撮像装置の概略構成を示すブロック図である。
【符号の説明】
１０ Ａ／Ｄ変換回路、１２ メモリ回路、１４ 上位ビット抽出回路、１６ヒストグラム回路、１８ 桁合わせ回路、２０ デッサン処理回路、２２ セレクタ、２４ 輝度信号生成回路、２６ 色信号生成回路、２８ 増幅回路。
【発明の属する技術分野】
本発明は、通常の画像に対して変換処理を行い、特殊効果が施された画像を得るための画像データ処理装置、及び画像データ処理方法に関する。
【０００２】
【従来の技術】
図８は、従来の撮像装置の概略構成を示すブロック構成図である。ここに示す撮像装置は、ＣＣＤイメージセンサ（固体撮像素子）１、ＣＣＤドライバ回路２、タイミング制御回路３、アナログ信号処理回路４、Ａ／Ｄ変換回路５及びデジタル信号処理回路６から構成される。
【０００３】
固体撮像素子１は、行列配置される複数の受光画素を有する受光領域を備えており、この受光面に入射される光を各受光画素で受けて光電変換によって情報電荷を発生する。固体撮像素子１では、この情報電荷を蓄積期間で各受光画素に蓄積し、その後、複数のシフトレジスタを介して順次転送する。そして、転送経路の最終段に設けられる出力部によって電圧値に変換し、画像信号Ｙ０(ｔ）として出力する。
【０００４】
ＣＣＤドライバ回路２は、後述するタイミング制御回路３から供給される垂直同期信号ＶＴ及び水平同期信号ＨＴに同期する複数のクロックパルスを生成する。そして、生成した複数のクロックパルスを固体撮像素子１に供給し、固体撮像素子１を駆動して複数の受光画素に蓄積された情報電荷を順次転送させる。
【０００５】
タイミング制御回路３は、基準クロックＣＫをカウントして垂直同期信号ＶＴ及び水平同期信号ＨＴを生成し、固体撮像素子１の垂直走査及び水平走査の期間を決定する。例えば、ＮＴＳＣ方式に従う場合、信号処理の過程で用いられる色副搬送波の周波数３．５８ＭＨｚの４倍の周波数の基準クロックＣＫを１／９１０に分周して水平同期信号ＨＴを生成する。更に、この水平同期信号ＨＴを２／５２５に分周して垂直同期信号ＶＴを生成する。
【０００６】
アナログ信号処理回路４は、固体撮像素子１から出力される画像信号Ｙ０(ｔ）に対してＣＤＳ(Correlatec Double Sampling：相関二重サンプリング)やＡＧＣ(Automatic Gain Control：自動利得制御)等のアナログ信号処理を施して画像信号Ｙ１(ｔ)を生成する。Ａ／Ｄ変換回路５は、固体撮像素子１の動作タイミングに同期して画像信号Ｙ１(ｔ)を規格化し、デジタル信号に変換して画像データＹ０(ｎ)として出力する。
【０００７】
デジタル信号処理回路６は、Ａ／Ｄ変換回路５から出力される画像データＹ０(ｎ)に対して色分離及びマトリクス演算等のデジタル信号処理を施し、輝度データ及び色差データを含む画像データＹ１(ｎ)を生成する。
【０００８】
このデジタル信号処理回路６から出力される画像データＹ１(ｎ)は、半導体メモリや磁気ディスク等の記憶媒体に格納されると共に、ＬＣＤパネル等の表示デバイスを駆動する駆動装置に供給される。
【０００９】
【発明が解決しようとする課題】
上述したような撮像装置では、例えば、画像データの各画素データを閾値で判別して二値化された画像としたり、または、配列する画素データを横方向又は縦方向に微分処理を行い、その微分値に応じて表示させることで輪郭抽出された画像とする処理などが行われている。この他にも様々な信号処理が提案され、多種多様な再生画像を得ることが考えられている。
【００１０】
【課題を解決するための手段】
本発明に係る画像データ処理装置は、規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理装置において、処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを格納するメモリ回路と、前記画素データの輝度分布のヒストグラムを生成するヒストグラム回路と、前記注目画素の画素データを前記ヒストグラムの最頻値の画素数に応じて決定される値に置換して出力するデータ処理回路と、を備え、前記データ処理回路の出力を前記第２の画像データとするものである。
【００１１】
このような処理を行うことにより、処理前の規格化された画像は、画像の明るさの変化が小さい領域にて輝度値が高く、一方、明るさの変化が大きい領域にて輝度値が低い画像に変換される。このため、明るさの変化が大きい領域が強調された画像を得ることができる。
【００１２】
また、本発明に係る画像データ処理装置は、前記メモリ回路に格納された前記画素データの所定ビットを抽出する抽出回路を更に備え、前記ヒストグラム回路は、前記抽出回路で抽出された前記画素データの所定ビットを取り込んで前記ヒストグラムを生成することが好ましい。これにより処理される画素データのデータサイズが小さくなり、ヒストグラム処理などの処理を簡略化することができる。
【００１３】
また、本発明に係る画像データ処理装置は、前記データ処理回路の出力に所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせする桁合わせ回路を、更に備えることが好ましい。
【００１４】
また、本発明に係る画像データ処理装置は、前記第２の画像データを取り込んで色データを生成する色データ生成回路と、前記色データに対して所定のゲインを与える色ゲイン回路と、を更に備え、前記色ゲイン回路は、前記注目画素の色データに対するゲイン量をゼロとすることが好ましい。
【００１５】
本発明に係る画像データ処理方法は、規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理方法において、処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを取得する第１のステップと、前記画素データの輝度分布のヒストグラムを生成する第２のステップと、前記注目画素の画素データに前記ヒストグラムの最頻値の画素数に応じて決定される値に置換する第３のステップと、を有し、前記第３のステップで置換された前記注目画素の画素データを前記第２の画像データとするものである。
【００１６】
また、本発明に係る画像データ処理方法は、前記第１のステップと前記第２のステップとの間に、前記画素データの所定ビットを抽出するステップを更に有し、前記第２のステップは、抽出された前記画素データの所定ビットに基づいて前記ヒストグラムを生成することが好ましい。
【００１７】
また、本発明に係る画像データ処理方法は、前記第３のステップの後に、前記置換された前記注目画素の画素データに所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせするステップを更に有することが好ましい。
【００１８】
また、本発明に係る画像データ処理方法は、前記第３のステップの後に、前記第２の画像データに基づいて輝度データ及び色データを生成するステップを更に有し、前記輝度データ及び色データを生成するステップのうちの前記色データを生成する際には、前記注目画素の色データに対するゲイン量をゼロとすることが好ましい。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態に係る画像処理装置について説明する。
【００２０】
図１に、本実施形態の画像処理装置の概略構成を示すブロック図を示す。
【００２１】
画像処理装置は、大別して、風景などを撮像するＣＣＤイメージセンサから送られてきた画像データを規格化してアナログ信号からデジタル信号に変換するＡ／Ｄ変換回路１０と、画像データをデッサン画のような表示形式に変換処理するデッサン処理回路２０と、Ａ／Ｄ変換回路１０から直接入力される信号と、デッサン処理回路２０を介して入力される信号のいずれか一方を選択的に出力するセレクタ２２と、セレクタ２２が出力する信号に基づき輝度信号を生成する輝度信号生成回路２４と、色信号を生成する色信号生成回路２６と、を含み構成されている。
【００２２】
この画像処理装置が行う一連の処理について詳しく説明する。
【００２３】
まず、Ａ／Ｄ変換回路１０には、ＣＣＤイメージセンサが出力した画像信号が入力される。ここでＣＣＤイメージセンサとは、図２に示されるように、モザイク型のカラーフィルタが装着され、ＣＣＤイメージセンサの受光画素に各色成分が規則的に割り当てられている。画像信号は、これらの複数画素により生成される複数の画素信号が含まれたアナログ信号となっている。この画像信号がＡ／Ｄ変換回路１０に入力されるときには、下側の水平ラインの画素から順次、入力される。Ａ／Ｄ変換回路１０は、画像信号をアナログの信号からデジタルの信号に変換して画像データを生成する処理を行い、セレクタ２２及びメモリ回路１２に向けて出力する。
【００２４】
Ａ／Ｄ変換回路１０から出力された画像データは、セレクタ２２及びデッサン処理回路２０に入力される。このうち、デッサン処理回路２０に入力された画像データは、デッサン処理回路２０内で処理され、セレクタ２２に入力される。ここでセレクタ２２は、通常の画像撮影時には、Ａ／Ｄ変換回路１０からセレクタ２２に直接入力される画像データを輝度信号生成回路２４及び色信号生成回路２６に対して出力する。また、ユーザが通常の画像をデッサン画のような表示形式に変換することを望む時には、ユーザの操作により、デッサンモード選択信号がセレクタ２２に入力される。そして、デッサン処理回路２０を介して入力されるデータを輝度信号生成回路２４及び色信号生成回路２６に対して出力する。
【００２５】
図３は、データ変換の処理を説明するフローチャートである。以下、図３に従ってデッサン処理回路２０が行うデータ変換処理を説明する。
【００２６】
先ず、ステップＳ１においてアナログ信号処理回路（図示せず）から出力されるアナログ画像信号をＡ／Ｄ変換回路１０で規格化し、デジタル信号である第１の画像データを生成する。この第１の画像データには、注目画素の画素データ及び注目画素に隣接する複数の周辺画素データが含まれる。
次に、ステップＳ２において、メモリ回路１２が、Ａ／Ｄ変換回路１０から画素データが入力される毎に順次、処理対象となる注目画素及び注目画素と同一の色成に対応付けられた複数の周辺画素の画素データを格納する。一例を挙げて説明すると、図２において、（列３，行ｂ）の画素データが入力されると、隣接するグリーンＧのカラーフィルタが施されている６つの画素（列３，行ｂ），（列５，行ｂ），（列７，行ｂ），（列３，行ｄ），（列５，行ｄ），（列７，行ｄ）の画素データを格納する。これら６つの画素のうち、中央下側の画素（列５，行ｄ）が、６つの画素データのほぼ中央に位置しており、注目画素となっている。また、画素（列３，行ｂ）に続く画素（列２，行ｂ）の画素データが入力された場合には、隣接するブルーＢのカラーフィルタが施されている６つの画素（列２，行ｂ），（列４，行ｂ），（列６，行ｂ），（列２，行ｄ），（列４，行ｄ），（列６，行ｄ）の画素データを格納する。このような処理を繰り返すことにより、順次、注目画素に隣接する複数の周辺画素を格納する。
【００２７】
次に、ステップＳ３において、上位ビット抽出回路１４が、メモリ回路１２に格納された画素データを取り込んで各画素データから上位側の４ビットのデータのみを取り出し、この４ビットの画素データをヒストグラム回路１６に出力する。例えば、画素データが「１１０１００１０」であれば、このうち上位側の「１１０１」を取り出す。このように画素データの上位ビットを抽出し、ビット数を減らすことにより、８ビットで表現される２５６階調が４ビットの１６階調へ変換される。この結果、後のデータ処理量を簡略化することができ、処理回路の簡略化や、処理速度の向上が達成できる。なお、このステップＳ３の処理で取り出される画素データの上位ビット数は、４ビットに限らず、それ以上又はそれ以下のビット数でもよい。
【００２８】
次に、ステップＳ４において、ヒストグラム回路１６が、入力された６つの４ビットデータに対して、図４に示すような輝度分布のヒストグラムを生成する。尚、図４においては、図２に示すようなＧの色成分に対応する６つの画素の画素データを対象としたものであり、（列５，行ｄ）を注目画素Ｐ０とすると共に、（列３，行ｂ）、（列５，行ｂ）、（列７，行ｂ）、（列３，行ｄ）、（列７，行ｄ）を周辺画素Ｐ１〜Ｐ５としたものである。
【００２９】
次に、ステップＳ５において、データ処理回路１７が、注目画素Ｐ０の画素データＰ０(d)をヒストグラムの最頻値の画素数に置換する。詳しくは、画素データのうちの同一輝度レベルを有する画素数を計数し、この画素数のうちの最大値を、新たな注目画素Ｐ０の画素データＰ０'(d)として出力する。例えば、図４に示すように、１６階調に変換された６つの画素Ｐ０〜Ｐ５の画像データＰ０(d)〜Ｐ５(d)の信号レベルが、それぞれ１４、１３、１３、１１、１２、１３である場合、同一レベルを有する画素の個数は、１１を有する画素が１つ、１２を有する画素が１つ、１３を有する画素が３つ、１４を有する画素が１つとなる。ステップＳ５では、同一レベルを有する画素の個数を参照し、画素の個数のうち最大値３を注目画素Ｐ０の画素データＰ０'(d)として出力する。なお、このとき、判別する領域は６画素のみであるため出力される値は１〜６である。したがって、出力されるデータは、００１から１１０までの３ビットデータのそれぞれに対応付けられて出力される。
【００３０】
次に、ステップＳ６において、桁合わせ回路１８が、画素データＰ０'(d)を輝度生成回路及び色信号生成回路に出力するのに適したビット数に変換する。桁合わせ回路１８のブロック図を図５に示す。本実施形態では、ヒストグラム回路から出力されるのは３ビットのデータであるため、桁追加部４０にて乗数２5を乗算して、３ビットデータの下位側に５ビットの０を追加する処理を行い、輝度信号生成回路２４などに出力するのに適した８ビットのデータに変換する。
【００３１】
また、画素データＰ０'(d)の３ビットデータの値は、上述したように００１〜１１０で表される。これに対応して、桁追加部４０の出力「００１０００００」〜「１１００００００」である。輝度調整部４２は、この桁追加部４０から出力された８ビットデータに「１１１１１」を足す処理を行う。これにより、桁合わせ回路１８から出力される８ビットデータの最大値は、「１１０１１１１１」となり、８ビットを有効に用いて、より高輝度で表示可能となり、鮮明な画像表示が実現される。このステップＳ６の処理が完了することにより、デッサン処理回路２０の処理が終了する。
【００３２】
デッサン処理回路２０でのデータ変換処理が終了した後は、デッサン処理回路２０から画素データＰ０'(d)がセレクタ２２に出力され、セレクタ２２で通常の画素データとデータ変換処理後のデータとが選択される。例えば、ユーザによりデッサンモードが選択され、デッサンモード選択信号がセレクタ２２に入力されているときには、桁合わせ回路１８から入力される８ビットに変換された画素データＰ０'(d)を、輝度信号生成回路２４及び色信号生成回路２６に出力する。なお、このユーザによるデッサンモードの選択は、次のようにして可能となる。例えば、画像処理装置がデジタルカメラの一部として構成されている場合には、デジタルカメラの外部表面に押しボタンを設け、この押しボタンをユーザが押すことにより、デッサンモードが選択され、デッサンモード選択信号がセレクタ２２に入力されるように設定すればよい。
【００３３】
次に、輝度信号生成回路２４は、通常の画像データに対して行うのと同じ処理を、入力された画素データＰ０'(d)に対して行い、輝度データを生成して表示装置（不図示）に向けて出力する。このとき同時に、色信号生成回路２６は色データを生成するが、生成された色データは、色信号生成回路２６の後段に配置される増幅回路２８でゲイン値が０とされて、値が０とされる。なお、増幅回路２８はデッサンモード選択信号が入力されたときのみ、ゲイン量を０とする。
【００３４】
以上で説明した処理が、本実施形態に係る画像処理装置が行う処理である。この処理を行った画像の例を、図６，図７に示す。図６はデッサン処理回路２０による処理を行わないときの画像であり、図７はデッサン処理回路２０による処理を行ったときの画像である。このように、デッサン処理回路２０によるデータ変換処理を行うことにより、同じ明るさの領域では輝度値が高く白色が出力され、明るさが変化する領域では輝度値が低く黒が出力される。このため、通常の撮像画像から、明るさの変化する領域が強調されたデッサン画のような画像を得ることができる効果がある。
【００３５】
なお、上述の実施形態では、ＣＣＤイメージセンサから取り込んだ画像データを対象としてデッサン処理を行ったが、別の実施形態では、メモリなどに保存された画像データに対してデッサン処理を行ってもよい。また、上述したデッサン処理をパーソナルコンピュータなどを用いて行う場合には、一連のデッサン処理をプログラム化して行うこともできる。また、上述の実施形態では、カラー画像に対してデッサン処理を行ったが、モノクロ画像に対して処理を行ってもよい。
【００３６】
【発明の効果】
本発明は、注目画素及びこれに隣接する周辺画素の輝度分布のヒストグラムを生成し、注目画素の画素データをヒストグラムの最頻値の画素数に対応した値に置換するため、通常の画像をデッサン画のような形式の画像に変換することができる効果がある。
【図面の簡単な説明】
【図１】 本実施形態の画像処理装置の概略構成を示すブロック図である。
【図２】 ＣＣＤイメージセンサの画素配列を示す説明図である。
【図３】 デッサン処理回路が行う処理を説明するフローチャートである。
【図４】 ヒストグラム回路における処理を説明するための説明図である。
【図５】 桁合わせ回路の概略構成を示すブロック図である。
【図６】 デッサンモードの処理前の画像を示す画像例である。
【図７】 デッサンモードの処理後の画像を示す画像例である。
【図８】 従来の撮像装置の概略構成を示すブロック図である。
【符号の説明】
１０ Ａ／Ｄ変換回路、１２ メモリ回路、１４ 上位ビット抽出回路、１６ヒストグラム回路、１８ 桁合わせ回路、２０ デッサン処理回路、２２ セレクタ、２４ 輝度信号生成回路、２６ 色信号生成回路、２８ 増幅回路。
Claims (8)
- 規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理装置において、
処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを格納するメモリ回路と、
前記画素データの輝度分布のヒストグラムを生成するヒストグラム回路と、
前記注目画素の画素データを前記ヒストグラムの最頻値の画素数に応じて決定される値に置換して出力するデータ処理回路と、を備え、
前記データ処理回路の出力を前記第２の画像データとすることを特徴とする画像データ処理装置。 - 請求項１に記載の画像データ処理装置において、
前記メモリ回路に格納された前記画素データの所定ビットを抽出する抽出回路を更に備え、
前記ヒストグラム回路は、前記抽出回路で抽出された前記画素データの所定ビットを取り込んで前記ヒストグラムを生成することを特徴とする画像データ処理装置。 - 請求項１又は請求項２に記載の画像データ処理装置において
、
前記データ処理回路の出力に所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせする桁合わせ回路を、更に備えたことを特徴とする画像データ処理装置。 - 請求項１に記載の画像データ処理装置において、
前記第２の画像データを取り込んで色データを生成する色データ生成回路と、
前記色データに対して所定のゲインを与える色ゲイン回路と、を更に備え、
前記色ゲイン回路は、前記注目画素の色データに対するゲイン量をゼロとすることを特徴とする画像データ処理装置。 - 規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理方法において、
処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを取得する第１のステップと、
前記画素データの輝度分布のヒストグラムを生成する第２のステップと、
前記注目画素の画素データに前記ヒストグラムの最頻値の画素数に応じて決定される値に置換する第３のステップと、を有し、
前記第３のステップで置換された前記注目画素の画素データを前記第２の画像データとすることを特徴とする画像データ処理方法。 - 請求項５に記載の画像データ処理方法において、
前記第１のステップと前記第２のステップとの間に、前記画素データの所定ビットを抽出するステップを更に有し、
前記第２のステップは、抽出された前記画素データの所定ビットに基づいて前記ヒストグラムを生成することを特徴とする画像データ処理方法。 - 請求項５又は請求項６に記載の画像データ処理方法において
、
前記第３のステップの後に、前記置換された前記注目画素の画素データに所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせするステップを更に有することを特徴とする画像データ処理方法。 - 請求項５に記載の画像データ処理方法において、
前記第３のステップの後に、前記第２の画像データに基づいて輝度データ及び色データを生成するステップを更に有し、
前記輝度データ及び色データを生成するステップのうちの前記色データを生成する際には、前記注目画素の色データに対するゲイン量をゼロとすることを特徴とする画像データ処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002259648A JP4243081B2 (ja) | 2002-09-05 | 2002-09-05 | 画像データ処理装置、及び画像データ処理方法 |
| CNB031278523A CN1260967C (zh) | 2002-09-05 | 2003-08-12 | 图像数据处理装置及图像数据处理方法 |
| TW092122706A TWI220838B (en) | 2002-09-05 | 2003-08-19 | Image data process device and processing method thereof |
| KR1020030061680A KR100697151B1 (ko) | 2002-09-05 | 2003-09-04 | 화상 데이터 처리 장치 및 화상 데이터 처리 방법 |
| US10/656,923 US7203357B2 (en) | 2002-09-05 | 2003-09-04 | Image data processor and image data processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002259648A JP4243081B2 (ja) | 2002-09-05 | 2002-09-05 | 画像データ処理装置、及び画像データ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004102382A JP2004102382A (ja) | 2004-04-02 |
| JP4243081B2 true JP4243081B2 (ja) | 2009-03-25 |
Family
ID=32089098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002259648A Expired - Fee Related JP4243081B2 (ja) | 2002-09-05 | 2002-09-05 | 画像データ処理装置、及び画像データ処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7203357B2 (ja) |
| JP (1) | JP4243081B2 (ja) |
| KR (1) | KR100697151B1 (ja) |
| CN (1) | CN1260967C (ja) |
| TW (1) | TWI220838B (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005244559A (ja) * | 2004-02-26 | 2005-09-08 | Sanyo Electric Co Ltd | 画像信号処理装置 |
| US7680328B2 (en) * | 2006-11-01 | 2010-03-16 | Mtekvision Co., Ltd. | Histogram generating device |
| US7920717B2 (en) * | 2007-02-20 | 2011-04-05 | Microsoft Corporation | Pixel extraction and replacement |
| JP4342590B1 (ja) * | 2008-03-26 | 2009-10-14 | 株式会社東芝 | 画素変換装置とその変換方法 |
| CN103839219B (zh) * | 2012-11-26 | 2017-04-26 | 中国航天科工集团第三研究院第八三五七研究所 | 一种应用于8位灰度图像匹配的高性能并行乘加电路 |
| CN105430264B (zh) * | 2015-11-26 | 2019-03-05 | 努比亚技术有限公司 | 移动终端及其拍摄处理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5305204A (en) * | 1989-07-19 | 1994-04-19 | Kabushiki Kaisha Toshiba | Digital image display apparatus with automatic window level and window width adjustment |
| JPH05293095A (ja) * | 1992-04-22 | 1993-11-09 | Fujitsu Ltd | 画像表示方法 |
| US5751341A (en) * | 1993-01-05 | 1998-05-12 | Vista Medical Technologies, Inc. | Stereoscopic endoscope system |
| JP3950501B2 (ja) | 1996-10-31 | 2007-08-01 | キヤノン株式会社 | 画像処理方法および装置および記憶媒体 |
| JP3539539B2 (ja) * | 1998-04-28 | 2004-07-07 | シャープ株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
| US7077319B2 (en) * | 2000-11-24 | 2006-07-18 | Metrologic Instruments, Inc. | Imaging engine employing planar light illumination and linear imaging |
-
2002
- 2002-09-05 JP JP2002259648A patent/JP4243081B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-12 CN CNB031278523A patent/CN1260967C/zh not_active Expired - Fee Related
- 2003-08-19 TW TW092122706A patent/TWI220838B/zh not_active IP Right Cessation
- 2003-09-04 KR KR1020030061680A patent/KR100697151B1/ko not_active IP Right Cessation
- 2003-09-04 US US10/656,923 patent/US7203357B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN1260967C (zh) | 2006-06-21 |
| CN1484446A (zh) | 2004-03-24 |
| KR100697151B1 (ko) | 2007-03-20 |
| KR20040022173A (ko) | 2004-03-11 |
| JP2004102382A (ja) | 2004-04-02 |
| TW200404457A (en) | 2004-03-16 |
| US20040091167A1 (en) | 2004-05-13 |
| TWI220838B (en) | 2004-09-01 |
| US7203357B2 (en) | 2007-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6882366B1 (en) | Electronic imaging system | |
| US20220328543A1 (en) | Image sensor, focus adjustment device, and imaging device | |
| US6707494B1 (en) | Solid-state image pickup apparatus free from limitations on thin-down reading in a four-field interline transfer system and method of reading signals out of the same | |
| JP4243081B2 (ja) | 画像データ処理装置、及び画像データ処理方法 | |
| US6809764B1 (en) | Solid-state electronic image sensing device with high subsampling efficiency and method of reading a video signal out of the same | |
| JP3143245B2 (ja) | 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法 | |
| JP2004112768A (ja) | 撮像装置 | |
| US6677998B1 (en) | Solid-state electronic image sensing device and method of controlling operation of same | |
| JP3059920B2 (ja) | 撮像装置 | |
| JP4230128B2 (ja) | 撮像装置およびその制御方法 | |
| JP4118068B2 (ja) | 撮像装置 | |
| JP3059921B2 (ja) | 撮像装置 | |
| JP2931531B2 (ja) | 固体撮像装置 | |
| JPH0998437A (ja) | 撮像装置 | |
| JP3970068B2 (ja) | 撮像装置 | |
| JP3970069B2 (ja) | 撮像装置 | |
| JP6389693B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| JP3276820B2 (ja) | 撮像装置 | |
| JP3515191B2 (ja) | 固体撮像素子の駆動方法 | |
| JP2023125900A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
| JP2000224600A (ja) | 撮像装置 | |
| JP2007174474A (ja) | 撮像装置 | |
| JPH0918888A (ja) | リニアセンサカメラを用いた撮像装置 | |
| JPH10145650A (ja) | 撮像装置 | |
| JP2001204039A (ja) | 画像表示システムおよび画像撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4243081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |