JP3927367B2 - 画像処理用集積回路 - Google Patents
画像処理用集積回路 Download PDFInfo
- Publication number
- JP3927367B2 JP3927367B2 JP2001007730A JP2001007730A JP3927367B2 JP 3927367 B2 JP3927367 B2 JP 3927367B2 JP 2001007730 A JP2001007730 A JP 2001007730A JP 2001007730 A JP2001007730 A JP 2001007730A JP 3927367 B2 JP3927367 B2 JP 3927367B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- data
- integrated circuit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
- Liquid Crystal Display Device Control (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、携帯電話機やＰＤＡ（Personal Digital Assistants）などの携帯型通信端末機における画像処理回路に関する。
【０００２】
【従来の技術】
近年の携帯電話機やＰＤＡなどの携帯型通信端末機は、機能の複合化が進行し、通話データのみならず、音楽データや画像データなどの多種類のデータを処理できる機能を有し、インターネットなどのネットワークのインターフェース機能をも有する。この種の機能の複合化に伴い、携帯型通信端末機の電力消費量は増大する傾向にあるが、小型軽量な携帯型通信端末機に搭載できる電源容量の制限は厳しいため、電力消費量の低い携帯型通信端末機用ＬＳＩの開発が望まれている。
【０００３】
例えば、ＭＰＥＧ（Moving Picture Experts Group）方式やモーションＪＰＥＧ（Joint Photographic Experts Group）方式などによる符号化データを復号化したり、携帯型通信端末機に搭載されるＣＣＤなどの固体撮像素子で撮像した画像データを圧縮符号化したりする画像処理機能を備えた画像処理用ＬＳＩは、高品質で大容量の画像データに対応するため複雑化し且つ大規模となり、その画像処理に要する電力消費量は大きくなる傾向にある。このような事情から、携帯型通信端末機には画像処理に特化した専用ＬＳＩが搭載されていることが多い。
【０００４】
また、その種の画像処理用ＬＳＩで復号化した画像データを表示するＬＣＤ装置を駆動するのにも大きな電力を要する。また、その種の画像処理用ＬＳＩで圧縮符号化したデータを、半導体メモリ・カードなどの記憶媒体や内蔵メモリに転送し格納するための電力も必要である。
【０００５】
またネットワーク対応の携帯型通信端末機には、画像データをダウンロードして動画像データに復号化し実時間再生（ストリーミング）する機能も求められており、画像処理用ＬＳＩの処理量は増大する傾向にある。
【０００６】
【発明が解決しようとする課題】
上述した通り、携帯型通信端末機の機能の複合化に伴い画像処理に要する電力消費量が多大となるため、低電力消費量で長時間連続動作し得る画像処理用ＬＳＩの開発が望まれているのが現状である。
【０００７】
そこで、本発明が解決しようとするところは、画像処理用ＬＳＩが複雑化し大規模化しても低電力消費で動作し得る画像処理集積回路を提供する点にある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、メモリ及び画像表示部を備えた携帯型通信端末機に搭載される画像処理用集積回路であって、動作クロック信号を供給されて動作し、符号化された画像データを復号して得られた動画像データと、前記動画像データとは別に、予め前記メモリに記録された表示データとを前記画像表示部に向けて出力する画像処理部と、前記表示データを、前記画像処理部を迂回して前記画像表示部に向けて伝送する迂回伝送路と、を備え、前記符号化された画像データを受信しているときに、前記動画像データおよび前記表示データを前記画像表示部に向けて出力し、前記符号化された画像データを受信していないときに、前記画像処理部への前記動作クロックの供給を停止することを特徴とするものである。
【０００９】
また請求項２に係る発明は、携帯型通信端末機に搭載される画像処理用集積回路であって、動作クロック信号を供給されて動作し画像処理した動画像データおよびキャラクタ・データを画像表示部に向けて出力する画像処理部と、前記画像処理部を迂回して前記画像表示部に表示する前記キャラクタ・データを前記画像表示部に向けて伝送する迂回伝送路と、外部の制御部の制御によって、（ｉ）前記動画像データを表示するときに、前記画像処理部から前記動画像データおよび前記キャラクタ・データが出力される伝送路を選択して前記画像表示部に接続し、且つ（ｉｉ）前記動画像データを表示しないときに、動作クロック信号なしに動作し前記迂回伝送路を選択して前記画像表示部に接続する、マルチプレクサと、を備え、前記動画像データを表示しないときには、前記画像処理部への前記動作クロックの供給を停止することを特徴とするものである。
【００１０】
また請求項３に係る発明は、請求項２記載の画像処理用集積回路であって、動作クロック信号なしに動作し、前記制御部から伝達される信号により設定内容を書き換えられて前記マルチプレクサに対して前記伝送路と前記迂回伝送路との何れか一方を選択せしめる選択制御信号を出力するレジスタ、をさらに備える。
【００１１】
そして請求項４に係る発明は、請求項２または請求項３に記載の画像処理用集積回路であって、前記画像処理部は動画像データの符号化手段および復号化手段を有し、該復号化手段で復号化した動画像データを前記画像表示部に向けて出力するものである。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態に係る画像処理用集積回路（画像処理用チップ）について説明する。図１は、その実施の形態に係る携帯型通信端末機に搭載された画像処理用集積回路１の全体構成を示す機能ブロック図である。
【００１３】
本実施の形態に係る画像処理用集積回路１は、ＣＣＤ（電荷結合素子）デバイスやＣＭＯＳデバイスなどの固体撮像素子１１で撮像した画像データを画像処理する画像処理部２を備えている。この画像処理部２は、固体撮像素子１１から出力される画像信号を取り込んでフィルタリング処理するフィルタリング回路２Ａと、ＭＰＥＧ方式などに従い画像信号の符号化および復号化を実行するビデオ・コーデック回路２Ｂと、このビデオ・コーデック回路２Ｂで復号化した画像データをフィルタリングしてマルチプレクサ４に出力するフィルタリング回路２Ｃとを備えており、それら各回路２Ａ，２Ｂ，２Ｃはメモリ・バスＢ２に接続されている。画像処理部２で処理した画像データはマルチプレクサ４を介して画像表示装置１４に向けて出力される。またこのメモリ・バスＢ２には、画像表示装置１４に転送する表示データを格納するＳＤＲＡＭ（Synchronous DRAM）などのメモリ１３がインターフェース９を介して接続されている。
【００１４】
また、画像処理用集積回路１では、ＲＩＳＣ（Reduced Instruction Set Computer）型などのＣＰＵ５、レジスタ３Ａを備えた周辺回路インターフェース３および音声信号処理回路６がメイン・バスＢ１を介して相互に接続されている。そのＣＰＵ５は、メイン・バスＢ１に接続されたＲＡＭ７を作業領域として当該画像処理用集積回路１を構成する各回路の制御や、バスＢ１，Ｂ２を介した各回路間のデータ転送の制御を実行する。また、メイン・バスＢ１にはフラッシュ・メモリもしくはＳＲＡＭなどの補助メモリ１０を接続できる。この補助メモリ１０は、ＣＰＵ５の作業領域の増設や制御プログラムの記憶領域の確保のために利用され得る。
【００１５】
また画像処理用集積回路１は、携帯電話制御部１８と接続された周辺回路インターフェース３を備える。携帯電話制御部１８は画像処理用集積回路１に対して動作クロック信号を生成しそれを供給するクロック生成器（図示せず）を制御したり、外部の基地局（図示せず）と無線通信する送受信部２２で受信した信号を画像処理用集積回路１に転送したりする。尚、図示しないが、周辺回路インターフェース３には、ＵＡＲＴ（非同期シリアル通信用送受信回路）や汎用のＩ／Ｏ回路などの各種周辺回路が接続されている。
【００１６】
また音声信号処理回路６は、音声信号を符号化および復号化する音声コーデック１２とサウンド・メモリ・カード１７とに対応したインターフェース機能を有する。音声コーデック１２はマイクロフォン２０から入力したアナログ音声信号にＡ／Ｄ変換などを施して音声信号処理回路６に出力する。また送受信部２２で受信されて周辺回路インターフェース３に入力する符号化された音声データは、音声信号処理回路６を介して音声コーデック１２に出力され、アナログ信号に変換された後にスピーカ１９から音波出力される。またサウンド・メモリ・カード１７は、不正コピーを防ぐため、暗号化や電子透かしなどを施した音楽データを格納でき、音声信号処理回路６はサウンド・メモリ・カード１７から読出した暗号化データを復号化したり、電子透かしを施した音楽データに埋め込まれた著作権情報を検知し照合したりすることができる。
【００１７】
またメイン・バスＢ１とメモリ・バスＢ２との間にはＤＲＡＭなどのキャッシュ・メモリ８が介在し、双方のバスＢ１，Ｂ２間のデータ転送を実行する。
【００１８】
図２および図３は、以上の画像処理用集積回路１を簡略化した構成を示す機能ブロック図である。
【００１９】
上記マルチプレクサ４は、画像処理部２と画像表示装置１４との間に介在し、画像処理部２から出力される画像データおよびキャラクタ・データを伝送する伝送路ＴBの一端に接続する第１の入力端子Ｂと、その画像処理部２を迂回（バイパス）して画像データを除くキャラクタ・データを伝送する伝送路ＴAの一端に接続する第２の入力端子Ａとを有している。また周辺回路インターフェース３は動作クロック信号を供給されなくとも動作するため、上記レジスタ３Ａは画像処理部２とは非同期に動作し、マルチプレクサ４に対して前記第１の入力端子と前記第２の入力端子との何れか一方を選択して画像表示装置１４と接続させる選択制御信号ＳＬ１を出力する。このレジスタ３Ａにおける選択制御信号ＳＬ１の設定内容は携帯電話制御部１８から伝達される信号により書き換えられる。また携帯電話制御部１８はクロック生成器１６を制御して、画像処理部２への動作クロック信号ＣＬＫの供給とその供給の停止とを切り換えることができる。
【００２０】
このような構成の画像処理用集積回路１の動作について以下に詳説する。図４（ａ）は、画像処理用集積回路１を備えた携帯型通信端末機が画像信号を受信している「通信モード（第１モード）」時の状態を示す模式図、同図（ｂ）は、当該携帯型通信端末機が画像信号を受信していない「通信待機モード（第２モード）」時の状態を示す模式図である。また図２は通信モード時の状態、図３は通信待機モード時の状態をそれぞれ示す機能ブロック図である。
【００２１】
画像処理用集積回路１が前記通信モードにある時、図２に示すようにクロック生成器１６は携帯電話制御部１８の制御により画像処理用集積回路１すなわち画像処理部２に動作クロック信号ＣＬＫを供給しており、上記周辺回路インターフェース３に組み込まれているレジスタ３Ａは、伝送路ＴBを選択させる選択制御信号ＳＬ１をマルチプレクサ４に出力している。よってこの時、マルチプレクサ４は伝送路ＴBと画像表示装置１４との間を接続する。図１と図２に示すように上記送受信部２２で受信した通信データは、符号化された音声データ（以下、符号化音声データと呼ぶ。）と符号化された画像データ（以下、符号化画像データと呼ぶ。）とに分離され、周辺回路インターフェース３に出力される。その後、符号化画像データは、ＣＰＵ・バスＢ１からキャッシュ・メモリ８を介してメモリ・バスＢ２に転送され画像処理部２に出力される。そして、その符号化画像データはビデオ・コーデック回路２Ｂで復号化された後に、フィルタリング回路２Ｃでフィルタリングされてマルチプレクサ４を介して画像表示装置１４に出力される。また、携帯電話制御部１８は所定の制御プログラムに従ってキャラクタ・データを生成し、このキャラクタ・データは画像処理部２からマルチプレクサ４を介して画像表示装置１４へ出力される。ここで、前記キャラクタ・データは、携帯電話制御部１８で生成する代わりに送受信部２２で受信された通信データでもよい。尚、前記符号化音声データは音声信号処理回路６を介して音声コーデック１２に転送後、復号化されてスピーカ１９から音声出力される。
【００２２】
このように、上記通信モード時では、画像処理用集積回路１には動作クロック信号ＣＬＫが供給されており、図４（ａ）に示すように、符号化画像データおよびキャラクタ・データは画像処理部２に入力し、符号化画像データは動画像データに復号化されフィルタリング処理を受けて画像表示装置１４に出力され、キャラクタ・データは画像処理部２を通して画像表示装置１４に出力される。画像表示装置１４の表示画面２１には、そのキャラクタ・データに対応する文字または記号を表示させる文字表示領域２１ｃ、動画像を表示させる画像表示領域２１ｂ、そしてキャラクタ・データを基にして受信レベルや日時情報、バッテリー容量の残量などを表示する表示領域２１ａが設定されており、画像表示領域２１ｂに動画像が表示されると共に、文字表示領域２１ｃや表示領域２１ａにキャラクタ・データのコードに対応する文字や記号などが表示される。
【００２３】
また上記通信モード時において、上記キャラクタ・データを、インターフェース９を介してメモリ１３に転送し蓄積してもよい。メモリ１３に、画像表示装置１４における所定の表示領域に対応した複数種類のデータを蓄積しておくと、携帯電話制御部１８がメモリ１３上の読出しアドレスを指定するだけで、当該読出しアドレスに対応した表示データ（キャラクタ・データ）をメモリ・バスＢ２とマルチプレクサ４とを介して画像表示装置１４に転送し表示することが可能となる。
【００２４】
尚、固体撮像素子１１で撮像した画像データを送受信部２２から無線伝送してもよい。すなわち、固体撮像素子１１で撮像した画像データをフィルタリング回路２Ａで取り込み、ビデオ・コーデック回路２Ｂで符号化された画像データ（符号化画像データ）を生成する。その符号化画像データは、周辺回路インターフェース３を介して携帯電話制御部１８に出力後、送受信部２２で通信データに変換されて伝送される。
【００２５】
他方、画像処理用集積回路１が上記通信待機モードにある時、図３に示すように携帯電話制御部１８はレジスタ３Ａの設定内容を書き換えることで、マルチプレクサ４に伝送路ＴAを選択させ、伝送路ＴAと画像表示装置１４とを接続させるように制御する。また、携帯電話制御部１８はクロック生成器１６を制御して画像処理用集積回路１への動作クロック信号の供給を停止させるように制御する。この時、周辺回路インターフェース３とマルチプレクサ４とは、クロック生成器１６から動作クロック信号の供給を受けなくても動作する。よって、携帯電話制御部１８は周辺回路インターフェース３およびバスＢ１，Ｂ２を介してマルチプレクサ４にキャラクタ・データを転送し、マルチプレクサ４は入力端子Ａに入力するそのキャラクタ・データを画像表示装置１４に出力できる。そして図４（ｂ）に示すように、画像表示装置１４における表示画面２１上の表示領域２１ａ，２１ｃは、そのキャラクタ・データを基にした文字や記号などを表示する。
【００２６】
尚、図４（ａ），（ｂ）で示した画像表示装置１４の表示画面では、動画像の表示領域２１ｂとキャラクタ・データに対応する文字や記号などの表示領域２１ａ，２１ｃとは固定されているが、本発明ではこれに限らず、画像表示装置１４の表示画面上の任意領域において、例えばキャラクタ・データに対応する文字や記号などを表示する画素領域以外の領域に透明色を指定し、その透明色を指定した画素領域に動画像を多重表示させるように画像表示装置１４を制御しても構わない。
【００２７】
また、以上の実施の形態では、通信待機モード時に画像処理用集積回路１への動作クロック信号の供給を停止しているが、本発明では通信待機モード時に限らず、画像処理部２で画像処理を行わない期間中は、画像処理用回路１への動作クロック信号の供給を停止し且つマルチプレクサ４に入力する伝送路を伝送路ＴAに切り換えるように制御することができる。これにより、画像処理用回路１の電力消費量をより一層低減できる。
【００２８】
このように上記画像処理用集積回路１では、通信待機モード時などの、画像処理部２で画像処理がなされない期間中は当該画像処理部２に動作クロック信号を供給せずに画像処理部２の動作を停止させ、通信モード時などの画像処理部２で画像処理する期間のみに当該画像処理部２に動作クロック信号を供給することができるため、画像処理用集積回路１の全体の電力消費量が低減される。
【００２９】
また、上記周辺回路インターフェース３およびマルチプレクサ４は、動作クロック信号を供給されなくても動作するため、画像処理用集積回路１全体への動作クロック信号の供給を停止させても、レジスタ３Ａから選択制御信号ＳＬ１を受けたマルチプレクサ４は当該画像処理部２を迂回する伝送路ＴAを選択でき、画像データ以外のキャラクタ・データを画像表示装置１４に出力し表示させることができる。従って、電源容量が制限された携帯型通信端末機の連続使用時間を大幅に延ばすことが可能となる。
【００３０】
【発明の効果】
以上の如く、請求項１に係る画像処理用集積回路によれば、符号化された画像データを受信しているときには、当該画像データを復号化して動画像データを求め、これを画像表示部に伝送することができる。他方、符号化された画像データを受信していないときには、予めメモリに記録された表示データを表示するので、画像処理部の動作は不要であり、動作クロック信号を停止することができる。よって電力消費の低下を享受できる。
【００３１】
また請求項２に係る画像処理用集積回路によれば、動画像データを表示しているときは、画像処理部が画像処理を行うので動作クロックが必要であるが、動画像データを表示しない場合には動作クロックの供給は不要である。しかも迂回伝送路からは動作クロックなしにキャラクタ・データが画像表示部に与えられる。よって動画像データを表示するときだけ動作クロックが必要となり、キャラクタ・データだけを表示するときには動作クロックが不要となる。よって電力消費の低下を享受できる。また、動画像データを表示していないときに、上記マルチプレクサは動作クロック信号なしに動作して上記迂回伝送路を選択し、その迂回伝送路から伝達される表示データを上記画像表示部に向けて確実に転送し表示させることが可能となる。
【００３２】
また請求項３に係る画像処理用集積回路よれば、動画像データを表示していないときに、レジスタは、上記マルチプレクサと同様に、動作クロック信号なしに動作して請求項１記載のマルチプレクサに対し上記迂回伝送路を選択する旨の選択制御信号を出力できる。このため、上記マルチプレクサは上記迂回伝送路を選択して、表示データを確実に画像処理部に出力することが可能となる。また動画像データを表示しないときは、上記画像処理部のみならず画像処理用集積回路全体への動作クロック信号の供給を停止しても上記マルチプレクサやレジスタは動作するため、電力消費量を更に低減させることが可能となる。
【００３３】
そして請求項４に係る画像処理用集積回路によれば、特に上記画像処理部が比較的電力消費量の多い動画像データの符号化手段と復号化手段とを有する場合でも、画像処理用集積回路の消費電力を大幅に低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る携帯型通信端末機の画像処理用集積回路の概略構成を示す機能ブロック図である。
【図２】実施の形態に係る画像処理用集積回路を簡略化した構成を示す機能ブロック図である。
【図３】実施の形態に係る画像処理用集積回路を簡略化した構成を示す機能ブロック図である。
【図４】（ａ）は、実施の形態に係る画像処理用集積回路を搭載した携帯型通信端末機が通信モード時にある状態を示す模式図、（ｂ）は、その携帯型通信端末機が通信待機モード時にある状態を示す模式図である。
【符号の説明】
１ 画像処理用集積回路
２ 画像処理部
４ マルチプレクサ
１４ 画像表示装置
１６ クロック生成器
１８ 携帯電話制御部
【発明の属する技術分野】
本発明は、携帯電話機やＰＤＡ（Personal Digital Assistants）などの携帯型通信端末機における画像処理回路に関する。
【０００２】
【従来の技術】
近年の携帯電話機やＰＤＡなどの携帯型通信端末機は、機能の複合化が進行し、通話データのみならず、音楽データや画像データなどの多種類のデータを処理できる機能を有し、インターネットなどのネットワークのインターフェース機能をも有する。この種の機能の複合化に伴い、携帯型通信端末機の電力消費量は増大する傾向にあるが、小型軽量な携帯型通信端末機に搭載できる電源容量の制限は厳しいため、電力消費量の低い携帯型通信端末機用ＬＳＩの開発が望まれている。
【０００３】
例えば、ＭＰＥＧ（Moving Picture Experts Group）方式やモーションＪＰＥＧ（Joint Photographic Experts Group）方式などによる符号化データを復号化したり、携帯型通信端末機に搭載されるＣＣＤなどの固体撮像素子で撮像した画像データを圧縮符号化したりする画像処理機能を備えた画像処理用ＬＳＩは、高品質で大容量の画像データに対応するため複雑化し且つ大規模となり、その画像処理に要する電力消費量は大きくなる傾向にある。このような事情から、携帯型通信端末機には画像処理に特化した専用ＬＳＩが搭載されていることが多い。
【０００４】
また、その種の画像処理用ＬＳＩで復号化した画像データを表示するＬＣＤ装置を駆動するのにも大きな電力を要する。また、その種の画像処理用ＬＳＩで圧縮符号化したデータを、半導体メモリ・カードなどの記憶媒体や内蔵メモリに転送し格納するための電力も必要である。
【０００５】
またネットワーク対応の携帯型通信端末機には、画像データをダウンロードして動画像データに復号化し実時間再生（ストリーミング）する機能も求められており、画像処理用ＬＳＩの処理量は増大する傾向にある。
【０００６】
【発明が解決しようとする課題】
上述した通り、携帯型通信端末機の機能の複合化に伴い画像処理に要する電力消費量が多大となるため、低電力消費量で長時間連続動作し得る画像処理用ＬＳＩの開発が望まれているのが現状である。
【０００７】
そこで、本発明が解決しようとするところは、画像処理用ＬＳＩが複雑化し大規模化しても低電力消費で動作し得る画像処理集積回路を提供する点にある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、メモリ及び画像表示部を備えた携帯型通信端末機に搭載される画像処理用集積回路であって、動作クロック信号を供給されて動作し、符号化された画像データを復号して得られた動画像データと、前記動画像データとは別に、予め前記メモリに記録された表示データとを前記画像表示部に向けて出力する画像処理部と、前記表示データを、前記画像処理部を迂回して前記画像表示部に向けて伝送する迂回伝送路と、を備え、前記符号化された画像データを受信しているときに、前記動画像データおよび前記表示データを前記画像表示部に向けて出力し、前記符号化された画像データを受信していないときに、前記画像処理部への前記動作クロックの供給を停止することを特徴とするものである。
【０００９】
また請求項２に係る発明は、携帯型通信端末機に搭載される画像処理用集積回路であって、動作クロック信号を供給されて動作し画像処理した動画像データおよびキャラクタ・データを画像表示部に向けて出力する画像処理部と、前記画像処理部を迂回して前記画像表示部に表示する前記キャラクタ・データを前記画像表示部に向けて伝送する迂回伝送路と、外部の制御部の制御によって、（ｉ）前記動画像データを表示するときに、前記画像処理部から前記動画像データおよび前記キャラクタ・データが出力される伝送路を選択して前記画像表示部に接続し、且つ（ｉｉ）前記動画像データを表示しないときに、動作クロック信号なしに動作し前記迂回伝送路を選択して前記画像表示部に接続する、マルチプレクサと、を備え、前記動画像データを表示しないときには、前記画像処理部への前記動作クロックの供給を停止することを特徴とするものである。
【００１０】
また請求項３に係る発明は、請求項２記載の画像処理用集積回路であって、動作クロック信号なしに動作し、前記制御部から伝達される信号により設定内容を書き換えられて前記マルチプレクサに対して前記伝送路と前記迂回伝送路との何れか一方を選択せしめる選択制御信号を出力するレジスタ、をさらに備える。
【００１１】
そして請求項４に係る発明は、請求項２または請求項３に記載の画像処理用集積回路であって、前記画像処理部は動画像データの符号化手段および復号化手段を有し、該復号化手段で復号化した動画像データを前記画像表示部に向けて出力するものである。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態に係る画像処理用集積回路（画像処理用チップ）について説明する。図１は、その実施の形態に係る携帯型通信端末機に搭載された画像処理用集積回路１の全体構成を示す機能ブロック図である。
【００１３】
本実施の形態に係る画像処理用集積回路１は、ＣＣＤ（電荷結合素子）デバイスやＣＭＯＳデバイスなどの固体撮像素子１１で撮像した画像データを画像処理する画像処理部２を備えている。この画像処理部２は、固体撮像素子１１から出力される画像信号を取り込んでフィルタリング処理するフィルタリング回路２Ａと、ＭＰＥＧ方式などに従い画像信号の符号化および復号化を実行するビデオ・コーデック回路２Ｂと、このビデオ・コーデック回路２Ｂで復号化した画像データをフィルタリングしてマルチプレクサ４に出力するフィルタリング回路２Ｃとを備えており、それら各回路２Ａ，２Ｂ，２Ｃはメモリ・バスＢ２に接続されている。画像処理部２で処理した画像データはマルチプレクサ４を介して画像表示装置１４に向けて出力される。またこのメモリ・バスＢ２には、画像表示装置１４に転送する表示データを格納するＳＤＲＡＭ（Synchronous DRAM）などのメモリ１３がインターフェース９を介して接続されている。
【００１４】
また、画像処理用集積回路１では、ＲＩＳＣ（Reduced Instruction Set Computer）型などのＣＰＵ５、レジスタ３Ａを備えた周辺回路インターフェース３および音声信号処理回路６がメイン・バスＢ１を介して相互に接続されている。そのＣＰＵ５は、メイン・バスＢ１に接続されたＲＡＭ７を作業領域として当該画像処理用集積回路１を構成する各回路の制御や、バスＢ１，Ｂ２を介した各回路間のデータ転送の制御を実行する。また、メイン・バスＢ１にはフラッシュ・メモリもしくはＳＲＡＭなどの補助メモリ１０を接続できる。この補助メモリ１０は、ＣＰＵ５の作業領域の増設や制御プログラムの記憶領域の確保のために利用され得る。
【００１５】
また画像処理用集積回路１は、携帯電話制御部１８と接続された周辺回路インターフェース３を備える。携帯電話制御部１８は画像処理用集積回路１に対して動作クロック信号を生成しそれを供給するクロック生成器（図示せず）を制御したり、外部の基地局（図示せず）と無線通信する送受信部２２で受信した信号を画像処理用集積回路１に転送したりする。尚、図示しないが、周辺回路インターフェース３には、ＵＡＲＴ（非同期シリアル通信用送受信回路）や汎用のＩ／Ｏ回路などの各種周辺回路が接続されている。
【００１６】
また音声信号処理回路６は、音声信号を符号化および復号化する音声コーデック１２とサウンド・メモリ・カード１７とに対応したインターフェース機能を有する。音声コーデック１２はマイクロフォン２０から入力したアナログ音声信号にＡ／Ｄ変換などを施して音声信号処理回路６に出力する。また送受信部２２で受信されて周辺回路インターフェース３に入力する符号化された音声データは、音声信号処理回路６を介して音声コーデック１２に出力され、アナログ信号に変換された後にスピーカ１９から音波出力される。またサウンド・メモリ・カード１７は、不正コピーを防ぐため、暗号化や電子透かしなどを施した音楽データを格納でき、音声信号処理回路６はサウンド・メモリ・カード１７から読出した暗号化データを復号化したり、電子透かしを施した音楽データに埋め込まれた著作権情報を検知し照合したりすることができる。
【００１７】
またメイン・バスＢ１とメモリ・バスＢ２との間にはＤＲＡＭなどのキャッシュ・メモリ８が介在し、双方のバスＢ１，Ｂ２間のデータ転送を実行する。
【００１８】
図２および図３は、以上の画像処理用集積回路１を簡略化した構成を示す機能ブロック図である。
【００１９】
上記マルチプレクサ４は、画像処理部２と画像表示装置１４との間に介在し、画像処理部２から出力される画像データおよびキャラクタ・データを伝送する伝送路ＴBの一端に接続する第１の入力端子Ｂと、その画像処理部２を迂回（バイパス）して画像データを除くキャラクタ・データを伝送する伝送路ＴAの一端に接続する第２の入力端子Ａとを有している。また周辺回路インターフェース３は動作クロック信号を供給されなくとも動作するため、上記レジスタ３Ａは画像処理部２とは非同期に動作し、マルチプレクサ４に対して前記第１の入力端子と前記第２の入力端子との何れか一方を選択して画像表示装置１４と接続させる選択制御信号ＳＬ１を出力する。このレジスタ３Ａにおける選択制御信号ＳＬ１の設定内容は携帯電話制御部１８から伝達される信号により書き換えられる。また携帯電話制御部１８はクロック生成器１６を制御して、画像処理部２への動作クロック信号ＣＬＫの供給とその供給の停止とを切り換えることができる。
【００２０】
このような構成の画像処理用集積回路１の動作について以下に詳説する。図４（ａ）は、画像処理用集積回路１を備えた携帯型通信端末機が画像信号を受信している「通信モード（第１モード）」時の状態を示す模式図、同図（ｂ）は、当該携帯型通信端末機が画像信号を受信していない「通信待機モード（第２モード）」時の状態を示す模式図である。また図２は通信モード時の状態、図３は通信待機モード時の状態をそれぞれ示す機能ブロック図である。
【００２１】
画像処理用集積回路１が前記通信モードにある時、図２に示すようにクロック生成器１６は携帯電話制御部１８の制御により画像処理用集積回路１すなわち画像処理部２に動作クロック信号ＣＬＫを供給しており、上記周辺回路インターフェース３に組み込まれているレジスタ３Ａは、伝送路ＴBを選択させる選択制御信号ＳＬ１をマルチプレクサ４に出力している。よってこの時、マルチプレクサ４は伝送路ＴBと画像表示装置１４との間を接続する。図１と図２に示すように上記送受信部２２で受信した通信データは、符号化された音声データ（以下、符号化音声データと呼ぶ。）と符号化された画像データ（以下、符号化画像データと呼ぶ。）とに分離され、周辺回路インターフェース３に出力される。その後、符号化画像データは、ＣＰＵ・バスＢ１からキャッシュ・メモリ８を介してメモリ・バスＢ２に転送され画像処理部２に出力される。そして、その符号化画像データはビデオ・コーデック回路２Ｂで復号化された後に、フィルタリング回路２Ｃでフィルタリングされてマルチプレクサ４を介して画像表示装置１４に出力される。また、携帯電話制御部１８は所定の制御プログラムに従ってキャラクタ・データを生成し、このキャラクタ・データは画像処理部２からマルチプレクサ４を介して画像表示装置１４へ出力される。ここで、前記キャラクタ・データは、携帯電話制御部１８で生成する代わりに送受信部２２で受信された通信データでもよい。尚、前記符号化音声データは音声信号処理回路６を介して音声コーデック１２に転送後、復号化されてスピーカ１９から音声出力される。
【００２２】
このように、上記通信モード時では、画像処理用集積回路１には動作クロック信号ＣＬＫが供給されており、図４（ａ）に示すように、符号化画像データおよびキャラクタ・データは画像処理部２に入力し、符号化画像データは動画像データに復号化されフィルタリング処理を受けて画像表示装置１４に出力され、キャラクタ・データは画像処理部２を通して画像表示装置１４に出力される。画像表示装置１４の表示画面２１には、そのキャラクタ・データに対応する文字または記号を表示させる文字表示領域２１ｃ、動画像を表示させる画像表示領域２１ｂ、そしてキャラクタ・データを基にして受信レベルや日時情報、バッテリー容量の残量などを表示する表示領域２１ａが設定されており、画像表示領域２１ｂに動画像が表示されると共に、文字表示領域２１ｃや表示領域２１ａにキャラクタ・データのコードに対応する文字や記号などが表示される。
【００２３】
また上記通信モード時において、上記キャラクタ・データを、インターフェース９を介してメモリ１３に転送し蓄積してもよい。メモリ１３に、画像表示装置１４における所定の表示領域に対応した複数種類のデータを蓄積しておくと、携帯電話制御部１８がメモリ１３上の読出しアドレスを指定するだけで、当該読出しアドレスに対応した表示データ（キャラクタ・データ）をメモリ・バスＢ２とマルチプレクサ４とを介して画像表示装置１４に転送し表示することが可能となる。
【００２４】
尚、固体撮像素子１１で撮像した画像データを送受信部２２から無線伝送してもよい。すなわち、固体撮像素子１１で撮像した画像データをフィルタリング回路２Ａで取り込み、ビデオ・コーデック回路２Ｂで符号化された画像データ（符号化画像データ）を生成する。その符号化画像データは、周辺回路インターフェース３を介して携帯電話制御部１８に出力後、送受信部２２で通信データに変換されて伝送される。
【００２５】
他方、画像処理用集積回路１が上記通信待機モードにある時、図３に示すように携帯電話制御部１８はレジスタ３Ａの設定内容を書き換えることで、マルチプレクサ４に伝送路ＴAを選択させ、伝送路ＴAと画像表示装置１４とを接続させるように制御する。また、携帯電話制御部１８はクロック生成器１６を制御して画像処理用集積回路１への動作クロック信号の供給を停止させるように制御する。この時、周辺回路インターフェース３とマルチプレクサ４とは、クロック生成器１６から動作クロック信号の供給を受けなくても動作する。よって、携帯電話制御部１８は周辺回路インターフェース３およびバスＢ１，Ｂ２を介してマルチプレクサ４にキャラクタ・データを転送し、マルチプレクサ４は入力端子Ａに入力するそのキャラクタ・データを画像表示装置１４に出力できる。そして図４（ｂ）に示すように、画像表示装置１４における表示画面２１上の表示領域２１ａ，２１ｃは、そのキャラクタ・データを基にした文字や記号などを表示する。
【００２６】
尚、図４（ａ），（ｂ）で示した画像表示装置１４の表示画面では、動画像の表示領域２１ｂとキャラクタ・データに対応する文字や記号などの表示領域２１ａ，２１ｃとは固定されているが、本発明ではこれに限らず、画像表示装置１４の表示画面上の任意領域において、例えばキャラクタ・データに対応する文字や記号などを表示する画素領域以外の領域に透明色を指定し、その透明色を指定した画素領域に動画像を多重表示させるように画像表示装置１４を制御しても構わない。
【００２７】
また、以上の実施の形態では、通信待機モード時に画像処理用集積回路１への動作クロック信号の供給を停止しているが、本発明では通信待機モード時に限らず、画像処理部２で画像処理を行わない期間中は、画像処理用回路１への動作クロック信号の供給を停止し且つマルチプレクサ４に入力する伝送路を伝送路ＴAに切り換えるように制御することができる。これにより、画像処理用回路１の電力消費量をより一層低減できる。
【００２８】
このように上記画像処理用集積回路１では、通信待機モード時などの、画像処理部２で画像処理がなされない期間中は当該画像処理部２に動作クロック信号を供給せずに画像処理部２の動作を停止させ、通信モード時などの画像処理部２で画像処理する期間のみに当該画像処理部２に動作クロック信号を供給することができるため、画像処理用集積回路１の全体の電力消費量が低減される。
【００２９】
また、上記周辺回路インターフェース３およびマルチプレクサ４は、動作クロック信号を供給されなくても動作するため、画像処理用集積回路１全体への動作クロック信号の供給を停止させても、レジスタ３Ａから選択制御信号ＳＬ１を受けたマルチプレクサ４は当該画像処理部２を迂回する伝送路ＴAを選択でき、画像データ以外のキャラクタ・データを画像表示装置１４に出力し表示させることができる。従って、電源容量が制限された携帯型通信端末機の連続使用時間を大幅に延ばすことが可能となる。
【００３０】
【発明の効果】
以上の如く、請求項１に係る画像処理用集積回路によれば、符号化された画像データを受信しているときには、当該画像データを復号化して動画像データを求め、これを画像表示部に伝送することができる。他方、符号化された画像データを受信していないときには、予めメモリに記録された表示データを表示するので、画像処理部の動作は不要であり、動作クロック信号を停止することができる。よって電力消費の低下を享受できる。
【００３１】
また請求項２に係る画像処理用集積回路によれば、動画像データを表示しているときは、画像処理部が画像処理を行うので動作クロックが必要であるが、動画像データを表示しない場合には動作クロックの供給は不要である。しかも迂回伝送路からは動作クロックなしにキャラクタ・データが画像表示部に与えられる。よって動画像データを表示するときだけ動作クロックが必要となり、キャラクタ・データだけを表示するときには動作クロックが不要となる。よって電力消費の低下を享受できる。また、動画像データを表示していないときに、上記マルチプレクサは動作クロック信号なしに動作して上記迂回伝送路を選択し、その迂回伝送路から伝達される表示データを上記画像表示部に向けて確実に転送し表示させることが可能となる。
【００３２】
また請求項３に係る画像処理用集積回路よれば、動画像データを表示していないときに、レジスタは、上記マルチプレクサと同様に、動作クロック信号なしに動作して請求項１記載のマルチプレクサに対し上記迂回伝送路を選択する旨の選択制御信号を出力できる。このため、上記マルチプレクサは上記迂回伝送路を選択して、表示データを確実に画像処理部に出力することが可能となる。また動画像データを表示しないときは、上記画像処理部のみならず画像処理用集積回路全体への動作クロック信号の供給を停止しても上記マルチプレクサやレジスタは動作するため、電力消費量を更に低減させることが可能となる。
【００３３】
そして請求項４に係る画像処理用集積回路によれば、特に上記画像処理部が比較的電力消費量の多い動画像データの符号化手段と復号化手段とを有する場合でも、画像処理用集積回路の消費電力を大幅に低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る携帯型通信端末機の画像処理用集積回路の概略構成を示す機能ブロック図である。
【図２】実施の形態に係る画像処理用集積回路を簡略化した構成を示す機能ブロック図である。
【図３】実施の形態に係る画像処理用集積回路を簡略化した構成を示す機能ブロック図である。
【図４】（ａ）は、実施の形態に係る画像処理用集積回路を搭載した携帯型通信端末機が通信モード時にある状態を示す模式図、（ｂ）は、その携帯型通信端末機が通信待機モード時にある状態を示す模式図である。
【符号の説明】
１ 画像処理用集積回路
２ 画像処理部
４ マルチプレクサ
１４ 画像表示装置
１６ クロック生成器
１８ 携帯電話制御部
Claims (4)
- メモリ及び画像表示部を備えた携帯型通信端末機に搭載される画像処理用集積回路であって、
動作クロック信号を供給されて動作し、符号化された画像データを復号して得られた動画像データと、前記動画像データとは別に、予め前記メモリに記録された表示データとを前記画像表示部に向けて出力する画像処理部と、
前記表示データを、前記画像処理部を迂回して前記画像表示部に向けて伝送する迂回伝送路と、
を備え、
前記符号化された画像データを受信しているときに、前記動画像データおよび前記表示データを前記画像表示部に向けて出力し、
前記符号化された画像データを受信していないときに、前記画像処理部への前記動作クロックの供給を停止することを特徴とする画像処理用集積回路。 - 携帯型通信端末機に搭載される画像処理用集積回路であって、
動作クロック信号を供給されて動作し画像処理した動画像データおよびキャラクタ・データを画像表示部に向けて出力する画像処理部と、
前記画像処理部を迂回して前記画像表示部に表示する前記キャラクタ・データを前記画像表示部に向けて伝送する迂回伝送路と、
外部の制御部の制御によって、（ｉ）前記動画像データを表示するときに、前記画像処理部から前記動画像データおよび前記キャラクタ・データが出力される伝送路を選択して前記画像表示部に接続し、且つ（ｉｉ）前記動画像データを表示しないときに、動作クロック信号なしに動作し前記迂回伝送路を選択して前記画像表示部に接続する、マルチプレクサと、
を備え、
前記動画像データを表示しないときには、前記画像処理部への前記動作クロックの供給を停止することを特徴とする画像処理用集積回路。 - 請求項２記載の画像処理用集積回路であって、動作クロック信号なしに動作し、前記制御部から伝達される信号により設定内容を書き換えられて前記マルチプレクサに対して前記伝送路と前記迂回伝送路との何れか一方を選択せしめる選択制御信号を出力するレジスタ、をさらに備える画像処理用集積回路。
- 請求項２または請求項３に記載の画像処理用集積回路であって、
前記画像処理部は動画像データの符号化手段および復号化手段を有し、該復号化手段で復号化した動画像データを前記画像表示部に向けて出力する、画像処理用集積回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001007730A JP3927367B2 (ja) | 2001-01-16 | 2001-01-16 | 画像処理用集積回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001007730A JP3927367B2 (ja) | 2001-01-16 | 2001-01-16 | 画像処理用集積回路 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002218539A JP2002218539A (ja) | 2002-08-02 |
| JP2002218539A5 JP2002218539A5 (ja) | 2005-06-16 |
| JP3927367B2 true JP3927367B2 (ja) | 2007-06-06 |
Family
ID=18875446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001007730A Expired - Fee Related JP3927367B2 (ja) | 2001-01-16 | 2001-01-16 | 画像処理用集積回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3927367B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003223236A (ja) * | 2002-01-30 | 2003-08-08 | Matsushita Electric Ind Co Ltd | データ処理システム |
| JP2010016888A (ja) * | 2002-10-01 | 2010-01-21 | Seiko Epson Corp | 印刷装置、印刷方法、プログラムおよび印刷システム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06232797A (ja) * | 1993-01-29 | 1994-08-19 | Murata Mach Ltd | 携帯電話機 |
| JPH06233289A (ja) * | 1993-02-02 | 1994-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信端末 |
| JPH08149178A (ja) * | 1994-11-25 | 1996-06-07 | Canon Inc | 複合通信端末装置および複合通信端末装置の通電制御方法 |
| JP3631868B2 (ja) * | 1996-12-20 | 2005-03-23 | 株式会社東芝 | 動きベクトル検出装置および方法 |
| JP3719482B2 (ja) * | 1998-07-29 | 2005-11-24 | 株式会社デンソー | 無線通信装置 |
| JP2001306196A (ja) * | 2000-04-26 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 画像処理集積回路及び画像通信装置及び画像通信方法 |
| JP2002027145A (ja) * | 2000-07-05 | 2002-01-25 | Toshiba Corp | 無線通信端末 |
-
2001
- 2001-01-16 JP JP2001007730A patent/JP3927367B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002218539A (ja) | 2002-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4993856B2 (ja) | 画像変換装置、画像変換のための直接メモリアクセス装置および画像変換を支援するカメラインターフェース | |
| US20090041363A1 (en) | Image Processing Apparatus For Reducing JPEG Image Capturing Time And JPEG Image Capturing Method Performed By Using Same | |
| JP2005150985A (ja) | 画像情報処理システムおよび画像情報処理方法 | |
| JP2005025582A (ja) | 携帯端末装置 | |
| KR100663380B1 (ko) | 촬상 장치 및 영상 신호 생성 방법 | |
| JP2009194720A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| CN100551008C (zh) | 进行视频处理的装置和方法 | |
| JP3927367B2 (ja) | 画像処理用集積回路 | |
| JP2007147901A (ja) | 携帯情報端末 | |
| US7675545B2 (en) | Camera module having image processing procedure and method for integrating the same with host | |
| JP2001238189A (ja) | 画像処理装置及び該装置における動作制御方法 | |
| JP3359526B2 (ja) | デジタル電子カメラ | |
| JP4773533B2 (ja) | インターリーブされた映像データの高速抽出を可能にするシステム及び方法 | |
| JP4540422B2 (ja) | 半導体集積回路及び撮像装置 | |
| KR20050004810A (ko) | 촬영된 이미지 표시 장치 및 촬영된 이미지 표시 방법 | |
| JP2005110157A (ja) | カメラ付き携帯電話機および電源制御方法 | |
| JP4003919B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP4265204B2 (ja) | テレビ電話機能付き情報通信端末とテレビ電話表示切替方法 | |
| US7750954B2 (en) | Camera control device | |
| JP2002290547A (ja) | 画像処理用集積回路の制御方法 | |
| JPH10224523A (ja) | 情報処理システム、伝送装置、および、伝送方法 | |
| JP2004180040A (ja) | 携帯端末装置及び信号制御回路 | |
| JP2002023896A (ja) | 電子機器及びその制御方法 | |
| KR101276875B1 (ko) | 썸네일 표시가 가능한 휴대용 단말기 및 그의 썸네일 표시방법 | |
| JPH10210335A (ja) | デジタル電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070302 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3927367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160309 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |