JP4138425B2 - 画像表示装置および方法 - Google Patents

画像表示装置および方法 Download PDF

Info

Publication number
JP4138425B2
JP4138425B2 JP2002279817A JP2002279817A JP4138425B2 JP 4138425 B2 JP4138425 B2 JP 4138425B2 JP 2002279817 A JP2002279817 A JP 2002279817A JP 2002279817 A JP2002279817 A JP 2002279817A JP 4138425 B2 JP4138425 B2 JP 4138425B2
Authority
JP
Japan
Prior art keywords
image
data
dimensional
reduced
reduced image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002279817A
Other languages
English (en)
Other versions
JP2004120246A (ja
Inventor
博康 濱村
芳夫 梅田
珠幾 中村
端 内海
敏男 野村
典男 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2002279817A priority Critical patent/JP4138425B2/ja
Priority to EP03021055A priority patent/EP1404109A3/en
Priority to US10/663,742 priority patent/US7098939B2/en
Priority to KR1020030065757A priority patent/KR100559954B1/ko
Priority to CNB031598102A priority patent/CN1245035C/zh
Publication of JP2004120246A publication Critical patent/JP2004120246A/ja
Application granted granted Critical
Publication of JP4138425B2 publication Critical patent/JP4138425B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は画像表示装置および方法に関し、特に、立体画像のフォーマットに従うデータに基づく画像を表示する画像表示装置および方法に関する。
【0002】
【従来の技術】
従来より立体画像(以下、3D(3−Dimensional)画像という)を表示するのに、液晶表示部に表示用液晶パネルとスリット用の液晶表示パネルを一体的に用いたものが提供されている(たとえば、特許文献1参照)。
【0003】
また、同一画面内で3D画像と平面画像(以下、2D(2−Dimensional)画像という)とを同時に表示する装置が提供されている(たとえば、特許文献2参照)。
【0004】
【特許文献1】
特開平5−122733号公報の明細書と図面
【0005】
【特許文献2】
特開平7−236164号公報の明細書と図面
【0006】
【発明が解決しようとする課題】
最近は、2D画像および3D画像を含む各種のフォーマットの画像データが同時に取扱われつつあるので、画像表示機能を有する機器においてもこれら複数種類のフォーマット画像データが混在して格納されることになる。格納されている複数種類のフォーマットの画像データをメニュー形式の一覧表示をする場合には、その画像ファイル名を表示するよりも、そのイメージを縮小して表示するという、いわゆるサムネイルによる一覧が便利である。
【0007】
しかしながら、従来はこのようなサムネイル表示の際に3D画像フォーマットに従うデータによるサムネイル画像を表示する装置は提案されていなかった。
【0008】
それゆえにこの発明の目的は、対象画像について3D画像のフォーマットに従うデータに基づいて縮小画像を表示することが可能な画像表示装置および方法を提供することである。
【0009】
【課題を解決するための手段】
この発明のある局面に従うと、画像表示装置は表示部と、対象画像を立体視するための左目用画像と右目用画像とからなる3次元画像のデータに基づいて、対象画像を縮小した縮小画像を作成する3次元縮小画像作成手段と、作成された縮小画像を表示部に表示する縮小画像表示手段とを備える。
【0010】
この3次元縮小画像作成手段は、対象画像が縮小画像のサイズを満たすように、3次元画像データの左目用画像と右目用画像とのデータを縮減する縮減手段を有する。
【0011】
したがって、対象画像の3次元画像データの左目用画像と右目用画像とのデータを縮減することにより、対象画像が3次元画像のフォーマットに従うデータであったとしても縮小画像を作成して、表示することができる。
【0012】
上述の画像表示装置においては好ましくは、表示部において画像は2次元画像として視認される。
【0013】
したがって、2次元画像として視認されるように画像を表示する表示部において、対象画像が3次元画像のフォーマットに従うデータであったとしても縮小画像を表示できる。
【0014】
上述の縮減手段は好ましくは、左目用画像と右目用画像とのデータから、対象画像の縮小画像のサイズを超える分のデータをカットするサイズカット手段を有する。
【0015】
したがって、左目用画像と右目用画像とのデータの縮小画像のサイズを満たすための減縮は、対象画像の縮小画像のサイズを超える分のデータをカットすることによりなされるから、容易に縮小画像を作成できる。
【0016】
上述の画像表示装置において好ましくは、左目用画像と右目用画像とのデータはビットマップデータであって、縮減手段は、ビットマップデータを複数個のマトリックスのデータに分割したときの、各マトリックスにおける代表値を抽出して、抽出された代表値により左目用画像と右目用画像とのデータを構成する。
【0017】
したがって、縮小画像に対応の左目用画像と右目用画像とのデータは、元の対象画像の左目用画像と右目用画像とのデータの各マトリックスの代表値により構成される。それゆえに、作成された縮小画像は、縮小されてはいるが元の対象画像を忠実に再現する。
【0018】
上述の画像表示装置は好ましくは、対象画像の2次元画像のデータに基づいて、対象画像を縮小した縮小画像を作成する2次元縮小画像作成手段をさらに備える。
【0019】
したがって、対象画像が2次元画像のフォーマットに従うデータであったとしても縮小画像を作成して、表示することができる。
【0020】
上述の3次元画像データは好ましくは、外部から与えられたデータおよび対象画像の2次元画像データに基づいて作成されたデータのいずれかである。
【0021】
したがって、対象画像の3次元画像データを外部から取得したり、対象画像の2次元画像データに基づいて内部において作成して取得したりできる。それゆえに、対象画像の3次元画像データの取得先を多様に持つことができる。
【0022】
上述の縮小画像表示手段は好ましくは、縮小画像とともに、当該縮小画像は3次元画像のデータに基づいて作成されたデータであるか否かの情報を表示する。
【0023】
したがって、表示部に表示される縮小画像は、3次元画像データからなるものか否か、すなわち3次元画像データからなるものか、それとも2次元画像データからなるものかを報知できる。
【0024】
上述の2次元画像データは好ましくは、被写体を撮影して出力された画像データであるから、被写体を撮影して出力された2次元画像のデータから、被写体の3次元画像のデータを取得して、その縮小画像を表示できる。
【0025】
上述の画像表示装置は好ましくは、作成された複数の縮小画像のデータそれぞれと該縮小画像データの作成の元となった画像データとを対応付けて格納可能なデータ格納手段をさらに備えて、縮小画像表示手段は、データ格納手段に格納された複数の縮小画像のデータに基づいて、表示部に複数の縮小画像を一覧表示する。
【0026】
したがって、作成された縮小画像データを作成の基となった画像データと対応付けてをデータ格納手段に格納すると、格納された複数の縮小画像データによる複数の縮小画像は表示部に一覧表示される。
【0027】
それゆえに、一覧表示された縮小画像を確認することで、対応の画像データにより示される複数の対象画像を一目で確認できる。
【0028】
上述の画像表示装置は、携帯型機器に搭載されてもよい。また、このような携帯機器は携帯型電話機であってもよい。
【0029】
この発明の他の局面に従うと画像表示方法は、対象画像を立体視するための左目用画像と右目用画像とからなる3次元画像のデータに基づいて、対象画像を縮小した縮小画像を作成する3次元縮小画像作成ステップと、作成された縮小画像を表示する縮小画像表示ステップとを備えて、3次元縮小画像作成ステップは、対象画像が縮小画像のサイズを満たすように、3次元画像データの左目用画像と右目用画像とのデータを縮減する縮減ステップを有する。
【0030】
したがって、対象画像の3次元画像データの左目用画像と右目用画像とのデータを縮減することにより、対象画像が3次元画像のフォーマットに従うデータであったとしても縮小画像を作成して、表示することができる。
【0031】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して説明する。
【0032】
図1には、この発明の実施の形態によるカメラ付携帯電話機(以下、携帯電話と略す)1のブロック構成が示されて、図2と図3には携帯電話1の外観が示される。図2と図3を参照して携帯電話1は、被写体を撮影して画像データを出力するカメラ部3、液晶などからなる表示部10、カメラ部3を起動させるために操作されるカメラキー11、カメラ部3によるシャッタ動作のためおよび撮影して得られた画像データを保存するために操作されるシャッタボタン12、通信のためのアンテナ15およびモードボタン19を備える。なお、各種操作のためのボタンやキーの種類および配置はこれに限定されない。例えば、表示部10に表示される操作メニューの中から操作すべき項目を選択するようにしてもよい。
【0033】
図1を参照して携帯電話1は、各部を制御するためにCPU(Central Processing Unit)などのマイクロプロセッサからなる制御部2、CCD(Charge Coupled Device)16を含むカメラ部3、RAM(Random Access Memory)からなる作業用メモリ4、圧縮処理部20を有して画像データを圧縮処理部20でエンコード(圧縮)して保存処理するための保存処理部5、画像に関するデータをイメージに展開(デコード)するための展開処理部6、フラッシュメモリからなる保存用メモリ7、RAMからなる表示用メモリ8、表示ドライバ部9、表示部10、カメラキー11、シャッタボタン12およびモードボタン19、アンテナ15を介した通信のための通信制御部13および無線部14、2D画像フォーマットと3D画像フォーマット間でのフォーマット変換をする変換部21を備える。図1中、太線は画像のデータの流れを示す。
【0034】
表示部10は、たとえば特開平5−122733号公報に示されるように、スリット用の液晶デバイスが用いられる。したがって、スリット用液晶デバイスをON駆動すると、表示部10に3D画像のフォーマットに従う画像データが表示された場合に、画像を立体視させることができる。表示部10は2D画像表示向けとするのにスリット用液晶デバイスの駆動がOFFされる2Dモードと3D画像表示向けとするのにスリット用液晶デバイスをON駆動する3Dモードとのいずれかに切換される。このモード切換はモードボタン19の操作により行われる。モードボタン19の操作に応じた表示部10の2Dモード/3Dモードの切換は制御部2によりなされる。
【0035】
本実施の形態では、カメラ部3で撮影されて出力された画像データなどの各種の画像データは、保存用メモリ7に格納されて保存することができる。保存用メモリ7の保存された画像データを一覧表示するときには、図4に示されるように表示部10において各画像データに従う画像が縮小画像の、いわゆるサムネイルにて一覧表示される。表示部10において保存用メモリ7の画像データがサムネイルにて一覧表示されるとき、1画面においてサムネイルの画像はサムネイルデータ位置SD(1)〜SD(9)の順番に表示される。サムネイルが9個を超える場合には、次の画面をリクエストすることにより、残りのサムネイルを図4のように一覧表示することができる。
【0036】
図5(A)と(B)、図6、7(A)〜(D)および図8には画像データをサムネイル表示可能に保存するための一連の手順が示されて、図9(A)と(B)および図10(A)と(B)には作業用メモリ4と保存用メモリ7の画像保存のためのデータ構造の一例が示される。
【0037】
ここで図9(A)と(B)を参照して作業用メモリ4と保存用メモリ7における画像保存のためのデータ構造について説明する。図9(B)に示すように保存用メモリ7には保存されてサムネイルにて一覧表示される画像データのそれぞれについて、保存順に従いデータグループGi(i=1、2、3、…、n)が格納される。データグループGiは、対応の保存画像を一意に特定するための画像番号データDX、管理情報50、サムネイル画像データ60およびサムネイル画像データを作成するための元となった元画像データ70を対応付けて有する。管理情報50は、対応の元画像データ70が2D画像フォーマットに従うものか3D画像フォーマットに従うものかの別を示すための2D/3D種別データ51、対応画像データについての著作権情報52および次位に格納される(次位の保存順である)画像のデータグループG(i+1)を指定するポインタ情報である次の画像ポインタ53を含む。したがって、次の画像ポインタ53をたどることにより保存順に従い連続的にデータグループGiをアクセスすることができる。
【0038】
図9(B)ではデータグループG2においては元画像データ70は3D画像フォーマットに従い立体表示可能なように左目用画像データLと右目用画像データRからなり、データグループG3においては元画像データ70は2D画像フォーマットに従う1つの画像データからなる。
【0039】
上述の保存用メモリ7はフラッシュメモリからなるので、その内容を検索するのには比較的時間を要する。そこで、高速検索を可能ならしめるために、検索スピードに優れるRAMの作業用メモリ4を利用する。図9(A)に示すように作業用メモリ4には保存用メモリ7に格納される管理情報50を集約して管理する管理情報テーブルTBが格納される。管理情報テーブルTBには、保存用メモリ7に格納可能な最大のデータグループGiの数だけの、たとえば1000個の参照用情報D(j)j=1、2、3、…、1000)を有する。
【0040】
参照用情報D(j)は画像番号データDX、画像種別データ40、2D/3D種別データ41、著作権情報42および次の画像番号ポインタ43を含む。参照用情報D(j)は、その中の画像番号データDXで示されるデータグループGiが保存用メモリ7の領域を使用して格納されているときは、該データグループGiの管理情報50に基づく内容を示すが、領域を使用していない(格納されていない)時は“未使用”を示す。画像種別データ40は、対応のデータグループGiの元画像データ70とサムネイル画像データ60の圧縮用フォーマットを示す。画像種別データ40を除く他のデータ41〜43は先のデータ51〜53と同様なので説明は省略する。
【0041】
図9(A)の作業用メモリ4では、先頭のすなわち保存順が最も新しいデータグループGiに対応の参照用情報D(j)はポインタPNにより指示される。
【0042】
したがって、保存用メモリ7からデータグループGiの内容を参照する(読出す)場合には、まず、ポインタPNにより先頭の参照用情報D(j)が検索され、検索された参照用情報D(j)が示す画像番号データDXを特定し、特定された画像番号データDXに基づいて、保存用メモリ7から先頭の、すなわち最も最近に保存されたデータグループGiの内容(管理情報50、サムネイル画像データ60および元画像データ70)を読出すことができる。
【0043】
次に、表示対象となる被写体画像のような対象画像の画像データを、サムネイル表示可能に保存する手順について図5(A)と(B)のフローチャートに従い説明する。ここでは、2D画像のフォーマットに従う画像データは、カメラ部3により撮影して出力された2D画像のデータとして取得し、3D画像のフォーマットに従う画像データは保存用メモリ7に保存されている2D画像フォーマットに従う元画像データ70を読出して、所定手順に従い変換部21により変換することにより取得していると想定する。
【0044】
図5(A)には2D画像データの取得手順が示される。まずカメラキー11が押下されるとカメラ部3が起動される(ステップS(以下、単にSと略す)1)。カメラ部3により被写体を撮影すると、取込まれた被写体像による2D画像のフォーマットに従う画像データは作業用メモリ4を介して表示用メモリ8に格納されるので、表示ドライバ部9は表示用メモリ8から読出される画像データに従い表示部10に2D画像フォーマットに従う被写体の画像を表示する。このとき、表示部10はモードボタン19の切換操作により2D表示モードにあると想定する。
【0045】
表示された画像を確認したユーザが該画像の保存を希望してシャッタボタン12を押下すると(S2)、シャッタボタン12が押下されたときに撮影されてカメラ部3から出力されている被写体の2D画像のフォーマットに従う画像データ(以下、撮影画像データという)は制御部2により作業用メモリ4に書込まれて、一時的に格納されるとともに、表示用メモリ8に格納される(S3)。表示用メモリ8に格納された撮影画像データに基づく画像は表示ドライバ部9を介して表示部10に表示されて、表示された撮影画像を確認したユーザが再度、シャッタボタン12を押下すると、サムネイル表示可能なように保存処理部5により撮影画像データの保存処理が行われる(S5)。
【0046】
図6に、保存処理の手順が示される。保存処理部5は、作業用メモリ4に一時的に格納された画像データからサムネイル画像データ60を作業用メモリ4において作成する(S10)。
【0047】
サムネイル画像作成処理(S10)の手順は図7(A)のフローチャートに示される。ここでは撮影画像データに基づいて該データは2D画像フォーマットに従うと判定されるので(S11aで“2D”)、撮影画像データは作業用メモリ4の2D画像のビットマップに配置される(S11b)。その後、撮影画像データに基づいてサムネイル画像のサイズ以下の画像、すなわちサムネイル画像を作成する(S13)。
【0048】
図7(A)のS13の処理を、図8のサムネイルサイズカットシーケンスを参照して説明する。ここでは、作業用メモリ4のビットマップのサムネイル作成の元となる元画像データの画像については横サイズXであり縦サイズYであると想定し、サムネイルについては最大横サイズxであり最大縦サイズyであると想定する。
【0049】
まず、元画像データについての横サイズXと縦サイズYのそれぞれと、サムネイルの最大横サイズxと最大縦サイズyのそれぞれとを比較して(S20、S21、S25)、X>xであり、かつY>yであれば(S20でYES、S21でYES)元画像データの画像の大きさが図中斜線で示されるサムネイルの縦および横の最大サイズを超えているので(S22)、元画像データを、横サイズXが最大横サイズxに一致するように、元画像データについての横サイズXと縦サイズYの比率を変えずに縮減し、さらに、縦方向について最大縦サイズyを超えた部分のデータをカットする(S23)。これにより、元画像データからサムネイルのためのサムネイル画像が作成される(S28)。
【0050】
ここでの縮減は、例えば次のようにしてもよい。つまり、元画像データを構成するビットマップデータを複数個のマトリックス状のビット群に分割して、分割された各マトリックスのビット群の平均値を、そのマトリックスの代表値として採用して、元画像データを採用された代表値から構成するようにして縮減してもよい。この場合には、代表値の集合でサムネイル画像が作成されるから、サムネイル画像は元の画像を忠実に再現するものとなる。
【0051】
また、X>xであり、かつY≦yであれば(S20でYES、S21でNO)、元画像データの横サイズXについてサムネイルの最大横サイズxを超える部分のデータについてカットされ(S24)、サムネイル画像が作成される(S28)。
【0052】
また、X≦xであり、かつY>yであれば(S20でNO、S25でYES)、元画像データの縦サイズYについてサムネイルの最大縦サイズyを超える部分のデータについてカットされ(S26)サムネイル画像が作成される(S28)。
【0053】
また、X≦xであり、かつY≦yであれば(S20でNO、S25でNO)、元画像データの縦および横のサイズがサムネイルのそれに満たないので(S27)縮減およびカットの必要はなく、元画像データそれ自体がサムネイル画像となる(S28)。以上の手順で図6のサムネイル画像の作成が終了する(S10)。
【0054】
上述した元画像データからサムネイル画像データ作成には、サムネイルのサイズを満たすように、サイズを超える分のデータはカットするという手順が採用されるから、簡単にサムネイルを作成できる。
【0055】
保存処理部5は、元画像データとS10で作成したサムネイル画像のデータとを圧縮処理部20によりエンコードし、そして保存用メモリ7の格納可能な領域を検索するために画像番号データDXに1を設定する(S30)。次に、作業用メモリ4で画像番号データDXで指示される参照用情報D(j)が“未使用”を示すか否かを判定する。“未使用”でなければ(S31でNO)、画像番号データDXを1インクリメントして(S32)、インクリメントされた画像番号データDXで指示される参照用情報D(j)について同様に“未使用”か否か判定する。
【0056】
このように画像番号データDXをインクリメントしながら、作業用メモリ4から“未使用”を示す参照用情報D(j)の画像番号データDXを見つけ出す。図9(A)の場合は、参照用情報D(1)が“未使用”を示すと判定されるので、“未使用”の画像番号データDXとして“1”が判定される。
【0057】
上述のようにして、作業用メモリ4を検索して、保存用メモリ7の“未使用”の領域に対応の画像番号データDXが特定されると、保存用メモリ7の当該画像番号データDXに対応の領域に、エンコード(圧縮)した元画像データ70およびサムネイル画像データ60、ならびに管理情報50を含むデータグループGiを書込んで記憶する。この管理情報50においては、2D/3D種別データ51、著作権情報52および次の画像ポインタ53を書込む(S33)。このとき、記憶された元画像データ70およびサムネイル画像データ60はカメラ部3により撮影することにより得られた2D画像フォーマットに従うものなので、対応の管理情報50においては2D/3D種別データ51は“2D”が、および著作権情報52は“なし”がそれぞれ書込まれる。
【0058】
次に、作業用メモリ4において、現在の画像番号データDXに対応した参照用情報D(j)に、画像種別データ40は“JPEG”(Joint Photographic Experts Group)が、2D/3D種別データ41は“2D”が、著作権情報42には“なし”が書込まれ、そして次の画像番号ポインタ43が書込まれる(S34)。ここで、次の画像番号ポインタ43に現在のポインタPNの値を書込む。その後ポインタPNを現在の画像番号データDXを示すように更新する(S35)。
【0059】
このようにして、図9(A)と(B)の状態から新規の画像データが、すなわちデータグループG1が追加して保存された後のメモリの状態が図10(A)と(B)において示される。
【0060】
ここでサムネイル表示可能に保存される画像データが3Dフォーマットに従う3D画像データである場合について説明する。図5(B)に示すように3D画像フォーマットに従う画像データを取得する(S1a)。具体的には、制御部2は、上述の手順で保存された2D画像フォーマットに従う元画像データ70(データグループG1またはG3の元画像データ70)のうち指定された元画像データ70を保存用メモリ7から変換部21に読出して、変換部21はこれを入力して3D画像フォーマットに従う画像データ、すなわち視差のある左目用画像データLと右目用画像データRとからなる画像データに変換して作業用メモリ4に出力する。これにより3D画像フォーマットに従う画像データが取得される。
【0061】
その後、図6の保存処理(S5)が行なわれる。保存処理では、まずサムネイル作成処理(S10)が行なわれる。
【0062】
図7(A)にサムネイル作成処理では、取得された画像データに基づいて、該画像データは3D画像フォーマットに従うと判定されるので(S11aで“3D”)、取得された画像データは作業用メモリ4の所定大きさの3D画像のためのビットマップに、対応の左目用画像データLと右目用画像データRが図7(B)のように左側と右側とに隣接して立体視のために配置される(図7(A)のS12)。図7(B)の画像データはサムネル画像の作成の元となる元画像データである。
【0063】
そして、図7(B)の元画像データについて表示部10に表示されるサムネイルのサイズを満たす大きさの画像のデータとなるように図7(C)で編集され、図7(D)のようなサムネイル画像が作成される(S13)。具体的には、元画像データが3D画像フォーマットに従う場合には、図7(B)と(C)のように左目用画像データLと右目用画像データRとが隣接して配置された元画像データの画像について縦サイズYおよび横サイズXと想定し、サムネイルについては最大縦サイズyおよび最大横サイズxであると想定する。そして、図8の手順に従い前述と同様にサイズカットによる縮減または代表値を用いた縮減がなされて、図7(D)のようなサムネイル画像を得ることができる。
【0064】
その後、図7(B)の元画像データと図7(D)のサムネイル画像のデータは図6のS30〜S35において前述と同様の手順に従い保存用メモリ7の未使用の領域のデータグループGiにおいて対応付けて格納される。保存された対応の元画像データ70は、すなわち図7(B)の画像のデータは3D画像フォーマットに従うので、対応の2D/3D種別データ41(51)は“3D”を示すことになる。
【0065】
次に、上述のようにして保存されたサムネイル画像データによるサムネイルの一覧表示手順について図11のフローチャートに従い説明する。なお、ここではモードボタン19の操作により表示部10は2D表示モードであると想定しサムネイル画像の一覧表示では図4に示されるように9個のサムネイル画像を1画面にて表示可能と想定する。
【0066】
まず、作業用メモリ4において先頭の画像番号データDXを示すポインタPNの値を読出して表示されるサムネイル画像をカウントするための変数Iに1を設定し(S40)、読出されたポインタPNの値が有効な画像番号データDXの値を示すか否か判定する(S41)。有効な画像番号データを示していないと判定された場合は、または変数Iが表示可能なサムネイル数(=9)以下でない、すなわち越えていると判定された場合は(S41でNOまたはS42でNO)、一連の処理は終了する。
【0067】
そうでない場合は(S41でYESかつS42でYES)、ポインタPNが示す先頭の画像番号データDXを作業用メモリ4において検索して、検索結果得られた先頭の画像番号データDXに対応した保存用メモリ7のデータグループGiのサムネイル画像データ60を、作業用メモリ4に読出す(S43)。
【0068】
そして、展開処理部6は、作業用メモリ4に読出されたサムネイル画像データ60を対応の画像種別データ40が示す圧縮フォーマットに従いデコード(画像展開)して(S44)、表示用メモリ8に、図4のサムネイルデータ位置SD(I)において描画されるように配置する(S45)。このとき、読出されたサムネイル画像データ60に対応する2D/3D種別データ41が読出され、展開処理部6は読出されたデータ41に基づいて、2D/3Dの別を示すキャラクタイメージCH(図4参照)も表示用メモリ8のサムネイルデータ位置SD(I)においてサムネイル画像の一部において上書きして同時に描画するように配置する(S45)。
【0069】
これにより、表示部10が2D表示モードにおいて、3D画像フォーマットに従う元画像データ70によるサムネイルの画像と2D/3Dの別を示すキャラクタイメージCHが表示されるので、表示されたサムネイルに対応の元画像データ70が2D画像フォーマットに従うか、3D画像フォーマットに従うかを一目で認識できる。ここではキャラクタイメージCHは図4に示すように“2D”および“3D”の別で表示したが、キャラクタイメージCHとして“2D”のみ表示して他は3Dであると認識させるようにしてもよいし、逆に、キャラクタイメージCHとして“3D”のみ表示して他は2Dであると認識させるようにしてもよい。
【0070】
その後、次の画像番号データDXが読出されて、制御変数Iが1インクリメントされ(S46)、S41に戻り、以降の処理が同様に繰返される。最終的には、保存用メモリ7のサムネイル画像60が図4のように一覧表示される。
【0071】
ユーザは図4のように一覧表示されたサムネイル画像を確認することで保存用メモリ7に保存されている画像を縮小されてはいるが一目で確認できる。その中からボタン操作などにより所望のサムネイル画像を指定すると、該サムネイル画像に対応の元画像データ70が保存用メモリ7から読出されて表示部10に表示される。
【0072】
このとき、指定されたサムネイル画像に対応の2D/3D種別データ41が“3D”を示すときは、該サムネイル画像に対応した元画像データ70の左目用画像データLが水平(横:X)方向に2倍に拡大処理されて2Dモードにて表示される。このときユーザがモードボタン19を押下すると制御部2は表示部10を3Dモードに切換え、保存用メモリ7から読出された元画像データ70に従う画像が表示部10に表示されるよう制御する。したがって、ユーザは表示された画像を立体視できる。指定されたサムネイル画像に対応の2D/3D種別データ41が“2D”を示すときは対応の元画像データ70に従う画像が2Dモードの表示部1に表示される。
【0073】
このようにしてサムネイル一覧表示を介して、変換部21を介して2D画像から3D画像への変換を所望する画像を指定することができる。
【0074】
ここでは、保存用メモリ7に保存されて対応のサムネイル画像が生成される元画像データ(3D画像データ)70はカメラ部3により撮影して出力される撮影画像データから作成して取得しているが、取得手順はこれに限定されない。
【0075】
たとえば通信によりアンテナ15、無線部14および通信制御部13を介して外部から受信した(ダウンロードされた)3D画像データ、または図1の携帯電話1が図示されない画像読取装置などの外部装置を接続して外部装置から入力した3D画像データであってもよい。また、カメラ部3自体が撮影することにより2D画像でなくて3D画像フォーマットに従うデータを出力するものであってもよい。このような場合には、図7(A)の3D画像データのための左目用画像データLと右目用画像データRとの作成処理は省略される。
【0076】
同様に、保存用メモリ7に保存されて対応のサムネイル画像が生成される元画像データ(2D画像データ)70はカメラ部3により撮影して出力される撮影画像データから取得しているが、取得手順はこれに限定されない。たとえば通信によりアンテナ15、無線部14および通信制御部13を介して外部から受信した(ダウンロードされた)2D画像データであってもよい。または、図1の携帯電話1が図示されない画像読取装置などの外部装置を接続して、外部装置から入力した2D画像データであってもよい。
【0077】
なお、ここでは、3D画像のフォーマットに従う画像データをサムネイル表示する機能を携帯電話1に備えたが、該機能が搭載される機器は携帯電話に限定されず、他の種類の携帯機器、表示機能を有する各種情報処理機器においても同様に適用することができる。
【0078】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0079】
【発明の効果】
この発明によれば、対象画像の3次元画像データの左目用画像と右目用画像とのデータを縮減することにより、対象画像が3次元画像のフォーマットに従うデータであったとしても縮小画像を作成して表示することができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態によるカメラ付携帯電話機のブロック構成図である。
【図2】 図1のカメラ付携帯電話機の外観図である。
【図3】 図1のカメラ付携帯電話機の外観図である。
【図4】 本実施の形態によるサムネイル画像の一覧表示例を示す図である。
【図5】 (A)と(B)は、本実施の形態による画像データをサムネイル表示可能に保存する手順を示すフローチャートである。
【図6】 図5の保存処理の手順を示すフローチャートである。
【図7】 (A)〜(D)はサムネイル画像の作成処理手順を示す図である。
【図8】 サムネイルサイズカットシーケンスのフローチャートである。
【図9】 (A)と(B)は、作業用メモリと保存用メモリにおける画像保存のためのデータ構造の一例を示す図である。
【図10】 (A)と(B)は、図9(A)と(B)において保存画像が追加された後の状態を示す図である。
【図11】 本実施の形態において保存されたサムネイル画像データによるサムネイルの一覧表示手順を示すフローチャートである。
【符号の説明】
2 制御部、3 カメラ部、4 作業用メモリ、5 保存処理部、6 展開処理部、7 保存用メモリ、8 表示用メモリ、10 表示部、11 カメラキー、12 シャッタボタン、19 モードボタン、20 圧縮処理部、21 変換部、L 左目用画像データ、R 右目用画像データ、TB 管理情報テーブル、DX 画像番号データ、D(j) 参照用情報、Gi データグループ、40 画像種別データ、41、51 2D/3D種別データ、42、52 著作権情報、43 次の画像番号ポインタ、53 次の画像ポインタ、PN ポインタ、SD(I) サムネイルデータ位置。

Claims (8)

  1. 表示部と、
    対象画像を立体視するための左目用画像と右目用画像とからなる3次元画像のデータに基づいて、前記対象画像を縮小した縮小画像を作成する3次元縮小画像作成手段と、
    前記対象画像の2次元画像のデータに基づいて、前記対象画像を縮小した前記縮小画像を作成する2次元縮小画像作成手段と、
    前記3次元縮小画像作成手段により作成された前記縮小画像と前記2次元縮小画像作成手段により作成された前記縮小画像を、前記表示部の同一画面に一覧表示する縮小画像表示手段とを備えて、
    前記3次元縮小画像作成手段は、
    前記対象画像が前記縮小画像のサイズを満たすように、前記3次元画像データの前記左目用画像と前記右目用画像とのデータを縮減する縮減手段を有し、
    前記縮小画像表示手段は
    前記縮小画像とともに、当該縮小画像は前記3次元画像データおよび前記2次元画像データのいずれに基づいて作成されたかを示す識別情報を表示する、画像表示装置。
  2. 前記表示部においては、画像は2次元画像として視認されることを特徴とする、請求項1に記載の画像表示装置。
  3. 前記縮減手段は、
    前記左目用画像と前記右目用画像とのデータから、前記対象画像の前記縮小画像のサイズを超える分のデータをカットするサイズカット手段を有する、請求項1または2に記載の画像表示装置。
  4. 前記左目用画像と前記右目用画像とのデータはビットマップデータであって、
    前記縮減手段は、
    前記ビットマップデータを複数個のマトリックスのデータに分割したときの、各マトリックスにおける代表値を抽出して、抽出された前記代表値により前記左目用画像と前記右目用画像とのデータを構成することを特徴とする、請求項1または2に記載の画像表示装置。
  5. 前記3次元画像データは、外部から与えられたデータおよび前記対象画像の前記2次元画像データに基づいて作成されたデータのいずれかであることを特徴とする、請求項に記載の画像表示装置。
  6. 前記2次元画像データは、被写体を撮影して出力された画像データである、請求項からのいずれか1項に記載の画像表示装置。
  7. 作成された複数の前記縮小画像のデータそれぞれと、該縮小画像データの作成の元となった画像データとを対応付けて格納可能なデータ格納手段をさらに備えて、
    前記縮小画像表示手段は、前記データ格納手段に格納された複数の前記縮小画像のデータに基づいて、前記表示部に複数の前記縮小画像を一覧表示することを特徴とする、請求項1からのいずれか1項に記載の画像表示装置。
  8. 対象画像を立体視するための左目用画像と右目用画像とからなる3次元画像のデータに基づいて、前記対象画像を縮小した縮小画像を作成する3次元縮小画像作成ステップと、
    前記対象画像の2次元画像のデータに基づいて、前記対象画像を縮小した前記縮小画像を作成する2次元縮小画像作成ステップと、
    前記3次元縮小画像作成ステップにより作成された前記縮小画像と前記2次元縮小画像作成ステップにより作成された前記縮小画像を同一画面に一覧表示する縮小画像表示ステップとを備えて、
    前記3次元縮小画像作成ステップは、
    前記対象画像が前記縮小画像のサイズを満たすように、前記3次元画像データの前記左目用画像と前記右目用画像とのデータを縮減する縮減ステップを有し、
    前記縮小画像表示ステップでは
    前記縮小画像とともに、当該縮小画像は前記3次元画像データおよび前記2次元画像データのいずれに基づいて作成されたかを示す識別情報を表示する、画像表示方法。
JP2002279817A 2002-09-25 2002-09-25 画像表示装置および方法 Expired - Fee Related JP4138425B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002279817A JP4138425B2 (ja) 2002-09-25 2002-09-25 画像表示装置および方法
EP03021055A EP1404109A3 (en) 2002-09-25 2003-09-17 Image display device and method for displaying thumbnail based on three-dimensional image data
US10/663,742 US7098939B2 (en) 2002-09-25 2003-09-17 Image display device and method for displaying thumbnail based on three-dimensional image data
KR1020030065757A KR100559954B1 (ko) 2002-09-25 2003-09-23 3차원 화상 데이터 기반 썸네일을 표시하는 화상표시장치및 화상표시방법
CNB031598102A CN1245035C (zh) 2002-09-25 2003-09-25 基于3维图像数据显示缩略图的图像显示装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002279817A JP4138425B2 (ja) 2002-09-25 2002-09-25 画像表示装置および方法

Publications (2)

Publication Number Publication Date
JP2004120246A JP2004120246A (ja) 2004-04-15
JP4138425B2 true JP4138425B2 (ja) 2008-08-27

Family

ID=31973290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002279817A Expired - Fee Related JP4138425B2 (ja) 2002-09-25 2002-09-25 画像表示装置および方法

Country Status (5)

Country Link
US (1) US7098939B2 (ja)
EP (1) EP1404109A3 (ja)
JP (1) JP4138425B2 (ja)
KR (1) KR100559954B1 (ja)
CN (1) CN1245035C (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4398669B2 (ja) * 2003-05-08 2010-01-13 シャープ株式会社 携帯電話機器
US20060001596A1 (en) * 2004-06-30 2006-01-05 Interdigital Technology Corporation Method and system for displaying holographic images in mobile devices
JP4359543B2 (ja) * 2004-08-23 2009-11-04 富士フイルム株式会社 撮像装置
JP4939739B2 (ja) * 2004-10-05 2012-05-30 パナソニック株式会社 携帯情報端末及び表示制御プログラム
EP1755341A1 (en) * 2005-08-19 2007-02-21 Texas Instruments Incorporated Method of quantization of transform coefficients
JP4469330B2 (ja) * 2005-12-07 2010-05-26 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像形成装置
US20070147827A1 (en) * 2005-12-28 2007-06-28 Arnold Sheynman Methods and apparatus for wireless stereo video streaming
US8401081B2 (en) 2006-08-11 2013-03-19 Thomson Licensing Accurate motion portrayal for display and digital projectors
US8549435B1 (en) * 2006-09-25 2013-10-01 Adobe Systems Incorporated Displaying thumbnails for one or more files to be imported
WO2008050175A1 (en) * 2006-10-27 2008-05-02 Nokia Corporation Method and apparatus for facilitating movement within a three dimensional graphical user interface
JP4692770B2 (ja) * 2006-12-27 2011-06-01 富士フイルム株式会社 複眼デジタルカメラ
JP4661824B2 (ja) * 2007-04-25 2011-03-30 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP5304172B2 (ja) * 2007-12-04 2013-10-02 株式会社リコー ファイル管理装置、ファイル管理方法及びファイル管理プログラム
KR101442611B1 (ko) * 2008-03-06 2014-09-23 삼성전자주식회사 복수의 레이어들을 중복하여 디스플레이하는 디스플레이장치 및 이의 제어 방법
JP2009246625A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 立体表示装置及び立体表示方法並びにプログラム
US20100253768A1 (en) * 2009-03-23 2010-10-07 Spatial View Inc. Apparatus and method for generating and displaying a stereoscopic image on a mobile computing device
EP2448272A4 (en) 2009-06-23 2017-04-26 LG Electronics Inc. 3d image providing device, display device, and method thereof
JP5250491B2 (ja) * 2009-06-30 2013-07-31 株式会社日立製作所 記録再生装置
KR101596959B1 (ko) * 2009-07-30 2016-02-23 엘지전자 주식회사 방송 프로그램을 녹화하는 디스플레이장치의 동작 방법 및 그 방법을 채용한 디스플레이장치
JP5449536B2 (ja) * 2010-04-28 2014-03-19 富士フイルム株式会社 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
JP2012027263A (ja) * 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US20120062554A1 (en) * 2010-08-06 2012-03-15 Takamasa Ueno Reproducing apparatus
KR101737840B1 (ko) * 2010-11-05 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10424274B2 (en) * 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
KR101799269B1 (ko) * 2010-12-02 2017-11-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101324336B1 (ko) * 2010-12-28 2013-10-31 주식회사 팬택 증강 현실 제공 단말기
JP5366996B2 (ja) * 2011-03-09 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
KR101939796B1 (ko) * 2012-09-12 2019-01-17 엘지디스플레이 주식회사 크로스토크 보상을 위한 입체영상 표시장치의 메모리 저감장치
CN103024413A (zh) * 2012-11-19 2013-04-03 清华大学 一种双目立体素材缩略图显示方法及***
KR20150092560A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 이동단말기 및 그 제어방법
CN107277492A (zh) * 2017-07-26 2017-10-20 未来科技(襄阳)有限公司 一种3d图像显示方法及***
KR102396526B1 (ko) * 2017-09-29 2022-05-11 삼성전자주식회사 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05122733A (ja) 1991-10-28 1993-05-18 Nippon Hoso Kyokai <Nhk> 3次元画像表示装置
JPH07236164A (ja) 1994-02-24 1995-09-05 Sanyo Electric Co Ltd 立体映像表示装置
JPH09330022A (ja) 1996-06-12 1997-12-22 Sumitomo Electric Ind Ltd 3次元cg技術を利用した画像表示方法及び装置
JPH10336705A (ja) * 1997-06-02 1998-12-18 Canon Inc 複眼カメラ
JP2001166810A (ja) 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
JP2001186334A (ja) * 1999-12-27 2001-07-06 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2001251403A (ja) 2000-03-07 2001-09-14 Sony Corp 電話装置

Also Published As

Publication number Publication date
CN1497987A (zh) 2004-05-19
US7098939B2 (en) 2006-08-29
CN1245035C (zh) 2006-03-08
EP1404109A3 (en) 2004-08-25
KR100559954B1 (ko) 2006-03-13
JP2004120246A (ja) 2004-04-15
KR20040027362A (ko) 2004-04-01
EP1404109A2 (en) 2004-03-31
US20040056981A1 (en) 2004-03-25

Similar Documents

Publication Publication Date Title
JP4138425B2 (ja) 画像表示装置および方法
JP4093833B2 (ja) 電子機器
EP2541944A2 (en) Apparatus and method for generating 3d image data in a portable terminal
US20090109276A1 (en) Mobile terminal and method for transmitting image therein
JP2005012764A (ja) データ通信装置、画像送信方法および画像送信プログラム
JP2004163998A (ja) 画像表示装置および方法
JP2004120176A (ja) 携帯式電話機
KR100686162B1 (ko) 이동통신 단말기 및 섬네일 이미지 표시 방법
JP4837248B2 (ja) 画像表示装置及び画像表示装置の制御方法
JP2004120247A (ja) 画像表示装置および方法
JP2004120227A (ja) 画像表示装置および方法
JP2004120216A (ja) 画像表示装置および方法
JP3897792B2 (ja) 携帯式電話機
JP4668602B2 (ja) 立体視画像生成装置および方法並びにプログラム
JP4093834B2 (ja) 通信装置
JP4633158B2 (ja) 携帯式電話機のサムネイル画像表示方法および携帯式電話機
JP3897791B2 (ja) 携帯式電話機
JP2006146931A (ja) 携帯式電話機
KR100567574B1 (ko) 책갈피 기능을 갖는 디지털 스틸 카메라 및 그제어 방법
JP4158538B2 (ja) 画像処理システム、画像処理方法およびこれに用いられる撮像装置
JP2004120169A (ja) 電子機器
JP2004118400A (ja) 電子機器
JP4319248B2 (ja) サムネイル画像表示方法および表示装置
JP4234192B2 (ja) 通信装置
JP2002024064A (ja) 携帯情報端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees