JP4471882B2 - 表示装置および表示方法 - Google Patents

表示装置および表示方法 Download PDF

Info

Publication number
JP4471882B2
JP4471882B2 JP2005103315A JP2005103315A JP4471882B2 JP 4471882 B2 JP4471882 B2 JP 4471882B2 JP 2005103315 A JP2005103315 A JP 2005103315A JP 2005103315 A JP2005103315 A JP 2005103315A JP 4471882 B2 JP4471882 B2 JP 4471882B2
Authority
JP
Japan
Prior art keywords
image
thumbnail
display
images
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005103315A
Other languages
English (en)
Other versions
JP2006287497A (ja
Inventor
洋之 杵村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2005103315A priority Critical patent/JP4471882B2/ja
Priority to CN2006800099487A priority patent/CN101151896B/zh
Priority to US11/910,170 priority patent/US8181121B2/en
Priority to PCT/JP2006/307298 priority patent/WO2006104269A1/ja
Publication of JP2006287497A publication Critical patent/JP2006287497A/ja
Application granted granted Critical
Publication of JP4471882B2 publication Critical patent/JP4471882B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00469Display of information to the user, e.g. menus with enlargement of a selected area of the displayed information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212Motion video recording combined with still video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2125Display of information relating to the still picture recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置に関し、特に例えば静止画像および動画像の縮小画を表示する、表示装置に関する。
近年、ディジタルカメラやカメラ付き携帯電話等においては、扱えるファイルの種類が増えつつあり、特に静止画像および動画像を記録する機器は多数存在している。
記録した静止画像ファイルおよび動画像ファイルのサムネイルを表示器において表示させる場合、ここで静止画像ファイルと動画像ファイルが混在している場合に、静止画像ファイルのサムネイルと動画像ファイルのサムネイルを区別できる表示をしなければ、使用者は複数あるサムネイルの中で静止画像ファイルと動画像ファイルを区別することができない。
静止画像ファイルおよび動画像ファイルが混在している複数のサムネイルを表示する画像取り扱い装置の一例が特許文献1に開示されている。この従来技術1では、静止画像および動画像が混在している複数のサムネイルを表示する際に、動画像のサムネイルにマークやアイコンを付して静止画像のサムネイルと区別している。
特開2000−138883号公報
しかしながら、従来技術1においては、動画像のサムネイル画像に付されているマークやアイコンは小さく、使用者はそのマークやアイコンを見落とす可能性がある。また、動画像のサムネイルが複雑なものであればマークやアイコンがサムネイルの一部だと錯覚し、見落としてしまう可能性もある。
本発明は、上記の問題点を解決するもので、特に例えば、静止画像ファイルおよび動画像ファイルの混在したサムネイル表示をわかりやすく簡単な構成で表現する、表示装置および表示方法を提供することである。
第一の発明の表示装置は、複数の種類の画像及び該画像の縮小画像を保持する保持手段(40)と、画像の種類を判別する判別手段(S1)と、判別手段による判別結果に従って画像の縮小画像に所定の処理を施し、第二縮小画像を生成する処理手段(S11〜S15)と、特定の種類の画像に関してその縮小した画像を表示する際に、前記縮小画像と第二縮小画像を交互に表示する縮小画像表示手段(S21〜S33)とを備え、複数の種類の画像は静止画および動画を含むことを特徴とする。
従って、特定の種類の画像の縮小画像を表示する際に縮小画像と所定の処理を施した縮小画像が交互に表示されるため、使用者にとって特定の種類の画像の縮小表示が分かりやすくなる。
第二の発明は、第一の発明の表示装置において所定の処理は縮小画像の中心を拡大する処理であることを特徴とする。
第三の発明は、第一の発明ないし第二の発明のいずれかの表示装置において、複数の種類の画像は静止画および動画を含むことを特徴とする。
の発明の表示方法は、複数の種類の画像及び該画像の縮小画像を保持するステップと、画像の種類を判別するステップと、判別手段による判別結果に従って画像の縮小画像に所定の処理を施し、第二縮小画像を生成するステップと、特定の種類の画像に関してその縮小した画像を表示する際に、前記縮小画像と第二縮小画像を交互に表示するステップとを有し、複数の種類の画像は静止画および動画を含むことを特徴とする。
の発明は、第の発明の表示方法において所定の処理は縮小画像の中心を拡大する処理であることを特徴とする。
この発明によれば、縮小した画像を表示する際に、特定の種類の判別が使用者に容易となる。特に例えば静止画像および動画像混在のサムネイル表示を分かりやすく表示することができる。また、所定の処理においては、縮小画像の中心を拡大するという簡単な構成で縮小画像を表現することができる。
本実施例においては、表示装置の一つの例として撮像装置10の形態を説明する。本実施例における撮像装置10のブロック図を図1に示す。本実施例の撮像装置10は、撮像レンズ12、絞り14、CCDイメージャ16、CDS(Correlated Double Sampling、相関二重サンプリング)/AGC(Auto Gain Contorol、自動利得制御)回路18、A/D変換回路20、信号処理回路22、SDRAM24、CPU26、CCD駆動部28、操作部32、モータ駆動部34、画像圧縮・伸張処理部36、電子ズーム処理部37、カード制御部38、外部メモリカード40、D/A変換回路42、ビデオエンコーダ44、表示器46とを備えて構成されている。
撮像レンズ12は、被写体の光学像を撮像デバイスであるCCDイメージャ16の撮像面上に結像させる。また、撮像レンズ12はCCDイメージャ16の出力信号に基づいて光軸方向の移動を調節される。絞り14は、制御されることにより撮像レンズ12よりCCDイメージャ16に入る光を調節する。これらの撮像レンズ12および絞り14の調節はモータ駆動部34によって行われる。ただし、このモータ駆動部34は、撮像レンズ12および絞り14を別々に調節する図示しない2つのモータで構成されている。
撮像レンズ12によってCCDイメージャ16の撮像面に被写体の光学像が結像されると、CCDイメージャ16を構成する一部分である各フォトダイオードでは光電変換が行われる。CCDイメージャ16は光の強さと時間に応じて蓄積された電荷の信号を、CCD駆動部28によって作られたCCDイメージャ16の駆動に必要な各種のパルス波形に従ってアナログ撮像信号で出力する。
CDS/AGC回路18はCCDイメージャ16から出力された信号のアナログ撮像信号のノイズを軽減し、アナログ撮像信号のレベルを自動調節する。
A/D変換回路20では、CDS/AGC回路18より出力されたアナログ撮像信号をディジタル画像データに変換する。
信号処理回路22では、A/D変換回路20によるディジタル画像データを基に、色分離を行い3つの色信号であるR、G、B信号を作成する。そして、3つの色信号に対して色温度検出を行い色温度制御によってそれぞれに対して利得調整が行われる。次にこれらを輝度信号であるY信号、2つの色差信号であるU、V信号に変換するための処理を施す。
CPU26は、タイマ26Aおよびタイマ26Bを備え、信号処理回路22、SDRAM24、CCD駆動部28、操作部32、モータ駆動部34、画像圧縮・伸張処理部36およびカード制御部38に接続されている。CPU26は、図示しない内部メモリに格納されているプログラムに従って、信号処理回路22、SDRAM24、CCD駆動部28、モータ駆動部34、画像圧縮・伸張処理部36、電子ズーム処理部37、カード制御部38の制御を行う。
図2に示すように、操作部32として、本実施例においては静止画撮像モードキー32A、動画撮像モードキー32B、再生モードキー32C、カーソルキー32D、決定キー32E、レリーズキー32Fおよびサムネイル表示キー32Gを備えている。撮像装置10では、使用者がレリーズキー32Fを操作することにより、レリーズ動作が行われ、静止画撮像モードキー32A、動画撮像モードキー32B、再生モードキー32Cおよびサムネイル表示キー32Gを操作することにより静止画撮像モード、動画撮像モード、再生モードおよびサムネイル表示モードのモード切替を行うことが出来る。カーソルキー32Dは表示器46に表示された選択項目をカーソルで使用者にとって所望の項目を選択し、決定キー32Eにおいて設定ができる。また、カーソルキー32Dは、サムネイル表示モードにおいて操作されることにより次のサムネイル表示を行う。
CPU26は、静止画撮像モードキー32Aが操作されることによって静止画撮像モードの状態にあるとき、レリーズキー32Fを押下されることによって静止画撮像操作がなされると、1フレーム分の被写体の光学像が撮像レンズ12、絞り14、CCDイメージャ16、CDS/AGC回路18、A/D変換回路20、信号処理回路22によって上述の処理がなされ、信号処理回路22によって得られたY、U、V信号であるディジタル画像データをSDRAM24に一旦格納する。
そして、一旦格納された1フレーム分のディジタル画像データは画像圧縮・信号処理部36、静止画像の場合はJPEGコーデックによって、JPEGで圧縮される。圧縮された圧縮ディジタル画像データは再びSDRAM24に格納される。
また、一旦格納された1フレーム分のディジタル画像データからサムネイルデータを生成し、SDRAM24に格納され、画像圧縮・伸張処理部36にて、サムネイルの場合はJPEGコーデックによってJPEG圧縮され、圧縮された圧縮サムネイルデータは、再びSDRAM24に格納される。
そして、圧縮ディジタル画像データおよび圧縮サムネイルデータは、1つの静止画像ファイルとしてカード制御部38を制御することによって外部メモリカード40に記録される。
動画撮像モードキー32Bが操作されることによって動画撮像モードの状態にあるとき、レリーズキー32Fを押下されることによって動画撮像操作がなされ、レリーズキー32Fが再び押下され動画撮像が終了するまで、動画像処理が実行される。この動画像処理は例えば1秒間に30フレーム分の静止画撮像処理を連続的に行うのと同様の処理であり、Y、U、V信号であるディジタル画像データを動画撮像時間分だけSDRAM24に一旦格納するまでの処理を行う。
そして動画像撮像終了の操作がなされると、SDRAM24に格納されている連続した複数のディジタル画像データの中から時系列順に1フレーム毎の輝度値検出を行う。つまり、輝度信号Yの高周波成分を検出し、1フレーム期間積分を行い輝度値としてSDRAM24に時系列順に記録する。また、SDRAM24に格納されている連続した複数のディジタル画像データを画像圧縮・伸張処理部36にて、動画像の場合にはMotionJPEGコーデックによって動画圧縮をし、再びSDRAM24に格納する。
そしてSDRAM24に記録されている複数ディジタル画像データの輝度値を時系列順に従って比較し、輝度値の変化が大きい前後2フレームを決定し、該当する前後2フレームの中から後の1フレーム分のディジタル画像データを検出し、サムネイルデータを生成する。そして、サムネイルデータはSDRAM24に格納され、画像圧縮・信号処理部36にて、サムネイルの場合はJPEGコーデックによってJPEG圧縮され、圧縮された圧縮サムネイルデータは、再びSDRAM24に格納される。上述の処理を行う理由としては、例えば、使用者が動画像撮像を開始した際の対象が、白い壁等の複雑度が少ない被写体であり撮像途中で人間等の白い壁等に比べて複雑度の高い被写体を撮像する場合に、本実施例の形態では、白い壁のサムネイルではなく人間のサムネイルを生成することが望ましいからである。
そして、圧縮された連続した複数の圧縮画像データおよび圧縮サムネイルデータは、1つの動画ファイルとしてカード制御部38を制御されることによって外部メモリカード40に記録される。なお、動画像ファイルは静止画像ファイルと識別可能にファイルの拡張子等が異なっている。
再生モードキー32Cが操作されることによって、CPU26は、外部メモリカード40に記録された静止画像ファイルおよび動画像ファイルを表示器46に再生表示することができる。具体的に、静止画像ファイルを再生する場合、CPU26は、カード制御部38を制御して、外部メモリカード40に記録されている静止画像ファイルの圧縮画像データをSDRAM24に一旦格納する。SDRAM24に格納された圧縮画像データは、画像圧縮・伸張処理部36にて、静止画像ファイルの場合にはJPEGコーデックにより伸張処理される。伸張処理されたディジタル画像データは、SDRAM24に一旦格納され、D/A変換回路42によりアナログ画像信号に変換される。ビデオエンコーダ44は、D/A変換回路42からのアナログ画像データを基にNTSC信号に変換し、表示器46において変換されたNTSC信号を表示する。
動画像ファイルを再生する場合は、CPU26は、カード制御部38を制御して、外部メモリカード40に記録されている動画像ファイルの複数の圧縮画像データをSDRAM24に一旦格納する。SDRAM24に格納された複数の圧縮画像データは、画像圧縮・伸張処理部36にて、動画像ファイルの場合にはMotionJPEGコーデックにより伸張処理される。伸張処理された複数のディジタル画像データは、SDRAM24に一旦格納され、時系列にD/A変換回路42によりアナログ画像信号に変換され、ビデオエンコーダ44は、D/A変換回路42からのアナログ画像データを基にNTSC信号に変換し、表示器46において変換されたNTSC信号を順次表示する。
サムネイル表示キー32Gが操作されると、外部メモリカード40に記録されている静止画像ファイルおよび動画像ファイルのサムネイル表示画像を、例えば図3に示す9個のサムネイル表示画像の表示を行う。9個のサムネイル表示画像はサムネイル300〜316で構成される。図3に示す9個のサムネイル表示画像データはSDRAM24に一部である図8に示すバッファ200に格納され、D/A変換回路42によりアナログ画像信号に変換され、ビデオエンコーダ44は、D/A変換回路42からのアナログ画像データを基にNTSC信号に変換し表示器46に表示する。
また、電子ズーム処理部37は、CPU26により命令があると、SDRAM26に格納されているディジタル画像データおよびサムネイルデータの拡大処理を行い、再びSDRAM24に処理されたディジタル画像データおよびサムネイルデータを格納するよう制御される。
図4(A)、(B)は表示器46における、静止画像ファイルおよび動画像ファイルが混在した9個のサムネイル表示画像を示している。図4(A)に示すサムネイル表示画像110Aは、静止画像ファイルのサムネイル100Aおよび動画像ファイルのサムネイル102Aを含んでいる。また、図4(B)に示すサムネイル表示画像110Bは、サムネイル表示画面110Aが表示されてから0.5秒後に表示器46にサムネイル表示画像110Aに代わって表示されるサムネイル表示画像であり、静止画像ファイルのサムネイル100Bおよび動画像ファイルのサムネイル102Bを含んでいる。図5(A)、(B)に示すように、サムネイル102Bは電子ズーム処理部37によってサムネイル102Aの中心を拡大処理されたサムネイル102Aの拡大サムネイルである。
そして、図4(A)に示すサムネイル表示画像110Aはサムネイル表示画像110Bが表示されてから0.5秒後に表示器46に表示され、他の操作が行われるまで、例えば静止画撮像モードキー32Aが押圧される等の操作が行われるまでサムネイル表示画像110Aおよびサムネイル表示画像110Bの表示を0.5秒毎に繰り返す。図8はSDRAM24の一部であるフレームバッファ200、詳しくはフレームバッファ200Aおよびフレームバッファ200Bを示している。フレームバッファ200Aにはサムネイル表示画像110Aを格納しており、フレームバッファ200Bにはサムネイル表示画像110Bを格納してある。つまりこの場合、フレームバッファ200Aに格納されているサムネイル表示画像110Aおよびフレームバッファ200Bに格納されているサムネイル表示画像110Bを0.5秒毎に切替えて表示器46に表示している。
図6、7では、表示器46における9個のサムネイル表示のフローを示している。この場合、静止画像ファイルおよび動画像ファイルは外部メモリカード40に格納されており、ファイル数は9個以上である場合を説明する。サムネイル表示キー32Gの操作がなされるとCPU26は、図6、7に示すサムネイル表示のフローを実行する。
図6、7を参照して、ステップS1では、サムネイル表示を行うファイルの識別を行う。ステップS3では、サムネイル表示を行うファイルが動画像ファイルであるか否かを判断する。
サムネイル表示を行うファイルが静止画像ファイルである場合、ステップS3からステップS5へ進み、静止画像ファイルのサムネイルの検出を行う。そしてステップS7へ進み、ステップS7ではステップS5において検出したサムネイルをフレームバッファ200Aに格納する。例えば、表示器46に表示する図3に示すサムネイル表示画像のサムネイル300の位置となるようサムネイルを格納する。そしてステップS9へ進み、サムネイルの複製をフレームバッファ200Bに格納する。この場合、ステップS7においてフレームバッファ200Aに格納したサムネイルと、同じ位置になるように格納する。つまり、ステップS7にて図3に示すサムネイル300の位置に表示されるよう格納した場合、ステップS9においても図3に示すサムネイル300の位置へなるようにフレームバッファ200Bに格納し、ステップS19へ進む。
サムネイル表示を行うファイルが動画像ファイルである場合、ステップS3からステップS11へ進み、動画像ファイルのサムネイルの検出を行う。そしてステップS13へ進み、ステップS13では、ステップS11において検出したサムネイルをフレームバッファ200Aに格納する。例えば表示器46に図3に示すサムネイル表示画面のサムネイル302の位置となるよう格納する。そしてステップS15へ進み、ステップS11において検出したサムネイルを電子ズーム処理部37に対して中心部の拡大処理の実行をさせる。図5を参照して、検出したサムネイルがサムネイル102Aである場合、電子ブーム処理部37による拡大処理されたサムネイル102Bに示す中心部が拡大されたサムネイルになる。
そしてステップS17へ進み、拡大処理されたサムネイルをフレームバッファ200Bに格納する。この場合、図3に示すサムネイル302の位置となるように格納する。そしてステップS19へ進む。
ステップS19では、フレームバッファ200Aおよび200Bそれぞれにサムネイルが9個格納されたか否かを判断する。サムネイルが9個格納されていないと判断すると、ステップS3へ戻り、上述の処理を行う。サムネイルの格納の場所に関しては、好ましくは時系列にサムネイル300〜316の位置へ格納される。
ステップS19において、サムネイルが9個格納されたと判断されると、ステップS19からステップS21へ進み、フレームバッファ200Aおよび200Bに格納されている9個のサムネイルから、それぞれ1枚のサムネイル表示画像、例えばサムネイル表示画像110Aおよび101Bを作成し、フレームバッファ200Aおよび200Bにそれぞれ保持される。
次にステップS23へ進み、ステップS23ではフレームバッファ200Aに保持されているサムネイル表示画像110Aを表示器46に表示し、タイマ26Aをスタートさせ、タイマ26Bのリセットを行う。次にステップS25へ進み、ステップS25では、他の操作があったか否かを判断する。この他の操作とは、静止画撮像モードキー32Aの押下操作やカーソルキー32Dによる、次の9個のサムネイル表示操作を含む。
ステップS25において、他の操作があると判断した場合はステップS35へ進み、他の操作がない判断した場合はステップS27へ進む。ステップS27では、タイマ26Aがスタートしてから0.5秒経過したか否かを判断する。0.5秒経過していない場合は、ステップS25へ戻り、0.5秒経過したと判断するまでサムネイル表示画像110Aを表示器46に表示し続ける。
ステップS27において、タイマ26Aがスタートしてから0.5秒経過したと判断した場合、ステップS29へ進み、フレームバッファ200Bに保持されているサムネイル表示画像110Bを表示させ、タイマ26Bをスタートさせ、タイマ26Aのリセットを行う。
次にステップS31へ進み、ステップS25と同様に他の操作があったか否かを判断する。他の操作があると判断した場合はステップS37へ進み、他の操作がないと判断した場合はステップS33へ進む。ステップS33では、タイマ26Bがスタートしてから0.5秒経過したか否かを判断し、0.5秒経過していない場合はステップS31へ戻り、0.5秒経過したと判断するまでサムネイル表示画像110Bを表示器46に表示し続ける。ステップS33において、タイマ26Bがスタートしてから0.5秒経過したと判断した場合、ステップS23へ戻り、上述の処理を行う。
ステップS25において他の操作があると判断した場合において、ステップS35では、カーソルキー32Dによる次のサムネイル表示操作であるか否かを判断する。次のサムネイル表示操作があると判断した場合、ステップS35からステップS1へ戻る。次のサムネイル表示操作でないと判断した場合、ステップS39へ進みサムネイル表示画像110Aの表示を終了する。
ステップS31において他の操作があると判断した場合において、同様に次のサムネイル表示操作であるか否かを判断し、次のサムネイル表示操作があると判断した場合、ステップS37からステップS1へ戻る。次のサムネイル表示操作でないと判断した場合、ステップS39へ進みサムネイル表示画像110Bの表示を終了する。
このように、本実施例による撮像装置10では、静止画像ファイルと動画像ファイルが混在したサムネイル表示を行う場合において、静止画像ファイルではサムネイルの表示を行うのに対し、動画像ファイルではサムネイルの表示および拡大サムネイルの表示を交互に繰り返し行い、動画像ファイルに動きがあるように見えるため、使用者はファイルの種類を簡単に理解することができる。
また、動画像ファイルのサムネイル表示おいて、1枚のサムネイルから拡大サムネイルを別途生成しているため、サムネイルデータの容量を小さいまま動きのあるサムネイルを表示することができる。
なお、前記実施例では、サムネイル表示画像を2枚用意し、1枚は静止画像ファイルおよび動画像ファイルの標準のサムネイルで構成されたサムネイル表示画像であり、もう1枚は静止画像ファイルの標準のサムネイルと、動画像ファイルのみ標準のサムネイルの代わりに標準のサムネイルの中央を拡大した拡大サムネイルとで構成されるサムネイル表示画像を交互に繰り返し表示を行っているが、動画像ファイルのサムネイル表示のみを標準のサムネイルおよび拡大サムネイルの交互表示をさせても良い。
また、前記実施例では、交互表示させるサムネイル表示画像の1枚を静止画像ファイルの標準のサムネイルと、動画像ファイルのみ標準のサムネイルの代わりに標準のサムネイルの中央を拡大した拡大サムネイルとで構成されるサムネイル表示画像としているが、標準のサムネイルの中央を拡大した拡大サムネイルの変わりに標準のサムネイルから被写体を背景と区別するように検出し、検出した被写体に対して拡大処理を行い、拡大処理された被写体を該背景と合成した被写体拡大サムネイルを使用してもよい。
また、前記実施例では、ファイルの種類として静止画像ファイルおよび動画像ファイルにおけるサムネイル表示の例を説明したが、音声無し静止画像ファイルと音声付静止画像ファイルをサムネイル表示画像に含む場合、前記実施例に示す動画像ファイルのサムネイル表示を示す処理を音声付静止画像ファイルに施しても良い。この場合、交互に繰り返し表示を行っているサムネイル表示画像の2枚は、1枚は音声無し静止画像ファイルおよび音声付静止画像ファイルの標準のサムネイルで構成されたサムネイル表示画像であり、もう一枚は音声無し静止画像ファイルの標準のサムネイルと音声付静止画像ファイルのみ標準のサムネイルの代わりに中央を拡大した拡大サムネイルとで構成されるサムネイル表示画像となる。
また、前記実施例では、サムネイル表示する外部メモリカード40に格納されたファイルとして静止画像ファイルおよび動画像ファイルについて説明をしたが、音声ファイルが混在していてもよく、ファイルの種類が限られるものではない。
また、前記実施例では、動画像ファイルのサムネイルから拡大サムネイルを生成しているが、サムネイルから縮小サムネイルを生成してもよい。
また、前記実施例では、サムネイルと拡大サムネイルの交互に繰り返し表示を行っているが、サムネイルと縮小したサムネイルの交互表示または、縮小したサムネイルと拡大サムネイルの交互表示でも良い。
また、前記実施例では、静止画像ファイルおよび動画像ファイルを外部メモリカード40に格納しているが、内部メモリに格納しても良い。
さらに、前記実施例では、動画像ファイルとしてMotionJPEGのファイルとして説明をしたが、これに限定されるものではなく、例えばMPEGファイルでも良い。この場合、動画像用のサムネイル画像はIピクチャの1つが選択される。
本発明の一実施例である構成を示すブロック図である。 本発明の一実施例である外観を示す外観図である。 本発明の一実施例であるサムネイル表示画像の一例を示す図解図である。 (A)は本発明の一実施例であるサムネイル表示画像の他の一例を示す図解図であり、(B)は本発明の一実施例であるサムネイル表示画像のさらに他の一例を示す図解図である。 (A)は本発明の一実施例である図4(A)に示す動画像ファイルのサムネイルの一例を示す図解図であり、(B)は本発明の一実施例である図4(B)に示す動画像ファイルのサムネイルを拡大したサムネイルの一例を示す図解図である。 本発明の図1実施例の動作の一例の一部を示すフロー図である。 本発明の図6の続きの一部を示すフロー図である。 本発明の一実施例である図1に示すSDRAM24の一部を示すフレームバッファの一例を示す図解図である。
符号の説明
10 …撮像装置
24 …SDRAM
26 …CPU
26A …タイマ
26B …タイマ
32 …操作部
37 …電子ズーム処理部
38 …カード制御部
40 …外部カードメモリ
42 …D/A変換回路
44 …ビデオエンコーダ
46 …表示器

Claims (4)

  1. 複数の種類の画像及び該画像の縮小画像を保持する保持手段と、
    前記画像の種類を判別する判別手段と、
    該判別手段による判別結果に従って前記画像の縮小画像に所定の処理を施し、第二縮小画像を生成する処理手段と、
    特定の種類の画像に関して縮小した画像を表示する際に、前記縮小画像と前記第二縮小画像を交互に表示する縮小画像表示手段とを備え、
    前記複数の種類の画像は静止画および動画を含むことを特徴とする、表示装置。
  2. 前記所定の処理は前記縮小画像の中心を拡大する処理であることを特徴とする、請求項1記載の表示装置。
  3. 複数の種類の画像及び該画像の縮小画像を保持するステップと、
    前記画像の種類を判別するステップと、
    該判別手段による判別結果に従って前記画像の縮小画像に所定の処理を施し、第二縮小画像を生成するステップと、
    特定の種類の画像に関して縮小した画像を表示する際に、前記縮小画像と前記第二縮小画像を交互に表示するステップとを有し、
    前記複数の画像は静止画および動画を含むことを特徴とする、表示方法。
  4. 前記所定の処理は前記縮小画像の中心を拡大する処理であることを特徴とする、請求項3記載の表示方法。
JP2005103315A 2005-03-31 2005-03-31 表示装置および表示方法 Expired - Fee Related JP4471882B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005103315A JP4471882B2 (ja) 2005-03-31 2005-03-31 表示装置および表示方法
CN2006800099487A CN101151896B (zh) 2005-03-31 2006-03-30 显示装置和显示方法
US11/910,170 US8181121B2 (en) 2005-03-31 2006-03-30 Display unit and display method
PCT/JP2006/307298 WO2006104269A1 (ja) 2005-03-31 2006-03-30 表示装置および表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005103315A JP4471882B2 (ja) 2005-03-31 2005-03-31 表示装置および表示方法

Publications (2)

Publication Number Publication Date
JP2006287497A JP2006287497A (ja) 2006-10-19
JP4471882B2 true JP4471882B2 (ja) 2010-06-02

Family

ID=37053511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005103315A Expired - Fee Related JP4471882B2 (ja) 2005-03-31 2005-03-31 表示装置および表示方法

Country Status (4)

Country Link
US (1) US8181121B2 (ja)
JP (1) JP4471882B2 (ja)
CN (1) CN101151896B (ja)
WO (1) WO2006104269A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5436975B2 (ja) * 2009-08-21 2014-03-05 オリンパスイメージング株式会社 カメラ、カメラの表示制御方法、表示装置、及び表示方法
KR20120011920A (ko) * 2010-07-27 2012-02-09 삼성전자주식회사 디지털 영상 신호 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체
USD747337S1 (en) * 2012-05-17 2016-01-12 Samsung Electronics Co., Ltd. Display of a handheld terminal with graphical user interface
US20140053067A1 (en) * 2012-08-17 2014-02-20 Kenneth C. Tkatchuk Method and Apparatus for Sequentially Displaying a Plurality of Images Including Selective Asynchronous Matching of a Subset of the Images
CN104111770B (zh) * 2013-04-22 2017-05-24 联想(北京)有限公司 一种信息处理的方法及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734909B1 (en) * 1998-10-27 2004-05-11 Olympus Corporation Electronic imaging device
JP2000138883A (ja) 1998-11-02 2000-05-16 Olympus Optical Co Ltd 画像取り扱い装置
JP4340358B2 (ja) 1999-08-02 2009-10-07 富士フイルム株式会社 画像撮影装置
JP4562837B2 (ja) * 2000-01-14 2010-10-13 富士フイルム株式会社 画像再生装置、画像再生方法、画像記録再生方法及びデジタルカメラ
US7145601B2 (en) * 2000-01-14 2006-12-05 Fuji Photo Film Co., Ltd. Multi-modal reproducing apparatus and digital camera
JP4348821B2 (ja) * 2000-03-27 2009-10-21 ソニー株式会社 編集装置、編集方法
JP2003123086A (ja) * 2001-10-11 2003-04-25 Sony Corp 情報処理装置及び方法、並びに情報処理プログラム
US20040095375A1 (en) * 2002-05-10 2004-05-20 Burmester Christopher Paul Method of and apparatus for interactive specification of manufactured products customized with digital media
JP3738843B2 (ja) * 2002-06-11 2006-01-25 ソニー株式会社 画像検出装置、画像検出方法および画像検出プログラム
JP4314980B2 (ja) * 2003-12-01 2009-08-19 ソニー株式会社 撮像装置
JP4049115B2 (ja) * 2004-03-15 2008-02-20 セイコーエプソン株式会社 プロジェクタ
US7657846B2 (en) * 2004-04-23 2010-02-02 Microsoft Corporation System and method for displaying stack icons
US20050251758A1 (en) * 2004-04-26 2005-11-10 Microsoft Corporation Indicating file type on thumbnail preview icon
JP4494196B2 (ja) * 2004-12-27 2010-06-30 京セラ株式会社 画像表示装置

Also Published As

Publication number Publication date
CN101151896A (zh) 2008-03-26
JP2006287497A (ja) 2006-10-19
WO2006104269A1 (ja) 2006-10-05
US8181121B2 (en) 2012-05-15
CN101151896B (zh) 2012-03-28
US20090135203A1 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
US7847828B2 (en) Image capturing apparatus having a moving image capture function, and program and method for controlling same
JP4044571B2 (ja) Osdメニューを表示する映像撮影機器およびその表示方法
US8605162B2 (en) Digital camera having video file creating function
US7417668B2 (en) Digital camera
US7705904B2 (en) Moving-image recording device for recording moving image
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
JP2009077227A (ja) 撮像装置とその制御方法
JP2007135057A (ja) 撮像装置、画像処理方法、並びにプログラム
JP2009284234A (ja) 撮像装置、撮像方法、再生装置および再生方法
JP4637045B2 (ja) 撮像装置
JP2002101329A (ja) デジタルカメラ、画像再生装置及び方法
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
JP2004187124A (ja) 撮像装置
JP5253725B2 (ja) 動画撮影機能付き移動通信端末機及びその動作方法
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP4471882B2 (ja) 表示装置および表示方法
JP4969390B2 (ja) 動画再生装置および動画再生方法
JP2005150952A (ja) 画像再生装置および撮像装置
US8305467B2 (en) Image pickup apparatus and image pickup method
EP1575257A1 (en) A selection switch and display
JP2009077265A (ja) 撮像装置
JP2009177226A (ja) 表示制御装置およびそれを備えた撮像装置、画像表示システム、画像表示方法
JP4678273B2 (ja) 撮像装置、動画記憶方法および動画記憶プログラム
US8810690B2 (en) Method of controlling digital photographing apparatus and digital photographing apparatus using the same
JP5012985B2 (ja) 撮像装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100302

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees