JP2007156849A - 画像管理装置および画像表示装置 - Google Patents

画像管理装置および画像表示装置 Download PDF

Info

Publication number
JP2007156849A
JP2007156849A JP2005351401A JP2005351401A JP2007156849A JP 2007156849 A JP2007156849 A JP 2007156849A JP 2005351401 A JP2005351401 A JP 2005351401A JP 2005351401 A JP2005351401 A JP 2005351401A JP 2007156849 A JP2007156849 A JP 2007156849A
Authority
JP
Japan
Prior art keywords
display
image data
hierarchy
image
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005351401A
Other languages
English (en)
Other versions
JP4835135B2 (ja
Inventor
Baiping Liao
柏平 廖
Ichiro Ueno
一朗 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005351401A priority Critical patent/JP4835135B2/ja
Priority to US11/559,695 priority patent/US8009919B2/en
Priority to TW095142634A priority patent/TWI361619B/zh
Priority to EP06023939A priority patent/EP1796099A1/en
Priority to KR1020060119832A priority patent/KR101290667B1/ko
Priority to CNB2006101609690A priority patent/CN100507916C/zh
Publication of JP2007156849A publication Critical patent/JP2007156849A/ja
Application granted granted Critical
Publication of JP4835135B2 publication Critical patent/JP4835135B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】画像データを視覚的に管理して条件により絞り込むために適した管理手法を実現する。
【解決手段】画像記憶部210に記憶された画像データは、クラスタ記憶部220に記憶された階層的クラスタに基づいて管理される。この階層的クラスタの上位階層は構造が固定され、新たな画像データは下位階層に追加される。操作部250から指定された絞込条件に従って、条件フィルタリング部310は画像データの絞込みを行う。描画部280は絞り込まれた画像データの撮像場所を、地図取得部240によって取得された地図上の特定の位置に描画する。これにより、地図上においてユーザの記憶に沿った直感的な画像データの検索が行われる。
【選択図】図2

Description

本発明は、画像管理装置および画像表示装置に関し、特に撮像された画像を整理して表示するための装置、処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
画像を撮像するための撮像装置が普及し、多くのユーザが気軽に画像を撮像できるようになっている。ユーザは簡単な操作によって画像を撮像できるため、気が向くままに街並みや風景を撮像し、その結果、撮像された画像データが大量に蓄積されていくことになる。
このように大量に画像データが蓄積されていくと、ユーザは自身で撮像したものであってもその撮像した位置を全て記憶しておくことは困難になる。そのため、撮像した画像データとその撮像位置とを何らかの形で関連付けておくことが必要になる。例えば、カメラ部によって撮像された画像データとGPS(Global Positioning System)から取得した位置データとを関連付けて記録する記録システムが提案されている(例えば、特許文献1参照。)。
特開2003−18506号公報(図1)
このような画像データと関連付けて記録された位置データに基づいて画像データを整理するためには、特徴空間中で距離が近いデータをまとめてグループ化することが有用であり、そのための手段として階層的クラスタリングアルゴリズムが知られている。この階層的クラスタリングアルゴリズムは、データをクラスタツリーという木構造によって管理して、近いデータを同じノードにまとめるグループ化の手法である。
しかし、通常の階層的クラスタリングアルゴリズムでは、全てのデータに対して一対一で距離計算を行うことが要求され、その計算量は画像データの二乗のオーダを要するため、対象となる画像データが増えると計算量が急激に増えることになる。したがって、計算処理能力が必ずしも高くない携帯機器などにおいては、階層的クラスタリングアルゴリズムをそのまま用いることは性能上の問題を生じるおそれがある。
また、ユーザが画像データを探し出そうとする場合、そのキーワードとして撮像場所および撮像時期を想定することが多く、画像データを地図上で直感的に把握でき、条件によって絞込みを行えることが望ましい。
そこで、本発明は、画像データを視覚的に管理して条件により絞り込むために適した管理手法を実現することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、撮像された画像データに関する情報としてその撮像場所を含む画像情報を記憶する画像情報記憶手段と、複数階層のクラスタからなる階層的クラスタにより上記画像情報を管理するクラスタ管理手段と、上記複数階層の最上位階層から最下位階層のうち表示すべき階層を表示階層として指定する表示階層指定手段と、上記画像データの表示条件を指定する表示条件指定手段と、上記表示階層において上記表示条件に基づき上記画像情報が所定範囲にある画像データのみを選択する条件フィルタリング手段と、上記表示階層において上記画像情報に基づき上記選択された画像データの撮像場所を画像位置表示として描画する描画手段とを具備することを特徴とする画像表示装置である。これにより、画像データの撮像場所を画像位置表示として表示する際、表示条件に合致した画像データのみを表示させるという作用をもたらす。
また、この第1の側面において、上記複数階層のクラスタの上記最上位階層から上記最下位階層に至る途中の所定階層までの構造を固定してもよい。これにより、画像データに対応する画像情報の階層的クラスタによる管理を簡略化させるという作用をもたらす。
また、この第1の側面において、上記最上位階層から上記所定階層までの地図を記憶する地図記憶手段と、上記表示階層に相当する地図が上記地図記憶手段に記憶されている場合に当該地図を取得する地図取得手段とをさらに具備し、上記表示階層に相当する地図が上記地図記憶手段に記憶されている場合には上記地図取得手段によって取得された地図を上記画像位置表示と重ねて上記描画手段が描画するようにしてもよい。これにより、対応する階層の地図が存在する場合にのみ当該地図を画像位置表示と重ねて描画させるという作用をもたらす。
また、この第1の側面において、上記画像情報は画像データの撮像時刻を含み、上記表示条件は画像データの撮像時刻の範囲を含み、上記条件フィルタリング手段は上記表示条件に基づいて上記画像情報に含まれる撮像時刻が所定範囲にある画像データのみを選択するようにしてもよい。これにより、表示条件として、撮像時刻が所定範囲にある画像データのみを表示させるという作用をもたらす。
また、この第1の側面において、上記表示条件における撮像時刻の範囲は季節による指定を含んでもよい。これにより、具体的な月や日によらずに季節による条件指定が可能となり、よりユーザの直感に沿った検索を実現するという作用をもたらす。
また、本発明の第2の側面は、撮像された画像データに関する情報としてその撮像場所を含む画像情報を記憶する画像情報記憶手段と、複数階層のクラスタからなる階層的クラスタにより上記画像情報を管理するクラスタ管理手段と、上記複数階層の最上位階層から最下位階層のうち選定すべき階層を選定階層として指定する選定階層指定手段と、上記画像データの選択条件を指定する選択条件指定手段と、上記選定階層において上記選択条件に基づき上記画像情報が所定範囲にある画像データのみを選択する条件フィルタリング手段と、上記選定階層において上記画像情報に基づき上記選択された画像データを記憶する画像データ記憶手段とを具備することを特徴とする画像管理装置である。これにより、画像データを管理する際、表示条件に合致した画像データのみを取り出して出力させるという作用をもたらす。
また、本発明の第3の側面は、撮像された画像データの撮像場所および撮像時刻を含む画像情報を複数階層のクラスタからなる階層的クラスタにより記憶する画像情報記憶手段を備える画像表示装置において、上記複数階層の最上位階層から最下位階層のうち表示すべき階層を表示階層として指定する手順と、上記画像データの表示条件を指定する手順と、上記表示階層において上記表示条件に基づき上記画像情報が所定範囲にある画像データのみを選択する手順と、上記表示階層において上記画像情報に基づき上記選択された画像データの撮像場所を画像位置表示として描画する手順とを具備することを特徴とする画像表示方法、または、これら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、画像データの撮像場所を画像位置表示として表示する際、表示条件に合致した画像データのみを表示させるという作用をもたらす。
本発明によれば、画像データを視覚的に効率良く管理でき、条件によって絞込みを行うことができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態において想定する撮像装置100の一構成例を示す図である。この撮像装置100は、操作部110と、カメラ部120と、メモリ130と、表示部140と、記録部150と、制御部160と、GPS受信部170を備える。
操作部110は、ユーザからの操作入力を受け付けるものである。この操作部110は、撮像装置100に備えられた操作ボタンや、表示部140と一体化されたタッチパネルとして実現することができる。
カメラ部120は、被写体を撮像するものであり、レンズなどの光学ブロックや、CCD(Charge Coupled Devices)などの信号変換部を含んで構成される。メモリ130は、カメラ部120によって撮像された動画データを一時的に保持する作業領域であり、一般に揮発性メモリが使用される。
表示部140は、撮像中の動画や再生動画などをLCD(Liquid Crystal Display)などのディスプレイに表示するものである。なお、この表示部140は、上述のように、操作部110と一体化して構成してもよい。
記録部150は、撮像された動画データやその動画データに付随する情報を記録するものであり、一般に不揮発性の記録媒体が使用される。制御部160は、撮像装置100の各部を制御するものであり、例えばプログラム制御されるマイコンなどにより実現される。
GPS受信部170は、GPS(Global Positioning System)衛星からの電波を受信し、地球上における現在の緯度経度座標(位置情報)を取得するものである。この受信原理は一般のGPS受信方式と同等である。このGPS受信部170は、GPS電波を受信するアンテナ部、受信した電波の信号変換部、位置情報の計算部、計算結果の一時記憶部、制御部160とのインターフェース部より構成され得る。
図2は、本発明の実施の形態における画像表示装置200の一構成例を示す図である。この画像表示装置200は、画像記憶部210と、クラスタ記憶部220と、クラスタ管理部230と、条件フィルタリング部235と、地名情報データベース700と、地図情報データベース800と、地図取得部240と、操作部250と、表示階層決定部260と、再生部270と、描画部280と、表示部290とを備えている。
なお、画像表示装置200は、撮像装置100の一部として構成されてもよく、また、別個の装置として実現されてもよい。後者の場合、撮像装置100によって生成された画像データが画像記憶部210を介して画像表示装置200に供給されるものと解することができる。
画像記憶部210は、撮像された画像データを記憶するものである。この画像記憶部210は、画像表示装置200が撮像装置100の一部として構成される場合には、内蔵のメモリ130により実現することができる。画像表示装置200が撮像装置100とは別個の装置である場合には、画像記憶部210はフラッシュメモリなどの着脱可能型記録媒体などにより実現することができる。また、ネットワークを介して画像データを画像記憶部210に記憶させるようにしてもよい。
クラスタ記憶部220は、画像データに対応する画像情報を記憶するものである。このクラスタ記憶部220は、画像情報を階層的クラスタにより管理するために、木構造のノードツリーを記憶して、末端ノードの各々に画像情報を対応させる。これにより、画像情報は複数階層のクラスタからなる階層的クラスタに属するよう管理される。
クラスタ管理部230は、クラスタ記憶部220に記憶された画像情報を階層的クラスタにより管理するものである。このクラスタ管理部230における管理内容については後述する。
地名情報データベース700は、地名情報を緯度や経度による位置情報と関連付けて保持するデータベースである。地図情報データベース800は、地図を描画するための地図情報を緯度や経度による位置情報と関連付けて保持するデータベースである。地図取得部240は、地名情報データベース700および地図情報データベース800を索引して、対応する地図および地名情報を取得するものである。
操作部250は、操作部110と同様に、ユーザからの操作入力を受け付けるものであり、画像表示装置200に備えられた操作ボタンや、表示部290と一体化されたタッチパネルとして実現することができる。ここでは、操作入力として、特に、画像データの撮像場所を示す画像位置表示の拡大または縮小に関する操作入力が行われる。
表示階層決定部260は、操作部250から行われた拡大または縮小の操作入力に伴って画像位置表示の表示階層を決定するものである。後述するように、画像位置表示には世界地図の階層から都市詳細地図の階層まで複数の階層があり、表示階層決定部260は何れの階層を表示階層とするか決定する。
再生部270は、画像記憶部210に記憶された画像データを再生するものである。この再生部270は、画像データ本体を再生するだけでなく、画像サイズの小さいサムネイルを供給することができる。
描画部280は、表示階層決定部260によって決定された表示階層において、クラスタ記憶部220に記憶された画像情報の位置情報に基づいて画像データの撮像場所を画像位置表示として描画するものである。
また、描画部280は、その表示階層に相当する地図が地図取得部240によって取得されている場合には当該地図を画像位置表示に重ねて描画する。このとき、描画部280は、その表示階層に相当する地名が地図取得部240によって取得されている場合には当該地名を画像位置表示に重ねて描画する。すなわち、描画部280はOSD(On-Screen Display)機能を備え、地図情報データベース800から取得された地図上に地名情報データベース700から取得された地名を重ねて描画する。これにより、地名の多言語対応を容易に実現することができる。
なお、OSD表示に用いられるフォントサイズは表示部290のサイズによって決定すると効果的である。また、地名の粒度が細かくなるほどフォントを格納するための容量が大きくなるため、予め想定されるシステムのメモリ容量に応じて地名の粒度を定めておくことも効果的である。
表示部290は、描画部280によって描画された画像位置表示を表示するものであり、表示部140と同様に、LCDなどのディスプレイに表示する。
条件フィルタリング部235は、操作部250から指定された条件に従って画像データに対応する画像情報を絞り込む(フィルタリングする)ものである。例えば、撮像時刻について開始時間と終了時間からなる範囲が絞込条件として指定された場合には、当該条件に合致する画像情報が描画部280または画像記憶部210に供給される。この場合、描画部280は、供給された画像情報に従って画像位置表示を描画する。また、この供給された画像情報に対応する画像データを画像記憶部210から読み出して、他の記録媒体もしくは画像記憶部210にその複製を生成するようにしてもよい。
図3は、本発明の実施の形態におけるクラスタツリーの一例を示す図である。この例では、ノード間をアークにより階層的に接続する木構造のデータ構造を採用している。アークにより接続されるノード間で、上位のノードを親ノード、下位のノードを子ノードと呼ぶ。また、子ノードのうち向かって左側のノードを左ノード、向かって右側のノードを右ノードと呼ぶ。
また、クラスタツリーでは、親ノードに接続されていない最上位のノードをルートノードと呼び、子ノードを接続しないノードをリーフノードまたは末端ノードと呼ぶ。
この例では、ルートノードN11の左ノードにはノードN21、右ノードにはノードN22がそれぞれ接続される。また、ノードN21の左ノードにはノードN31、右ノードにはノードN32がそれぞれ接続され、ノードN22の左ノードにはノードN33、右ノードにはノードN34がそれぞれ接続される。また、ノードN31の左ノードにはノードN41、右ノードにはノードN42がそれぞれ接続され、ノードN33の左ノードにはノードN43、右ノードにはノードN44がそれぞれ接続される。さらに、ノードN42の左ノードにはノードN51、右ノードにはノードN52がそれぞれ接続される。
ここで、ノードN41、ノードN51、ノードN52、ノードN32、ノードN43、ノードN44、および、ノードN34は、全て末端ノードであり、それぞれ、画像データpic1乃至pic7に対応する。このクラスタツリーにおいて、画像データpic1乃至pic7は以下のような階層的クラスタにより管理される。
図4は、本発明の実施の形態における階層的クラスタの一例を示す図である。この例は図2のクラスタツリーにより実現される階層的クラスタを示すものであり、画像データpic1乃至pic7は全て最上位階層のクラスタC11に包含される。階層的クラスタにおいて、クラスタC11はクラスタC21およびC22を包含する。また、クラスタC21はクラスタC31およびC32を包含し、クラスタC22はクラスタC33およびC34を包含する。また、クラスタC31はクラスタC41およびC42を包含し、クラスタC33はクラスタC43およびC44を包含する。さらに、クラスタC42はクラスタC51およびC52を包含する。
ここで、クラスタC41、クラスタC51、クラスタC52、クラスタC32、クラスタC43、クラスタC44、および、クラスタC34は、内部に他のクラスタを包含せず、それぞれ、画像データpic1乃至pic7に対応する。これにより、画像データpic1乃至pic7はそれぞれ階層的クラスタにより管理されることになる。例えば、画像データpic2は、最上位階層のクラスタC11から順に、クラスタC21、クラスタC31、クラスタC42、クラスタC51という階層的クラスタに包含され、管理される。
この階層的クラスタによれば、距離尺度の相対的に近い画像データ同士が同じクラスタに包含されるようになる。ここで、距離尺度としては、例えば画像データの撮像場所の緯度および経度による位置情報を利用する。これにより、撮像場所の相対的に近い画像データ同士が同じクラスタに包含されるように管理され、新たな画像データが追加される際にも階層的クラスタにおける適切な配置に整理される。
図5は、本発明の実施の形態における階層的クラスタに新たなクラスタが追加される場合の一例を示す図である。ここでは、最も簡単な例として、2つの画像データpic1およびpic2が既に記憶されている部分を初期状態として想定する。すなわち、図5(a)のように、あるノードNの子ノードとして、画像データpic1に対応する左ノードNおよび画像データpic2に対応する右ノードNが存在するものとする。
ここで、図5(b)のように、新たな画像データpicnewに対応する注目ノードNを追加する場合、既にクラスタリングされている画像データpic1およびpic2と、新たな画像データpicnewとを、例えば撮影日時順の並びにおいて、新たな画像データpicnewが配置される位置が検出される。
そして、新たな画像データpicnewに隣接するクラスタのうちで最大のクラスタであって、かつ、新たな画像データpicnewとの距離が最小の間近画像データの属するクラスタCが、新たな画像データpicnewの属するクラスタの候補となる候補クラスタとなる。ここで、間近画像データとは、例えば撮影日時順の並びにおいて当該撮影日時が最も近い画像データであり、この例では画像データpic2がこれに該当する。
その後、新たな画像データpicnewと間近画像データpic2との距離d(追加距離)が求められるとともに、候補クラスタCに属する画像データのうち隣接する画像データ同士の距離の最大値d(最大距離)が求められる。この例における最大距離dは、画像データpic1とpic2との間の距離になる。
図5(b)のように追加距離dが最大距離dよりも長い場合、候補クラスタCに属する画像データはそのまま維持され、図5(c)のように候補クラスタCを構成するノードNの上に新たにノードNが追加される。そして、このノードNを親ノードとして、注目ノードNが子ノードとして追加される。
これにより、図5(d)のように、新たな画像データpicnewに対応する注目ノードNが新たに追加されたクラスタツリーが、最終的に形成される。これは、画像データpic1とpic2との間の距離の方が、画像データpicnewとの距離よりも相対的に近いことを意味している。
図6は、本発明の実施の形態における階層的クラスタに新たなクラスタが追加される場合の他の例を示す図である。ここでも、図5の例と同様に、最も簡単な例として、2つの画像データpic1およびpic2が既に記憶されている部分を初期状態として想定する。
追加距離dおよび最大距離dを求めた結果、図6(a)のように追加距離dが最大距離dよりも短い場合、新たな画像データpicnewは間近画像データpic2と同じクラスタに包含されるように新たなクラスタが生成される。すなわち、図6(b)のように、候補クラスタCを構成するノードNと間近画像データpicに対応するノードNとの間に新たにノードNが追加される。そして、このノードNを親ノードとして、注目ノードNが子ノードとして追加される。
これにより、図6(c)のように、新たな画像データpicnewに対応する注目ノードNが新たに追加されたクラスタツリーが、最終的に形成される。これは、画像データpicnewとpic2との間の距離の方が、画像データpic1との距離よりも相対的に近いことを意味している。
図7は、本発明の実施の形態における階層的クラスタに新たなクラスタが追加される場合の一般的な例を示す図である。ここでは、ルートノードより下位の階層におけるノードが分岐ノードNとして設定されている状態を想定する。また、分岐ノードNの左ノードを「l(N)」により表し、右ノードを「r(N)」により表す。
分岐ノードNは、例えば撮影日時順の並びにおいて、新たな画像データpicnewの左右のうちの一方に隣接する最大のクラスタに対応するノード、または、新たな画像データpicnewの他方に隣接する最大のクラスタに対応するノードの何れかを子ノードとするノードである。したがって、新たな画像データpicnewの左側に隣接する最大のクラスタは分岐ノードNの左ノードl(N)に対応するクラスタCであり、新たな画像データpicnewの右側に隣接する最大のクラスタは分岐ノードNの右ノードr(N)に対応するクラスタCとなる。
また、クラスタツリーのあるノードNに包含されるノードのうち最も右側に位置するリーフノードを「R(N)」と表し、最も左側に位置するリーフノードを「L(N)」と表すこととすれば、分岐ノードNの左ノードl(N)に包含されるノードのうち最も右側に位置するリーフノード(左側右端ノード)は「R(l(N))」と表すことができ、分岐ノードNの右ノードr(N)に包含されるノードのうち最も左側に位置するリーフノード(右側左端ノード)は「L(r(N))」と表すことができる。
ここで、新たな画像データpicnewと左側右端ノードR(l(N))に対応する画像データpic1との間の距離d、および、新たな画像データpicnewと右側左端ノードL(r(N))に対応する画像データpic2との間の距離dが算出される。その結果、距離dの方が短ければ候補ノードNは分岐ノードNの右ノードr(N)になり、距離dの方が短ければ候補ノードNは分岐ノードNの左ノードl(N)になる。
そして、この候補ノードNを対象として追加距離dおよび最大距離dが算出される。その結果、追加距離dよりも最大距離dの方が短ければ、分岐ノードNと候補ノードNとの間にノードNinが挿入される。このノードNinを親ノードとする子ノードが注目ノードNnewとして配置される。一方、最大距離dよりも追加距離dの方が短ければ、さらに下位の階層を探索するために、候補ノードNを新たな分岐ノードNと設定するとともに、候補ノードNのうち注目ノードNnewに近い側を新たな候補ノードNとして設定して、さらに上述のような追加距離dおよび最大距離dの比較処理を再帰的に実行する。
このようにして、最終的に注目ノードNnewが配置される。但し、このような再帰的処理を最上位の階層から全て行うこととすると、そのために要する計算量が増大するおそれがある。そこで、本発明の実施の形態では、以下のように階層的クラスタの上位の所定階層を固定して、それより下位の階層にのみ新たなノードを追加できるように管理する。
図8は、本発明の実施の形態における階層的クラスタ構造の一例を示す図である。ここでは、それぞれ2つのレベルを有する6つのレイヤを想定し、レイヤ1のレベル1から順に、レイヤ1のレベル2、レイヤ2のレベル1、...、レイヤ5のレベル2、レイヤ6のレベル1、および、レイヤ6のレベル2の各階層を有するものとしている。すなわち、最上位の階層のクラスタ0を入れると合計13階層のクラスタ構成となる。
同一レイヤにおいてレベル1はレベル2よりも上位の階層となる。すなわち、レイヤ1のレベル1の世界地図が表示されている状態で拡大操作が入力されると、表示が拡大されて、レイヤ1のレベル2の世界地図が表示されるようになる。一方、レイヤ1のレベル2の世界地図が表示されている状態で縮小操作が入力されると、表示が縮小されて、レイヤ1のレベル1の世界地図が表示されるようになる。このとき、レベル1において拡大操作が入力された後も下地としての地図はそのまま利用されるが、表示内容は拡大されて、より詳細な内容が表示されることになる。これとは逆に、レベル2において縮小操作が入力された後も下地としての地図はそのまま利用されるが、表示内容は縮小されて、より大まかな抽象化された内容が表示されることになる。
この階層的クラスタ構造では、レイヤ1のレベル1からレイヤ5のレベル2までは固定クラスタとなっており、クラスタの構造を変更することができないようになっている。すなわち、新たな画像データはレイヤ6のレベル1およびレイヤ6のレベル2にのみ追加可能となっている。したがって、図7により説明したように注目ノードの挿入を行う際には、レイヤ6の最上位の階層において分岐ノードの初期値が設定され、これを基点として下位方向に階層を辿りながら適切なノード挿入位置が決定されることになる。
なお、ここでは多分木のクラスタツリーとして表現しているが、図3の2分木のクラスタツリーと本質的には相違ない。実装にあたっては各クラスタをさらに複数の階層的クラスタにより実現することができる。
このような一部を固定した階層的クラスタを想定することにより、新たなノードの挿入、すなわち新たな画像データの追加が容易になり、クラスタ管理に伴う処理を高速化することができる。
図9は、本発明の実施の形態における階層的クラスタの各ノードのデータ構造の一例を示す図である。このデータ構造には、クラスタ識別子610と、画像情報620と、親ノード識別子630と、代表位置情報640と、子ノード間距離650と、画像データ数660と、右ノード識別子670と、左ノード識別子680と、固定フラグ690とが含まれている。
クラスタ識別子610は、そのノードに対応するクラスタを一意に識別するための識別子である。画像情報620は、そのノードが末端ノードである場合に、対応する画像データに関する情報を保持するものであり、画像データ識別子621、位置情報622および撮像時刻625を含む。ここで、画像データ識別子621は画像記憶部210に記憶される画像データを一意に識別するための識別子であり、例えばファイル名などを用いることができる。また、位置情報622は画像データの撮像場所の緯度623および経度624を示すものである。
また、撮像時刻625は、画像データの撮像された時刻を示すものである。操作部250から絞込条件として撮像時刻が指定された場合には、条件フィルタリング部235はこの撮像時刻625を利用して絞込みを行うことができる。また、この撮像時刻625を利用せずに、画像記憶部210に記憶された画像データのファイルシステムにおけるタイムスタンプやGPSのメタ情報を利用してもよい。
親ノード識別子630は、そのノードの親ノードに対応するクラスタ識別子610を示すものである。代表位置情報640は、そのノードに対応するクラスタを代表する位置情報を示すものであり、アプリケーションによって適宜利用されるものである。例えば、地図上に画像データの位置表示を特定の場所に行う際に、この代表位置情報640を利用することができる。
子ノード間距離650は、そのノードの2つの子ノードの間の距離を示すものである。画像データ数660は、そのノードに対応するクラスタに含まれる画像データの数を示すものである。
右ノード識別子670はそのノードの右側の子ノードに対応するクラスタ識別子610を示すものであり、左ノード識別子680はそのノードの左側の子ノードに対応するクラスタ識別子610を示すものである。
固定フラグ690は、そのノードに対応するクラスタの構造が固定されているか否かの属性を示すものである。上述のように、本発明の実施の形態では、レイヤ5のレベル2までのクラスタ構造を固定して、それより下位の階層のクラスタ構造は可変としている。しかし、当初は可変構造となっているクラスタであってもある条件を満たした際に、その構造を固定したい場合がある。例えば、あるクラスタに属する画像データの数が所定数を超えてしまい、画像データを追加し続けるとクラスタ構造のバランスを欠く場合には、その特定のクラスタを固定することが有用である。そこで、当初は可変構造となっているクラスタであっても、この固定フラグ690において固定属性を示すように設定することで、そのクラスタ構造を固定することができる。
図10は、本発明の実施の形態における地名情報データベース700のデータ構造の一例を示す図である。この地名情報データベース700は領域毎の地名情報を保持するものであり、具体的には、代表地緯度711と、代表地経度712と、代表地地名713と、文字コード714と、地名レベル715と、所属地図コード716と、所属国コード717と、所属地方コード718と、ポリゴンコード719とを保持する。
代表地緯度711および代表地経度712は、その領域の代表地の緯度および経度をそれぞれ示すものである。代表地地名713は、その領域の代表地の地名を示すものである。文字コード714は、代表地地名713の文字コード(例えば、シフトJISコード等)を示すものである。この文字コード714は多言語対応のために利用される。地名レベル715は、代表地地名713のレベルとして、都道府県レベル、市区町村レベルや大字レベルなどの詳しさの度合いを示すものである。
所属地図コード716は、その領域の所属する地図のコードを示すものである。所属国コード717は、その領域の所属する国のコードを示すものである。また、所属地方コード718は、その領域の所属する地方のコードを示すものである。
ポリゴンコード719は、その領域を定義するポリゴン群へのリンクを示すものである。このポリゴン群はN個(Nは整数)の位置により構成される。各位置は緯度722および経度723により定義される。また、総位置数721には位置の個数(N)が示される。
地名情報データベース700は、地図取得部240から与えられた緯度および経度と各位置の緯度722および経度723とを比較することにより、何れの領域に該当するか判断し、該当する領域の地名情報を地図取得部240に供給する。
図11は、本発明の実施の形態における地図情報データベース800のデータ構造の一例を示す図である。この地図情報データベース800は、地図情報として、地図コード811と、左上角緯度812と、左上角経度813と、右下角緯度814と、右下角経度815と、レイヤ番号816と、縮尺817と、図法コード818と、地図サイズ819と、地図ファイル名820とを備える。
また、地図情報データベース800は、地図の内容を有する地図ファイル群821を備える。ここで、ラスタ方式の地図を想定すると、地図ファイルとして例えばGIF形式(Graphic Interchange Format)の地図を保持することになる。GIF形式のファイルはサイズが小さく、また、輪郭における画質が良いため、線の多い簡易地図に適している。
地図情報において、地図コード811は、対応する地図を一意に識別するコードを示すものである。左上角緯度812および左上角経度813は、対応する地図の左上角の緯度および経度をそれぞれ示すものである。また、右下角緯度814および右下角経度815は、対応する地図の右下角の緯度および経度をそれぞれ示すものである。このように左上角および右下角の緯度および経度を示すことにより、目的とする緯度および経度がその地図に含まれるか否かを判断することができる。
レイヤ番号816は、図8により説明した地図のレイヤを示すものである。縮尺817は、その地図の縮尺の程度を示すものである。図法コード818は、その地図の図法を識別するコードを示すものである。なお、図法としては、例えばメルカトル法や正距方位図法などがある。図2の描画部280は、この図法コード818から図法を特定して、座標変換を行った上で描画する。
地図サイズ819は、その地図のサイズを例えばピクセル数等により示すものである。地図ファイル名820は、その地図を地図ファイル群821において特定するためのファイル名を示すものである。
図12は、本発明の実施の形態における最上位階層の世界地図の例を示す図である。この世界地図はレイヤ1に相当する地図である。本発明の実施の形態では、上位の階層において固定クラスタ構造を想定するため、画像データの撮像場所を示す画像位置表示の表示位置も特定の位置に固定して表示される。
ここでは、世界地図全体を縦4区分、横4区分の計16区分のメッシュに分割して、このメッシュに基づいて固定クラスタを形成する。あるメッシュ範囲内に画像データがある場合には、そのメッシュの特定の位置にシンボルが描画される。この場合のシンボルとしては、例えばフォルダアイコンなどを用いることができる。
すなわち、この世界地図においては、画像データの緯度および経度を正確に反映させた位置ではなく、16区分の何れに該当するかを大まかな位置により示すことになる。例えば図12の例では、東京、オーストラリア北部、または、インドの何れで撮像された場合であっても、そのメッシュを代表する位置として日本の南方にフォルダアイコンが示される。このような固定表示は、最上位階層の世界地図に限らず、それより下位の階層においても利用することができる。これにより、画像データの固定クラスタによる管理を容易に実現することができる。
図13は、本発明の実施の形態における各階層の地図の例を示す図である。図13(a)のレイヤ1の世界地図は図12により説明した最上位階層の地図であり、世界全体が表示されている。
レイヤ1の世界地図の下位階層には、図13(b)のレイヤ2の世界地域別地図、図13(c)のレイヤ3の国別地図、図13(d)のレイヤ4の地方地図、図13(e)のレイヤ5の都市外形地図が順次用意される。これら地図においても、上述した固定表示を行うことにより画像データの固定クラスタによる管理を容易に実現することができる。
図13(f)は都市詳細地図であるが、下地の地図は表示されていない。地図情報データベース800に該当する地図が存在しない場合には、このように下地の地図は表示できない。この場合、画像データの位置情報に基づいて相対的な位置にサムネイルが表示される。これにより、下地の地図が表示できない場合であっても、画像データの撮像場所が相対的に示される。
これらレイヤ1からレイヤ6までの各地図は、ユーザによる操作入力によって遷移する。レイヤ1の世界地図が表示されている状態で拡大操作が入力されると、表示が拡大されて、レイヤ2の世界地域別地図が表示されるようになる。さらに拡大操作が入力されると、さらに表示が拡大されて、レイヤ3の国別地図が表示されるようになる。そして、順次拡大されて、レイヤ5の都市外形地図における拡大操作が入力されると、レイヤ6の都市詳細地図が表示されるようになる。
一方、レイヤ6の都市詳細地図が表示されている状態で縮小操作が入力されると、表示が縮小されて、レイヤ5の都市外形地図が表示されるようになる。さらに縮小操作が入力されると、さらに表示が縮小されて、レイヤ4の地方地図が表示されるようになる。そして、順次縮小されて、レイヤ2の世界地域別地図における縮小操作が入力されると、レイヤ1の世界地図が表示されるようになる。
図14は、本発明の実施の形態におけるアプリケーションによる一表示例を示す図である。この表示例では、画像位置表示を行うウインドウ510と、サムネイルを表示するウインドウ520とが示されている。ウインドウ510内にはレイヤ6の都市詳細地図として、画像データの撮像場所が相対的な位置に表示されている。このウインドウ510においてアイコンが選択されると、その選択されたアイコンが中央に表示するようにしてもよい。また、対応する地図が存在する場合には、このウインドウ510に地図を表示してもよい。
また、ウインドウ510において選択されたアイコンに対応するサムネイルが、ウインドウ520内に表示されている。また、このウインドウ520において選択されたサムネイルに対応する画像データのファイル情報530が、ウインドウ520の下方に表示されている。
この表示例の左上付近には拡大縮小バー540が表示されており、現在の拡大率を把握できるようになっている。この拡大縮小バー540をスライドさせることにより、拡大または縮小の操作入力を行うことができる。ウインドウ510に地図が表示されている状態で拡大操作が行われると、地図が拡大されていき、拡大の倍率が一定の範囲を超えると地図は次のレイヤに変更され、アイコンの配置も更新される。逆に、前のレイヤに戻るためには、縮小操作が行われる。
なお、他の表示として、表示されている地図の代表地名501、表示対象となっている画像データの数502、バッテリ容量503などが表示されている。
図15は、本発明の実施の形態における撮像装置100および画像表示装置200の具体例としてのデジタルスチルカメラ300の外観例を示す図である。このデジタルスチルカメラ300の操作面には、撮像画像を表示するディスプレイ310と、拡大縮小のズーム操作を受け付けるズームボタン330と、画面表示を前の状態に戻すための戻りボタン340と、ディスプレイ310における方向指示操作を受け付ける方向ボタン350とが設けられている。また、このデジタルスチルカメラ300の上面には撮像画像の記録指示を受け付けるシャッターボタン320が設けられている。
ユーザは、ズームボタン330の望遠(T)側を押下することにより拡大操作を指示し、ズームボタン330の広角(W)側を押下することにより縮小操作を指示する。これらの操作は、撮像時だけでなく、ディスプレイ310に画像位置表示を行う際にも同様に適用される。
また、ユーザは、画像位置表示のウインドウ510および520においてフォルダやサムネイルを選択する際に、方向ボタン350を利用することができる。さらに、ウインドウ520からウインドウ510に戻る際には、戻りボタン340を利用することができる。
なお、ここでは、ズームボタン330や方向ボタン350などによって画像位置表示の操作を行う方法について説明したが、これに限らず、ディスプレイ310がタッチパネルである場合にはディスプレイ310に対して直接指示することにより画像位置表示の操作を行うようにしてもよい。
図16は、本発明の実施の形態における条件絞込み前の表示例を示す図である。ここでは、画像位置表示590として背景には地図が表示されていて、その上に画像データの撮像場所に対応してサムネイル群591乃至593が表示されている。
ここで、サムネイルの数と対応する画像データの数が比例するものとして、サムネイル1つ当り20個の画像データが存在することを意味するものとすれば、これらサムネイル群591乃至593の例では地名「本郷」、「上野公園」、「入谷」の3個所においてそれぞれ80個の画像データが存在することになる。
図17は、図16の例における画像データの撮像時刻の内訳の一例を示す図である。ここでは、一例として、地名「本郷」について2003年および2004年に40個ずつ、地名「上野公園」について2003年および2004年に20個ずつ、2005年に40個、そして、地名「入谷」について2003年に80個の画像データがそれぞれ存在することを示している。
すなわち、上述のように、2003年から2005年までの3年間で、地名「本郷」、「上野公園」、「入谷」の3個所においてそれぞれ80個の画像データが存在することになる。
なお、ここでは、撮像年に着目して一例を示したが、撮像時刻625には、撮像された月、日、時、分、秒単位まで記録することができる。
図18は、本発明の実施の形態における絞込条件の指定画面の一例を示す図である。ここでは、左側に絞込みの開始時間の指定欄、右側に絞込みの終了時間の指定欄が、それぞれ表示されている。
開始時間の指定欄には、絞込みの選択ボタン571と、指定値表示572と、指定指示ボタン573とが表示されている。絞込みの選択ボタン571は、年、月などの対応する項目を絞込条件として利用するか否を選択するものである。利用する項目にユーザが印(図中では×印)をつけることにより、その対応する項目が絞込条件として選択される。
指定値表示572は対応する項目について指定された値を表示するものである。この指定値表示572に表示される値は、ユーザが指定指示ボタン573を操作することによって変化する。例えば、年に対応する項目の指定指示ボタン573の上側を1回押下することによって指定値表示572の年表示が1つ加算され、年に対応する項目の指定指示ボタン573の下側を1回押下することによって指定値表示572の年表示が1つ減算される。
また、この例では、絞込条件として季節を指定できるようになっている。これにより、「春」が指定された場合には3月から5月、「夏」が指定された場合には6月から8月、「秋」が指定された場合には9月から11月、「冬」が指定された場合には12月から2月がそれぞれ指定されたものとして取り扱われる。
図19は、本発明の実施の形態における条件絞込み前の表示例を示す図である。ここでは、図18のような指定条件により絞込みが行われた結果、図16よりも表示対象が絞り込まれている。ずなわち、地名「本郷」および「上野公園」におけるサムネイルの数が減少し、地名「入谷」に相当する位置にはサムネイルが表示されていない。
このように、撮像時刻を条件として地図上で絞込みを行うことにより、ユーザの記憶に沿った直感的な画像データの検索を実現することができる。
次に本発明の実施の形態における画像表示装置200の動作について図面を参照して説明する。
図20は、本発明の実施の形態における画像位置表示処理の手順例を示す流れ図である。操作部250においてユーザによる操作を受け付けると(ステップS971)、それが絞込み(フィルタリング)の指示であるか否かが判断される(ステップS972)。絞込みの指示であれば、その絞込条件に従った絞込みが行われる(ステップS980)。一方、拡大または縮小の操作であれば、表示階層決定部260においてレイヤおよびレベルに変更が生じたか否かが決定される。
そして、レイヤおよびレベルに変更が生じた場合には(ステップS973およびS974)、地図取得部240によって地図情報データベース800から次に表示すべき地図が取得される(ステップS976)。但し、図14のレイヤ6のように地図情報データベース800に地図が存在しない場合には、地図の取得は行われない(ステップS975)。
さらに、その地図に対応するクラスタの情報が、クラスタ記憶部220からクラスタ管理部230によって取得される(ステップS977)。なお、レイヤの変更はないがレベルに変更がある場合には、地図の取得は行われないが、新たなレベルに合わせたクラスタ情報の取得は行われる。
そして、このように取得された地図およびクラスタ情報に基づいて描画部280によって描画処理が行われて(ステップS978)、表示部290に表示される(ステップS979)。その後、ステップS971以降の処理が繰り返される。
図21は、本発明の実施の形態におけるフィルタリング処理(ステップS980)の手順例を示す流れ図である。まず、ユーザによって指定された絞込みの開始時間(フィルタ開始時間)がTに、絞込みの終了時間(フィルタ終了時間)がTにそれぞれ設定される(ステップS981)。また、クラスタ記憶部220に保持されたクラスタの画像データ数660がCNに設定される(ステップS982)。そして、画像データのインデックスiおよび結果リストのインデックスkがそれぞれゼロにリセットされる(ステップS983)。
画像データのインデックスiがクラスタの画像データ数CNより小さければ(ステップS984)、第i番目の画像データの撮像時刻がTに設定される(ステップS985)。そして、この撮像時刻Tがフィルタ開始時間T以上かつフィルタ終了時間T以下であれば(ステップS986)、第i番目の画像データを第k番目の結果リストに登録して、結果リストのインデックスkを1つ増加させる(ステップS987)。
これらステップS984以降の処理を、画像データのインデックスiを1つずつ増加させながら、画像データのインデックスiがクラスタの画像データ数CN以上になるまで繰り返す(ステップS984)。
そして、画像データのインデックスiがクラスタの画像データ数CN以上になると、その際の結果リストのインデックスkをRNに設定して(ステップS989)、フィルタリング処理を終了する。これにより、結果リストの第0番目から第「RN−1」番目までに登録されたRN個の画像データが絞込条件に合致した結果として得られる。
このように、本発明の実施の形態によれば、クラスタ記憶部220において画像データを管理する階層的クラスタの一部を固定クラスタとすることによって、クラスタの管理を簡略化することができる。また、操作部250によって指定された絞込条件に従って条件フィルタリング部235が絞込みを行うことによって、画像データを地図上で直感的に検索させることができる。
なお、本発明の実施の形態では、レイヤ1からレイヤ5におけるシンボル表示を固定表示として、レイヤ6におけるシンボル表示を相対位置表示としたが、これに限らず、レイヤ5より上位の階層においても相対位置表示を行ってもよい。また、ここでは、レイヤ1からレイヤ5に対応する地図が地図情報データベース800に存在し、レイヤ6に該当する地図が存在しないことを想定したが、これに限らず、レイヤ5より上位の階層において該当する地図が存在しなくても対応可能である。すなわち、本発明の実施の形態においては、固定クラスタと可変クラスタの境界がレイヤ5とレイヤ6の間にあると想定して、固定クラスタについては地図を用意するとともにシンボル表示の固定表示を行い、可変クラスタについては地図を用意せずにシンボル表示の相対位置表示を行う例を説明したが、本発明はこれに限定されるものではない。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項1において、画像情報記憶手段は例えばクラスタ記憶部220に対応する。また、クラスタ管理手段は例えばクラスタ管理部230に対応する。また、描画手段は例えば描画部280に対応する。また、表示条件指定手段は例えば操作部250に対応する。また、条件フィルタリング手段は例えば条件フィルタリング部235に対応する。また、表示階層決定手段は例えば表示階層決定部260に対応する。
また、請求項3において、地図記憶手段は例えば地図情報データベース800に対応する。また、地図取得手段は例えば地図取得部240に対応する。
また、請求項6において、画像情報記憶手段は例えばクラスタ記憶部220に対応する。また、クラスタ管理手段は例えばクラスタ管理部230に対応する。また、描画手段は例えば描画部280に対応する。また、表示条件指定手段は例えば操作部250に対応する。また、条件フィルタリング手段は例えば条件フィルタリング部235に対応する。また、画像データ記憶手段は例えば画像記憶部210に対応する。
また、請求項7または8において、画像情報記憶手段は例えばクラスタ記憶部220に対応する。また、複数階層の最上位階層から最下位階層のうち表示すべき階層を表示階層として指定する手順および画像データの表示条件を指定する手順は例えばステップS971に対応する。また、表示階層において表示条件に基づき画像情報が所定範囲にある画像データのみを選択する手順は例えばステップS980に対応する。また、表示階層において画像情報に基づき選択された画像データの撮像場所を画像位置表示として描画する手順は例えばステップS978に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態において想定する撮像装置100の一構成例を示す図である。 本発明の実施の形態における画像表示装置200の一構成例を示す図である。 本発明の実施の形態におけるクラスタツリーの一例を示す図である。 本発明の実施の形態における階層的クラスタの一例を示す図である。 本発明の実施の形態における階層的クラスタに新たなクラスタが追加される場合の一例を示す図である。 本発明の実施の形態における階層的クラスタに新たなクラスタが追加される場合の他の例を示す図である。 本発明の実施の形態における階層的クラスタに新たなクラスタが追加される場合の一般的な例を示す図である。 本発明の実施の形態における階層的クラスタ構造の一例を示す図である。 本発明の実施の形態における階層的クラスタの各ノードのデータ構造の一例を示す図である。 本発明の実施の形態における地名情報データベース700のデータ構造の一例を示す図である。 本発明の実施の形態における地図情報データベース800のデータ構造の一例を示す図である。 本発明の実施の形態における最上位階層の世界地図の例を示す図である。 本発明の実施の形態における各階層の地図の例を示す図である。 本発明の実施の形態におけるアプリケーションによる一表示例を示す図である。 本発明の実施の形態における撮像装置100および画像表示装置200の具体例としてのデジタルスチルカメラ300の外観例を示す図である。 本発明の実施の形態における条件絞込み前の表示例を示す図である。 図16の例における画像データの撮像時刻の内訳の一例を示す図である。 本発明の実施の形態における絞込条件の指定画面の一例を示す図である。 本発明の実施の形態における条件絞込み前の表示例を示す図である。 本発明の実施の形態における画像位置表示処理の手順例を示す流れ図である。 本発明の実施の形態におけるフィルタリング処理の手順例を示す流れ図である。
符号の説明
100 撮像装置
110 操作部
120 カメラ部
130 メモリ
140 表示部
150 記録部
160 制御部
170 GPS受信部
200 画像表示装置
210 画像記憶部
220 クラスタ記憶部
230 クラスタ管理部
235 条件フィルタリング部
240 地図取得部
250 操作部
260 表示階層決定部
270 再生部
280 描画部
290 表示部
300 デジタルスチルカメラ
310 ディスプレイ
320 シャッターボタン
330 ズームボタン
340 戻りボタン
350 方向ボタン
700 地名情報データベース
800 地図情報データベース

Claims (8)

  1. 撮像された画像データに関する情報としてその撮像場所を含む画像情報を記憶する画像情報記憶手段と、
    複数階層のクラスタからなる階層的クラスタにより前記画像情報を管理するクラスタ管理手段と、
    前記複数階層の最上位階層から最下位階層のうち表示すべき階層を表示階層として指定する表示階層指定手段と、
    前記画像データの表示条件を指定する表示条件指定手段と、
    前記表示階層において前記表示条件に基づき前記画像情報が所定範囲にある画像データのみを選択する条件フィルタリング手段と、
    前記表示階層において前記画像情報に基づき前記選択された画像データの撮像場所を画像位置表示として描画する描画手段と
    を具備することを特徴とする画像表示装置。
  2. 前記複数階層のクラスタにおいて、前記最上位階層から前記最下位階層に至る途中の所定階層までの構造は固定されていることを特徴とする請求項1記載の画像表示装置。
  3. 前記最上位階層から前記所定階層までの地図を記憶する地図記憶手段と、
    前記表示階層に相当する地図が前記地図記憶手段に記憶されている場合に当該地図を取得する地図取得手段とをさらに具備し、
    前記描画手段は、前記表示階層に相当する地図が前記地図記憶手段に記憶されている場合には前記地図取得手段によって取得された地図を前記画像位置表示と重ねて描画することを特徴とする請求項1記載の画像表示装置。
  4. 前記画像情報は画像データの撮像時刻を含み、
    前記表示条件は画像データの撮像時刻の範囲を含み、
    前記条件フィルタリング手段は前記表示条件に基づいて前記画像情報に含まれる撮像時刻が所定範囲にある画像データのみを選択することを特徴とする請求項1記載の画像表示装置。
  5. 前記表示条件における撮像時刻の範囲は季節による指定を含むことを特徴とする請求項4記載の画像表示装置。
  6. 撮像された画像データに関する情報としてその撮像場所を含む画像情報を記憶する画像情報記憶手段と、
    複数階層のクラスタからなる階層的クラスタにより前記画像情報を管理するクラスタ管理手段と、
    前記複数階層の最上位階層から最下位階層のうち選定すべき階層を選定階層として指定する選定階層指定手段と、
    前記画像データの選択条件を指定する選択条件指定手段と、
    前記選定階層において前記選択条件に基づき前記画像情報が所定範囲にある画像データのみを選択する条件フィルタリング手段と、
    前記選定階層において前記画像情報に基づき前記選択された画像データを記憶する画像データ記憶手段と
    を具備することを特徴とする画像管理装置。
  7. 撮像された画像データの撮像場所および撮像時刻を含む画像情報を複数階層のクラスタからなる階層的クラスタにより記憶する画像情報記憶手段を備える画像表示装置において、
    前記複数階層の最上位階層から最下位階層のうち表示すべき階層を表示階層として指定する手順と、
    前記画像データの表示条件を指定する手順と、
    前記表示階層において前記表示条件に基づき前記画像情報が所定範囲にある画像データのみを選択する手順と、
    前記表示階層において前記画像情報に基づき前記選択された画像データの撮像場所を画像位置表示として描画する手順と
    を具備することを特徴とする画像表示方法。
  8. 撮像された画像データの撮像場所および撮像時刻を含む画像情報を複数階層のクラスタからなる階層的クラスタにより記憶する画像情報記憶手段を備える画像表示装置において、
    前記複数階層の最上位階層から最下位階層のうち表示すべき階層を表示階層として指定する手順と、
    前記画像データの表示条件を指定する手順と、
    前記表示階層において前記表示条件に基づき前記画像情報が所定範囲にある画像データのみを選択する手順と、
    前記表示階層において前記画像情報に基づき前記選択された画像データの撮像場所を画像位置表示として描画する手順と
    をコンピュータに実行させることを特徴とするプログラム。
JP2005351401A 2005-12-06 2005-12-06 画像表示装置、画像表示方法、および、プログラム Expired - Fee Related JP4835135B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005351401A JP4835135B2 (ja) 2005-12-06 2005-12-06 画像表示装置、画像表示方法、および、プログラム
US11/559,695 US8009919B2 (en) 2005-12-06 2006-11-14 Image managing apparatus and image display apparatus
TW095142634A TWI361619B (en) 2005-12-06 2006-11-17 Image managing apparatus and image display apparatus
EP06023939A EP1796099A1 (en) 2005-12-06 2006-11-17 Image managing apparatus and image display apparatus
KR1020060119832A KR101290667B1 (ko) 2005-12-06 2006-11-30 화상 관리 장치, 화상 표시 장치 및 화상 표시 방법과 컴퓨터 판독가능한 기록 매체
CNB2006101609690A CN100507916C (zh) 2005-12-06 2006-12-06 图像管理设备和图像显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005351401A JP4835135B2 (ja) 2005-12-06 2005-12-06 画像表示装置、画像表示方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2007156849A true JP2007156849A (ja) 2007-06-21
JP4835135B2 JP4835135B2 (ja) 2011-12-14

Family

ID=37859628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005351401A Expired - Fee Related JP4835135B2 (ja) 2005-12-06 2005-12-06 画像表示装置、画像表示方法、および、プログラム

Country Status (6)

Country Link
US (1) US8009919B2 (ja)
EP (1) EP1796099A1 (ja)
JP (1) JP4835135B2 (ja)
KR (1) KR101290667B1 (ja)
CN (1) CN100507916C (ja)
TW (1) TWI361619B (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009058922A (ja) * 2007-09-04 2009-03-19 Sony Corp 地図情報表示装置、地図情報表示方法、及びプログラム
JP2009098936A (ja) * 2007-10-17 2009-05-07 Xanavi Informatics Corp 入力装置、そのメニュー表示方法
JP2009134168A (ja) * 2007-11-30 2009-06-18 Sony Corp 地図表示装置と地図表示方法および撮像装置
WO2010038328A1 (ja) * 2008-09-30 2010-04-08 株式会社野村総合研究所 地図表示装置、地図表示方法及びコンピュータプログラム
JP2010140383A (ja) * 2008-12-15 2010-06-24 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011118784A (ja) * 2009-12-04 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011118136A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US8271497B2 (en) 2009-12-03 2012-09-18 Sony Computer Entertainment Inc. Information processing apparatus and information processing method outputting information on movement of person
JP2012189866A (ja) * 2011-03-11 2012-10-04 Mitsubishi Electric Corp 映像撮影位置特定装置及びこれを用いた映像表示システム
JP2012256172A (ja) * 2011-06-08 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013025272A (ja) * 2011-07-26 2013-02-04 Xing Inc カラオケ投稿映像選択装置及びカラオケ投稿映像選択プログラム
JP2013149160A (ja) * 2012-01-20 2013-08-01 Canon Inc 情報処理装置、その制御方法、およびプログラム
JP2014167794A (ja) * 2013-02-01 2014-09-11 Metawater Co Ltd 端末、情報表示方法、及びプログラム
US9839939B2 (en) 2013-12-31 2017-12-12 Johnson & Johnson Consumer Inc. Single-pass process for forming a multilayered shaped film product
JP2018107775A (ja) * 2016-12-28 2018-07-05 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
JP2019194916A (ja) * 2017-03-24 2019-11-07 株式会社オーガスタス 集合体選択用ユーザ・インターフェース方法
JP2022515462A (ja) * 2018-12-26 2022-02-18 ピージェー ファクトリー カンパニー リミテッド イメージ処理方法及びプログラム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356688B2 (ja) * 2005-12-07 2009-11-04 ソニー株式会社 撮像装置、およびデータ記録方法、データ表示制御方法、並びにコンピュータ・プログラム
US9665597B2 (en) * 2006-12-05 2017-05-30 Qualcomm Incorporated Method and system for processing images using time and location filters
WO2008147877A1 (en) * 2007-05-22 2008-12-04 Trimble Navigation Limited Handling raster image 3d objects
JP4963105B2 (ja) * 2007-11-22 2012-06-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像を記憶する方法、装置
JP5044817B2 (ja) * 2007-11-22 2012-10-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想空間を構築するための画像処理方法、装置
US8717411B2 (en) 2008-02-05 2014-05-06 Olympus Imaging Corp. Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US8682606B2 (en) * 2008-10-07 2014-03-25 Qualcomm Incorporated Generating virtual buttons using motion sensors
US8351910B2 (en) * 2008-12-02 2013-01-08 Qualcomm Incorporated Method and apparatus for determining a user input from inertial sensors
US8311556B2 (en) 2009-01-22 2012-11-13 Htc Corporation Method and system for managing images and geographic location data in a mobile device
TWI416928B (zh) * 2009-01-21 2013-11-21 Htc Corp 管理與顯示行動裝置影像及關聯地理位置資料的方法、系統及裝置
US20110009159A1 (en) * 2009-07-10 2011-01-13 Hrvoje Muzina Method for capturing files with a portable electronic device
JP5387366B2 (ja) * 2009-11-26 2014-01-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20110239163A1 (en) * 2009-12-04 2011-09-29 Daisuke Mochizuki Display screen control method, graphical user interface, information processing apparatus, information processing method, and program
US8988456B2 (en) * 2010-03-25 2015-03-24 Apple Inc. Generating digital media presentation layouts dynamically based on image features
KR20110139375A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치
AU2015204388B2 (en) * 2010-08-19 2017-04-20 Samsung Electronics Co., Ltd. Method and apparatus for searching contents
KR101783960B1 (ko) * 2010-08-19 2017-10-11 삼성전자주식회사 컨텐츠 검색 방법 및 그 장치
US8584015B2 (en) 2010-10-19 2013-11-12 Apple Inc. Presenting media content items using geographical data
JP2012142825A (ja) * 2011-01-05 2012-07-26 Sony Corp 情報処理装置、情報表示方法及びコンピュータプログラム
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
US9811539B2 (en) * 2012-04-26 2017-11-07 Google Inc. Hierarchical spatial clustering of photographs
JP6476861B2 (ja) * 2012-10-24 2019-03-06 日本電気株式会社 電磁界特徴分類提示装置
JP2014157390A (ja) * 2013-02-14 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
US9785152B2 (en) 2014-02-07 2017-10-10 Crown Equipment Corporation Systems, methods, and mobile client devices for supervising industrial vehicles
KR101581917B1 (ko) * 2014-08-12 2016-01-04 네이버 주식회사 컨텐츠 표시 제어 장치, 컨텐츠 표시 제어 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
US10019143B1 (en) * 2014-09-29 2018-07-10 Amazon Technologies, Inc. Determining a principal image from user interaction
WO2016079460A1 (en) * 2014-11-18 2016-05-26 Qatar Foundation For Education, Science And Community Development A method and system for delivering video content
US10217000B2 (en) * 2017-01-17 2019-02-26 International Business Machines Corporation Context-based extraction and information overlay for photographic images
JP7142420B2 (ja) * 2017-07-10 2022-09-27 キヤノン株式会社 画像処理装置、学習方法、学習済モデル、画像処理方法
EP3503101A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Object based user interface
JP7265822B2 (ja) * 2018-08-27 2023-04-27 キヤノン株式会社 表示制御装置および表示制御方法、並びにプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128166A (ja) * 1991-11-01 1993-05-25 Konica Corp 電子画像フアイリング装置
JPH10233985A (ja) * 1997-02-18 1998-09-02 Fuji Photo Film Co Ltd 画像再生方法及び画像データ管理方法
JP2001228528A (ja) * 2000-02-18 2001-08-24 Fuji Photo Film Co Ltd 画像撮影装置、画像処理装置、及び画像管理方法
JP2003044486A (ja) * 2001-07-30 2003-02-14 Toshiba Corp 知識分析システム、クラスタ管理方法およびクラスタ管理プログラム
JP2003044491A (ja) * 2001-07-30 2003-02-14 Toshiba Corp 知識分析システムならびに同システムにおける分析条件設定方法、分析条件保存方法および再分析処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7705498A (en) 1997-05-29 1998-12-30 Red Hen Systems Llc Gps video mapping system
DE60028874T2 (de) 1999-07-06 2006-11-09 Canon K.K. System zum Suchen eines Gerätes im Netzwerk
GB2360658B (en) 2000-03-20 2004-09-08 Hewlett Packard Co Camera with user identity data
US20020120395A1 (en) 2001-02-23 2002-08-29 Bruce Smith On-line navigational system
JP2003018506A (ja) 2001-07-02 2003-01-17 Matsushita Electric Ind Co Ltd 位置記録システム
JP4235541B2 (ja) * 2003-12-15 2009-03-11 キヤノン株式会社 デジタルカメラおよびデジタルカメラの制御方法およびプログラム
JP4341408B2 (ja) 2004-01-15 2009-10-07 パナソニック株式会社 画像表示方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128166A (ja) * 1991-11-01 1993-05-25 Konica Corp 電子画像フアイリング装置
JPH10233985A (ja) * 1997-02-18 1998-09-02 Fuji Photo Film Co Ltd 画像再生方法及び画像データ管理方法
JP2001228528A (ja) * 2000-02-18 2001-08-24 Fuji Photo Film Co Ltd 画像撮影装置、画像処理装置、及び画像管理方法
JP2003044486A (ja) * 2001-07-30 2003-02-14 Toshiba Corp 知識分析システム、クラスタ管理方法およびクラスタ管理プログラム
JP2003044491A (ja) * 2001-07-30 2003-02-14 Toshiba Corp 知識分析システムならびに同システムにおける分析条件設定方法、分析条件保存方法および再分析処理方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009058922A (ja) * 2007-09-04 2009-03-19 Sony Corp 地図情報表示装置、地図情報表示方法、及びプログラム
US8824745B2 (en) 2007-09-04 2014-09-02 Sony Corporation Map information display apparatus, map information display method, and program
US8462993B2 (en) 2007-09-04 2013-06-11 Sony Corporation Map information display apparatus, map information display method, and program
US8175340B2 (en) 2007-09-04 2012-05-08 Sony Corporation Map information display apparatus, map information display method, and program
JP2009098936A (ja) * 2007-10-17 2009-05-07 Xanavi Informatics Corp 入力装置、そのメニュー表示方法
JP2009134168A (ja) * 2007-11-30 2009-06-18 Sony Corp 地図表示装置と地図表示方法および撮像装置
JP4623088B2 (ja) * 2007-11-30 2011-02-02 ソニー株式会社 地図表示装置と地図表示方法および撮像装置
WO2010038328A1 (ja) * 2008-09-30 2010-04-08 株式会社野村総合研究所 地図表示装置、地図表示方法及びコンピュータプログラム
JP2010085587A (ja) * 2008-09-30 2010-04-15 Nomura Research Institute Ltd 地図表示装置、地図表示方法及びコンピュータプログラム
JP2010140383A (ja) * 2008-12-15 2010-06-24 Sony Corp 情報処理装置および方法、並びにプログラム
US8271497B2 (en) 2009-12-03 2012-09-18 Sony Computer Entertainment Inc. Information processing apparatus and information processing method outputting information on movement of person
JP2011118136A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2011118784A (ja) * 2009-12-04 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012189866A (ja) * 2011-03-11 2012-10-04 Mitsubishi Electric Corp 映像撮影位置特定装置及びこれを用いた映像表示システム
JP2012256172A (ja) * 2011-06-08 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013025272A (ja) * 2011-07-26 2013-02-04 Xing Inc カラオケ投稿映像選択装置及びカラオケ投稿映像選択プログラム
JP2013149160A (ja) * 2012-01-20 2013-08-01 Canon Inc 情報処理装置、その制御方法、およびプログラム
JP2014167794A (ja) * 2013-02-01 2014-09-11 Metawater Co Ltd 端末、情報表示方法、及びプログラム
US9839939B2 (en) 2013-12-31 2017-12-12 Johnson & Johnson Consumer Inc. Single-pass process for forming a multilayered shaped film product
JP2018107775A (ja) * 2016-12-28 2018-07-05 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
JP2019194916A (ja) * 2017-03-24 2019-11-07 株式会社オーガスタス 集合体選択用ユーザ・インターフェース方法
JP2022515462A (ja) * 2018-12-26 2022-02-18 ピージェー ファクトリー カンパニー リミテッド イメージ処理方法及びプログラム
JP7229587B2 (ja) 2018-12-26 2023-02-28 ピージェー ファクトリー カンパニー リミテッド イメージ処理方法及びプログラム

Also Published As

Publication number Publication date
CN1979488A (zh) 2007-06-13
US8009919B2 (en) 2011-08-30
JP4835135B2 (ja) 2011-12-14
KR101290667B1 (ko) 2013-07-30
TW200746801A (en) 2007-12-16
CN100507916C (zh) 2009-07-01
TWI361619B (en) 2012-04-01
US20070139546A1 (en) 2007-06-21
KR20070059968A (ko) 2007-06-12
EP1796099A1 (en) 2007-06-13

Similar Documents

Publication Publication Date Title
JP4835135B2 (ja) 画像表示装置、画像表示方法、および、プログラム
JP4835134B2 (ja) 画像表示装置、画像表示方法、および、プログラム
JP4412342B2 (ja) コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP3982605B2 (ja) 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム
CN101790034B (zh) 图像处理装置和图像显示方法
JP5932354B2 (ja) 情報処理装置、その制御方法、およびプログラム
US20110122153A1 (en) Information processing apparatus, information processing method, and program
KR20070101336A (ko) 이미지를 브라우징하기 위한 사용자 인터페이스
US20080148176A1 (en) Data retrieval device with function for modifying retrieval condition classes
JP4950015B2 (ja) データ検索装置、データ検索方法、及びそのプログラム
JP2009505261A (ja) シンボリック表現空間を使用してデータにアクセスするための方法及び装置
KR101747299B1 (ko) 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체
JP2007266902A (ja) カメラ
EP1098254A2 (en) Method and apparatus for searching data
JP2009217828A (ja) 画像検索装置
US20070168386A1 (en) Device and method for managing multimedia content in portable digital apparatus
US9329760B2 (en) Information processing apparatus, control method thereof, and program
JP2005190087A (ja) 画像検索装置および画像検索方法
JP4102933B2 (ja) 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム
KR101421726B1 (ko) 사진 브라우징 방법
JP2005223576A (ja) 携帯情報端末および画像管理方法
JP2023034882A (ja) 画像保存装置、画像保存装置の処理方法、およびプログラム
KR20070090329A (ko) 사진 검색 방법 및 이에 적합한 기록 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees