JP6143678B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6143678B2
JP6143678B2 JP2013551633A JP2013551633A JP6143678B2 JP 6143678 B2 JP6143678 B2 JP 6143678B2 JP 2013551633 A JP2013551633 A JP 2013551633A JP 2013551633 A JP2013551633 A JP 2013551633A JP 6143678 B2 JP6143678 B2 JP 6143678B2
Authority
JP
Japan
Prior art keywords
image
map
displayed
display
shooting position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013551633A
Other languages
English (en)
Other versions
JPWO2013099704A1 (ja
Inventor
鈴木　知
知 鈴木
真一郎 飛永
真一郎 飛永
徳之 星原
徳之 星原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Original Assignee
Sony Interactive Entertainment Inc
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Corp filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2013099704A1 publication Critical patent/JPWO2013099704A1/ja
Application granted granted Critical
Publication of JP6143678B2 publication Critical patent/JP6143678B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像の撮影位置を地図から直感的に確認することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
近年、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサを搭載したデジタルカメラなどの携帯端末が普及してきている。そのような測位機能を有する携帯端末で撮影を行った場合、画像データのファイルには、撮影日時の情報の他に、撮影位置の緯度経度を表す情報がメタデータとして付加される。
また、画像を管理するアプリケーションの中には、撮影位置の情報が付加された画像ファイルを取り込んだとき、各画像の撮影位置にポインタを配置した地図を表示させるものがある。これにより、ユーザは、どこで撮影した画像であるのかを確認しながら、画像を閲覧することができる。
特開２０１０−３９５８３号公報
特に縮尺が大きい（表示地域が狭い）場合、地図の表示地域を切り換えたときに画像の撮影位置の関係が分かりづらくなることがある。例えば世界中の様々な位置で撮影された画像がある場合、縮尺が大きいときには全体を確認することができず、あるポインタを含む地域が世界地図全体においてどの辺の地域であるのかが直感的には分からない。
本技術はこのような状況に鑑みてなされたものであり、画像の撮影位置を地図から直感的に確認することができるようにするものである。
本技術の一側面の情報処理装置は、撮影位置を表す位置情報が付加された複数の画像を取得する取得部と、前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させる表示制御部とを備える。
前記表示制御部には、ユーザにより選択された前記ポインタが示す位置を含むように前記第１の地図の表示地域を切り換え、選択された前記ポインタが示す位置で撮影された前記画像の代表画を、前記第１の地図および前記第２の地図と並べて表示させることができる。
前記表示制御部には、選択された前記ポインタが示す位置で撮影された前記画像の時系列を表示させることができる。
前記表示制御部には、前記時系列を構成する前記画像を１枚ずつ表示させることができる。
前記表示制御部には、全ての前記ポインタが示す位置で撮影された前記画像の時系列を表示させることができる。
前記表示制御部には、前記時系列から選択された１枚の前記画像の撮影位置を含むように、前記第１の地図の表示地域を切り換えさせることができる。
前記表示制御部には、新たに選択された前記画像の撮影位置が、直前に選択されていた前記画像の撮影位置と異なる場合、前記第１の地図の表示地域を、直前に選択されていた前記画像の撮影位置を含む地域から、新たに選択された前記画像の撮影位置を含む地域までスクロールさせることができる。
前記表示制御部には、前記第１の地図の表示地域をスクロールさせるとき、各地域の前記第１の地図を、新たに選択された前記画像の撮影位置と直前に選択されていた前記画像の撮影位置の間の距離に応じて縮尺を変えて表示させることができる。
前記表示制御部には、新たに選択された前記画像の撮影位置と直前に選択されていた前記画像の撮影位置の間の距離が長いほど最小の縮尺を小さくして、各地域の前記第１の地図を表示させることができる。
前記表示制御部には、前記第１の地図と前記第２の地図の表示を消し、前記時系列を構成する前記画像を１枚ずつ表示させることができる。
前記表示制御部には、新たに表示させる前記画像の撮影位置が直前に表示させていた前記画像の撮影位置と異なる場合、直前に表示させていた前記画像の撮影位置と新たに表示させる前記画像の撮影位置を結ぶ線上の各地域の地図からなるアニメーションを、新たに表示させる前記画像の表示前に表示させることができる。
前記表示制御部には、前記アニメーションを構成する各地域の地図を、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置の間の距離に応じて縮尺を変えて表示させることができる。
前記表示制御部には、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置の間の距離が長いほど最小の縮尺を小さくして、各地域の地図を表示させることができる。
前記表示制御部には、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置を結ぶ線上に軌跡を表す画像を表示させることができる。
前記第２の地図は、正射図法で表された地図であるようにすることができる。
本技術の一側面においては、撮影位置を表す位置情報が付加された複数の画像が取得され、前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させる処理が行われる。
本技術によれば、画像の撮影位置を地図から直感的に確認することができる。
本技術の一実施形態に係る情報処理装置の外観を示す図である。 画像管理アプリケーションによる画面表示の切り換えの例を示す図である。 図２の位置選択画面＃１を示す図である。 図２の位置選択画面＃２を示す図である。 図２の画像選択画面＃３を示す図である。 図２の画像選択画面＃４を示す図である。 情報処理装置のハードウェアの構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 画像管理アプリケーションの全体の動作について説明するフローチャートである。 図９のステップＳ１において行われる位置選択モードの処理について説明するフローチャートである。 図９のステップＳ２において行われる画像選択モードの処理について説明するフローチャートである。 図９のステップＳ２において行われる画像選択モードの処理について説明する、図１１に続くフローチャートである。 画像選択画面における平面地図のスクロールの例を示す図である。 画像選択画面における平面地図のスクロールの例を示す図である。 平面地図の縮尺の変化について説明する図である。 平面地図の縮尺の変化について説明する図である。 図１１のステップＳ３８において行われるスライドショー再生処理１について説明するフローチャートである。 図１２のステップＳ５１において行われるスライドショー再生処理２について説明するフローチャートである。 アニメーションについて説明する図である。 アニメーションの例を示す図である。 図２０に続くアニメーションの例を示す図である。 図２１に続くアニメーションの例を示す図である。
図１は、本技術の一実施形態に係る情報処理装置の外観を示す図である。
情報処理装置１には十字ボタンなどの各種のボタンが設けられたコントローラ２が接続される。ユーザはコントローラ２を用いて情報処理装置１を操作する。
情報処理装置１には、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルなどのケーブル３を介して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイを有する表示装置４が接続される。情報処理装置１から出力されたデータに基づいて、各種の画面が表示装置４のディスプレイに表示される。
情報処理装置１には、デジタルカメラやカメラ機能付きの携帯電話機などの携帯端末を用いて撮影された画像を取り込み、取り込んだ画像を管理するアプリケーションである画像管理アプリケーションが用意されている。画像の取り込みは、メモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体を介して、または、情報処理装置１と携帯端末の間で行われる有線や無線の通信を介して行われる。
情報処理装置１が取り込む画像のファイルには撮影時刻の情報と撮影位置の情報がメタデータとして付加されている。各画像の撮影位置は、例えば緯度経度により表され、地図上の各画像の撮影位置にポインタを表示させるために用いられる。
＜画像管理アプリケーションの表示画面＞
図２は、画像管理アプリケーションによって表示装置４のディスプレイに表示される画面の切り換えの例を示す図である。
画像管理アプリケーションの起動は例えば情報処理装置１のメニュー画面からユーザが指示したときに行われる。画像管理アプリケーションのモードには、図２に示すように位置選択モードと画像選択モードがある。
位置選択モードは、地図上に表示されたポインタの中から所定のポインタを選択するモードである。ポインタは、それが表示されている位置で撮影された画像があることを示す。ポインタが示す位置で撮影された画像には、ポインタが示す位置で撮影された画像だけでなく、ポインタが示す位置を中心とする所定の範囲内で撮影された画像が含まれる。
画像選択モードは、位置選択モードで選択されたポインタの位置で撮影された画像の中から所定の画像を選択するモードである。
画像管理アプリケーションが起動したとき、表示装置４のディスプレイには、例えば図２の左上の位置選択画面＃１が表示される。
図３は、図２の位置選択画面＃１を示す図である。
位置選択画面＃１は、主に、平面地図領域１１と、平面地図領域１１の左側に形成された球状地図領域１２およびポインタ情報表示領域１３から構成される。平面地図領域１１の下にはメッセージ領域１４が形成され、メッセージ領域１４の下にはボタン説明領域１５が形成される。
位置選択画面＃１の広い範囲を占める平面地図領域１１には、メルカトル図法などの所定の投影法で表される地図が表示される。平面地図領域１１の地図は、縮尺と、表示させる地域をユーザが選択することができるようになされており、そのときの表示地域内で撮影された画像がある場合、地図上にポインタが表示される。
図３の例においては、世界全体を表す地図が平面地図領域１１に表示されており、地図上にポインタ２１乃至２８が表示されている。例えばポインタ２１は日本付近を示すポインタであり、これにより、日本国内で撮影された画像があることが表される。
また、図３の例においてはポインタ２１が選択された状態になっている。図３においてポインタ２１に斜線を付していることは、ポインタ２１が選択された状態になっており、他のポインタと異なる色で表示されていることを表す。例えばカーソル移動ボタンを押すことによって、ユーザは他のポインタを選択することができる。
球状地図領域１２には、地球の形状を表す円が表示される。球状地図領域１２に表示される円の中には正射図法などで表される地図、すなわち地球を遠方から見た状態を表す地図が表示される。球状地図領域１２に表示される地図は縮尺が固定の広域の地図であり、その表示地域が、平面地図領域１１に表示されている地図の表示に連動して切り換えられる。例えば平面地図領域１１に表示されている地図から所定のポインタが選択されたとき、選択されたポインタを含む地域が中心などの所定の位置にくるように、球状地図領域１２の地図の表示地域が切り換えられる。
図３の例においては、平面地図領域１１の地図からポインタ２１が選択されていること に連動して、日本付近の地域を含む地図が表示されている。
以下、適宜、平面地図領域１１に表示される地図を平面地図という。また、球状地図領域１２に表示される地図を球状地図という。
ポインタ情報表示領域１３には、平面地図から選択されたポインタに関する情報が表示される。選択されたポインタに関する情報が表示される領域であるから、ポインタ情報表示領域１３の表示も、平面地図、球状地図の表示に連動して切り換えられることになる。
ポインタ情報表示領域１３には、選択されたポインタの位置で撮影された画像の中から選択された代表画１３Ａと、選択されたポインタの位置で撮影された画像の数の情報が表示される。図３の例においては、ポインタ２１が示す位置で撮影された静止画の数が４、動画の数が３２６であり、合計３３０の画像が、ポインタ２１が示す位置で撮影された画像として管理されていることを表す情報が表示されている。
メッセージ領域１４には操作に関する各種のメッセージが表示される。
ボタン説明領域１５には、コントローラ２のボタンに割り当てられた操作に関する情報が表示される。主な操作について説明すると、図３の例においては、ズーム、決定の各操作がコントローラ２の所定のボタンに割り当てられている。
ズームは、平面地図の縮尺の拡大（ズームイン）、縮小（ズームアウト）に用いられる操作である。ズームインに割り当てられたボタンであるズームインボタンが押される毎に、縮尺が大きくなり、より狭い地域の平面地図が平面地図領域１１に表示される。また、ズームアウトに割り当てられたボタンであるズームアウトボタンが押される毎に、縮尺が小さくなり、より広い地域の平面地図が平面地図領域１１に表示される。
決定は、選択状態にあるポインタを決定するときに用いられる操作である。決定に割り当てられたボタンである決定ボタンが押されたとき、選択状態にあるポインタの選択が確定され、位置選択モードの画面に代えて、画像選択モードの画面が表示される。
コントローラ２の十字ボタンには、平面地図上のポインタを切り換えるときに用いられる操作であるカーソル移動が割り当てられている。カーソル移動に割り当てられたボタンであるカーソル移動ボタンが押される毎に、選択状態となるポインタが、現在選択中のポインタから近傍にあるポインタに切り換えられる。
ユーザは、このような構成を有する位置選択画面＃１を用いて、平面地図領域１１に表示させる地域を選択することができる。また、ユーザは、平面地図領域１１に表示させている地域の地球全体における位置を球状地図から確認し、ポインタの選択を行うことができる。
図２の説明に戻り、位置選択画面＃１が表示されている状態でズームインボタンが所定の回数だけ押されたとき、表示装置４のディスプレイには、矢印Ａ１の先に示すように、位置選択画面＃１に代えて位置選択画面＃２が表示される。平面地図領域１１に表示される平面地図の縮尺は、ズームインボタンが押される毎に所定の量ずつ大きくなり、より狭い地域の平面地図が表示される。
図４は、図２の位置選択画面＃２を示す図である。
位置選択画面＃２の構成は図３を参照して説明した位置選択画面＃１の構成と同じであ る。重複する説明については適宜省略する。ズームインボタンが押されることに応じて、平面地図領域１１には、位置選択画面＃１の平面地図の表示地域（世界全体）より狭い、日本国内の所定の地域の平面地図が表示される。なお、平面地図において、色を付している部分が海に対応し、それ以外の部分が陸地に対応する。
図４の平面地図上にはポインタ３１乃至４０が表示されている。上述したように、ポインタは画像の撮影位置を示し、ポインタの位置で撮影された画像には、ポインタの位置を中心とする所定の範囲内で撮影された画像が含まれるが、その所定の範囲は平面地図の縮尺に応じて切り換えられる。
図４の例においてはポインタ３１乃至４０のうちのポインタ３１が選択されている。ポインタ情報表示領域１３には、ポインタ３１の位置で撮影された画像の代表画である代表画１３Ａと、ポインタ３１の位置で撮影された画像の数の情報が表示されている。
図２の説明に戻り、位置選択画面＃２が表示されている状態でズームアウトボタンが所定の回数だけ押されたとき、表示装置４のディスプレイの表示は矢印Ａ２の先に示す位置選択画面＃１に戻る。平面地図領域１１に表示される平面地図の縮尺は、ズームアウトボタンが押される毎に所定の量ずつ小さくなり、より広い地域の平面地図が表示される。
位置選択画面＃１または位置選択画面＃２が表示されている状態で決定ボタンが一回押されたとき、矢印Ａ３の先に示すように、画像管理アプリケーションのモードが位置選択モードから画像選択モードに切り換わる。表示装置４のディスプレイには、画像選択モードの画面である画像選択画面＃３が表示される。
図５は、図２の画像選択画面＃３を示す図である。
画像選択画面＃３も、主に、平面地図領域１１、球状地図領域１２、およびポインタ情報表示領域１３から構成される。平面地図領域１１の下にはメッセージ領域１４が形成され、メッセージ領域１４の下にはボタン説明領域１５が形成される。
図５の画像選択画面＃３は、日本国内のある地域の平面地図が平面地図領域１１に表示されている位置選択画面＃２において決定ボタンが一回押されたときの画面である。平面地図と球状地図の表示は位置選択画面＃２の表示と同じである。
画像選択画面＃３の平面地図領域１１の上方には、平面地図に重ねて、水平方向の帯状の領域である時系列領域５１が表示される。時系列領域５１には、選択中のポインタであるポインタ３１の位置で撮影された画像の時系列が表示される。時系列を構成する画像の並び順は、例えば、メタデータとしてファイルに付加されている情報に基づいて特定される撮影時刻順である。
図５の例においては、時系列領域５１の中央にカーソル５２が表示され、カーソル５２によって囲まれる形で画像６１が表示されている。カーソル５２によって囲まれる形で表示されている画像が、ユーザが選択した選択画像となる。画像６１は、ポインタ３１が示す位置で撮影された画像のうちの例えば撮影時刻が最も前の画像である。
画像６１の右側には、他の画像が一部重なる形で画像６２乃至６５が表示されている。後述するカーソル移動ボタンを押すことによって、ユーザは画像の時系列をその並びのままずらし、選択画像を他の画像に切り換えることができる。
カーソル５２の上の領域５３には画像選択画面の表示モードを表す情報が表示される。 画像選択画面の表示モードとして、選択中の１つのポインタの位置で撮影された画像の時系列を表示するモードと、全てのポインタの位置で撮影された画像、すなわち全ての画像の時系列を表示するモードが用意される。図５の例においては、画像選択画面＃３の表示モードが、選択中のポインタ（ポインタ３１）が示す位置で撮影された画像の時系列を表示するモードであることを示す「選択中のポイント」の文字が領域５３に表示されている。
カーソル５２の下の領域５４には選択画像が何枚目の画像であるのかを表す情報が表示される。図５の例においては、選択中のポインタの位置で撮影された画像が４９枚あり、そのうちの１枚目の画像が選択されていることを示す数字が領域５４に表示されている。
ポインタ情報表示領域１３には、選択中のポインタの位置の緯度経度の情報が表示される。
ボタン説明領域１５には、画像選択モード時に選択可能な操作の説明が表示される。主な操作について説明すると、図５の例においては、スライドショー、表示切換、カーソル移動、再生、戻るの各操作がコントローラ２の所定のボタンに割り当てられている。
スライドショーは、選択中のポインタの位置で撮影された画像を対象としたスライドショーを開始するときに用いられる操作である。スライドショーに割り当てられたボタンであるスライドショーボタンが一回押されたとき、表示装置４のディスプレイには、画像選択画面＃３に代えて、時系列領域５１に表示されている時系列を構成する画像が１枚ずつ例えば撮影時刻順に拡大して表示される。
表示切換は、画像選択画面の表示モードを切り換えるときに用いられる操作である。表示切り換えには例えばコントローラ２の十字ボタンの上ボタンと下ボタンが割り当てられている。１つのポインタの位置で撮影された画像の時系列を表示するモードが選択されている状態で上ボタンが一回押されたとき、画像選択画面の表示モードは全てのポインタの位置で撮影された画像の時系列を表示するモードに切り換えられる。反対に、全てのポインタの位置で撮影された画像の時系列を表示するモードが選択されている状態で下ボタンが一回押されたとき、画像選択画面の表示モードは１つのポインタの位置で撮影された画像の時系列を表示するモードに切り換えられる。
カーソル移動は、選択画像を切り換えるときに用いられる操作である。カーソル移動には例えばコントローラ２の十字ボタンの左ボタンと右ボタンが割り当てられている。左ボタンが一回押されたとき、画像の時系列全体が右方向に１画像分ずつずれ、選択画像がそれまで選択されていた画像の左隣の画像に切り換えられる。一方、右ボタンが一回押されたとき、時系列全体が左方向に１画像分ずつずれ、選択画像がそれまで選択されていた画像の右隣の画像に切り換えられる。
再生は、選択画像を拡大して表示させるときに用いられる操作である。再生に割り当てられたボタンである再生ボタンが押されたとき、表示装置４のディスプレイには、画像選択画面＃３に代えて、選択画像が拡大して表示される。
戻るは、画像管理アプリケーションのモードを画像選択モードから位置選択モードに切り換えるときに用いられる操作である。戻るに割り当てられたボタンである戻るボタンが押されたとき、表示装置４のディスプレイには位置選択画面が表示される。
このような構成を有する画像選択画面＃３を用いて、ユーザは、ポインタ３１が示す位置で撮影された画像の中から所定の画像を選択し、拡大して表示させることができる。ま た、ユーザは、ポインタ３１が示す位置で撮影された画像のスライドショーを開始させることができる。
図２の説明に戻り、画像選択画面＃３が表示されている状態で戻るボタンが一回押されたとき、画像管理アプリケーションのモードが画像選択モードから位置選択モードに切り換わる。表示装置４のディスプレイの画面は、矢印Ａ４の先に示すように、決定ボタンが押される前の状態の位置選択画面に戻る。
また、画像選択画面＃３が表示されている状態で上ボタンが一回押されたとき、表示装置４のディスプレイには、矢印Ａ５の先に示すように、画像選択画面＃３に代えて画像選択画面＃４が表示される。画像選択画面＃４は、画像選択画面の表示モードが全てのポインタの位置で撮影された画像の時系列を表示するモードのときの画面である。
図６は、図２の画像選択画面＃４を示す図である。
画像選択画面＃４の構成は図５の画像選択画面＃３の構成と同じである。重複する説明については適宜省略する。画像選択画面＃４の時系列領域５１には、全てのポインタの位置で撮影された画像の時系列が表示される。
図６の例においては、画像７１乃至７９が表示され、そのうちの画像７５が選択されている。画像７１乃至７９のうちの画像７５以外の画像は、他の画像が一部重なる形で表示される。
領域５３には、画像選択画面＃４の表示モードが、全てのポインタの位置で撮影された画像の時系列を表示するモードであることを示す「全てのポイント」の文字が表示されている。また、領域５４には、画像が４６６枚あり、そのうちの１４３枚目の画像が選択されていることを示す数字が表示されている。
このような構成を有する画像選択画面＃４を用いて、ユーザは、全てのポインタの位置で撮影された画像の時系列の中から所定の画像を選択することができる。
右ボタンまたは左ボタンが押されることによって選択画像が切り換えられた場合、新たに選択された画像と直前に選択されていた画像の撮影位置が異なるときには、新たに選択された画像の撮影位置を含む地域を表示するように平面地図の表示が切り換えられる。また、平面地図の表示が切り換えられることに連動して、球状地図の表示も切り換えられる。
また、ユーザは、画像選択画面＃４を用いて、全てのポインタの位置で撮影された画像を対象としたスライドショーを開始させることができる。すなわち、画像選択画面の表示モードが全てのポインタの位置で撮影された画像の時系列を表示するモードである場合と１つのポインタの位置で撮影された画像の時系列を表示するモードである場合とで、スライドショーの対象となる画像が異なる。
スライドショー時、新たに表示する画像と直前に表示されていた画像の撮影位置が異なるときには、直前に表示されていた画像の撮影位置から新たに表示する画像の撮影位置までの移動を表すアニメーションが、新たな画像の表示前に表示される。
選択画像が切り換えられた場合の平面地図の表示の切り換えと、スライドショー時に表示されるアニメーションについては後述する。
図２の説明に戻り、画像選択画面＃４が表示されている状態で下ボタンが一回押されたとき、表示装置４のディスプレイには、矢印Ａ６の先に示すように、画像選択画面＃４に代えて画像選択画面＃３が表示される。
また、画像選択画面＃４が表示されている状態で戻るボタンが一回押されたとき、画像管理アプリケーションのモードが画像選択モードから位置選択モードに切り換わる。表示装置４のディスプレイの画面は、矢印Ａ７の先に示すように、決定ボタンが押される前の状態の位置選択画面に戻る。
以上のように、ユーザは、位置選択モードと画像選択モードを１回のボタン操作で切り換えることができる。また、ユーザは、画像選択モードを選択して画像選択画面を表示させた後、近隣の場所で撮影された画像のみの時系列を表示させるモードと、すべての画像の時系列を表示させるモードを１回のボタン操作で切り換えることができる。
以上のようにしてディスプレイの表示を切り換える情報処理装置１の一連の動作についてはフローチャートを参照して後述する。
＜情報処理装置１の構成例＞
図７は、情報処理装置１のハードウェアの構成例を示すブロック図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、バス１０４により相互に接続される。バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続される。
入力部１０６は、コントローラ２に対するユーザの操作を検出し、ユーザの操作の内容を表す信号をＣＰＵ１０１に出力する。出力部１０７は、画像管理アプリケーションの画面のデータをケーブル３を介して表示装置４に出力し、表示装置４のディスプレイの表示を制御する。記憶部１０８は、ハードディスクやフラッシュメモリなどよりなり、情報処理装置１に取り込まれた画像ファイルを記憶する。記憶部１０８に記憶された画像ファイルは画像管理アプリケーションにより適宜読み出される。
通信部１０９は、ネットワークを介して接続された装置や、有線または無線の通信を介して接続された携帯端末との間でデータの送受信を行う。通信部１０９は、外部の機器から送信されてきた画像ファイルを記憶部１０８に出力し、記憶させる。ドライブ１１０は、情報処理装置１に装着された光ディスクやＵＳＢメモリなどのリムーバブルメディア１１１を駆動させ、リムーバブルメディア１１１に記憶された画像ファイルを読み出す。ドライブ１１０は、リムーバブルメディア１１１から読み出した画像ファイルを記憶部１０８に出力し、記憶させる。
図８は、情報処理装置１の機能構成例を示すブロック図である。
図８に示す機能部のうちの少なくとも一部は、図７のＣＰＵ１０１により画像管理アプリケーションが実行されることによって実現される。情報処理装置１においては、画像取得部１２１と表示制御部１２２が実現される。
画像取得部１２１は、記憶部１０８に記憶されている画像ファイルを取得する。また、画像取得部１２１は、ドライブ１１０を制御してリムーバブルメディア１１１から画像ファイルを読み出し、取得する。画像取得部１２１は、取得した画像ファイルを表示制御部 １２２に出力する。表示制御部１２２に出力される画像ファイルには、画像データと、撮影時刻の情報や撮影位置の情報などのメタデータが含まれる。
表示制御部１２２は、入力部１０６から供給される信号により表されるユーザの操作に応じて、図２等を参照して説明したようにして表示装置４のディスプレイの表示を制御する。
＜情報処理装置１の動作＞
ここで、以上のような構成を有する情報処理装置１の動作について説明する。
はじめに、図９のフローチャートを参照して、画像管理アプリケーションの全体の動作について説明する。図９の処理は、画像管理アプリケーションが起動したときに開始される。画像管理アプリケーションが起動したとき、画像取得部１２１により画像ファイルが取得され、表示制御部１２２に供給される。
ステップＳ１において、表示制御部１２２は位置選択モードの処理を行う。位置選択モードの処理により、情報処理装置１のディスプレイには上述したような位置選択画面が表示され、ユーザの操作に応じて画面表示が切り換えられる。位置選択モードの処理については図１０のフローチャートを参照して後述する。
ステップＳ２において、表示制御部１２２は画像選択モードの処理を行う。画像選択モードの処理により、情報処理装置１のディスプレイには上述したような画像選択画面が表示され、ユーザの操作に応じて画面表示が切り換えられる。画像選択モードの処理については図１１および図１２のフローチャートを参照して後述する。
次に、図１０のフローチャートを参照して、図９のステップＳ１において行われる位置選択モードの処理について説明する。
ステップＳ１１において、表示制御部１２２は位置選択画面を表示させる。例えば、画像管理アプリケーションの起動直後の位置選択画面には、図３を参照して説明したような、世界全体の平面地図が平面地図領域１１に表示される。
ステップＳ１２において、表示制御部１２２は、ズームインボタンまたはズームアウトボタンが押されたか否かを判定する。
ズームインボタンまたはズームアウトボタンが押されたとステップＳ１２において判定した場合、ステップＳ１３において、表示制御部１２２は、例えば、選択されているポインタの位置を中心として、平面地図領域１１に表示されている平面地図の縮尺を切り換える。
一方、ズームインボタンまたはズームアウトボタンが押されていないとステップＳ１２において判定した場合、ステップＳ１４において、表示制御部１２２は、カーソル移動ボタンが押されたか否かを判定する。
カーソル移動ボタンが押されたとステップＳ１４において判定した場合、ステップＳ１５において、表示制御部１２２は、例えば新たに選択されたポインタが中心にくるように、平面地図領域１１に表示させる平面地図の地域を切り換える。
ステップＳ１６において、表示制御部１２２は、平面地図の表示を切り換えることに連動させて、例えば平面地図から選択されたポインタに対応する位置が中心にくるように球 状地図の表示地域を切り換える。
なお、ステップＳ１５とＳ１６の処理は、図３に示すように世界全体の平面地図が平面地図領域１１に表示されているときには行われず、ズームインボタンが所定の回数だけ押され、平面地図の縮尺が閾値より大きい場合にのみ行われるようにしてもよい。
ステップＳ１７において、表示制御部１２２は、選択されたポインタの位置で撮影された画像の中から所定の画像を選択し、代表画としてポインタ情報表示領域１３に表示させる。また、表示制御部１２２は、画像の数を表す情報をポインタ情報表示領域１３に表示させる。
ステップＳ１３，Ｓ１７の処理の後、または、ステップＳ１４においてカーソル移動ボタンが押されていないと判定した後、ステップＳ１８において、表示制御部１２２は、決定ボタンが押されたか否かを判定する。
決定ボタンが押されていないとステップＳ１８において判定した場合、表示制御部１２２は、ステップＳ１２に戻り、以上の処理を繰り返し行う。
一方、決定ボタンが押されたとステップＳ１８において判定した場合、ステップＳ１９において、表示制御部１２２は、画像管理アプリケーションのモードを画像選択モードに切り換える。その後、図９のステップＳ１に戻り、それ以降の処理が行われる。
次に、図１１および図１２のフローチャートを参照して、図９のステップＳ２において行われる画像選択モードの処理について説明する。
ステップＳ３１において、表示制御部１２２は、位置選択画面から選択されたポインタの位置で撮影された画像の時系列を含む図５に示すような画像選択画面を表示させる。
ステップＳ３２において、表示制御部１２２は、上ボタンが押されたか否かを判定する。図５を参照して説明したように、コントローラ２の上ボタンには、画像選択画面の表示モードを、全てのポインタの位置で撮影された画像の時系列を表示するモードに切り換える操作が割り当てられている。
上ボタンが押されていないとステップＳ３２において判定した場合、ステップＳ３３において、表示制御部１２２は、カーソル移動ボタンが押されたか否かを判定する。
カーソル移動ボタンが押されたとステップＳ３３において判定した場合、ステップＳ３４において、表示制御部１２２は、画像の時系列全体を右方向または左方向にずらし、選択画像を切り換える。カーソル移動ボタンが押されていないとステップＳ３３において判定された場合、ステップＳ３４の処理はスキップされる。
ステップＳ３５において、表示制御部１２２は、再生ボタンが押されたか否かを判定する。
再生ボタンが押されたとステップＳ３５において判定した場合、ステップＳ３６において、表示制御部１２２は選択画像を再生する。
選択画像が静止画である場合、静止画の再生は、例えば、画像選択画面に代えて、静止画を画面全体に表示するようにして行われる。静止画の表示は所定の時間だけ続けられ、所定の時間経過後、ディスプレイの表示は画像選択画面の表示に戻る。また、選択画像が 動画である場合、動画の再生は、画像選択画面に代えて、再生した動画を画面全体に表示するようにして行われる。動画の再生が終了した後、ディスプレイの表示は画像選択画面の表示に戻る。再生ボタンが押されていないとステップＳ３５において判定された場合、ステップＳ３６の処理はスキップされる。
ステップＳ３７において、表示制御部１２２は、スライドショーボタンが押されたか否かを判定する。
スライドショーボタンが押されたとステップＳ３７において判定した場合、ステップＳ３８において、表示制御部１２２はスライドショー再生処理１を行う。スライドショー再生処理１により、選択中のポインタの位置で撮影された画像を対象としたスライドショーが行われる。スライドショー再生処理１については図１７のフローチャートを参照して後述する。スライドショーボタンが押されていないとステップＳ３７において判定された場合、ステップＳ３８の処理はスキップされる。
ステップＳ３９において、表示制御部１２２は、戻るボタンが押されたか否かを判定する。
戻るボタンが押されたとステップＳ３９において判定した場合、ステップＳ４０において、表示制御部１２２は、画像管理アプリケーションのモードを位置選択モードに切り換える。その後、図９のステップＳ２に戻り、それ以降の処理が行われる。
一方、戻るボタンが押されていないとステップＳ３９において判定した場合、ステップＳ３１に戻り、表示制御部１２２は、以上の処理を繰り返し行う。
ステップＳ３２において上ボタンが押されたと判定した場合、図１２のステップＳ４１において、表示制御部１２２は、全てのポインタの位置で撮影された画像の時系列を含む図６に示すような画像選択画面を表示させる。
ステップＳ４２において、表示制御部１２２は、下ボタンが押されたか否かを判定する。図５を参照して説明したように、コントローラ２の下ボタンには、画像選択画面の表示モードを、１つのポインタの位置で撮影された画像の時系列を表示するモードに切り換える操作が割り当てられている。
下ボタンが押されたとステップＳ４２において判定した場合、図１１のステップＳ３１に戻り、それ以降の処理が行われる。一方、下ボタンが押されていないとステップＳ４２において判定した場合、ステップＳ４３において、表示制御部１２２は、カーソル移動ボタンが押されたか否かを判定する。
カーソル移動ボタンが押されたとステップＳ４３において判定した場合、ステップＳ４４において、表示制御部１２２は、画像の時系列全体を右方向または左方向にずらし、選択画像を切り換える。
ステップＳ４５において、表示制御部１２２は、選択画像として新たに選択された画像の撮影位置と直前に選択されていた画像の撮影位置が異なるか否かを判定する。画像選択画面の表示モードが全てのポインタの位置で撮影された画像の時系列を表示するモードである場合、画像の時系列には異なるポインタの位置で撮影された画像が含まれる。
新たに選択された画像の撮影位置と直前に選択されていた画像の撮影位置が異なるとステップＳ４５において判定した場合、ステップＳ４６において、表示制御部１２２は、例えば新たに選択された画像の撮影位置を示すポインタが中心にくるように、平面地図の表示地域を切り換える。
ステップＳ４７において、表示制御部１２２は、平面地図の表示を切り換えることに連動させて、例えば新たに選択された画像の撮影位置を示すポインタを含む地域が中心にくるように球状地図の表示地域を切り換える。
図１３と図１４は、新たに選択された画像の撮影位置と直前に選択されていた画像の撮影位置が異なる場合の画像選択画面の遷移の例を示す図である。
図１３の画面＃１１は、カーソル移動ボタンが押される前の画面である。画面＃１１の平面地図領域１１には、米国の西海岸のある地域の平面地図が表示されており、その地域内の位置を示すポインタ１５１が選択された状態になっている。球状地図領域１２には米国の西海岸付近を中心とする球状地図が表示されている。
時系列領域５１には、全てのポインタの位置で撮影された画像のうちの一部の画像である画像１６１乃至１６９からなる時系列が表示されており、そのうちの画像１６５が選択されている。画像１６５はポインタ１５１の位置で撮影された画像である。
例えば、画像１６５の左隣の画像である画像１６４が日本国内で撮影された画像であり、カーソル移動ボタンが押されたことに応じて、画像１６４が新たに選択される場合について説明する。新たに選択された画像である画像１６４の撮影位置と、直前に選択されていた画像である画像１６５の撮影位置が異なることになる。
この場合、平面地図領域１１には、画像１６５の撮影位置である米国から、画像１６４の撮影位置である日本に向かう方向にある各地域の平面地図が順次表示される。すなわち、平面地図が、画面＃１１の状態から日本の方向に向かってスクロールして表示される。
白抜き矢印Ａ１１の先に示す画面＃１２は、平面地図のスクロールの最中の画面である。平面地図領域１１には、画像１６５の撮影位置である米国の西海岸付近の位置と、新たに選択された画像１６４が撮影された日本国内の位置を結ぶ線上にある太平洋のある地域の平面地図が表示されている。球状地図領域１２には、平面地図領域１１に表示されている地域付近を中心とする球状地図が表示される。
平面地図領域１１の表示地域が新たに選択された画像１６４の撮影位置に遠いから、画面＃１３の時系列領域５１には、そのことを表す画像である画像１８１乃至１８９が表示されている。
白抜き矢印Ａ１２の先に示す画面＃１３と図１４の画面＃１４も、平面地図のスクロールの最中の画面である。時間の経過に伴って、平面地図領域１１には、徐々に、日本に近い地域の平面地図が表示される。
図１４の白抜き矢印Ａ１３の先に示す画面＃１５は、平面地図のスクロールが終わった直後の画面である。画面＃１５の平面地図領域１１には、新たに選択された画像１６４の撮影位置を中心とした日本国内の地域の平面地図が表示されている。また、平面地図上には、画像１６４の撮影位置を示すポインタ２０１が選択された状態で表示されている。画面＃１５の球状地図領域１２には、日本国付近を中心とする球状地図が表示されている。
新たに選択した画像の撮影位置が直前に選択していた画像の撮影位置と異なる場合、このように平面地図がスクロールすることにより、ユーザは、それまで見ていた画像の撮影 位置と新たに選択した画像の撮影位置との関係を容易に把握することができる。
平面地図のスクロールの際、平面地図は、直前に選択していた画像の撮影位置から新たに選択した画像の撮影位置までの距離に応じて縮尺を変えながら表示される。
図１５と図１６は、平面地図の縮尺の変化について説明する図である。
図１５の位置Ｐ１は直前に選択していた画像である画像１６５の撮影位置であり、位置Ｐ２は新たに選択した画像である画像１６４の撮影位置である。平面地図領域１１に表示される平面地図は、位置Ｐ１と位置Ｐ２を結ぶ線に沿って、順次、位置Ｐ１から位置Ｐ２に向かう方向にスクロールする。
枠Ｆ１乃至Ｆ５は、時刻ｔ１乃至ｔ５の各時刻における平面地図の表示地域を示す枠である。枠Ｆ１は、画像１６５の撮影位置である位置Ｐ１を中心付近に含む、スクロール開始直後の時刻ｔ１における平面地図の表示地域を示す。枠Ｆ２は、時刻ｔ１から所定の時間経過後の時刻ｔ２における平面地図の表示地域を示す。枠Ｆ３は、時刻ｔ２から所定の時間経過後の時刻ｔ３における平面地図の表示地域を示す。枠Ｆ４は、時刻ｔ３から所定の時間経過後の時刻ｔ４における平面地図の表示地域を示す。枠Ｆ５は、画像１６４の撮影位置である位置Ｐ２を中心付近に含む、時刻ｔ４から所定の時間経過後の時刻ｔ５における平面地図の表示地域を示す。
枠Ｆ１乃至Ｆ５の大きさの違いから分かるように、スクロール開始直後の時刻ｔ１から時刻ｔ３まで、平面地図の縮尺が徐々に小さくなり、その後、時刻ｔ５まで、平面地図の縮尺が徐々に大きくなる。
直前に選択していた画像である画像１６５の撮影位置が位置Ｐ１であり、新たに選択した画像である画像１６４の撮影位置が位置Ｐ３である場合について図１６を参照して説明する。図１６の場合の平面地図のスクロールの距離は、図１５の場合の距離より長い。平面地図は、位置Ｐ１と位置Ｐ３を結ぶ線に沿って、順次、位置Ｐ１から位置Ｐ３に向かう方向にスクロールして表示される。
枠Ｆ１１乃至Ｆ１７は、時刻ｔ１１乃至ｔ１７の各時刻における平面地図の表示地域を示す枠である。枠Ｆ１１は、画像１６５の撮影位置である位置Ｐ１を中心付近に含む時刻ｔ１１における平面地図の表示地域を示し、枠Ｆ１７は、画像１６４の撮影位置である位置Ｐ３を中心付近に含む時刻ｔ１７における平面地図の表示地域を示す。
この例においても、スクロール開始直後の時刻ｔ１１から時刻ｔ１４まで、平面地図の縮尺が徐々に小さくなり、その後、時刻ｔ１７まで、平面地図の縮尺が徐々に大きくなる。縮尺が最も小さいときの表示地域を示す図１６の枠Ｆ１４と図１５の枠Ｆ３を比較して分かるように、移動距離が長いほど最小の縮尺がより小さくなり、スクロールの途中において、より広い地域の平面地図が平面地図領域１１に表示される。
このように、一旦ズームアウトしてからズームインするような平面地図を表示させることによって、ユーザは、スクロールの最中により広い範囲の地図を確認することができ、画像の撮影位置の関係をより簡単に把握することが可能となる。
なお、２地点を結ぶ直線に沿って平面地図をスクロールさせるものとしたが、直前に選択していた画像の撮影位置と新たに選択した画像の撮影位置の間を結ぶ線であればどのような線に沿ってスクロールさせるようにしてもよい。
図１２の説明に戻り、ステップＳ４３においてカーソル移動ボタンが押されていないと判定された場合、ステップＳ４４乃至Ｓ４７の処理はスキップされる。また、ステップＳ４５において新たに選択された画像の撮影位置と直前に選択されていた画像の撮影位置が同じであると判定された場合、ステップＳ４６，Ｓ４７の処理はスキップされる。
ステップＳ４８において、表示制御部１２２は、再生ボタンが押されたか否かを判定する。
再生ボタンが押されたとステップＳ４８において判定した場合、ステップＳ４９において、表示制御部１２２は選択画像を再生する。
ステップＳ５０において、表示制御部１２２は、スライドショーボタンが押されたか否かを判定する。
スライドショーボタンが押されたとステップＳ５０において判定した場合、ステップＳ５１において、表示制御部１２２はスライドショー再生処理２を行う。スライドショー再生処理２により、全てのポインタの位置で撮影された画像を対象としたスライドショーが行われる。スライドショー再生処理２については図１８のフローチャートを参照して後述する。スライドショーボタンが押されていないとステップＳ５０において判定された場合、ステップＳ５１の処理はスキップされる。
ステップＳ５２において、表示制御部１２２は、戻るボタンが押されたか否かを判定する。
戻るボタンが押されていないとステップＳ５２において判定した場合、表示制御部１２２は、ステップＳ４１に戻り、以上の処理を繰り返し行う。一方、戻るボタンが押されたとステップＳ５２において判定した場合、表示制御部１２２は、図１１のステップＳ４０において動作モードを位置選択モードに切り換えた後、図１のステップＳ２以降の処理を行う。
次に、図１７のフローチャートを参照して、図１１のステップＳ３８において行われるスライドショー再生処理１について説明する。スライドショー再生処理１は、いずれかのポインタの位置で撮影された画像の時系列を表示している場合において、その時系列を構成する画像を対象としてスライドショーを行う処理である。
ステップＳ６１において、表示制御部１２２は、時系列を構成する画像の中から１枚の画像を選択し、拡大して全画面に表示させる。例えば、選択中のポインタの位置で撮影された画像の中から１枚の画像が撮影順に選択され、表示される。同じ画像の表示は所定の時間だけ続けられる。
ステップＳ６２において、表示制御部１２２は、次の画像があるか否かを判定し、次の画像があると判定した場合、ステップＳ６１に戻り、次の画像の表示を続ける。一方、選択中のポインタの位置で撮影された全ての画像を表示したことから、次の画像がないとステップＳ６２において判定した場合、図１７のステップＳ３８に戻り、それ以降の処理を行う。
次に、図１８のフローチャートを参照して、図１２のステップＳ５１において行われるスライドショー再生処理２について説明する。スライドショー再生処理２は、全てのポインタの位置で撮影された画像の時系列を表示している場合において、その時系列を構成する画像を対象としてスライドショーを行う処理である。
ステップＳ７１において、表示制御部１２２は、時系列を構成する画像の中から１枚の画像を選択し、拡大して全画面に表示させる。
ステップＳ７２において、表示制御部１２２は、次の画像があるか否かを判定し、次の画像があると判定した場合、ステップＳ７３において、次に表示させる画像の撮影位置と直前に表示させていた画像の撮影位置が異なるか否かを判定する。
次に表示させる画像の撮影位置と直前に選択させていた画像の撮影位置が異なるとステップＳ７３において判定した場合、ステップＳ７４において、表示制御部１２２は、画像の撮影位置が変わったことを表すアニメーションを表示させる。
図１９は、画像の撮影位置が変わったことを表すアニメーションについて説明する図である。画像の撮影位置が変わったときに表示されるアニメーションは、図１３と図１４を参照して説明した平面地図のスクロール時の表示と基本的に同様である。
図１９の位置Ｐ１１は直前に表示させていた画像の撮影位置であり、位置Ｐ１２は次に表示させる画像の撮影位置である。位置Ｐ１１で撮影された画像のうちの最後の画像を表示させた後、次に、位置Ｐ１２で撮影された画像を表示させる場合について説明する。
ディスプレイに全画面表示されるアニメーションは、位置Ｐ１１と位置Ｐ１２を結ぶ線上の各地域の地図から構成され、各地域の地図が順次表示される。順次表示される各地域の地図も、枠Ｆ２１乃至Ｆ２５に示すように、スクロール開始直後の時刻ｔ２１から時刻ｔ２３まで縮尺が徐々に小さくなり、その後、時刻ｔ２５まで縮尺が徐々に大きくなる。
図２０乃至図２２は、画像の撮影位置が変わったことを表すアニメーションの例を示す図である。
図２０の画面＃２１は、図１９の位置Ｐ１１で撮影された画像のうちの最後の画像をディスプレイ全体に表示させる、アニメーション開始前の画面である。
位置Ｐ１１で撮影された最後の画像を所定の時間だけ表示させた後、ディスプレイの表示は、白抜き矢印Ａ２１の先に示す画面＃２２に切り替わる。画面＃２２は、位置Ｐ１１を含む地域の地図を表示する画面であり、地図上には、位置Ｐ１１を示すポインタ２５１と、ポインタ２５１を囲む円２５２が表示される。ポインタ２５１の近傍に撮影日時が表示される。
白抜き矢印Ａ２２の先に示す画面＃２３は、位置Ｐ１２の方向に向かって地図の表示地域の移動を開始させた直後の画面である。画面＃２３においては、円２５２が画面＃２２の表示時より大きくなり、位置Ｐ１２の方向に、表示地域の移動の軌跡を表す丸印の画像２５３が表示されている。
図２１の画面＃２３乃至＃２６は、地図の表示地域を位置Ｐ１２の方向に向かって移動させている最中の画面である。画面＃２３の画像２６１，２６２、画面＃２４の画像２７１乃至２７６、および画面＃２５の画像２８１，２８２により、表示地域の移動の軌跡が表される。表示地域の移動の軌跡を表す丸印の間隔は、そのときの地図の縮尺に応じて変化する。画面＃２５のポインタ２８３は位置Ｐ１２を示す。
図２２の画面＃２７は、地図の表示地域の移動が終わった直後の画面である。画面＃２７のほぼ中央には、次に表示する画像の撮影位置を示すポインタ２８３が表示される。ポ インタ２８３の近傍には、ポインタ２８３を囲む円２９１と、次に表示する画像の撮影日時が表示される。
白抜き矢印Ａ２５の先に示す画面＃２８は、アニメーションの表示が終了し、図１９の位置Ｐ１２で撮影された画像のうちの最初の画像をディスプレイ全体に表示させる画面である。画面＃２８が表示された後、位置Ｐ１２で撮影された画像のスライドショーが続けられる。
このようなアニメーションが表示されることにより、ユーザは、選択した画像の撮影位置の関係を把握することができる。
図１８の説明に戻り、ステップＳ７４においてアニメーションの表示が行われた後、ステップＳ７１に戻り、以上の処理が繰り返し行われる。ステップＳ７３において次に表示させる画像の撮影位置と直前に表示させていた画像の撮影位置が同じであると判定された場合も同様に、ステップＳ７１に戻り、以上の処理が繰り返し行われる。
一方、全ての画像を表示したことから、次の画像がないとステップＳ７２において判定した場合、図１８のステップＳ５１に戻り、それ以降の処理が行われる。
以上のように、時系列から画像を選択することに応じて平面地図と広域の地図である球状地図の表示を切り換えることにより、ユーザの利便性を向上させることができる。
＜変形例＞
上述したような画面表示が据え置き型の装置により行われるものとしたが、画像ファイルを取り込んだ携帯端末などの各種の装置により行われるようにしてもよい。
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等）や半導体メモリなどよりなる図７のリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数 の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
［構成の組み合わせ例］
本技術は、以下のような構成をとることもできる。
（１）
撮影位置を表す位置情報が付加された複数の画像を取得する取得部と、
前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させる表示制御部と
を備える情報処理装置。
（２）
前記表示制御部は、ユーザにより選択された前記ポインタが示す位置を含むように前記第１の地図の表示地域を切り換え、選択された前記ポインタが示す位置で撮影された前記画像の代表画を、前記第１の地図および前記第２の地図と並べて表示させる
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、選択された前記ポインタが示す位置で撮影された前記画像の時系列を表示させる
前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記時系列を構成する前記画像を１枚ずつ表示させる
前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、全ての前記ポインタが示す位置で撮影された前記画像の時系列を表示させる
前記（２）に記載の情報処理装置。
（６）
前記表示制御部は、前記時系列から選択された１枚の前記画像の撮影位置を含むように、前記第１の地図の表示地域を切り換える
前記（５）に記載の情報処理装置。
（７）
前記表示制御部は、新たに選択された前記画像の撮影位置が、直前に選択されていた前記画像の撮影位置と異なる場合、前記第１の地図の表示地域を、直前に選択されていた前記画像の撮影位置を含む地域から、新たに選択された前記画像の撮影位置を含む地域までスクロールさせる
前記（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記第１の地図の表示地域をスクロールさせるとき、各地域の前記第１の地図を、新たに選択された前記画像の撮影位置と直前に選択されていた前記画像の撮影位置の間の距離に応じて縮尺を変えて表示させる
前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、新たに選択された前記画像の撮影位置と直前に選択されていた前記画像の撮影位置の間の距離が長いほど最小の縮尺を小さくして、各地域の前記第１の地図を表示させる
前記（８）に記載の情報処理装置。
（１０）
前記表示制御部は、前記第１の地図と前記第２の地図の表示を消し、前記時系列を構成する前記画像を１枚ずつ表示させる
前記（５）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記表示制御部は、新たに表示させる前記画像の撮影位置が直前に表示させていた前記画像の撮影位置と異なる場合、直前に表示させていた前記画像の撮影位置と新たに表示させる前記画像の撮影位置を結ぶ線上の各地域の地図からなるアニメーションを、新たに表示させる前記画像の表示前に表示させる
前記（１０）に記載の情報処理装置。
（１２）
前記表示制御部は、前記アニメーションを構成する各地域の地図を、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置の間の距離に応じて縮尺を変えて表示させる
前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置の間の距離が長いほど最小の縮尺を小さくして、各地域の地図を表示させる
前記（１２）に記載の情報処理装置。
（１４）
前記表示制御部は、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置を結ぶ線上に軌跡を表す画像を表示させる
前記（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記第２の地図は、正射図法で表された地図である
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
撮影位置を表す位置情報が付加された複数の画像を取得し、
前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させる
ステップを含む情報処理方法。
（１７）
撮影位置を表す位置情報が付加された複数の画像を取得し、
前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
１ 情報処理装置， ２ コントローラ， ３ ケーブル， ４ 表示装置， １２１
画像取得部， １２２ 表示制御部

Claims (15)

  1. 撮影位置を表す位置情報が付加された複数の画像を取得する取得部と、
    前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させる表示制御部と
    を備え、
    前記表示制御部は、
    所定の操作に応じて、前記第１の地図と前記第２の地図の表示を消し、前記ポインタが示す位置で撮影された前記画像を順次選択し、選択された前記画像を１枚ずつ表示させ、
    新たに選択された前記画像の撮影位置が、直前に選択されていた前記画像の撮影位置と異なる場合には、直前に選択されていた当該画像の表示と、新たに選択された前記画像の表示との間に、直前に表示させていた前記画像の撮影位置と新たに表示させる前記画像の撮影位置を結ぶ線上の各地域の地図からなるアニメーションを表示させる、
    情報処理装置。
  2. 前記表示制御部は、ユーザにより選択された前記ポインタが示す位置を含むように前記第１の地図の表示地域を切り換え、選択された前記ポインタが示す位置で撮影された前記画像の代表画を、前記第１の地図および前記第２の地図と並べて表示させる
    請求項１に記載の情報処理装置。
  3. 前記表示制御部は、選択された前記ポインタが示す位置で撮影された前記画像の時系列を表示させる
    請求項２に記載の情報処理装置。
  4. 前記表示制御部は、前記時系列を構成する前記画像を１枚ずつ表示させる
    請求項３に記載の情報処理装置。
  5. 前記表示制御部は、全ての前記ポインタが示す位置で撮影された前記画像の時系列を表示させる
    請求項２に記載の情報処理装置。
  6. 前記表示制御部は、前記時系列から選択された１枚の前記画像の撮影位置を含むように、前記第１の地図の表示地域を切り換える
    請求項５に記載の情報処理装置。
  7. 前記表示制御部は、新たに選択された前記画像の撮影位置が、直前に選択されていた前記画像の撮影位置と異なる場合、前記第１の地図の表示地域を、直前に選択されていた前記画像の撮影位置を含む地域から、新たに選択された前記画像の撮影位置を含む地域までスクロールさせる
    請求項６に記載の情報処理装置。
  8. 前記表示制御部は、前記第１の地図の表示地域をスクロールさせるとき、各地域の前記第１の地図を、新たに選択された前記画像の撮影位置と直前に選択されていた前記画像の撮影位置の間の距離に応じて縮尺を変えて表示させる
    請求項７に記載の情報処理装置。
  9. 前記表示制御部は、新たに選択された前記画像の撮影位置と直前に選択されていた前記画像の撮影位置の間の距離が長いほど最小の縮尺を小さくして、各地域の前記第１の地図を表示させる
    請求項８に記載の情報処理装置。
  10. 前記表示制御部は、前記アニメーションを構成する各地域の地図を、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置の間の距離に応じて縮尺を変えて表示させる
    請求項１に記載の情報処理装置。
  11. 前記表示制御部は、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置の間の距離が長いほど最小の縮尺を小さくして、各地域の地図を表示させる
    請求項１０に記載の情報処理装置。
  12. 前記表示制御部は、新たに表示させる前記画像の撮影位置と直前に表示させていた前記画像の撮影位置を結ぶ線上に軌跡を表す画像を表示させる
    請求項１に記載の情報処理装置。
  13. 前記第２の地図は、正射図法で表された地図である
    請求項１に記載の情報処理装置。
  14. 撮影位置を表す位置情報が付加された複数の画像を取得し、
    前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させ、
    所定の操作に応じて、前記第１の地図と前記第２の地図の表示を消し、前記ポインタが示す位置で撮影された前記画像を順次選択し、選択された前記画像を１枚ずつ表示させ、
    新たに選択された前記画像の撮影位置が、直前に選択されていた前記画像の撮影位置と異なる場合には、直前に選択されていた当該画像の表示と、新たに選択された前記画像の表示との間に、直前に表示させていた前記画像の撮影位置と新たに表示させる前記画像の撮影位置を結ぶ線上の各地域の地図からなるアニメーションを表示させる、
    ステップを含む情報処理方法。
  15. 撮影位置を表す位置情報が付加された複数の画像を取得し、
    前記位置情報により表される撮影位置を示すポインタが表示された第１の地図をユーザの操作に応じて縮尺と表示地域を切り換えて表示させ、縮尺が固定の第２の地図を、表示地域を前記第１の地図の表示地域に連動させて、前記第１の地図と並べて表示させ、
    所定の操作に応じて、前記第１の地図と前記第２の地図の表示を消し、前記ポインタが示す位置で撮影された前記画像を順次選択し、選択された前記画像を１枚ずつ表示させ、
    新たに選択された前記画像の撮影位置が、直前に選択されていた前記画像の撮影位置と異なる場合には、直前に選択されていた当該画像の表示と、新たに選択された前記画像の表示との間に、直前に表示させていた前記画像の撮影位置と新たに表示させる前記画像の撮影位置を結ぶ線上の各地域の地図からなるアニメーションを表示させる、
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2013551633A 2011-12-27 2012-12-18 情報処理装置、情報処理方法、およびプログラム Active JP6143678B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011284750 2011-12-27
JP2011284750 2011-12-27
PCT/JP2012/082813 WO2013099704A1 (ja) 2011-12-27 2012-12-18 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2013099704A1 JPWO2013099704A1 (ja) 2015-05-07
JP6143678B2 true JP6143678B2 (ja) 2017-06-07

Family

ID=48697196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013551633A Active JP6143678B2 (ja) 2011-12-27 2012-12-18 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10970888B2 (ja)
EP (2) EP2800083A4 (ja)
JP (1) JP6143678B2 (ja)
CN (1) CN104126197B (ja)
WO (1) WO2013099704A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
CN103955955B (zh) * 2014-04-30 2017-03-29 深圳华强信息产业有限公司 一种电子地图信息处理方法及装置
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP7102121B2 (ja) * 2017-10-06 2022-07-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
CN110941374B (zh) * 2019-10-23 2022-08-05 浩亚信息科技有限公司 一种多显示器显示鹰眼图的方法、设备、介质、装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996024216A1 (en) * 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
JP4366801B2 (ja) 1999-12-28 2009-11-18 ソニー株式会社 撮像装置
US7818116B1 (en) * 2002-12-30 2010-10-19 Mapquest, Inc. Presenting a travel route in a ground-based vehicle
US7475060B2 (en) * 2003-05-09 2009-01-06 Planeteye Company Ulc Browsing user interface for a geo-coded media database
US7865301B2 (en) * 2004-03-23 2011-01-04 Google Inc. Secondary map in digital mapping system
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
JP2007127867A (ja) * 2005-11-04 2007-05-24 Xanavi Informatics Corp 地図表示装置および地図表示方法
US7617246B2 (en) * 2006-02-21 2009-11-10 Geopeg, Inc. System and method for geo-coding user generated content
US7450003B2 (en) * 2006-02-24 2008-11-11 Yahoo! Inc. User-defined private maps
JP5276780B2 (ja) * 2006-07-21 2013-08-28 パナソニック株式会社 地図表示システム
JP4946613B2 (ja) * 2007-05-09 2012-06-06 株式会社ニコン 電子機器および電子カメラ
EP2088778B1 (en) * 2006-10-04 2013-12-18 Nikon Corporation Electronic apparatus and electronic camera
JP4353259B2 (ja) * 2007-02-22 2009-10-28 ソニー株式会社 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム
JP4831079B2 (ja) 2008-01-17 2011-12-07 ソニー株式会社 プログラム、画像データ処理方法、画像データ処理装置
JP2009300328A (ja) * 2008-06-16 2009-12-24 Denso Corp 地図表示装置及び地図表示プログラム
JP5334159B2 (ja) 2008-07-31 2013-11-06 独立行政法人情報通信研究機構 電子地図上での写真表示方法及びシステム
JP4655147B2 (ja) * 2008-12-26 2011-03-23 ソニー株式会社 電子機器と地図表示方法およびコンピュータ・プログラム
US20100171763A1 (en) * 2009-01-05 2010-07-08 Apple Inc. Organizing Digital Images Based on Locations of Capture
JP5521374B2 (ja) * 2009-04-08 2014-06-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2011009846A (ja) * 2009-06-23 2011-01-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5716383B2 (ja) * 2009-12-28 2015-05-13 株式会社ニコン 情報処理装置、および情報処理プログラム
JP5478269B2 (ja) 2010-01-13 2014-04-23 オリンパスイメージング株式会社 画像表示装置および画像表示処理プログラム
US9025810B1 (en) * 2010-04-05 2015-05-05 Google Inc. Interactive geo-referenced source imagery viewing system and method

Also Published As

Publication number Publication date
US20140327616A1 (en) 2014-11-06
WO2013099704A1 (ja) 2013-07-04
EP3276594A1 (en) 2018-01-31
CN104126197A (zh) 2014-10-29
EP2800083A4 (en) 2015-08-19
US10970888B2 (en) 2021-04-06
JPWO2013099704A1 (ja) 2015-05-07
CN104126197B (zh) 2018-04-27
EP2800083A1 (en) 2014-11-05

Similar Documents

Publication Publication Date Title
US20220132036A1 (en) Display Control Apparatus, Display Control Method, And Program
JP6143678B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10447874B2 (en) Display control device and display control method for automatic display of an image
JP5814927B2 (ja) コンテンツ表示のためのギャラリアプリケーション
JP4494196B2 (ja) 画像表示装置
US9496005B2 (en) Electronic apparatus, display control method and program for displaying an image for selecting a content item to be reproduced
EP3226537A1 (en) Mobile terminal and method for controlling the same
JP2010072749A (ja) 画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラム
WO2014181529A1 (en) Display control apparatus, display control method, and program
JP6149862B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
US20160012851A1 (en) Image processing device, image processing method, and program
CN110740261A (zh) 视频录制方法、装置、终端及存储介质
CN111835972B (zh) 拍摄方法、装置和电子设备
CN116744065A (zh) 视频播放方法、装置
US20130243408A1 (en) Video recording system
WO2014181532A1 (en) Display control apparatus, display control method, and program
JP2010074297A (ja) デジタルカメラ、画像検索装置、画像検索方法および画像検索用プログラム
JP4899538B2 (ja) 情報処理装置および方法、並びにプログラム
JP4274547B2 (ja) 電子機器の設定画面表示方法及び電子機器
JP2017215532A (ja) 表示制御装置およびその制御方法
JP2010104013A (ja) 画像表示装置
JP6163894B2 (ja) 画像再生装置、画像表示方法、プログラム及び画像表示システム
JP2016111437A (ja) 画像再生装置、画像再生装置の制御方法及びプログラム
JP2015106824A (ja) 撮像装置、パラメータ決定方法およびパラメータ決定プログラム
JP2016021675A (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170509

R150 Certificate of patent or registration of utility model

Ref document number: 6143678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250