JP2010026927A

JP2010026927A - Device, method, and program for creating display screen

Info

Publication number: JP2010026927A
Application number: JP2008189963A
Authority: JP
Inventors: Toshihiko Suzuki; 俊彦鈴木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-07-23
Filing date: 2008-07-23
Publication date: 2010-02-04

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently select a desired image by uniformly figuring out a large quantity of images. <P>SOLUTION: The device for creating a display screen includes: a first display screen creation part 106 which creates a first display screen including a plurality of images; a classification part 104 which classifies the plurality of images into a plurality of image groups based on metadata of the plurality of images; a second display screen creation part 108 which creates a second display screen including a selection point associated with each of the plurality of image groups classified by the classification part 104; and a selection part 102 which selects any one selection point from the selection points included in the second display screen according to a user's operation. The first display screen creation part 106 changes, each time when the selection point is selected by the selection part 102, the plurality of images included in the first display screen to images of the plurality of image groups associated with the selection point. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、表示画面生成装置、表示画面生成方法およびプログラムに関し、特に、大量の画像を一様に把握可能な表示画面を生成する表示画面生成装置、表示画面生成方法およびプログラムに関する。 The present invention relates to a display screen generation device, a display screen generation method, and a program, and more particularly, to a display screen generation device, a display screen generation method, and a program for generating a display screen capable of uniformly grasping a large amount of images.

近年、大容量のハードディスクや半導体メモリなどの低価格化が進み、動画像や静止画像等のコンテンツを記録媒体に保存することが可能となってきている。そして、大量のコンテンツを保持している情報処理装置から所望のコンテンツを検索するための各種の技術が開示されている。 In recent years, prices of large-capacity hard disks and semiconductor memories have been reduced, and it has become possible to store contents such as moving images and still images on a recording medium. Various techniques for searching for desired content from an information processing apparatus holding a large amount of content are disclosed.

従来の大量のコンテンツから画像を検索する方法としては、以下の２つに大別することができる。
（１）メタデータを利用した検索方法（例えば、特許文献１、２参照）
（２）特徴量を利用した類似検索、画像内容検索方法（例えば、特許文献３、４参照）
上記（１）の検索方法は、ユーザが入力したキーワードと画像のメタデータを比較して検索する方法である。この方法は、上記（２）の画像の特徴量を利用した検索方法に比較して、より正確に検索できるという利点がある。 Conventional methods for retrieving images from a large amount of content can be broadly divided into the following two methods.
(1) Search method using metadata (for example, see Patent Documents 1 and 2)
(2) Similarity search and image content search method using feature quantities (see, for example, Patent Documents 3 and 4)
The search method (1) is a method of searching by comparing a keyword input by a user with image metadata. This method has an advantage that the search can be performed more accurately than the search method using the feature amount of the image (2).

特開平１１−３９３１７号公報JP-A-11-39317 特開２００４−２３４２２８号公報JP 2004-234228 A 特開２００７−１６４６４８号公報JP 2007-164648 A 特開２００６−１８５３６４号公報JP 2006-185364 A

しかし、上記（１）の検索を実現するためには、画像にメタデータを付加する必要があり、正確なメタデータの付加方法が問題となる。上記（１）の検索方法における検討事項の大部分がメタデータの付加方法である。自動的にメタデータを付加する仕組みを利用して、正確なメタデータを付加することも考えられる。しかし、この場合においても、大量の画像が保存されている場合にはユーザが画像に付加されたメタデータのすべてを把握することは困難である。また、ユーザはキーワードを入力することにより当該検索が実現するため、キーボード等の入力デバイスが必要となり用途も限られる。 However, in order to realize the search (1), it is necessary to add metadata to the image, and an accurate method for adding metadata becomes a problem. Most of the considerations in the search method (1) above are metadata addition methods. It is also conceivable to add accurate metadata by using a mechanism for automatically adding metadata. However, even in this case, when a large amount of images are stored, it is difficult for the user to grasp all of the metadata added to the images. In addition, since the search is realized by the user inputting a keyword, an input device such as a keyboard is required, and the application is limited.

上記（２）の検索方法は、１枚の入力画像から特徴量を抽出することで、大量の画像から類似している画像を検索する方法である。大量の画像から解析した情報をデータベース化して、当該データベースを利用して検索を行うシステムやサービスが多数存在している。また、類似検索方法として、画像に含まれる人、もの、空間などをオブジェクトとして抽出し、それらが含まれる画像を検索する方法も例示できる。この検索方法ではユーザが検索したい画像に対して、比較するための入力画像が必要となる。また、検索のためのデータベースを構築するためには、大量の画像サンプルが必要となりメモリや記憶容量等の大量の資源を確保しなければならないという問題があった。 The search method (2) is a method of searching for similar images from a large number of images by extracting feature amounts from one input image. There are many systems and services in which information analyzed from a large number of images is converted into a database and searched using the database. Further, as a similarity search method, a method of extracting a person, thing, space or the like included in an image as an object and searching for an image including them can be exemplified. This search method requires an input image for comparison with the image that the user wants to search. In addition, in order to construct a database for search, a large amount of image samples are required, and a large amount of resources such as a memory and a storage capacity must be secured.

また、上記検索方法を利用しない場合には、ウィンドウ画面にスクロールバーを配置し、画像をマトリックス状に配置して画像を閲覧しながら検索する方法が考えられる。当該方法によれば、一つのインタフェース上で簡易な操作で検索することができる。しかしながら、大量の画像が存在する場合には、現在ウィンドウ画面に表示されている画像の位置が分からなくなったり、上下のスクロール操作が多くなったりするという問題があった。 If the search method is not used, a method of searching while browsing images by arranging scroll bars on the window screen and arranging images in a matrix form can be considered. According to this method, it is possible to search with a simple operation on one interface. However, when there are a large number of images, there is a problem that the position of the image currently displayed on the window screen cannot be understood, and the number of scroll operations up and down is increased.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、大量の画像を一様に把握して所望の画像を効率よく選択することが可能な表示画面を生成することが可能な、新規かつ改良された表示画面生成装置、表示画面生成方法およびプログラムを提供することにある。 Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to provide a display screen capable of grasping a large number of images uniformly and selecting a desired image efficiently. It is an object to provide a new and improved display screen generation apparatus, display screen generation method, and program capable of generating a screen.

上記課題を解決するために、本発明のある観点によれば、複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類する分類部と、分類部により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、を備え、第１表示画面生成部は、選択部により選択ポイントが選択される毎に、第１の表示画面に含まれる複数の画像を選択ポイントに対応づけられている複数の画像群の画像に変更する、表示画面生成装置が提供される。 In order to solve the above-described problem, according to an aspect of the present invention, a first display screen generation unit that generates a first display screen including a plurality of images, and a plurality of metadata based on metadata of the plurality of images. A classification unit that classifies the images into a plurality of image groups; a second display screen generation unit that generates a second display screen including a selection point associated with each of the plurality of image groups classified by the classification unit; A selection unit that selects one of the selection points included in the second display screen according to a user operation, and the first display screen generation unit selects the selection point by the selection unit There is provided a display screen generation device that changes a plurality of images included in a first display screen to images of a plurality of image groups associated with selection points each time.

かかる構成によれば、複数の画像を含む第１の表示画面が生成され、複数の画像のメタデータに基づいて複数の画像を複数の画像群に分類し、分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面が生成される。そして、ユーザ操作に応じて第２の表示画面に表示された選択ポイントが選択されて、当該選択ポイントに対応付けられている複数の画像群が第１の表示画面に表示される。 According to such a configuration, a first display screen including a plurality of images is generated, the plurality of images are classified into a plurality of image groups based on the metadata of the plurality of images, and each of the classified plurality of image groups A second display screen including the selection point associated with is generated. Then, a selection point displayed on the second display screen is selected in accordance with a user operation, and a plurality of image groups associated with the selection point are displayed on the first display screen.

これにより、大量の画像を一様に把握して所望の画像を効率よく選択することができる。また、現在表示されている画像の絶対位置を把握することができ、ユーザは常に現在プレビューされている画像の位置を意識することが可能となるため、直感的に画像の選択操作を行うことができることとなる。 Thereby, it is possible to grasp a large number of images uniformly and select a desired image efficiently. In addition, since the absolute position of the currently displayed image can be grasped and the user can always be aware of the position of the currently previewed image, it is possible to perform an image selection operation intuitively. It will be possible.

また、第１表示画面生成部により生成される第１の表示画面に重ねて、第２表示画面生成部により生成される第２の表示画面が表示装置に表示されるようにしてもよい。 In addition, the second display screen generated by the second display screen generation unit may be displayed on the display device so as to overlap the first display screen generated by the first display screen generation unit.

また、選択ポイントは、複数の画像を分類する１または２以上のメタデータのうち少なくとも２のメタデータにより特定されるようにしてもよい。 The selection point may be specified by at least two metadata among one or two or more metadata for classifying a plurality of images.

また、上記第２表示画面生成部は、複数の画像のメタデータのうち、一のメタデータを横軸とし、他のメタデータを縦軸とするグラフ上に複数の選択ポイントがプロットされた第２の表示画面を生成するようにしてもよい。 In addition, the second display screen generation unit includes a plurality of selection points plotted on a graph having a horizontal axis for one metadata and a vertical axis for other metadata among the metadata of the plurality of images. Two display screens may be generated.

また、上記第１表示画面生成部は、少なくとも選択ポイントに対応付けられた複数の画像群に加えて、選択ポイント付近の選択ポイントに対応付けられた複数の画像を表示させてもよい。 The first display screen generation unit may display a plurality of images associated with selection points near the selection point, in addition to a plurality of image groups associated with at least the selection point.

複数の画像のメタデータは、複数の画像の撮影日、撮影時刻、解像度のいずれかであってもよい。 The metadata of the plurality of images may be any of the shooting date, shooting time, and resolution of the plurality of images.

上記第２表示画面生成部は、複数の画像のメタデータの一覧を含むメタデータ選択画面を生成し、選択部は、ユーザ操作に応じてメタデータ選択画面に含まれる複数の画像のメタデータのうちから１または２以上のメタデータを選択してもよい。 The second display screen generation unit generates a metadata selection screen including a list of metadata of a plurality of images, and the selection unit generates metadata of the plurality of images included in the metadata selection screen according to a user operation. One or more metadata may be selected from among them.

上記第２表示画面生成部は、選択部により選択された１または２以上のメタデータを横軸または縦軸とするグラフを含む表示画面を生成してもよい。 The second display screen generation unit may generate a display screen including a graph having one or more metadata selected by the selection unit as a horizontal axis or a vertical axis.

分類部は、選択部により選択された１または２以上のメタデータにより、複数の画像を分類してもよい。 The classification unit may classify a plurality of images based on one or more metadata selected by the selection unit.

上記課題を解決するために、本発明の別の観点によれば、複数の画像を含む第１の表示画面を生成するステップと、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類するステップと、分類部により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成するステップと、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択するステップと、を含み、選択ポイントが選択される毎に、第１の表示画面に含まれる複数の画像を選択ポイントに対応づけられている複数の画像群の画像に変更する、表示画面生成方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, a step of generating a first display screen including a plurality of images, and a plurality of images based on metadata of the plurality of images. A step of classifying into an image group, a step of generating a second display screen including a selection point associated with each of the plurality of image groups classified by the classification unit, and a second display in response to a user operation Selecting any one of the selection points included in the screen, and associating the plurality of images included in the first display screen with the selection point each time the selection point is selected. There is provided a display screen generation method for changing to an image of a plurality of image groups.

上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類する分類部と、分類部により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、を備え、第１表示画面生成部は、選択部により選択ポイントが選択される毎に、第１の表示画面に含まれる複数の画像を選択ポイントに対応づけられている複数の画像群の画像に変更する、表示画面生成装置として機能させるための、プログラムが提供される。 In order to solve the above-described problem, according to another aspect of the present invention, a computer is based on a first display screen generation unit that generates a first display screen including a plurality of images and metadata of the plurality of images. A second display that generates a second display screen including a classification unit that classifies the plurality of images into a plurality of image groups, and a selection point associated with each of the plurality of image groups classified by the classification unit. A screen generation unit, and a selection unit that selects any one of the selection points included in the second display screen in response to a user operation. The first display screen generation unit includes: A program for functioning as a display screen generation device that changes a plurality of images included in a first display screen to images of a plurality of image groups associated with a selection point each time a selection point is selected Provided by It is.

以上説明したように本発明によれば、大量の画像を一様に把握して所望の画像を効率よく選択することができる。 As described above, according to the present invention, it is possible to grasp a large amount of images uniformly and select a desired image efficiently.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕表示画面生成装置の構成および機能
〔３〕表示画面生成装置の動作 Further, the “best mode for carrying out the invention” will be described in the order shown below.
[1] Purpose of this embodiment [2] Configuration and function of display screen generation device [3] Operation of display screen generation device

〔１〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。近年、大容量のハードディスクや半導体メモリなどの低価格化が進み、動画像や静止画像等のコンテンツを記録媒体に保存することが可能となってきている。そして、大量のコンテンツを保持している情報処理装置から所望のコンテンツを検索するための各種の技術が開示されている。 [1] Object of this embodiment First, the object of the embodiment of the present invention will be described. In recent years, prices of large-capacity hard disks and semiconductor memories have been reduced, and it has become possible to store contents such as moving images and still images on a recording medium. Various techniques for searching for desired content from an information processing apparatus holding a large amount of content are disclosed.

従来の大量のコンテンツから画像を検索する方法としては、以下の２つに大別することができる。
（１）メタデータを利用した検索方法
（２）特徴量を利用した類似検索、画像内容検索方法
上記（１）の検索方法は、ユーザが入力したキーワードと画像のメタデータを比較して検索する方法である。この方法は、上記（２）の画像の特徴量を利用した検索方法に比較して、より正確に検索できるという利点がある。
しかし、（１）の検索を実現するためには、画像にメタデータを付加する必要があり、正確なメタデータの付加方法が問題となる。（１）の検索方法における検討事項の大部分がメタデータの付加方法である。自動的にメタデータを付加する仕組みを利用して、正確なメタデータを付加することも考えられる。しかし、この場合においても、大量の画像が保存されている場合にはユーザが画像に付加されたメタデータのすべてを把握することは困難である。また、ユーザはキーワードを入力することにより当該検索が実現するため、キーボード等の入力デバイスが必要となり用途も限られる。 Conventional methods for retrieving images from a large amount of content can be broadly divided into the following two methods.
(1) Search method using metadata (2) Similarity search and image content search method using feature quantity The search method of (1) above searches by comparing the keyword input by the user with the metadata of the image. Is the method. This method has an advantage that the search can be performed more accurately than the search method using the feature amount of the image (2).
However, in order to realize the search of (1), it is necessary to add metadata to an image, and an accurate method for adding metadata becomes a problem. Most of the considerations in the search method (1) are metadata addition methods. It is also conceivable to add accurate metadata by using a mechanism for automatically adding metadata. However, even in this case, when a large amount of images are stored, it is difficult for the user to grasp all of the metadata added to the images. In addition, since the search is realized by the user inputting a keyword, an input device such as a keyboard is required, and the application is limited.

また、上記検索方法を利用しない場合には、ウィンドウ画面にスクロールバーを配置し、画像をマトリックス状に配置して画像を閲覧しながら検索する方法が考えられる。当該方法によれば、一つのインタフェース上で簡易な操作で検索することができる。しかしながら、大量の画像が存在する場合には、現在ウィンドウ画面に表示されている画像の位置が分からなくなったり、上下のスクロール操作が多くなったりするという問題があった。そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる表示画面生成装置が創作されるに至った。本実施形態にかかる表示画面生成装置によれば、大量の画像を一様に把握して所望の画像を効率よく選択することができる。 If the search method is not used, a method of searching while browsing images by arranging scroll bars on the window screen and arranging images in a matrix form can be considered. According to this method, it is possible to search with a simple operation on one interface. However, when there are a large number of images, there is a problem that the position of the image currently displayed on the window screen cannot be understood, and the number of scroll operations up and down is increased. In view of the above circumstances, a display screen generation apparatus according to an embodiment of the present invention has been created. According to the display screen generating apparatus according to the present embodiment, it is possible to grasp a large amount of images uniformly and select a desired image efficiently.

例えば、ユーザが画像を検索する場合、何時頃撮影された写真か、誰が写っている写真か、どのような構図の写真かなど、その画像の断片的な情報が浮かび上がってくる。本実施形態では、その断片的な情報を検索条件としてユーザが設定することにより、記録されている画像全体の分布を散布図（以降、グラフとも称する。）に自動変換する。 For example, when a user searches for an image, fragmentary information about the image, such as when the photograph was taken, who was photographed, and what kind of composition the photograph came out. In the present embodiment, when the user sets the fragmentary information as a search condition, the distribution of the entire recorded image is automatically converted into a scatter diagram (hereinafter also referred to as a graph).

そして、ユーザによりグラフ上の点（以降選択ポイントとも称する。）が選択されると、ウィンドウ画面に表示されている画像に代えて、当該選択された点に含まれる画像が表示される。このように、現在ウィンドウ画面に表示されている画像のグラフにおける位置を意識することにより、ユーザの直感的な画像選択や画像検索を可能とする。 When a point on the graph (hereinafter also referred to as a selection point) is selected by the user, an image included in the selected point is displayed instead of the image displayed on the window screen. In this way, by being aware of the position of the image currently displayed on the window screen in the graph, the user can perform intuitive image selection and image search.

また、本実施形態では、グラフを生成する際に、１つめの検索条件をユーザが設定すると、より最適な２つめの検索条件を自動で設定することができる。これにより、画像間の意外な関連性を、ユーザが意識することなく見つけることが可能となる。 Further, in the present embodiment, when the user sets the first search condition when generating the graph, the second optimal search condition can be automatically set. This makes it possible to find an unexpected relationship between images without the user being aware of it.

なお、本実施形態において、表示画面生成装置は、ディスプレイ等の表示装置やカメラの撮像装置とは別体の装置として構成したが、かかる例に限定されない。例えば、表示画面生成装置を表示装置と一体として構成したり、撮像装置と一体として構成したりするようにしてもよい。以下では、表示画面生成装置として、テレビ受像機等に接続して画像や映像等のコンテンツを受信したり記録したりすることが可能なセットトップボックス１を例示して説明する。セットトップボックス１により生成された表示画面は、セットトップボックスの外部に接続された画像表示デバイス１３のウィンドウに接続される。また、ウィンドウに表示される画像は、複数の画像を並べて表示するようにしたが、かかる例に限定されない。例えば、複数の画像を３次的に配置して表示したり、画像の大きさを大小変えて表示したりしてもよいし、円形に配置して表示するようにしてもよい。 In the present embodiment, the display screen generation device is configured as a separate device from a display device such as a display or an imaging device of a camera, but is not limited to such an example. For example, the display screen generation device may be configured integrally with the display device or may be configured integrally with the imaging device. Hereinafter, a set-top box 1 that can be connected to a television receiver or the like and can receive and record content such as images and videos will be described as an example of a display screen generation device. The display screen generated by the set top box 1 is connected to a window of the image display device 13 connected to the outside of the set top box. Further, the images displayed in the window are displayed by arranging a plurality of images, but the present invention is not limited to such an example. For example, a plurality of images may be arranged and displayed in a tertiary manner, the size of the image may be changed in size, or displayed in a circular shape.

〔２〕表示画面生成装置の構成および機能
次に、図１に基づいて、本実施形態にかかる表示画面生成装置の一例であるセットトップボックス１の構成について説明する。図１は本実施形態にかかる表示画面生成装置の一例であるセットトップボックス１の構成を示すブロック図である。図１に示したように、セットトップボックス１は、入力デバイス１０、データメモリ１１、プログラムメモリ１２、画像表示デバイス１３、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）１４、接続コネクタ１７、リムーバブル記録媒体１８、外部記録媒体１９、演算制御デバイス２０、バス２４などを備える。なお、画像表示デバイス１３は、セットトップボックス１とは別体の装置として外部接続される機器である。 [2] Configuration and Function of Display Screen Generating Device Next, the configuration of the set top box 1 which is an example of the display screen generating device according to the present embodiment will be described based on FIG. FIG. 1 is a block diagram showing a configuration of a set top box 1 which is an example of a display screen generating apparatus according to the present embodiment. As shown in FIG. 1, the set top box 1 includes an input device 10, a data memory 11, a program memory 12, an image display device 13, a NIC (Network Interface Card) 14, a connection connector 17, a removable recording medium 18, and an external recording. A medium 19, an arithmetic control device 20, a bus 24, and the like are provided. The image display device 13 is a device that is externally connected as a separate device from the set top box 1.

セットトップボックス１の主な機能について説明する。演算制御デバイス２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってセットトップボックス１内の動作全般を制御する。また、演算制御デバイス２０は、マイクロプロセッサであってもよい。プログラムメモリ１２は、演算制御デバイス２０が使用する制御プログラムや演算パラメータ等を記憶している。 The main functions of the set top box 1 will be described. The arithmetic control device 20 functions as an arithmetic processing device and a control device, and controls the overall operation in the set top box 1 according to various programs. The arithmetic control device 20 may be a microprocessor. The program memory 12 stores a control program and calculation parameters used by the calculation control device 20.

入力デバイス１０は、例えば、キーボード、リモコン、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、演算制御デバイス２０に出力する入力制御回路などから構成されている。入力デバイス１０は、ユーザの操作を検出して演算制御デバイス２０に通知する機能を有する。 The input device 10 generates an input signal based on input by the user, such as a keyboard, a remote control, a touch panel, a button, a microphone, a switch, and a lever, and input by the user. It consists of an input control circuit for output. The input device 10 has a function of detecting a user operation and notifying the arithmetic control device 20.

外部記録媒体１９は、大量の画像を記録、格納する機能を有し、例えば、ハードディスクや半導体メモリ（ＳＳＤを含む）などを有する。本実施形態における外部記録媒体１９は、着脱不可能としたが、かかる例に限定されず、着脱可能とする構成としてもよい。また本実施形態では、外部記録媒体１９とは別に、リムーバブル記録媒体１８を設けて、リムーバブル記録媒体１８に記録された画像を取得して外部記録媒体１９に記録する構成とした。 The external recording medium 19 has a function of recording and storing a large amount of images, and includes, for example, a hard disk and a semiconductor memory (including an SSD). The external recording medium 19 in the present embodiment is not removable, but is not limited to this example, and may be configured to be removable. In the present embodiment, a removable recording medium 18 is provided separately from the external recording medium 19, and an image recorded on the removable recording medium 18 is acquired and recorded on the external recording medium 19.

また、ＮＩＣ１４は、インターネット網１５を介してインターネットサービス（サーバ）１６に接続して画像が取得されるが、当該画像も外部記録媒体１９に記録する構成とした。外部記録媒体１９に記録された画像は、演算制御デバイス２０に取得されて、画像解析処理、画像検索処理、画像表示処理等が実行される。各デバイスは、バス２４によって接続されている。 Further, the NIC 14 is connected to the Internet service (server) 16 via the Internet 15 to acquire an image, and the image is also recorded on the external recording medium 19. The image recorded on the external recording medium 19 is acquired by the arithmetic and control device 20, and image analysis processing, image search processing, image display processing, and the like are executed. Each device is connected by a bus 24.

画像解析処理部２１は、Ｅｘｉｆ形式の画像からメタデータ（以降、Ｅｘｉｆ情報とも称する。）を取得したり、画像から特徴量を抽出したりする機能を有する。Ｅｘｉｆとは、ＪＰＥＧ等の画像フォーマットに対応したメタデータのフォーマットであり、画像の撮影日時をはじめとする各種メタデータのほかに縮小画像が記録可能である。 The image analysis processing unit 21 has a function of acquiring metadata (hereinafter also referred to as Exif information) from an Exif format image and extracting a feature amount from the image. Exif is a metadata format corresponding to an image format such as JPEG, and can record a reduced image in addition to various kinds of metadata including an image shooting date and time.

画像検索処理部２２は、入力デバイス１０を介して入力されたユーザ入力に応じて、画像の検索処理を実行する機能を有する。また、画像表示処理部２３は、画像検索処理部２２による画像検索の結果に応じて、画像のソート処理等を行って画像を画像表示デバイス１３に表示する機能を有する。以上、セットトップボックス１の構成について説明した。 The image search processing unit 22 has a function of executing an image search process in response to a user input input via the input device 10. Further, the image display processing unit 23 has a function of displaying an image on the image display device 13 by performing an image sorting process or the like according to the result of the image search by the image search processing unit 22. The configuration of the set top box 1 has been described above.

次に、図２を参照して、画像表示デバイス１３に表示される表示画面について説明する。上記したように、画像表示デバイス１３は、セットトップボックス１とは別体の装置であって、セットトップボックス１の外部に接続されている機器である。画像表示デバイス１３には、例えば、図２に示した操作画面３００（以降、メイン操作画面３００とも称する。）が表示される。メイン操作画面上には、複数の画像のサムネイルがマトリックス状に並べて表示される。また、メイン操作画面上の右端には、表示画面全体をスクロールしてすべての画像の閲覧を可能とするためのスクロールバー３４が表示される。ユーザによるキーボードやリモコン操作により一つの画像が選択され（選択画像３２）、フォーカス３３が表示される。ユーザは、フォーカス３３を入力デバイスにより上下左右に操作して所望の画像を選択する。 Next, the display screen displayed on the image display device 13 will be described with reference to FIG. As described above, the image display device 13 is a separate device from the set top box 1 and is a device connected to the outside of the set top box 1. On the image display device 13, for example, the operation screen 300 shown in FIG. 2 (hereinafter also referred to as the main operation screen 300) is displayed. On the main operation screen, thumbnails of a plurality of images are displayed side by side in a matrix. In addition, a scroll bar 34 is displayed at the right end on the main operation screen for scrolling the entire display screen so that all images can be browsed. One image is selected by the user's keyboard or remote control operation (selected image 32), and the focus 33 is displayed. The user selects the desired image by operating the focus 33 up, down, left, and right with the input device.

メイン操作画面３００は、パーソナルコンピュータの画像閲覧アプリケーションソフトウェア、画像記録再生のための専用機器の操作画面、オンラインの画像管理サービスのブラウザ上でのＵＩ構成など、画像の閲覧方法として広く一般的に利用されている方法により表示することができる。以下では、メイン操作画面３００に複数の画像が表示される場合について説明する。 The main operation screen 300 is widely used as an image browsing method, such as image browsing application software for personal computers, operation screens for dedicated devices for image recording and playback, and UI configuration on the browser of an online image management service. It can be displayed by the method that has been used. Hereinafter, a case where a plurality of images are displayed on the main operation screen 300 will be described.

次に、図３を参照して、表示画面生成装置の主な機能構成について説明する。以下では、表示画面生成装置の主な機能構成として、セットトップボックス１の演算制御デバイス２０の機能構成について詳細に説明する。図３に示したように、演算制御デバイス２０は、選択部１０２、分類部１０４、第１表示画面生成部１０６、第２表示画面生成部１０８などを含む。 Next, the main functional configuration of the display screen generation device will be described with reference to FIG. Below, the functional configuration of the arithmetic control device 20 of the set-top box 1 will be described in detail as the main functional configuration of the display screen generation device. As shown in FIG. 3, the arithmetic control device 20 includes a selection unit 102, a classification unit 104, a first display screen generation unit 106, a second display screen generation unit 108, and the like.

第１表示画面生成部１０６は、複数の画像を含む第１の表示画面を生成する機能を有する。上記した画像表示処理部２３は、第１表示画面生成部１０６の一例である。第１表示画面生成部１０６により生成される表示画面は、図２に示したように複数の画像のサムネイルがマトリックス状に並べて表示される。第１表示画面生成部１０６は、ユーザによりスクロールバー３４が上下左右に操作されたり、表示されている画像のサムネイル３１が選択されたりする毎に、当該操作に応じた表示画面を生成して画像表示デバイス１３に提供する。 The first display screen generation unit 106 has a function of generating a first display screen including a plurality of images. The image display processing unit 23 described above is an example of the first display screen generation unit 106. The display screen generated by the first display screen generation unit 106 displays thumbnails of a plurality of images arranged in a matrix as shown in FIG. The first display screen generation unit 106 generates a display screen corresponding to the operation every time the user operates the scroll bar 34 up, down, left, or right, or selects the thumbnail 31 of the displayed image. Provided to the display device 13.

分類部１０４は、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類する機能を有する。上記した画像検索処理部２２は、分類部１０４の一例である。画像のメタデータとは、複数の画像の撮影日や、撮影時刻、画像の解像度等を含むデータであって、例えば、上記したＪＰＥＧ等の記録フォーマットにより付加されたＥｘｉｆ情報を解析したり、画像を解析したりして得ることができる画像の付加情報である。 The classification unit 104 has a function of classifying a plurality of images into a plurality of image groups based on the metadata of the plurality of images. The image search processing unit 22 described above is an example of the classification unit 104. Image metadata is data including the shooting date, shooting time, image resolution, and the like of a plurality of images. For example, the Exif information added by the recording format such as the above-mentioned JPEG is analyzed, It is additional information of an image that can be obtained by analyzing.

分類部１０４は、撮影日や撮影時刻等の画像のメタデータにより、撮影日毎、撮影時刻毎に複数の画像を分類する。画像のメタデータは、画像を検索するときにユーザが設定する検索条件となる。分類部１０４は、例えば、メタデータの種別ごとの度数分布情報を作成することにより複数の画像を分類してもよい。分類部１０４による度数分布情報の作成については、後で詳細に説明する。 The classification unit 104 classifies a plurality of images for each shooting date and each shooting time based on image metadata such as a shooting date and a shooting time. The image metadata is a search condition set by the user when searching for an image. For example, the classification unit 104 may classify the plurality of images by creating frequency distribution information for each type of metadata. The creation of the frequency distribution information by the classification unit 104 will be described in detail later.

第２表示画面生成部１０８は、分類部１０４により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する機能を有する。上記した画像表示処理部２３は、第２表示画面生成部１０８の一例である。第２表示画面生成部１０８は、第１表示画面生成部１０６により生成される第１の表示画面とは別の表示画面を生成する。第２の表示画面に含まれる選択ポイントは、分類部１０４により分類された複数の画像群の各々に対応付けられている表示画面上の点である。当該選択ポイントの設定方法については後で詳細に説明する。 The second display screen generation unit 108 has a function of generating a second display screen including a selection point associated with each of the plurality of image groups classified by the classification unit 104. The image display processing unit 23 described above is an example of the second display screen generation unit 108. The second display screen generation unit 108 generates a display screen different from the first display screen generated by the first display screen generation unit 106. The selection points included in the second display screen are points on the display screen that are associated with each of the plurality of image groups classified by the classification unit 104. A method for setting the selection point will be described in detail later.

ここで、図４を参照して、第１表示画面と第２表示画面の表示例について説明する。図４は、表示画面生成装置により生成される表示画面の表示例について説明する説明図である。図４に示したように、メイン操作画面３００に第１表示画面である複数の画像のサムネイル画像３５が表示され、メイン操作画面３００に重ねて第２表示画面である検索ウィンドウ表示画面４０が表示される。 Here, a display example of the first display screen and the second display screen will be described with reference to FIG. FIG. 4 is an explanatory diagram illustrating a display example of a display screen generated by the display screen generation device. As shown in FIG. 4, thumbnail images 35 of a plurality of images that are the first display screen are displayed on the main operation screen 300, and a search window display screen 40 that is the second display screen is displayed on the main operation screen 300. Is done.

検索ウィンドウ表示画面４０は、グラフ表示エリア４１、詳細情報表示エリア４２、横軸４３、縦軸４４、横軸フォーカス４５、縦軸フォーカス４６などを含む。グラフ表示エリア４１には、複数の画像の全体の分布を散布図として示すグラフが表示される。詳細情報表示エリア４２には、現在選択されている選択ポイントの詳細情報が表示され、例えば、日付、時刻、解像度や選択ポイントを代表するサムネイル画像等が表示される。 The search window display screen 40 includes a graph display area 41, a detailed information display area 42, a horizontal axis 43, a vertical axis 44, a horizontal axis focus 45, a vertical axis focus 46, and the like. In the graph display area 41, a graph showing the overall distribution of a plurality of images as a scatter diagram is displayed. In the detailed information display area 42, detailed information of the currently selected selection point is displayed. For example, a date, time, resolution, thumbnail images representing the selected point, and the like are displayed.

横軸４３および縦軸４４には、上記した画像のメタデータが割り当てられる。例えば、横軸４３および縦軸４４に割り当てられるメタデータは、ユーザにより選択されるようにしてもよい。また、横軸４３又は縦軸４４のうち、一方に割り当てられるメタデータはユーザにより選択されるようにしてもよい。図４に示したように、グラフ表示エリア４１上で選択されている選択ポイントがフォーカス表示される。以上、表示画面生成装置により生成される表示画面の表示例について説明した。 The horizontal axis 43 and the vertical axis 44 are assigned the metadata of the image described above. For example, the metadata assigned to the horizontal axis 43 and the vertical axis 44 may be selected by the user. Further, the metadata assigned to one of the horizontal axis 43 and the vertical axis 44 may be selected by the user. As shown in FIG. 4, the selected points selected on the graph display area 41 are displayed in focus. The display example of the display screen generated by the display screen generation device has been described above.

図３に戻り、選択部１０２は、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの画像ポイントを選択する機能を有する。選択部１０２により第２の表示画面に含まれる選択ポイントが選択される毎に、第１表示画面生成部１０６によって、第１の表示画面に含まれる複数の画像が選択ポイントに対応付けられている複数の画像群の画像に変更される。 Returning to FIG. 3, the selection unit 102 has a function of selecting one of the image points from the selection points included in the second display screen in response to a user operation. Each time the selection unit 102 selects a selection point included in the second display screen, the first display screen generation unit 106 associates a plurality of images included in the first display screen with the selection point. The image is changed to a plurality of images.

上記した図４を参照して、選択ポイントが選択された場合の、第１の表示画面の表示について説明する。ユーザ操作により、検索ウィンドウ４０に表示されているグラフ上の選択ポイントの１つが選択される。そして、メイン操作画面３００に表示されている画像のコンテンツが、当該選択ポイントに関連付けられている画像群に変更される。また、ユーザ操作により先に選択された選択ポイントとは異なる他の選択ポイントが選択されると、一覧表示されている画像のコンテンツが当該選択ポイントに関連付けられている画像群に変更される。以上、表示画面生成装置の機能構成について説明した。 With reference to FIG. 4 described above, the display on the first display screen when the selection point is selected will be described. One of the selection points on the graph displayed in the search window 40 is selected by a user operation. Then, the content of the image displayed on the main operation screen 300 is changed to an image group associated with the selected point. When another selection point different from the selection point previously selected by the user operation is selected, the content of the image displayed in a list is changed to an image group associated with the selection point. The functional configuration of the display screen generation device has been described above.

〔３〕表示画面生成装置の動作
次に、図５〜図１２を参照して、表示画面生成装置の表示画面生成方法について説明する。図５は、表示画面生成装置の表示画面生成方法の概要を示すフローチャートである。図５に示したように、表示画面生成方法は、主に、画像の登録処理（Ｓ１００）、検索の実行処理（Ｓ２００）、検索結果の表示処理（Ｓ３００）などの処理工程を含む。ここで、ステップＳ１００における画像の登録処理は、表示画面生成装置により実行されてもよいし、表示画面生成装置とは別体の装置により実行されてもよい。以下では、表示画面生成装置が画像の登録処理を実行する場合について説明する。 [3] Operation of Display Screen Generating Device Next, a display screen generating method of the display screen generating device will be described with reference to FIGS. FIG. 5 is a flowchart showing an overview of a display screen generation method of the display screen generation apparatus. As shown in FIG. 5, the display screen generation method mainly includes processing steps such as an image registration process (S100), a search execution process (S200), and a search result display process (S300). Here, the image registration processing in step S100 may be executed by the display screen generation device, or may be executed by a device separate from the display screen generation device. In the following, a case where the display screen generating apparatus executes image registration processing will be described.

デジタルカメラ等の撮像機器で撮像された画像等が外部記録媒体１９に記録されるときに、ステップＳ１００の登録処理が実行される。ステップＳ１００において、ステップＳ２００の検索処理を実行するために必要なメタデータの種別ごとのコンテンツデータファイルが新規作成されたり、コンテンツデータファイルの内容が更新されたりする。コンテンツデータファイルには、外部記録媒体１９に記録されている画像全体の度数分布情報が含まれる。また、ステップＳ１００において、検索に必要となる画像の特徴量も抽出される。そして、画像の特徴量もメタデータとしてコンテンツデータファイルが生成される。 When an image captured by an imaging device such as a digital camera is recorded on the external recording medium 19, the registration process in step S100 is executed. In step S100, a new content data file is created for each type of metadata necessary for executing the search processing in step S200, or the content of the content data file is updated. The content data file includes frequency distribution information of the entire image recorded on the external recording medium 19. In step S100, the feature amount of the image necessary for the search is also extracted. Then, a content data file is generated with the feature amount of the image as metadata.

ユーザ操作により、上記したメイン操作画面３００に表示される操作メニューなどを選択することにより、ステップＳ２００の検索処理が実行される（Ｓ２００）。ステップＳ２００における検索処理は、メイン操作画面３００上に検索ウィンドウ４０を表示する処理と、ユーザ操作により検索ウィンドウ４０上で操作が行われている処理をいう。検索ウィンドウ４０には、外部記録媒体１９に記録されている画像全体の分布情報がグラフとして表示される。 By selecting an operation menu or the like displayed on the main operation screen 300 by a user operation, the search process of step S200 is executed (S200). The search processing in step S200 refers to processing for displaying the search window 40 on the main operation screen 300 and processing for performing an operation on the search window 40 by a user operation. In the search window 40, distribution information of the entire image recorded on the external recording medium 19 is displayed as a graph.

ステップＳ３００においては、ユーザ操作により検索ウィンドウ４０上で任意の選択ポイントが選択された後、当該選択ポイントが示す画像群が表示されるまでの処理を実行する。以上、表示画面生成方法の概要を説明した。 In step S300, after an arbitrary selection point is selected on the search window 40 by a user operation, processing is performed until an image group indicated by the selection point is displayed. The overview of the display screen generation method has been described above.

次に、図６を参照して、ステップＳ１００の画像の登録処理について詳細に説明する。図６に示したように、まず、外部記録媒体１９に記録される画像のＥｘｉｆ情報を解析する（Ｓ１０２）。ステップＳ１０２におけるＥｘｉｆ情報の解析により、各画像の撮影日時や解像度、ＩＳＯ感度等を取得する。 Next, the image registration processing in step S100 will be described in detail with reference to FIG. As shown in FIG. 6, first, Exif information of an image recorded on the external recording medium 19 is analyzed (S102). By analyzing the Exif information in step S102, the shooting date / time, resolution, ISO sensitivity, and the like of each image are acquired.

そして、各画像の特徴量を抽出する（Ｓ１０４）。ステップＳ１０４における画像の特徴量の抽出処理では、画像の諧調レベルや、画像の重心位置、構図情報、顔認識技術による人物の特定情報や、画像に写っている人物の人数情報、人物の画像上での位置情報などを取得できる。また、各画像のメタデータとして、画像の登録日時や画像のタイトル情報等を取得するようにしてもよい。図７に、画像のメタデータの例を示した。 And the feature-value of each image is extracted (S104). In the image feature amount extraction processing in step S104, the gradation level of the image, the position of the center of gravity of the image, composition information, person identification information by face recognition technology, the number of persons in the image, and the person image You can get location information and so on. In addition, as the metadata of each image, image registration date and time, image title information, and the like may be acquired. FIG. 7 shows an example of image metadata.

図７に示した画像のメタデータが、画像を分類するために用いられる。図７に示した画像のメタデータは、どのような画像検索を実行するかによっても異なってくる。また、画像を撮影する撮像機器や当該機器の設定などの画像撮影条件により、取得できるメタデータも異なってくる。したがってどのような情報を画像のメタデータとするかは、本実施形態が適用されるシステムやサービスによってあらかじめ決められていてもよい。 The image metadata shown in FIG. 7 is used to classify the images. The metadata of the image shown in FIG. 7 varies depending on what kind of image search is executed. Also, the metadata that can be acquired varies depending on the image capturing conditions such as the imaging device that captures the image and the settings of the device. Therefore, what information is used as image metadata may be determined in advance by a system or service to which the present embodiment is applied.

図６に戻り、ステップＳ１０２およびステップＳ１０４において取得した情報を、各画像のメタデータとして記録する（Ｓ１０６）。ステップＳ１０６において記録された画像のメタデータが、画像の検索条件として初めて登録されるメタデータであるか否かを判定する（Ｓ１０８）。 Returning to FIG. 6, the information acquired in step S102 and step S104 is recorded as metadata of each image (S106). It is determined whether the metadata of the image recorded in step S106 is metadata registered for the first time as an image search condition (S108).

ステップＳ１０８において、画像の検索条件として初めて登録されるメタデータである場合には、コンテンツデータファイルを新規に作成する（Ｓ１１２）。ステップＳ１１２において、画像の検索条件として初めて登録されるメタデータではない場合には、当該メタデータに対応するコンテンツデータファイルの内容を更新する（Ｓ１１０）。 If the metadata is registered for the first time as an image search condition in step S108, a new content data file is created (S112). In step S112, if the metadata is not registered for the first time as an image search condition, the content of the content data file corresponding to the metadata is updated (S110).

図８を参照して、コンテンツデータファイルの内容について説明する。図８は、コンテンツデータファイルの内容を説明する説明図である。図８に示したように、撮影日や撮影時刻等の画像のメタデータを検索条件として、コンテンツデータファイルが作成される。例えば、コンテンツデータファイル５１０は、撮影日を検索条件とし、撮影日で画像を分類したときの画像の度数分布情報が記録される。ここで、度数とは、検索条件の各項目に該当する画像数である。以上、画像の登録処理について詳細に説明した。 The contents of the content data file will be described with reference to FIG. FIG. 8 is an explanatory diagram for explaining the contents of the content data file. As shown in FIG. 8, a content data file is created using image metadata such as a shooting date and a shooting time as search conditions. For example, the content data file 510 records the frequency distribution information of an image when the image is classified by the shooting date using the shooting date as a search condition. Here, the frequency is the number of images corresponding to each item of the search condition. The image registration process has been described in detail above.

次に、図９を参照して、ステップＳ２００の検索の実行処理について詳細に説明する。上記したように、ステップＳ２００における検索処理は、メイン操作画面３００上に検索ウィンドウ４０を表示する処理と、ユーザ操作により検索ウィンドウ４０上で操作が行われている処理を含む。 Next, the search execution process in step S200 will be described in detail with reference to FIG. As described above, the search process in step S200 includes a process for displaying the search window 40 on the main operation screen 300 and a process for performing an operation on the search window 40 by a user operation.

メイン操作画面３００上に検索ウィンドウ４０を表示する処理は、ユーザ操作により、図１０に示したメイン操作画面３００に表示されるメイン操作メニュー５０から検索実行メニューが選択され、さらに検索条件選択メニュー５２から１つの検索条件が選択され、その後検索ウィンドウ４０が表示される。検索条件選択メニュー５２は、複数の画像のメタデータの一覧を含むメタデータ選択画面の一例である。図９を参照して、検索ウィンドウ４０を表示するための処理について詳細に説明する。 In the process of displaying the search window 40 on the main operation screen 300, the search execution menu is selected from the main operation menu 50 displayed on the main operation screen 300 shown in FIG. One search condition is selected, and then the search window 40 is displayed. The search condition selection menu 52 is an example of a metadata selection screen including a list of metadata of a plurality of images. A process for displaying the search window 40 will be described in detail with reference to FIG.

図９は、検索ウィンドウ４０を表示するための処理を示すフローチャートである。図９に示したように、まず、検索ウィンドウの設定を取得する（Ｓ２０２）。ステップＳ２０２においては、検索ウィンドウ４０に表示されるグラフ上のポイント間の最小間隔情報（以降、ポイント間隔Ｍと称する。）を取得する。 FIG. 9 is a flowchart showing a process for displaying the search window 40. As shown in FIG. 9, first, the search window setting is acquired (S202). In step S202, the minimum interval information (hereinafter referred to as point interval M) between points on the graph displayed in the search window 40 is acquired.

本実施形態においては、外部記録媒体１９に記録されている画像全体の分布をグラフ化する。この場合に、限られた領域にすべての画像を個々にプロットしてしまうと、画像のコンテンツ数に比例してポイント数が増大してしまうため、大量の画像についてグラフ化する場合には却ってユーザビリティを損なうこととなりかねない。そこで、ポイント間の最小の間隔を設定し、当該設定を考慮してグラフの元データを生成する。 In the present embodiment, the distribution of the entire image recorded on the external recording medium 19 is graphed. In this case, if all the images are individually plotted in a limited area, the number of points increases in proportion to the number of contents of the image. Can be detrimental. Therefore, a minimum interval between points is set, and the graph original data is generated in consideration of the setting.

次に、メイン操作画面上で選択されている画像のメタデータを取得する（Ｓ２０４）。本実施形態では、検索ウィンドウ４０を表示したときにフォーカスされている選択ポイントに、メイン操作画面上でフォーカスされている画像を含むこととしている。そのため、ステップＳ２０４において、メイン操作画面上で現在選択されている画像のメタデータを取得する必要がある。 Next, the metadata of the image selected on the main operation screen is acquired (S204). In the present embodiment, the selection point that is focused when the search window 40 is displayed includes the image that is focused on the main operation screen. Therefore, in step S204, it is necessary to acquire metadata of the image currently selected on the main operation screen.

そして、ステップＳ２０２およびステップＳ２０４において取得した情報を元に、検索ウィンドウ４０に表示するグラフを作成する（Ｓ２０６）。以下では、ユーザ操作により、メイン操作メニュー５０から検索条件として「撮影日」が選択された場合について説明する。 Based on the information acquired in step S202 and step S204, a graph to be displayed on the search window 40 is created (S206). Hereinafter, a case where “shooting date” is selected as a search condition from the main operation menu 50 by a user operation will be described.

ここで、図１１及び図１２を参照して、ステップＳ２０６におけるグラフの作成処理について詳細に説明する。図１１及び図１２は、グラフ作成処理を詳細に説明する説明図である。図１１に示したように、まず、グラフの縦横軸をステップＳ２０２において取得したポイント間隔Ｍで分割する（Ｓ２５０）。 Here, with reference to FIG.11 and FIG.12, the production | generation process of the graph in step S206 is demonstrated in detail. 11 and 12 are explanatory diagrams for explaining the graph creation processing in detail. As shown in FIG. 11, first, the vertical and horizontal axes of the graph are divided by the point interval M acquired in step S202 (S250).

次に、ユーザ操作により選択された検索条件をグラフの横軸とする（Ｓ２５１）。例えば、「撮影日」のコンテンツデータファイルの項目の最小値、最大値をグラフの横軸の最小値、最大値に対応させる。図１１では、最小値を「２０００／１２／３０」とし、最大値を「２００７／１１／１１」とした。 Next, the search condition selected by the user operation is taken as the horizontal axis of the graph (S251). For example, the minimum value and the maximum value of the item of the content data file “shooting date” are made to correspond to the minimum value and the maximum value on the horizontal axis of the graph. In FIG. 11, the minimum value is “2000/12/30” and the maximum value is “2007/11/11”.

そして、該当するコンテンツデータファイルの最大、最小値項目以外の項目についてもグラフの横軸に最も近いメモリにプロットする（Ｓ２５２）。ポイント間隔Ｍの設定によっては、コンテンツデータファイルの複数の項目が１つの選択ポイントにプロットされる場合もある。 Then, items other than the maximum and minimum items of the corresponding content data file are also plotted in the memory closest to the horizontal axis of the graph (S252). Depending on the setting of the point interval M, a plurality of items of the content data file may be plotted at one selection point.

図１２を参照して説明する。ステップＳ２５２においてグラフの横軸に最も近いメモリにプロットした後、２つめの検索条件を縦軸として、横軸にポイントした画像群を縦軸に分散させる（Ｓ２５３）。ここで、２つめの検索条件を選択する方法について詳細に説明する。まず、ステップＳ２５２までにプロットしたポイントから１つのポイントを選択する。このとき、最も度数が高いものを選ぶようにしてもよい。 This will be described with reference to FIG. After plotting in the memory closest to the horizontal axis of the graph in step S252, the image group pointed to the horizontal axis is dispersed on the vertical axis with the second search condition as the vertical axis (S253). Here, a method for selecting the second search condition will be described in detail. First, one point is selected from the points plotted up to step S252. At this time, the highest frequency may be selected.

図１２のステップＳ２５３では左から４番目のポイントが最も度数が高かったと想定している。このポイントに含まれる画像群に対して「撮影日」以外のユーザが選ばなかったメタデータのそれぞれについて標準偏差ｓを算出する。標準偏差は平均値からのデータの散らばり具合を示す値であり、以下の数式１で表すことができる。

In step S253 of FIG. 12, it is assumed that the fourth point from the left has the highest frequency. The standard deviation s is calculated for each piece of metadata not selected by the user other than “shooting date” for the image group included in this point. The standard deviation is a value indicating the degree of dispersion of data from the average value, and can be expressed by the following formula 1.

標準偏差が最も高かったメタデータが最もこのポイントに含まれる画像群を分散できるメタデータであると判断して、２つめの検索条件とする。２つめの検索条件の選び方として、ここでは自動で判断し選択する方法を説明したが、ユーザが手動で設定できるようにしてもよい。 It is determined that the metadata having the highest standard deviation is metadata that can disperse the image group included in this point, and is used as the second search condition. As a method for selecting the second search condition, the method for automatically determining and selecting is described here, but the user may be able to manually set it.

図１２では、「撮影時刻」が２つめの検索条件に決定したと想定しているが、２つめの検索条件は「撮影時刻」に限らず、標準偏差が最も高いメタデータが選択される。そして、ステップＳ２５３でプロットしたすべてのポイントついて「撮影時刻」によりヒストグラムを作成し、横軸にポイントをプロットしたときと同様に、それぞれのポイントを縦軸に分散させる。このようにグラフを生成することで限られたグラフのスペースに大量の画像を画像群としてプロットすることができる。 In FIG. 12, it is assumed that “shooting time” is determined as the second search condition, but the second search condition is not limited to “shooting time”, and metadata having the highest standard deviation is selected. Then, a histogram is created for all points plotted in step S253 based on “shooting time”, and each point is distributed on the vertical axis in the same manner as when the points are plotted on the horizontal axis. By generating a graph in this way, a large amount of images can be plotted as an image group in a limited graph space.

図９に戻り、次に、ステップＳ２０４で取得した情報を元に、メイン操作画面でフォーカスがあたっている画像が含まれるポイントにグラフのフォーカスを合わせる。そして、ステップＳ２０６において作成したグラフをメイン操作画面３００の検索ウィンドウ４０上に表示する。ステップＳ２０８において表示される検索ウィンドウ４０は、メイン操作画面３００とは別のウィンドウとして表示されてもよいし、メイン操作画面３００に重ねて表示されるようにしてもよい。以上、検索ウィンドウ４０を表示するための処理について詳細に説明した。 Returning to FIG. 9, next, based on the information acquired in step S204, the focus of the graph is adjusted to the point including the focused image on the main operation screen. Then, the graph created in step S206 is displayed on the search window 40 of the main operation screen 300. The search window 40 displayed in step S208 may be displayed as a window different from the main operation screen 300, or may be displayed so as to overlap the main operation screen 300. The processing for displaying the search window 40 has been described in detail above.

次に、図１３を参照して、ステップＳ３００における検索結果の表示処理について詳細に説明する。図１３は、検索結果の表示処理を示すフローチャートである。図１３に示したように、まず、ユーザが、キーボードやリモコンなどの入力デバイスによりグラフ上のフォーカスを上下左右に移動する。そして、ユーザがポイントを決定することにより、当該ポイントが選択される（ステップＳ３０２）。 Next, the search result display processing in step S300 will be described in detail with reference to FIG. FIG. 13 is a flowchart showing search result display processing. As shown in FIG. 13, first, the user moves the focus on the graph vertically and horizontally by using an input device such as a keyboard or a remote controller. Then, when the user determines a point, the point is selected (step S302).

また、任意のポイント上でフォーカスを動かすことなく所定の時間が経過した場合には、タイムアウトとなり、選択中の選択ポイントのプレビュー処理が開始される。ここで、プレビュー処理とは、当該選択ポイントに対応付けられた複数の画像のサムネイルをメイン操作画面３００にマトリックス状に並べて表示することである。 In addition, when a predetermined time has passed without moving the focus on an arbitrary point, a time-out occurs and preview processing of the selected selection point is started. Here, the preview process is to display thumbnails of a plurality of images associated with the selected point in a matrix on the main operation screen 300.

次に、検索ウィンドウ４０を表示してから、初めてステップＳ３０２における選択ポイントの決定がなされたか否かが判定される（Ｓ３０６）。ステップＳ３０６において、検索ウィンドウ４０を表示して初めて選択ポイントの決定がなされた場合には、現在の検索条件の情報を取得する（Ｓ３０８）。そして、ステップＳ３０８において取得した情報に基づいて、外部記録媒体１９に記録されている複数の画像をソートする（Ｓ３１０）。ステップＳ３１０において、グラフを作成するために用いられた検索条件の項目により画像がソートされる。 Next, after the search window 40 is displayed, it is determined whether or not the selection point is determined in step S302 for the first time (S306). In step S306, when the selection point is determined for the first time after displaying the search window 40, information on the current search condition is acquired (S308). Then, based on the information acquired in step S308, the plurality of images recorded on the external recording medium 19 are sorted (S310). In step S310, the images are sorted by the search condition item used to create the graph.

ステップＳ３０６において、選択ポイントの決定が２回目以降である場合には、既に画像のソート処理が行われているため、ステップＳ３１１の処理を実行する。そして、選択されたポイントの情報を取得する(Ｓ３１１)。ステップＳ３１１において選択された選択ポイントに含まれる画像群のサムネイルがメイン操作画面３００に表示される（Ｓ３１２）。ステップＳ３１２において表示される画像群のサムネイルは、選択ポイントに対応付けられた画像群のみを表示するようにしてもよいし、選択された選択ポイント付近の選択ポイントに対応付けられた画像群のサムネイルを表示するようにしてもよい。 If it is determined in step S306 that the selection point is determined for the second time or later, the process of step S311 is executed because the image sorting process has already been performed. Then, information on the selected point is acquired (S311). A thumbnail of the image group included in the selection point selected in step S311 is displayed on the main operation screen 300 (S312). Only the image group associated with the selected point may be displayed as the thumbnail of the image group displayed in step S312, or the thumbnail of the image group associated with the selected point near the selected selection point. May be displayed.

次に、ステップＳ３０２において、ユーザがポイントを決定したか否かを判定する（Ｓ３１４）。ステップＳ３１４において、ユーザがポイントを決定したと判定された場合には、ユーザの検索処理が終了したと判断して検索ウィンドウ４０を隠す。また、ステップＳ３１４において、ユーザがポイントを決定することなくタイムアウト処理が実行された場合には、ユーザがまだプレビュー中であると判断して検索ウィンドウを隠すことなく次のユーザ操作を待つ。以上、ステップＳ３００における検索結果の表示処理について詳細に説明した。 Next, in step S302, it is determined whether or not the user has determined a point (S314). If it is determined in step S314 that the user has determined a point, it is determined that the user's search process has been completed, and the search window 40 is hidden. In step S314, when the time-out process is executed without the user determining a point, it is determined that the user is still in the preview, and the next user operation is awaited without hiding the search window. The search result display processing in step S300 has been described in detail above.

本実施形態にかかる表示画面生成装置によれば、複数の画像を含むメイン操作画面（第１の表示画面）が生成され、複数の画像のメタデータに基づいて複数の画像を複数の画像群に分類し、分類された複数の画像群の各々に対応付けられている選択ポイントを含む検索ウィンドウ（第２の表示画面）が生成される。そして、ユーザ操作に応じて検索ウィンドウに表示された選択ポイントが選択されて、当該選択ポイントに対応付けられている複数の画像群がメイン操作画面に表示される。 According to the display screen generation device according to the present embodiment, a main operation screen (first display screen) including a plurality of images is generated, and a plurality of images are converted into a plurality of image groups based on metadata of the plurality of images. A search window (second display screen) including a selection point that is classified and associated with each of the plurality of classified image groups is generated. Then, the selection point displayed in the search window is selected according to the user operation, and a plurality of image groups associated with the selection point are displayed on the main operation screen.

これにより、大量の画像を一様に把握して所望の画像を効率よく選択することができる。メイン操作画面３００に複数の画像がマトリクス状に表示して、ユーザにより所望の画像が閲覧される場合には現在プレビューされている位置が分からなくなり、ユーザは当該位置を確認するためにスクロールを繰り返すこととなる。しかし、本実施形態により実現されるグラフを利用すれば、現在表示されている画像の絶対位置を把握することができる。これにより、ユーザは常に現在プレビューされている画像の位置を意識することが可能となるため、直感的に画像の選択操作を行うことができることとなる。 Thereby, it is possible to grasp a large number of images uniformly and select a desired image efficiently. When a plurality of images are displayed in a matrix on the main operation screen 300 and a desired image is viewed by the user, the currently previewed position is not known, and the user repeats scrolling to confirm the position. It will be. However, if the graph realized by the present embodiment is used, the absolute position of the currently displayed image can be grasped. As a result, the user can always be aware of the position of the currently previewed image, so that an image selection operation can be performed intuitively.

また、最適な検索条件を自動で設定することにより、ユーザは記録されている画像全体を最も把握しやすい条件の組み合わせにより検索することができる。さらに、異なる２つの検索条件を組み合わせ、２次元の検索ウィンドウを表示することで、１つの検索条件を選択するごとに表示を切り替える必要がなくなる。 In addition, by automatically setting the optimum search conditions, the user can search the entire recorded image by a combination of conditions that are most easily grasped. Furthermore, combining two different search conditions and displaying a two-dimensional search window eliminates the need to switch the display each time one search condition is selected.

また、２つの検索条件を跨いで、画像全体の分布を表示することにより、画像間の意外な関連性をユーザが意識することなく発見する可能性が増すこととなる。ユーザ操作による選択ポイントの選択については、所定時間ユーザにより選択ポイントの決定操作がされない場合には、自動的に現在フォーカスされている選択ポイントに対応付けられた画像群を表示させることで、ユーザの利便性を上げることができる。 Further, by displaying the distribution of the entire image across the two search conditions, the possibility of finding an unexpected relationship between the images without the user being conscious is increased. Regarding selection of a selection point by a user operation, when a selection point determination operation is not performed by a user for a predetermined time, an image group associated with the currently focused selection point is automatically displayed to display the user's Convenience can be improved.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

例えば、上記実施形態では、セットトップボックス等の表示画面生成装置に適用することとしたが、本発明はかかる例に限定されない。例えば、画像閲覧のインタフェースをもったＷｅｂサービスや、ＰＣアプリケーション、ＣＥ機器等さまざまなシーンで利用することができる。また、表示スペースの小さい携帯情報端末や携帯電話、デジタルカメラなどのモバイル機器に利用することにより、限られたスペースでも大量の画像を一様に把握することが可能となる。また、ユーザ操作により、検索ウィンドウの大きさをアクティブに変更できるようにして、グラフのサイズやポイントの配置等を動的に演算して表示するようにしてもよい。 For example, in the above embodiment, the present invention is applied to a display screen generation device such as a set top box, but the present invention is not limited to such an example. For example, it can be used in various scenes such as a Web service having an image browsing interface, a PC application, and a CE device. In addition, when used for mobile devices such as portable information terminals, mobile phones, and digital cameras with a small display space, a large amount of images can be uniformly grasped even in a limited space. In addition, the size of the search window can be changed actively by a user operation, and the size of the graph, the arrangement of points, and the like may be dynamically calculated and displayed.

本発明の一実施形態にかかるセットトップボックスの構成を示すブロック図である。It is a block diagram which shows the structure of the set top box concerning one Embodiment of this invention. 同実施形態にかかる画像表示デバイスに表示される表示画面の一例を説明する説明図である。It is explanatory drawing explaining an example of the display screen displayed on the image display device concerning the embodiment. 同実施形態にかかる表示画面生成装置の主な機能構成を示すブロック図である。It is a block diagram which shows the main function structures of the display screen production | generation apparatus concerning the embodiment. 同実施形態にかかる表示画面生成装置により生成される表示画面の表示例について説明する説明図である。It is explanatory drawing explaining the example of a display of the display screen produced | generated by the display screen production | generation apparatus concerning the embodiment. 同実施形態にかかる表示画面生成方法の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the display screen production | generation method concerning the embodiment. 同実施形態にかかる画像の登録処理を示すフローチャートである。6 is a flowchart showing image registration processing according to the embodiment. 同実施形態にかかる画像のメタデータの例を示した説明図である。It is explanatory drawing which showed the example of the metadata of the image concerning the embodiment. 同実施形態にかかるコンテンツデータファイルの内容を説明する説明図である。It is explanatory drawing explaining the content of the content data file concerning the embodiment. 同実施形態にかかる検索の実行処理を示すフローチャートである。It is a flowchart which shows the execution process of the search concerning the embodiment. 同実施形態にかかるメイン操作画面に表示されるメイン操作メニューを説明する説明図である。It is explanatory drawing explaining the main operation menu displayed on the main operation screen concerning the embodiment. 同実施形態にかかるグラフ作成処理を詳細に説明する説明図である。It is explanatory drawing explaining the graph creation process concerning the embodiment in detail. 同実施形態にかかるグラフ作成処理を詳細に説明する説明図である。It is explanatory drawing explaining the graph creation process concerning the embodiment in detail. 同実施形態にかかる検索結果の表示処理を示すフローチャートである。It is a flowchart which shows the display process of the search result concerning the embodiment.

符号の説明Explanation of symbols

１セットトップボックス
１３画像表示デバイス
１９外部記録媒体
２０演算制御デバイス
２１画像解析処理部
２２画像検索処理部
２３画像表示処理部
１０２選択部
１０４分類部
１０６第１表示画面生成部
１０８第２表示画面生成部
DESCRIPTION OF SYMBOLS 1 Set top box 13 Image display device 19 External recording medium 20 Arithmetic control device 21 Image analysis process part 22 Image search process part 23 Image display process part 102 Selection part 104 Classification part 106 1st display screen production | generation part 108 2nd display screen production | generation Part

Claims

複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、
複数の画像のメタデータに基づいて、前記複数の画像を複数の画像群に分類する分類部と、
前記分類部により分類された前記複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、
ユーザ操作に応じて前記第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、
を備え、
前記第１表示画面生成部は、前記選択部により前記選択ポイントが選択される毎に、前記第１の表示画面に含まれる複数の画像を前記選択ポイントに対応づけられている前記複数の画像群の画像に変更する、表示画面生成装置。 A first display screen generation unit that generates a first display screen including a plurality of images;
A classification unit that classifies the plurality of images into a plurality of image groups based on metadata of the plurality of images;
A second display screen generation unit that generates a second display screen including a selection point associated with each of the plurality of image groups classified by the classification unit;
A selection unit for selecting one of the selection points from the selection points included in the second display screen in response to a user operation;
With
The first display screen generation unit is configured to associate the plurality of images included in the first display screen with the selection point every time the selection point is selected by the selection unit. A display screen generation device that changes to an image.

前記第１表示画面生成部により生成される前記第１の表示画面に重ねて、前記第２表示画面生成部により生成される前記第２の表示画面が前記表示装置に表示される、請求項１に記載の表示画面生成装置。 The second display screen generated by the second display screen generation unit is displayed on the display device so as to overlap the first display screen generated by the first display screen generation unit. The display screen generation device described in 1.

前記選択ポイントは、前記複数の画像を分類する１または２以上のメタデータのうち少なくとも２のメタデータにより特定される、請求項１または２のいずれかに記載の表示画面生成装置。 3. The display screen generation device according to claim 1, wherein the selection point is specified by at least two metadata among one or two or more metadata for classifying the plurality of images.

前記第２表示画面生成部は、
前記複数の画像のメタデータのうち、一のメタデータを横軸とし、他のメタデータを縦軸とするグラフ上に前記複数の選択ポイントがプロットされた第２の表示画面を生成する、請求項１〜３のいずれかに記載の表示画面生成装置。 The second display screen generator is
Generating a second display screen in which the plurality of selection points are plotted on a graph having one metadata as a horizontal axis and other metadata as a vertical axis among the metadata of the plurality of images. Item 4. A display screen generation device according to any one of Items 1 to 3.

前記第１表示画面生成部は、少なくとも前記選択ポイントに対応付けられた前記複数の画像群に加えて、前記選択ポイント付近の前記選択ポイントに対応付けられた前記複数の画像を表示させる、請求項１〜４のいずれかに記載の表示画面生成装置。 The first display screen generation unit displays the plurality of images associated with the selection point in the vicinity of the selection point in addition to at least the plurality of image groups associated with the selection point. The display screen production | generation apparatus in any one of 1-4.

前記複数の画像のメタデータは、前記複数の画像の撮影日、撮影時刻、解像度のいずれかである、請求項１〜５のいずれかに記載の表示画面生成装置。 The display screen generating apparatus according to claim 1, wherein the metadata of the plurality of images is any one of a shooting date, a shooting time, and a resolution of the plurality of images.

前記第２表示画面生成部は、前記複数の画像のメタデータの一覧を含むメタデータ選択画面を生成し、
前記選択部は、ユーザ操作に応じて前記メタデータ選択画面に含まれる前記複数の画像のメタデータのうちから１または２以上のメタデータを選択する、請求項１〜６のいずれかに記載の表示画面生成装置。 The second display screen generation unit generates a metadata selection screen including a list of metadata of the plurality of images,
The selection unit according to any one of claims 1 to 6, wherein the selection unit selects one or more metadata from among the metadata of the plurality of images included in the metadata selection screen according to a user operation. Display screen generator.

前記第２表示画面生成部は、前記選択部により選択された１または２以上のメタデータを横軸または縦軸とするグラフを含む表示画面を生成する、請求項７に記載の表示画面生成装置。 The display screen generation device according to claim 7, wherein the second display screen generation unit generates a display screen including a graph having one or more metadata selected by the selection unit as a horizontal axis or a vertical axis. .

前記分類部は、前記選択部により選択された１または２以上のメタデータにより、前記複数の画像を分類する、請求項７または８のいずれかに記載の表示画面生成装置。 The display screen generation device according to claim 7, wherein the classification unit classifies the plurality of images based on one or more metadata selected by the selection unit.

複数の画像を含む第１の表示画面を生成するステップと、
複数の画像のメタデータに基づいて、前記複数の画像を複数の画像群に分類するステップと、
前記分類部により分類された前記複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成するステップと、
ユーザ操作に応じて前記第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択するステップと、
を含み、
前記選択ポイントが選択される毎に、前記第１の表示画面に含まれる複数の画像を前記選択ポイントに対応づけられている前記複数の画像群の画像に変更する、表示画面生成方法。 Generating a first display screen including a plurality of images;
Classifying the plurality of images into a plurality of image groups based on metadata of the plurality of images;
Generating a second display screen including a selection point associated with each of the plurality of image groups classified by the classification unit;
Selecting one of the selection points from the selection points included in the second display screen in response to a user operation;
Including
A display screen generation method for changing a plurality of images included in the first display screen to images of the plurality of image groups associated with the selection points each time the selection point is selected.

コンピュータを、
複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、
複数の画像のメタデータに基づいて、前記複数の画像を複数の画像群に分類する分類部と、
前記分類部により分類された前記複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、
ユーザ操作に応じて前記第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、
を備え、
前記第１表示画面生成部は、前記選択部により前記選択ポイントが選択される毎に、前記第１の表示画面に含まれる複数の画像を前記選択ポイントに対応づけられている前記複数の画像群の画像に変更する、表示画面生成装置として機能させるための、プログラム。

Computer
A first display screen generation unit that generates a first display screen including a plurality of images;
A classification unit that classifies the plurality of images into a plurality of image groups based on metadata of the plurality of images;
A second display screen generation unit that generates a second display screen including a selection point associated with each of the plurality of image groups classified by the classification unit;
A selection unit for selecting one of the selection points from the selection points included in the second display screen in response to a user operation;
With
The first display screen generation unit is configured to associate the plurality of images included in the first display screen with the selection point every time the selection point is selected by the selection unit. A program for changing the image to a function to function as a display screen generation device.