JP2014095979A - Electronic device, image data processing method and program - Google Patents
Electronic device, image data processing method and program Download PDFInfo
- Publication number
- JP2014095979A JP2014095979A JP2012246157A JP2012246157A JP2014095979A JP 2014095979 A JP2014095979 A JP 2014095979A JP 2012246157 A JP2012246157 A JP 2012246157A JP 2012246157 A JP2012246157 A JP 2012246157A JP 2014095979 A JP2014095979 A JP 2014095979A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- data
- object identification
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本開示は、画像データの表示などを行う電子機器、およびその電子機器に適用される画像データ処理方法、ならびにその画像データ処理方法を実行するプログラムに関する。 The present disclosure relates to an electronic device that displays image data, an image data processing method applied to the electronic device, and a program that executes the image data processing method.
従来、デジタルカメラなどの静止画像や動画像を扱う電子機器において、撮影した画像に含まれる人物の顔を画像解析処理で検出して、その検出結果に基づいた処理を行う技術が普及している。例えば、特許文献１には、動画像の記録装置において、検出した顔の形状に基づいて被写体の人物を特定し、その特定した人物が写っている過去の記録画像を検索して、動画像のプレイリストを作成する技術についての記載がある。
このような顔画像の検出結果に基づいて動画像のプレイリストを作成することで、自動的に被写体の人物に関係した画像が再生できるようになる。
2. Description of the Related Art Conventionally, in electronic devices that handle still images and moving images such as digital cameras, a technique for detecting a human face included in a captured image by image analysis processing and performing processing based on the detection result has been widespread. . For example, in Patent Document 1, in a moving image recording apparatus, a subject person is specified based on a detected face shape, a past recorded image in which the specified person is captured is searched, and a moving image is recorded. There is a description about the technology to create a playlist.
By creating a playlist of moving images based on such face image detection results, images related to the subject person can be automatically reproduced.
ところが、特許文献１に記載のように、単に同一人物が写っている画像を探すような処理では、的確な画像の検索が行えているとは言えない。例えば、ＡさんとＢさんの二人で旅行した際に撮影した画像を、顔検出で検索する場合を想定する。
このような場合、電子機器の利用者は、Ａさんの顔を検索対象として指定することで、電子機器が、Ａさんの顔が写っている画像を検索し、Ａさんが一人で写っている画像と、ＡさんとＢさんが一緒に写っている画像を探し出す。
However, as described in Patent Document 1, it cannot be said that an accurate image search can be performed in a process of simply searching for an image showing the same person. For example, a case is assumed where an image taken when traveling with two people, A and B, is searched by face detection.
In such a case, the user of the electronic device designates Mr. A's face as a search target, so that the electronic device searches for an image in which Mr. A's face is reflected, and Mr. A is reflected alone. Find the image and the image of Mr. A and Mr. B together.
ところが、Ｂさんだけが一人で写っている画像があった場合、そのような画像はＡさんの顔を検索対象として指定した状態では検索されない。このような場合、利用者は、改めてＢさんの顔についても検索対象とする設定操作が必要になり、結局、旅行という１つのイベントに係わる画像を検索するのに手間がかかってしまう。また、旅行中に撮影した画像で、ＡさんとＢさんの二人とも写っていない画像については、ＡさんとＢさんのいずれの顔を検索対象にしても、検索されない。 However, when there is an image in which only Mr. B is shown alone, such an image is not searched in a state in which Mr. A's face is designated as a search target. In such a case, the user needs to perform a setting operation to search for the face of Mr. B again, and eventually it takes time to search for an image related to one event of travel. In addition, an image taken during a trip that is not shown in both A and B is not searched regardless of which face of A or B.
本開示の電子機器、画像データ処理方法およびプログラムは、顔などの画像中の特定のオブジェクトの認識結果を利用して、特定のイベントなどに関係した画像を効率よく検索できるようにすることを目的とする。 It is an object of the present disclosure to provide an electronic device, an image data processing method, and a program that can efficiently search for an image related to a specific event using a recognition result of a specific object in an image such as a face. And
本開示の電子機器は、画像データから特定のオブジェクトを取得するオブジェクト検出部と、検索対象の画像データの付加データを取得する付加データ取得部と、画像検索処理部とを備える。
オブジェクト検出部は、撮像して取得した画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する。そして、その取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する。
画像検索処理部は、第１および第２のオブジェクト識別データと付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする。
An electronic apparatus according to the present disclosure includes an object detection unit that acquires a specific object from image data, an additional data acquisition unit that acquires additional data of image data to be searched, and an image search processing unit.
The object detection unit detects the specific object from the image data acquired by imaging and acquires the first object identification data. Then, a specific object is detected from the image data searched based on the acquired first object identification data or image data in the same group as the image data, and second object identification data is acquired.
The image search processing unit acquires candidate image data from the image data to be searched in the search using the first and second object identification data and the additional data, and sets the candidate image data as a display candidate.
本開示の画像データ処理方法は、観察者を撮像して取得した画像データから特定のオブジェクトを取得する第１および第２のオブジェクト識別データ取得処理と、検索対象の画像データの付加データを取得する付加データ取得処理と、表示候補選定処理とを行う。
第１のオブジェクト識別データ取得処理は、撮像処理で撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する。
第２のオブジェクト識別データ取得処理は、第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データ同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する。
表示候補選定処理は、第１および第２のオブジェクト識別データと付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする。
The image data processing method of the present disclosure acquires first and second object identification data acquisition processing for acquiring a specific object from image data acquired by imaging an observer, and additional data of image data to be searched. Additional data acquisition processing and display candidate selection processing are performed.
In the first object identification data acquisition process, a specific object is detected from image data obtained by imaging in the imaging process to acquire first object identification data.
The second object identification data acquisition process detects the specific object from the image data searched based on the first object identification data or the image data in the same group as the image data, and acquires the second object identification data To do.
The display candidate selection process is a search using the first and second object identification data and the additional data, acquires candidate image data from the image data to be searched, and uses the candidate image data as a display candidate.
本開示のプログラムは、以下の各手順をコンピュータが行うものである。
（ａ）撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得手順。
（ｂ）第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得手順。
（ｃ）検索対象の画像データの付加データを取得する付加データ取得手順。
（ｄ）第１および第２のオブジェクト識別データと付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定手順。
In the program of the present disclosure, the computer performs the following procedures.
(A) A first object identification data acquisition procedure for detecting a specific object from image data obtained by imaging and acquiring first object identification data.
(B) Second object identification for detecting a specific object from image data retrieved based on the first object identification data or image data in the same group as the image data to obtain second object identification data Data acquisition procedure.
(C) Additional data acquisition procedure for acquiring additional data of image data to be searched.
(D) A display candidate selection procedure in which candidate image data is acquired from image data to be searched in the search using the first and second object identification data and the additional data, and the candidate image data is used as a display candidate.
本開示によると、撮像した画像から検出したオブジェクトと同一のオブジェクトが存在する画像データが、検索対象の画像データ群から検索され、第１の候補画像データとなる。そして、その第１の候補画像データから検出した別のオブジェクトが存在する画像データが、検索対象の画像データ群から検索され、第２の候補画像データとなる。したがって、撮像した画像から検出したオブジェクトに関連した別のオブジェクトを使用した検索についても行われるようになる。 According to the present disclosure, image data in which an object identical to an object detected from a captured image exists is searched from the search target image data group and becomes first candidate image data. Then, image data in which another object detected from the first candidate image data exists is searched from the search target image data group, and becomes second candidate image data. Therefore, a search using another object related to the object detected from the captured image is also performed.
本開示によると、撮像して得られた画像から検出したオブジェクトと、そのオブジェクトを使って検索された画像から得られた別のオブジェクトの、少なくとも２つのオブジェクトを使用した画像の検索が行われ、画像の検索が効率良く行えるようになる。 According to the present disclosure, an image search using at least two objects of an object detected from an image obtained by imaging and another object obtained from an image searched using the object is performed, Image retrieval can be performed efficiently.
本開示の一実施の形態の例を、以下の順序で説明する。
１．利用形態の概要（図１）
２．表示装置の構成例（図２）
３．表示候補画像選択処理例（図３）
４．候補画像の優先順位設定処理例（図４）
５．第三者の選定処理例（図５）
６．イベント分類条件の設定処理例（図６）
７．表示候補画像の編集処理例（図７）
８．イベントの分類例および表示例（図８，図９）
９．イベントの分類条件の設定画面の例（図１０，図１１）
１０．シークレット設定画面の例（図１２〜図１４）
１１．変形例（図１５）
An example of an embodiment of the present disclosure will be described in the following order.
1. Overview of usage (Figure 1)
2. Configuration example of display device (FIG. 2)
3. Display candidate image selection processing example (FIG. 3)
4). Example of candidate image priority order setting process (FIG. 4)
5. Example of third party selection process (Figure 5)
6). Event classification condition setting processing example (FIG. 6)
7). Display candidate image editing process example (FIG. 7)
8). Event classification examples and display examples (Figs. 8 and 9)
9. Example of event classification condition setting screen (FIGS. 10 and 11)
10. Example of secret setting screen (Figs. 12-14)
11. Modified example (FIG. 15)
［１．利用形態の概要］
図１は、本開示の一実施の形態の例の利用形態の概要を示す図である。
図１に示すように、表示装置１００は表示パネル１１０と撮像部１２０を備える。撮像部１２０は、表示パネル１１０で表示される画像の観察者ａを撮像する。
また、表示装置１００は、予め多数の静止画像や動画像を画像ファイルとして蓄積し、その蓄積した画像ファイル内の画像を検索する機能を有する。検索対象の画像ファイルは、表示装置１００の外部が記憶してもよい。画像ファイル内の画像は、静止画像と動画像のいずれでもよい。検索対象の画像ファイル内の各画像データは、撮影日時や撮影場所などの付加データを有する。
[1. Overview of usage]
FIG. 1 is a diagram illustrating an outline of a usage pattern of an example of an embodiment of the present disclosure.
As shown in FIG. 1, the display device 100 includes a display panel 110 and an imaging unit 120. The imaging unit 120 captures the observer a of the image displayed on the display panel 110.
The display device 100 has a function of storing a number of still images and moving images in advance as image files and searching for images in the stored image files. The image file to be searched may be stored outside the display device 100. The image in the image file may be either a still image or a moving image. Each image data in the search target image file has additional data such as a shooting date and a shooting location.
そして、表示装置１００は、撮像部１２０が撮像して得た観察者ａの顔を画像解析処理で検出し、顔の特徴を示す情報を取得する。この顔の特徴を示す情報を取得すると、表示装置１００は、蓄積した画像ファイルを検索し、観察者ａの顔が写っている画像を探し出す。そして、表示パネル１１０は、探し出した画像の一覧を表示する。
例えば、図１の下側に示すように、表示パネル１１０の画面１１０ａが、「Ａさんが参加しているイベント」として、観察者ａの顔が写っている第１のグループの画像Ｐ１と、第２のグループの画像Ｐ２と、第３のグループの画像Ｐ３のアイコンを表示する。
Then, the display device 100 detects the face of the observer a obtained by the imaging unit 120 by image analysis processing, and acquires information indicating the feature of the face. When the information indicating the feature of the face is acquired, the display device 100 searches the stored image file and searches for an image in which the face of the observer a is shown. Then, the display panel 110 displays a list of found images.
For example, as shown in the lower side of FIG. 1, the screen 110 a of the display panel 110 has a first group image P <b> 1 in which the face of the observer a is reflected as “an event in which Mr. A participates”; The icons of the second group image P2 and the third group image P3 are displayed.
さらに本実施の形態の例の場合には、それぞれのグループの画像Ｐ１，Ｐ２，Ｐ３の画像解析処理を行い、画像内に写っている顔の検出処理を行い、その中で特定の人の顔が複数あったとき、その人を知人に設定する。そして、表示装置１００は、蓄積した画像ファイルを検索し、その知人の顔が写っている画像を探し出し、知人の顔が写っている第４のグループの画像Ｐ４と、第５のグループの画像Ｐ５のアイコンを表示する。なお、画像のグループ分けは、それぞれの画像データの付加データに基づいて行う。例えば、撮影日や撮影場所に基づいて、表示装置１００がグループ分けを行う。 Further, in the case of the example of the present embodiment, the image analysis processing of the images P1, P2, and P3 of each group is performed, the detection processing of the face reflected in the image is performed, and the face of a specific person is included in the processing. If there are several, set that person as an acquaintance. Then, the display device 100 searches the stored image files, finds an image in which the acquaintance's face is reflected, and includes a fourth group image P4 and a fifth group image P5 in which the acquaintance's face is reflected. Display the icon. The grouping of images is performed based on the additional data of each image data. For example, the display device 100 performs grouping based on the shooting date and the shooting location.
それぞれのアイコンＰ１〜Ｐ５のいずれかを観察者ａがリモートコントローラなどの操作で選択することで、表示パネル１１０は、その選択されたアイコンで示すグループの画像を順に表示する。
このように本実施の形態の例では、表示装置１００は、その表示装置１００の前にいる観察者自身が写っている画像を検索して表示することができる。さらに、その観察者自身が写っている画像に、観察者と一緒に写っていることがある人を知人とし、表示装置１００が、その知人が写っている画像についても検索して表示することができる。
When the observer a selects any one of the icons P1 to P5 by operating the remote controller or the like, the display panel 110 sequentially displays the images of the group indicated by the selected icon.
As described above, in the example of the present embodiment, the display device 100 can search and display an image in which the viewer himself / herself is in front of the display device 100. Furthermore, the person who may be shown with the observer in the image of the observer himself is regarded as an acquaintance, and the display device 100 can also search and display an image in which the acquaintance is reflected. it can.
［２．表示装置の構成例］
図２は、表示装置１００の構成例を示す図である。
表示装置１００は、液晶画像表示パネルなどから構成される表示パネル１１０を備え、表示パネル駆動部１１２が表示パネル１１０での画像表示の駆動を行う。表示パネル１１０が表示する画像データは、画像選択部１３２で選択されて画像処理部１１１に供給される。画像処理部１１１で表示のための画像処理が施された画像データが、表示パネル駆動部１１２に供給される。
[2. Example of configuration of display device]
FIG. 2 is a diagram illustrating a configuration example of the display device 100.
The display device 100 includes a display panel 110 constituted by a liquid crystal image display panel or the like, and a display panel driving unit 112 drives image display on the display panel 110. The image data displayed on the display panel 110 is selected by the image selection unit 132 and supplied to the image processing unit 111. Image data that has been subjected to image processing for display by the image processing unit 111 is supplied to the display panel driving unit 112.
表示装置１００は、テレビジョン放送などを受信するチューナ１３１を備え、チューナ１３１で受信して得た画像データが、画像選択部１３２を介して画像処理部１１１に供給され、表示パネル１１０が表示を行う。但し、表示装置１００はチューナ１３１を備えない構成でもよい。また、表示装置１００内の画像データ蓄積部１３４が蓄積した画像データなどが、画像選択部１３２を介して画像処理部１１１に供給され、表示パネル１１０が表示を行う。 The display device 100 includes a tuner 131 that receives a television broadcast or the like. Image data received by the tuner 131 is supplied to the image processing unit 111 via the image selection unit 132, and the display panel 110 displays the display. Do. However, the display device 100 may be configured without the tuner 131. Also, image data accumulated by the image data accumulation unit 134 in the display device 100 is supplied to the image processing unit 111 via the image selection unit 132, and the display panel 110 performs display.
画像データ蓄積部１３４は、例えばハードディスクドライブ装置や半導体メモリなどを使用した比較的大容量の画像データ記憶部である。画像データ蓄積部１３４は、例えば外部のカメラ装置（図示せず）から転送された画像データ（静止画像データおよび動画像データ）を蓄積する。画像データ蓄積部１３４が蓄積する画像データには、撮影日時や撮影場所などの付加データを有する。 The image data storage unit 134 is a relatively large-capacity image data storage unit using, for example, a hard disk drive device or a semiconductor memory. The image data storage unit 134 stores, for example, image data (still image data and moving image data) transferred from an external camera device (not shown). The image data stored by the image data storage unit 134 includes additional data such as the shooting date and time and the shooting location.
また、表示装置１００は、顔認識処理部１３５を備え、画像データ蓄積部１３４が蓄積した画像の解析処理を行って、画像内の顔を検出する処理を行う。但し、後述する変形例で述べるように、検出する対象が顔以外のオブジェクトである場合には、顔認識処理部１３５が、その顔以外のオブジェクト検出部として機能する。顔認識処理部１３５が検出した結果が、制御部１３７に供給される。
さらに、表示装置１００は、付加データ取得部１３６を備え、画像データ蓄積部１３４が蓄積した画像の付加データを取得する。この付加データ取得部１３６が取得した付加データを制御部１３７が判断して、制御部１３７が画像データのグループ分けを行う。
そして、制御部１３７は、顔認識処理部１３５での検出結果や、各画像データの付加データなどに基づいて、画像データ蓄積部１３４が蓄積した画像の検索処理を行う。したがって、制御部１３７は、画像検索処理部としての機能を有する。
なお、制御部１３７が、画像の検索やグループ分けなどの処理の制御を行う際には、内部バスを介して制御部１３７と接続されたメモリ１３８を使用して、データの一時記憶や検索結果の記憶などを行う。画像の検索処理を実行するプログラムは、例えばメモリ１３８が記憶する。
In addition, the display device 100 includes a face recognition processing unit 135, performs analysis processing on the image stored by the image data storage unit 134, and performs processing to detect a face in the image. However, as described in a later-described modification, when the target to be detected is an object other than a face, the face recognition processing unit 135 functions as an object detection unit other than the face. A result detected by the face recognition processing unit 135 is supplied to the control unit 137.
Further, the display device 100 includes an additional data acquisition unit 136, and acquires additional data of an image stored by the image data storage unit 134. The control unit 137 determines the additional data acquired by the additional data acquisition unit 136, and the control unit 137 groups the image data.
Then, the control unit 137 performs a search process of the image stored in the image data storage unit 134 based on the detection result in the face recognition processing unit 135, the additional data of each image data, and the like. Therefore, the control unit 137 has a function as an image search processing unit.
When the control unit 137 controls processing such as image search and grouping, the memory 138 connected to the control unit 137 via the internal bus is used to temporarily store data and search results. To remember. For example, the memory 138 stores a program that executes image search processing.
また、表示装置１００は、撮像部１２０を備える。撮像部１２０は、図１に示すように、表示装置１００の前方にいる観察者の顔を撮像するものである。撮像部１２０が撮像して得た画像データが、顔認識処理部１３５に供給され、顔認識処理部１３５が、撮像部１２０が撮像した画像内に写っている顔の検出処理を行う。顔認識処理部１３５が検出した顔の情報が、制御部１３に供給される。なお、表示パネル１１０が、撮像部１２０が撮像した画像を表示するようにしてもよい。また、撮像部１２０は表示装置１００と一体でなくてもよい。 In addition, the display device 100 includes an imaging unit 120. As illustrated in FIG. 1, the imaging unit 120 captures an image of the face of the observer in front of the display device 100. Image data obtained by the imaging unit 120 is supplied to the face recognition processing unit 135, and the face recognition processing unit 135 performs a process of detecting a face in the image captured by the imaging unit 120. Information on the face detected by the face recognition processing unit 135 is supplied to the control unit 13. Note that the display panel 110 may display an image captured by the imaging unit 120. Further, the imaging unit 120 may not be integrated with the display device 100.
さらに、表示装置１００は、通信部１３３を備え、通信部１３３がネットワーク９０を経由して、外部のサーバ９１や端末装置９２と通信を行う。この通信部１３３による通信で、サーバ９１や端末装置９２が蓄積した画像データを、制御部１３７が検索するようにしてもよい。あるいは、検索処理そのものは、サーバ９１や端末装置９２が行い、表示装置１００の制御部１３７は、検索結果を取得するようにしてよい。 Further, the display device 100 includes a communication unit 133, and the communication unit 133 communicates with an external server 91 and a terminal device 92 via the network 90. The control unit 137 may search for image data stored in the server 91 or the terminal device 92 through communication by the communication unit 133. Alternatively, the search process itself may be performed by the server 91 or the terminal device 92, and the control unit 137 of the display device 100 may acquire the search result.
［３．表示候補画像選択処理例］
図３は、本開示の一実施の形態による表示候補画像選択処理の全体の流れの例を示すフローチャートである。ここでは、表示装置１００内の画像データ蓄積部１３４が蓄積した画像データを検索対象とし、制御部１３７が検索した結果を表示パネル１１０が表示するものとする。また、検索対象の画像データは、予めイベントごとにグループ分けが行われているものとする。このイベントごとにグループ分けを行う条件は後述する（図６のフローチャート）。なお、画像データ蓄積部１３４が蓄積した画像データの内で、グループ分けでいずれのイベントにも属さない画像データについては、検索対象の画像データの候補から除外してもよい。
[3. Display candidate image selection processing example]
FIG. 3 is a flowchart illustrating an example of the overall flow of the display candidate image selection process according to an embodiment of the present disclosure. Here, it is assumed that the image data stored by the image data storage unit 134 in the display device 100 is a search target, and the display panel 110 displays the search result of the control unit 137. Further, it is assumed that the search target image data is grouped in advance for each event. Conditions for grouping for each event will be described later (flow chart in FIG. 6). Of the image data stored by the image data storage unit 134, image data that does not belong to any event by grouping may be excluded from candidates for image data to be searched.
まず、制御部１３７は、撮像部１２０が撮像した画像から、顔認識処理部１３５で観察者の顔が検出されたか否かを判断する（ステップＳ１１）。この判断で、顔が検出されない場合、制御部１３７は、顔が検出されるまで待機する。そして、顔が検出されたと判断したとき、顔認識処理部１３５が鑑賞者の顔の識別処理を行い、顔の識別情報を取得する（ステップＳ１２）。 First, the control unit 137 determines whether or not the face of the observer is detected by the face recognition processing unit 135 from the image captured by the imaging unit 120 (step S11). If a face is not detected in this determination, the control unit 137 waits until a face is detected. When it is determined that a face has been detected, the face recognition processing unit 135 performs recognition processing for the viewer's face, and acquires face identification information (step S12).
鑑賞者の顔の識別情報を取得すると、顔認識処理部１３５が、画像データ蓄積部１３４が蓄積した検索対象の全ての画像データについて、顔認識処理を行う（ステップＳ１３）。この顔認識処理で、制御部１３７は、鑑賞者の顔が検出されたか否かを判断する（ステップＳ１４）。この判断で、鑑賞者の顔が検出されない場合は、表示候補となる画像がなく、表示候補選択処理を終了する。 When the identification information of the viewer's face is acquired, the face recognition processing unit 135 performs face recognition processing on all the search target image data stored in the image data storage unit 134 (step S13). In this face recognition process, the control unit 137 determines whether or not the viewer's face has been detected (step S14). If the viewer's face is not detected in this determination, there is no display candidate image, and the display candidate selection process is terminated.
そして、ステップＳ１３で鑑賞者の顔が検出された場合には、制御部１３７は、鑑賞者の顔が検出された画像が属するグループ内の各画像から、鑑賞者以外の第三者の顔が検出されたか否かを判断する（ステップＳ１５）。なお、同じグループ内の画像に写っている第三者が複数（多数）である場合には、後述する図５のフローチャートの処理で、検索に使用する第三者を絞る処理を行う。 When the viewer's face is detected in step S13, the control unit 137 detects a third party's face other than the viewer from each image in the group to which the image from which the viewer's face is detected belongs. It is determined whether or not it has been detected (step S15). When there are a plurality of (thirds) third parties appearing in the images in the same group, a process of narrowing down the third parties used for the search is performed in the process of the flowchart of FIG.
ステップＳ１５で鑑賞者以外の第三者の顔が検出された場合、さらに制御部１３７は、検出された第三者の顔が写った画像が含まれた別のイベントの検索を行う。そして、制御部１３７は、その検索で見つかったイベントの画像と、鑑賞者の顔が検出されたイベントの画像を表示候補とする（ステップＳ１６）。
また、ステップＳ１５で鑑賞者以外の第三者の顔が検出されない場合、制御部１３７は、鑑賞者の顔が検出されたイベントの画像を表示候補とする（ステップＳ１７）。
When a face of a third party other than the viewer is detected in step S15, the control unit 137 further searches for another event including an image showing the detected face of the third party. Then, the control unit 137 sets the event image found by the search and the event image in which the viewer's face is detected as display candidates (step S16).
Further, when the face of a third party other than the viewer is not detected in step S15, the control unit 137 sets an image of the event in which the viewer's face is detected as a display candidate (step S17).
［４．候補画像の優先順位設定処理例］
図３のフローチャートの処理で表示候補となったイベントの画像には、それぞれの画像からの顔の検出状態に応じて、制御部１３７がイベントごとに表示候補の優先順位を付ける。そして、制御部１３７は、その優先順位に基づいて表示候補のアイコンの表示順序を決める。
[4. Example of candidate image priority setting process]
The control unit 137 assigns display candidate priorities to each event according to the detection state of the face from each image in the event images that are display candidates in the processing of the flowchart of FIG. 3. Then, the control unit 137 determines the display order of the display candidate icons based on the priority order.
図４のフローチャートは、表示候補のイベントの画像の優先順位の設定例である。まず、制御部１３７は、選び出されたイベントが、鑑賞者自身の顔が写っている画像を有するイベントであるか否かを判断する（ステップＳ２１）。この判断で、鑑賞者自身の顔だけが写っている画像を有するイベント（つまり第三者が写っていないイベント）である場合には、制御部１３７は、該当するイベント内の画像を、優先順位が１番目の候補画像にする（ステップＳ２２）。 The flowchart in FIG. 4 is an example of setting the priority order of images of display candidate events. First, the control unit 137 determines whether or not the selected event is an event having an image in which the viewer's own face is reflected (step S21). In this determination, when the event has an image in which only the viewer's own face is captured (that is, an event in which a third party is not captured), the control unit 137 assigns the image in the event to the priority order. Is the first candidate image (step S22).
また、ステップＳ２１で、鑑賞者自身の顔だけが写っているイベントでないと判断したとき、制御部１３７は、選び出されたイベントが、同一フレームの画像に鑑賞者と第三者が一緒に写っている画像を有するイベントであるか否かを判断する（ステップＳ２３）。この判断で、同一フレームの画像に鑑賞者と第三者が一緒に写っている画像を有するイベントである場合には、制御部１３７は、該当するイベント内の画像を、優先順位が２番目の候補画像にする（ステップＳ２４）。 Also, when it is determined in step S21 that the event is not an event in which only the viewer's own face is shown, the control unit 137 shows that the selected event shows the viewer and a third party together in the same frame image. It is determined whether or not the event has an image that is present (step S23). In this determination, if the event has an image in which the viewer and the third party are captured together in the same frame image, the control unit 137 selects the image in the event as the second priority. Candidate images are set (step S24).
また、ステップＳ２３で、鑑賞者と第三者が一緒に写っている画像がないイベントと判断したとき、制御部１３７は、選び出されたイベントが、第三者が写っている画像を有するイベントであるか否かを判断する（ステップＳ２５）。この判断で、第三者が写っている画像を有するイベントである場合には、該当するイベント内の画像を、優先順位が３番目の候補画像にする（ステップＳ２６）。そして、第三者が写っている画像がない場合には、誤って選択されたイベントであり、制御部１３７は、そのイベントを候補画像から削除する（ステップＳ２７）。 In step S23, when it is determined that there is no image in which the viewer and the third party are captured together, the control unit 137 determines that the selected event includes an image in which the third party is captured. Is determined (step S25). If it is determined by this determination that the event has an image of a third party, the image in the corresponding event is set as the third candidate image with the highest priority (step S26). If there is no image showing a third party, the event is an erroneously selected event, and the control unit 137 deletes the event from the candidate image (step S27).
なお、図４のフローチャートでは、優先順位として１番目から３番目までを設定したが、例えば優先順位１番目と優先順位２番目の表示候補は、同じ優先順位に扱うようにしてもよい。 In the flowchart of FIG. 4, the first to third priority levels are set. For example, the first and second priority display candidates may be handled with the same priority level.
［５．第三者の選定処理例］
図５のフローチャートは、図３のフローチャートに示した第三者を確定する処理例である。
制御部１３７は、鑑賞者の顔が検出された画像に一緒に写っている別の顔が、同一イベント内の複数の画像から検出された顔であるか否かを判断する（ステップＳ３１）。ここでの複数の画像とは、例えば静止画像の場合には、１枚ごとの画像（１フレームごとの画像）を１つの画像とし、動画像の場合には、１記録単位の画像（例えば１回の記録開始から記録終了までの画像）を１つの画像とする。
[5. Example of third party selection process]
The flowchart of FIG. 5 is an example of processing for determining a third party shown in the flowchart of FIG.
The control unit 137 determines whether another face that is included in the image where the viewer's face is detected is a face detected from a plurality of images in the same event (step S31). For example, in the case of a still image, the plurality of images used here is an image for each sheet (an image for each frame), and in the case of a moving image, an image of one recording unit (for example, 1 Image from the start of recording to the end of recording) is defined as one image.
この判断で、同一イベント内の複数の画像から検出された顔がある場合に、制御部１３７は、同一の顔が写っている数に応じて、上位の所定数の顔を、第三者の候補に選定する（ステップＳ３２）。
例えば、１つのイベントが１０枚の静止画像で構成され、その７枚の静止画像に鑑賞者の顔が写っているとする。さらに、鑑賞者以外の顔として、７枚の内の３枚に写っている顔（第１の顔）と、２枚に写っている顔（第２の顔）と、１枚にだけ写っている顔（第３の顔）があるとする。このとき、制御部１３７は、例えば一番多くの画像に写っている第１の顔を、第三者に確定する。あるいは、制御部１３７は、第１の顔と、第２の顔の二人を第三者に確定する。
In this determination, when there are faces detected from a plurality of images in the same event, the control unit 137 assigns a predetermined number of upper faces to a third party according to the number of the same faces. A candidate is selected (step S32).
For example, it is assumed that one event is composed of 10 still images, and the viewer's face is reflected in the 7 still images. Furthermore, as faces other than the viewer, the face (first face) shown in 3 of the 7 pictures, the face (second face) shown in 2 pictures, and only one picture Suppose there is a face (third face). At this time, the control unit 137 determines, for example, the first face shown in the most images as a third party. Alternatively, the control unit 137 determines two persons, the first face and the second face, as third parties.
図５のフローチャートの説明に戻ると、ステップＳ３１で、鑑賞者の顔が検出された画像から別の顔が検出されない場合、制御部１３７は、同一イベント内のその他の複数の画像から検出された複数の顔があるか否かを判断する（ステップＳ３３）。
この判断で、同一イベント内の鑑賞者が写っていない複数の画像から検出された顔がある場合に、制御部１３７は、同一の顔が写っている数に応じて、上位の所定数の顔を、第三者の候補に選定する（ステップＳ３４）。
例えば、１つのイベントを構成する多数の静止画像の内で、鑑賞者が写っていない画像が３枚であるとする。この３枚の内の全てに写っている顔（第４の顔）と、２枚に写っている顔（第５の顔）と、１枚だけに写っている顔（第６の顔）があるとする。このとき、制御部１３７は、例えば一番多くの画像に写っている第４の顔を、第三者に確定する。あるいは、制御部１３７は、第４の顔と、第５の顔の二人を第三者に確定する。
Returning to the description of the flowchart of FIG. 5, when no other face is detected from the image in which the face of the viewer is detected in step S <b> 31, the control unit 137 is detected from a plurality of other images in the same event. It is determined whether there are a plurality of faces (step S33).
In this determination, when there are faces detected from a plurality of images in which the viewer in the same event is not captured, the control unit 137 determines a predetermined number of higher-level faces according to the number of the same faces captured. Is selected as a third party candidate (step S34).
For example, it is assumed that, among a large number of still images constituting one event, there are three images in which no viewer is shown. A face (fourth face) reflected in all of these three sheets, a face (fifth face) reflected in two sheets, and a face (sixth face) reflected in only one sheet Suppose there is. At this time, the control unit 137 determines, for example, the fourth face shown in the most images in a third party. Alternatively, the control unit 137 determines two persons, the fourth face and the fifth face, as third parties.
この図５のフローチャートの処理を行うことで、制御部１３７は、鑑賞者と比較的親しい関係にあると思われる第三者を選び出すようになる。 By performing the processing of the flowchart of FIG. 5, the control unit 137 selects a third party who seems to have a relatively close relationship with the viewer.
［６．イベント分類条件の設定処理例］
図６のフローチャートは、画像データ蓄積部１３４が蓄積した画像を、制御部１３７がイベントごとの画像に分類する場合の、分類条件を決める例である。この分類条件は、例えば表示装置１００の利用者（鑑賞者）が、リモートコントローラなどを操作して設定する。
まず制御部１３７は、分類条件として人物が設定されているか否かを判断する（ステップＳ４１）。この判断で、人物が分類条件に設定されている場合、イベント分類条件に指定された人物の顔を加える（ステップＳ４２）。この分類条件の設定があることで、制御部１３７は、例えば特定の人物の顔が写っている画像を、１つのイベントに分類する。
[6. Example of event classification condition setting process]
The flowchart of FIG. 6 is an example in which the classification condition is determined when the control unit 137 classifies the image accumulated by the image data accumulation unit 134 into an image for each event. This classification condition is set, for example, by a user (viewer) of the display device 100 by operating a remote controller or the like.
First, the control unit 137 determines whether or not a person is set as the classification condition (step S41). If it is determined that the person is set as the classification condition, the face of the person specified in the event classification condition is added (step S42). By setting this classification condition, the control unit 137 classifies, for example, an image in which a face of a specific person is captured into one event.
次に、制御部１３７は、分類条件として特定の被写体（物）が設定されているか否かを判断する（ステップＳ４３）。この判断で、特定の物が分類条件に設定されている場合、イベント分類条件に指定された物を加える（ステップＳ４４）。この分類条件の設定があることで、制御部１３７は、例えば特定の物が写っている画像を、１つのイベントに分類する。例えば、自動車という物が指定されたとき、制御部１３７は、自動車が写っている画像を、１つのイベントに分類する。 Next, the control unit 137 determines whether or not a specific subject (object) is set as the classification condition (step S43). If it is determined that a specific object is set as the classification condition, the object specified as the event classification condition is added (step S44). By setting this classification condition, the control unit 137 classifies, for example, an image showing a specific object into one event. For example, when an object called a car is specified, the control unit 137 classifies an image showing the car into one event.
次に、制御部１３７は、分類条件として特定の被写体（物）が設定されているか否かを判断する（ステップＳ４３）。この判断で、特定の物が分類条件に設定されている場合、イベント分類条件に指定された物を加える（ステップＳ４４）。この分類条件の設定があることで、制御部１３７は、例えば特定の物が写っている画像を、１つのイベントに分類する。例えば、自動車という物が指定されたとき、制御部１３７は、自動車が写っている画像を、１つのイベントに分類する。 Next, the control unit 137 determines whether or not a specific subject (object) is set as the classification condition (step S43). If it is determined that a specific object is set as the classification condition, the object specified as the event classification condition is added (step S44). By setting this classification condition, the control unit 137 classifies, for example, an image showing a specific object into one event. For example, when an object called a car is specified, the control unit 137 classifies an image showing the car into one event.
そして、制御部１３７は、分類条件として撮影場所が設定されているか否かを判断する（ステップＳ４５）。この判断で、撮影場所が分類条件に設定されている場合、イベント分類条件に撮影場所を加える（ステップＳ４６）。この分類条件の設定があることで、制御部１３７は、例えば各画像の付加データで撮影場所を判断し、撮影場所が近い画像同士を１つのイベントに分類する。 Then, the control unit 137 determines whether or not a shooting location is set as the classification condition (step S45). In this determination, if the shooting location is set as the classification condition, the shooting location is added to the event classification condition (step S46). By setting this classification condition, the control unit 137 determines the shooting location based on the additional data of each image, for example, and classifies the images close to the shooting location into one event.
さらに、制御部１３７は、分類条件として撮影日が設定されているか否かを判断する（ステップＳ４７）。この判断で、撮影日が分類条件に設定されている場合、イベント分類条件に撮影日を加える（ステップＳ４８）。この分類条件の設定があることで、制御部１３７は、例えば各画像の付加データで撮影日を判断し、同じ日に撮影された画像を１つのイベントに分類する。 Further, the control unit 137 determines whether or not the shooting date is set as the classification condition (step S47). In this determination, if the shooting date is set as the classification condition, the shooting date is added to the event classification condition (step S48). By setting this classification condition, the control unit 137 determines the shooting date based on the additional data of each image, for example, and classifies the images shot on the same day into one event.
さらにまた、制御部１３７は、分類条件として撮影時間帯が設定されているか否かを判断する（ステップＳ４９）。この判断で、撮影時間帯が分類条件に設定されている場合、イベント分類条件に撮影時間帯を加える（ステップＳ５０）。この分類条件の設定があることで、制御部１３７は、例えば各画像の付加データで撮影時間帯を判断し、同じ撮影時間帯に撮影された画像を１つのイベントに分類する。例えば、夕方という時間帯を設定したとき、制御部１３７は、夕方の時間帯に撮影された画像を１つのイベントに分類する。 Furthermore, the control unit 137 determines whether or not a shooting time zone is set as the classification condition (step S49). In this determination, if the shooting time zone is set as the classification condition, the shooting time zone is added to the event classification condition (step S50). By setting the classification condition, the control unit 137 determines the shooting time zone based on the additional data of each image, for example, and classifies the images shot in the same shooting time zone into one event. For example, when the time zone of evening is set, the control unit 137 classifies the images taken in the evening time zone into one event.
なお、複数の分類条件が同時に設定されている場合には、制御部１３７は、その複数の分類条件で１つのイベントに分類する処理を行う。例えば、撮影日と撮影場所の条件が設定されているとき、制御部１３７は、同じ撮影日の中で、同じ撮影場所の画像ごとに、別のイベントに分類する処理を行う。 When a plurality of classification conditions are set at the same time, the control unit 137 performs processing for classifying into one event under the plurality of classification conditions. For example, when the conditions of the shooting date and the shooting location are set, the control unit 137 performs processing for classifying the images at the same shooting location into different events on the same shooting date.
［７．表示候補画像の編集処理例］
図７は、制御部１３７が、表示候補として画像を選ぶ際に、候補画像から除外する画像を選ぶ編集処理の例を示すフローチャートである。
まず、制御部１３７は、表示候補として選ばれたイベント内の画像に、シークレットタグが付与された画像があるか否かを判断する（ステップＳ６１）。この判断で、表示候補として選ばれた画像に、シークレットタグが付与された画像があったとき、制御部１３７は、該当する画像を、表示候補画像から除く処理を行う（ステップＳ６３）。シークレットタグは、予め表示装置１００の利用者が、画像データ蓄積部１３４に蓄積された画像の中で、公開したくない画像に対して設定されるものである。
[7. Example of edit processing of display candidate image]
FIG. 7 is a flowchart illustrating an example of editing processing in which the control unit 137 selects an image to be excluded from candidate images when selecting an image as a display candidate.
First, the control unit 137 determines whether or not there is an image with a secret tag among the images in the event selected as the display candidate (step S61). If it is determined that there is an image with a secret tag among the images selected as display candidates, the control unit 137 performs processing for removing the corresponding image from the display candidate images (step S63). The secret tag is set for an image that the user of the display device 100 does not want to disclose among images stored in the image data storage unit 134 in advance.
また、ステップＳ６１で、シークレットタグが付与された画像がないと判断した場合、制御部１３７は、表示候補として選ばれた画像の中に、表示除外者として設定された人物の顔が写っている画像があるか否かを判断する（ステップＳ６２）。
この判断で、表示候補として選ばれた画像に、表示除外者として設定された人物の顔が写っているとき、制御部１３７は、ステップＳ６３の処理に移り、該当する画像を、表示候補画像から除く処理を行う。
If it is determined in step S61 that there is no image to which the secret tag is added, the control unit 137 shows the face of the person set as the display exclusion person in the image selected as the display candidate. It is determined whether there is an image (step S62).
In this determination, when the face of the person set as a display exclusion person is reflected in the image selected as the display candidate, the control unit 137 moves to the process of step S63 and extracts the corresponding image from the display candidate image. Perform the removal process.
［８．イベントの分類例および表示例］
次に、本開示の実施の形態の例で表示候補として分類される例と、表示候補の表示画面の例について説明する。
図８は、画像データ蓄積部１３４が蓄積した検索対象の画像が、５つのイベント１〜５に分類されたとき、それぞれのイベント１〜５が、表示候補になるか否かを示す図である。
この図８の例では、観察者ａと第三者ｂとが写っている画像がある場合の例である。
例えば、イベント１とイベント３には、観察者ａと第三者ｂとが同一フレーム内に一緒に写っている画像が少なくとも１枚ある。イベント４には、観察者ａだけが写っている画像が少なくとも１枚ある。イベント５には、第三者ｂだけが写っている画像が少なくとも１枚ある。イベント２の画像には、観察者ａと第三者ｂは全く写っていない。
[8. Example of event classification and display]
Next, an example of classification as a display candidate in the example of the embodiment of the present disclosure and an example of a display screen of the display candidate will be described.
FIG. 8 is a diagram illustrating whether or not each of the events 1 to 5 becomes a display candidate when the search target image stored by the image data storage unit 134 is classified into five events 1 to 5. .
The example of FIG. 8 is an example in the case where there is an image in which the observer a and the third person b are shown.
For example, in event 1 and event 3, there is at least one image in which observer a and third party b are shown together in the same frame. Event 4 has at least one image in which only observer a is shown. Event 5 has at least one image showing only the third party b. In the image of event 2, observer a and third party b are not shown at all.
このような５つのイベント１〜５に分類された画像があるとき、制御部１３７は、イベント１，３，４，５を表示候補に選び、イベント２を表示候補にしない。すなわち、制御部１３７は、観察者自身が写っているイベント１，３，４を表示候補に選ぶと共に、イベント１，３内の複数の画像に写っている第三者ｂの画像があるイベント５を表示候補に選ぶ。したがって、本実施の形態の例の表示装置によると、観察者と親しいと思われる第三者（知人、家族など）が写ったイベントについても自動的に表示候補になり、表示候補の選定が良好に行われる。 When there are images classified into such five events 1 to 5, the control unit 137 selects events 1, 3, 4, and 5 as display candidates and does not set event 2 as a display candidate. That is, the control unit 137 selects the events 1, 3, and 4 in which the observer is shown as display candidates, and the event 5 in which there is an image of the third party b shown in a plurality of images in the events 1 and 3. Is selected as a display candidate. Therefore, according to the display device of the example of the present embodiment, an event in which a third party (acquaintance, family, etc.) considered to be close to the observer is automatically displayed as a display candidate, and the display candidate is selected well. To be done.
図９は、表示装置１００の表示パネル１１０が行う、表示候補の表示例を示す図である。
この例では、表示パネル１１０の表示領域を上段と下段に分け、優先順位が高い画像を含むイベントである、観察者が参加しているイベントを示す画像群のアイコンの一覧が、上段に表示される。そして、優先順位が低い画像を含むイベントである、第三者（観察者の知人）が参加しているイベントを示す画像群のアイコンの一覧が、下段に表示される。
なお、この図９の例では、観察者の顔の画像を同時に表示した例を示す。
FIG. 9 is a diagram illustrating a display example of display candidates performed by the display panel 110 of the display device 100.
In this example, the display area of the display panel 110 is divided into an upper row and a lower row, and a list of icons of image groups indicating events in which an observer is participating, which is an event including an image having a high priority, is displayed in the upper row. The Then, a list of icons of an image group indicating events in which a third party (observer's acquaintance) is participating, which is an event including an image having a low priority, is displayed in the lower part.
The example of FIG. 9 shows an example in which an image of the observer's face is displayed at the same time.
［９．イベントの分類条件の設定画面の例］
次に、図１０および図１１を参照して、イベントの分類条件や表示条件の設定画面の例を示す。
図１０に示すように、表示パネル１１０は、イベントの分類条件として、「人物」、「物」、「場所」、「日にち」、「時間帯」の５つの項目を表示し、その５つの項目の中で、利用者の操作で選択した項目にチェックの印を表示する。図１０の例は、「物」と「場所」をチェックした状態を示す。
[9. Example of event classification condition setting screen]
Next, with reference to FIG. 10 and FIG. 11, examples of event classification condition and display condition setting screens are shown.
As shown in FIG. 10, the display panel 110 displays five items of “person”, “thing”, “location”, “date”, and “time zone” as event classification conditions, and the five items. The check mark is displayed on the item selected by the user operation. The example of FIG. 10 shows a state in which “thing” and “location” are checked.
図１１の例は、表示候補として選ぶイベントの条件として、特定の人物が含まれている画像を選ぶ画面の例である。この図１１に示すように、表示パネル１１０は、特定の画像を表示し、その画像内の特定の顔（図１１中に枠で囲んだ顔）が写っているイベントを表示するか否かを、利用者に選択させる画面を表示する。 The example of FIG. 11 is an example of a screen for selecting an image including a specific person as an event condition to be selected as a display candidate. As shown in FIG. 11, the display panel 110 displays a specific image and determines whether or not to display an event in which a specific face in the image (a face surrounded by a frame in FIG. 11) is shown. Display a screen that lets the user select.
［１０．シークレット設定画面の例］
図１２〜図１４は、画像にシークレットタグを設定する場合の操作画面の例を示す。
図１２は、シークレットタグを設定するイベントの条件の入力画面の例を示す。この例では、イベント分類の入力画面（図１０）と同様に、「人物」、「物」、「場所」、「日にち」、「時間帯」の５つの項目を表示し、その５つの項目の中で、利用者の操作で選択した項目にチェックの印を表示する。図１２の例は、「人物」と「場所」をチェックした状態を示す。
[10. Example of secret setting screen]
12 to 14 show examples of operation screens when a secret tag is set in an image.
FIG. 12 shows an example of an event condition input screen for setting a secret tag. In this example, five items “person”, “thing”, “location”, “date”, and “time zone” are displayed as in the event classification input screen (FIG. 10). Among them, a check mark is displayed on the item selected by the user's operation. The example of FIG. 12 shows a state in which “person” and “location” are checked.
図１３は、特定の人物を非表示にする場合の設定画面の例を示す。図１３は、表示した画像中の非表示に設定したい人物の顔に枠を付けて、その人物が写っているイベントを非表示にするか否かを選択する表示形態を示す。このような画面で非表示を設定することで、検索候補から該当するイベントまたは画像が除外されるようになる。 FIG. 13 shows an example of a setting screen when a specific person is hidden. FIG. 13 shows a display mode in which a frame is attached to the face of a person who wants to be set to non-display in the displayed image, and an event in which the person is shown is selected or not. By setting non-display on such a screen, the corresponding event or image is excluded from the search candidates.
図１４は、シークレットに設定した画像の一覧の画面の例である。図１４に示すように、表示パネル１１０は、シークレットに設定したイベントのアイコンとタイトルまたはファイル名の一覧を表示する。このとき、図１４の下側に示すように、例えば「これでＯＫ」と「編集する」の項目を表示する。利用者は、いずれかの項目を選択する操作を行うことで、シークレットに設定したイベントや画像を確定する場合と、再度編集する場合を選択することができる。 FIG. 14 is an example of an image list screen set as a secret. As shown in FIG. 14, the display panel 110 displays a list of event icons and titles or file names set in the secret. At this time, as shown on the lower side of FIG. 14, for example, items “OK now” and “Edit” are displayed. The user can select the case where the event or image set in the secret is confirmed or the case where editing is performed again by performing an operation of selecting any item.
［１１．変形例］
図１５は、本開示の一実施の形態の変形例を示す図である。
この例では、ネットワーク９０で接続された他の端末装置９２（図２）と、画像の表示候補を共有する例を示す。
図１５では、画像の左下に相手の端末装置９２の利用者の画像を表示し、画像の右下に表示装置１００の観察者の画像を表示する。そして、端末装置９２側で表示候補になった画像を表示装置１００に転送して、表示装置１００が表示した状態を示す。
このように複数台の表示装置や端末装置の間で、表示候補の画像を共有することで、蓄積した画像の多彩な利用形態に対応できるようになる。
[11. Modified example]
FIG. 15 is a diagram illustrating a modified example of the embodiment of the present disclosure.
In this example, an example in which an image display candidate is shared with another terminal device 92 (FIG. 2) connected via the network 90 is shown.
In FIG. 15, the image of the user of the partner terminal device 92 is displayed at the lower left of the image, and the image of the observer of the display device 100 is displayed at the lower right of the image. Then, an image that is a display candidate on the terminal device 92 side is transferred to the display device 100, and the display device 100 displays the image.
In this way, by sharing the display candidate images among a plurality of display devices and terminal devices, it becomes possible to cope with various usage forms of the accumulated images.
また、ここまで説明した実施の形態では、撮像装置が撮像した画像から観察者の顔の識別データを取得し、その観察者の顔の識別データに基づいて、検索対象の画像から同じ顔を検索するようにし、さらに別の者（第三者）の顔の識別データを取得するようにした。
これに対して、顔以外の画像中のオブジェクト（物体）を、同様の処理で識別して、そのオブジェクトの識別データを取得して、その識別データに基づいた同様の処理を行うようにしてもよい。例えば、特定の形状の自動車を撮像部で撮像したとき、その撮像した自動車と同一形状の自動車を、検索対象の画像から探し出すと共に、その自動車と一緒に写っている別のオブジェクト（自動車または人物など）を探し出すようにしてもよい。
In the embodiment described so far, the identification data of the observer's face is acquired from the image captured by the imaging device, and the same face is searched from the search target image based on the identification data of the observer's face. In addition, the identification data of the face of another person (third party) was acquired.
On the other hand, an object (object) in an image other than the face is identified by similar processing, identification data of the object is acquired, and similar processing based on the identification data is performed. Good. For example, when a car having a specific shape is picked up by an imaging unit, a car having the same shape as the picked-up car is searched from an image to be searched, and another object (car or person, etc.) reflected with the car is searched. ).
また、ここまで説明した実施の形態では、表示装置に適用した例を示した。これに対して、その他の各種電子機器に本開示の実施の形態を適用してもよい。例えば、撮像部と表示部とを備えたスマートフォンと称される携帯電話端末装置や、タブレット端末と称される情報処理端末装置が、本開示の処理を行うようにしてもよい。これらの端末装置は、撮像部と表示部を備え、本開示の処理を行うプログラム（ソフトウェア）を実装することで、図１，図２に示す表示装置１００と同様の機能が実現できる。
また、コンピュータに、本開示の処理を行うプログラムを実装して、本開示の処理するようにしてもよい。プログラムは、例えば光ディスクや半導体メモリなどの記憶媒体に記憶させてもよい。あるいは、インターネットなどのネットワークを経由して、コンピュータにプログラムを伝送するようにしてもよい。
Further, in the embodiment described so far, the example applied to the display device has been shown. On the other hand, the embodiment of the present disclosure may be applied to other various electronic devices. For example, a mobile phone terminal device called a smartphone including an imaging unit and a display unit or an information processing terminal device called a tablet terminal may perform the processing of the present disclosure. These terminal devices include an imaging unit and a display unit, and by implementing a program (software) for performing the processing of the present disclosure, functions similar to those of the display device 100 illustrated in FIGS. 1 and 2 can be realized.
In addition, a program for performing the processing of the present disclosure may be installed in a computer to perform the processing of the present disclosure. The program may be stored in a storage medium such as an optical disk or a semiconductor memory. Alternatively, the program may be transmitted to the computer via a network such as the Internet.
なお、本開示は以下のような構成も取ることができる。
（１）
撮像部と、
前記撮像部が撮像した画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得すると共に、取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得するオブジェクト検出部と、
検索対象の画像データの付加データを取得する付加データ取得部と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする画像検索処理部とを備えた
電子機器。
（２）
前記オブジェクト検出部が検出する前記第１および第２のオブジェクト識別データは、画像に含まれる顔の識別データである
前記（１）記載の電子機器。
（３）
前記画像検索処理部は、前記付加データに基づいてグループ分けした候補画像データの内の、前記第１のオブジェクト識別データによる顔が検出されず、前記第２のオブジェクト識別データによる顔が検出される画像データが含まれるグループを、前記候補画像データに含ませる
前記（１）または（２）記載の電子機器。
（４）
前記第１のオブジェクト識別データによる顔が検出されず、前記第２のオブジェクト識別データによる顔が検出される画像データが含まれるグループは、前記第１のオブジェクト識別データによる顔と前記第２のオブジェクト識別データによる顔の双方が検出される画像データが含まれるグループより低い優先順位の表示候補にする
前記（３）記載の電子機器。
（５）
前記オブジェクト検出部は、前記第１のオブジェクト識別データによる顔が検出された画像データと同一グループの画像データを検索対象として、その検索対象の画像データ内より最も多く検出された顔から前記第２のオブジェクト識別データを得る
前記（１）〜（４）のいずれか１項に記載の電子機器。
（６）
前記画像検索処理部は、前記付加データで示される撮影場所と撮影日と撮影時間帯の少なくとも１つの要件に基づいて候補画像データをグループ分けする
前記（１）〜（５）のいずれか１項に記載の電子機器。
（７）
前記画像検索処理部は、シークレットにするタグが付加された画像データを、候補画像データから除外する
前記（１）〜（６）のいずれか１項に記載の電子機器。
（８）
観察者を撮像する撮像処理と、
前記撮像処理で撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得処理と、
前記第１のオブジェクト識別データ取得処理で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得処理と、
検索対象の画像データの付加データを取得する付加データ取得処理と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定処理とを含む
画像データ処理方法。
（９）
観察者を撮像する撮像手順と、
前記撮像手順で撮像して得られた画像データから特定のオブジェクトを検出して第１のオブジェクト識別データを取得する第１のオブジェクト識別データ取得手順と、
前記第１のオブジェクト識別データ取得手順で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得手順と、
検索対象の画像データの付加データを取得する付加データ取得手順と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定手順とを、
コンピュータに実行させる
プログラム。
In addition, this indication can also take the following structures.
(1)
An imaging unit;
The first object identification data is acquired by detecting a specific object from the image data captured by the imaging unit, and the image data searched based on the acquired first object identification data or the same group as the image data An object detection unit for detecting a specific object from the image data in the image data and obtaining second object identification data;
An additional data acquisition unit for acquiring additional data of image data to be searched;
An image search processing unit that acquires candidate image data from image data to be searched in the search using the first and second object identification data and the additional data, and uses the candidate image data as a display candidate; Electronic equipment.
(2)
The electronic device according to (1), wherein the first and second object identification data detected by the object detection unit are identification data of a face included in an image.
(3)
The image search processing unit does not detect a face based on the first object identification data, but detects a face based on the second object identification data, among candidate image data grouped based on the additional data. The electronic device according to (1) or (2), wherein a group including image data is included in the candidate image data.
(4)
A group including image data in which a face based on the second object identification data is not detected and a face based on the second object identification data is detected includes a face based on the first object identification data and the second object. The electronic device according to (3), wherein the display candidate has a lower priority than a group including image data in which both faces based on identification data are detected.
(5)
The object detection unit uses the image data of the same group as the image data in which the face based on the first object identification data is detected as a search target, and determines the second from the faces detected most in the search target image data. The electronic device according to any one of (1) to (4).
(6)
The image search processing unit groups candidate image data based on at least one requirement of a shooting location, a shooting date, and a shooting time zone indicated by the additional data. Any one of (1) to (5) The electronic device as described in.
(7)
The electronic device according to any one of (1) to (6), wherein the image search processing unit excludes image data to which a secret tag is added from candidate image data.
(8)
An imaging process for imaging the observer;
A first object identification data acquisition process for detecting a specific object from image data obtained by imaging in the imaging process and acquiring first object identification data;
A second object identification is made by detecting a specific object from the image data retrieved based on the first object identification data obtained in the first object identification data obtaining process or image data in the same group as the image data. A second object identification data acquisition process for acquiring data;
Additional data acquisition processing for acquiring additional data of image data to be searched;
A display candidate selection process in which candidate image data is acquired from the image data to be searched in the search using the first and second object identification data and the additional data, and the candidate image data is used as a display candidate. Image data processing method.
(9)
An imaging procedure for imaging the observer;
A first object identification data acquisition procedure for detecting a specific object from image data obtained by imaging in the imaging procedure and acquiring first object identification data;
A second object identification is made by detecting a specific object from the image data retrieved based on the first object identification data acquired in the first object identification data acquisition procedure or image data in the same group as the image data. A second object identification data acquisition procedure for acquiring data;
Additional data acquisition procedure for acquiring additional data of image data to be searched;
In a search using the first and second object identification data and the additional data, a candidate image data is obtained from the image data to be searched, and a display candidate selection procedure using the candidate image data as a display candidate.
A program to be executed by a computer.
さらに、本発明の請求項に記載した構成や処理は、上述した実施の形態の例に限定されるものではない。本発明の要旨を逸脱しない限り、種々の改変、組み合わせ、他の実施の形態例が生じうることは、当業者にとって当然のことと理解される。 Further, the configurations and processes described in the claims of the present invention are not limited to the above-described embodiments. It will be understood by those skilled in the art that various modifications, combinations, and other embodiments can be made without departing from the spirit of the present invention.
９０…ネットワーク、９１…サーバ、９２…端末装置、１００…表示装置、１１０…表示パネル、１１１…画像処理部、１１２…表示パネル駆動部、１２０…撮像部、１３１…チューナ、１３２…画像選択部、１３３…通信部、１３４…画像データ蓄積部、１３５…顔認識処理部、１３６…付加データ取得部、１３７…制御部、１３８…メモリ DESCRIPTION OF SYMBOLS 90 ... Network, 91 ... Server, 92 ... Terminal device, 100 ... Display device, 110 ... Display panel, 111 ... Image processing part, 112 ... Display panel drive part, 120 ... Imaging part, 131 ... Tuner, 132 ... Image selection part DESCRIPTION OF SYMBOLS 133 ... Communication part, 134 ... Image data storage part, 135 ... Face recognition process part, 136 ... Additional data acquisition part, 137 ... Control part, 138 ... Memory
Claims (9)
検索対象の画像データの付加データを取得する付加データ取得部と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする画像検索処理部とを備えた
電子機器。 The first object identification data is acquired by detecting a specific object from the image data acquired by imaging, and the image data searched based on the acquired first object identification data or in the same group as the image data An object detection unit for detecting a specific object from the image data and obtaining second object identification data;
An additional data acquisition unit for acquiring additional data of image data to be searched;
An image search processing unit that acquires candidate image data from image data to be searched in the search using the first and second object identification data and the additional data, and uses the candidate image data as a display candidate; Electronic equipment.
請求項１記載の電子機器。 The electronic apparatus according to claim 1, wherein the first and second object identification data detected by the object detection unit are identification data of a face included in an image.
請求項２記載の電子機器。 The image search processing unit does not detect a face based on the first object identification data, but detects a face based on the second object identification data, among candidate image data grouped based on the additional data. The electronic device according to claim 2, wherein a group including image data is included in the candidate image data.
請求項３記載の電子機器。 A group including image data in which a face based on the second object identification data is not detected and a face based on the second object identification data is detected includes a face based on the first object identification data and the second object. The electronic device according to claim 3, wherein the display device is a display candidate with a lower priority than a group including image data in which both faces based on identification data are detected.
請求項３記載の電子機器。 The object detection unit uses the image data of the same group as the image data in which the face based on the first object identification data is detected as a search target, and determines the second from the faces detected most in the search target image data. The electronic device according to claim 3, wherein the object identification data is obtained.
請求項１記載の電子機器。 The electronic device according to claim 1, wherein the image search processing unit groups candidate image data based on at least one requirement of a shooting location, a shooting date, and a shooting time zone indicated by the additional data.
請求項１記載の電子機器。 The electronic device according to claim 1, wherein the image search processing unit excludes image data to which a tag to be a secret is added from candidate image data.
前記第１のオブジェクト識別データ取得処理で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得処理と、
検索対象の画像データの付加データを取得する付加データ取得処理と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定処理とを含む
画像データ処理方法。 A first object identification data acquisition process for detecting a specific object from image data acquired by imaging an observer and acquiring first object identification data;
A second object identification is made by detecting a specific object from the image data retrieved based on the first object identification data obtained in the first object identification data obtaining process or image data in the same group as the image data. A second object identification data acquisition process for acquiring data;
Additional data acquisition processing for acquiring additional data of image data to be searched;
A display candidate selection process in which candidate image data is acquired from the image data to be searched in the search using the first and second object identification data and the additional data, and the candidate image data is used as a display candidate. Image data processing method.
前記第１のオブジェクト識別データ取得手順で取得した第１のオブジェクト識別データに基づいて検索された画像データまたはその画像データと同じグループ内の画像データから特定のオブジェクトを検出して第２のオブジェクト識別データを取得する第２のオブジェクト識別データ取得手順と、
検索対象の画像データの付加データを取得する付加データ取得手順と、
前記第１および第２のオブジェクト識別データと前記付加データとを使った検索で、検索対象となる画像データから候補画像データを取得し、候補画像データを表示候補とする表示候補選定手順とを、
コンピュータに実行させる
プログラム。
A first object identification data acquisition procedure for detecting a specific object from image data acquired by imaging an observer and acquiring first object identification data;
A second object identification is made by detecting a specific object from the image data retrieved based on the first object identification data acquired in the first object identification data acquisition procedure or image data in the same group as the image data. A second object identification data acquisition procedure for acquiring data;
Additional data acquisition procedure for acquiring additional data of image data to be searched;
In a search using the first and second object identification data and the additional data, a candidate image data is obtained from the image data to be searched, and a display candidate selection procedure using the candidate image data as a display candidate.
A program to be executed by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012246157A JP2014095979A (en) | 2012-11-08 | 2012-11-08 | Electronic device, image data processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012246157A JP2014095979A (en) | 2012-11-08 | 2012-11-08 | Electronic device, image data processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014095979A true JP2014095979A (en) | 2014-05-22 |
Family
ID=50939015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012246157A Pending JP2014095979A (en) | 2012-11-08 | 2012-11-08 | Electronic device, image data processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014095979A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021073559A (en) * | 2016-06-12 | 2021-05-13 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | User interface for retrieving contextually relevant media content |
| US11307737B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
| US11334209B2 (en) | 2016-06-12 | 2022-05-17 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US11592959B2 (en) | 2010-01-06 | 2023-02-28 | Apple Inc. | Device, method, and graphical user interface for navigating and displaying content in context |
| US11601584B2 (en) | 2006-09-06 | 2023-03-07 | Apple Inc. | Portable electronic device for photo management |
| US11782575B2 (en) | 2018-05-07 | 2023-10-10 | Apple Inc. | User interfaces for sharing contextually relevant media content |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
-
2012
- 2012-11-08 JP JP2012246157A patent/JP2014095979A/en active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11601584B2 (en) | 2006-09-06 | 2023-03-07 | Apple Inc. | Portable electronic device for photo management |
| US11592959B2 (en) | 2010-01-06 | 2023-02-28 | Apple Inc. | Device, method, and graphical user interface for navigating and displaying content in context |
| JP2021073559A (en) * | 2016-06-12 | 2021-05-13 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | User interface for retrieving contextually relevant media content |
| US11334209B2 (en) | 2016-06-12 | 2022-05-17 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US11681408B2 (en) | 2016-06-12 | 2023-06-20 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US11941223B2 (en) | 2016-06-12 | 2024-03-26 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US11782575B2 (en) | 2018-05-07 | 2023-10-10 | Apple Inc. | User interfaces for sharing contextually relevant media content |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11307737B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
| US11625153B2 (en) | 2019-05-06 | 2023-04-11 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
| US11947778B2 (en) | 2019-05-06 | 2024-04-02 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014095979A (en) | Electronic device, image data processing method and program | |
| US9123385B2 (en) | Information processing apparatus, information processing method, program, and surveillance system | |
| JP6399356B2 (en) | Tracking support device, tracking support system, and tracking support method | |
| JP5438861B1 (en) | Tracking support device, tracking support system, and tracking support method | |
| KR101180817B1 (en) | Reproduction device, imaging device, screen display method, and user interface | |
| EP2627075B1 (en) | Auto burst image capture method applied to a mobile device and related mobile device | |
| US8810688B2 (en) | Information processing apparatus and information processing method | |
| EP1635573A2 (en) | Imaging system and imaging method | |
| JP6513963B2 (en) | Electronic device and method of operating electronic device | |
| CN104615926A (en) | Information processing apparatus and information processing method | |
| CN105074641A (en) | Display control device, display control method, and display control program | |
| US10999556B2 (en) | System and method of video capture and search optimization | |
| JP2010134664A (en) | Image processing apparatus, image display method, and image display program | |
| CN110740290B (en) | Monitoring video previewing method and device | |
| US9378768B2 (en) | Methods and systems for media file management | |
| JP2007052566A (en) | Information processing system and information processing method | |
| JP2006093955A (en) | Video processing apparatus | |
| JP5826513B2 (en) | Similar image search system | |
| CN102651004A (en) | Electronic device with image capturing function and method | |
| JP4773998B2 (en) | Surveillance camera system, moving image search device, face image database update device, and operation control method thereof | |
| KR20060130647A (en) | Methods and apparatuses for formatting and displaying content | |
| JP5743017B2 (en) | Image management apparatus and program | |
| JP5147737B2 (en) | Imaging device | |
| JP2018025910A (en) | Information processing device and grouping program | |
| JPWO2018034002A1 (en) | IMAGE DISPLAY DEVICE, IMAGE DISPLAY CONTROL DEVICE, IMAGE DISPLAY CONTROL PROGRAM, AND IMAGE DISPLAY CONTROL METHOD |