JP2009059042A - Image handling device, image handling method, and image handling program - Google Patents
Image handling device, image handling method, and image handling program Download PDFInfo
- Publication number
- JP2009059042A JP2009059042A JP2007223904A JP2007223904A JP2009059042A JP 2009059042 A JP2009059042 A JP 2009059042A JP 2007223904 A JP2007223904 A JP 2007223904A JP 2007223904 A JP2007223904 A JP 2007223904A JP 2009059042 A JP2009059042 A JP 2009059042A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- face
- unit
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、撮影された人物画像を、他の画像を利用して特定するため画像取扱装置及び画像取扱方法に関し、詳しくは、撮影された人物等が誰と一緒に撮影されているかを判定することによって、人と人の関係等を類推して、被写体の人間関係よりその人を特定することの可能な画像取扱装置、画像取扱方法および画像取扱のためのプログラムに関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image handling apparatus and an image handling method for specifying a photographed person image using another image, and more specifically, to determine with whom the photographed person is photographed. The present invention relates to an image handling apparatus, an image handling method, and an image handling program that can analogize a person-to-person relationship and identify the person based on the human relation of a subject.
近年、デジタルカメラが扱えるメモリ容量が大きくなる傾向にあり、数年分もの画像が、カメラ内部に蓄積可能となっている。また、デジタル化された画像は、インターネットなどを介して、外部に出力することもでき、逆に、外部から画像を取得して、様々な用途に利用することも可能となっている。 In recent years, the memory capacity that a digital camera can handle tends to increase, and images for several years can be stored in the camera. In addition, the digitized image can be output to the outside via the Internet or the like, and conversely, the image can be acquired from the outside and used for various purposes.
こうした状況下においては、自分が扱える画像が無数にあることから、関連する画像のみを集めて楽しむことが、困難になっている。また、撮影した画像を他者に送信したりするときにも、撮影画像の関係者の特定は重要である。つまり、一緒の写真に写ったことがある人は、その人と面識があると考えられ、送信先の候補となり得る。 Under these circumstances, since there are countless images that can be handled, it is difficult to collect and enjoy only related images. Also, when sending a photographed image to another person, it is important to identify the parties involved in the photographed image. In other words, a person who has been in a photo together is considered to be acquainted with the person and can be a candidate for a destination.
さらに、親戚の家で昔のアルバムなどを見ていると、誰が誰だかわからないので、自分との親戚関係を特定したい場合がある。この場合、写真が若い頃の顔だと分からないことがあり、自分との関係が分からずに親近感が持てないことが多い。しかし、写真に写っているのは、実は祖父の妹だったことが分かると、とたんに親近感を覚えることが多い。また、写真撮影を行った際に、被写体の交友関係がわからず、それを誰に見せてよいか分からない場合がある。 In addition, if you look at old albums at a relative's house, you may not know who is who, so you may want to identify your relatives. In this case, you may not know if the photo is a young face, and you often do not know the relationship with yourself and you are not familiar. However, when I find out that it was actually my grandfather's sister, I often feel close. In addition, when taking a picture, there is a case where the friendship of the subject is not known, and it is not known who can show it.
このように、写真に登場する人物が分からなかったり、また、関係者に画像を見せようと思っても、その関係者が分からないことが多かった。そこで、無数にある画像の中から、関連画像を特定し、その関連画像から類推することが考えられる。関連画像を判定する技術として、例えば、特許文献１には、画像信号から顔の特徴点に基づいて登録されている人物との一致度を判定する電子カメラが提案されている。
特許文献１に開示された電子カメラの場合、撮影画像と一致する登場人物を検索することは可能である。しかし、一緒に撮影されている人物等から、その写真の登場人物等が誰かを類推していくことができない。 In the case of the electronic camera disclosed in Patent Document 1, it is possible to search for a character that matches the captured image. However, it is impossible to infer who the characters in the photo are from the people photographed together.
本願発明は、このような事情を鑑みてなされたものであり、一緒に写っている写真を利用して、人物等が誰かを類推し、人と人との関係に思いを馳せることが可能な画像取扱装置、画像取扱方法および画像取扱のためのプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and it is possible to use a photograph taken together to infer who the person is and to think about the relationship between people. An object is to provide an image handling apparatus, an image handling method, and a program for handling images.
上記目的を達成するため第１の発明に係わる画像取扱装置は、第１の画像に含まれる第１の人物の顔を検出する顔検出部と、前記顔検出部によって検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する画像検索部と、前記第１の画像と前記第２の画像を並べて表示する表示部を備える。 In order to achieve the above object, an image handling apparatus according to a first invention uses a face detection unit for detecting the face of the first person included in the first image, and a face detected by the face detection unit. An image search unit that searches for a second image that includes the same person as the first person and includes the second person, and a display unit that displays the first image and the second image side by side. Prepare.
第２の発明に係わる画像取扱装置は、上記第１の発明において、前記画像取扱装置は、前記第１の人物の顔の変化パターンを検出する顔パターン検出部をさらに備え、前記画像検索部は前記顔の変化パターンを利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する。
また、第３の発明に係わる画像取扱装置は、上記第２の発明において、前記顔パターン検出部は、所定の時間帯に撮影された画像の中で同じ衣服を着用している人物から顔の変化パターンを検出する。
An image handling device according to a second invention is the image handling device according to the first invention, wherein the image handling device further includes a face pattern detection unit for detecting a change pattern of the face of the first person, and the image search unit includes: Using the face change pattern, a second image including the same person as the first person and including the second person is searched.
An image handling apparatus according to a third invention is the image processing apparatus according to the second invention, wherein the face pattern detection unit detects a face from a person wearing the same clothes in an image taken in a predetermined time zone. Detect change patterns.
さらに、第４の発明に係わる画像取扱装置は、上記第１の発明において、前記画像検索部によって検索された前記第２の人物に、前記第１の画像又は前記第２の画像を送信する送信部をさらに備える。
さらに、第５の発明に係わる画像取扱装置は、上記第１の発明において、前記画像検索部は、前記第１の画像及び前記第２の画像とは異なる、前記第２の人物を含む第３の画像を検索するものであり、前記表示部は前記第１の画像、前記第２の画像、及び前記第３の画像を表示する。
Furthermore, the image handling device according to a fourth invention is the transmission according to the first invention, wherein the first image or the second image is transmitted to the second person searched by the image search unit. The unit is further provided.
The image handling apparatus according to a fifth aspect of the present invention is the image processing apparatus according to the first aspect, wherein the image search unit includes the second person different from the first image and the second image. The display unit displays the first image, the second image, and the third image.
上記目的を達成するため第６の発明に係わる画像取扱方法は、第１の画像に含まれる第１の人物の顔を検出し、前記検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、前記第１の画像と前記第２の画像を表示部に並べて表示する。 In order to achieve the above object, an image handling method according to a sixth invention detects a face of a first person included in a first image, and uses the detected face to detect the first person. A second image including the same person and including the second person is searched, and the first image and the second image are displayed side by side on the display unit.
上記目的を達成するため第７の発明に係わる画像取扱装置は、画像を記録する画像記録部と、第１の人物が含まれる第１の画像を指定する画像指定部と、この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、前記画像記録部に記録された前記画像の中から検索する画像検索部と、前記第１の画像および第２の画像を表示する表示部を備える。 In order to achieve the above object, an image handling apparatus according to a seventh invention includes an image recording unit for recording an image, an image designating unit for designating a first image including the first person, and the image designating unit. An image search unit that searches the image recorded in the image recording unit for a second image that includes an image similar to the designated first person and that exists other than the first person; And a display unit for displaying the first image and the second image.
上記目的を達成するため第８の発明に係わる画像取扱装置は、第１の人物が含まれる第１の画像を指定する画像指定部と、この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、外部の記録部に記録されている画像の中から検索するために顔特徴信号を送信し、前記第２の画像を受信する通信部と、前記第１の画像、および前記通信部を介して受信する前記第２の画像を表示する表示部を備える。 In order to achieve the above object, an image handling apparatus according to an eighth aspect of the present invention is an image designating unit that designates a first image including the first person, and is similar to the first person designated by the image designating unit. A face feature signal is transmitted to search for an image recorded in an external recording unit for a second image that includes an image to be recorded and includes a person other than the first person. A communication unit that receives an image; and a display unit that displays the first image and the second image received via the communication unit.
上記目的を達成するため第９の発明に係わる画像取扱装置は、画像を記録する画像記録部と、前記画像に添付されている撮影時間情報に基づいて、同一時間帯に撮影された画像を検出する検出手段と、前記検出された画像の中で、同じ衣服を着用している人物か否か判定し、この判定に基づいて、同一人物を検索する検索手段を具備し、前記検索手段によって検索された人物を含む画像に基づいて画像データベースを作成する。 In order to achieve the above object, an image handling apparatus according to a ninth invention detects an image shot in the same time zone based on an image recording unit for recording an image and shooting time information attached to the image. A detecting means for determining whether the person is wearing the same clothes in the detected image, and searching means for searching for the same person based on the determination. An image database is created based on the image including the person who has been selected.
上記目的を達成するため第１０の発明に係わる画像取扱のためのプログラムは、第１の画像に含まれる第１の人物の特徴を検出し、前記検出された特徴を利用して、画像記録部に記録されている画像の中から、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、前記第１の画像と前記第２の画像を表示部に表示する。 In order to achieve the above object, an image handling program according to a tenth invention detects a feature of a first person included in a first image, and uses the detected feature to generate an image recording unit. The second image including the same person as the first person and including the second person is searched for from the images recorded on the display unit, and the first image and the second image are displayed. To display.
第１１の発明に係わる画像取扱のためのプログラムは、上記第１０の発明において、前記特徴は、第１の人物の顔である。
また、第１２の発明に係わる画像取扱のためのプログラムは、上記第１１の発明において、前記第１の人物の顔の変化パターンを検出し、前記第２の画像の検索にあたっては、前記顔の変化パターンを利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する。
さらに、第１３の発明に係わる画像取扱のためのプログラムは、上記第１２の発明において、顔の変化パターンの検出にあたっては、所定の時間帯に撮影された画像の中で同じ衣服を着用している人物から顔の変化パターンを検出する。
An image handling program according to an eleventh invention is based on the tenth invention, wherein the feature is the face of the first person.
According to a twelfth aspect of the present invention, the image handling program detects the change pattern of the face of the first person in the eleventh aspect of the invention, and searches for the second image when searching for the second image. Using the change pattern, a second image including the same person as the first person and including the second person is searched.
Furthermore, the image handling program according to the thirteenth aspect of the present invention is the above-mentioned twelfth aspect of the invention, in detecting the face change pattern, wearing the same clothing in the images taken in a predetermined time zone. Face change pattern is detected from a person.
さらに、第１４の発明に係わる画像取扱のためのプログラムは、上記第１０の発明において、前記検索された前記第２の人物に、前記第１の画像又は前記第２の画像を送信する。
さらに、第１５の発明に係わる画像取扱のためのプログラムは、上記第１０の発明において、前記第２の画像の検索に引き続き、前記第１の画像及び前記第２の画像とは異なる、前記第２の人物を含む第３の画像を検索し、前記第１の画像、前記第２の画像、及び前記第３の画像を表示する。
Further, in the tenth invention, the image handling program according to the fourteenth invention transmits the first image or the second image to the searched second person.
Furthermore, the image handling program according to the fifteenth aspect of the invention is the tenth aspect of the invention, wherein the second image is different from the first image and the second image following the search for the second image. A third image including two persons is searched, and the first image, the second image, and the third image are displayed.
本発明によれば、一緒に写っている写真を利用して、人物等が誰かを類推し、人と人との関係に思いを馳せることが可能な画像取扱装置、画像取扱方法および画像取扱のためのプログラムを提供することができる。 According to the present invention, an image handling apparatus, an image handling method, and an image handling method capable of inferring who is a person and reminiscent of the relationship between people by using photographs taken together. A program can be provided.
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態に係るデジタルカメラは、概略、レリーズ釦の操作に応じて、撮像素子で取得した被写体像の画像データを記録媒体に記録可能である。また、デジタルカメラ内には、被写体画像の顔を検出する機能があり、さらに、若い頃の画像を生成する機能も有する。そして、記録部に記録されている多数の画像データから、検出された顔（場合によって若返させた画像）に類似する画像を検索する機能を有している。なお、記録されている画像のほか、インターネット網を通じて外部のサーバーに蓄積されている画像の中から検索することも可能としている。 Hereinafter, preferred embodiments using a digital camera to which the present invention is applied will be described with reference to the drawings. The digital camera according to the first embodiment of the present invention can record the image data of the subject image acquired by the image sensor on a recording medium in accordance with the operation of the release button. Further, the digital camera has a function of detecting the face of the subject image, and further has a function of generating an image of an early age. And it has the function to search the image similar to the detected face (image rejuvenated by the case) from many image data currently recorded on the recording part. In addition to the recorded images, it is also possible to search from images stored in an external server through the Internet network.
以下、第１実施形態に係わるデジタルカメラについて詳述する。図１（Ａ）は、本発明の第１実施形態に係わるデジタルカメラ１０のブロック図である。カメラ１０の内部には、制御部１、撮像部２、レンズ判定部３、記録部４、画像データベース４ｂ、顔検出部５、操作判定部６、年齢処理部７、表示部８、時計部９、類似検出部１１、通信部１４が設けられている。 Hereinafter, the digital camera according to the first embodiment will be described in detail. FIG. 1A is a block diagram of a digital camera 10 according to the first embodiment of the present invention. Inside the camera 10, there are a control unit 1, an imaging unit 2, a lens determination unit 3, a recording unit 4, an image database 4b, a face detection unit 5, an operation determination unit 6, an age processing unit 7, a display unit 8, and a clock unit 9. A similarity detection unit 11 and a communication unit 14 are provided.
制御部１は、ＭＰＵ（Micro Processing Unit）等によって構成され、前述の撮像部２〜通信部１４等の各部と接続されており、これら各部から信号を入力すると共に制御信号を出力し、カメラ１０全体を制御する。撮像部２は、被写体像を結像するための撮影レンズを有し、この撮影レンズによって結像された被写体像を光電変換し、画像信号を出力する。 The control unit 1 is configured by an MPU (Micro Processing Unit) or the like, and is connected to each unit such as the imaging unit 2 to the communication unit 14 described above. The control unit 1 inputs a signal from each unit and outputs a control signal. Control the whole. The imaging unit 2 includes a photographing lens for forming a subject image, photoelectrically converts the subject image formed by the photographing lens, and outputs an image signal.
レンズ判定部３は、撮影レンズのズーム位置（焦点距離、ズーム倍率）やピント位置（被写体距離）を判定可能であり、ここで判定されたズーム位置やピント位置の情報は、撮影画像データを記録する際に、併せて記録可能である。また、撮影レンズのピント合わせのための焦点状態の判定も行う。時計部９は、日時を計測する時計であり、記録部４に撮影画像データを記録する際に併せて、この日時情報（時刻情報）の記録が可能である。 The lens determination unit 3 can determine the zoom position (focal length, zoom magnification) and focus position (subject distance) of the photographic lens, and information on the determined zoom position and focus position records photographic image data. Can be recorded at the same time. Also, the focus state for focusing the photographic lens is determined. The clock unit 9 is a clock that measures the date and time, and can record this date and time information (time information) when recording the captured image data in the recording unit 4.
記録部４は、撮像部２によって出力される画像信号に基づく画像データを圧縮処理して記録メディアに記録する。記録部４内の画像データベース４ｂは、記録されている人物名と顔の情報を対応付けしたデータベースである。画像データベース４ｂは、例えば、図１（Ｂ）のように、誰の顔がどの写真にあるかを、マニュアルで入力してある。図１（Ｂ）の例では、Ｘさんについては、写真Ｍ（写真の識別番号であり、数字等で表しても良い）のＡ部（例えば、左上とか右下等の位置を示す。座標で位置を示すようにしてもよい）や、写真ＮのＢ部に写っていることを表している。 The recording unit 4 compresses the image data based on the image signal output by the imaging unit 2 and records it on a recording medium. The image database 4b in the recording unit 4 is a database in which recorded person names and face information are associated with each other. In the image database 4b, for example, as shown in FIG. 1B, who's face is in which photograph is manually input. In the example of Fig. 1B, Mr. X indicates the position of the A part (for example, upper left or lower right) of the photograph M (which is an identification number of the photograph and may be represented by a number). The position may be shown), and it is shown in the B part of the photo N.
また、顔検出部５は、画像の中の、人間の顔特有の陰影を抽出して、撮影画像が顔を含むか、また含むとしたら、画像のどの部分にあるかを判定する。制御部１内の類似検出部１１は、顔検出部５によって検出された顔のパターンと、記録部４内の画像データベース４ｂに記録されている顔のパターンとを比較して、その顔が誰の顔であるか、すなわち、被写体が誰であるかを判定する。 Further, the face detection unit 5 extracts shadows peculiar to the human face in the image, and determines whether the captured image includes a face and, if included, in which part of the image. The similarity detection unit 11 in the control unit 1 compares the face pattern detected by the face detection unit 5 with the face pattern recorded in the image database 4b in the recording unit 4 to determine who the face is. It is determined who the subject is, that is, the subject.
操作判定部６は、カメラ１０に設けられている、操作スイッチ、操作ダイヤル等の操作部材の状態を検出し、操作状態を判定する。カメラをユーザーが操作すると、操作判定部６は操作状態を検出し、その結果に応じた撮影や再生の制御を、制御部１が行う。また、年齢処理部７は、画像中に写っている人物に対して、年齢が若いときの表情となるように、目元や口元等に対して年齢処理を行う。 The operation determination unit 6 detects the state of operation members such as operation switches and operation dials provided in the camera 10 to determine the operation state. When the user operates the camera, the operation determination unit 6 detects the operation state, and the control unit 1 controls shooting and reproduction according to the result. In addition, the age processing unit 7 performs age processing on the eyes, the mouth, and the like so that a person appearing in the image has a facial expression when the age is young.
表示部８は、カメラ１０の背面に設けられており、撮像部２から出力された画像データに基づいて被写体像を動画像としてライブビュー表示し、撮影時のファインダ代わりに利用することができる。また、再生釦等の操作に応じて、記録部４の記録メディアに記録されている画像データを読出し、伸張処理した後、表示部８に表示する。さらに、表示部８は、後述するように、撮影画像に写っている人物の関係を表示する。通信部１４は、ホットスポット等において、インターネット網１５を介して、外部サーバー２２、他のユーザー２３、外部記録２１と、顔特徴信号２０や画像データ等の送受信を行う。 The display unit 8 is provided on the back surface of the camera 10 and can display a subject image as a moving image based on the image data output from the imaging unit 2 and use it as a viewfinder at the time of shooting. Further, the image data recorded on the recording medium of the recording unit 4 is read in accordance with the operation of the playback button and the like, and after being expanded, displayed on the display unit 8. Further, the display unit 8 displays the relationship between the persons shown in the captured image, as will be described later. The communication unit 14 transmits and receives facial feature signals 20 and image data to and from the external server 22, another user 23, and the external recording 21 via the Internet 15 at a hot spot or the like.
前述の制御部１は、上述の出力を有効利用して、画像を分類することができる。ここで、分類とは、撮影画像に誰が写っているかという分類であり、総ての人の顔データを画像データベース４ｂに持たせるわけには行かないので、本実施形態においては、どの人とどの人が、交友関係にあるかを、調べることによって、その被写体の人物を判定するようにしている。 The above-described control unit 1 can classify images by effectively using the above-described output. Here, the classification is a classification of who is reflected in the captured image, and it is not possible to have all the person's face data in the image database 4b. In this embodiment, which person and which The person of the subject is determined by checking whether the person is in a friendship relationship.
つまり、検索対象の人物が写っている画像を指定すると（例えば、図１の画像５１）、制御部１（類似検出部１１も含む）は、その人が誰と一緒に写っているかを判定し、指定したＡさんの画像５１に対して、Ａさんが写っているが、他の人も写っている画像５２、５３、５４を、順次、検索して表示する。 That is, when an image in which a person to be searched is shown (for example, the image 51 in FIG. 1), the control unit 1 (including the similarity detection unit 11) determines with whom the person is shown. The images 52, 53, and 54 in which Mr. A is reflected in the designated image 51 of A but other people are also sequentially retrieved and displayed.
この表示から、Ａさんが、どのような交友関係にあるかを一目で分かる。ユーザーは、この表示から、いろいろな人のことを思い出して、思いを馳せることが可能となる。指定した人物は（図１（Ａ）ではＡさん）、表情や顔の角度によって、別人に見えることがあるので、図１（Ａ）の画像５１のように、複数の画像を指定した方が、検出精度は上がる。 From this display, you can see at a glance what kind of friendship Mr. A has. From this display, the user can remember various people and think about it. The designated person (Mr. A in FIG. 1 (A)) may be seen by another person depending on the expression and the angle of the face. Therefore, it is better to designate a plurality of images like the image 51 in FIG. 1 (A). , Detection accuracy goes up.
カメラ内の記録部４に記録された画像では、類似画像が検索されない場合には、カメラ外部の外部記録部２１に記録されている画像までも検索してもよい。また、外部サーバー２２に顔特徴信号２０を出力して、検索の一部またはすべてを手伝わせても良い。もちろん、表示部８に示したような検索結果を、外部ユーザー２３が閲覧できるようにし、ユーザー間で楽しむことができるようにしても良い。このようにして検索できた画像を用いて、この画像を楽しむ仲間を決めることができる。 In a case where a similar image is not searched for in an image recorded in the recording unit 4 in the camera, an image recorded in the external recording unit 21 outside the camera may be searched. Further, the face feature signal 20 may be output to the external server 22 to help part or all of the search. Of course, the search result as shown on the display unit 8 may be viewed by the external user 23 and enjoyed among the users. By using the image that can be searched in this way, it is possible to determine a friend who enjoys this image.
次に、制御部１によって行われる関係者検索の表示について、図２のフローチャートを用いて説明する。まず、関係者検索を行いたい人物（例えば、Ａさん）等の画像を指定する（Ｓ１）。このステップから、人物（Ａさん）の交友関係を探す検索を行う準備を、ユーザーに行わせる。ここでの指定では、１枚の画像でもよいが、図１の画像５１のように、複数選択することにより検索精度を高めることができる。続いて、顔検索を開始する（Ｓ２）。すなわち、ステップＳ１において指定された顔の画像と類似する画像を、記録部４に記録されている画像データや、また、場合によっては外部記録部２１に記録されている画像データの中から検索する。 Next, the display of the party search performed by the control unit 1 will be described with reference to the flowchart of FIG. First, an image of a person (for example, Mr. A) who wants to perform a related person search is designated (S1). From this step, the user is prepared to perform a search for searching for a friendship relationship between the person (Mr. A). In this specification, one image may be used, but the search accuracy can be improved by selecting a plurality of images as shown in the image 51 in FIG. Subsequently, a face search is started (S2). That is, an image similar to the face image specified in step S1 is searched from the image data recorded in the recording unit 4 or, in some cases, the image data recorded in the external recording unit 21. .
次に、記録部４や外部記録部２に記録されている全て顔の画像について、人物（例えば、Ａさん）の顔と類似する画像があるか否かについて検索が終了したかを判定する（Ｓ３）。判定の結果、全ての画像データについて検索が終了していない場合には、検索を続行し、同じ顔の有る画像が存在するか否かの判定を行う（Ｓ１１）。判定の結果、同じ顔のある画像が存在しない場合には、ステップＳ３に戻り、例えばＡさんのある画像の検索を続行する。 Next, with respect to all face images recorded in the recording unit 4 and the external recording unit 2, it is determined whether or not the search has been completed as to whether there is an image similar to the face of a person (for example, Mr. A) ( S3). As a result of the determination, if the search has not been completed for all the image data, the search is continued and it is determined whether there is an image having the same face (S11). As a result of the determination, if there is no image with the same face, the process returns to step S3 to continue searching for an image with Mr. A, for example.
ステップＳ１１における判定の結果、同じ顔（例えば、Ａさん）のある画像が有った場合には、続いて、その画像の中に複数の人物が写っているかを判定する（Ｓ１２）。判定の結果、その人物（例えばＡさん）しか写っていない場合には、ステップＳ１４にジャンプし、一方、複数人の人物が写っている画像の場合には、検索対象の人物（例えば、Ａさん）の隣に写っている顔の画像を仮記憶する（Ｓ１３）。 If the result of determination in step S11 is that there is an image with the same face (for example, Mr. A), it is subsequently determined whether or not a plurality of persons are shown in the image (S12). As a result of the determination, if only the person (for example, Mr. A) is captured, the process jumps to step S14. On the other hand, if the image includes a plurality of persons, the person to be searched (for example, Mr. A) ) Is temporarily stored (S13).
隣の人物の顔を仮記憶すると、次に、この隣の人物の写っている画像（ステップＳ１２からジャンプしてきた場合には、その画像）を仮記憶する（Ｓ１４）。仮記憶が終わると、ステップＳ３に戻り、上述のステップを繰り返す。これらのステップを繰り返すことにより、ステップＳ１で指定された人物の顔が写っている画像を検索し、その画像を仮記憶するとともに、人物の隣に写っている顔を仮記憶することができる。なお、ステップＳ１３における隣の顔は、直接、隣の人物に限らず、その画像内に写っている顔も仮記憶するようにしてもよい。 If the face of the next person is temporarily stored, next, an image showing the next person (if jumped from step S12, that image) is temporarily stored (S14). When temporary storage ends, the process returns to step S3 and the above steps are repeated. By repeating these steps, it is possible to search for an image in which the face of the person specified in step S1 is shown, temporarily store the image, and temporarily store the face shown next to the person. It should be noted that the next face in step S13 is not limited to the next person, but the face shown in the image may be temporarily stored.
ステップＳ３における判定の結果、顔の検索が終了すると、すなわち、検索対象人物（例えば、Ａさん）の写っている画像で、他の人物も写っている画像を探し終わると、次に、それらの画像から代表画像を選出する準備に入る（Ｓ４）。代表画像は、ステップＳ１４で仮記憶していた画像データから、ステップＳ１３の顔データを利用し、隣の人物が同じ人物の場合、その中から、代表画像を選ぶようにする。 As a result of the determination in step S3, when the search for the face is completed, that is, when searching for an image in which the person to be searched (for example, Mr. A) is reflected and other persons are also reflected, Preparations for selecting a representative image from the images are started (S4). For the representative image, the face data in step S13 is used from the image data temporarily stored in step S14, and if the adjacent person is the same person, the representative image is selected from them.
代表画像判定を開始すると（Ｓ４）、まず、ステップＳ１４で仮記憶された画像ごとに、顔の大きさで重み付け（適度な大きさが高得点）を行い（Ｓ５）、続いて、画像ごとに表情で重み付け（笑顔ほど高得点）を行い（Ｓ６）、そして、対象となる顔が画面中央に近いものほど高得点になるような重み付けを行う（Ｓ７）。この後、ステップＳ５〜Ｓ７を繰り返し行い、これらのステップで付けられた得点の合計に基づいて、同じ人物が写っている中から代表画像を選択する（Ｓ８）。ここで選択された代表画像は、後述するステップＳ１０において、代表画像５２（図１参照）として表示される。 When the representative image determination is started (S4), first, for each image temporarily stored in step S14, the face size is weighted (an appropriate size is a high score) (S5), and then for each image. Weighting is performed by facial expression (smile is higher score) (S6), and weighting is performed so that the closer the target face is to the center of the screen, the higher score is obtained (S7). Thereafter, steps S5 to S7 are repeatedly performed, and a representative image is selected from the same person on the basis of the total score given in these steps (S8). The representative image selected here is displayed as a representative image 52 (see FIG. 1) in step S10 described later.
ステップＳ８において代表画像を選定すると、続いて、全ての代表画像の選定が終了したかを判定する（Ｓ９）。すなわち、ステップＳ１３において、仮記憶されている顔の中で同じ顔が他にもある場合には、次の顔について、ステップＳ４〜Ｓ８を繰り返すことにより、次の顔について代表画像を選定する。選定された代表画像は、後述するステップＳ１０において、代表画像５３（図１参照）として表示される。図１に示した例では、検索対象の人物（画像５１で表示）と関係のある人物は３人おり、代表画像５２、５３、５４として表示される。 When a representative image is selected in step S8, it is subsequently determined whether selection of all representative images has been completed (S9). That is, in step S13, when there is another same face among the temporarily stored faces, a representative image is selected for the next face by repeating steps S4 to S8 for the next face. The selected representative image is displayed as a representative image 53 (see FIG. 1) in step S10 described later. In the example shown in FIG. 1, there are three persons related to the person to be searched (displayed by the image 51), and these are displayed as representative images 52, 53, and 54.
ステップＳ９において、全代表画像の選定が終わったと判定されると、代表画像５２、５３、５４を表示部８に並べて表示する。もちろん、検索される都度、その画像を未整理で、表示していくような表示方法でもよいが、図１に示した例では、交友関係を整理して表示している。ただし、総ての検索を終了するまで表示が始まらないので、待ちきれないユーザーもいることから、検索の都度、表示を行うようにしてもよい。 If it is determined in step S9 that all representative images have been selected, the representative images 52, 53, and 54 are displayed side by side on the display unit 8. Of course, every time a search is performed, a display method may be used in which the image is displayed unsorted, but in the example shown in FIG. 1, the friendship is organized and displayed. However, since the display does not start until all searches are completed, there are some users who cannot wait, so the display may be performed each time the search is performed.
このように本発明の第１実施形態においては、検索対象となる人物（図１の代表画像５１）と一緒に写っている人物の代表画像５２、５３、５４を並べて表示するようにしている。このため、検索対象となった人物の交友関係等が一目で分かる。また、仮に、検索対象の人物が面識のない人物（画像５１の人物）であっても、代表画像５２、５３、５４に表示される人物と面識があれば、これらの関係から検索対象の人物を特定することが可能となる。 As described above, in the first embodiment of the present invention, the representative images 52, 53, and 54 of the person shown together with the person to be searched (representative image 51 in FIG. 1) are displayed side by side. For this reason, the friendship relationship etc. of the person who became the search object can be understood at a glance. Further, even if the person to be searched is a person who is not acquainted (the person in the image 51), if there is an acquaintance with the person displayed in the representative images 52, 53, 54, the person to be retrieved from these relationships Can be specified.
次に、本発明の第２実施形態について、図３および図４を用いて説明する。第２実施形態は、第１実施形態で得た検索対象人物との交友関係を利用して、撮影画像を鑑賞するのに相応しい相手先に画像データの送信を行うものである。本実施形態に係わるデジタルカメラ１０は第１実施形態と同様であるので、その説明は省略し、その動作と表示部８における表示方法を中心に説明する。 Next, a second embodiment of the present invention will be described with reference to FIGS. In the second embodiment, image data is transmitted to a destination suitable for viewing a photographed image using the friendship relationship with the search target person obtained in the first embodiment. Since the digital camera 10 according to the present embodiment is the same as that of the first embodiment, the description thereof is omitted, and the operation and the display method in the display unit 8 will be mainly described.
デジタルカメラ１０がパワーオンリセットすると、通常の撮影動作を行う（Ｓ３１）。この撮影動作では、表示部８におけるライブビュー表示によって被写体のフレーミングを行い、レリーズ釦の操作状態を操作判定部６によって判定し、レリーズ釦の全押しがなされた場合には、撮像部２によって取得した画像データを記録部４に記録する。 When the digital camera 10 is reset to power-on, a normal shooting operation is performed (S31). In this shooting operation, the subject is framed by the live view display on the display unit 8, the operation state of the release button is determined by the operation determination unit 6, and is acquired by the imaging unit 2 when the release button is fully pressed. The recorded image data is recorded in the recording unit 4.
続いて、記録部４に記録された画像データに写っている人物（例えば、Ａさん）の顔と類似の画像の検索を行う（Ｓ３２）。すなわち、Ａさんが写っている画像を検索する。次に、検索された画像について、複数の人物の顔が写っている写真か否かの判定を行う（Ｓ３３）。判定の結果、複数の顔が写っている写真ではない場合には、ステップＳ３１に戻る。 Subsequently, an image similar to the face of a person (for example, Mr. A) in the image data recorded in the recording unit 4 is searched (S32). That is, an image in which Mr. A is shown is searched. Next, it is determined whether or not the retrieved image is a photograph showing a plurality of human faces (S33). As a result of the determination, if the photograph does not show a plurality of faces, the process returns to step S31.
上述のステップＳ３２およびステップＳ３３は、第１実施形態における関係者検索のフロー（図２）を適用すればよい。ただし、図２に示したフローにおいては、代表画像を表示していたが、このステップは不要である。ステップＳ３３における判定の結果、Ａさんと類似の顔が存在する画像の中に複数の顔が写っている場合には、もう一人の顔の画像を抽出する（Ｓ３４）。 Steps S32 and S33 described above may apply the related party search flow (FIG. 2) in the first embodiment. However, in the flow shown in FIG. 2, the representative image is displayed, but this step is not necessary. If the result of determination in step S33 is that there are a plurality of faces in an image having a face similar to Mr. A, another face image is extracted (S34).
次に、抽出された顔について、画像データベース４ｂに登録されているか否かを判定する（Ｓ３５）。すなわち、Ａさん以外のもう一人の顔が検出され、その人物の顔画像が、図１（Ｂ）に示すデータベース（画像データベース４ｂに対応）に登録されているか否かを判定する。判定の結果、登録されていた場合には、登録されている人物（図１（Ｂ）におけるＸさんやＹさん）に、画像送信の候補として記録する（Ｓ３６）。 Next, it is determined whether or not the extracted face is registered in the image database 4b (S35). That is, another face other than Mr. A is detected, and it is determined whether or not the person's face image is registered in the database (corresponding to the image database 4b) shown in FIG. If it is registered as a result of the determination, it is recorded as a candidate for image transmission in the registered person (Mr. X and Mr. Y in FIG. 1B) (S36).
この後、図示されていないが、ユーザーの選択により、Ａさんの写っている画像を、送信先の候補として挙げられた相手先に送信すれば、相手先は送信者と共にＡさんの近況を楽しむことができる。このとき、画像データベース４ｂにメールアドレスも記述されていれば、わざわざ、送信先は誰と誰かを、考えなくとも、コミュニティのようなものを形成して、その輪の中で楽しむことが可能となる。 After this, although not shown in the figure, if the image of Mr. A is sent to the other party listed as a destination candidate by the user's selection, the other party enjoys the recent situation of Mr. A together with the sender. be able to. At this time, if the e-mail address is also described in the image database 4b, it is possible to form a community and enjoy it in the circle without thinking about who and who the destination is. Become.
例えば、被写体１２（Ａさん）の画像を撮影した場合、Ａさんを知っている人なら、画像を見て楽しめるが、Ａさんを知らない人では、誰の写真かも分からず楽しむことができない。そこで、本実施形態においては、Ａさんの交友関係を、撮影済み画像（記録部４に記録）や、公開されている画像データベース（外部記録部２１に記録）から割り出し、これを表示部８に表示するようにしている。 For example, when an image of the subject 12 (Mr. A) is taken, a person who knows Mr. A can view and enjoy the image, but a person who does not know Mr. A cannot understand and enjoy anyone's photo. Therefore, in the present embodiment, the friendship of Mr. A is determined from a photographed image (recorded in the recording unit 4) or a publicly available image database (recorded in the external recording unit 21), and this is displayed on the display unit 8. It is trying to display.
つまり、Ａさん（画像５５参照）と一緒に写ったことのあるＸさん（画像５６、画像５８参照）、Ｙさん（画像５７、画像５９参照）なら、Ａさんのことを知っているはずであり、Ａさんの近況を伝えて喜ばれると考えて、本実施形態においては、その人たちにＡさんの画像を送信することを可能にしている。 In other words, Mr. X (see image 56 and image 58) and Mr. Y (see image 57 and image 59) who have been photographed with Mr. A (see image 55) should know Mr. A. In the present embodiment, it is possible to transmit Mr. A's image to those people, thinking that the present condition of Mr. A will be appreciated.
次に、本発明の第３実施形態について図５乃至図８を用いて説明する。本発明の第１および第２実施形態においては、検索対象の人物と一緒に写っている人物等の検索を行っていたが、第３実施形態においては、検索対象の人物と一緒に写っている人物に限らず、写っていた人物と一緒に写っている人物等、連鎖的に関係者を検索するようにしている。また、第３実施形態においては、顔画像に対して年齢処理を行うことにより、世代を超えた検索ができるようにようしている。本実施形態に係わるデジタルカメラ１０は第１実施形態と同様であるので、その詳しい説明は省略し、その動作と表示部８における表示方法を中心に説明する。なお、図５に示すフローチャートは、制御部１（図１参照）によって実行される。 Next, a third embodiment of the present invention will be described with reference to FIGS. In the first and second embodiments of the present invention, a search is performed for a person or the like that is photographed together with the person to be searched. In the third embodiment, the photograph is photographed together with the person to be searched. In addition to a person, a related person such as a person shown together with a person who is shown is searched for in a chain. In the third embodiment, the age processing is performed on the face image so that the search beyond generations can be performed. Since the digital camera 10 according to this embodiment is the same as that of the first embodiment, a detailed description thereof will be omitted, and the operation and the display method in the display unit 8 will be mainly described. The flowchart shown in FIG. 5 is executed by the control unit 1 (see FIG. 1).
まず、ステップＳ１と同様に、関係者検索を行いたい人物（例えば、Ａさん）等の画像５１（図６参照）を指定する（Ｓ５１）。この指定画像は、１枚の画像でもよいが、複数選択することにより検索精度を高めることができる。続いて、ステップＳ２と同様に、指定画像の中の顔部を検出し、同じ顔の画像を記録部４や外部記録部２１に記録されている画像データの中から、指定画像と類似する画像を検索する（Ｓ５２）。 First, as in step S1, an image 51 (see FIG. 6) such as a person (for example, Mr. A) who wants to perform a related person search is designated (S51). The designated image may be a single image, but the search accuracy can be improved by selecting a plurality of images. Subsequently, as in step S2, a face in the designated image is detected, and an image similar to the designated image is detected from the image data recorded in the recording unit 4 or the external recording unit 21 with the same face image. Is searched (S52).
続いて、類似画像の画像データの中に、複数の顔画像を有するか否かを判定する（Ｓ５３）。判定の結果、複数の顔画像を有している場合には、その画像５２を指定画像５１に隣接して表示する（Ｓ５４）。続いて、ユーザーが候補を変更したか否かの判定を行う（Ｓ５５）。すなわち、複数の顔が写っている画像５２が検索されると、その画像５２がステップＳ５４において、もとの指定画像５１に隣接して表示される。この画像５２から交友関係が分かり、ユーザーが画像５２に登場する人物に興味を持つ場合には、候補の変更を操作部材によって指示する。 Subsequently, it is determined whether or not the image data of the similar image has a plurality of face images (S53). As a result of the determination, if there are a plurality of face images, the image 52 is displayed adjacent to the designated image 51 (S54). Subsequently, it is determined whether or not the user has changed the candidate (S55). That is, when an image 52 having a plurality of faces is searched, the image 52 is displayed adjacent to the original designated image 51 in step S54. If the friendship relationship is known from the image 52 and the user is interested in the person appearing in the image 52, the operation member instructs to change the candidate.
ステップＳ５５における判定の結果、候補の変更がなされた場合には、もとの指定画像５１から、検索の顔を画像５２に変更する（Ｓ５６）。続いて、画像５２から新しい候補の画像５３を検索し、画像５２の下に表示する（Ｓ５７）。そして、ステップＳ５２に戻り、この新しい候補（指定画像５３）について、前述と同様のステップを処理することにより、類似の顔が存在するか否かを検索し、図６に示すように、画像５４等を表示する。 If the result of determination in step S55 is that the candidate has been changed, the search face is changed to the image 52 from the original designated image 51 (S56). Subsequently, a new candidate image 53 is searched from the image 52 and displayed below the image 52 (S57). Then, the process returns to step S52, and the same step as above is processed for this new candidate (designated image 53) to search whether a similar face exists, and as shown in FIG. Etc. are displayed.
このように、ステップＳ５２乃至ステップＳ５７を繰り返すことにより、指定画像５１から始まって連鎖的に関係者を順次、検索し表示することができる。この間、ステップＳ５３において、複数の顔のある写真を発見できなかった場合、またはステップＳ５５において、候補の変更を行わなかった場合には、記録部４や外部記録部２１記録されている全ての画像データについて検索が終了したか否かの判定を行う（Ｓ６１）。 In this way, by repeating steps S52 to S57, it is possible to search and display related parties sequentially in a chain starting from the designated image 51. During this time, if a photograph with a plurality of faces cannot be found in step S53, or if the candidate is not changed in step S55, all images recorded in the recording unit 4 and the external recording unit 21 are displayed. It is determined whether or not the search has been completed for the data (S61).
ステップＳ６１における判定の結果、全ての画像データについて検索が終了した場合には、本ルーチンを終了するが、検索終了していない場合には、検索を続行する。検索を続行するにあたって、候補がなくなってしまったか否かの判定を行う（Ｓ６２）。判定の結果、候補が有る場合には、ステップＳ６４にジャンプするが、候補がない場合には、年齢処理を行う（Ｓ６３）。ここで、年齢処理を行うのうは、現在、検索している顔画像は、実は、年を取ってからのものであり、若い頃の写真であれば、候補がある場合があることから、顔の画像に年齢処理を施すようにしている。この年齢処理については、図７および図８を用いて後述する。 As a result of the determination in step S61, if the search is completed for all the image data, this routine is ended. If the search is not completed, the search is continued. When continuing the search, it is determined whether or not there are no candidates (S62). As a result of the determination, if there is a candidate, the process jumps to step S64, but if there is no candidate, age processing is performed (S63). Here, because the age processing is actually the face image that is currently being searched for, it may be a candidate if it is a young photo, Age processing is applied to the face image. This age process will be described later with reference to FIGS.
続いて、検索中表示を行う（Ｓ６４）。検索中表示は、本ルーチンにおいては、類似画像の検索や年齢処理等、処理に時間のかかるステップが多く、表示までに時間がかかってしまい、処理を行っていないように外見上、見える場合があるためである。処理速度が高速で、表示までに時間がかからない場合には、検索中表示を省略することができる。 Subsequently, display during search is performed (S64). In this routine, the search-in-progress display takes many time-consuming steps such as searching for similar images and age processing, and it may take time to display, and may appear to appear as if processing is not performed. Because there is. When the processing speed is high and it does not take time to display, the display during search can be omitted.
図５に示すフローを実行することにより、表示部８に最初の画像５１を表示すると、その画像５１に写っている人物（Ａさん）と他の人が一緒に写った画像（写真）５２が表示され、この表示画像５２を見て、ユーザーは、Ａさんの隣に位置する人物（Ｂさん）に興味を持つことがある。この場合、操作部材等により所定の操作を行うと、画像５３に示すような、Ｂさんのほかの画像が表示され、Ａさんのときと同様、Ｂさんがどのような交友関係であったかを示す画像５４を検索し表示する。さらに、Ｂさんの隣に位置する人物（Ｃさん）に興味が移ると、Ｃさんのほかの画像を検索することが可能となっている。 When the first image 51 is displayed on the display unit 8 by executing the flow shown in FIG. 5, an image (photograph) 52 in which a person (Mr. A) shown in the image 51 and another person are shown together is displayed. The user may be interested in a person (Mr. B) located next to Mr. A by viewing the displayed image 52 displayed. In this case, when a predetermined operation is performed with an operation member or the like, another image of Mr. B as shown in the image 53 is displayed, and as with Mr. A, what kind of friendship relationship is present with Mr. B. The image 54 is retrieved and displayed. Furthermore, if the interest shifts to a person (C) who is located next to B, it is possible to search for other images of C.
このように、Ａさんの画像が、誰か分からなくとも、Ｂさん、Ｃさんと見ていくうちに、それが誰であるか、また、自分との関係の糸口を掴むことが可能となる。さらに、画像鑑賞を興味深く進めていくことができ、ＡさんやＢさん、Ｃさんの交遊に思いを馳せながら、画像表示にストーリーを感じながら楽しむことができる。 In this way, even if the image of Mr. A is not known, it is possible to grasp who it is and the clues of the relationship with him while looking at Mr. B and Mr. C. Furthermore, it is possible to proceed with image appreciation with interest, and while enjoying the story of A, B and C, it is possible to enjoy the image while feeling the story.
次に、ステップＳ６３における年齢処理について、図７および図８を用いて説明する。図８（ａ）に、人の顔に現れる加齢サイン（陰影の特徴）の例を示す。特に、目立つのは、目尻の皺６１のたるみ、唇の横の線６２、頬６３のたるみなどである。このサインを図８（ｂ）→図８（ｃ）と、修正（薄く）していくことによって、顔つきは若い頃のものになる。つまり、年代を遡って検索を行う場合には、年齢による顔つきの変化を考慮して、このような加齢サインを無くしていきながら、検索を行えばよい。 Next, the age process in step S63 will be described with reference to FIGS. FIG. 8A shows an example of an aging sign (shade feature) appearing on a human face. Particularly conspicuous are the slack of the eyelid 61 of the outer corner of the eye, the line 62 of the side of the lips, the slack of the cheek 63, and the like. By correcting (thinning) this sign from FIG. 8 (b) to FIG. 8 (c), the face becomes younger. That is, when performing a search retrospectively, the search may be performed while eliminating such an aging sign in consideration of changes in the face with age.
顔つき補正付き検索のための図７に示す顔つき補正のフローに入ると、まず、顔検出を行うが（Ｓ７１）、この顔検出にあたっては、円内６５付近の明るさを均一化、すなわち、円内６５の一番明るい部分、または、面積的に大きい部分の明るさに合わせて、明るさの均一化を行う。続いて、検出された顔の中から、眼、口、頬の部分を検出する（Ｓ７２）。 When entering the flow of face correction shown in FIG. 7 for search with face correction, first, face detection is performed (S71). In this face detection, the brightness around 65 in the circle is made uniform, that is, a circle. The brightness is made uniform in accordance with the brightness of the brightest portion of the inner 65 or the portion having a larger area. Subsequently, the eyes, mouth, and cheeks are detected from the detected face (S72).
検出された眼等の部分を用いて加齢サインの判定を行うが、その前に、眼鏡をかけているか否かの判定を行う（Ｓ７３）。これは、眼鏡をかけている人に、このような操作を行うと、眼鏡の縁が不自然になるので、本実施形態においては、顔検出（Ｓ７１）および顔部分検出（Ｓ７２）を行った際に、眼の周りにコントラストの高い部分があれば眼鏡をしていると判定している。 The aging sign is determined using the detected part such as the eye, but before that, it is determined whether or not glasses are being worn (S73). This is because, when this operation is performed on a person wearing glasses, the edges of the glasses become unnatural. Therefore, in this embodiment, face detection (S71) and face part detection (S72) are performed. At this time, if there is a high contrast portion around the eye, it is determined that the user is wearing glasses.
ステップＳ７３における判定の結果、眼鏡をかけていた場合には、元のルーチンにリターンし、これらの一連の処理を行わないようにしている。これは、眼鏡をかけることによって加齢サインの表れる部分が隠れるので、あえて、こうした処理を行わなくとも、年齢による誤差は生じにくいと考えてのものである。ただし、眼鏡をかけたりかけなかったりする人は、この検索できない場合がある。これはここでは、制限条件となる。 If the result of determination in step S <b> 73 is that the user is wearing glasses, the routine returns to the original routine, and the series of processing is not performed. This is because the portion where the aging sign appears is hidden by wearing glasses, so it is considered that an error due to age is unlikely to occur without performing such processing. However, a person who wears or does not wear glasses may not be able to search. This is a limiting condition here.
ステップＳ７３における判定の結果、眼鏡をかけていなかった場合には、続いて、加齢サイン判定を行う（Ｓ７４）。ここではステップＳ７２において、検出された顔部分（目尻の皺６１、唇の横の線６２、頬６３のたるみ）に、加齢サインがあるか否かを判定する。このステップにおける判定の結果、加齢サインがあった場合には（Ｓ７５→Ｙｅｓ）、写真から得られた検索する年と元データの関係から、どれだけ若返らせるかを決める（Ｓ７６）。 If the result of determination in step S73 is that no glasses are being worn, aging sign determination is subsequently performed (S74). Here, in step S72, it is determined whether or not there is an aging sign in the detected face portion (sag of eyelid 61, horizontal line 62 of lips, sagging of cheek 63). If the result of determination in this step is that there is an aging sign (S75 → Yes), how much rejuvenation is determined from the relationship between the search year obtained from the photograph and the original data is determined (S76).
続いて、目じり、唇の端、頬輪郭部を含む領域の明るさの均一化を行う（Ｓ７７）。すなわち、目尻、口の端、頬の輪郭部を含む領域を、回りから不自然にならないように連続的に、かつ、均一になるように明るさを、年度の差に応じて調整する。この領域を回りと同じくらいに明るくすることによって、図８（ｃ）に示すように、若い頃の顔つきに補正することができる。しかし、それほど昔の画像を検索する場合でなければ、わずかにこれを明るくするくらいの顔画像とする。このようにして得られた顔画像を検索時の顔画像に反映させる（Ｓ７８）。 Subsequently, the brightness of the area including the eyes, the edge of the lips, and the cheek outline is equalized (S77). That is, the brightness is adjusted according to the difference in the year so that the area including the corners of the corners of the eyes, the edges of the mouth, and the cheek outlines is continuously and uniformly so as not to become unnatural from around. By brightening this area as much as the surroundings, it is possible to correct the appearance of a young face as shown in FIG. However, if the old image is not searched, the face image is slightly brightened. The face image obtained in this way is reflected in the face image at the time of search (S78).
ステップＳ７５における判定の結果、加齢サインがない場合には、顔画像の補正を行うことなく、元のルーチンに戻る。本実施形態においては、加齢サインがあるときのみに、この処理を行うことから、所定年代以上の人物に対して年齢処理を施すようにしている。しかし、これに限らず、例えば、データベース４ｂに年齢の情報も記録するようにしておき、２０代、３０代の人には、このような年齢処理を行わないようにしてもよい。 If the result of determination in step S75 is that there is no aging sign, the process returns to the original routine without correcting the face image. In this embodiment, since this process is performed only when there is an aging sign, an age process is performed on a person of a predetermined age or older. However, the present invention is not limited to this. For example, age information may also be recorded in the database 4b, and such age processing may not be performed for people in their 20s and 30s.
このように、本実施形態における年齢処理では、もっと古い時代の写真まで、検索の候補に加え、昔の写真からも交友関係が分かるようにすることができる。年齢処理を施した顔画像補正を行うことにより、世代を超えた検索が可能となり、例えば、最初に指定したＡさんの画像から、さらに他の人に思いを馳せた画像鑑賞を楽しむことができる。 As described above, in the age processing according to the present embodiment, it is possible to understand the friendship relationship from the old photos in addition to the search candidates up to the older photos. By performing face image correction with age processing, it is possible to search beyond generations, and for example, from the image of Mr. A who was initially designated, it is possible to enjoy image appreciation that is even more thoughtful to other people .
このように、本発明の第３実施形態においては、単に画像がきれいであるとか、表情がすばらしいという楽しみ方ではなく、ある人物が写っている画像から、次々と登場人物を検索し、どのように人と人がつながっているかを調べ、知的な楽しみ方ができるカメラや写真鑑賞システムが可能となる。 As described above, in the third embodiment of the present invention, it is not a way of enjoying that the image is simply beautiful or the expression is wonderful, but the characters are searched one after another from the image in which a certain person is reflected. This makes it possible to establish a camera and a photo appreciation system that can check how people are connected to each other.
次に、本発明の第４実施形態について、図９乃至図１１を用いて説明する。顔画像による人物画像検索では、改まった記念写真などでは有効であるが、スナップ写真のような、身近な写真では、人物の表情によっては、誤検出の虞がある。そこで、ある人物がどのような顔の変化を見せるかの一覧の顔データを得るために、本実施形態においては、人物の服装も考慮して顔データベースを作成するようにしている。つまり、パーティや会合など、所定時間内に撮影された画像では、同じ人物は、同じ服装をしていたと考えられることから、服装に着目して顔データベースを作成する。本実施形態においても、第１実施形態と同様のデジタルカメラ１０によって構成されるので、相違点を中心に説明する。 Next, a fourth embodiment of the present invention will be described with reference to FIGS. A person image search using a face image is effective for a revised commemorative photo or the like, but a familiar photo such as a snapshot may cause a false detection depending on the facial expression of the person. Therefore, in order to obtain face data of a list of what kind of face a certain person shows, in this embodiment, a face database is created in consideration of the clothes of the person. That is, in images taken within a predetermined time, such as a party or a meeting, it is considered that the same person was wearing the same clothes, so a face database is created focusing on clothes. Also in this embodiment, since it is configured by the same digital camera 10 as in the first embodiment, the description will focus on the differences.
図１０に示す、同じ人物の顔データベース（ＤＢ）作成のフローに入ると、まず、ある人物画像を選び、同じ時間帯に撮影された画像を記録部４から集める（Ｓ８１）。続いて、複数の人物が写っている画像をそこから選ぶ（Ｓ８２）。そして、各顔の下の色やパターン（服）が、同じ人がいるかどうか判定する（Ｓ８３）。判定の結果、同じ服の色、パターンがない場合は、服で個人特定が可能であると想定し、同じ服の人は同じ人物に分類する（Ｓ８４）。すなわち、図９に示すように、同じＡさんかどうかを服で判断し、Ａさんが、どのような顔の変化をするかを、データ収集するようにしている。 When entering the flow of creating the same person face database (DB) shown in FIG. 10, first, a certain person image is selected, and images taken in the same time zone are collected from the recording unit 4 (S81). Subsequently, an image showing a plurality of persons is selected therefrom (S82). Then, it is determined whether or not there is a person with the same color and pattern (clothes) under each face (S83). As a result of the determination, if there is no color or pattern of the same clothes, it is assumed that individuals can be specified by clothes, and persons with the same clothes are classified into the same person (S84). That is, as shown in FIG. 9, it is determined whether clothes are the same A or not, and data is collected on what kind of face Mr. A changes.
ステップＳ８３における判定の結果、顔の下が同じ服の色で同じパターンであった場合には（Ｓ８３→有）、この時間帯に撮影された画像に登場する人物は、制服を着用していたと考えられることから、同じ人物の画像か否は、ユーザーが逐次判断することとし、同じ人物の画像をマニュアル選択する（Ｓ８９）。 As a result of the determination in step S83, if the bottom of the face has the same clothes color and the same pattern (S83 → Yes), the person appearing in the image taken during this time zone is wearing a uniform. Since it is conceivable, the user sequentially determines whether or not the images are the same person, and manually selects the same person image (S89).
同じ時間帯では同じ服を着用していても、他の機会（時間帯）は顔の画像で検索する必要がある。そこで、顔の画像としては多様なパターンをデータベースとして蓄積しておいた方が、より精度の高く確実な検索を行うことができる。本実施形態においては、図９に示すように、デジタルカメラ１０内の記録部４から抽出した画像を利用して、画像データベース４ｂに同じ人物の顔パターンを複数持つようにしている。 Even if the same clothes are worn in the same time zone, it is necessary to search for other opportunities (time zones) using facial images. Therefore, it is possible to perform a more accurate and reliable search by storing various patterns as facial images as a database. In the present embodiment, as shown in FIG. 9, an image extracted from the recording unit 4 in the digital camera 10 is used to have a plurality of face patterns of the same person in the image database 4b.
ステップＳ８４またはステップＳ８９において、分類が終わると、次に、表示部８に同じ人物の画像を、図９の符号４ｂと表示された部分について、一覧表示する（Ｓ８５）。この画像の一覧表示をユーザーがチェックし、間違いがなければ、ユーザーが承認操作を行うので、承認がなされたか否かの判定を行う（Ｓ８６）。判定の結果、承認がなされない場合には、ステップＳ８９に移行して、マニュアルで画像の選択を行う。一方、ステップＳ８６において、ユーザーによって承認された場合には、顔一覧を作成し、この一覧を画像データベース４ｂに記録する（Ｓ８７）。 When the classification is completed in step S84 or step S89, next, a list of the images of the same person is displayed on the display unit 8 with respect to the portion indicated by reference numeral 4b in FIG. 9 (S85). The user checks the list display of the images, and if there is no mistake, the user performs an approval operation, so it is determined whether or not the approval has been made (S86). As a result of the determination, if approval is not made, the process proceeds to step S89 and an image is manually selected. On the other hand, if approved by the user in step S86, a face list is created and recorded in the image database 4b (S87).
このように、本実施形態においては、人物が着用している服装情報も併用することによって、人物の顔が変化しても、より正確に同一人物か否かを判定することができ、精度の高いデータベースを作成することができる。そして、このデータベースを利用することにより、より確実な顔の類似画像の検索が可能となる。また、ステップＳ８３において、顔の下の服が同じ色でパターンも同じか否かを判定することにより、制服のように、メンバーが同一の服を着用している場合でも、正しく認識し、正確な顔のデータベースを作成することができる。 As described above, in the present embodiment, it is possible to more accurately determine whether or not the person is the same person even if the face of the person changes by using the clothes information worn by the person together. A high database can be created. By using this database, it is possible to search for a similar image of a face with more certainty. Further, in step S83, by determining whether the clothes under the face are the same color and the same pattern, even when the member is wearing the same clothes as in a uniform, it can be recognized correctly and accurately. Can create a database of various faces.
次に、本発明の第４実施形態における複数の顔データのデータベース４ｂを利用して、指定画像の人物の顔と類似する画像を検索し、表示することのできるデジタルカメラ１０について、図１１を用いて説明する。このデジタルカメラ１０は、前述したように、図１に示すデジタルカメラ１０と同様の構成を有する。 Next, FIG. 11 shows a digital camera 10 that can search and display an image similar to a person's face of a designated image using the plurality of face data databases 4b according to the fourth embodiment of the present invention. It explains using. As described above, the digital camera 10 has the same configuration as the digital camera 10 shown in FIG.
まず、デジタルカメラ１０の制御部１は、特定された人物（ここでは、Ａさん）の画像を指定する。図１１（Ｂ）に示すフローに入ると、その人物の顔の変形を考慮して、ユーザーが、指定した画像の顔部を判定する（Ｓ９１）。そして、画像データベース４ｂから類似の顔パターンを検索する（Ｓ９２）。その顔画像が、どの人物の顔であるかを特定し（Ｓ９３）、その人の顔の変形例パターンを利用した検索を行う（Ｓ９４）。 First, the control unit 1 of the digital camera 10 designates an image of the specified person (here, Mr. A). In the flow shown in FIG. 11B, the face of the designated image is determined by the user in consideration of the deformation of the person's face (S91). Then, a similar face pattern is searched from the image database 4b (S92). It is specified which person's face the face image is (S93), and a search is performed using the variation pattern of the person's face (S94).
検索を行うにあたって、まず、代表顔画像を用いて、そのパターンの顔が撮影された画像を検索する（Ｓ９５）。すなわち、複数ある顔画像の中の代表画像を用いて、類似画像を検索する。この代表画像に基づいて類似画像を検索することができたか否かを判定し（Ｓ９６）、検索できた場合には、その画像を検索結果とし表示部８に表示する。 In performing the search, first, using the representative face image, an image in which the face of the pattern is photographed is searched (S95). That is, a similar image is searched using a representative image among a plurality of face images. It is determined whether or not a similar image can be searched based on the representative image (S96). If the search is successful, the image is displayed on the display unit 8 as a search result.
一方、代表画像で検索することができない場合には、変形例があるか否かの判定を行う（Ｓ９７）。すなわち、同一人物について、複数の顔画像のデータがある場合には（図１１（Ａ）の例では、３種類あり）、未検索の顔画像があるか判定する（Ｓ９７）。顔画像の変形例がない場合には、元のルーチンに戻るが、有った場合には、その顔画像の変形例を用いて検索し（Ｓ９８）、検索が終わると、ステップＳ９６に戻り、前述の動作を実行する。 On the other hand, if the search cannot be performed using the representative image, it is determined whether there is a modification (S97). That is, if there are a plurality of face image data for the same person (there are three types in the example of FIG. 11A), it is determined whether there is an unsearched face image (S97). If there is no modification of the face image, the process returns to the original routine. If there is, the search is performed using the modification of the face image (S98). When the search is completed, the process returns to step S96. Perform the above operations.
以上のように、本発明の第４実施形態においては、同一人物に対応する顔の画像を複数収集し、この顔の画像をデータベース化している。そして、この顔画像データベースを用いて、指定された人物が写っている画像を検索するようにしているので、第１実施形態乃至第３実施形態と同様に、人物の交友関係等を表示させることができる。第４実施形態においては、第２実施形態のように、友人に画像を送信する機能を設けていなかったが、この機能を付加しても勿論構わない。また、第４実施形態においては、第３実施形態のように、交友関係を連鎖的に表示していないが、勿論、第３実施形態と同様に表示させてもよい。さらに、第４実施形態のように、年齢を考慮した検索としてもよい。 As described above, in the fourth embodiment of the present invention, a plurality of face images corresponding to the same person are collected, and the face images are stored in a database. Since the face image database is used to search for an image in which the designated person is shown, the friendship relationship between the persons can be displayed as in the first to third embodiments. Can do. In the fourth embodiment, the function of transmitting an image to a friend is not provided as in the second embodiment, but it is of course possible to add this function. In the fourth embodiment, the friendship relationship is not displayed in a chain manner as in the third embodiment, but, of course, it may be displayed in the same manner as in the third embodiment. Furthermore, as in the fourth embodiment, the search may be performed in consideration of age.
なお、本発明の各実施形態においては、検出された類似画像は、隣接して表示するようにしていたが、この表示方法には種々変形が可能であり、また、最初に指定した画像と検索された画像を同時に表示する以外にも、検索された画像のみを表示するようにしてもよい。また、検索された画像が多数の場合には、複数ページに分けて表示してもよい。また、本発明の各実施形態においては、最初に指定する画像の顔を特徴部分として検出し、この顔をベースにして類似画像を検索していたが、特徴部分としては、顔に限らず、人物の全体でもよく、また、目鼻等、目立つ部分等でもよい。 In each embodiment of the present invention, detected similar images are displayed adjacent to each other. However, various modifications can be made to this display method, and the first designated image is searched. In addition to displaying the searched images at the same time, only the searched images may be displayed. If there are a large number of searched images, the images may be displayed divided into a plurality of pages. Further, in each embodiment of the present invention, the face of the image to be designated first is detected as a feature part, and a similar image is searched based on this face, but the feature part is not limited to a face, It may be the whole person, or a conspicuous part such as the eyes and nose.
さらに、本発明の各実施形態においては、デジタルカメラを用いて説明したが、デジタルカメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、デジタルカメラ等で撮影された画像データを記録したパーソナルコンピュータ等でも勿論構わない。さらに、デジタルカメラ等で撮影された画像データを記録した外部データベースの内部で、本発明を実施してもよい。 Furthermore, although each embodiment of the present invention has been described using a digital camera, the digital camera may be a digital single-lens reflex camera or a compact digital camera, and may be a mobile phone or a personal digital assistant (PDA Personal Digital Assist). Of course, a camera built in the camera may be used. Of course, a personal computer or the like that records image data taken by a digital camera or the like may be used. Furthermore, the present invention may be implemented inside an external database that records image data captured by a digital camera or the like.
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１・・・制御部、２・・・撮像部、３・・・レンズ判定部、４・・・記録部、４ｂ・・・画像データベース（ＤＢ）、５・・・顔検出部、６・・・操作判定部、７・・・年齢処理部、８・・・表示部、９・・・時計部、１０・・・カメラ、１１・・・類似検出部、１４・・・通信部、１５・・・インターネット網、２１・・・外部記録部、２２・・・外部サーバー、２３・・・他のユーザー、５１・・・画像（Ａさん）、５２・・・代表画像、５３・・・代表画像、５４・・・代表画像、５５・・・画像（Ａさん）、５６・・・画像（Ｘさん）、５７・・・画像（Ｙさん）、５８・・・画像（Ｘさん）、５９・・・画像（Ｙさん）、６１・・・目尻のしわ、６２・・・唇の横の線、６３・・・頬 DESCRIPTION OF SYMBOLS 1 ... Control part, 2 ... Imaging part, 3 ... Lens determination part, 4 ... Recording part, 4b ... Image database (DB), 5 ... Face detection part, 6 ... Operation determination unit, 7 ... age processing unit, 8 ... display unit, 9 ... clock unit, 10 ... camera, 11 ... similarity detection unit, 14 ... communication unit, 15 ... ..Internet network, 21 ... external recording unit, 22 ... external server, 23 ... other user, 51 ... image (Mr. A), 52 ... representative image, 53 ... representative Image 54 ... Representative image 55 ... Image (Mr. A) 56 ... Image (Ms. X) 57 ... Image (Ms. Y) 58 ... Image (Ms. X) 59 ... Image (Mr. Y), 61 ... Wrinkles in the corners of the eyes, 62 ... Lines next to the lips, 63 ... Cheeks
Claims (15)
前記顔検出部によって検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する画像検索部と、
前記第１の画像と前記第２の画像を並べて表示する表示部と、
を備えたことを特徴とする画像取扱装置。 A face detection unit for detecting the face of the first person included in the first image;
An image search unit that uses the face detected by the face detection unit to search for a second image that includes the same person as the first person and includes the second person;
A display unit for displaying the first image and the second image side by side;
An image handling apparatus comprising:
前記検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、
前記第１の画像と前記第２の画像を表示部に並べて表示する、
ことを特徴とする画像取扱方法。 Detecting the face of the first person included in the first image;
Using the detected face, search for a second image that includes the same person as the first person and includes a second person,
Displaying the first image and the second image side by side on a display unit;
An image handling method characterized by that.
第１の人物が含まれる第１の画像を指定する画像指定部と、
この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、前記画像記録部に記録された前記画像の中から検索する画像検索部と、
前記第１の画像および第２の画像を表示する表示部と、
を備えたことを特徴とする画像取扱装置。 An image recording unit for recording images;
An image designating unit for designating a first image including the first person;
Search the image recorded in the image recording unit for a second image that includes an image similar to the first person designated by the image designating unit and includes an image other than the first person. An image search unit to
A display unit for displaying the first image and the second image;
An image handling apparatus comprising:
この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、外部の記録部に記録されている画像の中から検索するために顔特徴信号を送信し、前記第２の画像を受信する通信部と、
前記第１の画像、および前記通信部を介して受信する前記第２の画像を表示する表示部と、
を備えたことを特徴とする画像取扱装置。 An image designating unit for designating a first image including the first person;
A second image that includes an image similar to the first person designated by the image designating unit and includes other people than the first person is searched from images recorded in the external recording unit. A communication unit that transmits a facial feature signal and receives the second image;
A display unit for displaying the first image and the second image received via the communication unit;
An image handling apparatus comprising:
前記画像に添付されている撮影時間情報に基づいて、同一時間帯に撮影された画像を検出する検出手段と、
前記検出された画像の中で、同じ衣服を着用している人物か否か判定し、この判定に基づいて、同一人物を検索する検索手段と、
を具備し、
前記検索手段によって検索された人物を含む画像に基づいて画像データベースを作成する画像取扱装置。 An image recording unit for recording images;
Detection means for detecting an image shot in the same time zone based on shooting time information attached to the image;
In the detected image, it is determined whether or not the person is wearing the same clothes, and based on this determination, search means for searching for the same person,
Comprising
An image handling apparatus that creates an image database based on an image including a person searched by the search means.
前記検出された特徴を利用して、画像記録部に記録されている画像の中から、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、
前記第１の画像と前記第２の画像を表示部に表示する、
ことを実行させるための画像取扱のためのプログラム。 Detecting the characteristics of the first person included in the first image;
Using the detected feature, a second image including the same person as the first person and a second person is searched from images recorded in the image recording unit,
Displaying the first image and the second image on a display unit;
A program for image handling to make things happen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007223904A JP5128880B2 (en) | 2007-08-30 | 2007-08-30 | Image handling device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007223904A JP5128880B2 (en) | 2007-08-30 | 2007-08-30 | Image handling device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012240444A Division JP5554388B2 (en) | 2012-10-31 | 2012-10-31 | Image acquisition device, image handling method, and image handling program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009059042A true JP2009059042A (en) | 2009-03-19 |
| JP5128880B2 JP5128880B2 (en) | 2013-01-23 |
Family
ID=40554752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007223904A Expired - Fee Related JP5128880B2 (en) | 2007-08-30 | 2007-08-30 | Image handling device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5128880B2 (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010251841A (en) * | 2009-04-10 | 2010-11-04 | Nikon Corp | Image extraction program and image extraction device |
| JP2011065278A (en) * | 2009-09-15 | 2011-03-31 | Toshiba Corp | Electronic equipment, image retrieval method, and content reproduction program |
| JP2011095896A (en) * | 2009-10-28 | 2011-05-12 | Kyocera Corp | Electronic device and e-mail generation method |
| JP2011155385A (en) * | 2010-01-26 | 2011-08-11 | Sony Corp | Electronic device, content transmission method, and program |
| WO2011153270A2 (en) * | 2010-06-01 | 2011-12-08 | Hewlett-Packard Development Company, L.P. | Image retrieval |
| US8320624B2 (en) | 2010-02-17 | 2012-11-27 | Toshiba Tec Kabushiki Kaisha | Customer behavior collection method and customer behavior collection apparatus |
| US8494347B2 (en) | 2010-06-15 | 2013-07-23 | Kabushiki Kaisha Toshiba | Electronic apparatus and movie playback method |
| JP2014194810A (en) * | 2009-08-07 | 2014-10-09 | Google Inc | Facial recognition with social network aiding |
| WO2014193093A1 (en) * | 2013-05-31 | 2014-12-04 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| KR101481066B1 (en) * | 2014-05-21 | 2015-01-16 | 오드컨셉 주식회사 | Network connecting system and method using visual information of face |
| JP6267380B1 (en) * | 2017-02-16 | 2018-01-24 | 株式会社リクルートホールディングス | Order management system, order management apparatus, and program |
| JP2018018403A (en) * | 2016-07-29 | 2018-02-01 | 富士フイルム株式会社 | Server, terminal device, image processing system, image processing method, program, and recording medium |
| US10007842B2 (en) | 2014-05-29 | 2018-06-26 | Fujifilm Corporation | Same person determination device and method, and control program therefor |
| JP2020135855A (en) * | 2019-12-17 | 2020-08-31 | 日本電気株式会社 | Retrieval device, retrieval method and program |
| JP2021073559A (en) * | 2016-06-12 | 2021-05-13 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | User interface for retrieving contextually relevant media content |
| US11308151B2 (en) | 2019-02-22 | 2022-04-19 | Nec Corporation | Search system, search method, and program recording medium |
| US11307737B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
| US11334209B2 (en) | 2016-06-12 | 2022-05-17 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US11592959B2 (en) | 2010-01-06 | 2023-02-28 | Apple Inc. | Device, method, and graphical user interface for navigating and displaying content in context |
| US11601584B2 (en) | 2006-09-06 | 2023-03-07 | Apple Inc. | Portable electronic device for photo management |
| US11782575B2 (en) | 2018-05-07 | 2023-10-10 | Apple Inc. | User interfaces for sharing contextually relevant media content |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024229A (en) * | 2000-07-03 | 2002-01-25 | Fuji Photo Film Co Ltd | Self-portrait image providing system |
| JP2002183205A (en) * | 2000-12-11 | 2002-06-28 | Minolta Co Ltd | Computer-readable recording medium with database construction program recorded thereon, method and device for constructing database, computer-readable recording medium with database retrieval program recorded thereon, and method and device for retrieving database |
| JP2002215643A (en) * | 2001-01-15 | 2002-08-02 | Minolta Co Ltd | Image classification program, computer readable recording medium recording image classification program, and method and device for classifying image |
| JP2006079458A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Image transmission system, method, and program |
-
2007
- 2007-08-30 JP JP2007223904A patent/JP5128880B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024229A (en) * | 2000-07-03 | 2002-01-25 | Fuji Photo Film Co Ltd | Self-portrait image providing system |
| JP2002183205A (en) * | 2000-12-11 | 2002-06-28 | Minolta Co Ltd | Computer-readable recording medium with database construction program recorded thereon, method and device for constructing database, computer-readable recording medium with database retrieval program recorded thereon, and method and device for retrieving database |
| JP2002215643A (en) * | 2001-01-15 | 2002-08-02 | Minolta Co Ltd | Image classification program, computer readable recording medium recording image classification program, and method and device for classifying image |
| JP2006079458A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Image transmission system, method, and program |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11601584B2 (en) | 2006-09-06 | 2023-03-07 | Apple Inc. | Portable electronic device for photo management |
| JP2010251841A (en) * | 2009-04-10 | 2010-11-04 | Nikon Corp | Image extraction program and image extraction device |
| US9208177B2 (en) | 2009-08-07 | 2015-12-08 | Google Inc. | Facial recognition with social network aiding |
| US10515114B2 (en) | 2009-08-07 | 2019-12-24 | Google Llc | Facial recognition with social network aiding |
| JP2014194810A (en) * | 2009-08-07 | 2014-10-09 | Google Inc | Facial recognition with social network aiding |
| US10031927B2 (en) | 2009-08-07 | 2018-07-24 | Google Llc | Facial recognition with social network aiding |
| JP2011065278A (en) * | 2009-09-15 | 2011-03-31 | Toshiba Corp | Electronic equipment, image retrieval method, and content reproduction program |
| US8463052B2 (en) | 2009-09-15 | 2013-06-11 | Kabushiki Kaisha Toshiba | Electronic apparatus and image search method |
| JP2011095896A (en) * | 2009-10-28 | 2011-05-12 | Kyocera Corp | Electronic device and e-mail generation method |
| US11592959B2 (en) | 2010-01-06 | 2023-02-28 | Apple Inc. | Device, method, and graphical user interface for navigating and displaying content in context |
| JP2011155385A (en) * | 2010-01-26 | 2011-08-11 | Sony Corp | Electronic device, content transmission method, and program |
| US8320624B2 (en) | 2010-02-17 | 2012-11-27 | Toshiba Tec Kabushiki Kaisha | Customer behavior collection method and customer behavior collection apparatus |
| WO2011153270A2 (en) * | 2010-06-01 | 2011-12-08 | Hewlett-Packard Development Company, L.P. | Image retrieval |
| WO2011153270A3 (en) * | 2010-06-01 | 2012-03-29 | Hewlett-Packard Development Company, L.P. | Image retrieval |
| US8494347B2 (en) | 2010-06-15 | 2013-07-23 | Kabushiki Kaisha Toshiba | Electronic apparatus and movie playback method |
| WO2014193093A1 (en) * | 2013-05-31 | 2014-12-04 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| US9596432B2 (en) | 2013-05-31 | 2017-03-14 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| KR101481066B1 (en) * | 2014-05-21 | 2015-01-16 | 오드컨셉 주식회사 | Network connecting system and method using visual information of face |
| US10007842B2 (en) | 2014-05-29 | 2018-06-26 | Fujifilm Corporation | Same person determination device and method, and control program therefor |
| US11941223B2 (en) | 2016-06-12 | 2024-03-26 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US11681408B2 (en) | 2016-06-12 | 2023-06-20 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| JP2021073559A (en) * | 2016-06-12 | 2021-05-13 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | User interface for retrieving contextually relevant media content |
| US11334209B2 (en) | 2016-06-12 | 2022-05-17 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| JP2018018403A (en) * | 2016-07-29 | 2018-02-01 | 富士フイルム株式会社 | Server, terminal device, image processing system, image processing method, program, and recording medium |
| WO2018151062A1 (en) * | 2017-02-16 | 2018-08-23 | 株式会社リクルートホールディングス | Sequence management system, sequence management device, and program |
| JP2018132977A (en) * | 2017-02-16 | 2018-08-23 | 株式会社リクルートホールディングス | Order management system, order management apparatus, and program |
| JP6267380B1 (en) * | 2017-02-16 | 2018-01-24 | 株式会社リクルートホールディングス | Order management system, order management apparatus, and program |
| US11782575B2 (en) | 2018-05-07 | 2023-10-10 | Apple Inc. | User interfaces for sharing contextually relevant media content |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11308151B2 (en) | 2019-02-22 | 2022-04-19 | Nec Corporation | Search system, search method, and program recording medium |
| US11307737B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
| US11625153B2 (en) | 2019-05-06 | 2023-04-11 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
| US11947778B2 (en) | 2019-05-06 | 2024-04-02 | Apple Inc. | Media browsing user interface with intelligently selected representative media items |
| JP7188478B2 (en) | 2019-12-17 | 2022-12-13 | 日本電気株式会社 | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM |
| JP2021099835A (en) * | 2019-12-17 | 2021-07-01 | 日本電気株式会社 | Retrieval device, retrieval method and program |
| JP2020135855A (en) * | 2019-12-17 | 2020-08-31 | 日本電気株式会社 | Retrieval device, retrieval method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5128880B2 (en) | 2013-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5128880B2 (en) | Image handling device | |
| US8599251B2 (en) | Camera | |
| JP5232669B2 (en) | camera | |
| JP5195120B2 (en) | Digital camera | |
| US20120150893A1 (en) | Content management apparatus, content management method, content management program, and integrated circuit | |
| JP5540762B2 (en) | Imaging device, image display device, and image display program | |
| JP2012023502A (en) | Photographing support system, photographing support method, server, photographing device, and program | |
| TW201021550A (en) | Emotion-based image processing apparatus and image processing method | |
| JPWO2015145769A1 (en) | Imaging apparatus, information processing apparatus, photographing assistance system, photographing assistance program, and photographing assistance method | |
| JP4895205B2 (en) | Image processing apparatus and program thereof | |
| US20180077298A1 (en) | Image-capturing assistance device and image-capturing device | |
| JP6323548B2 (en) | Imaging assistance system, imaging apparatus, information processing apparatus, imaging assistance program, and imaging assistance method | |
| JP6006841B2 (en) | Image handling apparatus, image handling method, and program | |
| JP5778314B2 (en) | Server and image handling method | |
| JP5032363B2 (en) | Image display method | |
| JP6329224B2 (en) | Image handling apparatus, image handling method, and program | |
| JP2017188787A (en) | Imaging apparatus, image synthesizing method, and image synthesizing program | |
| JP5554388B2 (en) | Image acquisition device, image handling method, and image handling program | |
| JP2013168969A (en) | Image display method, and image display device | |
| JP7264675B2 (en) | processor and program | |
| JP2020194472A (en) | Server, display method, creation method, and program | |
| JP5249090B2 (en) | Display device | |
| JP4661980B2 (en) | Image recognition apparatus and program | |
| JP2012256327A (en) | Image display apparatus, image display method, and image display program | |
| JP2022040912A (en) | Detection device and detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121004 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121101 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5128880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |