JP6038256B2 - Image search system and image search method - Google Patents
Image search system and image search method Download PDFInfo
- Publication number
- JP6038256B2 JP6038256B2 JP2015197450A JP2015197450A JP6038256B2 JP 6038256 B2 JP6038256 B2 JP 6038256B2 JP 2015197450 A JP2015197450 A JP 2015197450A JP 2015197450 A JP2015197450 A JP 2015197450A JP 6038256 B2 JP6038256 B2 JP 6038256B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- unit
- database
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、画像再生装置および画像再生方法に関し、詳しくは、デジタルカメラ等の撮像装置によって撮影した画像を、楽しく鑑賞するための画像検索システムおよび画像検索方法に関する。 The present invention relates to an image playback device and an image playback method, and more particularly to an image search system and an image search method for enjoying an image captured by an imaging device such as a digital camera.
近年、デジタルカメラ等の撮像装置が普及してきている。撮像装置において撮影した画像を楽しむにあたっては、プリントするのみならず、パーソナルコンピュータ(PC)、携帯電話、テレビ等の画面で鑑賞することを簡単に行うことができる。これらの機器において、撮影画像を鑑賞する方法として、プリントされた写真を順次見るのと同様に、画面に画像を順次再生するスライドショーの技法が行われている。しかし、スライドショーは、単に画像が順次切り替わるだけで、全て見終わるのに時間がかかり、単調であることから、現状それほど普及しているとは言い難い状況である。 In recent years, imaging devices such as digital cameras have become widespread. When enjoying an image captured by the imaging apparatus, not only printing but also viewing on a screen of a personal computer (PC), a mobile phone, a television, or the like can be easily performed. In these devices, as a method of appreciating a photographed image, a slide show technique for sequentially reproducing images on a screen is performed in the same manner as sequentially viewing printed photographs. However, a slide show is a situation that is not so popular at present because it takes time to finish watching all of the images simply by sequentially switching the images and is monotonous.
このようにスライドショーの技法に付加価値を高めるために、特許文献1では、スライドショーを構成する各顔画像の集合写真を合成し、スライドショーに挿入するようにしたスライドショー再生方法が開示されている。すなわち、この再生方法においては、顔画像の数の多いグループの代表画像から序列をつけ、また画像のサイズを決定して集合シーンを生成し、この集合シーンをスライドショーのラストシーンに挿入している。 In order to increase the added value to the slide show technique as described above, Patent Document 1 discloses a slide show reproduction method in which group photos of face images constituting a slide show are combined and inserted into the slide show. That is, in this reproduction method, an order is created from representative images of a group with a large number of face images, and a group scene is generated by determining the image size, and this group scene is inserted into the last scene of the slide show. .
前述の特許文献1に記載のスライドショー再生方法では、顔画像以外の画像には適用することができない。また、代表画像を新たに生成する必要があり、代表画像の生成に手間と時間がかかってしまう。さらに、代表画像は「顔画像の集合写真」という予測範囲に限定されたものであり、ユーザーにワクワクした期待感や楽しみを与えるものではない。 The slide show reproduction method described in Patent Document 1 cannot be applied to images other than face images. In addition, it is necessary to newly generate a representative image, and it takes time and effort to generate the representative image. Furthermore, the representative image is limited to a prediction range of “a group photo of face images”, and does not give the user a sense of excitement and enjoyment.
本発明は、このような事情を鑑みてなされたものであり、適用可能な画像の範囲が広く、短時間で生成することができ、ユーザーに期待感や楽しみを与えることの可能な画像検索システムおよび画像検索方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and has a wide range of applicable images, can be generated in a short time, and can provide a user with a sense of expectation and enjoyment. And an image search method.
上記目的を達成するため第1の発明に係る画像検索システムは、撮影画像と類似した類似画像を、文字を含む画像のデータベースから検索する画像検索システムにおいて、画像の顔の位置と数と大きさを検出する顔検出部を有し、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生部と、を具備する。 To achieve the above object, an image search system according to a first aspect of the present invention is an image search system for searching a similar image similar to a photographed image from a database of images including characters. A face detection unit for detecting the first position of the face in the range where the center portion of the photographed image is cut out in accordance with the aspect ratio of the image included in the database. A search for searching for the similar image from the database by performing a second image search with the matching degree of the image after removing characters included in the image searched by the first image search. and parts, the retrieved image, comprising a reproducing unit for reproducing and displaying as an auxiliary image for sequentially displaying in combination with upper Symbol captured image.
第2の発明に係る画像検索システムは、撮影画像と類似した類似画像を、文字を含む画像のデータベースから検索する画像検索システムにおいて、画像の顔の位置と数と大きさを検出する顔検出部を有し、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、を具備し、上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像である。 An image search system according to a second aspect of the invention is an image search system for searching a similar image similar to a photographed image from a database of images including characters, and a face detection unit for detecting the position, number and size of the face of the image The first image search is performed with the degree of coincidence between the position, number, and size of the face in a range obtained by cutting out the central portion of the photographed image in accordance with the aspect ratio of the image included in the database, A search unit that searches for the similar image from the database by performing a second image search with a matching degree of images after removing characters included in the image searched in the first image search. The images included in the database are package images of content including images and music.
第3の発明に係る画像検索システムは、上記第2の発明において、上記画像検索システムは、検索された画像を補助画像とし、上記撮影画像とて順次表示するスライドショー再生部を具備し、上記スライドショー再生部は、上記順次表示をしながら上記コンテンツのパッケージに含まれる音楽データを再生する。 The image search system according to a third aspect of the present invention is the image search system according to the second aspect, wherein the image search system includes a slide show playback unit that uses the searched image as an auxiliary image and sequentially displays the captured image. The playback unit plays back the music data included in the package of the content while performing the sequential display.
第4の発明に係る画像検索方法は、顔検出部と、文字を含む画像のデータベースと、撮影画像と類似した類似画像を上記データベースから検索する検索部と、再生部を有する画像検索システムの画像検索方法において、上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、上記再生部が、検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生ステップと、を具備する。 An image search method according to a fourth invention is an image of an image search system having a face detection unit, a database of images including characters, a search unit for searching similar images similar to a photographed image, and a playback unit In the search method, the face detection unit detects the position, number, and size of the face of the image, and the search unit matches the aspect ratio of the image included in the database. A first image search is performed with the degree of coincidence between the position, number, and size of the face in the range cut out from the center, and after removing characters included in the image searched in the first image search, by performing the second image retrieval degree of coincidence, a search step of searching the similar image from the database, the reproducing unit, the retrieved image sequentially in combination with upper Symbol captured image Comprising a a playback step of playing back the display as an auxiliary image for Shimesuru.
第5の発明に係る画像検索方法は、顔検出部と、文字を含む画像のデータベースと、撮影画像と類似した類似画像を上記データベースから検索する検索部を有する画像検索システムの画像検索方法において、上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、を具備し、上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像である。
An image search method according to a fifth aspect of the present invention is an image search method for an image search system including a face detection unit, a database of images including characters, and a search unit for searching similar images similar to captured images from the database . A face detection step in which the face detection unit detects the position, number, and size of the face of the image, and the search unit cuts out the central portion of the captured image in accordance with the aspect ratio of the image included in the database. In the range, the first image search is performed with the degree of coincidence of the face position, number, and size, and after the characters included in the image retrieved in the first image search are removed, the image coincidence degree is obtained. A search step of searching for the similar image from the database by performing an image search of 2, wherein the image included in the database is a content including an image or music. Kkeji is an image.
本発明によれば、適用可能な画像の範囲が広く、短時間で生成することができ、ユーザーに期待感や楽しみを与えることの可能な画像検索システム及び画像検索方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the range of the image which can be applied is wide, can produce | generate in a short time, and the image search system and image search method which can give a user a feeling of expectation and pleasure can be provided.
以下、図面に従って本発明を適用した画像再生システムを用いて好ましい実施形態について説明する。図1は本発明の第1実施形態に係わるカメラ10、パーソナルコンピュータ20、テレビ30とからなる画像再生システムの構成を示すブロック図である。 A preferred embodiment will be described below using an image reproduction system to which the present invention is applied according to the drawings. FIG. 1 is a block diagram showing a configuration of an image reproduction system including a camera 10, a personal computer 20, and a television 30 according to the first embodiment of the present invention.
カメラ10は被写体を撮影し、画像を取得するデジタルカメラである。パーソナルコンピュータ20は、カメラ10と接続可能であり、後述するように音楽CD等のジャケットの画像データ等を記憶している。テレビ30はカメラ10に接続可能であり、カメラ10内で生成されたスライドショーの画像データに基づいてスライドショーを再生表示する。なお、カメラ10とパーソナルコンピュータ20との接続は、ケーブル等による有線接続や、電波や赤外線等の無線接続の他、USBメモリ等の記憶媒体を介してのやり取りも含む。 The camera 10 is a digital camera that captures a subject and acquires an image. The personal computer 20 can be connected to the camera 10 and stores image data of a jacket such as a music CD as will be described later. The television 30 can be connected to the camera 10 and reproduces and displays the slide show based on the image data of the slide show generated in the camera 10. The connection between the camera 10 and the personal computer 20 includes not only a wired connection using a cable or the like, a wireless connection such as radio waves or infrared rays, but also an exchange via a storage medium such as a USB memory.
カメラ10は、撮影部1、画像記録部2、画像選択部3、通信及び制御部4、表示部5、スライドショー部6、順番制御部7、類似画像検索部8、顔検出文字検出及び加工部8a、補助コンテンツ記録部9を有している。通信及び制御部4は、カメラ10の全体制御を行い、また、パーソナルコンピュータ20およびテレビ30と接続した際に、通信を行う。 The camera 10 includes a photographing unit 1, an image recording unit 2, an image selection unit 3, a communication and control unit 4, a display unit 5, a slide show unit 6, a sequence control unit 7, a similar image search unit 8, a face detection character detection and processing unit. 8 a and an auxiliary content recording unit 9. The communication and control unit 4 performs overall control of the camera 10 and performs communication when connected to the personal computer 20 and the television 30.
撮影部1は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される信号を処理する画像処理部等を含み、画像データを出力する。画像記録部2は、撮影部1から出力される画像データを記録する。表示部5は、画像記録部2に記録されている画像の再生表示等の表示を行う。画像選択部3は、撮影者による操作部材からの指示に応じて、代表画像を選択する。 The photographing unit 1 includes an optical system for forming a subject image, an image sensor that photoelectrically converts the subject image, an image processing unit that processes a signal output from the image sensor, and the like, and outputs image data. The image recording unit 2 records the image data output from the photographing unit 1. The display unit 5 performs display such as reproduction display of an image recorded in the image recording unit 2. The image selection unit 3 selects a representative image in response to an instruction from the operation member by the photographer.
類似画像検索部8は、画像選択部3で指示した代表画像に類似する補助画像を、パーソナルコンピュータ20等に記録されている画像等の中から検索する。本実施形態においては、音楽CD等のコンテンツのジャケットの画像等と、撮影画像を比較し、撮影画像に類似する画像を検索する。 The similar image search unit 8 searches for an auxiliary image similar to the representative image instructed by the image selection unit 3 from images recorded in the personal computer 20 or the like. In the present embodiment, a photographed image is compared with an image of a content jacket such as a music CD, and an image similar to the photographed image is searched.
顔検出文字検出及び加工部8aは、画像の中から顔の検出や、文字の除去処理を行う。コンテンツジャケットには、往々にして、画像のみならずタイトルや著者やアーティスト名の他、レーベル、出版社名などの文字が含まれている。そこで、顔検出文字検出および加工部8a中の文字検出部によって、画像から文字等を除去し、類似画像検索部8は文字除去された音楽CD等のジャケットの画像と撮影画像を比較し、撮影画像に類似する画像(すなわち補助画像)を検索する。 The face detection character detection and processing unit 8a performs face detection and character removal processing from the image. Content jackets often include characters such as labels, publisher names, as well as images, titles, authors and artist names. Therefore, the character detection unit in the face detection character detection and processing unit 8a removes characters and the like from the image, and the similar image search unit 8 compares the photographed image of the jacket such as a music CD with the photographed image. An image similar to the image (that is, an auxiliary image) is searched.
補助コンテンツ記録部9は、類似画像検索部8によって検索された補助画像を記録する。また、補助画像に関連する情報、例えば、音楽CD等のコンテンツに記録された音楽(音声データ)、またこの音楽の歌詞のテキストデータ等も記録する。 The auxiliary content recording unit 9 records the auxiliary image searched by the similar image search unit 8. Also, information related to the auxiliary image, for example, music (audio data) recorded in content such as a music CD, text data of lyrics of the music, and the like are also recorded.
スライドショー部6は、画像記録部2に記録されている代表画像や撮影画像と、補助コンテンツ記録部9に記録されている補助画像等を組み合わせて、表示部5にスライドショーを行わせる。順番制御部7は、スライドショーを行う際の画像の再生表示の順番を制御する。 The slide show unit 6 causes the display unit 5 to perform a slide show by combining the representative image or the captured image recorded in the image recording unit 2 with the auxiliary image recorded in the auxiliary content recording unit 9. The order control unit 7 controls the order of reproduction and display of images when performing a slide show.
パーソナルコンピュータ20は、通信及び制御部24とコンテンツジャケット記録部21を有している。通信及び制御部24はパーソナルコンピュータ20の全体制御を行うと共に、カメラ10の通信及び制御部4に接続された際には、通信の制御を行う。コンテンツジャケット記録部21は、LPレコード、音楽CD、DVD等のコンテンツのジャケットの画像や、本の表紙画像や、音楽や歌詞等のコンテンツに関連する情報を記憶している。すなわち、コンテンツとしては、既存の漫画、アニメ、テレビ番組、映画、音楽等、種々のものを含み、コンテンツジャケット記録部21には、これらのコンテンツに関連する画像、および関連する情報が蓄積されている。 The personal computer 20 includes a communication and control unit 24 and a content jacket recording unit 21. The communication and control unit 24 performs overall control of the personal computer 20, and controls communication when connected to the communication and control unit 4 of the camera 10. The content jacket recording unit 21 stores information related to content such as LP images, content jacket images such as music CDs and DVDs, book cover images, and music and lyrics. That is, the content includes various things such as existing comics, anime, television programs, movies, music, etc., and the content jacket recording unit 21 stores images and related information related to these contents. Yes.
本実施形態において、カメラ10は、これらの情報を通信及び制御部4、およびパーソナルコンピュータ20の通信及び制御部24を介して、コンテンツジャケット記録部21より取得する。しかし、この方法以外にも、パーソナルコンピュータ20からインターネット等のネットワークを介して外部サーバー等から取得しても良く、また、カメラ10がインターネット等のネットワークを介して、直接外部サーバー等にアクセスし、これらの情報を取得するようにしても良い。また、この方法以外にも、メモリカード等、これらの情報が記録された記録媒体を利用するようにしても良い。 In the present embodiment, the camera 10 acquires these pieces of information from the content jacket recording unit 21 via the communication and control unit 4 and the communication and control unit 24 of the personal computer 20. However, in addition to this method, it may be obtained from an external server or the like from the personal computer 20 via a network such as the Internet, or the camera 10 directly accesses an external server or the like via a network such as the Internet. You may make it acquire such information. In addition to this method, a recording medium on which such information is recorded, such as a memory card, may be used.
次に、図2を用いて、本実施形態における動作について説明する。まず、図2(a)に示すように、カメラ10を用いて撮影を行う。続いて、図2(b)に示すように、カメラ10をパーソナルコンピュータ20に接続する。このとき、ユーザーは表示部8に再生された撮影画像を見ながら代表画像を選択する。カメラ10の類似画像検索部8等は、代表画像と類似する補助画像の検索を行い、検索された補助画像を補助コンテンツ記録部9に記録する。 Next, the operation in this embodiment will be described with reference to FIG. First, as shown in FIG. 2A, shooting is performed using the camera 10. Subsequently, the camera 10 is connected to the personal computer 20 as shown in FIG. At this time, the user selects a representative image while viewing the captured image reproduced on the display unit 8. The similar image search unit 8 or the like of the camera 10 searches for an auxiliary image similar to the representative image, and records the searched auxiliary image in the auxiliary content recording unit 9.
カメラ10で撮影した画像は、カメラ10の表示部5で通常の1駒単位での再生表示やスライドショーで楽しむこともできるが、図2(c)に示すようにテレビ30に接続し、友人等、多数の人と一緒に見て楽しむことができる。また、テレビ30で再生表示して楽しむにあたって、図2(d)に示すように、導入用画像として、みんなの知っているコンテンツ(補助画像)を再生表示し、始まる際の心の準備をしてもらうことができる。 Images taken with the camera 10 can be played back and displayed in a normal frame by the display unit 5 of the camera 10 or can be enjoyed as a slide show. However, as shown in FIG. You can enjoy watching with many people. In addition, when playing back and displaying on the television 30, as shown in FIG. 2D, the content (auxiliary image) that everyone knows is played back and displayed as an introductory image, and preparations are made for the beginning. I can get it.
図2(d)に示すスライドショーは、撮影画像の1駒だけを再生するのではなく、撮影画像の中から複数選びスライドショーで鑑賞する際に、補助コンテンツ(補助画像)として検索した音楽CD等のジャケットを組み合わせて表示する。すなわち、図2(c)に示すような撮影画像100を再生表示する先だって、図2(d)に示すように、撮影画像100に類似したジャケット画像110を表示する。このような補助コンテンツ(この場合は、ジャケット画像110)を表示することにより、単に撮影画像100を表示するだけより、鑑賞者の興味をひきつけることができる。 The slide show shown in FIG. 2 (d) does not play back only one frame of the shot image, but when a plurality of shot images are selected and viewed as a slide show, a music CD or the like retrieved as auxiliary content (auxiliary image) is displayed. Display a combination of jackets. That is, as shown in FIG. 2D, the jacket image 110 similar to the captured image 100 is displayed before the captured image 100 as shown in FIG. By displaying such auxiliary content (in this case, the jacket image 110), it is possible to attract the viewer's interest rather than merely displaying the captured image 100.
なお、この音楽CDに記録されている音楽をBGMとして利用すれば、さらに雰囲気を盛り上げるのに役立てることができる。すなわち、補助画像の元となっている音楽CDの音楽は、撮影画像の持つ雰囲気と同じジャケットの音楽であることから、自然で調和した感じの場合が多く、わざわざ選曲する手間を省くことができる。 If the music recorded on this music CD is used as BGM, it can be used to further enhance the atmosphere. That is, the music on the music CD that is the source of the auxiliary image is the same jacket music as the atmosphere of the photographed image, so it often has a natural and harmonious feeling, and it is possible to save the trouble of selecting the music. .
また、図3(a)に示すような音楽CDのジャケットのジャケット画像110を検索対象として類似画像の検索を行う場合、図3(b)に示すように文字の部分を除去し、純粋に画像部分111のみを抽出する。そして、図3(c)に示すような撮影画像100と、図3(b)に示すような画像部分111の比較を行って、撮影画像100と類似する画像の検索を行う。 Further, when searching for similar images using the jacket image 110 of the music CD jacket as shown in FIG. 3A as a search target, the character portion is removed as shown in FIG. Only the portion 111 is extracted. Then, the photographed image 100 as shown in FIG. 3C is compared with the image portion 111 as shown in FIG. 3B, and an image similar to the photographed image 100 is searched.
なお、類似画像の検索時には、画面内の顔の位置や大きさの情報を利用するようにしても良い。近年、カメラの分野では、ピントや露出を合わせるために、画面内から顔の位置を特定する技術の研究が行われており、このような技術を応用すれば良い。 When searching for similar images, information on the position and size of the face in the screen may be used. In recent years, in the field of cameras, research on techniques for specifying the position of a face from within a screen has been performed in order to adjust the focus and exposure, and such techniques may be applied.
次に、本実施形態におけるカメラ10の動作を、図4に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、再生モードに設定されているか否かの判定を行う(S1)。このカメラ10は、再生モードと撮影モードの2つのモードが使用可能である。判定の結果、再生モードが設定されていない場合には、撮影モードと判定され、次に、レリーズ釦の操作状態を検出し、撮影を行うか否かの判定を行う(S2)。 Next, the operation of the camera 10 in the present embodiment will be described using the flowchart shown in FIG. When the camera control flow is entered, it is first determined whether or not the playback mode is set (S1). The camera 10 can use two modes, a playback mode and a shooting mode. If the playback mode is not set as a result of the determination, it is determined that the mode is a shooting mode, and then the operation state of the release button is detected to determine whether or not to perform shooting (S2).
判定の結果、撮影ではなかった場合には、ステップS1に戻り、一方、撮影であった場合には、撮影動作を実行する(S3)。撮影動作は、撮影部1において、被写体像の画像データを取得し、この画像データを画像記録部2に記録する。撮影動作が終わると、リターンし、ステップS1に戻る。 As a result of the determination, if it is not shooting, the process returns to step S1, whereas if it is shooting, a shooting operation is executed (S3). In the photographing operation, the photographing unit 1 acquires image data of a subject image and records the image data in the image recording unit 2. When the photographing operation ends, the process returns and returns to step S1.
ステップS1における判定の結果、再生モードであった場合には、再生釦等の操作状態を検出し、再生を行うか否かの判定を行う(S11)。判定の結果、再生を行う場合には、ステップS12以下に進み、再生モードを実行する。本実施形態における再生モードでは、通常の再生表示や通常のスライドショーに加えて、補助コンテンツと組み合わせたスライドショーによる再生表示が可能である。 If the result of determination in step S1 is playback mode, the operating state of the playback button or the like is detected and it is determined whether or not playback is to be performed (S11). As a result of the determination, if reproduction is to be performed, the process proceeds to step S12 and subsequent steps, and the reproduction mode is executed. In the playback mode in this embodiment, in addition to normal playback display and normal slide show, playback display by a slide show combined with auxiliary content is possible.
次に、データベース(DB)通信を行うか否かの判定を行う(S13)。カメラ10のユーザーが、補助コンテンツとしての補助画像を得る場合には、ユーザーはその旨の操作を行うので、このステップでは、操作が行われたか否かの判定を行う。判定の結果、DB通信を行う場合には、続いて、類似画像の検索を行うか否かの判定を行う(S21)。ここでの判定は、ユーザーによる検索開始の操作がなされたか否かである。 Next, it is determined whether to perform database (DB) communication (S13). When the user of the camera 10 obtains an auxiliary image as auxiliary content, the user performs an operation to that effect. In this step, it is determined whether or not the operation has been performed. If DB communication is performed as a result of the determination, it is subsequently determined whether or not to search for similar images (S21). The determination here is whether or not the user has started a search start operation.
ステップS21における判定の結果、検索開始ではなかった場合には、ステップS1に戻る。一方、検索開始の場合には、代表画像の指定を行う(S22)。このステップでは、画像記録部2に記録されている撮影画像を表示部5に順次再生表示させ、この再生表示された撮影画像の中から、ユーザーが好みに応じて代表画像を指定する。 If the result of determination in step S21 is that search has not started, processing returns to step S1. On the other hand, when the search is started, a representative image is designated (S22). In this step, the captured images recorded in the image recording unit 2 are sequentially reproduced and displayed on the display unit 5, and the user designates a representative image from the reproduced and displayed captured images according to his / her preference.
代表画像の指定が終わると、次に、選択された代表画像と類似する画像の検索を行う(S23)。この類似画像を検索する画像一致度判定のサブルーチンについては、図5を用いて後述する。続いて、ステップS22で指定された代表画像について、全ての対象画像と画像一致度判定がなされ、終了したかを判定する(S25)。判定の結果、終了ではなかった場合には、対象画像を変更し(S27)、ステップS23に戻り、ステップS27で変更された対象画像に対して画像一致度の判定を行う。 When the designation of the representative image is completed, an image similar to the selected representative image is searched for (S23). The subroutine for determining the degree of coincidence for searching for similar images will be described later with reference to FIG. Subsequently, with respect to the representative image designated in step S22, the degree of image coincidence with all target images is determined, and it is determined whether or not the processing has been completed (S25). As a result of the determination, if it is not the end, the target image is changed (S27), the process returns to step S23, and the image matching degree is determined for the target image changed in step S27.
ステップS25において、全ての対象画像との画像一致度の判定が終了したと判定されると、次に、一致度最大の画像を取得する(S26)。ステップS23の画像一致度判定のサブルーチンの中で、対象画像ごとに一致度が数値化されるので、一致度を判定した対象画像の中で一致度の数値が最も高い対象画像を、このステップで取得し、これを補助画像とする。一致度最大画像を取得すると、リターンし、ステップS1から実行する。なお、スライドショーで補助画像と共に再生表示する代表画像は通常1駒とするが、複数ある場合には、代表画像の選択を複数回、繰り返す。 If it is determined in step S25 that the determination of the degree of coincidence with all target images has been completed, an image having the maximum degree of coincidence is then acquired (S26). Since the degree of coincidence is digitized for each target image in the image coincidence degree determination subroutine in step S23, the target image having the highest degree of coincidence among the target images for which the degree of coincidence has been determined is determined in this step. Acquired and used as an auxiliary image. When the matching degree maximum image is acquired, the process returns and is executed from step S1. Note that the representative image that is reproduced and displayed together with the auxiliary image in the slide show is normally one frame, but when there are a plurality of representative images, the selection of the representative image is repeated a plurality of times.
ステップS13における判定の結果、DB通信でなかった場合には、次にスライドショーか否かの判定を行う(S14)。判定の結果、スライドショーでなかった場合には、通常の再生表示、例えば、サムネイル再生からの選択画像の再生表示を行う(S15)。一方、スライドショーの場合には、ステップS31以下のステップを実行することにより、補助画像(ステップS26において取得した画像)をあたかもスライドショーのオープニング画面のように再生した後に、代表画像を再生表示し、その後、順次、撮影した時系列に従って撮影画像をスライドショーの形式で再生表示する。 If the result of determination in step S13 is not DB communication, it is next determined whether or not it is a slide show (S14). If the result of determination is not a slide show, normal playback display, for example, playback display of the selected image from thumbnail playback is performed (S15). On the other hand, in the case of a slide show, by executing the steps after step S31, the auxiliary image (the image acquired in step S26) is reproduced as if it were an opening screen of the slide show, and then the representative image is reproduced and displayed. Then, sequentially, the captured images are reproduced and displayed in the form of a slide show according to the time series of the captured images.
スライドショーは、まず、画像受信済みか否かの判定を行う(S31)。すなわち、ステップS13において、DB通信を行い、ステップS26において補助画像を取得したか否かの判定を行う。 In the slide show, first, it is determined whether or not an image has been received (S31). That is, in step S13, DB communication is performed, and it is determined whether or not an auxiliary image has been acquired in step S26.
判定の結果、画像受信済みの場合には、外部出力を行うか否かの判定を行う(S32)。カメラ10にテレビ30が接続され、図2(c)(d)に示したように多人数で鑑賞する場合には、このステップで、スライドショーの画像データをテレビ30等の外部機器に外部出力を行う。判定の結果、外部出力の場合には、通信及び制御部4からテレビ30等の外部機器に補助画像、代表画像、撮影画像等の画像データ等を出力する。画像外部出力が終わると、リターンし、ステップ1から実行する。 As a result of the determination, if the image has been received, it is determined whether or not to perform external output (S32). In the case where a television 30 is connected to the camera 10 and a large number of people are watching as shown in FIGS. 2C and 2D, in this step, the slide show image data is externally output to an external device such as the television 30. Do. As a result of the determination, in the case of external output, the image data such as an auxiliary image, a representative image, and a captured image is output from the communication and control unit 4 to an external device such as the television 30. When the external image output ends, the process returns and the process is executed from step 1.
ステップS32における判定の結果、外部出力でなかった場合には、補助画像の再生を行い(S33)、続いて、代表画像の再生を行う(S34)。代表画像の再生が終わると、撮影日時順に順次撮影画像をスライドショーする(S35)。 If the result of determination in step S32 is that there is no external output, auxiliary images are reproduced (S33), and then representative images are reproduced (S34). When the reproduction of the representative image is completed, a slide show of the captured images is sequentially performed in order of the shooting date and time (S35).
このように通常のスライドショーに先立って、代表画像と類似している補助画像を再生表示し、その後、代表画像を再生表示している。つまり、図2(d)に示すように、補助画像を最初に再生して、スライドショーの始まる感じを高め、そのあと、図2(c)に示すように、撮影画像の再生を開始する。補助画像に続いて出される画像は、類似画像の検索の元となった代表画像である。代表画像が表示されることによって、何故、その補助画像が表示されたかが鑑賞者に理解される。図1における順番制御部7は、こうした並べ替えを行う。 As described above, prior to the normal slide show, the auxiliary image similar to the representative image is reproduced and displayed, and then the representative image is reproduced and displayed. That is, as shown in FIG. 2D, the auxiliary image is reproduced first to enhance the feeling of starting the slide show, and then the reproduction of the captured image is started as shown in FIG. The image that appears after the auxiliary image is a representative image from which a similar image is retrieved. By displaying the representative image, the viewer understands why the auxiliary image is displayed. The order control unit 7 in FIG. 1 performs such rearrangement.
ステップS31における判定の結果、画像受信済みでなかった場合には、補助画像が検索されていないことから、ステップS33、S34をスキップし、ステップS35の時系列スライドショーを実行する。時系列スライドショーが終わると、リターンし、ステップS1から実行する。 If the result of determination in step S31 is that the image has not been received, the auxiliary image has not been searched, so steps S33 and S34 are skipped, and the time-series slide show in step S35 is executed. When the time-series slide show ends, the process returns and is executed from step S1.
次に、ステップS23における画像一致度判定のサブルーチンについて、図5に示すフローチャートを用いて説明する。画像一致度の判定するにあたって、コンテンツジャケット記録部21等のデータベース(DB)に格納されているDB画像は、撮影画像とアスペクト比が異なっている点に注意を要する。 Next, the image matching degree determination subroutine in step S23 will be described with reference to the flowchart shown in FIG. When determining the degree of image coincidence, it should be noted that the DB image stored in the database (DB) such as the content jacket recording unit 21 has a different aspect ratio from the photographed image.
例えば、LPレコードや音楽CDのジャケットのように正方形の画像と、通常のデジタルカメラの4:3の画像では、そのまま一致度を比較することが困難である。そこで、本実施形態においては、DB画像のアスペクト比に合わせて、撮影画像の中央部を切り出してから比較している。また、そのように切り出した範囲で、画像の類似度を比較すると共に、顔の位置を検出し、文字を除去した画像を用いて比較を行っている。 For example, it is difficult to directly compare the degree of coincidence between a square image such as an LP record or a music CD jacket and a 4: 3 image of a normal digital camera. Therefore, in the present embodiment, the comparison is made after cutting out the central portion of the photographed image in accordance with the aspect ratio of the DB image. In addition, the similarity between the images is compared within the cut-out range, the face position is detected, and the comparison is performed using the image from which characters are removed.
画像一致度判定のサブルーチンに入ると、まず、ステップS22において指定された代表画像の顔の数と位置判定を行う(S101)。続いて、ステップS101における判定結果に基づいて、代表画像に顔が有ったか否かについて判定する(S102)。判定の結果、顔が有った場合には、データベース(DB)としてのコンテンツジャケット記録部21に記録されている画像の中から顔の存在する画像を選択する(S103)。このステップでは、多数ある画像の中から対象画像として1つを選択する。前述した、ステップS27の処理によって次の対象画像が選択され、また、ステップS25において、全ての対象画像について処理が終了したかが判定される。 When the image matching degree determination subroutine is entered, first, the number and positions of the faces of the representative image designated in step S22 are determined (S101). Subsequently, based on the determination result in step S101, it is determined whether or not there is a face in the representative image (S102). As a result of the determination, if there is a face, an image having a face is selected from images recorded in the content jacket recording unit 21 as a database (DB) (S103). In this step, one target image is selected from a large number of images. In step S27 described above, the next target image is selected. In step S25, it is determined whether the processing has been completed for all target images.
続いて、コンテンツジャケット記録部21に記録されている画像のアスペクト比に合わせた範囲で、代表画像と比較を行う(S104)。そして、コンテンツジャケット記録部21に記録されている画像と、アスペクト比を考慮した範囲内で、顔の位置や、顔の数が同じ画像を選択する(S105)。 Subsequently, the image is compared with the representative image within a range that matches the aspect ratio of the image recorded in the content jacket recording unit 21 (S104). Then, an image having the same face position and the same number of faces is selected within the range in which the aspect ratio is taken into consideration with the image recorded in the content jacket recording unit 21 (S105).
ステップS102における判定の結果、代表画像に顔が存在していなかった場合には、コンテンツジャケット記録部21に記録されて画像の中から顔が存在しない画像を選択する(S111)。そして、コンテンツジャケット記録部21に記録されている画像のアスペクト比に合わせた範囲で、代表画像と比較を行う(S112)。 If the result of determination in step S102 is that there is no face in the representative image, an image recorded in the content jacket recording unit 21 and having no face is selected from the images (S111). Then, it is compared with the representative image within a range that matches the aspect ratio of the image recorded in the content jacket recording unit 21 (S112).
ステップS105またはS112における処理が終わると、次に、選択された画像の中に文字が存在しているか否かの判定を行う(S106)。前述したように、画像の中に文字等が混在していると、類似度の判定の精度が低下するため、事前に文字等を除いた部分で一致度を判定している。 When the process in step S105 or S112 is completed, it is next determined whether or not a character exists in the selected image (S106). As described above, if characters and the like are mixed in the image, the accuracy of the similarity determination is lowered. Therefore, the degree of coincidence is determined in a portion excluding the characters and the like in advance.
ステップS106における判定の結果、文字が存在していた場合には、文字部以外で一致度を判定し(S107)、ステップS106において文字が存在していなかった場合には、ステップS107をスキップし、ステップS108に進む。 If the character is present as a result of the determination in step S106, the degree of coincidence is determined in a portion other than the character portion (S107). If the character is not present in step S106, step S107 is skipped, Proceed to step S108.
続いて、コンテンツジャケット記録部21に記録されているDB画像のアスペクト比に合わせた範囲の全体で、代表画像と類似の一致度を判定する(S108)。一致度の判定が終わると、元のルーチンに戻る。 Subsequently, the degree of coincidence similar to the representative image is determined over the entire range in accordance with the aspect ratio of the DB image recorded in the content jacket recording unit 21 (S108). When the coincidence determination is completed, the process returns to the original routine.
以上説明したように、本発明の第1実施形態においては、スライドショーで撮影画像を再生表示する前に、代表画像と、この代表画像に類似した補助画像を再生表示する。補助画像は、DB画像が記録されているコンテンツジャケット記録部21の中から検索しており、補助画像と代表画像を再生表示することにより、鑑賞者の興味を引き付けることができ、ユーザーに期待感や楽しみを与えることの可能である。 As described above, in the first embodiment of the present invention, before the captured image is reproduced and displayed in the slide show, the representative image and the auxiliary image similar to the representative image are reproduced and displayed. The auxiliary image is searched from the content jacket recording unit 21 in which the DB image is recorded. By reproducing and displaying the auxiliary image and the representative image, the viewer's interest can be attracted, and the user has a sense of expectation. And can give fun.
また、本実施形態においては、代表画像に顔画像が存在している必要がないことから、適用可能な画像の範囲が広く、また、代表画像は単に撮影画像から指定するだけであり、代表画像作成のための画像処理がなく、短時間で生成することができる。 Further, in the present embodiment, since the face image does not need to exist in the representative image, the range of applicable images is wide, and the representative image is simply specified from the captured image. It can be generated in a short time without image processing for creation.
さらに、本実施形態においては、DB画像のアスペクト比に応じた範囲で一致度の判定を行っており、また文字部分は無視して一致度を判定するようにしているので、短時間で精度の高い一致度の判定を行うことができる。 Furthermore, in the present embodiment, the degree of coincidence is determined within a range corresponding to the aspect ratio of the DB image, and the degree of coincidence is determined by ignoring the character portion. It is possible to determine a high degree of coincidence.
なお、本実施形態においては、DB画像としては、音楽CD等のジャケットや本等の表紙の画像であったが、これに限らず、例えば、カメラ10の撮影者が既に撮影した画像や、また外部サーバーに記録されている第三者が撮影した画像や、イラスト・絵画等、その他種々の画像であっても良い。 In the present embodiment, the DB image is a cover image such as a jacket such as a music CD or a book. However, the DB image is not limited to this. For example, It may be an image taken by a third party recorded in an external server, or other various images such as illustrations and paintings.
また、本実施形態においては、時系列スライドショーに先立って冒頭部分のみに、代表画像および補助画像の再生表示を行っていたが、これに限らず、中間部分の区切りの良いタイミング等において第2の代表画像とその補助画像の再生表示を行うようにしても良い。さらに、本実施形態においては、カメラ10とパーソナルコンピュータ20を連携したシステムとしていたが、カメラ10の画像選択部3、類似画像検索部8、顔検出文字検出及び加工部8a、スライドショー部6、順番制御部7、補助コンテンツ記録部9等の機能を、パーソナルコンピュータ20とこれにインストールされたプログラムによって実行するようにしても良い。 In this embodiment, the representative image and the auxiliary image are reproduced and displayed only at the beginning before the time-series slide show. However, the present invention is not limited to this. The representative image and its auxiliary image may be reproduced and displayed. Furthermore, in the present embodiment, the camera 10 and the personal computer 20 are linked to each other. However, the image selection unit 3, the similar image search unit 8, the face detection character detection and processing unit 8 a, the slide show unit 6, the order of the camera 10. The functions of the control unit 7 and the auxiliary content recording unit 9 may be executed by the personal computer 20 and a program installed therein.
次に、本発明の第2実施形態について、図6ないし図9を用いて説明する。第1実施形態においては類似画像の検索をカメラ10内で行っていたが、第2実施形態においては、インターネット等のネットワークを経由してサーバー等の外部機器で類似画像検索を行うようにしている。 Next, a second embodiment of the present invention will be described with reference to FIGS. In the first embodiment, similar images are searched in the camera 10, but in the second embodiment, similar images are searched by an external device such as a server via a network such as the Internet. .
図6は第2実施形態に係わるカメラ10、サーバー40とからなる画像再生システムの構成を示すブロック図である。カメラ10は、撮影部1、画像記録部2、画像選択部3、通信及び制御部4、表示部5、スライドショー部6、順番制御部7、補助コンテンツ記録部9を有している。これらの各部の機能は、図1に示した第1実施形態と同様であるので詳細な説明は省略する。 FIG. 6 is a block diagram illustrating a configuration of an image reproduction system including the camera 10 and the server 40 according to the second embodiment. The camera 10 includes a photographing unit 1, an image recording unit 2, an image selection unit 3, a communication and control unit 4, a display unit 5, a slide show unit 6, an order control unit 7, and an auxiliary content recording unit 9. The functions of these units are the same as those of the first embodiment shown in FIG.
データベースとしての機能を果たすサーバー40は、コンテンツジャケット記録部21、類似画像検索部22、顔検出文字検出及び加工部23、通信及び制御部24、代表画像仮記憶部25を有する。通信及び制御部24は、サーバー40の全体制御を行うと共に、インターネット網等を通じてカメラ10等の外部機器との通信を行う。 The server 40 that functions as a database includes a content jacket recording unit 21, a similar image search unit 22, a face detection character detection and processing unit 23, a communication and control unit 24, and a representative image temporary storage unit 25. The communication and control unit 24 performs overall control of the server 40 and also communicates with external devices such as the camera 10 through the Internet network or the like.
類似画像検索部22および顔検出文字検出及び加工部23は、図1に示した第1実施形態と同様であるので、詳細な説明は省略するが、顔検出文字検出及び加工部23は顔の位置、数を検出し、また文字部分を抽出して画像から除去する機能を果たす。また、類似画像検索部22は、コンテンツジャケット記録部21に記録されている画像の中から代表画像と類似する画像を検索する。 Since the similar image search unit 22 and the face detection character detection and processing unit 23 are the same as those in the first embodiment shown in FIG. It functions to detect the position and number, and to extract the character part and remove it from the image. The similar image search unit 22 searches for an image similar to the representative image from the images recorded in the content jacket recording unit 21.
代表画像仮記憶部25は、カメラ10の画像選択部3で指定された代表画像を、仮記憶するための記憶部である。前述した類似画像検索部22は、代表画像仮記憶部25に記憶されている代表画像を用いて検索を行う。 The representative image temporary storage unit 25 is a storage unit for temporarily storing the representative image designated by the image selection unit 3 of the camera 10. The similar image search unit 22 described above performs a search using the representative image stored in the representative image temporary storage unit 25.
このように、カメラ10側には、補助コンテンツ記録部9と、スライドショーの順番制御部7と、スライドショーのために画像記録部2や補助コンテンツ記録部9から逐次データを読み出して再生するスライドショー部6等を配置し、サーバー40側には、カメラ10から送られてきた代表画像を仮記憶する機能と、類似画像を検索する機能を持たせている。類似画像の検索にあたっては、第1実施形態と同様、人物画像か否かや、顔の位置、数などを考慮して検索を行うようにし、また、補助コンテンツの文字部は無視して処理する。 Thus, on the camera 10 side, the auxiliary content recording unit 9, the slide show order control unit 7, and the slide show unit 6 that sequentially reads out and reproduces data from the image recording unit 2 and the auxiliary content recording unit 9 for the slide show. The server 40 side has a function of temporarily storing a representative image sent from the camera 10 and a function of searching for a similar image. When searching for similar images, as in the first embodiment, the search is performed in consideration of whether the image is a person image, the position and number of faces, and the character portion of the auxiliary content is ignored. .
次に、図7を用いて、本実施形態における動作について説明する。図7に示すように、カメラ10は、被写体11を撮影し、このとき撮影した撮影画像12の中から代表画像12aを指定し(図中No.4の画像)、この代表画像12aをネットワーク19を介してサーバー40に送信する。サーバー40は、データベースとしてのコンテンツジャケット記録部21から、代表画像と類似する類似画像を検索し、一致度の最も高い画像を補助画像22とする。 Next, the operation in this embodiment will be described with reference to FIG. As shown in FIG. 7, the camera 10 captures the subject 11, designates a representative image 12 a from the photographed images 12 captured at this time (image No. 4 in the figure), and stores the representative image 12 a on the network 19. To the server 40 via The server 40 searches for a similar image similar to the representative image from the content jacket recording unit 21 as a database, and sets the image having the highest degree of matching as the auxiliary image 22.
補助画像22が検索されると、サーバー40はカメラ10に補助画像22を送信する。カメラ10はスライドショーを開始すると、まず、検索された補助画像22が再生表示され、続いて代表画像12aが再生され、この後、撮影順にNo.1〜No.4の撮影画像12が再生される。 When the auxiliary image 22 is searched, the server 40 transmits the auxiliary image 22 to the camera 10. When the camera 10 starts the slide show, first, the searched auxiliary image 22 is reproduced and displayed, and then the representative image 12a is reproduced. 1-No. Four captured images 12 are reproduced.
また、補助画像22は、出版されたコンテンツであるため、そのコンテンツに対してメーカーが付した付随情報や、ユーザーの感想や意見等、付随情報(図中A〜D)が付いている。音楽CDの場合には、付随情報として楽曲データも含まれている。そこで、補助画像22の再生表示と共に、音楽CDに収録されている楽曲を再生しながら、スライドショーを行うことが可能となる。また、曲名、作曲家、アーティストなど、その他の情報から、その音楽CDには収録されていなくとも、同様の雰囲気を持つ楽曲を、検索して再生するようにしても良い。 Further, since the auxiliary image 22 is a published content, accompanying information (A to D in the figure) such as accompanying information attached by the manufacturer to the content and user's impression and opinion is attached. In the case of a music CD, music data is also included as accompanying information. Therefore, it is possible to perform a slide show while reproducing the music recorded on the music CD along with the reproduction display of the auxiliary image 22. Further, a music piece having the same atmosphere may be searched and reproduced from other information such as a song title, composer, artist, etc. even if it is not recorded on the music CD.
次に、本実施形態におけるカメラ10の動作を、図8に示すフローチャートを用いて説明する。図4に示した第1実施形態におけるカメラ制御と同じ処理ステップについては、同一のステップ番号を付与し、詳細な説明は省略する。第1実施形態においては、補助画像の検索はカメラ10内において行っていたが、第2実施形態においては、サーバー40において検索を行っており、この相違点を中心に説明する。 Next, the operation of the camera 10 in the present embodiment will be described using the flowchart shown in FIG. The same processing steps as those in the camera control in the first embodiment shown in FIG. 4 are given the same step numbers, and detailed descriptions thereof are omitted. In the first embodiment, the search for the auxiliary image is performed in the camera 10, but in the second embodiment, the search is performed in the server 40, and this difference will be mainly described.
カメラ制御のフローに入り実行するステップS1〜ステップS15は、第1実施形態と同様である。ステップS13におけるDB通信か否かの判定の結果、DB通信であった場合には、補助画像やその関連情報の取得を開始するか判定する(S21A)。この判定は、不図示の取得開始用の操作部材がユーザーによって操作されたか否かを検出する。 Steps S1 to S15 executed in the camera control flow are the same as those in the first embodiment. If the result of determination in step S13 is DB communication, if it is DB communication, it is determined whether or not acquisition of an auxiliary image and related information is started (S21A). This determination detects whether or not an operation member for starting acquisition (not shown) has been operated by the user.
ステップS21Aにおける判定の結果、補助画像等の取得を行わない場合には、別の情報を取得すべく取得情報の変更を行ってから(S29)、ステップS1に戻る。ステップS29は、後述するステップS26Aにおいて取得した補助画像やその関連情報では満足できない場合に、さらに情報の取得を行うために、情報取得のための条件等を設定・変更する。一方、ステップS21Aにおける判定の結果、補助画像等の取得を開始する場合には、代表画像を指定し(S22)、この指定された代表画像をサーバー40に送信する(S23A)。代表画像は表示部5に再生表示されている撮影画像の中からユーザーが指定したものである。 If the auxiliary image or the like is not acquired as a result of the determination in step S21A, the acquired information is changed to acquire another information (S29), and the process returns to step S1. In step S29, if the auxiliary image acquired in step S26A, which will be described later, or the related information is not satisfied, a condition for acquiring information is set / changed in order to further acquire information. On the other hand, if acquisition of an auxiliary image or the like is started as a result of the determination in step S21A, a representative image is designated (S22), and the designated representative image is transmitted to the server 40 (S23A). The representative image is designated by the user from the captured images reproduced and displayed on the display unit 5.
代表画像の送信が終わると(S25→Yes)、サーバー40から一致度が最大となった画像(補助画像)と、この補助画像に関連する情報を取得する(S26A)。すなわち、補助画像等の検索はサーバー40が行うので、カメラ10はサーバー40における検索が終了し、検索結果を送信されてくるのを待ち、送信されてくると、送信されてきた補助画像とその関連情報を取得する。関連情報としては、補助画像が音楽CDのジャケットの画像であれば、音楽CDに収録されている音楽等である。 When the transmission of the representative image ends (S25 → Yes), the image (auxiliary image) having the highest degree of coincidence and information related to the auxiliary image are acquired from the server 40 (S26A). That is, since the server 40 searches for auxiliary images and the like, the camera 10 waits for the search in the server 40 to end and the search results to be transmitted. Get related information. As related information, if the auxiliary image is an image of a music CD jacket, it is music recorded on the music CD.
ステップS14における判定の結果、スライドショーでなかった場合には、画像受信済みか否かの判定を行う(S31)。第2実施形態においては、補助画像の検索は、外部のサーバー40において実施しており、このステップでは、サーバー40から補助画像をステップS26Aにおいて受信したか否かの判定を行う。 If the result of determination in step S14 is not a slide show, it is determined whether or not an image has been received (S31). In the second embodiment, the auxiliary image search is performed in the external server 40, and in this step, it is determined whether or not the auxiliary image is received from the server 40 in step S26A.
ステップS31における判定の結果、画像を受信していれば、図7を用いて説明したように、補助画像を再生表示し、また関連情報を用いて、例えば、音楽CDの再生を行い(S33A)、代表画像を再生表示する(S35A)。補助画像と代表画像の再生表示を終えると、続いて、撮影画像を撮影日時順に順次、再生する通常のスライドショーを実行する(S35A)。 If the result of determination in step S31 is that an image has been received, as described with reference to FIG. 7, the auxiliary image is reproduced and displayed, and for example, a music CD is reproduced using the related information (S33A). The representative image is reproduced and displayed (S35A). When the reproduction display of the auxiliary image and the representative image is finished, a normal slide show for sequentially reproducing the photographed images in order of the photographing date and time is executed (S35A).
ステップS31における判定の結果、画像を受信していない場合には、補助画像がないことから、ステップS35Aにおいて、通常のスライドショーを実行し、通常のスライドショーが終わると、リターンし、ステップS1から実行する。 If the result of determination in step S31 is that no image has been received, there is no auxiliary image. Therefore, in step S35A, a normal slide show is executed, and when the normal slide show ends, the process returns and executes from step S1. .
このように、第2実施形態におけるカメラ10は、画像検索は行わず、代表画像をサーバー40に送信(S24)し、サーバー40から検索された補助画像等を取得し(S26)、この補助画像を用いてスライドショーを実行している(S33〜S35)。また、ネット通信状態では、ネットを介して、外部に画像を送信し(S23A)、また得られた取得情報から、さらなる別の情報を取得している(S29)。検索された補助画像等が気に入らない時や、楽曲が気に入らない時には、ステップS29において、さらなる情報取得する旨を発信することができる。 As described above, the camera 10 according to the second embodiment does not perform the image search, transmits the representative image to the server 40 (S24), acquires the auxiliary image retrieved from the server 40 (S26), and this auxiliary image. Is used to execute a slide show (S33 to S35). In the network communication state, an image is transmitted to the outside via the network (S23A), and further different information is acquired from the obtained acquisition information (S29). When the searched auxiliary image or the like is not liked, or when the music is not liked, it can be transmitted in step S29 that further information is acquired.
なお、第2実施形態においても、第1実施形態と同様に、カメラ10にテレビ30を撮像可能とし、補助画像を再生表示するスライドショーを行うようにしても良い。この場合には、ステップS31の次に、外部出力を行うかの判定し、判定結果に応じて、画像を外部に出力するようにする。 Also in the second embodiment, as in the first embodiment, a slide show may be performed in which the television 10 can be captured by the camera 10 and an auxiliary image is reproduced and displayed. In this case, after step S31, it is determined whether to perform external output, and an image is output to the outside according to the determination result.
次に、本実施形態におけるサーバー40の動作を、図9に示すフローチャートを用いて説明する。このフローに入ると、まず、代表画像を取得したか否かについて判定する(S51)。前述したように、カメラ10はステップS23Aにおいて、代表画像を送信してくるので、このステップにおいて代表画像を受信したか否かの判定を行う。 Next, the operation of the server 40 in this embodiment will be described using the flowchart shown in FIG. If this flow is entered, it is first determined whether or not a representative image has been acquired (S51). As described above, since the camera 10 transmits the representative image in step S23A, it is determined whether or not the representative image is received in this step.
ステップS51における判定の結果、代表画像を取得した場合には、取得した代表画像を代表画像仮記憶部25に仮記憶する(S52)。続いて、顔検出文字検出及び加工部23によって対象画像から文字を除去する(S53)。すなわち、コンテンツジャケット記録部21に記録されている音楽CD等のジャケットの画像には、文字等が記載されており、この文字等を除去することにより、画像の一致度の判定の精度を向上させている。 When the representative image is acquired as a result of the determination in step S51, the acquired representative image is temporarily stored in the representative image temporary storage unit 25 (S52). Subsequently, the characters are removed from the target image by the face detection character detection and processing unit 23 (S53). That is, characters and the like are described in the jacket image such as a music CD recorded in the content jacket recording unit 21, and by removing these characters and the like, the accuracy of determining the degree of coincidence of the images is improved. ing.
続いて、顔検出文字検出及び加工部23によって対象画像の顔の位置を検出し、この顔位置も考慮して、代表画像と対象画像の一致度を判定する(S54)。ここでは、一致度に応じた数値を求めておく。一致度の判定が終わると、コンテンツジャケット記録部21中の対象画像の全部について一致度の判定が終了したか否かの判定を行う(S55)。判定の結果、終了していなかった場合には、次の対象画像に変更し(S57)、ステップS53に戻り、前述と同様に判定を繰り返す。 Subsequently, the face position of the target image is detected by the face detection character detection and processing unit 23, and the degree of coincidence between the representative image and the target image is determined in consideration of the face position (S54). Here, a numerical value corresponding to the degree of coincidence is obtained. When the coincidence determination is completed, it is determined whether or not the coincidence determination has been completed for all the target images in the content jacket recording unit 21 (S55). As a result of the determination, if it has not been completed, the image is changed to the next target image (S57), the process returns to step S53, and the determination is repeated in the same manner as described above.
ステップS55における判定の結果、全ての対象画像について判定が終わった場合には、一致度の最大の画像(補助画像)と、この補助画像の関連情報(例えば、収録されている音楽等)を、カメラ10に送信する(S56)。 As a result of the determination in step S55, when all the target images have been determined, the image with the highest degree of coincidence (auxiliary image) and related information (for example, recorded music) of the auxiliary image are obtained. It transmits to the camera 10 (S56).
続いて、カメラ10から画像NGを受けたか否かの判定を行う(S71)。すなわち、カメラ10のユーザーがサーバー40から送信されてきた補助画像では満足できない場合には、ステップS29において取得情報変更でその旨を送信してくる。判定の結果、画像NGを受信した場合には、次に一致度の高い画像とその関連情報をカメラ10に送信し(S72)、ステップS71に戻る。 Subsequently, it is determined whether or not an image NG is received from the camera 10 (S71). That is, when the user of the camera 10 is not satisfied with the auxiliary image transmitted from the server 40, the fact is transmitted by changing the acquired information in step S29. If the image NG is received as a result of the determination, the image having the next highest matching degree and its related information are transmitted to the camera 10 (S72), and the process returns to step S71.
ステップS71における判定の結果、画像NGでなかった場合には、次に、関連情報がOKか否かの判定を行う(S73)。カメラ10のユーザーが、サーバー40から送信された関連情報では満足できない場合には、ステップS29においてその旨を送信してくる。判定の結果、OKではなかった場合には、補助画像に関連する別の関連情報を送信し(S74)、ステップS73に戻る。ステップS73における判定の結果、関連情報がOKの場合には、リターンする。 If the result of determination in step S71 is that the image is not NG, it is next determined whether or not the related information is OK (S73). If the user of the camera 10 is not satisfied with the related information transmitted from the server 40, the fact is transmitted in step S29. If the result of determination is that it is not OK, other related information related to the auxiliary image is transmitted (S74), and the process returns to step S73. As a result of the determination in step S73, if the related information is OK, the process returns.
ステップS51の判定の結果、代表画像を取得していなかった場合には、通常の画像の記録と閲覧のサーバーとして働く。まず、記録用の画像を取得したか否かの判定を行う(S61)。判定の結果、記録用の画像を取得した場合には、その画像をサーバー40内の記録用の画像記録部に記録し(S62)、リターンする。 If the result of determination in step S51 is that a representative image has not been acquired, it functions as a normal image recording and browsing server. First, it is determined whether an image for recording has been acquired (S61). As a result of the determination, if a recording image is acquired, the image is recorded in the recording image recording unit in the server 40 (S62), and the process returns.
ステップS61における判定の結果、記録用の画像を取得していなかった場合には、サーバー40内に記録された画像の鑑賞か否かの判定を行う(S63)。判定の結果、画像鑑賞でもなかった場合には、そのままリターンし、一方、画像鑑賞の場合には、アクセスに従って、画像の表示を行い(S64)、リターンする。 If the result of determination in step S61 is that an image for recording has not been acquired, it is determined whether or not to view the image recorded in the server 40 (S63). If the result of the determination is that the image is not appreciating, the process returns as it is. On the other hand, if the image is appreciating, the image is displayed according to the access (S64), and the process returns.
このように、本発明の第2実施形態においては、サーバー40が代表画像を取得すると、この代表画像を仮記憶し、類似のジャケットを有する音楽CD等の検索を行い(S51→S54)、検索された補助画像をカメラ10に送信し(S56)、この時、関連情報も一緒に送信する。ユーザーが送信した補助画像を気に入らない旨の操作を行った場合には、ステップS71、S73においてその旨を判定すると、別の補助画像や関連情報を送信する(S71、S74)。また、単なる撮影画像を記録する画像バンク機能を有しており、送信されてきた画像を保管し(S62)、アクセスに応じて再生(S63→S64)している。サーバー40としては画像バンク機能を省略してもよく、また他の機能を有するようにしても良い。 As described above, in the second embodiment of the present invention, when the server 40 acquires the representative image, the representative image is temporarily stored, and a music CD having a similar jacket is searched (S51 → S54). The auxiliary image thus transmitted is transmitted to the camera 10 (S56). At this time, related information is also transmitted together. If the user performs an operation not to like the auxiliary image transmitted, if it is determined in steps S71 and S73, another auxiliary image and related information are transmitted (S71 and S74). Further, it has an image bank function for recording a mere photographed image, and stores the transmitted image (S62) and reproduces it in response to access (S63 → S64). The server 40 may omit the image bank function or may have other functions.
次に、本発明の第3実施形態について、図10および図11を用いて説明する。第1および第2実施形態において、補助画像はスライドショーの冒頭部分に再生表示し、また補助画像としては静止画像を単独に表示再生していた。第3実施形態においては、補助画像は最後に再生表示し、また補助画像の再生後、引き続き補助画像に関連する動画を再生表示するようにしている。 Next, a third embodiment of the present invention will be described with reference to FIGS. 10 and 11. In the first and second embodiments, the auxiliary image is reproduced and displayed at the beginning of the slide show, and a still image is independently displayed and reproduced as the auxiliary image. In the third embodiment, the auxiliary image is reproduced and displayed last, and after the auxiliary image is reproduced, a moving image related to the auxiliary image is continuously reproduced and displayed.
図10は第3実施形態に係わるカメラ10、テレビ30、サーバー40とからなる画像再生システムの構成を示すブロック図である。カメラ10は、撮影部1、画像記録部2、画像選択部3、通信及び制御部4、表示部5、補助データ部6Aを有している。補助データ部6Aを除いて、各部の機能は、図1に示した第1実施形態と同様であるので同一の部については、詳細な説明は省略する。 FIG. 10 is a block diagram illustrating a configuration of an image reproduction system including the camera 10, the television 30, and the server 40 according to the third embodiment. The camera 10 includes a photographing unit 1, an image recording unit 2, an image selection unit 3, a communication and control unit 4, a display unit 5, and an auxiliary data unit 6A. Except for the auxiliary data part 6A, the function of each part is the same as that of the first embodiment shown in FIG. 1, and therefore the detailed description of the same part is omitted.
補助データ部6Aは、代表画像が有する撮影日時や撮影場所を画像に関連して記憶する記憶部である。撮影日時等の情報は、代表画像をサーバー40に送信する際に、一緒に送信され、サーバー40が補助画像の検索を行う際に、撮影日時等の情報も考慮して行う。 The auxiliary data unit 6A is a storage unit that stores the shooting date and time and the shooting location of the representative image in association with the image. The information such as the shooting date and time is transmitted together with the representative image when transmitting the representative image to the server 40, and the information such as the shooting date and time is also taken into consideration when the server 40 searches for the auxiliary image.
データベースとしての機能を果たすサーバー40は、コンテンツジャケット記録部21、類似画像検索部22、通信及び制御部24、代表画像及びデータ仮記憶部25A、画像記録部26、関連情報検索部27、順次再生部28、ネット配信部29を有する。コンテンツジャケット記録部21等は第2実施形態と同様であるので、相違する部を中心に説明する。 The server 40 serving as a database includes a content jacket recording unit 21, a similar image search unit 22, a communication and control unit 24, a representative image and data temporary storage unit 25A, an image recording unit 26, a related information search unit 27, and a sequential playback. Unit 28 and network distribution unit 29. Since the content jacket recording unit 21 and the like are the same as those in the second embodiment, different parts will be mainly described.
コンテンツジャケット記録部21は、第1実施形態と同様に、音楽CD等に加え、DVD等の動画のジャケットの画像およびその関連映像等も記憶している。DVD等の動画の場合には、ジャケット画像以外にも、動画の画像の先頭画像も検索用に記憶している。同様に、漫画やアニメ等の画像のあるコンテンツの場合には、表紙の画像以外に、最初の画像も検索用に記憶している。類似画像及びデータ検索部22は、代表画像と類似する画像をコンテンツジャケット記録部21の中から検索し補助画像として出力する。代表画像及びデータ仮記憶部25Aは、カメラ10から送信されてきた代表画像と、補助データ部6に記憶され、代表画像に関連付けて送信された撮影日時等の情報を記憶する。 In the same manner as in the first embodiment, the content jacket recording unit 21 stores a jacket image of a moving image such as a DVD and related video in addition to a music CD or the like. In the case of a moving image such as a DVD, in addition to the jacket image, the top image of the moving image is also stored for retrieval. Similarly, in the case of content with images such as cartoons and animations, the first image is also stored for retrieval in addition to the cover image. The similar image and data search unit 22 searches the content jacket recording unit 21 for an image similar to the representative image and outputs it as an auxiliary image. The representative image and data temporary storage unit 25A stores the representative image transmitted from the camera 10 and information such as the shooting date and time stored in the auxiliary data unit 6 and transmitted in association with the representative image.
画像記録部26は、カメラ10の画像記録部2に記憶され、スライドショーで再生表示する撮影画像等を記録する。関連情報検索部27は、補助画像(音楽CDや映像DVD等のジャケット等)に関連する情報、例えば、音楽CDに関連する作曲家名、アーティスト名等を検索する。 The image recording unit 26 records a captured image or the like that is stored in the image recording unit 2 of the camera 10 and reproduced and displayed in a slide show. The related information retrieval unit 27 retrieves information related to the auxiliary image (a jacket such as a music CD or a video DVD), for example, a composer name or an artist name related to the music CD.
順次再生部28は、画像記録部26に記録されている撮影画像、類似画像及びデータ検索部22で検索された補助画像、関連情報検索部27において検索された関連情報を基に、これらの画像や情報の再生表示の順番を制御する。ネット配信部29は、インターネット等のネットワークを介して、テレビ30に接続されており、順次再生部28によって順次出力される撮影画像や補助画像等を、テレビ30に送信する。テレビ30は、大画面テレビであり、ネット配信部29から配信された画像や情報を再生表示する。 The sequential playback unit 28 uses the captured image recorded in the image recording unit 26, the similar image, the auxiliary image searched by the data search unit 22, and the related information searched by the related information search unit 27, to generate these images. And the order of playback and display of information. The net distribution unit 29 is connected to the television 30 via a network such as the Internet, and transmits captured images, auxiliary images, and the like sequentially output by the reproduction unit 28 to the television 30. The television 30 is a large-screen television, and reproduces and displays images and information distributed from the network distribution unit 29.
次に、図11を用いて、本実施形態における動作について説明する。カメラ10で撮影した撮影画像12の中から代表画像12a(図中No.4の画像でもある)を指定して、ネットワーク19を介して、サーバー40に送信する。なお、代表画像12a以外にも、スライドショーに使用する撮影画像の全て(図中、No.1〜No3)も併せて送信する。サーバー40は、データベースとしてのコンテンツジャケット記録部21から、類似画像を検索し、一致度の最も高い画像を補助画像22とする。 Next, the operation in this embodiment will be described with reference to FIG. A representative image 12 a (also an image No. 4 in the figure) is designated from the photographed images 12 photographed by the camera 10 and transmitted to the server 40 via the network 19. In addition to the representative image 12a, all the captured images (No. 1 to No. 3 in the figure) used for the slide show are also transmitted. The server 40 searches for similar images from the content jacket recording unit 21 serving as a database, and sets the image with the highest degree of matching as the auxiliary image 22.
サーバー40は、類似画像及びデータ検索部22において類似画像を検索し、また関連情報を検索する。そして、順次再生制御部28は、撮影画像を撮影日時順に順次、ネット配信部29、ネットワーク19を介して、テレビ30に送信し、テレビ30は再生表示する。そして、スライドショーの最後に、代表画像12aを送信し、続いてこの代表画像12aに類似する補助画像22を再生表示する。 The server 40 searches for similar images in the similar image and data search unit 22 and searches for related information. Then, the sequential playback control unit 28 sequentially transmits the captured images to the television 30 via the network distribution unit 29 and the network 19 in the order of the photographing date and time, and the television 30 reproduces and displays. Then, at the end of the slide show, the representative image 12a is transmitted, and then the auxiliary image 22 similar to the representative image 12a is reproduced and displayed.
この実施形態においては、代表画像12aに類似したDVDのジャケットの画像による補助画像22を送信しており、この補助画像22を再生表示した後に、このDVDに収録されている動画120を再生する。この例では、ウィーンに旅の思い出となる写真をスライドショーした後に、ウィーンを題材としたDVDによる動画120を再生するようにしている。 In this embodiment, an auxiliary image 22 based on a DVD jacket image similar to the representative image 12a is transmitted, and after the auxiliary image 22 is reproduced and displayed, the moving image 120 recorded on the DVD is reproduced. In this example, after a slide show of photos that are memories of a trip to Vienna, a moving image 120 based on a DVD about Vienna is played.
第1及び第2実施形態においては、代表画像12aに応じた補助画像22を先頭にして表示する例を説明したが、本実施形態においては、補助画像22を最後に再生し鑑賞者に強い印象を残すスライドショーにしている。勿論、最後に再生する以外にも、スライドショーの途中で盛り上げを狙った場所で、代表画像12aを再生してもよい。この再生のタイミングは、ユーザーが任意に設定できるようにしても良い。また、代表画像12aの再生順番に応じて、補助画像22の再生順番を決定するようにしてもよい。さらに、テレビ30に再生表示するのではなく、第1および第2実施形態と同様に、カメラ10で再生表示するようにしても良い。 In the first and second embodiments, the example in which the auxiliary image 22 corresponding to the representative image 12a is displayed at the top has been described. However, in the present embodiment, the auxiliary image 22 is reproduced last and the viewer has a strong impression. Leave a slide show. Of course, in addition to the last reproduction, the representative image 12a may be reproduced at a place aimed at excitement during the slide show. The reproduction timing may be arbitrarily set by the user. Further, the reproduction order of the auxiliary image 22 may be determined according to the reproduction order of the representative image 12a. Further, instead of being reproduced and displayed on the television 30, it may be reproduced and displayed by the camera 10 as in the first and second embodiments.
さらに、撮影画像12に基づくスライドショーの最後の画像の表示の後、これに連続して、検索されたDVDの映像、例えば、旅行の写真を見終わった後、同じ場所を舞台にした映画やドキュメンタリーを鑑賞できるようにすることにより、さらに旅情がかきたてられ、思い出にふけることが可能となる。 Further, after the last image of the slide show based on the photographed image 12 is displayed, the movie or documentary set in the same place after finishing watching the searched DVD video, for example, a travel photograph. By making it possible to appreciate, it is possible to inspire more travel and indulge in memories.
次に、本発明の第3実施形態の変形例を図12及び図13を用いて説明する。第1ないし第3実施形態においては、表示部において一つの画像を順次、表示していたが、この第1の変形例においては、複数表示するようにしている。すなわち、図12に示すように、テレビ30の画面が大画面の場合には、一つの画面上に複数の画像を表示することが可能になるので、時分割表示にこだわる必要はない。テレビ30の大画面に撮影画像を複数並べ、これらを切り換えながら、同時にDVDを再生するような応用も可能となる。なお、この第3実施形態の変形例の構成は、図10に示した第3実施形態の構成と同様であるので、詳細な説明は省略する。 Next, the modification of 3rd Embodiment of this invention is demonstrated using FIG.12 and FIG.13. In the first to third embodiments, one image is sequentially displayed on the display unit. However, in the first modification, a plurality of images are displayed. That is, as shown in FIG. 12, when the screen of the television 30 is a large screen, it is possible to display a plurality of images on one screen, so there is no need to stick to time division display. An application in which a plurality of photographed images are arranged on the large screen of the television 30 and a DVD is reproduced at the same time while switching between them is also possible. The configuration of the modified example of the third embodiment is the same as the configuration of the third embodiment shown in FIG.
また、第1ないし第3実施形態においては、代表画像をユーザーが指定し、補助画像を取得するようにしていたが、図13に示す補助コンテンツ決定のフローチャートを実行することにより、撮影画像の中から自動的に補助画像を選択するようにしても良い。 In the first to third embodiments, the user designates the representative image and acquires the auxiliary image. However, by executing the auxiliary content determination flowchart shown in FIG. Alternatively, the auxiliary image may be automatically selected.
補助コンテンツ決定のフローに入ると、最初の撮影画像をまず選択する(S201)。次に、選択されている撮影画像と類似する画像を、コンテンツジャケット記録部21の中から検索する(S203)。類似度が所定値以上のコンテンツ(画像)を仮に記録する(S203)。続いて、撮影画像の中から次の画像を選択する(S204)。 In the auxiliary content determination flow, the first photographed image is first selected (S201). Next, an image similar to the selected photographed image is searched from the content jacket recording unit 21 (S203). A content (image) having a similarity equal to or greater than a predetermined value is temporarily recorded (S203). Next, the next image is selected from the captured images (S204).
別の画像を選択すると、次に、撮影画像がないか否かを判定する(S205)。判定の結果、次の撮影画像が有る場合には、ステップS202に戻り、前述のステップを繰り返し、類似度が所定値以上のコンテンツを記録する。ステップS205における判定の結果、撮影画像がない場合、すなわち、全ての撮影画像について、検索が終わると、所定回数以上、検索され、ステップS203において仮記録されたコンテンツを補助コンテンツ(補助画像)として、送信する(S206)。送信としては、第1および第2実施形態のようにカメラ10で再生表示する場合にはカメラ10に、第3実施形態のようにテレビ30にネットワークを介して配信する場合には、テレビ30に送信する。 If another image is selected, it is next determined whether or not there is a photographed image (S205). As a result of the determination, if there is a next photographed image, the process returns to step S202, the above steps are repeated, and content having a similarity equal to or greater than a predetermined value is recorded. If the result of determination in step S205 is that there are no captured images, that is, all the captured images have been searched, the content that has been searched a predetermined number of times or more and temporarily recorded in step S203 is used as auxiliary content (auxiliary image). Transmit (S206). As for transmission, when playback and display is performed with the camera 10 as in the first and second embodiments, to the camera 10 when being reproduced and displayed over the network as in the third embodiment, to the television 30 when distributed over the network. Send.
このように、何度も検索されるようなコンテンツであれば、撮影画像と関連性の高い補助コンテンツといえる。例えばウィーン旅行なら、撮影画像の中に、ウィーンの風物が多く含まれていることから、確実にその土地と関係ある映画や音楽を選択することができ、画像再生を自然に盛り上げることが可能となる。 In this way, content that can be searched many times can be said to be auxiliary content that is highly relevant to a captured image. For example, if you are traveling to Vienna, you will be able to select movies and music that are related to the land without fail because the captured images contain many of the features of Vienna. Become.
以上説明したように、本発明の各実施形態においては、代表画像とコンテンツに関する画像とを比較し、類似する画像を補助画像として検索し、スライドショーを行うにあたって、補助画像を再生表示してから代表画像を再生表示している。このため、顔以外の画像であっても補助画像の検索が可能であることから、適用可能な画像の範囲が広いという効果を奏する。また、代表画像を生成する必要がないことから、短時間で処理することができる。さらに、補助画像はコンテンツに関する画像であることから、ユーザーに期待感や楽しみを与えることが可能である。 As described above, in each embodiment of the present invention, the representative image is compared with the image related to the content, a similar image is searched as an auxiliary image, and the auxiliary image is reproduced and displayed before performing the slide show. The image is being played back. For this reason, even if it is an image other than a face, it is possible to search for an auxiliary image, so that the range of applicable images is wide. Further, since it is not necessary to generate a representative image, it can be processed in a short time. Furthermore, since the auxiliary image is an image related to the content, it is possible to give the user a sense of expectation and enjoyment.
なお、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。 In the present embodiment, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and may be a mobile phone or a personal digital assistant (PDA). Of course, a camera built in Personal Digital Assist) may be used.
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1・・・撮影部、2・・・画像記録部、3・・・画像選択部、4・・・通信及び制御部、5・・・表示部、6・・・スライドショー部、6A・・・補助データ部、7・・・順番制御部、8・・・類似画像検索部、8a・・・顔検出文字検出及び加工部、9・・・補助コンテンツ記録部、10・・・カメラ、12・・・撮影画像、12a・・・代表画像、20・・・パーソナルコンピュータ、21・・・コンテンツジャケット記録部、22・・・補助画像、23・・・顔検出文字検出及び加工部、24・・・通信及び制御部、25・・・代表画像仮記憶部、25A・・・代表画像及びデータ仮記憶部、26・・・画像記録部、27・・・関連情報検索部、28・・・順次再生部、29・・・ネット配信部、30・・・テレビ、40・・・サーバー、100・・・撮影画像、110・・・ジャケット画像、111・・・画像部分、120・・・動画 DESCRIPTION OF SYMBOLS 1 ... Imaging | photography part, 2 ... Image recording part, 3 ... Image selection part, 4 ... Communication and control part, 5 ... Display part, 6 ... Slide show part, 6A ... Auxiliary data section, 7 ... Order control section, 8 ... Similar image search section, 8a ... Face detection character detection and processing section, 9 ... Auxiliary content recording section, 10 ... Camera, 12. ..Photographed image, 12a ... representative image, 20 ... personal computer, 21 ... content jacket recording unit, 22 ... auxiliary image, 23 ... face detection character detection and processing unit, 24 ... Communication and control unit, 25 ... representative image temporary storage unit, 25A ... representative image and data temporary storage unit, 26 ... image recording unit, 27 ... related information search unit, 28 ... sequentially Reproduction part, 29 ... Net distribution part, 30 ... Television, 40 ... Server , 100 ... photographed image, 110 ... jacket image, 111 ... image portion, 120 ... Video
Claims (5)
画像の顔の位置と数と大きさを検出する顔検出部を有し、
上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、
検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生部と、
を具備することを特徴とする画像検索システム。 In an image retrieval system for retrieving a similar image similar to a captured image from a database of images including characters,
It has a face detection unit that detects the position, number and size of faces in the image,
In accordance with the aspect ratio of the image included in the database, a first image search is performed with a degree of coincidence between the position, number, and size of the face within a range in which the central portion of the captured image is cut out. A search unit that searches for the similar image from the database by performing a second image search with a matching degree of the image after removing characters included in the image searched by the image search;
The retrieved images, a reproducing unit for reproducing and displaying as an auxiliary image for sequentially displaying in combination with upper Symbol captured image,
An image search system comprising:
画像の顔の位置と数と大きさを検出する顔検出部を有し、
上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索部と、
を具備し、
上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像であることを特徴とする画像検索システム。 In an image retrieval system for retrieving a similar image similar to a captured image from a database of images including characters,
It has a face detection unit that detects the position, number and size of faces in the image,
In accordance with the aspect ratio of the image included in the database, a first image search is performed with a degree of coincidence between the position, number, and size of the face within a range in which the central portion of the captured image is cut out. A search unit that searches for the similar image from the database by performing a second image search with a matching degree of the image after removing characters included in the image searched by the image search;
Comprising
An image search system, wherein the image included in the database is a package image of content including images and music.
上記スライドショー再生部は、上記順次表示をしながら上記コンテンツのパッケージに含まれる音楽データを再生することを特徴とする請求項2に記載の画像検索システム。 The image search system includes a slide show playback unit that uses the searched image as an auxiliary image and sequentially displays it in combination with the captured image.
The image search system according to claim 2, wherein the slide show reproduction unit reproduces music data included in the package of the content while performing the sequential display.
上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、
上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、
上記再生部が、検索された画像を、上記撮影画像と組み合わせて順次表示するための補助画像として再生表示する再生ステップと、
を具備することを特徴とする画像検索方法。 In an image search method of an image search system having a face detection unit, a database of images including characters, a search unit that searches similar images similar to a captured image from the database, and a playback unit ,
A face detection step in which the face detection unit detects the position, number and size of faces in the image;
The search unit performs a first image search with a degree of coincidence between the face position, number, and size within a range obtained by cutting out the central portion of the captured image in accordance with the aspect ratio of the image included in the database. A search step of searching for the similar image from the database by performing a second image search with the matching degree of the image after removing characters included in the image searched in the first image search;
A regeneration step of the regeneration section, the retrieved image is reproduced and displayed as an auxiliary image for sequentially displaying in combination with upper Symbol captured image,
An image search method comprising:
上記顔検出部が、画像の顔の位置と数と大きさを検出する顔検出ステップと、
上記検索部が、上記データベースに含まれる画像のアスペクト比に合わせて、上記撮影画像の中央部を切り出した範囲において、上記顔の位置と数と大きさの一致度で第1の画像検索を行い、上記第1の画像検索で検索された画像に含まれる文字を除いた後に画像の一致度で第2の画像検索を行うことによって、上記データベースから上記類似画像を検索する検索ステップと、
を具備し、
上記データベースに含まれる画像は、画像や音楽を含むコンテンツのパッケージ画像であることを特徴とする画像検索方法。 In an image search method of an image search system having a face detection unit, a database of images including characters, and a search unit for searching similar images similar to captured images from the database
A face detection step in which the face detection unit detects the position, number and size of faces in the image;
The search unit performs a first image search with a degree of coincidence between the face position, number, and size within a range obtained by cutting out the central portion of the captured image in accordance with the aspect ratio of the image included in the database. A search step of searching for the similar image from the database by performing a second image search with the matching degree of the image after removing characters included in the image searched in the first image search;
Comprising
An image search method, wherein the image included in the database is a package image of content including an image and music.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197450A JP6038256B2 (en) | 2015-10-05 | 2015-10-05 | Image search system and image search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197450A JP6038256B2 (en) | 2015-10-05 | 2015-10-05 | Image search system and image search method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012224909A Division JP5851375B2 (en) | 2012-10-10 | 2012-10-10 | Image search system and image search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016033822A JP2016033822A (en) | 2016-03-10 |
JP6038256B2 true JP6038256B2 (en) | 2016-12-07 |
Family
ID=55452663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015197450A Expired - Fee Related JP6038256B2 (en) | 2015-10-05 | 2015-10-05 | Image search system and image search method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6038256B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019132306A1 (en) * | 2017-12-29 | 2019-07-04 | 삼성전자주식회사 | Electronic device for linking music to photography, and control method therefor |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4413633B2 (en) * | 2004-01-29 | 2010-02-10 | 株式会社ゼータ・ブリッジ | Information search system, information search method, information search device, information search program, image recognition device, image recognition method and image recognition program, and sales system |
US20060248192A1 (en) * | 2005-04-29 | 2006-11-02 | Morris Stanley S Iii | Method for pulling images from the internet for viewing on a remote digital display |
JP2007041987A (en) * | 2005-08-05 | 2007-02-15 | Sony Corp | Image processing apparatus and method, and program |
JP4755499B2 (en) * | 2006-01-25 | 2011-08-24 | オリンパスイメージング株式会社 | Content playback device |
JP4802790B2 (en) * | 2006-03-20 | 2011-10-26 | セイコーエプソン株式会社 | Server device |
-
2015
- 2015-10-05 JP JP2015197450A patent/JP6038256B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019132306A1 (en) * | 2017-12-29 | 2019-07-04 | 삼성전자주식회사 | Electronic device for linking music to photography, and control method therefor |
US11445144B2 (en) | 2017-12-29 | 2022-09-13 | Samsung Electronics Co., Ltd. | Electronic device for linking music to photography, and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
JP2016033822A (en) | 2016-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI579838B (en) | Automatic generation of compilation videos | |
US8643746B2 (en) | Video summary including a particular person | |
US9389768B2 (en) | Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program | |
JP4360425B2 (en) | Image processing apparatus, processing method thereof, and program | |
US20120293686A1 (en) | Video summary including a feature of interest | |
JP4289326B2 (en) | Information processing apparatus and method, photographing apparatus, and program | |
JP2009116575A (en) | Image synthesizing apparatus and image synthesizing method | |
JP2008061032A (en) | Image reproducing apparatus and image reproducing method, and computer program | |
JP5112901B2 (en) | Image reproducing apparatus, image reproducing method, image reproducing server, and image reproducing system | |
JP2006140559A (en) | Image reproducing apparatus and image reproducing method | |
JP2007164269A (en) | Retrieval device, retrieval/reproducing device, and image reproducing device | |
JP2010252008A (en) | Imaging device, displaying device, reproducing device, imaging method and displaying method | |
JP2012058952A (en) | Similar image retrieval device, camera, similar image retrieval method and program | |
JP6038256B2 (en) | Image search system and image search method | |
JP2008199330A (en) | Moving image management apparatus | |
WO2014048576A2 (en) | System for video clips | |
JP5851375B2 (en) | Image search system and image search method | |
JP2005286378A (en) | Moving picture reproduction system and moving picture reproduction method | |
JP4821462B2 (en) | Recording apparatus and method, reproducing apparatus and method, and program | |
JP2007243570A (en) | Image display system and image retrieval system | |
JP5147737B2 (en) | Imaging device | |
JP4804417B2 (en) | Moving picture imaging apparatus and moving picture imaging method | |
JP3426997B2 (en) | Editing video shooting method and apparatus with subject information acquisition function, and storage medium storing program describing the method | |
JP2010287974A (en) | Mobile phone and program | |
JP5078723B2 (en) | Image group reproduction device, image group reproduction method, and image group reproduction program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161014 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161101 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6038256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |