JP2012142760A - Image display device and camera equipped with image display device - Google Patents
Image display device and camera equipped with image display device Download PDFInfo
- Publication number
- JP2012142760A JP2012142760A JP2010293553A JP2010293553A JP2012142760A JP 2012142760 A JP2012142760 A JP 2012142760A JP 2010293553 A JP2010293553 A JP 2010293553A JP 2010293553 A JP2010293553 A JP 2010293553A JP 2012142760 A JP2012142760 A JP 2012142760A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- image data
- search
- keyword information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
この発明は、画像表示装置、詳しくは電子的な画像信号を画像として表示する画像表示装置に関するものである。 The present invention relates to an image display device, and more particularly to an image display device that displays an electronic image signal as an image.
従来、撮影光学系により結像された光学像を光電変換素子等によって順次画像信号に変換し、これにより得られた電子的な画像信号を所定の形態、例えばデジタル画像データ（以下、単に画像データと略記する）として記録媒体に記録し得る撮影装置、例えばデジタルカメラやビデオカメラ等（以下、これらを総称してカメラという）が、一般に実用化され広く普及している。 Conventionally, an optical image formed by a photographing optical system is sequentially converted into an image signal by a photoelectric conversion element or the like, and an electronic image signal obtained thereby is converted into a predetermined form, for example, digital image data (hereinafter simply referred to as image data). Imaging devices that can be recorded on a recording medium, such as digital cameras and video cameras (hereinafter collectively referred to as cameras), are generally put into practical use and widely used.
また、このような形態のカメラによって撮影記録された画像データに基いて、画像を再生表示する画像表示装置、例えば液晶表示装置（ＬＣＤ）等を備えて構成された画像表示装置が一般に実用化され、広く普及している。 Further, an image display device configured to include an image display device that reproduces and displays an image, for example, a liquid crystal display device (LCD), based on image data captured and recorded by such a camera is generally put into practical use. Widely popular.
このような形態の画像表示装置においては、複数の画像データを利用して、各種の画像処理（例えば画像合成処理等）を行い、一つの画像データに基いて表示される画像とは異なる画像を表示し得る新たな画像データを生成する機能を有するものがある。 In such an image display apparatus, various image processing (for example, image composition processing) is performed using a plurality of image data, and an image different from an image displayed based on one image data is displayed. Some have a function of generating new image data that can be displayed.
例えば、特開平１０−２０７４８０号公報によって開示されている装置は、カラオケ装置において、カラオケ曲の演奏時に再生表示される画像データ（背景画像データ）に、そのカラオケ曲の演奏時にカメラで撮影取得される画像データ（カラオケ歌唱者の顔画像データ）を合成処理して合成画像データを生成し、こうして取得された合成画像データに基く合成画像を表示したり、プリンタでプリントするというものである。この場合において、背景画像データは、装置の製作者が予め撮影記録して記録媒体等に記録しておいたものが用いられる。また、背景画像データは、使用者の操作情報に基づいて、例えば選択されたカラオケ曲に対応するものが選択されるように構成されている。 For example, in the device disclosed in Japanese Patent Laid-Open No. 10-207480, image data (background image data) reproduced and displayed when a karaoke song is played is photographed and acquired by a camera when the karaoke song is played. Image data (face image data of a karaoke singer) is synthesized to generate synthesized image data, and a synthesized image based on the obtained synthesized image data is displayed or printed by a printer. In this case, the background image data is used that has been recorded and recorded in advance on the recording medium or the like by the manufacturer of the apparatus. The background image data is configured so that, for example, the one corresponding to the selected karaoke song is selected based on the operation information of the user.
一方、従来の画像表示装置や、このような画像表示装置を具備するカメラにおいては、記録された画像データを表示する機能を具備すると同時に、合成画像処理に限らず各種の画像処理を実行し得る高性能な画像処理回路を内部に備えて構成されているものが、一般に実用化され広く普及している。 On the other hand, a conventional image display device and a camera equipped with such an image display device have a function of displaying recorded image data, and at the same time, can perform various types of image processing without being limited to composite image processing. What is configured with a high-performance image processing circuit therein is generally put into practical use and widely used.
上記特開平１０−２０７４８０号公報によって開示されている装置においては、予め用意された背景画像データを利用するものであるので、生成される合成画像データは画一的なものでしかないという問題点がある。 In the apparatus disclosed by the above Japanese Patent Laid-Open No. 10-207480, since background image data prepared in advance is used, the generated composite image data is only uniform. There is.
また、上記公報に開示されている装置では、使用者が所望の処理結果を得るためには、各種の選択操作を行う必要があるため、煩雑な操作を強いられることになるという問題もある。 In addition, the apparatus disclosed in the above publication has a problem in that a complicated operation is required because the user needs to perform various selection operations in order to obtain a desired processing result.
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮影記録済みの撮影画像データと予め用意されている複数のテンプレート画像データとに基いて、所定の条件に合致する複数の画像データを選択し、選択した複数の画像データについての画像合成処理を行って疑似的シーンを表わす合成画像データを生成し、これに基く画像を表示させる新たな画像表示形態を実現し、これにより画像の鑑賞形態をより多様化し得る画像表示装置を提供することである。 The present invention has been made in view of the above-described points, and an object of the present invention is to determine a predetermined condition based on photographed image data that has been photographed and recorded and a plurality of template image data prepared in advance. A new image display form that selects a plurality of image data that matches the image data, performs image composition processing on the selected plurality of image data, generates composite image data representing a pseudo scene, and displays an image based on the composite image data It is to provide an image display device that can be realized and thereby can diversify image viewing modes.
上記目的を達成するために、本発明による画像表示装置は、撮影画像データを蓄積記録する記録部と、上記撮影画像データに基く画像を表示する表示部と、上記撮影画像データに付随する画像情報データに含まれる第１の画像データを記録する第１の画像データベース部と、第２の画像データを記録する第２の画像データベース部と、第１の検索用キーワード情報及び第２の検索用キーワード情報を設定するキーワード抽出部と、上記キーワード抽出部によって設定された上記第１の検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する第１の画像データを選択する第１検索部と、記キーワード抽出部によって設定された上記第２の検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応する第２の画像データを選択する第２検索部と、記第１の画像データと上記第２の画像データとに基いて画像合成処理を施して第３の画像を生成する合成部とを有することを特徴とする。 In order to achieve the above object, an image display apparatus according to the present invention includes a recording unit for accumulating and recording captured image data, a display unit for displaying an image based on the captured image data, and image information associated with the captured image data. A first image database unit for recording first image data included in the data, a second image database unit for recording second image data, first search keyword information, and a second search keyword. A keyword extraction unit for setting information, and a first image database unit that searches the first image database unit based on the first search keyword information set by the keyword extraction unit and selects corresponding first image data. 1 search unit and the second image database unit based on the second search keyword information set by the keyword extraction unit and search A second search unit that selects second image data; and a synthesis unit that generates a third image by performing image synthesis processing based on the first image data and the second image data. It is characterized by.
また、本発明によるカメラは、撮影画像データを取得する撮像部と上記撮影画像データを蓄積記録する記録部とを備えると共に、上記撮影画像データに基く画像を表示する画像表示装置を具備するカメラにおいて、上記撮影画像データの取得時に被写体の顔を検出し対応する顔画像データを取得する顔判定部と、上記撮影画像データに関連付けて上記顔画像データを記録する第１の画像データベース部と、予め生成されたテンプレート画像データを記録する第２の画像データベース部と、複数の検索用キーワード情報を設定するキーワード抽出部と、上記複数の検索用キーワード情報のうち人物を表わす検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する顔画像データを選択する第１検索部と、上記複数の検索用キーワード情報のうち人物の動作を表わす検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応するテンプレート画像データを選択する第２検索部と、上記顔画像データと上記テンプレート画像データとに基いて画像合成処理を行って合成画像を生成する合成部と、を有することを特徴とする。 According to another aspect of the present invention, there is provided a camera comprising: an imaging unit that acquires captured image data; and a recording unit that accumulates and records the captured image data; and an image display device that displays an image based on the captured image data. A face determination unit that detects a face of a subject when acquiring the captured image data and acquires corresponding face image data; a first image database unit that records the face image data in association with the captured image data; Based on a second image database section that records the generated template image data, a keyword extraction section that sets a plurality of search keyword information, and search keyword information that represents a person among the plurality of search keyword information A first search unit for searching the first image database unit and selecting corresponding face image data; and the plurality of searches A second search unit that searches the second image database unit based on search keyword information representing a person's action among the keyword information and selects corresponding template image data, the face image data, and the template image data And a synthesizing unit that performs an image synthesizing process based on the above and generates a synthesized image.
本発明によれば、撮影記録済みの撮影画像データと予め用意されている複数のテンプレート画像データとに基いて、所定の条件に合致する複数の画像データを選択し、選択した複数の画像データについての画像合成処理を行って疑似的シーンを表わす合成画像データを生成し、これに基く画像を表示させる新たな画像表示形態を実現し、これにより画像の鑑賞形態をより多様化し得る画像表示装置と、この画像表示装置を具備するカメラを提供することができる。 According to the present invention, based on photographed image data that has been photographed and recorded and a plurality of template image data prepared in advance, a plurality of image data that meet a predetermined condition is selected, and the selected plurality of image data An image display device capable of generating a composite image data representing a pseudo-scene by performing image synthesis processing of the above, realizing a new image display form for displaying an image based on the composite image data, and thereby further diversifying an image viewing form A camera including the image display device can be provided.
以下、図示の実施の形態によって本発明を説明する。 The present invention will be described below with reference to the illustrated embodiments.
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる電子的な画像信号を静止画像又は動画像を表わすデジタル画像データに変換する撮像部と、こうして生成された画像データを記録媒体に記録する記録部と、該記録媒体に記録されたデジタル画像データに基いて対応する静止画像又は動画像を再生表示する画像表示装置とを具備して構成されるカメラを例に挙げて説明するものである。 In one embodiment of the present invention, for example, an optical image formed by an optical lens is photoelectrically converted using a solid-state imaging device, and an electronic image signal obtained thereby is converted into digital image data representing a still image or a moving image. An image pickup unit that records the image data thus generated on a recording medium, and an image display device that reproduces and displays a corresponding still image or moving image based on the digital image data recorded on the recording medium. This is described using an example of a built-in camera.
まず、本発明の一実施形態の画像表示装置を具備するカメラの主要構成について、図１を用いて説明する。 First, a main configuration of a camera including an image display device according to an embodiment of the present invention will be described with reference to FIG.
図１に示すように、カメラ１０は、制御部１１と、撮像部１２と、音声入力部１３ａと、操作入力部１３ｂと、時計部１４と、記録部（第１画像データベース部１７ａ，第２画像データベース部１７ｂを含む）と、画像表示装置（表示部１８，タッチパネル１８ｂ）等によって構成される。
As shown in FIG. 1, the
制御部１１は、カメラ１０の全体を統括的に制御する制御手段として機能するＣＰＵ等の制御回路等である。制御部１１の内部には、画像データを取り扱うための各種の回路、例えば画像処理部１１ｂ，第１検索部１５ａ，年齢推定部１５ｂ，第２検索部１５ｃ，キーワード抽出部１５ｄ，顔判定部１５ｅ，合成部１６等のほか、図示していないが、一般的なカメラ等の制御部が具備するその他の回路、例えば画像信号等のデータを一時的に記憶する一時メモリ（temporarily memory）や、電源に関する制御を行う電源制御部等が設けられている。
The
画像処理部１１ｂは、撮像部１２によって取得され上記一時メモリ等に一時的に記憶された画像信号について各種の信号処理を行う回路である。
The
第１検索部１５ａは、記録部のうちの第１画像データベース部１７ａに記録されている情報、即ち撮影記録済みの撮影画像データに付随する各種の画像情報データに基いて、所定の条件、例えば後述するキーワード抽出部１５ｄによって設定された検索用キーワード情報に適合する画像情報データの検索を行う回路である。
The
第２検索部１５ｃは、記録部のうちの第２画像データベース部１７ｂに記録されているテンプレート画像データ等（詳細は後述する）に基いて、所定の条件、例えば後述するキーワード抽出部１５ｄによって設定された検索用キーワード情報に適合するテンプレート画像データ等の検索を行う回路である。
The
年齢推定部１５ｂは、記録部のうちの第１画像データベース部１７ａに記録されている画像情報データのうち特に撮影年月日，日時情報等（以下、日時情報等と略記する）及び被写体（人物）に関するプロフィール情報等と、時計部１４による現在日時情報等の各種の情報に基いて、各画像データに含まれる被写体（人物）の年齢を推定し、所定の形態のリストを生成し保持する回路である。
Among the image information data recorded in the first
キーワード抽出部１５ｄは、後述する音声入力部１３ａからの音声入力信号や、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの入力信号を受けて画像検索を行う際に利用する検索用キーワード情報を抽出し設定する回路である。
The
顔判定部１５ｅは、撮像部１２によって取得された画像信号に基いて画像中にある被写体のうちから人物若しくは動物等の顔の画像を検出し、その顔画像についての判定処理を行う回路である。
The
より詳しく説明すると、顔判定部１５ｅは、例えば撮像部１２によって取得された画像信号に基いて画像中にある被写体のうちから人物若しくは動物等の顔部分の画像を検出し、顔画像データを作成する。これにより作成された顔画像データについて、使用者は、所定の操作を行って、個々の顔画像データに関する情報、例えば、その顔画像に対応する人物の名前，性別，生年月日等のプロフィール情報等を付加して登録する。なお、プロフィール情報に含まれる性別情報は、例えば顔判定部１５ｅによる判定結果を用いてもよいし、使用者が登録の際に任意に入力するようにしてもよい。こうしてプロフィール情報を付加された顔画像データは、第１画像データベース部１７ａ等に記録される（顔画像登録処理）。
More specifically, for example, the
また、顔判定部１５ｅは、撮像部１２によって取得された画像データに含まれる被写体の顔画像が、上記顔画像等禄処理にて登録済みの顔画像データに合致するものがあるかどうかを判定する（顔画像判定処理）。合致する顔画像がある場合には、当該画像データの撮影記録動作時に、登録済み顔画像データに付加されたプロフィール情報を関連付けて記録する。合致する顔画像がない場合には、当該画像データの撮影記録動作時に、その旨を表示したり、上記顔画像登録処理を促すようなシーケンスを実行するようにしてもよい。
Further, the
なお、顔判定部１５ｅによる上述のような顔画像検出処理，顔画像判定処理等は、従来のカメラにおいて、近年広く普及している画像処理技術の一つである。
Note that face image detection processing, face image determination processing, and the like as described above by the
合成部１６は、第１検索部１５ａ，第２検索部１５ｃ等による検索結果に基いて選択されるテンプレート画像データ（後述する）と撮影記録済み画像データとを利用して、後述する表示装置に含まれるタッチパネル１８ｂからの使用者による操作指示等を受けて、所定の合成画像データを生成する画像処理回路部である。この合成部１６により生成された合成画像データは、表示部１８へと出力され、画像として表示される。
The synthesizing
なお、上記一時メモリや画像処理部１１ｂ，第１検索部１５ａ，第２検索部１５ｃ，年齢推定部１５ｂ，キーワード抽出部１５ｄ，顔判定部１５ｅ，合成部１６等は、本実施形態で示すように制御部１１内に含めて構成する形態のほか、制御部１１とは別の処理回路として個別に構成するようにしてもよい。
The temporary memory, the
記録部は、例えば半導体メモリ等の記録媒体と、この記録媒体をドライブする記録手段等によって構成される。記録部は、通常の撮影画像データを記録する領域のほかに、第１画像データベース部１７ａと第２画像データベース部１７ｂとを有する。
The recording unit is configured by a recording medium such as a semiconductor memory and recording means for driving the recording medium. The recording unit includes a first
第１画像データベース部１７ａには、撮影画像データに付随する画像情報データ等が記録される。ここで、画像情報データとしては、通常の撮影画像データに付与されるイグジフ（Exif：Exchangeable Image Format）情報、即ち撮影時の日時情報等を含む撮影情報等に加え、顔判定部１５ｅによって得られた顔画像データやそれに関して任意の操作により登録された登録情報（上記人物の顔に対応するプロフィール情報等）等がある。具体的には、例えば図２に示す第１画像データベースの一例等である。
In the first
図２に示す第２画像データベースの一例では、撮影年情報（図２の年代表記「９０年」，「９５年」等の欄）と、この撮影年情報に対応する撮影画像データ（図２では各年代に対応する画像を表記）と、その撮影画像データによって表される画像中に含まれる被写体（人物）の顔のそれぞれに関連付けされて付与（登録）された名前等のプロフィール情報（図２の符号Ａ，Ｂ，Ｃ等で表記）とを示している。 In the example of the second image database shown in FIG. 2, shooting year information (columns of age notation “90”, “95”, etc. in FIG. 2) and shooting image data corresponding to this shooting year information (in FIG. 2). Profile information such as a name assigned in association with each face of the subject (person) included in the image represented by the photographed image data (shown as an image corresponding to each age) (FIG. 2) (Indicated by symbols A, B, C, etc.).
第２画像データベース部１７ｂには、主にテンプレート画像データ等が記録される。ここで、テンプレート画像データとは、例えばイラスト画像データ，フレーム画像データ，テキストデータ等、予め作成され用意されている画像データ等である。具体的には、例えば図３に示す第２画像データベースの一例（Ａ）や、図４に示す第１画像データベースの一例（Ｂ）等である。
Template image data and the like are mainly recorded in the second
図３に示す第２画像データベースの一例（Ａ）は、例えば「転ぶ」，「食べる」といった動作や仕草を表わす検索用キーワード情報に関連する複数のテンプレート画像データとしてイラスト等によって生成された画像データ（図３の例示を「身体部分画像データ」というものとする）を示している。また、図３では、各動作に対して異なる年齢，性別等に対応させて複数の「身体部分画像データ」が用意されている例を示している。 An example (A) of the second image database shown in FIG. 3 is image data generated by illustration or the like as a plurality of template image data related to search keyword information representing actions or gestures such as “tumbling” and “eat”, for example. (The example of FIG. 3 is referred to as “body part image data”). FIG. 3 shows an example in which a plurality of “body part image data” are prepared corresponding to different ages, sexes, and the like for each operation.
図４に示す第２画像データベースの一例（Ｂ）は、テンプレート画像データとして、例えばイラスト若しくは実写サンプル画像等によって生成された画像データ（図４の例示を
「背景画像データ」というものとする）を示している。この場合は、年代，場所等に対応して異なる複数の「背景画像データ」が用意されている例を示している。
An example (B) of the second image database shown in FIG. 4 includes, as template image data, image data generated by, for example, an illustration or a live-action sample image (the illustration in FIG. 4 is referred to as “background image data”). Show. In this case, an example is shown in which a plurality of different “background image data” are prepared corresponding to age, place, and the like.
画像表示装置は、表示部１８とタッチパネル１８ｂ等によって主に構成される。表示部１８は、撮像部１２によって順次取得される画像信号を連続的に表示して、カメラ１０の撮影時におけるファインダーの役目をすると共に、記録部に記録済みの画像データを画像として再生表示する機能を備えた画像表示装置である。この表示部１８としては、例えば液晶表示装置（ＬＣＤ）等が適用される。
The image display apparatus is mainly configured by a
タッチパネル１８ｂは、例えば表示部１８の表示画面上に配置され、操作部として機能するパネル状のセンサーである。
The
撮像部１２は、例えばＣＣＤ等の光電変換素子等からなる撮像素子を有する回路部と、被写体の光学像を結像させるレンズ部（不図示）等を含めて構成される構成ユニットである。この撮像部１２は、レンズ部によって形成される光学像を撮像素子の受光面に結像させ、該撮像素子が光電変換処理することによって画像の電気信号を生成するように構成される。撮像部１２によって生成された画像信号は、画像処理部１１ｂへと出力される。
The
音声入力部１３ａは、音声を電気信号に変換するマイクロフォン等を備え、該マイクロフォン等を介して得られた音声信号を制御部１１へと伝達する回路である。操作入力部１３ｂは、カメラ１０に複数設けられる各種操作部材からの入力信号を受けて、制御部１１へと伝達する回路である。また、時計部１４は、タイマー機能等を有する内部時計である。
The
そして、上記カメラ１０は、例えば、無線接続，有線ケーブル接続等によって接続される既存のネットワーク等を介して接続される外部データベース（ＤＢ）２１との間で通信を行うことができるようになっている。ここで、本カメラ１０は、外部データベース（ＤＢ）２１との間での通信によって、例えば新たなテンプレート画像データ等をダウンロードすることができ、そうして取得したテンプレート画像データ等は、記録部のうち第２画像データベース部１７ｂに蓄積記録される。
The
その他の構成については、本発明に直接関係しない部分であるので、その図示及び説明
を省略する。
Other configurations are not directly related to the present invention, and thus illustration and description thereof are omitted.
このように構成される本実施形態の画像表示装置を具備するカメラの作用を、図５を用いて以下に簡単に説明する。 The operation of the camera having the image display device of the present embodiment configured as described above will be briefly described below with reference to FIG.
図５は、本実施形態のカメラにおける使用形態のうち画像表示装置に画像を表示させて使用する際の状況と、その場合のカメラの作用を概念的に示している。 FIG. 5 conceptually shows the situation when an image is displayed on an image display device among the usage patterns in the camera of the present embodiment, and the action of the camera in that case.
例えば、図５において、第１の人物Ｂは、当該カメラ１０の所有者であって、第２の人物Ａの母親若しくは親族等であるとし、また、第２の人物Ａは、第１の人物Ｂの子供若しくは親族，知人，友人等であるものとする。
For example, in FIG. 5, it is assumed that the first person B is the owner of the
図５に示す状況は、カメラ１０の表示部１８に所定の画像、例えば過去に撮影された記念写真等の画像であって、該カメラ１０の第１画像データベース部１７ａに記録済みの画像データに基く画像を表示させた状態としている。そして、この状態のカメラ１０を第１の人物Ｂが手に持っており、その表示部１８に表示されている表示画像を第２の人物Ａと共に見ながら、第１の人物Ｂと第２の人物Ａとが会話をしている状況である。
The situation shown in FIG. 5 is a predetermined image on the
上述したように、カメラ１０の表示部１８には、第１画像データベース部１７ａの画像データ（過去に撮影記録された画像データ）のうち、第２の人物Ａが被写体として撮影されている画像が表示されているものとする。
As described above, the
この状態にあるとき、例えば、第１の人物Ｂが第２の人物Ａに向かって、図５に示すように「Ａちゃんは、この時、転んだのよ。」といった発言を行なったとする。すると、この発言による音声は、音声入力部１３ａにより集音されて電気信号に変換された後、その音声信号が制御部１１のキーワード抽出部１５ｄへと入力される。キーワード抽出部１５ｄは、入力された音声信号に基いて所定の検索用キーワード情報、例えば人物を特定する「Ａちゃん」という語，時制を表わす「この時」という語，動作を表わす「転んだ」という語等を検索用キーワード情報として設定し、検索用キーワード情報のデータ信号を生成する。このようにして、キーワード抽出部１５ｄによって抽出され設定された検索用キーワード情報データ信号は、第１検索部１５ａ，第２検索部１５ｃへと出力される（検索用キーワード情報抽出処理）。
In this state, for example, it is assumed that the first person B makes a statement toward the second person A as shown in FIG. 5 "A-chan has fallen at this time." Then, the voice by this utterance is collected by the
なお、上記検索用キーワード情報抽出処理は、上述の如く、音声入力部１３ａによる音声信号に基いて自動的に行うようにする手段のほか、他の手段によってもよい。例えば表示部１８を用いて、所定の検索用キーワード情報一覧表示（第１画像データベース部１７ａの登録済みプロフィール情報等や第２画像データベース部１７ｂのテンプレート画像データ等の一覧表示）を行って、操作入力部１３ｂ，タッチパネル１８ｂ等を用いて使用者が選択操作を行うことにより検索用キーワード情報選択設定を行うような手段としてもよい。
In addition, as described above, the search keyword information extraction process may be performed by other means in addition to the means for automatically performing the search based on the voice signal from the
一方、年齢推定部１５ｂは、第１画像データベース部１７ａに記録されている画像情報データに基いて、表示部１８に現在表示中の画像に対応する画像データに関する情報のうち、撮影時の日時情報等と、当該画像中の被写体に関するプロフィール情報等と、時計部１４からの現在日時情報等により、当該画像中の被写体の現在や撮影時の年齢を推定する。こうして算出された推定年齢情報のデータ信号は、第２検索部１５ｃへ出力される。
On the other hand, the age estimation unit 15b, based on the image information data recorded in the first
第１検索部１５ａは、上記キーワード抽出部１５ｄからの検索用キーワード情報データ信号と年齢推定部１５ｂからの推定年齢情報データ信号とを受けて、第１画像データベース部１７ａの画像情報データを検索し、設定された検索用キーワード情報に適する顔画像データ（第１の画像）を選択する。こうして選択された顔画像データは、合成部１６へと出力される。
The
第２検索部１５ｃは、上記キーワード抽出部１５ｄからの検索用キーワード情報データ信号と、年齢推定部１５ｂからの推定年齢情報データ信号とを受けて、第２画像データベース部１７ｂのテンプレート画像データ（第２の画像）を検索し、設定された検索用キーワード情報に適するテンプレート画像データを選択する。こうして選択されたテンプレート画像データは、合成部１６へと出力される。
The
合成部１６は、第１検索部１５ａからの顔画像データと、第２検索部１５ｃからのテンプレート画像データとに基いて画像合成処理を行う。その結果、生成された合成画像データ（第３の画像）を表示部１８へと出力する。これを受けて表示部１８は、合成画像データに基く画像の表示処理を行う。これにより、表示部１８の表示画面１８ａには図５に示すような合成画像が表示される。
The
なお、上記一連の作用において、合成部１６による合成画像データを生成するための素材となる画像データは、例えば第１検索部１５ａ，第２検索部１５ｃによって自動的に選択される手段を示したが、これとは別の手段としてもよい。例えば表示部１８にテンプレート画像データ等の一覧表示を行って、操作入力部１３ｂ，タッチパネル１８ｂ等を用いて使用者が選択操作を行う手段としてもよい。
In the above series of operations, the image data used as the material for generating the composite image data by the combining
以上述べた本実施形態のカメラ１０による作用の詳細を図６〜図１１を用いて以下に説明する。
Details of the operation of the
まず、カメラ１０の電源がオン状態にあるとき、図６のステップＳ１において、制御部１１は、設定されている動作モードが撮影モードであるか否かの確認を行う。ここで、設定されている動作モードが撮影モードであると確認された場合には、次のステップＳ２の処理に進む。また、設定されている動作モードが撮影モード以外の動作モードであると確認された場合には、ステップＳ２１の処理に進む。
First, when the power supply of the
即ち、図６に示すカメラ制御の処理シーケンスにおいて、ステップＳ１以降の処理シーケンスは、撮影モードで動作する際の処理シーケンスである。また、後述するように、ステップＳ２１以降の処理シーケンスは、再生モードで動作する際の処理シーケンスである。なお、本実施形態においては、上記撮影モード（ステップＳ１〜Ｓ９の処理シーケンス）と上記再生モード（ステップＳ２１以降の処理シーケンス）以外の動作モードにおける処理シーケンスについては、本発明とは直接関連しない作用であるので、その図示及び説明は省略する。 That is, in the camera control processing sequence shown in FIG. 6, the processing sequence after step S1 is a processing sequence when operating in the shooting mode. Further, as will be described later, the processing sequence after step S21 is a processing sequence when operating in the reproduction mode. In the present embodiment, the processing sequence in the operation mode other than the shooting mode (processing sequence of steps S1 to S9) and the playback mode (processing sequence after step S21) is not directly related to the present invention. Therefore, illustration and description thereof are omitted.
上述のステップＳ１の処理にて、撮影モードに設定されていることが確認されて、ステップＳ２の処理に進むと、ステップＳ２において、制御部１１は、撮像部１２，表示部１８を駆動制御してライブビュー画像表示処理を実行する。このライブビュー画像表示処理は、従来のカメラにおいて通常行われる処理と同様の処理である。その後、ステップＳ３の処理に進む。
When it is confirmed in step S1 that the shooting mode is set and the process proceeds to step S2, in step S2, the
ステップＳ３において、制御部１１は、顔判定部１５ｅを制御して、撮像部１２により取得された画像信号に基いて上記顔画像検出処理及び上記顔画像判定処理等を実行する。その後、ステップＳ４の処理に進む。
In step S <b> 3, the
ステップＳ４において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、撮影操作指示信号が生じたか否かの確認を行う。ここで、撮影操作指示信号が生じたことが確認された場合には、次のステップＳ５の処理に進む。また、撮影操作指示信号が生じていない場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
In step S4, the
ステップＳ５において、制御部１１は、撮像部１２，画像処理部１１ｂ等を制御して、通常の撮影動作処理を実行する。この撮影動作処理によって使用者が所望のタイミングで撮影操作を行った時点における撮影画像信号が取得される。この撮影画像信号は、制御部１１内の一時メモリ等に一時的に記憶される。この撮影動作処理についても、従来のカメラにおいて通常行われる処理と同様の処理である。その後、ステップＳ６の処理に進む。
In step S5, the
ステップＳ６において、制御部１１は、上述のステップＳ５の処理における撮影動作処理で取得された撮影画像信号に対応する顔画像データを生成する。この顔画像データも一時メモリ等に一時的に記憶される。
In step S6, the
続いて、ステップＳ７において、制御部１１は、時計部１４から時計データ、即ち上記撮影操作を行った時点の日時情報等を取得する。この日時情報等を表わす時計データも一時メモリ等に一時的に記憶される。
Subsequently, in step S7, the
次いで、ステップＳ８において、制御部１１は、上記一時メモリに一時的に記憶されている撮影画像信号，顔画像データ，時計データを、所定の形態、例えば一つの撮影画像データとしてファイル化する。こうして生成された撮影画像データは、記録部へと出力されて記録処理される。
Next, in step S8, the
なお、撮影画像信号，顔画像データ，時計データ等は、例えば一つの撮影画像データとしてファイル化する手段としてもよいし、例えば撮影画像信号を単独の撮影画像データとしてデータ化する一方、顔画像データ，時計データ等をそれぞれ独立した形態でデータ化して保持し、これらを上記撮影画像データに関連付けして記録するようにしてもよい。 Note that the captured image signal, face image data, clock data, etc. may be, for example, filed as a single captured image data. For example, while the captured image signal is converted into a single captured image data, the face image data The clock data and the like may be stored in the form of independent data, and these may be recorded in association with the captured image data.
このように、撮影画像データの記録処理が完了したら、その後、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。 Thus, when the recording process of the captured image data is completed, the process returns to the above-described step S1 and the subsequent processes are repeated.
一方、上述のステップＳ１の処理にて、撮影モード以外の動作モードに設定されていると確認されて、ステップＳ２１の処理に進むと、ステップＳ２１において、制御部１１は、設定されている動作モードが再生モードであるか否かの確認を行う。ここで、設定されている動作モードが再生モードであると確認された場合には、次のステップＳ２２の処理に進む。また、設定されている動作モードが再生モードではないことが確認された場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。なお、上述したように、本実施形態においては、撮影モードと再生モード以外の動作モードの処理シーケンスは、図示及び説明を省略する。
On the other hand, when it is confirmed that the operation mode other than the shooting mode is set in the process of step S1 and the process proceeds to the process of step S21, in step S21, the
ステップＳ２２において、制御部１１は、記録部，表示部１８等を駆動制御して、記録部に記録済みの撮影画像データの一覧表示処理を実行する。その後、ステップＳ２３の処理に進む。
In step S <b> 22, the
ステップＳ２３において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、再生画像選択指示信号が生じたか否かの確認を行う。ここで、再生画像選択指示信号が生じたことが確認された場合には、次のステップＳ２４の処理に進む。また、再生画像選択指示信号が生じていない場合には、上述のステップＳ２１の処理に戻り、以降の処理を繰り返す。なお、実際のカメラ１０においては、上述のステップＳ２２の処理にて表示される一覧表示の形態にも複数種の表示形態があり、それらの表示形態を選択したり、一覧表示の中から所望の画像を選択する際にも各種の操作が行われる。これらの操作手段や表示形態等の作用については、本発明に直接関連しない部分であるので、その詳細説明は省略している。
In step S23, the
上述のステップＳ２３の処理にて、再生画像選択指示信号が確認されてステップＳ２４の処理に進むと、ステップＳ２４において、制御部１１は、記録部（第１画像データベース部１７ａ），画像処理部１１ｂ，表示部１８等を制御して、上述のステップＳ２３の処理にて選択された画像データに基く画像を表示部１８に表示する表示処理を実行する。このときの状況が、図５を用いて上述した使用状況に相当する。つまり、人物Ｂは、上述したような一連のカメラ１０の操作を行って、表示部１８に所望の画像を表示させつつ、人物Ａとの間で会話をしている状況を想定している。
When the reproduction image selection instruction signal is confirmed in the process of step S23 described above and the process proceeds to the process of step S24, in step S24, the
こうして使用者により選択された画像が表示部１８の表示画面に表示されると、制御部１１は、続いてステップＳ２５において、記録部（第１画像データベース部１７ａ）等を制御して、表示部１８に現在表示中の画像に対応する画像情報データを参照し、顔画像データが含まれているか否かの確認を行う。ここで、顔画像データが含まれていることが確認された場合には、次のステップＳ２６の処理に進む。また、顔画像データが含まれていないことが確認された場合には、ステップＳ３１の処理に進む。
When the image selected by the user is displayed on the display screen of the
ステップＳ２６において、制御部１１は、スイッチ表示処理を実行する。このスイッチ表示処理の詳細について、図７を用いて以下に説明する。
In step S26, the
このスイッチ表示処理は、例えば選択し得る動作キーワード情報（即ち、当該カメラ１０の第２画像データベース部１７ｂに予め記録されている動作に関するテンプレート画像データ）に応じた動作キーワード（一覧）情報の設定を行ったり、表示中の画像に含まれる人物の顔画像データに基く人物キーワード情報を設定する等の処理でる。
In this switch display process, for example, operation keyword (list) information is set according to selectable operation keyword information (that is, template image data relating to an operation recorded in advance in the second
即ち、図７のステップＳ５１において、制御部１１は、キーワード抽出部１５ｄ，第２検索部１５ｃを制御して、第２画像データベース部１７ｂに含まれる動作キーワードを設定する検索用キーワード情報抽出処理を実行する。
That is, in step S51 of FIG. 7, the
続いて、ステップＳ５２において、制御部１１は、キーワード抽出部１５ｄ，第１検索部１５ａを制御して、第１画像データベース部１７ａに含まれる人物キーワードを設定する設定処理を実行する。
Subsequently, in step S52, the
そして、ステップＳ５３において、制御部１１は、キーワード抽出部１５ｄ，表示部等を制御して、上記ステップＳ５１，Ｓ５２の処理にて設定された検索用キーワード情報を表示部１８の表示画面上に、例えば現在表示中の画像に重畳させて一覧表示する表示処理を実行する。その後、図６のステップＳ３１の処理に進む（リターン）。
In step S53, the
ステップＳ３１において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、画像表示を終了させる指示信号が生じたか否かの確認を行う。ここで、画像表示終了指示信号が生じたことが確認された場合には、上述のステップＳ２１の処理に戻り、以降の処理を繰り返す。また、画像表示終了指示信号が生じていないことが確認された場合には、ステップＳ３２の処理に進む。
In step S31, the
ステップＳ３２において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、検索用キーワード情報を選択するためのスイッチ操作が行われたか否かの確認を行う（スイッチ操作確認処理）。このスイッチ操作確認処理の詳細を、図８を用いて以下に説明する。
In step S32, the
このスイッチ操作確認処理は、上述のステップＳ２６のスイッチ表示処理にて表示部１８に表示された検索用キーワード情報一覧表示から、使用者が所望の検索用キーワード情報を選択する際になされる操作確認等を行う処理である。
This switch operation confirmation process is performed when the user selects desired search keyword information from the search keyword information list displayed on the
即ち、図８のステップＳ５４において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、表示中の検索用キーワード情報一覧表示中の動作キーワードが選択されたか否かの確認を行う。ここで、動作キーワードの選択がなされたことが確認された場合には、次のステップＳ５５の処理に進む。また、動作キーワードの選択が行われなかったことが確認された場合には、スイッチ操作がなされなかったものと判定されて（スイッチ操作なし判定）、図６のステップＳ３４の処理に進む。
That is, in step S54 in FIG. 8, the
ステップＳ５５において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、表示中の検索用キーワード情報一覧表示中の人物キーワードが選択されたか否かの確認を行う。ここで、人物キーワードの選択がなされたことが確認された場合には、スイッチ操作の確認がなされたものと判定されて（スイッチ操作有り判定）、図６のステップＳ３３の処理に進む。また、人物キーワードの選択が行われなかったことが確認された場合には、次のステップＳ５６の処理に進む。
In step S55, the
ステップＳ５６において、制御部１１は、タッチパネル１８ｂ等の操作部からの指示信号を監視して、表示画像中の顔部領域に対するタッチ操作が行われたかどうかの確認を行う。ここで、顔部領域に対するタッチ操作が行われたことが確認された場合には、スイッチ操作の確認がなされたものと判定されて（スイッチ操作有り判定）、図６のステップＳ３３の処理に進む。また、顔部領域に対するタッチ操作が行われたこと確認されない場合には、次のステップＳ５７の処理に進む。
In step S56, the
ステップＳ５７において、制御部１１は、時計部１４を参照して、上述のステップＳ２６のスイッチ表示処理の開始から所定の時間、例えば５秒以上経過したか否かの確認を行う。ここで、所定時間が経過するまで待機し、所定時間の経過が確認された場合には、次のステップＳ５８の処理に進む。
In step S57, the
ステップＳ５８において、制御部１１は、表示部１８，画像処理部１１ｂ等を制御して、現在表示中の画像のうち表示画像の略中央部近傍の所定範囲の領域（例えば画面の横方向の１／３を占める領域）中に表示されている人物の顔部が選択されたものと見なし、スイッチ操作がなされたものと判定されて（スイッチ操作有り判定）、図６のステップＳ３３の処理に進む。
In step S58, the
上述のステップＳ５５，Ｓ５６，Ｓ５８の各処理にてスイッチ操作有り判定がなされて、図６のステップＳ３３の処理に進むと、制御部１１は、ステップＳ３３において、第２検索部１５ｃ等を制御して対応動作画像検索処理を実行する。この対応動作画像検索処理は、選択された動作キーワードに対応する動作を表わすテンプレート画像を、第２画像データベース部１７ｂより検索する処理である。この対応動作画像検索処理の詳細は後述する（図９参照）。その後、ステップＳ４２の処理に進む。
When it is determined that there is a switch operation in each of the above-described steps S55, S56, and S58 and the process proceeds to step S33 in FIG. 6, the
一方、上述のステップＳ５４の処理にてスイッチ操作なし判定がなされて、図６のステップＳ３４の処理に進むと、制御部１１は、ステップＳ３４において、音声入力部１３ａからの音声入力信号の監視を行って、音声入力信号が生じたか否かの確認を行う（音声判定処理）。ここで、音声入力信号が確認された場合には、次のステップＳ３５の処理に進む。また、音声入力信号が確認されない場合には、上述のステップＳ３１の処理に戻り、以降の処理を繰り返す。
On the other hand, when it is determined in step S54 that there is no switch operation and the process proceeds to step S34 in FIG. 6, the
ステップＳ３５において、制御部１１は、キーワード抽出部１５ｄを制御して、上述のステップＳ３４の処理にて確認された音声入力信号に基いて検索用キーワード情報判定処理を実行する。
In step S35, the
続いて、ステップＳ３６において、制御部１１は、キーワード抽出部１５ｄを制御して、上述のステップＳ３５の処理にて確認された音声入力信号中に人物キーワードが有るかどうかの確認を行う。ここで、人物キーワード情報が有ることが確認された場合には、次のステップＳ３７の処理に進む。また、人物キーワード情報がないことが確認された場合には、上述のステップＳ３１の処理に戻り、以降の処理を繰り返す。
Subsequently, in step S36, the
ステップＳ３７において、制御部１１は、対応人物画像検索処理を実行する。この対応人物画像検索処理は、上述のステップＳ３６の処理にて確認された人物キーワード情報に対応する人物についての顔画像データの検索処理である。ここで、対応人物画像検索処理の詳細は、図１０を用いて以下に説明する。
In step S37, the
即ち、図１０のステップＳ７１において、制御部１１は、
上述のステップＳ３６の処理にて確認された人物キーワード情報と、表示中の画像データに付随する画像情報データとを参照し、両者に合致する名前情報が有るか否かの確認を行う。ここで、合致する名前情報が有ることが確認された場合には、次のステップＳ７２の処理に進む。
That is, in step S71 in FIG.
The person keyword information confirmed in the process of step S36 described above and the image information data attached to the image data being displayed are referred to, and it is confirmed whether there is name information matching the both. If it is confirmed that there is matching name information, the process proceeds to the next step S72.
ステップＳ７２において、制御部１１は、合致する名前情報に従って表示画像の中から対応する人物の顔画像を選択する。その後、図６のステップＳ３８の処理に進む。
In step S <b> 72, the
一方、上述のステップＳ７１の処理にて、合致する名前情報がないと判断された場合には、ステップＳ７３の処理に進む。 On the other hand, if it is determined in step S71 that there is no matching name information, the process proceeds to step S73.
ステップＳ７３において、制御部１１は、予め設定されている標準顔画像（デフォルト顔画像；例えば使用者が登録している特定の子供の顔画像）を選択する。その後、図６のステップＳ３８の処理に進む。
In step S73, the
図６に戻って、ステップＳ３８において、制御部１１は、キーワード抽出部１５ｄを制御して、上述のステップＳ３５の処理にて確認された音声入力信号中に動作キーワードが有るかどうかの確認を行う。ここで、動作キーワード情報が有ることが確認された場合には、次のステップＳ３９の処理に進む。また、動作キーワード情報がないことが確認された場合には、上述のステップＳ３１の処理に戻り、以降の処理を繰り返す。
Returning to FIG. 6, in step S <b> 38, the
ステップＳ３８において、制御部１１は、第１検索部１５ａ，第２検索部１５ｃ等を制御して、上述のステップＳ３８の処理にて確認された動作キーワード情報に対応する動作を表わすテンプレート画像データを検索する。その後、ステップＳ４１の処理に進む。
In step S38, the
ステップＳ４１において、制御部１１は、対応動作画像検索処理を実行する。この対応動作画像検索処理は、上述のステップＳ３３の処理と同じ処理である。ここで、対応動作画像検索処理の詳細を図９を用いて以下に説明する。
In step S41, the
即ち、図９のステップＳ６１において、制御部１１は、上記キーワード抽出部１５ｄからの検索用キーワード情報データや、年齢推定部１５ｂからの推定年齢情報データ等の各種の情報に基いて、対応する人物（選択された人物）の検索用キーワード情報に応じた年齢推定が可能か否かの確認が行われる。ここで、年齢推定可能であると判断された場合には、検索用キーワード情報に応じた年齢推定処理を行って、次のステップＳ６２の処理に進む。また、年齢推定が不可であると判断された場合には、ステップＳ６３の処理に進む。
That is, in step S61 in FIG. 9, the
ステップＳ６２において、制御部１１は、上述のステップＳ６１の処理にて推定された年齢情報と動作キーワード情報とに従って対応する動作を表わすテンプレート画像を選択する。その後、図６のステップＳ４２の処理に進む。
In step S62, the
また、上述のステップＳ６１の処理にて年齢推定不可であると判断されてステップＳ６３の処理に進んだ場合、制御部１１は、ステップＳ６３において、動作キーワード情報に従って動作を表わすテンプレート画像を選択する。なお、この場合においては、推定年齢帯情報を図３の「子供」と見なして、この情報を自動的に選択する。その後、図６のステップＳ４２の処理に進む。
If it is determined in step S61 that age estimation is impossible and the process proceeds to step S63, the
ステップＳ４２において、制御部１１は、対応人物画像の顔部切り出し処理を実行する。この対応人物画像の顔部切り出し処理の詳細を図１１を用いて以下に説明する。
In step S <b> 42, the
即ち、図１１のステップＳ８１において、制御部１１は、画像処理部１１ｂ等を制御して、上述のステップＳ３７の処理にて選択された人物の顔画像データについて、顔部分の画像切り出し処理を実行する。その後、ステップＳ８２の処理に進む。
That is, in step S81 in FIG. 11, the
ステップＳ８２において、制御部１１は、上述のステップＳ４１の処理にて選択された動作を表わすテンプレート画像に対して、上述のステップＳ８１の処理にて取得した顔部分画像合成処理をするのに際して、両画像の大きさを整合させる処理を行う。即ち、動作テンプレート画像における身体部分と、上記切り出し処理にて新たに生成された顔部分との大きさを整合させるべく、顔部分データの拡大画像処理若しくは縮小画像処理を行う。その後、図６のステップＳ４３の処理に進む。
In step S82, the
図６に戻って、ステップＳ４３において、制御部１１は、合成部１６を制御して、上記顔部分画像データ（Ｉｍ２）と上記動作テンプレート画像データ（Ｉｍ１）とを合成処理する。この場合において、合成部１６は、上記顔部分画像データ（Ｉｍ２）の顔画像が、上記動作テンプレート画像データ（Ｉｍ１）の身体部分画像における顔位置に配置されるように位置設定を行う。このような合成処理結果の合成画像を表示部１８に所定の時間、例えば５秒間継続表示させる。その後、ステップＳ４４の処理に進む。
Returning to FIG. 6, in step S43, the
ステップＳ４４において、制御部１１は、記録部（第１画像データベース部１７ａ），表示部１８等を制御して、上述のステップＳ２４の処理、即ち選択画像表示処理に戻り、以降の処理を繰り返す。
In step S44, the
なお、本実施形態においては、上述のステップＳ３３，Ｓ４１の対応動作画像検索処理（図９参照）において、年齢情報のみを取り扱う例を示すのみであるが、これに限られることはない。人物に関する情報としては、例えば性別情報があるので、これを加えて動作テンプレート画像を選択することもできる。 In the present embodiment, an example is shown in which only the age information is handled in the corresponding motion image search process (see FIG. 9) in steps S33 and S41 described above, but the present invention is not limited to this. As information about a person, for example, there is gender information, and an action template image can be selected by adding this information.
また、上述の実施形態に示す例では、図１０の対応人物画像検索処理において、会話から抽出され設定された検索用キーワード情報と、表示画像中の名前情報とに合致する名前がない場合に選択されるデフォルト顔画像を、子供の顔画像としている。このことは、例えば子供であれば性別情報を加味しなくとも、本発明の主旨において生成される合成画像を微笑ましい画像として成立させることができるという効果がある。 Further, in the example shown in the above-described embodiment, in the corresponding person image search processing of FIG. 10, the selection is made when there is no name that matches the search keyword information extracted and set from the conversation and the name information in the display image. The default face image to be used is a child face image. This has the effect that, for example, if it is a child, the synthesized image generated within the gist of the present invention can be established as a smiling image without taking gender information into consideration.
以上説明したように上記一実施形態による画像表示装置は、画像を再生表示しながら会話をしている状況下において、その会話による音声信号から表示画像中の人物，時制，動作等を表わす検索用キーワード情報を抽出し、予め記録部に記録されている複数画像の中から上記抽出された検索用キーワード情報に対応する複数の画像データを選択し、選択された複数の画像を合成処理し、これによって生成された合成画像を表示部に表示するように構成している。 As described above, the image display device according to the above-described embodiment is a retrieval device that represents a person, tense, action, etc. in a display image from a voice signal of the conversation under a situation where a conversation is performed while reproducing and displaying an image. Keyword information is extracted, a plurality of image data corresponding to the extracted keyword information for search is selected from a plurality of images recorded in advance in the recording unit, and the plurality of selected images are synthesized. Is displayed on the display unit.
したがって、例えば過去に撮影済みの画像データにおける顔部分の画像データと、予め用意されたテンプレート画像データ（身体部分の画像データ）とに基いて合成画像処理を行うことにより、実際には撮影されなかった疑似的な過去のシーンを再現した合成画像を表示させることができる。このような合成画像を使用者に提供することにより、個人的に撮影記録され大量に蓄積された思い出深い画像データを鑑賞している際に、個人的な思い出等を当事者に想起させたり、対話相手との間で共有することができる。 Therefore, for example, by performing composite image processing based on image data of a face portion in image data captured in the past and template image data (image data of a body portion) prepared in advance, the image is not actually captured. It is possible to display a composite image in which a pseudo past scene is reproduced. By providing such a composite image to the user, when appreciating memorable image data that has been personally recorded and recorded and stored in large quantities, the user can recall personal memories, etc. Can be shared with.
また、撮影済みの画像データのみでは分からない撮影時の状況等を思い起こさせたり、対話開いてに対して言葉だけでは説明し得ないような状況等を、疑似的シーンを表わす合成画像として視覚的に提供することができる。 In addition, it reminds us of the situation at the time of photography that cannot be understood only with the photographed image data, or a situation that cannot be explained by words alone when the dialogue is opened. Can be provided.
したがって、従来カメラ等にて撮りっぱなしで蓄積されるままであった個人的に撮影された大量の撮影済み画像データについて、画像を単に表示させるだけに留まらず、画像の鑑賞形態をより多様化できると共に、複雑な操作を用いることなく、新たな画像表示形態を実現することができ、よって、他人とのコミュニケーションツールとして有効に用いることができる画像表示装置を提供することができる。 Therefore, with regard to a large amount of personally photographed image data that has been stored with a conventional camera, the image viewing mode has become more diverse than just displaying the image. In addition, a new image display form can be realized without using complicated operations, and thus an image display device that can be used effectively as a communication tool with others can be provided.
なお、上述の実施形態においては、画像表示装置を具備したカメラ１０を例に挙げて説明しているが、この形態に限られることはない。つまり、本発明は、画像データに基いて画像を再生表示する機能を備えた画像表示装置であればよく、必ずしもカメラとしての機能（撮影機能等）を備えている必要はない。また、画像表示装置を備えたカメラであっても、撮影機能を重視したものである必要はなく、撮影機能とその画像表示機能とを共に備えた他の形態の機器、例えば携帯電話等の機器であってもよい。
In the above-described embodiment, the
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 The present invention is not limited to the above-described embodiments, and it is needless to say that various modifications and applications can be implemented without departing from the spirit of the invention. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if several constituent requirements are deleted from all the constituent requirements shown in the above-described embodiment, if the problem to be solved by the invention can be solved and the effect of the invention can be obtained, this constituent requirement is deleted. The configured structure can be extracted as an invention.
本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器（カメラ）に限られることはなく、撮影機能と画像表示機能とを備えた他の形態の電子機器、例えば携帯電話，録音機器，電子手帳，パーソナルコンピュータ，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影及び画像表示機能付き電子機器に対して広く適用することが可能である。 The present invention is not limited to a photographing device (camera) that is an electronic device specialized for a photographing function such as a digital camera, and other forms of electronic devices having a photographing function and an image display function, such as a mobile phone. , Recording devices, electronic notebooks, personal computers, game devices, televisions, watches, navigation devices using GPS (Global Positioning System), etc., and can be widely applied to electronic devices with various shooting and image display functions. is there.
１０……カメラ
１１……制御部
１１ｂ……画像処理部
１２……撮像部
１３ａ……音声入力部
１３ｂ……操作入力部
１４……時計部
１５ａ……第１検索部
１５ｂ……年齢推定部
１５ｃ……第２検索部
１５ｄ……キーワード抽出部
１５ｅ……顔判定部
１６……合成部
１７ａ……第１画像データベース部
１７ｂ……第２画像データベース部
１８……表示部
１８ａ……表示画面
１８ｂ……タッチパネル
DESCRIPTION OF
Claims (5)
上記撮影画像データに基く画像を表示する表示部と、
上記撮影画像データに付随する画像情報データに含まれる第１の画像データを記録する第１の画像データベース部と、
第２の画像データを記録する第２の画像データベース部と、
第１の検索用キーワード情報及び第２の検索用キーワード情報を設定するキーワード抽出部と、
上記キーワード抽出部によって設定された上記第１の検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する第１の画像データを選択する第１検索部と、
上記キーワード抽出部によって設定された上記第２の検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応する第２の画像データを選択する第２検索部と、
上記第１の画像データと上記第２の画像データとに基いて画像合成処理を施して第３の画像を生成する合成部と、
を有することを特徴とする画像表示装置。 A recording unit for accumulating and recording captured image data;
A display unit for displaying an image based on the captured image data;
A first image database unit for recording first image data included in image information data accompanying the photographed image data;
A second image database unit for recording second image data;
A keyword extraction unit for setting the first search keyword information and the second search keyword information;
A first search unit that searches the first image database unit based on the first search keyword information set by the keyword extraction unit and selects corresponding first image data;
A second search unit for searching the second image database unit based on the second search keyword information set by the keyword extraction unit and selecting corresponding second image data;
A synthesizing unit that performs image synthesis processing based on the first image data and the second image data to generate a third image;
An image display device comprising:
上記第２の画像データは、人物の動作を表わすテンプレート画像データであり、
上記第１の検索用キーワード情報は、人物を表わすキーワード情報であり、
上記第２の検索用キーワード情報は、人物の動作を表わすキーワード情報であることを特徴とする請求項１に記載の画像表示装置。 The first image data is face image data representing a face of a person included in a display image being displayed on the display unit,
The second image data is template image data representing an action of a person,
The first search keyword information is keyword information representing a person,
2. The image display device according to claim 1, wherein the second search keyword information is keyword information representing a person's action.
上記第２検索部は、上記年齢情報に基いて、上記第２の画像データを選択することを特徴とする請求項２に記載の画像表示装置。 An age estimation unit for estimating age information of a person included in the display image being displayed on the display unit based on the first search keyword information and the first image data;
The image display apparatus according to claim 2, wherein the second search unit selects the second image data based on the age information.
上記キーワード抽出部は、上記音声入力部により生成された上記音声信号に基いて上記第１の検索用キーワード情報及び上記第２の検索用キーワード情報を設定することを特徴とする請求項１に記載の画像表示装置。 A voice input unit for collecting voice and generating a voice signal;
The keyword extraction unit sets the first search keyword information and the second search keyword information based on the voice signal generated by the voice input unit. Image display device.
上記撮影画像データの取得時に被写体の顔を検出し対応する顔画像データを取得する顔判定部と、
上記撮影画像データに関連付けて上記顔画像データを記録する第１の画像データベース部と、
予め生成されたテンプレート画像データを記録する第２の画像データベース部と、
複数の検索用キーワード情報を設定するキーワード抽出部と、
上記複数の検索用キーワード情報のうち人物を表わす検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する顔画像データを選択する第１検索部と、
上記複数の検索用キーワード情報のうち人物の動作を表わす検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応するテンプレート画像データを選択する第２検索部と、
上記顔画像データと上記テンプレート画像データとに基いて画像合成処理を行って合成画像を生成する合成部と、
を有することを特徴とするカメラ。 In a camera comprising an imaging unit that acquires captured image data and a recording unit that stores and records the captured image data, and an image display device that displays an image based on the captured image data.
A face determination unit that detects the face of the subject when acquiring the captured image data and acquires corresponding face image data;
A first image database unit for recording the face image data in association with the captured image data;
A second image database unit for recording pre-generated template image data;
A keyword extraction unit for setting a plurality of search keyword information;
A first search unit for searching the first image database unit based on search keyword information representing a person among the plurality of search keyword information and selecting corresponding face image data;
A second search unit that searches the second image database unit based on search keyword information representing a person's action among the plurality of search keyword information and selects corresponding template image data;
A synthesis unit that performs an image synthesis process based on the face image data and the template image data to generate a synthesized image;
A camera characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010293553A JP2012142760A (en) | 2010-12-28 | 2010-12-28 | Image display device and camera equipped with image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010293553A JP2012142760A (en) | 2010-12-28 | 2010-12-28 | Image display device and camera equipped with image display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012142760A true JP2012142760A (en) | 2012-07-26 |
| JP2012142760A5 JP2012142760A5 (en) | 2014-02-13 |
Family
ID=46678604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010293553A Pending JP2012142760A (en) | 2010-12-28 | 2010-12-28 | Image display device and camera equipped with image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012142760A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016536945A (en) * | 2013-11-20 | 2016-11-24 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Video providing method and video providing system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002140589A (en) * | 2000-11-01 | 2002-05-17 | Seiko Epson Corp | Order receiving method and system for merchandise |
| JP2002183530A (en) * | 2000-12-15 | 2002-06-28 | Hitachi Kokusai Electric Inc | Online shopping method using try-on image |
| JP2002366837A (en) * | 2001-06-06 | 2002-12-20 | Sony Corp | System and device for article proposal, customer-side image transmitting terminal, article-proposer-side terminal, customer-side browsing terminal, program for the same, and program recording medium |
| JP2002373285A (en) * | 2001-06-13 | 2002-12-26 | Olympus Optical Co Ltd | Method for presenting and providing merchandise |
| JP2003168050A (en) * | 2001-11-29 | 2003-06-13 | Nec Soft Ltd | Mail order system and its method |
| JP2009223740A (en) * | 2008-03-18 | 2009-10-01 | Fujifilm Corp | Clothing merchandise retrieval device and method, and program |
-
2010
- 2010-12-28 JP JP2010293553A patent/JP2012142760A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002140589A (en) * | 2000-11-01 | 2002-05-17 | Seiko Epson Corp | Order receiving method and system for merchandise |
| JP2002183530A (en) * | 2000-12-15 | 2002-06-28 | Hitachi Kokusai Electric Inc | Online shopping method using try-on image |
| JP2002366837A (en) * | 2001-06-06 | 2002-12-20 | Sony Corp | System and device for article proposal, customer-side image transmitting terminal, article-proposer-side terminal, customer-side browsing terminal, program for the same, and program recording medium |
| JP2002373285A (en) * | 2001-06-13 | 2002-12-26 | Olympus Optical Co Ltd | Method for presenting and providing merchandise |
| JP2003168050A (en) * | 2001-11-29 | 2003-06-13 | Nec Soft Ltd | Mail order system and its method |
| JP2009223740A (en) * | 2008-03-18 | 2009-10-01 | Fujifilm Corp | Clothing merchandise retrieval device and method, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016536945A (en) * | 2013-11-20 | 2016-11-24 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Video providing method and video providing system |
| US11095954B2 (en) | 2013-11-20 | 2021-08-17 | Naver Corporation | Video-providing method and video-providing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101531783B1 (en) | Video summary including a particular person | |
| JP5857122B2 (en) | Video summary including features of interest | |
| KR101720774B1 (en) | Digital photographing apparatus and method for providing a picture thereof | |
| JP5024093B2 (en) | Image capturing device, display device thereof, and image data management system | |
| JP2004032690A (en) | System for capturing and archiving moving video segment | |
| JP2008206138A (en) | Imaging apparatus and image processor | |
| US7667759B2 (en) | Imaging apparatus that can display both real-time images and recorded images simultaneously | |
| JPWO2009150827A1 (en) | Content editing device | |
| JPWO2016208070A1 (en) | Imaging apparatus and image processing method | |
| JP2006086823A (en) | Image recording device, image search method, image grading method, and image grading system | |
| JP2011066717A (en) | Image photographing display device and program for the same | |
| JP2012142760A (en) | Image display device and camera equipped with image display device | |
| JP2010021819A (en) | Image display apparatus, image display method, and program | |
| JP2009211341A (en) | Image display method and display apparatus thereof | |
| JP2009232114A (en) | Image reproducing apparatus, its method and image reproducing program | |
| JP2007089075A (en) | Image pickup device, navigation device, and positional information storage system | |
| JP6166070B2 (en) | Playback apparatus and playback method | |
| JP2005006059A (en) | Dynamic image processor and its program | |
| JP2012147267A (en) | Information recording apparatus and program | |
| JP6249771B2 (en) | Image processing apparatus, image processing method, and program | |
| US8947559B2 (en) | Recorder and player | |
| JP5704945B2 (en) | Imaging apparatus, control method therefor, and program | |
| JP4616895B2 (en) | Digital still camera with music playback function and image music playback device | |
| JP5078723B2 (en) | Image group reproduction device, image group reproduction method, and image group reproduction program | |
| JP5057135B2 (en) | REPRODUCTION DEVICE AND REPRODUCTION METHOD, RECORDING DEVICE, RECORDING METHOD, AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140916 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141106 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150113 |