JP2012142760A - Image display device and camera equipped with image display device - Google Patents
Image display device and camera equipped with image display device Download PDFInfo
- Publication number
- JP2012142760A JP2012142760A JP2010293553A JP2010293553A JP2012142760A JP 2012142760 A JP2012142760 A JP 2012142760A JP 2010293553 A JP2010293553 A JP 2010293553A JP 2010293553 A JP2010293553 A JP 2010293553A JP 2012142760 A JP2012142760 A JP 2012142760A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- image data
- search
- keyword information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
この発明は、画像表示装置、詳しくは電子的な画像信号を画像として表示する画像表示装置に関するものである。 The present invention relates to an image display device, and more particularly to an image display device that displays an electronic image signal as an image.
従来、撮影光学系により結像された光学像を光電変換素子等によって順次画像信号に変換し、これにより得られた電子的な画像信号を所定の形態、例えばデジタル画像データ(以下、単に画像データと略記する)として記録媒体に記録し得る撮影装置、例えばデジタルカメラやビデオカメラ等(以下、これらを総称してカメラという)が、一般に実用化され広く普及している。 Conventionally, an optical image formed by a photographing optical system is sequentially converted into an image signal by a photoelectric conversion element or the like, and an electronic image signal obtained thereby is converted into a predetermined form, for example, digital image data (hereinafter simply referred to as image data). Imaging devices that can be recorded on a recording medium, such as digital cameras and video cameras (hereinafter collectively referred to as cameras), are generally put into practical use and widely used.
また、このような形態のカメラによって撮影記録された画像データに基いて、画像を再生表示する画像表示装置、例えば液晶表示装置(LCD)等を備えて構成された画像表示装置が一般に実用化され、広く普及している。 Further, an image display device configured to include an image display device that reproduces and displays an image, for example, a liquid crystal display device (LCD), based on image data captured and recorded by such a camera is generally put into practical use. Widely popular.
このような形態の画像表示装置においては、複数の画像データを利用して、各種の画像処理(例えば画像合成処理等)を行い、一つの画像データに基いて表示される画像とは異なる画像を表示し得る新たな画像データを生成する機能を有するものがある。 In such an image display apparatus, various image processing (for example, image composition processing) is performed using a plurality of image data, and an image different from an image displayed based on one image data is displayed. Some have a function of generating new image data that can be displayed.
例えば、特開平10−207480号公報によって開示されている装置は、カラオケ装置において、カラオケ曲の演奏時に再生表示される画像データ(背景画像データ)に、そのカラオケ曲の演奏時にカメラで撮影取得される画像データ(カラオケ歌唱者の顔画像データ)を合成処理して合成画像データを生成し、こうして取得された合成画像データに基く合成画像を表示したり、プリンタでプリントするというものである。この場合において、背景画像データは、装置の製作者が予め撮影記録して記録媒体等に記録しておいたものが用いられる。また、背景画像データは、使用者の操作情報に基づいて、例えば選択されたカラオケ曲に対応するものが選択されるように構成されている。 For example, in the device disclosed in Japanese Patent Laid-Open No. 10-207480, image data (background image data) reproduced and displayed when a karaoke song is played is photographed and acquired by a camera when the karaoke song is played. Image data (face image data of a karaoke singer) is synthesized to generate synthesized image data, and a synthesized image based on the obtained synthesized image data is displayed or printed by a printer. In this case, the background image data is used that has been recorded and recorded in advance on the recording medium or the like by the manufacturer of the apparatus. The background image data is configured so that, for example, the one corresponding to the selected karaoke song is selected based on the operation information of the user.
一方、従来の画像表示装置や、このような画像表示装置を具備するカメラにおいては、記録された画像データを表示する機能を具備すると同時に、合成画像処理に限らず各種の画像処理を実行し得る高性能な画像処理回路を内部に備えて構成されているものが、一般に実用化され広く普及している。 On the other hand, a conventional image display device and a camera equipped with such an image display device have a function of displaying recorded image data, and at the same time, can perform various types of image processing without being limited to composite image processing. What is configured with a high-performance image processing circuit therein is generally put into practical use and widely used.
上記特開平10−207480号公報によって開示されている装置においては、予め用意された背景画像データを利用するものであるので、生成される合成画像データは画一的なものでしかないという問題点がある。 In the apparatus disclosed by the above Japanese Patent Laid-Open No. 10-207480, since background image data prepared in advance is used, the generated composite image data is only uniform. There is.
また、上記公報に開示されている装置では、使用者が所望の処理結果を得るためには、各種の選択操作を行う必要があるため、煩雑な操作を強いられることになるという問題もある。 In addition, the apparatus disclosed in the above publication has a problem in that a complicated operation is required because the user needs to perform various selection operations in order to obtain a desired processing result.
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮影記録済みの撮影画像データと予め用意されている複数のテンプレート画像データとに基いて、所定の条件に合致する複数の画像データを選択し、選択した複数の画像データについての画像合成処理を行って疑似的シーンを表わす合成画像データを生成し、これに基く画像を表示させる新たな画像表示形態を実現し、これにより画像の鑑賞形態をより多様化し得る画像表示装置を提供することである。 The present invention has been made in view of the above-described points, and an object of the present invention is to determine a predetermined condition based on photographed image data that has been photographed and recorded and a plurality of template image data prepared in advance. A new image display form that selects a plurality of image data that matches the image data, performs image composition processing on the selected plurality of image data, generates composite image data representing a pseudo scene, and displays an image based on the composite image data It is to provide an image display device that can be realized and thereby can diversify image viewing modes.
上記目的を達成するために、本発明による画像表示装置は、撮影画像データを蓄積記録する記録部と、上記撮影画像データに基く画像を表示する表示部と、上記撮影画像データに付随する画像情報データに含まれる第1の画像データを記録する第1の画像データベース部と、第2の画像データを記録する第2の画像データベース部と、第1の検索用キーワード情報及び第2の検索用キーワード情報を設定するキーワード抽出部と、上記キーワード抽出部によって設定された上記第1の検索用キーワード情報に基いて上記第1の画像データベース部を検索し、対応する第1の画像データを選択する第1検索部と、記キーワード抽出部によって設定された上記第2の検索用キーワード情報に基いて上記第2の画像データベース部を検索し、対応する第2の画像データを選択する第2検索部と、記第1の画像データと上記第2の画像データとに基いて画像合成処理を施して第3の画像を生成する合成部とを有することを特徴とする。 In order to achieve the above object, an image display apparatus according to the present invention includes a recording unit for accumulating and recording captured image data, a display unit for displaying an image based on the captured image data, and image information associated with the captured image data. A first image database unit for recording first image data included in the data, a second image database unit for recording second image data, first search keyword information, and a second search keyword. A keyword extraction unit for setting information, and a first image database unit that searches the first image database unit based on the first search keyword information set by the keyword extraction unit and selects corresponding first image data. 1 search unit and the second image database unit based on the second search keyword information set by the keyword extraction unit and search A second search unit that selects second image data; and a synthesis unit that generates a third image by performing image synthesis processing based on the first image data and the second image data. It is characterized by.
また、本発明によるカメラは、撮影画像データを取得する撮像部と上記撮影画像データを蓄積記録する記録部とを備えると共に、上記撮影画像データに基く画像を表示する画像表示装置を具備するカメラにおいて、上記撮影画像データの取得時に被写体の顔を検出し対応する顔画像データを取得する顔判定部と、上記撮影画像データに関連付けて上記顔画像データを記録する第1の画像データベース部と、予め生成されたテンプレート画像データを記録する第2の画像データベース部と、複数の検索用キーワード情報を設定するキーワード抽出部と、上記複数の検索用キーワード情報のうち人物を表わす検索用キーワード情報に基いて上記第1の画像データベース部を検索し、対応する顔画像データを選択する第1検索部と、上記複数の検索用キーワード情報のうち人物の動作を表わす検索用キーワード情報に基いて上記第2の画像データベース部を検索し、対応するテンプレート画像データを選択する第2検索部と、上記顔画像データと上記テンプレート画像データとに基いて画像合成処理を行って合成画像を生成する合成部と、を有することを特徴とする。 According to another aspect of the present invention, there is provided a camera comprising: an imaging unit that acquires captured image data; and a recording unit that accumulates and records the captured image data; and an image display device that displays an image based on the captured image data. A face determination unit that detects a face of a subject when acquiring the captured image data and acquires corresponding face image data; a first image database unit that records the face image data in association with the captured image data; Based on a second image database section that records the generated template image data, a keyword extraction section that sets a plurality of search keyword information, and search keyword information that represents a person among the plurality of search keyword information A first search unit for searching the first image database unit and selecting corresponding face image data; and the plurality of searches A second search unit that searches the second image database unit based on search keyword information representing a person's action among the keyword information and selects corresponding template image data, the face image data, and the template image data And a synthesizing unit that performs an image synthesizing process based on the above and generates a synthesized image.
本発明によれば、撮影記録済みの撮影画像データと予め用意されている複数のテンプレート画像データとに基いて、所定の条件に合致する複数の画像データを選択し、選択した複数の画像データについての画像合成処理を行って疑似的シーンを表わす合成画像データを生成し、これに基く画像を表示させる新たな画像表示形態を実現し、これにより画像の鑑賞形態をより多様化し得る画像表示装置と、この画像表示装置を具備するカメラを提供することができる。 According to the present invention, based on photographed image data that has been photographed and recorded and a plurality of template image data prepared in advance, a plurality of image data that meet a predetermined condition is selected, and the selected plurality of image data An image display device capable of generating a composite image data representing a pseudo-scene by performing image synthesis processing of the above, realizing a new image display form for displaying an image based on the composite image data, and thereby further diversifying an image viewing form A camera including the image display device can be provided.
以下、図示の実施の形態によって本発明を説明する。 The present invention will be described below with reference to the illustrated embodiments.
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる電子的な画像信号を静止画像又は動画像を表わすデジタル画像データに変換する撮像部と、こうして生成された画像データを記録媒体に記録する記録部と、該記録媒体に記録されたデジタル画像データに基いて対応する静止画像又は動画像を再生表示する画像表示装置とを具備して構成されるカメラを例に挙げて説明するものである。 In one embodiment of the present invention, for example, an optical image formed by an optical lens is photoelectrically converted using a solid-state imaging device, and an electronic image signal obtained thereby is converted into digital image data representing a still image or a moving image. An image pickup unit that records the image data thus generated on a recording medium, and an image display device that reproduces and displays a corresponding still image or moving image based on the digital image data recorded on the recording medium. This is described using an example of a built-in camera.
まず、本発明の一実施形態の画像表示装置を具備するカメラの主要構成について、図1を用いて説明する。 First, a main configuration of a camera including an image display device according to an embodiment of the present invention will be described with reference to FIG.
図1に示すように、カメラ10は、制御部11と、撮像部12と、音声入力部13aと、操作入力部13bと、時計部14と、記録部(第1画像データベース部17a,第2画像データベース部17bを含む)と、画像表示装置(表示部18,タッチパネル18b)等によって構成される。
As shown in FIG. 1, the
制御部11は、カメラ10の全体を統括的に制御する制御手段として機能するCPU等の制御回路等である。制御部11の内部には、画像データを取り扱うための各種の回路、例えば画像処理部11b,第1検索部15a,年齢推定部15b,第2検索部15c,キーワード抽出部15d,顔判定部15e,合成部16等のほか、図示していないが、一般的なカメラ等の制御部が具備するその他の回路、例えば画像信号等のデータを一時的に記憶する一時メモリ(temporarily memory)や、電源に関する制御を行う電源制御部等が設けられている。
The
画像処理部11bは、撮像部12によって取得され上記一時メモリ等に一時的に記憶された画像信号について各種の信号処理を行う回路である。
The
第1検索部15aは、記録部のうちの第1画像データベース部17aに記録されている情報、即ち撮影記録済みの撮影画像データに付随する各種の画像情報データに基いて、所定の条件、例えば後述するキーワード抽出部15dによって設定された検索用キーワード情報に適合する画像情報データの検索を行う回路である。
The
第2検索部15cは、記録部のうちの第2画像データベース部17bに記録されているテンプレート画像データ等(詳細は後述する)に基いて、所定の条件、例えば後述するキーワード抽出部15dによって設定された検索用キーワード情報に適合するテンプレート画像データ等の検索を行う回路である。
The
年齢推定部15bは、記録部のうちの第1画像データベース部17aに記録されている画像情報データのうち特に撮影年月日,日時情報等(以下、日時情報等と略記する)及び被写体(人物)に関するプロフィール情報等と、時計部14による現在日時情報等の各種の情報に基いて、各画像データに含まれる被写体(人物)の年齢を推定し、所定の形態のリストを生成し保持する回路である。
Among the image information data recorded in the first
キーワード抽出部15dは、後述する音声入力部13aからの音声入力信号や、操作入力部13b若しくはタッチパネル18b等の操作部からの入力信号を受けて画像検索を行う際に利用する検索用キーワード情報を抽出し設定する回路である。
The
顔判定部15eは、撮像部12によって取得された画像信号に基いて画像中にある被写体のうちから人物若しくは動物等の顔の画像を検出し、その顔画像についての判定処理を行う回路である。
The
より詳しく説明すると、顔判定部15eは、例えば撮像部12によって取得された画像信号に基いて画像中にある被写体のうちから人物若しくは動物等の顔部分の画像を検出し、顔画像データを作成する。これにより作成された顔画像データについて、使用者は、所定の操作を行って、個々の顔画像データに関する情報、例えば、その顔画像に対応する人物の名前,性別,生年月日等のプロフィール情報等を付加して登録する。なお、プロフィール情報に含まれる性別情報は、例えば顔判定部15eによる判定結果を用いてもよいし、使用者が登録の際に任意に入力するようにしてもよい。こうしてプロフィール情報を付加された顔画像データは、第1画像データベース部17a等に記録される(顔画像登録処理)。
More specifically, for example, the
また、顔判定部15eは、撮像部12によって取得された画像データに含まれる被写体の顔画像が、上記顔画像等禄処理にて登録済みの顔画像データに合致するものがあるかどうかを判定する(顔画像判定処理)。合致する顔画像がある場合には、当該画像データの撮影記録動作時に、登録済み顔画像データに付加されたプロフィール情報を関連付けて記録する。合致する顔画像がない場合には、当該画像データの撮影記録動作時に、その旨を表示したり、上記顔画像登録処理を促すようなシーケンスを実行するようにしてもよい。
Further, the
なお、顔判定部15eによる上述のような顔画像検出処理,顔画像判定処理等は、従来のカメラにおいて、近年広く普及している画像処理技術の一つである。
Note that face image detection processing, face image determination processing, and the like as described above by the
合成部16は、第1検索部15a,第2検索部15c等による検索結果に基いて選択されるテンプレート画像データ(後述する)と撮影記録済み画像データとを利用して、後述する表示装置に含まれるタッチパネル18bからの使用者による操作指示等を受けて、所定の合成画像データを生成する画像処理回路部である。この合成部16により生成された合成画像データは、表示部18へと出力され、画像として表示される。
The synthesizing
なお、上記一時メモリや画像処理部11b,第1検索部15a,第2検索部15c,年齢推定部15b,キーワード抽出部15d,顔判定部15e,合成部16等は、本実施形態で示すように制御部11内に含めて構成する形態のほか、制御部11とは別の処理回路として個別に構成するようにしてもよい。
The temporary memory, the
記録部は、例えば半導体メモリ等の記録媒体と、この記録媒体をドライブする記録手段等によって構成される。記録部は、通常の撮影画像データを記録する領域のほかに、第1画像データベース部17aと第2画像データベース部17bとを有する。
The recording unit is configured by a recording medium such as a semiconductor memory and recording means for driving the recording medium. The recording unit includes a first
第1画像データベース部17aには、撮影画像データに付随する画像情報データ等が記録される。ここで、画像情報データとしては、通常の撮影画像データに付与されるイグジフ(Exif:Exchangeable Image Format)情報、即ち撮影時の日時情報等を含む撮影情報等に加え、顔判定部15eによって得られた顔画像データやそれに関して任意の操作により登録された登録情報(上記人物の顔に対応するプロフィール情報等)等がある。具体的には、例えば図2に示す第1画像データベースの一例等である。
In the first
図2に示す第2画像データベースの一例では、撮影年情報(図2の年代表記「90年」,「95年」等の欄)と、この撮影年情報に対応する撮影画像データ(図2では各年代に対応する画像を表記)と、その撮影画像データによって表される画像中に含まれる被写体(人物)の顔のそれぞれに関連付けされて付与(登録)された名前等のプロフィール情報(図2の符号A,B,C等で表記)とを示している。 In the example of the second image database shown in FIG. 2, shooting year information (columns of age notation “90”, “95”, etc. in FIG. 2) and shooting image data corresponding to this shooting year information (in FIG. 2). Profile information such as a name assigned in association with each face of the subject (person) included in the image represented by the photographed image data (shown as an image corresponding to each age) (FIG. 2) (Indicated by symbols A, B, C, etc.).
第2画像データベース部17bには、主にテンプレート画像データ等が記録される。ここで、テンプレート画像データとは、例えばイラスト画像データ,フレーム画像データ,テキストデータ等、予め作成され用意されている画像データ等である。具体的には、例えば図3に示す第2画像データベースの一例(A)や、図4に示す第1画像データベースの一例(B)等である。
Template image data and the like are mainly recorded in the second
図3に示す第2画像データベースの一例(A)は、例えば「転ぶ」,「食べる」といった動作や仕草を表わす検索用キーワード情報に関連する複数のテンプレート画像データとしてイラスト等によって生成された画像データ(図3の例示を「身体部分画像データ」というものとする)を示している。また、図3では、各動作に対して異なる年齢,性別等に対応させて複数の「身体部分画像データ」が用意されている例を示している。 An example (A) of the second image database shown in FIG. 3 is image data generated by illustration or the like as a plurality of template image data related to search keyword information representing actions or gestures such as “tumbling” and “eat”, for example. (The example of FIG. 3 is referred to as “body part image data”). FIG. 3 shows an example in which a plurality of “body part image data” are prepared corresponding to different ages, sexes, and the like for each operation.
図4に示す第2画像データベースの一例(B)は、テンプレート画像データとして、例えばイラスト若しくは実写サンプル画像等によって生成された画像データ(図4の例示を
「背景画像データ」というものとする)を示している。この場合は、年代,場所等に対応して異なる複数の「背景画像データ」が用意されている例を示している。
An example (B) of the second image database shown in FIG. 4 includes, as template image data, image data generated by, for example, an illustration or a live-action sample image (the illustration in FIG. 4 is referred to as “background image data”). Show. In this case, an example is shown in which a plurality of different “background image data” are prepared corresponding to age, place, and the like.
画像表示装置は、表示部18とタッチパネル18b等によって主に構成される。表示部18は、撮像部12によって順次取得される画像信号を連続的に表示して、カメラ10の撮影時におけるファインダーの役目をすると共に、記録部に記録済みの画像データを画像として再生表示する機能を備えた画像表示装置である。この表示部18としては、例えば液晶表示装置(LCD)等が適用される。
The image display apparatus is mainly configured by a
タッチパネル18bは、例えば表示部18の表示画面上に配置され、操作部として機能するパネル状のセンサーである。
The
撮像部12は、例えばCCD等の光電変換素子等からなる撮像素子を有する回路部と、被写体の光学像を結像させるレンズ部(不図示)等を含めて構成される構成ユニットである。この撮像部12は、レンズ部によって形成される光学像を撮像素子の受光面に結像させ、該撮像素子が光電変換処理することによって画像の電気信号を生成するように構成される。撮像部12によって生成された画像信号は、画像処理部11bへと出力される。
The
音声入力部13aは、音声を電気信号に変換するマイクロフォン等を備え、該マイクロフォン等を介して得られた音声信号を制御部11へと伝達する回路である。操作入力部13bは、カメラ10に複数設けられる各種操作部材からの入力信号を受けて、制御部11へと伝達する回路である。また、時計部14は、タイマー機能等を有する内部時計である。
The
そして、上記カメラ10は、例えば、無線接続,有線ケーブル接続等によって接続される既存のネットワーク等を介して接続される外部データベース(DB)21との間で通信を行うことができるようになっている。ここで、本カメラ10は、外部データベース(DB)21との間での通信によって、例えば新たなテンプレート画像データ等をダウンロードすることができ、そうして取得したテンプレート画像データ等は、記録部のうち第2画像データベース部17bに蓄積記録される。
The
その他の構成については、本発明に直接関係しない部分であるので、その図示及び説明
を省略する。
Other configurations are not directly related to the present invention, and thus illustration and description thereof are omitted.
このように構成される本実施形態の画像表示装置を具備するカメラの作用を、図5を用いて以下に簡単に説明する。 The operation of the camera having the image display device of the present embodiment configured as described above will be briefly described below with reference to FIG.
図5は、本実施形態のカメラにおける使用形態のうち画像表示装置に画像を表示させて使用する際の状況と、その場合のカメラの作用を概念的に示している。 FIG. 5 conceptually shows the situation when an image is displayed on an image display device among the usage patterns in the camera of the present embodiment, and the action of the camera in that case.
例えば、図5において、第1の人物Bは、当該カメラ10の所有者であって、第2の人物Aの母親若しくは親族等であるとし、また、第2の人物Aは、第1の人物Bの子供若しくは親族,知人,友人等であるものとする。
For example, in FIG. 5, it is assumed that the first person B is the owner of the
図5に示す状況は、カメラ10の表示部18に所定の画像、例えば過去に撮影された記念写真等の画像であって、該カメラ10の第1画像データベース部17aに記録済みの画像データに基く画像を表示させた状態としている。そして、この状態のカメラ10を第1の人物Bが手に持っており、その表示部18に表示されている表示画像を第2の人物Aと共に見ながら、第1の人物Bと第2の人物Aとが会話をしている状況である。
The situation shown in FIG. 5 is a predetermined image on the
上述したように、カメラ10の表示部18には、第1画像データベース部17aの画像データ(過去に撮影記録された画像データ)のうち、第2の人物Aが被写体として撮影されている画像が表示されているものとする。
As described above, the
この状態にあるとき、例えば、第1の人物Bが第2の人物Aに向かって、図5に示すように「Aちゃんは、この時、転んだのよ。」といった発言を行なったとする。すると、この発言による音声は、音声入力部13aにより集音されて電気信号に変換された後、その音声信号が制御部11のキーワード抽出部15dへと入力される。キーワード抽出部15dは、入力された音声信号に基いて所定の検索用キーワード情報、例えば人物を特定する「Aちゃん」という語,時制を表わす「この時」という語,動作を表わす「転んだ」という語等を検索用キーワード情報として設定し、検索用キーワード情報のデータ信号を生成する。このようにして、キーワード抽出部15dによって抽出され設定された検索用キーワード情報データ信号は、第1検索部15a,第2検索部15cへと出力される(検索用キーワード情報抽出処理)。
In this state, for example, it is assumed that the first person B makes a statement toward the second person A as shown in FIG. 5 "A-chan has fallen at this time." Then, the voice by this utterance is collected by the
なお、上記検索用キーワード情報抽出処理は、上述の如く、音声入力部13aによる音声信号に基いて自動的に行うようにする手段のほか、他の手段によってもよい。例えば表示部18を用いて、所定の検索用キーワード情報一覧表示(第1画像データベース部17aの登録済みプロフィール情報等や第2画像データベース部17bのテンプレート画像データ等の一覧表示)を行って、操作入力部13b,タッチパネル18b等を用いて使用者が選択操作を行うことにより検索用キーワード情報選択設定を行うような手段としてもよい。
In addition, as described above, the search keyword information extraction process may be performed by other means in addition to the means for automatically performing the search based on the voice signal from the
一方、年齢推定部15bは、第1画像データベース部17aに記録されている画像情報データに基いて、表示部18に現在表示中の画像に対応する画像データに関する情報のうち、撮影時の日時情報等と、当該画像中の被写体に関するプロフィール情報等と、時計部14からの現在日時情報等により、当該画像中の被写体の現在や撮影時の年齢を推定する。こうして算出された推定年齢情報のデータ信号は、第2検索部15cへ出力される。
On the other hand, the age estimation unit 15b, based on the image information data recorded in the first
第1検索部15aは、上記キーワード抽出部15dからの検索用キーワード情報データ信号と年齢推定部15bからの推定年齢情報データ信号とを受けて、第1画像データベース部17aの画像情報データを検索し、設定された検索用キーワード情報に適する顔画像データ(第1の画像)を選択する。こうして選択された顔画像データは、合成部16へと出力される。
The
第2検索部15cは、上記キーワード抽出部15dからの検索用キーワード情報データ信号と、年齢推定部15bからの推定年齢情報データ信号とを受けて、第2画像データベース部17bのテンプレート画像データ(第2の画像)を検索し、設定された検索用キーワード情報に適するテンプレート画像データを選択する。こうして選択されたテンプレート画像データは、合成部16へと出力される。
The
合成部16は、第1検索部15aからの顔画像データと、第2検索部15cからのテンプレート画像データとに基いて画像合成処理を行う。その結果、生成された合成画像データ(第3の画像)を表示部18へと出力する。これを受けて表示部18は、合成画像データに基く画像の表示処理を行う。これにより、表示部18の表示画面18aには図5に示すような合成画像が表示される。
The
なお、上記一連の作用において、合成部16による合成画像データを生成するための素材となる画像データは、例えば第1検索部15a,第2検索部15cによって自動的に選択される手段を示したが、これとは別の手段としてもよい。例えば表示部18にテンプレート画像データ等の一覧表示を行って、操作入力部13b,タッチパネル18b等を用いて使用者が選択操作を行う手段としてもよい。
In the above series of operations, the image data used as the material for generating the composite image data by the combining
以上述べた本実施形態のカメラ10による作用の詳細を図6〜図11を用いて以下に説明する。
Details of the operation of the
まず、カメラ10の電源がオン状態にあるとき、図6のステップS1において、制御部11は、設定されている動作モードが撮影モードであるか否かの確認を行う。ここで、設定されている動作モードが撮影モードであると確認された場合には、次のステップS2の処理に進む。また、設定されている動作モードが撮影モード以外の動作モードであると確認された場合には、ステップS21の処理に進む。
First, when the power supply of the
即ち、図6に示すカメラ制御の処理シーケンスにおいて、ステップS1以降の処理シーケンスは、撮影モードで動作する際の処理シーケンスである。また、後述するように、ステップS21以降の処理シーケンスは、再生モードで動作する際の処理シーケンスである。なお、本実施形態においては、上記撮影モード(ステップS1〜S9の処理シーケンス)と上記再生モード(ステップS21以降の処理シーケンス)以外の動作モードにおける処理シーケンスについては、本発明とは直接関連しない作用であるので、その図示及び説明は省略する。 That is, in the camera control processing sequence shown in FIG. 6, the processing sequence after step S1 is a processing sequence when operating in the shooting mode. Further, as will be described later, the processing sequence after step S21 is a processing sequence when operating in the reproduction mode. In the present embodiment, the processing sequence in the operation mode other than the shooting mode (processing sequence of steps S1 to S9) and the playback mode (processing sequence after step S21) is not directly related to the present invention. Therefore, illustration and description thereof are omitted.
上述のステップS1の処理にて、撮影モードに設定されていることが確認されて、ステップS2の処理に進むと、ステップS2において、制御部11は、撮像部12,表示部18を駆動制御してライブビュー画像表示処理を実行する。このライブビュー画像表示処理は、従来のカメラにおいて通常行われる処理と同様の処理である。その後、ステップS3の処理に進む。
When it is confirmed in step S1 that the shooting mode is set and the process proceeds to step S2, in step S2, the
ステップS3において、制御部11は、顔判定部15eを制御して、撮像部12により取得された画像信号に基いて上記顔画像検出処理及び上記顔画像判定処理等を実行する。その後、ステップS4の処理に進む。
In step S <b> 3, the
ステップS4において、制御部11は、操作入力部13b若しくはタッチパネル18b等の操作部からの指示信号を監視して、撮影操作指示信号が生じたか否かの確認を行う。ここで、撮影操作指示信号が生じたことが確認された場合には、次のステップS5の処理に進む。また、撮影操作指示信号が生じていない場合には、上述のステップS1の処理に戻り、以降の処理を繰り返す。
In step S4, the
ステップS5において、制御部11は、撮像部12,画像処理部11b等を制御して、通常の撮影動作処理を実行する。この撮影動作処理によって使用者が所望のタイミングで撮影操作を行った時点における撮影画像信号が取得される。この撮影画像信号は、制御部11内の一時メモリ等に一時的に記憶される。この撮影動作処理についても、従来のカメラにおいて通常行われる処理と同様の処理である。その後、ステップS6の処理に進む。
In step S5, the
ステップS6において、制御部11は、上述のステップS5の処理における撮影動作処理で取得された撮影画像信号に対応する顔画像データを生成する。この顔画像データも一時メモリ等に一時的に記憶される。
In step S6, the
続いて、ステップS7において、制御部11は、時計部14から時計データ、即ち上記撮影操作を行った時点の日時情報等を取得する。この日時情報等を表わす時計データも一時メモリ等に一時的に記憶される。
Subsequently, in step S7, the
次いで、ステップS8において、制御部11は、上記一時メモリに一時的に記憶されている撮影画像信号,顔画像データ,時計データを、所定の形態、例えば一つの撮影画像データとしてファイル化する。こうして生成された撮影画像データは、記録部へと出力されて記録処理される。
Next, in step S8, the
なお、撮影画像信号,顔画像データ,時計データ等は、例えば一つの撮影画像データとしてファイル化する手段としてもよいし、例えば撮影画像信号を単独の撮影画像データとしてデータ化する一方、顔画像データ,時計データ等をそれぞれ独立した形態でデータ化して保持し、これらを上記撮影画像データに関連付けして記録するようにしてもよい。 Note that the captured image signal, face image data, clock data, etc. may be, for example, filed as a single captured image data. For example, while the captured image signal is converted into a single captured image data, the face image data The clock data and the like may be stored in the form of independent data, and these may be recorded in association with the captured image data.
このように、撮影画像データの記録処理が完了したら、その後、上述のステップS1の処理に戻り、以降の処理を繰り返す。 Thus, when the recording process of the captured image data is completed, the process returns to the above-described step S1 and the subsequent processes are repeated.
一方、上述のステップS1の処理にて、撮影モード以外の動作モードに設定されていると確認されて、ステップS21の処理に進むと、ステップS21において、制御部11は、設定されている動作モードが再生モードであるか否かの確認を行う。ここで、設定されている動作モードが再生モードであると確認された場合には、次のステップS22の処理に進む。また、設定されている動作モードが再生モードではないことが確認された場合には、上述のステップS1の処理に戻り、以降の処理を繰り返す。なお、上述したように、本実施形態においては、撮影モードと再生モード以外の動作モードの処理シーケンスは、図示及び説明を省略する。
On the other hand, when it is confirmed that the operation mode other than the shooting mode is set in the process of step S1 and the process proceeds to the process of step S21, in step S21, the
ステップS22において、制御部11は、記録部,表示部18等を駆動制御して、記録部に記録済みの撮影画像データの一覧表示処理を実行する。その後、ステップS23の処理に進む。
In step S <b> 22, the
ステップS23において、制御部11は、操作入力部13b若しくはタッチパネル18b等の操作部からの指示信号を監視して、再生画像選択指示信号が生じたか否かの確認を行う。ここで、再生画像選択指示信号が生じたことが確認された場合には、次のステップS24の処理に進む。また、再生画像選択指示信号が生じていない場合には、上述のステップS21の処理に戻り、以降の処理を繰り返す。なお、実際のカメラ10においては、上述のステップS22の処理にて表示される一覧表示の形態にも複数種の表示形態があり、それらの表示形態を選択したり、一覧表示の中から所望の画像を選択する際にも各種の操作が行われる。これらの操作手段や表示形態等の作用については、本発明に直接関連しない部分であるので、その詳細説明は省略している。
In step S23, the
上述のステップS23の処理にて、再生画像選択指示信号が確認されてステップS24の処理に進むと、ステップS24において、制御部11は、記録部(第1画像データベース部17a),画像処理部11b,表示部18等を制御して、上述のステップS23の処理にて選択された画像データに基く画像を表示部18に表示する表示処理を実行する。このときの状況が、図5を用いて上述した使用状況に相当する。つまり、人物Bは、上述したような一連のカメラ10の操作を行って、表示部18に所望の画像を表示させつつ、人物Aとの間で会話をしている状況を想定している。
When the reproduction image selection instruction signal is confirmed in the process of step S23 described above and the process proceeds to the process of step S24, in step S24, the
こうして使用者により選択された画像が表示部18の表示画面に表示されると、制御部11は、続いてステップS25において、記録部(第1画像データベース部17a)等を制御して、表示部18に現在表示中の画像に対応する画像情報データを参照し、顔画像データが含まれているか否かの確認を行う。ここで、顔画像データが含まれていることが確認された場合には、次のステップS26の処理に進む。また、顔画像データが含まれていないことが確認された場合には、ステップS31の処理に進む。
When the image selected by the user is displayed on the display screen of the
ステップS26において、制御部11は、スイッチ表示処理を実行する。このスイッチ表示処理の詳細について、図7を用いて以下に説明する。
In step S26, the
このスイッチ表示処理は、例えば選択し得る動作キーワード情報(即ち、当該カメラ10の第2画像データベース部17bに予め記録されている動作に関するテンプレート画像データ)に応じた動作キーワード(一覧)情報の設定を行ったり、表示中の画像に含まれる人物の顔画像データに基く人物キーワード情報を設定する等の処理でる。
In this switch display process, for example, operation keyword (list) information is set according to selectable operation keyword information (that is, template image data relating to an operation recorded in advance in the second
即ち、図7のステップS51において、制御部11は、キーワード抽出部15d,第2検索部15cを制御して、第2画像データベース部17bに含まれる動作キーワードを設定する検索用キーワード情報抽出処理を実行する。
That is, in step S51 of FIG. 7, the
続いて、ステップS52において、制御部11は、キーワード抽出部15d,第1検索部15aを制御して、第1画像データベース部17aに含まれる人物キーワードを設定する設定処理を実行する。
Subsequently, in step S52, the
そして、ステップS53において、制御部11は、キーワード抽出部15d,表示部等を制御して、上記ステップS51,S52の処理にて設定された検索用キーワード情報を表示部18の表示画面上に、例えば現在表示中の画像に重畳させて一覧表示する表示処理を実行する。その後、図6のステップS31の処理に進む(リターン)。
In step S53, the
ステップS31において、制御部11は、操作入力部13b若しくはタッチパネル18b等の操作部からの指示信号を監視して、画像表示を終了させる指示信号が生じたか否かの確認を行う。ここで、画像表示終了指示信号が生じたことが確認された場合には、上述のステップS21の処理に戻り、以降の処理を繰り返す。また、画像表示終了指示信号が生じていないことが確認された場合には、ステップS32の処理に進む。
In step S31, the
ステップS32において、制御部11は、操作入力部13b若しくはタッチパネル18b等の操作部からの指示信号を監視して、検索用キーワード情報を選択するためのスイッチ操作が行われたか否かの確認を行う(スイッチ操作確認処理)。このスイッチ操作確認処理の詳細を、図8を用いて以下に説明する。
In step S32, the
このスイッチ操作確認処理は、上述のステップS26のスイッチ表示処理にて表示部18に表示された検索用キーワード情報一覧表示から、使用者が所望の検索用キーワード情報を選択する際になされる操作確認等を行う処理である。
This switch operation confirmation process is performed when the user selects desired search keyword information from the search keyword information list displayed on the
即ち、図8のステップS54において、制御部11は、操作入力部13b若しくはタッチパネル18b等の操作部からの指示信号を監視して、表示中の検索用キーワード情報一覧表示中の動作キーワードが選択されたか否かの確認を行う。ここで、動作キーワードの選択がなされたことが確認された場合には、次のステップS55の処理に進む。また、動作キーワードの選択が行われなかったことが確認された場合には、スイッチ操作がなされなかったものと判定されて(スイッチ操作なし判定)、図6のステップS34の処理に進む。
That is, in step S54 in FIG. 8, the
ステップS55において、制御部11は、操作入力部13b若しくはタッチパネル18b等の操作部からの指示信号を監視して、表示中の検索用キーワード情報一覧表示中の人物キーワードが選択されたか否かの確認を行う。ここで、人物キーワードの選択がなされたことが確認された場合には、スイッチ操作の確認がなされたものと判定されて(スイッチ操作有り判定)、図6のステップS33の処理に進む。また、人物キーワードの選択が行われなかったことが確認された場合には、次のステップS56の処理に進む。
In step S55, the
ステップS56において、制御部11は、タッチパネル18b等の操作部からの指示信号を監視して、表示画像中の顔部領域に対するタッチ操作が行われたかどうかの確認を行う。ここで、顔部領域に対するタッチ操作が行われたことが確認された場合には、スイッチ操作の確認がなされたものと判定されて(スイッチ操作有り判定)、図6のステップS33の処理に進む。また、顔部領域に対するタッチ操作が行われたこと確認されない場合には、次のステップS57の処理に進む。
In step S56, the
ステップS57において、制御部11は、時計部14を参照して、上述のステップS26のスイッチ表示処理の開始から所定の時間、例えば5秒以上経過したか否かの確認を行う。ここで、所定時間が経過するまで待機し、所定時間の経過が確認された場合には、次のステップS58の処理に進む。
In step S57, the
ステップS58において、制御部11は、表示部18,画像処理部11b等を制御して、現在表示中の画像のうち表示画像の略中央部近傍の所定範囲の領域(例えば画面の横方向の1/3を占める領域)中に表示されている人物の顔部が選択されたものと見なし、スイッチ操作がなされたものと判定されて(スイッチ操作有り判定)、図6のステップS33の処理に進む。
In step S58, the
上述のステップS55,S56,S58の各処理にてスイッチ操作有り判定がなされて、図6のステップS33の処理に進むと、制御部11は、ステップS33において、第2検索部15c等を制御して対応動作画像検索処理を実行する。この対応動作画像検索処理は、選択された動作キーワードに対応する動作を表わすテンプレート画像を、第2画像データベース部17bより検索する処理である。この対応動作画像検索処理の詳細は後述する(図9参照)。その後、ステップS42の処理に進む。
When it is determined that there is a switch operation in each of the above-described steps S55, S56, and S58 and the process proceeds to step S33 in FIG. 6, the
一方、上述のステップS54の処理にてスイッチ操作なし判定がなされて、図6のステップS34の処理に進むと、制御部11は、ステップS34において、音声入力部13aからの音声入力信号の監視を行って、音声入力信号が生じたか否かの確認を行う(音声判定処理)。ここで、音声入力信号が確認された場合には、次のステップS35の処理に進む。また、音声入力信号が確認されない場合には、上述のステップS31の処理に戻り、以降の処理を繰り返す。
On the other hand, when it is determined in step S54 that there is no switch operation and the process proceeds to step S34 in FIG. 6, the
ステップS35において、制御部11は、キーワード抽出部15dを制御して、上述のステップS34の処理にて確認された音声入力信号に基いて検索用キーワード情報判定処理を実行する。
In step S35, the
続いて、ステップS36において、制御部11は、キーワード抽出部15dを制御して、上述のステップS35の処理にて確認された音声入力信号中に人物キーワードが有るかどうかの確認を行う。ここで、人物キーワード情報が有ることが確認された場合には、次のステップS37の処理に進む。また、人物キーワード情報がないことが確認された場合には、上述のステップS31の処理に戻り、以降の処理を繰り返す。
Subsequently, in step S36, the
ステップS37において、制御部11は、対応人物画像検索処理を実行する。この対応人物画像検索処理は、上述のステップS36の処理にて確認された人物キーワード情報に対応する人物についての顔画像データの検索処理である。ここで、対応人物画像検索処理の詳細は、図10を用いて以下に説明する。
In step S37, the
即ち、図10のステップS71において、制御部11は、
上述のステップS36の処理にて確認された人物キーワード情報と、表示中の画像データに付随する画像情報データとを参照し、両者に合致する名前情報が有るか否かの確認を行う。ここで、合致する名前情報が有ることが確認された場合には、次のステップS72の処理に進む。
That is, in step S71 in FIG.
The person keyword information confirmed in the process of step S36 described above and the image information data attached to the image data being displayed are referred to, and it is confirmed whether there is name information matching the both. If it is confirmed that there is matching name information, the process proceeds to the next step S72.
ステップS72において、制御部11は、合致する名前情報に従って表示画像の中から対応する人物の顔画像を選択する。その後、図6のステップS38の処理に進む。
In step S <b> 72, the
一方、上述のステップS71の処理にて、合致する名前情報がないと判断された場合には、ステップS73の処理に進む。 On the other hand, if it is determined in step S71 that there is no matching name information, the process proceeds to step S73.
ステップS73において、制御部11は、予め設定されている標準顔画像(デフォルト顔画像;例えば使用者が登録している特定の子供の顔画像)を選択する。その後、図6のステップS38の処理に進む。
In step S73, the
図6に戻って、ステップS38において、制御部11は、キーワード抽出部15dを制御して、上述のステップS35の処理にて確認された音声入力信号中に動作キーワードが有るかどうかの確認を行う。ここで、動作キーワード情報が有ることが確認された場合には、次のステップS39の処理に進む。また、動作キーワード情報がないことが確認された場合には、上述のステップS31の処理に戻り、以降の処理を繰り返す。
Returning to FIG. 6, in step S <b> 38, the
ステップS38において、制御部11は、第1検索部15a,第2検索部15c等を制御して、上述のステップS38の処理にて確認された動作キーワード情報に対応する動作を表わすテンプレート画像データを検索する。その後、ステップS41の処理に進む。
In step S38, the
ステップS41において、制御部11は、対応動作画像検索処理を実行する。この対応動作画像検索処理は、上述のステップS33の処理と同じ処理である。ここで、対応動作画像検索処理の詳細を図9を用いて以下に説明する。
In step S41, the
即ち、図9のステップS61において、制御部11は、上記キーワード抽出部15dからの検索用キーワード情報データや、年齢推定部15bからの推定年齢情報データ等の各種の情報に基いて、対応する人物(選択された人物)の検索用キーワード情報に応じた年齢推定が可能か否かの確認が行われる。ここで、年齢推定可能であると判断された場合には、検索用キーワード情報に応じた年齢推定処理を行って、次のステップS62の処理に進む。また、年齢推定が不可であると判断された場合には、ステップS63の処理に進む。
That is, in step S61 in FIG. 9, the
ステップS62において、制御部11は、上述のステップS61の処理にて推定された年齢情報と動作キーワード情報とに従って対応する動作を表わすテンプレート画像を選択する。その後、図6のステップS42の処理に進む。
In step S62, the
また、上述のステップS61の処理にて年齢推定不可であると判断されてステップS63の処理に進んだ場合、制御部11は、ステップS63において、動作キーワード情報に従って動作を表わすテンプレート画像を選択する。なお、この場合においては、推定年齢帯情報を図3の「子供」と見なして、この情報を自動的に選択する。その後、図6のステップS42の処理に進む。
If it is determined in step S61 that age estimation is impossible and the process proceeds to step S63, the
ステップS42において、制御部11は、対応人物画像の顔部切り出し処理を実行する。この対応人物画像の顔部切り出し処理の詳細を図11を用いて以下に説明する。
In step S <b> 42, the
即ち、図11のステップS81において、制御部11は、画像処理部11b等を制御して、上述のステップS37の処理にて選択された人物の顔画像データについて、顔部分の画像切り出し処理を実行する。その後、ステップS82の処理に進む。
That is, in step S81 in FIG. 11, the
ステップS82において、制御部11は、上述のステップS41の処理にて選択された動作を表わすテンプレート画像に対して、上述のステップS81の処理にて取得した顔部分画像合成処理をするのに際して、両画像の大きさを整合させる処理を行う。即ち、動作テンプレート画像における身体部分と、上記切り出し処理にて新たに生成された顔部分との大きさを整合させるべく、顔部分データの拡大画像処理若しくは縮小画像処理を行う。その後、図6のステップS43の処理に進む。
In step S82, the
図6に戻って、ステップS43において、制御部11は、合成部16を制御して、上記顔部分画像データ(Im2)と上記動作テンプレート画像データ(Im1)とを合成処理する。この場合において、合成部16は、上記顔部分画像データ(Im2)の顔画像が、上記動作テンプレート画像データ(Im1)の身体部分画像における顔位置に配置されるように位置設定を行う。このような合成処理結果の合成画像を表示部18に所定の時間、例えば5秒間継続表示させる。その後、ステップS44の処理に進む。
Returning to FIG. 6, in step S43, the
ステップS44において、制御部11は、記録部(第1画像データベース部17a),表示部18等を制御して、上述のステップS24の処理、即ち選択画像表示処理に戻り、以降の処理を繰り返す。
In step S44, the
なお、本実施形態においては、上述のステップS33,S41の対応動作画像検索処理(図9参照)において、年齢情報のみを取り扱う例を示すのみであるが、これに限られることはない。人物に関する情報としては、例えば性別情報があるので、これを加えて動作テンプレート画像を選択することもできる。 In the present embodiment, an example is shown in which only the age information is handled in the corresponding motion image search process (see FIG. 9) in steps S33 and S41 described above, but the present invention is not limited to this. As information about a person, for example, there is gender information, and an action template image can be selected by adding this information.
また、上述の実施形態に示す例では、図10の対応人物画像検索処理において、会話から抽出され設定された検索用キーワード情報と、表示画像中の名前情報とに合致する名前がない場合に選択されるデフォルト顔画像を、子供の顔画像としている。このことは、例えば子供であれば性別情報を加味しなくとも、本発明の主旨において生成される合成画像を微笑ましい画像として成立させることができるという効果がある。 Further, in the example shown in the above-described embodiment, in the corresponding person image search processing of FIG. 10, the selection is made when there is no name that matches the search keyword information extracted and set from the conversation and the name information in the display image. The default face image to be used is a child face image. This has the effect that, for example, if it is a child, the synthesized image generated within the gist of the present invention can be established as a smiling image without taking gender information into consideration.
以上説明したように上記一実施形態による画像表示装置は、画像を再生表示しながら会話をしている状況下において、その会話による音声信号から表示画像中の人物,時制,動作等を表わす検索用キーワード情報を抽出し、予め記録部に記録されている複数画像の中から上記抽出された検索用キーワード情報に対応する複数の画像データを選択し、選択された複数の画像を合成処理し、これによって生成された合成画像を表示部に表示するように構成している。 As described above, the image display device according to the above-described embodiment is a retrieval device that represents a person, tense, action, etc. in a display image from a voice signal of the conversation under a situation where a conversation is performed while reproducing and displaying an image. Keyword information is extracted, a plurality of image data corresponding to the extracted keyword information for search is selected from a plurality of images recorded in advance in the recording unit, and the plurality of selected images are synthesized. Is displayed on the display unit.
したがって、例えば過去に撮影済みの画像データにおける顔部分の画像データと、予め用意されたテンプレート画像データ(身体部分の画像データ)とに基いて合成画像処理を行うことにより、実際には撮影されなかった疑似的な過去のシーンを再現した合成画像を表示させることができる。このような合成画像を使用者に提供することにより、個人的に撮影記録され大量に蓄積された思い出深い画像データを鑑賞している際に、個人的な思い出等を当事者に想起させたり、対話相手との間で共有することができる。 Therefore, for example, by performing composite image processing based on image data of a face portion in image data captured in the past and template image data (image data of a body portion) prepared in advance, the image is not actually captured. It is possible to display a composite image in which a pseudo past scene is reproduced. By providing such a composite image to the user, when appreciating memorable image data that has been personally recorded and recorded and stored in large quantities, the user can recall personal memories, etc. Can be shared with.
また、撮影済みの画像データのみでは分からない撮影時の状況等を思い起こさせたり、対話開いてに対して言葉だけでは説明し得ないような状況等を、疑似的シーンを表わす合成画像として視覚的に提供することができる。 In addition, it reminds us of the situation at the time of photography that cannot be understood only with the photographed image data, or a situation that cannot be explained by words alone when the dialogue is opened. Can be provided.
したがって、従来カメラ等にて撮りっぱなしで蓄積されるままであった個人的に撮影された大量の撮影済み画像データについて、画像を単に表示させるだけに留まらず、画像の鑑賞形態をより多様化できると共に、複雑な操作を用いることなく、新たな画像表示形態を実現することができ、よって、他人とのコミュニケーションツールとして有効に用いることができる画像表示装置を提供することができる。 Therefore, with regard to a large amount of personally photographed image data that has been stored with a conventional camera, the image viewing mode has become more diverse than just displaying the image. In addition, a new image display form can be realized without using complicated operations, and thus an image display device that can be used effectively as a communication tool with others can be provided.
なお、上述の実施形態においては、画像表示装置を具備したカメラ10を例に挙げて説明しているが、この形態に限られることはない。つまり、本発明は、画像データに基いて画像を再生表示する機能を備えた画像表示装置であればよく、必ずしもカメラとしての機能(撮影機能等)を備えている必要はない。また、画像表示装置を備えたカメラであっても、撮影機能を重視したものである必要はなく、撮影機能とその画像表示機能とを共に備えた他の形態の機器、例えば携帯電話等の機器であってもよい。
In the above-described embodiment, the
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 The present invention is not limited to the above-described embodiments, and it is needless to say that various modifications and applications can be implemented without departing from the spirit of the invention. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if several constituent requirements are deleted from all the constituent requirements shown in the above-described embodiment, if the problem to be solved by the invention can be solved and the effect of the invention can be obtained, this constituent requirement is deleted. The configured structure can be extracted as an invention.
本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器(カメラ)に限られることはなく、撮影機能と画像表示機能とを備えた他の形態の電子機器、例えば携帯電話,録音機器,電子手帳,パーソナルコンピュータ,ゲーム機器,テレビ,時計,GPS(Global Positioning System)を利用したナビゲーション機器等、各種の撮影及び画像表示機能付き電子機器に対して広く適用することが可能である。 The present invention is not limited to a photographing device (camera) that is an electronic device specialized for a photographing function such as a digital camera, and other forms of electronic devices having a photographing function and an image display function, such as a mobile phone. , Recording devices, electronic notebooks, personal computers, game devices, televisions, watches, navigation devices using GPS (Global Positioning System), etc., and can be widely applied to electronic devices with various shooting and image display functions. is there.
10……カメラ
11……制御部
11b……画像処理部
12……撮像部
13a……音声入力部
13b……操作入力部
14……時計部
15a……第1検索部
15b……年齢推定部
15c……第2検索部
15d……キーワード抽出部
15e……顔判定部
16……合成部
17a……第1画像データベース部
17b……第2画像データベース部
18……表示部
18a……表示画面
18b……タッチパネル
DESCRIPTION OF
Claims (5)
上記撮影画像データに基く画像を表示する表示部と、
上記撮影画像データに付随する画像情報データに含まれる第1の画像データを記録する第1の画像データベース部と、
第2の画像データを記録する第2の画像データベース部と、
第1の検索用キーワード情報及び第2の検索用キーワード情報を設定するキーワード抽出部と、
上記キーワード抽出部によって設定された上記第1の検索用キーワード情報に基いて上記第1の画像データベース部を検索し、対応する第1の画像データを選択する第1検索部と、
上記キーワード抽出部によって設定された上記第2の検索用キーワード情報に基いて上記第2の画像データベース部を検索し、対応する第2の画像データを選択する第2検索部と、
上記第1の画像データと上記第2の画像データとに基いて画像合成処理を施して第3の画像を生成する合成部と、
を有することを特徴とする画像表示装置。 A recording unit for accumulating and recording captured image data;
A display unit for displaying an image based on the captured image data;
A first image database unit for recording first image data included in image information data accompanying the photographed image data;
A second image database unit for recording second image data;
A keyword extraction unit for setting the first search keyword information and the second search keyword information;
A first search unit that searches the first image database unit based on the first search keyword information set by the keyword extraction unit and selects corresponding first image data;
A second search unit for searching the second image database unit based on the second search keyword information set by the keyword extraction unit and selecting corresponding second image data;
A synthesizing unit that performs image synthesis processing based on the first image data and the second image data to generate a third image;
An image display device comprising:
上記第2の画像データは、人物の動作を表わすテンプレート画像データであり、
上記第1の検索用キーワード情報は、人物を表わすキーワード情報であり、
上記第2の検索用キーワード情報は、人物の動作を表わすキーワード情報であることを特徴とする請求項1に記載の画像表示装置。 The first image data is face image data representing a face of a person included in a display image being displayed on the display unit,
The second image data is template image data representing an action of a person,
The first search keyword information is keyword information representing a person,
2. The image display device according to claim 1, wherein the second search keyword information is keyword information representing a person's action.
上記第2検索部は、上記年齢情報に基いて、上記第2の画像データを選択することを特徴とする請求項2に記載の画像表示装置。 An age estimation unit for estimating age information of a person included in the display image being displayed on the display unit based on the first search keyword information and the first image data;
The image display apparatus according to claim 2, wherein the second search unit selects the second image data based on the age information.
上記キーワード抽出部は、上記音声入力部により生成された上記音声信号に基いて上記第1の検索用キーワード情報及び上記第2の検索用キーワード情報を設定することを特徴とする請求項1に記載の画像表示装置。 A voice input unit for collecting voice and generating a voice signal;
The keyword extraction unit sets the first search keyword information and the second search keyword information based on the voice signal generated by the voice input unit. Image display device.
上記撮影画像データの取得時に被写体の顔を検出し対応する顔画像データを取得する顔判定部と、
上記撮影画像データに関連付けて上記顔画像データを記録する第1の画像データベース部と、
予め生成されたテンプレート画像データを記録する第2の画像データベース部と、
複数の検索用キーワード情報を設定するキーワード抽出部と、
上記複数の検索用キーワード情報のうち人物を表わす検索用キーワード情報に基いて上記第1の画像データベース部を検索し、対応する顔画像データを選択する第1検索部と、
上記複数の検索用キーワード情報のうち人物の動作を表わす検索用キーワード情報に基いて上記第2の画像データベース部を検索し、対応するテンプレート画像データを選択する第2検索部と、
上記顔画像データと上記テンプレート画像データとに基いて画像合成処理を行って合成画像を生成する合成部と、
を有することを特徴とするカメラ。 In a camera comprising an imaging unit that acquires captured image data and a recording unit that stores and records the captured image data, and an image display device that displays an image based on the captured image data.
A face determination unit that detects the face of the subject when acquiring the captured image data and acquires corresponding face image data;
A first image database unit for recording the face image data in association with the captured image data;
A second image database unit for recording pre-generated template image data;
A keyword extraction unit for setting a plurality of search keyword information;
A first search unit for searching the first image database unit based on search keyword information representing a person among the plurality of search keyword information and selecting corresponding face image data;
A second search unit that searches the second image database unit based on search keyword information representing a person's action among the plurality of search keyword information and selects corresponding template image data;
A synthesis unit that performs an image synthesis process based on the face image data and the template image data to generate a synthesized image;
A camera characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010293553A JP2012142760A (en) | 2010-12-28 | 2010-12-28 | Image display device and camera equipped with image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010293553A JP2012142760A (en) | 2010-12-28 | 2010-12-28 | Image display device and camera equipped with image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012142760A true JP2012142760A (en) | 2012-07-26 |
JP2012142760A5 JP2012142760A5 (en) | 2014-02-13 |
Family
ID=46678604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010293553A Pending JP2012142760A (en) | 2010-12-28 | 2010-12-28 | Image display device and camera equipped with image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012142760A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016536945A (en) * | 2013-11-20 | 2016-11-24 | ネイバー コーポレーションNAVER Corporation | Video providing method and video providing system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002140589A (en) * | 2000-11-01 | 2002-05-17 | Seiko Epson Corp | Order receiving method and system for merchandise |
JP2002183530A (en) * | 2000-12-15 | 2002-06-28 | Hitachi Kokusai Electric Inc | Online shopping method using try-on image |
JP2002366837A (en) * | 2001-06-06 | 2002-12-20 | Sony Corp | System and device for article proposal, customer-side image transmitting terminal, article-proposer-side terminal, customer-side browsing terminal, program for the same, and program recording medium |
JP2002373285A (en) * | 2001-06-13 | 2002-12-26 | Olympus Optical Co Ltd | Method for presenting and providing merchandise |
JP2003168050A (en) * | 2001-11-29 | 2003-06-13 | Nec Soft Ltd | Mail order system and its method |
JP2009223740A (en) * | 2008-03-18 | 2009-10-01 | Fujifilm Corp | Clothing merchandise retrieval device and method, and program |
-
2010
- 2010-12-28 JP JP2010293553A patent/JP2012142760A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002140589A (en) * | 2000-11-01 | 2002-05-17 | Seiko Epson Corp | Order receiving method and system for merchandise |
JP2002183530A (en) * | 2000-12-15 | 2002-06-28 | Hitachi Kokusai Electric Inc | Online shopping method using try-on image |
JP2002366837A (en) * | 2001-06-06 | 2002-12-20 | Sony Corp | System and device for article proposal, customer-side image transmitting terminal, article-proposer-side terminal, customer-side browsing terminal, program for the same, and program recording medium |
JP2002373285A (en) * | 2001-06-13 | 2002-12-26 | Olympus Optical Co Ltd | Method for presenting and providing merchandise |
JP2003168050A (en) * | 2001-11-29 | 2003-06-13 | Nec Soft Ltd | Mail order system and its method |
JP2009223740A (en) * | 2008-03-18 | 2009-10-01 | Fujifilm Corp | Clothing merchandise retrieval device and method, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016536945A (en) * | 2013-11-20 | 2016-11-24 | ネイバー コーポレーションNAVER Corporation | Video providing method and video providing system |
US11095954B2 (en) | 2013-11-20 | 2021-08-17 | Naver Corporation | Video-providing method and video-providing system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101531783B1 (en) | Video summary including a particular person | |
JP5857122B2 (en) | Video summary including features of interest | |
KR101720774B1 (en) | Digital photographing apparatus and method for providing a picture thereof | |
JP5024093B2 (en) | Image capturing device, display device thereof, and image data management system | |
JP2004032690A (en) | System for capturing and archiving moving video segment | |
JP2008206138A (en) | Imaging apparatus and image processor | |
US7667759B2 (en) | Imaging apparatus that can display both real-time images and recorded images simultaneously | |
JPWO2009150827A1 (en) | Content editing device | |
JPWO2016208070A1 (en) | Imaging apparatus and image processing method | |
JP2006086823A (en) | Image recording device, image search method, image grading method, and image grading system | |
JP2011066717A (en) | Image photographing display device and program for the same | |
JP2012142760A (en) | Image display device and camera equipped with image display device | |
JP2010021819A (en) | Image display apparatus, image display method, and program | |
JP2009211341A (en) | Image display method and display apparatus thereof | |
JP2009232114A (en) | Image reproducing apparatus, its method and image reproducing program | |
JP2007089075A (en) | Image pickup device, navigation device, and positional information storage system | |
JP6166070B2 (en) | Playback apparatus and playback method | |
JP2005006059A (en) | Dynamic image processor and its program | |
JP2012147267A (en) | Information recording apparatus and program | |
JP6249771B2 (en) | Image processing apparatus, image processing method, and program | |
US8947559B2 (en) | Recorder and player | |
JP5704945B2 (en) | Imaging apparatus, control method therefor, and program | |
JP4616895B2 (en) | Digital still camera with music playback function and image music playback device | |
JP5078723B2 (en) | Image group reproduction device, image group reproduction method, and image group reproduction program | |
JP5057135B2 (en) | REPRODUCTION DEVICE AND REPRODUCTION METHOD, RECORDING DEVICE, RECORDING METHOD, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150113 |