JP4706415B2 - Imaging apparatus, image recording apparatus, and program - Google Patents
Imaging apparatus, image recording apparatus, and program Download PDFInfo
- Publication number
- JP4706415B2 JP4706415B2 JP2005279020A JP2005279020A JP4706415B2 JP 4706415 B2 JP4706415 B2 JP 4706415B2 JP 2005279020 A JP2005279020 A JP 2005279020A JP 2005279020 A JP2005279020 A JP 2005279020A JP 4706415 B2 JP4706415 B2 JP 4706415B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- unit
- data
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、被写体を撮像する撮像装置、画像記録装置およびプログラムに関する。 The present invention relates to an imaging apparatus for imaging a subject, an image SL RokuSo location and program.
従来、撮影した画像のみならず、他の情報も記録する機能を備えたカメラが提案されるに至っている。このカメラは、撮影時の被写体距離、レンズ焦点距離、ストロボ光源情報や、フィルム処理情報、露出不足画像の補正必要情報などの撮影情報を着脱自在な記録媒体に記録するものである（例えば、特許文献１参照）。
しかしながら、前記カメラにおいて記録媒体に記録される情報は、撮影時の被写体距離やレンズ焦点距離などの撮影条件に関する情報であって、撮影した画像自体の内容や構成に関する情報ではない。したがって、前記記録媒体に記録された情報を用いても、撮影した多数の画像から所望の内容や構成の画像を検索することが困難となる。無論、当該カメラのユーザーであれば他人よりも、所望の内容や構成の画像を検索することは容易である場合もあるが、ユーザー以外の者にあっては、多数の画像から所望の内容や構成の画像を検索することが極めて困難となる。 However, the information recorded on the recording medium in the camera is information regarding shooting conditions such as a subject distance and a lens focal length at the time of shooting, and is not information regarding the content and configuration of the shot image itself. Therefore, even if information recorded on the recording medium is used, it is difficult to search for an image having a desired content or configuration from a large number of captured images. Of course, if it is a user of the camera, it may be easier to search for an image having a desired content or configuration than others, but for a person other than the user, a desired content or It becomes extremely difficult to search for an image having a structure.
本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザー以外の者であっても、所望の内容や構成の撮影画像を検索する際に有用な情報を得ることのできる撮像装置、所望の内容や構成の撮影画像を検索することのできる撮像装置、画像記録装置およびプログラムを提供することを目的とする。 The present invention has been made in view of such conventional problems, and an imaging apparatus capable of obtaining useful information even when a person other than the user retrieves a captured image having a desired content or configuration, imaging apparatus capable of searching the captured image of a desired content and structure, and an object thereof is to provide an image SL RokuSo location and program.
前記課題を解決するために請求項１記載の発明に係る撮像装置は、画像を撮像する撮像手段と、この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、前記画像を送信する相手先に応じて自動的に前記特徴抽出手段を動作させ、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段とを備える。 In order to solve the above-described problem, an imaging apparatus according to an embodiment of the present invention includes an imaging unit that captures an image, a feature extraction unit that extracts a feature from an image captured by the imaging unit, and transmits the image. And a feature acquisition unit that automatically operates the feature extraction unit according to a destination to extract and acquire a feature of an image captured by the imaging unit.
また、請求項２記載の発明に係る撮像装置は、前記特徴抽出手段は、複数種の特徴抽出手段を含み、前記特徴取得手段は、前記画像を送信する相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、この選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得する。 In the image pickup apparatus according to the second aspect of the present invention, the feature extraction unit includes a plurality of types of feature extraction units, and the feature acquisition unit determines the feature extraction unit according to a destination to which the image is transmitted. It comprises selection means for selecting one of, using a feature extraction means selected by the selecting means, you get to extract features of the image captured by the imaging means.
また、請求項３記載の発明に係る撮像装置は、前記特徴抽出手段により抽出された特徴を記述する複数種の記述手段を更に備え、前記選択手段は、前記画像を送信する相手先に応じて、前記特徴手段とともにいずれかの記述手段を選択し、前記特徴取得手段は、前記選択手段により選択された記述手段を用いて前記抽出した画像の特徴を記述する。 The image pickup apparatus according to a third aspect of the present invention further includes a plurality of types of description means for describing the features extracted by the feature extraction means, and the selection means is in accordance with a destination to which the image is transmitted. , select one of the described means together with the feature section, the characteristic acquisition means, that describes the characteristics of the image that the extracted using descriptive means selected by said selection means.
また、請求項４記載の発明に係る撮像装置は、前記撮像手段により撮像された画像と、前記特徴取得手段により取得された画像の特徴とを外部に送信する送信手段を更に備える。 The imaging apparatus according to the fourth aspect of the present invention, the image captured by the imaging means, further Ru provided with transmitting means for transmitting the feature of the image acquired by the characteristic acquisition means to the outside.
また、請求項５記載の発明に係る撮像装置は、画像を撮像する撮像手段と、この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、前記撮像手段により撮像された前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、この設定手段の設定に従って前記特徴抽出手段及び送信手段を制御する制御手段とを備える。
The image pickup apparatus according to the invention described in
また、請求項６記載の発明に係る撮像装置は、前記特徴抽出手段は、複数種の特徴抽出手段を含み、前記制御手段は、前記送信相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、前記送信手段は、 前記選択手段により選択された特徴抽出手段により抽出された特徴を前記画像に付加して送信する。 In the image pickup apparatus according to the sixth aspect of the invention, the feature extraction unit includes a plurality of types of feature extraction units, and the control unit determines any one of the feature extraction units according to the transmission destination. comprises selection means for selecting, said transmitting means that sends the features extracted by the feature extraction means selected by the selection means in addition to the image.
また、請求項７記載の発明に係る画像記録装置は、画像を記録する記録手段と、この記録手段に記録される画像からその特徴を抽出する特徴抽出手段と、前記画像を送信する相手先に応じて自動的に前記特徴抽出手段を制御し、前記記録手段に記録される画像の特徴を抽出して取得する特徴取得手段とを備える。 According to a seventh aspect of the present invention, there is provided an image recording apparatus comprising: a recording unit that records an image; a feature extracting unit that extracts a feature from an image recorded in the recording unit; and a destination that transmits the image. depending automatically controlling the feature extraction means, Ru and a feature obtaining means for obtaining extracts features of an image to be recorded in the recording means.
また、請求項８記載の発明に係るプログラムは、画像を撮像する撮像手段を備える撮像装置が有するコンピュータを、前記撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、前記画像を送信する相手先に応じて自動的に前記特徴抽出手段を制御し、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段として機能させる。
Further, engagement Help program to the invention of
また、請求項９記載の発明に係る画像記録装置は、画像を記録する記録手段と、この記録手段に記録される画像からその特徴を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、前記記録手段に記録される前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、この設定手段の設定に従って自動的に前記特徴抽出手段及び送信手段を制御する制御手段とを備える。
また、請求項１０記載の発明に係るプログラムは、画像を撮像する撮像手段を備える撮像装置が有するコンピュータを、前記撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、前記撮像手段により撮像された前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、この設定手段の設定に従って自動的に前記特徴抽出手段及び送信手段を制御する制御手段として機能させる。
According to a ninth aspect of the present invention, there is provided an image recording apparatus according to the present invention, a recording means for recording an image, a feature extracting means for extracting the feature from the image recorded in the recording means, and the feature extracting means. A transmission unit that adds a feature to the image and transmits the image, and whether or not to add the feature extracted by the feature extraction unit to the image recorded in the recording unit is set for each transmission destination. A setting unit; and a control unit that automatically controls the feature extraction unit and the transmission unit according to the setting of the setting unit.
Further, engagement Help program to the invention of
以上説明したように請求項１、７及び８に係る発明によれば、特徴抽出手段により撮像する画像自体の特徴を抽出することから、この特徴の抽出により、複数の撮像した画像あるいは記録した画像から所望の内容や構成の画像を検索する際に有用な情報を得ることができる。また、選択される特徴抽出手段は、画像を送信する相手先に応じて自動的に選択されることから、ユーザー以外の者において、所望の内容や構成の撮影画像を検索する際に有用な特徴情報を得ることができる。 As described above, according to the first, seventh, and eighth aspects of the invention, since the feature extraction unit extracts the feature of the image itself, a plurality of captured images or recorded images are extracted by the feature extraction. Therefore, it is possible to obtain useful information when searching for an image having a desired content or configuration. In addition, since the feature extraction means to be selected is automatically selected according to the destination to which the image is transmitted, it is useful when searching for a photographed image having a desired content or configuration by a person other than the user. Information can be obtained.
また、請求項５、９及び１０に係る発明によれば、ユーザにおいては送信相手先に応じて特徴を付加した画像と、付加しない画像とを自動で選択的に送信することができ、ユーザー以外の者においては、所望の内容や構成の撮影画像を検索する際に有用な特徴情報を得ることができる。
According to the inventions according to
以下、本発明の一実施の形態を図に従って説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
（第１の実施の形態）
図１（Ａ）は各実施の形態に共通するデジタルカメラ１の正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。このデジタルカメラ１の本体２には、その上面部に半押し機能を備えたレリーズ釦（シャッタースイッチ）３と電源スイッチ４とが配置されており、正面部にはグリップ部５、ストロボ６および撮像レンズ部の受光窓７が配置されている。また、背面部には、モード切替スイッチ８、ズーム操作キー９、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３および電子ファインダとしても機能するＬＣＤからなる表示部１４が配置されているとともに、メモリー媒体と電池とを収納するメモリー媒体／電池収納部１５が設けられている。また、回動式ミラー１８、レンズ群１９およびＣＣＤ等で構成される電子撮像センサ２０等が配置されている。
なお、後述するフローチャートにおいて説明する「選択」あるいは「設定」は、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３を適宜操作することによりなされる。また、メニューキー１３の操作により表示部１４に選択可能な文字列が表示され、この文字列からカーソルキー１０と決定／ＯＫキー１１の操作によりいずれかの文字を選択することにより、後述する検索項目、ワード等の文字を入力することも可能である。
(First embodiment)
1A is a front view of a
Note that “selection” or “setting” described in a flowchart described later is performed by appropriately operating the
図２は、デジタルカメラ１の概略的回路構成を示すブロック図である。このデジタルカメラ１は、ユーザーにより操作される操作入力手段１３０を備えている。この操作入力手段１３０には、撮影条件設定手段１０１、特徴データの選択手段１０２、特徴データ付加の設定手段１０３、特徴記述様式の選択手段１０４、撮影・記録制御手段１０５が接続されている。撮影条件設定手段１０１は、操作入力手段１３０からの操作入力信号に基づき、撮影条件を設定する。特徴データの選択手段１０２は、前記操作入力信号に基づき、特徴抽出手段１０６が有するいずれかの特徴抽出部Ａ、Ｂ、・・・を選択する。特徴データ付加の設定手段１０３は、前記操作入力信号に基づき、抽出された特徴データを画像に付加するか否かを設定する。特徴記述様式の選択手段１０４は、前記操作入力信号に基づき、特徴データを付加する際の記述様式を選択する。また、特徴データ符号化手段１０７は、前記いずれかの特徴抽出部Ａ、Ｂ、・・・により抽出された特徴データを符号化する。 さらに、このデジタルカメラ１には、撮像手段１０９、信号処理手段１１０、画像データメモリー１１１、画像・動画像の圧縮／符号化手段１１２、多重化部１１３、メモリー制御手段１１４、画像データメモリー１１５、多重分離部１１６、画像・動画像の伸張／復号化手段１１７、表示制御手段１１８および表示手段１１９が設けられている。前記撮影・記録制御手段１０５は、前記操作入力信号（撮影指示操作入力信号）に基づき、撮像手段１０９を制御するとともに、前記撮影条件設定手段１０１の設定内容に従って信号処理手段１１０を制御する。一定のタイミング毎に撮像手段１０９により取り込まれる画像信号は、信号処理手段１１０により処理されて画像データメモリー１１１に一時的に記憶されるとともに、表示制御手段１１８を介して表示手段１１９に与えられることにより、スルー画像として表示手段１１２に表示される。また、撮影指示があった時点で撮像手段１０９により取り込まれて画像データメモリー１１１に一時的に記憶された画像データは、特徴抽出手段１０６転送されるとともに、画像・動画像の圧縮／符号化手段１１２に転送される。
FIG. 2 is a block diagram illustrating a schematic circuit configuration of the
そして、特徴抽出手段１０６において予め選択されている特徴抽出部Ａ、Ｂ、・・・のいずれかにより、特徴が抽出され、この抽出された特徴は特徴データ符号化手段１０７で符号化される。また、画像データ自体は画像・動画像の圧縮／符号化手段１１２で圧縮および符号化され、この圧縮および符号化された画像データと、前記符号化された特徴データとは、多重化部１１３で多重化され、メモリー制御手段１１４により画像データメモリー１１５に記録される。また、画像の再生時においては、メモリー制御手段１１４は、前記多重化された画像データと特徴データとからなる多重データを画像データメモリー１１５から読み出す。この読み出された多重データは、多重分離部１１６にて画像データと特徴データとに分離される。この分離された画像データは、画像・動画像の伸張／復号化手段１１７で伸張および復号化され、画像データメモリー１１１に一時的に記憶される。
Then, a feature is extracted by one of the feature extraction units A, B,... Selected in advance by the
さらに、このデジタルカメラ１には、画像検索手段１２０と、再生制御手段１２１とが設けられており、画像検索手段１２０は特徴データの復号化手段１２３、検索特徴量の指定手段１２２および比較手段１２４を有している。検索特徴量の指定手段１２２は、ユーザーの操作に応じて検索特徴量を比較手段１２４に出力する。一方、前記多重分離部１１６で分離された特徴データは、特徴データの復号化手段１２３により復号されて比較手段１２４に出力される。比較手段１２４は、前記検索特徴量と特徴データとを比較して、その比較結果を再生制御手段１２１に出力し、再生制御手段１２１前記比較結果に基づき、検索特徴量と一致する特徴データを有していた画像データを画像データメモリー１１１から表示制御手段１１８に転送する。これにより、表示手段１１９に、検索特徴量と一致する特徴データを有していた画像データに基づく画像を表示させることができる。なお、比較手段１２４には、前記特徴抽出手段１０６からの特徴データも入力される。
Further, the
図３は、デジタルカメラ１の具体的回路構成を示すブロック図である。このデジタルカメラ１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、ズームレンズ、フォーカスレンズで構成される前記レンズ群１９を有している。このレンズ群１９の光軸上には電子撮像センサ２０が配置されており、前記レンズ群１９は、モーター等を有する駆動部２１によって駆動される。
FIG. 3 is a block diagram showing a specific circuit configuration of the
このデジタルカメラ１全体を制御する制御回路２２は、ＣＰＵおよびその周辺回路で構成されており、プログラムメモリー２３に格納されているプログラムに基づき、データメモリー２４をワークエリアとして使用しつつ各部を制御する。この制御回路２２には、撮影制御部２５が接続されている。撮影制御部２５は、制御回路２２が発生するタイミング信号に基づき、電子撮像センサ２０を駆動するとともに、測光／測距センサ３３より測光／測距部３４を介して入力される測光データおよび測距データに基づき、前記駆動部２１および映像信号処理部２６を制御する。
The
前記電子撮像センサ２０の受光面には、レンズ群１９によって被写体が結像される。電子撮像センサ２０は、撮影制御部２５によって駆動され、被写体の光学像に応じたアナログの撮像信号を映像信号処理部２６へ出力する。映像信号処理部２６は、電子撮像センサ２０の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から有するとともに、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号および色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。映像信号処理部２６で変換されたＹＵＶデータは順次画像メモリー２７に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示制御部２８を介して前記表示部１４へ送られてスルー画像として画面表示される。したがって、このとき表示部１４は電子ファインダ２９として機能する。なお、表示部１４を電子ファインダ２９として機能させる際には、その中央部にフォーカス枠を表示させ、このフォーカス枠内のをＡＦエリアとして、ＡＦがなされる。
An object is imaged by the
そして、静止画撮影モードにおいては、前記レリーズ釦３に対する操作をトリガとして、制御回路２２は、電子撮像センサ２０、撮影制御部２５、および映像信号処理部２６に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像メモリー２７に一時記憶された画像データは、圧縮符号化・伸張復号部３０で圧縮および符号化され、所定のフォーマットの静止画ファイルとして、画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。また、動画撮影モードにおいては、１回目のシャッターキーと２回目のシャッターキー操作との間に、画像メモリー２７に順次記憶される複数の画像データが圧縮符号化・伸張復号部３０で順次圧縮され、順次記憶された後、動画ファイルとして画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。この画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録された静止画ファイルおよび動画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されて伸張および復号化され、ＹＵＶデータとしてに展開された後、表示部１４に表示される。したがって、このとき表示部１４は画像モニター３２として機能する。
In the still image shooting mode, using the operation on the
前記プログラムメモリー２３には、制御回路２２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム、さらには、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラム、後述する類語辞書や心理辞書等が格納されている。また、制御回路２２には、操作入力部３５が入力回路３６を介して接続されている。操作入力部３５には、前記レリーズ釦３や電源スイッチ４等の図１に示したスイッチやキー群等が設けられている。
The
また、このデジタルカメラ１は、前記動画撮影モード、音声のみを記録する録音モード、音声付き（静止画）撮影モードにおいて、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイク３９が設けられている。このマイク３９からの音声信号は、アンプ４０で増幅され、Ａ／Ｄ変換器４１でデジタル変換され、音声メモリー４２に格納される。この音声メモリー４２に格納された音声データは、前記圧縮符号化・伸張復号部３０で圧縮される。制御回路２２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録する。この画像＆音声メモリー媒体３１（磁気ディスク４８）に記録された動画ファイルの音声データは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されるとともに伸張および復号化される。この伸張および復号化された音声データは、Ｄ／Ａ変換器４３でアナログ信号に変換され、アンプ４４を介してスピーカー４５に供給されて音声として再生される。なお、音声記録を行うタイミングは、動画撮影時に限定されず、音声付き静止画撮影モードにおける録音動作時でもよく、また、録音モードやアフレコモードにおける録音動作時でもよい。
In addition, the
また、このデジタルカメラ１は、外部入出力インタフェース３８を介して制御回路２２に接続された外部入出力端子３７を備えている。この外部入出力端子３７には、ＰＣ等の外部機器７０を接続することが可能である。外部機器は７０は、ゲートウェイＧＷおよびインターネット７１を介して、サーバー装置７２に接続可能であり、サーバー装置７２は画像データを格納する画像データベース７３接続されている。一方、ＨＤＤ記憶装置４６は、ＨＤＤ・ＩＦ４７を介して制御回路２２に接続されている。ＨＤＤ記憶装置４６は、前記磁気ディスク４８を有するとともに、モータ４９、モータドライバ５０、マイコン部５１、ＶＣＭ５２、ヘッドアンプ５３、リード／ライトチャンネル５４、ＨＤＤ制御部５５等を有している。
The
また、制御回路２２には、画像・音声の特徴抽出／認識用データメモリー５６が画像・音声の特徴抽出／認識処理部５７を介して接続されている。後述するように、制御回路２２は、画像・音声の特徴抽出／認識処理部５７を制御して、前記電子撮像センサ２０により取り込まれた画像、および前記マイク３９により取り込まれた音声の特徴を抽出するとともに認識し、画像・音声の特徴抽出／認識用データメモリー５６は、これら抽出および認識された画像の特徴や音声の特徴等を記憶する。また、制御回路２２の制御下で画像・音声の特徴抽出／認識処理部５７が抽出あるいは抽出した特徴の記述データは、圧縮符号化・伸張復号部３０で圧縮符号化されて画像＆音声メモリー媒体３１に記憶される。したがって、画像＆音声メモリー媒体３１には、画像メモリー２７および音声メモリー４２側から入力された画像／音声データ３１ａと、画像・音声の特徴抽出／認識処理部５７側から入力された特徴記述データ３１ｂとが記憶される。
In addition, an image / speech feature extraction /
図４は、本実施の形態の処理手順を示すフローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、図４に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作により、撮影モードが設定されているか否かを判断する（ステップＳ１０１）。撮影モードが設定されていない場合には、再生モード、設定モードなど、その他のモード処理へ移行する（ステップＳ１０２）。
FIG. 4 is a flowchart showing the processing procedure of the present embodiment, and the
図５は、このステップＳ１０２により、その他の処理に移行した場合の処理手順を示すフローチャートである。先ず、前記ユーザーによる操作入力部３５での操作により、設定モードが選択されたか否かを判断し（ステップＳ２０１）、設定モードが設定されていない場合には、その他のモード処理へ移行する（ステップＳ２０２）。また、設定モードが設定された場合には、さらに特徴抽出の設定モードが設定されたか否かを判断し（ステップＳ２０３）、特徴抽出の設定モードが設定されていない場合にも、その他のモード処理へ移行する（ステップＳ２０４）。
FIG. 5 is a flowchart showing a processing procedure when the process proceeds to other processing in step S102. First, it is determined whether or not a setting mode has been selected by an operation of the
また、特徴抽出の設定モードが設定された場合には、設定状態の表示など、設定モードの表示処理を行って、表示部１４に後述するような表示を行う（ステップＳ２０５）。次に、この表示処理により表示部１４に表示された選択肢から特徴抽出による撮影方法が選択されたか否かを判断する（ステップＳ２０６）。特徴抽出による撮影方法が選択されたならば、操作に応じて、特徴抽出するか否か、また、特徴抽出による撮影処理の識別を選択する（ステップＳ１０７）。
If the setting mode for feature extraction is set, display processing for the setting mode such as display of the setting state is performed, and display as described later is performed on the display unit 14 (step S205). Next, it is determined whether or not an imaging method by feature extraction has been selected from the options displayed on the
また、ステップＳ２０６での判断の結果、特徴抽出による撮影方法が選択されなかった場合には、特徴データの記録の設定が選択されたか否かを判断する（ステップＳ２０８）。特徴データの記録の設定が選択された場合には、操作に応じて、特徴データを付加して記録するか否か（ＯＮ／ＯＦＦ）を設定する。特徴データの記録の設定が選択されなかった場合には、特徴データの選択がなされたか否かを判断し（ステップＳ２１０）、特徴データの選択がなされた場合には、操作に応じて、抽出した特徴項目または特徴量を選択し（ステップＳ２１１）、選択された特徴項目、特徴量に基づいて、特徴抽出方法を選択する（ステップＳ２１２）。 Also, as a result of the determination in step S206, if a shooting method by feature extraction has not been selected, it is determined whether or not feature data recording settings have been selected (step S208). When the feature data recording setting is selected, whether or not the feature data is added and recorded (ON / OFF) is set according to the operation. If the feature data recording setting is not selected, it is determined whether or not feature data is selected (step S210). If feature data is selected, the feature data is extracted according to the operation. A feature item or feature amount is selected (step S211), and a feature extraction method is selected based on the selected feature item and feature amount (step S212).
また、特徴データの選択がなされなかった場合には、特徴抽出方法の選択がなされたか否かを判断し（ステップＳ２１３）、特徴抽出方法の選択がなされた場合には、操作に応じて、オートまたはカスタム設定の特徴抽出方法を選択する（ステップＳ２１４）。特徴抽出方法の選択がなされなかった場合には、特徴データの記述様式の選択がなされたか否かを判断し（ステップＳ２１５）、特徴データの記述様式の選択がなされた場合には、さらに送付先別に設定するが選択されたか否かを判断する（ステップＳ２１６）。そして、送付先別に設定するが選択された場合には、送付先別に特徴データの記述様式および記述する特徴量を選択する（ステップＳ２１７）。 Further, when the selection of the characteristic data is not performed, when it is determined whether the selection of feature extraction methods have been made (step S213), the selection of the feature extraction method was made in accordance with an operation, automatic Alternatively, a custom setting feature extraction method is selected (step S214). If no feature extraction method has been selected, it is determined whether or not a feature data description format has been selected (step S215). If a feature data description format has been selected, a destination is further sent. It is determined whether or not another setting is selected (step S216). If “Set for each destination” is selected, a description format of feature data and a feature amount to be described are selected for each destination (step S217).
すなわち、ステップＳ２１６で送付先別に設定するを選択する予定のユーザーは、予め撮像した画像データを送信する相手（メールアドレス）や、該画像データを出力する外部機器等の送付先を入力し、データメモリー２４に記憶させておく。すると、ステップＳ２１７により、各送付先別に特徴データの記述様式および特徴量を選択する処理を行う。これにより、送付先別、つまり画像データを送信する相手や外部機器別に記述様式および記述する特徴量を選択設定されることとなる。
しかし、送付先別に設定するが選択されなかった場合には、操作に応じて、特徴データの記述様式を選択する（ステップＳ２１８）。
That is, a user who plans to select setting for each destination in step S216 inputs a destination (e-mail address) to which image data that has been captured in advance is sent, a destination such as an external device that outputs the image data, and the like. It is stored in the
However, if the setting is made for each destination but not selected, the feature data description format is selected according to the operation (step S218).
また、前記ステップＳ２１５での判断の結果、特徴データの記述様式の選択がなされなかった場合には、識別する被写体の選択がなされたか否かを判断する（ステップＳ２１９）。識別する被写体の選択がなされ場合には、操作に応じて、特徴データに基づいて識別する被写体の種類または識別方法を選択し（ステップＳ２２０）、識別する被写体の選択がなされ場合には、その他のキー処理を実行する（ステップＳ２２１）。しかる後に、設定状態の表示更新など、表示処理を実行して（ステップＳ２２２）、リターンする。 If the description format of the feature data is not selected as a result of the determination in step S215, it is determined whether or not the subject to be identified has been selected (step S219). If the subject to be identified is selected, the type or identification method of the subject to be identified is selected based on the feature data according to the operation (step S220). If the subject to be identified is selected, Key processing is executed (step S221). Thereafter, display processing such as display update of the setting state is executed (step S222), and the process returns.
したがって、本実施の形態においては、設定モードにおいて、ユーザー操作に従って、特徴抽出する場合の方法、および、抽出する特徴量、画像識別を行う被写体の設定、類似する画像か否かを比較参照する為のテンプレート画像（テンプレートデータ）の設定などを任意に選択して設定できる。また、撮影モードや画像認識モードなどに応じて、オート（自動）で特徴抽出や画像識別する場合にも、ユーザーの目的や希望に応じて、その抽出方法や識別方法、識別精度などを選択したり、加減調整することもできる。 Therefore, in this embodiment, in the setting mode, in order to compare and refer to the method for extracting features according to the user operation, the feature amount to be extracted, the setting of the subject for image identification, and whether the images are similar. The template image (template data) setting can be arbitrarily selected and set. Also, when extracting features and identifying images automatically (automatically) according to the shooting mode and image recognition mode, select the extraction method, identification method, identification accuracy, etc. according to the user's purpose and desire. It can also be adjusted.
なお、本実施の形態においては、送付先別に特徴データの記述様式および記述する特徴量を選択して設定し（ステップＳ２１７）、この特徴量の選択により結果的に特徴抽出手段（特徴抽出方法）が選択されるようにしたが、直接的に特徴抽出手段を送付先別に選択設定したり、あるいは特徴抽出手段のみ、記述様式のみ、特徴量のみを送付先別に選択設定するようにしてもよい。 In the present embodiment, and selects and sets the description format and describes the feature quantity of destination separately characteristic data (step S217), resulting in output characteristics Extraction unit (feature extraction by the selection of the characteristic quantity a method) is to be selected, directly or select setting means out feature extraction by destination, or features extraction means only, description format only, only the characteristic quantity so as to selectively set by the destination May be.
一方、前記図４のフローチャートにおいて、ステップＳ１０１での判断の結果、撮影モードが設定されたならば、露出条件などの撮影条件を設定するとともに（ステップＳ１０３）、測光処理、測距処理（ステップＳ１０４）、ズーム処理、ＡＦ処理を実行する（ステップＳ１０５）。 On the other hand, in the flowchart of FIG. 4, if the result of determination in step S101 is that the shooting mode has been set, shooting conditions such as exposure conditions are set (step S103), and photometry processing and distance measurement processing (step S104). ), Zoom processing and AF processing are executed (step S105).
一方、制御回路２２は、予め行われたユーザーの操作に応じた設定処理により、特徴抽出がＯＮとなっているか否かを判断し（ステップＳ１０６）、ＯＮとなっている場合には、撮影前に特徴抽出が設定されているか否かを判断する（ステップＳ１０７）。撮影前に特徴抽出が設定されている場合には、画像データから前記ステップＳ２１７で選択されている特徴量を抽出する（ステップＳ１０８）。さらに、抽出被写体にＡＦする設定がＯＮとなっているか否かを判断し（ステップＳ１０９）、ＯＮとなっている場合には、抽出された特徴量に基づいてＡＦ処理、または、追尾ＡＦ処理を行う（ステップＳ１１０）。
なお、この特徴量に基づくＡＦ処理、追尾ＡＦ処理については、第３の実施の形態において詳述する。
On the other hand, the
Note that the AF processing and tracking AF processing based on the feature amount will be described in detail in the third embodiment.
また、ステップＳ１０９での判断の結果、抽出被写体にＡＦする設定がＯＮとなっていない場合には、撮影シーンの自動選択がＯＮに設定されているか否かを判断する（ステップＳ１１１）。ＯＮとなっている場合には、抽出特徴量に基づいて撮影シーンを選択し（ステップＳ１１２）、選択された撮影シーンに応じて撮影条件を設定する（ステップＳ１１３）。また、ステップＳ１１１での判断の結果、撮影シーンの自動選択がＯＦＦとなっている場合には、被写体の識別がＯＮとなっているか否かを判断する（ステップＳ１１４）。ＯＮとなっている場合には、抽出特徴量に基づいて内蔵テンプレート（図１２のテンプレートデータ２４６）と比較し、類似する被写体を識別し分類処理するとともに（ステップＳ１１５）、識別分類結果を記録する（ステップＳ１１６）。さらに、ステップＳ１１４での判断の結果、被写体の識別がＯＦＦとなっている場合には、抽出特徴量に基づいて顔領域を識別し（ステップＳ１１８）、被写体の顔領域にＡＦ処理する（ステップＳ１１９）。 If the result of determination in step S109 is that the AF setting for the extracted subject is not ON, it is determined whether or not automatic selection of the shooting scene is set to ON (step S111). If it is ON, a shooting scene is selected based on the extracted feature amount (step S112), and shooting conditions are set according to the selected shooting scene (step S113). If the result of determination in step S111 is that automatic shooting scene selection is OFF, it is determined whether or not subject identification is ON (step S114). If it is ON, it is compared with the built-in template (template data 246 in FIG. 12) based on the extracted feature quantity, and a similar subject is identified and classified (step S115), and the classification / classification result is recorded. (Step S116). Further, if the object identification is OFF as a result of the determination in step S114, the face area is identified based on the extracted feature amount (step S118), and AF processing is performed on the face area of the object (step S119). ).
しかる後に、撮像画像をスルー画像表示し（ステップＳ１２０）、これにより、表示部１４には、顔領域にＡＦされることによって被写体の顔にピントがあったスルー画像が表示部１４に表示され、ユーザーはこの表示部１４に表示されたスルー画像を見ながら、このデジタルカメラ１の向きを調整する等してシャッターチャンスを伺うこととなる。したがって、次にレリーズ釦３が押し操作されて撮影指示がなされたか否かを判断する（ステップＳ１２１）。そして、レリーズ釦３が押し操作されて撮影指示がなされたならば、測光処理、ＡＦ処理を実行するとともに（ステップＳ１２２）、設定撮影条件と測光値（および特徴抽出結果）に従い撮影動作し（ステップＳ１２３）、電子撮像センサ２０から取り込まれた画像データを圧縮符号化する（ステップＳ１２４）。
Thereafter, the captured image is displayed as a through image (step S120), whereby a through image in which the subject's face is in focus by being AF in the face area is displayed on the
次に、特徴データの付加記録がＯＮに設定されているか否かを判断し（ステップＳ１２５）、ＯＮに設定されていない場合には画像データと撮影情報とを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する。また、ＯＮに設定されている場合には、撮影後に特徴抽出が設定されているか否かを判断し（ステップＳ１２６）、設定されている場合には前記記録した画像データから選択されている特徴量を抽出する（ステップＳ１２７）。また、被写体の識別分類がＯＮとなっているか否かを判断し（ステップＳ１２８）、ＯＮとなっている場合には、識別・分類結果を特徴データに付加する（ステップＳ１２９）。さらに、特徴データを選択されている記述様式で符号化し（ステップＳ１３０）、ファイル名を付して前記画像データ、撮影情報とともに特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１３１）。しかる後に、撮影画像を表示部１４にレビュー表示し、または、特徴抽出結果を表示し（ステップＳ１３３）、その他のキー処理、表処理を行って（ステップＳ１３４）、リターンする。
Next, it is determined whether or not the additional recording of the feature data is set to ON (step S125). If it is not set to ON, the image data and the shooting information are stored in the image & sound memory medium 31 (or magnetic field). Disc 48). If it is set to ON, it is determined whether or not feature extraction is set after shooting (step S126). If it is set, it is selected from the recorded image data. Is extracted (step S127). Further, it is determined whether or not the subject classification / classification is ON (step S128), and if it is ON, the identification / classification result is added to the feature data (step S129). Further, the feature data is encoded in the selected description format (step S130), and the feature data is recorded on the image & sound memory medium 31 (or the magnetic disk 48) together with the image data and the photographing information with the file name attached. (Step S131). Thereafter, the photographed image is reviewed and displayed on the
したがって、前記ステップＳ２１６で送付先別が選択されて、ステップＳ２１７で送付先別に特徴データの記述様式および記述する特徴量が選択されていると、ステップＳ１３１の処理により、特徴データは送付先別に選択された記述様式で符号化されて画像データ、撮影情報とともに画像＆音声メモリー媒体３１に記録されることとなる。そして、この画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録された前記画像データ、撮影情報および特徴データは、外部入出力端子３７に、ＰＣ等の外部機器７０を接続した状態において、外部機器は７０に送信することができ、さらには、この外部機器は７０
、ゲートウェイＧＷおよびインターネット７１を介して、サーバー装置７２に送信したり、相手先メールアドレスに送信することが可能となる。
Therefore, when the destination is selected in step S216 and the feature data description format and the feature quantity to be described are selected for each destination in step S217, the feature data is selected for each destination by the processing in step S131. It is encoded in the described description format and recorded on the image & sound memory medium 31 together with the image data and the photographing information. The image data, shooting information, and feature data recorded on the image & sound memory medium 31 (or the magnetic disk 48) are externally connected to an external input /
Through the gateway GW and the
図６は、前記図５のフローチャートにより実行される特徴抽出の設定モードにおける表示部１４の表示画面例を示す図である。（ａ）特徴抽出撮影、画像認識撮影の設定メニューにおいては、「撮影モード 静止画」「特徴抽出・識別 抽出被写体にＡＦ」・・・等のメニューを表示し（ａ１）、「特徴抽出・識別 抽出被写体にＡＦ」が選択されると「ＯＦＦ（抽出しない）」「被写体の特徴記録」・・・等の選択肢を表示する（ａ２）。また、（ｂ）特徴抽出方法の設定メニューにおいては、「撮影モード 静止画」「特徴識別 被写体の特徴記録」「特徴抽出方法 オート（シーン別）」・・・等のメニューを表示し（ｂ１）、「特徴抽出方法 オート（シーン別）」が選択されると、「オート（撮影シーン別）」や「色の抽出」「輪郭の抽出」「テクスチャー抽出」・・・との特徴抽出方法の設定（ｂ２）に移行する。また、（ｃ）抽出した特徴データの記述様式の設定においては、「撮影モード」・・・「特徴データの記録」・・・等を表示し、「特徴データの記録」が選択されると「ＯＦＦ（記録しない）」「ＤＣＦ拡張形式」「ＭＰＥＧ−７」・・・等の記述様式を表示して、いずれか（図の例では「ＭＰＥＧ−７」）を選択させる。また、（ｄ）識別する被写体の設定においては、「識別する被写体 人物の顔」「識別アルゴリズム 特徴点グラフ」等を表示させて、いずれかを選択させる。
FIG. 6 is a diagram showing an example of a display screen of the
なお、選択項目は、図６に示したものに限らず、以下のような項目とするようにしてもよい。すなわち、写真を検索する場合には、その主な利用用途、例えばａ）画像を印刷する、ｂ）画像をホームページ等にアップロードする、ｃ）画像データを外部機器に送る、ｄ）画像を編集する、ｅ）他人に送る、などの主な用途や優先度を選択し、それに応じて、抽出すべき特徴量や組合せを選択し、特徴量に応じて、特徴抽出方法を選択するようにしてもよい。 The selection items are not limited to those shown in FIG. 6, but may be the following items. That is, when searching for a photo, its main usage, for example, a) printing an image, b) uploading an image to a homepage, etc. c) sending image data to an external device, d) editing an image E) Select the main use and priority such as sending to others, select the feature quantity or combination to be extracted accordingly, and select the feature extraction method according to the feature quantity Good.
例えば、画像を印刷する場合には、特定の画像やシーンだけで効率よく検索することが好ましく、画像の付加データとして、撮影日時とともに、シーンや被写体の種別、および、撮影場所などを識別して、特徴データやメタデータとして記録しておくことにより、迅速に検索でき、効率的となる。 For example, when printing an image, it is preferable to efficiently search only for a specific image or scene. As additional data of the image, the type of the scene or subject and the shooting location are identified along with the shooting date and time. By recording it as feature data or metadata, it can be searched quickly and becomes efficient.
また、ホームページなどのアップロードする画像素材を探すことが多い場合には、過去から最近までの画像の中から、文脈や目的に合った画像を検索する必要があり、被写体の識別だけでなく、その情景やイメージを表す、色調や配色パターン、テクスチャーなども特徴データとして記録しておくことにより、迅速な検索が可能となる。 Also, if you often search for image materials to upload such as websites, you need to search for images that match the context and purpose from past to recent images. By recording the color tone, coloration pattern, texture, etc. representing the scene or image as feature data, it is possible to quickly search.
また、画像を他人に送る場合には、送る相手の顔が写っている画像や、一緒に出かけた旅行の写真を検索することが多く、友人の登録画像との類似度など、顔の特徴データの抽出を行い、類似度や認識結果を記録しておくと、迅速な検索が可能となる。 Also, when sending images to other people, you often search for images that show the face of the person you are sending or travel photos that you have traveled with. If the similarity is extracted and the recognition result is recorded, a quick search becomes possible.
また、画像データを送信する相手（メールアドレスなど）毎に、または、出力する相手側機器別に、どの特徴データを抽出するか、また、その特徴データを付加して記録するか、送信するかを設定しておき、送信相手または出力機器に応じて、設定された特徴データが付加されて送信／出力できるようにることができる。 In addition, for each partner (e-mail address, etc.) to which image data is transmitted, or for each partner device to output, which feature data is to be extracted, and whether the feature data is added to be recorded or transmitted It can be set so that the set feature data can be added and transmitted / output according to the transmission partner or the output device.
また、送信する相手または出力する機器が変わる場合には、撮影時に抽出されて記録された特徴記述データと異なる特徴を新たに抽出したり（再抽出）、特徴記述データに付加したり（再記録）できるようにすることが好ましい。 In addition, when the transmission partner or the output device changes, a feature different from the feature description data extracted and recorded at the time of shooting is newly extracted (re-extracted) or added to the feature description data (re-recording). It is preferable to be able to do this.
また、特徴抽出においては、当該画像の撮影時に記録された撮影条件データ、例えば、撮影モード、画像サイズ、画質、ＡＦモード、測光モード、測光値、被写体距離、露出条件、感度、照明条件、静止画／動画／連写モード、などに基づいて、特徴抽出したり、特徴抽出手段を選択するように構成すると、当該画像の特徴の抽出を効率的に行い得る。例えば、選択されたオートフォーカスのＡＦ（合焦）枠や、測光方式がスポット測光や中央重点測光などの場合には、ＡＦ枠や測光枠は主要な被写体に向けられて撮影されることが多いので、当該枠を中心にその隣接周辺領域で、主要被写体の色相分布または輪郭線による人物や被写体の識別を行うのが効果的である。また、合焦ＡＦ枠が２〜３と複数の場合には、複数の人物や被写体の画像と判断され、複数の被写体の色相分布または輪郭線よる識別等を行うのが効果的である。他方、平均測光やパンフォーカスの場合では、画像の領域全体に被写体が分散した画像や近景、遠景を含む風景などを撮影した画像が多いので、それに応じて、広い範囲での輝度や色相分布による特徴抽出や、背景のテクスチャー解析などの特徴抽出手段を選択できる。このように、抽出すべき特徴量や抽出方法だけでなく、抽出対象の画像領域、抽出オブジェクトの設定、抽出アルゴリズム、抽出レベル、分解能やビット数、類似度など、特徴抽出や画像識別の設定パラメータを、前記撮影条件データに応じて設定することができる。 In feature extraction, shooting condition data recorded at the time of shooting the image, for example, shooting mode, image size, image quality, AF mode, metering mode, metering value, subject distance, exposure condition, sensitivity, lighting condition, stillness, etc. If the feature extraction or the feature extraction means is selected based on the image / video / continuous shooting mode, the feature of the image can be extracted efficiently. For example, when the selected autofocus AF (focusing) frame or the metering method is spot metering or center-weighted metering, the AF frame or metering frame is often directed toward the main subject. Therefore, it is effective to identify the person and the subject by the hue distribution or the contour line of the main subject in the adjacent peripheral region around the frame. When there are a plurality of in-focus AF frames (2 to 3), it is determined that the images are a plurality of persons or subjects, and it is effective to identify the plurality of subjects by hue distribution or contour lines. On the other hand, in the case of average metering and pan focus, there are many images of subjects with images dispersed in the entire area of the image, landscapes including foreground and distant views, etc., and accordingly, brightness and hue distribution over a wide range Feature extraction means such as feature extraction and background texture analysis can be selected. In this way, not only the feature quantity and extraction method to be extracted, but also the image extraction target area, extraction object settings, extraction algorithm, extraction level, resolution, number of bits, similarity, and other setting parameters for feature extraction and image identification Can be set according to the photographing condition data.
図７は、本実施の形態における特徴抽出処理と特徴データの記録処理の概要（制御の流れ）を示す説明図である。すなわち、ユーザーによって予めなされる設定項目２０１に対する設定操作ｃにより、抽出する特徴項目２０２、特徴データ付加のＯＮ／ＯＦＦ２０３、特徴データの記述様式２０４が選択される。また、撮影条件２０５に対する設定操作ｂにより、撮影条件などの撮影情報２０６が確定する。そして、撮影操作ａを行うと、撮影処理２０７が実行され、撮影画像２０８が取得され、この撮影画像２０８に対して画像の圧縮／符号化２０９がなされ、画像データファイル２１０において符号化画像データ２１１やサムネイル画像２１２として記録される。また、前記撮影条件などの撮影情報２０６は、画像データファイル２１０においてヘッダ情報２１３として記録される。
FIG. 7 is an explanatory diagram showing an overview (control flow) of feature extraction processing and feature data recording processing according to the present embodiment. That is, a
一方、撮影画像２０８からは、前記選択された特徴事項について特徴抽出２１４がなされて、特徴抽出データ２１５が得られる。この特徴抽出データ２１５は、前記選択された特徴データの記述様式２０４に従って、特徴データの記述符号化２１８されて、特徴記述コード２１６が得られ、この特徴記述コード２１６が前記画像データファイル２１０において拡張ヘッダ情報（画像特徴データ等）２１７として記録されるのである。
なお、図７において、２０６ａは撮影条件などの撮影情報２０６の具体例を示し、２１６ａは特徴記述コード２１６の具体例を示す。
On the other hand, from the photographed
In FIG. 7, 206 a indicates a specific example of the shooting
図８は、本実施の形態における、画像から抽出した特徴データの記述例を示す図である。すなわち、撮影した主画像（１）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ Ｒｅｇｉｏｎ）（２）〜（８）を抽出する。そして、主画像（１）からは特徴データとして「類似：サッカー５」を抽出し、部分画像（２）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、類似：サッカー５」を抽出し、部分画像（３）からは特徴データとして「代表色：Ｇｒｅｅｎ（グリーン）、テクスチャー：植物、類似：芝生」を抽出する。以下同様にして、部分画像（４）〜（８）からの各々図中に記載した特徴データを抽出する。また、撮影した主画像（１０）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ Ｒｅｇｉｏｎ）（１１）および（１２）を抽出する。そして、主画像（１０）からは特徴データとして「類似：港３」を抽出し、部分画像（１１）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、テクスチャー：海、類似：船１」を抽出する。
FIG. 8 is a diagram illustrating a description example of feature data extracted from an image according to the present embodiment. That is, partial images (Still Region) (2) to (8) of the characteristic portion of the image are extracted from the captured main image (1). Then, “similar:
また、これら特徴データの記録（出力）は、ユーザー操作により選択された方法（記述様式）に従って、例えば、特徴データをＤＦＣやＥＸＩＦなどの画像ファイルのヘッダ情報の拡張データとしても、あるいは、ＭＰＥＧ−７（ＩＳＯ／ＩＥＣ １５９３８）規格に準じたメタデータ記述ファイル、または、ＳＭＰＴＥ（Society of Motion Picture and Television Engineeers）規格、ＥＢＵ（European Broadcasting Union）によるＰ／Ｍｅｔａ規格、ＴＶ−Ａｎｙｔｉｍｅ（TV-Anytime Forum）規格、Ｗ３ＣによるＳＭＩＬ（Syncronized Multimedia Integration Language）規格、あるいは、Ｄｕｂｌｉｎ Ｃｏｒｅ（Dublin Core Metadate Initiative）とＲＤＦ（W3C、Resource Description Framaework）によるＸＭＬ構文、などの各種メタデータ記述用の規格や言語、あるいは、ＸＭＬ（W3C）などの汎用記述言語に準じた記述ファイル、あるいは、これらをバイナリデータ等に交換した記述データファイル等から、任意に選択して記録（出力）するようにできる。 The feature data is recorded (output) according to a method (description format) selected by the user operation. For example, the feature data can be used as extended data of header information of an image file such as DFC or EXIF, or MPEG- 7 (ISO / IEC 15938) standard metadata description file, SMPTE (Society of Motion Picture and Television Engineeers) standard, EBU (European Broadcasting Union) P / Meta standard, TV-Anytime Forum (TV-Anytime Forum) ) Standards, languages such as SMIL (Syncronized Multimedia Integration Language) standard by W3C, or various metadata description standards such as XML syntax by Dublin Core (Dublin Core Metadate Initiative) and RDF (W3C, Resource Description Framaework), or , XML (W3C), etc. Description file conforming to the language or can them from the binary data such as description data file was changed, etc., so as to optionally record selected (output).
図９において、（ａ）はＭＰＥＧ−７による特徴データの記述例を示し、（ｂ）はＤｕｂｌｉｎ ＣｏｒｅとＲＤＦのＸＭＬ構文による特徴データの記述例を示し、（ｃ）はＳＭＩＬによる特徴データの記述例を示す。 In FIG. 9, (a) shows a description example of feature data by MPEG-7, (b) shows a description example of feature data by XML syntax of Dublin Core and RDF, and (c) shows a description of feature data by SMIL. An example is shown.
なお、例えば、最も古くから書誌情報のメタデータ記述法として用いられているＤｕｂｌｉｎ Ｃｏｒｅ（１９９５）では、タイトル（title）、概要記述（description）、出版社（publisher）、作者（creator）、著作権（ights）、年月日（date）、種別（type）、様式（format）、・・・など１５の基本属性（Dublin Core Metadata Element Set:DCMES）が規定されており、表記法は例えばＸＭＬに準じたＲＤＦ（Resource Description framework）のスキーマなどを用いて記述する。各種メタデータ記述規格では、放送映像用やビットストリーム映像用、ネットワーク配信用など、用途別の規格によって記述子や記述スキーム等はそれぞれ異なるが、同様に、このような書誌情報の多くを記述できる。 For example, in Dublin Core (1995), which has been used as the metadata description method of bibliographic information for the longest time, the title (title), the description (publisher), the publisher (creator), the copyright, 15 basic attributes (Dublin Core Metadata Element Set: DCMES) such as (ights), date (date), type (type), format (format), etc. are defined, and the notation method is XML, for example It is described using a conforming RDF (Resource Description framework) schema. In various metadata description standards, descriptors and description schemes differ depending on the application-specific standards, such as for broadcast video, bitstream video, and network distribution. Similarly, much of such bibliographic information can be described. .
マルチメディア用のメタデータ記述規格のＭＰＥＧ−７（ISO/IEC 15938）の、ＭＰＥＧ−７Ｖｉｓｕａｌ（ISO/IEC 15938-3）では、画像や映像データ、音声などの各種の特徴を記述できる記述子（Descriptor）と記述書式（Description Scheme）等も詳細に定義されている。例えば、色やテクスチャー、輪郭形状などの特徴を表すために以下のような記述子が用意されているので、これに準じて記述してもよい。
Ｃｏｌｏｒ ｓｐａｃｅ（色空間を指定する記述子）、
Ｃｏｌｏｒ ｑｕａｎｔｉｚａｔｉｏｎ（色空間の量子化方法を指定する記述子）、
Ｄｏｍｉｎａｎｔ ｃｏｌｏｒ（任意形状領域における代表色を表す記述子）、
Ｓｃａｉａｂｌｅ ｃｏｌｏｒ（色特徴をＨＳＶ色空間におけるカラーヒストグラムで表 す記述子）、
Ｃｏｌｏｒ ｌａｙｏｕｔ（色の分布をＤＣＴ係数で表す記述子）、
Ｃｏｌｏｒ ｓｔｒｕｃｔｕｒｅ（色の分布における偏りの程度を表す記述子）など、
Ｈｏｍｅｇｅｎｅｏｕｓ ｔｅｘｔｕｒｅ（テクスチャーの特徴を、画像強度と周波数空 間上のエネルギー分布により表す記述子）、
Ｔｅｘｔｕｒｅ ｂｒｏｗｓｉｎｇ（テクスチャーの特徴を、均一性、粒度、方向性の３ 要素で表す）、
Ｅｄｇｅ ｈｉｓｔｏｇｒａｍ（エッジ特徴の分布をヒストグラムにより表す記述子）、
Ｒｅｇｉｏｎ ｓｈａｐｅ（領域の形状特徴を表す記述子）、
Ｃｏｎｔｏｕｒ ｓｈａｐｅ（領域の閉輪郭線の形状特徴を表す記述子）、
MPEG-7 Visual (ISO / IEC 15938-3) of MPEG-7 (ISO / IEC 15938), a metadata description standard for multimedia, is a descriptor that can describe various features such as images, video data, and audio ( Descriptors and description schemes are also defined in detail. For example, the following descriptors are prepared to represent features such as color, texture, contour shape, etc., and may be described according to this.
Color space (descriptor that specifies the color space),
Color quantization (descriptor that specifies the color space quantization method),
Dominant color (descriptor representing a representative color in an arbitrary shape area),
Scalable color (descriptor representing color features as color histogram in HSV color space),
Color layout (descriptor expressing the color distribution by DCT coefficient),
Color structure (descriptor indicating the degree of deviation in color distribution), etc.
Homegeneous texture (descriptor representing texture characteristics by image intensity and energy distribution in the frequency space),
Texture browsing (texture features are represented by three elements: uniformity, granularity, and directionality),
Edge histogram (descriptor representing the distribution of edge features as a histogram),
Region shape (descriptor representing the shape feature of the region),
Contour shape (descriptor representing the shape feature of the closed outline of the region),
図１０は、前記図４に示したフロー中の、特徴量を抽出する処理（ステップＳ１０８、ステップＳ１２７）の処理手順を示すサブルーチンであり、対象となる画像データを読み込んだ後、設定されている抽出すべき特徴量または特徴抽出方法などの設定データを読み込み、それに応じて、設定されている特徴データを抽出して特徴データ記述ファイル出力すものである。 FIG. 10 is a subroutine showing the processing procedure of the feature amount extraction processing (step S108, step S127) in the flow shown in FIG. 4, and is set after the target image data is read. The setting data such as the feature quantity or the feature extraction method to be extracted is read, and the set feature data is extracted and the feature data description file is output accordingly.
すなわち、対象画像データファイルを読み込み（ステップＳ３０１）、特徴抽出処理の設定データを読み込む（ステップＳ３０２）。次に、抽出する特徴はオートに設定されているか否かを判断し（ステップＳ３０３）、オートに設定されていない場合には、設定データに基づいて、特徴抽出する特徴の種類を設定する（ステップＳ３０４）。また、オードに設定されている場合には、当該画像の撮影情報を読み込み（ステップＳ３０５）、撮影モードまたは撮影条件に基づいて、抽出する特徴の種類を選択する（ステップＳ３０６）。 That is, the target image data file is read (step S301), and setting data for feature extraction processing is read (step S302). Next, it is determined whether or not the feature to be extracted is set to auto (step S303). If the feature to be extracted is not set to auto, the type of feature to be extracted is set based on the setting data (step S303). S304). If it is set to Aether, the shooting information of the image is read (step S305), and the type of feature to be extracted is selected based on the shooting mode or shooting conditions (step S306).
そして、このステップＳ３０６または前記ステップＳ３０４に続き、抽出する特徴の種別に応じて、前処理、および、特徴抽出手段を選択した後（ステップＳ３０７）、前処理１（ステップＳ３０８）および前処理２（ステップＳ３０９）を実行する。前処理１においては、画像強調、または、鮮鋭化などを行い、前処理２においては、２値化、または、正規化、回転、座標変換、細線化、膨脹収縮処理、などを行う。
Then, following this step S306 or step S304, according to the type of feature to be extracted, after preprocessing and feature extraction means are selected (step S307), preprocessing 1 (step S308) and preprocessing 2 ( Step S309) is executed. In
しかる後に、特徴抽出処理（色領域の抽出）（ステップＳ３１０）、特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ３１２）、特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ３１４）、特徴抽出処理（位置・配置の特徴抽出）（ステップＳ３１６）、・・・特徴抽出処理（動きの抽出）（ステップＳ３１８）等を実行する。そして、特徴抽出処理（色領域の抽出）（ステップＳ３１０）を実行した場合には、代表色、色分布、ＲＧＢヒストグラム、ＤＣＴ係数などの特徴記述データを作成する（ステップＳ３１１）。特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ３１２）を実行した場合には、代形状評価値、フーリエ記述子、パワースペクトルなどの特徴記述データを作成する（ステップＳ３１３）。特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ３１４）を実行した場合には、輝度ヒストグラム、フーリエスペクトル、共起行列、自己関数などの特徴記述データを作成する（ステップＳ３１５）。特徴抽出処理（位置・配置の特徴抽出）（ステップＳ３１６）を実行した場合には、位置座標、ＤＣＴ係数など特徴記述データを作成する（ステップＳ３１７）。特徴抽出処理（動きの抽出）（ステップＳ３１８）を実行した場合には、動きスペクトル、強度分布などの特徴記述データを作成する（ステップＳ３１９）。 After that, feature extraction processing (color region extraction) (step S310), feature extraction processing (contour shape feature extraction) (step S312), feature extraction processing (texture feature extraction) (step S314), feature extraction processing (step S314) Feature extraction of position / arrangement) (step S316),... Feature extraction processing (movement extraction) (step S318) and the like are executed. When feature extraction processing (color region extraction) (step S310) is executed, feature description data such as representative color, color distribution, RGB histogram, and DCT coefficient are created (step S311). When the feature extraction process (outline shape feature extraction) (step S312) is executed, feature description data such as a substitute shape evaluation value, a Fourier descriptor, and a power spectrum are created (step S313). When feature extraction processing (texture feature extraction) (step S314) is executed, feature description data such as a luminance histogram, Fourier spectrum, co-occurrence matrix, and self-function is created (step S315). When feature extraction processing (position / placement feature extraction) (step S316) is executed, feature description data such as position coordinates and DCT coefficients are created (step S317). When the feature extraction process (motion extraction) (step S318) is executed, feature description data such as a motion spectrum and intensity distribution is created (step S319).
前記色の特徴抽出では、当該他像の色データに基づいて、ＲＧＢやＨＳＶ値などの色差ヒストグラムや色分布、あるいは、色差成分のＤＣＴ変換後のＤＣＴ係数などを求め、特徴量とする。輪郭形状の特徴抽出では、輪郭図形の外周輪郭線に沿って偏角関数や位置座標の列を一次元データに変換した後、Ｐ型フーリエ記述子（後述）等のフーリエ記述子や、各種の形状評価値などを求め、形状の特徴量とする。テクスチャーの特徴抽出では、当該画像データの輝度ヒストグラム分布やフーリエ変換スペクトルなどを求めたり、あるいは、後述するように輝度の共起行列や複数のマスクを用いる高次局所自己相関関数による相関行列等を求め、テクスチャーの特徴量とする。同様に、主要被写体の配置や配色などの特徴抽出には、輝度情報や色差情報の位置座標やＤＣＴ変換により周波数空間に変換した場合のＤＣＴ係数などを求め、配置や配色の特徴量とする。動きの特徴抽出では、動きベクトルやフーリエ変換、ＤＣＴ変換による強度分布などを特徴量とすることができる。その他、抽出する特徴量に応じて、所定の輝度や色相等の領域の抽出処理、所定のフィルタ処理などを行ってもよい。 In the color feature extraction, a color difference histogram such as RGB and HSV values, a color distribution, or a DCT coefficient after DCT conversion of the color difference component is obtained based on the color data of the other image as a feature amount. In the feature extraction of the contour shape, after converting the declination function and the sequence of position coordinates along the outer contour line of the contour graphic into one-dimensional data, a Fourier descriptor such as a P-type Fourier descriptor (described later) A shape evaluation value is obtained and used as a feature amount of the shape. In texture feature extraction, the luminance histogram distribution, Fourier transform spectrum, etc. of the image data are obtained, or as described later, a co-occurrence matrix of luminance and a correlation matrix by a higher-order local autocorrelation function using multiple masks are used. Obtain the feature value of the texture. Similarly, for feature extraction such as the arrangement and color arrangement of the main subject, the position coordinates of luminance information and color difference information, the DCT coefficient when converted to the frequency space by DCT conversion, and the like are obtained and used as arrangement and color arrangement feature quantities. In motion feature extraction, a motion vector, intensity distribution by Fourier transform, DCT transform, or the like can be used as a feature amount. In addition, extraction processing of a region such as predetermined luminance and hue, predetermined filtering processing, and the like may be performed according to the feature amount to be extracted.
次に、認識処理をするか否かを判断し（ステップＳ３２０）、認識処理をする場合には、認識対象のテンプレートデータ（図１２参照）を読み込む（ステップＳ３２１）。次の認識処理により、前記読み込んだテンプレートデータとのテンプレートマッチング、または、相関度、類似度、類似距離、差分和の算出などを行い（ステップＳ３２２）。つまり、被写体の識別や類似度の判定、人間顔領域の識別などを必要とする場合には、識別したいテンプレートとなる参照画像データやその特徴データを読み込み、対象画像と参照画像とのテンプレートマッチング、または、各々の特徴データを比較して、相関度、類似度、類似距離などを算出する。そして、前記ステップＳ３１０〜Ｓ３１９の処理により、抽出されたデータ、または、前記ステップＳ３２２の処理による認識結果を出力する（ステップＳ３２３）。 Next, it is determined whether or not a recognition process is to be performed (step S320). If the recognition process is to be performed, the template data to be recognized (see FIG. 12) is read (step S321). In the next recognition process, template matching with the read template data, or calculation of correlation, similarity, similarity distance, difference sum , and the like are performed (step S322). In other words, when it is necessary to identify the subject, determine the similarity, identify the human face area, etc., read the reference image data and its feature data as a template to be identified, and perform template matching between the target image and the reference image. Alternatively, the degree of correlation, similarity, similarity distance, and the like are calculated by comparing the feature data. And the data extracted by the process of said step S310-S319 or the recognition result by the process of said step S322 is output (step S323).
次に、上記において用いる特徴抽出方法の具体例について、その概要を説明する。
（先鋭化、輪郭抽出）
特徴抽出処理の例として、１次微分フィルタまたは２次微分フィルタ処理による画像の先鋭化処理、エッジ（輪郭）抽出処理を行うことができる。また、このようなフィルタ処理を、前述の前処理における画像の先鋭化処理や、特徴抽出処理における輪郭抽出やエッジ抽出などに利用できる。被写体像の輪郭形状や外形パターン、面積などを特徴データに利用するには、特徴抽出したい画像データの輝度値等を、画素毎に輪郭強調やエッジ検出用のフィルタ演算等を行って、輪郭強調や外形抽出した画像に変換してから、特徴データ等を抽出する。
Next, an outline of a specific example of the feature extraction method used above will be described.
(Sharpening, contour extraction)
As an example of the feature extraction process, an image sharpening process or an edge (contour) extraction process by a primary differential filter or a secondary differential filter process can be performed. Further, such filter processing can be used for image sharpening processing in the above-described preprocessing, contour extraction and edge extraction in feature extraction processing, and the like. Contour shape and contour pattern of the object image, to use such a feature data area, the luminance value of the image data to be feature extraction, etc. by performing a filtering operation for contour enhancement and edge detection for each pixel, edge enhancement Then, after converting the image into an extracted image, feature data and the like are extracted.
一般に、階調が変化する部分のエッジがボケた画像ｆ（ｉ，ｊ）を、
Δｘｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
Δｙｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
ｇ（ｉ，ｊ）＝√｛（Δｘｆ）２＋（Δｙｆ）２｝、
または、ｇ（ｉ，ｊ）＝｜Δｘｆ｜＋｜Δｙｆ｜、
等の演算により、１次部分や勾配（Gradient）を求めると、階調が変化する勾配部分や輪郭を抽出できる。
In general, an image f (i, j) in which the edge of the portion where the gradation changes is blurred
Δx f = f (i + j, j) −j (i−1, j),
Δy f = f (i + j, j) −j (i−1, j),
g (i, j) = √ {(Δx f ) 2 + (Δyf) 2 },
Or g (i, j) = | Δxf | + | Δyf |
When the primary part and the gradient (Gradient) are obtained by the calculation such as the above, it is possible to extract the gradient part and the contour whose gradation changes.
あるいは、
∇２ｆ（ｉ，ｊ）＝∂２ｆ／∂ｘ２＋∂２ｆ／∂ｙ２、または、
∇２ｆ（ｉ，ｊ）＝ｆ（ｉ＋１，ｊ）＋ｆ（ｉ−１，ｊ）＋ｆ（ｉ，ｊ−１）＋ｆ（ｉ，ｊ −１）−４ｆ（ｉ，ｊ）
等の演算により、さらに微分する２次微分（Laplacian）処理を施し、この結果を原画像データから差し引くと、エッジ部分の高周波成分を強調した画像を合成でき、ボケたエッジや輪郭を強調することができる。エッジや輪郭の強調処理をソフトウエア処理で御構内には、「Ｐｒｅｗｉｔｔフィルタ」「Ｓｏｂｅｉフィルタ」や「Ｋｉｒｓｃｈフィルタ」「Ｒｏｂｅｒｔｓフィルタ」等の１次微分の空間フィルタ演算子（オペレータ）、または、「Ｌａｐｌａｃｉａｎｔフィルタ」等の２次微分の空間フィルタ演算子等を用いることができる。
Or
∇ 2 f (i, j) = ∂ 2 f / ∂x 2 + ∂ 2 f / ∂y 2 , or
∇ 2 f (i, j) = f (i + 1, j) + f (i−1, j) + f (i, j−1) + f (i, j−1) −4f (i, j)
By performing a second-order differential (Laplacian) process that is further differentiated by operations such as the above, and subtracting this result from the original image data, an image that emphasizes the high-frequency component of the edge portion can be synthesized, and blurred edges and contours can be emphasized Can do. In the premises, the edge and contour enhancement processing is performed by software processing, and a first-order differential spatial filter operator (operator) such as “Prewitt filter”, “Sobei filter”, “Kirsch filter”, “Roberts filter”, or “ A second-order differential spatial filter operator such as a “Laplacian filter” can be used.
（２値化、平均化、輝度変換）
また、輝度ヒストグラムの変換処理などにより、中間階調など画像強調を行う例、２値化処理や所定の輝度領域の抽出などができる。被写体像の画像データ（輝度値や色差値）の分布パターンなどを特徴データとして利用する場合に、画像データの輝度分布（ヒストグラム）を求め、輝度変換処理を行うことにより中間階調などの強調や圧縮ができる。また、所定の閾値との大小で２値化したり、所定の輝度の領域だけを抽出することができる。あるいは、画素数毎に輝度値や色差値を平均化して、パターン単純化や情報量の圧縮ができる。
(Binarization, averaging, luminance conversion)
In addition, an example of performing image enhancement such as intermediate gradation by a luminance histogram conversion process, binarization process, extraction of a predetermined luminance area, and the like can be performed. When the distribution pattern of image data (luminance value or color difference value) of the subject image is used as the feature data, the luminance distribution (histogram) of the image data is obtained and the luminance conversion process is performed to enhance the intermediate gradation or the like. Can be compressed. Further, binarization can be performed based on a predetermined threshold value, or only a region having a predetermined luminance can be extracted. Alternatively, the luminance value and the color difference value can be averaged for each number of pixels to simplify the pattern and compress the information amount.
（膨脹、収縮、細線化、線図形化）
また、輪郭形状などから被写体の形状や特徴を判別するには、先ず、形状を単純化して情報量を圧縮や線図形化してから判別することが好ましい。例えば、２値化された画像の輪郭や、１−画素と０−画素の境界領域で、１−画素を（８近傍の画素の）一層分だけ外側に太くする、所謂「膨脹」（Expansion）処理を行うと、輪郭などの境界部分の小さな孔や溝が取り除かれ、また、同図（ｂ）のように、逆に、一層分だけ細くする「収縮」（Contraction）処理により境界部分の突起や孤立点などが取り除かれるので、膨脹処理と収縮処理を組み合わせることで、図（ｃ）、（ｄ）のように、凹部や凸部の除去や形状の単純化ができる。
(Expansion, contraction, thinning, line drawing)
In order to determine the shape and characteristics of the subject from the contour shape or the like, it is preferable to first determine after simplifying the shape and compressing the information amount into a line figure. For example, a so-called “expansion” in which 1-pixel is thickened outward by one layer (of 8 neighboring pixels) in a binarized image outline or a boundary region between 1-pixel and 0-pixel. When the processing is performed, small holes and grooves in the boundary portion such as the contour are removed, and conversely, as shown in FIG. Since the isolated points and the like are removed, the combination of the expansion process and the contraction process can remove the concave portions and the convex portions and simplify the shape as shown in FIGS.
また、２値化された画像から、線幅が１の中心を抽出する、所謂「細線化」（Thinning）処理により、骨状（スケルトン）の概略形状を求めることができる。また、２値化された輪郭パターンの周囲を外側と内側とから境界に沿ってたどり、境界部画素を１とし、残りの画素を０とする「境界線追跡」処理により、輪郭の境界線のみの画像に変換できる。あるいは、輪郭形状の数画素毎に選択した画素のみを折れ線で連結する「折れ線近似」処理などを用いてもよい。 Further, a rough shape of a skeleton can be obtained by so-called “thinning” (Thinning) processing in which a center having a line width of 1 is extracted from a binarized image. Further, only the boundary line of the contour is obtained by “boundary line tracking” processing in which the periphery of the binarized contour pattern is traced along the boundary from the outside and the inside, the boundary pixel is set to 1, and the remaining pixels are set to 0. Can be converted to. Alternatively, a “polyline approximation” process or the like in which only pixels selected for every several pixels of the contour shape are connected by a polyline may be used.
（輪郭形状の特徴）
形状の識別は、２値化や線図形化したテンプレート画像やその特徴量を記憶しておき、それらと入力画像の２値化や線図形化した画像や特徴データとの相関度や類似度などを計算して、形状の識別や類似度の判別ができる。あるいは、領域内の画像からテンプレート画像と類似する画像の位置を順次検索するテンプレートマッチング等の手法により、類似する画像や図形の検索ができる。また、簡略には、被写体像の２値化画像や輪郭図形、境界線図形等の縦横の大きさ、半径、周囲長、画素数、面積、幾何学的な寸法の比などから、簡易に類似度判断や被写体の識別を行ってもよい。
(Features of contour shape)
Shape identification is performed by storing binarized or line figured template images and their feature values, and the degree of correlation and similarity between the binarized and line figured image and feature data of the input image. Can be calculated to identify the shape and determine the similarity. Alternatively, it is possible to search for similar images and graphics by a method such as template matching for sequentially searching the positions of images similar to the template image from the images in the region. Also, for simplicity, similarities are easily obtained from the binarized image of the subject image, the vertical and horizontal sizes of the contour figure, boundary line figure, etc., radius, perimeter length, number of pixels, area, ratio of geometric dimensions, etc. Degree determination and subject identification may be performed.
例えば、円では周囲長Ｌ＝２πｒ、面積Ｓ＝πｒ２なので、（周囲長Ｌ）２／（面積Ａ）＝４πとなることから、図形の輪郭線の円らしさを、
円らしさ＝（周囲長Ｌ）２／（面積Ｓ）、または、
円形度ｅ＝４π（円らしさ）＝４πＳ／Ｌ２として計算して、
円らしさが４π（＝12.57）に近い値かどうか、または、円形度が１．０に近いかどうかで、丸い形状の被写体か、凹凸が多い尖った被写体か等を計算し、形状の識別に利用できる。同様に、輪郭の縦横比＝長さｈ／幅ｗなどから、形状の「細長さ」等の評価値を求めてもよい。
For example, since the circumference of the circle is L = 2πr and the area S = πr 2 , (circumference length L) 2 / (area A) = 4π, the circularity of the contour of the figure is
Circularity = (peripheral length L) 2 / (area S), or
Calculate with circularity e = 4π (circularness) = 4πS / L 2 ,
Whether the object has a round shape or a sharp object with many irregularities is calculated according to whether the circularity is close to 4π (= 12.57) or the circularity is close to 1.0, and the shape is identified. Available. Similarly, an evaluation value such as “thin length” of the shape may be obtained from the aspect ratio of the contour = length h / width w.
（輪郭形状の偏角関数、位置座標関数）
また、図形の輪郭線に沿って、始点から順次、偏角θ（ｓ）を求めて、１次元関数（偏角関数）に変換して、輪郭形状の特徴量として利用できる。あるいは、同様に、輪郭線に沿って順次、位置座標ｘ（ｓ）、ｙ（ｓ）、または、ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ（ｓ）を求めて、１次元の位置座標関数に変換して、輪郭形状の特徴量として利用できる。
(Declination function of contour shape, position coordinate function)
Further, along the contour line of the figure, the declination angle θ (s) is obtained sequentially from the start point, converted into a one-dimensional function (declination function), and can be used as a feature amount of the contour shape. Alternatively, similarly, the position coordinates x (s), y (s) or z (s) = x (s) + j · y (s) are sequentially obtained along the contour line to obtain one-dimensional position coordinates. It can be converted into a function and used as a feature amount of the contour shape.
（輪郭形状のフーリエ記述子）
（Ｚ形記述子）
例えば、前述の偏角関数θ（ｓ）を正規化して、正規化偏角関数：θＮ（ｓ）＝θ（ｓ）−θ（０）−２πｓ／Ｌ、
を求め、これの（ｉ＝０，１，２・・・，Ｎ−１）の離散化データφ［ｉ］をフーリエ変換して、次のようなＺ（Zahn）形フーリエ記述子を求め、輪郭形状の識別に利用できる。
θＮ（ｓ）の離散化データ：φ［ｉ］＝θ［ｉ］−θ［０］−２πｉ／Ｎ
（i=0,1,2・・・,N-1）
θＮ（ｓ）の離散フーリエ変換（＝Ｚ形記述子）：Ｃｚ［ｋ］＝（１／Ｎ）Σφ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。
(Fourier descriptor of contour shape)
(Z descriptor)
For example, by normalizing the aforementioned declination function θ (s), the normalized declination function: θ N (s) = θ (s) −θ (0) −2πs / L,
And Fourier transform of the discretized data φ [i] of (i = 0, 1, 2,..., N−1) to obtain the following Z (Zahn) type Fourier descriptor, It can be used to identify contour shapes.
Discretized data of θ N (s): φ [i] = θ [i] −θ [0] −2πi / N
(I = 0,1,2 ..., N-1)
Discrete Fourier transform of θ N (s) (= Z-type descriptor): Cz [k] = (1 / N) Σφ [i] EXP (−j2πki / N).
（Ｇ形記述子）
同様に、前述の位置座標の複素平面座標ｚ（ｓ）を離散フーリエ変換して、Ｇ（Grundlund）形フーリエ記述子を求め、輪郭形状の識別に利用してもよい。
位置座標の複素平面座標ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ［ｓ］、
ｚ（ｓ）の離散化データｚ（ｉ）＝ｘ［ｉ］＋ｊ・ｙ［０］ （i=0,1,2・・・,N-1）、
ｚ（ｓ）の離散フーリエ変換（＝Ｇ記述子）：Ｃｇ［ｋ］＝（１／Ｎ）Σｚ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。
(G type descriptor)
Similarly, the complex plane coordinate z (s) of the position coordinate described above may be subjected to discrete Fourier transform to obtain a G (Grundlund) -type Fourier descriptor, which may be used to identify the contour shape.
Complex plane coordinates z (s) = x (s) + j · y [s] of position coordinates,
discretized data of z (s) z (i) = x [i] + j · y [0] (i = 0, 1, 2..., N−1),
Discrete Fourier transform of z (s) (= G descriptor): Cg [k] = (1 / N) Σz [i] EXP (−j2πki / N).
（Ｐ形記述子）
また、折れ線近似した偏角θ［ｉ］の指数関数ｗ［ｉ］を求め、ｗ［ｉ］をフーリエ変換した、Ｐ（Phase）形記述子を求め、輪郭形状の識別に利用してもよい。
ｗ［ｉ］＝exp（ｊθ［ｉ］）＝cosθ［ｉ］＋sinθ［ｉ］
＝（ｚ［ｉ＋１］−ｚ［ｉ］）／δ、
ただし、線分δ＝｜ｚ［ｉ＋１］−ｚ［ｉ］｜
ｗ［ｉ］の離散フーリエ変換（＝ｐ形記述子）：Ｃｐ［ｋ］＝（１／Ｎ）Σｗ［ｉ］exp（−ｊ２πｋｉ／Ｎ）。
(P type descriptor)
Further, an exponential function w [i] of the argument θ [i] approximated by a polygonal line may be obtained, a P (Phase) shape descriptor obtained by Fourier transforming w [i] may be obtained, and used for identifying the contour shape. .
w [i] = exp (jθ [i]) = cosθ [i] + sinθ [i]
= (Z [i + 1] -z [i]) / δ,
However, the line segment δ = | z [i + 1] −z [i] |
Discrete Fourier transform of w [i] (= p-type descriptor): Cp [k] = (1 / N) Σw [i] exp (−j2πki / N).
（輪郭の抽出と形状の識別）
図１１は、輪郭形状の抽出と被写体の形状識別処理の処理手順を示すフローチャートである。先ず、被写体の画像を取り込み（ステップＳ４０１）、この処理により画像２４０を取り込む。次に、輝度階調値または色差信号に基づいて複数領域に分割し（ステップＳ４０２）、この処理により魚部分２４１を含む領域が分割される。さらに、被写体の領域を選択し（ステップＳ４０３）、この処理により魚部分２４１が選択される。引き続き、領域の画像を２値化し（ステップＳ４０４）、この処理により魚部分の２値化画像２４２が生成される。また、エッジを検出し（ステップＳ４０５）、この処理により魚形状のエッジ２４３が検出される。次に、検出したエッジをＮ辺の等辺多角形で近似し（ステップＳ４０６）、この処理により近似形状の輪郭線２４４が得られる。
(Outline extraction and shape identification)
FIG. 11 is a flowchart showing a processing procedure of contour shape extraction and subject shape identification processing. First, the subject image is captured (step S401), and the
さらに、得られた輪郭線のＰ形記述子などフーリエ記述子を求めて（ステップＳ４０７）、パワースペクトルを求め（ステップＳ４０８）、この処理によりパワースペクトル２４５が求められる。引き続き、低周波成分からｎ個の成分を取り出し、データ圧縮して、輪郭線データとし（ステップＳ４０９）、求めた特徴量をメモリー（特徴抽出／認識用データメモリー５６）に記憶する（ステップＳ４１０）。そして、このメモリーに記憶した特徴量と記憶済のテンプレートデータ２４６（図１２参照）とを順次比較し、類似度を求める（ステップＳ４１１）。さらに、当該被写体を最も類似するテンプレートデータに対応する種類と判定して、当該種類の特徴データを記述し（ステップＳ４１２）、この特徴データの記述データを出力する（ステップＳ４１３）。
Further, a Fourier descriptor such as a P-shaped descriptor of the obtained contour is obtained (step S407), a power spectrum is obtained (step S408), and a
ここで、前記テンプレートデータ２４６は、図１２に示すように、魚における「科」「魚名」等の種類２４６ａ、特徴データ１２４ｂ、輪郭図形２４６ｃ、色・柄・テクスチャー２４６ｄとが対応して記憶されている。したがって、本例の場合、例えば前記ステップＳ４０９で得られた輪郭線特徴データとテンプレートデータ２４６における輪郭図形とを、ステップＳ４１１で比較して類似度を求めることにより、ステップＳ４１２で「チョウチョウウオ科」であると判定することができる。よって、この「チョウチョウウオ科」の特徴データ２４６ｂの記述データがステップＳ４１３で出力されることとなる。
Here, as shown in FIG. 12, the template data 246 stores a
（代表色、色分布の抽出）
図１３は、選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。被写体の画像を取り込み（ステップＳ５０１）、輝度階調値または色差信号に基づいて複数の輪郭領域に分割する（ステップＳ５０２）。次に、面積の大きい領域、または中央のフォーカス枠に近い領域から順に１〜ｎ個の被写体領域を選択し（ステップＳ５０３）、各分割領域毎にＲＧＢ別ヒストグラム分布Ｐｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）を求める（ステップＳ５０４）引き続き、このＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）をそれぞれ全体が１．０となるように正規化する（ステップＳ５０５）。
(Extraction of representative color and color distribution)
FIG. 13 is a flowchart showing an example of a processing procedure for extracting the representative color and the degree of dispersion of the distribution from the RGB histogram of the selected region image. An image of the subject is captured (step S501), and is divided into a plurality of contour regions based on the luminance gradation value or the color difference signal (step S502). Next, 1 to n subject areas are selected in order from the area having the largest area or the area close to the central focus frame (step S503), and the histogram distributions Pr (i) and Pg (i) by RGB for each divided area. ), Pb (i) is obtained (step S504). Subsequently, this Pr (i), Pg (i), and Pb (i) are normalized so that the whole becomes 1.0 (step S505).
そして、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の最頻値を求める（ステップＳ５０６）。
μｒ＝Ｍａｘ｛Ｐｒ（ｉ）｝，
μｇ＝Ｍａｘ｛Ｐｇ（ｉ）｝，
μｂ＝Ｍａｘ｛Ｐｂ（ｉ）｝，
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の平均μを求める（ステップＳ５０７）。
μｒ＝Σｉ・Ｐｒ（ｉ），
μｇ＝Σｉ・Ｐｇ（ｉ），
μｂ＝Σｉ・Ｐｂ（ｉ），
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の分散σ２を求める（ステップＳ５０８）。
σｒ ２＝Σ（ｉ−μｒ）２・Ｐｒ（ｉ），
σｇ ２＝Σ（ｉ−μｇ）２・Ｐｇ（ｉ），
σｂ ２＝Σ（ｉ−μｂ）２・Ｐｂ（ｉ），
次に、各領域のＲＧＢヒストグラムの最頻値または平均値を代表色とし、代表色とＲＧＢの分散値を色の特徴データとして記述して出力する（ステップＳ５０９）。
Then, the mode values of the RGB histograms Pr (i), Pg (i), and Pb (i) are obtained as described below (step S506).
μ r = Max {P r (i)},
μ g = Max {P g (i)},
μ b = Max {P b (i)},
Further, the average μ of the RGB histograms Pr (i), Pg (i), and Pb (i) is obtained as described below (step S507).
μ r = Σi · P r (i),
μ g = Σi · P g (i),
μ b = Σi · P b (i),
Further, the variance σ 2 of the RGB histograms Pr (i), Pg (i), and Pb (i) is obtained as described below (step S508).
σ r 2 = Σ (i−μ r ) 2 · P r (i),
σ g 2 = Σ (i−μ g ) 2 · P g (i),
σ b 2 = Σ (i−μ b ) 2 · P b (i),
Next, the mode value or average value of the RGB histogram of each region is set as a representative color, and the representative color and RGB variance values are described and output as color feature data (step S509).
図１４は、領域画像を複数ブロックに分割して、ブロック毎の平均色を求め、そのＤＣＴ変換したＤＣＴ係数の分布データなど、色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。撮影画像、または、領域画像を取り込み（ステップＳ６０１）、領域を縦ｍ×横ｎの複数ブロック領域に分割する（ステップＳ６０２）。次に、各分割ブロック領域の平均色を算出し（ステップＳ２０３）、各分割ブロック領域の平均色をＲＧＢまたはＹＣｂＣｒ空間でＤＦＴ変換またはＤＣＴ変換で周波数に変換し、各係数を求める（ステップＳ６０４）。そして、ＤＦＴまたはＤＣＴの低周波成分の係数をジグザグスキャンなどで走査して１次元化し（ステップＳ６０５）、この１次元化した各係数を量子化（デジタル符号化）し（ステップＳ６０６）、このデジタル符号化したＤＦＴまたはＤＣＴ係数列を、色分布の特徴データとし記述し出力する（ステップＳ６０７） FIG. 14 is a flowchart illustrating an example of a processing procedure for dividing a region image into a plurality of blocks, obtaining an average color for each block, and extracting the characteristics of the color distribution and color arrangement pattern such as DCT coefficient distribution data obtained by DCT conversion. is there. A captured image or a region image is taken in (step S601), and the region is divided into a plurality of block regions of vertical m × horizontal n (step S602). Next, an average color of each divided block region is calculated (step S203), and the average color of each divided block region is converted into a frequency by DFT conversion or DCT conversion in the RGB or YCbCr space, and each coefficient is obtained (step S604). . Then, the low-frequency component coefficient of DFT or DCT is scanned by zigzag scanning or the like to make it one-dimensional (step S605), and each one-dimensionalized coefficient is quantized (digitally encoded) (step S606). The encoded DFT or DCT coefficient sequence is described and output as color distribution feature data (step S607).
（画像データの変換）
画像データのＲＧＢ信号や輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ、あるいは、色相／彩度／明度を表すＨＳＶ（またはＨＳＢ）データ等は、以下の変換式で相互に容易に変換できる。
例えば、ＲＧＢデータをＹＣｂＣｒデータに変換するには、
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ、
Ｃｂ＝０．１７２＊Ｒ−０．３３９＊Ｇ＋０．５１１＊Ｂ＋ＣＥＮＴＥＲ、
Ｃｒ＝０．５１１＊Ｒ−０．４２８＊Ｇ−０．０８３＊Ｂ＋ＣＥＮＴＥＲ、
ＹＣｂＣｒデータをＲＧＢデータに変換するには、
Ｒ＝Ｙ＋０．０００＊（Ｃｂ−ＣＥＮＴＥＲ）＋１．３７１＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｇ＝Ｙ−０．３３６＊（Ｃｂ−ＣＥＮＴＥＲ）−０．６９８＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｂ＝Ｙ＋１．７３２＊（Ｃｂ−ＣＥＮＴＥＲ）＋０．０００＊（Ｃｒ−ＣＥＮＴＥＲ）、
(Conversion of image data)
The RGB signal, luminance signal Y, color difference signals Cb and Cr of image data, or HSV (or HSB) data representing hue / saturation / lightness can be easily converted to each other by the following conversion formula.
For example, to convert RGB data to YCbCr data,
Y = 0.299 * R + 0.587 * G + 0.114 * B,
Cb = 0.172 * R−0.339 * G + 0.511 * B + CENTER
Cr = 0.511 * R−0.428 * G−0.083 * B + CENTER
To convert YCbCr data to RGB data,
R = Y + 0.000 * (Cb-CENTER) + 1.371 * (Cr-CENTER)
G = Y−0.336 * (Cb−CENTER) −0.698 * (Cr−CENTER)
B = Y + 1.732 * (Cb-CENTER) + 0.000 * (Cr-CENTER)
ＲＧＢデータ（各０〜１）をＨＳＶ（またはＨＳＢ）データに変換するには、
ｃｍａｘ＝ｍａｘｉｍｕｍ（Ｒ，Ｇ．Ｂ）、ｃｍｉｎ＝ｍｉｎｉｍｕｍ（Ｒ，Ｇ．Ｂ）とすると、
明度Ｖ＝ｃｍａｘ、彩度Ｓ＝（ｃｍａｘ−ｃｍｉｎ）／ｃｍａｘ（ただし、ｃｍａｘ＝０のときは、Ｓ＝０）、
Ｒ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛（Ｇ−Ｂ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｇ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛２＋（Ｂ−Ｒ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｂ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛４＋（Ｒ−Ｇ）／（ｃｍａｘ−ｃｍｉｎ）｝、
なお、Ｈ＜０のときはＨに３６０°を加える。また、Ｓ＝０のときはＨ＝０とする。
To convert RGB data (each 0 to 1) to HSV (or HSB) data,
If cmax = maximum (R, GB) and cmin = minimum (R, GB),
Lightness V = cmax, saturation S = (cmax−cmin) / cmax (where c = 0, S = 0),
When R = cmax, hue H = 60 ° * {(GB) / (cmax-cmin)},
When G = cmax, hue H = 60 ° * {2+ (BR) / (cmax-cmin)},
When B = cmax, hue H = 60 ° * {4+ (RG) / (cmax−cmin)},
When H <0, 360 ° is added to H. When S = 0, H = 0.
（色相の抽出、肌色の抽出） (Hue extraction, skin color extraction)
また、所定の色の領域を抽出する例として、人間の肌色領域の抽出に関して、人間の肌の分光反射率特性、または、撮影画像サンプル中の肌色領域のＲＧＢ値、もしくはＨＳＶ値（色相：Ｈｕｅ、彩度：Ｓａｔｕｒａｔｉｏｎ、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓ）などを元に、肌色の領域や人間の肌や顔の領域を抽出できる。例えば、肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の分布データをとると、肌色の画像データの多くは、彩度は広い範囲で分布するが、色相（Ｈｕｅ）環では、約６°〜３８°の範囲に多く分布することが知られている。これらを利用すれば、ＨＳＶ値から、色相（Ｈｕｅ）が約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。 Further, as an example of extracting a predetermined color area, regarding the extraction of the human skin color area, the spectral reflectance characteristics of the human skin, or the RGB value or HSV value (hue: Hue) of the skin color area in the photographed image sample. , Saturation: Saturation, brightness: Value of Brightness), and the like, it is possible to extract a skin color area, human skin, and face area. For example, if the distribution data of skin color hue (Hue) and saturation (Saturation) is taken, most of the skin color image data has a wide range of saturation, but in the hue (Hue) ring, about 6 ° to It is known that many distributions are in the range of 38 °. By using these, it is possible to appropriately extract a subject area of a specific color from the HSV value, such as a skin color of a human face whose hue (Hue) is in the range of about 6 ° to 38 °.
（顔の認識処理）
前記の特徴抽出において、特定の被写体やシーン別撮影モードなどで注目する被写体別に専用の識別データや認識処理を必要とする場合がある。例えば、顔の眼の領域を抽出するためには瞳領域のマスクパターンを作成し、これを参照パターンとして、テンプレートマッチング等を用いて検索して、入力画像から眼や顔のある画像領域を検索できる。また、眼を認識するための条件データとしては、例えば、
眼の細長さ＝ｂ／ａとして、α１≦ｂ／ａ≦α２の条件に合致する、または、
（眼の面積）Ｓ１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ２＝π×ｒ２、黒眼（瞳）の比率Ｓ２／Ｓ１＝ｒ２／ａｂとして、β１≦ｒ２／ａｂ≦β２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、または、（右眼の幅）Ｗ１≒（両眼の間）Ｗ２≒（左眼の幅）Ｗ３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。
(Face recognition process)
In the feature extraction described above, dedicated identification data or recognition processing may be required for each specific subject or subject to be noticed in a scene-specific shooting mode. For example, in order to extract the eye area of the face, a mask pattern of the pupil area is created, and this is used as a reference pattern to search using template matching or the like to search for an image area with an eye or face from the input image. it can. Moreover, as condition data for recognizing eyes, for example,
Eye length = b / a, satisfying the condition of α 1 ≦ b / a ≦ α 2 , or
(Eye area) S 1 ≈π × a × b, (black eye (pupil) area) S 2 = π × r 2 , black eye (pupil) ratio S 2 / S 1 = r 2 / ab, An area of the subject image that satisfies a condition such as β 1 ≦ r 2 / ab ≦ β 2 can be identified as an “eye area”. Also, in the setting of the condition data for recognizing a human face, for example, (length from below the eyebrows to below the nose) h1≈ (length from below the nose to chin) h2 or (width of the right eye) ) An area of the subject image that satisfies conditions such as W 1 ≈ (between eyes) W 2 ≈ (left eye width) W 3 can be identified as a “face area”.
（動きの特徴抽出）
図１５は、時間的に連続する複数画像をそれぞれ複数ブロックに分割し、その輝度値または色差値を前画像とテンプレートマッチングして、移動方向と移動量を抽出して、動きベクトルなど動きの特徴を抽出する処理手順を示すフローチャートである。すなわち、時間的に連続する複数枚の画像を取り込み（ステップＳ７０１）、各画像をｍ×ｎの複数ブロック領域に分割する（ステップＳ７０２）。各画像の各ブロックの輝度値または色差値を前画像とテンプレートマッチングし、移動方法と移動量を抽出する（ステップＳ７０３）。分割ブロック毎に移動方向と移動量を量子化して、各ブロックの動きベクトルを求め（ステップＳ７０４）、画像、ブロック毎の動きベクトル（移動方向と移動量）を、動きの特徴データとして記述して出力する（ステップＳ７０５）。
(Motion feature extraction)
FIG. 15 divides a plurality of temporally continuous images into a plurality of blocks, extracts the moving direction and the moving amount by matching the luminance value or the color difference value with the previous image, extracts the moving direction and the moving feature such as a motion vector, etc. It is a flowchart which shows the process sequence which extracts. That is, a plurality of temporally continuous images are captured (step S701), and each image is divided into m × n block regions (step S702). The brightness value or color difference value of each block of each image is template-matched with the previous image, and the moving method and moving amount are extracted (step S703). The movement direction and movement amount are quantized for each divided block to obtain the motion vector of each block (step S704), and the motion vector (movement direction and movement amount) for each image and block is described as motion feature data. Output (step S705).
（特徴量の比較、類似図形の検索）
また、記憶されたテンプレート画像と被写体画像の類似度の判別や検索には、テンプレートマッチングなどのパターンマッチング法や、動きベクトル検出におけるブロックマッチング法などが利用できる。テンプレートマッチングにより、特徴抽出領域の入力画像ｆ［ｉ，ｊ］の特徴データの中から、例えば、（ｍ×ｎ）の記録された参照画像（または特徴データ）ｔ［ｋ，ｌ］に一致する画像の位置を検出する。参照画像の中心（または端点）が入力画像のある点（ｉ，ｊ）に重なるように置いて、点（ｉ，ｊ）を順に縦横にラスター走査しながら、重なる部分の画像データの類似度を順次計算して、類似度が最も高い位置点（ｉ，ｊ）を、類似する被写体がある位置として求めることができる。
(Comparison of features, search for similar figures)
In addition, a pattern matching method such as template matching or a block matching method in motion vector detection can be used to determine and search the similarity between the stored template image and the subject image. By template matching, for example, (m × n) recorded reference images (or feature data) t [k, l] are matched from the feature data of the input image f [i, j] in the feature extraction region. Detect the position of the image. Place the center (or end point) of the reference image so that it overlaps a certain point (i, j) of the input image, and perform raster scanning of the point (i, j) in order vertically and horizontally, and the similarity of the image data of the overlapping part By calculating sequentially, the position point (i, j) having the highest degree of similarity can be obtained as a position where there is a similar subject.
このテンプレートマッチングは、選択した被写体像を記憶して、被写体を追尾して合焦する追尾式ＡＦ処理などにも利用でき、また、前回の被写体の位置から今回の被写体の位置へのベクトルは、当該被写体の動きベクトルとして動きの特徴データとすることもできる。 This template matching can be used for tracking AF processing that memorizes a selected subject image, tracks the subject, and focuses, and the vector from the previous subject position to the current subject position is: Motion feature data can also be used as the motion vector of the subject.
（相関度（相関係数））
入力画像ｆ［ｋ，ｌ］とテンプレート画像（参照画像）ｔ［ｋ，ｌ］との相関度は、次式のピアソンの相関係数（積率相関係数）Ｒなどで算出でき、最も相関係数Ｒが大きくなる位置が、検索する類似被写体がある位置として求められる。
Ｒ＝（画像ｆと画像ｔの共分散）／ｆ（画像ｆの標準偏差）・（画像ｔの標準偏差）
＝［ΣＬ＝０ ｎ−１ΣＫ＝０ ｍ−１｛ｆ［ｋ，ｌ］−ｆＡＶ｝｛ｔ［ｋ，ｌ］−ｔＡＶ｝］
／√［ΣＬ＝０ ｎ−１ΣＫ＝０ ｍ−１｛ｆ［ｋ，ｌ］−ｆＡＶ｝２］・√［ΣＬ＝０ ｎ−１ΣＫ＝０ ｍ−１｛ｔ［ｋ，ｌ］−ｔＡＶ｝２］
ただし、ｆＡＶ：参照画像ｆ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、
ｔＡＶ：参照画像ｔ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、
(Correlation degree (correlation coefficient))
The degree of correlation between the input image f [k, l] and the template image (reference image) t [k, l] can be calculated by Pearson's correlation coefficient (product moment correlation coefficient) R, etc. The position where the relation number R increases is determined as the position where there is a similar subject to be searched.
R = (covariance between image f and image t) / f (standard deviation of image f) · (standard deviation of image t)
= [ΣL = 0 n−1 ΣK = 0 m−1 {f [k, l] −f AV } {t [k, l] −t AV }]
/ √ [Σ L = 0 n−1 Σ K = 0 m−1 {f [k, l] −f AV } 2 ] · √ [Σ L = 0 n−1 Σ K = 0 m−1 {t [ k, l] −t AV } 2 ]
However, f AV : the average value of the image data (luminance value, color difference value, feature amount, etc.) of the reference image f [k, l],
t AV : average value of image data (luminance value, color difference value, feature amount, etc.) of the reference image t [k, l],
（テンプレートマッチングの類似度）
テンプレートマッチングなど、画像ｆ［ｉ，ｊ］の中から、画像サイズ（ｍ×ｎ）の画像ｔ［ｋ，ｌ］を走査して検索する場合、類似度は、次式で計算でき、類似度ｒ（ｉ，ｊ）が最も大きくなる走査位置の点（ｉ，ｊ）が類似する被写体の位置として求まる。
Ｒ（ｉ，ｊ）＝ΣＬ＝０ ｎ−１ΣＫ＝０ ｍ−１ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］・ｔ［ｋ，ｌ］
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。
これを、前述の相関係数Ｒと同様に、平均値を差し引くなど正規化してもちいてもよい。
(Similarity of template matching)
When searching by scanning an image t [k, l] having an image size (m × n) from the image f [i, j], such as template matching, the similarity can be calculated by the following equation. A point (i, j) at the scanning position where r (i, j) is the largest is obtained as a similar subject position.
R (i, j) = Σ L = 0 n−1 ΣK = 0 m−1 f [i− (m / 2) + k, j− (n / 2) +1] · t [k, l]
However, (i, j): position coordinates of points, f [i, j]: input image data, t [k, l]: template image data, (m × n): size of template image.
Similar to the correlation coefficient R described above, this may be normalized by subtracting the average value.
（絶対値差分和、距離）
前記の類似度、Ｒ（ｉ，ｊ）では乗算のための計算が増えるため、２値化画像など、平均値を差し引いたり、正規化を省略したりできる場合には、類似度の代わりに、次式のような画像間の差分和により、相違の程度（「距離」）を表すＤ（ｉ，ｊ）を求め、これを評価関数として利用できる。この場合には、加減算だけで計算できるので演算を高速化できる。この場合は、距離Ｄ（ｉ，ｊ）が最も小さい点（ｉ，ｊ）がマッチング位置を表す。
Ｄ（ｉ，ｊ）＝ΣＬ＝０ ｎ−１ΣＫ＝０ ｍ−１｜ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］−ｔ［ｋ，ｌ］｜
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。
(Absolute difference sum, distance)
Since the calculation for multiplication increases with the similarity, R (i, j), when the average value can be subtracted or normalization can be omitted, such as a binary image, instead of the similarity, D (i, j) representing the degree of difference (“distance”) is obtained from the difference sum between images as in the following equation, and this can be used as an evaluation function. In this case, the calculation can be speeded up because it can be calculated only by addition and subtraction. In this case, the point (i, j) having the smallest distance D (i, j) represents the matching position.
D (i, j) = Σ L = 0 n−1 Σ K = 0 m−1 | f [i− (m / 2) + k, j− (n / 2) +1] −t [k, l] |
However, (i, j): position coordinates of points, f [i, j]: input image data, t [k, l]: template image data, (m × n): size of template image.
（テクスチャーの特徴抽出）
図１６は、輝度ヒストグラム分布によりテクスチャーを解析する例であり、先ず撮影画像を取り込む（ステップＳ８０１）。次に、この取り込んだ取得画像の輝度ヒストグラム分布Ｐ’（ｉ） （ｉ＝０，１・・・，ｎ−１）を求め（ステップＳ８０２）、全体が１．０となるように正規化した輝度ヒストグラムＰ（ｉ）に変換する（ステップＳ８０３）。引き続き、μ＝Σｉ／Ｐ（ｉ）により、輝度ヒストグラムＰ（ｉ）の平均μを求め（ステップＳ８０４）、σ２＝Σ（ｉ−μ）２・Ｐ（ｉ）により、輝度ヒストグラムＰ（ｉ）の分散σ２を求める（ステップＳ８０５）。また、ｆ１＝Ｓ＝［Σ（１−μ）３・Ｐ（ｉ）］／σ３により、ｆ１＝Ｓ（Skewness、歪み度）を求め（ステップＳ８０６）、ｆ２＝Ｋ＝［Σ（１−μ）４・Ｐ（ｉ）］／σ４により、ｆ２＝Ｋ（Kurtosis、尖り度）を求める（ステップＳ８０７）。そして、輝度ヒストグラムのｆ１（Skewness）、ｆ２（Kurtosis）をテクスチャーの特徴データとて記述し出力する（ステップＳ８０８）。
(Texture feature extraction)
FIG. 16 shows an example of analyzing a texture using a luminance histogram distribution. First, a captured image is captured (step S801). Next, the luminance histogram distribution P ′ (i) (i = 0, 1,..., N−1) of the acquired acquired image is obtained (step S802) and normalized so that the whole becomes 1.0. Conversion into luminance histogram P (i) (step S803). Subsequently, the average μ of the luminance histogram P (i) is obtained by μ = Σi / P (i) (step S804), and the luminance histogram P (i) is obtained by σ2 = Σ (i−μ) 2 · P (i). Is obtained (step S805). Further, f1 = S (Skewn e ss, degree of distortion) is obtained from f1 = S = [Σ (1-μ) 3 · P (i)] / σ3 (step S806), and f2 = K = [Σ (1 −μ) 4 · P (i)] / σ4, f2 = K (Kurtosis, kurtosis) is obtained (step S807). Then, f1 (Skewness) and f2 (Kurtosis) of the luminance histogram are described and output as texture feature data (step S808).
また、他の方法により、テクスチャーの特徴量を抽出するようにしてもよい。例えば、フーリエスペクトルからテクスチャー解析する例においては、離散２次元フーリエ変換したフーリエスペクトル
Ｆ（ｕ，ｖ）＝ΣΣｆ（ｘ，ｙ）Ｗ１ｘｕＷ２ｙｕ（ただし、Ｗ１＝exp（−ｊ２π／Ｍ）を求め、
Ｆ（ｕ，ｖ）のパワースペクトルＰ（ｕ，ｖ）＝｜Ｆ（ｕ，ｖ）｜２を算出し、
これを極座標形式のＰ（ｒ，θ）に変換して、原点を中心としたドーナツ形領域のエネルギーの和ｐ（ｒ）、および、角度θの扇形領域内のエネルギーの和ｑ（ｒ）を求め、
ｐ（ｒ）＝２Σθ＝０ πＰ（ｒ，θ）、
ｑ（ｒ）＝２Σｆ＝０ Ｗ／２Ｐ（ｒ，θ）。
そのヒストグラム分布のピーク、平均、分散など統計量から、例えばＰ（ｒ）のピークよりテクスチャーのきめの大きさ、ｑ（θ）のピークよりテクスチャー画素の方向性など、テクスチャーの特徴量を抽出して、特徴データを記述して、出力するようにしてもよい。
Moreover, you may make it extract the feature-value of a texture with another method. For example, in the example of texture analysis from a Fourier spectrum, Fourier spectrum F (u, v) = ΣΣf (x, y) W1 xu W2 yu (where W1 = exp (−j2π / M)) obtained by discrete two-dimensional Fourier transform is used. Seeking
Power spectrum P of the F (u, v) (u , v) = | F (u, v) | 2 is calculated,
This is converted into P (r, θ) in the polar coordinate format, and the sum p (r) of energy in the donut-shaped region centered on the origin and the sum q (r) of energy in the sector-shaped region at the angle θ are obtained. Seeking
p (r) = 2Σ θ = 0 π P (r, θ),
q (r) = 2Σ f = 0 W / 2 P (r, θ).
From the statistics such as the peak, average, and variance of the histogram distribution, extract the texture features such as texture size from the P (r) peak and texture pixel directionality from the q (θ) peak. The feature data may be described and output.
また、輝度の共起行列を用いてテクスチャーの特徴を抽出してもよい。画像（ｘ，ｙ）において、画素ｆ（ｘ１、ｙ１）から距離ｄ、角度θの位置関係（ｄ，θ）にある画素ｆ（ｘ２，ｙ２）の輝度をｄ（１，２，・・・）、θ（０度、４５度、９０度、１３５度など）を変えて順次求め（ただし、距離ｄ＝ｍａｘ（｜ｘ１−ｘ２｜，｜ｙ１−ｙ２｜）
、位置関係（ｄ，θ）にある２点の輝度がそれぞれ、ｆ（ｘ１，ｙ１）＝ｉ，ｆ（ｘ２，ｙ２）＝ｊの対となる頻度（ヒストグラム）を集計して、輝度共起行列Ｐ（ｉ，ｊ；ｄ，θ）を求め、正規化した共起行列ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）／ΣｉΣｊ（ｉ，ｊ）から、・角２次モーメント（Angular second moment,全体の均一性を表す）ｆ１＝ΣΣ｛ｐ（ｉ，ｊ）｝２、
・コントラスト（Contrast,局所変化を表す）ｆ２＝Σ｛ｎ２ｐ（ｉ，ｊ）｝、
・方向に関する相関（Correlation）ｆ３＝ΣΣ｛（ｉ，ｊ）ｐ（ｉ，ｊ−μ２）｝／σ２、 ただし、μ＝Σｉｐ（ｉ）＝１／ｇ、（ｇ；階調数）
σ＝√｛Σ｛ｐ（ｉ）−μ｝／（ｇ−１）｝
・平方和（Sum of Squares,局所同調性を表すｆ４＝ΣΣ｛（ｉ−μ）２ｐ（ｉ，ｊ）｝、
・逆差分モーメント（Inverse difference Moment,複雑さの測度を表す）ｆ５＝ΣΣ［ｐ（ｉ，ｊ）／｛１＋（１−ｊ））｝］、
などを求めて、テクスチャーの特徴データとすることができる。
Also, texture features may be extracted using a luminance co-occurrence matrix. In the image (x, y), the luminance of the pixel f (x2, y2) in the positional relationship (d, θ) at the distance d and the angle θ from the pixel f (x1, y1) is represented by d (1, 2,. ), Θ (0 degrees, 45 degrees, 90 degrees, 135 degrees, etc.) are sequentially obtained (however, the distance d = max (| x1-x2 |, | y1-y2 |))
, And the luminance co-occurrence by summing up the frequency (histogram) at which the luminance of two points in the positional relationship (d, θ) is paired with f (x1, y1) = i and f (x2, y2) = j, respectively. From the normalized co-occurrence matrix p (i, j) = P (i, j) / Σ i Σ j (i, j) obtained from the matrix P (i, j; d, θ) (Angular second moment, representing overall uniformity) f1 = ΣΣ {p (i, j)} 2 ,
Contrast (representing local change) f2 = Σ {n 2 p (i, j)},
Correlation for direction (Correlation) f3 = ΣΣ {(i, j) p (i, j−μ 2 )} / σ 2 , where μ = Σ i p (i) = 1 / g, (g; gradation) number)
σ = √ {Σ {p (i) −μ} / (g−1)}
Sum of Squares, f4 = ΣΣ {(i−μ) 2 p (i, j)} representing local synchrony,
Inverse difference moment (representing a measure of complexity) f5 = ΣΣ [p (i, j) / {1+ (1-j))}],
Etc. can be obtained as texture feature data.
また、高次局所自己相関関数によりテクスチャー特徴量を抽出してもよい。具体的には、各画像のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、Ｉ画像、Ｑ画像を得て、設定された特徴に応じて、（ｎ×ｎ）画素のマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ（ｉ，ｊ）ｔと掛け合わせ（論理積）、特徴ベクトルＣ１〜２５を求める。
Ｃ１＝ΣｉΣｊ｛ｆ（ｉ，ｊ）｝、
Ｃ２＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）｝、
Ｃ６＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ２５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）ｆ（ｉ＋１，ｊ＋１）｝。
Further, the texture feature amount may be extracted by a higher-order local autocorrelation function. Specifically, the RGB component of each image is converted into a YIQ component to obtain a Y image, an I image, and a Q image, and (n × n)
C1 = Σ i Σ j {f (i, j)},
C2 = Σ i Σ j {f (i, j) f (i + 1, j)},
...
C5 = Σ i Σ j {f (i, j) f (i−1, j + 1)},
C6 = Σ i Σ j {f (i, j) f (i−1, j) f (i + 1, j)},
...
C25 = Σ i Σ j {f (i, j) f (i−1, j + 1) f (i + 1, j + 1)}.
また、前記Ｃ１〜Ｃ２５を加算（積和）して、
Ｃ（ａ１，・・・，ａＮ）＝Σｒ［ｎ√｛ｆ（ｒ）ｆ（ｒ＋ａ１）・・・ｆ（ｒ＋ａＮ）｝］、
各特徴量を特徴ベクトル全体の和Σｊ｛Ｃｊ｝で除算して、特徴ベクトルの絶対値が１となるように正規化して、
Ｃｉ＝Ｃｉ／Σｊ｛Ｃｊ｝ （ｉ，ｊ＝１〜２５）とし、
各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、またはその統計量を、テクスチャーの特徴データとして出力するようにしてもよい。
なお、以上のように本実施の形態においては、特徴抽出手段をソフトウェアで構成するようにしたが、ハードウェアで構成するようにしてもよい。
Also, the above-mentioned C1 to C25 are added (product sum),
C (a1, ···, aN) = Σ r [n √ {f (r) f (r + a1) ··· f (r + aN)}],
Each feature amount is divided by the sum Σ j {Cj} of the entire feature vector, and normalized so that the absolute value of the feature vector becomes 1,
Ci = Ci / Σ j {Cj} (i, j = 1-25)
You may make it output the feature vector C1-C25 by the local autocorrelation calculated | required for every YIQ image, or its statistics as the feature data of a texture.
As described above, in the present embodiment, the feature extraction unit is configured by software, but may be configured by hardware.
図１７は、本実施の形態の再生時おける処理手順を示すフローチャートである。先ず、ユーザーによる操作入力部３５での操作により、再生モードが設定されているか否かを判断し（ステップＳ９０１）、再生モードが設定されない場合には、その他のモード処理へ移行する（ステップＳ９０２）。再生モードが設定された場合には、初期画面（図１８（ａ）参照）を表示して、ユーザーによる操作入力部３５での操作により、インデックス表示が選択されたか否かを判断する（ステップＳ９０３）。インデックス表示が選択された場合には、インデックス画像（図１８（ｂ））を一覧表示する（ステップＳ９０４）。 FIG. 17 is a flowchart showing a processing procedure during reproduction according to the present embodiment. First, it is determined whether or not the playback mode is set by a user operation on the operation input unit 35 (step S901). If the playback mode is not set, the process proceeds to other mode processing (step S902). . When the playback mode is set, an initial screen (see FIG. 18A) is displayed, and it is determined whether or not the index display is selected by the user's operation on the operation input unit 35 (step S903). ). If the index display is selected, a list of index images (FIG. 18B) is displayed (step S904).
また、インデックス表示が選択されない場合には、一覧リスト表示が選択されたか否かを判断する（ステップＳ９０５）。一覧リスト表示が選択された場合には、画像＆音声メモリー媒体３１に記憶されている画像データをファイル名順、撮影日時順などの一覧リストで表示する（ステップＳ９０６）。一覧リスト表示が選択されない場合には、認識結果の一覧表示が選択されたか否かを判断する（ステップＳ９０７）。認識結果の一覧表示が選択された場合には、検索された画像データを一覧表示またはリスト表示する（ステップＳ９０８）。認識結果の一覧表示が選択されない場合には、画像の再生表示が選択されたか否かを判断し（ステップＳ９０９）、画像の再生表示が選択されない場合には、後述するステップＳ９１３に進む。画像の再生表示が選択された場合には、選択された画像データの復号／再生処理を実行する（ステップＳ９１０）。次に、この再生が動画の再生であるか否かを判断し（ステップＳ９１１）、動画の再生である場合には再生が終了した時点（ステップＳ９１２：ＹＥＳ）でステップＳ９１３に進む。 If the index display is not selected, it is determined whether the list display is selected (step S905). If the list display is selected, the image data stored in the image & sound memory medium 31 is displayed in a list such as file name order or shooting date order (step S906). If the list display is not selected, it is determined whether or not the recognition result list display is selected (step S907). When the list display of the recognition result is selected, the searched image data is displayed as a list or displayed as a list (step S908). If the list display of the recognition results is not selected, it is determined whether or not the image reproduction display is selected (step S909). If the image reproduction display is not selected, the process proceeds to step S913 described later. When the reproduction / display of the image is selected, the decoding / reproduction process of the selected image data is executed (step S910). Next, it is determined whether or not the reproduction is a reproduction of a moving image (step S911). If the reproduction is a reproduction of a moving image, the process proceeds to step S913 when the reproduction is completed (step S912: YES).
そして、以上の処理に続くステップＳ９１３においては、キー入力があった否かを判断する（ステップＳ９１３）。キー入力があった場合には、それが検索項目、ワードの入力であるか否かを判断し（ステップＳ９１４）、検索項目、ワードの入力であった場合には、キー操作に従い、検索項目、検索ワード（キーワード）を選択または入力させ（ステップＳ９１５）、表示処理によりこれら選択または入力させた検索項目、検索ワードを表示させて（ステップＳ９１６）、リターンする。 Then, in step S913 following the above processing, it is determined whether or not there is a key input (step S913). If there is a key input, it is determined whether or not it is a search item or word input (step S914). If it is a search item or word input, the search item, Search words (keywords) are selected or input (step S915), the search items and search words selected or input by display processing are displayed (step S916), and the process returns.
また、前記ステップＳ９１４での判断の結果、キー入力が検索項目、ワードの入力でなかった場合には、ユーザーによる操作入力部３５での操作により、キーワード検索の実行が指示されたか否かを判断する（ステップＳ９１７）。キーワード検索の実行が指示された場合には、画像＆音声メモリー媒体３１にキーワードに対応する特徴量があるか否か（記憶されているか否か）を判断し（ステップＳ９１８）、キーワードに対応する特徴量がない場合（記憶されていない場合）には、該当データが見つからない旨の表示、またはエラー処理を行って（ステップＳ９１９）、リターンする。
If the result of determination in step S914 is that the key input is not a search item or word input, it is determined whether or not a keyword search execution has been instructed by an operation on the
また、キーワードに対応する特徴量がある場合には、ユーザーにより特徴データまたは撮影情報を使用することが選択されたか否かを判断する（ステップＳ９２０）。特徴データまたは撮影情報を使用することが選択されなかった場合には、特徴データおよび撮影情報を用いることなく、画像＆音声メモリー媒体３１に記録されている画像データからキーワードに対応する特徴量を抽出する（ステップＳ９２１）。そして、この画像データから抽出した抽出特徴量とキーワードに該当する特徴量とを比較し、類似度を算出する（ステップＳ９２２）。しかし、特徴データまたは撮影情報を使用することが選択された場合には、画像＆音声メモリー媒体３１に格納されている画像ファイルに記録された特徴データまたは撮影情報と前記キーワードに該当する特徴量とを比較し、類似度を算出する（ステップＳ９２３）。 If there is a feature amount corresponding to the keyword, it is determined whether or not the user has selected to use feature data or shooting information (step S920). If the use of feature data or shooting information is not selected, the feature amount corresponding to the keyword is extracted from the image data recorded in the image & sound memory medium 31 without using the feature data and shooting information. (Step S921). Then, the extracted feature quantity extracted from the image data is compared with the feature quantity corresponding to the keyword, and the similarity is calculated (step S922). However, if it is selected to use the feature data or imaging information, the feature amount corresponding image and feature data or photographic information recorded in the image file stored in the voice memory medium 31 and the keyword And the similarity is calculated (step S923).
そして、このステップＳ９２３または前記ステップＳ９２２で算出した類似度が所定以上であるか否かを判断し（ステップＳ９２４）、所定以上である場合には、類似する画像データファイルのファイル名をデータメモリー２４に順次記憶する（ステップＳ９２５）。また、画像＆音声メモリー媒体３１内において検索を終了したか否かを判断し（ステップＳ９２６）、検索が終了するまで、画像＆音声メモリー媒体３１内において次のファイルを読み出して（ステップＳ９２７）、ステップＳ９２０からの処理を繰り返す。これにより、画像＆音声メモリー媒体３１内において検索が終了したならば（ステップＳ９２６；ＹＥＳ）、該当データ検索に成功したか否か、つまり、ステップＳ９２５の処理が１度でも行われて、類似度が所定以上である画像データファイル名のファイル名がデータメモリー２４に記憶されたか否かを判断する（ステップＳ９５８）。該当データの検索に成功した場合には、検索結果の該当データを表示部１４（画像モニター３２）に一覧表示する（ステップＳ９２９）。
Then, it is determined whether or not the similarity calculated in step S923 or step S922 is greater than or equal to a predetermined value (step S924). If it is greater than or equal to the predetermined value, the file name of the similar image data file is stored in the
したがって、このステップＳ９２９での処理により、画像＆音声メモリー媒体３１に記憶されている、類似度が所定以上である画像ファイルのファイル名が一覧表示されることととなる。よって、表示されている何れかの画像ファイル名を選択して再生表示指示を行うことにより、前述したステップＳ９１０での処理により、画像モニター３２に選択された画像ファイルの画像が表示されることとなる。 Therefore, by the processing in step S929, the file names of image files having a similarity equal to or higher than a predetermined value stored in the image & sound memory medium 31 are displayed in a list. Therefore, by selecting one of the displayed image file names and giving a playback display instruction, the image of the selected image file is displayed on the image monitor 32 by the processing in step S910 described above. Become.
他方、ステップＳ９１７での判断の結果、キーワード検索の実行でなかった場合には、特徴データの再抽出・再記録が指示されたか否かを判断し（ステップＳ９３０）、特徴データの再抽出・再記録も指示されなかった場合には、その他のキー処理を実行する（ステップＳ９３１）。また、特徴データの再抽出・再記録が指示された場合には、画像＆音声メモリー媒体３１に記憶されている画像データのうち、このとき選択されている画像データから、このとき選択されている特徴データを抽出する（ステップＳ９３２）。そして、この抽出した特徴データを、このとき選択されている記述様式で符号化して（ステップＳ９３３）、当該画像データおよび撮影情報とともにこの特徴データを付加して、画像＆音声メモリー媒体３１に記録し（ステップＳ９３４）、その他の表示処理実行して（ステップＳ９３５）、リターンする。 On the other hand, if the result of determination in step S917 is that keyword search has not been executed, it is determined whether or not feature data re-extraction / re-recording has been instructed (step S930). If recording is not instructed, other key processing is executed (step S931). When the re-extraction / re-recording of the feature data is instructed, the image data selected at this time is selected from among the image data stored in the image & sound memory medium 31 at this time. Feature data is extracted (step S932). Then, the extracted feature data is encoded in the description format selected at this time (step S933), the feature data is added together with the image data and shooting information, and is recorded in the image & sound memory medium 31. (Step S934), other display processing is executed (Step S935), and the process returns.
図１８は、前記図１７のフローチャートにより実行される再生時の特徴抽出、特徴データの再記録の設定メニュー表示画面例を示す図である。図において、（ａ）は、再生モードにおける処理画面あるいは再生時の画面例であり、（ｂ）はインデックス表示画面例である。また、（ｃ）は再設定メニュー（１）、（ｄ）は再設定メニュー（２）の画面例である。（ｃ）の再設定メニュー（１）においては、「スライドショー」「ダイジェスト再生」「画像検索」・・・等の選択肢を表示し、（ｄ）の再設定メニュー（２）においては、「タイトル作成」「動画編集」「特徴の抽出・変更」・・・等の選択肢を表示する。また、（ｅ）は特徴抽出方法の詳細設定画面例であり、「色の抽出」「輪郭の抽出」「テクスチャー抽出」・・・等の選択肢を表示する。（ｆ）は特徴データの記録方法の詳細設定画面例であり、「識別名称」「類似率」「配色分布」・・・等の選択肢を表示する。 FIG. 18 is a diagram showing a setting menu display screen example of feature extraction at the time of reproduction and re-recording of feature data executed according to the flowchart of FIG. In the figure, (a) is a processing screen in the playback mode or a screen example during playback, and (b) is an index display screen example. Further, (c) is a screen example of the reset menu (1), and (d) is a screen example of the reset menu (2). In the reset menu (1) of (c), options such as “slide show”, “digest playback”, “image search”... Are displayed, and in the reset menu (2) of (d), “title creation” is displayed. Options such as “Edit video”, “Extract / change features”, etc. are displayed. Further, (e) is an example of a detailed setting screen of the feature extraction method, which displays options such as “color extraction”, “contour extraction”, “texture extraction”,. (F) is an example of a detailed setting screen for the feature data recording method, and displays options such as “identification name”, “similarity”, “color arrangement”, and so on.
（第２の実施の形態）
図１９〜図２２は、本発明の第２の実施の形態を示すものであり、撮影シーンに応じて、特徴量データを自動的に選択して抽出して、画像データの付加情報として記録するようにしたものである。
(Second Embodiment)
FIGS. 19 to 22 show a second embodiment of the present invention, in which feature amount data is automatically selected and extracted according to a shooting scene, and is recorded as additional information of image data. It is what I did.
すなわち、この実施の形態において前記プログラムメモリー２３には、図１９に示すように、人物を写す場合（ＢＳ１）、風景を写す場合（ＢＳ２）・・・等の撮影シーン別に、当該シーンを撮影する場合に好適なシーン別撮影制御プログラムが記憶されているとともに、そのサンプル画像３００と、「色強調が肌色に設定されます。」等の当該シーン別撮影制御プログラムに関する説明文３０１等が記憶されている。
That is, the the
図２０および図２１は、本実施の形態の処理手順を示す一連のフローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、同図に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作に応じて、前記撮影シーンＢＳ１〜ＢＳ１８のいずれか選択するとともに、この選択した撮影シーンＢＳ１〜ＢＳ１８に対応するシーン別撮影制御プログラムに従って撮影条件などを設定し、あるいは入力された撮影条件を設定する（図２０ステップＳ１００１）。そして、レリーズ釦３が押し操作されて撮影指示がなされた時点で撮影処理を実行し（ステップＳ１００２）、電子撮像センサ２０から画像データを取り込み圧縮符号化する（ステップＳ１００３）。
20 and 21 are a series of flowcharts showing the processing procedure of the present embodiment, and the
次に、特徴データ付加記録がＯＮに設定されているか否かを判断し（ステップＳ１００４）、ＯＮに設定されていない場合には、撮影画像データとともに、撮影情報を画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１０２２）。また、ＯＮに設定されている場合には、オート（前記シーン別撮影制御プログラムを用いるモード）が設定されているか否かを判断し（ステップＳ１００５）、オートに設定されていない場合には、その他の特徴抽出処理を実行する（ステップＳ１００６）。 Next, it is determined whether or not the feature data additional recording is set to ON (step S1004). If the feature data additional recording is not set to ON, the shooting information is stored together with the shooting image data in the image & sound memory medium 31 (or Recording is performed on the magnetic disk 48) (step S1022). If it is set to ON, it is determined whether or not auto (a mode using the scene-specific shooting control program) is set (step S1005). The feature extraction process is executed (step S1006).
そして、オートに設定されている場合には、フォーカス枠周辺の領域内の被写体像を輝度もしくは色差データに基づいて輪郭抽出し（ステップＳ１００７）、この抽出した輪郭を境界とする領域に分類する（ステップＳ１００８）。引き続き、今回の撮影で選択されたシーンが人物撮影シーン（図３３のＢＳ１参照）であるか否かを判断し（ステップＳ１００９）、人物撮影シーンでない場合には、後述する図２１のステップＳ１０２３に進む。人物撮影シーンである場合には、顔のテンプレートと各分割領域画像とを比較し、顔の領域を抽出する（ステップＳ１０１０）。また、この抽出した顔の領域の輝度、色差、ＨＳＢデータを平均化して、支配色を検出し（ステップＳ１０１１）、顔の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１０１２）。 When Ru Tei is set to auto, the subject image of the focus frame around the area to contour extraction on the basis of the luminance or chrominance data (step S1007), classified to a region of the extracted contour boundary ( Step S1008). Subsequently, it is determined whether or not the scene selected in the current shooting is a person shooting scene (see BS1 in FIG. 33) (step S1009). If it is not a person shooting scene, the process proceeds to step S1023 in FIG. move on. If the scene is a person-captured scene, the face template is compared with each divided area image to extract a face area (step S1010). Further, the luminance, color difference, and HSB data of the extracted face area are averaged to detect the dominant color (step S1011), and the face contour shape is converted into digital data such as a Fourier descriptor (step S1012).
次に、顔の下の領域を選択して、上半身（衣服）領域を抽出する（ステップＳ１０１３）。この抽出した上半身（衣服）領域の輝度、色差、ＨＳＢデータを平均化し、支配色を検出し（ステップＳ１０１４）、上半身（衣服）領域の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１０１５）。さらに、他に顔の領域がないか否かを判断し（ステップＳ１０１６）、ある場合にはステップＳ１０１０からの処理を繰り返す。 Next, an area under the face is selected, and an upper body (clothing) area is extracted (step S1013). The luminance, color difference, and HSB data of the extracted upper body (clothing) area are averaged to detect the dominant color (step S1014), and the contour shape of the upper body (clothing) area is converted into digital data such as a Fourier descriptor (step S1014). S1015). Further, it is determined whether or not there is any other face area (step S1016), and if there is, the process from step S1010 is repeated.
その結果、他に顔の領域がなくなった場合には、背景領域を検出し（ステップＳ１０１７）、背景の支配色を検出し（ステップＳ１０１８）、背景のテクスチャーを検出する（ステップＳ１０１９）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１０２０）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１０２１）。 As a result, when there is no other face area, the background area is detected (step S1017), the dominant color of the background is detected (step S1018), and the background texture is detected (step S1019). Then, the shooting scene name and the feature data such as the dominant color, contour shape, and texture of each region are described in the processing description format (step S1020), and the shooting information and the feature data are displayed together with the shooting image data. & Recording on the audio memory medium 31 (or magnetic disk 48) (step S1021).
一方、ステップＳ１００９での判断の結果、人物撮影シーンでなかった場合には、風景＋人物シーン（図３３のＢＳ３参照）であるか否かを判断する（図２１ステップＳ１０２３）。風景＋人物シーンである場合には、人物のテンプレートと各分割領域画像とを比較し、人物の領域、顔の領域を抽出する（ステップＳ１０２４）。また、この抽出した人物と顔の支配色を検出し（ステップＳ１０２５）、人物と顔の輪郭形状を同様にデジタルデータに変換する（ステップＳ１０２６）。 On the other hand, if the result of determination in step S1009 is not a person-captured scene, it is determined whether or not it is a landscape + person scene (see BS3 in FIG. 33) (step S1023 in FIG. 21). If it is a landscape + person scene, the person's template and each divided area image are compared to extract the person's area and face area (step S1024). Further, the dominant color of the extracted person and face is detected (step S1025), and the contour shape of the person and face is converted into digital data in the same manner (step S1026).
次に、人物以外の主な被写体領域を抽出して（ステップＳ１０２７）、この抽出した上半身（衣服）領域の輝度、色差、ＨＳＢデータを平均化し、支配色を検出し（ステップＳ１０２８）、人物以外の領域の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１０２９）。さらに、他に人物、被写体の領域がないか否かを判断し（ステップＳ１０３０）、ある場合にはステップＳ１０２４からの処理を繰り返す。 Next, main subject areas other than the person are extracted (step S1027), the luminance, color difference, and HSB data of the extracted upper body (clothing) area are averaged, and the dominant color is detected (step S1028). Is converted into digital data such as a Fourier descriptor (step S1029). Further, it is determined whether or not there are other person / subject areas (step S1030). If there are any, the processes from step S1024 are repeated.
その結果、他に人物、被写体の領域がなくなった場合には、背景領域を検出し（ステップＳ１０３１）、背景の支配色を検出し（ステップＳ１０３２）、背景のテクスチャーを検出する（ステップＳ１０３３）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１０３４）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（図２１ステップＳ１０２１）。 As a result, when there are no more person or subject areas, the background area is detected (step S1031), the dominant color of the background is detected (step S1032), and the background texture is detected (step S1033). Then, the shooting scene name, and the feature data such as the dominant color, contour shape, and texture of each region are described in the processing description format (step S1034), and the shooting information and the feature data are displayed together with the shooting image data. & Recording on the audio memory medium 31 (or magnetic disk 48) (step S1021 in FIG. 21).
他方、ステップＳ１０２４での判断の結果、風景＋人物シーンでなかった場合には、風景シーン（図３３のＢＳ２参照）であるか否かを判断し（ステップＳ１０３５）、風景シーンでもなかった場合には、その他のシーン処理に移行する（ステップＳ１０３６）。風景シーンである場合には、風景のテンプレートと各分割領域画像とを比較し、主な被写体領域を抽出し（ステップＳ１０３７）、この抽出した主な被写体の支配色を検出し（ステップＳ１０３８）、主な被写体の輪郭形状を同様にデジタルデータに変換する（ステップＳ１０３９）。 On the other hand, if the result of determination in step S1024 is that it is not a landscape + person scene, it is determined whether or not it is a landscape scene (see BS2 in FIG. 33) (step S1035). Shifts to other scene processing (step S1036). In the case of a landscape scene, the landscape template is compared with each divided region image, the main subject region is extracted (step S1037), and the dominant color of the extracted main subject is detected (step S1038). Similarly, the contour shape of the main subject is converted into digital data (step S1039).
さらに、他に主な被写体の領域がないか否かを判断し（ステップＳ１０４０）、ある場合にはステップＳ１０３７からの処理を繰り返す。その結果、他に主な被写体の領域がなくなった場合には、背景領域を検出し（ステップＳ１０４１）、背景の支配色を検出し（ステップＳ１０４２）、背景のテクスチャーを検出する（ステップＳ１０４３）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１０３４）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（図２１ステップＳ１０２１）。 Further, it is determined whether or not there is another main subject area (step S1040), and if there is, the process from step S1037 is repeated. As a result, when there is no other main subject area, the background area is detected (step S1041), the dominant color of the background is detected (step S1042), and the background texture is detected (step S1043). Then, the shooting scene name, and the feature data such as the dominant color, contour shape, and texture of each region are described in the processing description format (step S1034), and the shooting information and the feature data are displayed together with the shooting image data. & Recording on the audio memory medium 31 (or magnetic disk 48) (step S1021 in FIG. 21).
図２２は、撮影シーン別の特徴量、テンプレート画像の設定例を示す図である。すなわち、前記プログラムメモリー２３には、シーン別撮影モードとして、「人物」「子供、「風景」「風景と人物」等が記憶されているとすると、例えば「人物」の特徴として「一人」「複数」・・・等を設定することができ、さらに、「一人」に対応する特徴として「配色」「形状」「配置」等を設定することができ、これらをテンプレート画像と対応させることができる。
FIG. 22 is a diagram illustrating an example of setting feature amounts and template images for each shooting scene. That is, assuming that “person”, “children,“ landscape ”,“ landscape and person ”, etc. are stored in the
（第３の実施の形態）
図２３は、本発明の第３の実施の形態における検索処理手順を示すフローチャートである。すなわち、ユーザーによる操作入力部３５での操作により、キーワードによる画像検索が設定されたか否かを判断し（ステップＳ１１０１）、設定されない場合にはその他の検索処理を実行する（ステップＳ１１０２）。また、キーワードによる画像検索が設定されたならば、入力されたキーワードに対応する特徴量が画像＆音声メモリー媒体３１にあるか否か（記憶されているか否か）を判断する（ステップＳ１１０３）。キーワードに対応する特徴量がない場合（記憶されていない場合）には、ユーザーの選択操作により、後述する類似辞書または心理辞書を使用するが選択されたか否かを判断し（ステップＳ１１０４）、選択されなかった場合には、該当データが見つからない旨の表示、またはエラー処理を行って（ステップＳ１１０７）、リターンする。また、類似辞書または心理辞書を使用するが選択された場合には、類似辞書または心理辞書を用いて、入力されたキーワードの類語または対応語を検索し、それらをキーワードとする（ステップＳ１１０５）。そして、このキーワードに対応する特徴量が画像＆音声メモリー媒体３１にあるか否か（記憶されているか否か）を判断し（ステップＳ１１０６）、ない場合には前述と同様に、該当データが見つからない旨の表示、またはエラー処理を行って（ステップＳ１１０７）、リターンする。
(Third embodiment)
FIG. 23 is a flowchart showing a search processing procedure according to the third embodiment of the present invention. That is, it is determined whether or not an image search using a keyword has been set by an operation of the
前記ステップＳ１１０６とステップＳ１１０３で、キーワードに対応する特徴量があると判断された場合には、ユーザーにより、特徴データまたは撮影情報を使用することが選択されたか否かを判断する（ステップＳ１１０８）。特徴記述データまたは撮影情報を使用することが選択されなかった場合には、これら特徴記述データおよび撮影情報を使用することなく、画像＆音声メモリー媒体３１に記録されている画像データからキーワードに対応する特徴量を抽出する（ステップＳ１１０９）。そして、この画像データから抽出した抽出特徴量とキーワードに該当する特徴量とを順次比較する（ステップＳ１１１０）。また、特徴データまたは撮影情報を使用することが選択された場合には（ステップＳ１１０８；ＹＥＳ）、画像＆音声メモリー媒体３１に格納されている各画像ファイルに記録された特徴記述データまたは撮影情報と前記キーワードに該当する特徴量とを順次比較する（ステップＳ１１１１）。 If it is determined in step S1106 and step S1103 that there is a feature amount corresponding to the keyword, it is determined whether or not the user has selected to use feature data or shooting information (step S1108). When it is not selected to use the feature description data or the shooting information, the feature description data and the shooting information are used, and the keyword is corresponded from the image data recorded in the image & sound memory medium 31 without using the feature description data and the shooting information. A feature amount is extracted (step S1109). Then, the feature quantity corresponding to the extracted from the image data was extracted features and the keyword sequential comparison (step S1110). If the use of feature data or shooting information is selected (step S1108; YES), the feature description data or shooting information recorded in each image file stored in the image & sound memory medium 31 and and a feature quantity corresponding to the keyword sequential comparison (step S1111).
そして、このステップＳ１１１１または前記ステップＳ１１１０での比較による類似度が所定以上であるか否かを判断し（ステップＳ１１１２）、所定以上である場合には、該当する画像データファイルのファイル名をデータメモリー２４に順次記憶する（ステップＳ１１１３）。次に、画像＆音声メモリー媒体３１内において検索を終了したか否かを判断し（ステップＳ１１１４）、検索が終了するまで、画像＆音声メモリー媒体３１内において次のファイルを読み出して（ステップＳ１１１５）、ステップＳ１１０８からの処理を繰り返す。これにより、画像＆音声メモリー媒体３１内において検索が終了したならば（ステップＳ１１１４；ＹＥＳ）、該当データ検索に成功したか否か、つまり、ステップＳ１１１３の処理が１度でも行われて、該当する画像データが１つ以上あるか否かを判断する（ステップＳ１１１６）。該当データの検索に成功しなかった場合には、該当データが見つからない旨の表示、またはエラー処理を行い（ステップＳ１１０７）、成功した場合には、検索された該当データのサムネイルを一覧表示するか、または、リスト表示する（ステップＳ１１１７）。 Then, it is determined whether or not the similarity in the comparison in step S1111 or step S1110 is greater than or equal to a predetermined value (step S1112). If it is greater than or equal to the predetermined value, the file name of the corresponding image data file is stored in the data memory. 24 are sequentially stored (step S1113). Next, it is determined whether or not the search is finished in the image & sound memory medium 31 (step S1114), and the next file is read in the image & sound memory medium 31 until the search is finished (step S1115). The processing from step S1108 is repeated. As a result, if the search is completed in the image & sound memory medium 31 (step S1114; YES), whether or not the corresponding data search is successful, that is, the process of step S1113 is performed even once, and is applicable. It is determined whether there is one or more image data (step S1116). If the search for the corresponding data is not successful, a display indicating that the corresponding data is not found or an error process is performed (step S1107). If the search is successful, a list of thumbnails of the searched corresponding data is displayed. Alternatively, a list is displayed (step S1117).
したがって、このステップＳ１１１７での処理により、画像＆音声メモリー媒体３１に記憶されている、類似度が所定以上である画像ファイルの画像がサムネイル表示あるいはリスト表示され、表示されているサムネイル画像の何れか、または、リストのいずれかを再生表示指示を行うことにより、画像モニター３２に選択された画像ファイルの画像が表示されることとなる。
Therefore, by the processing in step S1117, the image of the image file having a similarity equal to or higher than a predetermined value stored in the image & sound memory medium 31 is displayed as a thumbnail or a list, and any one of the displayed thumbnail images is displayed. Alternatively, when an instruction to reproduce and display one of the lists is given, the image of the selected image file is displayed on the
図２４は、前記図２３のフローチャートにより実行される画像データの検索処理の操作との関係における表示例を示す図である。図において、（ａ）は、検索メニュー表示（１）の画面例であり、「ファイル名による検索」・・・「キーワードによる検索」等の検索方法に関する選択肢を表示する。この状態で、「キーワードによる検索」が選択されると、（ｃ）のキーワードによる検索メニュー画面に遷移して、「キーワード選択：サッカー」「キーワード入力」・・・「類似辞書を使用」「心理辞書を使用」等の選択肢を表示表示させる。なお、この図（ｃ）の例では、「サッカー」というキーワードを選択すると、「サッカー」に対応して予め設定された「代表色：緑」、「形状輪郭：ボール（球）」、「テクスチャー：芝」などの特徴量の組合せに基づいて、サッカーの画像と判断される画像を検索する場合を示す。そして、検索が実行されると検索結果として、（ｅ−１）の検索結果の一覧リスト、または、（ｅ−２）の検索結果のインデックス表示（サムネイル表示）を行う。この状態で一覧リストからいずれかのファイル名が選択され、またはインデックス表示からいずれかの画像が選択されると、（ｆ−１）の当該画像の再生表示（静止画）、または、（ｆ−２）の再生表示（動画像）を行う。 FIG. 24 is a diagram showing a display example in relation to the operation of the image data search process executed by the flowchart of FIG. In the figure, (a) is a screen example of search menu display (1), which displays options related to a search method such as “search by file name”... “Search by keyword”. In this state, when “search by keyword” is selected, the screen shifts to the search menu screen by keyword of (c), and “keyword selection: soccer” “keyword input”... “Use similar dictionary” “psychology” Options such as “use dictionary” are displayed and displayed. In the example of FIG. 3C, when the keyword “soccer” is selected, “representative color: green”, “shape contour: ball (sphere)”, “texture” set in advance corresponding to “soccer”. : A case where an image determined to be a soccer image is searched based on a combination of feature amounts such as “: turf”. When the search is executed, a list of search results (e-1) or an index display (thumbnail display) of the search results (e-2) is performed as a search result. In this state, when any file name is selected from the list or any image is selected from the index display, the reproduction display (still image) of the image in (f-1) or (f- 2) of the reproduced and displayed (dynamic picture) performed.
また、（ｂ）は検索メニュー表示（２）の画面例であり、「画像、シーンによる検索」「音声による検索」等の検索方法に関する選択肢を表示する。この状態で、「画像、シーンによる検索」が選択されると、（ｄ）の画像、シーンによる検索メニューに遷移して、「登録済参照画像：サッカー」・・・「被写体の識別：サッカー」・・・等の選択肢を表示表示させる。そして、検索が実行される前述と同様にして、（ｅ−１）の検索結果の一覧リスト、または、（ｅ−２）の検索結果のインデックス表示（サムネイル表示）い、この状態で一覧リストからいずれかのファイル名が選択され、またはインデックス表示からいずれかの画像が選択されると、（ｆ−１）の当該画像の再生表示（静止画）、または、（ｆ−２）の再生表示（動画像）を行う。 (B) is a screen example of the search menu display (2), which displays options related to a search method such as “search by image and scene” and “search by voice”. In this state, when “search by image and scene” is selected, the screen is switched to the search menu by image and scene in (d), and “registered reference image: soccer”... “Identification of subject: soccer” ... and other options are displayed and displayed. Then, in the same manner as described above when the search is executed, the list of search results of (e-1) or the index display (thumbnail display) of the search results of (e-2) is displayed from the list list in this state. When any file name is selected or any image is selected from the index display, the reproduction display (still image) of the image in (f-1) or the reproduction display (f-2) ( perform the dynamic image).
図２５は、入力キーワードに対応する特徴データによる画像検索処理と指定した画像データに類似する画像検索処理の概略を示す説明図である。すなわち、キーワード（サッカー）に対応する特徴記述データによる検索（Ａ）においては、画像＆音声メモリー媒体３１内の各画像ファイルに記録されている当該画像の特徴記述データＡ１（例えば、代表色：緑）と、キーワード（サッカー）から得られる検索特徴データ１（代表色：緑）とを比較し、特徴データ１は一致するか否かを判断する（Ａ２）。一致する場合には、当該画像ファイルに記録されている画像の特徴記述データＡ３（例えば、形状２：ボール）と、キーワード（サッカー）から得られる検索特徴データ２（形状２：ボール）とを比較し、特徴データ２は一致するか否かを判断する（Ａ４）。一致する場合には、当該画像ファイルに記録されている画像の特徴記述データＡ５（例えば、テクスチャー１：芝）と、キーワード（サッカー）から得られる検索特徴データ３（テクスチャー１：芝）とを比較し、特徴データ３は一致するか否かを判断する（Ａ６）。そして、Ａ２、Ａ４、Ａ６の判断が全て一致するであった画像Ａ７、Ａ８を検索結果として得る。
FIG. 25 is an explanatory diagram showing an outline of image search processing using feature data corresponding to an input keyword and image search processing similar to designated image data. That is, in the search (A) by the feature description data corresponding to the keyword (soccer), the feature description data A1 (for example, representative color: green) of the image recorded in each image file in the image & sound memory medium 31 is used. ) And search feature data 1 (representative color: green) obtained from the keyword (soccer), and it is determined whether or not the
また、画像データによる検索（Ｂ）においては、画像＆音声メモリー媒体３１内の各画像Ｂ１と予め選択した検索被写体シーンのパターン（Ｂ２）とを比較し（画像の特徴量の比較）、被写体類似度は所定以上であるか否かを判断する（Ｂ３）。被写体類似度は所定以上である場合には、前記検索被写体シーンのパターン（Ｂ２）に対応する参照画像データＢ４と画像＆音声メモリー媒体３１内の当該画像Ｂ５とを比較し、画像の類似度は所定以上であるか否かを判断する（Ｂ６）。そして、画像の類似度は所定以上であった画像Ｂ７、Ｂ８、Ｂ９を検索結果として得る。 Further, in the search (B) by image data, each image B1 in the image & sound memory medium 31 is compared with the pattern (B2) of the search subject scene selected in advance (comparison of the feature amount of the image), and subject similarity It is determined whether the degree is equal to or greater than a predetermined value (B3). If the subject similarity is greater than or equal to a predetermined value, the reference image data B4 corresponding to the search subject scene pattern (B2) is compared with the image B5 in the image & sound memory medium 31, and the image similarity is It is determined whether or not it is equal to or greater than a predetermined value (B6). Then, images B7, B8, and B9 whose image similarity is equal to or higher than a predetermined value are obtained as search results.
図２６は、図２３のフローチャートにおけるステップＳ１１０５で用いる類語辞書のデータ構成例を示す図である。このデータ構成例においては、「見出し語」に対応して、「同義語」、「広義語」、」「狭義語」、「反意語」、「関連語」が記憶されている。したがって、例えば「派手」を見出し語として検索し、「目立つ」、「彩度が高い」、「つややか」などの類義語から、「彩度の高い色の自動車」の画像データを検索することができる。また、類義語が「派手」となる見出し語を逆検索して、「赤」の広義語の「派手」を見つけ、「赤い車」の画像データを検索することもできる。 FIG. 26 is a diagram illustrating a data configuration example of the synonym dictionary used in step S1105 in the flowchart of FIG. In this data configuration example, “synonyms”, “broad words”, “narrow words”, “antonyms”, and “related words” are stored in correspondence with “head words”. Therefore, for example, “flash” can be searched as a headword, and image data of “highly saturated color car” can be searched from synonyms such as “conspicuous”, “highly saturated”, and “shiny”. . It is also possible to reversely search for a headword whose synonym is “flashy”, find a broad word “flash” of “red”, and search for image data of “red car”.
類義語辞書に記憶された類語データでは定性的な特徴を表すが、例えば、それらを区分して、表記の揺れの場合の距離＝０、同義語との距離＝１、広義語との距離＝２、狭義語との距離＝３、反義語との距離＝４、関連語との距離＝５、・・・などと、類語間でも、その類似度や距離を数値で表して、より類似度の高い特徴量を用いて検索したり、より、定性的な特徴量を用いて検索できるようにしてもよい。あるいは、これら類語の意味の類似度は、同じ語句でも、文脈や分野により意味や用例も変動するため、文書やニュース記事などにおける実例での意味や用例の頻度などから、平均化した数値などを用いてもよい。 The synonym data stored in the synonym dictionary expresses qualitative characteristics. For example, the synonym data is classified, and for example, distance in the case of notation fluctuation = 0, distance with synonyms = 1, distance with broad words = 2 , Distance to narrow words = 3, distance to antonyms = 4, distance to related words = 5,... You may enable it to search using a feature-value, or to search using a more qualitative feature-value. Alternatively, the similarity of the meaning of these synonyms varies depending on the context and field, even for the same phrase, so the average value etc. can be calculated from the meaning of the actual example in the document or news article, the frequency of the example, etc. It may be used.
図２７は、図２３のフローチャートにおけるステップＳ１１０５で用いる心理辞書のデータ構成例を示す図である。このデータ構成例においては、「色」に対応して、「心理的な意味１（＋（プラス）イメージ）」と「心理的な意味２（−（マイナス）イメージ）」とが感情用語として記憶されている。したがって、例えば「赤」を見出し語として検索し、「情熱的」、「エネルギー」、「怒り」などの感情用語から、これらの語を含む画像データを検索することができる。 FIG. 27 is a diagram showing a data configuration example of the psychological dictionary used in step S1105 in the flowchart of FIG. In this data configuration example, “psychological meaning 1 (+ (plus) image)” and “psychological meaning 2 (− (minus) image)” are stored as emotional terms corresponding to “color”. Has been. Therefore, for example, “red” can be searched as a headword, and image data including these words can be searched from emotional terms such as “passionate”, “energy”, and “anger”.
なお、類語辞書や心理辞書のように類語や心理イメージ（感情用語）などの定性的な意味だけでなく、図２８および図２９に示すように「汚い−美しい」、「強い−弱い」、「快い−不快な」、「暖かい−冷たい」・・・など、対となる意味のどちらに近いかの程度を、色別に数値や空間座標などの定量的な指標で「色の意味プロファイル」や「色の意味空間マップ」として、プログラムメモリー２３に記憶しておき、その意味のプロファイルや組合せから、近い意味や心理イメージの代表色や配色などの特徴量の程度を具体的に指定して検索できるようにしてもよい。
Not only qualitative meanings such as synonyms and psychological images (emotion terms) as in the synonym dictionary and psychological dictionary, but also “dirty-beautiful”, “strong-weak”, “ The degree to which the paired meanings such as “pleasant-unpleasant”, “warm-cold”, etc. are close is expressed by a quantitative index such as a numerical value or spatial coordinate for each color, It is stored in the
また、本例では、理解し易いように色や色相の例で示したが、輪郭形状（円い、角張った、細長い、尖った、凸凹した、・・・など）やテクスチャーなど（緻密、荒い、柔らかい、ごわごわ、ザラザラ、・・・など）、その他の特徴量についても、同様に、選択肢として用意された特徴量だけでなく、任意の自由なキーワードで画像の特徴指定し検索することもできる。 Also, in this example, colors and hues are shown for easy understanding, but outline shapes (round, angular, elongated, pointed, uneven, etc.) and textures (dense and rough) , Soft, stiff, gritty, etc.), and other feature quantities can be similarly specified and searched for not only with feature quantities prepared as options but also with arbitrary free keywords. .
（その他の実施の形態）
図３０〜図３２は、本発明のその他の実施の形態を示す図であり、図３０は、外部サーバーに設けられた検索エンジンなどを利用して画像検索を行う例である。本例において撮像機能を備えたカメラ等の機器４００は、画像データおよび特徴記述データを記録する画像メモリー４０１を有するとともに、アプリケーション上で動作するカメラ制御プログラム４０２、ＰＣ転送プログラム４０３や、ファームウェア４０４およびＵＳＢ等４０５を有している。また、ＰＣ等の通信端末６００は、アプリケーション上で動作するＷＷＷブラウザ６０１、カメラ転送ソフト６０２や、ＯＳ（基本ソフト）６０３、ＵＳＢ等６０４、ＨＴＴＰ，ＦＴＰ６０５、ＴＣＰ／ＩＰ６０６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ６０７を有している。また、ウェブ上のサーバー装置７００は、サーバーソフト７０１、ＨＴＭＬ、ＸＭＬ文書部７０２、ＣＧＡプログラム７０３、７０４、検索ソフト７０５、ＭＰＥＧ７等記述言語デコーダ７０６、画像データＤＢ７０７、画像登録ソフト７０９およびＭＰＥＧ７等記述言語エンコーダ７１０を有しているとともに、ＨＴＴＰ，ＦＴＰ７１１、ＴＣＰ／ＩＰ７１２、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ７１３を有している。そして、機器４００と通信端末６００とは、ＵＳＢ等４０５、６０４を介して接続され、通信端末６００とサーバー装置７００は、インターネット５００を介して接続されている。
(Other embodiments)
30 to 32 are diagrams showing other embodiments of the present invention, and FIG. 30 is an example in which an image search is performed using a search engine or the like provided in an external server. In this example, a
したがって、機器４００から通信端末６００に送信された画像の登録要求や、検索要求ＵＲＬ、画像要求ＵＲＬを通信端末６００からサーバー装置７００に送り、これ応じてサーバー装置７００側から送られてくる登録結果ＨＴＭＬ、ＸＭＬ文書、検索結果ＨＴＭＬ、ＸＭＬ文書、画像ＨＴＭＬ、ＸＭＬ文書を通信端末６００側で受信することができる。
Therefore, an image registration request, a search request URL, and an image request URL transmitted from the
図３１は、カメラ等の機器内に検索ソフトなどを設けた例である。本例において撮像機能を備えたカメラ等の機器４００は、複数の画像データ４５１、各画像データ４５１のメタデータ４５２、検索ソフト４５３、画像データのデコーダ４５４、ＭＰＥＧ７等記述言語デコーダ４５５、ＰＣ転送ソフト４５６、およびＵＳＢ等４５７を有している。また、ＰＣ等の通信端末６００は、カメラ転送ソフト６５１、ブラウザ６５２、ＯＳ（基本ソフト）６５３、ＵＳＢ等６５４、ＨＴＴＰ，ＦＴＰ６５５、ＴＣＰ／ＩＰ６５６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ６５７を有している。また、ウェブ上のサーバー装置７００は、サーバーソフト７５１、インデックスデータ７５２、ＭＰＥＧ７等記述データＤＢ７５３、画像データＤＢ７５４を有しているとともに、ＨＴＴＰ，ＦＴＰ７５５、ＴＣＰ／ＩＰ７５６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ７５７を有している。そして、機器４００と通信端末６００とは、ＵＳＢ等４５７、６５４を介して接続され、通信端末６００とサーバー装置７００は、インターネット５００を介して接続されている。
FIG. 31 shows an example in which search software or the like is provided in a device such as a camera. In this example, a
したがって、機器４００から通信端末６００を介して、サーバー装置７００に画像データおよび特徴記述データをアップロードして登録することができる。また、所望の特徴記述データまたはキーワードをサーバー装置７００に送信し、サーバー装置７００が該当する画像データを検索して検索結果を送信し、この送信結果を受信して表示することができる。
Therefore, it is possible to upload and register image data and feature description data from the
図３２は、ＨＤＤ内蔵のデジタルカメラ８００の外観構成を示す斜視図である。このデジタルカメラ８００のボディ８０１には、その背面部部にスピーカ８０２が設けられているとともに、開閉自在な蓋８０３が設けられている。この蓋８０３の外面部には、ズームスイッチ８０４、撮影スイッチ８０５、カーソル／再生操作スイッチ８０６、電源／モード切替スイッチ８０３が設けられている。また、ボディ８０１の側面部には、ファインダー兼画像モニター表示部８０８が開閉自在に設けられており、ボディ８０１の蓋８０３で覆われる部位には、ハードディスク（ＨＤＤ）媒体８０９とメモリー媒体８１０とを収納するメモリー媒体収容部８１１が設けられている。
FIG. 32 is a perspective view showing an external configuration of a
このように、本発明はこの実施の形態に示した外観構成のデジタルカメラ８００に限らず、前記実施の形態に示した外観構成のデジタルカメラ等、如何なる外観構成のデジタルカメラであっても適用することができる。また、実施の形態においては、本発明をデジタルカメラに適用するようにしたが、カメラに限らず撮像機能を備えた携帯電話等の各種機器、あるいは撮像機能を備えていないが画像記録機能を備えた画像記録装置にも本発明を適用することができる。
As described above, the present invention is not limited to the
１ デジタルカメラ
２ 本体
１４ 表示部
２０ 電子撮像センサ
２２ 制御回路
２３ プログラムメモリー
２４ データメモリー
２５ 撮影制御部
２６ 映像信号処理部
２７ 画像メモリー
２８ 表示制御部
３０ 伸張復号部
３１ 画像＆音声メモリー媒体
３１ａ 画像／音声データ
３１ｂ 特徴記述データ
３２ 画像モニター
３５ 操作入力部
３６ 入力回路
３７ 外部入出力端子
３８ 外部入出力インタフェース
４６ ＨＤＤ記憶装置
５６ 特徴抽出／認識用データメモリー
５７ 特徴抽出／認識処理部
７０ 外部機器
７１ インターネット
７２ サーバー装置
７３ 画像データベース
２４６ テンプレートデータ
２４６ａ 種類
２４６ｂ 特徴データ
２４６ｃ 輪郭図形
２４６ｄ テクスチャー
３００ サンプル画像
DESCRIPTION OF
Claims (10)
この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、
前記画像を送信する相手先に応じて自動的に前記特徴抽出手段を動作させ、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段と
を備えることを特徴とする撮像装置。 An imaging means for capturing an image;
Feature extraction means for extracting the features from the image captured by the imaging means;
An image pickup apparatus comprising: a feature acquisition unit configured to automatically operate the feature extraction unit according to a destination to which the image is transmitted, and extract and acquire a feature of the image captured by the imaging unit. .
前記特徴取得手段は、前記画像を送信する相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、
この選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得することを特徴とする請求項１記載の撮像装置。 The feature extraction means includes a plurality of types of feature extraction means,
The feature acquisition means includes a selection means for selecting one of the feature extraction means according to a destination to which the image is transmitted,
2. The imaging apparatus according to claim 1, wherein the feature extraction unit selected by the selection unit is used to extract and acquire a feature of an image captured by the imaging unit.
前記選択手段は、前記画像を送信する相手先に応じて、前記特徴手段とともにいずれかの記述手段を選択し、
前記特徴取得手段は、前記選択手段により選択された記述手段を用いて前記抽出した画像の特徴を記述することを特徴とする請求項２記載の撮像装置。 A plurality of types of description means for describing the features extracted by the feature extraction means;
The selecting means selects any description means together with the characteristic means according to a destination to which the image is transmitted,
The imaging apparatus according to claim 2, wherein the feature acquisition unit describes a feature of the extracted image using a description unit selected by the selection unit.
この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、
この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、
前記撮像手段により撮像された前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、
この設定手段の設定に従って自動的に前記特徴抽出手段及び送信手段を制御する制御手段と
を備えることを特徴とする撮像装置。 An imaging means for capturing an image;
Feature extraction means for extracting the features from the image captured by the imaging means;
Transmission means for adding the feature extracted by the feature extraction means to the image and transmitting the image;
A setting unit that sets whether to add the feature extracted by the feature extracting unit to the image captured by the imaging unit and to transmit the image according to a transmission destination;
An imaging apparatus comprising: control means for automatically controlling the feature extraction means and the transmission means in accordance with the setting of the setting means.
前記制御手段は、前記送信相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、
前記送信手段は、 前記選択手段により選択された特徴抽出手段により抽出された特徴を前記画像に付加して送信することを特徴とする請求項５記載の撮像装置。 The feature extraction means includes a plurality of types of feature extraction means,
The control means includes a selection means for selecting any of the feature extraction means according to the transmission destination,
The imaging apparatus according to claim 5, wherein the transmission unit adds the feature extracted by the feature extraction unit selected by the selection unit to the image and transmits the image.
この記録手段に記録される画像からその特徴を抽出する特徴抽出手段と、
前記画像を送信する相手先に応じて自動的に前記特徴抽出手段を制御し、前記記録手段に記録される画像の特徴を抽出して取得する特徴取得手段と
を備えることを特徴とする画像記録装置。 Recording means for recording an image;
A feature extraction means you extract the features from the images recorded in the recording means,
Automatically controlling the feature extraction means according to the destination of transmitting the image, the feature obtaining means for obtaining extracts features of an image to be recorded in the recording means
Image SL RokuSo location, characterized in that it comprises a.
前記撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、
前記画像を送信する相手先に応じて自動的に前記特徴抽出手段を制御し、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段と
して機能させることを特徴とする撮像制御プログラム。 A computer included in an imaging apparatus including an imaging unit that captures an image,
Feature extraction means for extracting the feature from the image captured by the imaging means;
A feature acquisition unit that automatically controls the feature extraction unit according to a destination to which the image is transmitted, and extracts and acquires a feature of the image captured by the imaging unit;
An imaging control program characterized by being made to function .
この記録手段に記録される画像からその特徴を抽出する特徴抽出手段と、
この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、
前記記録手段に記録される前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、
この設定手段の設定に従って自動的に前記特徴抽出手段及び送信手段を制御する制御手段と
を備えることを特徴とする画像記録装置。 Recording means for recording an image;
Feature extraction means for extracting the features from the image recorded in the recording means;
Transmission means for adding the feature extracted by the feature extraction means to the image and transmitting the image;
A setting unit that sets whether to add the feature extracted by the feature extraction unit to the image recorded in the recording unit, and to set for each transmission destination;
Control means for automatically controlling the feature extraction means and transmission means in accordance with the setting of the setting means;
Image recording apparatus comprising: a.
前記撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、
この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、
前記撮像手段により撮像された前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、
この設定手段の設定に従って自動的に前記特徴抽出手段及び送信手段を制御する制御手段と
して機能させることを特徴とする撮像制御プログラム。 A computer included in an imaging apparatus including an imaging unit that captures an image,
Feature extraction means for extracting the feature from the image captured by the imaging means;
Transmission means for adding the feature extracted by the feature extraction means to the image and transmitting the image;
A setting unit that sets whether to add the feature extracted by the feature extracting unit to the image captured by the imaging unit and to transmit the image according to a transmission destination;
Control means for automatically controlling the feature extraction means and transmission means in accordance with the setting of the setting means;
An imaging control program characterized by being made to function .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005279020A JP4706415B2 (en) | 2005-09-27 | 2005-09-27 | Imaging apparatus, image recording apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005279020A JP4706415B2 (en) | 2005-09-27 | 2005-09-27 | Imaging apparatus, image recording apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007096379A JP2007096379A (en) | 2007-04-12 |
| JP4706415B2 true JP4706415B2 (en) | 2011-06-22 |
Family
ID=37981597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005279020A Active JP4706415B2 (en) | 2005-09-27 | 2005-09-27 | Imaging apparatus, image recording apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4706415B2 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4863088B2 (en) * | 2007-07-03 | 2012-01-25 | 大日本印刷株式会社 | A program that reads information embedded in figures |
| JP5455361B2 (en) * | 2008-12-22 | 2014-03-26 | 富士フイルム株式会社 | Auto focus system |
| CN102884523B (en) * | 2010-04-28 | 2016-08-24 | 乐天株式会社 | Information provider unit, information providing method, information provide processing routine and the information that have recorded to provide the record medium of processing routine |
| JP5437925B2 (en) * | 2010-06-15 | 2014-03-12 | 本田技研工業株式会社 | Shape data search system and shape data search method |
| JP5693162B2 (en) * | 2010-11-09 | 2015-04-01 | キヤノン株式会社 | Image processing system, imaging apparatus, image processing apparatus, control method therefor, and program |
| JP6020439B2 (en) * | 2011-03-04 | 2016-11-02 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and image processing program |
| JP5845612B2 (en) * | 2011-04-13 | 2016-01-20 | 株式会社ニコン | Electronic device and selection method |
| JP2012203657A (en) * | 2011-03-25 | 2012-10-22 | Nikon Corp | Electronic device and acquisition method |
| WO2012133028A1 (en) * | 2011-03-25 | 2012-10-04 | 株式会社ニコン | Electronic apparatus, selection method, acquisition method, electronic device, combination method and combination program |
| JP2012221033A (en) * | 2011-04-05 | 2012-11-12 | Nikon Corp | Electronic instrument and selection method |
| JP5662890B2 (en) * | 2011-07-12 | 2015-02-04 | 一般財団法人電力中央研究所 | Image processing method, image processing apparatus, image processing program, and radiation dose estimation method by image processing |
| WO2013089051A1 (en) * | 2011-12-14 | 2013-06-20 | シャープ株式会社 | Image processing device, image processing method, image processing program, and recording medium storing image processing program |
| JP5516693B2 (en) * | 2012-10-29 | 2014-06-11 | 富士通モバイルコミュニケーションズ株式会社 | Portable information device and information processing program |
| JP2016031713A (en) | 2014-07-30 | 2016-03-07 | オリンパス株式会社 | Feature image display device |
| JP6308161B2 (en) | 2015-03-31 | 2018-04-11 | 株式会社エクォス・リサーチ | Pulse wave detection device and pulse wave detection program |
| EP3278721B1 (en) * | 2015-03-31 | 2020-11-04 | Equos Research Co., Ltd. | Pulse wave detection device and pulse wave detection program |
| KR20210055849A (en) | 2019-11-07 | 2021-05-18 | 삼성전자주식회사 | Electronic device and method for controlling the same |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09138804A (en) * | 1995-11-14 | 1997-05-27 | Masao Sakauchi | Picture retrieving device |
| JPH11238078A (en) * | 1998-02-24 | 1999-08-31 | Minolta Co Ltd | Image retrieval device and method and medium recording image retrieval program |
| JP2000083146A (en) * | 1998-09-07 | 2000-03-21 | Fuji Photo Film Co Ltd | Image processing system and image processing method |
| JP2000123047A (en) * | 1998-10-19 | 2000-04-28 | Nec Corp | Method and device for allocating keyword to media object |
| JP2003052032A (en) * | 2001-08-07 | 2003-02-21 | Sony Corp | Information distributing system, information distributing method, information supplying device, and information supplying method |
| JP2003076695A (en) * | 2001-09-05 | 2003-03-14 | Canon Inc | Image retrieval device, and method and program therefor |
| JP2003132090A (en) * | 2001-10-26 | 2003-05-09 | Olympus Optical Co Ltd | Similar data retrieval device and method therefor |
| JP2003204275A (en) * | 2001-10-31 | 2003-07-18 | Victor Co Of Japan Ltd | Meta data reception method |
| JP2004023656A (en) * | 2002-06-19 | 2004-01-22 | Canon Inc | Image processing device, image processing method, and program |
| JP2004186723A (en) * | 2002-11-29 | 2004-07-02 | Sony Corp | Video signal processing apparatus, processing method therefor, video signal recording apparatus, processing method therefor, video signal reproducing apparatus, reproducing apparatus therefor, program, and recording medium |
| JP2004312281A (en) * | 2003-04-04 | 2004-11-04 | Sony Corp | Video image editing apparatus and processing method thereof |
-
2005
- 2005-09-27 JP JP2005279020A patent/JP4706415B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09138804A (en) * | 1995-11-14 | 1997-05-27 | Masao Sakauchi | Picture retrieving device |
| JPH11238078A (en) * | 1998-02-24 | 1999-08-31 | Minolta Co Ltd | Image retrieval device and method and medium recording image retrieval program |
| JP2000083146A (en) * | 1998-09-07 | 2000-03-21 | Fuji Photo Film Co Ltd | Image processing system and image processing method |
| JP2000123047A (en) * | 1998-10-19 | 2000-04-28 | Nec Corp | Method and device for allocating keyword to media object |
| JP2003052032A (en) * | 2001-08-07 | 2003-02-21 | Sony Corp | Information distributing system, information distributing method, information supplying device, and information supplying method |
| JP2003076695A (en) * | 2001-09-05 | 2003-03-14 | Canon Inc | Image retrieval device, and method and program therefor |
| JP2003132090A (en) * | 2001-10-26 | 2003-05-09 | Olympus Optical Co Ltd | Similar data retrieval device and method therefor |
| JP2003204275A (en) * | 2001-10-31 | 2003-07-18 | Victor Co Of Japan Ltd | Meta data reception method |
| JP2004023656A (en) * | 2002-06-19 | 2004-01-22 | Canon Inc | Image processing device, image processing method, and program |
| JP2004186723A (en) * | 2002-11-29 | 2004-07-02 | Sony Corp | Video signal processing apparatus, processing method therefor, video signal recording apparatus, processing method therefor, video signal reproducing apparatus, reproducing apparatus therefor, program, and recording medium |
| JP2004312281A (en) * | 2003-04-04 | 2004-11-04 | Sony Corp | Video image editing apparatus and processing method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007096379A (en) | 2007-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4706415B2 (en) | Imaging apparatus, image recording apparatus, and program | |
| JP2007088814A (en) | Imaging apparatus, image recorder and imaging control program | |
| CN103620682B (en) | Digital video camcorder system and the method forming video frequency abstract | |
| CN103535023B (en) | Video frequency abstract including particular person | |
| JP5261724B2 (en) | Representative image selection by hierarchical clustering | |
| TWI253860B (en) | Method for generating a slide show of an image | |
| TWI375917B (en) | Image processing apparatus, imaging apparatus, image processing method, and computer program | |
| CN101340520B (en) | Image data management apparatus and method | |
| JP3108585B2 (en) | Video image print access method and system | |
| JP2008011316A (en) | Camera-apparatus and camera apparatus control program | |
| KR101345284B1 (en) | Method and apparatus for encoding/playing multimedia contents | |
| EP2573758B1 (en) | Method and apparatus for displaying summary video | |
| US20130222645A1 (en) | Multi frame image processing apparatus | |
| WO2006112652A1 (en) | Method and system for albuming multimedia using albuming hints | |
| JP2008017224A (en) | Imaging apparatus, output control method of imaging apparatus, and program | |
| KR101812103B1 (en) | Method and program for setting thumbnail image | |
| JP2011160044A (en) | Imaging device | |
| WO2017215194A1 (en) | Image processing method and device and storage medium thereof | |
| KR101909126B1 (en) | Method and apparatus for displaying a summary video | |
| JP5375846B2 (en) | Imaging apparatus, automatic focus adjustment method, and program | |
| US9767587B2 (en) | Image extracting apparatus, image extracting method and computer readable recording medium for recording program for extracting images based on reference image and time-related information | |
| JPH08331495A (en) | Electronic album system with photographing function | |
| JP5808056B2 (en) | Imaging apparatus, imaging control program, image reproduction apparatus, and image reproduction control program | |
| JP2007226606A (en) | Imaging apparatus, image output method, reproduction apparatus, program, and storage medium | |
| JP4867428B2 (en) | Imaging apparatus, imaging method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4706415 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |