JP2011040860A - Image processor and image processing program - Google Patents
Image processor and image processing program Download PDFInfo
- Publication number
- JP2011040860A JP2011040860A JP2009184300A JP2009184300A JP2011040860A JP 2011040860 A JP2011040860 A JP 2011040860A JP 2009184300 A JP2009184300 A JP 2009184300A JP 2009184300 A JP2009184300 A JP 2009184300A JP 2011040860 A JP2011040860 A JP 2011040860A
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- event
- evaluation
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、画像処理装置及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.
近年のデジタルカメラには、静止画像の単写機能だけでなく、連写機能や動画の撮影機能を備えたものがある。このデジタルカメラで撮影された静止画や動画には、同じような撮影シーンが複数含まれる場合がある。例えば、同一の撮影場所から回転木馬に乗った人物を周回するたびに連写したり、人物が振り向くシーンを何度も撮影したりすることがあると、同様な撮影シーンが複数回記録されることになる。このような場合に、撮影者は、撮影後すぐに、又は後日、記録された同様の撮影シーンの連写画像データ群や動画データの中から、良く撮れた連写群や動画を選び出して記録に残し、それ以外のものを削除するといった作業を行うことになる。このような作業は煩わしいものであり、客観的な評価判定によって自動的に選択されるような機能が望まれている。 Some recent digital cameras have not only a still image single shooting function but also a continuous shooting function and a moving image shooting function. A still image or a moving image shot with this digital camera may include a plurality of similar shooting scenes. For example, if you take a series of shots every time you circulate a person on a carousel from the same shooting location, or if you shoot a scene in which a person turns, the same shooting scene will be recorded multiple times. become. In such a case, the photographer selects and records a well-recorded continuous shooting group or movie from the continuous shooting image data group or movie data of the same shooting scene recorded immediately after shooting or at a later date. It is necessary to delete the other items. Such work is troublesome, and a function that is automatically selected by objective evaluation and determination is desired.
動画像データから動画像の内容の区切り（例えば、撮像された製造工程の区切り）に対応する区切り位置を特定するための動画像データ処理装置が知られている（例えば、特許文献１参照）。この動画像データ処理装置は、動画像データから時系列データである複数種類の特徴量情報を抽出し、その中から特徴量変化の大きさに基づいて特定の特徴量情報を選択する。そして、その選択した特徴量情報における特徴量変化の最も大きな時系列位置を区切り位置として特定するものである。この動画像データ処理装置は、撮像された動画像に基づいて製造工程を判別する生産管理装置、動画像データのチャプタ分類やインデックス情報の生成等を行う動画像編集装置等に用いられることが知られている。 2. Description of the Related Art A moving image data processing apparatus is known for specifying a break position corresponding to a break of moving image content (for example, a taken production process break) from moving image data (see, for example, Patent Document 1). The moving image data processing device extracts a plurality of types of feature amount information that is time-series data from the moving image data, and selects specific feature amount information based on the magnitude of the feature amount change. Then, the time series position having the largest feature amount change in the selected feature amount information is specified as the delimiter position. This moving image data processing apparatus is known to be used in a production management apparatus that discriminates a manufacturing process based on a captured moving image, a moving image editing apparatus that performs chapter classification of moving image data, generation of index information, and the like. It has been.
上記の従来技術を用いることにより、連写画像データ群や動画データの中から、特徴量変化の大きな時系列位置に対応するフレーム画像を検出することができる。従来は、類似する撮影シーンが含まれる連写画像データ群や画像データの中から、特定の特徴量が大きく変化する時系列位置をイベント発生位置として捉え、そのイベント発生位置に対応するフレーム画像を検出して、相互に類似する撮影シーンにおける主要な画像と推定するようにしていた。 By using the above-described conventional technology, it is possible to detect a frame image corresponding to a time-series position having a large feature amount change from a continuous shot image data group or moving image data. Conventionally, a time-series position at which a specific feature amount greatly changes is regarded as an event occurrence position from continuous image data groups and image data including similar shooting scenes, and a frame image corresponding to the event occurrence position is captured. It was detected and estimated as a main image in a shooting scene similar to each other.
上記従来技術によれば、類似する撮影シーンが含まれる連写画像データ群又は動画データの中から、相互に類似する撮影シーンにおける主要なフレーム画像を検出することはできる。そして、その検出されたフレーム画像を含む時系列な連写画像データ群又は動画データを選択することにより、類似性が高いと推定される連写画像データ群又は動画データを抽出することは可能である。 According to the above-described prior art, it is possible to detect main frame images in mutually similar shooting scenes from a continuous shot image data group or moving image data including similar shooting scenes. Then, by selecting a time-series continuous-shot image data group or moving image data including the detected frame image, it is possible to extract a continuous-shot image data group or moving image data that is estimated to have high similarity. is there.
しかしながら、このようにして抽出された連写画像データ群又は動画データのうち、どの連写画像データ群又は動画データが最も好ましい撮影がされたものであるかの判定を行うことはできず、撮影シーンの好ましさの判定は人間の主観的判断に委ねられている。 However, it is not possible to determine which continuous-shot image data group or moving image data is the most preferable shot from among the continuous-shot image data group or moving image data extracted in this way. The determination of the preference of a scene is left to human subjective judgment.
そこで本発明は、上記事情に鑑みてなされたものであり、連写画像データ群や動画像データについて、類似のシーンを検出し客観的な評価基準によって所望のシーンを選択することのできる画像処理装置及び画像処理プログラムを提供することを目的とする。 Therefore, the present invention has been made in view of the above circumstances, and image processing that can detect a similar scene and select a desired scene based on an objective evaluation criterion for continuous shot image data groups and moving image data. An object is to provide an apparatus and an image processing program.
本発明は、上記の課題を解決するためになされたものであり、連写画像データ群又は動画像データの各フレーム画像から特徴量を検出する特徴量検出手段と、時刻変化に伴う前記特徴量の変化に基づいてイベントを検出するイベント検出手段と、検出されたイベントに対応するフレーム画像であるイベント検出フレーム画像とそれに時系列的に続く所定時間分のフレーム画像群とについて、所定の評価指標に基づいた評価値を算出する評価手段と、前記評価値に基づいて、イベント検出フレーム画像を含むフレーム画像群によるシーンを選択する選択手段とを備えたことを特徴とする。 The present invention has been made in order to solve the above-described problem, and includes feature amount detection means for detecting a feature amount from each frame image of a continuous shot image data group or moving image data, and the feature amount accompanying a time change. A predetermined evaluation index for event detection means for detecting an event based on the change of the event, an event detection frame image that is a frame image corresponding to the detected event, and a frame image group for a predetermined time following the time series Evaluation means for calculating an evaluation value based on the above and a selection means for selecting a scene based on a group of frame images including an event detection frame image based on the evaluation value.
本発明によれば、顕著性のあるイベント検出フレーム画像を検出することにより、このイベント検出フレーム画像を基準としたフレーム画像群が類似したシーンであると推定できる。そして、類似したシーンであると推定したものの中から、客観的な評価基準にしたがったシーンを選択することができる。 According to the present invention, by detecting a significant event detection frame image, it can be estimated that a frame image group based on the event detection frame image is a similar scene. Then, a scene according to an objective evaluation criterion can be selected from those estimated to be similar scenes.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
［第１の実施の形態］
本発明の第１実施形態である画像処理装置を撮像装置に適用した例について説明する。この撮像装置は、例えばデジタルカメラ装置であり、１回の撮影操作（撮影ボタン押し）で１つの静止画を撮影する単写撮影機能の他に、連写撮影機能、動画撮影機能、及びシーン選択機能を有するものである。連写撮影機能は、１回の撮影操作につき時系列的に複数の静止画を撮影する機能である。動画撮影機能は、動画を撮影する機能である。シーン選択機能は、連写撮影による連写画像データ群又は動画撮影による動画データから、類似するシーンを検出して評価を行い、それらの中から所定の評価基準を満たしたシーンを選択する機能である。シーンとは、任意の時間分の連写画像データ群又は動画データである。
[First Embodiment]
An example in which the image processing apparatus according to the first embodiment of the present invention is applied to an imaging apparatus will be described. This imaging device is, for example, a digital camera device. In addition to a single shooting function for shooting one still image by one shooting operation (pressing a shooting button), a continuous shooting function, a moving image shooting function, and a scene selection function It has a function. The continuous shooting function is a function for shooting a plurality of still images in time series for one shooting operation. The moving image shooting function is a function for shooting a moving image. The scene selection function is a function that detects and evaluates similar scenes from a group of continuous-shot image data obtained by continuous shooting or from moving image data obtained by moving-image shooting, and selects a scene that satisfies a predetermined evaluation criterion from these. is there. A scene is a group of continuous shot image data or moving image data for an arbitrary time.
本実施形態では、このシーン選択機能について主に説明する。本実施形態による撮像装置は、撮影して記録された１つ又は複数の動画像データについて、隣り合うフレーム画像間の特徴量の差分値を計算して特徴の変化点であるイベントを検出する。そして、検索の結果、複数のイベントが検出された場合に、イベントの検出されたフレーム画像を、それぞれ類似するシーンにおける顕著性のある画像であると推定する。そして、撮像装置は、イベントの検出された各フレーム画像とそれに時系列的に続くフレーム画像とについて所定の評価指標による画像の遷移の評価を行い、類似するシーンの中で最も評価の高いシーンを選択する。このシーン選択機能により、本実施形態による撮像装置は、記録されている動画像データに同じようなシーンが含まれている場合に、客観的な評価基準に基づいてシーンを順位付けすることができ、所望の順位のシーンを抽出することができる。以下、このような特徴を有する撮像装置について具体的に説明する。 In this embodiment, this scene selection function will be mainly described. The imaging apparatus according to the present embodiment detects an event that is a feature change point by calculating a difference value of a feature amount between adjacent frame images with respect to one or a plurality of moving image data captured and recorded. If a plurality of events are detected as a result of the search, it is estimated that the frame images from which the events are detected are prominent images in similar scenes. Then, the imaging apparatus evaluates the transition of the image with a predetermined evaluation index for each frame image in which the event is detected and the frame image that continues in time series, and the most highly evaluated scene among similar scenes is evaluated. select. With this scene selection function, the imaging apparatus according to the present embodiment can rank scenes based on objective evaluation criteria when similar scenes are included in the recorded moving image data. , A scene having a desired order can be extracted. Hereinafter, an imaging apparatus having such characteristics will be described in detail.
図１は、本実施形態である画像処理装置を適用した撮像装置のブロック図である。同図において、撮像装置１は、光学系１１と、撮像部１２と、操作部１３と、制御部１４と、記憶部１５と、表示部１６と、入出力インターフェイス１７と、記録媒体１９とを含んで構成される。この撮像装置１において、撮像部１２と、制御部１４と、記憶部１５と、表示部１６と、入出力インターフェイス１７とは、当該装置内部のバス１８を介してそれぞれ接続されている。撮像装置１は、例えばデジタルカメラで構成される。
FIG. 1 is a block diagram of an imaging apparatus to which the image processing apparatus according to this embodiment is applied. In FIG. 1, an
光学系１１は、レンズ群と絞り及び焦点距離の調節機構とを含んで構成される。光学系１１は、撮像装置１の本体と着脱可能に取り付けられるようになっていてもよい。撮像部１２は、光学系１１を通して入光させた光束を受光面に結像させて撮像し撮像画像データを生成する。操作部１３は、不図示ではあるが、電源ボタン、撮影ボタン、ズームボタン、撮影動作させるための撮影モードと記録媒体１９に記録された静止画像データ、連写画像データ群、又は動画像データを読み出させて表示部１６に表示させるための再生モードとを切換えるためのモード切換ボタン、撮像装置１の各種設定を行わせるための設定モードに移行して表示部１６に操作メニューを表示させるためのメニューボタン、表示部１６に表示された操作メニューを操作させるための選択ボタン、及びこの選択ボタンの操作によって操作メニュー上で選択されている項目を決定するための決定ボタンを備える。
The
制御部１４は、撮像装置１全体を制御するための処理部であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。制御部１４は、その機能構成として、シーン選択処理部２０と画像圧縮伸長部２１とを備える。シーン選択処理部２０については、図２を参照する際に説明する。画像圧縮伸長部２１は、撮像部１２で生成された撮像画像データを圧縮処理し、単写撮影機能の場合は圧縮静止画像データ、連写撮影機能の場合は圧縮連写画像データ群、動画撮影機能の場合は圧縮動画像データを生成する。また、画像圧縮伸長部２１は、記録媒体１９から読み出された圧縮静止画像データ、圧縮連写画像データ群、又は圧縮動画像データを伸長処理して、伸長静止画像データ、伸長連写画像データ群、又は伸長動画像データを生成する。
The
記憶部１５は、制御部１４に実行させるための各種制御用プログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、これら制御用プログラムを作業領域に展開したり、画像データ、操作メニュー、変数等を記憶したりするためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備える。表示部１６は、撮影モード時には撮像状態にある撮像画像データを表示し、再生モード時には伸長静止画像データ、伸長連写画像データ群、又は伸長動画像データを表示し、設定モード時には操作メニュー等を表示するための表示装置である。表示装置１６は、液晶表示パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルを備えたモニタで構成される。入出力インターフェイス１７は、記録媒体１９を着脱可能に接続するためのコネクタを備えたインターフェイス部である。記録媒体１９は、入出力インターフェイス１７のコネクタに取り付けられる可搬型記録媒体である。この記録媒体１９は、例えばメモリカードである。
The
次に、シーン選択処理部２０について説明する。図２は、制御部１４に機能的に含まれるシーン選択処理部２０の構成とその周辺部分の構成とを示したブロック図である。同図において、シーン選択処理部２０は、特徴量検出部２２と、イベント検出部２３と、トランジション評価部２４と、選択部２５と、特徴量パラメータ設定部２６と、評価パラメータ設定部２７とを含んで構成される。
Next, the scene
特徴量検出部２２には、記録媒体１９から所望の圧縮連写画像データ群又は圧縮動画像データが読み出されて画像圧縮伸長部２１で伸長処理されることにより得られた伸長連写画像データ群又は伸長動画像データがフレーム画像単位で入力される。特徴量検出部２２は、フレーム画像が入力されると所定の特徴量を検出する。この特徴量とは、例えば、フレーム画像における色、明度、色相、コントラスト等の視覚的特徴や、テクスチャ、人物の顔等のオブジェクトの有無、オブジェクトの位置等の画像の特徴を数値化したものである。
The feature
特徴量パラメータ設定部２６は、特徴量検出部２２で検出すべき特徴の種類を１つ又は複数設定したり、特徴量の検出の優先順位を設定したりする。イベント検出部２３は、時刻の異なるフレーム画像間の同種類の特徴量の変化をとらえ、その変化が所定の基準を満たした場合に、特徴の変化点であるイベントを検出する。イベント検出については、後述する動作説明において具体例を挙げて説明する。
The feature quantity
トランジション評価部２４は、イベント検出部２３でイベントの検出されたフレーム画像とそれに時系列的に続くフレーム画像とについて、所定の評価指標による画像の遷移の評価であるトランジション評価を行う。評価指標とは、例えば、フレーム画像内で画像認識されたオブジェクトの、時間経過に伴う任意の評価対象の状態変化を評価する際に参照される指標等である。つまり、評価指標により行うトランジション評価とは、イベント検出時を基準として評価指標によるフレーム画像の変化の傾向を評価することである。評価指標については、後述する動作説明において具体例を挙げて説明する。
The
評価パラメータ設定部２７は、トランジション評価部２４で評価する１種類又は複数種類の評価指標を設定したり、複数種類ある評価指標による評価の優先順位を設定したりする。
The evaluation
選択部２５は、トランジション評価部２４において評価されたイベントごとの評価値の中で、最も高い評価となった評価値に対応するイベントの検出されたフレーム画像を指定し、そのフレーム画像を含むシーンの開始位置及び終了位置の情報（シーンの位置情報）を出力する。なお、選択部２５は、イベント検出部２３で検出されたイベントが１つであった場合は、そのイベントの検出されたフレーム画像を指定し、そのフレーム画像を含むシーンの位置情報を出力する。
The
次に、撮像装置１のシーン選択機能における動作について説明する。本実施形態では、動画撮影機能に設定された撮像装置１によって、撮影者側に背を向けた人物が撮影者側に振り向くシーン（振向きシーン）が３回撮影され、振向きシーンをそれぞれ含む３つの圧縮動画像データがデータファイル化されて記録媒体１９に予め記録されているものとする。本実施形態では、シーン選択機能に設定された撮像装置１が、３つの圧縮動画像データの中から３つの振向きシーンを検出し、各シーンを評価指標により評価して最も評価の高いシーンを選択する例について説明する。
Next, the operation in the scene selection function of the
本実施形態において、特徴量パラメータ設定部２６には、特徴量検出部２２で検出すべき特徴の種類は人物の顔検出であること、特徴量は顔が検出されたか否かの判定値（顔検出値）であることが予め設定されている。また、評価パラメータ設定部２７には、トランジション評価部２４で評価する評価指標が、正面向き度合い、画像中心からの目の中心位置度合い、目つぶり検出値、笑顔度合いであることが予め設定されている。さらに、評価パラメータ設定部２７には、評価指標ごとに重み付けが設定されている。例えば、優先度の高い方から低い方への順番と、重み付けの大きい方から小さい方への順番とを合わせるようにする。具体的には、優先度の降順が、目つぶり検出値、笑顔度合い、正面向き度合い、画像中心からの目の中心位置度合いである場合に、重み付けの降順が同一順となるように設定する。
In the present embodiment, the feature quantity
図３は、撮像装置１におけるシーン選択機能の処理を示すフローチャートである。ステップＳ３０１において、制御部１４は、撮像装置１の操作者による操作部１３の操作にしたがって、記録媒体１９に記録された３つの圧縮動画像データのデータファイルを選択する。操作者によるデータファイルの選択は、例えば、操作メニューの操作によって行うことができる。つまり、操作者による操作部１３のメニューボタンの押下によって、制御部１４は操作メニューを表示部１６に表示させる。この操作メニューは例えば階層メニュー構造になっている。そして、いずれかの下位階層にファイル選択メニューが形成され、そこに記録媒体１９に記録されたデータファイルのファイル名が示されるようになっている。操作者の操作部１３の選択ボタンの操作にしたがって、制御部１４は、ファイル選択メニューを表示部１６に表示させる。そして、操作者に所望のデータファイルを選択させる。
FIG. 3 is a flowchart showing processing of the scene selection function in the
次に、ステップＳ３０２において、シーン選択処理部２０は、選択された３つのデータファイルをそれぞれ解析して、類似するシーンを客観的な評価基準に基づいて順位付けし、最も順位の高い１つのシーンを選択してそのシーンの位置情報を取得する。この処理ステップについては、後で詳細に説明する。次に、ステップＳ３０３において、制御部１４は、ステップＳ３０２の処理において取得したシーンの位置情報に基づいて記録媒体１９に記録されたデータファイルから当該シーンに該当する動画像データを抽出する。そして次に、ステップＳ３０４において、制御部１４は、抽出した動画像データを記録媒体１９に記録する。このとき、制御部１４は、３つの類似するシーンのうち選択されなかった２つのシーンに該当する動画像データ、又はこれらが含まれるデータファイルを削除してもよい。
Next, in step S302, the scene
次に、上記のステップＳ３０２の処理の詳細を説明する。図４は、シーン選択処理部２０の実行するイベント検出処理のフローチャートである。ステップＳ４０１において、制御部１４は、ステップＳ３０１の処理において選択した３つのデータファイルについて、操作者によって選択された順番で圧縮動画像データを記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行い、データ伸長されたフレーム画像を特徴量検出部２２に入力する。このステップＳ４０１の処理においてフレーム画像の入力がなくなった場合（Ｓ４０１：ＮＯ）は、このフローチャートの処理を終了する。
Next, details of the processing in step S302 will be described. FIG. 4 is a flowchart of the event detection process executed by the scene
一方、ステップＳ４０１の処理においてフレーム画像の入力があった場合（Ｓ４０１：ＹＥＳ）、ステップＳ４０２において、特徴量検出部２２は、特徴量パラメータ設定部２６に設定された、特徴の種類（人物の顔検出）と特徴量（顔検出値）とに基づいて特徴量の検出処理を行う。オブジェクトである人物の顔は、例えば、フレーム画像中に人物の目の有無を認識する画像認識処理を行うことによって検出する。特徴量である顔検出値は、人物の顔の有無を示す２値で表現される。
On the other hand, when a frame image is input in the process of step S401 (S401: YES), in step S402, the feature
図５は、フレーム画像を順次入力させた場合の特徴量検出部２２による顔検出値のグラフである。同図によれば、フレーム番号＃１から順次入力されたフレーム画像には人物の目が写っていないか、特徴量検出部２２が目を検出しないために顔検出値が０レベルとなる状態が続き、フレーム番号＃Ｋのフレーム画像において、特徴量検出部２２が目を検出したために顔検出値が一定レベル値となり、このフレーム画像で人物の顔が検出されたことを示している。また、同図では、特徴量検出部２２は、フレーム番号＃Ｋ以降のフレーム画像では人物の顔を検出し続けていることを示している。
FIG. 5 is a graph of face detection values by the feature
図４の説明に戻り、ステップＳ４０３において、特徴量検出部２２は、検出した特徴量をフレーム位置に関連づけて記憶部１５に記憶する。フレーム位置は、フレーム画像の番号やタイムスタンプである。次に、ステップＳ４０４において、イベント検出部２３は、ステップＳ４０３の処理において記憶部１５に記憶された最新の特徴量と、１フレーム前のフレーム画像についての特徴量との差分値を計算し、特徴の変化点であるイベントが検出されたか否かを判定する。例えば、その差分値が予め定められた基準値を超える場合にイベントが検出されたと判定する。図５のグラフの例では、フレーム番号＃Ｋのフレーム画像においてイベントを検出したと判定する。すなわち、フレーム番号＃Ｋのフレーム画像が顕著性のあるフレーム画像となる。
Returning to the description of FIG. 4, in step S <b> 403, the feature
次に、イベントが検出された場合（ステップＳ４０５：ＹＥＳ）は、ステップＳ４０６において、イベント検出部２３は、イベントの検出されたフレーム画像のフレーム位置を記憶部１５に記憶する。一方、イベントが検出されなかった場合（ステップＳ４０５：ＮＯ）は、ステップＳ４０１の処理に戻って次のフレーム画像の処理に移行する。
Next, when an event is detected (step S405: YES), in step S406, the
このようにして、イベント検出処理によって、３つのデータファイルそれぞれから、人物の振向きシーンにおいて顔検出のされたフレーム画像（顕著性のある画像）のフレーム位置が記憶部１５に記憶される。なお、各データファイルの先頭のフレーム画像については、１つ前のフレーム画像がないために見かけ上イベントが検出されることになるため、イベント検出部２３は、この先頭フレームについてのイベント判定を除外するようにしておく。
In this manner, the frame position of the frame image (the image with the saliency) whose face is detected in the person's turning scene is stored in the
次に、図６は、シーン選択処理部２０の実行するトランジション評価処理のフローチャートである。イベント検出部２３による処理の後、このフローチャートの処理が開始される。ステップＳ６０１において、制御部１４は、記憶部１５を参照する。そして、制御部１４は、イベントの検出されたフレーム画像のフレーム位置を読み出した場合（Ｓ６０１：ＹＥＳ）、ステップＳ６０２において、この読み出したフレーム位置に対応するフレーム画像と、それに続く一定期間分のフレーム画像とに相当する圧縮動画像データを記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行う。そして、制御部１４は、データ伸長されたフレーム画像を順次トランジション評価部２４に供給する。そして、トランジション評価部２４は、トランジション評価を行う。
Next, FIG. 6 is a flowchart of the transition evaluation process executed by the scene
このトランジション評価は、評価パラメータ設定部２７に設定された、４つの評価指標である正面向き度合い、画像中心からの目の中心位置度合い、目つぶり検出値、及び笑顔度合いそれぞれについて、一定期間分のフレーム画像について行われる。図７から図１０に、イベントの検出されたフレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、トランジション評価部２４の各評価指標についての評価のグラフを示す。
This transition evaluation is performed for a certain period of time for each of the four evaluation indexes set in the evaluation
図７は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、正面向き度合いの評価値のグラフである。正面向き度合いは、被写体である人物の撮影者側、より具体的には撮像装置１の光学系１１のレンズに対する向き具合の評価値である。つまり、人物の顔がまっすぐレンズを向いた場合を正面とし、評価値が最も高くなるようにする。この正面向き度合いは、人物の両目間の距離に基づいて評価値を計算する。つまり、人物が横を向いた状態では、両目間の距離は小さく、正面方向に向かうにつれて両目間の距離は大きくなることに基づいて評価値を計算する。同図は、フレーム番号＃Ｋのフレーム画像以降、人物が振向くにつれて正面向き度合いの評価値が高まっている様子を示している。
FIG. 7 is a graph of the evaluation value of the degree of front orientation when frame images for a certain period after frame number #K are sequentially input. The front direction degree is an evaluation value of the degree of orientation of the person who is the subject with respect to the lens of the
図８は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、中心位置度合いの評価値のグラフである。中心位置度合いは、フレーム画像の中心位置を基準とした人物の顔の位置についての評価値である。この中心位置度合いは、フレーム画像の中心位置から人物の各目までの距離を計算し、距離が小さいほど高い値の評価値となるようにする。同図は、フレーム番号＃Ｋのフレーム画像以降、ほぼ安定して人物がフレームの中心付近に写っている様子を示している。 FIG. 8 is a graph of the evaluation value of the degree of the center position when frame images for a certain period after frame number #K are sequentially input. The center position degree is an evaluation value for the position of a person's face with reference to the center position of the frame image. For the degree of the center position, the distance from the center position of the frame image to each eye of the person is calculated so that the smaller the distance, the higher the evaluation value. This figure shows a state in which a person is shown almost stably in the vicinity of the center of the frame after the frame image of frame number #K.
図９は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、目つぶり検出値の評価値のグラフである。目つぶり検出値は、人物の目つぶりの有無の評価値である。この評価値は２値であり、目を開けていることが検出できないか、目をつぶっていると検出された場合は０であり、目を開けていることが検出された場合は一定レベル値となる。同図は、フレーム番号＃Ｋのフレーム画像以降少しの間、トランジション評価部２４が目つぶりの有無を検出することができなかったために０レベルとなり、それ以降は目が開いていることが検出されたために一定レベル値になっている様子を示している。
FIG. 9 is a graph of the evaluation value of the blink detection value when frame images for a certain period after frame number #K are sequentially input. The blinking detection value is an evaluation value of presence / absence of blinking of a person. This evaluation value is binary, and it is 0 when it is detected that the eyes are open or when it is detected that the eyes are closed, and a constant level value when it is detected that the eyes are open. It becomes. In the figure, since the
図１０は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、笑顔度合いの評価値のグラフである。笑顔は、人物の両目、まゆげ、口の形状や顔の輪郭に対するこれらの位置のデータを解析し、笑顔のパターンとの比較認識処理を行って推定する。そして、笑顔度合いは、笑顔であると推定される確率が高いほど高い評価値とする。同図は、顔が検出された最初のときよりも後の方が笑顔の度合いが高い様子を示している。 FIG. 10 is a graph of the evaluation value of the smile level when frame images for a certain period after frame number #K are sequentially input. Smiles are estimated by analyzing data of these positions with respect to a person's eyes, eyebrows, mouth shape, and face outline, and performing comparison recognition processing with a smile pattern. The smile level is set to a higher evaluation value as the probability that the smile is estimated is higher. The figure shows that the degree of smile is higher at the back than when the face was first detected.
図６のステップＳ６０２の説明に戻り、トランジション評価部２４は、フレーム画像ごとに、正面向き度合い、画像中心からの目の中心位置度合い、目つぶり検出値、笑顔度合いの評価値を計算したのち、評価パラメータ設定部２７に設定されている重み付けにしたがって各評価値に重み付けをして加算する。次に、ステップＳ６０３において、トランジション評価部２４は、計算した評価値をイベントの検出されたフレーム画像のフレーム位置に関連づけて記憶部１５に記憶する。
Returning to the description of step S602 in FIG. 6, the
一方、ステップＳ６０１において、制御部１４が、イベントの検出されたフレーム画像のフレーム位置を読み出さなかった場合、すなわち、参照されるべきイベント検出フレーム画像がなくなった場合（Ｓ６０１：ＮＯ）、ステップＳ６０４において、選択部２５は、記憶部１５に記憶されたイベントごとの評価値のうち、最も高い評価値に対応するイベント検出フレーム画像のフレーム位置を選択する。次に、ステップＳ６０５において、選択部２５は、検出されたフレーム位置のフレーム画像を含むシーンの位置情報を出力する。例えば、検出されたフレーム位置から所定フレーム数分前の開始位置と、検出されたフレーム位置から所定フレーム数後の終了位置とを位置情報として出力する。
On the other hand, in step S601, when the
図１１は、シーン選択機能に設定された撮影装置１が、３つのデータファイルからそれぞれイベントを検出し、トランジション評価を行って３つの類似するシーンを抽出し、そしてそれらの中から１つのシーンを抽出する様子を模式的に表した図である。同図に示すように、本実施形態による撮像装置１は、上述したイベント検出処理によって、３つのデータファイルを解析し、それぞれの動画像データのフレーム画像からイベントを検出する（イベント検出フレーム画像ｆ１，ｆ２，ｆ３）。次に、トランジション評価処理によって、イベント検出フレーム画像ｆ１，ｆ２，ｆ３とそれに時系列的に続く一定期間分のフレーム画像ｔｆ１，ｔｆ２，ｔｆ３とについてのトランジション評価を行う。そして、最も評価値の高い結果となった動画像データ２について、イベント検出フレーム画像ｆ２を含むシーン（開始フレームｐｆ，終了フレームａｆ）を選択する。
FIG. 11 shows that the photographing
以上説明したように、本実施形態によれば、３つのデータファイルの中から３つの振向きシーンを検出し、各シーンを客観的な評価指標により評価して順位付けることができる。さらに、その中から最も評価の高いシーンを選択することができる。また、重み付けをして評価することにより、撮影者にとって好ましいシーン、例えば、目つぶりがなく、笑顔で、撮影者の方向を向いていて、画面中心に顔のあるシーンを選択することができる。 As described above, according to the present embodiment, three turning scenes can be detected from the three data files, and each scene can be evaluated and ranked according to an objective evaluation index. Furthermore, the scene with the highest evaluation can be selected from among them. Also, by evaluating by weighting, a scene preferable for the photographer, for example, a scene with no eyes blinking, smiling, facing the photographer and having a face in the center of the screen can be selected.
［第２の実施の形態］
本発明の第２実施形態である画像処理装置を撮像装置に適用した例について説明する。本実施形態においても、シーン選択機能について主に説明する。本実施形態による撮像装置は、連写撮影して記録された１つ又は複数の連写画像データ群について、連続するフレーム画像間の特徴量の差分を計算して特徴の変化点であるイベントを検出する。そして、検索の結果、複数のイベントが検出された場合に、イベントの検出されたフレーム画像を、それぞれ類似するシーンにおける顕著性のある画像であると推定する。そして、撮像装置は、イベントの検出された各フレーム画像とそれに時系列的に続くフレーム画像とについて所定の評価指標による画像の評価を行い、類似するシーンの中で最も評価の高いシーンを選択する。このシーン選択機能により、本実施形態による撮像装置は、記録されている連写画像データ群に同じようなシーンが含まれている場合に、客観的な評価基準に基づいてシーンを順位付けすることができ、所望の順位のシーンを抽出することができる。以下、このような特徴を有する撮像装置について具体的に説明する。
[Second Embodiment]
An example in which the image processing apparatus according to the second embodiment of the present invention is applied to an imaging apparatus will be described. Also in this embodiment, the scene selection function will be mainly described. The imaging apparatus according to the present embodiment calculates an event that is a feature change point by calculating a difference in feature amount between consecutive frame images for one or a plurality of continuous shot image data groups recorded by continuous shooting. To detect. If a plurality of events are detected as a result of the search, it is estimated that the frame images from which the events are detected are prominent images in similar scenes. Then, the imaging apparatus evaluates an image based on a predetermined evaluation index for each frame image in which an event is detected and a frame image that continues in time series, and selects a scene with the highest evaluation among similar scenes. . With this scene selection function, the imaging apparatus according to the present embodiment ranks scenes based on objective evaluation criteria when similar scenes are included in the recorded continuous shot image data group. And a scene of a desired order can be extracted. Hereinafter, an imaging apparatus having such characteristics will be described in detail.
本実施形態における撮像装置は前述した第１実施形態による撮像装置１と同一の構成であるため、同一の符号を付してその構成の説明を省略する。
Since the imaging device in the present embodiment has the same configuration as that of the
次に、撮像装置１のシーン選択機能における動作について説明する。本実施形態では、連写撮影機能に設定された撮像装置１によって、一人乗り用ブランコに乗っている人物を、ブランコの搬送方向と略垂直方向から２回連写して得られた圧縮連写画像データ群（２つのグループ）が記録媒体１９に予め記録されているものとする。図１２は、連写された撮像連写画像データ群のうちの１つのフレーム画像を模式的に表した図である。同図には、人物がブランコに乗って弧を描くように運動する様子の１フレームが写されている。
Next, the operation in the scene selection function of the
なお、以下の説明においては、同図に示すように、フレーム画像の左下のコーナを原点として垂直方向をＸ方向とし、水平方向をＹ方向とする。このような２次元座標系を定義した場合に、Ｘ方向では、人物は単振動運動をすることになる。そこで本実施形態では、圧縮連写画像データ群の中からＸ方向における人物の所定部分の位置（例えば、重心位置）が最も低い場所にあるフレーム画像を検出し、そのフレーム画像以後のフレーム画像群を評価指標により評価して最も評価の高いシーンを選択する例について説明する。 In the following description, as shown in the figure, the vertical direction is the X direction and the horizontal direction is the Y direction with the lower left corner of the frame image as the origin. When such a two-dimensional coordinate system is defined, the person performs a simple vibration motion in the X direction. Therefore, in the present embodiment, a frame image in a place where the position (for example, the center of gravity position) of a predetermined portion of the person in the X direction is the lowest is detected from the compressed continuous shot image data group, and the frame image group after the frame image is detected. An example in which the scene with the highest evaluation is selected by evaluating the evaluation index will be described.
本実施形態において、特徴量パラメータ設定部２６には、特徴量検出部２２で検出すべき特徴の種類は図１２におけるＸ方向の単振動であること、特徴量は単振動のＸ方向の座標値であることが予め設定されている。また、評価パラメータ設定部２７には、トランジション評価部２４で評価する評価指標が、単振動の最高点位置と最下点位置との差分（レンジ）であることが予め設定されている。
In the present embodiment, the feature amount
図１３は、撮像装置１におけるシーン選択機能の処理を示すフローチャートである。ステップＳ１３１において、制御部１４は、撮像装置１の操作者による操作部１３の操作にしたがって、記録媒体１９に記録された２つの圧縮連写画像データ群のデータファイル群を選択する。操作者によるデータファイル群の選択は、例えば、操作メニューの操作によって行うことができる。つまり、操作者による操作部１３のメニューボタンの押下によって、制御部１４は操作メニューを表示部１６に表示させる。この操作メニューは例えば階層メニュー構造になっている。そして、いずれかの下位階層にファイル群選択メニューが形成され、そこに記録媒体１９に記録されたデータファイル群のグループ名が示されるようになっている。操作者の操作部１３の選択ボタンの操作にしたがって、制御部１４は、ファイル群選択メニューを表示部１６に表示させる。そして、操作者に所望のデータファイル群を選択させる。
FIG. 13 is a flowchart illustrating processing of the scene selection function in the
次に、ステップＳ１３２において、シーン選択処理部２０は、選択された２つのデータファイル群をそれぞれ解析して、類似するシーンを客観的な評価基準に基づいて順位付けし、最も順位の高い１つのシーンを選択してそのシーンの位置情報を取得する。この処理ステップについては、後で詳細に説明する。次に、ステップＳ１３３において、制御部１４は、ステップＳ１３２の処理において取得したシーンの位置情報に基づいて記録媒体１９に記録されたデータファイル群から当該シーンに該当する連写画像データ群を抽出する。そして次に、ステップＳ１３４において、制御部１４は、抽出した連写画像データ群を記録媒体１９に記録する。このとき、制御部１４は、２つの類似するシーンのうち選択されなかった方のシーンに該当する連写画像データ群、又はこれらが含まれるデータファイル群を削除してもよい。
Next, in step S132, the scene
次に、上記のステップＳ１３２の処理の詳細を説明する。この説明にあたって、イベント検出処理のフローチャート及びトランジション評価処理のフローチャートは、前述した第１実施形態における両処理の説明に用いた図４及び図６を用いて説明することとし、これら両図における処理ステップの番号も同一のものを使用する。ステップＳ４０１において、制御部１４は、ステップＳ１３１の処理において選択した２つのデータファイル群について、操作者によって選択された順番で圧縮連写画像データ群を記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行い、データ伸長されたフレーム画像を特徴量検出部２２に入力する。このステップＳ４０１の処理においてフレーム画像の入力がなくなった場合（Ｓ４０１：ＮＯ）は、このフローチャートの処理を終了する。
Next, details of the processing in step S132 will be described. In this description, the flowchart of the event detection process and the flowchart of the transition evaluation process will be described with reference to FIGS. 4 and 6 used for the description of both processes in the first embodiment described above. Use the same number. In step S401, the
一方、ステップＳ４０１の処理においてフレーム画像の入力があった場合（Ｓ４０１：ＹＥＳ）、ステップＳ４０２において、特徴量検出部２２は、特徴量パラメータ設定部２６に設定された、特徴の種類（Ｘ方向の単振動）と特徴量（Ｘ方向の座標値）とに基づいて特徴量の検出処理を行う。座標値を求める目標は、人物の顔や腰等の部位の中心位置であってもよいし、人物全体を画像認識させてその重心位置としてもよい。
On the other hand, when a frame image is input in the process of step S401 (S401: YES), in step S402, the feature
次に、ステップＳ４０３において、特徴量検出部２２は、検出した特徴量をフレーム位置に関連づけて記憶部１５に記憶する。フレーム位置は、フレーム画像の番号やタイムスタンプである。次に、ステップＳ４０４において、イベント検出部２３は、ステップＳ４０３の処理において記憶部１５に記憶された最新の特徴量と、１フレーム前のフレーム画像についての特徴量と２フレーム前のフレーム画像についての特徴量とに基づいて、特徴の変化点であるイベントが検出されたか否かを判定する。例えば、式（１）が成立する座標値Ｘｉが検出された場合にイベントが検出されたと判定する。
Next, in step S403, the feature
次に、イベントが検出された場合（ステップＳ４０５：ＹＥＳ）は、ステップＳ４０６において、イベント検出部２３は、イベントの検出されたフレーム画像のフレーム位置を記憶部１５に記憶する。一方、イベントが検出されなかった場合（ステップＳ４０５：ＮＯ）は、ステップＳ４０１の処理に戻って次のフレーム画像の処理に移行する。
Next, when an event is detected (step S405: YES), in step S406, the
このようにして、イベント検出処理によって、２つのデータファイル群のそれぞれから、人物のＸ方向の単振動運動における最下点に位置するフレーム画像（顕著性のある画像）のフレーム位置が記憶部１５に記憶される。なお、各データファイル群の１番目及び２番目のフレーム画像については、過去のフレーム画像がないために式（１）の計算をすることができない。よって、イベント検出部２３は、これら１番目及び２番目のフレームについてのイベント判定を除外するようにしておく。
In this way, the frame position of the frame image (significant image) positioned at the lowest point in the single vibration motion of the person in the X direction is stored in the
次に、図６は、シーン選択処理部２０の実行するトランジション評価処理のフローチャートである。イベント検出部２３による処理の後、このフローチャートの処理が開始される。ステップＳ６０１において、制御部１４は、記憶部１５を参照する。そして、制御部１４は、イベントの検出されたフレーム画像のフレーム位置を読み出した場合（Ｓ６０１：ＹＥＳ）、ステップＳ６０２において、この読み出したフレーム位置に対応するフレーム画像と、それに続く一定期間分のフレーム画像とに相当する圧縮動画像データを記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行う。そして、制御部１４は、データ伸長されたフレーム画像を順次トランジション評価部２４に供給する。そして、トランジション評価部２４は、トランジション評価を行う。
Next, FIG. 6 is a flowchart of the transition evaluation process executed by the scene
このトランジション評価は、評価パラメータ設定部２７に設定された、評価指標であるＸ方向の単振動の最高点位置Ｘｍａｘと最下点位置Ｘｍｉｎとの差分で表されるレンジＲｘについて、一定期間分のフレーム画像について行われる。つまり、式（２）によって評価値を算出する。
This transition evaluation is performed for a certain period of time with respect to a range Rx that is set in the evaluation
次に、ステップＳ６０３において、トランジション評価部２４は、計算した評価値であるレンジＲｘをイベントの検出されたフレーム画像のフレーム位置に関連づけて記憶部１５に記憶する。
Next, in step S603, the
一方、ステップＳ６０１において、制御部１４が、イベントの検出されたフレーム画像のフレーム位置を読み出さなかった場合、すなわち、参照されるべきイベント検出フレーム画像がなくなった場合（Ｓ６０１：ＮＯ）、ステップＳ６０４において、選択部２５は、記憶部１５に記憶されたイベントごとの評価値のうち、最も高い評価値に対応するイベント検出フレーム画像のフレーム位置を選択する。次に、ステップＳ６０５において、選択部２５は、検出されたフレーム位置のフレーム画像を含むシーンの位置情報を出力する。例えば、検出されたフレーム位置を含んでＹ方向の半周期分の時間をカバーするような開始位置と終了位置とを位置情報として出力する。
On the other hand, in step S601, when the
図１４は、２つのデータファイル群（グループ１，２）それぞれについての、各フレーム画像における人物の重心位置のＸ方向の座標値の推移をグラフ化して示した図である。同図（ａ）は、グループ１についてのグラフであり、同図（ｂ）はグループ２についてのグラフである。同図のグラフにより明らかなように、両グループとも、フレーム番号＃３のフレーム画像においてイベントが検出される。また、グループ２がグループ１よりもレンジが広いことが分かる。よって、グループ２の連写の方がグループ１の連写よりもダイナミックな画像を撮影していると評価することができる。
FIG. 14 is a graph showing the transition of the coordinate value in the X direction of the center of gravity position of the person in each frame image for each of the two data file groups (
以上説明したように、本実施形態によれば、２つのデータファイル群の中から人物の重心位置が最下点にある２つのシーンを検出し、各シーンを客観的な評価指標により評価して順位付けることができる。よって、その中から最も評価の高いシーンを選択することができる。これにより、撮影者にとって好ましいシーン、例えば、ブランコを最も躍動的にダイナミックにこいでいるシーンを選択することができる。 As described above, according to the present embodiment, two scenes where the center of gravity of the person is at the lowest point are detected from two data file groups, and each scene is evaluated using an objective evaluation index. Can be ranked. Therefore, the scene with the highest evaluation can be selected from among them. This makes it possible to select a scene that is preferable for the photographer, for example, a scene that moves the swing most dynamically and dynamically.
なお、上述した第１及び第２実施形態において、特徴量の種類及び特徴量とトランジション評価の評価指標との組み合わせを対応付けて記憶しておくようにしてもよい。その際に、組み合わせに順位付けをしておくことは好ましい。例えば、操作者によって多用する組み合わせや、好ましいと操作者が判断した組み合わせについて高順位となるようにして記憶しておけば、順位にしたがって組み合わせを操作メニューに表示させたりすることができる。 In the first and second embodiments described above, the type of feature quantity and the combination of the feature quantity and the evaluation index for transition evaluation may be stored in association with each other. At that time, it is preferable to rank the combinations. For example, if combinations that are frequently used by the operator or combinations that are determined to be preferable by the operator are stored in a higher order, the combinations can be displayed on the operation menu according to the order.
また、上述した第１及び第２実施形態では、１つの動画像のデータファイルや１つの連写グループに１つのイベントが含まれる例について説明した。これ以外にも、１つの動画像のデータファイルや１つのグループ内に類似するシーンが複数あって、それらのシーンの評価を順位付けたり、最も評価の高い評価値のシーンを選択したりすることもできる。 In the first and second embodiments described above, an example in which one event is included in one moving image data file or one continuous shooting group has been described. Other than this, there are multiple similar scenes in one moving image data file or one group, ranking the evaluation of those scenes, or selecting the scene with the highest evaluation value You can also.
また、上述した各実施形態である画像処理装置の一部、例えば、制御部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するための画像処理プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された画像処理プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。 Moreover, you may make it implement | achieve a part of image processing apparatus which is each embodiment mentioned above, for example, the function of a control part with a computer. In this case, the image processing program for realizing the control function is recorded on a computer-readable recording medium, and the image processing program recorded on the recording medium is read by the computer system and executed. Also good. Here, the “computer system” includes an OS (Operating System) and hardware of peripheral devices. The “computer-readable recording medium” refers to a portable recording medium such as a flexible disk, a magneto-optical disk, an optical disk, and a memory card, and a storage device such as a hard disk built in the computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case may be included and a program that holds a program for a certain period of time may be included. Further, the above program may be for realizing a part of the functions described above, or may be realized by a combination with the program already recorded in the computer system. .
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
２２ 特徴量検出部
２３ イベント検出部
２４ トランジション評価部
２５ 選択部
22 feature
Claims (5)
時刻変化に伴う前記特徴量の変化に基づいてイベントを検出するイベント検出手段と、
検出されたイベントに対応するフレーム画像であるイベント検出フレーム画像とそれに時系列的に続く所定時間分のフレーム画像群とについて、所定の評価指標に基づいた評価値を算出する評価手段と、
前記評価値に基づいて、イベント検出フレーム画像を含むフレーム画像群によるシーンを選択する選択手段と、
を備えたことを特徴とする画像処理装置。 A feature amount detecting means for detecting a feature amount from each frame image of the continuous shot image data group or moving image data;
Event detecting means for detecting an event based on a change in the feature amount accompanying a time change;
An evaluation means for calculating an evaluation value based on a predetermined evaluation index for an event detection frame image that is a frame image corresponding to the detected event and a frame image group for a predetermined time following the time series;
Selection means for selecting a scene by a frame image group including an event detection frame image based on the evaluation value;
An image processing apparatus comprising:
前記評価手段は、前記特徴量検出手段における特徴量とは別の種類の特徴量を各フレーム画像から検出して前記評価値を算出することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the evaluation unit detects a feature amount of a type different from the feature amount in the feature amount detection unit from each frame image and calculates the evaluation value.
前記評価手段は、前記特徴量検出手段における特徴量と同一の種類の特徴量を各フレーム画像から検出し、これら検出した特徴量に基づいて前記評価値を算出することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The evaluation means detects a feature quantity of the same type as the feature quantity in the feature quantity detection means from each frame image, and calculates the evaluation value based on the detected feature quantity .
前記評価手段は、前記所定の評価指標に重み付けをして評価値を算出することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the evaluation unit calculates an evaluation value by weighting the predetermined evaluation index.
連写画像データ群又は動画像データの各フレーム画像から特徴量を検出する特徴量検出ステップと、
時刻変化に伴う前記特徴量の変化に基づいてイベントを検出するイベント検出ステップと、
検出されたイベントに対応するフレーム画像であるイベント検出フレーム画像とそれに時系列的に続く所定時間分のフレーム画像群とについて、所定の評価指標に基づいた評価値を算出する評価値計算ステップと、
前記評価値に基づいて、イベント検出フレーム画像を含むフレーム画像群によるシーンを選択する選択ステップと、
を実行させるための画像処理プログラム。 On the computer,
A feature amount detection step of detecting a feature amount from each frame image of the continuous shot image data group or the moving image data; and
An event detection step of detecting an event based on a change in the feature amount accompanying a time change;
An evaluation value calculating step for calculating an evaluation value based on a predetermined evaluation index for an event detection frame image that is a frame image corresponding to the detected event and a frame image group for a predetermined time that follows the event detection frame image;
A selection step of selecting a scene by a frame image group including an event detection frame image based on the evaluation value;
An image processing program for executing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009184300A JP2011040860A (en) | 2009-08-07 | 2009-08-07 | Image processor and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009184300A JP2011040860A (en) | 2009-08-07 | 2009-08-07 | Image processor and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011040860A true JP2011040860A (en) | 2011-02-24 |
Family
ID=43768211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009184300A Pending JP2011040860A (en) | 2009-08-07 | 2009-08-07 | Image processor and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011040860A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014137818A (en) * | 2013-01-16 | 2014-07-28 | Ricoh Co Ltd | Method and device for identifying opening and closing operation of palm, and man-machine interaction method and facility |
| KR20170018042A (en) * | 2014-06-12 | 2017-02-15 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Rule-based video importance analysis |
| WO2020155052A1 (en) * | 2019-01-31 | 2020-08-06 | 华为技术有限公司 | Method for selecting images based on continuous shooting and electronic device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005045600A (en) * | 2003-07-23 | 2005-02-17 | Casio Comput Co Ltd | Image photographing apparatus and program |
| JP2009059445A (en) * | 2007-09-03 | 2009-03-19 | Sony Corp | Data processing apparatus and method, data processing program, and recording medium recorded with data processing program |
-
2009
- 2009-08-07 JP JP2009184300A patent/JP2011040860A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005045600A (en) * | 2003-07-23 | 2005-02-17 | Casio Comput Co Ltd | Image photographing apparatus and program |
| JP2009059445A (en) * | 2007-09-03 | 2009-03-19 | Sony Corp | Data processing apparatus and method, data processing program, and recording medium recorded with data processing program |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014137818A (en) * | 2013-01-16 | 2014-07-28 | Ricoh Co Ltd | Method and device for identifying opening and closing operation of palm, and man-machine interaction method and facility |
| KR20170018042A (en) * | 2014-06-12 | 2017-02-15 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Rule-based video importance analysis |
| JP2017528016A (en) * | 2014-06-12 | 2017-09-21 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Rule-based video importance analysis |
| US10664687B2 (en) | 2014-06-12 | 2020-05-26 | Microsoft Technology Licensing, Llc | Rule-based video importance analysis |
| KR102354692B1 (en) | 2014-06-12 | 2022-01-21 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Rule-based video importance analysis |
| WO2020155052A1 (en) * | 2019-01-31 | 2020-08-06 | 华为技术有限公司 | Method for selecting images based on continuous shooting and electronic device |
| US12003850B2 (en) | 2019-01-31 | 2024-06-04 | Huawei Technologies Co., Ltd. | Method for selecting image based on burst shooting and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101665130B1 (en) | Apparatus and method for generating image including a plurality of persons | |
| US8208732B2 (en) | Image processing apparatus, image capturing apparatus, image processing method and recording medium | |
| KR101795601B1 (en) | Apparatus and method for processing image, and computer-readable storage medium | |
| US8199213B2 (en) | Method for selecting desirable images from among a plurality of images and apparatus thereof | |
| CN107258077B (en) | System and method for Continuous Auto Focus (CAF) | |
| JP5631106B2 (en) | Image processing apparatus, control method thereof, program, and imaging apparatus | |
| KR101234487B1 (en) | Imaging device, terminal device, and imaging method | |
| US20050134719A1 (en) | Display device with automatic area of importance display | |
| CN107743191B (en) | Terminal, anti-shake photographing method thereof and storage device | |
| CN101325658A (en) | Imaging device, imaging method and computer program | |
| US8760551B2 (en) | Systems and methods for image capturing based on user interest | |
| JP5837922B2 (en) | Ranking key video frames based on camera position | |
| EP2373002A1 (en) | Image capture device | |
| CN104601876A (en) | Method and device for detecting passerby | |
| US8199978B2 (en) | Method for image auto-selection and computer system thereof | |
| CN110677580A (en) | Shooting method, shooting device, storage medium and terminal | |
| US9374525B2 (en) | Shooting apparatus and shooting method | |
| JP2024045460A (en) | Information processing system, information processing device, information processing method, and program | |
| JP2011040860A (en) | Image processor and image processing program | |
| JP5967422B2 (en) | Imaging apparatus, imaging processing method, and program | |
| JP5368614B2 (en) | Image search apparatus and image search method | |
| JP2021105850A (en) | Image processing device and method, and imaging device | |
| JP2012029119A (en) | Display control device, camera and display device | |
| JP6874082B2 (en) | Devices, device control methods, systems, and programs | |
| CN110620911B (en) | Video stream processing method and device of camera and terminal equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120806 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131216 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140325 |