JP6631190B2 - Image evaluation device, image evaluation method, and program - Google Patents
Image evaluation device, image evaluation method, and program Download PDFInfo
- Publication number
- JP6631190B2 JP6631190B2 JP2015226130A JP2015226130A JP6631190B2 JP 6631190 B2 JP6631190 B2 JP 6631190B2 JP 2015226130 A JP2015226130 A JP 2015226130A JP 2015226130 A JP2015226130 A JP 2015226130A JP 6631190 B2 JP6631190 B2 JP 6631190B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- blur
- evaluation
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、画像評価装置、画像評価方法及びプログラムに関する。 The present invention relates to an image evaluation device, an image evaluation method, and a program.
デジタルカメラの普及により、撮影に失敗しないようにすることよりも、決定的瞬間を逃さないようにすることにより比重が高まり、撮影枚数が格段に増大している。その結果膨大な撮影画像からより好適な画像を抽出するために、より手間がかかるようになったり、判断に迷ってしまったりするようになって来ている。
ここで、特許文献１には、ピンぼけ度検出、手ぶれ度検出、露出検出等を行うことにより、撮影条件の良いプリントに値する最良な画像を自動的に抽出する技術が開示されている。
2. Description of the Related Art With the spread of digital cameras, the specific gravity is increased by not missing a decisive moment, rather than preventing failure in shooting, and the number of shots is significantly increased. As a result, in order to extract a more suitable image from a huge number of captured images, it has become more time-consuming and lost to make a decision.
Here, Patent Literature 1 discloses a technique for automatically extracting a best image worth printing with good shooting conditions by performing out-of-focus degree detection, camera shake degree detection, exposure detection, and the like.
しかしながら、特許文献１に記載された技術においては、デジタルカメラを構えてじっくり撮影された画像からの抽出であれば適切な抽出が可能であるが、移動しながら撮影された画像から抽出するような場合に適切な抽出を行うことまでは困難である。 However, in the technology described in Patent Literature 1, appropriate extraction is possible as long as it is an extraction from an image taken with a digital camera and taken slowly. It is difficult to perform appropriate extraction in some cases.
本発明は、このような状況に鑑みてなされたものであり、移動しながら撮影された画像であっても適切に画質を評価できるようにすることを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to make it possible to appropriately evaluate the image quality of an image captured while moving.
上記目的を達成するため、本発明の一態様の画像評価装置は、
人物によって保持される撮像手段により画像を撮影された際の、略平行移動している前記人物の行動に基づく当該撮像手段のぶれ度合いを取得するぶれ取得手段と、
前記ぶれ取得手段により取得された前記ぶれ度合いを、略平行移動している前記人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する補正手段と、
を備えることを特徴とする。
In order to achieve the above object, an image evaluation device of one embodiment of the present invention includes:
When an image is captured by an imaging unit held by a person, a shake obtaining unit that obtains a degree of shake of the imaging unit based on the behavior of the person that is moving substantially in parallel,
Correction means for correcting the degree of blur acquired by the blur acquisition means, to a degree of blur for evaluating a captured image, in accordance with the behavior of the person moving substantially in parallel,
It is characterized by having.
本発明によれば、移動しながら撮影された画像であっても適切に画質を評価することができる。 According to the present invention, it is possible to appropriately evaluate the image quality of an image captured while moving.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［構成］
［ハードウェア構成］
図１は、本発明の一実施形態に係る撮影装置１のハードウェアの構成を示すブロック図である。
撮影装置１は、例えば、デジタルカメラとして構成される。
[Constitution]
[Hardware configuration]
FIG. 1 is a block diagram illustrating a hardware configuration of a photographing apparatus 1 according to an embodiment of the present invention.
The imaging device 1 is configured as, for example, a digital camera.
撮影装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
The imaging apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
The
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit includes a lens that condenses light, such as a focus lens and a zoom lens, for photographing a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. A zoom lens is a lens that changes the focal length freely within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance, as necessary.
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号が撮影画像のデータとして出力される。撮影画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給され、撮影画像が生成される。
The image sensor includes a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (images) a subject image, accumulates image signals for a certain period of time, and sequentially supplies the accumulated image signals to the AFE as analog signals.
The AFE executes various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by various signal processing, and an output signal of the
センサ部１７は、加速度、角速度等の装置の姿勢に関する情報を取得可能な各種センサにより構成される。センサ部を構成する各種センサは、地磁気センサ、気圧センサ等でもよく、取得する情報は装置の姿勢に関する情報には限られない。
The
入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
The
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
The
記憶部２０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
The
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
The
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
In the
［機能的構成］
図２は、このような撮影装置１の機能的構成のうち、画像評価処理を実行するための機能的構成を示す機能ブロック図である。
画像評価処理とは、センサ情報等の画像の付帯情報と、画像の内容とに基づいて、所定の評価項目に応じた重み付けを行って画像のスコア（評価値）を算出し、スコアの高い画像を選択する一連の処理をいう。
[Functional configuration]
FIG. 2 is a functional block diagram showing a functional configuration for executing an image evaluation process among such functional configurations of the photographing apparatus 1.
The image evaluation processing is to calculate a score (evaluation value) of an image by performing weighting according to a predetermined evaluation item based on supplementary information of the image such as sensor information and the content of the image, and calculate an image having a high score. Refers to a series of processes for selecting.
画像評価処理が実行される場合には、図２に示すように、ＣＰＵ１１において、モード設定部５１と、候補画像取得部５２と、付帯情報取得部５３と、付帯情報評価部５４と、画像内容評価部５５と、総合評価部５６と、画像生成部５７とが機能する。
また、記憶部２０の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、画像評価処理において評価の対象となる候補画像のデータが記憶される。
When the image evaluation process is executed, as shown in FIG. 2, in the
In one area of the
The image storage unit 71 stores data of candidate images to be evaluated in the image evaluation processing.
モード設定部５１は、ユーザの選択に従って、画像のスコアを算出する方法に関する第１評価モードと、第２評価モードと、第３評価モードとのいずれかを設定する。
第１評価モードは、画像の付帯情報に基づくスコア（以下、適宜「センサスコア」と呼ぶ。）と、画像の内容に基づくスコア（以下、適宜「画質スコア」と呼ぶ。）とを算出し、付帯情報及び画像の内容における評価項目に応じて設定された重み付けを行ってスコアを合計することにより、総合的なスコア（以下、適宜「総合スコア」と呼ぶ。）を算出するモードである。
図３は、第１評価モードにおいてスコアを算出する際の評価項目の分類例を示す模式図である。
図３に示すように、第１評価モードにおける評価項目は、大分類として、（１）「装置が備えるセンサによる測定値（付帯情報）に基づく評価」と、（２）「撮影された画像の内容に基づく評価」とに分けられている。
The
In the first evaluation mode, a score based on supplementary information of an image (hereinafter, appropriately referred to as “sensor score”) and a score based on the content of the image (hereinafter, appropriately referred to as “image quality score”) are calculated. This is a mode in which a total score (hereinafter, appropriately referred to as “total score”) is calculated by performing weighting set according to the evaluation items in the supplementary information and the image content and summing up the scores.
FIG. 3 is a schematic diagram showing an example of classification of evaluation items when calculating a score in the first evaluation mode.
As shown in FIG. 3, the evaluation items in the first evaluation mode are roughly classified into (1) “evaluation based on a measurement value (supplementary information) by a sensor provided in the device” and (2) “evaluation of a captured image. Evaluation based on content ".
また、第１評価モードにおいて、大分類（１）は、小分類として、（１−１）「絶対的な測定値」と、（１−２）「相対的な測定値（変化量）」とに分けられている。そして、画像の付帯情報に関しては、小分類（１−１）及び（１−２）に属する評価項目それぞれについて、スコアが算出される。図３に示すように、センサによる「絶対的な測定値」には、評価項目として、撮影時の水平角及び仰俯角（撮影装置１の光軸方向と水平面とで特定される姿勢）が含まれ、センサによる「相対的な測定値」には、評価項目として、角度または加速度の変化である撮影時のぶれ量、行動推定結果（加速度の変化である歩行、走行あるいは乗り物による移動等）及びカメラワーク（角度の変化であるパンニング、チルティングあるいはフィックス等）が含まれている。
また、第１評価モードにおいて、大分類（２）は、小分類として、（２−１）「画像全体の内容」と、（２−２）「画像の特徴部分の内容」とに分けられている。そして、画像の内容に関しては、小分類（２−１）及び（２−２）に属する評価項目それぞれについて、スコアが算出される。図３に示すように、「画像全体の内容」には、評価項目として、自動露出（ＡＥ）の結果（露出オーバーあるいは露出アンダー等）、構図解析結果（被写体が配置された構図）、及び自動焦点（ＡＦ）の結果（合焦状態）が含まれ、「画像の特徴部分の内容」には、評価項目として、顔検出の結果が含まれている。
In the first evaluation mode, the large classification (1) is divided into (1-1) “absolute measurement value” and (1-2) “relative measurement value (change amount)” as small classifications. Is divided into Then, for the supplementary information of the image, a score is calculated for each of the evaluation items belonging to the small classifications (1-1) and (1-2). As shown in FIG. 3, the “absolute measurement value” obtained by the sensor includes, as evaluation items, a horizontal angle and an elevation / depression angle at the time of photographing (the posture specified by the optical axis direction of the photographing apparatus 1 and the horizontal plane). The “relative measurement value” obtained by the sensor includes evaluation items such as a shake amount at the time of photographing, which is a change in angle or acceleration, a behavior estimation result (walking, running, or moving by a vehicle, which is a change in acceleration) and Camera work (panning, tilting, fixing, etc., which is a change in angle) is included.
In the first evaluation mode, the large classification (2) is divided into (2-1) “contents of the entire image” and (2-2) “contents of the characteristic portion of the image” as small classifications. I have. As for the content of the image, a score is calculated for each of the evaluation items belonging to the small categories (2-1) and (2-2). As shown in FIG. 3, the “contents of the entire image” include, as evaluation items, results of automatic exposure (AE) (overexposure or underexposure), composition analysis results (composition in which a subject is arranged), and automatic exposure (AE). The result of the focus (AF) (in-focus state) is included, and the “contents of the characteristic portion of the image” includes the result of face detection as an evaluation item.
第２評価モードは、第１評価モードのスコアの算出において、撮影時の水平角及び仰俯角に対応したスコアを特有の算出方法で算出するモードである。具体的には、第１評価モードでは、撮影装置１の姿勢が基準姿勢（水平角及び仰俯角が０度）に近い程、大きいスコアが算出される一方、第２評価モードでは、目線より上や見下すように撮影装置１を傾けて撮影しても自然に見えるという点に着目して、撮影装置１の仰俯角が０度でない場合には、水平角が０度でなくても違和感がないことから、第１評価モードに比べて大きいスコアが付与される。 The second evaluation mode is a mode in which a score corresponding to the horizontal angle and the elevation angle at the time of photographing is calculated by a specific calculation method in calculating the score in the first evaluation mode. Specifically, in the first evaluation mode, a higher score is calculated as the posture of the imaging device 1 is closer to the reference posture (the horizontal angle and the elevation angle are 0 degrees), whereas in the second evaluation mode, the score is higher than the line of sight. Paying attention to the fact that the image capturing apparatus 1 looks natural even when tilted and photographed to look down, when the elevation angle of the image capturing apparatus 1 is not 0 degree, there is no uncomfortable feeling even if the horizontal angle is not 0 degree. Therefore, a score larger than that in the first evaluation mode is given.
図４は、第２評価モードにおける撮影時の水平角及び仰俯角に基づくスコアを表す模式図である。
図４に示すように、第２評価モードでは、仰俯角が０度である場合には、水平角が０度（水平）からずれる程、付与されるスコアが小さくなっている。一方、仰俯角が０度（地面と平行）からずれる程、水平角が０度からずれていても、付与されるスコアの減少度合いは小さくなり、仰俯角が上限（ここでは９０度）の場合、水平角に関わらず、最大のスコアが付与される。
FIG. 4 is a schematic diagram showing a score based on the horizontal angle and the elevation angle when shooting in the second evaluation mode.
As shown in FIG. 4, in the second evaluation mode, when the elevation angle is 0 degree, the score to be given becomes smaller as the horizontal angle deviates from 0 degree (horizontal). On the other hand, as the elevation angle deviates from 0 degree (parallel to the ground), even if the horizontal angle deviates from 0 degree, the degree of decrease in the score given becomes small, and the elevation angle is the upper limit (here, 90 degrees) , Regardless of the horizontal angle.
第３評価モードは、第１評価モードのスコアの算出において、撮影時のぶれ量として、撮影装置１の平行移動成分をさらに推定し、推定結果に基づいてスコアを算出するモードである。
撮影装置１が移動していない状態における回転ぶれ（Ｘ軸、Ｙ軸、Ｚ軸の各回転方向のぶれ）は、ジャイロセンサ等によって比較的容易に検出できるものの、撮影装置１が特定の方向に進行している場合の平行移動成分については、ノイズの多さ等も起因して、検出することが困難である。そこで、第３評価モードでは、撮影装置１の平行移動成分を行動推定結果（歩行／走行、その他、静止等）として推定し、その推定結果に応じてぶれ量を算出することにより、画像の評価に反映させる。
なお、行動推定は、撮影装置１の平行移動分の移動速度を加速度から測定し、その測定した速度と所定の閾値（例えば、時速１ｋｍ）とを比較することにより実現可能であるが、推定方法はこれに限定されず、他の公知の技術を使用して推定してもよい。
The third evaluation mode is a mode in which in calculating the score in the first evaluation mode, the translation component of the image capturing apparatus 1 is further estimated as the amount of blur at the time of imaging, and the score is calculated based on the estimation result.
The rotational shake (the shake in each of the rotation directions of the X axis, the Y axis, and the Z axis) in a state where the photographing apparatus 1 is not moving can be relatively easily detected by a gyro sensor or the like, but the photographing apparatus 1 cannot move in a specific direction. It is difficult to detect a translation component in the case of advancing due to a large amount of noise and the like. Therefore, in the third evaluation mode, the parallel movement component of the imaging device 1 is estimated as a behavior estimation result (walking / running, other, stillness, etc.), and the blur amount is calculated according to the estimation result, thereby evaluating the image. To reflect.
Note that the behavior estimation can be realized by measuring the moving speed of the parallel movement of the imaging device 1 from the acceleration and comparing the measured speed with a predetermined threshold (for example, 1 km / h). Is not limited to this, and may be estimated using other known techniques.
図５は、第３評価モードにおいて推定される撮影装置１の平行移動成分を示す模式図である。
図５に示すように、第３評価モードにおいては、予め検出した鉛直方向ベクトルＶと、現在の加速度ベクトルＡとに基づいて、現在の平行移動成分Ｃ（＝Ａ−Ｖ）が推定される。第３評価モードでは、この平行移動成分Ｃを基に、付帯情報評価部５４によって、後述する方法で平行移動成分に基づくぶれ量が算出される。
FIG. 5 is a schematic diagram illustrating the translation component of the imaging device 1 estimated in the third evaluation mode.
As shown in FIG. 5, in the third evaluation mode, the current translation component C (= AV) is estimated based on the vertical vector V detected in advance and the current acceleration vector A. In the third evaluation mode, based on the translation component C, the incidental
候補画像取得部５２は、画像評価処理において評価の対象となる候補画像を画像記憶部７１から取得する。本実施形態において、候補画像取得部５２によって取得される候補画像は、高速連写あるいはインターバル撮影等、互いに関連する撮影制御によって取得された一群の画像である。
付帯情報取得部５３は、各候補画像に付帯している撮影時のセンサ情報（付帯情報）を取得する。
The candidate
The supplementary
付帯情報評価部５４は、第１評価モードにおいて、付帯情報取得部５３によって取得された各候補画像の付帯情報に基づくスコア（センサスコア）を算出する。このとき、付帯情報評価部５４は、センサスコアとして、センサによる絶対的な測定値に基づくスコアと、センサによる相対的な測定値に基づくスコアとを算出する。
具体的には、付帯情報評価部５４は、センサによる絶対的な測定値に属する評価項目それぞれ（水平角及び仰俯角）について設定されている重みを測定値に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、センサによる絶対的な測定値に基づくスコア（絶対値評価）を算出する。また、付帯情報評価部５４は、センサによる相対的な測定値に属する評価項目それぞれ（撮影時のぶれ量、行動推定結果（歩行、走行あるいは乗り物による移動等）及びカメラワーク（パンニング、チルティングあるいはフィックス等））について設定されている重みを測定値（または推定結果に応じて設定された値）に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、センサによる相対的な測定値等に基づくスコア（相対値評価）を算出する。そして、付帯情報評価部５４は、絶対値評価及び相対値評価それぞれについて設定されている重みを絶対値評価及び相対値評価を示す各スコアに乗算して合計し、付帯情報に基づくスコア（センサスコア）を算出する。
The additional
More specifically, the incidental
また、付帯情報評価部５４は、第２評価モードにおいて、撮影時の水平角及び仰俯角に対応した特有のスコアを算出する。
具体的には、付帯情報評価部５４は、第２評価モードにおいて、仰俯角に対応したスコアＳａを、水平角Ａｈ及び仰俯角Ａｅに基づいて、以下のように算出する。
Ｖｈ＝θ−｜Ｍｏｄ（Ａｈ，θ）｜
Ｖｅ＝｜θ×Ａｅ／９０｜
Ｓａ＝１００×ｍｉｎ（Ｖｈ＋Ｖｅ，θ）／θ
θ＝３６０／ｎ
ただし、Ｖｈは水平角の特徴量でその範囲は、−１８０度＜０度（水平）＜１８０度、Ｖｅは仰俯角方向の特徴量でその範囲は、−９０度＜０度（水平）＜９０度、θは撮影装置１の傾きの許容角度、ｎは角度分割数、Ｍｏｄは第１引数を第２引数で除算した剰余を与える演算子、ｍｉｎは各引数のうちで最小の値を選択する演算子である。なお、角度分割数は、いずれの角度でスコアを低くするかを決定するパラメータであり、撮影が横撮りまたは縦撮りで行われること等を考慮して設定される。
なお、光軸方向の水平面に対する角度である仰俯角は、センサ部１７により測定された鉛直方向に対する仰角から算出する。
Further, in the second evaluation mode, the incidental
Specifically, in the second evaluation mode, the incidental
Vh = θ− | Mod (Ah, θ) |
Ve = | θ × Ae / 90 |
Sa = 100 × min (Vh + Ve, θ) / θ
θ = 360 / n
Here, Vh is a feature amount of a horizontal angle, and its range is −180 degrees <0 degrees (horizontal) <180 degrees, and Ve is a feature amount in a direction of elevation and depression, and its range is −90 degrees <0 degrees (horizontal) < 90 degrees, θ is the allowable angle of inclination of the imaging device 1, n is the number of angle divisions, Mod is an operator that gives the remainder of dividing the first argument by the second argument, and min is the smallest value among the arguments Operator. Note that the angle division number is a parameter for determining at which angle the score should be lowered, and is set in consideration of, for example, horizontal or vertical shooting.
The elevation angle, which is the angle of the optical axis with respect to the horizontal plane, is calculated from the elevation angle measured by the
また、付帯情報評価部５４は、第３評価モードにおいて、撮影装置１の平行移動成分の推定結果に基づくぶれ量を算出する。
具体的には、付帯情報評価部５４は、第３評価モードにおいて、次式によって、平行移動成分に基づくぶれ量を算出する。
ぶれ量＝｜平行移動成分Ｃ｜×ｆ（行動推定結果）×α
ただし、平行移動成分Ｃ＝（加速度ベクトルＡ）−（鉛直方向ベクトルＶ）、ｆ（行動推定結果）は行動推定結果に応じて所定の係数を返す関数、αはぶれ量に換算するための係数である。なお、本実施形態において、ｆ（行動推定結果）は、行動推定結果が走行または歩行である場合には１、静止状態である場合には０、それ以外である場合には０．５を返す関数となっている。
これにより、平行移動成分によるぶれ度合いを表す付帯情報（加速度）が、行動推定結果に応じて、画像の評価のためのぶれ度合いに補正される。
Further, in the third evaluation mode, the incidental
Specifically, in the third evaluation mode, the incidental
Shake amount = | Parallel movement component C | × f (action estimation result) × α
Here, the translation component C = (acceleration vector A)-(vertical vector V), f (action estimation result) is a function that returns a predetermined coefficient according to the action estimation result, and α is a coefficient for converting into a blur amount. It is. In the present embodiment, f (action estimation result) returns 1 if the action estimation result is running or walking, 0 if it is stationary, and 0.5 otherwise. Function.
Thereby, the incidental information (acceleration) indicating the degree of blur due to the translation component is corrected to the degree of blur for image evaluation according to the action estimation result.
画像内容評価部５５は、第１評価モードにおいて、候補画像取得部５２によって取得された各候補画像の内容に基づくスコア（画質スコア）を算出する。このとき、画像内容評価部５５は、画質スコアとして、画像全体の内容を示すスコアと、画像の特徴部分の内容を示すスコアとを算出する。
具体的には、画像内容評価部５５は、画像全体の内容に属する評価項目それぞれ（自動露出（ＡＥ）の結果、構図解析結果、及び自動焦点（ＡＦ）の結果（合焦状態））について設定されている重みを測定値に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、画像全体の内容を示すスコア（画像全体評価）を算出する。また、画像内容評価部５５は、画像の特徴部分の内容に属する評価項目（顔検出の結果）について設定されている重みを測定値に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、画像の特徴部分の内容を示すスコア（特徴部分評価）を算出する。そして、付帯情報評価部５４は、画像全体評価及び特徴部分評価それぞれについて設定されている重みを画像全体評価及び特徴部分評価を示す各スコアに乗算して合計し、画像の内容に基づくスコア（画質スコア）を算出する。
In the first evaluation mode, the image
Specifically, the image
総合評価部５６は、各候補画像について、センサスコア及び画質スコアそれぞれについて設定されている重みをスコアに乗算して合計することにより、各候補画像の総合スコアを算出する。
画像生成部５７は、総合評価部５６によって算出された総合スコアを参照し、候補画像の中から総合スコアが最も高いもの（または総合スコアが上位のもの）を選択する。また、画像生成部５７は、複数の候補画像群から選択した画像を用いて、一つの新たな画像（複数の画像を動画像として連結させたハイライトムービーあるいは複数の画像を１枚の静止画像に合成したハイライトフォト等）を生成する。
The
The
［動作］
図６は、図２の機能的構成を有する図１の撮影装置１が実行する画像評価処理の流れを説明するフローチャートである。
画像評価処理は、ユーザによる入力部１８への画像評価処理開始の操作により開始される。
[motion]
FIG. 6 is a flowchart illustrating the flow of an image evaluation process performed by the imaging device 1 of FIG. 1 having the functional configuration of FIG.
The image evaluation process is started by an operation on the
ステップＳ１において、モード設定部５１は、ユーザの選択に従って、画像のスコアを算出する方法に関する第１評価モードと、第２評価モードと、第３評価モードとのいずれかを設定する。ここで設定されたモードに応じた評価方法で、以下の処理における画像の評価が実行される。
In step S1, the
ステップＳ２において、候補画像取得部５２は、画像評価処理において評価の対象となる候補画像を画像記憶部７１から取得する。
ステップＳ３において、各候補画像に付帯している撮影時のセンサ情報（付帯情報）を取得する。
In step S <b> 2, the candidate
In step S3, sensor information (additional information) at the time of shooting attached to each candidate image is acquired.
ステップＳ４において、付帯情報評価部５４は、設定されているモードに応じて、付帯情報取得部５３によって取得された各候補画像の付帯情報に基づくスコア（センサスコア）を算出する。
ステップＳ５において、画像内容評価部５５は、設定されているモードに応じて、候補画像取得部５２によって取得された各候補画像の内容に基づくスコア（画質スコア）を算出する。
In step S4, the incidental
In step S5, the image
ステップＳ６において、総合評価部５６は、各候補画像について、センサスコア及び画質スコアそれぞれについて設定されている重みをスコアに乗算して合計することにより、各候補画像の総合スコアを算出する。
ステップＳ７において、画像生成部５７は、総合評価部５６によって算出された総合スコアを参照し、候補画像の中から総合スコアが最も高いもの（または総合スコアが上位のもの）を選択する。
ステップＳ７の後、画像評価処理は終了する。
このように選択された画像を用いて、画像生成部５７によってハイライトムービー等の新たな画像が生成される。
In step S6, the
In step S7, the
After step S7, the image evaluation processing ends.
Using the image selected in this way, a new image such as a highlight movie is generated by the
このような処理により、撮影装置１においては、ハイライトムービーやハイライトフォト等の画像を作成する際に、撮影時のセンサ情報及び画像の内容を適切に反映させたスコアを算出することができる。そして、スコアに基づいて画像を選択することで、総合的にバランスのとれた良い画像を選択することができる。即ち、ぶれが少ない、水平である、顔が写っている、露出が適正である、合焦状態が良好であるといった条件を総合的に満たす画像を選択することができる。
また、撮影時における撮影装置１の姿勢が仰俯角を持っていた場合、水平角が０度でない状態で撮影された画像にも、より大きいスコアが付与され、より選択されやすいように処理される（第２評価モード）。
これにより、多様な画角で撮影された画像をより適切に選択することが可能となる。
また、撮影時に撮影装置１が平行移動成分をもって移動していた場合、平行移動成分に基づくぶれ量がスコアに反映され、より選択され難いように処理される（第３評価モード）。
これにより、センサで直接検出し難い平行移動成分によるぶれをスコアに反映させることができ、より適切に画像を選択することが可能となる。
Through such processing, when creating an image such as a highlight movie or a highlight photo, the image capturing apparatus 1 can calculate a score that appropriately reflects sensor information and image content at the time of image capturing. . Then, by selecting an image based on the score, a well-balanced good image can be selected comprehensively. That is, it is possible to select an image that satisfies the conditions such as little blur, horizontal, face is captured, proper exposure, and good focus state.
Further, when the posture of the photographing apparatus 1 at the time of photographing has an elevation / depression angle, a larger score is given to an image photographed in a state where the horizontal angle is not 0 degree, and the image is processed so as to be more easily selected. (Second evaluation mode).
This makes it possible to more appropriately select images captured at various angles of view.
In addition, when the image capturing apparatus 1 is moving with the translation component at the time of photographing, the blur amount based on the translation component is reflected in the score, and the process is performed so as to be harder to select (third evaluation mode).
Thus, the blur due to the translation component that is difficult to directly detect by the sensor can be reflected in the score, and the image can be selected more appropriately.
以上のように構成される撮影装置１は、付帯情報取得部５３と、付帯情報評価部５４とを備える。
付帯情報取得部５３は、人物によって保持される撮像部１６により画像を撮影された際の、略平行移動している人物の行動に基づく当該撮像部１６のぶれ度合いを取得する。
付帯情報評価部５４は、付帯情報取得部５３により取得されたぶれ度合いを、略平行移動している人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する。
これにより、センサで直接検出し難い平行移動成分によるぶれを評価に反映させることができるため、移動しながら撮影された画像であっても適切に画質を評価することができる。
The imaging device 1 configured as described above includes an additional
The incidental
The incidental
As a result, since the blur due to the parallel movement component that is difficult to directly detect by the sensor can be reflected in the evaluation, the image quality can be appropriately evaluated even for an image captured while moving.
付帯情報評価部５４は、当該撮像部１６を保持する人物の平行移動の状態を推定する。
付帯情報評価部５４は、推定された平行移動の状態に応じて、取得されたぶれ度合いを補正する。
これにより、平行移動の状態に応じてぶれ度合いの補正できるため、より適切にぶれ度合いを補正することができる。
The incidental
The incidental
Thus, the degree of blur can be corrected in accordance with the state of the parallel movement, so that the degree of blur can be more appropriately corrected.
付帯情報取得部５３は、当該撮像部１６が移動する加速度を取得する。
付帯情報評価部５４は、付帯情報取得部５３により取得された加速度に基づき、平行移動の状態を推定する。
これにより、加速度の演算によって簡単に平行移動の状態を推定することができる。
The additional
The incidental
Thus, the state of the parallel movement can be easily estimated by calculating the acceleration.
付帯情報評価部５４は、平行移動の状態として、歩行又は走行状態、停止状態のうちのいずれであるかを推定する。
これにより、平行移動を伴う行動を適切に推定することができるため、平行移動成分によるぶれを評価に適切に反映することができる。
The incidental
Thus, since the action involving the translation can be appropriately estimated, the shake due to the translation component can be appropriately reflected in the evaluation.
付帯情報評価部５４は、人物が前後方向に平行移動している状態を推定する。
これにより、人物の平行移動に基づくぶれを評価に適切に反映することができる。
The additional
Thereby, the shake based on the parallel movement of the person can be appropriately reflected in the evaluation.
付帯情報評価部５４は、推定された平行移動の状態に応じた係数により、取得されたぶれ度合いを補正する。
これにより、平行移動の状態に応じて、適切にぶれ度合いを補正することができる。
The incidental
Thereby, the degree of blur can be appropriately corrected according to the state of the parallel movement.
また、撮影装置１は、画像生成部５７を備える。
画像生成部５７は、撮影された複数の画像から、付帯情報評価部５４により補正されたぶれ度合による評価に基づき、画像を選択する。
これにより、適切な撮影画像を選択することができる。
Further, the imaging device 1 includes an
The
As a result, an appropriate photographed image can be selected.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態において、画質スコアを算出する際に、ユーザが手動設定した内容（手動によりホワイトバランス設定した場合等）については、その評価項目の評価を高めるように重み付けを大きくすることが可能である。例えば、次式に基づいて、その評価項目のスコアを補正することができる。
評価項目のスコア＝（評価項目の測定値＋手動設定内容に付与する測定値のバイアス）×手動設定に付与するゲイン
It should be noted that the present invention is not limited to the above-described embodiment, but includes modifications and improvements as long as the object of the present invention can be achieved.
For example, in the above-described embodiment, when calculating the image quality score, for the content manually set by the user (such as when the white balance is manually set), the weight may be increased so as to increase the evaluation of the evaluation item. It is possible. For example, the score of the evaluation item can be corrected based on the following equation.
Evaluation item score = (measurement value of evaluation item + bias of measurement value added to manual setting contents) x gain added to manual setting
また、上述の実施形態において、付帯情報評価部５４が第２評価モードにおける仰俯角に対応したスコアＳａを算出した計算式は、これに限らず、三角関数等を使用してもよい。
In the above-described embodiment, the calculation formula by which the incidental
また、上述の実施形態において、各評価項目に対する重み付けは、第１評価モード、第２評価モード及び第３評価モードそれぞれにおいて、異なるものとしてもよい。また、同一の評価モードであっても、画像の評価結果の用途に応じて、異なる重み付けを設定することとしてもよい。このように重み付けを異ならせることにより、画像の評価目的に応じて適切な評価値を算出することができる。
また、上述の実施形態において、画質スコアを算出する際に、画像の特徴部分を、顔が写っているか否かに基づいて評価することとしたが、これに限られない。即ち、画像の内容を解析し、顔の大きさ、写っている顔の数、顔に基づく個人認証の結果、被写体の位置、シーン、コントラスト等の評価項目を設定し、これらの評価結果を画質スコアに反映させることとしてもよい。
In the above-described embodiment, the weighting for each evaluation item may be different in each of the first evaluation mode, the second evaluation mode, and the third evaluation mode. Even in the same evaluation mode, different weights may be set according to the use of the image evaluation result. By making the weights different in this way, it is possible to calculate an appropriate evaluation value according to the evaluation purpose of the image.
Further, in the above-described embodiment, when calculating the image quality score, the characteristic portion of the image is evaluated based on whether or not a face is shown. However, the present invention is not limited to this. That is, the content of the image is analyzed, and the size of the face, the number of faces in the image, the result of personal authentication based on the face, the evaluation items such as the position of the subject, the scene, the contrast, and the like are set. It may be reflected in the score.
また、上述の実施形態において、第３評価モードでぶれ量を算出する際に、行動推定結果として、歩行と走行とを区別しないものとして説明したが、これに限られない。即ち、速度（加速度×時間）によって歩行と走行とを区別し、関数ｆ（行動推定結果）が返す係数として、歩行と走行とで異なるものとしてもよい。この場合、例えば、時速７ｋｍを閾値として歩行と走行とを区別し、関数ｆ（行動推定結果）が、歩行の場合は係数０．７、走行の場合は係数１を返すこととしてもよい。 In the above-described embodiment, when calculating the shake amount in the third evaluation mode, the behavior estimation result is described as not distinguishing between walking and running. However, the present invention is not limited to this. That is, walking and running may be distinguished by the speed (acceleration × time), and the coefficient returned by the function f (action estimation result) may be different between walking and running. In this case, for example, walking and running may be distinguished by using a threshold of 7 km / h, and the function f (action estimation result) may return a coefficient of 0.7 for walking and a coefficient of 1 for running.
また、上述の実施形態において、撮像部１６、センサ部１７は、撮影装置１と一体のものとして説明したが、これに限られない。即ち、撮像部１６、センサ部１７は他の構成とは別の筐体からなり、撮像部１６により取得される撮像画像、センサ部１７により取得されるセンサ情報が、通信を介して送信されるように構成することとしてもよい。
Further, in the above-described embodiment, the
また、上述の実施形態では、本発明が適用される撮影装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、評価処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
Further, in the above-described embodiment, the photographing apparatus 1 to which the present invention is applied has been described using a digital camera as an example, but is not particularly limited to this.
For example, the present invention can be applied to general electronic devices having an evaluation processing function. Specifically, for example, the present invention is applicable to notebook personal computers, printers, television receivers, video cameras, portable navigation devices, mobile phones, smartphones, portable game machines, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The above-described series of processing can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example, and is not particularly limited. That is, it is sufficient that the image capturing apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what kind of functional block is used to realize this function is not particularly limited to the example of FIG.
Further, one functional block may be constituted by hardware alone, may be constituted by software alone, or may be constituted by a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed in a computer or the like from a network or a recording medium.
The computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer that can execute various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
A recording medium including such a program is constituted not only by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In this specification, the steps of describing a program recorded on a recording medium may be performed in chronological order according to the order, or in parallel or individually, even if not necessarily performed in chronological order. This includes the processing to be executed.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the technical scope of the present invention. The present invention can take various other embodiments, and various changes such as omissions and substitutions can be made without departing from the gist of the present invention. These embodiments and their modifications are included in the scope and gist of the invention described in this specification and the like, and are also included in the invention described in the claims and their equivalents.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
人物によって保持される撮像手段により画像を撮影された際の、略平行移動している前記人物の行動に基づく当該撮像手段のぶれ度合いを取得するぶれ取得手段と、
前記ぶれ取得手段により取得された前記ぶれ度合いを、略平行移動している前記人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する補正手段と、
を備えることを特徴とする画像評価装置。
［付記２］
前記撮像手段を保持する前記人物の平行移動の状態を推定する行動推定手段を更に備え、
前記補正手段は、前記行動推定手段により推定された平行移動の状態に応じて、前記取得されたぶれ度合いを補正することを特徴とする付記１に記載の画像評価装置。
［付記３］
前記撮像手段が移動する加速度を取得する加速度取得手段を更に備え、
前記行動推定手段は、前記加速度取得手段により取得された加速度に基づき、前記平行移動の状態を推定する付記２に記載の画像評価装置。
［付記４］
前記行動推定手段は、前記平行移動の状態として、歩行又は走行状態、停止状態のうちのいずれであるかを推定することを特徴とする付記２又は３に記載の画像評価装置。
［付記５］
前記行動推定手段は、前記人物が前後方向に平行移動している状態を推定することを特徴とする付記４に記載の画像評価装置。
［付記６］
前記補正手段は、推定された前記平行移動の状態に応じた係数により、前記取得されたぶれ度合いを補正することを特徴とする２から５のいずれか１つに記載の画像評価装置。
［付記７］
撮影された複数の画像から、前記補正手段により補正されたぶれ度合による評価に基づき、画像を選択する選択手段を、更に備えることを特徴とする付記１から５のいずれか１つに記載の画像評価装置。
［付記８］
画像評価装置で実行される画像評価方法であって、
人物によって保持される撮像手段により画像を撮影された際の、略平行移動している前記人物の行動に基づく当該撮像手段のぶれ度合いを取得するぶれ取得処理と、
前記ぶれ取得処理により取得された前記ぶれ度合いを、略平行移動している前記人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する補正処理と、
を含むことを特徴とする画像評価方法。
［付記９］
画像評価装置を制御するコンピュータに、
人物によって保持される撮像手段により画像を撮影された際の、略平行移動している前記人物の行動に基づく当該撮像手段のぶれ度合いを取得するぶれ取得機能と、
前記ぶれ取得機能により取得された前記ぶれ度合いを、略平行移動している前記人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する補正機能と、
を実現させることを特徴とするプログラム。
Hereinafter, the invention described in the claims at the time of filing the application of the present application is additionally described.
[Appendix 1]
When an image is captured by an imaging unit held by a person, a shake obtaining unit that obtains a degree of shake of the imaging unit based on the behavior of the person that is moving substantially in parallel,
Correction means for correcting the degree of blur acquired by the blur acquisition means, to a degree of blur for evaluating a captured image, in accordance with the behavior of the person moving substantially in parallel,
An image evaluation device, comprising:
[Appendix 2]
Further comprising an action estimating means for estimating the state of the translation of the person holding the imaging means,
2. The image evaluation device according to claim 1, wherein the correction unit corrects the obtained degree of blur according to a state of the parallel movement estimated by the behavior estimation unit.
[Appendix 3]
The image capturing unit further includes an acceleration obtaining unit configured to obtain an acceleration at which the imaging unit moves.
3. The image evaluation device according to claim 2, wherein the behavior estimation unit estimates the state of the parallel movement based on the acceleration acquired by the acceleration acquisition unit.
[Appendix 4]
4. The image evaluation device according to claim 2, wherein the action estimating unit estimates whether the state of the parallel movement is a walking or running state or a stopped state.
[Appendix 5]
5. The image evaluation device according to claim 4, wherein the action estimating unit estimates a state in which the person is moving in the front-rear direction.
[Appendix 6]
The image evaluation device according to any one of claims 2 to 5, wherein the correction unit corrects the obtained degree of blurring using a coefficient corresponding to the estimated state of the parallel movement.
[Appendix 7]
The image according to any one of supplementary notes 1 to 5, further comprising: a selection unit that selects an image from a plurality of captured images based on the evaluation based on the degree of blur corrected by the correction unit. Evaluation device.
[Appendix 8]
An image evaluation method executed by the image evaluation device,
When an image is captured by an imaging unit held by a person, a blur acquisition process of acquiring a degree of blur of the imaging unit based on the behavior of the person moving substantially in parallel,
A correction process of correcting the blur degree acquired by the blur acquisition process to a blur degree for evaluating a captured image, in accordance with the behavior of the person moving substantially in parallel,
An image evaluation method comprising:
[Appendix 9]
A computer that controls the image evaluation device
When an image is captured by an imaging unit held by a person, a blur acquisition function for acquiring a degree of blurring of the imaging unit based on the behavior of the person that is moving substantially in parallel,
A correction function that corrects the blur degree acquired by the blur acquisition function to a blur degree for evaluating a captured image, in accordance with the behavior of the person who is moving substantially in parallel,
A program characterized by realizing.
１・・・撮影装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・モード設定部，５２・・・候補画像取得部，５３・・・付帯情報取得部，５４・・・付帯情報評価部，５５・・・画像内容評価部，５６・・・総合評価部，５７・・・画像生成部，７１・・・画像記憶部 DESCRIPTION OF SYMBOLS 1 ... Photographing apparatus, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input / output interface, 16 ... Imaging part, 17 ... Sensor unit, 18 input unit, 19 output unit, 20 storage unit, 21 communication unit, 22 drive, 31 removable media, 51 mode setting , 52 ... candidate image acquisition unit, 53 ... incidental information acquisition unit, 54 ... incidental information evaluation unit, 55 ... image content evaluation unit, 56 ... comprehensive evaluation unit, 57 ... Image generation unit, 71 ... Image storage unit
Claims (8)
前記ぶれ取得手段により取得された前記ぶれ度合いを、略平行移動している前記人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する補正手段と、
を備えることを特徴とする画像評価装置。 When an image is captured by an imaging unit held by a person, a shake obtaining unit that obtains a degree of shake of the imaging unit based on the behavior of the person that is moving substantially in parallel,
Correction means for correcting the degree of blur acquired by the blur acquisition means, to a degree of blur for evaluating a captured image, in accordance with the behavior of the person moving substantially in parallel,
An image evaluation device, comprising:
前記補正手段は、前記行動推定手段により推定された平行移動の状態に応じて、前記取得されたぶれ度合いを補正することを特徴とする請求項１に記載の画像評価装置。 Further comprising an action estimating means for estimating the state of the translation of the person holding the imaging means,
The apparatus according to claim 1, wherein the correction unit corrects the obtained degree of blur according to a state of the parallel movement estimated by the action estimation unit.
前記行動推定手段は、前記加速度取得手段により取得された加速度に基づき、前記平行移動の状態を推定する請求項２に記載の画像評価装置。 The image capturing unit further includes an acceleration obtaining unit configured to obtain an acceleration at which the imaging unit moves.
The image evaluation device according to claim 2, wherein the behavior estimating unit estimates the state of the parallel movement based on the acceleration acquired by the acceleration acquiring unit.
人物によって保持される撮像手段により画像を撮影された際の、略平行移動している前記人物の行動に基づく当該撮像手段のぶれ度合いを取得するぶれ取得処理と、
前記ぶれ取得処理により取得された前記ぶれ度合いを、略平行移動している前記人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する補正処理と、
を含むことを特徴とする画像評価方法。 An image evaluation method executed by the image evaluation device,
When an image is captured by an imaging unit held by a person, a blur acquisition process of acquiring a degree of blur of the imaging unit based on the behavior of the person moving substantially in parallel,
A correction process of correcting the blur degree acquired by the blur acquisition process to a blur degree for evaluating a captured image, in accordance with the behavior of the person moving substantially in parallel,
An image evaluation method comprising:
人物によって保持される撮像手段により画像を撮影された際の、略平行移動している前記人物の行動に基づく当該撮像手段のぶれ度合いを取得するぶれ取得機能と、
前記ぶれ取得機能により取得された前記ぶれ度合いを、略平行移動している前記人物の行動に応じて、撮影された画像を評価するためのぶれ度合いに補正する補正機能と、
を実現させることを特徴とするプログラム。 A computer that controls the image evaluation device
When an image is captured by an imaging unit held by a person, a blur acquisition function for acquiring a degree of blurring of the imaging unit based on the behavior of the person that is moving substantially in parallel,
A correction function that corrects the blur degree acquired by the blur acquisition function to a blur degree for evaluating a captured image, in accordance with the behavior of the person who is moving substantially in parallel,
A program characterized by realizing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015226130A JP6631190B2 (en) | 2015-11-18 | 2015-11-18 | Image evaluation device, image evaluation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015226130A JP6631190B2 (en) | 2015-11-18 | 2015-11-18 | Image evaluation device, image evaluation method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017098636A JP2017098636A (en) | 2017-06-01 |
| JP6631190B2 true JP6631190B2 (en) | 2020-01-15 |
Family
ID=58817300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015226130A Active JP6631190B2 (en) | 2015-11-18 | 2015-11-18 | Image evaluation device, image evaluation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6631190B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022215182A1 (en) * | 2021-04-07 | 2022-10-13 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7001214B1 (en) * | 2020-07-15 | 2022-01-19 | 日本製鉄株式会社 | Manufacturing method of pre-coated metal plate, burn prevention cover and pre-coated metal plate |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238098A (en) * | 2005-02-25 | 2006-09-07 | Seiko Epson Corp | Apparatus of imaging still image |
| JP2010177894A (en) * | 2009-01-28 | 2010-08-12 | Sony Corp | Imaging apparatus, image management apparatus, image management method, and computer program |
| JP5540762B2 (en) * | 2010-01-28 | 2014-07-02 | パナソニック株式会社 | Imaging device, image display device, and image display program |
| JP5888272B2 (en) * | 2013-03-13 | 2016-03-16 | カシオ計算機株式会社 | Imaging apparatus, imaging control method, and program |
| JP2015068973A (en) * | 2013-09-27 | 2015-04-13 | カシオ計算機株式会社 | Imaging control device, imaging control method, and program |
| JP2015084461A (en) * | 2013-10-25 | 2015-04-30 | キヤノン株式会社 | Video processing device and method for controlling the same |
| JP2015119323A (en) * | 2013-12-18 | 2015-06-25 | カシオ計算機株式会社 | Imaging apparatus, image acquiring method and program |
-
2015
- 2015-11-18 JP JP2015226130A patent/JP6631190B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022215182A1 (en) * | 2021-04-07 | 2022-10-13 | ||
| WO2022215182A1 (en) * | 2021-04-07 | 2022-10-13 | 三菱電機株式会社 | Road surface information collecting device, road surface deterioration detecting system, and road surface information collecting method |
| JP7433517B2 (en) | 2021-04-07 | 2024-02-19 | 三菱電機株式会社 | Road surface information collection device, road surface deterioration detection system, and road surface information collection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017098636A (en) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9491360B2 (en) | Reference frame selection for still image stabilization | |
| US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| WO2013031102A1 (en) | Image processing device, image capture device, and image processing method | |
| US11818466B2 (en) | Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium | |
| JP6700831B2 (en) | Image processing device, imaging device, image processing method, and program | |
| US8941763B2 (en) | Image capture device, method for generating composite image, and storage medium | |
| JP5811654B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2015119323A (en) | Imaging apparatus, image acquiring method and program | |
| JP6631190B2 (en) | Image evaluation device, image evaluation method, and program | |
| JP6332212B2 (en) | Posture estimation apparatus, posture estimation method, and program | |
| KR101783990B1 (en) | Digital image processing apparatus and, method for estimating global motion of image | |
| JP6668700B2 (en) | Imaging device, image evaluation method, and program | |
| JP2017098634A (en) | Image evaluation device, image evaluation method, and program | |
| JP2017097218A5 (en) | ||
| JP6210106B2 (en) | Imaging apparatus, image evaluation method, and program | |
| JP2019083580A (en) | Image processing apparatus, image processing method, and program | |
| JP6660010B2 (en) | Measuring device, measuring method and program | |
| JP2009088884A (en) | Method and device for detecting motion vector in picked-up data | |
| JP6521133B2 (en) | Imaging control apparatus, imaging control method, and program | |
| JP2007306436A (en) | Imaging apparatus | |
| JP5868197B2 (en) | Noise reduction apparatus and control method thereof | |
| JP5884759B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2012085205A (en) | Image processing apparatus, imaging device, image processing method, and image processing program | |
| JP2017098637A (en) | Image specification apparatus, image specification method and program | |
| JP6720509B2 (en) | Image evaluation apparatus, image evaluation method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6631190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |