JP6701677B2 - 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム - Google Patents
撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム Download PDFInfo
- Publication number
- JP6701677B2 JP6701677B2 JP2015221847A JP2015221847A JP6701677B2 JP 6701677 B2 JP6701677 B2 JP 6701677B2 JP 2015221847 A JP2015221847 A JP 2015221847A JP 2015221847 A JP2015221847 A JP 2015221847A JP 6701677 B2 JP6701677 B2 JP 6701677B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- state
- image pickup
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims description 246
- 238000003384 imaging method Methods 0.000 title claims description 100
- 238000001514 detection method Methods 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 23
- 238000012854 evaluation process Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
撮像ユニットと、前記撮像ユニットと着脱自在に構成された制御ユニットとを備えた撮像装置であって、
複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出手段と、
前記複数の画像内における動体の状態を検出する動体状態検出手段と、
前記撮像ユニットと前記制御ユニットとが一体となっている場合に、前記撮像装置による定点撮影であると判定する判定手段と、
前記判定手段の判定結果と、前記装置状態検出手段により検出された前記撮像装置の状態と、前記動体状態検出手段により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価手段と、
を備えたことを特徴としている。
図1(a)及び図1(b)に示すように、本実施形態の撮像装置100は、着脱自在に構成された撮像ユニット1と制御ユニット2とを備え、これら撮像ユニット1と制御ユニット2とが所定の無線通信回線を介して無線通信を行う。すなわち、撮像装置100は、撮像ユニット1と制御ユニット2とを組み合わせた合体状態(図1(a)参照)や、撮像ユニット1と制御ユニット2とを分離させた分離状態(図1(b)参照)で使用可能となっている。
着脱機構3は、例えば、撮像ユニット1の筐体1Aの一端に設けられた金属製のプレート31と、制御ユニット2の筐体の一面側(図1(a)及び図1(b)における下面側)に設けられた着脱用スリット(図示略)とを有している。そして、着脱用スリット内にプレート31が差し込まれ、図示しないロック機構によりロックされることで、撮像ユニット1と制御ユニット2とが分離不可の状態に組み合わされる(図1(a)参照)。
また、制御ユニット2の筐体2Aの側面に設けられた接続解除ボタン32が押されることで、ロックが解除され、撮像ユニット1と制御ユニット2とを分離可能な状態となる(図1(b)参照)。
図2は、撮像ユニット1の概略構成を示すブロック図である。
また、中央制御部101、メモリ102、撮像部103、信号処理部104、動き検出部105、無線制御部106は、バスライン108を介して接続されている。
電子撮像部103bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサ(撮像素子)から構成され、レンズ部103aの各種レンズを通過した光学像を二次元の画像信号に変換する。
また、撮像制御部103cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の制御を行う。
また、信号処理部104は、生成された各フレーム画像の画像データを無線制御部106に出力する。
3軸角速度センサ105aは、例えば、撮像ユニット1の互いに直交する3軸(ロール軸、ピッチ軸及びヨー軸)を中心とする回動の角速度をそれぞれ検出する。そして、動き検出部105は、例えば、被写体の撮影の際等に、3軸角速度センサ105aにより逐次検出された信号を角速度情報として無線制御部106に出力する。
3軸加速度センサ105bは、例えば、撮像ユニット1の互いに直交する3軸方向の加速度をそれぞれ検出する。そして、動き検出部105は、例えば、被写体の撮影の際等に、3軸加速度センサ105bにより逐次検出された信号を加速度情報として無線制御部106に出力する。
すなわち、無線制御部106は、例えば、通信アンテナ106aを介して制御ユニット2との間でBluetooth(登録商標)の通信規格に基づく無線通信を行うための制御モジュール(図示略)を具備している。この無線制御部106は、例えば、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータを無線信号により制御ユニット2と交換する。これにより、その後、通信設定処理を毎回行わなくとも、例えば、撮像ユニット1と制御ユニット2とが電波が届かない範囲に離れれば通信接続が解除される一方で、電波が届く範囲に近づけば自動的に通信接続される。
また、無線制御部106は、動き検出部105から出力されて入力された角速度情報及び加速度情報を通信アンテナ106aを介して制御ユニット2に送信する。このとき、無線制御部106は、画像データと角速度情報及び加速度情報とを対応付けて制御ユニット2に送信しても良い。
そして、ユーザにより各種ボタンが操作されると、操作入力部107は、操作されたボタンに応じた操作指示を中央制御部101に出力する。中央制御部101は、操作入力部107から出力され入力された操作指示に従って所定の動作を各部に実行させる。
図3は、制御ユニット2の概略構成を示すブロック図である。
また、中央制御部201、メモリ202、無線制御部203、表示部204、画像記録部205及び評価制御部206は、バスライン208を介して接続されている。
すなわち、無線制御部203は、上記撮像ユニット1の無線制御部106と略同様の構成をなし、例えば、通信アンテナ203aを介して撮像ユニット1との間でBluetoothの通信規格に基づく無線通信を行うための制御モジュール(図示略)を具備している。
具体的には、無線制御部203は、撮像ユニット1から送信された各フレーム画像の画像データを通信アンテナ203aを介して受信する。また、無線制御部203は、撮像ユニット1から送信された角速度情報及び加速度情報を通信アンテナ203aを介して受信する。
また、無線制御部203は、受信した画像データや角速度情報や加速度情報をメモリ202に出力しても良く、当該メモリ202は、画像データや角速度情報や加速度情報を一時的に格納する。
すなわち、表示部204は、静止画像や動画像の撮影モードにて、撮像ユニット1による被写体の撮影により生成された複数のフレーム画像を表示パネル204aに表示する。具体的には、表示部204は、撮像ユニット1から送信されて無線制御部203により受信された複数のフレーム画像の画像データをメモリ202から取得し、所定の再生フレームレートで逐次更新しながら表示パネル204aの表示画面に表示する。
なお、表示パネル204aは、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネル等から構成されているが、一例であってこれらに限られるものではない。
なお、画像記録部205は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
なお、評価制御部206の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
ここで、複数の画像I、…は、被写体が連続して撮影されたものであれば良く、動画像であっても良いし、所定の撮影時間間隔を空けてインターバル撮影されたものであっても良い。
すなわち、画像取得部206aは、撮像ユニット1により被写体が連続して撮影された複数の画像I、…を取得する。具体的には、画像取得部206aは、撮像ユニット1から送信されて無線制御部203により受信された複数のフレーム画像の画像データの複製をメモリ202から取得する。例えば、画像取得部206aは、画角外から動体であるサッカーボール(被写体)が画角内に移動してきて、地面で跳ねて画角から外れるという状態を撮影した五枚の画像I1〜I5を取得する。
なお、画像評価処理の処理対象を画像記録部205に記録されている複数の静止画像とする場合には、画像取得部206aは、画像記録部205から読み出され復号された複数の静止画像の画像データの複製を取得しても良い。
すなわち、定点撮影判定部206bは、画像評価処理の際に、処理対象となる複数の画像I、…を撮影した際の撮像装置100の撮影状況が、当該撮像装置100による定点撮影であるか否かを判定する。具体的には、定点撮影判定部206bは、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…の各々と対応付けられている角速度情報(例えば、ロール軸回りの角速度等)に基づいて、複数の画像I、…を撮影した際の撮像装置100のブレ量をそれぞれ算出する。例えば、定点撮影が行われる場合、撮像装置100が三脚等に固定された状態となるため、当該撮像装置100自体にブレは生じないと考えられる。
そして、定点撮影判定部206bは、算出された撮像装置100のブレ量に基づいて、定点撮影であるか否かを判定する。
すなわち、装置評価部206cは、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…を連続して撮影した際の撮像装置100の状態を評価する。具体的には、装置評価部206cは、装置ブレ評価部c1と、姿勢評価部c2とを具備している。
すなわち、装置ブレ評価部c1は、複数の画像I、…間での特徴点のずれ量を撮像装置100のブレ量として検出する。具体的には、装置ブレ評価部c1は、複数の画像I、…の各々に対して特徴抽出処理を行い、複数の画像I、…のうちの、何れか一の画像(例えば、一枚目の画像I1等)を基準画像として、当該基準画像から所定数の特徴の高いブロック領域(特徴点)を選択し、当該ブロックの内容をテンプレートとして検出する。また、装置ブレ評価部c1は、複数の画像I、…のうちの、基準画像以外の画像(例えば、二枚目の画像I2等)内にて各テンプレートがどこに対応するか、つまり、テンプレートの画素値が最適にマッチする位置(対応領域)をそれぞれ探索する探索処理を行う。そして、装置ブレ評価部c1は、例えば、複数の画像I、…を撮影した撮像ユニット1の撮像部103の撮像素子の画素ピッチ、露光時間、焦点距離等に基づいて、複数の画像I、…間での特徴点のずれ量を撮像素子の画素数に換算して、撮像装置100のブレ量として検出する。
また、装置ブレ評価部c1は、検出された撮像装置100のブレ量が大きくなるほど評価が低く(悪く)なるように、撮像装置100のブレ量を所定数の段階(例えば、5段階等)で評価する。例えば、撮像素子の有効画素数を1200万画素とした場合、装置ブレ評価部c1は、1画素のズレが生じていないと「100点」、1画素のズレが生じていると「80点」、2画素のズレが生じていると「60点」、3画素のズレが生じていると「40点」、4画素のズレが生じていると「20点」、5画素以上のズレが生じていると「0点」とする評価付けを行う。
そして、装置ブレ評価部c1は、複数の画像I、…の各々についての評価の結果(点数)を「装置ブレスコア」として画像評価部206eに出力する。
また、装置ブレ評価部c1は、複数の画像I、…を連続して撮影した際の撮像装置100の角速度情報に基づいて当該撮像装置100のブレ量を検出しても良い。ここでの判定の具体的な手法は、上記した定点撮影判定部206bによる判定手法を援用しても良い。
すなわち、姿勢評価部c2は、複数の画像I、…を撮影した際の撮像装置100の水平度に基づいて撮像装置100の姿勢を検出する。具体的には、姿勢評価部c2は、複数の画像I、…の各々と対応付けられている加速度情報に基づいて、複数の画像I、…を撮影した際の撮像装置100の重力方向に対する傾きをそれぞれ算出する。そして、姿勢評価部c2は、算出された撮像装置100の重力方向に対する傾きから当該撮像装置100の水平度を撮像装置100の姿勢として検出する。
撮像装置100の水平度とは、当該撮像装置100の構え方(例えば、横持ちや縦持ち等)に拘わらず、ピッチ軸の延在方向が重力方向と直交する状態を水平として、最も水平度が高く(良く)なる。また、ピッチ軸の延在方向が重力方向に対して45°傾いた状態が最も水平度が低く(悪く)なる。
例えば、姿勢評価部c2は、検出された撮像装置100の姿勢が水平に近いほど評価が高くなり、ピッチ軸の延在方向と重力方向とのなす角度が45°に近いほど評価が低くなるように、撮像装置100の姿勢を45°の範囲内で連続的に評価する。具体的には、姿勢評価部c2は、撮像装置100の姿勢が水平であると「100点」、ピッチ軸の延在方向と重力方向とのなす角度が45°であると「0点」、ピッチ軸の延在方向と重力方向とのなす角度に応じて「99点」〜「1点」とする評価付けを行う。
そして、姿勢評価部c2は、複数の画像I、…の各々についての評価の結果(点数)を「装置姿勢スコア」として画像評価部206eに出力する。
すなわち、動体評価部206dは、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…間にて移動する被写体(動体;例えば、サッカーボール等)の状態を評価する。具体的には、動体評価部206dは、動体検出評価部d1と、被写体ブレ評価部d2とを具備している。
すなわち、動体検出評価部d1は、複数の画像I、…間での差分情報に基づいて動体の検出を行い、この動体の検出結果に基づいて動体の状態を評価する。具体的には、動体検出評価部d1は、複数の画像I、…の各々を対象画像(例えば、一枚目の画像I1等)とし、対象画像の各々について総当たりで比較画像(対象画像自体を含む)との間で対応する画素どうしの差分の絶対値から差分絶対値画像Dをそれぞれ生成する。そして、動体検出評価部d1は、対象画像の各々について、生成された差分絶対値画像Dの画素値の総和を差分絶対値和としてそれぞれ算出する。
つまり、移動する被写体を撮影した場合、被写体が写っている画像を対象画像とすると、差分絶対値和の値が大きくなり、一方、被写体が写っていない画像を対象画像とすると、差分絶対値和の値が小さくなる。例えば、動体であるサッカーボールが写っている画像(例えば、二枚目から四枚目の画像I2〜I4等)では、差分絶対値和の値が大きくなり、サッカーボールが写っていない画像(例えば、一枚目の画像I1や五枚目の画像I5等)では、差分絶対値和の値が小さくなる。
また、動体検出評価部d1は、対象画像の各々について算出された差分絶対値和を「0」〜「100」の範囲の値で正規化し、正規化後の値を評価の結果(「動体検出スコア」)として画像評価部206eに出力する。
すなわち、被写体ブレ評価部d2は、複数の画像I、…間での差分領域における対象画像のエッジ情報に基づいて被写体のブレ量を検出し、検出された被写体のブレ量に基づいて動体の状態を評価する。具体的には、被写体ブレ評価部d2は、複数の画像I、…の各々を対象画像(例えば、一枚目の画像I1等)とし、対象画像の各々に対してエッジ検出処理を施してエッジ画像E(例えば、五枚のエッジ画像E1〜E5等)をそれぞれ生成する。また、被写体ブレ評価部d2は、対象画像の各々について、動体検出評価部d1により生成された比較画像(対象画像自体を含む)の各々との間の差分絶対値画像Dを取得し、取得された差分絶対値画像Dを所定の閾値で二値化した二値化画像Bをそれぞれ生成する。そして、被写体ブレ評価部d2は、生成された二値化画像Bの各々をマスク処理用の画像として、対象画像の各々についてマスクされていない領域(図中の白抜き部分)内のエッジ強度をそれぞれ算出する。そして、被写体ブレ評価部d2は、対象画像の各々について、算出されたエッジ強度の総和をエッジ強度和としてそれぞれ算出する。
つまり、移動する被写体を撮影した場合、被写体が鮮明に写っている画像を対象画像とすると、エッジ強度和の値が大きくなり、一方、被写体がブレて写っている画像や全く写っていない画像を対象画像とすると、エッジ強度和の値が小さくなる。例えば、動体であるサッカーボールが鮮明に写っている画像(例えば、三枚目の画像I3等)では、エッジ強度和の値が最も大きくなり、サッカーボールが全く写っていない画像(例えば、一枚目の画像I1や五枚目の画像I5等)では、エッジ強度和の値が最も小さくなり、サッカーボールがブレて写っている画像(例えば、二枚目の画像I2や四枚目の画像I4等)では、エッジ強度和の値が上記した値の中間程度となる。
また、被写体ブレ評価部d2は、対象画像の各々について算出されたエッジ強度和を「0」〜「100」の範囲の値で正規化し、正規化後の値を評価の結果(「被写体ブレスコア」)として画像評価部206eに出力する。
すなわち、画像評価部206eは、装置評価部206cにより評価された撮像装置100の状態と、動体評価部206dにより評価された動体の状態とを統合して、複数の画像I、…を評価する。ここで、画像評価部206eは、定点撮影判定部206bにより定点撮影であると判定された場合に、上記のように、撮像装置100の状態と動体の状態とを統合して複数の画像I、…の評価を行っても良い。
そして、画像評価部206eは、複数の画像I、…の各々について、下記式(1)に従って「画像スコア」をそれぞれ算出する。
画像スコア=装置ブレスコア+装置姿勢スコア+動体スコア×f …式(1)
なお、上記式において、「f」は、撮像装置100のブレ量等に応じて規定される係数であるが、例えば、定点撮影判定部206bによる定点撮影であるか否かの判定結果に応じて簡易的に「0」或いは「1」を用いても良い。つまり、撮像装置100による定点撮影である場合には、撮像装置100にブレが生じない状態であると考えられるため、「f」の値を「1」とし、定点撮影でない場合には、撮像装置100にブレが生じ得る状態であると考えられるため、「f」の値を「0」とする。
上記式(1)によれば、定点撮影である場合には、「装置ブレスコア」や「装置姿勢スコア」自体に変化がほとんどないため、「動体検出スコア」が高くなる被写体(動体)が写っている画像で、且つ、「被写体ブレスコア」が高くなる被写体(動体)が鮮明に写っている画像(例えば、三枚目の画像I3等)の「画像スコア」が高くなる。また、定点撮影でない場合には、複数の画像I、…からの動体の検出自体が不可能となるため、「動体スコア」は重視されず、「装置ブレスコア」や「装置姿勢スコア」に応じて「画像スコア」が高くなる。
すなわち、画像選択部206fは、画像評価部206eによる評価の結果に基づいて、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…の中から、画像評価部206eにより算出された「画像スコア」の最も高かった一の画像(例えば、三枚目の画像I3)や、「画像スコア」が所定の閾値以上となった所定数の画像を選択する。
そして、ユーザにより各種ボタンが操作されると、操作入力部207は、操作されたボタンに応じた操作指示を中央制御部201に出力する。中央制御部201は、操作入力部207から出力され入力された操作指示に従って所定の動作を各部に実行させる。
次に、本実施形態の撮像装置100による画像評価処理について、図4〜図8を参照して説明する。
図4は、画像評価処理に係る動作の一例を示すフローチャートである。また、図5(a)〜図5(e)は、画像評価処理に係る複数の画像I、…の一例を模式的に示す図である。
続けて、定点撮影判定部206bは、画像評価処理の処理対象として取得された複数の画像I、…を撮影した際の撮像装置100の撮影状況が、当該撮像装置100による定点撮影であるか否かを特定する(ステップS5)。具体的には、定点撮影判定部206bは、例えば、五枚の画像I1〜I5の各々と対応付けられている角速度情報に基づいて撮像装置100のブレ量をそれぞれ算出し、算出された撮像装置100のブレ量に基づいて、定点撮影であるか否かを判定する。
そして、定点撮影判定部206bは、定点撮影であるか否かの判定結果を画像評価部206eに出力する。
続けて、装置評価部206cの姿勢評価部c2は、複数の画像I、…の各々について、撮像装置100の姿勢に基づいて当該撮像装置100の状態を評価する(ステップS7)。具体的には、姿勢評価部c2は、例えば、五枚の画像I1〜I5の各々について、各画像Iと対応付けられている加速度情報に基づいて撮像装置100の重力方向に対する傾きをそれぞれ算出し、撮像装置100の水平度を撮像装置100の姿勢として検出する。そして、姿勢評価部c2は、検出された姿勢(水平度)に応じた評価の結果(点数)を「装置姿勢スコア」として画像評価部206eに出力する。
以下に、動体評価処理について、図6〜図8を参照して詳細に説明する。
図6は、動体評価処理に係る動作の一例を示すフローチャートである。また、図7は、動体評価処理における動体検出評価処理を説明するための図であり、図8は、動体評価処理における被写体ブレ評価処理を説明するための図である。
そして、動体評価部206dの動体検出評価部d1は、対象画像について総当たりで比較画像(例えば、五枚の画像I1〜I5等)との間での差分絶対値画像Dをそれぞれ生成する(ステップS22;図7参照)。続けて、動体検出評価部d1は、対象画像について、生成された差分絶対値画像Dの画素値の総和を差分絶対値和として算出する(ステップS23)。なお、算出された差分絶対値和の値は、所定の格納手段(例えば、メモリ202等)に一時的に格納されても良い。
続けて、被写体ブレ評価部d2は、対象画像について、動体検出評価部d1により生成された比較画像の各々との間の差分絶対値画像Dを所定の閾値で二値化して二値化画像Bをそれぞれ生成する(ステップS25)。
そして、被写体ブレ評価部d2は、生成された二値化画像Bの各々をマスク処理用の画像として、対象画像についてマスクされていない領域内のエッジ強度をそれぞれ算出し(ステップS26)、算出されたエッジ強度の総和をエッジ強度和として算出する(ステップS27)。なお、算出されたエッジ強度和の値は、所定の格納手段(例えば、メモリ202等)に一時的に格納されても良い。
ここで、全ての画像を画像評価処理の処理対象として処理していないと判定されると(ステップS28;NO)、動体評価部206dは、複数の画像I、…(例えば、五枚の画像I1〜I5等)の中で、次の画像(例えば、二枚目の画像I2等)を対象画像として指定する(ステップS29)。そして、動体評価部206dは、処理をステップS22に戻し、新たに対象画像として指定された画像について、ステップS22以降の各処理を実行する。すなわち、新たに対象画像として指定された画像について、動体検出評価部d1は、差分絶対値和を算出し(ステップS22、S23)、被写体ブレ評価部d2は、エッジ強度和を算出する(ステップS24〜S27)。
具体的には、画像評価部206eは、複数の画像I、…の各々について、動体検出評価部d1から出力された「動体検出スコア」と、被写体ブレ評価部d2から出力された「被写体ブレスコア」とを取得して加算し、「動体スコア」とする。また、画像評価部206eは、複数の画像I、…の各々について、装置ブレ評価部c1から出力された「装置ブレスコア」と、姿勢評価部c2から出力された「装置姿勢スコア」を取得する。そして、画像評価部206eは、複数の画像I、…の各々について、「装置ブレスコア」、「装置姿勢スコア」及び「動体スコア」(「動体検出スコア」及び「被写体ブレスコア」)に基づいて、上記式(1)に従って「画像スコア」をそれぞれ算出する。
なお、選択された画像の画像データは、表示部204に転送されて表示パネル204aに表示されても良いし、画像記録部205に転送されて記録されても良い。
従って、複数の画像I、…を撮影した際の撮影状況を考慮して、動体が撮影された複数の画像I、…の評価を適正に行うことができる。さらに、当該複数の画像I、…の評価の結果に基づいて、複数の画像複数の画像I、…の中からの画像の選択を適正に行うことができる。
従って、撮像装置100による定点撮影であるか否かに拘わらず、撮像装置100のブレ量や撮像装置100の姿勢を利用することで、撮像装置100の状態の評価を適正に行うことができる。
例えば、上記実施形態にあっては、定点撮影であるか否かの判定を、複数の画像I、…を撮影した際の撮像装置100のブレ量を基準として行うようにしたが、一例であってこれに限られるものではなく、例えば、撮像ユニット1と制御ユニット2とが一体となっている場合には、撮像装置100による定点撮影であると判定しても良い。
すなわち、例えば、撮像ユニット1と制御ユニット2の分離状態では、撮像ユニット1をユーザの身体等に装着した状態での撮影が想定されることから、撮像ユニット1と制御ユニット2とを組み合わせた合体状態では、定点撮影判定部206bは、撮像装置100のブレ量を判定することなく、定点撮影であると判断する。撮像ユニット1と制御ユニット2が合体状態であるか分離状態であるかの判断は、例えば、着脱用スリット内に差し込まれたプレート31がロックされている状態であるか否かに応じて行っても良い。
これにより、例えば、定点撮影のように撮像装置100が固定されている状態、すなわち、撮像装置100のブレ量や水平度といった状態に基づく評価が困難な状況で撮影された複数の画像I、…であっても、画像I内での動体の状態を考慮して当該画像Iの評価を行うことができる。従って、上記実施形態と同様に、複数の画像I、…を撮影した際の撮影状況を考慮して、動体が撮影された複数の画像I、…の評価を適正に行うことができる。
また、撮像ユニット1及び制御ユニット2の構成は、一例であってこれらに限られるものではない。すなわち、撮像ユニット1及び制御ユニット2は、例えば、互いに対応する専用の装置である必要はなく、例えば、撮像ユニット1は、撮像機能を具備するものであれば、デジタルカメラや携帯電話やスマートフォンやPDA(Personal Data Assistants)等から構成されても良いし、また、制御ユニット2は、少なくとも撮像ユニット1により撮像された画像データ等を取得可能なものであれば、上記と同様に、携帯電話やスマートフォンやPDA等から構成されても良い。
また、撮像ユニット1は、所定の圧縮形式(例えば、JPEG形式等)で符号化した記録用の画像データを画像記録部(図示略)に記録するように構成され、制御ユニット2による画像評価が行われる際に、必要に応じて画像データを制御ユニット2に送信するようにしても良い。
さらに、撮像ユニット1と制御ユニット2とが無線通信を行うようにしたが、一例であってこれに限られるものではなく、例えば、有線で接続して通信を行っても良い。
すなわち、プログラムを記録するプログラムメモリ(図示略)に、装置状態検出処理ルーチン、動体状態検出処理ルーチン、画像評価処理ルーチンを含むプログラムを記録しておく。そして、装置状態検出処理ルーチンにより中央制御部201のCPUを、複数の画像I、…を連続して撮影した際の撮像装置100の状態を検出する手段として機能させるようにしても良い。また、動体状態検出処理ルーチンにより中央制御部201のCPUを、複数の画像I、…内における動体の状態を検出する手段として機能させるようにしても良い。また、画像評価処理ルーチンにより中央制御部201のCPUを、検出された撮像装置100の状態及び動体の状態に基づいて、複数の画像I、…を評価する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出手段と、
前記複数の画像内における動体の状態を検出する動体状態検出手段と、
前記装置状態検出手段により検出された前記撮像装置の状態と、前記動体状態検出手段により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価手段と、
を備えたことを特徴とする画像評価装置。
<請求項2>
前記装置状態検出手段により検出された前記撮像装置の状態を評価する装置評価手段と、
前記動体状態検出手段により検出された前記動体の状態を評価する動体評価手段と、
を更に備え、
前記画像評価手段は、前記装置評価手段による前記撮像装置の状態の評価結果と、前記動体評価手段による前記動体の状態の評価結果とに基づいて、前記複数の画像を評価することを特徴とする請求項1に記載の画像評価装置。
<請求項3>
前記撮像装置による定点撮影であるか否かを判定する判定手段を、更に備え、
前記画像評価手段は、前記判定手段により定点撮影であると判定された場合に、前記動体状態検出手段による前記動体の状態に基づいて、前記複数の画像を評価することを特徴とする請求項2に記載の画像評価装置。
<請求項4>
前記判定手段は、前記複数の画像を撮影する際に前記装置状態検出手段により検出される前記撮像装置のブレ量に基づいて、定点撮影であるか否かを判定することを特徴とする請求項3に記載の画像評価装置。
<請求項5>
前記撮像装置は、撮像部を備える撮像ユニットと、前記撮像ユニットと着脱自在に構成された制御ユニットとを備え、
前記判定手段は、前記撮像ユニットと前記制御ユニットとが一体となっている場合に、前記撮像装置による定点撮影であると判定することを特徴とする請求項3に記載の画像評価装置。
<請求項6>
前記動体評価手段は、
前記動体の検出結果に基づいて当該動体の状態を評価する動体検出評価手段と、
前記複数の画像内での被写体のブレ量に基づいて前記動体の状態を評価する被写体ブレ評価手段と、を有することを特徴とする請求項2〜5の何れか一項に記載の画像評価装置。
<請求項7>
前記動体検出評価手段は、前記複数の画像間での差分情報に基づいて前記動体の検出を行い、前記動体の検出結果に基づいて前記動体の状態を評価することを特徴とする請求項6に記載の画像評価装置。
<請求項8>
前記被写体ブレ評価手段は、前記複数の画像間での差分領域における対象画像のエッジ情報に基づいて前記被写体のブレ量を検出し、検出された前記被写体のブレ量に基づいて前記動体の状態を評価することを特徴とする請求項7に記載の画像評価装置。
<請求項9>
前記装置評価手段は、
前記複数の画像を撮影した際の前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価する装置ブレ評価手段と、
前記複数の画像を撮影した際の前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価する姿勢評価手段と、を有することを特徴とする請求項2〜8の何れか一項に記載の画像評価装置。
<請求項10>
前記装置ブレ評価手段は、前記複数の画像間での特徴点のずれ量を前記撮像装置のブレ量として検出するか、或いは、前記撮像装置の角速度に基づいて前記撮像装置のブレ量を検出し、検出された前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価することを特徴とする請求項9に記載の画像評価装置。
<請求項11>
前記姿勢評価手段は、前記複数の画像を撮影した際の前記撮像装置の水平度に基づいて前記撮像装置の姿勢を検出し、検出された前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価することを特徴とする請求項9に記載の画像評価装置。
<請求項12>
前記画像評価手段による評価の結果に基づいて、前記複数の画像の中から画像を選択する選択手段を更に備えることを特徴とする請求項1〜11の何れか一項に記載の画像評価装置。
<請求項13>
連続して撮影された複数の画像内における動体の検出結果及び前記複数の画像内での被写体のブレ量に基づいて、当該動体の状態を評価する動体評価手段と、
前記動体評価手段による前記動体の状態の評価結果と、前記複数の画像を撮影した際の撮影状況とに基づいて、前記複数の画像を評価する画像評価手段と、
を備えたことを特徴とする画像評価装置。
<請求項14>
画像評価装置を用いた画像評価方法であって、
複数の画像を連続して撮影した際の撮像装置の状態を検出する処理と、
前記複数の画像内における動体の状態を検出する処理と、
検出された前記撮像装置の状態と、検出された前記動体の状態とに基づいて、前記複数の画像を評価する処理と、
を含むことを特徴とする画像評価方法。
<請求項15>
画像評価装置のコンピュータに、
複数の画像を連続して撮影した際の撮像装置の状態を検出する機能と、
前記複数の画像内における動体の状態を検出する機能と、
検出された前記撮像装置の状態と、検出された前記動体の状態とに基づいて、前記複数の画像を評価する機能と、
を実現させることを特徴とするプログラム。
1 撮像ユニット
103 撮像部
105 動き検出部
105a 3軸角速度センサ
105b 3軸加速度センサ
2 制御ユニット
206 評価制御部
206a 画像取得部
206b 定点撮影判定部
206c 装置評価部
c1 装置ブレ評価部
c2 姿勢評価部
206d 動体評価部
d1 動体検出評価部
d2 被写体ブレ評価部
206e 画像評価部
206f 画像選択部
Claims (12)
- 撮像ユニットと、前記撮像ユニットと着脱自在に構成された制御ユニットとを備えた撮像装置であって、
複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出手段と、
前記複数の画像内における動体の状態を検出する動体状態検出手段と、
前記撮像ユニットと前記制御ユニットとが一体となっている場合に、前記撮像装置による定点撮影であると判定する判定手段と、
前記判定手段の判定結果と、前記装置状態検出手段により検出された前記撮像装置の状態と、前記動体状態検出手段により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価手段と、
を備えたことを特徴とする撮像装置。 - 前記画像評価手段は、前記判定手段により定点撮影であると判定された場合に、前記動体状態検出手段による前記動体の状態に基づいて、前記複数の画像を評価することを特徴とする請求項1に記載の撮像装置。
- 前記判定手段は、前記複数の画像を連続して撮影する際に前記装置状態検出手段により検出される前記撮像装置のブレ量に基づいて、定点撮影であることを判定することを特徴とする請求項1又は2に記載の撮像装置。
- 前記動体状態検出手段の検出結果に基づいて前記動体の状態を評価する動体評価手段と、
複数の画像内での被写体のブレ量に基づいて前記動体の状態を評価する被写体ブレ評価手段を更に備えたことを特徴とする請求項1〜3の何れか一項に記載の撮像装置。 - 前記動体評価手段は、前記複数の画像間での差分情報に基づいて動体の検出を行い、前記動体の状態の検出結果に基づいて前記動体の状態を評価することを特徴とする請求項4に記載の撮像装置。
- 前記被写体ブレ評価手段は、前記複数の画像間での差分領域における対象画像のエッジ情報に基づいて前記被写体のブレ量を検出し、検出された前記被写体のブレ量に基づいて前記動体の状態を評価することを特徴とする請求項4に記載の撮像装置。
- 前記装置状態検出手段は、
前記複数の画像を撮影した際の前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価する装置ブレ評価手段と、
前記複数の画像を撮影した際の前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価する姿勢評価手段と、を有することを特徴とする請求項1〜6の何れか一項に記載の撮像装置。 - 前記装置ブレ評価手段は、前記複数の画像間での特徴点のずれ量を前記撮像装置のブレ量として検出するか、或いは、前記撮像装置の角速度に基づいて前記撮像装置のブレ量を検出し、検出された前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価することを特徴とする請求項7に記載の撮像装置。
- 前記姿勢評価手段は、前記複数の画像を撮影した際の前記撮像装置の水平度に基づいて前記撮像装置の姿勢を検出し、検出された前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価することを特徴とする請求項7に記載の撮像装置。
- 前記画像評価手段による評価の結果に基づいて、前記複数の画像の中から画像を選択する選択手段を更に備えることを特徴とする請求項1〜9の何れか一項に記載の撮像装置。
- 撮像ユニットと、前記撮像ユニットと着脱自在に構成された制御ユニットとを備えた撮像装置における画像評価方法であって、
複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出処理と、
前記複数の画像内における動体の状態を検出する動体状態検出処理と、
前記撮像ユニットと前記制御ユニットとが一体となっている場合に、前記撮像装置による定点撮影であると判定する判定処理と、
前記判定処理の判定結果と、前記装置状態検出処理により検出された前記撮像装置の状態と、前記動体状態検出処理により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価処理と、
を含むことを特徴とする撮像装置の画像評価方法。 - 撮像ユニットと、前記撮像ユニットと着脱自在に構成された制御ユニットとを備えた撮像装置のコンピューターに、
複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出機能と、
前記複数の画像内における動体の状態を検出する動体状態検出機能と、
前記撮像ユニットと前記制御ユニットとが一体となっている場合に、前記撮像装置による定点撮影であると判定する判定機能と、
前記判定機能の判定結果と、前記装置状態検出機能により検出された前記撮像装置の状態と、前記動体状態検出機能により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価機能と、
を実現させることを特徴とする撮像装置の画像評価プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221847A JP6701677B2 (ja) | 2015-11-12 | 2015-11-12 | 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221847A JP6701677B2 (ja) | 2015-11-12 | 2015-11-12 | 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017091291A JP2017091291A (ja) | 2017-05-25 |
JP6701677B2 true JP6701677B2 (ja) | 2020-05-27 |
Family
ID=58771681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015221847A Expired - Fee Related JP6701677B2 (ja) | 2015-11-12 | 2015-11-12 | 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6701677B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11790772B2 (en) | 2020-09-23 | 2023-10-17 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd | Traffic light image processing |
CN116193240B (zh) * | 2023-04-27 | 2023-10-03 | 天津奇立软件技术有限公司 | 一种电子设备状态评估方法及*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003296713A (ja) * | 2002-04-04 | 2003-10-17 | Mitsubishi Electric Corp | 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法 |
WO2011074049A1 (ja) * | 2009-12-18 | 2011-06-23 | 富士通株式会社 | 画像選別装置及び画像選別方法 |
JP2011151614A (ja) * | 2010-01-21 | 2011-08-04 | Nikon Corp | 電子カメラ |
JP5540762B2 (ja) * | 2010-01-28 | 2014-07-02 | パナソニック株式会社 | 撮像装置、画像表示装置及び画像表示プログラム |
JP5182395B2 (ja) * | 2011-04-27 | 2013-04-17 | カシオ計算機株式会社 | 撮像装置、撮像方法および撮像プログラム |
JP5869876B2 (ja) * | 2011-12-27 | 2016-02-24 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2013223038A (ja) * | 2012-04-13 | 2013-10-28 | Olympus Imaging Corp | 撮像装置及び撮像のための照明方法 |
JP6354190B2 (ja) * | 2014-02-12 | 2018-07-11 | 株式会社ニコン | 電子機器、撮像装置、プログラム、及び電子機器システム |
-
2015
- 2015-11-12 JP JP2015221847A patent/JP6701677B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017091291A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5567235B2 (ja) | 画像処理装置、撮影装置、プログラム及び画像処理方法 | |
JP5776903B2 (ja) | 画像処理装置及び画像処理方法並びにプログラム | |
JP5819564B2 (ja) | 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム | |
WO2013164937A1 (ja) | 撮像装置及び合焦制御方法 | |
US9794472B2 (en) | Imaging device and focusing control method | |
WO2014125682A1 (ja) | 撮像装置及び合焦制御方法 | |
JP6024728B2 (ja) | 検出装置、検出方法及びプログラム | |
JP5802846B2 (ja) | 撮像装置 | |
CN110383335A (zh) | 视频内容中基于光流和传感器输入的背景减除 | |
JP6028112B2 (ja) | 撮像装置及び合焦制御方法 | |
JP2016042629A (ja) | 撮影装置、撮影方法、およびプログラム | |
JP5768193B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム | |
KR102592745B1 (ko) | 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 | |
JP6701677B2 (ja) | 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム | |
JPWO2020158069A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
KR102497526B1 (ko) | 검출 장치, 검출 제어 방법 및 컴퓨터 프로그램 | |
JPWO2016125351A1 (ja) | 操作装置、追尾システム、操作方法、及びプログラム | |
KR101822169B1 (ko) | 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP2016144006A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体 | |
JP6810298B2 (ja) | 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置 | |
JP6493746B2 (ja) | 画像追尾装置及び画像追尾方法 | |
JP6237201B2 (ja) | 撮像装置、撮像システム、撮像方法及びプログラム | |
WO2020110710A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
WO2020116102A1 (ja) | 撮像装置、撮像方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6701677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |