JP2022186598A - 情報処理装置、撮像装置、情報処理方法および制御方法、プログラム - Google Patents
情報処理装置、撮像装置、情報処理方法および制御方法、プログラム Download PDFInfo
- Publication number
- JP2022186598A JP2022186598A JP2022068183A JP2022068183A JP2022186598A JP 2022186598 A JP2022186598 A JP 2022186598A JP 2022068183 A JP2022068183 A JP 2022068183A JP 2022068183 A JP2022068183 A JP 2022068183A JP 2022186598 A JP2022186598 A JP 2022186598A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- imaging
- information
- image
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000003384 imaging method Methods 0.000 title claims description 118
- 238000000034 method Methods 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title description 3
- 238000012545 processing Methods 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 description 45
- 238000004364 calculation method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 撮影画像のフレームを適切に選択し、本撮影で発生しうる動きブレを容易に確認する。【解決手段】 第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得手段と、前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定手段と、前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定手段と、前記動きブレの情報を報知する報知手段と、を備え、前記取得手段は前記第2の撮影パラメータに係る前記第2の撮影における露光時間に対応して変更された前記第1の撮影パラメータによって得られた前記複数の第1の撮影画像から前記動き情報を取得する。【選択図】 図7
Description
本発明は、撮像される画像に生じる被写体ブレを報知するための技術に関する。
デジタルスチルカメラ等の撮像装置には、シャッタースピードを優先する撮影モード(以後、「シャッタースピード優先モード」と表記)を搭載している機種がある。シャッタースピード優先モードでは、撮影者が所望のシャッタースピードを設定し、絞り値やISO感度といったシャッタースピード以外の露出設定値は撮像装置が自動で設定する。撮影者は、シャッタースピード優先モードを用いることにより、好みのシャッタースピードで撮影することができる。例えば、撮影前に高速なシャッタースピードを設定し、シャッタースピード優先モードで撮影を行うことにより、動きブレが少ない画像を撮影することができる。
特許文献1には、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調表示する技術が開示されている。ここで、準備撮影とは本撮影の前に撮像装置の電子ビューファインダーや背面液晶を見ながら画像の構図合わせや撮影条件の設定を行う撮影のことである。また、本撮影とは撮影者がシャッターボタンを押下するなどの行為をトリガーとして、準備撮影で決定した構図や撮影条件の設定に基づいて撮像装置に実行させる撮影のことである。特許文献1により撮影者は準備撮影中において動き領域を目視で確認することが可能となる。
特許文献1によると、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調することでユーザにブレを小さくするように行動を促すことが可能である。
しかしながら、特許文献1において時系列的な画像間の動き領域を抽出するために、被写体の速度や移動量に合わせて適切なフレームレートやシャッタースピードで撮影することは考慮されていない。
例えば、夜にポートレート撮影を行うと昼間に比べて撮像装置に取り込める光量が少なくなるため、露光時間が長くなる。それにより、人物の小さな揺れや動きが被写体ブレの発生する原因になってしまう。このとき、ユーザに被写体ブレを適切に報知するには、撮影する露光時間(設定されたシャッタースピードに該当する)に対して影響する被写体の動きを検出する必要がある。しかし、被写体の小さな動きを検出するのに十分なフレームレートの値の設定が事前になされているとは限らず、ユーザに被写体ブレの発生を適切に報知できないという課題があった。
本発明は、上記の問題点を鑑みてなされたものであり、撮影する露光時間に合わせて影響する動きブレを検出(「動きブレ検出」ともいう)するための画像を選択して被写体の動きを検出する。これにより本撮影で発生する動きブレを確認することが可能となる情報処理装置、撮像装置、情報処理方法および制御方法、プログラムを提供することを目的とする。
上記課題を解決するために、本発明の情報処理装置のひとつは、第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得手段と、前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定手段と、前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定手段と、前記動きブレの情報を報知する報知手段と、を備え、前記取得手段は前記第2の撮影パラメータに係る前記第2の撮影における露光時間に対応して変更された前記第1の撮影パラメータによって得られた前記複数の第1の撮影画像から前記動き情報を取得することを特徴とする。
また本発明の情報処理装置のひとつは第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得手段と、前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定手段と、前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定手段と、前記動きブレの情報を報知する報知手段と、を備え、前記取得手段は前記第2の撮影パラメータに係る前記第2の撮影における露光時間をもとに前記複数の第1の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする。
本発明によれば、動きを検出する準備撮影画像のフレームを適切に選択することで、本撮影で発生する動きブレを精度よく確認できるブレ報知画像を表示可能な情報処理装置、撮像装置、情報処理方法および制御方法、プログラムを提供することが可能となる。
以下、図面を参照しながら本発明の好適な実施形態について説明する。
本発明の実施例1は、準備撮影中に画像から算出した動き情報を本撮影相当の動きブレを推定し、本撮影で発生すると予想される動きブレを動きブレ報知画像として表示することで、ユーザに報知する撮像装置について説明する。
図1は、本発明実施例1における情報処理装置、撮像装置の一例として、撮像装置の構成例を示すブロック図である。以下、本発明実施例1の構成例について図1を参照して説明する。本発明でいう情報処理装置は、撮像された画像を処理することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
制御部101は、例えばCPUであり、撮像装置100(例えばカメラ)が備える各ブロックに対する制御プログラムを後述のROM102より読み出し、後述のRAM103に展開して実行する。これにより、制御部101は、撮像装置100が備える各ブロックの動作を制御する。ROM102は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。RAM103は、書き換え可能な揮発性メモリであり、制御部101等が実行するプログラムの展開や、撮像装置100が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。
光学系104は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部105の撮像面上に結像する。撮像部105は、例えばCCDやCMOSセンサー等の撮像素子であり、光学系104により撮像部105の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をA/D変換部106に出力する。A/D変換部106は、入力されたアナログ画像信号をデジタル画像データに変換する。A/D変換部106から出力されたデジタル画像データは、RAM103に一時的に記憶される。
画像処理部107は、RAM103に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部107は、後述の動きブレ報知画像生成部300を具備し、RAM103に記憶されている画像に対して、動きブレが容易に確認できる画像プレーンを重畳し、動きブレ報知画像を生成する。記録部108は、着脱可能なメモリカード等の記憶媒体である。記録部108は、画像処理部107で処理された画像データを、RAM103を介し、記録画像として記録する。表示部109は、LCD等の表示デバイスであり、RAM103に記憶されている画像や記録部108に記録されている画像の表示、ユーザからの指示を受け付けるための操作ユーザインターフェイスの表示等を行う。また、表示部109は、準備撮影中に構図合わせ等のために撮像部105が撮像した画像を表示する。指示入力部110は、タッチパネルやマウス等であり、ユーザによる指示を入力する。
次に、図2のフローチャートを参照して実施例1について詳しく説明する。以下の処理は、ROM102に記憶されたプログラムに従って、制御部101が装置の各部を制御することにより実現される。図2のフローチャートは準備撮影を開始した際に実行される。
S201において、ユーザは撮像装置100の電源を入れる。すると、S201において、制御部101は撮像装置100の電源が入れられたことに応じて、光学系104、撮像部105を制御して構図合わせなどの準備撮影を開始する。制御部101は、この準備撮影期間中に所定のフレームレートを維持し、撮像装置100は逐次画像を撮像し、取得した撮影画像を表示部109にする。ユーザは表示された準備撮影画像を見ながら構図合わせなどを行うことができる。ここで、準備撮影中に撮影された画像を準備撮影画像と定義する。
S202において、撮像装置100は、構図内の被写体の動き量を検出するために撮像する準備撮影画像の撮影条件(撮影パラメータ)を設定する。ここでいう撮影条件とは、主にフレームレート、シャッタースピードを示す。そして、AE(オートエクスポージャー)やAF(オートフォーカス)制御などの一般的な撮像装置で行うオート機能の制御に用いられる評価値を算出する処理に影響を与えない範囲で、最も高いフレームレートおよび高速のシャッタースピードの設定を行う。また、シャッタースピードを高速に設定した際にも、適正の露出条件で撮影ができるように、シャッタースピードに合わせて光学系104を制御しレンズの絞りを変更や、撮像部105のISO感度設定を変更することで適切な露出で撮影ができるように調整を行うように制御する。撮像装置100はS202で設定した撮影条件で準備撮影中における時系列的に連続する画像の撮影を行う。シャッタースピードが高速であるほど撮影した画像において移動する被写体の蓄積ブレがほとんど無く、また、撮影した連続画像間での被写体の移動量が小さくなるため被写体の動きを細かく捉えることが可能である。
S203において、ユーザは指示入力部110を用い、本撮影時の撮影パラメータを設定する。制御部101は、指示入力部110からの入力に従い、準備撮影のための撮影パラメータとして露光時間を設定することが可能である。尚、本撮影時の撮影パラメータは撮像装置100が自動で設定するように構成されていてもよい。また、本撮影時の撮影パラメータは準備撮影のための撮影パラメータとは独立して設定されてもよい。本実施形態では、設定された本撮影時の撮影パラメータが、後述するシャッターボタンの押下げ(本撮影の指示)が検出された後、本撮影の撮影パラメータとして用いられるものとする。
S204において、制御部101は、動きブレ報知がON設定かOFF設定かを判断する。動きブレ報知のONかOFFかの設定は、例えば、ユーザが指示入力部110を用い設定するものとし、一度設定すれば設定値が保持されるものとする。S204において制御部101が動きブレ報知がONの設定であると判定した場合は、後述する動きブレ報知画像生成部300がS205において、準備撮影画像に対して動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。そして、制御部101がS206において生成された動きブレ報知画像を表示部109に表示する。
S204において制御部101が、動きブレ報知がOFFの設定であると判定した場合は、動きブレ報知画像は生成されない。したがって、S206において、動きブレ報知が一切されていない準備撮影画像を表示部109に表示する。
S207において、制御部101はユーザの操作により指示入力部110のシャッターボタンが押下げられたか否かを判定する。ここで、シャッターボタンの押下げ入力が撮影準備動作を指示する半押しと本撮影を指示する全押しなどの2段階の入力方法を受け付ける構成である場合には、全押しがなされたか否かを判定するものとする。単純な1段階の入力のみを受け付ける場合には、当該1段階の入力がなされたか否かを判定する。
制御部101は、シャッターボタンが押下げられていないと判定した場合、S203に戻り、S203~S206までの処理を繰り返す。これによりユーザは表示部109に動きブレ報知画像を表示している場合は、準備撮影中において現在設定されている本撮影時の撮影パラメータで本撮影が行われた場合に被写体に生じる動きブレを容易に確認することができる。もし、確認した動きブレがユーザの好みの動きブレになっていない場合は、ユーザはシャッターボタンを押下せずにS202に戻り、再度S203で本撮影のシャッタースピード(露光時間)を再設定してもよい。このように、準備撮影中において、ユーザは表示部109に表示される動きブレ報知画像を確認しながら、好みの動きブレになるまで本撮影の露光時間の設定を繰り返し、シャッターチャンス時にシャッターボタンを押下する。
制御部101はS207にてシャッターボタンが押下げられたと判定した場合、本撮影の撮影指示を受けたとして、S208に進み、光学系104、撮像部105等を制御して、準備撮影までに設定された撮影パラメータに基づいて本撮影を行う。本撮影によって得られた本撮影画像は制御部101によって表示部109および記録部108に出力され、表示部109の表示デバイスへの表示及び記録部108での記録媒体への記録あるいは外部装置への出力が行なわれる。
次に、本発明の特徴である画像処理部107が具備する動きブレ報知画像生成部300の構成例について図3を参照して説明する。
図3は、動きブレ報知画像生成部300の構成例を示す図である。動きブレ報知画像生成部300は、画像間の比較から被写体の動きベクトルを算出する動きベクトル算出部301、算出された動きベクトルに基づいて本撮影時の被写体の動きブレを推定する推定動きブレ算出部302を含む。さらに推定された被写体の動きブレに基づいて動きブレを報知するためのデータを作成する報知プレーン生成部303、そして本実施形態では動きブレ報知プレーンを撮影画像に重畳するため、重畳処理を行う画像重畳部304を含む。各部の動作の詳細については後述する。
なお、図3に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
次に、図2のS205にて動きブレ報知画像生成部300が行う処理について図4のフローチャートを参照して説明する。本フローチャートの各ステップは、制御部101あるいは制御部101の指示により動きブレ報知画像生成部300を含めた撮像装置100の各部が実行する。
S401にて制御部101は、S202で設定した撮影条件を設定する。そして、制御部101が光学系104、撮像部105を制御し、撮像装置100は本撮影を行う際の被写体の動きブレを検出するための準備撮影画像を連続して撮像する。
S402では、制御部101は本撮影を行うためにユーザまたは、カメラが自動で設定したシャッタースピード情報を取得する。
S403では、制御部101は、準備撮影のフレームレート情報と、本撮影のシャッタースピードから、被写体の動きを検出(後述のS404)するために用いる準備画像フレームを選択する。準備画像フレームの選択方法については図10、11を用いて詳しく説明する。
図10は、横軸を時間Tとしたときの準備撮影画像のフレーム群(1001)と、本撮影画像(1011)の取得タイミングを表しているタイミングチャートである。
横軸は、撮影時刻を表し、図10の(a)の1021、(b)の1022は、被写体の動き量算出を行う際に用いる準備撮影画像フレームの選択を表す(矢印で結ばれた2フレームを用いて、その瞬間の動き量を算出する)。1021は、動きを検出するときに行う前後2フレームを選択する制御を表しており、1022は、本実施例中における準備撮影を行ったフレームレート情報と、本撮影のシャッタースピードから、準備画像フレームの選択を行った例である。1021の撮影画像フレームの選択は、一般的な被写体の動き量を算出するときに行われる方法で、本実施例では1022のように撮影画像フレームの選択を行う。
本実施例中における準備画像フレームの選択の仕方について図11を用いて説明する。図11は、複数の準備撮影画像(1111~1114)のフレーム間隔と、本撮影のシャッタースピードで撮影した本撮影画像(1101)の露光時間との関係を表した図である。以下、具体的な数値を用いて説明する。本撮影で設定したシャッタースピードを1/30と設定すると、本撮影では露光時間1/30秒となる画像を取得する。つまり、1/30秒間における被写体の動きが小さければ蓄積ブレが少ない画像を取得できるということになる。一方、準備撮影画像は、動きを解析するため、フレーム間で蓄積ブレが発生しにくいシャッタースピードで撮影する。例えば、1/120秒よりも短い露光時間で複数フレームの撮影を行うとする。このとき連続撮影を行う準備撮影画像の撮像フレームレートを120fps(1秒間で120枚撮影する連続撮影)とする。制御部101は本撮影画像の露光時間における被写体の動きを検出するために、準備撮影画像のフレーム間隔が本撮影画像の露光時間に近くなるフレームを選択する。隣接する1111~1114までの準備撮影画像フレームの間隔は均一であるため、4フレーム間隔(1111と1114)は1/30秒となり、本撮影画像の露光時間と同等の時間となる。つまり、本撮影画像の露光時間の1/30秒と同等の時間の被写体の動きを含んだフレームを選択していることを意味する。準備撮影画像の選択したフレーム間隔と本撮影画像シャッタースピードの差が小さいほど、後述のS405の処理で行う誤差が小さくなり正確な推定ができる。したがって、制御部101はなるべく本撮影で設定したシャッタースピードと準備撮影画像のフレーム間隔が近くなるフレームを選択する。制御部101は以下式(2)を満たすフレーム間隔となる準備撮影画像を選択する。
F_Period(フレーム間隔)≧(本撮影のシャッタースピード×準備撮影のフレームレート)×α
(F_Periodは、式を満たす最小の整数、αは定数)・・・式(2)
F_Period(フレーム間隔)≧(本撮影のシャッタースピード×準備撮影のフレームレート)×α
(F_Periodは、式を満たす最小の整数、αは定数)・・・式(2)
式(2)を満たす被写体の動き量を算出する準備撮影画像フレームを選択することで、本撮影において設定するシャッタースピードと同じ時間間隔に近いフレーム選択が可能となる。
以上、図10を用いて、準備撮影画像のフレーム間隔と本撮影のシャッタースピードとの関係を説明した。このようにして本実施形態では、準備撮影画像のフレーム間隔は、図10(b)の1022のフレームを選択するように制御部101が制御する。また、式(2)のαは、ISO感度が高くなるほど小さくなるように設定するのが望ましい。αを用いることで、撮影条件が厳しい場合にフレーム間隔を長くなりすぎるのを防ぐことができる。また、αは本撮影のシャッタースピード毎に変更しても良い。例えば本撮影のシャッタースピードが長い場合に、準備撮影画像のフレーム間隔が長くなりすぎると、フレーム間に複雑な被写体の動きが含まれやすくなり、被写体の動き検出の精度が低下しうる。ここで、αは本撮影のシャッタースピード毎に変更することで、被写体の動き検出の精度の低下を抑制できる。
図4のS404では、S403にて選択された準備撮影画像のフレームが動きブレ報知画像生成部300に入力され、動きベクトル算出部301が入力された画像を用いて被写体の動き量を算出する。動きベクトル算出部303による被写体の動き量を算出する処理については図6(a)に示すように、左に走っている犬601と止まっている犬602のシーンを撮影している例を用いて説明する。
被写体の動き量として、動きベクトル算出部301は時系列的に連続する準備撮影画像間の動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図7及び図8を参照して詳しく説明する。
図7は、動きベクトルの算出処理を示すフローチャートである。尚、本発明では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法などでもよい。本フローチャートの各ステップは制御部101あるいは制御部101の指示により動きブレ報知画像生成部300を含めた撮像装置100の各部が実行する。
S701において、制御部101は、準備撮影中に取得した時間的に隣接する2枚の準備撮影画像を受信し、M番目フレームの準備撮影画像を基準フレームに設定し、M+1番目フレームの準備撮影画像を参照フレームに設定する。
S702において、制御部101は、図8のように、基準フレーム801において、N×N画素の基準ブロック802を配置する。
S703において、制御部101は、図8のように、参照フレーム803に対し、基準フレーム801の基準ブロック802の中心座標と同座標804の周囲(N+n)×(N+n)画素を、探索範囲805として設定する。
S704において、制御部101は動きベクトル算出部301を制御し、基準フレーム801の基準ブロック802と、参照フレーム803の探索範囲805内に存在する異なる座標のN×N画素の参照ブロック806との相関演算を行い、相関値を算出する。相関値は、基準ブロック802及び参照ブロック806の画素に対するフレーム間の差分絶対値和(SAD=Sum of Absolute Difference)に基づき算出する。つまり、フレーム間の差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。尚、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図8の例では、参照ブロック806が最も相関が高いことを示しているとする。
S705において、制御部101は動きベクトル算出部301を制御し、S704で求めた最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。図8の例の場合、参照フレーム803の探索範囲805の中で、基準フレーム801の基準ブロック802の中心座標に対応した同座標804と、参照ブロック806の中心座標に基づき動きベクトルが求められる。つまり、同座標804から参照ブロック806の中心座標までの座標間距離と方向が動きベクトルとして求められる。
S706において、制御部101は、基準フレーム801の全画素について動きベクトルを算出したか否か判定する。S706において全画素の動きベクトルを算出していないと判定した場合には、S702に処理を戻す。そして、ステップ602では、動きベクトルが算出されていない画素を中心として前述した基準フレーム801にN×N画素の基準ブロック802が配置され、以下前述同様に、S703からS705の処理が行われる。すなわち、動きベクトル算出部301は、図8の基準ブロック802を移動させながら、S702からS705までの処理を繰り返して、基準フレーム801の全画素の動きベクトルを算出する。この動きベクトルの例を図6(b)に示す。図6(b)は、図6(a)の準備撮影画像の動きベクトルの例を示す図である。
図6(a)の準備撮影画像では、犬601が左方向に走っている例を示している。このように被写体が移動している場合の動きベクトルの代表例を図6(b)に示す。図6(b)の例では、走っている犬601は左方向の動きベクトルとして検出し、それ以外の止まっている犬602や背景の柵は動きベクトル0として検出するため、動きベクトルを図示していない。
また動きベクトル算出部301は全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。以上の処理により、時間的に隣接する準備撮影画像のフレーム間における動きベクトルを算出する。
図4のS405において、推定動きブレ算出部302は、算出した被写体の動き量と目標とする動きブレ量の関係を算出する。この時、S403において選択された準備撮影画像のフレーム間の時間が、本撮影のシャッタースピード(露光時間)と等しくない場合には本撮影における被写体ブレを精度良く計算することができない。従って、S404で検出した被写体の動き量に対して式(4)で求めた補正ゲインを掛けて動き量を換算し、本撮影の動きブレを推定する。
補正ゲイン=本撮影のシャッタースピード/選択した準備撮影画像のフレーム間…式(4)
補正ゲイン=本撮影のシャッタースピード/選択した準備撮影画像のフレーム間…式(4)
続いて、制御部101は式(4)の補正ゲインを掛けて推定された本撮影の動きブレ量、すなわち推定動きブレ量に対して、目標とする動きブレの量よりも大きいか、小さいかの判定処理を行う。ここでいう目標とする動きブレの量とは、所定のシャッタースピードで撮影した場合に動きブレとして目立たない程度に収まる許容動きブレ量である。許容動きブレ量はCCDやCMOSセンサー等の撮像素子のサイズ、画素数、そして、表示するディスプレイの解像度によって決まる。例えば、撮像素子が、APS‐Cで、画素数が20万画素、フルHD(1920×1080画素)のPCディスプレイで5pixel以下が許容動きブレ量だとすると、コマ間で5pixel以下の動きを検出できるようにすることが必要である。すなわち、許容動きブレ量以下の動きを検出するだけの分解能が必要ということになる。具体例として図5を用いて説明する。
図5(a)、(b)は、準備撮影画像から算出した被写体の動き量と許容動きブレ量の関係を動きベクトルを用いて表現したものである。図5(a)は、許容動きブレ量を超える被写体の動き量を検出した場合、図5(b)は、被写体の動き量が、許容動きブレ量以下の場合を示している。推定した被写体の動き量と目標とする動きブレ量の関係を式で表すと、式(1)で表される。
n=被写体動き量/許容動きブレ量・・・式(1)
n=被写体動き量/許容動きブレ量・・・式(1)
この時、nが1よりも大きければ、許容動きブレ量を超えているため、制御部101は被写体ブレが発生すると判断する。逆にnが1以下であれば、制御部101は許容動きブレ量を超えないと判断する。すなわち、被写体ブレは許容範囲であると判断できる。目標とする許容動きブレ量は、ユーザの設定に任せて決定することも可能である。
図4のS406において、制御部101の指示に基づいて放置プレーン生成部303はS405で求めた被写体の動き量と目標動きブレ量の関係から、動きブレを報知する画像を生成する。S406の処理について図9を用いて説明を行う。動きブレの報知は、本撮影を行う際の動きブレの程度をユーザに知らせる処理である。そのため、準備撮影画像から算出した動き量を、本撮影の露光条件で換算した時の動き量(推定動きブレ量)として推定し、推定した動き量を視覚的に確認可能なブレ報知画像作成する。
まず、被写体の動き量それぞれに対し、報知プレーン生成部303はS405で算出した式(1)の結果を用いて、動きブレを報知するための画像プレーンを作成する。その後、画像重畳部304は準備撮影画像に動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。ブレ報知画像の一例については、図9で説明する。
図9は、動きブレ報知画像として3つの例を示している。準備撮影中に動きブレ報知画像を表示部109に表示することにより、ユーザは動きブレを容易に確認することができる。
まず図9(a)は、アイコン表示により動きブレを報知する例を示す。S405において、制御部101は式(1)のnが1より大きくなる被写体の動きブレ量が全体の被写体の動きブレ量に占める割合を算出する。その割合が所定割合以上の場合に、動きブレ報知画像生成部300は図9(a)に示すような動きブレアイコン901を動きブレ報知プレーンとして作成し、準備撮影画像に描画することにより図9(a)のような動きブレ報知画像を生成する。
図9(b)は、動きブレ枠表示により動きブレを報知する例を示す。ここで、動きブレ枠表示による動きブレ報知画像の生成方法について説明する。S405において、制御部101は画像を領域に分割し、それぞれの分割した領域内に含まれる被写体の動きブレ量について式(1)により、nが1より大きくなる数を計算する。すなわち、制御部101の指示に基づいて報知プレーン生成部303はその割合が所定割合以上となった分割領域に対して、図9(b)に示すような動きブレ枠902を動きブレ報知プレーンとして作成し、準備撮影画像に描画することにより図9(b)のような動きブレ報知画像を生成する。
図9(c)は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。まず、ステップS405において報知プレーン生成部303は準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、詳細な説明は省略する。そして、報知プレーン生成部303はエッジ強度が所定値以上、且つ、式(1)のnが1より大きくなる領域に対して、図9(c)の903に示すように動きブレエッジを強調表示するような動きブレ報知プレーンとして作成する。画像重畳部304が準備撮影画像に作成された動きブレ報知プレーンを重畳することにより図9(c)のような動きブレ報知画像を生成する。図9(c)の903の例では、動きブレエッジを太くする例を示している。このような動きブレエッジに強調表示を行うことで、被写体の細かい部位に対して、本撮影における動きブレを視認することが可能となる。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出し、抽出した画素を赤くするなど、色相・彩度・明るさを変える強調表示の方法が挙げられる。
以上、図4のS401からS406の処理を行うことにより動きブレ報知画像生成部300が動きブレ報知画像を生成する処理について説明した。制御部101あるいは制御部101の指示により動きブレ報知画像生成部300を含めた撮像装置100の各部が図2のフローチャートを行うことで、本撮影で発生する動きブレを確認するための準備撮影の撮影条件を好適に決定することを実現できる。
本発明によれば、本撮影で発生する動きブレを確認するための準備撮影画像を適切に選択し、動きを検出することで、本撮影で発生する適切な動きブレを確認することができる。
本発明では、本撮影における露光時間で発生する被写体ブレ量を推定するために、準備撮影画像のフレームの間隔に合わせてフレームを選択し、動き量を検出する制御について説明を行った。更に詳細な動きを検出するためには、本撮影画像の露光時間に対応する準備撮影画像のフレーム間隔内に含まれるすべての準備撮影画像を用いて被写体の動き量を検出することも可能である。例えば、図11、図12で説明すると、図11で説明した本撮影の露光時間(1/30秒)と準備撮影のフレームレート120fpsの場合、準備撮影画像では4フレーム間隔で1/30秒となる。そのため、実施例1では図11の1111と1114を用いて動きベクトル算出部301が被写体の動き量を計算していた(図12の1201)。ここでは1111と1112、1112と1113、1113と1114それぞれで求めた被写体動き量を制御部101が積算する(図12の1202)。これにより、準備撮影画像においても1/30秒の間の被写体が複雑に動いた場合(回転運動や、加速度運動など)にも1111から1114までの1/30秒における被写体の動きを正確に算出することができる。
また、予め許容動きブレ量を撮影者が意図して決定していない時には、動き検出の限界範囲を超えない範囲内の動きベクトルの大きさを、許容動きブレ量として設定してもよい。その際には、被写体の動きが動き検出の範囲を超えたかを制御部101にて判断する。判断方法としては、動き検出時のSADの値で変化量が所定値よりも小さくなることや、ジャイロ情報などの撮像装置100本体の動きを測定する方法から求めることができる。制御部101にて許容動きブレ量を超えたと判定された場合には、シャッタースピードや、フレームレートを速くなるように制御を行う。
本発明では、動きブレの報知方法として、表示部109に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音や光や振動により動きブレを報知しても良い。具体的には、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音、報知光、報知振動を発生させる。この実施形態では、報知プレーン生成部303や画像重畳部304の構成、ステップS405、ステップS406の処理フローは不要となる。代わりに撮像装置100内にスピーカーを備え、ステップS205において、表示部109への準備撮影画像の表示に併せて、制御部101が報知音をスピーカーで鳴らしたり、報知光を点灯させたり、報知振動を起こすとよい。
本発明では、制御部101が本撮影のシャッタースピードに応じて準備撮影画像から動きを検出するフレームの選択を変更していたが、本撮影のシャッタースピードが安定しているときのみに動き検出を行う準備撮影画像のフレームの選択を変更してもよい。本撮影のシャッタースピードが安定しているときのみ、動き検出を行う準備撮影画像のフレーム制御をおこなうことで、ユーザがシャッタースピードの制御に迷っているときや、制御部101が計算する評価値が安定していない場合に、所望でない動きブレ報知画像を表示部109に表示されることを防ぐことが可能となる。
被写体の動きが安定しているかどうかの判断の一例としては、一度準備撮影の撮影条件を変更した後に動被写体の動きが安定しているかを動きベクトルの変化として求めることで判断できる。このとき、単位時間当たりの動きベクトルの変化が大きくなった場合には、再度準備撮影の撮影条件を変更することが可能である。
本発明では、制御部101が本撮影のシャッタースピードに応じて準備撮影画像から動きを検出するフレームの選択を変更していたが、準備撮影のフレームの選択だけでなく準備撮影のシャッタースピードを変更しても良い。例えば、本撮影のシャッタースピードが所定値よりも長くなった時、本撮影のISO感度が所定値よりも高ければ、準備撮影のシャッタースピードを長く変更する。逆に、本撮影のISO感度が低い場合には、準備撮影のシャッタースピードを短く変更する。これにより、動きを検出するための準備撮影の撮影条件をノイズの影響と蓄積ブレをトレードオフとして、動きを検出するための適切な準備撮影画像を撮像することが可能となる。
続いて、準備撮影のフレームレートを、本撮影のシャッタースピードに合わせて変更することで、本撮影における被写体ブレ量を推定し、動きブレ報知画像を生成する例について説明を行う。本実施例を実現することで、本撮影の被写体ブレ報知を行うために効率的に準備撮影画像のフレームレートを制御することが可能となる。
本実施例では、実施例1の図1と同じ撮像装置100の構成で実現できるため、撮像装置100のブロック図の説明を省略する。また、実施例2における制御部101が行う全体処理は、図2のフローチャートで示す処理と同じため説明を省略する。
次に、本発明の特徴である図2のS202、S205の処理について詳しく説明する。
S202の処理において、制御部101は準備撮影のフレームレートを本撮影のシャッタースピードに合わせて変更する。これについて図13を用いて説明する。
図13(a)は、一般的な準備撮影と本撮影のタイミングチャートを示した図であり、(b)は、実施例2における、本撮影のシャッタースピードに合わせて、準備撮影のフレームレートを変更した例である。一例として、本撮影のシャッタースピードとして1/30秒、図13(a)に示されるフレームレート変更前の準備撮影のフレームレートを120fpsとする。このとき、本撮影画像1311は、シャッタースピードは1/30秒のため、露光時間が1/30秒の画像となる。本実施例では、図13(b)のように本撮影画像の露光時間に近づくように、制御部101が準備撮影のフレームレートを変更する。例えば、準備撮影のフレームレートが120fpsの際に、隣接するフレームの間隔は1/120秒となる。ここで、本撮影画像の露光時間が1/30秒であった場合は、制御部101は準備撮影のフレームレートを120fpsから30fpsに変更する。つまり、準備撮影のフレームレートは以下の式(3)となる。
準備撮影の変更後フレームレート=β/本撮影のシャッタースピード…式(3)
(βは、定数)
準備撮影の変更後フレームレート=β/本撮影のシャッタースピード…式(3)
(βは、定数)
βは、実施例1の式(2)のαと同様に本撮影のISO感度やシャッタースピードによって変える予め既定の定数である。制御部101は上記の式(3)を満たすように準備撮影のフレームレートを変更することで、本撮影のシャッタースピードにおける被写体ブレを適切に検出できるフレーム間隔に設定できる。フレームレートの変更後の図13(b)では、図13(a)のフレームレートで準備撮影を行った際の隣接フレームを用いて被写体の動きを検出する場合と、図13(b)のフレーム間隔(1321)を比べると、1321の準備撮影のフレーム間隔が広くなり、本撮影1311の露光時間に近い時間間隔となっていることが分かる。従って本撮影1311の露光時間相当の被写体の動きが、図13(b)のように準備撮影のフレームレートを制御することで推定可能となる。なお、ここでフレームレートが本撮影の露光時間に一致しなくてもよく、フレームレートが本撮影の露光時間以上の値に変更されてもよい。
続いてS205の処理について図14のフローチャートを用いて説明する。本フローチャートの各ステップは制御部101あるいは制御部101の指示により動きブレ報知画像生成部300を含めた撮像装置100の各部が実行する。
S1401において、制御部101は、S401と同様の処理を行い、撮影条件を設定する。そして、制御部101が光学系104、撮像部105を制御し、撮像装置100は準備撮影画像を連続して撮像する。
S1402において、制御部101は、S402と同等の処理を行う。
S1403において、制御部101は、S404と同様の処理を行い、動きベクトル算出部301がS1401で撮影した準備撮影画像から被写体の動き量を算出する。
S1404において、推定動きブレ算出部302は、S405と同様の処理を行い、撮像装置100は、算出した被写体の動き量と目標とする動きブレ量の関係を算出する。
S1305において、制御部101は、図4のS406と同様の処理を行う。S1404の処理の本撮影画像の推定被写体ブレ量に基づいて報知プレーン生成部303は動きブレを報知するための画像プレーンを作成し、画像重畳部304が準備撮影画像に動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。
以上の実施例2の制御部101が制御する図2のフローチャートの全体処理について、特徴的な処理であるS202、S205を具体的に説明した。
実施例2の構成を実行することにより、制御部101は、本撮影の露光時間に影響する被写体の動きを検出するための準備撮影のフレームレートを制御できる。したがって、本撮影で発生する動きブレを精度よく検出することが可能となる。また、被写体の動きを検出するために常に高いフレームレートで準備撮影画像を撮影し続ける必要がなくなるため、精度の良い動きの検出が省電力で実現できる。
本発明では、制御部101が本撮影のシャッタースピードに応じて準備撮影画像から動きを検出するフレームの選択を変更していた。ここで、本撮影のシャッタースピードが撮像装置100にて設定可能なフレームレートの最大の値よりも大きい場合、準備撮影におけるフレームレートは最大値で固定し、フレーム間隔が最も近い準備撮影画像を選択して動きを検出する構成としてもよい。なお、この条件では本撮影時にほとんど動きブレが発生しないため、動きブレの推定を行なわなくてもよい。このように本撮影のシャッタースピードがある値よりも大きい、すなわち本撮影の露光時間がある時間よりも短い場合はフレームレートを特定の値に固定してもよい。
また、本撮影のシャッタースピードに閾値を設け、その値に応じて制御部が準備撮影におけるフレームレートを制御するという構成にしてもよい。例えば本撮影のシャッタースピードに対して第1の閾値と第1の閾値より大きい第2の閾値を設ける。この時、本撮影のシャッタースピードが第1の閾値未満であれば制御部101は第1のフレームレートで制御を行う。また、本撮影のシャッタースピードが第1の閾値以上、第2の閾値未満であれば、第2のフレームレート、本撮影のシャッタースピードが第2の閾値以上であれば第3のフレームレートとして制御部101が制御してよい。
本発明では、推定した動きブレが所定の値以上の場合に動きブレを報知する例について説明したが、例えば、動きブレ量の大きさによって複数の動きブレ表示を行う場合でも適用可能である。例えば、推定した動きブレ量の大きさによって3色(赤、青、黄色)で表現するような場合が考えられる。その場合には、それぞれの色で表現する動き量の大きさの範囲が表現できるように最も狭い動き量の範囲を検出できる許容動き量と設定する。例えば、ベクトルの大きさに対して、動きブレの表現色が黄色:0~10pixel、青色:11~15pixel、赤16pixel以上の場合、青色の範囲が最も動き量として狭い区間となる。つまり、青色の範囲(11~15)の5pixelを許容動きブレ量として設定することで実現できる。
本発明では、許容動きブレ量を設定し、許容動きブレ量以下の動きを検出できるように準備撮影画像の撮影条件であるフレームレートを制御したが、検出する動きブレが所定値以下の場合にも撮影条件を変更しても良い(スポーツ優先モード等)。
準備撮影画像の撮影条件は、被写体の動きが安定している状態を検出したときに変更するようにしても良い。また、一度準備撮影の撮影条件を変更した後に被写体の動きが安定しているかを動きベクトルの変化として求め、単位時間当たりの動きベクトルの変化が大きくなった場合には、再度準備撮影の撮影条件を変更しても良い。
予め許容動きブレ量が設定できないような時には、動き検出の限界範囲を超えない範囲内の動きベクトルの大きさを、許容動き量に設定してもよい。その際には、被写体の動きが動き検出の範囲を超えたかを制御部101が判断する。判断方法としては、動き検出時のSADの値で変化量が所定値よりも小さくなることや、ジャイロ情報などの撮像装置100本体の動きを測定する方法から求めることができる。制御部101にて許容動きブレ量を超えたと判定された場合には、シャッタースピードや、フレームレートが速くなるように制御を行う。
本発明では、動きブレの報知方法として、表示部109に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音や光や振動により動きブレを報知しても良い。具体的には、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音を発生させても良い。その場合は動きブレの報知手段として、マイクなどのブレ報知音発生手段を用意すればよい。
(その他の実施形態)
以上、本発明について実施の形態に基づいて説明したが、本発明はこれらの実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
以上、本発明について実施の形態に基づいて説明したが、本発明はこれらの実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行する。
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
100 撮像装置
101 制御部
102 ROM
103 RAM
104 光学系
105 撮像部
106 A/D変換部
107 画像処理部
108 記録部
109 表示部
110 指示入力部
101 制御部
102 ROM
103 RAM
104 光学系
105 撮像部
106 A/D変換部
107 画像処理部
108 記録部
109 表示部
110 指示入力部
Claims (36)
- 第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得手段と、
前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定手段と、
前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第2の撮影パラメータに係る前記第2の撮影における露光時間に対応して変更された前記第1の撮影パラメータによって得られた前記複数の第1の撮影画像から前記動き情報を取得することを特徴とする情報処理装置。 - 前記第1の撮影パラメータは、前記第1の撮影におけるフレームレート、シャッタースピードの少なくとも1つを含むことを特徴とする請求項1に記載の撮像装置。
- 前記推定手段は、前記動き情報と、前記第1の撮影パラメータの1つであるフレームレートとを用いて前記動きブレを推定することを特徴とする請求項2に記載の情報処理装置。
- 前記設定手段は、前記第2撮影における露光時間に基づいて前記第1の撮影パラメータの1つであるフレームレートを変更することを特徴とする請求項2または3に記載の情報処理装置。
- 前記取得手段は前記フレームレートを前記第2の撮影における露光時間以上の値に変更することを特徴とする請求項4に記載の情報処理装置。
- 前記取得手段は変更された前記フレームレートで取得された前記複数の第1の画像のうち、時系列的に連続する2つの画像から前記動き情報を取得することを特徴とする請求項4に記載の情報処理装置。
- 前記報知手段は、前記動きブレに対応する情報を表示部に表示することで前記動きブレを報知することを特徴とする請求項1または2に記載の情報処理装置。
- 前記報知手段は、前記動きブレに対応する情報を前記第1の撮影画像に重畳して表示部に表示することで前記動きブレを報知することを特徴とする請求項1または2に記載の情報処理装置。
- 前記推定手段において予め定めた値よりも大きな動きブレが推定された場合、前記報知手段は前記動きブレの報知を行うことを特徴とする請求項1または2に記載の情報処理装置。
- 前記報知手段は、
前記表示部にアイコンを描画した画像を表示することにより動きブレを報知することを特徴とする請求項9に記載の情報処理装置。 - 前記報知手段は、
前記表示部に動きブレ枠を描画した画像を表示することにより動きブレを報知することを特徴とする請求項9に記載の情報処理装置。 - 前記報知手段は、
前記表示部に動きブレエッジを強調して描画した画像を表示することにより動きブレを報知することを特徴とする請求項9に記載の情報処理装置。 - 前記報知手段による報知がOFFの場合、前記報知手段は前記動きブレの報知を行なわないことを特徴とする請求項1または2に記載の情報処理装置。
- 前記第1の撮影は前記第2の撮影とは異なる時刻の画像を撮像する準備撮影であることを特徴とする請求項1または2に記載の情報処理装置。
- 前記第2の撮影とは本撮影であり、前記第1の撮影とは、前記本撮影の前に行う準備撮影であることを特徴とする請求項14に記載の情報処理装置。
- 動きブレ報知音を発生する動きブレ報知音発生手段を備え、
前記動きブレ報知手段は、音により動きブレを報知することを特徴とする請求項1または2に記載の情報処理装置。 - 第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得手段と、
前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定手段と、
前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第2の撮影パラメータに係る前記第2の撮影における露光時間をもとに前記複数の第1の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする情報処理装置。 - 前記第1の撮影パラメータは、前記第1の撮影におけるフレームレート、シャッタースピードの少なくとも1つを含むことを特徴とする請求項17に記載の情報処理装置。
- 前記取得手段は前記第1の撮影パラメータの1つであるフレームレートと、前記第2の撮影における露光時間の値の差に応じて、前記複数の第1の画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする請求項8に記載の情報処理装置。
- 前記取得手段は、前記第2の撮影における露光時間に対応する時間間隔となるように前記複数の第1の画像から2つの画像を選択することを特徴とする請求項19に記載の情報処理装置。
- 前記報知手段は、前記動きブレに対応する情報を表示部に表示することで前記動きブレを報知することを特徴とする請求項17または18に記載の情報処理装置。
- 前記報知手段は、前記動きブレに対応する情報を前記第1の撮影画像に重畳して表示部に表示することで前記動きブレを報知することを特徴とする請求項17または18に記載の情報処理装置。
- 前記推定手段において予め定めた値よりも大きな動きブレが推定された場合、前記報知手段は前記動きブレの報知を行うことを特徴とする請求項17または18に記載の情報処理装置。
- 前記報知手段は、
前記表示部にアイコンを描画した画像を表示することにより動きブレを報知することを特徴とする請求項23に記載の情報処理装置。 - 前記報知手段は、
前記表示部に動きブレ枠を描画した画像を表示することにより動きブレを報知することを特徴とする請求項23に記載の情報処理装置。 - 前記報知手段は、
前記表示部に動きブレエッジを強調して描画した画像を表示することにより動きブレを報知することを特徴とする請求項23に記載の情報処理装置。 - 前記報知手段による報知がOFFの場合、前記報知手段は前記動きブレの報知を行なわないことを特徴とする請求項17または18に記載の情報処理装置。
- 前記第1の撮影は前記第2の撮影とは異なる時刻の画像を撮像する準備撮影であることを特徴とする請求項17または18に記載の情報処理装置。
- 前記第2の撮影とは本撮影であり、前記第1の撮影とは、前記本撮影の前に行う準備撮影であることを特徴とする請求項28に記載の情報処理装置。
- 動きブレ報知音を発生する動きブレ報知音発生手段を備え、
前記動きブレ報知手段は、音により動きブレを報知することを特徴とする請求項17または18に記載の情報処理装置。 - 光学系を介して結像された被写体像を撮像し、前記画像を出力する撮像手段を有し、
第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得手段と、
前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定手段と、
前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第2の撮影パラメータに係る前記第2の撮影における露光時間に対応して変更された前記第1の撮影パラメータによって得られた前記複数の第1の撮影画像から前記動き情報を取得することを特徴とする撮像装置。 - 光学系を介して結像された被写体像を撮像し、前記画像を出力する撮像手段を有し、
第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得手段と、
前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定手段と、
前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定手段と、
前記動きブレの情報を報知する報知手段と、を備え、
前記取得手段は前記第2の撮影パラメータに係る前記第2の撮影における露光時間をもとに前記複数の第1の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする撮像装置。 - 第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得工程と、
前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定工程と、
前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定工程と、
前記動きブレの情報を報知する報知工程と、を備え、
前記取得工程において前記第2の撮影パラメータに係る前記第2の撮影における露光時間に対応して変更された前記第1の撮影パラメータによって得られた前記複数の第1の撮影画像から前記動き情報を取得することを特徴とする画像処理装置の制御方法。 - 第1の撮影パラメータで第1の撮影を行うことにより得られた複数の第1の撮影画像および該複数の第1の撮影画像における被写体の動き情報を取得する取得工程と、
前記第1の撮影パラメータとは独立して設定された第2の撮影パラメータで第2の撮影が行われる場合に前記動き情報および前記第2の撮影パラメータから、第2の撮影で得られる第2の撮影画像における被写体の動きブレを推定する推定工程と、
前記第1の撮影パラメータ、および第2の撮影パラメータを設定する設定工程と、
前記動きブレの情報を報知する報知工程と、を備え、
前記取得工程において前記第2の撮影パラメータに係る前記第2の撮影における露光時間をもとに前記複数の第1の撮影画像から前記動き情報を取得するのに用いる画像を決定することを特徴とする情報処理装置の制御方法。 - 請求項33または34に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項35に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2208055.0A GB2610018B (en) | 2021-06-04 | 2022-05-31 | Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method |
CN202210619476.8A CN115442533A (zh) | 2021-06-04 | 2022-06-01 | 信息处理设备和方法、摄像设备及其控制方法和存储介质 |
DE102022113938.7A DE102022113938A1 (de) | 2021-06-04 | 2022-06-02 | Informationsverarbeitungsvorrichtung, die Objektunschärfe meldet, Bildaufnahmevorrichtung, Informationsverarbeitungsverfahren und Steuerverfahren |
US17/832,355 US20220394174A1 (en) | 2021-06-04 | 2022-06-03 | Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021094492 | 2021-06-04 | ||
JP2021094492 | 2021-06-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022186598A true JP2022186598A (ja) | 2022-12-15 |
Family
ID=84442407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022068183A Pending JP2022186598A (ja) | 2021-06-04 | 2022-04-18 | 情報処理装置、撮像装置、情報処理方法および制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022186598A (ja) |
-
2022
- 2022-04-18 JP JP2022068183A patent/JP2022186598A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5235798B2 (ja) | 撮影装置及びその制御方法 | |
KR101034109B1 (ko) | 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체 | |
RU2562918C2 (ru) | Устройство для съемки изображения, система для съемки изображения и способ управления устройством для съемки изображения | |
JP5005570B2 (ja) | 画像処理装置およびプログラム | |
US11343426B2 (en) | Notifying apparatus, image capturing apparatus, notifying method, and storage medium for making a notification of motion blur | |
JP2008288975A (ja) | 撮像装置、撮像方法および撮像プログラム | |
CN111385471B (zh) | 信息处理设备和方法、摄像设备及其控制方法、存储介质 | |
US20140176754A1 (en) | Image capturing apparatus and control method thereof | |
US11818466B2 (en) | Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium | |
KR101004914B1 (ko) | 촬상장치 및 촬상방법 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP6261205B2 (ja) | 画像処理装置 | |
JP2010093679A (ja) | 撮像装置及び撮像制御方法 | |
US11477384B2 (en) | Information processing apparatus, imaging apparatus, information processing method, control method for imaging apparatus, and storage medium for notifying of a subject blur occuring in a captured image | |
JP2006287814A (ja) | 撮像装置及び動きベクトル決定方法 | |
JP2009017427A (ja) | 撮像装置 | |
JP7389558B2 (ja) | 情報処理装置およびその制御方法ならびにプログラム | |
JP7246894B2 (ja) | 撮像装置およびその制御方法 | |
JP2007300269A (ja) | 露出補正装置、撮影装置、画像復元装置、露出値設定装置、露出補正値算出方法および制御プログラム | |
JP2022186598A (ja) | 情報処理装置、撮像装置、情報処理方法および制御方法、プログラム | |
JP7475846B2 (ja) | 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法 | |
JP2014138378A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2014131188A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2011172266A (ja) | 撮像装置、撮像方法および撮像プログラム | |
US20220394174A1 (en) | Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |