JP2022117599A - 画像処理装置、撮像装置、制御方法およびプログラム - Google Patents
画像処理装置、撮像装置、制御方法およびプログラム Download PDFInfo
- Publication number
- JP2022117599A JP2022117599A JP2021014184A JP2021014184A JP2022117599A JP 2022117599 A JP2022117599 A JP 2022117599A JP 2021014184 A JP2021014184 A JP 2021014184A JP 2021014184 A JP2021014184 A JP 2021014184A JP 2022117599 A JP2022117599 A JP 2022117599A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual object
- exposure
- motion
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 48
- 238000001514 detection method Methods 0.000 claims description 9
- 238000005375 photometry Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
- G06F3/041661—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving using detection at multiple resolutions, e.g. coarse and fine scanning; using detection within a limited area, e.g. object tracking window
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】仮想物体の動きが反映された、違和感の少ない複合現実画像を生成することが可能な画像処理装置を提供する。【解決手段】撮像装置１００が有するＣＰＵ１１７が、仮想物体を含む対象の動き量を取得し、取得された動き量に基づいて、露出制御を行う。ＣＰＵ１１７は、上記露出制御により、現実空間の画像を撮像する。そして、ＣＰＵ１１７は、撮像された現実空間の画像と、仮想物体の画像とを合成して、複合現実画像を生成する。【選択図】図１
Description
本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関する。
撮影時の露光時間を変更可能な撮像装置が提案されている。露光期間中における撮像装置や被写体の動きに起因して、画像にブレが現れる。画像のブレは、解像感の低下による画質劣化の一因となり得るが、スピード感や躍動感を表現することができる。したがって、例えば、流し撮りのように、撮影テクニックとして意図的に画像にブレを発生させる撮影が行われる場合もある。特許文献１は、流し撮り画像を得るために、被写体の移動量に基づいて、撮影に用いる露光時間を決定する電子カメラを開示している。
一方、現実空間に仮想物体を重ね合わせた複合現実画像を提示するＭＲ（Ｍｉｘｅｄ
Ｒｅａｌｉｔｙ）技術が知られている。特許文献２は、現実画像の撮影時の動きベクトルや撮像パラメータに応じて、仮想物体にかけるぼかしフィルタの特性を変更する画像処理装置を開示している。
一方、現実空間に仮想物体を重ね合わせた複合現実画像を提示するＭＲ（Ｍｉｘｅｄ
Ｒｅａｌｉｔｙ）技術が知られている。特許文献２は、現実画像の撮影時の動きベクトルや撮像パラメータに応じて、仮想物体にかけるぼかしフィルタの特性を変更する画像処理装置を開示している。
特許文献１が開示する電子カメラでは、現実空間に存在しない仮想物体の動きを考慮した露出制御を行うことができない。また、特許文献２が開示する画像処理装置も、仮想物体の動きを考慮した処理を行っていないので、仮想物体の動きが反映された、違和感の少ない複合現実画像を生成することができない。本発明は、仮想物体の動きが反映された、違和感の少ない複合現実画像を生成することが可能な画像処理装置の提供を目的とする。
本発明の一実施形態の画像処理装置は、仮想物体を含む対象の動き量を取得する取得手段と、測光結果と、前記取得された動き量とに基づいて、露出制御を行う制御手段と、前記露出制御により撮像された現実空間の画像と、前記仮想物体の画像とを合成して合成画像を生成する生成手段と、を有する。
本発明によれば、仮想物体の動きが反映された、違和感の少ない複合現実画像を生成することが可能となる。
（実施例１）
図１は、本実施形態の画像処理装置の構成例を示す図である。
図１では、画像処理装置の一例としての撮像装置１００の構成を説明する。撮像装置１００は、結像光学系１０１乃至位置姿勢検出部１１９を有する。
結像光学系１０１は、被写体光を撮像素子１０６に導く。結像光学系１０１は、フォーカシングレンズ１０２、絞り１０３および不図示のレンズ群を有する。レンズ駆動部１０４は、結像光学系１０１が有するフォーカシングレンズ１０２および不図示のレンズ群を駆動制御する。フォーカシングレンズ１０２は、レンズ駆動部１０４からの駆動制御信号にしたがって、光軸に沿った方向に駆動する。
図１は、本実施形態の画像処理装置の構成例を示す図である。
図１では、画像処理装置の一例としての撮像装置１００の構成を説明する。撮像装置１００は、結像光学系１０１乃至位置姿勢検出部１１９を有する。
結像光学系１０１は、被写体光を撮像素子１０６に導く。結像光学系１０１は、フォーカシングレンズ１０２、絞り１０３および不図示のレンズ群を有する。レンズ駆動部１０４は、結像光学系１０１が有するフォーカシングレンズ１０２および不図示のレンズ群を駆動制御する。フォーカシングレンズ１０２は、レンズ駆動部１０４からの駆動制御信号にしたがって、光軸に沿った方向に駆動する。
絞り駆動部１０５は、絞り１０３を駆動制御する。絞り１０３は、絞り駆動部１０５からの駆動制御信号にしたがって、所定の開口径になるように駆動し、光量を調節する。撮像素子１０６は、受光した光束を光電変換して撮像画像に係る信号を出力する。撮像素子１０６は、単位画素が２次元配列された画素アレイを有する。撮像素子１０６から出力される信号群は、不図示の記憶領域に蓄積され、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１７を介して各種処理部に転送される。
ＣＰＵ１１７は、撮像装置１００全体の動作を制御する。例えば、ＣＰＵ１１７は、撮像装置１００による撮影全般のフロー制御、レンズ駆動部１０４、絞り駆動部１０５等に対する命令発行などを行う。焦点調節部１１２は、撮像画像に係る信号に基づいてデフォーカス演算を行い、デフォーカス演算の結果をレンズ駆動量に変換してレンズ駆動信号を発行する。
指示部１１３は、ユーザが操作入力に用いる操作部である。指示部１１３は、例えば撮像装置１００のボディに構成される物理スイッチであり、撮影モードの切り替え、オートフォーカス時の焦点検出位置の指定、撮影準備指示、撮影開始指示等に用いられる。例えば、指示部１１３が有するレリーズスイッチが半押し状態（ＳＷ１がオン）になると、撮影準備指示がされたことを示す信号が出力される。また、レリーズスイッチが全押し状態（ＳＷ２がオン）になると、撮影開始指示がされたことを示す信号が出力される。なお、指示部１１３が、表示部１１０に内蔵されたタッチパネルを有していてもよい。
測光部１１５は、現実空間の被写体の明るさを測定する。位置姿勢検出部１１９は、撮像装置１００の位置および姿勢を示す位置姿勢情報を検出する。動き量算出部１１４は、仮想物体を含む対象の動き量を算出（取得）する。仮想物体を含む対象とは、被写体および仮想物体である。露出制御部１１６は、測光部１１５による測光結果と、動き量算出部１１４によって算出された動き量とに基づいて、露出制御を実行する。この例では、露出制御部１１６は、仮想物体を含む対象の動き量に基づいて、シャッタースピード、絞り値等の露出条件を設定する。これにより、設定された露出条件に応じた露光時間が決定される。
現実画像生成部１０７は、撮像素子１０６から出力される信号群に対して現像処理を行い、現実空間の画像を生成する。仮想物体生成部１０８は、メモリ１１８に予め記憶された仮想物体モデルに基づいて、現実空間の画像に対して重畳させる仮想物体モデル（仮想物体のオブジェクト）を生成する。複合現実画像生成部１０９は、現実空間の画像と仮想物体モデルに係る画像（仮想物体の画像）とを合成して、合成画像である複合現実画像を生成する。この例では、複合現実画像生成部１０９は、仮想物体生成部１０８によって生成された仮想物体モデルを現実空間の画像に重畳させてレンダリングする。メモリ１１８には、仮想物体モデルが予め記憶される。仮想物体モデルは、３次元空間情報と１次元時間情報とを有する４次元のデータである。また、メモリ１１８には、ＣＰＵ１１７が実行する制御プログラムが予め記憶される。
表示部１１０は、撮像画像のライブビュー表示、撮影の設定画面の表示、および再生画像の表示などを行う。表示部１１０は、例えば、液晶ディスプレイ等を有する表示デバイスである。記録部１１１は、例えばＳＤカード等の記憶媒体であり、複合現実画像生成部１０９によって生成された複合現実画像を記録する。
図２は、撮像装置による複合現実空間の撮影動作の一例を説明するフローチャートである。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図２中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図２中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
撮影が開始されると、処理がＳ２０１に進む。Ｓ２０１において、ＣＰＵ１１７が、電源ＯＦＦであるかを判断する。電源ＯＦＦでない場合は、処理がＳ２０２に進む。電源ＯＦＦである場合は、撮影処理が終了する。Ｓ２０２において、ＣＰＵ１１７が、複合現実画像の表示処理（ライブビュー表示）を行う。複合現実画像の表示処理の詳細については後述する。
次に、Ｓ２０３において、ＣＰＵ１１７が、ＳＷ１がＯＮであるかを判断する。ＳＷ１がＯＮでなく、ＯＦＦである場合は、処理がＳ２０７に進む。ＳＷ１がＯＮである場合は、処理がＳ２０４に進む。続いて、ＣＰＵ１１７が、焦点調節部１１２を制御して、焦点調節処理を行う。ＣＰＵ１１７は、焦点調節部１１２の出力に基づいて、予め設定された焦点検出領域に存在する、仮想物体を含めた任意の被写体にピントが合うようにフォーカシングレンズ１０２を駆動する。続いて、Ｓ２０５において、ＣＰＵ１１７が、動き量算出部１１４を制御して、仮想物体を含む対象の動き量を算出する。
図３は、図２のＳ２０５における動き量の算出処理の一例を説明するフローチャートである。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図３中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図３中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
Ｓ３０１において、動き量算出部１１４が、複合現実空間の撮影の主対象（便宜的に「主被写体」と記述）が仮想物体であるかを判断する。具体的には焦点調節処理においてピントを合わせた領域を主被写体領域とし、主被写体領域に仮想物体が重畳されている場合は、主被写体が仮想物体であると判断される。主被写体領域に仮想物体が重畳されていない場合は、主被写体が仮想物体でなく、現実空間の物体であると判断される。
動き量算出部１１４が、主被写体が仮想物体でないと判断した場合は、処理がＳ３０３に進む。動き量算出部１１４が、主被写体が仮想物体であると判断した場合は、処理がＳ３０２に進む。Ｓ３０３において、動き量算出部１１４が、現実空間の被写体の動き量を算出する。具体的には、動き量算出部１１４は、撮像素子１０６が出力した撮像画像に係る信号に基づいて、２つの画像間の、被写体の特徴点の変位から、動きベクトルを動き量として算出する。
また、Ｓ３０２において、動き量算出部１１４が、仮想物体の動き量を算出する。メモリ１１８に記憶されている仮想物体モデルが示す、時間軸方向の各位置における仮想物体は、それぞれ異なる空間座標に定義することができ、時間軸方向の各位置間の仮想物体の座標上の移動量を動き量として扱うことができる。動きを検出する期間と複合現実空間中の仮想物体の重畳位置が既知であるとき、所定の期間における仮想物体の動き量を複合現実画像の２次元座標に投影した動きベクトルを算出することができる。したがって、動き量算出部１１４は、メモリ１１８に記憶されている仮想物体モデルを参照して、主被写体領域に重畳している仮想物体モデルの情報を取得し、取得した仮想物体モデルの情報と、動きを検出する期間とに基づき、仮想物体の動き量を算出する。Ｓ３０２、Ｓ３０３において、動きベクトルが算出されると、動き量の算出処理が終了する。
図２に戻って説明を続ける。Ｓ２０６において、露出制御部１１６が、測光部１１５による測光結果と、動き量算出部１１４により算出される仮想物体を含む対象の動き量とに基づいて、露出制御を行う。具体的には、露出制御部１１６は、測光結果に基づいて適正なＥＶ値を決定し、適正なＥＶ値におけるシャッタースピードと絞り値を決定する。露出制御部１１６は、動き量算出部１１４が出力する動き量に基づいて、仮想物体を含む対象の動きに起因する画像のブレが最小限となるように、露出条件を設定する。例えば、露出制御部１１６は、動き量が大きいほどシャッタースピードを高く、絞り値を小さく（開口径を大きく）する。これにより、設定された露出条件に応じた露光時間が決定される。
次に、Ｓ２０７において、ＣＰＵ１１７が、ＳＷ２がＯＮであるかを判断する。ＳＷ２がＯＮでなく、ＯＦＦである場合は、処理がＳ２０１に戻る。ＳＷ２がＯＮである場合は、処理がＳ２０８に進む。続いて、Ｓ２０８において、ＣＰＵ１１７が、複合現実画像の記録処理を行う。複合現実画像の記録処理の詳細については後述する。複合現実画像の記録処理が完了した後、処理がＳ２０１に戻る。
図４は、図２のＳ２０２における複合現実画像の表示処理の一例を説明するフローチャートである。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図４中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図４中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
Ｓ４０１において、ＣＰＵ１１７が、所定の表示レートに応じた周期で表示用の露光処理を行い、撮像素子１０６から撮像画像に係る信号を取得する。続いて、Ｓ４０２において、位置姿勢検出部１１９が、撮像装置１００の位置姿勢を検出して、位置姿勢情報を出力する。ＣＰＵ１１７は、位置姿勢検出部１１９が出力した位置姿勢情報を、Ｓ４０１において取得した信号に関連付けて、記憶部（例えば、メモリ１１８）に記憶する。
次に、Ｓ４０３において、ＣＰＵ１１７が、撮影画角内の空間の奥行を検出し、奥行情報を取得する。ＣＰＵ１１７は、取得した奥行情報をＳ４０１で取得された信号に関連付けて、記憶部（例えば、メモリ１１８）に記憶する。続いて、Ｓ４０４において、ＣＰＵ１１７が、現実画像生成部１０７を制御して、複合現実画像の生成処理を実行する。そして、Ｓ４０５において、ＣＰＵ１１７が、Ｓ４０４において生成された複合現実画像を、表示に適したサイズに整形し、表示部１１０を制御して、整形された複合現実画像をライブビュー表示する。
図５は、図４のＳ４０４における複合現実画像の生成処理の一例を説明するフローチャートである。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図５中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図５中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
Ｓ５０１において、現実画像生成部１０７が、図４のＳ４０１での表示用露光により得られた撮像画像に係る信号に対して現像処理を行って、現実空間の画像を生成する。続いて、Ｓ５０２において、複合現実画像生成部１０９が、現実空間への仮想物体モデルの配置位置に関する情報（配置位置情報）を取得する。例えば、現実空間への仮想物体モデルの配置の基準となるマーカーを認識して複合現実空間を構築する方式を採用する場合、複合現実画像生成部１０９は、撮影画角内のマーカーの検出情報に基づいて、現実空間への仮想物体モデルの配置位置情報を取得する。複合現実画像生成部１０９は、取得した配置位置情報を撮像画像に係る信号に関連付けて記憶部（例えば、メモリ１１８）に記憶する。なお、現実空間中に仮想物体を配置しない場合は、仮想物体の配置位置情報がない。したがって、この場合は、複合現実画像生成部１０９は現実空間に対する仮想物体の配置がないことを示す情報を記憶部に記憶する。
次に、Ｓ５０３において、複合現実画像生成部１０９が、撮像画像に係る信号と関連付けられてメモリ１１８に記憶されている位置姿勢情報を用いて、撮像装置１００から見た仮想物体モデルの形状、即ち仮想物体モデルの姿勢を決定する。続いて、Ｓ５０４において、複合現実画像生成部１０９が、仮想物体モデルの配置位置に対応する奥行情報に基づいて、撮像装置１００から見た仮想物体モデルの大きさを決定する。そして、Ｓ５０５において、複合現実画像生成部１０９が、撮像装置１００から見た仮想物体モデルを現実画像に重畳させて投影（レンダリング）する。これにより、現実空間の画像と仮想物体の画像とが合成され、複合現実画像が生成される。
図６は、図２のＳ２０８における複合現実画像の記録処理の一例を説明するフローチャートである。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図６中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図６中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。
Ｓ６０１において、ＣＰＵ１１７が、図２のＳ２０６での露出制御により設定された絞り値とシャッタースピードに基づいて、記録用の露光を行う。Ｓ６０２乃至Ｓ６０４の処理は、図４のＳ４０２乃至Ｓ４０４の処理と同様である。Ｓ６０２乃至Ｓ６０４の処理により、記録用の露光により撮像された現実空間の画像と、仮想物体の画像とが合成されて、複合現実画像が生成される。そして、Ｓ６０５において、複合現実画像生成部１０９が、Ｓ６０４において生成した複合現実画像を記録部１１１に記録する。上述した実施例１の画像処理装置は、仮想物体を含む対象の動き量に基づく露出制御による撮像で得られた現実空間の画像と、仮想物体の画像とを合成する。これにより、仮想物体の動きが反映された、違和感の少ない複合現実画像を得ることが可能となる。
（実施例２）
実施例２の画像処理装置は、実施例１で説明した仮想物体を含む対象の動き量に基づく露光を複数回行い、各々の露光（分割露光）による撮像で得られる画像情報に基づいて、複合現実画像を生成する。分割露光の回数は、予め決められたシャッタースピードに対応する露光時間を、実施例１で説明した仮想物体を含む対象の動き量に基づく露出制御で決まる露光時間で除算して得られる。これにより、所望のシャッタースピードに相当する記録画像が得られる。以下では、分割露光による撮像で得られる現実空間の画像を、分割露光画像とも記述する。
実施例２の画像処理装置は、実施例１で説明した仮想物体を含む対象の動き量に基づく露光を複数回行い、各々の露光（分割露光）による撮像で得られる画像情報に基づいて、複合現実画像を生成する。分割露光の回数は、予め決められたシャッタースピードに対応する露光時間を、実施例１で説明した仮想物体を含む対象の動き量に基づく露出制御で決まる露光時間で除算して得られる。これにより、所望のシャッタースピードに相当する記録画像が得られる。以下では、分割露光による撮像で得られる現実空間の画像を、分割露光画像とも記述する。
実施例２における複合現実空間の撮影に関する全体の動作は、図２を参照して説明した実施例１における複合現実空間の撮影に関する全体の動作と、Ｓ２０６およびＳ２０８の処理以外は同様である。以下では、実施例１と異なる部分のみ説明を行う。
実施例２における露出制御について説明する。図２のＳ２０６において、露出制御部１１６が、まず、実施例１と同様に、動き量算出部１１４が出力する、仮想物体を含む対象の動き量に基づいて、対象の動きに起因する画像のブレが最小限となるように、露出条件を設定する。これにより、設定された露出条件に応じた露光時間（第１の露光時間）が決定される。
実施例２における露出制御について説明する。図２のＳ２０６において、露出制御部１１６が、まず、実施例１と同様に、動き量算出部１１４が出力する、仮想物体を含む対象の動き量に基づいて、対象の動きに起因する画像のブレが最小限となるように、露出条件を設定する。これにより、設定された露出条件に応じた露光時間（第１の露光時間）が決定される。
実施例２では、露出制御部１１６が、さらに、予め設定されたシャッタースピードに応じた露光時間（第２の露光時間）を取得する。そして、露出制御部１１６は、第２の露光時間を第１の露光時間で除算することで、分割露光を行う回数を算出する。後述する複合現実画像の記録処理において、上記算出された回数分の分割露光を行うことで、第２の露光時間に相当する撮像画像に係る信号を得ることができる。第１の露光時間が第２の露光時間より短い場合は、分割露光の回数が複数となる。なお、第１の露光時間が第２の露光時間よりも長い場合は、露出制御部１１６は、第１の露光時間を第２の露光時間に設定し、分割露光の回数を１とする。算出された分割露光の回数（露光繰り返し回数）は、複合現実画像の記録処理で参照される。
図７は、実施例２での図２のＳ２０８における複合現実画像の記録処理の一例を説明するフローチャートである。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図７中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。なお、図６を参照して説明した処理と同様の処理については、図６でのステップ番号と同じステップ番号を付し、説明を省略する。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図７中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。なお、図６を参照して説明した処理と同様の処理については、図６でのステップ番号と同じステップ番号を付し、説明を省略する。
複合現実画像の記録処理が開始すると、処理がＳ７０１に進む。Ｓ７０１において、ＣＰＵ１１７が、露光回数を０に初期化する。続いて、Ｓ７０２において、ＣＰＵ１１７が、第１の露光時間による露光（分割露光）を行う。以降、Ｓ６０２乃至Ｓ６０４の一連の処理により、分割露光画像と仮想物体の画像とが合成され、第１の露光時間に相当する複合現実画像が生成される。続いて、Ｓ７０３において、ＣＰＵ１１７が、露光回数をインクリメントする。そして、Ｓ７０４において、ＣＰＵ１１７が、露光回数が露光繰り返し回数に達したかを判断する。露光回数が露光繰り返し回数に達していない場合は、処理がＳ７０２に進む。そして、次の分割露光と複合現実画像の生成処理が実行される。露光回数が露光繰り返し回数に達している場合は、露光繰り返し回数分の複合現実画像が生成済みである。したがって、この場合は、処理がＳ７０５に進む。
Ｓ７０５において、複合現実画像生成部１０９が、不図示の画像処理回路を用いて、露光繰り返し回数分の複合現実画像を合成し、１枚の合成複合現実画像を生成する。生成された合成複合現実画像は、第２の露光時間、即ち記録用のシャッタースピードに相当する露光時間の画像信号を含む。また、各露光時間において、同様の時間軸の仮想物体の情報が重畳されているので、合成後の画像には、仮想物体の動きによる画像ブレが再現される。続いて、Ｓ７０６において、複合現実画像生成部１０９が、合成複合現実画像を記録部１１１に記録する。そして、処理が終了する。以上説明した実施例２の画像処理装置は、シャッタースピードを固定して撮影を行う場合は、対象の動きに起因する画像ブレが少ない第１の露光時間に基づく分割露光処理を行う。したがって、実施例２の画像処理装置によれば、複合現実画像の生成処理におけるマーカーの位置合わせ精度の劣化を抑え、かつ、記録画像に仮想物体の動きに起因する画像ブレを再現することが可能となる。
（実施例３）
実施例３の画像処理装置は、複数回の分割露光によって得られる複数の現実空間の画像を合成し、合成して得られた現実空間の画像に対して、仮想物体の動き量に応じて補正された仮想物体モデルを重畳させてレンダリングする。
実施例３の画像処理装置は、複数回の分割露光によって得られる複数の現実空間の画像を合成し、合成して得られた現実空間の画像に対して、仮想物体の動き量に応じて補正された仮想物体モデルを重畳させてレンダリングする。
図８は、実施例３の画像処理装置による複合現実画像の記録処理の一例を説明するフローチャートである。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図８中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。なお、実施例３における複合現実空間の撮影に関する全体の動作は、図２を参照して説明した動作と同様である。
本フローチャートにしたがう各処理は、ＣＰＵ１１７がメモリ１１８に記憶された制御プログラムを実行することによって実現される。図８中のＳは、本フローチャートにしたがう各処理に対応するステップ番号を示す。なお、実施例３における複合現実空間の撮影に関する全体の動作は、図２を参照して説明した動作と同様である。
Ｓ８０１において、ＣＰＵ１１７が、実施例２と同様に、分割露光により現実空間の画像（分割露光画像）を取得する。続いて、ＣＰＵ１１７が、分割露光画像に対する仮想物体モデルの配置があるか、すなわち、当該分割露光に対応する被写体に仮想物体が含まれるかを判断する。分割露光画像に対する仮想物体モデルの配置がない場合は、処理がＳ８０１に戻る。分割露光画像に対する仮想物体モデルの配置がある場合は、処理がＳ８０３に進む。Ｓ８０１及びＳ８０２の処理は、露光繰り返し回数分だけ行われる。
次に、Ｓ８０３において、ＣＰＵ１１７が、各々の分割露光に対応する対象に含まれる仮想物体の動き量を取得する。そして、ＣＰＵ１１７は、取得した仮想物体の動き量を積分して、複数回（露光繰り返し回数）の露光に対応する仮想物体の動き量、つまり第２の露光時間に対応する仮想物体の動き量を取得する。
次に、Ｓ８０４において、ＣＰＵ１１７が、露光繰り返し回数分の露光で得られた複数の分割露光画像を合成する。これにより、第２の露光時間に対応する現実空間の画像が得られる。続いて、Ｓ８０５において、ＣＰＵ１１７が、現実空間の画像に対して配置する仮想物体モデルの位置姿勢と奥行を決定する。
次に、Ｓ８０６において、ＣＰＵ１１７が、配置対象の仮想物体の画像に、Ｓ８０３で取得された、露光繰り返し回数分の露光に対応する仮想物体の動き量に応じた補正処理を実行する。具体的には、ＣＰＵ１１７は、仮想物体の画像にモーションブラーをかける。
次に、Ｓ８０７において、ＣＰＵ１１７が、Ｓ８０４における合成処理で得られた現実空間の画像と、Ｓ８０６において補正処理がされた仮想物体の画像とを合成する。これにより、複合現実画像が生成される。そして、Ｓ８０８において、ＣＰＵ１１７が、生成された複合現実画像を記録部１１１に記録する。実施例３の画像処理装置によれば、分割露光によって画像のブレを抑えつつ、現実空間の画像と仮想物体の画像とを１回合成することで複合現実画像を生成することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 撮像装置
１０９ 複合現実画像生成部
１１７ ＣＰＵ
１０９ 複合現実画像生成部
１１７ ＣＰＵ
Claims (10)
- 仮想物体を含む対象の動き量を取得する取得手段と、
測光結果と、前記取得された動き量とに基づいて、露出制御を行う制御手段と、
前記露出制御により撮像された現実空間の画像と、前記仮想物体の画像とを合成して合成画像を生成する生成手段と、を有する
ことを特徴とする画像処理装置。 - 前記制御手段は、前記露出制御により決定される露光時間に基づいて、複数回の露光を実行し、
前記生成手段は、各々の露光による撮像で得られる現実空間の画像と、前記仮想物体の画像とを合成して複数の前記合成画像を生成し、前記生成された複数の前記合成画像を合成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記制御手段は、前記動き量に基づいて行われる露出制御により決定される露光時間に基づいて、複数回の露光を実行し、
前記取得手段は、各々の露光に対応する対象の動き量に基づいて、前記複数回の露光に対応する前記仮想物体の動き量を取得し、
前記生成手段は、各々の露光による撮像で得られる現実空間の画像を合成し、合成により得られた現実空間の画像と、前記取得された前記仮想物体の動き量に応じた補正処理がなされた前記仮想物体の画像とを合成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記取得手段は、前記各々の露光ごとの、前記対象に含まれる前記仮想物体の動き量を積分することによって、前記複数回の露光に対応する前記仮想物体の動き量を取得する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記制御手段は、予め設定されたシャッタースピードに応じた露光時間を、前記動き量に基づいて行われる露出制御により決定される露光時間で除算して得られる回数の露光を実行する
ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。 - 前記取得手段は、記憶手段に記憶された前記仮想物体の時間軸方向の位置情報を含む仮想物体モデルに基づいて、前記対象に含まれる前記仮想物体の動き量を取得し、
前記制御手段は、前記取得された前記仮想物体の動き量に基づいて、前記露光時間を決定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 - 前記生成手段は、撮影画角内のマーカーの検出情報に基づいて取得される、現実空間への仮想物体モデルの配置位置に関する情報に基づいて、前記現実空間の画像と前記仮想物体の画像とを合成する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 - 請求項１乃至７のいずれか１項に記載の画像処理装置と、被写体光を光電変換して撮像画像に係る信号を出力する撮像手段を有する
ことを特徴とする撮像装置。 - 仮想物体を含む対象の動き量を取得する取得工程と、
測光結果と、前記取得された動き量とに基づいて、露出制御を行う制御工程と、
前記露出制御により撮像された現実空間の画像と、前記仮想物体の画像とを合成して合成画像を生成する生成工程と、を有する
ことを特徴とする画像処理装置の制御方法。 - コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置が有する各手段として機能させることを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021014184A JP2022117599A (ja) | 2021-02-01 | 2021-02-01 | 画像処理装置、撮像装置、制御方法およびプログラム |
| US17/589,669 US20220244849A1 (en) | 2021-02-01 | 2022-01-31 | Image processing apparatus, image capturing apparatus, and control method of image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021014184A JP2022117599A (ja) | 2021-02-01 | 2021-02-01 | 画像処理装置、撮像装置、制御方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022117599A true JP2022117599A (ja) | 2022-08-12 |
| JP2022117599A5 JP2022117599A5 (ja) | 2024-02-02 |
Family
ID=82612545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021014184A Pending JP2022117599A (ja) | 2021-02-01 | 2021-02-01 | 画像処理装置、撮像装置、制御方法およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220244849A1 (ja) |
| JP (1) | JP2022117599A (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023017615A (ja) * | 2021-07-26 | 2023-02-07 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
| US11983812B2 (en) * | 2022-05-31 | 2024-05-14 | Dish Network L.L.C. | Marker-based representation of real objects in virtual environments |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5765019B2 (ja) * | 2011-03-31 | 2015-08-19 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| US9826142B2 (en) * | 2015-03-17 | 2017-11-21 | Canon Kabushiki Kaisha | Image pickup apparatus and method of controlling image pickup apparatus |
| US10380950B2 (en) * | 2016-09-23 | 2019-08-13 | Novatek Microelectronics Corp. | Method for reducing motion blur and head mounted display apparatus |
| JP6960755B2 (ja) * | 2017-03-27 | 2021-11-05 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| JPWO2018198499A1 (ja) * | 2017-04-27 | 2020-03-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
| JP7062506B2 (ja) * | 2018-05-02 | 2022-05-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2021
- 2021-02-01 JP JP2021014184A patent/JP2022117599A/ja active Pending
-
2022
- 2022-01-31 US US17/589,669 patent/US20220244849A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220244849A1 (en) | 2022-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6341736B2 (ja) | 撮像装置、制御方法、プログラム、記憶媒体 | |
| JP6055332B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
| JP5226600B2 (ja) | 画像変形装置およびその動作制御方法 | |
| JP6335434B2 (ja) | 撮像装置、その制御方法およびプログラム | |
| JP2007043637A (ja) | 撮像装置、撮像プログラムおよび画像処理プログラム | |
| CN107864315B (zh) | 摄像设备、摄像设备的控制方法和记录介质 | |
| US9924155B2 (en) | Imaging apparatus and method for controlling same | |
| JP2019092119A (ja) | 撮像装置、レンズ装置およびこれらの制御方法 | |
| JP2009296561A (ja) | 撮像装置及び撮像方法 | |
| JP3530696B2 (ja) | 撮像装置 | |
| JP2014157425A (ja) | 撮像装置及びその制御方法 | |
| JP2022117599A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
| JP6360338B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
| JP2011119874A (ja) | カメラユニット、及びレンズユニット | |
| JP2012133194A (ja) | 撮像装置 | |
| JP2006080844A (ja) | 電子カメラ | |
| JP3754964B2 (ja) | 撮像装置 | |
| JP2016028468A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
| JP2015175982A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP6478587B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
| JP2022124048A (ja) | レンズ装置、撮像システム、レンズ装置の制御方法、およびプログラム | |
| JP6226536B2 (ja) | 撮像装置及びその制御方法 | |
| JP2018007205A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム | |
| JP7134601B2 (ja) | 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法 | |
| JP2010016650A (ja) | 撮像装置及びその制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240124 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240124 |