JP7513081B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP7513081B2 JP7513081B2 JP2022503160A JP2022503160A JP7513081B2 JP 7513081 B2 JP7513081 B2 JP 7513081B2 JP 2022503160 A JP2022503160 A JP 2022503160A JP 2022503160 A JP2022503160 A JP 2022503160A JP 7513081 B2 JP7513081 B2 JP 7513081B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- shaking
- image
- change
- vibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 293
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000008859 change Effects 0.000 claims description 198
- 238000000034 method Methods 0.000 claims description 154
- 230000008569 process Effects 0.000 claims description 145
- 238000003384 imaging method Methods 0.000 claims description 91
- 230000004048 modification Effects 0.000 claims description 59
- 238000012986 modification Methods 0.000 claims description 59
- 230000010365 information processing Effects 0.000 claims description 48
- 238000010606 normalization Methods 0.000 claims description 37
- 238000012937 correction Methods 0.000 description 71
- 230000006641 stabilisation Effects 0.000 description 42
- 238000011105 stabilization Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 22
- 230000000694 effects Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 14
- 230000036961 partial effect Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 101150076088 MTD1 gene Proteins 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
下記特許文献1では撮影画像に係る画像データに対して防振処理を実行するとともに、防振処理後の画像データを対象として防振処理の影響を除去することが開示されている。
このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。また放送事業者などにおいても画像の多様な演出が可能とされることが望まれている。
そこで本開示では、動画における揺れの付加や調整を行う場合に、目的の揺れ具合の揺れが加わる画像を生成できるようにする技術を提案する。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させることである。揺れ変更部は、出力揺れ情報に基づいて揺れ変更処理を行うが、この場合に、揺れを表現する画像の画角に応じて正規化した出力揺れ情報を用いるようにする。
即ち揺れ変更の一態様として画像に揺れの付加を行う。
即ち揺れ変更の一態様として画像の揺れ一部除去を行う。揺れ除去とは例えば撮像時の撮像装置の動き(手ぶれ等)により画像に生じている揺れなど、動画像に加わっている揺れを除去することであるが、その揺れの一部を除去する。即ち揺れ一部除去とは揺れを完全には除去せずに低減させることである。
ある基準画角を決め、その基準画角との画角の比を用いて揺れ情報を正規化する。
撮像画像から切り出しを行って出力画像を生成する場合、撮像画像の画角を基準として切り出し画像に対する揺れ情報を正規化する。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させるが、この揺れ変更処理は、パラメータ設定部が設定する揺れ変更パラメータに基づいて行われるようにする。
即ち揺れ具合を指定するようなユーザ操作環境を提供する。
例えばユーザが揺れの角度として揺れを指定する操作を可能とし、その操作入力に基づいて揺れ変更処理のパラメータを設定する。
例えば画像に揺れ付加を行う場合に、入力された揺れ変更パラメータに応じた出力揺れ情報を生成する。
例えば画像における撮像時の揺れを一部除去する場合に、撮像時揺れ情報を揺れ変更パラメータを用いて調整する。
撮像装置の姿勢情報は、例えば角速度センサや加速度センサの情報から求めることができる。
例えば角速度センサや加速度センサの情報から求める撮像装置の揺れ情報(例えばクオータニオン:Quaternion)に基づいて、天球モデル上で回転処理を行う。
揺れ変更処理としてどのような揺れ変更が行われたかを把握できるように、画像データと正規化揺れ情報とが関連付けられるようにする。
これにより画像に対する揺れ付加や揺れ残しの具合が画角によって大きく異なってしまうようなことがないようにする。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本開示の画像処理を各種の情報処理装置で実行可能とする。
<1.画像処理装置として適用できる機器の構成>
<2.装置構成及び処理機能>
<3.揺れ変更と揺れ情報の正規化>
<4.画像ファイル及びメタデータ>
<5.処理例>
<6.まとめ及び変形例>
「揺れ」とは動画を構成する画像のフレーム間の揺れ(interframe shake)を指す。いわゆる撮像装置で撮像された画像における手ぶれ(camera shake)等に起因する揺れや、画像処理により意図的に付加した揺れなど、フレーム間で生じる振動成分(フレーム間での画像の揺らぎ)を広く指すものとする。
この「揺れ変更」には次の「揺れ除去(interframe shake reduction)」「揺れ付加(interframe shake addition)」が含まれるものとする。
本実施の形態では、主に「揺れ一部除去」として揺れ成分の一部を除去する処理を行う例を述べるが、これは揺れを残した状態となるように画像の揺れ変更を行うものである。
なお、揺れ演出の目的の一例としては、動画のシーンに迫力を与えるため、わざと画像を揺らすことなどが想定される。
実施の形態では、「撮像時揺れ情報」の具体例として、クオータニオン(QD)、IMUデータを挙げるが、他にも例えばシフト・回転情報などもあり、特には限定されない。
以下の実施の形態では、主にスマートフォンやパーソナルコンピュータなどの情報処理装置により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。
なお、画像処理装置TDxは、画像ソースVSから取得された画像データに対して一次的に揺れ変更処理を行う機器とする。
一方、画像処理装置TDyは、他の画像処理装置で既に揺れ変更処理が行われた画像データについて二次的に揺れ変更処理を行う機器とする。
画像処理装置TDx、TDyとしてはスマートフォンなどの携帯端末2やパーソナルコンピュータ3などが想定される。他にも図示していないが、画像編集専用装置、クラウドサーバ、テレビジョン装置、ビデオ記録再生装置など各種の機器が画像処理装置TDx、TDyとして想定される。これらの機器は、画像処理装置TDx、TDyのいずれとしても機能できる。
サーバ4はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置1で撮像された画像ファイルMFを提供できる装置を指す。このサーバ4がなんらかの伝送路を介して画像ファイルMFを携帯端末2やパーソナルコンピュータ3などに転送することが考えられる。
揺れ変更処理は、例えば、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて回転することにより行う。
例えば撮像装置1の内部のマイクロコンピュータ等が揺れ変更処理を行う。
つまり撮像装置1は撮像によって生成した画像ファイルMFに対して揺れ変更処理を行うことで、揺れ一部除去や揺れ付加を施した画像処理結果としての画像出力を行うことができるものとする。
もちろん撮像装置1や携帯端末2に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。
画像ソースVSから画像処理装置TDxに対しては、画像データVD1とメタデータMTD1が、有線通信、無線通信、或いは記録媒体を介して伝送される。
後述するが画像データVD1とメタデータMTD1は、例えば画像ファイルMFとして伝送される情報である。
メタデータMTD1には、例えば手ぶれ補正などとして行われた撮像時の揺れ除去の情報として、座標変換パラメータHPが含まれる場合がある。
例えば画像処理装置TDxは、メタデータMTD1に含まれる撮像時揺れ情報を用いて画像データVD1に対する揺れ変更処理を行うことができる。
また例えば画像処理装置TDxは、メタデータMTD1に含まれる座標変換パラメータHPを用いて撮像時に画像データVD1に施された揺れ除去をキャンセルすることもできる。
揺れ変更情報SMIは、画像データの揺れ変更処理の情報であり、揺れ変更処理の処理量を特定できる情報であればよい。
実施の形態では、「揺れ変更情報」の具体例として、揺れ変更パラメータ(PRM)や揺れ変更用クオータニオン(eQD)を挙げるが、もちろんこれらに限定されない。
また正規化揺れ情報SCIは、正規化された揺れ情報である。後に例として正規化クオータニオン(nQD)を挙げるが、本実施の形態では正規化された揺れ情報に基づいて揺れ変更処理が行われる。
或いは少なくとも画像データと正規化揺れ情報SCIとが関連づけられて伝送されるようにする。
また図2では画像処理装置TDxから画像処理装置TDyに伝送されるメタデータMTD2を示している。メタデータMTD2はメタデータMTD1と同じ情報であったり、一部異なる情報であったりする。但しメタデータMTD2には撮像時揺れ情報が含まれる。
従って画像処理装置TDyは、例えば少なくとも画像データVD2と、メタデータMTD2に含まれる撮像時揺れ情報と、正規化揺れ情報SCIと、揺れ変更情報SMIが関連付けられた状態で取得できる。
なお、正規化揺れ情報SCIや揺れ変更情報SMIもメタデータMTD2に含まれるようにするデータ形態も考えられる。
まず画像ソースVSとなる撮像装置1の構成例を図3で説明する。
なお図1Bで説明したように携帯端末2で撮像した画像ファイルMFについてその携帯端末2で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置1と同等の構成を携帯端末2が備えればよいことになる。
なお、図示していないがレンズ系11には手ぶれ等による画像の揺れ(interframe shake)及びブラー(blur)を補正する光学手ぶれ補正機構(optical image stabilization mechanism)が設けられている場合がある。
この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系11側ではなく、イメージセンサ12a側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構(balanced optical image stabilization mechanism)の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ(interframe shake)に加えて後述するがフレーム内のブラーも合わせて補正される。
またカメラ信号処理部13は各種補正処理も行う。但し手ぶれ補正については、撮像装置1内で行う場合もあれば、行わない場合も想定される。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正(electrical image stabilization)のみ、または、光学手ぶれ補正のみが行われる場合もある。
処理F2ではレンズ歪み補正が行われる。
処理F3では電子手ぶれ補正の1つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばCMOS型のイメージセンサ12aによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。
処理F5では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理F6では、電子手ぶれ補正の1つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。
なおカメラ信号処理部13はカメラ制御部18からの情報等を用いて、画像ファイルMFに付加するメタデータの生成も行う。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよいし、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)の送信出力を行う。
また出力部16はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなど包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
センサ部23としては例えばIMU( inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ-、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
なお、センサ部23は、撮像時の手ぶれを検出することができるセンサを含んでいればよく、ジャイロセンサと加速度センサの双方を備えている必要は無い。
またセンサ部23としては、位置情報センサ、照度センサ等が搭載されていても良い。
画像処理装置TDx、TDyとなる携帯端末2、パーソナルコンピュータ3は、例えば図5に示す構成を備えた情報処理装置として実現できる。なおサーバ4についても、同様に図5の構成の情報処理装置により実現できる。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インタフェース75も接続されている。
例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
通信部80は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などを行う。
ドライブ82により、リムーバブル記録媒体81からは画像ファイルMF等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体81から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
図6は画像処理装置TDxとして機能する情報処理装置70として設けられる機能を示している。即ち情報処理装置70(CPU71)は、揺れ変更部100、揺れ情報処理部101、パラメータ設定部102、ユーザインタフェース処理部103、揺れ情報正規化部105関連付け部106としての機能を備える。
なお、「ユーザインタフェース」は「UI」とも表記し、ユーザインタフェース処理部103は、以下「UI処理部103」とも表記する。
揺れ変更パラメータPRMは、ユーザ操作や自動制御によって発生される処理パラメータである。
揺れ変更部100は揺れ付加部100aとしての機能を備えており、特に正規化揺れ情報SCIを用いて揺れを付加する処理を行う。
また揺れ変更部100は揺れ一部除去部100bとしての機能を備えており、特に正規化揺れ情報SCIを用いて揺れを一部除去する処理を行う。
なお揺れ付加部100aと揺れ一部除去部100bは、必ずしも異なるアルゴリズムで形成されなくてもよく、正規化揺れ情報SCIを用いた揺れ変更処理の結果として、揺れ付加又は揺れ一部除去が行われると理解されればよい。図中に揺れ付加部100aと揺れ一部除去部100bを示しているのは、揺れ変更処理として揺れ付加や揺れ一部除去が行われることを示すためである。
揺れ変更部100は、揺れ付加や揺れ一部除去を行った、揺れ変更済み画像データを出力する。
例えばUI処理部103は表示部77にUI画像として、操作子や画像に関する情報を示す画像を表示させる処理を行う。またUI処理部103は入力部76によるユーザの操作を検出する。例えばUI画像に対するタッチ操作などを検出する。
もちろんユーザが揺れパターンを選択し、その選択に応じて揺れ変更パラメータPRMを設定することも考えられる。
・画像に存在する揺れの量を表す情報
・画像に加える揺れの量を表す情報
のいずれにも考えることができる。
「画像に存在する揺れの量を表す情報」で示される揺れ量を抑制する方向に揺れ変更処理を行えば、揺れ除去が行われる。この場合にその揺れ量を小さく調整してその揺れ量を抑制する方向に揺れ変更処理を行えば、揺れ一部除去が行われる。
一方で、「画像に存在する揺れの量を表す情報」に応じて揺れを除去した後、「画像に存在する揺れの量を表す情報」を調整した揺れ情報に応じて揺れを加えても、結果として揺れ一部除去が行われる。
さらに揺れの無い画像、又は揺れを除去した画像、又は揺れのある画像に「画像に加える揺れの量を表す情報」に応じて揺れを加えるように揺れ変更を行うと、揺れ付加が行われる。
つまり、「揺れ情報」が上記のいずれであるかにより、揺れ変更の具体的な演算処理が異なるものとなるが、いずれであっても本実施の形態の揺れ変更は可能となる。
例えば関連付け部106は、画像データと正規化揺れ情報SCIを関連付けて保存してもよい。或いは関連付け部106は、これら画像データと正規化揺れ情報SCIを互いに関連付けるための情報を生成、保存することも考えられる。
この場合、画像データは、揺れ変更部100における揺れ変更処理を行う前の画像データとしている。
なお関連付け部106は、さらに、正規化揺れ情報SCIを、揺れ変更処理の処理量が特定できる揺れ変更情報SMI(図2参照)や、撮像時揺れ情報とも関連付けるようにしてもよい。揺れ変更情報SMIとは、例えば当該画像データについて揺れ変更のために入力された揺れ変更パラメータPRMである。
この図7の場合、揺れ変更部100は、揺れ付加部100aのみを備える例としている。
揺れ情報処理部101はパラメータ設定部102からの揺れ変更パラメータPRMに基づいて出力揺れ情報を生成し、その出力揺れ情報が揺れ情報正規化部105で正規化されて揺れ変更部100に送られる。
揺れ変更部100は、正規化揺れ情報SCIに基づいて揺れ付加を行う。
この図8の場合、揺れ変更部100は、揺れ一部除去部100bのみを備える例としている。
揺れ情報処理部101はパラメータ設定部102からの揺れ変更パラメータPRMに基づいて、撮像時揺れ情報を調整した出力揺れ情報を出力し、その出力揺れ情報が揺れ情報正規化部105で正規化されて揺れ変更部100に送られる。
揺れ変更部100は、正規化揺れ情報SCIに基づいて揺れ一部除去を行う。
但し画像処理装置TDyの場合、揺れ変更部100が処理対象とする画像データと、正規化揺れ情報SCIは、以前の揺れ変更の際に画像処理装置TDxなどにより関連付けられているデータであることになる。
また図1Bで説明したように画像ソースVSと画像処理装置TDxが例えば撮像装置1などで実現される場合、図6,図7,図8の機能を撮像装置1のカメラ信号処理部13又はカメラ制御部18において備えることで、画像処理装置TDxとして機能するようにすることも考えられる。
ここで実施の形態における揺れ付加及び揺れ一部除去の処理、及び揺れ情報正規化部105による揺れ情報の正規化について説明する。
本実施の形態の処理は、処理対象の画像の画角に応じて揺れの強弱を調整するものと言うことができる。
このため、例えば、同じ揺れのデータを画角の異なる2つの画像に適用した場合に、画角に対する割合という意味で同程度の揺れ演出効果を得ようとすると、異なる強度設定をする必要があり、煩雑となる。
例えば揺れデータとして想定する基準となる画角を予め定めておき、基準画角と実際に揺れ変更を行う画像の画角との関係に従って、揺れの大きさを調整する。
(正規化後の揺れ付加量)=(オリジナル揺れ付加量)×((対象画像画角)/(基準画角))
などとする。
なお、オリジナル揺れ付加量とは、揺れ情報処理部101で生成した出力揺れ情報である。例えば後述する揺れ変更用クオータニオンeQDにユーザ操作等に応じてゲイン調整を行ったものが相当する。
基準画角とは予め基準として定めたある画角である。
(正規化後の揺れ残し量)=(オリジナル揺れ残し量)×((切り出し後画像画角)/(撮像画像画角))
などとする。
なお、オリジナル揺れ残し量とは、揺れ情報処理部101で調整した出力揺れ情報である。これも例えば後述する揺れ変更用クオータニオンeQDにユーザ操作等に応じてゲイン調整を行ったものが相当する。
そして揺れ量の画角に応じた正規化を行うために、基準画角として少なくとも縦の画角の情報をメタデータとして残しておく。
この図の場合では、FOV_Vstd≒27[deg]、FOV_Vtgt≒14.4[deg]となる。
そして「正規化後の揺れ付加量」や「正規化後の揺れ残し量」を上述の正規化揺れ情報SCI、「オリジナル揺れ付加量」や「オリジナル揺れ残し量」を揺れ情報処理部101が出力する揺れ情報とすると、
正規化揺れ情報SCI=(揺れ情報)×α
とすることができる。
そして図9の場合に縦の画角で処理することを考えると、
正規化係数α=FOV_Vtgt/FOV_Vstd
となる。つまり
正規化揺れ情報SCI=(揺れ情報)×(FOV_Vtgt/FOV_Vstd)
となる。
例えばこのような正規化処理を行い、正規化揺れ情報SCIに応じて揺れ変更を行うことで、画角によって揺れ具合(揺れの見え方)が大きく異なるようなことがなくなる。
当該揺れを付加するための揺れ変更パラメータPRMで揺れ情報を生成し、揺れ付加を行うと、画像P1については適切に見える揺れであっても、画像P2については、視覚上、激しい揺れとなってしまう。
そこでこの場合に、それぞれの対象画像の撮像画角と基準画角を用いた正規化係数αで揺れ情報を正規化し、正規化揺れ情報SCIを用いて揺れ変更を行う。これにより図示のように両者とも適度な揺れを表現できるようになる。
また揺れ一部除去のために、例えばユーザが指定した揺れ残し量に応じた揺れ変更パラメータを入力する。
もし撮像時揺れ情報と揺れ変更パラメータのみから得られる揺れ情報を正規化せずに揺れ変更を行うと、画像P4,P5は、ユーザが意図したような揺れ残りの状態とはならないことが想定される。そこで撮像画像画角と切り出し後画像画角から求める正規化係数αを用いて正規化した正規化揺れ情報SCIを用いて揺れ変更を行う。これにより画像P4,P5が互いに同じ程度の揺れが視覚的に表現されたものとなる。
以下、画像ソースVSである撮像装置1で撮像され、画像処理装置TDxへ入力される画像ファイルMFについて、上記のような揺れ情報の正規化を行う例を説明していく。
まず、撮像装置1等の画像ソースVSから画像処理装置TDxに伝送される画像ファイルMFの内容とメタデータの内容を説明する。
図12Aは画像ファイルMFに含まれるデータを示している。図示のように画像ファイルMFには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。
「サウンド」は動画とともに収録された音声データである。例えば2チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム(#1、#2、#3・・・)としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム(#1、#2、#3・・・)に対応づけられた付加情報が記述される。
センサ部23として撮像装置1に搭載されるIMUでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため1フレーム期間に多くのIMUデータサンプルが得られるものとなっている。
また加速度データとしても、アクセルサンプル#1、アクセルサンプル#2・・・アクセルサンプル#mというように、1フレームについてm個のサンプルが対応づけられる。
n=mの場合もあるし、n≠mの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばIMUデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報TMにおけるIMUサンプルタイミングオフセットとして持つようにされる。
そして、座標変換パラメータHPとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。
図13Aにはレンズ系11とイメージセンサ12aの模式図において、像高Y、角度β、入射瞳位置d1、射出瞳位置d2を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ12aの各画素についての入射角度を知りたいために用いられる。そのため像高Y、角度βの関係がわかれば良い。
像高Y、角度βの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高H0と、N個の各像高に対する入射角度のデータd0、d1、・・・d(N-1)となる。“N”は一例として10程度であることが想定される。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部12のイメージセンサ12aに結像したときの状態に戻すことができる。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとIMUデータを対応づけるために用いられる。
但しイメージセンサ12aがCCDの場合やグローバルシャッター方式のCMOSの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。
実施の形態としての画像処理装置TDxとなる情報処理装置70の処理例を説明する。
図14は、画像処理装置TDxとしての情報処理装置70において実行される各種処理の手順を示すとともに、各処理で用いる情報の関係性を示している。
なお、図6等に示した揺れ変更部100の機能によっては、少なくともステップST17の処理が行われればよい。ただし、ステップST11,ST12,ST13,ST14,ST18,ST19を揺れ変更部100の処理と考えることもできる。
また揺れ情報処理部101の機能によっては、ステップST15の処理が行われる。
揺れ情報正規化部105の機能によっては、ステップST16の処理が行われる。
UI処理部103の機能によっては、ステップST40の処理が行われる。
パラメータ設定部102の機能によっては、ステップST41の処理が行われる。
関連付け部106の機能によっては、ステップST20の処理が行われる。
前処理は画像ファイルMFのインポート時に行われる処理とする。
ここでいう「インポート」とは、情報処理装置70が例えば記憶部79などに取り込んでいることでアクセス可能な画像ファイルMFなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置1から携帯端末2等に転送することを指すものではない。
具体的には、この前処理では、メタデータ抽出(ステップST1)、全IMUデータ連結(ステップST2)、メタデータの保持(ステップST3)、クオータニオン(撮像装置1の姿勢情報)への変換、保持(ステップST4)が行われる。
なおステップST1,ST2,ST3,ST4の一部又は全部を撮像装置1などの画像ソースVS側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。
これは、全フレームについて対応づけられているIMUデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するIMUデータを構築する処理となる。
そして連結したIMUデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置1の姿勢を表すクオータニオンQDを算出し、これを記憶保持する。クオータニオンQDを算出するとしているのは一例である。
なお角速度データのみでクオータニオンQDを計算することもできる。
図10の定常処理は、以上のように前処理が施された画像ファイルMFの画像データを対象として行う画像処理を示している。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップST11でのデコード処理は不要である。
このためにCPU71は、前処理時に当該フレーム番号(#FN)に対応して記憶された座標変換パラメータHP(#FN)を参照し、撮像装置1で行われた補正とは逆補正を行う。これにより撮像装置1におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データiPD(#FN)を得る。つまり撮像装置1で行われた揺れ除去等がキャンセルされて、撮像時の手ぶれ等の揺れの影響がそのまま現れている画像データである。これは、撮像時の補正処理をキャンセルして補正前の状態としたうえで、撮像時揺れ情報(例えばクオータニオンQD)を用いたより高精度の揺れ除去や、揺れ付加を行うためである。
但し、このステップST12としての撮像装置内部補正キャンセルの処理は行われなくてもよい。例えばステップST12の処理をスキップして、画像データPD(#FN)をそのまま出力してもよい。
図15Aは画像データiPDを示している。なお画像データPDの場合もあるが、以下同様である。
像高hは画像中心からの距離である。図中の各円は像高hが等しくなる位置を示している。
この画像データiPDのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図15Bのような像高hと入射角φの関係の1次元のグラフとして表現する。入射角φは光線の角度(光軸から見た角度)である。
この1次元のグラフを撮像画像の真ん中を中心に1回転させて、各ピクセルと入射角の関係を求める。
それに従って図15Cの画素G1から天球座標上の画素G2のように、画像データiPDの各画素について天球モデルMTへのマッピングを行うことになる。
従ってこの状態で天球モデルMTの画像を所定方向に回転させることで、揺れ除去や揺れ付加としての揺れ変更処理が実現できることになる。
同期処理では、フレーム番号FNに対応して、ライン毎に適したクオータニオンQD(#LN)を特定し取得する処理を行う。なお『(#LN)』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。
例えばイメージセンサ12aがCCD型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンQD(#FN)を用いれば良い。
なお、イメージセンサ12aとしてのCCDやCMOSのグローバルシャッターの時でも電子シャッター(メカシャッターでも同様)を用いていると重心がずれるので、フレームの露光期間の中心(電子シャッターのシャッター速度に応じてずれる)のタイミングのクオータニオンを用いると良い。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減/解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、CMOSのローリングシャッターではラインごとに露光期間が異なる。
図16には、撮像装置1の垂直期間の同期信号cVと、この同期信号cVから生成されるイメージセンサ12aの同期信号sV、及びIMUデータのサンプルタイミングを示すとともに、露光タイミング範囲120を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間t4としたときの1フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号cVと同期信号sVの時間的なオフセットt0、IMUサンプルタイミングオフセットt1、読み出し開始タイミングt2、読み出し時間(幕速)t3、露光時間t4を示している。なお読み出し開始タイミングt2は同期信号sVから所定時間t2ofを経たタイミングとなる。
各IMUサンプルタイミングで得られる各IMUデータについてはフレームに紐づけられる。例えば期間FH1におけるIMUデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間FH1におけるIMUデータは次のフレームに紐付いたメタデータとされる。但し図14のステップST2で全IMUデータを連結することで、各フレームとIMUデータの紐付けを解除し時系列でIMUデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心(破線Wのタイミング)に相当するIMUデータを特定する。これはIMUデータとイメージセンサ12aの有効画素領域との時間的な関係がわかれば計算できる。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、IMUサンプルオフセット、フレームレートの情報である。
そして露光重心のIMUデータから計算されたクオータニオンQDを特定し、ライン毎の姿勢情報であるクオータニオンQD(#LN)とする。
揺れ情報調整/生成の処理では、CPU71は入力された揺れ変更パラメータPRMに従ってクオータニオンQDを調整又は生成する。
揺れ変更パラメータPRMはステップST41のパラメータ設定の処理で発生される。
例えばユーザは、画像に任意の揺れ具合を付加するように揺れ変更パラメータPRM自体の入力や、パラメータの選択等を行うことができる。その場合、ステップST41でユーザ入力に応じた揺れ変更パラメータPRMが設定され、揺れ情報調整/生成の処理に供される。
またCPU71は、ステップST41のパラメータ設定の処理として、画像解析や画像種別、或いはユーザの揺れのモデルの選択操作などに応じて自動制御により揺れ変更パラメータPRMを発生させ、揺れ情報調整/生成の処理に供することもできる。
図17は揺れ変更パラメータPRMによる周波数帯域別ゲインの指示に応じて揺れ変更用クオータニオンeQDを生成する例である。
周波数帯域とは揺れの周波数の帯域である。説明上、ローバンド、ミドルバンド、ハイバンドの3つの帯域に分けるとする。もちろんこれは一例にすぎず帯域数は2以上であればよい。
低域ゲインLG、中域ゲインMG、高域ゲインHGが、揺れ変更パラメータPRMとして与えられる。
この調整処理系には「揺らすためのクオータニオンQDs」を入力する。これは撮像時揺れ情報としてのクオータニオンQDの共役である。
なお、式中のmean(q,n)は、qの前後n個の平均値を示す。
また“×”はクオータニオン積である。
この中域成分qmidに対してゲイン演算部45で中域ゲインMGを与える。
この高域成分qhighに対してゲイン演算部46で高域ゲインHGを与える。
(但しgainは、低域ゲインLG、中域ゲインMG、高域ゲインHG)
このように求められた値qmixedが揺れ変更用クオータニオンeQDの値となる。
なお以上は帯域分割した例であるが、帯域分割せずに揺れ変更パラメータPRMに応じたゲインを与えるという揺れ変更用クオータニオンeQDの生成手法も考えられる。
方向とは揺れの方向であり、即ち、ヨー、ピッチ、ロールの方向である。
ヨーゲインYG、ピッチゲインPG、ロールゲインRGが、揺れ変更パラメータPRMとして与えられる。
ヨー成分抽出部51,ピッチ成分抽出部52,ロール成分抽出部53には、それぞれヨー軸(Yaw axis)、ピッチ軸(Pitch axis)、ロール軸(Roll axis)の情報が提供される。
これら各成分抽出処理は、入力を次の“qin”とする。
この場合にθ’=θ*(a・u)として、次の“qout”を出力する。
そしてゲイン演算を施したヨー成分qyaw、ピッチ成分qpitch、ロール成分qrollを合成部47で合成した値qmixedを得る。
このように求められた値qmixedが揺れ変更用クオータニオンeQDの値となる。
調整処理系としては、低域通過フィルタ41,中域通過フィルタ42,高域通過フィルタ43、方向別処理部58,59,60、ゲイン演算部44,45,46、合成部61を有する。
揺れ変更パラメータPRMによっては、低域ゲインLG、中域ゲインMG、高域ゲインHG、及び図示していないヨーゲインYG、ピッチゲインPG、ロールゲインRGが与えられる。
方向別処理部58,59,60は、それぞれが図18のヨー成分抽出部51,ピッチ成分抽出部52,ロール成分抽出部53、ゲイン演算部54,55,56、合成部57を有するものとする。
即ち、方向別処理部58では、揺らすためのクオータニオンQDsの低域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分け、ヨーゲインYG、ピッチゲインPG、ロールゲインRGを用いてゲイン演算を行った後、合成する。
方向別処理部59では、揺らすためのクオータニオンQDsの中域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
方向別処理部60では、揺らすためのクオータニオンQDsの高域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
但し、以上は、撮像時揺れ情報であるクオータニオンQDを調整して、揺れ変更用クオータニオンeQDを生成する場合の例として考えることができる。例えば揺れ一部除去を行う場合の処理例となる。或いは元々の揺れに揺れを追加するような揺れ付加を行う場合の処理例となる。
揺れ変更の対象として揺れのない画像(例えば画像データiPD)を想定し、新規に揺れを付加するような揺れ付加を行う場合は、撮像時揺れ情報であるクオータニオンQDを用いずに、揺れ変更パラメータPRMに基づいて揺れ変更用クオータニオンeQDを生成すればよいものとなる。
この場合、ユーザから見た場合、揺れの変更量(揺れ残し量)を、角度で認識して入力できるようにすると、感覚的にわかりやすい操作を提供できる。ここで言う角度とは、天球モデルMT上での回転角度である。揺れ付加の場合も角度で操作できることが好適である。
a=(ax ay az)T
とし、回転する角度(回転量)をθ[rad]とすると、
その回転に対応するクオータニオンqは、次の(数10)のようになる。
揺れ情報正規化処理では、正規化係数αを用いて揺れ変更用クオータニオンeQDを正規化する。
正規化揺れ情報SCI=(揺れ情報)×α
として求めると述べたが、この式の「揺れ情報」の具体例が、揺れ変更用クオータニオンeQDとなる。そしてステップST16では、正規化揺れ情報SCIとして正規化クオータニオンnQDを求めることになる。
いま、調整/生成された「揺れ情報」である揺れ変更用クオータニオンeQDの値を次の「qorg」とする。
ステップST17の揺れ変更とは、例えば正規化クオータニオンnQDを、揺れが止まった状態の画像データiPDに適用して揺れを付加するもの、或いは揺れのある画像データPDの揺れ補正量を調整するものと考えることができる。
さらにクオータニオンQD(#LN)が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。
図20Aは、平面投影する矩形の座標平面131の一例を示している。平面投影される画像の各座標を(x,y)とする。
図20Bに示すように座標平面131を、天球モデルMTの真上に真ん中で接するように3次元空間上に配置(正規化)する。即ち、その座標平面131の中心が天球モデルMTの中心と一致し、かつ天球モデルMTと接する位置に配置されるようにする。
またxnorm、ynorm、znormは、正規化したx、y、z座標である。
上記(数13)の各式により、座標平面131の座標は、半径1.0の半球の球面上の座標に正規化される。
図21Bのように、座標平面131を、天球表面に透視射影する(領域132)。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。
この関係で平面投影された画像データが得られる。
例えば図22A、図22Bに、或るフレームの画像について設定された切り出し領域情報CRAを、枠の状態で示している。
このような切り出し領域指示情報CRCがフレーム毎に設定される。
なお、切り出し領域情報CRAは、ユーザや自動制御による画像のアスペクト比の指示も反映される。
図14の処理が毎フレーム行われることで、出力画像データoPDを再生表示すると、揺れ演出として揺れが付加された画像が表示されることになる。従ってユーザが揺れ変更パラメータPRMの入力のための操作を行った場合、ユーザの意思に応じた揺れ演出が加えられた画像となる。このような画像データが、揺れ演出された画像として表示されたり保存されたりする。
図2には画像処理装置TDxから画像処理装置TDyに画像データVD2、メタデータMTD2、正規化揺れ情報SCI、揺れ変更情報SMIを伝送することを示したが、図14の例の場合、画像データVD2は、画像データiPDにより構成される画像データとなる。またメタデータMTD2は例えば図23に示す内容として正規化揺れ情報SCIを含むものとなる。
これにより画像処理装置TDyでは、過去に画像処理装置TDxで施された正規化揺れ情報SCIに基づく揺れ付加や揺れ一部除去の再現や、揺れ付加の調整や修正や、それらの揺れ変更の正確なキャンセルなどが容易にできるようになる。
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置TDxは、動画を構成する画像データ(入力画像データ)の出力揺れ情報を出力する揺れ情報処理部101(ステップST15)を備えている。また画像処理装置TDxは、出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化部105(ステップST16)を備えている。また画像処理装置TDxは、正規化揺れ情報SCIを用いて画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部100(ステップST17)を備えている。
これにより、出力画像データoPDに適した揺れ量の揺れ付加(又は揺れ一部除去による揺れ残し)が実現できる。つまり切り出し後の画角によっては、揺れが想定より激しくなったり、或いは揺れ量が小さすぎるといったことはなくなり、画角に依らずにユーザ意思に応じた揺れ付加(又は揺れ一部除去による揺れ残し)が実現できる。
例えば画像処理装置TDxにおいてユーザが揺れ演出として揺れ量を指示するような操作を行い、それに応じて揺れ変更パラメータPRMが入力され、揺れ変更用クオータニオンeQDが生成及び正規化され、正規化クオータニオンnQDを用いて揺れ演出としての揺れを付加するような揺れ変更処理が行われる。例えば揺れがない画像に演出としての揺れを付加したり、揺れがある画像にさらに揺れを加えたりするようなことができる。これにより画像表現を多様化できる。またこの場合に、出力画像データoPDの画角によらずに適切な揺れ量の揺れ付加が実現できる。
例えば画像処理装置TDxにおいてステップST17において、揺れ一部除去を行うことで、揺れを低減した画像を生成できる。例えば揺れが激しい画像の揺れを無くすのではなく抑えたい場合に好適となる。この場合も、正規化クオータニオンnQDを用いて揺れ変更を行うことで、画角により残りの揺れ具合が異なるといったことがなくなり、画角に依らずにユーザ意思に応じた揺れ残しが実現できる。
即ちある基準画角を決め、その基準画角との画角の比を用いて揺れ情報を正規化する。これにより基準画角での揺れ具合と、同等の揺れを画角にかかわらず表現できるようになる。
即ち撮像画像から切り出しを行って出力画像を生成する場合、撮像画像の画角を基準として切り出し画像に対する揺れ情報を正規化する。これにより切り出し画像においても、撮像画像における揺れ具合と、視覚的に同等に感じる揺れを表現できるようになる。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させるが、この揺れ変更処理は、パラメータ設定部102が設定する揺れ変更パラメータPRMに基づいて行われるようにする。例えば各種の揺れのアーカイブを用いたり、ユーザ入力を用いたりして、揺れ変更パラメータを生成することで、画像の撮像時の揺れではない、新たな演出としての揺れを画像に付加できるようになる。
これによりユーザに対して、画像に揺れを付加したり画像の揺れを一部除去したりする画像処理を実行させる操作環境を提供できる。
特に揺れ変更のためのパラメータをUI画面上で視覚的に操作可能とすることで、ユーザにとってわかりやすい揺れ操作環境を提供できることになる。
具体的にはパラメータ設定部102は、UI画面などにおいて角度で指定される揺れ量をクオータニオンに変換するようにしている。これによりユーザは角度により揺れ量をイメージし易い操作で、変更後の揺れ量を指定できる。
これにより揺れの無い画像に揺れを付加したり、揺れを大きくしたりするような処理が可能とされ、画像表現を多様化できる。
これにより、撮像時に画像に加わった揺れを低減して、見やすさを損なわない程度で揺れを残すことで、臨場感のある画像を生成するなどの処理が可能とされ、画像表現を多様化できる。
即ちIMUデータから求めた姿勢情報としてのクオータニオンQDを撮像時揺れ情報としている。これにより撮像時の揺れを適切に表現する情報を基に揺れ変更を行うことができる。
天球モデルMT上でフレーム毎に揺れを増減させるような回転を行って揺れ変更補正を行うことで、台形歪みが生じない揺れ変更が可能となる。従って揺れ演出が施された画像として、歪みの少ない高品位な画像が得られることになる。
すると画像処理装置TDyにおいて、例えば揺れ演出としての揺れ変更処理をやり直したり、既に施されている揺れ演出の揺れ具合を調整したり、揺れ演出をキャンセルしたりするなどの処理が可能となる。
また画像処理装置TDyにおいて、画像処理装置TDxで施された揺れ演出をキャンセルしたうえで揺れ除去を施すといったことも可能である。
即ち、揺れの状態を各画像処理装置で任意且つ多様に変更できるようになる。
但し必ずしも同じファイル等で記録される必要はない。正規化揺れ情報は画像データとは別のデータファイルとされても、画像データの各フレームと後に関連付けができる形態であればよい。即ちどのような記録形態であろうと、あくまでも伝送された先の画像処理装置TDyにおいて、これらを関連づけた状態で取得できるものであればよい。
更に撮像時揺れ情報も関連付けられてもよい。
即ち実施の形態のプログラムは、動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理(ST15)と、出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と(ST16)と、正規化揺れ情報を用いて入力画像データの揺れの状態を変更する揺れ変更処理(ST17)とを情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した画像処理装置TDxを、例えば携帯端末2,パーソナルコンピュータ3、或いは撮像装置1などの機器において実現できる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理部と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化部と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部と、を備えた
画像処理装置。
(2)
前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を行う
上記(1)に記載の画像処理装置。
(3)
前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データの揺れ一部除去を行う
上記(1)又は(2)に記載の画像処理装置。
(4)
前記画角情報は、前記揺れ変更処理を行う対象画像の画角と基準画角の比である
上記(1)から(3)のいずれかに記載の画像処理装置。
(5)
前記画角情報は、前記揺れ変更処理を行う画像の切り出し後の画角と撮像時の画角の比である
上記(1)から(3)のいずれかに記載の画像処理装置。
(6)
前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部を備えた
上記(1)から(5)のいずれかに記載の画像処理装置。
(7)
揺れ変更に関する操作情報を検知するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が検知した操作情報に基づいて、前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部と、を備えた
上記(1)から(6)のいずれかに記載の画像処理装置。
(8)
前記揺れ変更パラメータは、前記ユーザインタフェース処理部が検知した角度の情報を揺れ量に変換したものである
上記(7)に記載の画像処理装置。
(9)
前記揺れ情報処理部は、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて前記出力揺れ情報を生成する
上記(1)から(8)のいずれかに記載の画像処理装置。
(10)
前記揺れ情報処理部は、撮像時揺れ情報を、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて調整して前記出力揺れ情報とする
上記(1)から(9)のいずれかに記載の画像処理装置。
(11)
前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報である
上記(10)に記載の画像処理装置。
(12)
前記揺れ変更部は、前記入力画像データの各フレームを天球モデルへ貼付し、各フレームに対応する前記正規化揺れ情報を用いて各フレームを回転させることで前記揺れ変更処理を行う
上記(1)から(11)のいずれかに記載の画像処理装置。
(13)
前記入力画像データと前記正規化揺れ情報を関連づける関連付け部を備えた
上記(1)から(12)のいずれかに記載の画像処理装置。
(14)
画像処理装置が、
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、
を行う画像処理方法。
(15)
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、
を情報処理装置に実行させるプログラム。
2 携帯端末
3 パーソナルコンピュータ
4 サーバ
5 記録媒体
70 情報処理装置
71 CPU
100 揺れ変更部
100a 揺れ付加部
100b 揺れ一部除去部
101 揺れ情報処理部
102 パラメータ設定部
103 UI処理部
105 揺れ情報正規化部
106 関連付け部
Claims (14)
- 動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理部と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化部と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部と、を備え、
前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を行う
画像処理装置。 - 前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データの揺れ一部除去を行う
請求項1に記載の画像処理装置。 - 前記画角情報は、前記揺れ変更処理を行う対象画像の画角と基準画角の比である
請求項1に記載の画像処理装置。 - 前記画角情報は、前記揺れ変更処理を行う画像の切り出し後の画角と撮像時の画角の比である
請求項1に記載の画像処理装置。 - 前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部を備えた
請求項1に記載の画像処理装置。 - 揺れ変更に関する操作情報を検知するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が検知した操作情報に基づいて、前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部と、を備えた
請求項1に記載の画像処理装置。 - 前記揺れ変更パラメータは、前記ユーザインタフェース処理部が検知した角度の情報を揺れ量に変換したものである
請求項6に記載の画像処理装置。 - 前記揺れ情報処理部は、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて前記出力揺れ情報を生成する
請求項1に記載の画像処理装置。 - 前記揺れ情報処理部は、撮像時揺れ情報を、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて調整して前記出力揺れ情報とする
請求項1に記載の画像処理装置。 - 前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報である
請求項9に記載の画像処理装置。 - 前記揺れ変更部は、前記入力画像データの各フレームを天球モデルへ貼付し、各フレームに対応する前記正規化揺れ情報を用いて各フレームを回転させることで前記揺れ変更処理を行う
請求項1に記載の画像処理装置。 - 前記入力画像データと前記正規化揺れ情報を関連づける関連付け部を備えた
請求項1に記載の画像処理装置。 - 画像処理装置が、
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、
を行い、
前記揺れ変更処理では、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を行う
画像処理方法。 - 情報処理装置に、
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、を実行させ、
前記揺れ変更処理では、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を実行させる
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031353 | 2020-02-27 | ||
JP2020031353 | 2020-02-27 | ||
PCT/JP2021/002233 WO2021171848A1 (ja) | 2020-02-27 | 2021-01-22 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021171848A1 JPWO2021171848A1 (ja) | 2021-09-02 |
JP7513081B2 true JP7513081B2 (ja) | 2024-07-09 |
Family
ID=77490853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503160A Active JP7513081B2 (ja) | 2020-02-27 | 2021-01-22 | 画像処理装置、画像処理方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230103051A1 (ja) |
JP (1) | JP7513081B2 (ja) |
CN (1) | CN115136582A (ja) |
WO (1) | WO2021171848A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015022027A (ja) | 2013-07-16 | 2015-02-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2015095670A (ja) | 2013-11-08 | 2015-05-18 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
-
2021
- 2021-01-22 JP JP2022503160A patent/JP7513081B2/ja active Active
- 2021-01-22 US US17/904,480 patent/US20230103051A1/en active Pending
- 2021-01-22 WO PCT/JP2021/002233 patent/WO2021171848A1/ja active Application Filing
- 2021-01-22 CN CN202180015582.9A patent/CN115136582A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015022027A (ja) | 2013-07-16 | 2015-02-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2015095670A (ja) | 2013-11-08 | 2015-05-18 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021171848A1 (ja) | 2021-09-02 |
JPWO2021171848A1 (ja) | 2021-09-02 |
US20230103051A1 (en) | 2023-03-30 |
CN115136582A (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7444162B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4268220B2 (ja) | 撮影装置、撮影方法、およびプログラム | |
WO2014178234A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7405131B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2019123890A1 (en) | Image processing apparatus, image processing system, image processing method, and recording medium | |
US20230247292A1 (en) | Methods and apparatus for electronic image stabilization based on a lens polynomial | |
JP7491297B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2012119804A (ja) | 画像記録装置 | |
JP6312426B2 (ja) | 撮像装置およびその制御方法 | |
JP7513081B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JPWO2017150238A1 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
US20220264008A1 (en) | Image processing device, image processing method, and program | |
JP2020123837A (ja) | 撮像装置、撮像方法およびプログラム | |
WO2021181966A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2020189510A1 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
WO2021181965A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
JP2017085466A (ja) | 撮像装置、及びその制御方法 | |
JP2008048152A (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
US20240087093A1 (en) | Image processing apparatus, image processing method, and program | |
US20240221139A1 (en) | Image processing apparatus, image processing method, and program | |
JP2014003715A (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2010187372A (ja) | 表示制御装置および撮像装置 | |
JP2012175449A (ja) | 撮像装置、撮像方法及び撮像制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231211 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7513081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |