JP3676360B2 - 画像撮像処理方法 - Google Patents
画像撮像処理方法 Download PDFInfo
- Publication number
- JP3676360B2 JP3676360B2 JP2004571484A JP2004571484A JP3676360B2 JP 3676360 B2 JP3676360 B2 JP 3676360B2 JP 2004571484 A JP2004571484 A JP 2004571484A JP 2004571484 A JP2004571484 A JP 2004571484A JP 3676360 B2 JP3676360 B2 JP 3676360B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- rotation
- correction
- camera
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000012937 correction Methods 0.000 claims description 188
- 230000033001 locomotion Effects 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 33
- 239000000203 mixture Substances 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000003702 image correction Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
【0001】
本発明は、カメラによって画像を撮像し、撮像した画像から検出した特徴データを基にして、補正を行う画像処理技術に関する。
【背景技術】
【0002】
従来、画像中のエッジを抽出し、最大長のエッジの傾きをカメラの傾きとし、この最大長エッジの傾きを解消するように画像データのアファイン変換を行うことによって、カメラの傾きを解消する技術がある(例えば、特許文献1参照)。
【0003】
また、画像中の垂直エッジを抽出し、この垂直エッジから画像の傾きを検出する技術も、非特許文献1に開示されている。
【特許文献1】
特開平4−314274号公報(第2頁、第1図)
【非特許文献1】
Hidekazu Ohmi and Fumihiko Saitoh, “Image Inclination Measurement Based on Edge Directions and an Analysis of Relation between Visual Inclination”, MVA2002 IAPR Workshop on Machine Vision Applications, Dec. 11-13, 2002
【発明の開示】
【発明が解決しようとする課題】
【0004】
画像を撮影する場合、通常は、上方からの照明光下で撮影がなされ、画像下部には地面や床等が映っていることが多い。このような画像に対して、画像全体の特徴データを基にして、回転補正や逆光補正等の処理を行うと、所望の補正効果が得られないことがしばしば生じる。
【0005】
例えば、画像の回転補正を、人工物等の鉛直エッジが画像中で垂直になるように行う場合、画像全体でエッジを検出すると、足下には床や地面が映っているため、この床や地面の画像に含まれるエッジの影響を受けてしまい、回転補正が正しく行われない場合が生じる。
【0006】
また、逆光補正等の露光補正の場合も、画像の上部と下部とでは輝度分布が大きく異なる可能性が高いため、画像全体の特徴データを用いたときには、所望の補正効果が得られないことがあり得る。
【0007】
前記の問題に鑑み、本発明は、カメラによって撮影した画像の補正を、従来よりも適切に実行可能にすることを課題とする。
【課題を解決するための手段】
【0008】
本発明は、画像を補正するために用いる特徴データを、画像全体からではなく、画像の上部領域から、取得するものである。これは、通常の撮像画像では、その上部と下部とで、撮影されている被写体の性質等の撮影状態が異なっていることを考慮したものである。例えば、鉛直エッジを用いた回転補正の場合は、鉛直エッジ成分を取得する領域を画像上部に限定することによって、床や地面に含まれるエッジの影響を排除することができる。また、逆光補正等の露光補正の場合は、輝度値を取得する領域を画像上部に限定することによって、上方からの照明光があまり当たらない領域の影響を排除することができる。
【0009】
すなわち、本発明は、画像撮像処理方法として、カメラによって画像を撮像し、撮像した画像の上部領域において、当該画像の特徴データを検出し、この特徴データから補正量を算出し、算出した補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行うものである。
【0010】
本発明によると、撮像画像の全体ではなく、その上部領域から検出された特徴データを基にして補正量が算出され、この算出された補正量を基にして、カメラの光学系に対する補正制御、または、画像データに対する補正処理が行われる。このため、補正量算出の際にノイズとなるような情報が予め排除されるので、より適切な補正量が算出されることになり、したがって、画像の傾きや動きの補正が、より的確に実行される。
【0011】
ここでの上部領域とは、単純な例としては、画像内の上側ほぼ2分の1の領域である。また、この上側ほぼ2分の1の領域に含まれた矩形、楕円形等の領域であってもよい。あるいは、画像を公知の領域分割方法によって分割した領域のうち、その重心位置が所定のしきい値(例えば、画像全体の中心位置)よりも上にある領域としてもよい。
【0012】
また、露光制御の場合には、上部領域を設定する際に、輝度値を考慮してもよい。例えば、上述した上部領域内の、輝度値が所定のしきい値以上である領域を、上部領域として設定してもよいし、輝度値が所定のしきい値以上である領域のうち、その重心位置が所定のしきい値(例えば、画像全体の中心位置)よりも上にある領域を、上部領域としてもよい。
【発明の効果】
【0013】
本発明によると、カメラによって撮影した画像について、その傾きや動きを、従来よりも適切に、補正することができる。
【発明を実施するための最良の形態】
【0014】
本発明の第1態様では、画像撮像処理方法として、カメラによって画像を撮像する第1のステップと、前記第1のステップにおいて撮像した画像の上部領域において当該画像の特徴データを検出し、この特徴データから補正量を算出する第2のステップと、前記第2のステップにおいて算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う第3のステップとを備えたものを提供する。
【0015】
本発明の第2態様では、前記第2のステップは、前記上部領域において鉛直エッジ成分を抽出し、この鉛直エッジ成分を基にして、前記画像の回転量を前記特徴データとして検出し、前記回転量を基にして前記画像の回転補正量を算出するものである前記第1態様の画像撮像処理方法を提供する。
【0016】
本発明の第3態様では、前記第2のステップにおいて、前記回転補正量を、現時刻の回転量と前の時刻の回転量とを用いて算出する前記第2態様の画像撮像処理方法を提供する。
【0017】
本発明の第4態様では、前記第2のステップは、前記上部領域において、回転量に加えて動きベクトルを前記特徴データとして検出し、前記動きベクトルを基にして、前記画像の動き補正量を算出する前記第2態様の画像撮像処理方法を提供する。
【0018】
本発明の第5態様では、前記第2のステップにおいて、前記上部領域において輝度を求め、求めた輝度を基にして、前記画像の露光状態を前記特徴データとして検出し、前記露光状態を基にして露光補正量を算出するものである前記第1態様の画像撮像処理方法を提供する。
【0019】
本発明の第6態様では、前記露光補正は、逆光補正または過順光補正である前記第5態様の画像撮像処理方法を提供する。
【0020】
本発明の第7態様では、前記カメラの姿勢を検出する第4のステップと、前記第4のステップにおいて検出したカメラ姿勢に応じて、前記第2のステップにおける上部領域の範囲を調整する第5のステップとを備えた前記第1態様の画像撮像処理方法を提供する。
【0021】
本発明の第8態様では、前記第4のステップにおいて、検出したカメラ姿勢のデータを時間方向に平滑化する前記第7態様の画像撮像処理方法を提供する。
【0022】
本発明の第9態様では、画像撮像処理方法として、複数のカメラによって画像をそれぞれ撮像する第1のステップと、前記第1のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第2のステップと、前記第2のステップにおいて検出した各画像の回転量を合成する第3のステップと、前記第3のステップにおいて得られた合成回転量を基にして、前記各画像に対して回転補正処理をそれぞれ行う第4のステップと、前記第4のステップにおいて回転補正処理がなされた各画像を合成し、合成画像を得る第5のステップとを備えたものを提供する。
【0023】
本発明の第10態様では、画像撮像処理方法として、複数のカメラによって画像をそれぞれ撮像する第1のステップと、前記第1のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第2のステップと、前記第2のステップにおいて検出した各画像の回転量から各画像を合成するか否かを判断する第3のステップと、前記第3のステップにおいて合成すると判断したとき、各画像を合成し、合成画像を得る第4のステップとを備えたものを提供する。
【0024】
本発明の第11態様では、画像撮像処理方法として、第1および第2のカメラによって画像をそれぞれ撮像する第1のステップと、前記第1のステップにおいて前記第1のカメラによって撮像された第1の画像について、その上部領域において、当該第1の画像の回転量を検出する第2のステップと、前記第2のステップにおいて検出した回転量を基にして、前記第2のカメラによって撮像された第2の画像に対して、回転補正処理を行う第3のステップとを備えたものを提供する。
【0025】
本発明の第12態様では、画像撮像装置として、画像を撮像するカメラと、前記カメラによって撮像された画像の上部領域の画像データを限定出力する領域限定部と、前記領域限定部から出力された画像データから、当該画像の特徴データを検出し、この特徴データから補正量を算出する補正量算出部と、前記補正量算出部によって算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う補正部とを備えたものを提供する。
【0026】
以下、本発明の実施の形態について、図面を用いて説明する。
【0027】
(第1の実施形態)
図1は本発明の第1の実施形態に係る画像撮像装置の構成を示すブロック図である。図1において、カメラ11はレンズおよび撮像素子を含み、レンズを介して得られた被写体像を撮像素子によって光電変換し、画像データを生成する。回転機構12はカメラ11の光学系を回転させる。回転量検出部13はカメラ11から出力された画像データの水平方向に対する回転量を検出し、回転補正量を算出する。回転制御部14は回転量検出部13によって検出された回転補正量に基づき、回転機構12を回転制御する。
【0028】
図1の画像撮像装置は、画像データに撮影された景観の垂直方向が、実空間の垂直方向と一致しないとき、一致するように、画像データを回転補正する。すなわち、垂直エッジを用いて画像の傾きを補正する。これは、例えば人工物に正対せずに撮影を行った場合、水平エッジは、画像中で大きく傾いて映されるのに対して、垂直エッジは、概ね垂直に映されるためである。
【0029】
図2のフローチャートを参照して、図1の構成の動作を説明する。
【0030】
まず、カメラ11が被写体を画像データに変換する(S11)。ここでは図3(a)に示すように、被写体として建物の窓WDを、斜め方向から正対せずに映したものとする。図3(a)の画像データでは、窓WDの水平エッジおよび垂直エッジはともに傾いている。水平エッジの傾きは、主に、被写体に正対していないことに起因しており、垂直エッジの傾きは、カメラ11の光軸方向の回転に起因している。
【0031】
次に、回転量検出部13が、垂直方向に近いエッジを抽出し、このエッジの方向を鉛直方向に補正する回転量を検出し、この回転量から、実際に回転機構12を回転制御する回転補正量を算出する(S12)。図3(b)は、図3(a)の画像データから抽出されたエッジEGを示している。
【0032】
そして、回転制御部14が、算出された回転補正量に基づいて、回転機構12を回転制御する。これにより、図3(c)に示すような、適切に回転補正された画像データを得ることができる。
【0033】
以下、垂直エッジ成分を用いて、回転補正量を求める手法について、説明する。
【0034】
図4は画像データIMGをxy座標系に変換した図である。ここで、画像データIMG内の画素をP、その輝度値をI、画素Pのエッジ成分を示す単位方向ベクトルをa、単位方向ベクトルaがx軸の正の方向となす角度をθとする。
【0035】
画素Pの座標値(x,y)における輝度Iの方向微分は、水平および垂直方向の微分値と単位方向ベクトルa(cosθ,sinθ)から、(数1)のように表される。
【数1】
【0036】
ここで、各画素における単位方向ベクトルaの方向についての方向微分の和を評価関数Jとすると、(数2)のように示すことができる。
【数2】
【0037】
ここで、θ∈Θは、処理対象を限定することを意味する。本実施形態では、概ね垂直な方向のエッジを持つ画素に、処理対象を限定する。例えば、エッジ方向の範囲を垂直±45°に限定する。ここで、エッジ方向と微分方向とは直交するため、微分方向を水平±45°に限定するため、画素は(数3)を満たすことが必要となる。
【数3】
【0038】
そして、(数3)および(数4)の条件式を満たす画素から、評価関数Jを最大とする角度を算出することによって、概ね垂直方向のエッジから画像データの回転量を算出することができる。
【数4】
【0039】
また、エッジ方向を限定する範囲は、±45°に限られるものではなく、例えば±22.5°等、適宜、画像に適した範囲を設定すればよい。
【0040】
次に、回転補正量を算出する。最も簡単には、上述した回転量θを符号反転したものを回転補正量とすればよい。ただし、急激なシーンの変動やフリッカー等の周期的な輝度変化に対しても安定した回転補正を行うためには、適応される回転補正量の時間変化に制限を加えることが好ましい。例えば、現時刻における回転量と、それよりも前の時刻における回転量とを用いて、回転補正量を算出すればよい。
【0041】
このため、回転量θを符号反転した回転補正量候補φをフィールド(16.7msec)単位で算出し、現フィールドtで算出した回転補正量候補φtと、前フィールドt−1で算出した回転補正量Φt−1とから、(数5)のように、回転補正量を算出すればよい。
【数5】
【0042】
ここで、Φtは現フィールドtに適用する回転補正量であり、Φt−1は前フィールドt−1に適用した回転補正量である。αは重み係数である。αの値については、0.1〜0.01程度に設定することによって、シーンの急激な変動に対して回転補正量の変化が1、2秒かけて追随するようにできることが、本願発明者らによって経験的に確かめられている。
【0043】
なお、(数5)の変形として、算出された回転補正量候補φt−1を用いて、(数6)のようにしてもよい。
【数6】
【0044】
このようにして回転補正量を算出することによって、適用される回転補正量の時間変化に制限を加えることができるので、急激なシーンの変動やフリッカー等の周期的な輝度変化に対しても安定した回転補正を行うことができる。したがって、鑑賞時に不快に感じるような回転補正がなされることを抑制できる。
【0045】
また、評価関数Jの最大値を探索するだけでなく、垂直付近の方向のエッジを持つ画像について、x軸及びy軸方向の輝度値の微分値の2次元頻度分布や、(数7)の比の頻度分布を求めることによって、(数8)で示す角度の頻度が最大である角度θを、回転量として検出することも可能である。
【数7】
【数8】
【0046】
なお、ここでは、垂直エッジ成分から回転補正量を算出する手法を説明したが、水平エッジ成分や、方向性のフィルタ等を用いて回転補正量を求めることも可能である。例えば、海上で撮影した画像のようにシーンが限定されている場合には、水平線が水平に映されるように回転補正を行ってもよい。
【0047】
なお、異なるフレーム間の回転量を検出してもよい。対比するフレームは、連続するフレーム同士であってもよいし、2フレーム以上時間差のあるフレーム同士であってもよい。例えば、オプティカルフローの検出によってフレーム間の回転量を検出する方法がある。ただし、この場合は、他の方法によって、実世界の垂直方向と画像の垂直方向との差を検討する必要がある。
【0048】
なお、画像撮像装置に重力センサを取り付け、そのセンサによって回転量を検出しても良い。
【0049】
また、図5の構成のように、垂直エッジ成分を検出する対象領域を検出する領域限定部15を設けてもよい。すなわち、領域限定部15は、カメラ11によって撮像された画像の上部領域の画像データを限定出力する。そして、補正量算出部としての回転量検出部13は、領域限定部15から出力された画像データから、当該画像の特徴データとして回転量を検出し、この回転量から補正量を算出する。
回転制御部14および回転機構12によって、補正部が構成されている。これにより、例えば画像データの特性によって領域を限定することができるので、水平エッジ成分を効率良く削除することができ、回転量を検出する際の精度向上を図ることができる。
【0050】
例えば、画像データの背景が屋内の風景であった場合、画像データ内の下部領域には床面が映っている割合が多く、垂直エッジ成分は多くないと考えられる。ここで、領域限定部15によって、画像データ内の上部領域のみを回転量検出部13に入力することによって、水平エッジ成分を効率良く削除することが可能となり、回転補正量の算出の精度向上を図ることができる。さらに、回転量検出の対象領域の限定は、状況に応じて、利用者が手動で限定することができる。
【0051】
この場合の上部領域とは、最も単純な例としては、画像の上側ほぼ2分の1の領域である。また、この上側ほぼ2分の1の領域に含まれた矩形、楕円形等の領域であってもよい。あるいは、画像を公知の領域分割方法によって分割した領域のうち、その重心位置が所定のしきい値(例えば、画像全体の中心位置)よりも上にある領域としてもよい。
【0052】
以上のように本実施形態によると、画像データから垂直に近いエッジを抽出し、抽出したエッジが垂直になるようにカメラ11を回転制御することによって、水平方向に対する画像の傾きを補正することができる。
【0053】
ウェアラブルな撮像システム、特に、カメラを撮影者頭部に装着するシステムでは、撮影者頭部の傾きがそのまま画像データの傾きとなり、傾いた画像データがそのまま再生されていた。本実施形態によると、撮影者頭部が傾いている場合であっても、その傾きが補正された画像データを出力できるという有利な効果が得られる。
【0054】
なお、ウェアラブルなシステムに限らず、一般の撮影装置においても、室内や建物等の人工物の垂直エッジを含む風景を撮影する場合に、回転補正を行うことができ、その実用的効果は大きい。
【0055】
また、回転量および回転補正量のうち少なくともいずれか一方を出力することによって、本実施形態に係る装置をジャイロセンサとして利用できる。また、後述の第3の実施形態において検出される動き補正量も併せて出力することによって、ロール軸、ピッチ軸およびヨー軸のジャイロセンサとして利用できる。
【0056】
また、回転量、回転補正量および動き量を積算することによって、実世界における移動内容が解析可能となる。その他の応用として、映画撮影時のような撮影カメラの移動履歴を保存し、そのカメラ移動を再現することも可能である。
【0057】
また、自動走行装置に付随するカメラや、水上、水中又は空中を移動するカメラでは、人による撮影と比較した場合に、補正すべき回転量が大きくなると考えられる。このようなカメラ撮影において、本実施形態に係る回転補正機能は有効である。
【0058】
なお、図1や図5の構成に、回転量および回転補正量のうち少なくともいずれか一方を表示するディスプレイなどの表示手段を追加することによって、利用者が直接、カメラ11の光学系の回転補正を行うことができる。
【0059】
(第2の実施形態)
上述の第1の実施形態では、画像の回転補正を、カメラの光学系に対する補正制御によって実現した。これに対して本実施形態では、画像データに対する補正処理によって、画像の回転補正を実現する。回転補正量の算出は、第1の実施形態と同様であり、ここでは詳細な説明は省略する。
【0060】
図6は本実施形態に係る画像撮像装置の構成を示すブロック図である。図6において、図1と共通の構成要素には図1と同一の符号を付している。回転補正部21は回転量検出部13から出力された回転補正量を用いて、カメラ11から出力された画像データの回転補正を行う。
【0061】
図7のフローチャートを参照して、図6の構成の動作を説明する。
【0062】
まず、カメラ11が撮影対象を画像データに変換する(S21)。次に、回転量検出部13が、水平方向に対する画像の回転量を検出し、回転補正量を算出する(S22)。ここでの算出方法は、第1の実施形態と同様であるので、説明は省略する。
【0063】
次に、回転補正部21が、回転量検出部13によって算出された回転補正量に基づいて、カメラ11から出力された画像データを回転補正し、傾きが補正された画像を出力する(S23)。
【0064】
ここで、画像データの回転補正は次のように行う。第1の実施形態と同様にして求めた回転補正量θを用いて、(数9)のように、画像データに回転行列をかけて、回転する。
【数9】
【0065】
ここで、(x1,y1)は元の画像データの画素座標であり、(x2,y2)は回転補正後の画素座標である。(cx,cy)は回転の中心座標であり、これは、画像データの中心等、画像に適した中心点を適当に設定すればよい。
【0066】
以上のように本実施形態によると、第1の実施形態と同様の作用効果が得られるのに加えて、画像データに対して回転補正処理を行うので、回転機構を持たないカメラによって撮像された画像についても、その傾きを補正することができる。
【0067】
また、図8に示すように、第1の実施形態で説明したような領域限定部15をカメラ11の後段に設けてもよい。回転補正部21によって、補正部が構成されている。これにより、第1の実施形態と同様に、画像データの特性に応じて、特徴データを検出する領域を限定することが可能となり、回転量を検出する際の精度向上を図ることができる。
【0068】
なお、図6や図8の構成に、回転量および回転補正量のうち少なくともいずれか一方を表示するディスプレイなどの表示手段と、カメラ11の光学系を回転させる回転機構とを追加することによって、利用者が直接、カメラ11の光学系の回転補正を行うことができる。
【0069】
(第3の実施形態)
本実施形態では、第1および第2の実施形態で説明した画像の回転補正機能に、動き検出による上下左右方向の動き補正を行う機能を追加する。
【0070】
図9および図10は本実施形態に係る画像撮像装置の構成を示す図である。図9において、図1と共通の構成要素には図1と同一の符号を付しており、図10において、図6と共通の構成要素には図6と同一の符号を付している。
【0071】
まず図9において、パンチルト機構31はカメラ11の光学系をパン(左右)チルト(上下)する。動き検出部33はカメラ11から出力された画像データから、動きベクトルを検出する。パンチルト制御部32は動き検出部33によって検出された動きベクトルを基にして、パンチルト機構31を制御する。なお、回転機構12による補正制御は、第1の実施形態と同様である。
【0072】
動き検出部33はカメラ11から出力された画像データを受けて、上下、左右方向の動きベクトルを検出する。ここでの動きベクトルは、例えば従来と同様に、フィールド間の画像の対応関係から求められる。次にパンチルト制御部32は、動き検出部33によって検出された動きベクトルから、カメラ11の揺れを検出し、カメラ11の光学系をパンまたはチルトするパンチルト補正量を算出する。そして、パンチルト機構31が、パンチルト補正量に基づいて、カメラ11の光学系をパンまたはチルトする。
【0073】
また図10において、動き検出部34は、回転補正部21から出力された回転補正後の画像データから、上下、左右方向の動きベクトルを検出する。動き補正部35は、動き検出部34から出力された動きベクトルに基づいて、画像データの上下、左右方向の動きを補正する。なお、回転補正部21による画像データに対する補正処理は、第2の実施形態と同様である。
【0074】
動き検出部34は回転補正部21から出力された画像データから、上下、左右方向の動きベクトルを検出する。ここでの動きベクトルは、例えば従来と同様に、フィールド間の画像の対応関係から求められる。次に動き補正部35は、入力された動きベクトルから画像データの揺れを検出し、画像データをパンまたはチルトするパンチルト補正量を算出し、パンチルト補正量に基づき、画像データを補正する。
【0075】
以上のように本実施形態によると、画像の傾きの補正だけでなく、上下、左右方向の揺れを補正することができる。
【0076】
なお、第1の実施形態の図1の構成の後段に、図10の動き検出部34および動き補正部35を設けて、画像データの上下、左右方向の揺れを補正するようにしてもよい。
【0077】
なお、図9や図10の構成に、回転量および回転補正量のうち少なくともいずれか一方を表示するディスプレイなどの表示手段と、カメラ11の光学系を回転させる回転機構とを追加することによって、利用者が直接、カメラ11の光学系の回転補正を行うことができる。
【0078】
(第3の実施形態の変形例)
図9および図10の構成は、画像から回転量と動きベクトルとを検出し、カメラ11の光学系の回転および揺れを補正するものであった。この変形例として、撮像した画像から動き量と回転量を検出し、リアルタイムで補正を行う代わりに、画像を蓄積する際に補正を行う構成も実現可能である。
【0079】
図11は上述した変形例に係る構成の一例を示す図である。図11において、41は動画を撮像するカメラ、42はカメラ41によって撮像された画像の所定領域の画像データを抽出する領域限定部、43は領域限定部42によって抽出された画像から垂直エッジを抽出する垂直エッジ抽出部、44は垂直エッジ抽出部43によって抽出された垂直エッジからカメラ41の回転量を検出する回転量検出部、45は領域限定部42によって抽出された画像から動きベクトルを検出する動きベクトル検出部、46は動きベクトル検出部45によって検出された動きベクトルからカメラ41の動き量を検出する動き量検出部、47は回転量検出部44によって検出された回転量と動きベクトル検出部45によって検出された動き量から撮像画像を補正する撮像画像補正部、48は撮像画像補正部47によって補正された画像を出力する画像出力部である。なお、図11の構成の動作や補正処理は、上述した各実施形態と同様であるため、詳細な説明は省略する。
【0080】
図12は本変形例の利用形態の一例を示す図である。図12では、ユーザが頭部にカメラ41を装着しており、カメラ41によって撮像された画像データがハードディスクレコーダ49に蓄積される。そして、図11の構成における要素42〜48が、例えばハードディスクレコーダ49内部のCPUやメモリなどによって実現されており、画像データが蓄積される際に、回転量および動き量が検出され、画像の補正処理が行われる。
【0081】
図12に示すように、カメラ41が頭部に装着された場合、頭部のぶれや傾きのために、特に回転量の検出が重要となり、したがって、回転量の補正を行うことによって、より閲覧しやすい動画像が蓄積される。
【0082】
(第4の実施形態)
図13は第4の実施形態に係る画像撮像装置の構成を示す図である。図13において、131はカメラ、132は領域限定部、133は補正量算出部としての逆光検出部、134はアイリス制御部である。アイリス制御部134、およびカメラ131内のアイリス(図示せず)によって、補正部が構成されている。領域限定部132は、カメラ131によって撮影した画像について、逆光検出する領域を限定する。屋外における一般的な撮影では、太陽光等による照明がカメラの視野上方から照射されるため、領域限定部132によって、処理領域を画像内の上部領域に限定する。
【0083】
ここで、画像の上部領域とは、以下の条件のいずれか、またはいずれかの組み合わせによって設定されるのが好ましい。
・画像の上部概略2分の1の領域の一部を含む、矩形または楕円形の領域。
・画像を公知の領域分割方法によって分割した領域のうち,その重心位置が、所定のしきい値(例えば、画像全体の中心位置)よりも上にある領域。
・上述した上部領域内の、輝度値が所定のしきい値以上の領域。
・輝度値が所定のしきい値以上の領域のうち、その重心位置が所定のしきい値(例えば、画像全体の中心位置)よりも上にある領域。
【0084】
逆光検出部133は、領域限定部132によって限定された領域において輝度を求め、その輝度の頻度分布から、前記画像の露光状態を特徴データとして検出する。そして、画像が逆光状態であるか否かを判断し、逆光状態であると判断したとき、露光補正量を算出する。図14は適正照明状態の場合と逆光状態の場合とにおける輝度頻度分布を模式的に表したものである。逆光状態になっているか否かは、例えば、8ビット量子化の場合、入力画像の最大輝度の値が255になっているか否か、または、輝度255の頻度がしきい値以上か否か、等によって判断する。
【0085】
アイリス制御部134は、逆光検出部133によって逆光状態が検出されたとき、与えられた露光補正量に応じて、カメラ131のアイリスを制御し、入射光量を減少させる。
【0086】
また、カメラ131の姿勢を検出し、検出したカメラ姿勢に応じて、上部領域の範囲を調整するようにしてもよい。例えば、カメラ131の光軸が概略水平のときは、処理領域を画像内の上部領域に限定し、カメラ131の光軸が上向きのときは、画像全体を処理領域とし、カメラ131の光軸が下向きのときは、画像内の高輝度領域を処理領域とすればよい。また、カメラ131の姿勢は、例えばジャイロセンサ等の手段によって検出することができる。
【0087】
図15はこのような動作を実現する画像撮像装置の構成を示す図であり、図13と共通の構成要素については、図13と同一の符号を付しており、ここでは詳細な説明を省略する。
【0088】
姿勢検出部151は、例えばジャイロ等の加速度センサを有しており、カメラ131の姿勢を検出する。LPF部161は、姿勢検出部151によって検出されたカメラの姿勢情報を時間方向に平滑化する。領域限定部132Aは、姿勢検出部151による姿勢検出結果に応じて、画像内の限定領域を調整する。
【0089】
なお、LPF部161を設けることによって、カメラ131の姿勢が、急激に変化したり、短い周期で繰り返し変化したりする場合に、画像に対する最終的な処理結果が時間方向に激しく変化することを防ぐことができる。すなわち、カメラ131の姿勢が急激に変化したり、短い周期で繰り返し変化したりする場合、領域限定部132Aによって限定される領域も激しく変化する。その結果、画像に対する最終的な処理結果も時間方向に激しく変化することになり、観察者に違和感や不快感を与える可能性がある。これを防ぐためには、検出されたカメラの姿勢情報に対して、時間方向の変化に制約を課せばよい。なお、LPF部161を省いてもかまわない。
【0090】
以上説明したように、本実施形態によると、逆光検出を行う対象領域を画像の上部領域に限定することによって、安定した逆光補正を行うことができる。
【0091】
なお、本実施形態では、露光補正として逆光補正を行うものとしたが、逆光補正に限らず、過順光補正等の他の露光補正においても、一般に上方からの照明下での撮影時には、検出対象領域を画像の上部領域に限定することによって、安定した補正を行うことができる。
【0092】
また、カメラの光学系に対して補正制御を行う代わりに、得られた画像データに対して、輝度補正などの補正処理を行うようにしてもかまわない。
【0093】
また、上述した回転補正の場合でも、カメラの姿勢を検出し、検出したカメラ姿勢に応じて、上部領域の範囲を調整するようにしてもよい。
【0094】
(第5の実施形態)
図16は本発明の第5の実施形態に係る画像撮像装置の構成例であり、複数の撮像手段によって画像を取得する構成を示す図である。図16において、51a,51bは動画を撮像する第1および第2のカメラ、52a,52bは第1および第2のカメラ51a,51bによってそれぞれ撮像された画像の所定領域の画像情報を抽出する第1および第2の領域限定部、53a,53bは第1および第2の領域限定部52a,52bによってそれぞれ抽出された画像から垂直エッジを抽出する第1および第2の垂直エッジ抽出部、54a,54bは第1および第2の垂直エッジ抽出部53a,53bによってそれぞれ抽出された垂直エッジから第1および第2のカメラ51a,51bの回転量を検出する第1および第2の回転量検出部、55は第1および第2の回転量検出部54a,54bによって検出された回転量を合成する回転量合成部、56a,56bは回転量合成部55によって合成された回転量から第1および第2のカメラ51a,51bの回転量を算出し、撮像画像をそれぞれ補正する第1および第2の撮像画像補正部、57は第1および第2の撮像画像補正部56a,56bによって補正された画像を合成する画像合成部である。
【0095】
図17は本実施形態の利用態様の一例を示す図である。図17(a),(b)に示すように、ユーザが頭部の左右に、第1のカメラ51a(カメラ1)と第2のカメラ51b(カメラ2)とを装着しており、カメラ1,カメラ2によって撮像された画像データがハードディスクレコーダ59に蓄積されている。そして、画像データが蓄積される際に、例えばハードディスクレコーダ59内部のCPUやメモリなどによって、回転量が検出され、画像の補正処理が行われる。
【0096】
図17(c)に示すように、ユーザは、頭部の左右に装着したカメラ1,カメラ2を用いて、前方の画像を撮像することができる。カメラ1,カメラ2の視野角には重なりがあるため、撮像された画像には共通の部分が存在する。カメラ1,カメラ2は、ともに頭部に装着されているため、物理的な回転量はほぼ同一になる。しかしながら、撮像されている画像内容が異なるため、その回転補正量は異なる場合がある。そこで、本実施形態では、カメラ1,カメラ2から取得された画像の回転補正量から、頭部の回転角度を検出し、検出した回転角を用いてそれぞれの画像の補正を行う。
【0097】
図18は本実施形態に係る回転補正量の合成を概念的に示す図である。図18の各グラフは上述の評価関数Jの分布を示すものであり、(a)はカメラ1の画像における分布、(b)はカメラ2の画像における分布、(c)は合成後の分布である。
【0098】
図18(a)に示すように、カメラ1の画像において、評価関数Jが極大となる角度は「−8°」「+12°」であり、一方、図18(b)に示すように、評価指標Jが極大となる角度は「−10°」である。この場合、例えばカメラ1の画像のみを利用して画像を補正する回転角を決定すると、「+12°」となる。これに対して本実施形態では、カメラ1とカメラ2の画像の両方を用いて画像の回転角を検出するので、図18(c)に示すように、回転角として「−9°」が決定される。
【0099】
この結果、カメラ1,カメラ2によってそれぞれ撮像された画像を、ともに、「−9°」の回転角で補正を行う。すなわち、同一部位に装着されたカメラについて、各カメラの回転補正量を合成することによって、より適切な補正量で画像を補正することができる。
【0100】
そして、カメラ1,カメラ2の画像を、より適切な補正量を用いて補正することによって、図19に示すように、画像を合成することが可能になる。すなわち、回転補正された広角な画像を得ることができる。なお、ここでの画像合成は、例えば、2枚の画像間で重なりのある領域について、画像間の画素値の差が小さくなるように、行う。
【0101】
なお、本実施形態では、画像の回転補正量を合成する場合を例にとって説明したが、同様にして、動きベクトルを検出して動き量を合成することによって、パン・チルトの適切な補正量を得ることも可能である。
【0102】
なお、本実施形態では、複数のカメラが頭部の左右に装着された場合を例にとって説明したが、本発明はこれに限られるものではなく、例えば、複数のカメラが人体の胸部等に装着されており、その相対位置が固定されている場合には、有効に機能する。
【0103】
また、本実施形態では、垂直エッジを抽出する領域を、領域限定部52a,52bによって限定するものとしたが、領域限定部は必ずしも必須ではなく、画像全領域から垂直エッジを抽出するようにしてもかまわない。
【0104】
(第6の実施形態)
上述の第5の実施形態では、各カメラ画像から求めた回転補正量から、より適切な回転補正量を取得し、この回転補正量を用いて補正を行った後、画像合成を行った。しかしながら、カメラが装着された場所等によっては、各カメラ画像を合成すべきでない場合もある。そこで本実施形態では、複数のカメラ画像について、回転補正量を基にして、合成すべきか否かを判断するものである。
【0105】
図20は本実施形態に係る画像撮像装置の構成例を示す図である。図20において、図16と共通の構成要素には図16と同一の符号を付している。61は回転量検出部54a,54bによってそれぞれ検出された回転量から画像を合成すべきか否かを判断する画像合成判定部、62a,62bは第1および第2のカメラ51a,51bによってそれぞれ撮像された画像を、第1および第2の回転量検出部54a,54bによってそれぞれ検出された回転量を用いて回転補正する第1および第2の撮像画像補正部、63は画像合成判定部61による判定を基にして、第1および第2の撮像画像補正部62a,62bによってそれぞれ補正された画像を合成する画像合成部である。
【0106】
図21は本実施形態の利用態様の一例を示す図である。図21(a),(b)に示すように、ユーザが、第1のカメラ51a(カメラ1)を胸部に装着し、また、第2のカメラ51b(カメラ2)を頭部に装着している。そして、カメラ1,カメラ2によって撮像された前方の画像データがハードディスクレコーダ59に蓄積されている。そして、画像データが蓄積される際に、例えばハードディスクレコーダ59内部のCPUやメモリなどによって、回転量が検出され、画像の補正処理が行われるとともに、画像合成の可否が判断されている。
【0107】
図17の態様では、カメラ1,カメラ2がともに頭部に装着されていたため、画像の補正量はほぼ同一とみなされる。そして、補正後の各画像を合成することによって、広角の画像を得ることができる。しかしながら図21のように、カメラ1を胸部、カメラ2を頭部というように異なる部位に装着した場合は、例えば、頭だけ横を向いたようなとき、カメラ1とカメラ2の向きが異なってしまい、このような場合は、画像合成することは適切ではない。
【0108】
そこで、本実施形態では、各カメラの回転補正量から、画像合成を行うか否かを判断する。図22は本実施形態に係る画像合成の可否判断を概念的に示す図である。図22の各グラフは上述の評価関数Jの分布を示すものである。図22(a)の場合、カメラ1の回転補正の角度は「−8°」、カメラ2の回転補正の角度は「−10°」となっており、比較的近い値である。このとき、カメラ1,カメラ2は同一の方向を向いていると判断し、画像合成を行う。一方、図22(b)の場合、カメラ1の回転補正の角度は「+11°」、カメラ2の回転補正の角度は「−12°」となっており、大きく異なっている。このとき、カメラ1,カメラ2は異なる方向を向いていると判断し、画像合成を行わない。カメラ1,カメラ2の向きが同一か異なっているかを判断するためには、例えば、回転補正角の差を適当な閾値と比較すればよい。
【0109】
このように、回転補正角を基にして、各カメラで撮像した画像を合成するか否かを判断することによって、図23に示すように、カメラが異なる方向を向いているときは画像合成を行わないで(図23(a))、カメラが同一方向を向いているときは画像合成を行い、より広角の画像を得ることができる。
【0110】
なお、本実施形態では、画像合成の可否を、回転補正角の差によって判断したが、この代わりに、例えば動きベクトルを用いて判断することも可能である。すなわち、各カメラ画像から動きベクトルを検出し、動きベクトルの差が大きいときは合成を行わないで、差が小さいときは画像合成を行うようにすればよい。また、輝度や順光度を用いて画像合成の可否を判断することも可能である。さらに、各画像の特徴量を用いて、画像合成の可否を判断してもよい。
【0111】
また、本実施形態では、2個のカメラを用いた例を示したが、図24に示すように、3台またはそれ以上の台数のカメラを用いてもよい。図24の態様では、ユーザは、カメラ1を頭部の上に装着し、また、カメラ2,カメラ3を頭部の左右に装着している。また、全てのカメラが人体に装着されている必要は必ずしもなく、例えば、小型ムービーと人体に装着されたカメラとの組合せであっても、本実施形態は適用可能である。
【0112】
また、本実施形態でも、垂直エッジを抽出する領域を限定する必要は必ずしもなく、画像全領域から垂直エッジを抽出するようにしてもかまわない。
【0113】
(第7の実施形態)
上述の第5の実施形態では、各カメラについてそれぞれ回転補正量を検出した後、これらの回転補正量を合成して、より適切な補正量を求めた。これに対して、複数のカメラを用いた構成において、1個のカメラの撮像画像から得られた回転補正量を、他のカメラの回転補正に利用することも考えられる。
【0114】
特に、最近では、図25に示すような、両面にカメラ71a(カメラ1),カメラ71b(カメラ2)が装着された携帯電話70が実用化されている。このような装置では、一方のカメラ71bが近距離にある自分の顔を撮像しているとき、他方のカメラ71aは反対側の遠距離にある人工物を撮像している場合が多い。この場合、遠距離を撮影するカメラ71aの画像から検出した回転補正量を、近距離を撮影するカメラ71bの回転補正に利用することによって、カメラ71bの撮像画像に対してより適切に回転補正を行うことができる。
【0115】
図26は本実施形態に係る画像撮像装置の構成例を示す図である。図26において、71a,71bは動画を撮像する第1および第2のカメラ、72は第1のカメラ71aによって撮像された画像の所定領域の画像情報を抽出する領域限定部、73は領域限定部72によって抽出された画像から垂直エッジを抽出する垂直エッジ抽出部、74は垂直エッジ抽出部73によって抽出された垂直エッジから第1のカメラ71aの回転量を検出する回転量検出部、75は第2のカメラ71bによって撮像された画像を、回転量検出部74によって検出された回転量を用いて補正する撮像画像補正部である。
【0116】
図25の携帯電話70では、第1および第2のカメラ71a,71bの相対位置は固定されているため、表側のカメラ71bの画像が傾いているとき、裏側のカメラ71aの画像も傾いている。また、一方のカメラにおいて手ぶれが起きたとき、他方のカメラでも手ぶれがおきる。
【0117】
したがって、図27に示すように、裏側のカメラ1によって撮像された画像(a)の回転補正量を用いて、表側のカメラ2によって撮像された顔画像の回転補正を行う(b,c)。すなわち、カメラ2の画像は、近距離を撮したものであり、遠距離の人工物を撮していないため、適切に回転補正が行なわれない場合がある。しかしながら、遠距離を撮す他のカメラの撮像画像から検出した回転補正角を用いることによって、より適切に回転補正を行うことができる。
【0118】
なお、上述した各実施形態における画像撮像装置の各手段、または画像撮像方法の各処理の全部または一部を、専用のハードウェアを用いて実現してもかまわないし、コンピュータのプログラムによってソフトウェア的に実現してもかまわない。また、処理の全部または一部をプログラムによって実現した場合、このプログラムを、フレキシブルディスク、光ディスク、ICカードおよびROMカセットなどの記録媒体に記録して移送することにより、独立した他のコンピュータシステムにおいて容易に実施することができる。
【産業上の利用可能性】
【0119】
本発明は、カメラによって撮影した画像を、従来よりも適切に、補正可能にするので、通常の画像撮像システムや、カメラを頭部や衣服に装着するウェラブルシステムなどにおいて、より見やすい画像を得ることができ、有効である。
【図面の簡単な説明】
【0120】
【図1】本発明の第1の実施形態に係る画像撮像装置の構成を示すブロック図である。
【図2】図1の画像撮像装置の動作を示すフローチャートである。
【図3】(a)は補正前の画像、(b)は(a)の画像から抽出された垂直エッジ、(c)は補正後の画像である。
【図4】画像データをxy座標に変換した図である。
【図5】本発明の第1の実施形態に係る,領域限定を行う画像撮像装置の構成を示すブロック図である。
【図6】本発明の第2の実施形態に係る画像撮像装置の構成を示すブロック図である。
【図7】図6の画像撮像装置の動作を示すフローチャートである。
【図8】本発明の第2の実施形態に係る,領域限定を行う画像撮像装置の構成を示すブロック図である。
【図9】本発明の第3の実施形態に係る画像撮像装置の構成を示す図である。
【図10】本発明の第3の実施形態に係る画像撮像装置の構成を示す図である。
【図11】本発明の第3の実施形態の変形例に係る構成の一例を示す図である。
【図12】本発明の第3の実施形態の変形例の利用形態の一例を示す図である。
【図13】本発明の第4の実施形態に係る画像撮像装置の構成を示す図である。
【図14】適正照明状態の場合と逆光状態の場合とにおける輝度頻度分布を模式的に表した図である。
【図15】本発明の第4の実施形態に係る画像撮像装置の構成の他の例を示す図である。
【図16】本発明の第5の実施形態に係る画像撮像装置の構成例を示す図である。
【図17】本発明の第5の実施形態の利用形態の一例を示す図である。
【図18】本発明の第5の実施形態に係る回転補正量の合成を概念的に示す図である。
【図19】本発明の第5の実施形態に係る画像合成の例である。
【図20】本発明の第6の実施形態に係る画像撮像装置の構成例を示す図である。
【図21】本発明の第6の実施形態の利用態様の一例である。
【図22】本発明の第6の実施形態に係る画像合成の可否判断を概念的に示す図である。
【図23】本発明の第6の実施形態に係る画像合成の例である。
【図24】本発明の第6の実施形態の利用態様の他の例である。
【図25】両面にカメラが装着された携帯電話の外観図である。
【図26】本発明の第7の実施形態に係る画像撮像装置の構成例を示す図である。
【図27】本発明の第7の実施形態に係る回転補正の例である。
Claims (7)
- カメラによって画像を撮像する第1のステップと、
前記第1のステップにおいて撮像した画像の上部領域において、当該画像の特徴データを検出し、この特徴データから補正量を算出する第2のステップと、
前記第2のステップにおいて算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う第3のステップとを備え、
前記第2のステップは、
前記上部領域において、鉛直エッジ成分を抽出し、
この鉛直エッジ成分を基にして、前記画像の回転量を、前記特徴データとして検出し、
前記回転量を基にして、前記画像の回転補正量を算出するものである
ことを特徴とする画像撮像処理方法。 - 請求項1において、
前記第2のステップにおいて、
前記回転補正量を、現時刻の回転量と、前の時刻の回転量とを用いて、算出する
ことを特徴とする画像撮像処理方法。 - 請求項1において、
前記第2のステップは、
前記上部領域において、回転量に加えて、動きベクトルを、前記特徴データとして検出し、
前記動きベクトルを基にして、前記画像の動き補正量を、算出するものである
ことを特徴とする画像撮像処理方法。 - カメラによって画像を撮像する第1のステップと、
前記第1のステップにおいて撮像した画像の上部領域において、当該画像の特徴データを検出し、この特徴データから補正量を算出する第2のステップと、
前記第2のステップにおいて算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う第3のステップとを備え、
前記第2のステップにおいて、
前記上部領域において、輝度を求め、
求めた輝度を基にして、前記画像の露光状態を、前記特徴データとして検出し、
前記露光状態を基にして、露光補正量を算出するものであり、
前記露光補正は、逆光補正または過順光補正である
ことを特徴とする画像撮像処理方法。 - 複数のカメラによって画像をそれぞれ撮像する第1のステップと、
前記第1のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第2のステップと、
前記第2のステップにおいて検出した各画像の回転量を、合成する第3のステップと、
前記第3のステップにおいて得られた合成回転量を基にして、前記各画像に対して、回転補正処理をそれぞれ行う第4のステップと、
前記第4のステップにおいて回転補正処理がなされた各画像を合成し、合成画像を得る第5のステップとを備えた
ことを特徴とする画像撮像処理方法。 - 複数のカメラによって画像をそれぞれ撮像する第1のステップと、
前記第1のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第2のステップと、
前記第2のステップにおいて検出した各画像の回転量から、各画像を合成するか否かを判断する第3のステップと、
前記第3のステップにおいて合成すると判断したとき、各画像を合成し、合成画像を得る第4のステップとを備えた
ことを特徴とする画像撮像処理方法。 - 第1および第2のカメラによって画像をそれぞれ撮像する第1のステップと、
前記第1のステップにおいて前記第1のカメラによって撮像された第1の画像について、その上部領域において、当該第1の画像の回転量を検出する第2のステップと、
前記第2のステップにおいて検出した回転量を基にして、前記第2のカメラによって撮像された第2の画像に対して、回転補正処理を行う第3のステップとを備えた
ことを特徴とする画像撮像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003047319 | 2003-02-25 | ||
JP2003047319 | 2003-02-25 | ||
PCT/JP2004/002229 WO2004077820A1 (ja) | 2003-02-25 | 2004-02-25 | 画像撮像処理方法および画像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP3676360B2 true JP3676360B2 (ja) | 2005-07-27 |
JPWO2004077820A1 JPWO2004077820A1 (ja) | 2006-06-08 |
Family
ID=32923265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004571484A Expired - Fee Related JP3676360B2 (ja) | 2003-02-25 | 2004-02-25 | 画像撮像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US7329057B2 (ja) |
EP (1) | EP1599036A1 (ja) |
JP (1) | JP3676360B2 (ja) |
CN (1) | CN1701595B (ja) |
WO (1) | WO2004077820A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011155161A1 (ja) | 2010-06-11 | 2011-12-15 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
US8180176B2 (en) | 2007-07-12 | 2012-05-15 | Panasonic Corporation | Image processing device, image processing method, image processing program, recording medium with image processing program recorded therein, and image processing processor |
KR101385143B1 (ko) | 2012-06-27 | 2014-04-15 | 한국과학기술원 | 중력을 이용한 영상 객체 인식 방법 및 장치 |
JP2016111585A (ja) * | 2014-12-09 | 2016-06-20 | 日本電気株式会社 | 画像処理装置、システム、画像処理方法、およびプログラム |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7329057B2 (en) * | 2003-02-25 | 2008-02-12 | Matsushita Electric Industrial Co., Ltd. | Image pickup processing method and image pickup apparatus |
JP4654817B2 (ja) * | 2005-07-27 | 2011-03-23 | パナソニック電工株式会社 | 複数画像合成方法及び複数画像合成装置 |
US8571346B2 (en) * | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
JP4810295B2 (ja) * | 2006-05-02 | 2011-11-09 | キヤノン株式会社 | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
US7952612B2 (en) * | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
WO2008068456A2 (en) * | 2006-12-06 | 2008-06-12 | Sony United Kingdom Limited | A method and an apparatus for generating image content |
WO2008078537A1 (ja) * | 2006-12-22 | 2008-07-03 | The University Of Electro-Communications | ブレ測定システムおよびブレ測定方法 |
EP2115535B9 (de) * | 2007-02-06 | 2013-01-09 | Carl Zeiss SMT GmbH | Verfahren und vorrichtung zur überwachung von mehrfachspiegelanordnungen in einem beleuchtungssystem einer mikrolithographischen projektionsbelichtungsanlage |
US8244068B2 (en) * | 2007-03-28 | 2012-08-14 | Sony Ericsson Mobile Communications Ab | Device and method for adjusting orientation of a data representation displayed on a display |
US8395672B2 (en) * | 2007-07-13 | 2013-03-12 | Panasonic Corporation | Imaging device that detects inclination of image and apparatus in a rolling direction |
US8724895B2 (en) | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
JP2009055081A (ja) * | 2007-08-23 | 2009-03-12 | Sony Corp | 装着型自動撮像装置、画像傾き補正方法、画像傾き補正システム、プログラム |
JP4926920B2 (ja) | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
CN101257581A (zh) * | 2008-03-26 | 2008-09-03 | 香港应用科技研究院有限公司 | 感光传感器及图像捕捉装置 |
US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
US8199212B2 (en) * | 2008-05-03 | 2012-06-12 | Olympus Imaging Corp. | Image recording and playback device, and image recording and playback method |
JP5134476B2 (ja) * | 2008-09-16 | 2013-01-30 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2010117585A (ja) * | 2008-11-13 | 2010-05-27 | Hoya Corp | 撮像装置 |
US8675091B2 (en) * | 2008-12-15 | 2014-03-18 | Nvidia Corporation | Image data processing with multiple cameras |
US20130278818A1 (en) * | 2012-04-19 | 2013-10-24 | Gary Edwin Sutton | Curved sensor system |
US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
KR101626482B1 (ko) * | 2009-10-27 | 2016-06-01 | 엘지전자 주식회사 | 듀얼 렌즈를 가진 촬상장치 및 촬상방법 |
US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
JP5450643B2 (ja) * | 2010-05-25 | 2014-03-26 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 |
JP2012124939A (ja) * | 2012-02-07 | 2012-06-28 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
EP3731389B1 (en) * | 2012-05-09 | 2023-07-19 | LG Innotek Co., Ltd. | Voice coil motor |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
CN104885441B (zh) * | 2012-12-26 | 2018-06-12 | 索尼公司 | 图像处理装置和方法、以及程序 |
CN103268590B (zh) * | 2013-05-06 | 2015-09-23 | 西南大学 | 一种可旋转取景框的拍照处理方法 |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
US9961213B2 (en) | 2014-01-28 | 2018-05-01 | Beijing Lenovo Software Ltd. | Electronic device and image capturing apparatus |
JP6515813B2 (ja) * | 2014-02-17 | 2019-05-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9912868B2 (en) * | 2015-09-15 | 2018-03-06 | Canon Kabushiki Kaisha | Image-blur correction apparatus, tilt correction apparatus, method of controlling image-blur correction apparatus, and method of controlling tilt correction apparatus |
US20190253618A1 (en) * | 2015-12-28 | 2019-08-15 | Nec Corporation | Information processing apparatus, control method, and program |
US10764503B2 (en) | 2015-12-28 | 2020-09-01 | Nec Corporation | Information processing apparatus, control method, and program for outputting a guide for correcting a field of view of a camera |
US11030443B2 (en) | 2015-12-28 | 2021-06-08 | Nec Corporation | Information processing apparatus, control method, and program |
JP6769444B2 (ja) * | 2015-12-28 | 2020-10-14 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JP2017211200A (ja) * | 2016-05-23 | 2017-11-30 | 株式会社デンソー | カメラ校正装置及びカメラ校正方法 |
KR102528196B1 (ko) * | 2021-09-23 | 2023-05-03 | 한국자동차연구원 | 촬영 각도 조정에 기반하여 역광에 대응하는 카메라 제어 시스템 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0779434B2 (ja) * | 1986-05-16 | 1995-08-23 | キヤノン株式会社 | 合焦検出装置 |
US5107293A (en) * | 1988-09-09 | 1992-04-21 | Canon Kabushiki Kaisha | Automatic image stabilization device |
JP2843637B2 (ja) * | 1990-03-20 | 1999-01-06 | オリンパス光学工業株式会社 | カメラ装置 |
EP0456414A3 (en) * | 1990-05-11 | 1992-05-20 | Matsushita Electric Industrial Co., Ltd | Slant correction for a video camera apparatus |
JP2801792B2 (ja) | 1991-04-12 | 1998-09-21 | シャープ株式会社 | 映像ぶれ補正機能付ビデオカメラ |
JPH05219420A (ja) * | 1992-01-31 | 1993-08-27 | Hitachi Ltd | 撮像装置 |
JP3027979B2 (ja) * | 1992-09-16 | 2000-04-04 | 株式会社村上開明堂 | 車載カメラ用オプトエレクトロニックフィルタ |
JPH06311425A (ja) * | 1993-04-21 | 1994-11-04 | Konica Corp | 画像補正装置 |
JP3777643B2 (ja) * | 1996-03-01 | 2006-05-24 | 株式会社ニコン | 閃光発光可能なカメラ |
US6747691B1 (en) * | 1997-09-09 | 2004-06-08 | Minolta Co., Ltd. | Apparatus capable of determining shake of the apparatus relative to an object |
DE19909627A1 (de) * | 1999-03-05 | 2000-09-07 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz |
JP3679988B2 (ja) * | 2000-09-28 | 2005-08-03 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
JP2002209221A (ja) * | 2001-01-11 | 2002-07-26 | Minolta Co Ltd | デジタル撮像装置および記録媒体 |
GB0116113D0 (en) * | 2001-06-30 | 2001-08-22 | Hewlett Packard Co | Tilt correction of electronic images |
WO2004001667A2 (en) * | 2002-06-21 | 2003-12-31 | The Trustees Of Columbia University In The City Of New York | Systems and methods for de-blurring motion blurred images |
US7329057B2 (en) * | 2003-02-25 | 2008-02-12 | Matsushita Electric Industrial Co., Ltd. | Image pickup processing method and image pickup apparatus |
US7440634B2 (en) * | 2003-06-17 | 2008-10-21 | The Trustees Of Columbia University In The City Of New York | Method for de-blurring images of moving objects |
CA2735833A1 (en) * | 2003-12-08 | 2005-06-23 | Research In Motion Limited | Methods and apparatus for providing a tolerable delay for slotted messages in wireless communication networks |
WO2006043315A1 (ja) * | 2004-10-20 | 2006-04-27 | Mitsubishi Denki Kabushiki Kaisha | 撮像装置および撮像装置を備えた携帯機器 |
US7656428B2 (en) * | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
JP4529840B2 (ja) * | 2005-08-15 | 2010-08-25 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
US7777781B2 (en) * | 2005-08-26 | 2010-08-17 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Method and system for determining the motion of an imaging apparatus |
US7598979B2 (en) * | 2005-09-21 | 2009-10-06 | Aptina Imaging Corporation | Imaging device with blur reduction system including a primary array and at least one navigation array |
US7626612B2 (en) * | 2006-06-30 | 2009-12-01 | Motorola, Inc. | Methods and devices for video correction of still camera motion |
US7817187B2 (en) * | 2007-06-27 | 2010-10-19 | Aptina Imaging Corporation | Image blur correction using a secondary camera |
CN101257581A (zh) * | 2008-03-26 | 2008-09-03 | 香港应用科技研究院有限公司 | 感光传感器及图像捕捉装置 |
-
2004
- 2004-02-25 US US10/529,296 patent/US7329057B2/en active Active
- 2004-02-25 EP EP04714464A patent/EP1599036A1/en not_active Withdrawn
- 2004-02-25 JP JP2004571484A patent/JP3676360B2/ja not_active Expired - Fee Related
- 2004-02-25 WO PCT/JP2004/002229 patent/WO2004077820A1/ja not_active Application Discontinuation
- 2004-02-25 CN CN2004800010296A patent/CN1701595B/zh not_active Expired - Fee Related
-
2007
- 2007-12-13 US US11/955,792 patent/US7609951B2/en not_active Expired - Lifetime
- 2007-12-13 US US11/955,826 patent/US7859568B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180176B2 (en) | 2007-07-12 | 2012-05-15 | Panasonic Corporation | Image processing device, image processing method, image processing program, recording medium with image processing program recorded therein, and image processing processor |
WO2011155161A1 (ja) | 2010-06-11 | 2011-12-15 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
US9088715B2 (en) | 2010-06-11 | 2015-07-21 | Panasonic Intellectual Property Corporation Of America | Image processing apparatus and image processing method for image correction |
KR101385143B1 (ko) | 2012-06-27 | 2014-04-15 | 한국과학기술원 | 중력을 이용한 영상 객체 인식 방법 및 장치 |
JP2016111585A (ja) * | 2014-12-09 | 2016-06-20 | 日本電気株式会社 | 画像処理装置、システム、画像処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US7859568B2 (en) | 2010-12-28 |
US20060165395A1 (en) | 2006-07-27 |
US7609951B2 (en) | 2009-10-27 |
US20080136932A1 (en) | 2008-06-12 |
US7329057B2 (en) | 2008-02-12 |
CN1701595A (zh) | 2005-11-23 |
US20080137983A1 (en) | 2008-06-12 |
WO2004077820A1 (ja) | 2004-09-10 |
CN1701595B (zh) | 2010-04-28 |
JPWO2004077820A1 (ja) | 2006-06-08 |
EP1599036A1 (en) | 2005-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3676360B2 (ja) | 画像撮像処理方法 | |
JP3934151B2 (ja) | 画像生成装置および画像生成方法 | |
US8588546B2 (en) | Apparatus and program for producing a panoramic image | |
TWI425826B (zh) | 影像選擇裝置、影像選擇方法 | |
US8767036B2 (en) | Panoramic imaging apparatus, imaging method, and program with warning detection | |
US9247133B2 (en) | Image registration using sliding registration windows | |
KR101312895B1 (ko) | 파노라마 사진 촬영 방법 | |
JP4618370B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
US9264651B2 (en) | Moving image reproducing apparatus capable of adjusting display position of indicator for motion analysis based on displacement information of frames, and moving image reproducing method and recording medium for same | |
EP2824909B1 (en) | Image processing device, method and program | |
JP2010088084A (ja) | 撮像装置、撮像方法、およびプログラム | |
TWI390970B (zh) | Use motion detection to adjust the digital camera's shooting settings | |
JP2010147635A (ja) | 撮像装置、撮像方法、およびプログラム | |
CN105227851B (zh) | 图像处理方法及图像采集装置 | |
US20110254973A1 (en) | Image processing apparatus and image processing method | |
US8164685B2 (en) | Image pickup apparatus which performs aperture value control for a multiple exposure image, and recording medium | |
CN115086547A (zh) | 摄像设备、便携式装置和校准器及其控制方法和存储介质 | |
WO2022014271A1 (ja) | 画像処理装置、画像表示システム、方法及びプログラム | |
KR20180017591A (ko) | 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법 | |
JP4715366B2 (ja) | 複数画像合成方法及び複数画像合成装置 | |
KR101132976B1 (ko) | 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법 | |
JPH06133298A (ja) | 動きベクトル検出装置 | |
JP2021097351A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP6808446B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20130236055A1 (en) | Image analysis device for calculating vector for adjusting a composite position between images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3676360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |