JP3928939B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP3928939B2 JP3928939B2 JP2002181630A JP2002181630A JP3928939B2 JP 3928939 B2 JP3928939 B2 JP 3928939B2 JP 2002181630 A JP2002181630 A JP 2002181630A JP 2002181630 A JP2002181630 A JP 2002181630A JP 3928939 B2 JP3928939 B2 JP 3928939B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- subject
- camera
- background body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
従来、滑らかなスローモーションを撮影・録画する場合には、被写体を通常の毎秒フィールド数より多い毎秒フィールド数で撮影・録画するとともに、録画された映像を通常の毎秒フィールド数で再生している。例えば、毎秒60フィールドで記録する通常のNTSC(National Television System Committee)のテレビ映像を2倍のスローモーションの映像にする場合には、毎秒120フィールドで撮影して録画し、この録画したデータを毎秒60フィールドで再生すればよい。
【0003】
しかし、スポーツ選手の動作や、水の流れなどの自然現象、又は爆発・破壊現象の解析をするために、高倍率のスローモーションを撮影・再生しようとすると、従来の撮影・再生方法では困難が生じる。
すなわち、従来の方法で高倍率のスローモーションを撮影する場合には、その倍率の速さで動作する撮像素子を備えたカメラや、録画装置が必要となるため、これまでの規格と異なる専用の装置が必要になるのみならず、ある倍率以上になると技術的に困難になる。
【0004】
そこで、撮影する映像がそのカメラの1フィールド時間(図6(a)参照)に対して短い時間だけ開口するシャッターを備えた複数のカメラを、それぞれが同等の視野を撮影するように平行に設置するとともに、各カメラが時間的にずれた映像を撮影するように、各シャッターの開口時間のタイミングをずらして撮影・録画し(図6(b)参照)、録画した各映像を撮影時の複数のカメラ全体での毎秒フィールド数より少ない毎秒フィールド数で、かつ、撮影時の順序で順次映し出す(図6(c)参照)ことによりスローモーションを再生するスローモーションの撮影・再生装置が提案されている。
【0005】
この場合、各カメラが間隔をあけて設置されているので、撮影された画像間に視差が生じる。例えば、図7(a)に示すように、同等の視野を撮影するように平行に設置された2台のカメラ(第一カメラ10Aおよび第二カメラ10B)で被写体Mを撮影する場合を考えると、画像中における被写体Mの位置は、第一カメラ10Aで撮影された第一画像(図7(b))と第二カメラ10Bで撮影された第二画像(図7(c))とで異なる。すなわち、第一カメラ10Aと第二カメラ10Bの配置に起因して、被写体Mには、二つの画像間でm12の視差が生じることになる。このため、第一画像と第二画像とを交互に再生すると、被写体Mは、左右にぶれてしまう。
【0006】
この場合には、第二画像全体を視差m12だけ移動(図中右側)させて、第一画像内の被写体Mの位置と一致させれば、ぶれのない映像を再生することができる。
【0007】
【発明が解決しようとする課題】
しかしながら、例えば、暗幕の前で被写体Mを撮影する場合には、前記のように画像全体をシフトさせることで画像のぶれを除去できるが、屋外などで撮影を行う場合であれば、撮影対象となる被写体Mに付随して、他の被写体S(以下、「背景体S」という)が撮影されてしまう。そして、視差の大きさは、各被写体までの距離とカメラの設置間隔とから幾何学的に定まるので、各カメラからの距離が被写体Mと背景体Sとで異なる場合(図7(a)参照)には、画像間に生じる視差の大きさも異なることになる。したがって、図7(c)に示すように、被写体Mのぶれを改善すべく視差m12で第二画像全体をシフトさせると、被写体Mについてのぶれは改善されるが、背景体Sについては、(m12−s12)の視差が残り(図7(d)参照)、すなわち、第一画像中の背景体Sの位置と補正後の第二画像中の背景体Sの位置とが一致しないため、画像にぶれが残ることになる。
【0008】
そこで、本発明は、被写体のみならず、これに付随して撮影される背景体のぶれを抑制することができる画像処理装置および画像処理方法を提供することを課題とする。
【0009】
【課題を解決するための手段】
このような課題を解決するために、請求項1の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、前記各視差に応じて前記各画像を補正する補正手段とを備え、前記補正手段は、前記第二画像において、前記被写体を当該被写体の視差だけ移動させるとともに、前記背景体を当該背景体の視差だけ移動させる、ことを特徴とする。
【0010】
かかる画像処理装置は、複数のカメラで複数の被写体(背景体)を撮影したときに、一のカメラで撮影された画像と他のカメラで撮影された画像との間に生じる視差を、被写体(背景体)ごとに補正するものである。すなわち、第一カメラで撮影された第一画像を基準として、第二カメラで撮影された第二画像中の被写体および背景体の位置を補正するものであり、第一画像と第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定するとともに、第二画像において被写体および背景体の位置をそれぞれ対応する視差だけ移動させ、第一画像中の被写体の位置および背景体の位置にそれぞれ一致させるものである。これにより、第一画像および補正後の第二画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【0011】
請求項2の発明は、請求項1に記載の画像処理装置であって、前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、前記補正手段は、前記第三画像において、前記被写体を前記視差演算手段で演算された被写体の視差だけ移動させるとともに、前記背景体を前記視差演算手段で演算された背景体の視差だけ移動させる、ことを特徴とする。
【0012】
かかる画像処理装置は、第一画像と第三画像との間に生じる被写体および背景体の視差を演算によって求めるとともに、演算された視差に応じて、第三画像を補正するものである。すなわち、視差特定手段により特定された第一画像と第二画像との間に生じる被写体および背景体の視差に基づいて、第一画像と第三画像との間に生じる被写体および背景体の視差を計算により求めるとともに、第三画像中の被写体と背景体の位置をそれぞれ対応する視差だけ移動させ、第一画像および第二画像の被写体の位置および背景体の位置にそれぞれ一致させるものである。これにより、第一画像、補正後の第二画像および第三画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
なお、複数のカメラが所定の間隔で配置されている場合には、カメラ群と被写体との距離は、カメラの設置間隔と各カメラで撮影された画像間に生じる視差とから幾何学的に演算することができる。
【0013】
請求項3に記載の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、前記各視差に応じて前記各画像を補正する補正手段とを備え、前記補正手段は、前記第二画像の全体を前記被写体の視差だけ移動させるとともに、前記第二画像において前記背景体を前記被写体の視差と前記背景体の視差との差だけ移動させる、ことを特徴とする。
【0014】
かかる画像処理装置は、第二画像の全体を被写体の視差だけ移動(シフト)させるとともに、この操作により過補償となった背景体を、被写体の視差と背景体の視差との差だけ、別途移動させるものである。これにより、補正後の第二画像中の被写体と背景体の位置は、第一画像中の被写体の位置および背景体の位置にそれぞれ一致することになり、したがって、第一画像および補正後の第二画像を順々に再生するときに、撮影対象となる被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【0015】
請求項4に記載の発明は、請求項3に記載の画像処理装置であって、前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、前記補正手段は、前記第三画像の全体を前記視差演算手段で演算された視差だけ移動させるとともに、前記第三画像において前記背景体を前記視差演算手段で演算された被写体の視差と前記背景体の視差との差だけ移動させる、ことを特徴とする。
【0016】
かかる画像処理装置は、第三画像の全体を視差演算手段で演算された被写体の視差だけ移動させるとともに、この操作により過補償となる背景体を、被写体の視差と背景体の視差との差だけ、別途移動させるものである。これにより、補正後の第三画像中の被写体と背景体の位置は、第一画像中の被写体の位置および背景体の位置にそれぞれ一致することになり、したがって、第一画像、補正後の第二画像および第三画像を順々に再生するときに、撮影対象となる被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【0017】
請求項5の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のぶれを抑制するための画像処理装置であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差を特定する視差特定手段と、前記第二画像中の被写体または前記第二画像の全体を前記視差だけ移動させるとともに、前記各画像の中から背景体を削除する補正手段と、を備えることを特徴とする。
【0018】
かかる画像処理装置は、各画像の中から背景体を削除するものである。すなわち、補正後の各画像中に背景体が存在しなくなるので、補正後の各画像を順々に再生するときに、背景体の「ぶれ」が気になることはない。
【0019】
請求項6の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制する画像処理方法であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定する視差特定ステップと、前記第二画像において被写体および背景体の位置をそれぞれ対応する視差だけ移動させ、前記第一画像中の被写体の位置および背景体の位置にそれぞれ一致させる第二画像補正ステップと、を含むことを特徴とする。
【0020】
かかる画像処理方法によると、第一画像と補正後の第二画像において、被写体の位置および背景体の位置がそれぞれ一致するので、第一画像および補正後の第二画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【0027】
請求項7の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のぶれを抑制する画像処理方法であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差を特定する視差特定ステップと、前記第二画像中の被写体の位置または前記第二画像の全体を前記視差だけ移動させ、前記第二画像中の被写体の位置を前記第一画像中の被写体の位置に一致させる第二画像補正ステップと、前記各画像の中から背景体を削除する削除補正ステップを含むことを特徴とする。
【0028】
かかる画像処理方法によると、補正後の各画像において被写体の位置が一致するとともに、各画像中に背景体が存在しなくなるので、補正後の各画像を順々に再生するときに、背景体の「ぶれ」が気になることがない。
【0029】
【発明の実施の形態】
次に、本発明に係る画像処理装置の実施形態について、添付した図面を参照しつつ詳細に説明する。
【0030】
本実施形態に係る画像処理装置は、所定の間隔をあけて平行に配置された複数のカメラで撮影された画像のそれぞれを、当該画像間に生じている視差に応じて補正するものであり、図5に示すようなスローモーション撮影・再生装置1において使用されている。
【0031】
まず、スローモーション撮影・再生装置1(以下、単に「撮影・再生装置1」という。)について簡単に説明する。図5はスローモーションの撮影・再生装置のブロック構成図、図6(a)は通常のカメラのフィールド時間を示すグラフ、(b)は各カメラにおけるシャッターの開口タイミングを示すグラフ、(c)は撮影・再生装置で再生するときの各カメラで記録された画像の読み出しタイミングを示すグラフである。
【0032】
撮影・再生装置1は、カメラ群10で、被写体Mを順々に撮影・録画し(図4参照)、録画した各画像を撮影時の複数のカメラ全体での毎秒フィールド数より少ない毎秒フィールド数で、かつ、撮影時の順序で順次映し出すことによりスローモーションを再生するものである。
【0033】
撮影・再生装置1は、図5に示すように、所定の間隔をあけて平行に配置されたカメラ10a〜10gからなるカメラ群10(以下、カメラを特定しない場合、単に「カメラ10」という。)と、画像処理装置20を介してカメラ10a〜10gに接続された録画装置30a〜30gからなる録画装置30(以下、録画装置を特定しない場合、単に「録画装置30」という)と、各録画装置30とモニタ40との接続を切り替える切換機35とを備えている。
【0034】
カメラ10a〜10gは、それぞれ同一の画角φ(図3参照)および画素数を有し、同一の視野を撮影可能である。また、互いに平行かつ同一平面上に配置され、対峙する被写体Mのほぼ同じ面を撮影可能である。なお、カメラ10には、公知のカメラを使用することが可能である。
カメラ10のレンズの前、途中などには、撮影する映像を短時間に区切るシャッター11a〜11g(以下、シャッターを特定しない場合、単に「シャッター11」という)がそれぞれ設けられている。
【0035】
シャッター11は、機械的に光を遮断する幕、例えば一部に開口部を有する回転する円板で構成される。また、このような機械的な幕に限らず、カメラ内の受光手段であるCCDからの信号を電気的にON、OFFして、映像を短時間に区切るように構成することもできる。
【0036】
開口タイミング設定手段15は、シャッター11の開口時間および開口タイミング(シャッター11を開閉させる順序)を制御するものである。ここで、開口時間は、カメラ10の通常の1フィールドの撮影時間(以下、「標準開口時間」という。図6(a)参照)をカメラ台数で除した値に設定され、図6(b)の場合であれば、シャッター11は、標準開口時間の7分の1である。
なお、図6において、グラフが高い位置(ON)にあるときに撮影・再生され、低い位置(OFF)にあるときは、映像が撮影・再生されていない。
【0037】
録画装置30は、公知の録画装置であり、録画した映像を1フィールドごとに間歇読み出しができる機能を有する。半導体メモリー、ビデオテープ、DVD−RAM、ハードディスクドライブなど、その種類は問われない。
なお、録画装置30は、必ずしも複数台必要ではなく、各カメラ10で撮影したデジタル画像としての各フィールドを、一台のコンピュータに取り込み、ハードディスクドライブに逐次書き込むようにしても良い。
【0038】
切換機35は、録画装置30とモニタ40との接続を切り替えるものであり、モニタ40は、公知のモニタである。カラーかモノクロか、又はブラウン管か、液晶かなど、その種類は問われない。
【0039】
以上のように構成された撮影・再生装置1で被写体Mを撮影する手順を説明する。被写体Mを撮影する場合には、カメラ群10を被写体Mに対峙させたうえで、開口タイミング設定手段15でシャッター11の開口タイミングおよび開口時間を制御しつつ、各カメラ10で被写体Mを順々に撮影すればよい。すなわち、図6(b)に示すように、カメラ10aのシャッター11aを開口して被写体Mを所定の開口時間だけ撮影し、シャッター11aを閉口させた直後に隣のカメラ10bのシャッター11bを開口させて所定の開口時間だけ被写体Mを撮影する、といった工程を順に繰り返せばよい。なお、各シャッター11の開口時間は、図示の場合であれば、標準開口時間の7分の1である。例えば、NTSCのテレビ映像であれば、標準開口時間が1/60秒なので、NTSCのテレビ撮影用のカメラを7台使用する場合には、この1/7である1/420秒の開口時間でシャッター11を開口し、カメラ10a〜カメラ10gで順次撮影する。
また、各カメラ10で撮影された画像は、後述する画像処理装置20で適宜補正されたうえで、各録画装置30に録画される。
【0040】
そして、被写体Mのスローモーションを再生する場合には、各録画装置30に録画されている各画像を、録画時の順序で、かつ、各画像の出力時間を標準開口時間としてモニタ40へ出力すればよい。すなわち、図6(c)に示すように、録画装置30aに録画されたカメラ10aの画像をモニタ40へ出力し、標準開口時間後に、切替装置35を切り替えて、録画装置30bに録画されたカメラ10bの画像をモニタへ出力し、といった工程を順次繰り返すことでスローモーションを再生することができる。
【0041】
次に、本発明に係る画像処理装置を説明する。画像処理装置20は、本実施形態では、図5に示すように、カメラ群10から出力された画像を補正すべく、カメラ群10と録画装置30との間に介設されている。
【0042】
以下の説明では、カメラ10a〜10gのうち、カメラ10dを第一カメラ10Aと、カメラ10eを第二カメラ10Bと、その他のカメラ10a,10b,10c,10f,10gを第三カメラ10Cと称する。また、第一カメラ10Aで撮影された画像を第一画像(図3(b)参照)、第二カメラ10Bで撮影された画像を第二画像(図3(c)参照)、第三カメラCで撮影された画像を第三画像(図示せず)と称する。なお、本実施形態では、カメラ群10のうち、中央に配置されたカメラ10dを第一カメラAと、カメラ10dに隣接するカメラ10eを第二カメラBとしたが、第一カメラAおよび第二カメラBの組合せは、これに限定されることはなく、カメラ10a〜10gの中から任意に選択して差し支えない。
また、スローモーション再生の対象となる被写体を被写体M、被写体Mに付随して撮影される被写体を背景体Sと称する。
【0043】
画像処理装置20は、図1および図2に示すように、第一画像と第二画像との間に生じる視差を特定する視差特定手段21、第一カメラ10Aで撮影された第一画像を補正する第一補正手段24A、第二カメラ10Bで撮影された第二画像を補正する第二補正手段24B(以上、図1参照)、カメラ群10と被写体Mおよび背景体Sとの距離を演算する距離演算手段22、第一画像と第三画像との間に生じる視差を演算する視差演算手段23および第三カメラ10Cで撮影された画像を補正する第三補正手段24C(以上、図2参照)から構成されている。
【0044】
図1に示す視差特定手段21は、第一画像と第二画像とを比較して、二つの画像間における被写体Mの視差m12および背景体Sの視差s12(図3参照)をそれぞれ特定するものである。ここで、被写体の視差とは、画像間における被写体の移動量のことであり、この移動量は、例えば、ブロックマッチングにより特定することができる。
【0045】
ブロックマッチングとは、二つの画像を比較して、基準となる画像内の画素ブロックに最も似ている画素ブロックを他の画像内から探し出すものである。
すなわち、図3(b)(c)に示すように、第一画像から被写体Mを含む一つの画素ブロックB1を切り出すとともに、比較の対象となる第二画像の任意の箇所から、画素ブロックB1と同一形状の画素ブロックB2を切り出して画素ブロックB1と比較する。そして、第二画像において画素ブロックB2を切り出す位置を適宜変更しつつ、順次画素ブロックB1と比較を行い、最も似ている画素ブロックB2を探し出す。画素ブロック同士が似ているか否かは、画素ブロック内の同一の位置にある画素値同士の差の自乗を画素ブロック内の全ての画素に関して計算し、その総和を取ることで判断することができる。すなわち、総和が小さいほど画素ブロック同士が似ていることになり、このときの画素ブロックB1の座標値と画素ブロックB2の座標値の差が、第一画像と第二画像における被写体Mの視差m12となる。また、視差m12は、「画素数」で表される。
なお、画素ブロックB1、B2の形状としては、通常、数画素から数十画素の大きさの長方形もしくは正方形が使われる。
【0046】
図2に示す距離演算手段22は、視差m12および視差s12に基づいて、カメラ群10と被写体Mとの距離Lmおよびカメラ群10と背景体Sとの距離Lsを演算するものである。
【0047】
ここで、カメラ群10と被写体Mとの距離Lmは、第一カメラ10Aと第二カメラ10Bとの設置間隔d12(図4参照)および第一画像と第二画像との間に生じる視差m12とから幾何学的に演算することができる。
【0048】
例えば、図4において、カメラ群10と被写体Mとの距離をLm、第一カメラ10Aから被写体Mを見たときの方向角と第二カメラ10Bから被写体Mを見たときの方向角の差をθ、第一カメラ10Aと第二カメラ10Bとの設置間隔をd12とすると、Lmがd12よりも十分に大きい場合には、幾何学的な関係から、
d12=Lm・θ (1)
となる。
また、カメラ10の画角をφ、画素数をPとすると、
φ/θ=P/m12 (2)
となる。ここで、式(1)と式(2)とからθを消去すると、
Lm=(d12・P)/(m12・φ) (3)
となる。
ここで、設置間隔d12、カメラの画角φおよび画素数Pはそれぞれ既知であり、視差m12は視差特定手段21(図1参照)によって特定されるので、式(3)により距離Lmを演算することができる。
また、図示は省略するが、背景体Sとカメラ群10との距離Lsについても、設置間隔d12、画角φ、カメラの画素数P、視差s12とから、
Ls=(d12・P)/(s12・φ) (4)
により演算することができる。
【0049】
視差演算手段23は、距離演算手段22で演算された距離Lm、Lsに基づいて、第一画像と第三カメラ10Cで撮影された第三画像との間に生ずる被写体Mの視差m13および背景体Sの視差s13(図示せず)をそれぞれ演算するものである。すなわち、ブロックマッチングにより被写体や背景体の視差を特定すると、処理量が多くなるが、視差演算手段23により、幾何学的な関係を利用して画像間に生じる視差の大きさを演算することで、処理量を少なくすることができる。
【0050】
ここで、被写体Mの視差m13は、各カメラ10の画角φ、カメラ群10と被写体Mとの距離Lmおよび第一カメラ10Aと第三カメラ10Cとの設置間隔d13から演算することができる。すなわち、第一画像と第三画像においても、前記の式(3)と同様の関係が成り立つので、第一画像と第三画像との間に生ずる被写体Mの視差をm13とすると、
Lm=(d13・P)/(m13・φ) (5)
となり、これから、
m13=(d13・P)/(Lm・φ) (6)
となる。画角φ、画素数Pおよび設置間隔d13は、それぞれ既知であり、また、距離演算手段22により距離Lmが演算されるので、式(6)により視差m13を演算することができる。
また、視差s13についても、同様に、距離演算手段22により演算された距離Lsから、
s13=(d13・P)/(Ls・φ) (7)
により演算することができる。
【0051】
図1に示す第一補正手段24A,第二補正手段24Bおよび図2に示す第三補正手段24Cは、それぞれ、第一画像、第二画像および第三画像において、被写体Mと背景体Sの位置を移動させるものである。図3(c)の場合であれば、第二画像中から、被写体Mを含む画素ブロックB2内の画像データを切り取るとともに、当該画像データを視差m12だけ右にずらした位置に貼り付ければよい。
【0052】
次に、画像処理装置20の動作を、図1乃至図3を参照して説明する。
【0053】
まず、第一カメラ10Aで撮影された第一画像および第二カメラ10Bで撮影された第二画像を視差特定手段21(図1参照)に取り込むとともに、これら二つの画像データを比較して、被写体Mの視差m12および背景体Sの視差s12を特定する(図3(b)(c)参照)。
【0054】
視差特定手段21で特定された視差m12および視差s12に関する情報は、第二画像を補正する第二補正手段24Bへ送られる。
【0055】
そして、第二補正手段24Bで第二画像中の被写体Mおよび背景体Sの位置をそれぞれ補正して、第一画像中の被写体Mおよび背景体Sの位置にそれぞれ一致させる。より詳細には、図3(d)に示すように、第二画像において被写体M(画素ブロックB2)を右にm12だけ移動させるとともに、背景体Sを右にs12だけ移動させる。
なお、第一画像は、本実施形態では、補正せずに録画装置30へ送られる。
【0056】
また、視差特定手段21で特定された視差m12および視差s12に関する情報は、図2に示す距離演算手段22にも送られる。
【0057】
そして、距離演算手段22では、視差特定手段21で特定された視差m12、視差s12、第一カメラ10Aと第二カメラ10Bとの設置間隔d12、画角φおよび画素数Pに基づいて、カメラ群10と被写体Mとの距離Lmおよびカメラ群10と背景体Sとの距離Lsがそれぞれ演算され、その情報が視差演算手段23へ送られる。
【0058】
視差演算手段23では、距離演算手段22で演算された距離Lm,Ls、第一カメラ10Aと第三カメラ10Cとの設置間隔d13、画角φおよび画素数Pに基づいて、第一画像と第三画像との間に生じる被写体Mの視差m13および背景体Sの視差s13がそれぞれ演算され、その情報が第三補正手段24Cに送られる。なお、視差m13,s13は、第一カメラ10Aと第三カメラ10Cとの設置間隔d13に応じて変化するので、本実施形態のように、第三カメラ10Cが複数台(図1、2では5台)ある場合には、カメラごとに被写体Mの視差m13と背景体Sの視差s13とが演算される。
【0059】
そして、第三補正手段24Cで第三画像中の被写体Mおよび背景体Sの位置をそれぞれ補正して、第一画像中の被写体Mおよび背景体Sの位置とそれぞれ一致させる。より詳細には、図示は省略するが、被写体Mの位置をm13だけ移動させて第一画像中の被写体Mの位置と一致させるとともに、背景体Sをs13だけ移動させて第一画像中の背景体Sの位置と一致させる。
【0060】
また、前記の各補正手段で補正された画像は、それぞれ対応する録画装置30に送られて、記録される。すなわち、各録画装置30には、被写体Mおよび背景体Sの位置が一致するように補正された画像が録画されることになる。
【0061】
そして、各録画装置30に録画されている各画像を、録画時の順序で、かつ、各画像の出力時間を標準開口時間としてモニタ40へ出力すれば、被写体Mのスローモーションが得られるが、各画像において、被写体の位置および背景の位置がそれぞれ一致しているので、再生された映像にぶれが生じることはない。すなわち、違和感のない、スムーズなスローモーション映像を再生することができる。
【0062】
また、前記の実施形態では、被写体Mおよび背景体Sのそれぞれを移動させたが、これに限定されることはなく、図示は省略するが、第二画像全体を視差m12だけ右にシフトさせるとともに、第二画像において背景体Sを被写体の視差m12と背景体の視差s12との差(m12−s12)だけ移動させ、同様に、第三画像全体を視差演算手段23で演算された被写体Mの視差m13だけシフトさせるとともに、第三画像において背景体Sを被写体の視差m13と背景体の視差s13との差(m13−s13)だけ移動させてもよい。
【0063】
これにより、補正後の第二画像中の被写体と背景体の位置および補正後の第三画像中の被写体と背景体の位置は、それぞれ第一画像中の被写体の位置および背景体の位置にそれぞれ一致することになり、したがって、第一画像、補正後の第二画像および補正後の第三画像を順々に再生するときに、撮影対象となる被写体Mの「ぶれ」だけでなく、背景体Sの「ぶれ」をも抑制することができる。また、被写体Mの周囲において画像データを切り取る必要がないので、より違和感のない画像を得ることができる。
【0064】
また、前記の実施形態では、各画像において被写体Mと背景体Sのそれぞれを移動させたが、背景体Sを移動させる替わりに、各画像において背景体Sを削除する補正を行ってもよい。すなわち、補正後の第一画像、第二画像および第三画像から背景体Sの画像データを消去してもよい。また、この場合において、基準となる第一画像中の被写体Mの位置と第二、第三画像中の被写体Mの位置とを一致させるために、第二、第三画像中において被写体Mだけを視差に応じて移動させてもよいし、第二、第三画像全体を視差に応じてシフトさせてもよい。
【0065】
なお、前記の実施形態では、カメラ群10と録画装置30との間に画像処理装置20が設置され、各カメラ10で撮影された画像を補正した後に、録画装置30で録画する構成であったが、これに限定されることはなく、例えば、カメラ10で撮影した画像を図示しない録画装置に録画しておき、録画された画像を画像処理装置20で補正するような構成であってもよい。
【0066】
また、カメラの台数も、図示のものに限定されることはなく、適宜変更可能である。なお、カメラが2台の場合であれば、画像処理装置には、視差特定手段21、第一補正手段24Aおよび第二補正手段24Bが備えられていればよい。
【0067】
また、第三画像を視差特定手段21に取り込み、第一画像と比較することにより、第一画像と第三画像との間に生じる視差m13を特定しても良い。
【0068】
【発明の効果】
本発明の画像処理装置および画像処理方法によれば、所定の間隔をあけて平行に配置された複数のカメラで撮影された画像のそれぞれを、視差に応じて補正して画像のぶれを抑制する場合に、各画像において被写体の位置だけでなく、背景体の位置を一致させることができるので、これらを順々に再生したときに、画像にぶれがなく、したがって、違和感のない、スムーズな映像を再生することができる。
【図面の簡単な説明】
【図1】 本発明の画像処理装置のブロック構成図である。
【図2】 本発明の画像処理装置のブロック構成図である。
【図3】 (a)は視差を説明するための概略平面図、(b)(c)は視差特定手段を説明するための概略図、(d)は補正手段を説明するための概略図である。
【図4】 カメラ群の配置を示す概略平面図である。
【図5】 スローモーション撮影・再生装置を示すブロック構成図である。
【図6】 (a)は通常のカメラのフィールド時間を示すグラフ、(b)は各カメラにおけるシャッターの開口タイミングを示すグラフ、(c)は撮影・再生装置で再生するときの各カメラで記録された画像の読み出しタイミングを示すグラフである。
【図7】 従来の補正方法を説明するための概略図である。
【符号の説明】
1 スローモーション撮影・再生装置
10 カメラ群
10A 第一カメラ
10B 第二カメラ
10C 第三カメラ
11 シャッター
15 開口タイミング設定手段
20 画像処理装置
21 視差特定手段
22 距離演算手段
23 視差演算手段
24A 第一補正手段
24B 第二補正手段
24C 第三補正手段
30 録画装置
35 切替機
40 モニタ
Claims (7)
- 所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、
前記各視差に応じて前記各画像を補正する補正手段とを備え、
前記補正手段は、前記第二画像において前記被写体を当該被写体の視差だけ移動させるとともに、前記背景体を当該背景体の視差だけ移動させる、
ことを特徴とする画像処理装置。 - 前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、
前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、
前記補正手段は、前記第三画像において、前記被写体を前記視差演算手段で演算された被写体の視差だけ移動させるとともに、前記背景体を前記視差演算手段で演算された背景体の視差だけ移動させる、
ことを特徴とする請求項1に記載の画像処理装置。 - 所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、
前記各視差に応じて前記各画像を補正する補正手段とを備え、
前記補正手段は、前記第二画像の全体を前記被写体の視差だけ移動させるとともに、前記第二画像において前記背景体を前記被写体の視差と前記背景体の視差との差だけ移動させる、
ことを特徴とする画像処理装置。 - 前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、
前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、
前記補正手段は、前記第三画像の全体を前記視差演算手段で演算された視差だけ移動させるとともに、前記第三画像において前記背景体を前記視差演算手段で演算された被写体の視差と前記背景体の視差との差だけ移動させる、
ことを特徴とする請求項3に記載の画像処理装置。 - 所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のぶれを抑制するための画像処理装置であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差を特定する視差特定手段と、
前記第二画像中の被写体または前記第二画像の全体を前記視差だけ移動させるとともに、前記各画像の中から背景体を削除する補正手段と、
を備えることを特徴とする画像処理装置。 - 所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制する画像処理方法であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定する視差特定ステップと、
前記第二画像において被写体および背景体の位置をそれぞれ対応する視差だけ移動させ、前記第一画像中の被写体の位置および背景体の位置にそれぞれ一致させる第二画像補正ステップと、
を含むことを特徴とする画像処理方法。 - 所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のぶれを抑制する画像処理方法であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差を特定する視差特定ステップと、
前記第二画像中の被写体の位置または前記第二画像の全体を前記視差だけ移動させ、前記第二画像中の被写体の位置を前記第一画像中の被写体の位置に一致させる第二画像補正ステップと、
前記各画像の中から背景体を削除する削除補正ステップを含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002181630A JP3928939B2 (ja) | 2002-06-21 | 2002-06-21 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002181630A JP3928939B2 (ja) | 2002-06-21 | 2002-06-21 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004032084A JP2004032084A (ja) | 2004-01-29 |
JP3928939B2 true JP3928939B2 (ja) | 2007-06-13 |
Family
ID=31178418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002181630A Expired - Fee Related JP3928939B2 (ja) | 2002-06-21 | 2002-06-21 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3928939B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5223486B2 (ja) * | 2008-06-18 | 2013-06-26 | ソニー株式会社 | 電子双眼鏡 |
US8274552B2 (en) * | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
JP2013061440A (ja) * | 2011-09-13 | 2013-04-04 | Canon Inc | 撮像装置および撮像装置の制御方法 |
-
2002
- 2002-06-21 JP JP2002181630A patent/JP3928939B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004032084A (ja) | 2004-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4823179B2 (ja) | 撮像装置及び撮影制御方法 | |
US8363117B2 (en) | Method and apparatus for photographing and projecting moving images | |
US7894669B2 (en) | Foreground detection | |
US9544498B2 (en) | Method for forming images | |
JP2014502818A (ja) | 画像処理のための一次像および二次像画像取込装置およびその方法 | |
JP2011024003A (ja) | 立体動画記録方法および装置、動画ファイル変換方法および装置 | |
JP2000134549A (ja) | 固体撮像装置 | |
JP3956353B2 (ja) | スローモーションの撮影装置 | |
JP2009268067A (ja) | 画像記録再生装置 | |
JP3928939B2 (ja) | 画像処理装置および画像処理方法 | |
JP2008053925A (ja) | 撮影装置 | |
JP2929956B2 (ja) | ビデオカメラにおける静止画像データの作成方法 | |
JP2008005427A (ja) | 撮像装置および撮像方法、並びにプログラム | |
JP4239380B2 (ja) | 画像信号処理装置 | |
JP2012151708A (ja) | 撮像装置 | |
JP4936816B2 (ja) | 撮像装置及び同時表示制御方法 | |
JP2002084551A (ja) | 立体画像処理装置及び立体画像処理方法 | |
JPH0630446A (ja) | 立体画像記録装置 | |
JP2006270160A (ja) | 画像データ処理装置 | |
JPH03238985A (ja) | 撮像装置 | |
JP5915009B2 (ja) | 画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体 | |
JPH09224264A (ja) | 撮像装置 | |
JP2024033920A (ja) | 学習装置、プログラム及びノイズ低減装置の学習方法 | |
JP2001160950A (ja) | 画像記録再生方法及び記録媒体並びに画像記録再生システム | |
JP2004064479A (ja) | スローモーションの撮影方法、撮影装置、撮影・再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070302 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |