JP2011182397A - ずれ量算出方法およびずれ量算出装置 - Google Patents

ずれ量算出方法およびずれ量算出装置 Download PDF

Info

Publication number
JP2011182397A
JP2011182397A JP2011040833A JP2011040833A JP2011182397A JP 2011182397 A JP2011182397 A JP 2011182397A JP 2011040833 A JP2011040833 A JP 2011040833A JP 2011040833 A JP2011040833 A JP 2011040833A JP 2011182397 A JP2011182397 A JP 2011182397A
Authority
JP
Japan
Prior art keywords
image
feature point
amount calculation
deviation amount
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011040833A
Other languages
English (en)
Inventor
Jonathan Richard Thorpe
リチャード ソープ ジョナサン
Sarah Elizabeth Witt
エリザベス ウィット サラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB1003289A external-priority patent/GB2478156A/en
Priority claimed from GB1003291A external-priority patent/GB2478157A/en
Application filed by Sony Europe Ltd filed Critical Sony Europe Ltd
Publication of JP2011182397A publication Critical patent/JP2011182397A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】立体画像撮影用の２台のカメラ間のずれ量を算出する。
【解決手段】第１の画像内の特徴点の位置と、第２の画像内の対応する特徴点の位置とを特定する特定器と、上記第１の画像および上記第２の画像内において、上記第１の画像および上記第２の画像のそれぞれを撮影するカメラの光軸を確定する確定器と、所定のモデルを用いて、上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置との間のずれ量を演算する演算器と、ランダムサンプルコンセンサス技術を用いて、上記演算されたずれ量の妥当性を試験する試験器とを具備し、上記ずれ量は、上記第１の画像および上記第２の画像のそれぞれの上記確定された光軸に関する、上記第１の画像の上記特徴点の位置と、上記第２の画像の上記対応する特徴点の位置とに応じて算出され、上記試験されたずれ量は、所定の条件を達成したときに妥当とされる。
【選択図】図２

Description

本発明は、ずれ量算出方法およびずれ量算出装置に関する。
３Ｄ画像を視聴するために立体映像を撮影する場合、当該映像を２台のカメラを用いて撮影することが一般的である。映像が正確に撮影されることを保証するためには、２台のカメラは、同じズームレベルと、最小の垂直視差とを有する必要がある。また、２台のカメラのロールずれ量が最小である必要もある。
通常、上記ずれ量は、可能である場合はカメラの操作者によって修正される。２台のカメラ間のずれは単独ではなく、２つ以上のずれが組み合わさって起こることが典型的であるため、カメラ操作者がこれらのずれ量を確定して修正することは困難である。さらに、特に生放送のビデオ映像の場合、このようなエラーを迅速にかつ正確に修正することが重要である。
欧州特許出願公開第２１１２６３０号明細書 英国特許出願公開第２３７２６５９号明細書
LACEY他著、"An evaluation of the performance of RANSAC algorithms for stereo camera calibration" BMVC 200: Proceedings of the 11th British Machine Vision Conference; 11-14 September 200, University of Bristol, UK; Conference Paper, Vol 2, Pages 646-655
本発明の実施形態は、上記問題に対処することを目的とする。
本発明の第１の実施形態によれば、立体的に視聴可能な第１の画像と第２の画像との間のずれ量を算出する方法であって、上記第１の画像内の特徴点の位置と、上記第２の画像内の対応する特徴点の位置とを特定し、上記第１の画像および上記第２の画像内において、上記第１の画像および上記第２の画像のそれぞれを撮影するカメラの光軸を確定し、所定のモデルを用いて、上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置との間のずれ量を計算し、ランダムサンプルコンセンサス技術を用いて、上記計算されたずれ量の妥当性をテストし、上記ずれ量は、上記第１の画像および上記第２の画像のそれぞれの上記確定された光軸に関する、上記第１の画像の上記特徴点の位置と、上記第２の画像の上記対応する特徴点の位置とに応じて算出され、上記テストされたずれ量は、上記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる、ずれ量算出方法が提供される。
上記ずれ量は、上記ずれ量が正確である確率が閾値を上回るときに妥当であってもよい。
上記所定の条件は、上記ランダムサンプルコンセンサス技術が所定回数反復されることであってもよい。
上記反復の回数は、下記の式に基づいて算出されてもよい。
Figure 2011182397
 式中、target_incorrect_est_probは、上記モデルが不正確である確率であり、incorrect_est_probは、上記対応する特徴点が不正確である確率である。
上記モデルは、下記の式によって定義されてもよい。
Figure 2011182397
 式中、ｙは、上記第２の画像内の上記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、上記第１の画像内の上記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、上記第１の画像と上記第２の画像との間の垂直ずれ量である。
上記ずれ量算出方法はさらに、ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の縮小版から特徴点を取得するステップを含んでもよい。
上記ずれ量算出方法はさらに、上記元の第１の画像および上記元の第２の画像の上記縮小版から取得された上記特徴点を、上記元の第１の画像および上記元の第２の画像におけるブロックマッチング技術の開始点として用い、上記元の第１の画像および上記元の第２の画像から第１の特徴点および第２の特徴点を取得するステップを含んでもよい。
上記ずれ量算出方法はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含んでもよく、上記第１の画像において２つの特徴点の位置を、上記第２の画像において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与の回転ずれ量に基づいて、上記第１の画像と上記第２の画像との間の垂直ずれ量を算出してもよい。
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
上記第１の画像内において特徴点の位置を選択し、上記第２の画像内において対応する特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与の垂直ずれ量に基づいて、上記第１の画像と上記第２の画像との間のスケールずれ量を算出してもよい。
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよいか、または上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
上記ずれ量算出方法はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含んでもよく、上記第１の画像内において２つの特徴点の位置を選択し、上記第２の画像内において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与のスケールずれ量に基づいて、上記第１の画像と上記第２の画像との間の回転ずれ量を算出してもよい。
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の左側に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の右側に位置してもよい。
上記特徴点の位置および上記さらなる特徴点の位置は、ランダムに生成されてもよい。
上記特徴点の位置は、上記第１の画像および上記第２の画像内の画素位置であってもよい。
本発明の第２の実施形態によれば、コンピュータに、上記ずれ量算出方法の各ステップを実行させるプログラムが提供される。
本発明の第３の実施形態によれば、プログラム（請求項１６に対応）が記録された記録媒体が提供される。
本発明の第４の実施形態によれば、立体的に視聴可能な第１の画像と第２の画像との間のずれ量を算出する装置であって、上記第１の画像内の特徴点の位置と、上記第２の画像内の対応する特徴点の位置とを特定する特定器と、上記第１の画像および上記第２の画像内において、上記第１の画像および上記第２の画像のそれぞれを撮影するカメラの光軸を確定する確定器と、モデルを用いて、上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置との間のずれ量を演算する演算器と、ランダムサンプルコンセンサス技術を用いて、上記演算されたずれ量の妥当性を試験する試験器とを具備し、上記ずれ量は、上記第１の画像および上記第２の画像のそれぞれの上記確定された光軸に関する、上記第１の画像の上記特徴点の位置と、上記第２の画像の上記対応する特徴点の位置とに応じて算出され、上記テストされたずれ量は、上記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる、ずれ量算出装置が提供される。
上記ずれ量は、上記ずれ量が正確である確率が閾値を上回るときに妥当であってもよい。
上記所定の条件は、上記ランダムサンプルコンセンサス技術が所定回数反復されることであってもよい。
上記反復の回数は、下記の式に基づいて算出されてもよい。
Figure 2011182397
 式中、target_incorrect_est_probは、上記モデルが不正確である確率であり、incorrect_est_probは、上記対応する特徴点が不正確である確率である。
上記モデルは、下記の式によって定義されてもよい。
Figure 2011182397
 式中、ｙは、上記第２の画像内の上記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、上記第１の画像内の上記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、上記第１の画像と上記第２の画像との間の垂直ずれ量である。
上記ずれ量算出装置はさらに、ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の縮小版から特徴点を取得する取得器を具備してもよい。
上記取得器はさらに、上記元の第１の画像および上記元の第２の画像の上記縮小版から取得された上記特徴点を、上記元の第１の画像および上記元の第２の画像におけるブロックマッチング技術の開始点として用い、上記元の第１の画像および上記元の第２の画像から第１の特徴点および第２の特徴点を取得するように動作可能であってもよい。
上記特定器はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するように動作可能であってもよく、上記第１の画像において２つの特徴点の位置を、上記第２の画像において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与のロールずれ量に基づいて、上記第１の画像と上記第２の画像との間の垂直ずれ量を算出してもよい。
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
上記第１の画像内において特徴点の位置を選択し、上記第２の画像内において対応する特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与の垂直ずれ量に基づいて、上記第１の画像と上記第２の画像との間のスケールずれ量を算出してもよい。
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよいか、または上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
上記特定器はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するように動作可能であってもよく、上記第１の画像内において２つの特徴点の位置を選択し、上記第２の画像内において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与のスケールずれ量に基づいて、上記第１の画像と上記第２の画像との間の回転ずれ量を算出してもよい。
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の左側に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の右側に位置してもよい。
上記特徴点の位置および上記さらなる特徴点の位置は、ランダムに生成されてもよい。
上記特徴点の位置は、上記第１の画像および上記第２の画像内の画素位置であってもよい。
本発明の上記および他の課題、特徴および利点が、添付の図面を参照して読まれるべき例示的な実施形態の以下の詳細な説明から明らかになるであろう。
本発明の一実施形態によるずれ量演算器に接続されるカメラシステムを示す図である。 図１のずれ量演算器を示す図である。 図１のずれ量演算器においてエッジ検出器と対応点算出器とによって実行される処理を説明するフローチャートである。 図３のフローチャートの図解を示す図である。 ずれ量の演算を説明するフローチャートである。 垂直ずれ量を算出する原理を説明するフローチャートである。 画素位置を光軸に関する画素位置に変換する方法を示す図である。 スケールずれ量を算出する原理を説明するフローチャートである。 回転ずれ量を算出する原理を説明するフローチャートである。 垂直ずれ量アルゴリズムの算出を説明する図である。 回転ずれ量アルゴリズムの算出を説明する図である。 回転ずれ量アルゴリズムの算出を説明する図である。 対応点を正確に確定する技術を説明するフローチャートである。 対応点を正確に確定する技術を説明するフローチャートである。
［方法の概要］
実施形態において、立体画像についてずれ量を計算するために、概ね以下の方法が行われる。
１）２枚の画像のうちの一方の画像内の主要特徴点を選択する。実施形態において、左画像内の主要特徴点を選択する。
２）主要特徴点をブロックマッチング処理の基準として用いて、右画像内の対応する主要特徴点を算出する。
３）一連の幾何学的演算を実行して、３つの歪み量（ずれ量）を得る。具体的には、垂直視差を示すずれ量を算出し、スケール（拡大縮小）視差を示すずれ量を算出し、最後に、ロール（回転）視差を示すずれ量を算出する。実施形態において、先行のステップにおいて算出されたずれ量を、後述のステップのずれ量演算において用いる。３つのずれ量を特定の順序で算出するように記載されているが、後述するように、本発明はこれに限定されない。ずれ量はあらゆる順序で計算することが可能である。次いで、ずれ量を用いて、カメラの物理的な位置および／またはカメラのパラメータを調整するか、または、ずれ量に基づいて、撮影画像を電子的に調整することができる。
図１は、本発明の実施形態のうちの一実施態様を示す。２台のカメラ１１０および１２０が立体画像を撮影するように設定される。これらの立体画像用カメラによって、カメラシステム１００が構成される。各カメラからの出力が、本発明の実施形態によるずれ量演算器２００に供給される。ずれ量演算器２００は、カメラシステム１００の２台のカメラ間のずれ量を算出する。なお、立体画像を撮影するように設定されたカメラは水平変位を行うものだが、水平変位を行う画像用のアルゴリズムは必須ではない。それゆえ、ずれ量演算器２００が、垂直視差を示すずれ量と、回転視差を示すずれ量とを算出し、スケール視差を示すずれ量が生成される。これらのずれ量をカメラの操作者が用いることによって、カメラのずれを物理的に修正するか、当該ずれ量を用いてサーボモータを制御してずれを修正させることができる。実際には、ずれ量を用いることで、カメラの向きを一切物理的に修正することなく、カメラシステム１００によって生成される画像を電子的に修正することも可能である。
図２は、ずれ量演算器２００をより詳細に示す。まず、従来の技術を用いて、２台のカメラからの画像を１／４ＨＤに（すなわち、１２８０×７２０ｐから４８０×２７０解像度または３６０×１８０へ）縮小し、エッジ検出器２１０に供給する。画像の解像度を減らすことは、エッジ検出がより速やかに行われることを意味する。エッジ検出器２１０を用いて、左画像における水平エッジを算出する。検出されたエッジを対応点算出器２２０に供給し、対応点算出器２２０は、左画像内の点に対応する右画像内の点を算出する。換言すると、対応点算出器２２０は、左画像内において、右画像の一定の画素がどこに位置するかを算出する。ずれ量をずれ量算出器２３０において計算して出力する。
図３は、エッジ検出器２１０と対応点算出器２２０とによって実行される処理を説明するフローチャートである。当該フローチャートは、図４のイラストを用いて説明される。
図４では、（左側のカメラ１２０によって撮影された）左画像１２０Ａに自動車１２５Ａの像が含まれている。これはまず、従来技術を用いて１／４ＨＤ解像度に縮小される。解像度を減らすことは、エッジ検出がより速やかに行われることを意味する。図３のステップ２１０１において、左画像内の水平エッジを検出する。実施形態において、これは、例えば、ゾーベルエッジ検出アルゴリズム等のエッジ検出アルゴリズムによって達成される。水平エッジを検出するのは、計算されるずれ量のうちの１つが２枚の画像間の垂直変位であるためである。このようにして、水平エッジのみを計算することで、候補特徴点の数が、実質的に結果の精度に影響を与えることなく減る。
左画像内の水平エッジを計算した後、１２０Ｂ（図４を参照）のような画像を生成する。図４に見られるように、エラーエッジ１２５Ｂが生成されている。エラーエッジ１２５Ｂは、右画像おいて対応する点を有しない。したがって、検出された水平エッジの数を減らすことが望まれる。水平エッジの数の削減は、図３のステップＳ２１０２において行われる。これを達成するために、エッジが検出された画像をタイルに分割する。実施形態において、各タイルは、幅１６画素×高さ１６画素である。図４において、１つのタイルに参照符号１２５Ｃが付されている。しかし、任意のサイズのタイルを選択可能である。同様に、任意の形状のタイル、例えば、矩形のタイルを選択可能である。タイルに引っかからないエッジは全て無視する。換言すると、検出されたエッジのうち、長さが１６画素未満のものは無視される。この削減を行うことによって、誤ったエラーエッジが無視される。これによって、結果の信頼性が向上するとともに、本方法の演算にかかる費用が削減される。
検出されたエッジの数を減らした後、画像を象限に分割する。象限の中心は画像の光軸である。実施形態において、象限の中心を光軸に置くのは、光軸が不変の線だからである。つまり、光軸は、スケール歪みの影響も、ロール歪むの影響も受けない。説明の便宜上、画像の光軸は、画像の中心と想定する。しかし、当業者であれば、これがただ有効な仮定であって、常に適用される訳ではないことが理解されるであろう。これを図４に１２０Ｄで示す。象限画像の一区画が参照符号付き（１２５Ｄ）で示されている。
画像を象限に分割した後、象限毎に複数のサンプルエッジ画素を選択する。実施形態において、象限毎に２０個の画素が選択されているが、本発明はこれに限定されず、任意の数の画素を選択することができる。この選択は、理解されるように、演算の精度と速度との兼ね合いに基づいてもよい。さらに、実施形態において、画素はランダムに選択されているが、本発明はこれに限定されない。
複数の選択画素が選択された典型的な画像を図４の１２０Ｅに示す。このような画素の１つの画素位置が参照符号付き（１２５Ｅ）で示されている。なお、画素位置は好適な特徴点として確定されているが、本発明はこれに限定されない。理解されるように、１／４解像度画像におけるサブ画素位置等の他の特徴点を算出することもできる。複数のサブ画素のうちの任意の１つが「通常の」画素位置（すなわち、フル解像度ＨＤ信号の画素位置）に存在する場合、サブ画素の値をランダムにまたは何らかの他の方法によって選択してもよい。さらに、ユーザに、「通常」画素位置にある、存在し得る異なるサブ画素値を知らせてもよい。
これまでのところ、本方法は、左画像内の特徴位置を識別した。これらの特徴位置は、左画像内の画素位置である。次に、右画像内の対応する画素位置がどこに存在するのかを算出する必要がある。
右画像内において確定される画素位置毎に探索を実行する。換言すると、複数の画素位置が左画像内に確定されているため、対応する画素位置を算出するために右画像内の同じ画素位置の周囲において探索を実行する必要がある。これは、ブロックマッチング技術を用いて達成される。
ステップ２１０４において、従来のブロックマッチング技術を、右画像の画素位置毎に実行し、対応する画素位置を算出する。これを図４の１１０Ｂに図示する。当該画像１１０Ｂに見られるように、左画像から導出された画素位置１２５Ｅが、右画像１１０Ｂにおいて探索エリアの中心をなしている。探索エリアのサイズは、立体視聴を達成するために必要とされる意図的な水平変位およびエラーに起因するずれ量に対処するものでなければならない。したがって、画像が典型的なフル解像度画像である場合、探索エリアは、幅２５０画素×高さ１００画素である。しかし、本発明はこれに限定されず、他のサイズおよび形状の探索エリアを採用することが可能である。具体的には、１／４解像度に対して、探索エリアは、幅６３画素×高さ４５画素である。
ブロックマッチング技術の結果は、確率のマップであり、これは、左画像内において確定された画素位置１２５Ｅに対応する探索エリア内の各画素位置の確率を提供する。最も高い確率を有する右画像内の画素位置が、左画像１２５Ｅにおける画素位置に対応する右画像内の画素位置として選択される。図４に示されるように、右画像の画素位置は、画素位置１１９Ｂとして確定される。これは、ステップＳ２１０５において示されるように、左画像内において確定された全ての画素位置に対して繰り返される。
エラー結果の数を確実に減らすために、ステップＳ２１０５からの結果はフィルタリングにかけられる。第１のフィルタとして、右画像内の明確に対応する画素位置が確率１を有する場合、例えば、０．９８（または確率９８％）の一定の閾値未満の全ての結果が無視される。これによって、エラー結果の数が減る。これは例示の閾値であるため、他の好適な閾値が想定可能であり、本発明はこれに限定されない。
さらに、左画像内の画素位置がエッジ画素位置である場合、右画像内の対応する点もエッジ画素位置であるはずである。それゆえ、右画像も、水平エッジを検出するために、ゾーベルエッジ検出アルゴリズム等のエッジ検出アルゴリズムにかけられる。右画像内の対応する画素位置が３つの水平エッジのうちの１つのエッジ上に位置している場合、右画像内の画素位置が、左画像内において算出された画素位置に対応する確率が高くなる。なお、上記技術の一方または両方を用いてエラー結果が生じる可能性を低減することができる。実際には、両方の技術の組合せが用いられる。
図２を参照すると、対応点算出器２２０からの出力は、左画像内の画素位置のリストおよび右画像内の対応する点のリストである。
対応点算出器２２０の精度を向上させるために、対応点が識別されたフル解像度（１９２０×１０８０）画像を用いてブロックマッチング技術を繰り返す。具体的には、左画像において１６画素×１６画素探索ウィンドウを、右画像において３２画素×３２画素探索ウィンドウを用いて、ブロックマッチング技術を繰り返す。各探索ウィンドウの中心は、対応点算出器２２０によって算出された点に位置決めされる。フル解像度ブロックマッチングの結果は、ずれ量計算機２３０に供給される。上述のように説明してきたが、第１の画像内の位置と、第２の画像内の対応する点とを算出する従来技術を同様に用いてもよい。しかし、ＳＩＦＴ（Scale-Invariant Feature Transform）等の従来技術より、上記方法の方が速く、演算にかかる費用が安く済むことに留意されたい。
［ずれ量の計算］
対応特徴点を導出し、画像の光軸に関する位置に変換した後、下記のずれ量を導出する方法を用いてもよい。
図１０を参照すると、垂直オフセット（vertical offset）が一定であると仮定すると、垂直オフセットは、スケールおよびロール回転に対して不変であることになり、以下の式が成り立つ。
Figure 2011182397
 式中、ｙ２ｒは点ｐ２ｒ（光軸に関して）の垂直位置であり、ｘ２ｌおよびｙ２ｌはそれぞれ、点ｐ２ｌの水平位置および垂直位置であり、θはロール角（回転ずれ量）であり、Ｓはスケールずれ量であり、そして、Ｔは、２枚の画像間の垂直ずれ量である。
さらに、ブロックマッチングを用いて、点ｐ２ｌおよびｐ２ｒ間の垂直位置の差ｄを測定することが可能である。
Figure 2011182397
 したがって、［１］および［２］を用いると、以下の式が明らかになる。
Figure 2011182397
３つの未知のパラメータ、Ｔ、Ｓおよびθ（またはＴ、ａおよびｂ）が存在する場合、左画像において光軸に関して表される座標（ｘ，ｙ）を有するこれらの３点、ｐ１ｌ、ｐ２ｌおよびｐ３ｌおよび右画像において対応する点を見出すことが可能であり、以下の式が示される。
Figure 2011182397
［３］、［４］および［５］から、Ｔ、θおよびＳが立証されることが明白である
４つ以上の特徴点が測定される場合、実施形態において、画像の降順に（すなわち、始めの画像から最後の画像へ）点をリスト化することが可能である。これらの対応の３点が選択される。選択される３点は、ｉ番目、ｉ番目＋ｎ／３およびｉ番目＋２ｎ／３の特徴点であり、式中、ｉは、特徴点選択（０〜ｎ／３−１）の反復回数であり、ｎは測定された特徴点の数である。ａ、ｂおよびＴの値は、反復される度に計算され、全ての反復が行われた後、値が順番に並べられる。ａ、ｂおよびＴの中央値が、最良の推定値として選ばれ、これらの値は、Ｔ、Ｓおよびθを計算するのに用いられる。
図１３Ａおよび１３Ｂを参照すると、上述したθ、ＳおよびＴをより正確に立証する方法が開示される。対応点の精度、θの精度を立証する際にエラーがあると、スケールおよびＴは誤ったものになる。それゆえ、対応点を確定する際に、不正確さ、したがって、計算したずれ量の不正確さを低減することが望まれる。計算したずれ量の精度を上げるためには、ＲＡＮＳＡＣ（RANdom Sample Consensus）法を用いて、θ、ＳおよびＴを計算するのに必要とされる３つの対応点を立証する。図１３Ａおよび１３Ｂは、このような方法を説明するフローチャートを示す。
当該方法を、ステップＳ１３０５において開始する。ステップ１３１０において、ＲＡＮＳＡＣ技術の反復回数を計算する。必要とされる反復回数は、必要とされる結果の精度と、対応点の精度とに依存する。通常、任意の一対応点が正確である確率は、ＳＩＦＴ、ＳＵＲＦまたはブロックマッチング等の高性能対応アルゴリズムの場合、約８０％である（または対応点が不正確である確率は２０％）。
必要とされる反復回数ｎを計算するために、ＲＡＮＳＡＣ技術後の対応点が正確である確率を算出する。実施形態において、θ、ＳおよびＴの値が正確である可能性は９９．９９９９％である。それゆえ、以下の式が成り立つ。
Figure 2011182397
 式中、target_incorrect_est_probは、θ、ＳおよびＴの値が正確である確率であり、incorrect_est_probは、対応点が不正確である確率である。
値ｎを算出した後、左画像内の３つの対応点をランダムに選択する。さらに、右画像の対応する点も立証する（Ｓ１３１５）。選択されたこれらの点を用いて、上記式においてθ、スケールおよびＴを計算する（Ｓ１３２０）。ランダムに選択された点を、ステップＳ１３２５において、コンセンサスセットに追加する。
次いで、他の全ての対応点を個々にモデルに挿入して、右画像内の点の位置と、ＳおよびＴの値を用いて計算した予測位置および測定位置間の距離とを計算する。これらの立証された値を、ランダムに選択された対応点によって算出された上記値と比較する（ステップＳ１３３５）。上記値の差異が閾値を下回る場合、対応点をコンセンサスセットに追加する（Ｓ１３４０）。上記差異が閾値を上回る場合、点はコンセンサスセットに追加しない（Ｓ１３４５）。
全ての対応点をテストした後、コンセンサスセットに存在する点の数を計数する。点の数が閾値を上回る場合、すなわち、点対応アルゴリズムの精度以下である場合、中央値法（median of values method）をコンセンサスセット全体に用い、より良好なモデルＳ１３５５Ａを生成する。当該モデルは、全ての対応点を用いて再びテストされる（Ｓ１３６０）。一方、コンセンサスセットにある点の数が閾値を下回る場合、別の３つのコンセンサス点をランダムに選択して処理を繰り返す（Ｓ１３５５）。
上述したように、コンセンサスセット内の全ての対応点を用いて、モデルを先行のモデルに対してテストする。テスト中のモデルと、先行のモデルとの間の差異がエラー閾値を下回る場合、テスト中のモデルを先行のものより良好なモデルであると判定する（Ｓ１３６５）。テスト中のモデルが先行のモデルよりも良好ではない場合、当該テスト中のモデルを無視する（Ｓ１３７０）。
テスト中のモデルが先行のモデルよりも良好である場合、次の反復に用いるためにコンセンサスセット、モデル、およびエラー値を記憶する。エラー値を閾値エラーと比較し、エラーが閾値を下回る場合、ＲＡＮＳＡＣ処理を停止する。代替的に、エラーが閾値を上回るが、ＲＡＮＳＡＣ処理の反復回数がｎを下回る場合、別の３つの対応点をランダムに選択する。しかし、エラーが閾値を上回り、かつ反復回数がｎを上回る場合、ＲＡＮＳＡＣ処理は終了する。なお、全体的な閾値停止技術（overall threshold abort technique）（ステップＳ１３８０）は、用いても用いなくてもよい。実施形態において、このステップは、含めなくてもよい。
ＲＡＮＳＡＣ処理の終了により、出力されたθ、ＳおよびＴの値が立証される。
図５は、対応する点が算出された後にずれ量を計算する別の方法を説明するフローチャートである。
アルゴリズムの構造から分かるように、本実施形態のずれ量は反復して計算される。アルゴリズムの各反復中に、ずれ量は、一定値にまとまり始める。なお、アルゴリズムはリアルタイムで実行される。これは、映像の１フレームでは、アルゴリズムが、必要とされる定常状態に達しない可能性があることを意味する。この場合、アルゴリズムは複数の異なるフレームに対して実行される。これは、定常状態に達するまで必要とされる少数のフレームにわたってずれ量が変化する可能性が低いためである。なお、ずれ量アルゴリズムを映像の別のフレームに対して実行する必要がある場合、図３に記載した対応アルゴリズムを映像の新たなフレームに対して実行する必要がある。一方、映像の１フレーム中に定常状態に達する場合、図３の対応アルゴリズムは、一回だけ実行すればよい。
定常状態に達した後、アルゴリズムを周期的に、例えば１０秒に一回のペースで、または所定数のフレーム後に実行して、カメラがミスアライメント状態に確実にならないようにしてもよい。代替的に、カメラの焦点距離が変わった後に、または、任意の他の行為に応答して、アルゴリズムを実行してもよい。
ステップ５０１において、ずれ量計算の１回目の反復の前に、ロール（回転）ずれ量を０度に設定する。回転ずれ量のこの値は、ずれ量計算アルゴリズムの１回目の反復中に更新される。回転ずれ量を、想定されるずれ量の他の任意の値ではなく、０度に設定する理由は、回転ずれ量が零に近いためである。これは、カメラ操作者による初期設定中に、ロール差が、画像に対する回転のミスマッチの影響によって小さい可能性が高いためである。それゆえ、回転ずれ量が０度であると初期に仮定すると、他のずれ量の精度が初期に高い値をとるため、全体のアルゴリズムがより迅速に好適な精度レベルに到達することになる。
ステップ５０２において、ロール値を用いて垂直ずれ（移動）量を計算する。これは、図６を参照して後述する。
ステップ５０３において、計算された垂直ずれ量を用いてスケールずれ量を計算する。これは、図８を参照して後述する。
ステップ５０４において、計算されたスケールずれ量を用いてロールずれ量を計算する。これは、図９を参照して後述する。
ずれ量を反復して計算する場合、ステップＳ５０５において、映像の１フレームのずれ量計算の反復回数を算出する。反復回数が閾値を下回る場合（例えば５）、初期値として先行の反復において計算した値を用いて、アルゴリズムを再実行する。
反復回数が閾値を上回る場合、アルゴリズムをチェックすることで、定常状態に達したかどうかを確認する（ステップＳ５０６）。反復間のずれ量が０．０５％等の閾値だけしか変化しなかった場合に定常状態に達したと判断してもよい。ずれ量が定常状態である場合、ずれ量を出力して、再び必要になる時、例えば、カメラ設定が上述のように変更される場合までアルゴリズムは待機する。
［垂直ずれ量計算（図５のステップＳ５０２）］
図６は、垂直ずれ量を算出するための原理を説明するフローチャートである。
光軸がスケールに関して不変のものである場合、カメラによって撮影された画像の光軸に関して垂直ずれ（移動）値を計算するのに有利である。これを行うために、対応点算出器２２０によって算出された画素位置を、光軸に関する画素位置に変換する必要がある。図７は、画素位置を光軸に関する画素位置に変換する方法を示す。なお、同図において寸法はフルＨＤ信号に関しているが、実施形態において、解像度は、これよりも低くてもよい。従来の画像ラベリング手法では、高解像度画像に関して、左上画素位置を（０，０）とし、右下画素位置を（１９２０，１０８０）とする。それゆえ、係る従来システムにおいて、（上記のように光軸位置として想定される）画像の中心は、（９６０，５４０）の画素位置を有する（上記参照）。しかし、本発明の実施形態において、画像の中心は、（０，０）の画素位置を有する。（４００，４００）の従来の画素位置を光軸に関するものに変換するために、画素位置と、画像の中心との間の距離を算出する必要がある。図７から、従来の画素位置（４００，４００）が、光軸から左に５６０画素、上に２００画素にあることは明らかである。それゆえ、従来の画素位置（４００，４００）は、光軸に関して画素位置（−５６０、２００）にある。
垂直ずれ量を算出するために、左画像からの２つの特徴点の位置を選択する。具体的には、特徴点の位置は、左画像において光軸の下方に位置するものを１つ、光軸の上方に位置するものを１つ選択する（Ｓ６０２）。実施形態において、これらの特徴点はランダムに選択されるが、本発明はこれに限定されない。また、右画像から対応する特徴点の位置を選択する（Ｓ６０３）。
点を選択した後、これらを下記の式６に当てはめ、移動値を算出する（Ｓ６０４）。
Figure 2011182397
 式中、Ｔは移動値であり、ｙｌｒは第２の画像における特徴位置のｙ座標であり、ｙ２ｌは第１の画像におけるさらなる特徴位置のｙ座標であり、ｘ１ｒは、第１の画像における特徴位置に対応する第２の画像における特徴位置のｘ座標、ｙ１ｒは、第２の画像における対応する特徴位置のｙ座標であり、ｘ２ｒは、第２の画像における対応するさらなる特徴位置のｘ座標であり、かつｙ２ｒは、第２の画像における対応するさらなる特徴位置のｙ座標である。
この式の導出については、明細書の最後に記載する。
なお、Ｒ１およびＲ２の値におけるθの値の正負は、特徴点ｐ１およびｐ２が位置する象限によって決まる。具体的には、特徴点（または特徴位置）が右下の象限または左上の象限にある場合、ロール値は−θとなる。他方、特徴点が左下の象限または右上の象限にある場合、ロール値は＋θとなる。これは、ロールが光軸に関して測定されるためである。
これらの点の移動を算出した後、計算された垂直ずれ量の数を１だけインクリメントする（ステップＳ６０５）。この数を閾値と比較する（ステップＳ６０６）。計算されたずれ量の数が閾値を下回る場合、別の２つの点を選択して、垂直ずれ量アルゴリズムを再実行する。実施形態において、閾値は２０になっているが、任意の他の値も予期される。
計算されたずれ値の数が閾値を上回る場合、計算された値を昇順に並べる（ステップＳ６０７）。順序付けられたリストの中央値を選択し（ステップＳ６０８）、これを図５のステップＳ５０２用の計算されたずれ値であると見なす。このずれ値中央値を垂直ずれ量として出力し、スケールずれ量アルゴリズムに供給する（図５のステップＳ５０３）。なお、中央値は、導出された値から直接選択してもよい。換言すると、中央値を選択する前にずれ量を順番に並べる必要がなくてもよい。これは、他のずれ量計算にも適用される。
［スケールずれ量計算（図５のステップＳ５０３）］
図８は、スケールずれ量を算出するための原理を説明するフローチャートである。
ステップ８０１において、対応点算出器２２０において算出された画素位置を、図７を参照して説明したように、光軸に関する画素位置に変換する。
スケールずれ量を算出するために、左画像からの特徴位置を選択する（Ｓ８０２）。実施形態において、特徴点はランダムに選択されるが、本発明はこれに限定されない。また、右画像から対応する特徴位置を選択する（Ｓ８０３）。
点を選択した後、これを下記の式７に当てはめ、スケールの値を算出する（Ｓ８０４）。
Figure 2011182397
 式中、移動ずれ量Tの正負は、点の位置によって決まり、ｙｌは、第１の画像における特徴位置のｙ座標であり、ｙｒは、第２の画像における特徴位置のｙ座標であり、ｘｒは、第２の画像における特徴位置のｘ座標である。Ｐが光軸の上方に位置する場合、値は＋Ｔとなり、他方、点が光軸の下方に位置する場合、値は−Ｔとなる。また、θの正負は、後述するように点ｐが位置する象限によって決まる。
この式の導出についても、明細書の最後に記載する。
スケールを算出した後、計算されたスケールずれ量の数を１だけインクリメントする（ステップＳ８０５）。この数を閾値と比較する（ステップＳ８０６）。計算されたずれ値の数が閾値を下回る場合、別の点を選択して、スケールずれ量アルゴリズムを再実行する。実施形態において、閾値は２０になっているが、任意の他の値も予期される。
計算されたずれ値の数が閾値を上回る場合、計算された値を昇順に並べる（ステップＳ８０７）。順序付けられたリストの中央値を選択し（ステップＳ８０８）、これを図５のステップＳ５０３用の計算されたずれ値であると見なす。このずれ値中央値をスケールずれ量として出力し、回転ずれ量アルゴリズムに供給する（図５のステップＳ５０４）。
［回転ずれ量計算］
図９は、回転ずれ量を算出するための原理を説明する図である。
ステップ９０１において、図７を参照して説明したように、対応点算出器２２０によって算出された画素位置を光軸に関する画素位置に変換する。
回転ずれ量を算出するために、左画像からの２つの特徴位置を選択する。具体的には、特徴位置は、左画像において光軸の左側に位置するものを１つ、光軸の右側に位置するものを１つ選択する（Ｓ９０２）。実施形態において、これらの特徴点はランダムに選択されるが、本発明はこれに限定されない。また、右画像から対応する特徴位置を選択する（Ｓ９０３）。
点を選択した後、これらを下記の式８に当てはめ、移動値を算出する（Ｓ９０４）。
Figure 2011182397
 式中、Ｓは第１の画像と第２の画像との間のスケールずれ量であり、ｙ２ｌは、第１の画像におけるさらなる特徴位置のｙ座標であり、ｙ１ｌは、第１の画像における特徴位置のｙ座標であり、ｙ１ｒは第２の画像における対応する特徴位置のｙ座標、ｘ２ｒは第２の画像における対応するさらなる特徴位置のｘ座標、かつｘ１ｒは、第２の画像における対応する特徴位置のｘ座標である。
この式の導出ついても、明細書の最後に記載する。
これらの点を算出した後、計算されたロールずれ値の数を１だけインクリメントする（ステップＳ９０５）。この数を閾値と比較する（ステップＳ９０６）。計算されたずれ値の数が閾値を下回る場合、別の２つの点を選択して、ロールずれ量アルゴリズムを再実行する。実施形態において、閾値は２０になっているが、任意の他の値も予期される。
計算されたずれ値の数が閾値を上回る場合、計算された値を昇順に並べる（ステップＳ９０７）。順序付けられたリストの中央値を選択し（ステップＳ９０８）、これを図５のステップＳ５０４用の計算されたずれ値であると見なす。このずれ値中央値をロールずれ量として出力する。
ステップＳ５０５またはＳ５０６において、ずれ量計算アルゴリズムを再実行する場合、ステップＳ９０８において計算されたロール値を次の反復において用いる。しかし、ずれ量計算アルゴリズムを再実行しない場合、ステップＳ９０８において計算されたロールずれ量、ならびに、ステップＳ６０８からの垂直ずれ量、およびステップＳ８０８からのスケールずれ量をずれ量計算アルゴリズムの結果として出力する。
［他の実施形態］
以上、定常状態に言及した。しかし、これは本発明にとって必須ではない。アルゴリズムの一回のみの反復が、修正が行われるミスマッチレベルを示す。実際には、任意の回数の反復によってミスマッチ量が特定される。
本発明の実施形態は、コンピュータにロードされると、コンピュータに、上述の方法の各ステップを実行させるコンピュータ可読指示（コンピュータプログラム）として提供してもよい。コンピュータ可読指示は、任意のコンピュータ可読言語で、または、実際には、適切なマイクロプロセッサによって理解され得る任意の言語で書き込むことができる。コンピュータプログラムは、磁気ディスク、または光ディスク、または任意の固体メモリ等の記録媒体に記憶されてもよい。さらに、コンピュータプログラムは、インターネット等のネットワーク上のキャリアとして存在してもよい。
各個々のアルゴリズムにおける画像の光軸に関する画素の変換について説明したが、本発明はこれに限定されない。実際には、変換は、対応点計算と、ずれ量計算機２３０への特徴点の供給との間に行ってもよい。これによって、ずれ量計算機２３０における演算の負荷が減る。さらに、同じか他の実施形態において、各アルゴリズムにおいて用いられる選択された画素位置のみが光軸に関して変換される。換言すると、ずれ量の計算用に点が選択された後にだけ、これらは変換される。
異なるずれ量が或る特定の順序で計算される場合について説明したが、本発明はこれに限定されない。ずれ量は、あらゆる順序で計算することができる。
高解像度画像からずれ量を取得する場合について説明したが、本発明はこれに限定されない。例えば、ずれ量を標準画質画像から、または高解像度画像のスケール縮小版から取得することが可能である。例えば、ずれ量を４：１スケール縮小から取得することができる。この場合、縮小画像内では１つの画素が高解像度画像において４つの画素から成る。この状況では、縮小画像の実際の画素値は、高解像度画像における４つのあり得る画素から選択することができる。係る選択は、ランダムに行ってもよい。
さらに、ずれ量の１つまたは複数の値によって、エラーが整数の画素値のものではないことを示す場合、ずれ量値の上下の、最も近傍の整数画素値をユーザに表示して、ユーザが用いたい画素を選択可能とするようにしてもよい。または、最も近傍の整数に四捨五入される最も近傍の画素値を選択させてもよい。
添付の図面を参照して本発明の例示的な実施形態を説明してきたが、本発明は厳格な上記実施形態に限定されず、添付の特許請求の範囲に規定される発明の範囲および精神から逸脱しない範囲で、当業者は種々の変更および変形形態をなすことができることを理解されたい。
［移動量の導出］
図１０を参照すると、座標の組（ｘ１、ｙ１）によって表されるｐ１と、座標の組（ｘ２、ｙ２）によって表されるｐ２という２つの点を仮定すると、点ｙ１ｒおよびｙ２ｒの回転、移動、スケーリングに関してｙ１ｌおよびｙ２ｌの位置を表すことができる。
ｙ１ｌが光軸の上方に位置すると仮定すると、以下のように記述される。
Figure 2011182397
 ｙ２ｌが光軸の上方に位置すると仮定すると、以下のように記述される。
Figure 2011182397
 式中、Ｓは、スケールを表す定数であり、Ｔは、垂直移動を表す定数である。
［１５］から、光軸の上方に位置する点ｐ１に関して、
Figure 2011182397
 ［１６］から、光軸の下方に位置する点ｐ２に関して、
Figure 2011182397
 ［１７］および［１８］においてＳは等価であるため、以下のようにＴが導き出される。
Figure 2011182397
［スケール量の導出］
上記式［１７］および［１８］から、スケールＳは以下のように計算されることが分かる。
Figure 2011182397
 これを以下のように一般化することができる。
Figure 2011182397
 式中、移動量Ｔの正負は、点の位置によって決まり、ｐが光軸の上方に位置している場合、値＋Ｔとなり、点が光軸の下方に位置している場合、値は−Ｔとなる。また、θ正負は、点ｐがいずれの象限に位置しているかによって決まる。
［回転量の導出］
回転計算に用いる点の選択を示す図１１と、垂直位置に基づく角度測定を示す図１２とを参照すると、光軸（ｐ１）の左側から１つ、光軸（ｐ２）の右側から１つ、ランダム主要特徴位置が選択される。
点ｐ１およびｐ２の相対的な回転を測定するために、ｐ１ｌとｐ２ｌとの間の勾配を算出して、当該勾配をｐ１ｒとｐ２ｒとの間の勾配と比較する、換言すると、左画像内の二点間の勾配と、右画像の対応の点間の勾配とを比較する必要がある。なお、回転計算は移動に対して不変であるが、スケールに対しては可変である。それゆえ、スケール（Ｓ）は、計算において説明される。
ｐ１ｒとｐ２ｒとの間の勾配は、以下のように計算される。
Figure 2011182397
 垂直視差がなく、スケール（Ｓ）による影響しかないと仮定すると、すなわち、
Figure 2011182397
 とすると、垂直視差がない勾配は以下のようになる。
Figure 2011182397
 ［１９］は、以下のように表される。
Figure 2011182397
 ［２０］ は、以下のように表される。
Figure 2011182397
 次いで、ロール量の実際の角度を以下のように計算することができる。
Figure 2011182397
 三角恒等式を仮定すると以下のようになる。
Figure 2011182397
 ロール量を以下の式に表すことができる。
Figure 2011182397

Claims (32)

  1. 立体的に視認可能な第１の画像と第２の画像との間のずれ量を算出するずれ量算出方法であって、
    前記第１の画像内の特徴点の位置と、前記第２の画像内の対応する特徴点の位置とを特定し、
    前記第１の画像および前記第２の画像内において、前記第１の画像および前記第２の画像のそれぞれを撮影するカメラの光軸を確定し、
    所定のモデルを用いて、前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置との間のずれ量を演算し、
    ランダムサンプルコンセンサス技術を用いて、前記演算されたずれ量の妥当性を試験し、
    前記ずれ量は、前記第１の画像および前記第２の画像のそれぞれの前記確定された光軸に関する、前記第１の画像の前記特徴点の位置と、前記第２の画像の前記対応する特徴点の位置とに応じて算出され、
    前記試験されたずれ量は、前記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる
    ずれ量算出方法。
  2. 請求項１に記載のずれ量算出方法であって、
    前記ずれ量は、当該ずれ量が正確である確率が閾値を上回るときに妥当とされる
    ずれ量算出方法。
  3. 請求項１に記載のずれ量算出方法であって、
    前記所定の条件は、前記ランダムサンプルコンセンサス技術が所定回数反復されることである
    ずれ量算出方法。
  4. 請求項３に記載のずれ量算出方法であって、
    前記反復の回数は、下記の式に基づいて算出され、
    Figure 2011182397
     式中、target_incorrect_est_probは、前記モデルが不正確である確率であり、incorrect_est_probは、前記対応する特徴点が不正確である確率である。
    ずれ量算出方法。
  5. 請求項１に記載のずれ量算出方法であって、
    前記モデルは、下記の式によって定義され、
    Figure 2011182397
     式中、ｙは、前記第２の画像内の前記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、前記第１の画像内の前記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、前記第１の画像と前記第２の画像との間の垂直ずれ量である
    ずれ量算出方法。
  6. 請求項１に記載のずれ量算出方法であって、さらに、
    ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の各縮小版から特徴点を取得するステップを含む
    ずれ量算出方法。
  7. 請求項６に記載のずれ量算出方法であって、さらに、
    前記元の第１の画像および前記元の第２の画像の前記各縮小版から取得された前記特徴点を、前記元の第１の画像および前記元の第２の画像におけるブロックマッチング技術の開始点として用い、前記元の第１の画像および前記元の第２の画像から第１の特徴点および第２の特徴点を取得するステップを含む
    ずれ量算出方法。
  8. 請求項１に記載のずれ量算出方法であって、さらに、
    前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含み、
    前記第１の画像において２つの特徴点の位置を選択し、前記第２の画像において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の回転ずれ量に基づいて、前記第１の画像と前記第２の画像との間の垂直ずれ量を算出する
    ずれ量算出方法。
  9. 請求項８に記載のずれ量算出方法であって、
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置し、かつ
    前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
    ずれ量算出方法。
  10. 請求項１に記載のずれ量算出方法であって、
    前記第１の画像内において特徴点の位置を選択し、前記第２の画像内において対応する特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の垂直ずれ量に基づいて、前記第１の画像と前記第２の画像との間のスケールずれ量を算出する
    ずれ量算出方法。
  11. 請求項１０に記載のずれ量算出方法であって、
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置するか、または
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
    ずれ量算出方法。
  12. 請求項１に記載のずれ量算出方法であって、さらに、
    前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含み、
    前記第１の画像内において２つの特徴点の位置を選択し、前記第２の画像内において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与のスケールずれ量に基づいて、前記第１の画像と前記第２の画像との間の回転ずれ量を算出する
    ずれ量算出方法。
  13. 請求項１２に記載のずれ量算出方法であって、
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の左側に位置し、かつ
    前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の右側に位置する
    ずれ量算出方法。
  14. 請求項１に記載のずれ量算出方法であって、
    前記特徴点の位置および前記さらなる特徴点の位置は、ランダムに生成される
    ずれ量算出方法。
  15. 請求項１に記載のずれ量算出方法であって、
    前記特徴点の位置は、前記第１の画像および前記第２の画像内の画素位置である
    ずれ量算出方法。
  16. コンピュータに、請求項１に記載のずれ量算出方法の各ステップを実行させるプログラム。
  17. 請求項１６に記載のプログラムが記録された記録媒体。
  18. 立体的に視聴可能な第１の画像と第２の画像との間のずれ量を算出するずれ量算出装置であって、
    前記第１の画像内の特徴点の位置と、前記第２の画像内の対応する特徴点の位置とを特定する特定器と、
    前記第１の画像および前記第２の画像内において、前記第１の画像および前記第２の画像のそれぞれを撮影するカメラの光軸を確定する確定器と、
    所定のモデルを用いて、前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置との間のずれ量を演算する演算器と、
    ランダムサンプルコンセンサス技術を用いて、前記演算されたずれ量の妥当性を試験する試験器とを具備し、
    前記ずれ量は、前記第１の画像および前記第２の画像のそれぞれの前記確定された光軸に関する、前記第１の画像の前記特徴点の位置と、前記第２の画像の前記対応する特徴点の位置とに応じて算出され、
    前記試験されたずれ量は、前記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる
    ずれ量算出装置。
  19. 請求項１８に記載のずれ量算出装置であって、
    前記ずれ量は、当該ずれ量が正確である確率が閾値を上回るときに妥当とされる
    ずれ量算出装置。
  20. 請求項１８に記載のずれ量算出装置であって、
    前記所定の条件は、前記ランダムサンプルコンセンサス技術が所定回数反復されることである
    ずれ量算出装置。
  21. 請求項２０に記載のずれ量算出装置であって、
    前記反復の回数は、下記の式に基づいて算出され、
    Figure 2011182397
     式中、target_incorrect_est_probは、前記モデルが不正確である確率であり、incorrect_est_probは、前記対応する特徴点が不正確である確率である
    ずれ量算出装置。
  22. 請求項１８に記載のずれ量算出装置であって、
    前記モデルは、下記の式によって定義され、
    Figure 2011182397
     式中、ｙは、前記第２の画像内の前記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、前記第１の画像内の前記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、前記第１の画像と前記第２の画像との間の垂直ずれ量である
    ずれ量算出装置。
  23. 請求項１８に記載のずれ量算出装置であって、さらに、
    ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の各縮小版から特徴点を取得する取得器を具備する
    ずれ量算出装置。
  24. 請求項２３に記載のずれ量算出装置であって、
    前記取得器はさらに、前記元の第１の画像および前記元の第２の画像の前記各縮小版から取得された前記特徴点を、前記元の第１の画像および前記元の第２の画像におけるブロックマッチング技術の開始点として用い、前記元の第１の画像および前記元の第２の画像から第１の特徴点および第２の特徴点を取得するように動作可能である
    ずれ量算出装置。
  25. 請求項１８に記載のずれ量算出装置であって、
    前記特定器はさらに、前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するように動作可能であり、
    前記第１の画像において２つの特徴点の位置を選択し、前記第２の画像において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の回転ずれ量に基づいて、前記第１の画像と前記第２の画像との間の垂直ずれ量を算出する
    ずれ量算出装置。
  26. 請求項２５に記載のずれ量算出装置であって、
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置し、かつ
    前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
    ずれ量算出装置。
  27. 請求項１８に記載のずれ量算出装置であって、
    前記第１の画像内において特徴点の位置を、前記第２の画像内において対応する特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の垂直ずれ量に基づいて、前記第１の画像と前記第２の画像との間のスケールずれ量を算出する
    ずれ量算出装置。
  28. 請求項２７に記載のずれ量算出装置であって、
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置するか、または
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
    ずれ量算出装置。
  29. 請求項１８に記載のずれ量算出装置であって、
    前記特定器はさらに、前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴位置を特定するように動作可能であり、
    前記第１の画像内において２つの特徴点の位置を選択し、前記第２の画像内において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与のスケールずれ量に基づいて、前記第１の画像と前記第２の画像との間の回転ずれ量を算出する
    ずれ量算出装置。
  30. 請求項２９に記載のずれ量算出装置であって、
    前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の左側に位置し、かつ
    前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の右側に位置する
    ずれ量算出装置。
  31. 請求項１８に記載のずれ量算出装置であって、
    前記特徴点の位置および前記さらなる特徴点の位置は、ランダムに生成される
    ずれ量算出装置。
  32. 請求項１８に記載のずれ量算出装置であって、
    前記特徴点の位置は、前記第１の画像および前記第２の画像内の画素位置である
    ずれ量算出装置。
JP2011040833A 2010-02-26 2011-02-25 ずれ量算出方法およびずれ量算出装置 Withdrawn JP2011182397A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
GB1003291.0 2010-02-26
GB1003289.4 2010-02-26
GB1003289A GB2478156A (en) 2010-02-26 2010-02-26 Method and apparatus for generating a disparity map for stereoscopic images
GB1003291A GB2478157A (en) 2010-02-26 2010-02-26 Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
GB1005989A GB2478164A (en) 2010-02-26 2010-04-09 Calculating misalignment between a stereoscopic image pair based on feature positions
GB1005989.7 2010-04-09
GB1014339A GB2478169A (en) 2010-02-26 2010-08-27 Validating the calculated misalignment between a stereoscopic image pair using a RANSAC method
GB1014339.4 2010-08-27

Publications (1)

Publication Number Publication Date
JP2011182397A true JP2011182397A (ja) 2011-09-15

Family

ID=42236113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011040833A Withdrawn JP2011182397A (ja) 2010-02-26 2011-02-25 ずれ量算出方法およびずれ量算出装置

Country Status (4)

Country Link
US (2) US8538198B2 (ja)
JP (1) JP2011182397A (ja)
CN (1) CN102169577A (ja)
GB (2) GB2478164A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2478164A (en) * 2010-02-26 2011-08-31 Sony Corp Calculating misalignment between a stereoscopic image pair based on feature positions
JP5792662B2 (ja) * 2011-03-23 2015-10-14 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
GB2489931A (en) * 2011-04-08 2012-10-17 Sony Corp Analysis of 3D video to detect frame violation within cropped images
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9129378B2 (en) * 2011-09-07 2015-09-08 Thomson Licensing Method and apparatus for recovering a component of a distortion field and for determining a disparity field
KR101883376B1 (ko) * 2011-11-22 2018-07-31 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
GB2500712A (en) 2012-03-30 2013-10-02 Sony Corp An Apparatus and Method for transmitting a disparity map
TWI595428B (zh) * 2012-05-29 2017-08-11 財團法人工業技術研究院 特徵點匹配方法
CN103700080B (zh) * 2013-12-06 2016-08-03 北京工业大学 基于Skinner概率自动机的图像误匹配对去除方法
US10085001B2 (en) * 2014-03-21 2018-09-25 Omron Corporation Method and apparatus for detecting and mitigating mechanical misalignments in an optical system
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
CN108109173B (zh) * 2016-11-25 2022-06-28 宁波舜宇光电信息有限公司 视觉定位方法，相机***和自动化设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864359A (en) 1995-05-30 1999-01-26 Smith & Nephew, Inc. Stereoscopic autofocusing based on comparing the left and right eye images
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
US6504611B2 (en) * 2000-05-17 2003-01-07 Coretek, Inc. Two stage optical alignment device and method of aligning optical components
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
KR101237945B1 (ko) 2002-11-21 2013-02-28 비젼 Ⅲ 이미징 인코퍼레이티드 무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법
US7308157B2 (en) * 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
JP4611755B2 (ja) * 2005-01-13 2011-01-12 株式会社日立ハイテクノロジーズ 走査電子顕微鏡及びその撮像方法
KR101142785B1 (ko) 2005-06-28 2012-05-08 엘지디스플레이 주식회사 박막트랜지스터를 포함하는 액정표시장치
JP4595733B2 (ja) * 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
KR100793076B1 (ko) 2005-12-08 2008-01-10 한국전자통신연구원 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US7935920B2 (en) 2006-06-08 2011-05-03 Canon Kabushiki Kaisha Illumination optical system including luminous flux conversion system
KR100899422B1 (ko) 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
US20090128621A1 (en) * 2007-11-21 2009-05-21 Charles Gregory Passmore System and/or method for automated stereoscopic alignment of images
JP5240453B2 (ja) * 2008-02-14 2013-07-17 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP4695664B2 (ja) 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
CN101276474B (zh) * 2008-04-14 2010-09-01 中山大学 一种基于局部坐标的线性约束图像变形方法
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
GB2478164A (en) * 2010-02-26 2011-08-31 Sony Corp Calculating misalignment between a stereoscopic image pair based on feature positions

Also Published As

Publication number Publication date
GB2478164A (en) 2011-08-31
US20110211751A1 (en) 2011-09-01
US20110211750A1 (en) 2011-09-01
GB2478169A (en) 2011-08-31
GB201005989D0 (en) 2010-05-26
US8494307B2 (en) 2013-07-23
GB201014339D0 (en) 2010-10-13
US8538198B2 (en) 2013-09-17
CN102169577A (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
JP2011182397A (ja) ずれ量算出方法およびずれ量算出装置
Liu et al. Concrete crack assessment using digital image processing and 3D scene reconstruction
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP5745178B2 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP6170281B2 (ja) 三次元計測装置、三次元計測装置の制御方法、およびプログラム
CN111457886A (zh) 距离确定方法、装置及***
US11393116B2 (en) Information processing apparatus, method thereof, and non-transitory computer-readable storage medium
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
US20230260159A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
JP2010182330A (ja) カラー画像の処理方法および画像処理装置
CN112734721B (zh) 一种光轴偏转角度检测方法、装置、设备和介质
JP2019022147A (ja) 光源方向推定装置
Su et al. An automatic calibration system for binocular stereo imaging
JP6564679B2 (ja) 画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラム
CN111524091B (en) Information processing apparatus, information processing method, and storage medium
JP2008287338A (ja) 画像処理装置
JP5039083B2 (ja) 画像作成方法、計算装置、画像作成プログラムおよび記憶媒体
Shi et al. An automatic and robust chessboard corner extraction
TWI516744B (zh) 距離估算系統、距離估算方法及電腦可讀取媒體

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140513