JP7158881B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP7158881B2 JP7158881B2 JP2018075693A JP2018075693A JP7158881B2 JP 7158881 B2 JP7158881 B2 JP 7158881B2 JP 2018075693 A JP2018075693 A JP 2018075693A JP 2018075693 A JP2018075693 A JP 2018075693A JP 7158881 B2 JP7158881 B2 JP 7158881B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- feature point
- points
- feature
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
図1乃至図11を参照して、本発明の第1実施形態について説明する。図1は、本実施形態に係る撮像装置100の機能的構成を模式的に示すブロック図である。撮像装置100は、例えば、コンパクトデジタルカメラ、一眼レフカメラ、カメラ付きスマートフォン、車載カメラなどであり、本発明を実現するための構成を備える。撮像装置100は、撮像部101、測距部104、画像処理部110、位置姿勢推定部118、表示部120を備える。画像処理部110は、記憶部111、特徴点抽出部112、動きベクトル演算部113、距離演算部114、探索間隔決定部115、対応点探索部116を含む。例えば、画像処理部110、位置姿勢推定部118が、画像処理装置を構成する。
Δy=f×d/Z ・・・式(1)
なお、fはカメラ502のレンズの焦点距離であり、レンズの収差の影響は無視できるものとする。式(1)から、被写体像の移動量Δyは被写体距離Zに反比例し、被写体距離Zが小さい被写体ほどその像の動きが大きくなることが分かる。
Δy=y-y0
=d/(Z-d)×f×tanω ・・・式(2)
式(2)から、被写体像の移動量Δyは被写体距離Zに反比例し、被写体距離Zが小さい被写体ほど被写体像の動きが大きくなることが分かる。
Δy=f×tan{arctan(d/Z+θ)}
=f×(d/Z+tanθ)/(1-d/z×tanθ) ・・・式(3)
ここで説明するように、カメラの回転が並進と逆方向の場合、θ<0であるから、tanθ<0となる。したがって、式(3)の分子が減少した結果として、移動量Δyも減少する。特に、Z>>dの場合には、移動量Δyについて、分子のtanθが支配的となる。従って、被写体距離Zが小さい被写体ほど被写体像の動きが大きくなることから、探索フレーム間隔Fを小さくすることが好ましい。
Δy≒d/Z×f×tanω ・・・(4)
この場合、被写体像604の移動量は被写体距離Zに反比例することになるため、好ましい探索フレーム間隔Fの条件は、横並進の場合と実質的に同様となる。例えば、望遠レンズを用いる撮影においては、カメラの動きに対して被写体距離Zが十分に大きいことが多く、Z>>dが成り立つため、本開示の画像処理装置が適用可能となる。これにより、撮像装置100が車両に搭載された車載カメラである場合、直進車両から遠方を撮影する際に、本画像処理装置によって対応点対策が実行される画像を車内に設置された表示部120(ディスプレイ)にリアルタイムに表示することが可能となる。
上記第1実施形態では、個々の特徴点について対応点探索のための探索フレーム間隔Fが決定される構成を示したが、本実施形態では同程度の被写体距離の特徴点については同じ探索フレーム間隔Fが用いられる構成を示す。
上記第1、第2実施形態では、半探索範囲Sが一定であり、探索フレーム間隔Fが被写体距離Zに応じて変更される構成を示したが、本実施形態では、探索フレーム間隔Fが一定であり、半探索範囲Sが被写体距離に応じて変更される構成を示す。
上記第3実施形態では、個々の特徴点について対応点探索のための半探索範囲Sが決定される構成を示したが、本実施形態では同程度の被写体距離の特徴点については同じ半探索範囲Sが用いられる構成を示す。
第5乃至第8実施形態では、第1乃至第4実施形態の構成に対して姿勢検出部が付加され、撮像装置(カメラ)の姿勢の検出結果が対応点探索処理に反映される構成を示す。なお、第5、第6、第7、第8実施形態の基本構成は、それぞれ第1、第2、第3、第4実施形態の基本構成に対応する。
上記第5実施形態では、個々の特徴点について対応点探索のための探索フレーム間隔Fが決定される構成を示したが、本実施形態では同程度の被写体距離の特徴点については同じ探索フレーム間隔Fが用いられる構成を示す。
上記第5、第6実施形態では、半探索範囲Sが一定であり、探索フレーム間隔Fが被写体距離Zに応じて変更される構成を示したが、本実施形態では、探索フレーム間隔Fが一定であり、半探索範囲Sが被写体距離に応じて変更される構成を示す。
上記第7実施形態では、個々の特徴点について対応点探索のための半探索範囲Sが決定される構成を示したが、本実施形態では同程度の被写体距離の特徴点については同じ半探索範囲Sが用いられる構成を示す。
本発明の目的は、以下の実施形態によっても達成可能である。すなわち、上述の実施形態の機能(各演算部などの機能)を実現するソフトウェアのプログラムコード(画像処理プログラム)を格納した記憶又は記録媒体が、画像処理装置に供給される。そして、その演算部のコンピュータ(またはCPU、MPUなど)が、記憶媒体に格納されたプログラムコードを読み出し、上記機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述の実施形態の機能を実現することになり、そのプログラム(画像処理プログラム)及びこれを格納した記憶媒体は本発明を構成する。本発明のプログラム(画像処理プログラム)が、所定の結像光学系、所定の撮像部及びコンピュータを備えた撮像装置のコンピュータにインストールされることによって、撮像装置の高速かつ低負荷な対応点探索が可能となる。本発明のコンピュータは、記憶媒体による頒布の他、インターネットを通じて頒布可能である。
以上に本発明の好適な実施形態を示したが、本発明は、例えば以下に示すように種々の態様に変形可能である。
上記各実施形態では、被写体距離の測定方法(測距方法)として、光源107を有する測距部104を利用するアクティブ測距を例示したが、ステレオカメラを利用するステレオ測距が用いられてもよい。この場合、撮像部101は視差を有する画像を撮影できるように構成され、この視差画像の視差量が読み取られて被写体距離に換算される。例えば、2組のレンズ及び撮像素子が設けられ、2つのレンズから被写体までの距離が異なっていれば基線長から定まる視差画像が得られる。このようなステレオ測距の使用により、測距部104が不要となり、安価かつ簡素な構成の撮像装置100、2100が実現される。
一般に、カメラの自己位置指定推定の技術として、単眼カメラを用いて被写体の3次元位置及びカメラの位置を推定することができる。この推定結果から被写体距離を算出することが可能となる。1つの方法は、撮影時刻の異なる2枚の画像(X画像)を用いて視差量及びカメラの並進量から被写体距離を算出する方法である。他の方法は、既知の大きさの既知被写体が画像Xに写っている場合に、既知被写体像の大きさから既知被写体距離を算出し、この既知被写体距離から特徴点までの被写体距離を算出する方法である。このような単眼カメラを用いる自己位置姿勢推定技術によると、測距部104が不要となり、かつ撮像部101が複眼である必要もないため、更に安価かつ簡素な構成の撮像装置100、2100が実現される。
上記各実施形態では、本発明が自己位置姿勢推定に適用される構成を示したが、本発明は動画圧縮又は手振れ補正の機能にも適用され得る。この場合、位置姿勢推定部118は、動画圧縮演算部又は手振れ補正処理部として機能する。動画圧縮への適用に関して、対応点探索部116は、探索した対応点から特徴点の動きベクトルを演算して、動きベクトルの大きさに応じて時間的な動画圧縮処理を決定する。表示部120は、圧縮された動画を表示及び再生する。上述してきた本発明の効果によって対応点の探索が高速に実行されるので、動画圧縮にかかる時間が短縮され、動画表示のリアルタイム性が向上する。また、手振れ補正への適用に関して、対応点探索部116は、探索した対応点から特徴点の動きベクトルを演算して、手ぶれ補正の方向又は量を決定する。上述してきた本発明の効果によって対応点の探索が高速に実行されるので、手振れ補正の方向又は量の算出にかかる時間が短縮され、高フレームレートでの動画撮影においても手振れ補正が可能となる。
上記各実施形態では、撮像装置100、2100が画像X、画像Yの撮影から特徴点の対応点探索までの全処理が実行される構成を示したが、画像を撮影する撮像装置と対応点探索を行う画像処理装置は異なるハードウェアで実現されてもよい。例えば、画像処理装置がコンピュータで構成され、外部の撮像装置によって撮影された画像X、画像Yのデータが画像処理装置に読み込まれ得る。これにより、画像処理装置が、画像処理部110、1210、1610、1910、2110、3310、3510又は3810における一連の処理を実行するように構成され得る。画像X、画像Yの画像データの読み込みは、画像処理装置に有線接続された光学媒体又は半導体記憶装置を介して行われてもよいし、ネットワークなどを介して接続された記憶装置によって行われてもよい。読み込まれた画像データは記憶部111に記憶される。このように、撮影を行う撮像装置と対応点探索を行う画像処理装置を分離することによって、対応点探索の処理を高速化することが可能となる。これにより、例えば、高解像度の画像又は特徴点数の多い画像に対しても、対応点探索の低負荷な計算処理が可能となる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 撮像部
104 測距部
110、1210、1610、1910、2110、3310、3510、3810 画像処理部
112 特徴点抽出部
113 動きベクトル演算部
114 距離演算部
115 探索間隔決定部
116 対応点探索部
1217 層分割部
1615 探索範囲決定部
2113 並進動きベクトル演算部
Claims (30)
- 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と
を備え、
前記探索パラメータ決定手段は、前記第1の対応点を探索するための第1の探索フレーム間隔が、前記第2の対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、F1がF2×Z1/Z2を下回らない最小の整数となるように前記第1、第2の探索フレーム間隔を決定するように構成された、画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点の第1、第2の動きベクトルをそれぞれ算出する動きベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の対応点を探索するための第1の探索フレーム間隔が、前記第2の対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の動きベクトルの大きさをそれぞれV1、V2とし、前記第1、第2の対応点の探索範囲として設定する矩形の領域の底辺の長さの1/2をSとした場合に、前記探索パラメータ決定手段は、F1≦F2、F1≦S/V1、かつF2≦S/V2を満たすように前記第1、第2の探索フレーム間隔を決定するように構成された、画像処理装置。 - 前記探索パラメータ決定手段は、V1≧V2である場合には、F1がS/V1を下回らない最小の整数となりかつF2がS/V2を下回らない最小の整数となるように前記第1、第2の探索フレーム間隔を決定し、V1<V2である場合には、F1、F2がS/V2を下回らない最小の整数となるように前記第1、第2の探索フレーム間隔を決定するように構成された、請求項2に記載の画像処理装置。
- 前記探索パラメータ決定手段は、V1<V2である場合に、F1がF2×Z1/Z2を下回らない最小の整数となるように前記第1の探索フレーム間隔を決定するように構成された、請求項2に記載の画像処理装置。
- 前記特徴点抽出手段は、探索フレーム間隔が決定された特徴点が存在しない場合には任意の2つの特徴点を第1、第2の注目特徴点として抽出し、探索フレーム間隔が決定された特徴点が存在する場合には探索フレーム間隔が決定されていない特徴点を第1の注目特徴点として抽出するとともに前記探索フレーム間隔が決定された特徴点の中から前記第1の注目特徴点に対して最小の被写体距離を有する特徴点を第2の注目特徴点として抽出するように構成され、
前記探索パラメータ決定手段は、前記第1、第2の注目特徴点に対する探索フレーム間隔の決定を、前記第1、第2の特徴点に対する前記第1、第2の探索フレーム間隔の決定と同様に行うように構成された、請求項1乃至4のいずれか一項に記載の画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点を探索するための第1の探索フレーム間隔が、前記第2の特徴点が含まれる層に属する対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、F1がF2×Z1/Z2を下回らない最小の整数となるように前記第1、第2の探索フレーム間隔を決定するように構成された、画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
前記第1、第2の特徴点の第1、第2の動きベクトルをそれぞれ算出する動きベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点を探索するための第1の探索フレーム間隔が、前記第2の特徴点が含まれる層に属する対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の動きベクトルの大きさをそれぞれV1、V2とし、前記第1、第2の対応点の探索範囲として設定する矩形の領域の底辺の長さの1/2をSとした場合に、前記探索パラメータ決定手段は、F1≦F2、F1≦S/V1、かつF2≦S/V2を満たすように前記第1、第2の探索フレーム間隔を決定するように構成された、請求項6に記載の画像処理装置。 - 前記対応点探索手段は、対応点の探索が実行されていないフレームの対応点を、対応点の探索が実行されたフレームにおける対応点を用いて決定するように構成された、請求項1から7のいずれか一項に記載の画像処理装置。
- 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点に対する第1の探索範囲が前記第2の特徴点に対する第2の探索範囲以上となるように前記第1、第2の探索範囲を決定するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、S1=S2×Z2/Z1を満たすように前記第1、第2の探索範囲を決定するように構成された、画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点の第1、第2の動きベクトルをそれぞれ算出する動きベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点に対する第1の探索範囲が前記第2の特徴点に対する第2の探索範囲以上となるように前記第1、第2の探索範囲を決定するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の動きベクトルの大きさをそれぞれV1、V2とし、前記第1、第2の対応点の探索フレーム間隔をFとした場合に、前記探索パラメータ決定手段は、S1≧S2、S1≧F×V1、かつS2≧F×V2を満たすように前記第1、第2の探索範囲を決定するように構成された画像処理装置。 - 前記探索パラメータ決定手段は、V1≧V2である場合にはS1=F×V1かつS2=F×V2となるように前記第1、第2の探索範囲を決定し、V<V2である場合にはS1=S2=F×V2となるように前記第1、第2の探索範囲を決定するように構成された、請求項10に記載の画像処理装置。
- 前記探索パラメータ決定手段は、V1<V2である場合に、S=S2×Z2/Z1となるように前記第1、第2の探索範囲を決定するように構成された、請求項10に記載の画像処理装置。
- 前記特徴点抽出手段は、探索範囲が決定された特徴点が存在しない場合には任意の2つの特徴点を第1、第2の注目特徴点として抽出し、探索範囲が決定された特徴点が存在する場合には探索範囲が決定されていない特徴点を第1の注目特徴点として抽出するとともに前記探索範囲が決定された特徴点の中から前記第1の注目特徴点に対して最小の被写体距離を有する特徴点を第2の注目特徴点として抽出するように構成され、
前記探索パラメータ決定手段は、前記第1、第2の注目特徴点に対する探索範囲の決定を、前記第1、第2の特徴点に対する前記第1、第2の探索範囲の決定と同様に行うように構成された、請求項9乃至12のいずれか一項に記載の画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点に対する第1の探索範囲が、前記第2の特徴点が含まれる層に属する対応点に対する第2の探索範囲以上となるように、前記第1、第2の探索範囲を決定するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、S1=S2×Z2/Z1を満たすように前記第1、第2の探索範囲を決定するように構成された画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
前記第1、第2の特徴点の第1、第2の動きベクトルをそれぞれ算出する動きベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点に対する第1の探索範囲が、前記第2の特徴点が含まれる層に属する対応点に対する第2の探索範囲以上となるように、前記第1、第2の探索範囲を決定するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の動きベクトルの大きさをそれぞれV1、V2とし、前記第1、第2の対応点の探索フレーム間隔をFとした場合に、前記探索パラメータ決定手段は、S1≧S2、S1≧F×V1、かつS2≧F×V2を満たすように前記第1、第2の探索範囲を決定するように構成された画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の対応点を探索するための第1の探索フレーム間隔が、前記第2の対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記対応点探索手段が、前記第1、第2の位置を開始点として、前記第1、第2の探索フレーム間隔に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の対応点の探索範囲として設定する矩形の領域の底辺の長さの1/2をSとし、前記第2の時刻の前記撮影画像における前記第1、第2の対応点と前記第1、第2の位置との距離をそれぞれV1、V2とした場合に、
前記探索パラメータ決定手段は、F1≦S/V1、かつF2≦S/V2を満たすように前記第1、第2の探索フレーム間隔を決定するように構成された、画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の対応点を探索するための第1の探索フレーム間隔が、前記第2の対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記対応点探索手段が、前記第1、第2の位置を開始点として、前記第1、第2の探索フレーム間隔に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の対応点の探索範囲として設定する矩形の領域の底辺の長さの1/2をSとし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、F2≦S/V2、かつF1≦F2×Z1/Z2を満たすように前記第1、第2の探索フレーム間隔を決定するように構成された画像処理装置。 - 前記特徴点抽出手段は、探索フレーム間隔が決定された特徴点が存在しない場合には最大の被写体距離を有する2つの特徴点を第1、第2の注目特徴点として抽出し、探索フレーム間隔が決定された特徴点が存在する場合には探索フレーム間隔が決定されていない特徴点を第1の注目特徴点として抽出するとともに最大の被写体距離を有する特徴点を第2の注目特徴点として抽出するように構成され、
前記探索パラメータ決定手段は、前記第1、第2の注目特徴点に対する探索フレーム間隔の決定を、前記第1、第2の特徴点に対する前記第1、第2の探索フレーム間隔の決定と同様に行うように構成された、請求項16または17に記載の画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点を探索するための第1の探索フレーム間隔が、前記第2の特徴点が含まれる層に属する対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記対応点探索手段が、前記第1、第2の位置を開始点として、前記第1、第2の探索フレーム間隔に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の対応点の探索範囲として設定する矩形の領域の底辺の長さの1/2をSとし、前記第2の時刻の前記撮影画像における前記第1、第2の対応点と前記第1、第2の位置との距離をそれぞれV1、V2とした場合に、
前記探索パラメータ決定手段は、F1≦S/V1、かつF2≦S/V2を満たすように前記第1、第2の探索フレーム間隔を決定するように構成された、画像処理装置 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点を探索するための第1の探索フレーム間隔が、前記第2の特徴点が含まれる層に属する対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記対応点探索手段が、前記第1、第2の位置を開始点として、前記第1、第2の探索フレーム間隔に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の対応点の探索範として設定する矩形の領域の底辺の長さの1/2をSとし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、F2≦S/V2、かつF1≦F2×Z1/Z2を満たすように前記第1、第2の探索フレーム間隔を決定するように構成された画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点に対する第1の探索範囲が前記第2の特徴点に対する第2の探索範囲以上となるように前記第1、第2の探索範囲を決定するように構成され、
前記対応点探索手段は、前記第1、第2の位置を開始点として、前記第1、第2の探索範囲に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の対応点の探索フレーム間隔をFとし、前記第2の時刻の前記撮影画像における前記第1、第2の対応点と前記第1、第2の位置との距離をそれぞれV1、V2とした場合に、
前記探索パラメータ決定手段は、S1≦F×V1、かつS2≦F×V2を満たすように前記第1、第2の探索範囲を決定するように構成された、画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点に対する第1の探索範囲が前記第2の特徴点に対する第2の探索範囲以上となるように前記第1、第2の探索範囲を決定するように構成され、
前記対応点探索手段は、前記第1、第2の位置を開始点として、前記第1、第2の探索範囲に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の対応点の探索フレーム間隔をFとし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、S2≧F×V2、かつS1≦S2×Z2/Z1を満たすように前記第1、第2の探索範囲を決定するように構成された画像処理装置。 - 前記特徴点抽出手段は、探索範囲が決定された特徴点が存在しない場合には最大の被写体距離を有する2つの特徴点を第1、第2の注目特徴点として抽出し、探索範囲が決定された特徴点が存在する場合には探索範囲が決定されていない特徴点を第1の注目特徴点として抽出するとともに最大の被写体距離を有する特徴点を第2の注目特徴点として抽出するように構成され、
前記探索パラメータ決定手段は、前記第1、第2の注目特徴点に対する探索範囲の決定を、前記第1、第2の特徴点に対する前記第1、第2の探索範囲の決定と同様に行うように構成された、請求項21または22に記載の画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点に対する第1の探索範囲が、前記第2の特徴点が含まれる層に属する対応点に対する第2の探索範囲以上となるように、前記第1、第2の探索範囲を決定するように構成され、
前記対応点探索手段は、前記第1、第2の位置を開始点として、前記第1、第2の探索範囲に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の対応点の探索フレーム間隔をFとし、前記第2の時刻の前記撮影画像における前記第1、第2の対応点と前記第1、第2の位置との距離をそれぞれV1、V2とした場合に、
前記探索パラメータ決定手段は、S1≦F×V1、かつS2≦F×V2を満たすように前記第1、第2の探索範囲を決定するように構成された、画像処理装置。 - 時系列の撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出する特徴点抽出手段と、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得する距離演算手段と、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定する探索パラメータ決定手段と、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索する対応点探索手段と、
前記第1、第2の特徴点が抽出された第1の時刻における撮像手段の第1の姿勢情報並びに前記第1、第2の対応点が特定される第2の時刻における前記撮像手段の第2の姿勢情報が入力され、前記第1の姿勢情報、前記第2の姿勢情報から前記撮像手段の姿勢変化を特定し、前記姿勢変化に基づいて前記第1の特徴点に対する前記第2の時刻での前記撮影画像における第1の位置、前記第2の特徴点に対する前記第2の時刻での前記撮影画像における第2の位置を計算するベクトル演算手段と、
前記撮影画像を被写体距離の範囲に応じた複数の層に分類する層分割手段と、
を備え、
前記探索パラメータ決定手段は、前記第1の特徴点が含まれる層に属する対応点に対する第1の探索範囲が、前記第2の特徴点が含まれる層に属する対応点に対する第2の探索範囲以上となるように、前記第1、第2の探索範囲を決定するように構成され、
前記対応点探索手段は、前記第1、第2の位置を開始点として、前記第1、第2の探索範囲に基づいて前記第1、第2の対応点をそれぞれ探索するように構成され、
前記第1、第2の探索範囲としてそれぞれ設定する矩形の領域の底辺の長さの1/2をそれぞれS1、S2とし、前記第1、第2の対応点の探索フレーム間隔をFとし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータ決定手段は、S2≧F×V2、かつS1≦S2×Z2/Z1を満たすように前記第1、第2の探索範囲を決定するように構成された画像処理装置。 - 時系列の前記撮影画像を取得する撮像部と、
請求項1乃至25のいずれか一項に記載の画像処理装置と
を備える撮像装置。 - 時系列の前記撮影画像を取得する撮像部と、
請求項1乃至25のいずれか一項に記載の画像処理装置と、
前記撮影画像上の所定の特徴点の位置に基づいて前記撮影画像を撮影した前記撮像部の位置姿勢を推定し、又は前記撮影画像上の前記特徴点の位置に基づいて前記特徴点に対応する被写***置を推定する位置姿勢推定手段と
を備える撮像装置。 - 前記特徴点は、対応点探索が実行されたフレームに含まれる特徴点である、請求項27に記載の撮像装置。
- 撮像手段によって取得される撮影画像に対して画像処理装置によって実行される画像処理方法であって、
前記撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出するステップと、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得するステップと、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定するステップと、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索するステップと、
を備え、
前記探索パラメータを決定するステップでは前記第1の対応点を探索するための第1の探索フレーム間隔が、前記第2の対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータを決定するステップは、F1がF2×Z1/Z2を下回らない最小の整数となるように前記第1、第2の探索フレーム間隔を決定する画像処理方法。 - コンピュータに、
撮影画像から少なくとも第1、第2の特徴点を含む特徴点を抽出するステップと、
前記第1の特徴点に対応する被写体までの第1の被写体距離、前記第2の特徴点に対応する被写体までの第2の被写体距離に関する距離情報を取得するステップと、
前記第1の被写体距離が前記第2の被写体距離以下である場合に、前記第1の特徴点に対応する第1の対応点を特定するための計算精度が前記第2の特徴点に対応する第2の対応点を特定するための計算精度よりも相対的に高くなるように、前記第1、第2の対応点をそれぞれ特定するための第1、第2の探索パラメータを決定するステップと、
前記第1、第2の探索パラメータに基づいて前記第1、第2の対応点をそれぞれ探索するステップと
を実行させる画像処理プログラムであって、
前記探索パラメータを決定するステップでは前記第1の対応点を探索するための第1の探索フレーム間隔が、前記第2の対応点を探索するための第2の探索フレーム間隔以下となるように、前記第1、第2の探索フレーム間隔を決定するように構成され、
前記第1、第2の探索フレーム間隔をそれぞれF1、F2とし、前記第1、第2の被写体距離をそれぞれZ1、Z2とした場合に、
前記探索パラメータを決定するステップは、F1がF2×Z1/Z2を下回らない最小の整数となるように前記第1、第2の探索フレーム間隔を決定することを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018075693A JP7158881B2 (ja) | 2018-04-10 | 2018-04-10 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018075693A JP7158881B2 (ja) | 2018-04-10 | 2018-04-10 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185404A JP2019185404A (ja) | 2019-10-24 |
JP7158881B2 true JP7158881B2 (ja) | 2022-10-24 |
Family
ID=68341341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018075693A Active JP7158881B2 (ja) | 2018-04-10 | 2018-04-10 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7158881B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005040721A1 (ja) | 2003-10-29 | 2005-05-06 | Waro Iwane | 3d自動測量装置 |
JP2008046978A (ja) | 2006-08-18 | 2008-02-28 | Fujitsu Ltd | 特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法 |
JP2008276308A (ja) | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | 動画像処理装置、動画像処理システムおよびナビゲーション装置 |
JP2009199572A (ja) | 2008-01-25 | 2009-09-03 | Kazuo Iwane | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 |
JP2011192141A (ja) | 2010-03-16 | 2011-09-29 | Sony Corp | 動体検出装置と動体検出方法およびプログラム |
JP2013165485A (ja) | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置およびコンピュータブログラム |
JP2014011569A (ja) | 2012-06-28 | 2014-01-20 | Olympus Corp | ブレ補正装置及び方法 |
JP2017078923A (ja) | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム |
JP2017098776A (ja) | 2015-11-25 | 2017-06-01 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
US20170332018A1 (en) | 2016-05-10 | 2017-11-16 | Nvidia Corporation | Real-time video stabilization for mobile devices based on on-board motion sensing |
-
2018
- 2018-04-10 JP JP2018075693A patent/JP7158881B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005040721A1 (ja) | 2003-10-29 | 2005-05-06 | Waro Iwane | 3d自動測量装置 |
JP2008046978A (ja) | 2006-08-18 | 2008-02-28 | Fujitsu Ltd | 特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法 |
JP2008276308A (ja) | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | 動画像処理装置、動画像処理システムおよびナビゲーション装置 |
JP2009199572A (ja) | 2008-01-25 | 2009-09-03 | Kazuo Iwane | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 |
JP2011192141A (ja) | 2010-03-16 | 2011-09-29 | Sony Corp | 動体検出装置と動体検出方法およびプログラム |
JP2013165485A (ja) | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置およびコンピュータブログラム |
JP2014011569A (ja) | 2012-06-28 | 2014-01-20 | Olympus Corp | ブレ補正装置及び方法 |
JP2017078923A (ja) | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム |
JP2017098776A (ja) | 2015-11-25 | 2017-06-01 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
US20170332018A1 (en) | 2016-05-10 | 2017-11-16 | Nvidia Corporation | Real-time video stabilization for mobile devices based on on-board motion sensing |
Also Published As
Publication number | Publication date |
---|---|
JP2019185404A (ja) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10755428B2 (en) | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
EP2824417B1 (en) | Distance calculation device and distance calculation method | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
US20070189750A1 (en) | Method of and apparatus for simultaneously capturing and generating multiple blurred images | |
JP6004371B2 (ja) | 撮像装置 | |
EP3413236B1 (en) | Control apparatus, method of controlling image sensing device, and computer-readable storage medium | |
US9696404B1 (en) | Real-time camera tracking system using optical flow feature points | |
US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
JP2016152027A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN108369739B (zh) | 物体检测装置和物体检测方法 | |
JP2016173795A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Aliakbarpour et al. | Stabilization of airborne video using sensor exterior orientation with analytical homography modeling | |
JP7158881B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
KR101791166B1 (ko) | 오브젝트의 공간 정보 추정 장치 및 방법 | |
JP6154759B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
JP6739367B2 (ja) | カメラ装置 | |
CN110121023B (zh) | 影像处理方法、电子装置及非暂态电脑可读取存储媒体 | |
CN112639405A (zh) | 状态信息确定方法、装置、***、可移动平台和存储介质 | |
US11282223B2 (en) | Signal processing apparatus, signal processing method, and imaging apparatus | |
KR101070448B1 (ko) | 표적 추적 방법 및 그 장치 | |
WO2017120617A1 (en) | System and method for single lens 3d imagers for situational awareness in autonomous platforms | |
WO2007072370A2 (en) | Method and apparatus for estimating object speed | |
Wei et al. | Maritime Image Stabilization: A Comprehensive Review of Techniques and Challenges |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221012 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7158881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |