JP4622889B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP4622889B2 JP4622889B2 JP2006055340A JP2006055340A JP4622889B2 JP 4622889 B2 JP4622889 B2 JP 4622889B2 JP 2006055340 A JP2006055340 A JP 2006055340A JP 2006055340 A JP2006055340 A JP 2006055340A JP 4622889 B2 JP4622889 B2 JP 4622889B2
- Authority
- JP
- Japan
- Prior art keywords
- movement vector
- partial
- value obtained
- partial differential
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像データを処理してオプティカルフローを算出する画像処理装置、及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for processing an image data to calculate an optical flow.
特許文献１には、カメラで撮影して得た画像において、所定時間ごとに同一点の移動をオプティカルフローとして高速に認識することができるようにした装置が記載されている。この装置は、画像中の下部の領域を道路領域とみなすことで、画像中の領域を道路領域とそれ以外の領域とに予め分けて、道路領域のオプティカルフローに基づいて障害物を検出している。 Japanese Patent Application Laid-Open No. 2004-228561 describes an apparatus that can recognize the movement of the same point at a predetermined time as an optical flow at high speed in an image obtained by photographing with a camera. This device considers the lower area in the image as a road area, divides the area in the image into a road area and other areas in advance, and detects obstacles based on the optical flow of the road area. Yes.
また、非特許文献２に記載される技術では、水平面のオプティカルフローを基準値として予め取得しておき、カメラにより撮影された画像から算出されたオプティカルフローと、横面のオプティカルフローの基準値とを比較することで、画像に含まれる横面領域を検出している。この処理では、単に、画像に含まれる水平面領域とそれ以外の領域が判別されるだけである。
Further, in the technique described in
画像中には、様々な姿勢の被撮影物が存在する。このような被撮影物の姿勢を、より詳細に判別する要求がある。 There are objects to be photographed in various postures in the image. There is a demand for discriminating the posture of such an object in more detail.
そこで、本発明は、オプティカルフローを利用して、被撮影物の様々な姿勢を判別可能な画像処理装置及び画像処理方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus and an image processing method capable of discriminating various postures of an object using an optical flow.
上述した目的を達成するために、本発明に係る画像処理装置は、異なる時刻に得られた複数の画像データを取得する画像取得手段と、画像データに基づいて移動ベクトルを算出するオプティカルフロー算出手段と、オプティカルフロー算出手段により算出された移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分手段と、偏微分手段により算出された偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定手段と、を備えることを特徴とする。 To achieve the above-described object, an image processing apparatus according to the present invention includes an image acquisition unit that acquires a plurality of image data obtained at different times, and an optical flow calculation unit that calculates a movement vector based on the image data. And a partial differentiation means for partial differentiation of the movement vector calculated by the optical flow calculation means in a predetermined direction to calculate a partial differentiation value of the movement vector, and based on the partial differentiation value calculated by the partial differentiation means. Posture determining means for determining the posture of the surface constituting the photographed object.
この構成によれば、画像処理装置は、移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出し、さらに偏微分値に基づいて被撮影物を構成する面の姿勢を判定する。ここでは、移動ベクトルの偏微分値を利用して被撮影物を構成する面の姿勢を判定することにより、被撮影物を構成する面の姿勢を詳しく求めることができる。例えば、被撮影物を構成する面は、上向き、右向き、左向きなどの複数の姿勢をとり得るが、被撮影物を構成する面の実際の姿勢を判定することができる。 According to this configuration, the image processing apparatus performs partial differentiation of the movement vector in a predetermined direction, calculates a partial differentiation value of the movement vector, and further determines the posture of the surface constituting the subject based on the partial differentiation value. To do. Here, the posture of the surface constituting the object to be photographed can be determined in detail by determining the posture of the surface constituting the object to be photographed using the partial differential value of the movement vector. For example, the surface constituting the object to be photographed can take a plurality of postures such as upward, rightward, and leftward, but the actual posture of the surface constituting the object to be photographed can be determined.
ここで、移動ベクトルの偏微分値とは、例えば、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値、移動ベクトルの横成分を横方向に偏微分して得た偏微分値、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値である。姿勢判定手段は、これらの偏微分値の１つのみを利用して被撮影物の姿勢を判定してもよいし、複数の偏微分値を利用して被撮影物の姿勢を判定してもよい。 Here, the partial differential value of the movement vector is, for example, a partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction, or a partial differentiation obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction. A partial differential value obtained by partial differentiation of the vertical component of the value and the movement vector in the vertical direction, and a partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction. The posture determination means may determine the posture of the subject using only one of these partial differential values, or may determine the posture of the subject using a plurality of partial differential values. Good.
特に、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値、移動ベクトルの横成分を横方向に偏微分して得た偏微分値、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値、及び移動ベクトルの縦成分を横方向に偏微分して得た偏微分値の組み合わせに基づいて、被撮影物を構成する面の姿勢を判定することが好ましい。この構成によれば、被撮影物を構成する面の姿勢は４つの偏微分値の組み合わせに一義的に対応するため、４つの偏微分値の組み合わせに基づいて、被撮影物を構成する面の姿勢を判定することができる。 In particular, in the above-described image processing apparatus, the posture determination means includes a partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction, and a partial differentiation obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction. Based on the combination of the value, the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction, and the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction, It is preferable to determine the posture of the constituting surface. According to this configuration, since the posture of the surface that constitutes the object uniquely corresponds to the combination of the four partial differential values, the orientation of the surface that constitutes the object is determined based on the combination of the four partial differential values. The posture can be determined.
また、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略０であり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略０であり、移動ベクトルの横成分を横方向に偏微分して得た偏微分値と、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値とが略同一である場合に、被撮影物を構成する面が、光軸に対して垂直であることが好ましい。この構成によれば、被撮影物を構成する面が、画像データの光軸に対して垂直であることを判定することができる。 Further, in the above-described image processing apparatus, the posture determination unit has a partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is substantially 0, and the partial differentiation of the vertical component of the movement vector in the horizontal direction. The partial differential value obtained from the above is approximately 0, the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction, and the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction. Are substantially the same, it is preferable that the surfaces constituting the object to be photographed be perpendicular to the optical axis. According to this configuration, it is possible to determine that the surfaces constituting the object to be photographed are perpendicular to the optical axis of the image data.
また、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略０であり、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値の略２倍である場合に、被撮影物を構成する面が、画像データの光軸及び縦方向に平行であることを判定することが好ましい。この構成によれば、被撮影物を構成する面が、画像データの光軸及び縦方向に平行であることを判定することができる。 In the above-described image processing apparatus, the posture determination means has a partial differential value obtained by partially differentiating the horizontal component of the movement vector in the vertical direction is substantially zero, and partially differentiates the horizontal component of the movement vector in the horizontal direction. When the partial differential value obtained in this way is approximately twice the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction, the surface constituting the object to be imaged is the optical axis of the image data and It is preferable to determine that it is parallel to the vertical direction. According to this configuration, it is possible to determine that the surfaces constituting the object to be photographed are parallel to the optical axis and the vertical direction of the image data.
また、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略０であり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が、移動ベクトルの横成分を横方向に偏微分して得た偏微分値の略２倍である場合に、被撮影物を構成する面が、画像データの光軸及び横方向に平行であることを判定することが好ましい。この構成によれば、被撮影物を構成する面が、画像データの光軸及び横方向に平行であることを判定することができる。 In the above-described image processing apparatus, the posture determination means has a partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is substantially 0, and partial differentiation of the vertical component of the movement vector in the vertical direction. When the partial differential value obtained in this way is approximately twice the partial differential value obtained by partial differentiation of the lateral component of the movement vector in the lateral direction, the surface constituting the object to be imaged is the optical axis of the image data and It is preferable to determine that it is parallel to the lateral direction. According to this configuration, it is possible to determine that the surfaces constituting the object to be photographed are parallel to the optical axis and the horizontal direction of the image data.
なお、上述した姿勢判定手段の判定条件において、偏微分値の略０とは、偏微分値が０に近い値であることを意味している。姿勢判定手段の具体的な処理では、偏微分値の大きさが略０判定用の閾値より小さい場合に、偏微分値が略０であると判定される。 In the determination conditions of the posture determination means described above, the partial differential value of approximately 0 means that the partial differential value is a value close to 0. In the specific processing of the posture determination means, it is determined that the partial differential value is substantially 0 when the partial differential value is smaller than a threshold value for substantially 0 determination.
また、偏微分値の略同一とは、２つの偏微分値が近い値であることを意味している。姿勢判定手段の具体的な処理では、２つの偏微分値の差分が略同一判定用の閾値より小さい場合に、偏微分値が略同一であると判定される。 Further, “substantially identical partial differential values” means that two partial differential values are close to each other. In the specific processing of the posture determination means, it is determined that the partial differential values are substantially the same when the difference between the two partial differential values is smaller than the substantially identical determination threshold.
また、偏微分値の略２倍とは、２つの偏微分値のうち一方が他方の２倍に近い値であることを意味している。姿勢判定手段の具体的な処理では、一方の偏微分値から他方の偏微分値の２倍を減じて得た差分が略２倍判定用の閾値より小さい場合に、偏微分値が略２倍であると判定される。 Also, “substantially twice the partial differential value” means that one of the two partial differential values is close to twice the other. In the specific processing of the posture determination means, when the difference obtained by subtracting twice the partial differential value from one partial differential value is smaller than the threshold for determination of about double, the partial differential value is about double. It is determined that
また、上述した画像処理装置は、画像データの撮影位置の高さのデータを記憶しており、撮影位置の高さと、移動ベクトルとに基づいて、画像データの撮影位置と被撮影物との相対速度を算出する速度算出手段を、さらに備えることが好ましい。この構成によれば、撮影位置と被撮影物との相対速度を算出することができる。 Further, the image processing apparatus described above stores the height data of the shooting position of the image data, and based on the height of the shooting position and the movement vector, the relative position between the shooting position of the image data and the object to be captured is stored. It is preferable to further include speed calculating means for calculating the speed. According to this configuration, it is possible to calculate the relative speed between the photographing position and the subject.
さらに、上述した画像処理装置は、速度算出手段により算出された相対速度と、移動ベクトルとに基づいて、画像データの撮影位置から被撮影物までの距離を算出する距離算出手段を、さらに備えることが好ましい。この構成によれば、画像データの撮影位置から被撮影物までの距離を算出することができる。 Further, the above-described image processing apparatus further includes distance calculation means for calculating the distance from the shooting position of the image data to the subject based on the relative speed calculated by the speed calculation means and the movement vector. Is preferred. According to this configuration, the distance from the shooting position of the image data to the subject can be calculated.
また、上述した画像処理装置は、オプティカルフロー算出手段が画像データに基づいて移動ベクトルを算出する前に、当該画像データを処理する前処理手段であって、移動物体に対応する画像領域を、当該移動物体の速度固有値ＶＸ／ＶＺ及びＶＹ／ＶＺ（ここで、ＶＸは移動物体の横方向速度，ＶＹは移動物体の縦方向速度，ＶＺは移動物体の光軸方向速度）を用いて平行移動させる前処理手段を、さらに備えることが好ましい。この構成によれば、移動物体に対応する画像領域を、当該移動物体の速度固有値を用いて平行移動させるため、被撮影物が移動している状況でも、画像処理装置による処理を好適に行うことができる。 Further, the above-described image processing apparatus is a preprocessing unit that processes the image data before the optical flow calculation unit calculates the movement vector based on the image data. Velocity eigenvalues V X / V Z and V Y / V Z (where V X is the lateral velocity of the moving object, V Y is the vertical velocity of the moving object, and V Z is the optical axis velocity of the moving object. It is preferable to further include pre-processing means for performing parallel movement using (). According to this configuration, the image region corresponding to the moving object is translated using the velocity eigenvalue of the moving object, so that the processing by the image processing apparatus is suitably performed even when the subject is moving. Can do.
さらに、上述した画像処理装置において、前処理手段は、速度固有値ＶＸ／ＶＺ及びＶＹ／ＶＺが共通する画像領域ごとに区分し、区分された画像領域ごとに速度固有値ＶＸ／ＶＺ及びＶＹ／ＶＺを用いて平行移動させることが好ましい。ここで、速度固有値ＶＸ／ＶＺ及びＶＹ／ＶＺが共通する画像領域ごとに区分するためには、ハフ変換処理、ランダムサンプルコンセンサス（RANdom SAmple Consensus：ＲＡＮＳＡＣ）処理などを行えばよい。 Further, in the above-described image processing apparatus, the pre-processing unit divides the image into the image areas where the speed eigenvalues V X / V Z and V Y / V Z are common, and the speed eigenvalue V X / V for each divided image area. It is preferable to translate using Z and V Y / V Z. Here, in order to classify each image region where the speed eigenvalues V X / V Z and V Y / V Z are common, a Hough transform process, a random sample consensus (RANdom SAmple Consensus: RANSAC) process, or the like may be performed.
また、上述した目的を達成するために、本発明に係る画像処理方法は、被撮影物を構成する面の姿勢を判定するための画像処理方法であって、異なる時刻に得られた複数の画像データを取得する画像取得ステップと、画像データに基づいて移動ベクトルを算出するオプティカルフロー算出ステップと、移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分ステップと、偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定ステップと、を含む方法である。 In order to achieve the above-described object, an image processing method according to the present invention is an image processing method for determining the posture of a surface constituting an object to be captured, and a plurality of images obtained at different times. An image acquisition step for acquiring data; an optical flow calculation step for calculating a movement vector based on the image data; a partial differentiation step for calculating a partial differential value of the movement vector by partial differentiation of the movement vector in a predetermined direction; A posture determination step of determining the posture of the surface constituting the object to be photographed based on the partial differential value.
本発明に係る画像処理装置及び画像処理方法によれば、オプティカルフローを利用して、被撮影物の様々な姿勢を判別することができる。 According to the image processing apparatus and the image processing method according to the present invention, it is possible to discriminate various postures of the subject using the optical flow.
以下、図面を参照して、本発明の画像処理装置の好適な実施形態について説明する。本実施形態において、画像処理装置は車両に搭載されている。 Hereinafter, preferred embodiments of an image processing apparatus of the present invention will be described with reference to the drawings. In the present embodiment, the image processing apparatus is mounted on a vehicle.
図１に示すように、画像処理装置２０には、撮像手段としてカメラ１０が接続されている。カメラ１０は、例えば、ＣＣＤ[ChargeCoupled Device]カメラ１０であり、画像処理装置２０を搭載する自動車の前方かつ中央に取り付けられる。カメラ１０は、所定時間が経過する度に、自動車の前方を撮像して、複数の画素データからなる画像データを生成する。カメラ１０は、生成された画像データを、画像処理装置２０に逐次送信する。
As shown in FIG. 1, a
カメラ１０により撮影される周辺環境の３次元座標系は、カメラ１０の位置を原点とし、カメラ１０の横方向（水平方向）をＸ軸とし、カメラ１０の縦方向（鉛直方向）をＹ軸とし、カメラ光軸をＺ軸とするワールド座標系である。３次元座標系では、カメラ１０は光軸方向に移動しており、道路やその周囲の他の物体は静止しているものとされる。また、カメラ１０により撮影された画像の２次元座標系は、カメラ光軸に対応する位置を原点とし、画像面の横方向をｘ軸とし、画像面の縦方向をｙ軸としている。ここで、ｘ軸はＸ軸と平行であり、ｙ軸はＹ軸と平行である。
The three-dimensional coordinate system of the surrounding environment photographed by the
画像処理装置２０は、カメラ１０から画像データを取り込んで、画像データを処理して車両の制御に有用な情報を求める。画像処理装置２０は、物理的には、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成されている。また、画像処理装置２０は、機能的には、画像取得部２２と、オプティカルフロー算出部２４と、偏微分部２６と、姿勢判定部２８とを備えている。さらに、画像処理装置２０は、後述する第１変形例で説明するように、実速度算出部３０と、実距離算出部３２とを備える場合もある。また、画像処理装置２０は、後述する第２変形例で説明するように、前処理部３４を備える場合もある。
The
画像取得部２２は、カメラ１０から送られてきた画像データを取り込んで、画像データを後の処理に適した状態とする。オプティカルフロー算出部２４は、所定時間前後する画像データから、勾配法によって、オプティカルフローの移動ベクトルを算出する。より詳しく説明すると、オプティカルフロー算出部２４は、画像内で着目している画素の近傍の画素は同じ運動を行うためオプティカルフローが一定である、という仮定（前提条件）から導出される次の数式（１）を利用して、全ての画素についてラスタスキャンを行って、移動ベクトルの横成分ｕ及び縦成分ｖを算出する。
The
図２には、カメラ１０により撮影された画像データに、オプティカルフローの移動ベクトルを重畳表示した一例が示されている。なお、オプティカルフロー算出部２４は、他の方法により移動ベクトルを算出してもよい。例えば、オプティカルフロー算出部２４は、画像から特徴点を抽出し、その特徴点を追跡することにより、移動ベクトルを算出してもよい。
FIG. 2 shows an example in which the movement vector of the optical flow is superimposed and displayed on the image data photographed by the
偏微分部２６は、オプティカルフロー算出部２４により算出された移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する。より詳しく説明すると、偏微分部２６は、（Ｉ）移動ベクトルの横成分ｕを縦方向に偏微分して得た偏微分値、（ＩＩ）移動ベクトルの横成分ｕを横方向に偏微分して得た偏微分値、（ＩＩＩ）移動ベクトルの縦成分ｖを縦方向に偏微分して得た偏微分値、（ＩＶ）移動ベクトルの縦成分ｖを横方向に偏微分して得た偏微分値を算出する。具体的には、図３に示されるように、画素位置（ｘ−１，ｙ），（ｘ＋１，ｙ），（ｘ，ｙ−１）（ｘ，ｙ＋１）における移動ベクトルの横成分ｕ及び縦成分ｖから、次の数式（２）によって画素位置（ｘ，ｙ）における（Ｉ）〜（ＩＶ）の偏微分値を算出する。
The
姿勢判定部２８は、偏微分部２６により算出された偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する。より詳しく説明すると、姿勢判定部２８は、上述した４つの偏微分値（Ｉ）〜（ＩＶ）の組み合わせに対して被撮影物を構成する面の姿勢を一義的に対応させたマップデータを記憶しており、４つの偏微分値を算出するとこのマップデータを参照して被撮影物を構成する面の姿勢を求める。そして、姿勢判定部２８は、被撮影物に対応する画素位置に、被撮影物を構成する面の姿勢を特定する情報を関連付けるラベリング処理を行う。
The
上述したマップデータは、理論的な演算により求められる。即ち、画像データの各画素に、様々な姿勢の物体が現れたことを想定し、様々な姿勢の物体のそれぞれについて、オプティカルフローの移動ベクトルを算出し、移動ベクトルの４つの偏微分値を算出する。そして、算出された４つの偏微分値を、物体の姿勢と対応付けてＲＯＭ等に記憶する。上述した一連の演算により、画像データの各画素ごとに、被撮影物を構成する面の姿勢が、４つの偏微分値に対応付けて記憶されたマップデータを得ることができる。なお、マップデータにおいて、被撮影物を構成する面の姿勢は、当該面の傾斜角度、当該面の垂線方向などで特定されればよい。上述した演算では理論的にマップデータを得ているが、実際に様々な姿勢の物体をカメラ１０で撮影して、実験的にマップデータを得てもよい。
The map data described above is obtained by theoretical calculation. That is, assuming that objects of various postures appear in each pixel of the image data, the optical flow movement vector is calculated for each object of various postures, and the four partial differential values of the movement vector are calculated. To do. Then, the calculated four partial differential values are stored in a ROM or the like in association with the posture of the object. Through the series of calculations described above, map data can be obtained in which the orientation of the surface constituting the object to be captured is stored in association with the four partial differential values for each pixel of the image data. In the map data, the posture of the surface constituting the object to be imaged may be specified by the inclination angle of the surface, the perpendicular direction of the surface, or the like. Although the map data is theoretically obtained by the above-described calculation, the map data may be obtained experimentally by actually photographing objects of various postures with the
上述した画像処理装置２０の処理を、図４のフローチャートを参照して説明する。先ず、画像処理装置２０は、カメラ１０から画像データを取り込んで、画像データの各領域についてオプティカルフローの移動ベクトルを算出する（Ｓ４０１）。次に、画像処理装置２０は、移動ベクトルの横成分及び縦成分のそれぞれを横方向及び縦方向に偏微分して、移動ベクトルの偏微分値を算出する（Ｓ４０２）。次に、画像処理装置２０は、算出された偏微分値に基づいて、画像データの各領域ごとに、被撮影物を構成する面の姿勢を判定し、ラベリングする（Ｓ４０３）。
The processing of the
上述した実施形態によれば、画像処理装置２０は、移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出し、さらに偏微分値に基づいて被撮影物を構成する面の姿勢を判定する。ここでは、移動ベクトルの偏微分値を利用して被撮影物を構成する面の姿勢を判定することにより、被撮影物を構成する面の姿勢を詳しく求めることができる。例えば、被撮影物を構成する面は、上向き、右向き、左向き、斜め向きなどの複数の姿勢をとり得るが、被撮影物を構成する面の実際の姿勢を判定することができる。
According to the above-described embodiment, the
なお、上述した処理では、姿勢判定部２８は、４つの偏微分値の組み合わせに基づいて被撮影物を構成する面の姿勢を判定しているが、別の処理では、姿勢判定部２８は、４つの偏微分値の１つのみを利用して被撮影物の姿勢を判定してもよいし、２つ又は３つの偏微分値を利用して被撮影物の姿勢を判定してもよい。姿勢判定部２８が、３つの偏微分値を利用して被撮影物の姿勢を判定する処理を、図５のフローチャートを参照して、説明する。
In the above-described processing, the
図５に示される判定処理では、先ず、姿勢判定部２８は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略０であり、且つ、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略０である、という判定条件が満たされているか否かを判定する（Ｓ５０１）。ここで、判定条件が満たされている場合には、次に、姿勢判定部２８は、移動ベクトルの横成分を横方向に偏微分して得た偏微分値と、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値とが略同一である、という判定条件が満たされているか否かを判定する（Ｓ５０２）。ここで、判定条件が満たされている場合には、姿勢判定部２８は、被撮影物を構成する面が、画像データのカメラ光軸に対して垂直な面（以下、前方垂直面と呼ぶ）であると判定して、ラベリングする（Ｓ５０３）。一方、判定条件が満たされていない場合には、姿勢判定部２８は、被撮影物を構成する面がその他の姿勢であると判定して、ラベリングする（Ｓ５１０）。
In the determination process shown in FIG. 5, first, the
ステップ５０１の判定条件が満たされていない場合には、姿勢判定部２８は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略０である、という判定条件が満たされているか否かを判定する（Ｓ５０４）。ここで、判定条件が満たされている場合には、次に、姿勢判定部２８は、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値の略２倍である、という判定条件が満たされているか否かを判定する（Ｓ５０５）。ここで、判定条件が満たされている場合には、姿勢判定部２８は、被撮影物を構成する面が画像データのカメラ光軸及び縦方向Ｘに平行な面（以下、左右垂直面と呼ぶ）であると判定して、ラベリングする（Ｓ５０６）。一方、判定条件が満たされていない場合には、姿勢判定部２８は、被撮影物を構成する面がその他の姿勢であると判定して、ラベリングする（Ｓ５１０）。
When the determination condition of step 501 is not satisfied, the
ステップ５０４の判定条件が満たされていない場合には、姿勢判定部２８は、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略０である、という判定条件が満たされているか否かを判定する（Ｓ５０７）。ここで、判定条件が満たされている場合には、次に、姿勢判定部２８は、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が、移動ベクトルの横成分を横方向に偏微分して得た偏微分値の略２倍である、という判定条件が満たされているか否かを判定する（Ｓ５０８）。ここで、判定条件が満たされている場合には、姿勢判定部２８は、被撮影物を構成する面が画像データのカメラ光軸及び横方向Ｙに平行な面（以下、水平面と呼ぶ）であると判定して、ラベリングする（Ｓ５０９）。一方、判定条件が満たされていない場合には、姿勢判定部２８は、被撮影物を構成する面がその他の姿勢であると判定して、ラベリングする（Ｓ５１０）。
If the determination condition of step 504 is not satisfied, the
上述した判定処理において用いられた、被撮影物の姿勢判定の原理について解説する。ワールド座標系において位置（Ｘ，Ｙ，Ｚ）に存在する被撮影物は、次の数式（３）で表される画素位置（ｘ，ｙ）に投影される。
移動ベクトル（ｕ，ｖ）は、上の数式（３）を考慮すると、次の数式（４）で表されるように変換できる。
図６に示されるように、前方垂直面のＺ軸方向の位置は一定であり、カメラ１０のＺ軸方向の移動速度Ｖｚは一定とみなせるため、前方垂直面の移動ベクトル（ｕ，ｖ）は、Ｖｚ／Ｚを定数として、次の数式（５）で表される。
同様に、左右垂直面のＸ軸方向の位置は一定であり、カメラ１０のＺ軸方向の移動速度Ｖｚは一定とみなせるため、左右垂直面の移動ベクトル（ｕ，ｖ）は、Ｖｚ／Ｘを定数として、次の数式（６）で表される。
同様に、水平面のＹ軸方向の位置は一定であり、カメラ１０のＺ軸方向の移動速度Ｖｚは一定とみなせるため、水平面の移動ベクトル（ｕ，ｖ）は、Ｖｚ／Ｙを定数として、次の数式（７）で表される。
さらに、上の数式（５），（６），（７）から、前方垂直面、左右垂直面及び水平面のそれぞれの４つの偏微分値は、次の数式（８）で表される。
このため、次の数式（９）のような判定が可能となる。
即ち、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が定数ａであり、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が定数０であり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が０であり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が定数ａである場合に、被撮影物を構成する面が前方垂直面であることを判定可能である。 That is, the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is a constant a, the partial differentiation value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is a constant 0, The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is 0, and the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is a constant a. It can be determined that the surface constituting the photographed object is the front vertical surface.
また、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が定数ａの２倍であり、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が定数０であり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が別の定数ｂであり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が定数ａである場合に、被撮影物を構成する面が左右垂直面であることを判定可能である。 The partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is twice the constant a, and the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is the constant 0. The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is another constant b, and the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is the constant a. In this case, it can be determined that the surface constituting the object to be photographed is a left-right vertical surface.
また、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が定数ａであり、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が別の定数ｂであり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が０であり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が定数ａの２倍である場合に、被撮影物を構成する面が水平面であることを判定可能である。 The partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is a constant a, and the partial differentiation value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is another constant b. Yes, the partial differential value obtained by partially differentiating the vertical component of the movement vector in the horizontal direction is 0, and the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is twice the constant a. In some cases, it can be determined that the surface constituting the object to be photographed is a horizontal plane.
次に、上述した実施形態に係る画像処理装置２０の第１変形例について説明する。前述したように、第１変形例において、画像処理装置２０は、実速度算出部３０と実距離算出部３２とを備えている（図１参照）。
Next, a first modification of the
実速度算出部３０は、画像データの撮影位置と被撮影物との相対速度を算出する処理を行う。より詳しく説明すると、実速度算出部３０は、画像内で車両の下方に広がる水平面を判定すると、その水平面を路面であると判断する。そして、実速度算出部３０は、上記の数式（７）を利用して、その水平面の画像領域のオプティカルフローから水平面の定数Ｖｚ／Ｙを算出する。具体的には、画素座標（ｘ，ｙ）について算出されたオプティカルフローの横成分ｕをｘ・ｙで除算して定数Ｖｚ／Ｙを算出してもよいし、オプティカルフローの縦成分ｖをｙ２で除算して定数Ｖｚ／Ｙを算出してもよい。さらには、水平面領域の全画素について定数Ｖｚ／Ｙを算出し、それらの平均値を求めてもよい。ここで、実速度算出部３０は、カメラ１０の取り付け高さＹ（例えば１．５ｍ）、言い換えれば、画像データの撮影位置の路面からの高さＹのデータを記憶しており、算出された定数Ｖｚ／Ｙに高さＹを乗じることで、画像データの撮影位置と被撮影物とのカメラ光軸方向の相対速度Ｖｚを算出する。
The actual
実距離算出部３２は、画像データの撮影位置から被撮影物までの距離を算出する処理を行う。より詳しく説明すると、実距離算出部３２は、画像内で前方垂直面を判定すると、上記の数式（５）を利用して、前方垂直面の画像領域におけるオプティカルフローから前方垂直面の定数Ｖｚ／Ｚを算出する。具体的には、画素座標（ｘ，ｙ）について算出されたオプティカルフローの横成分ｕをｘで除算して定数Ｖｚ／Ｚを算出してもよいし、オプティカルフローの縦成分ｖをｙで除算して定数Ｖｚ／Ｚを算出してもよい。さらには、前方垂直面領域の全画素について定数Ｖｚ／Ｚを算出し、それらの平均値を求めてもよい。そして、実距離算出部３２は、実速度算出部３０により算出されたカメラ光軸方向の相対速度Ｖｚを定数Ｖｚ／Ｚで除算することで、画像データの撮影位置から前方垂直面までのカメラ光軸方向の距離Ｚを算出する。
The actual
また、実距離算出部３２は、画像内で左右垂直面を判定すると、上記の数式（６）を利用して、左右垂直面の画像領域におけるオプティカルフローから左右垂直面の定数Ｖｚ／Ｘを算出する。具体的には、画素座標（ｘ，ｙ）について算出されたオプティカルフローの横成分ｕをｘ２で除算して定数Ｖｚ／Ｘを算出してもよいし、オプティカルフローの縦成分ｖをｘ・ｙで除算して定数Ｖｚ／Ｘを算出してもよい。さらには、左右垂直面領域の全画素について定数Ｖｚ／Ｘを算出し、それらの平均値を求めてもよい。そして、実距離算出部３２は、実速度算出部３０により算出されたカメラ光軸方向の相対速度Ｖｚを定数Ｖｚ／Ｘで除算することで、画像データの撮影位置から左右垂直面までの横軸方向の距離Ｘを算出する。
Further, when the real
第１変形例に係る画像処理装置２０の処理を、図７のフローチャートを参照して説明する。先ず、画像処理装置２０は、既述の処理と同様に、画像データを取り込むと、オプティカルフローを算出してからその偏微分値を算出し、偏微分値に基づいて被撮影物の姿勢を判定してラベリングする（Ｓ７０１〜Ｓ７０３）。次に、画像処理装置２０は、オプティカルフローに基づいて、次の数式（１０）に示される定数を算出する。
Processing of the
即ち、画像データの水平面領域についてＶｚ／Ｙに相当する定数を算出し、前方垂直面領域について定数Ｖｚ／Ｚに相当する定数を算出し、左右垂直面領域についてＶｚ／Ｘに相当する定数を算出する（Ｓ７０４）。そして、画像処理装置２０は、画像データの撮影位置と被撮影物とのカメラ光軸方向の相対速度Ｖｚを算出する処理を行ってから、画像データの撮影位置から前方垂直面及び左右垂直面までの距離Ｚ，Ｘを算出する処理を行う（Ｓ７０５）。
That is, a constant corresponding to Vz / Y is calculated for the horizontal plane area of the image data, a constant corresponding to the constant Vz / Z is calculated for the front vertical plane area, and a constant corresponding to Vz / X is calculated for the left and right vertical plane areas. (S704). Then, the
従来技術では、例えば、モーションステレオ法などの手法を用いて被撮影物までの距離を算出していた。しかし、モーションステレオ法などの手法では、スケールファクタが不明であるため、画像データの撮影位置から前方垂直面及び左右垂直面までの実際の距離を算出することができなかった。これに対して、上述した第１変形例によれば、画像データの撮影位置の路面からの高さＹのデータを記憶しているため、この高さデータを利用して、画像データの撮影位置と被撮影物との相対速度Ｖｚ、及び、画像データの撮影位置から被撮影物までの正確な距離Ｚ，Ｘを算出することができる。 In the prior art, for example, the distance to the subject is calculated using a technique such as a motion stereo method. However, methods such as the motion stereo method cannot determine the actual distances from the imaging position of the image data to the front vertical plane and the left and right vertical planes because the scale factor is unknown. On the other hand, according to the first modification described above, since the data of the height Y from the road surface of the imaging position of the image data is stored, the imaging position of the image data is used using this height data. And the relative speed Vz between the object and the object and the accurate distances Z and X from the image data capturing position to the object can be calculated.
次に、上述した実施形態に係る画像処理装置２０の第２変形例について説明する。前述したように、第２変形例において、画像処理装置２０は、移動ベクトルが算出される前に、画像データを処理する前処理部３４を備えている（図１参照）。
Next, a second modification of the
先ず、前処理部３４が設けられた理由について説明する。被撮影物が移動する移動物体であり、Ｘ軸方向の移動速度成分がＶＸであり、Ｙ軸方向の移動速度成分がＶＹであり、Ｚ軸方向の移動速度成分がＶＺである状況では、移動物体の画像領域における移動ベクトル（ｕ，ｖ）は、次の数式（１１）で表される。しかし、移動物体はカメラ光軸方向に移動しなことから、数式（１１）で表される移動ベクトル（ｕ，ｖ）は、前述の数式（５）で表される移動ベクトル（ｕ，ｖ）と式の形が異なり、画像処理装置２０による既述の処理に適していない。前処理部３４は、このような問題を解消するために設けられている。
First, the reason why the preprocessing
次に、前処理部３４による処理について説明する。前処理部３４は、全ての画素に関して、次の数式（１２）を利用した処理を行うことで、異なる移動物体ごとに画像を分割する処理を行う。
Next, processing by the preprocessing
上の数式（１２）において、前述したように、ｘは、画素の横位置であり、ｙは、画素の縦位置である。また、ｕは、移動ベクトルの横成分であり、ｖは、移動ベクトルの縦成分である。これらの値ｘ，ｙ，ｕ，ｖは、画素ごとに算出されることにより、既知である。よって、上の数式（１２）は、画像データの各画素について、横軸Ｓ及び縦軸Ｔからなる座標系において、ｖ／ｕを傾きとし、ｖ／ｕ・ｘ−ｙを切片とする直線を表している。ここで、図８に示されるように、同一の移動物体を撮影した画素のそれぞれについて数式（１２）の直線を求めると、それらの直線は同一点で交差しており、移動物体の数だけ交点が存在する。即ち、交差した座標値Ｓ，Ｔは、移動物体の速度固有値となる。 In Equation (12) above, as described above, x is the horizontal position of the pixel, and y is the vertical position of the pixel. U is a horizontal component of the movement vector, and v is a vertical component of the movement vector. These values x, y, u, v are known by being calculated for each pixel. Therefore, the above formula (12) is a straight line with v / u as the slope and v / u · xy as the intercept in the coordinate system composed of the horizontal axis S and the vertical axis T for each pixel of the image data. Represents. Here, as shown in FIG. 8, when the straight lines of Expression (12) are obtained for each of the pixels that photograph the same moving object, the straight lines intersect at the same point, and the number of moving objects is the number of intersections. Exists. That is, the intersected coordinate values S and T are velocity eigenvalues of the moving object.
前処理部３４は、このように共通の速度固有値Ｓ，Ｔをもつ画素群をハフ変換、ランダムサンプルコンセンサス（RANdom SAmple Consensus：ＲＡＮＳＡＣ）等の手法を用いて求め、共通の速度固有値Ｓ，Ｔをもつ画像領域ごとに分割する。より具体的には、前処理部３４は、横軸Ｓ及び縦軸Ｔからなる座標系を、横軸方向及び縦軸方向に細かくメッシュ分割する。そして、前処理部３４は、直線が通過するメッシュ領域に投票する処理を、全ての画素の直線について行う。これにより、投票数の多いメッシュ領域を速度固有値Ｓ，Ｔと判断することができ、その速度固有値Ｓ，Ｔを通過する直線の画素群を単一の移動物体であると判断することができる。このようにして、異なる移動物体ごとに画像が分割される。
The
そして、前処理部３４は、異なる移動物体の画像領域ごとに、画素位置を平行移動させる処理を行う。より詳しく説明すると、前処理部３４は、次の数式（１３）に示されるように、速度固有値Ｓ，Ｔをもつ画像領域を構成する画素について、画素の横位置ｘに速度固有値Ｓを加算して、画素の縦位置ｙに速度固有値Ｔを加算する。これにより、平行移動後の画素の横位置ｘ’及び画素の縦位置ｙ’が算出される。
Then, the preprocessing
第２変形例に係る画像処理装置２０の処理を、図９のフローチャートを参照して説明する。先ず、画像処理装置２０は、画像データを取り込むと、前処理を行う。この前処理において、画像処理装置２０は、動きが異なる画像領域を分割し、各領域ごとに平行移動処理を行う（Ｓ９０１，Ｓ９０２）。その後、画像処理装置２０は、既述の処理と同様に、オプティカルフローの移動ベクトルを算出してからその偏微分値を算出し、偏微分値に基づいて被撮影物の姿勢を判定してラベリングする（Ｓ９０３〜Ｓ９０５）。
Processing of the
次に、第２変形例の利点を説明するために、上述した前処理の原理について解説する。上の数式（１１）から、次の数式（１４）が求められる。さらに、数式（１４）を変形すると、次の数式（１５）が求められる。 Next, in order to explain the advantages of the second modified example, the principle of the preprocessing described above will be described. From the above equation (11), the following equation (14) is obtained. Further, when the formula (14) is modified, the following formula (15) is obtained.
図８に示されるように、ＶＸ／ＶＺを横軸とし、ＶＹ／ＶＺを縦軸とする空間を想定する。ある特定の移動物体がある場合に、その移動物体に対応する画素群については、ＶＸ／ＶＺ，ＶＹ／ＶＺは共通する速度固有値となり、数式（１５）が満足される。ここで、数式（１５）は前述した数式（１２）に相当し、速度固有値ＶＸ／ＶＺ，ＶＹ／ＶＺは速度固有値Ｓ，Ｔに相当する。このことから、前述した数式（１３）は、次の数式（１６）に変換できる。 As shown in FIG. 8, a space is assumed in which V X / V Z is the horizontal axis and V Y / V Z is the vertical axis. When there is a specific moving object, V X / V Z and V Y / V Z are common velocity eigenvalues for the pixel group corresponding to the moving object, and Expression (15) is satisfied. Here, Equation (15) corresponds to Equation (12) described above, and the speed eigenvalues V X / V Z and V Y / V Z correspond to the speed eigenvalues S and T. From this, the above-described equation (13) can be converted into the following equation (16).
即ち、第２変形例では、動きが異なる画像領域ごとに画素位置ｘ，ｙを速度固有値ＶＸ／ＶＺ，ＶＹ／ＶＺを用いて平行移動している。移動ベクトル（ｕ’，ｖ’）は、次の数式（１７）で表される。 In other words, in the second modified example, the pixel positions x and y are translated using the velocity eigenvalues V X / V Z and V Y / V Z for each image region with different motion. The movement vector (u ′, v ′) is expressed by the following formula (17).
上の数式（１７）の移動ベクトル（ｕ’，ｖ’）は、前述の数式（５）で表される移動ベクトル（ｕ，ｖ）と、式の形が同じであるため、被撮影物が移動している状況でも、画像処理装置２０による処理を好適に行うことができる。具体的には、前述した図５に示される被撮影物の姿勢判定処理を好適に行うことができる。
The movement vector (u ′, v ′) in the above equation (17) has the same form as the movement vector (u, v) represented by the above equation (5). Even in a moving situation, the processing by the
なお、上述した処理に加えて、画像処理装置２０は、速度固有値Ｓ（＝ＶＸ／ＶＺ）に、カメラ光軸方向の速度Ｖｚを乗算することで、移動物体の横方向の速度ＶＸを算出してもよい。また、画像処理装置２０は、速度固有値Ｔ（＝ＶＹ／ＶＺ）に、カメラ光軸方向の速度Ｖｚを乗算することで、移動物体の縦方向の速度ＶＹを算出してもよい。
In addition to the processing described above, the
１０…カメラ、２０…画像処理装置、２２…画像取得部、２４…オプティカルフロー算出部、２６…偏微分部、２８…姿勢判定部、３０…実速度算出部、３２…実距離算出部、３４…前処理部。
DESCRIPTION OF
Claims (10)
前記複数の画像データに基づいて移動ベクトルを算出するオプティカルフロー算出手段と、
前記オプティカルフロー算出手段により算出された移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分手段と、
前記偏微分手段により算出された偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定手段と、
を備えることを特徴とする画像処理装置。 Image acquisition means for acquiring a plurality of image data obtained at different times;
Optical flow calculation means for calculating a movement vector based on the plurality of image data;
Partial differentiation means for partial differentiation of the movement vector calculated by the optical flow calculation means in a predetermined direction to calculate a partial differentiation value of the movement vector;
Posture determination means for determining the posture of the surface constituting the object to be photographed based on the partial differential value calculated by the partial differential means;
An image processing apparatus comprising:
移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略０であり、
移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略０であり、
移動ベクトルの横成分を横方向に偏微分して得た偏微分値と、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値とが略同一である場合に、
前記被撮影物を構成する面が、光軸に対して垂直であることを判定することを特徴とする請求項１に記載の画像処理装置。 The posture determination means includes
The partial differential value obtained by partial differential of the horizontal component of the movement vector in the vertical direction is substantially 0,
The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is approximately 0,
When the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction and the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction are substantially the same,
The image processing apparatus according to claim 1, wherein a surface constituting the object to be photographed is determined to be perpendicular to the optical axis.
移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略０であり、
移動ベクトルの横成分を横方向に偏微分して得た偏微分値が、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値の略２倍である場合に、
前記被撮影物を構成する面が、画像データの光軸及び縦方向に平行であることを判定することを特徴とする請求項１に記載の画像処理装置。 The posture determination means includes
The partial differential value obtained by partial differential of the horizontal component of the movement vector in the vertical direction is substantially 0,
When the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is approximately twice the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction,
The image processing apparatus according to claim 1, wherein the image forming apparatus determines that the surface constituting the object to be photographed is parallel to the optical axis and the vertical direction of the image data.
移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略０であり、
移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が、移動ベクトルの横成分を横方向に偏微分して得た偏微分値の略２倍である場合に、
前記被撮影物を構成する面が、画像データの光軸及び横方向に平行であることを判定することを特徴とする請求項１に記載の画像処理装置。 The posture determination means includes
The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is approximately 0,
When the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is approximately twice the partial differentiation value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction,
The image processing apparatus according to claim 1, wherein the surface constituting the object to be photographed is determined to be parallel to the optical axis and the horizontal direction of the image data.
異なる時刻に得られた複数の画像データを取得する画像取得ステップと、
前記複数の画像データに基づいて移動ベクトルを算出するオプティカルフロー算出ステップと、
前記移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分ステップと、
前記偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定ステップと、を含む画像処理方法。 An image processing method for determining a posture of a surface constituting a subject,
An image acquisition step of acquiring a plurality of image data obtained at different times;
An optical flow calculating step of calculating a movement vector based on the plurality of image data;
A partial differentiation step of partial differentiation of the movement vector in a predetermined direction to calculate a partial differentiation value of the movement vector;
A posture determination step of determining a posture of a surface constituting the object based on the partial differential value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006055340A JP4622889B2 (en) | 2006-03-01 | 2006-03-01 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006055340A JP4622889B2 (en) | 2006-03-01 | 2006-03-01 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007233755A JP2007233755A (en) | 2007-09-13 |
| JP4622889B2 true JP4622889B2 (en) | 2011-02-02 |
Family
ID=38554285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006055340A Expired - Fee Related JP4622889B2 (en) | 2006-03-01 | 2006-03-01 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4622889B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615593A (en) * | 2018-11-29 | 2019-04-12 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570546B (en) * | 2021-06-16 | 2023-12-05 | 北京农业信息技术研究中心 | Fan running state detection method and device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11110566A (en) * | 1997-10-07 | 1999-04-23 | Ntt Data Corp | Method and device for image recognition |
| JP2000171250A (en) * | 1998-12-02 | 2000-06-23 | Japan Aviation Electronics Industry Ltd | Method for detecting current position of mobile |
| JP2004056763A (en) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and program for monitor |
-
2006
- 2006-03-01 JP JP2006055340A patent/JP4622889B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11110566A (en) * | 1997-10-07 | 1999-04-23 | Ntt Data Corp | Method and device for image recognition |
| JP2000171250A (en) * | 1998-12-02 | 2000-06-23 | Japan Aviation Electronics Industry Ltd | Method for detecting current position of mobile |
| JP2004056763A (en) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and program for monitor |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615593A (en) * | 2018-11-29 | 2019-04-12 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007233755A (en) | 2007-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785702B (en) | SLAM method based on tight coupling of 2D laser radar and binocular camera | |
| US10755428B2 (en) | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model | |
| JP6197388B2 (en) | Distance measuring device, distance measuring method, and program | |
| JP6328327B2 (en) | Image processing apparatus and image processing method | |
| JP5023186B2 (en) | Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection | |
| EP3159126A1 (en) | Device and method for recognizing location of mobile robot by means of edge-based readjustment | |
| US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
| US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
| JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
| US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
| JP2019114103A (en) | Object recognition processing device, object recognition processing method and program | |
| JP7389729B2 (en) | Obstacle detection device, obstacle detection system and obstacle detection method | |
| EP3155369B1 (en) | System and method for measuring a displacement of a mobile platform | |
| CN109474817B (en) | Optical sensing device, method and optical detection module | |
| JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
| JP5396585B2 (en) | Feature identification method | |
| CN110720113A (en) | Parameter processing method and device, camera equipment and aircraft | |
| JP2010066595A (en) | Environment map generating device and environment map generating method | |
| JP4935769B2 (en) | Plane region estimation apparatus and program | |
| JP5267100B2 (en) | Motion estimation apparatus and program | |
| JP4622889B2 (en) | Image processing apparatus and image processing method | |
| CN111256651B (en) | Week vehicle distance measuring method and device based on monocular vehicle-mounted camera | |
| JP2017182564A (en) | Positioning device, positioning method, and positioning computer program | |
| JP6606340B2 (en) | Image detection apparatus, image detection method, and program | |
| CN113011212B (en) | Image recognition method and device and vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4622889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |