JP4622889B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP4622889B2 JP4622889B2 JP2006055340A JP2006055340A JP4622889B2 JP 4622889 B2 JP4622889 B2 JP 4622889B2 JP 2006055340 A JP2006055340 A JP 2006055340A JP 2006055340 A JP2006055340 A JP 2006055340A JP 4622889 B2 JP4622889 B2 JP 4622889B2
- Authority
- JP
- Japan
- Prior art keywords
- movement vector
- partial
- value obtained
- partial differential
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像データを処理してオプティカルフローを算出する画像処理装置、及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for processing an image data to calculate an optical flow.
特許文献1には、カメラで撮影して得た画像において、所定時間ごとに同一点の移動をオプティカルフローとして高速に認識することができるようにした装置が記載されている。この装置は、画像中の下部の領域を道路領域とみなすことで、画像中の領域を道路領域とそれ以外の領域とに予め分けて、道路領域のオプティカルフローに基づいて障害物を検出している。 Japanese Patent Application Laid-Open No. 2004-228561 describes an apparatus that can recognize the movement of the same point at a predetermined time as an optical flow at high speed in an image obtained by photographing with a camera. This device considers the lower area in the image as a road area, divides the area in the image into a road area and other areas in advance, and detects obstacles based on the optical flow of the road area. Yes.
また、非特許文献2に記載される技術では、水平面のオプティカルフローを基準値として予め取得しておき、カメラにより撮影された画像から算出されたオプティカルフローと、横面のオプティカルフローの基準値とを比較することで、画像に含まれる横面領域を検出している。この処理では、単に、画像に含まれる水平面領域とそれ以外の領域が判別されるだけである。
Further, in the technique described in
画像中には、様々な姿勢の被撮影物が存在する。このような被撮影物の姿勢を、より詳細に判別する要求がある。 There are objects to be photographed in various postures in the image. There is a demand for discriminating the posture of such an object in more detail.
そこで、本発明は、オプティカルフローを利用して、被撮影物の様々な姿勢を判別可能な画像処理装置及び画像処理方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus and an image processing method capable of discriminating various postures of an object using an optical flow.
上述した目的を達成するために、本発明に係る画像処理装置は、異なる時刻に得られた複数の画像データを取得する画像取得手段と、画像データに基づいて移動ベクトルを算出するオプティカルフロー算出手段と、オプティカルフロー算出手段により算出された移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分手段と、偏微分手段により算出された偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定手段と、を備えることを特徴とする。 To achieve the above-described object, an image processing apparatus according to the present invention includes an image acquisition unit that acquires a plurality of image data obtained at different times, and an optical flow calculation unit that calculates a movement vector based on the image data. And a partial differentiation means for partial differentiation of the movement vector calculated by the optical flow calculation means in a predetermined direction to calculate a partial differentiation value of the movement vector, and based on the partial differentiation value calculated by the partial differentiation means. Posture determining means for determining the posture of the surface constituting the photographed object.
この構成によれば、画像処理装置は、移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出し、さらに偏微分値に基づいて被撮影物を構成する面の姿勢を判定する。ここでは、移動ベクトルの偏微分値を利用して被撮影物を構成する面の姿勢を判定することにより、被撮影物を構成する面の姿勢を詳しく求めることができる。例えば、被撮影物を構成する面は、上向き、右向き、左向きなどの複数の姿勢をとり得るが、被撮影物を構成する面の実際の姿勢を判定することができる。 According to this configuration, the image processing apparatus performs partial differentiation of the movement vector in a predetermined direction, calculates a partial differentiation value of the movement vector, and further determines the posture of the surface constituting the subject based on the partial differentiation value. To do. Here, the posture of the surface constituting the object to be photographed can be determined in detail by determining the posture of the surface constituting the object to be photographed using the partial differential value of the movement vector. For example, the surface constituting the object to be photographed can take a plurality of postures such as upward, rightward, and leftward, but the actual posture of the surface constituting the object to be photographed can be determined.
ここで、移動ベクトルの偏微分値とは、例えば、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値、移動ベクトルの横成分を横方向に偏微分して得た偏微分値、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値である。姿勢判定手段は、これらの偏微分値の1つのみを利用して被撮影物の姿勢を判定してもよいし、複数の偏微分値を利用して被撮影物の姿勢を判定してもよい。 Here, the partial differential value of the movement vector is, for example, a partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction, or a partial differentiation obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction. A partial differential value obtained by partial differentiation of the vertical component of the value and the movement vector in the vertical direction, and a partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction. The posture determination means may determine the posture of the subject using only one of these partial differential values, or may determine the posture of the subject using a plurality of partial differential values. Good.
特に、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値、移動ベクトルの横成分を横方向に偏微分して得た偏微分値、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値、及び移動ベクトルの縦成分を横方向に偏微分して得た偏微分値の組み合わせに基づいて、被撮影物を構成する面の姿勢を判定することが好ましい。この構成によれば、被撮影物を構成する面の姿勢は4つの偏微分値の組み合わせに一義的に対応するため、4つの偏微分値の組み合わせに基づいて、被撮影物を構成する面の姿勢を判定することができる。 In particular, in the above-described image processing apparatus, the posture determination means includes a partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction, and a partial differentiation obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction. Based on the combination of the value, the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction, and the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction, It is preferable to determine the posture of the constituting surface. According to this configuration, since the posture of the surface that constitutes the object uniquely corresponds to the combination of the four partial differential values, the orientation of the surface that constitutes the object is determined based on the combination of the four partial differential values. The posture can be determined.
また、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略0であり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略0であり、移動ベクトルの横成分を横方向に偏微分して得た偏微分値と、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値とが略同一である場合に、被撮影物を構成する面が、光軸に対して垂直であることが好ましい。この構成によれば、被撮影物を構成する面が、画像データの光軸に対して垂直であることを判定することができる。 Further, in the above-described image processing apparatus, the posture determination unit has a partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is substantially 0, and the partial differentiation of the vertical component of the movement vector in the horizontal direction. The partial differential value obtained from the above is approximately 0, the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction, and the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction. Are substantially the same, it is preferable that the surfaces constituting the object to be photographed be perpendicular to the optical axis. According to this configuration, it is possible to determine that the surfaces constituting the object to be photographed are perpendicular to the optical axis of the image data.
また、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略0であり、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値の略2倍である場合に、被撮影物を構成する面が、画像データの光軸及び縦方向に平行であることを判定することが好ましい。この構成によれば、被撮影物を構成する面が、画像データの光軸及び縦方向に平行であることを判定することができる。 In the above-described image processing apparatus, the posture determination means has a partial differential value obtained by partially differentiating the horizontal component of the movement vector in the vertical direction is substantially zero, and partially differentiates the horizontal component of the movement vector in the horizontal direction. When the partial differential value obtained in this way is approximately twice the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction, the surface constituting the object to be imaged is the optical axis of the image data and It is preferable to determine that it is parallel to the vertical direction. According to this configuration, it is possible to determine that the surfaces constituting the object to be photographed are parallel to the optical axis and the vertical direction of the image data.
また、上述した画像処理装置において、姿勢判定手段は、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略0であり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が、移動ベクトルの横成分を横方向に偏微分して得た偏微分値の略2倍である場合に、被撮影物を構成する面が、画像データの光軸及び横方向に平行であることを判定することが好ましい。この構成によれば、被撮影物を構成する面が、画像データの光軸及び横方向に平行であることを判定することができる。 In the above-described image processing apparatus, the posture determination means has a partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is substantially 0, and partial differentiation of the vertical component of the movement vector in the vertical direction. When the partial differential value obtained in this way is approximately twice the partial differential value obtained by partial differentiation of the lateral component of the movement vector in the lateral direction, the surface constituting the object to be imaged is the optical axis of the image data and It is preferable to determine that it is parallel to the lateral direction. According to this configuration, it is possible to determine that the surfaces constituting the object to be photographed are parallel to the optical axis and the horizontal direction of the image data.
なお、上述した姿勢判定手段の判定条件において、偏微分値の略0とは、偏微分値が0に近い値であることを意味している。姿勢判定手段の具体的な処理では、偏微分値の大きさが略0判定用の閾値より小さい場合に、偏微分値が略0であると判定される。 In the determination conditions of the posture determination means described above, the partial differential value of approximately 0 means that the partial differential value is a value close to 0. In the specific processing of the posture determination means, it is determined that the partial differential value is substantially 0 when the partial differential value is smaller than a threshold value for substantially 0 determination.
また、偏微分値の略同一とは、2つの偏微分値が近い値であることを意味している。姿勢判定手段の具体的な処理では、2つの偏微分値の差分が略同一判定用の閾値より小さい場合に、偏微分値が略同一であると判定される。 Further, “substantially identical partial differential values” means that two partial differential values are close to each other. In the specific processing of the posture determination means, it is determined that the partial differential values are substantially the same when the difference between the two partial differential values is smaller than the substantially identical determination threshold.
また、偏微分値の略2倍とは、2つの偏微分値のうち一方が他方の2倍に近い値であることを意味している。姿勢判定手段の具体的な処理では、一方の偏微分値から他方の偏微分値の2倍を減じて得た差分が略2倍判定用の閾値より小さい場合に、偏微分値が略2倍であると判定される。 Also, “substantially twice the partial differential value” means that one of the two partial differential values is close to twice the other. In the specific processing of the posture determination means, when the difference obtained by subtracting twice the partial differential value from one partial differential value is smaller than the threshold for determination of about double, the partial differential value is about double. It is determined that
また、上述した画像処理装置は、画像データの撮影位置の高さのデータを記憶しており、撮影位置の高さと、移動ベクトルとに基づいて、画像データの撮影位置と被撮影物との相対速度を算出する速度算出手段を、さらに備えることが好ましい。この構成によれば、撮影位置と被撮影物との相対速度を算出することができる。 Further, the image processing apparatus described above stores the height data of the shooting position of the image data, and based on the height of the shooting position and the movement vector, the relative position between the shooting position of the image data and the object to be captured is stored. It is preferable to further include speed calculating means for calculating the speed. According to this configuration, it is possible to calculate the relative speed between the photographing position and the subject.
さらに、上述した画像処理装置は、速度算出手段により算出された相対速度と、移動ベクトルとに基づいて、画像データの撮影位置から被撮影物までの距離を算出する距離算出手段を、さらに備えることが好ましい。この構成によれば、画像データの撮影位置から被撮影物までの距離を算出することができる。 Further, the above-described image processing apparatus further includes distance calculation means for calculating the distance from the shooting position of the image data to the subject based on the relative speed calculated by the speed calculation means and the movement vector. Is preferred. According to this configuration, the distance from the shooting position of the image data to the subject can be calculated.
また、上述した画像処理装置は、オプティカルフロー算出手段が画像データに基づいて移動ベクトルを算出する前に、当該画像データを処理する前処理手段であって、移動物体に対応する画像領域を、当該移動物体の速度固有値VX/VZ及びVY/VZ(ここで、VXは移動物体の横方向速度,VYは移動物体の縦方向速度,VZは移動物体の光軸方向速度)を用いて平行移動させる前処理手段を、さらに備えることが好ましい。この構成によれば、移動物体に対応する画像領域を、当該移動物体の速度固有値を用いて平行移動させるため、被撮影物が移動している状況でも、画像処理装置による処理を好適に行うことができる。 Further, the above-described image processing apparatus is a preprocessing unit that processes the image data before the optical flow calculation unit calculates the movement vector based on the image data. Velocity eigenvalues V X / V Z and V Y / V Z (where V X is the lateral velocity of the moving object, V Y is the vertical velocity of the moving object, and V Z is the optical axis velocity of the moving object. It is preferable to further include pre-processing means for performing parallel movement using (). According to this configuration, the image region corresponding to the moving object is translated using the velocity eigenvalue of the moving object, so that the processing by the image processing apparatus is suitably performed even when the subject is moving. Can do.
さらに、上述した画像処理装置において、前処理手段は、速度固有値VX/VZ及びVY/VZが共通する画像領域ごとに区分し、区分された画像領域ごとに速度固有値VX/VZ及びVY/VZを用いて平行移動させることが好ましい。ここで、速度固有値VX/VZ及びVY/VZが共通する画像領域ごとに区分するためには、ハフ変換処理、ランダムサンプルコンセンサス(RANdom SAmple Consensus:RANSAC)処理などを行えばよい。 Further, in the above-described image processing apparatus, the pre-processing unit divides the image into the image areas where the speed eigenvalues V X / V Z and V Y / V Z are common, and the speed eigenvalue V X / V for each divided image area. It is preferable to translate using Z and V Y / V Z. Here, in order to classify each image region where the speed eigenvalues V X / V Z and V Y / V Z are common, a Hough transform process, a random sample consensus (RANdom SAmple Consensus: RANSAC) process, or the like may be performed.
また、上述した目的を達成するために、本発明に係る画像処理方法は、被撮影物を構成する面の姿勢を判定するための画像処理方法であって、異なる時刻に得られた複数の画像データを取得する画像取得ステップと、画像データに基づいて移動ベクトルを算出するオプティカルフロー算出ステップと、移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分ステップと、偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定ステップと、を含む方法である。 In order to achieve the above-described object, an image processing method according to the present invention is an image processing method for determining the posture of a surface constituting an object to be captured, and a plurality of images obtained at different times. An image acquisition step for acquiring data; an optical flow calculation step for calculating a movement vector based on the image data; a partial differentiation step for calculating a partial differential value of the movement vector by partial differentiation of the movement vector in a predetermined direction; A posture determination step of determining the posture of the surface constituting the object to be photographed based on the partial differential value.
本発明に係る画像処理装置及び画像処理方法によれば、オプティカルフローを利用して、被撮影物の様々な姿勢を判別することができる。 According to the image processing apparatus and the image processing method according to the present invention, it is possible to discriminate various postures of the subject using the optical flow.
以下、図面を参照して、本発明の画像処理装置の好適な実施形態について説明する。本実施形態において、画像処理装置は車両に搭載されている。 Hereinafter, preferred embodiments of an image processing apparatus of the present invention will be described with reference to the drawings. In the present embodiment, the image processing apparatus is mounted on a vehicle.
図1に示すように、画像処理装置20には、撮像手段としてカメラ10が接続されている。カメラ10は、例えば、CCD[ChargeCoupled Device]カメラ10であり、画像処理装置20を搭載する自動車の前方かつ中央に取り付けられる。カメラ10は、所定時間が経過する度に、自動車の前方を撮像して、複数の画素データからなる画像データを生成する。カメラ10は、生成された画像データを、画像処理装置20に逐次送信する。
As shown in FIG. 1, a
カメラ10により撮影される周辺環境の3次元座標系は、カメラ10の位置を原点とし、カメラ10の横方向(水平方向)をX軸とし、カメラ10の縦方向(鉛直方向)をY軸とし、カメラ光軸をZ軸とするワールド座標系である。3次元座標系では、カメラ10は光軸方向に移動しており、道路やその周囲の他の物体は静止しているものとされる。また、カメラ10により撮影された画像の2次元座標系は、カメラ光軸に対応する位置を原点とし、画像面の横方向をx軸とし、画像面の縦方向をy軸としている。ここで、x軸はX軸と平行であり、y軸はY軸と平行である。
The three-dimensional coordinate system of the surrounding environment photographed by the
画像処理装置20は、カメラ10から画像データを取り込んで、画像データを処理して車両の制御に有用な情報を求める。画像処理装置20は、物理的には、CPU、ROM、RAM等で構成されている。また、画像処理装置20は、機能的には、画像取得部22と、オプティカルフロー算出部24と、偏微分部26と、姿勢判定部28とを備えている。さらに、画像処理装置20は、後述する第1変形例で説明するように、実速度算出部30と、実距離算出部32とを備える場合もある。また、画像処理装置20は、後述する第2変形例で説明するように、前処理部34を備える場合もある。
The
画像取得部22は、カメラ10から送られてきた画像データを取り込んで、画像データを後の処理に適した状態とする。オプティカルフロー算出部24は、所定時間前後する画像データから、勾配法によって、オプティカルフローの移動ベクトルを算出する。より詳しく説明すると、オプティカルフロー算出部24は、画像内で着目している画素の近傍の画素は同じ運動を行うためオプティカルフローが一定である、という仮定(前提条件)から導出される次の数式(1)を利用して、全ての画素についてラスタスキャンを行って、移動ベクトルの横成分u及び縦成分vを算出する。
The
図2には、カメラ10により撮影された画像データに、オプティカルフローの移動ベクトルを重畳表示した一例が示されている。なお、オプティカルフロー算出部24は、他の方法により移動ベクトルを算出してもよい。例えば、オプティカルフロー算出部24は、画像から特徴点を抽出し、その特徴点を追跡することにより、移動ベクトルを算出してもよい。
FIG. 2 shows an example in which the movement vector of the optical flow is superimposed and displayed on the image data photographed by the
偏微分部26は、オプティカルフロー算出部24により算出された移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する。より詳しく説明すると、偏微分部26は、(I)移動ベクトルの横成分uを縦方向に偏微分して得た偏微分値、(II)移動ベクトルの横成分uを横方向に偏微分して得た偏微分値、(III)移動ベクトルの縦成分vを縦方向に偏微分して得た偏微分値、(IV)移動ベクトルの縦成分vを横方向に偏微分して得た偏微分値を算出する。具体的には、図3に示されるように、画素位置(x−1,y),(x+1,y),(x,y−1)(x,y+1)における移動ベクトルの横成分u及び縦成分vから、次の数式(2)によって画素位置(x,y)における(I)〜(IV)の偏微分値を算出する。
The
姿勢判定部28は、偏微分部26により算出された偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する。より詳しく説明すると、姿勢判定部28は、上述した4つの偏微分値(I)〜(IV)の組み合わせに対して被撮影物を構成する面の姿勢を一義的に対応させたマップデータを記憶しており、4つの偏微分値を算出するとこのマップデータを参照して被撮影物を構成する面の姿勢を求める。そして、姿勢判定部28は、被撮影物に対応する画素位置に、被撮影物を構成する面の姿勢を特定する情報を関連付けるラベリング処理を行う。
The
上述したマップデータは、理論的な演算により求められる。即ち、画像データの各画素に、様々な姿勢の物体が現れたことを想定し、様々な姿勢の物体のそれぞれについて、オプティカルフローの移動ベクトルを算出し、移動ベクトルの4つの偏微分値を算出する。そして、算出された4つの偏微分値を、物体の姿勢と対応付けてROM等に記憶する。上述した一連の演算により、画像データの各画素ごとに、被撮影物を構成する面の姿勢が、4つの偏微分値に対応付けて記憶されたマップデータを得ることができる。なお、マップデータにおいて、被撮影物を構成する面の姿勢は、当該面の傾斜角度、当該面の垂線方向などで特定されればよい。上述した演算では理論的にマップデータを得ているが、実際に様々な姿勢の物体をカメラ10で撮影して、実験的にマップデータを得てもよい。
The map data described above is obtained by theoretical calculation. That is, assuming that objects of various postures appear in each pixel of the image data, the optical flow movement vector is calculated for each object of various postures, and the four partial differential values of the movement vector are calculated. To do. Then, the calculated four partial differential values are stored in a ROM or the like in association with the posture of the object. Through the series of calculations described above, map data can be obtained in which the orientation of the surface constituting the object to be captured is stored in association with the four partial differential values for each pixel of the image data. In the map data, the posture of the surface constituting the object to be imaged may be specified by the inclination angle of the surface, the perpendicular direction of the surface, or the like. Although the map data is theoretically obtained by the above-described calculation, the map data may be obtained experimentally by actually photographing objects of various postures with the
上述した画像処理装置20の処理を、図4のフローチャートを参照して説明する。先ず、画像処理装置20は、カメラ10から画像データを取り込んで、画像データの各領域についてオプティカルフローの移動ベクトルを算出する(S401)。次に、画像処理装置20は、移動ベクトルの横成分及び縦成分のそれぞれを横方向及び縦方向に偏微分して、移動ベクトルの偏微分値を算出する(S402)。次に、画像処理装置20は、算出された偏微分値に基づいて、画像データの各領域ごとに、被撮影物を構成する面の姿勢を判定し、ラベリングする(S403)。
The processing of the
上述した実施形態によれば、画像処理装置20は、移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出し、さらに偏微分値に基づいて被撮影物を構成する面の姿勢を判定する。ここでは、移動ベクトルの偏微分値を利用して被撮影物を構成する面の姿勢を判定することにより、被撮影物を構成する面の姿勢を詳しく求めることができる。例えば、被撮影物を構成する面は、上向き、右向き、左向き、斜め向きなどの複数の姿勢をとり得るが、被撮影物を構成する面の実際の姿勢を判定することができる。
According to the above-described embodiment, the
なお、上述した処理では、姿勢判定部28は、4つの偏微分値の組み合わせに基づいて被撮影物を構成する面の姿勢を判定しているが、別の処理では、姿勢判定部28は、4つの偏微分値の1つのみを利用して被撮影物の姿勢を判定してもよいし、2つ又は3つの偏微分値を利用して被撮影物の姿勢を判定してもよい。姿勢判定部28が、3つの偏微分値を利用して被撮影物の姿勢を判定する処理を、図5のフローチャートを参照して、説明する。
In the above-described processing, the
図5に示される判定処理では、先ず、姿勢判定部28は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略0であり、且つ、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略0である、という判定条件が満たされているか否かを判定する(S501)。ここで、判定条件が満たされている場合には、次に、姿勢判定部28は、移動ベクトルの横成分を横方向に偏微分して得た偏微分値と、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値とが略同一である、という判定条件が満たされているか否かを判定する(S502)。ここで、判定条件が満たされている場合には、姿勢判定部28は、被撮影物を構成する面が、画像データのカメラ光軸に対して垂直な面(以下、前方垂直面と呼ぶ)であると判定して、ラベリングする(S503)。一方、判定条件が満たされていない場合には、姿勢判定部28は、被撮影物を構成する面がその他の姿勢であると判定して、ラベリングする(S510)。
In the determination process shown in FIG. 5, first, the
ステップ501の判定条件が満たされていない場合には、姿勢判定部28は、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略0である、という判定条件が満たされているか否かを判定する(S504)。ここで、判定条件が満たされている場合には、次に、姿勢判定部28は、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値の略2倍である、という判定条件が満たされているか否かを判定する(S505)。ここで、判定条件が満たされている場合には、姿勢判定部28は、被撮影物を構成する面が画像データのカメラ光軸及び縦方向Xに平行な面(以下、左右垂直面と呼ぶ)であると判定して、ラベリングする(S506)。一方、判定条件が満たされていない場合には、姿勢判定部28は、被撮影物を構成する面がその他の姿勢であると判定して、ラベリングする(S510)。
When the determination condition of step 501 is not satisfied, the
ステップ504の判定条件が満たされていない場合には、姿勢判定部28は、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略0である、という判定条件が満たされているか否かを判定する(S507)。ここで、判定条件が満たされている場合には、次に、姿勢判定部28は、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が、移動ベクトルの横成分を横方向に偏微分して得た偏微分値の略2倍である、という判定条件が満たされているか否かを判定する(S508)。ここで、判定条件が満たされている場合には、姿勢判定部28は、被撮影物を構成する面が画像データのカメラ光軸及び横方向Yに平行な面(以下、水平面と呼ぶ)であると判定して、ラベリングする(S509)。一方、判定条件が満たされていない場合には、姿勢判定部28は、被撮影物を構成する面がその他の姿勢であると判定して、ラベリングする(S510)。
If the determination condition of step 504 is not satisfied, the
上述した判定処理において用いられた、被撮影物の姿勢判定の原理について解説する。ワールド座標系において位置(X,Y,Z)に存在する被撮影物は、次の数式(3)で表される画素位置(x,y)に投影される。
移動ベクトル(u,v)は、上の数式(3)を考慮すると、次の数式(4)で表されるように変換できる。
図6に示されるように、前方垂直面のZ軸方向の位置は一定であり、カメラ10のZ軸方向の移動速度Vzは一定とみなせるため、前方垂直面の移動ベクトル(u,v)は、Vz/Zを定数として、次の数式(5)で表される。
同様に、左右垂直面のX軸方向の位置は一定であり、カメラ10のZ軸方向の移動速度Vzは一定とみなせるため、左右垂直面の移動ベクトル(u,v)は、Vz/Xを定数として、次の数式(6)で表される。
同様に、水平面のY軸方向の位置は一定であり、カメラ10のZ軸方向の移動速度Vzは一定とみなせるため、水平面の移動ベクトル(u,v)は、Vz/Yを定数として、次の数式(7)で表される。
さらに、上の数式(5),(6),(7)から、前方垂直面、左右垂直面及び水平面のそれぞれの4つの偏微分値は、次の数式(8)で表される。
このため、次の数式(9)のような判定が可能となる。
即ち、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が定数aであり、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が定数0であり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が0であり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が定数aである場合に、被撮影物を構成する面が前方垂直面であることを判定可能である。 That is, the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is a constant a, the partial differentiation value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is a constant 0, The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is 0, and the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is a constant a. It can be determined that the surface constituting the photographed object is the front vertical surface.
また、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が定数aの2倍であり、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が定数0であり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が別の定数bであり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が定数aである場合に、被撮影物を構成する面が左右垂直面であることを判定可能である。 The partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is twice the constant a, and the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is the constant 0. The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is another constant b, and the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is the constant a. In this case, it can be determined that the surface constituting the object to be photographed is a left-right vertical surface.
また、移動ベクトルの横成分を横方向に偏微分して得た偏微分値が定数aであり、移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が別の定数bであり、移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が0であり、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が定数aの2倍である場合に、被撮影物を構成する面が水平面であることを判定可能である。 The partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is a constant a, and the partial differentiation value obtained by partial differentiation of the horizontal component of the movement vector in the vertical direction is another constant b. Yes, the partial differential value obtained by partially differentiating the vertical component of the movement vector in the horizontal direction is 0, and the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is twice the constant a. In some cases, it can be determined that the surface constituting the object to be photographed is a horizontal plane.
次に、上述した実施形態に係る画像処理装置20の第1変形例について説明する。前述したように、第1変形例において、画像処理装置20は、実速度算出部30と実距離算出部32とを備えている(図1参照)。
Next, a first modification of the
実速度算出部30は、画像データの撮影位置と被撮影物との相対速度を算出する処理を行う。より詳しく説明すると、実速度算出部30は、画像内で車両の下方に広がる水平面を判定すると、その水平面を路面であると判断する。そして、実速度算出部30は、上記の数式(7)を利用して、その水平面の画像領域のオプティカルフローから水平面の定数Vz/Yを算出する。具体的には、画素座標(x,y)について算出されたオプティカルフローの横成分uをx・yで除算して定数Vz/Yを算出してもよいし、オプティカルフローの縦成分vをy2で除算して定数Vz/Yを算出してもよい。さらには、水平面領域の全画素について定数Vz/Yを算出し、それらの平均値を求めてもよい。ここで、実速度算出部30は、カメラ10の取り付け高さY(例えば1.5m)、言い換えれば、画像データの撮影位置の路面からの高さYのデータを記憶しており、算出された定数Vz/Yに高さYを乗じることで、画像データの撮影位置と被撮影物とのカメラ光軸方向の相対速度Vzを算出する。
The actual
実距離算出部32は、画像データの撮影位置から被撮影物までの距離を算出する処理を行う。より詳しく説明すると、実距離算出部32は、画像内で前方垂直面を判定すると、上記の数式(5)を利用して、前方垂直面の画像領域におけるオプティカルフローから前方垂直面の定数Vz/Zを算出する。具体的には、画素座標(x,y)について算出されたオプティカルフローの横成分uをxで除算して定数Vz/Zを算出してもよいし、オプティカルフローの縦成分vをyで除算して定数Vz/Zを算出してもよい。さらには、前方垂直面領域の全画素について定数Vz/Zを算出し、それらの平均値を求めてもよい。そして、実距離算出部32は、実速度算出部30により算出されたカメラ光軸方向の相対速度Vzを定数Vz/Zで除算することで、画像データの撮影位置から前方垂直面までのカメラ光軸方向の距離Zを算出する。
The actual
また、実距離算出部32は、画像内で左右垂直面を判定すると、上記の数式(6)を利用して、左右垂直面の画像領域におけるオプティカルフローから左右垂直面の定数Vz/Xを算出する。具体的には、画素座標(x,y)について算出されたオプティカルフローの横成分uをx2で除算して定数Vz/Xを算出してもよいし、オプティカルフローの縦成分vをx・yで除算して定数Vz/Xを算出してもよい。さらには、左右垂直面領域の全画素について定数Vz/Xを算出し、それらの平均値を求めてもよい。そして、実距離算出部32は、実速度算出部30により算出されたカメラ光軸方向の相対速度Vzを定数Vz/Xで除算することで、画像データの撮影位置から左右垂直面までの横軸方向の距離Xを算出する。
Further, when the real
第1変形例に係る画像処理装置20の処理を、図7のフローチャートを参照して説明する。先ず、画像処理装置20は、既述の処理と同様に、画像データを取り込むと、オプティカルフローを算出してからその偏微分値を算出し、偏微分値に基づいて被撮影物の姿勢を判定してラベリングする(S701〜S703)。次に、画像処理装置20は、オプティカルフローに基づいて、次の数式(10)に示される定数を算出する。
Processing of the
即ち、画像データの水平面領域についてVz/Yに相当する定数を算出し、前方垂直面領域について定数Vz/Zに相当する定数を算出し、左右垂直面領域についてVz/Xに相当する定数を算出する(S704)。そして、画像処理装置20は、画像データの撮影位置と被撮影物とのカメラ光軸方向の相対速度Vzを算出する処理を行ってから、画像データの撮影位置から前方垂直面及び左右垂直面までの距離Z,Xを算出する処理を行う(S705)。
That is, a constant corresponding to Vz / Y is calculated for the horizontal plane area of the image data, a constant corresponding to the constant Vz / Z is calculated for the front vertical plane area, and a constant corresponding to Vz / X is calculated for the left and right vertical plane areas. (S704). Then, the
従来技術では、例えば、モーションステレオ法などの手法を用いて被撮影物までの距離を算出していた。しかし、モーションステレオ法などの手法では、スケールファクタが不明であるため、画像データの撮影位置から前方垂直面及び左右垂直面までの実際の距離を算出することができなかった。これに対して、上述した第1変形例によれば、画像データの撮影位置の路面からの高さYのデータを記憶しているため、この高さデータを利用して、画像データの撮影位置と被撮影物との相対速度Vz、及び、画像データの撮影位置から被撮影物までの正確な距離Z,Xを算出することができる。 In the prior art, for example, the distance to the subject is calculated using a technique such as a motion stereo method. However, methods such as the motion stereo method cannot determine the actual distances from the imaging position of the image data to the front vertical plane and the left and right vertical planes because the scale factor is unknown. On the other hand, according to the first modification described above, since the data of the height Y from the road surface of the imaging position of the image data is stored, the imaging position of the image data is used using this height data. And the relative speed Vz between the object and the object and the accurate distances Z and X from the image data capturing position to the object can be calculated.
次に、上述した実施形態に係る画像処理装置20の第2変形例について説明する。前述したように、第2変形例において、画像処理装置20は、移動ベクトルが算出される前に、画像データを処理する前処理部34を備えている(図1参照)。
Next, a second modification of the
先ず、前処理部34が設けられた理由について説明する。被撮影物が移動する移動物体であり、X軸方向の移動速度成分がVXであり、Y軸方向の移動速度成分がVYであり、Z軸方向の移動速度成分がVZである状況では、移動物体の画像領域における移動ベクトル(u,v)は、次の数式(11)で表される。しかし、移動物体はカメラ光軸方向に移動しなことから、数式(11)で表される移動ベクトル(u,v)は、前述の数式(5)で表される移動ベクトル(u,v)と式の形が異なり、画像処理装置20による既述の処理に適していない。前処理部34は、このような問題を解消するために設けられている。
First, the reason why the preprocessing
次に、前処理部34による処理について説明する。前処理部34は、全ての画素に関して、次の数式(12)を利用した処理を行うことで、異なる移動物体ごとに画像を分割する処理を行う。
Next, processing by the preprocessing
上の数式(12)において、前述したように、xは、画素の横位置であり、yは、画素の縦位置である。また、uは、移動ベクトルの横成分であり、vは、移動ベクトルの縦成分である。これらの値x,y,u,vは、画素ごとに算出されることにより、既知である。よって、上の数式(12)は、画像データの各画素について、横軸S及び縦軸Tからなる座標系において、v/uを傾きとし、v/u・x−yを切片とする直線を表している。ここで、図8に示されるように、同一の移動物体を撮影した画素のそれぞれについて数式(12)の直線を求めると、それらの直線は同一点で交差しており、移動物体の数だけ交点が存在する。即ち、交差した座標値S,Tは、移動物体の速度固有値となる。 In Equation (12) above, as described above, x is the horizontal position of the pixel, and y is the vertical position of the pixel. U is a horizontal component of the movement vector, and v is a vertical component of the movement vector. These values x, y, u, v are known by being calculated for each pixel. Therefore, the above formula (12) is a straight line with v / u as the slope and v / u · xy as the intercept in the coordinate system composed of the horizontal axis S and the vertical axis T for each pixel of the image data. Represents. Here, as shown in FIG. 8, when the straight lines of Expression (12) are obtained for each of the pixels that photograph the same moving object, the straight lines intersect at the same point, and the number of moving objects is the number of intersections. Exists. That is, the intersected coordinate values S and T are velocity eigenvalues of the moving object.
前処理部34は、このように共通の速度固有値S,Tをもつ画素群をハフ変換、ランダムサンプルコンセンサス(RANdom SAmple Consensus:RANSAC)等の手法を用いて求め、共通の速度固有値S,Tをもつ画像領域ごとに分割する。より具体的には、前処理部34は、横軸S及び縦軸Tからなる座標系を、横軸方向及び縦軸方向に細かくメッシュ分割する。そして、前処理部34は、直線が通過するメッシュ領域に投票する処理を、全ての画素の直線について行う。これにより、投票数の多いメッシュ領域を速度固有値S,Tと判断することができ、その速度固有値S,Tを通過する直線の画素群を単一の移動物体であると判断することができる。このようにして、異なる移動物体ごとに画像が分割される。
The
そして、前処理部34は、異なる移動物体の画像領域ごとに、画素位置を平行移動させる処理を行う。より詳しく説明すると、前処理部34は、次の数式(13)に示されるように、速度固有値S,Tをもつ画像領域を構成する画素について、画素の横位置xに速度固有値Sを加算して、画素の縦位置yに速度固有値Tを加算する。これにより、平行移動後の画素の横位置x’及び画素の縦位置y’が算出される。
Then, the preprocessing
第2変形例に係る画像処理装置20の処理を、図9のフローチャートを参照して説明する。先ず、画像処理装置20は、画像データを取り込むと、前処理を行う。この前処理において、画像処理装置20は、動きが異なる画像領域を分割し、各領域ごとに平行移動処理を行う(S901,S902)。その後、画像処理装置20は、既述の処理と同様に、オプティカルフローの移動ベクトルを算出してからその偏微分値を算出し、偏微分値に基づいて被撮影物の姿勢を判定してラベリングする(S903〜S905)。
Processing of the
次に、第2変形例の利点を説明するために、上述した前処理の原理について解説する。上の数式(11)から、次の数式(14)が求められる。さらに、数式(14)を変形すると、次の数式(15)が求められる。 Next, in order to explain the advantages of the second modified example, the principle of the preprocessing described above will be described. From the above equation (11), the following equation (14) is obtained. Further, when the formula (14) is modified, the following formula (15) is obtained.
図8に示されるように、VX/VZを横軸とし、VY/VZを縦軸とする空間を想定する。ある特定の移動物体がある場合に、その移動物体に対応する画素群については、VX/VZ,VY/VZは共通する速度固有値となり、数式(15)が満足される。ここで、数式(15)は前述した数式(12)に相当し、速度固有値VX/VZ,VY/VZは速度固有値S,Tに相当する。このことから、前述した数式(13)は、次の数式(16)に変換できる。 As shown in FIG. 8, a space is assumed in which V X / V Z is the horizontal axis and V Y / V Z is the vertical axis. When there is a specific moving object, V X / V Z and V Y / V Z are common velocity eigenvalues for the pixel group corresponding to the moving object, and Expression (15) is satisfied. Here, Equation (15) corresponds to Equation (12) described above, and the speed eigenvalues V X / V Z and V Y / V Z correspond to the speed eigenvalues S and T. From this, the above-described equation (13) can be converted into the following equation (16).
即ち、第2変形例では、動きが異なる画像領域ごとに画素位置x,yを速度固有値VX/VZ,VY/VZを用いて平行移動している。移動ベクトル(u’,v’)は、次の数式(17)で表される。 In other words, in the second modified example, the pixel positions x and y are translated using the velocity eigenvalues V X / V Z and V Y / V Z for each image region with different motion. The movement vector (u ′, v ′) is expressed by the following formula (17).
上の数式(17)の移動ベクトル(u’,v’)は、前述の数式(5)で表される移動ベクトル(u,v)と、式の形が同じであるため、被撮影物が移動している状況でも、画像処理装置20による処理を好適に行うことができる。具体的には、前述した図5に示される被撮影物の姿勢判定処理を好適に行うことができる。
The movement vector (u ′, v ′) in the above equation (17) has the same form as the movement vector (u, v) represented by the above equation (5). Even in a moving situation, the processing by the
なお、上述した処理に加えて、画像処理装置20は、速度固有値S(=VX/VZ)に、カメラ光軸方向の速度Vzを乗算することで、移動物体の横方向の速度VXを算出してもよい。また、画像処理装置20は、速度固有値T(=VY/VZ)に、カメラ光軸方向の速度Vzを乗算することで、移動物体の縦方向の速度VYを算出してもよい。
In addition to the processing described above, the
10…カメラ、20…画像処理装置、22…画像取得部、24…オプティカルフロー算出部、26…偏微分部、28…姿勢判定部、30…実速度算出部、32…実距離算出部、34…前処理部。
DESCRIPTION OF
Claims (10)
前記複数の画像データに基づいて移動ベクトルを算出するオプティカルフロー算出手段と、
前記オプティカルフロー算出手段により算出された移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分手段と、
前記偏微分手段により算出された偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定手段と、
を備えることを特徴とする画像処理装置。 Image acquisition means for acquiring a plurality of image data obtained at different times;
Optical flow calculation means for calculating a movement vector based on the plurality of image data;
Partial differentiation means for partial differentiation of the movement vector calculated by the optical flow calculation means in a predetermined direction to calculate a partial differentiation value of the movement vector;
Posture determination means for determining the posture of the surface constituting the object to be photographed based on the partial differential value calculated by the partial differential means;
An image processing apparatus comprising:
移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略0であり、
移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略0であり、
移動ベクトルの横成分を横方向に偏微分して得た偏微分値と、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値とが略同一である場合に、
前記被撮影物を構成する面が、光軸に対して垂直であることを判定することを特徴とする請求項1に記載の画像処理装置。 The posture determination means includes
The partial differential value obtained by partial differential of the horizontal component of the movement vector in the vertical direction is substantially 0,
The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is approximately 0,
When the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction and the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction are substantially the same,
The image processing apparatus according to claim 1, wherein a surface constituting the object to be photographed is determined to be perpendicular to the optical axis.
移動ベクトルの横成分を縦方向に偏微分して得た偏微分値が略0であり、
移動ベクトルの横成分を横方向に偏微分して得た偏微分値が、移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値の略2倍である場合に、
前記被撮影物を構成する面が、画像データの光軸及び縦方向に平行であることを判定することを特徴とする請求項1に記載の画像処理装置。 The posture determination means includes
The partial differential value obtained by partial differential of the horizontal component of the movement vector in the vertical direction is substantially 0,
When the partial differential value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction is approximately twice the partial differentiation value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction,
The image processing apparatus according to claim 1, wherein the image forming apparatus determines that the surface constituting the object to be photographed is parallel to the optical axis and the vertical direction of the image data.
移動ベクトルの縦成分を横方向に偏微分して得た偏微分値が略0であり、
移動ベクトルの縦成分を縦方向に偏微分して得た偏微分値が、移動ベクトルの横成分を横方向に偏微分して得た偏微分値の略2倍である場合に、
前記被撮影物を構成する面が、画像データの光軸及び横方向に平行であることを判定することを特徴とする請求項1に記載の画像処理装置。 The posture determination means includes
The partial differential value obtained by partial differentiation of the vertical component of the movement vector in the horizontal direction is approximately 0,
When the partial differential value obtained by partial differentiation of the vertical component of the movement vector in the vertical direction is approximately twice the partial differentiation value obtained by partial differentiation of the horizontal component of the movement vector in the horizontal direction,
The image processing apparatus according to claim 1, wherein the surface constituting the object to be photographed is determined to be parallel to the optical axis and the horizontal direction of the image data.
異なる時刻に得られた複数の画像データを取得する画像取得ステップと、
前記複数の画像データに基づいて移動ベクトルを算出するオプティカルフロー算出ステップと、
前記移動ベクトルを所定方向に偏微分して、移動ベクトルの偏微分値を算出する偏微分ステップと、
前記偏微分値に基づいて、被撮影物を構成する面の姿勢を判定する姿勢判定ステップと、を含む画像処理方法。 An image processing method for determining a posture of a surface constituting a subject,
An image acquisition step of acquiring a plurality of image data obtained at different times;
An optical flow calculating step of calculating a movement vector based on the plurality of image data;
A partial differentiation step of partial differentiation of the movement vector in a predetermined direction to calculate a partial differentiation value of the movement vector;
A posture determination step of determining a posture of a surface constituting the object based on the partial differential value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006055340A JP4622889B2 (en) | 2006-03-01 | 2006-03-01 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006055340A JP4622889B2 (en) | 2006-03-01 | 2006-03-01 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007233755A JP2007233755A (en) | 2007-09-13 |
JP4622889B2 true JP4622889B2 (en) | 2011-02-02 |
Family
ID=38554285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006055340A Expired - Fee Related JP4622889B2 (en) | 2006-03-01 | 2006-03-01 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4622889B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615593A (en) * | 2018-11-29 | 2019-04-12 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113570546B (en) * | 2021-06-16 | 2023-12-05 | 北京农业信息技术研究中心 | Fan running state detection method and device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11110566A (en) * | 1997-10-07 | 1999-04-23 | Ntt Data Corp | Method and device for image recognition |
JP2000171250A (en) * | 1998-12-02 | 2000-06-23 | Japan Aviation Electronics Industry Ltd | Method for detecting current position of mobile |
JP2004056763A (en) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and program for monitor |
-
2006
- 2006-03-01 JP JP2006055340A patent/JP4622889B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11110566A (en) * | 1997-10-07 | 1999-04-23 | Ntt Data Corp | Method and device for image recognition |
JP2000171250A (en) * | 1998-12-02 | 2000-06-23 | Japan Aviation Electronics Industry Ltd | Method for detecting current position of mobile |
JP2004056763A (en) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and program for monitor |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615593A (en) * | 2018-11-29 | 2019-04-12 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2007233755A (en) | 2007-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112785702B (en) | SLAM method based on tight coupling of 2D laser radar and binocular camera | |
US10755428B2 (en) | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model | |
JP6197388B2 (en) | Distance measuring device, distance measuring method, and program | |
JP6328327B2 (en) | Image processing apparatus and image processing method | |
JP5023186B2 (en) | Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection | |
EP3159126A1 (en) | Device and method for recognizing location of mobile robot by means of edge-based readjustment | |
US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
JP2019114103A (en) | Object recognition processing device, object recognition processing method and program | |
JP7389729B2 (en) | Obstacle detection device, obstacle detection system and obstacle detection method | |
EP3155369B1 (en) | System and method for measuring a displacement of a mobile platform | |
CN109474817B (en) | Optical sensing device, method and optical detection module | |
JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
JP5396585B2 (en) | Feature identification method | |
CN110720113A (en) | Parameter processing method and device, camera equipment and aircraft | |
JP2010066595A (en) | Environment map generating device and environment map generating method | |
JP4935769B2 (en) | Plane region estimation apparatus and program | |
JP5267100B2 (en) | Motion estimation apparatus and program | |
JP4622889B2 (en) | Image processing apparatus and image processing method | |
CN111256651B (en) | Week vehicle distance measuring method and device based on monocular vehicle-mounted camera | |
JP2017182564A (en) | Positioning device, positioning method, and positioning computer program | |
JP6606340B2 (en) | Image detection apparatus, image detection method, and program | |
CN113011212B (en) | Image recognition method and device and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4622889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |