JP5516376B2 - Position specifying device, position specifying method, and program - Google Patents

Description

本明細書で議論される実施態様は、物体の位置の特定技術に関する。   The embodiments discussed herein relate to object location techniques.

近年、自動車の安全運転を支援する技術として、ドライバから見難い範囲や死角となる汎用の映像をドライバへ提供する技術が各種提案されている。
また、このような安全運転の支援技術として、自車両の周囲に存在する各物体の自車両からの距離を計測し、例えば、その自車両の周囲の三次元画像を生成として表示することで、その周囲の情報をドライバへ違和感なく提供するようなシステムも考えられている。このようなシステムの実現には、自車両の速度に依存しない安定した距離計測の技術と、低廉なコストとが求められる。 2. Description of the Related Art In recent years, various technologies for providing a driver with a general-purpose image that is difficult to see from a driver or a blind spot have been proposed as technologies for supporting safe driving of a car.
In addition, as a safe driving support technology, by measuring the distance of each object around the host vehicle from the host vehicle, for example, by generating and displaying a three-dimensional image around the host vehicle, There is also a system that provides the surrounding information to the driver without a sense of incongruity. Realization of such a system requires stable distance measurement technology that does not depend on the speed of the host vehicle and low cost.

距離計測の手法のひとつとして、ステレオ視を行って得られる視差画像を基に、三角測量の原理により距離を算出するという手法が知られている。例えば、第一技術として、車両に設置した単一の撮像装置で、時系列的に視差付けされた２枚の画像を２つの地点で撮像すると共に当該２地点間の移動データを求め、両画像に映っている立体物までの距離を、三角測量の原理で求めるという技術が知られている。   As one of distance measurement methods, a method of calculating a distance by the principle of triangulation based on a parallax image obtained by performing stereo viewing is known. For example, as a first technique, with a single imaging device installed in a vehicle, two images with time-series parallax are captured at two points, movement data between the two points is obtained, and both images are obtained. A technique is known in which the distance to a three-dimensional object shown in is determined by the principle of triangulation.

また、単眼ステレオと複眼ステレオとを切り替えて、あるいは、周囲の状況（立体物までの距離や車両速度）に応じて両者の重みを調整しつつ当該両者を利用して、両者の欠点を補いつつ、立体物までの距離を精度良く求めるという手法も知られている。例えば、第二技術として、車両の静止時には複眼ステレオのみを用いて立体物までの距離を求める一方、車両が移動しているときには単眼ステレオと複眼ステレオとの各々による距離測定の結果を統合して、立体物までの距離を求めるという技術が知られている。また、例えば、第三技術として、複眼ステレオが使用可能な領域では複眼ステレオを用いて立体物までの距離を求める一方、複眼ステレオが使用できない領域では、単眼ステレオを用いて立体物までの距離を求めるという技術も知られている。   In addition, while switching between monocular stereo and compound eye stereo, or adjusting both weights according to the surrounding situation (distance to the three-dimensional object or vehicle speed), both are used to compensate for the disadvantages of both. There is also known a method for accurately obtaining the distance to a three-dimensional object. For example, as a second technique, when the vehicle is stationary, only the compound eye stereo is used to determine the distance to the three-dimensional object, while when the vehicle is moving, the results of distance measurement by each of the monocular stereo and the compound eye stereo are integrated. A technique for obtaining a distance to a three-dimensional object is known. Also, for example, as a third technique, in a region where compound eye stereo can be used, the distance to the three-dimensional object is obtained using compound eye stereo, while in a region where compound eye stereo cannot be used, the distance to the three-dimensional object is determined using monocular stereo. The technology of seeking is also known.

特開２００７−２６３６５７号公報JP 2007-263657 A

しかしながら、前述した第一技術では、２地点間の移動データが自車両の速度に依存するため、安定した距離計測が難しい。
また、前述した第二技術では、単眼ステレオと複眼ステレオとの両者を使用するため、システムコストが高価なものになる。 However, in the first technique described above, since the movement data between two points depends on the speed of the host vehicle, it is difficult to stably measure the distance.
In the second technique described above, since both monocular stereo and compound eye stereo are used, the system cost becomes high.

また、前述した第二技術及び第三技術で使用される複眼ステレオでは、立体物の位置の推定精度が２台のカメラ間の距離（ベースライン）に依存し、ベースラインを長くするほど距離推定精度が向上する。しかし、２台のカメラを車両に搭載することを考えると、ベースラインを長くすることは難しいため、精度の良い距離計測を行える立体物の存在範囲が、自車両周囲の近距離に限定される。   In the compound-eye stereo used in the second and third techniques described above, the estimation accuracy of the position of the three-dimensional object depends on the distance (baseline) between the two cameras, and the longer the baseline, the longer the distance estimation. Accuracy is improved. However, considering that two cameras are mounted on the vehicle, it is difficult to lengthen the baseline, so the range of three-dimensional objects that can perform accurate distance measurement is limited to a short distance around the host vehicle. .

なお、単眼ステレオでも、自車両が停止している状態から動き出した直後は十分なベースライン長を確保できないために、精度の良い距離計測が行えない。
上述した問題に鑑み、本明細書で後述する位置特定装置は、基準位置からのベースライン長を十分に確保できない位置での撮像画像を用いて行うステレオ視による対象物の位置特定の精度を向上させる。 Even with a monocular stereo, a sufficient baseline length cannot be ensured immediately after the host vehicle starts moving, so accurate distance measurement cannot be performed.
In view of the above-described problems, the position specifying device described later in this specification improves the accuracy of specifying the position of an object by stereo vision using a captured image at a position where the baseline length from the reference position cannot be sufficiently secured. Let

本明細書で後述する位置特定装置のひとつに、撮像位置特定部と対象物位置特定部とを備えるというものがある。ここで、撮像位置特定部は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。そして、対象物位置特定部は、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、ここで、既知位置とは、撮像位置特定部で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。   One of the position specifying devices described later in this specification includes an imaging position specifying unit and an object position specifying unit. Here, the imaging position specifying unit images the position information of the reference position whose position information is known, the reference position image obtained by imaging the object at the reference position, and the object at an arbitrary imaging position. Based on the imaging position image obtained in this way, position information of the imaging position is specified. Then, the object position specifying unit, the position information of the known position, the known position image obtained by imaging the object at the known position, the position information of the imaging position, and the object at the imaging position. Based on the imaging position image obtained by imaging, the position information of the object is specified. Here, the known position is a position where the distance from the imaging position whose position information is specified by the imaging position specifying unit is larger than the reference position and the position information is known. That is.

また、本明細書で後述する位置特定方法のひとつは、まず、任意の撮像位置で対象物を撮像して撮像位置画像を得たときの当該撮像位置の位置情報の特定を撮像位置特定部が行う。なお、この撮像位置の位置情報の特定は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、前述の撮像位置画像とに基づいて行う。次に、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた当該対象物の位置情報の特定を、対象物位置特定部が行う。なお、ここで、既知位置とは、撮像位置特定部が位置情報を特定した撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。   Further, one of the position specifying methods described later in this specification is that the imaging position specifying unit specifies the position information of the imaging position when the imaging position image is obtained by imaging the object at an arbitrary imaging position. Do. The position information of the imaging position is specified by the position information of the reference position where the position information is known, the reference position image obtained by imaging the object at the reference position, and the above-described imaging position image. Based on. Next, position information of a known position, a known position image obtained by imaging the object at the known position, position information of the imaging position, and imaging obtained by imaging the object at the imaging position The target object position specifying unit specifies the position information of the target object based on the position image. Here, the known position is a position where the distance from the imaging position where the imaging position specifying unit specified the position information is larger than the reference position, and the position information is known. That is.

また、本明細書で後述するプログラムのひとつは、以下の処理をコンピュータに行わせる。この処理は、まず、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。そして、次に、既知位置の位置情報と、当該既知位置で前述の対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。ここで、既知位置とは、前述の撮像位置の位置情報の特定によって位置情報を特定した撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。   One of the programs described later in this specification causes a computer to perform the following processing. This process is obtained by first imaging the position information of the reference position whose position information is known, the reference position image obtained by imaging the object at the reference position, and imaging the object at an arbitrary imaging position. Based on the captured image, the position information of the captured position is specified. Then, the position information of the known position, the known position image obtained by imaging the above-described object at the known position, the position information of the imaging position, and the object at the imaging position are imaged. Based on the obtained imaging position image, the position information of the object is specified. Here, the known position is located at a point where the distance from the imaging position where the position information is specified by specifying the position information of the imaging position is larger than the reference position, and the position information is known. It is a certain position.

本明細書で後述する位置特定装置によれば、基準位置からのベースライン長を十分に確保できない位置での撮像画像を用いて行うステレオ視による対象物の位置特定の精度が向上するという効果を奏する。   According to the position specifying device to be described later in this specification, the effect of improving the accuracy of specifying the position of an object by stereo viewing performed using a captured image at a position where the baseline length from the reference position cannot be sufficiently secured. Play.

位置特定装置の一実施例の機能ブロック図である。It is a functional block diagram of one example of a position specifying device. 位置特定装置の別の一実施例の機能ブロック図である。It is a functional block diagram of another example of a position specifying device. アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その１）である。It is an example (the 1) of the structure where the camera is being fixed to the door mirror which can be opened and closed by an actuator. アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その２）である。It is an example (the 2) of the structure where the camera is being fixed to the door mirror which can be opened and closed by an actuator. 第一撮影画像の説明図である。It is explanatory drawing of a 1st picked-up image. 第二撮影画像の説明図である。It is explanatory drawing of a 2nd picked-up image. 図２の位置特定装置における位置特定部による対象物の位置特定の動作を説明する図である。It is a figure explaining the operation | movement of the position specification of the target object by the position specification part in the position specification apparatus of FIG. 位置特定装置の更なる別の一実施例の機能ブロック図である。It is a functional block diagram of another another Example of a position specifying device. 位置特定処理の処理内容を図解したフローチャートである。It is the flowchart which illustrated the processing content of the position specific process. 図７のフローチャートの説明図である。It is explanatory drawing of the flowchart of FIG. 画像取得処理の処理内容を図解したフローチャートである。It is the flowchart which illustrated the processing content of the image acquisition process. 撮像位置特定処理の処理内容を図解したフローチャートである。It is the flowchart which illustrated the processing content of the imaging position specific process. 選択処理の処理内容を図解したフローチャートである。It is the flowchart which illustrated the processing content of the selection process. 位置特定及び距離算出処理の処理内容を図解したフローチャートである。It is the flowchart which illustrated the processing content of position specification and distance calculation processing. コンピュータのハードウェア構成例である。It is a hardware structural example of a computer.

まず図１について説明する。図１は、位置特定装置の一実施例の機能ブロック図である。この位置特定装置は、撮像位置特定部１と対象物位置特定部２とを備えている。
撮像位置特定部１は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。 First, FIG. 1 will be described. FIG. 1 is a functional block diagram of an embodiment of the position specifying device. The position specifying device includes an imaging position specifying unit 1 and an object position specifying unit 2.
The imaging position specifying unit 1 captures the position information of the reference position where the position information is known, a reference position image obtained by imaging the object at the reference position, and the target object at an arbitrary imaging position. Based on the obtained imaging position image, the position information of the imaging position is specified.

対象物位置特定部２は、既知位置の位置情報と、既知位置画像と、撮像位置特定部１で位置情報が特定された撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、ここでの既知位置とは、撮像位置特定部１で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい（長い）地点に位置しており位置情報が既知である位置である。また、既知位置画像とは、当該既知位置で前述の対象物を撮像して得た画像である。   The target object position specifying unit 2 captures the target object with the position information of the known position, the position information of the known position, the position information of the image capturing position whose position information is specified by the image capturing position specifying unit 1, and the image capturing position. Based on the obtained imaging position image, the position information of the object is specified. The known position here is located at a point where the distance from the imaging position whose position information is specified by the imaging position specifying unit 1 is larger (longer) than the reference position, and the position information is known. Position. The known position image is an image obtained by imaging the above-described object at the known position.

この位置特定装置では、撮像位置特定部１で位置情報が特定された撮像位置からの距離が基準位置よりも大きい（長い）地点に位置している既知位置と当該既知位置での既知位置画像とを用いて対象物の位置情報の特定が行われる。一般に、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像の撮像位置間の距離（ベースライン）を長くするほど向上する。従って、図１の位置特定装置による位置特定の精度は、基準位置と基準位置画像とを用いる場合におけるものよりも向上する。   In this position specifying device, a known position located at a point where the distance from the image pickup position whose position information is specified by the image pickup position specifying unit 1 is larger (longer) than the reference position, and a known position image at the known position, The position information of the object is specified using. In general, the accuracy of specifying the position of an object by stereo vision increases as the distance (baseline) between the imaging positions of two images used for specifying the position becomes longer. Therefore, the accuracy of position specification by the position specifying device of FIG. 1 is improved as compared with the case where the reference position and the reference position image are used.

なお、図１に破線を用いて図解したように、この位置特定装置に選択部３を備えるように構成してもよい。
この選択部３は、前述の既知位置が複数存在する場合に、当該複数の既知位置のうちから、対象物位置特定部２による前述の対象物の位置特定の基礎として用いるときの適性を表している所定の条件に合致するものを、前述の選択既知位置として選択する。 In addition, as illustrated using a broken line in FIG. 1, the position specifying device may be configured to include the selection unit 3.
The selection unit 3 represents aptitude when using the plurality of known positions as a basis for specifying the position of the object by the object position specifying unit 2 from the plurality of known positions. The one that matches the predetermined condition is selected as the aforementioned selected known position.

なお、このように構成する場合には、対象物位置特定部２は、選択部３が選択した選択既知位置の位置情報と、選択既知位置画像と、前述の撮像位置の位置情報と、前述の撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、選択既知位置画像とは、選択部３が選択した選択既知位置で前述の対象物を撮像して得た画像である。   In this case, the object position specifying unit 2 includes the position information of the selected known position selected by the selection unit 3, the selected known position image, the position information of the imaging position described above, and the above-described information. Based on the imaging position image, the position information of the object is specified. The selected known position image is an image obtained by imaging the above-described object at the selected known position selected by the selection unit 3.

なお、選択部３による選択既知位置の選択では、例えば、前述の複数の既知位置のうちで、撮像位置特定部１が位置情報を特定した撮像位置からの距離が大きい順序（長い順序）に所定数個を選択するようにする。   In the selection of the selected known position by the selection unit 3, for example, among the plurality of known positions described above, a predetermined distance order from the imaging position at which the imaging position specifying unit 1 specifies the position information (long order) is predetermined. Try to select a few.

前述したように、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像の撮像位置間のベースラインを長くするほど向上する。従って、上述のように、複数の既知位置のうちから、上述の撮像位置からの距離が長いものを選択部３が選択するようにすることで、対象物位置特定部２による対象物の位置特定の精度の更なる向上が期待できる。   As described above, the accuracy of specifying the position of the object in stereo view increases as the baseline between the imaging positions of the two images used for specifying the position becomes longer. Therefore, as described above, the selection unit 3 selects a long distance from the above-described imaging position from among a plurality of known positions, whereby the target position specifying unit 2 specifies the target position. Further improvement in accuracy can be expected.

また、図１に破線を用いて図解したように、この位置特定装置に記録部４を備えるように構成してもよい。この記録部４には、過去に行われた対象物の位置情報の特定結果の履歴が記録されている。なお、この構成においては、選択部３は、複数の既知位置からの選択既知位置の選択を、例えば以下のようにして行う。   Further, as illustrated using a broken line in FIG. 1, the position specifying device may be configured to include the recording unit 4. In the recording unit 4, a history of identification results of position information of the object performed in the past is recorded. In this configuration, the selection unit 3 selects a selected known position from a plurality of known positions as follows, for example.

すなわち、複数の既知位置のうちで、撮像位置特定部１が位置情報を特定した撮像位置を結ぶ線分の垂直二等分線からの、記録部４に記録されている過去の位置情報の特定結果に係る対象物の位置までの距離が短くなる順序に所定数個を、選択するようにしてもよい。   That is, among the plurality of known positions, identification of past position information recorded in the recording unit 4 from a perpendicular bisector connecting the imaging positions where the imaging position specifying unit 1 specifies the position information is specified. You may make it select a predetermined number in order with which the distance to the position of the target object which concerns on a result becomes short.

一般に、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像を撮像した２つの撮像位置からの距離の差が少ないほど向上する。つまり、対象物の位置が、当該２つの撮像位置を結ぶ線分の垂直二等分線に近いほど、当該対象物の位置特定の精度が向上する。従って、上述のようにして選択部３が選択既知位置を選択することで、対象物位置特定部２による対象物の位置特定の精度の更なる向上が期待できる。   Generally, the accuracy of specifying the position of an object by stereo vision improves as the difference in distance from two imaging positions at which two images used for specifying the position are taken is smaller. That is, the closer the position of the object is to the perpendicular bisector of the line connecting the two imaging positions, the more accurate the position specification of the object. Therefore, when the selection unit 3 selects the selection known position as described above, further improvement in the accuracy of the position identification of the object by the object position identification unit 2 can be expected.

なお、選択部３が選択既知位置を複数個選択した場合には、対象物位置特定部２は、対象物についての位置情報の特定を、例えば以下のように行う。
すなわち、対象物位置特定部２は、まず、対象物についての位置情報の特定を、選択部３が選択した複数個の選択既知位置の各々について行う。そして、この特定により得られる複数の位置情報で示される複数の位置の重心を求め、その重心の位置情報を、当該対象物の位置情報の特定結果とする。このようにして、複数個の選択既知位置の各々について特定された複数の位置情報の重心を、当該対象物の位置情報の特定結果とすることで、位置特定の精度の更なる向上が期待できる。 When the selection unit 3 selects a plurality of selected known positions, the object position specifying unit 2 specifies position information about the object as follows, for example.
That is, the object position specifying unit 2 first specifies the position information about the object for each of the plurality of selected known positions selected by the selection unit 3. Then, the center of gravity of a plurality of positions indicated by the plurality of position information obtained by this specification is obtained, and the position information of the center of gravity is used as the result of specifying the position information of the target object. In this way, by using the center of gravity of the plurality of position information specified for each of the plurality of selected known positions as the result of specifying the position information of the object, further improvement in position specifying accuracy can be expected. .

また、選択部３が選択既知位置を複数個選択した場合には、対象物位置特定部２は、対象物についての位置情報の特定を、例えば以下のように行ってもよい。
すなわち、対象物位置特定部２は、対象物についての位置情報の特定を、選択部３が選択した複数個の選択既知位置の各々についてまず行う。次に、この特定により得られる複数の位置情報で示される複数の位置の各々に対して、位置情報の特定に用いた選択既知位置を選択部３が選択したときの選択順序に応じた重み付けを与える。そして、この重み付けが各々与えられた複数の位置の重み付け重心を求め、その重み付け重心の位置情報を、当該対象物の位置情報の特定結果とする。このようにして、複数個の選択既知位置の各々について特定された複数の位置情報に、選択既知位置の選択順序に応じた重みを与えたときの重み付き重心を、当該対象物の位置情報の特定結果とすることで、位置特定の精度の更なる向上が期待できる。 When the selection unit 3 selects a plurality of selected known positions, the object position specifying unit 2 may specify the position information about the object as follows, for example.
That is, the object position specifying unit 2 first specifies position information about the object for each of the plurality of selected known positions selected by the selection unit 3. Next, for each of a plurality of positions indicated by the plurality of position information obtained by this specification, weighting is performed according to the selection order when the selection unit 3 selects the selected known position used for specifying the position information. give. Then, the weighted centroids of a plurality of positions each given this weighting are obtained, and the position information of the weighted centroids is set as the identification result of the position information of the object. In this way, the weighted centroid when the weight according to the selection order of the selected known positions is given to the plurality of position information specified for each of the plurality of selected known positions is the position information of the target object. By making the specific result, further improvement in the accuracy of position specification can be expected.

また、図１に破線を用いて図解したように、この位置特定装置に判定部５を備えるように構成してもよい。判定部５は、前述の基準位置と撮像位置特定部１が特定した撮像位置との間の距離である基線距離と、所定の距離閾値との長短を判定する。なお、この構成においては、対象物位置特定部２は、対象物の位置情報の特定を、例えば以下のものに基づいて行う。   Moreover, you may comprise so that the determination part 5 may be provided in this position specific apparatus as illustrated using the broken line in FIG. The determination unit 5 determines the length of a baseline distance that is a distance between the reference position and the imaging position specified by the imaging position specifying unit 1 and a predetermined distance threshold. In this configuration, the object position specifying unit 2 specifies the position information of the object based on, for example, the following.

まず、基線距離が当該距離閾値よりも短いと判定部５が判定したときには、対象物の位置情報の特定が、選択部３が選択した選択既知位置の位置情報及び選択既知位置画像と、撮像位置特定部１が特定した撮像位置の位置情報及び撮像位置画像とに基づき行われる。一方、基線距離が当該距離閾値よりも長いと判定部５が判定したときには、対象物の位置情報の特定が、基準位置の位置情報及び基準位置画像と、撮像位置特定部１が特定した撮像位置の位置情報及び撮像位置画像とに基づき行われる。   First, when the determination unit 5 determines that the baseline distance is shorter than the distance threshold, the position information of the target is specified by the position information of the selected known position selected by the selection unit 3, the selected known position image, and the imaging position. This is performed based on the position information of the imaging position specified by the specifying unit 1 and the imaging position image. On the other hand, when the determination unit 5 determines that the baseline distance is longer than the distance threshold, the position information of the target is specified as the position information of the reference position and the reference position image, and the imaging position specified by the imaging position specifying unit 1. Based on the position information and the captured position image.

この構成では、上述の基線距離（すなわちベースライン）が、所望の位置特定の精度が得られる距離閾値よりも長い場合には、対象物位置特定部２による対象物の位置情報の特定を、基準位置の位置情報及び基準位置画像を用いて行うというものである。   In this configuration, when the above-described baseline distance (that is, the base line) is longer than a distance threshold value that provides a desired position specifying accuracy, the object position specifying unit 2 specifies the position information of the object as a reference. This is performed using the position information of the position and the reference position image.

なお、図１に破線を用いて図解したように、この位置特定装置に、単一の撮像装置６を更に備えるように構成してもよい。この撮像装置６は、例えば自動車などの移動体に設置されており、前述の基準位置画像、撮像位置画像、及び既知位置画像の全ての撮像を行う。   In addition, as illustrated using a broken line in FIG. 1, the position specifying device may be configured to further include a single imaging device 6. This imaging device 6 is installed in a moving body such as an automobile, for example, and captures all of the above-described reference position image, imaging position image, and known position image.

また、図１に破線を用いて図解したように、この位置特定装置に、距離算出部７を更に備えるように構成してもよい。この距離算出部７は、撮像装置６から前述の対象物までの距離を、対象物位置特定部２が特定した対象物の位置情報と、撮像位置特定部１が特定した撮像位置の位置情報とに基づいて算出する。   In addition, as illustrated using a broken line in FIG. 1, the position specifying device may be further provided with a distance calculating unit 7. The distance calculation unit 7 calculates the distance from the imaging device 6 to the above-described object, the position information of the object specified by the object position specifying unit 2, and the position information of the image pickup position specified by the image pickup position specifying unit 1. Calculate based on

次に、位置特定装置を用いて、自動車周辺の対象物の位置を特定して、当該対象物の当該車両からの距離を求める実施例について、当該自動車が静止している場合の実施例と、静止状態であった当該自動車が移動を開始した直後の場合の実施例とに分けて説明する。   Next, with respect to an example in which the position of an object around the automobile is specified using the position specifying device and the distance of the object from the vehicle is determined, an example in which the automobile is stationary, and This will be described separately from the example in the case where the automobile, which has been stationary, has just started moving.

まず図２について説明する。図２は、位置特定装置の別の一実施例の機能ブロック図である。この図２の位置特定装置は、自動車が静止している場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の当該車両からの距離の算出とを行う。   First, FIG. 2 will be described. FIG. 2 is a functional block diagram of another embodiment of the position specifying device. The position specifying device in FIG. 2 specifies the position of an object around the automobile and calculates the distance of the object from the vehicle when the automobile is stationary.

図２の位置特定装置は、カメラ１１、アクチュエータ１２、アクチュエータ制御部１３、画像取得部１４、画像処理部１５、特徴点追跡結果格納メモリ１６、位置特定部１７、及び距離算出部１８を備えている。   2 includes a camera 11, an actuator 12, an actuator control unit 13, an image acquisition unit 14, an image processing unit 15, a feature point tracking result storage memory 16, a position specification unit 17, and a distance calculation unit 18. Yes.

カメラ１１は対象物を撮像する撮像装置であり、アクチュエータ１２は、このカメラ１１の位置を移動させる。アクチュエータ制御部１３は、アクチュエータ１２によるカメラ１１の移動動作を制御するものである。   The camera 11 is an imaging device that captures an image of an object, and the actuator 12 moves the position of the camera 11. The actuator control unit 13 controls the movement operation of the camera 11 by the actuator 12.

ここで、カメラ１１と、アクチュエータ１２と、アクチュエータ制御部１３との関係について、図３Ａ及び図３Ｂを参照しながら説明する。
図３Ａに図解されているように、カメラ１１は自動車のドアミラー１９の先端部分に固定されており、当該自動車の側方の対象物を撮像する。アクチュエータ１２は、このドアミラー１９の自動開閉動作の駆動用のモータであり、アクチュエータ制御部１３がアクチュエータ１２を制御してドアミラー１９を開閉動作させることで、カメラ１１を移動させることができる。従って、ドアミラー１９を開閉動作させたときのカメラ１１の移動の経路（軌跡）は既知である。 Here, the relationship among the camera 11, the actuator 12, and the actuator control unit 13 will be described with reference to FIGS. 3A and 3B.
As illustrated in FIG. 3A, the camera 11 is fixed to a front end portion of the door mirror 19 of the automobile, and images an object on the side of the automobile. The actuator 12 is a motor for driving the automatic opening / closing operation of the door mirror 19, and the actuator controller 13 controls the actuator 12 to open / close the door mirror 19, thereby moving the camera 11. Therefore, the movement path (trajectory) of the camera 11 when the door mirror 19 is opened and closed is known.

なお、このアクチュエータ制御部１３は、ドアミラー１９が完全に閉じたこと及び完全に開いたことの検出はできるが、開閉動作の途中においてドアミラー１９がどの程度開いているかを検出することはできない。また、ドアミラー１９が完全に閉じたとき及び完全に開いたときのカメラ１１の位置（自動車に対する相対位置及び向き）及びカメラ１１の軌跡は既知であるが、その開閉動作の途中でカメラ１１の位置（軌跡上のどこか）を、知ることはできない。   The actuator control unit 13 can detect that the door mirror 19 is completely closed and fully opened, but cannot detect how much the door mirror 19 is open during the opening / closing operation. Further, the position of the camera 11 (relative position and orientation with respect to the vehicle) and the trajectory of the camera 11 when the door mirror 19 is completely closed and fully opened are known, but the position of the camera 11 during the opening / closing operation is known. You cannot know (somewhere on the trajectory).

カメラ１１は、ドアミラー１９の開閉動作による移動の途中で順次撮像を繰り返す。
画像取得部１４は、カメラ１１が移動しながら複数枚撮像した対象物の画像を取得する。 The camera 11 sequentially repeats imaging while moving by the opening / closing operation of the door mirror 19.
The image acquisition unit 14 acquires images of a plurality of objects captured while the camera 11 is moving.

画像処理部１５は、画像取得部１４が取得した複数枚の画像に対して各種の画像処理を施す。より具体的には、画像処理部１５は、特徴点抽出部１５ａと特徴点追跡部１５ｂとを備えており、いわゆるブロックマッチング処理を行う。   The image processing unit 15 performs various types of image processing on the plurality of images acquired by the image acquisition unit 14. More specifically, the image processing unit 15 includes a feature point extraction unit 15a and a feature point tracking unit 15b, and performs so-called block matching processing.

特徴点抽出部１５ａは、画像取得部１４が取得した撮像画像から部分画像領域（特徴点）の抽出を行う。特徴点抽出部１５ａは、カメラ１１が撮像した対象物が映っている画像領域から特徴点を抽出する。なお、この特徴点を抽出する手法としては、形状の特徴を用いる手法や色彩の特徴を用いる手法など、広く知られている各種の手法を用いることができる。   The feature point extraction unit 15a extracts a partial image region (feature point) from the captured image acquired by the image acquisition unit 14. The feature point extraction unit 15a extracts feature points from an image area in which an object captured by the camera 11 is shown. As a method for extracting the feature points, various well-known methods such as a method using a shape feature and a method using a color feature can be used.

特徴点追跡部１５ｂは、画像取得部１４が取得した２枚の撮像画像から、特徴点抽出部１５ａが抽出した特徴点の類似度が所定の閾値以上で最大の位置を抽出し、２枚の画像間での特徴点の移動を追跡する。   The feature point tracking unit 15b extracts, from the two captured images acquired by the image acquisition unit 14, the maximum position where the similarity between the feature points extracted by the feature point extraction unit 15a is equal to or greater than a predetermined threshold, and Track the movement of feature points between images.

特徴点追跡結果格納メモリ１６は、画像取得部１４が取得した撮像画像と、画像処理部１５による処理結果である、各撮像画像間での特徴点の追跡結果とを格納して記憶しておく記憶装置である。   The feature point tracking result storage memory 16 stores and stores the captured image acquired by the image acquisition unit 14 and the tracking result of the feature point between the captured images, which is the processing result by the image processing unit 15. It is a storage device.

位置特定部１７は、特徴点追跡結果格納メモリ１６に格納されている情報を用いて、カメラ１１が撮像した対象物の位置（自動車に対する相対位置）を特定する。位置特定部１７は第一位置特定部１７ａ及び第二位置特定部１７ｂを備えている。   The position specifying unit 17 uses the information stored in the feature point tracking result storage memory 16 to specify the position of the target (relative position with respect to the car) captured by the camera 11. The position specifying unit 17 includes a first position specifying unit 17a and a second position specifying unit 17b.

第一位置特定部１７ａは、カメラ１１が撮像した対象物のひとつである第一対象物の位置を特定する。この第一対象物の位置の特定は、位置が既知である、ドアミラー１９が完全に閉じたとき及び完全に開いたときの位置（２つの既知点）の各々からカメラ１１が撮像して得た、第一対象物についての２枚の撮像画像（第一撮像画像）に基づいて行われる。   The 1st position specific | specification part 17a specifies the position of the 1st target object which is one of the target objects which the camera 11 imaged. The position of the first object is obtained by the camera 11 taking an image from each of the positions (two known points) when the door mirror 19 is fully closed and fully opened. This is performed based on two captured images (first captured images) of the first object.

第二位置特定部１７ｂは、カメラ１１が撮像した対象物のひとつであって第一対象物とは別のものである第二対象物の位置を特定する。この位置の特定は、第一対象物の位置と、カメラ１１の軌跡上の任意の位置から撮像して得た、第一対象物の像も含まれている第二対象物についての１枚の撮像画像（第二撮像画像）と、第一撮像画像のうち第二対象物の像も含まれているものとに基づいて行われる。   The second position specifying unit 17b specifies the position of a second object that is one of the objects captured by the camera 11 and is different from the first object. This position is specified by one piece of the second object including the image of the first object obtained from the position of the first object and an arbitrary position on the trajectory of the camera 11. This is performed based on the captured image (second captured image) and the first captured image including the image of the second object.

ここで、第一撮影画像及び第二撮影画像について、図４Ａ及び図４Ｂを用いて説明する。
図４Ａ及び図４Ｂは、ドアミラー１９の開閉動作により移動するカメラ１１の視野の変化を図解している。 Here, the first captured image and the second captured image will be described with reference to FIGS. 4A and 4B.
4A and 4B illustrate changes in the field of view of the camera 11 that is moved by opening and closing the door mirror 19.

図４Ａにおいて、［１］はドアミラー１９が完全に閉じたときの視野であり、［２］はドアミラー１９が完全に開いたときの視野であり、［３］はドアミラー１９の開閉動作による軌跡上のある位置での視野である。また、［４］は、［１］の視野と［２］の視野とには重なりがあり、自車両の左側方で立っている人Ｈが、この両者の共通部分に位置していることを表現している。従って、人Ｈの像は、カメラ１１が［１］の視野で撮像した画像と、カメラ１１が［２］の視野で撮像した画像とのどちらにも含まれる。この場合において、人Ｈが第一対象物であり、カメラ１１が［１］及び［２］の各々で撮像して得た２枚の撮像画像が第一撮像画像となり、第一位置特定部１７ａは、この２枚の撮像画像から人Ｈの位置を特定する。   In FIG. 4A, [1] is a field of view when the door mirror 19 is completely closed, [2] is a field of view when the door mirror 19 is fully opened, and [3] is on the locus by the opening / closing operation of the door mirror 19. The field of view at a certain position. [4] indicates that the field of view of [1] and the field of view of [2] overlap, and the person H standing on the left side of the vehicle is located at the common part of both. expressing. Therefore, the image of the person H is included in both the image captured by the camera 11 with the field of view [1] and the image captured by the camera 11 with the field of view [2]. In this case, the person H is the first object, and the two captured images obtained by the camera 11 capturing each of [1] and [2] are the first captured images, and the first position specifying unit 17a. Specifies the position of the person H from the two captured images.

一方、図４Ｂは、それまで完全に閉じていたドアミラー１９の開動作によって、人Ｈのみが含まれていたカメラ１１の視野が変化して、車Ｖの一部も視野内に含むようになった様子を示している。この場合においては、第一位置特定部１７ａが位置の特定を行った人Ｈが第一対象物であり、車Ｖが第二対象物となり、カメラ１１が人Ｈと車Ｖとの両者を視野に含む位置で撮像した撮像画像が第二撮像画像となる。そして、第二位置特定部１７ｂは、第一位置特定部１７ａにより特定された人Ｈの位置と、第二撮像画像と、第一撮像画像のうち車Ｖの像も含まれているもの（図４Ａの［２］の画像）とから、車Ｖの位置を特定する。   On the other hand, in FIG. 4B, the field of view of the camera 11 in which only the person H is included is changed by the opening operation of the door mirror 19 which has been completely closed until then, and a part of the vehicle V is also included in the field of view. It shows the state. In this case, the person H who has specified the position by the first position specifying unit 17a is the first object, the car V is the second object, and the camera 11 views both the person H and the car V. The captured image captured at the position included in the second captured image. The second position specifying unit 17b includes the position of the person H specified by the first position specifying unit 17a, the second captured image, and the image of the car V among the first captured images (see FIG. 4A [2] image), the position of the vehicle V is specified.

なお、上記説明においては、第一対象物と第二対象物とは別個の物体である場合を例としているが、本実施例はこれに限るものではない。第一対象物、第二対象物とも、カメラ１１が撮像した画像上で特定可能な特徴点若しくは特徴領域であれば良い。その意味からすれば、第一対象物及び第二対象物は、同一の物体の異なる部位であっても構わない。例えば、カメラ１１を搭載した車Ｖの側方に、図４Ａの［１］、［２］、［３］いずれの状態でも撮像範囲に存在する、トラックや壁のような長い物体が存在する場合には、その物体の一部分を第一対象物とし、当該一部分とは別の一部分を第二対象物としてもよい。また、カメラ１１を搭載した車Ｖの側方に、図４Ａの［１］、［２］、［３］いずれの状態でも撮像範囲に存在する路面ペイントが存在する場合には、その路面ペイントのある一部分を第一対象物とし、当該一部分とは別の一部分を第二対象物としてもよい。   In addition, in the said description, although the case where a 1st target object and a 2nd target object are separate objects is taken as an example, a present Example is not restricted to this. Both the first object and the second object may be feature points or feature areas that can be identified on the image captured by the camera 11. In that sense, the first object and the second object may be different parts of the same object. For example, when a long object such as a track or a wall exists in the imaging range in any of the states [1], [2], and [3] in FIG. 4A on the side of the vehicle V on which the camera 11 is mounted. Alternatively, a part of the object may be the first object, and a part other than the part may be the second object. Further, if there is road surface paint that exists in the imaging range in any of the states [1], [2], and [3] in FIG. 4A on the side of the vehicle V on which the camera 11 is mounted, A part may be used as the first object, and a part other than the part may be used as the second object.

図２の説明に戻る。
距離算出部１８は、位置特定部１７により特定された第一対象物、第二対象物、第三対象物、…の各対象物についての、カメラ１１が設置されている自動車の所定位置からの距離を算出する。 Returning to the description of FIG.
The distance calculation unit 18 detects the first object, the second object, the third object,... Specified by the position specifying unit 17 from the predetermined position of the automobile where the camera 11 is installed. Calculate the distance.

なお、図２の位置特定部１７は、更に第三位置特定部１７ｃも備えている。第三位置特定部１７ｃは、カメラ１１が撮像した対象物のひとつであって第一対象物及び第二対象物とは別のものである第三対象物の位置を特定する。この特定は、第一対象物の位置と、第一対象物の像も含まれている第三対象物についての１枚の撮像画像（第三撮像画像）と、第一撮像画像のうち第三対象物の像も含まれているものとに基づいて行われる。   The position specifying unit 17 in FIG. 2 further includes a third position specifying unit 17c. The third position specifying unit 17c specifies the position of a third object that is one of the objects captured by the camera 11 and is different from the first object and the second object. This specification includes the position of the first object, one captured image (third captured image) of the third object including the image of the first object, and the third of the first captured images. This is based on what also contains the image of the object.

次に、位置特定部１７による対象物の位置特定の動作について、図５を用いて更に説明する。
図５は、ドアミラー１９を開閉動作させてカメラ１１を移動させながら、対象物Ａ（図５では丸印で表現）、対象物Ｂ（図５では四角印で表現）、及び対象物Ｃ（図５では三角印で表現）を撮像する様子を模式的に表したものである。 Next, the operation of specifying the position of the object by the position specifying unit 17 will be further described with reference to FIG.
FIG. 5 shows the object A (represented by a circle in FIG. 5), the object B (represented by a square in FIG. 5), and the object C (represented in FIG. 5) while moving the camera 11 by opening and closing the door mirror 19. 5 schematically represents a state of imaging (represented by triangular marks).

図５において、Ｐ１、Ｐ２、及びＱｉはカメラ１１の位置を表している。このうちのＰ１及びＰ２は、その位置が既知であり、ドアミラー１９が完全に閉じたとき及び完全に開いたときのカメラ１１の位置である。また、Ｑｉは、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置である。   In FIG. 5, P1, P2, and Qi represent the positions of the camera 11. Of these, P1 and P2 are known positions, and are positions of the camera 11 when the door mirror 19 is completely closed and fully opened. Qi is an arbitrary position on the locus between P1 and P2 drawn by the movement of the camera 11 by the opening / closing operation of the door mirror 19.

また、Ｐ１画像、Ｑｉ画像、及びＰ２画像は、それぞれ、カメラ１１がＰ１、Ｑｉ、及びＰ２の各位置において撮像して得た画像である。ここで、対象物Ａは、位置Ｐ１におけるカメラ１１の視野と位置Ｐ２におけるカメラ１１の視野とのどちらにも含まれる場所に位置しているので、Ｐ１画像、Ｑｉ画像、及びＰ２画像のいずれにも、対象物Ａの像が含まれている。一方、対象物Ｂは位置Ｐ２におけるカメラ１１の視野から外れているため、対象物Ｂの像は、Ｐ１画像及びＱｉ画像には含まれているが、Ｐ２画像には含まれていない。また、対象物Ｃは位置Ｐ１におけるカメラ１１の視野から外れているため、対象物Ｃの像は、Ｑｉ画像及びＰ２画像には含まれているが、Ｐ１画像には含まれていない。   Further, the P1 image, the Qi image, and the P2 image are images obtained by the camera 11 capturing images at positions P1, Qi, and P2, respectively. Here, since the object A is located at a place included in both the field of view of the camera 11 at the position P1 and the field of view of the camera 11 at the position P2, any of the P1 image, the Qi image, and the P2 image is included. Also includes an image of the object A. On the other hand, since the object B is out of the field of view of the camera 11 at the position P2, the image of the object B is included in the P1 image and the Qi image, but is not included in the P2 image. Further, since the object C is out of the field of view of the camera 11 at the position P1, the image of the object C is included in the Qi image and the P2 image, but is not included in the P1 image.

この図５の例において、位置特定部１７が備えている第一位置特定部１７ａ及び第二位置特定部１７ｂは、それぞれ以下のように動作する。
まず、第一位置特定部１７ａは、対象物Ａ（第一対象物）の位置を特定する。第一位置特定部１７ａは、この位置の特定を、位置が既知である２つの既知点Ｐ１及びＰ２の各々からカメラ１１が撮像して得た２枚の撮像画像（第一撮像画像）であるＰ１画像及びＰ２画像に基づいて行う。つまり、第一位置特定部１７ａは、第一撮像画像を視差画像として使用して、前述した三角測量の原理により対象物Ａの位置（特徴点抽出部１５ａが抽出した各特徴点に対応する対象物Ａの各部の位置）を算出することで、その位置を特定する。 In the example of FIG. 5, the first position specifying unit 17 a and the second position specifying unit 17 b included in the position specifying unit 17 operate as follows.
First, the first position specifying unit 17a specifies the position of the object A (first object). The first position specifying unit 17a is two picked-up images (first picked-up images) obtained by the camera 11 picking up images from two known points P1 and P2 whose positions are known. This is performed based on the P1 image and the P2 image. That is, the first position specifying unit 17a uses the first captured image as a parallax image, and the position of the object A (target corresponding to each feature point extracted by the feature point extracting unit 15a by the above-described triangulation principle). By calculating the position of each part of the object A), the position is specified.

第二位置特定部１７ｂは、対象物Ａとは別のものである対象物Ｂ（第二対象物）の位置を特定する。第二位置特定部１７ｂは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｂについての撮像画像であるＱｉ画像（第二撮像画像）と、第一撮像画像のうち対象物Ｂの像が含まれているＰ１画像とに基づいて行う。第二位置特定部１７ｂによる対象物Ｂの位置の特定は、より具体的には、以下のようにして行われる。   The second position specifying unit 17b specifies the position of an object B (second object) that is different from the object A. The second position specifying unit 17b specifies the position of the Qi image (second picked-up image) that is a picked-up image of the target B including the position of the target A already specified and the image of the target A. ) And the P1 image including the image of the object B in the first captured image. More specifically, the position of the object B by the second position specifying unit 17b is performed as follows.

まず、位置Ｐ１から位置Ｑｉまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｉと表し、その並進成分を並進行列Ｔｉと表すものとする。また、第一位置特定部１７ａにより特定された対象物Ａの位置（特徴点抽出部１５ａによりＰ１画像から抽出された対象物Ａ上の特徴点ｍの座標）をＸｒｍと表すものとする。このとき、Ｑｉ画像における対象物Ａの位置（特徴点追跡部１５ｂによる追跡の結果である、Ｑｉ画像における対象物Ａ上の特徴点ｍの座標）Ｘｍは、下記の式［１］により表される。
Ｘｍ＝Ｒｉ（Ｘｒｍ−Ｔｉ）………………式［１］ First, the rotation component of the movement amount of the camera 11 due to the movement from the position P1 to the position Qi is represented as a rotation matrix Ri, and the translation component is represented as a translation column Ti. Further, the position of the object A specified by the first position specifying unit 17a (the coordinates of the feature point m on the object A extracted from the P1 image by the feature point extracting unit 15a) is represented as Xrm. At this time, the position of the object A in the Qi image (the coordinates of the feature point m on the object A in the Qi image, which is the result of tracking by the feature point tracking unit 15b) Xm is expressed by the following equation [1]. The
Xm = Ri (Xrm-Ti) ............ Formula [1]

対象物Ａ上の複数の特徴点について、この式［１］を立て、得られた複数の式に対して最小二乗法を適用することで、Ｒｉ及びＴｉを求める。これにより、既知の位置Ｐ１から位置Ｑｉまでの移動によるカメラ１１の移動量が求まるので、位置Ｑｉを位置Ｐ１に基づき特定することができる。その後、第二位置特定部１７ｂは、既知の位置で撮像したＰ１画像と、特定された位置で撮像したＱｉ画像とを視差画像として使用して、前述した三角測量の原理により対象物Ｂの位置を算出することで、その位置を特定する。   For a plurality of feature points on the object A, the equation [1] is established, and the least square method is applied to the obtained plurality of equations to obtain Ri and Ti. Thereby, since the movement amount of the camera 11 by the movement from the known position P1 to the position Qi is obtained, the position Qi can be specified based on the position P1. Thereafter, the second position specifying unit 17b uses the P1 image captured at the known position and the Qi image captured at the specified position as a parallax image, and the position of the object B according to the above-described triangulation principle. To determine the position.

ところで、第三位置特定部１７ｃは、対象物Ａ及び対象物Ｂとは別のものである対象物Ｃの位置を特定する。図５の例では、第三位置特定部１７ｃは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｃについての撮像画像であるＱｉ画像（第三撮像画像）と、第一撮像画像のうち対象物Ｃの像が含まれているＰ２画像とに基づいて行う。   By the way, the 3rd position specific | specification part 17c specifies the position of the target object C which is different from the target object A and the target object B. FIG. In the example of FIG. 5, the third position specifying unit 17 c specifies the position as Qi, which is a captured image of the target C that includes the position of the target A that has already been specified and an image of the target A. This is performed based on the image (third captured image) and the P2 image including the image of the object C in the first captured image.

位置特定部１７は、このようにして同様の処理を繰り返すことで、複数の対象物の位置特定を次々と行うことができる。   The position specifying unit 17 can successively specify the positions of a plurality of objects by repeating the same process in this way.

なお、カメラ１１での画像の撮像位置は、以下のようにして求めるようにしてもよい。
まず、Ｘｊ及びＸｋを、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置とする。
まず、基準位置Ｘ０から位置Ｘｊまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｊと表し、並進成分を並進行列Ｔｊと表すものとする。また、基準位置Ｘ０から位置Ｘｋまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｋと表し、並進成分を並進行列Ｔｋと表すものとする。 In addition, you may make it obtain | require the imaging position of the image with the camera 11 as follows.
First, let Xj and Xk be arbitrary positions on the trajectory between P1 and P2 drawn when the camera 11 is moved by the opening / closing operation of the door mirror 19.
First, the rotation component of the movement amount of the camera 11 due to the movement from the reference position X0 to the position Xj is represented as a rotation matrix Rj, and the translation component is represented as a translation column Tj. Further, the rotation component of the movement amount of the camera 11 due to the movement from the reference position X0 to the position Xk is represented as a rotation matrix Rk, and the translation component is represented as a translation column Tk.

位置Ｐ１をＸｒと表すと、位置Ｘｊ及び位置Ｘｋは下記の式で表すことができる。
このとき、
Ｘｊ＝Ｒｊ（Ｘ０−Ｔｊ）………………式［２］
Ｘｋ＝Ｒｋ（Ｘ０−Ｔｋ）………………式［３］
上記の［２］式及び［３］からＸ０を消去すると、下記の式［４］が得られる。
Ｘｋ＝ＲｋＲｊ^T ｛Ｘｊ−Ｒｊ（Ｔｋ−Ｔｊ）｝………………式［４］
なお、『Ｒｊ^T』はＲｊの転置行列である。 When the position P1 is represented as Xr, the position Xj and the position Xk can be represented by the following expressions.
At this time,
Xj = Rj (X0−Tj) ………… .Formula [2]
Xk = Rk (X0−Tk) ............ Formula [3]
When X0 is eliminated from the above equations [2] and [3], the following equation [4] is obtained.
^{Xk = RkRj T {Xj-Rj} (Tk-Tj)} .................. formula [4]
“Rj ^T ” is a transposed matrix of Rj.

ここで、Ｒｊｋ＝ＲｋＲｊ^T と置き、Ｔｊｋ＝Ｔｋ−Ｔｊと置くと、下記の式［５］が得られる。
Ｘｋ＝Ｒｊｋ（Ｘｊ−Ｔｊｋ）………………式［５］ Here, every the Rjk = RkRj ^T, putting the Tjk = Tk-Tj, the following formula [5] can be obtained.
Xk = Rjk (Xj-Tjk) ............ Formula [5]

この式［５］を用い、Ｒｊｋ及びＴｊｋを前述したようにして最小二乗法により求めておくことで、先に求まった位置Ｘｊから位置Ｘｋを求めることができる。このようにして、カメラ１１での画像の撮像位置を順次求めるようにしてもよい。   By using this equation [5] and obtaining Rjk and Tjk by the least square method as described above, the position Xk can be obtained from the previously obtained position Xj. In this way, the image pickup position of the camera 11 may be obtained sequentially.

次に図６について説明する。図６は、位置特定装置の更なる別の一実施例の機能ブロック図である。この図２の位置特定装置は、静止状態であった自動車が移動を開始した直後の場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の当該車両からの距離の算出とを行う。   Next, FIG. 6 will be described. FIG. 6 is a functional block diagram of still another embodiment of the position specifying device. The position specifying device in FIG. 2 specifies the position of an object around the automobile and the calculation of the distance of the object from the vehicle immediately after the automobile that has been stationary has just started moving. Do.

図６の位置特定装置は、撮像装置２１、特徴点抽出部２２、特徴点追跡部２３、位置特定部２４、記録装置２５、撮像装置位置特定部２６、撮像装置位置選択部２７、距離算出部２８、及び距離記録装置２９を備えている。   6 includes an imaging device 21, a feature point extraction unit 22, a feature point tracking unit 23, a position specification unit 24, a recording device 25, an imaging device position specification unit 26, an imaging device position selection unit 27, and a distance calculation unit. 28, and a distance recording device 29.

この図６に図解した機能ブロックのうちの撮像装置２１、特徴点抽出部２２、特徴点追跡部２３、及び位置特定部２４は、図２に図解した位置特定装置の各機能ブロックと同一の機能を提供する。   Among the functional blocks illustrated in FIG. 6, the imaging device 21, the feature point extraction unit 22, the feature point tracking unit 23, and the position specifying unit 24 have the same functions as the functional blocks of the position specifying device illustrated in FIG. 2. I will provide a.

より具体的に説明すると、撮像装置２１は、図２の位置特定装置におけるカメラ１１、アクチュエータ１２、アクチュエータ制御部１３、及び画像取得部１４を備えており、図１の位置特定装置における撮像装置６に相当するものである。なお、カメラ１１は、図３Ａ及び図３Ｂに図解したように、アクチュエータ１２により開閉可能な自動車のドアミラー１９に固定されている。なお、本実施例では、カメラ１１は、ドアミラー１９が閉じている状態から、所定の一定時間間隔で、当該自動車の周囲の画像を撮像し続ける。   More specifically, the imaging device 21 includes the camera 11, the actuator 12, the actuator control unit 13, and the image acquisition unit 14 in the position specifying device in FIG. 2, and the imaging device 6 in the position specifying device in FIG. 1. It is equivalent to. In addition, the camera 11 is being fixed to the door mirror 19 of the motor vehicle which can be opened and closed by the actuator 12, as illustrated in FIG. 3A and FIG. 3B. In the present embodiment, the camera 11 continues to capture images around the car at predetermined time intervals from the state in which the door mirror 19 is closed.

また、特徴点抽出部２２、特徴点追跡部２３、及び位置特定部２４は、それぞれ、図２における特徴点抽出部１５ａ、特徴点追跡部１５ｂ、及び位置特定部２４と同一の機能を有している。   Further, the feature point extraction unit 22, the feature point tracking unit 23, and the position specifying unit 24 have the same functions as the feature point extracting unit 15a, the feature point tracking unit 15b, and the position specifying unit 24 in FIG. ing.

記録装置２５は、図２の特徴点追跡結果格納メモリ１６に記憶されるものと同一の記憶データを記憶する。加えて、記録装置２５は、自動車が静止状態であるときに位置特定部２４により行われる対象物の位置の特定の処理の途中で特定がされる、図５における撮影位置Ｑｉの位置情報の格納も行う。前述したように、撮影位置Ｑｉは、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の位置である。更に、記録装置２５には、この図６の位置特定装置によって過去に行われた対象物の位置情報の特定結果の履歴も記録される。つまり、この記録装置２５により、図１の位置特定装置における記録部４に相当する機能が提供される。   The recording device 25 stores the same storage data as that stored in the feature point tracking result storage memory 16 of FIG. In addition, the recording device 25 stores the position information of the shooting position Qi in FIG. 5 that is specified during the process of specifying the position of the object performed by the position specifying unit 24 when the automobile is stationary. Also do. As described above, the photographing position Qi is a position on the locus between P1 and P2 drawn by the camera 11 moving by the opening / closing operation of the door mirror 19. Further, the recording device 25 also records the history of the result of specifying the position information of the object performed in the past by the position specifying device of FIG. That is, the recording device 25 provides a function corresponding to the recording unit 4 in the position specifying device of FIG.

以上のように、図６の位置特定装置では、図２の位置特定装置と同様にして、自動車が静止していた場合における対象物の位置の特定が予め行われる。この結果、図５における位置Ｐ１から位置Ｐ２に至る区間上の複数の位置Ｑｉの位置情報は既知のものとなり、これらの位置Ｐ１、位置Ｐ２、及び位置Ｑｉの位置情報とこれらの各位置でカメラ１１が撮像した対象物の撮像画像とが、記録装置２５に格納される。   As described above, the position specifying device in FIG. 6 specifies the position of the object in advance when the automobile is stationary in the same manner as the position specifying device in FIG. As a result, the position information of the plurality of positions Qi on the section from the position P1 to the position P2 in FIG. 5 becomes known, and the position information of these positions P1, P2, and Qi and the camera at each of these positions. The captured image of the object captured by 11 is stored in the recording device 25.

撮像装置位置特定部２６は、自動車が移動を開始して以降にカメラ１１が所定の一定時間間隔で当該自動車の周囲の画像を撮像したときの撮像位置の特定を行う。この撮像装置位置特定部２６により、図１の位置特定装置における撮像位置特定部１に相当する機能が提供される。   The imaging device position specifying unit 26 specifies an imaging position when the camera 11 captures images around the automobile at predetermined time intervals after the automobile starts moving. The imaging device position specifying unit 26 provides a function corresponding to the imaging position specifying unit 1 in the position specifying device of FIG.

撮像装置位置選択部２７は、撮像装置位置特定部２６が特定した撮像位置の位置情報と当該撮像位置での撮像画像とに基づいた自動車周囲の対象物の位置の特定のための使用に適切な撮影位置の既知の撮影位置からの選択を、対象物の位置特定の精度の観点から行う。この撮像装置位置選択部２７により、図１の位置特定装置における選択部３及び判定部５の各々に相当する機能が提供される。   The imaging device position selection unit 27 is suitable for use for specifying the position of the object around the vehicle based on the position information of the imaging position specified by the imaging device position specifying unit 26 and the captured image at the imaging position. The selection of the shooting position from the known shooting positions is performed from the viewpoint of the accuracy of specifying the position of the object. The imaging device position selection unit 27 provides functions corresponding to the selection unit 3 and the determination unit 5 in the position specifying device of FIG.

距離算出部２８は、対象物の位置を特定して、自動車から当該対象物までの距離を算出する。この位置の特定は、撮像装置位置特定部２６が特定した撮像位置の位置情報、当該撮像位置での撮像画像、撮像装置位置選択部２７が選択した撮影位置の位置情報、及び当該選択された撮影位置での撮像画像を用いて行われる。この距離算出部２８により、図１の位置特定装置における対象物位置特定部２及び距離算出部７の各々に相当する機能が提供される。   The distance calculation unit 28 specifies the position of the object and calculates the distance from the automobile to the object. This position is specified by the position information of the image pickup position specified by the image pickup apparatus position specifying unit 26, the image taken at the image pickup position, the position information of the shooting position selected by the image pickup apparatus position selecting unit 27, and the selected shooting. This is performed using a captured image at a position. The distance calculation unit 28 provides a function corresponding to each of the object position specifying unit 2 and the distance calculating unit 7 in the position specifying device of FIG.

距離記録装置２９は、距離算出部２８により算出した、撮像装置位置特定部２６が特定した撮像位置における、対象物についての位置と自動車からの距離とを記録しておく記録装置である。   The distance recording device 29 is a recording device that records the position of the object and the distance from the vehicle at the imaging position specified by the imaging device position specifying unit 26 calculated by the distance calculating unit 28.

次に、図６の位置特定装置による、静止状態であった自動車が移動を開始して以降の当該自動車周辺の対象物の位置の特定処理の処理手順について、図７及び図８を用いて説明する。図７は、図６の位置特定装置によって行われる、位置特定処理の処理内容を図解したフローチャートであり、図８は、図７のフローチャートの説明図である。   Next, with reference to FIGS. 7 and 8, a processing procedure for specifying the position of an object around the automobile after the automobile in a stationary state starts moving by the position specifying device in FIG. 6 will be described. To do. FIG. 7 is a flowchart illustrating the processing contents of the position specifying process performed by the position specifying device of FIG. 6, and FIG. 8 is an explanatory diagram of the flowchart of FIG.

なお、図７の処理の開始時には、図２の位置特定装置と同様の手法により、自動車が静止している場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の位置の特定とが既に完了しているものとする。従って、記録装置２５には、図８における静止区間内の複数の位置の位置情報、当該複数の位置でのカメラ１１による撮像画像、及び、位置特定部２４による、対象物の位置情報の特定結果の履歴が既に記録されているものとする。   At the start of the process of FIG. 7, the position of the object around the car and the position of the object are identified when the car is stationary by the same method as the position specifying device of FIG. And have already been completed. Therefore, in the recording device 25, position information of a plurality of positions in the still section in FIG. 8, images captured by the camera 11 at the plurality of positions, and a result of specifying the position information of the object by the position specifying unit 24 It is assumed that the history of is already recorded.

なお、図８に示されている静止区間とは、静止状態の自動車Ｖのドアミラー１９の開閉動作によりカメラ１１（図８では図示を省略している。）が移動することで描かれる軌跡の区間である。また、図８に示されている走行開始区間とは、ドアミラー１９が完全に開いた状態で自動車Ｖが静止状態から走行を開始したことによって移動するカメラ１１が描く軌跡の区間である。   Note that the stationary section shown in FIG. 8 is a section of a trajectory drawn when the camera 11 (not shown in FIG. 8) is moved by the opening / closing operation of the door mirror 19 of the stationary vehicle V. It is. Further, the travel start section shown in FIG. 8 is a section of a trajectory drawn by the camera 11 that moves when the automobile V starts traveling from a stationary state with the door mirror 19 fully opened.

なお、図７の処理は、自動車Ｖが走行を開始すると開始される。
図７において、まず、ステップ１では、基準位置を設定する処理を撮像装置位置特定部２６が行う。この処理では、静止区間と走行開始区間の境界点、すなわち、自動車Ｖが静止状態であり且つドアミラー１９が完全に開いた状態であるときのカメラ１１の位置を基準位置に設定する処理が行われる。なお、前に説明した図５においては、ドアミラー１９が完全に開いた状態であるときのカメラ１１の位置をＰ２と表示していたが、図８では、この位置を、基準位置Ｐ０と改めて表示している。 Note that the processing in FIG. 7 is started when the automobile V starts running.
In FIG. 7, first, in step 1, the imaging device position specifying unit 26 performs processing for setting a reference position. In this process, a process is performed for setting the position of the camera 11 as the reference position when the vehicle V is stationary and the door mirror 19 is fully open, that is, the boundary point between the stationary section and the travel start section. . In FIG. 5 described above, the position of the camera 11 when the door mirror 19 is fully opened is displayed as P2. In FIG. 8, this position is displayed again as the reference position P0. doing.

次に、ステップ２では、画像取得処理を撮像装置２１、特徴点抽出部２２、及び特徴点追跡部２３が行う。この処理は、自動車Ｖの周囲の画像をカメラ１１に撮像させ、得られた撮像画像から対象物Ａの像にける特徴点の抽出を行い、得られた撮像画像と基準位置で撮像していた撮像画像（基準位置画像）との間での特徴点の移動を追跡する処理である。この画像取得処理により得られる撮像画像と特徴点の追跡結果とは、記録装置２５に格納される。   Next, in step 2, the image acquisition process is performed by the imaging device 21, the feature point extraction unit 22, and the feature point tracking unit 23. In this process, an image around the automobile V is picked up by the camera 11, feature points in the image of the object A are extracted from the obtained picked-up image, and picked up at the picked-up image and the reference position. This is a process of tracking the movement of the feature point between the captured image (reference position image). The captured image obtained by this image acquisition process and the tracking result of the feature points are stored in the recording device 25.

次に、ステップ３では、ステップ２の処理により撮像が行われたときのカメラ１１の位置（撮像位置）の位置情報を特定する撮像位置特定処理を撮像装置位置特定部２６が行う。この処理は、撮像位置の位置情報の特定を、基準位置の位置情報と、基準位置画像と、当該撮像位置でのカメラ１１の撮像により得られた画像（撮像位置画像）とに基づいて行う処理である。図８では、この処理により位置情報が特定された撮像位置を、Ｐ１と表示している。   Next, in step 3, the imaging device position specifying unit 26 performs an imaging position specifying process for specifying the position information of the position (imaging position) of the camera 11 when the imaging is performed by the processing in step 2. In this process, the position information of the imaging position is specified based on the position information of the reference position, the reference position image, and an image (imaging position image) obtained by imaging of the camera 11 at the imaging position. It is. In FIG. 8, the imaging position whose position information is specified by this processing is displayed as P1.

次に、ステップ４では、基準位置Ｐ０を含む静止区間内の複数の撮像位置から所定の条件に合致する撮像位置を選択する選択処理を撮像装置位置選択部２７が行う。この処理は、前述の撮像位置Ｐ１と当該撮像位置Ｐ１での撮像位置画像とに基づいて対象物Ａの位置の特定を行う場合の位置特定の基礎として用いる適性を有している撮像位置を、当該静止区間内の複数の撮像位置から選択する処理である。   Next, in step 4, the imaging device position selection unit 27 performs a selection process of selecting an imaging position that matches a predetermined condition from a plurality of imaging positions within a still section including the reference position P0. In this process, an imaging position having aptitude to be used as a basis for position identification when the position of the object A is identified based on the above-described imaging position P1 and the imaging position image at the imaging position P1. This is a process of selecting from a plurality of imaging positions within the still section.

次に、ステップ５では、対象物Ａの位置の特定、及び、ステップ３の処理で特定された撮像位置から対象物Ａの位置までの距離の算出の処理を、距離算出部２８が行う。この処理は、ステップ４の処理により選択された撮像位置及び当該選択された撮像位置と、前述の撮像位置Ｐ１と当該撮像位置Ｐ１での撮像位置画像とに基づいて対象物Ａの位置の特定と距離の算出とを行う処理である。このステップ５の位置特定及び距離算出処理を終えると、図７の位置特定処理が終了する。   Next, in step 5, the distance calculation unit 28 performs the process of specifying the position of the object A and calculating the distance from the imaging position specified in the process of step 3 to the position of the object A. This process is performed by specifying the position of the object A based on the imaging position selected by the process of step 4 and the selected imaging position, and the imaging position P1 and the imaging position image at the imaging position P1. This is a process for calculating the distance. When the position specifying and distance calculating process in step 5 is finished, the position specifying process in FIG. 7 is ended.

次に、図７の位置特定処理におけるステップ２からステップ５までの各処理の詳細について説明する。
まず図９について説明する。図９は、図７におけるステップ２の処理である、画像取得処理の処理内容を図解したフローチャートである。 Next, details of each process from step 2 to step 5 in the position specifying process of FIG. 7 will be described.
First, FIG. 9 will be described. FIG. 9 is a flowchart illustrating the processing content of the image acquisition processing, which is the processing of step 2 in FIG.

図９において、まず、Ｓ２０１では、撮像処理を撮像装置２１が行う。この処理は、図８における撮像位置Ｐ１に位置しているカメラ１１に、対象物Ａを含む自動車Ｖ周囲の画像を撮像させ、得られた撮像位置画像を記録装置２５に格納する処理である。   In FIG. 9, first, in S201, the imaging device 21 performs an imaging process. This process is a process of causing the camera 11 located at the imaging position P1 in FIG. 8 to capture an image around the automobile V including the object A, and storing the obtained imaging position image in the recording device 25.

次に、Ｓ２０２では、特徴点抽出処理を特徴点抽出部２２が行う。この処理は、Ｓ２０１の処理により取得された画像における対象物Ａの像から特徴点を抽出する処理である。なお、この特徴点を抽出する手法としては、図２の特徴点抽出部１５ａと同様に、形状の特徴を用いる手法や色彩の特徴を用いる手法など、広く知られている各種の手法を用いることができる。   In step S202, the feature point extraction unit 22 performs feature point extraction processing. This process is a process of extracting feature points from the image of the object A in the image acquired by the process of S201. As a method for extracting the feature points, various well-known methods such as a method using a shape feature and a method using a color feature are used as in the feature point extraction unit 15a in FIG. Can do.

次に、Ｓ２０３では、特徴点追跡処理を特徴点追跡部２３が行う。この処理では、まず、基準位置Ｐ０において撮像された基準位置画像を記録装置２５から読み出す処理が行われる。次に、この基準位置画像とＳ２０１の処理により撮像位置Ｐ１において撮像された撮像位置画像とから、Ｓ２０２の処理で抽出された特徴点の類似度が所定の閾値以上で最大の位置を抽出する処理が行われる。そして次に、抽出された位置を、当該特徴点についての、基準位置画像から撮像位置画像への追跡結果として取得する処理が行われる。   In step S203, the feature point tracking unit 23 performs feature point tracking processing. In this process, first, a process of reading a reference position image captured at the reference position P0 from the recording device 25 is performed. Next, a process of extracting the maximum position where the similarity of the feature points extracted in the process of S202 is equal to or greater than a predetermined threshold from the reference position image and the captured position image captured at the imaging position P1 by the process of S201. Is done. Then, a process of acquiring the extracted position as a tracking result from the reference position image to the captured position image for the feature point is performed.

次に、Ｓ２０４では、Ｓ２０３の処理により得られた、基準位置画像から撮像位置画像への特徴点の追跡結果を、当該撮像位置画像に対応付けて記録装置２５に格納して保存する処理を特徴点追跡部２３が行う。その後は図９の画像取得処理が終了する。   Next, in S204, the process of storing the feature point tracking result from the reference position image to the imaging position image obtained by the processing in S203 in association with the imaging position image and storing it in the recording device 25 is characterized. This is performed by the point tracking unit 23. After that, the image acquisition process in FIG. 9 ends.

次に図１０について説明する。図１０は、図７におけるステップ３の処理である、撮像位置特定処理の処理内容を図解したフローチャートである。
図１０において、まず、Ｓ３０１では、ステップ２の画像取得処理によって記録装置２５に保存されている基準位置画像から撮像位置画像への特徴点の追跡結果を読み出す処理を撮像装置位置特定部２６が行う。 Next, FIG. 10 will be described. FIG. 10 is a flowchart illustrating the processing content of the imaging position specifying process, which is the process of step 3 in FIG.
In FIG. 10, first, in S301, the imaging device position specifying unit 26 performs a process of reading the tracking result of the feature point from the reference position image stored in the recording device 25 to the imaging position image by the image acquisition process in Step 2. .

次に、Ｓ３０２では、Ｓ３０１の処理で得られた追跡結果に基づき、基準位置Ｐ０から撮像位置Ｐ１に至るまでのカメラ１１の移動量の回転成分を表す回転行列Ｒを算出する処理を撮像装置位置特定部２６が行う。そして、続くＳ３０３において、Ｓ３０１の処理で得られた追跡結果に基づき、基準位置Ｐ０から撮像位置Ｐ１に至るまでのカメラ１１の移動量の並進成分を表す並進行列Ｔを算出する処理を撮像装置位置特定部２６が行う。   Next, in S302, a process of calculating a rotation matrix R representing a rotation component of the movement amount of the camera 11 from the reference position P0 to the imaging position P1 is performed based on the tracking result obtained in the process of S301. The identification unit 26 performs this. In the subsequent S303, a process of calculating a translation sequence T representing a translational component of the movement amount of the camera 11 from the reference position P0 to the imaging position P1 is performed based on the tracking result obtained in the process of S301. The identification unit 26 performs this.

次に、Ｓ３０４では、基準位置Ｐ０の位置情報と、Ｓ３０２及びＳ３０３の処理により算出されたカメラ１１の移動量を表す回転行列Ｒ及び並進行列Ｔとに基づいて、撮像位置Ｐ１の位置情報を特定する処理を撮像装置位置特定部２６が行う。その後は図１０の撮像位置特定処理が終了する。   Next, in S304, the position information of the imaging position P1 is specified based on the position information of the reference position P0, the rotation matrix R representing the movement amount of the camera 11 calculated by the processing in S302 and S303, and the parallel progression T. The imaging device position specifying unit 26 performs the processing to be performed. Thereafter, the imaging position specifying process in FIG. 10 ends.

以上のＳ３０２からＳ３０４にかけての処理内容を更に説明する。なお、ここでは、エピポーラ幾何（epipolar geometry）を利用した撮像位置Ｐ１の位置情報の特定手法について説明する。   The processing contents from S302 to S304 will be further described. Here, a method for specifying the position information of the imaging position P1 using epipolar geometry will be described.

まず、基準位置画像上における特徴点の位置を、
と表し、この特徴点についての、撮像位置画像上における対応位置を、
と表す。 First, the position of the feature point on the reference position image is
The corresponding position on the imaging position image for this feature point,
It expresses.

このとき、エピポーラ拘束（epipolar constraints）により、基礎行列（fundamental matrix）Ｆについて
が成り立つので、基礎行列Ｆを
と表すと、
が成り立つ。 At this time, with respect to the fundamental matrix F due to epipolar constraints
Therefore, the fundamental matrix F is
And
Holds.

そこで、基準位置画像と撮像位置画像とから両者間で対応する特徴点を８組以上抽出し、それらの各組の特徴点の位置データについて最小二乗法を適用することで基礎行列Ｆを導出する。   Therefore, eight or more sets of feature points corresponding to the two are extracted from the reference position image and the captured position image, and the basic matrix F is derived by applying the least square method to the position data of the feature points of each set. .

次に、カメラ１１の内部パラメータＫが既知であるとして、下記の式に従って基礎行列Ｆの正規化を行い、基本行列（essential matrix）Ｅを得る。   Next, assuming that the internal parameter K of the camera 11 is known, the basic matrix F is normalized according to the following equation to obtain an essential matrix E.

ここで、基準位置画像から撮像位置画像に至るまでの画像間の幾何関係の並進ベクトルをｔとすると、基本行列Ｅについて、   Here, assuming that the translation vector of the geometric relationship between the images from the reference position image to the captured position image is t, for the basic matrix E,

が成り立つ。 Holds.

次に、
の固有値分解を行って、最小の固有値に対応する固有ベクトルｅを導出する。 next,
Eigenvalue decomposition is performed to derive an eigenvector e corresponding to the smallest eigenvalue.

すると、
の関係から、
が得られる。 Then
From the relationship
Is obtained.

ここで、前述の回転行列Ｒについて、
の関係があるので、この関係から回転行列Ｒが得られる。 Here, for the rotation matrix R described above,
Therefore, the rotation matrix R is obtained from this relationship.

次に、並進行列Ｔの算出手法について説明する。
まず、基準位置画像上の特徴点のうち、自動車が静止状態であるときに行われた処理によって基準位置Ｐ０からの距離が既知であるものを
と表す。また、基準位置画像上の特徴点に対応する撮像位置画像上での特徴点を、
と表す。 Next, a method for calculating the parallel progression T will be described.
First, among the feature points on the reference position image, those whose distance from the reference position P0 is known by processing performed when the automobile is stationary.
It expresses. In addition, the feature point on the imaging position image corresponding to the feature point on the reference position image is
It expresses.

このｐ_i とｑ_j とにおいて、対応付けができたものの集合をそれぞれ、
及び
と表す。更に、ｐ_k についての現実の三次元空間上での位置を、
と表し、その基準位置画像上での位置を
と表す。そして、ｑ_k についての現実の三次元空間上での位置を、
と表し、その撮像位置画像上での位置を
と表す。 In p _i and q _j , a set of correspondences can be obtained respectively.
as well as
It expresses. Furthermore, the position on the three-dimensional space of the real for p _k,
And the position on the reference position image
It expresses. And the position of q _{k in} the real 3D space is
And the position on the imaging position image
It expresses.

このとき、下記の３つの式が成り立つ。   At this time, the following three expressions hold.

ここで、並進行列Ｔを、未知数ｌを用いて
と表し、更に、
と置くと、［数２０］は以下のように整理できる。 Here, using the unknown l as the parallel progression T
In addition,
[Equation 20] can be organized as follows.

この［数２３］におけるｌの値を、最小二乗法を用いて決定し、得られたｌの値を［数２１］に代入することで、並進行列Ｔが求まる。   The value of l in [Equation 23] is determined using the least square method, and the obtained l value is substituted into [Equation 21], whereby the parallel progression T is obtained.

以上のようにして算出された回転行列Ｒ及び並進行列Ｔに相当する移動量だけ、基準位置Ｐ０を移動させる計算を行うことで、撮像位置Ｐ１の位置情報が特定される。
撮像装置位置特定部２６による撮像位置Ｐ１の位置情報の特定は、例えば以上のようにして行われる。この特定結果は、距離記録装置２９に記録される。 The position information of the imaging position P1 is specified by performing the calculation for moving the reference position P0 by the movement amount corresponding to the rotation matrix R and the parallel progression T calculated as described above.
The specification of the position information of the image pickup position P1 by the image pickup apparatus position specifying unit 26 is performed as described above, for example. This identification result is recorded in the distance recording device 29.

次に図１１について説明する。図１１は、図７におけるステップ４の処理である、選択処理の処理内容を図解したフローチャートである。
図１１において、まず、Ｓ４０１では、ステップ３の撮像位置特定処理によって算出されたカメラ１１の移動量（基準位置Ｐ０から撮像位置Ｐ１までの移動量）を撮像装置位置特定部２６から取得する処理を撮像位置選択部２７が行う。 Next, FIG. 11 will be described. FIG. 11 is a flowchart illustrating the processing contents of the selection process, which is the process of step 4 in FIG.
In FIG. 11, first, in step S <b> 401, a process of acquiring the movement amount of the camera 11 (movement amount from the reference position P <b> 0 to the imaging position P <b> 1) calculated by the imaging position specifying process in step 3 from the imaging device position specifying unit 26. The imaging position selection unit 27 performs this.

次に、Ｓ４０２では、Ｓ４０１の処理によって取得したカメラ１１の移動量が、所定の距離閾値以上であるか否かを判定する処理を撮像位置選択部２７が行う。この処理により、基準位置Ｐ０と撮像位置Ｐ１との間の距離である基線距離と、当該距離閾値との長短を判定する処理が行われる。   Next, in S402, the imaging position selection unit 27 performs a process of determining whether or not the movement amount of the camera 11 acquired by the process of S401 is greater than or equal to a predetermined distance threshold. By this process, a process of determining the length of the base line distance, which is the distance between the reference position P0 and the imaging position P1, and the distance threshold is performed.

このＳ４０２の判定処理において、カメラ１１の移動量（基線距離）が所定の距離閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ４０３に処理が進む。そして、Ｓ４０３において、基準位置Ｐ０を選択する処理を撮像位置選択部２７が行い、その後は図１１の選択処理が終了する。つまり、撮像位置選択部２７は、所望の位置特定の精度が得られる距離閾値よりも基線距離が長いと判定した場合には、距離算出部２８による対象物Ａの位置情報の特定を、基準位置Ｐ０の位置情報及び基準位置画像を用いて行わせるようにする。従って、この処理の後に行われる図７のステップ５の処理では、距離算出部２８は、対象物Ａの位置情報の特定を、基準位置Ｐ０の位置情報と、基準位置画像と、撮像位置Ｐ１の位置情報と、撮像位置画像とに基づいて行うことになる。   In the determination process of S402, when it is determined that the movement amount (baseline distance) of the camera 11 is equal to or greater than a predetermined distance threshold (when the determination result is Yes), the process proceeds to S403. In step S403, the imaging position selection unit 27 performs a process of selecting the reference position P0. Thereafter, the selection process of FIG. 11 ends. In other words, when the imaging position selection unit 27 determines that the baseline distance is longer than the distance threshold that provides the desired position specifying accuracy, the position calculation unit 28 specifies the position information of the object A as the reference position. This is performed using the position information of P0 and the reference position image. Therefore, in the process of step 5 of FIG. 7 performed after this process, the distance calculation unit 28 specifies the position information of the object A, the position information of the reference position P0, the reference position image, and the imaging position P1. This is performed based on the position information and the captured position image.

一方、Ｓ４０２の判定処理において、カメラ１１の移動量（基線距離）が所定の距離閾値未満であると判定されたとき（判定結果がＮｏのとき）には、Ｓ４０４に処理が進む。そして、Ｓ４０４において、位置情報が記録装置２５に記録されている図８の静止区間内の複数の位置から、後述する所定の条件に合致するものを選択する処理を撮像位置選択部２７が行い、その後は図１１の選択処理が終了する。つまり、撮像位置選択部２７は、所当該距離閾値よりも基線距離が短いと判定した場合には、距離算出部２８による対象物Ａの位置情報の特定を、このＳ４０４の処理により選択された位置の位置情報及び当該位置で撮像された画像を用いて行わせるようにする。従って、この処理の後に行われる図７のステップ５の処理では、距離算出部２８は、対象物Ａの位置情報の特定を、この位置の情報と、この位置での撮像画像と、撮像位置Ｐ１の位置情報と、撮像位置画像とに基づいて行うことになる。   On the other hand, in the determination process of S402, when it is determined that the movement amount (baseline distance) of the camera 11 is less than the predetermined distance threshold (when the determination result is No), the process proceeds to S404. In S404, the imaging position selection unit 27 performs a process of selecting a position that matches a predetermined condition described later from a plurality of positions in the still section of FIG. After that, the selection process in FIG. 11 ends. That is, when the imaging position selection unit 27 determines that the baseline distance is shorter than the distance threshold, the position calculation unit 28 specifies the position information of the object A by the process of S404. The position information and the image captured at the position are used. Therefore, in the process of Step 5 of FIG. 7 performed after this process, the distance calculation unit 28 specifies the position information of the object A, the position information, the captured image at this position, and the imaging position P1. This is performed based on the position information and the captured position image.

なお、図８を参照すれば明らかなように、位置情報が記録装置２５に記録されている静止区間内の複数の位置は、いずれも、撮像位置Ｐ１からの距離が、基準位置Ｐ０よりも大きい（長い）地点に位置している。従って、これらの静止区間内の複数の位置は、図１の位置特定装置についての説明に使用していた既知位置の一例である。以下の説明では、これらの静止区間内の位置を『既知位置』と称することとし、当該既知位置で対象物Ａを撮像して得た画像を『既知位置画像』と称することとする。更に、Ｓ４０４の処理により選択された既知位置を『選択既知位置』と称することとし、当該選択既知位置で対象物Ａを撮像して得た画像を『選択既知位置画像』と称することとする。   Note that, as is clear from FIG. 8, any of the plurality of positions in the still section where the position information is recorded in the recording device 25 has a distance from the imaging position P1 that is greater than the reference position P0. Located at (long) point. Therefore, the plurality of positions in these stationary sections are examples of known positions used in the description of the position specifying device in FIG. In the following description, the positions in these still sections are referred to as “known positions”, and an image obtained by imaging the object A at the known positions is referred to as a “known position image”. Furthermore, the known position selected by the process of S404 is referred to as “selected known position”, and an image obtained by imaging the object A at the selected known position is referred to as “selected known position image”.

次に、Ｓ４０４の処理における選択の基準とする条件について説明する。この条件は、距離算出部２８による対象物Ａの位置特定の基礎として用いるときの適性を表しているものであり、例えば以下の２つの条件を挙げることができる。   Next, the conditions used as the selection criterion in the process of S404 will be described. This condition represents suitability when used as a basis for specifying the position of the object A by the distance calculation unit 28. For example, the following two conditions can be given.

まず、第一の条件は、複数の既知位置のうちで、撮像位置Ｐ１からの距離が最長であることである。
このような既知位置を選択すれば、対象物Ａの位置特定に用いる２枚の画像の撮像位置間（すなわち撮像位置Ｐ１と選択既知位置との間）のベースラインが最長となる。従って、距離算出部２８が行うステレオ視による対象物の位置の特定を高い精度で行うことができる。 First, the first condition is that the distance from the imaging position P1 is the longest among a plurality of known positions.
If such a known position is selected, the baseline between the imaging positions of two images used for specifying the position of the object A (that is, between the imaging position P1 and the selected known position) becomes the longest. Therefore, it is possible to specify the position of the object by stereo vision performed by the distance calculation unit 28 with high accuracy.

また、第二の条件は、複数の既知位置のうちで、撮像位置Ｐ１を結ぶ線分の垂直二等分線から対象物Ａの位置までの距離が最短であることである。
前述したように、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像を撮像した２つの撮像位置からの距離の差が少ないほど向上する。ここで、上述の第二の条件に従って既知位置を選択すれば、対象物Ａの位置特定に用いる２枚の画像を撮像した２つの撮像位置（すなわち撮像位置Ｐ１及び選択既知位置）から対象物Ａの位置までの距離の差が最短となる。従って、距離算出部２８が行うステレオ視による対象物の位置の特定を高い精度で行うことができる。 The second condition is that the distance from the perpendicular bisector connecting the imaging position P1 to the position of the object A is the shortest among a plurality of known positions.
As described above, the accuracy of specifying the position of the object by stereo vision improves as the difference in distance from the two imaging positions where the two images used for specifying the position are taken is smaller. Here, if the known position is selected according to the second condition described above, the object A is selected from the two imaging positions (that is, the imaging position P1 and the selected known position) obtained by capturing two images used for specifying the position of the object A. The difference in distance to the position is the shortest. Therefore, it is possible to specify the position of the object by stereo vision performed by the distance calculation unit 28 with high accuracy.

なお、第二の条件をＳ４０４の処理に採用する場合には、対象物Ａの位置として、記録装置２５に記録されている、対象物Ａについての過去の位置情報の特定結果を利用して行う。   In addition, when employ | adopting 2nd conditions for the process of S404, it carries out using the specific result of the past positional information about the target object A currently recorded on the recording device 25 as a position of the target object A. .

Ｓ４０４の処理では、上述した第一の条件及び第二の条件のどちらを採用してもよい。
また、Ｓ４０４の処理において、上述した条件に合致する既知位置を１つのみ選択するのではなく、条件に合致する程度に応じた順序に複数個選択してもよい。すなわち、第一の条件に関しては、複数の既知位置のうちで、撮像位置Ｐ１からの距離が大きい順序（長い順序）に複数個選択してもよい。また、第二の条件に関しては、複数の既知位置のうちで、撮像位置Ｐ１を結ぶ線分の垂直二等分線から対象物Ａの位置までの距離が短い順序に複数個選択してもよい。なお、このＳ４０４の処理において既知位置を複数選択した場合における、距離算出部２８による対象物Ａの位置の特定の手法については後述する。
なお、撮像位置選択部２７が行った選択の結果は、距離記録装置２９に格納される。 In the process of S404, either the first condition or the second condition described above may be employed.
Further, in the process of S404, instead of selecting only one known position that matches the above-described condition, a plurality of positions may be selected in an order corresponding to the degree of meeting the condition. That is, regarding the first condition, a plurality of known positions may be selected in order of increasing distance from the imaging position P1 (long order). As for the second condition, a plurality of known positions may be selected in the order of a short distance from the vertical bisector connecting the imaging position P1 to the position of the object A. . A method for specifying the position of the object A by the distance calculation unit 28 when a plurality of known positions are selected in the process of S404 will be described later.
Note that the result of the selection performed by the imaging position selection unit 27 is stored in the distance recording device 29.

次に図１２について説明する。図１２は、図７におけるステップ５の処理である、位置特定及び距離算出処理の処理内容を図解したフローチャートである。   Next, FIG. 12 will be described. FIG. 12 is a flowchart illustrating the processing contents of the position specifying and distance calculating process which is the process of step 5 in FIG.

図１２において、まず、Ｓ５０１では、撮像位置画像と、図７のステップ４の処理により選択された位置での撮像画像（すなわち基準位置画像若しくは選択既知位置画像）とでの特徴点の位置と対応関係との情報を取得する処理を距離算出部２８が行う。なお、これらの情報は特徴点抽出部２２及び特徴点追跡部２３により既に求められており、距離算出部２８は、記録装置２５からこれらの情報を取得する。   In FIG. 12, first, in step S501, the position of the feature point corresponds to the captured position image and the captured image (that is, the reference position image or the selected known position image) at the position selected by the processing in step 4 in FIG. The distance calculation unit 28 performs processing for acquiring information on the relationship. Note that these pieces of information have already been obtained by the feature point extraction unit 22 and the feature point tracking unit 23, and the distance calculation unit 28 acquires these pieces of information from the recording device 25.

次に、Ｓ５０２では、三角測量の原理を用いて、対象物Ａ上の特徴点の現実の三次元空間での位置を特定し、その特定結果を距離記録装置２９に格納する処理を距離算出部２８が行う。この位置特定の処理は、Ｓ５０１の処理により取得した情報と、撮像位置Ｐ１の位置情報と、図７のステップ４の処理により選択された位置の位置情報（すなわち基準位置Ｐ０若しくは選択既知位置）とに基づいて行われる。   Next, in S502, a process of specifying the actual position of the feature point on the object A in the three-dimensional space using the principle of triangulation and storing the specification result in the distance recording device 29 is performed. 28 does. This position specifying process includes the information acquired by the process of S501, the position information of the imaging position P1, and the position information of the position selected by the process of step 4 in FIG. 7 (ie, the reference position P0 or the selected known position). Based on.

次に、Ｓ５０３では、Ｓ５０２の処理により特定された対象物Ａについての特徴点の位置と、撮像位置Ｐ１との距離を算出し、その算出結果を距離記録装置２９に格納する処理を距離算出部２８が行い、その後は、この図１２の処理が終了する。   Next, in S503, the distance calculation unit calculates the distance between the position of the feature point for the object A identified by the process of S502 and the imaging position P1, and stores the calculation result in the distance recording device 29. After that, the process of FIG. 12 ends.

ここで、Ｓ５０２の位置特定の処理の処理内容について、更に説明する。
［数２０］にも掲げた下記の関係式
は、現実の三次元空間上での特徴点ｐ_k とｑ_k との関係を表している。ここで、特徴点ｐ_k とｑ_k の画像上での位置を用いてこの関係式を表現するには、変数ｋ₁ 及びｋ₂ を導入することで、
と表される。 Here, the processing content of the position specifying process in S502 will be further described.
The following relational expression listed in [Equation 20]
Represents the relationship between the feature points p _k and q _k in an actual three-dimensional space. Here, in order to express this relational expression using the positions of the feature points p _k and q _{k on} the image, by introducing variables k ₁ and k ₂ ,
It is expressed.

この［数２５］式を展開すると、
となる。この式を
と表現する。なお、特徴点ｐ_k とｑ_k の画像上での位置は、［数１７］及び［数１９］のように３つの要素で表現されているので、１組の特徴点の対応関係について、３つの関係式が得られる。 Expanding this [Equation 25],
It becomes. This formula
It expresses. Note that the positions of the feature points p _k and q _{k on} the image are expressed by three elements such as [Equation 17] and [Equation 19], and therefore, the correspondence between one set of feature points is 3 Two relational expressions are obtained.

ここで、撮像位置画像と、図７のステップ４の処理により選択された位置での撮像画像とでの特徴点の対応関係をｎ組得ることで、その各組について［数２７］の関係式を生成することで、
が得られる。この式は、
の形をしている。従って、
を、最小二乗法を適用して解くことで、ｋ（ｋ₁ 及びｋ₂ ）の値が求まる。このようにして得られたｋ₁ 及びｋ₂ の値と、特徴点ｐ_k 及びｑ_k の画像上の位置とから、特徴点ｐ_k 及びｑ_k の現実の三次元空間上での位置（すなわち、対象物Ａの位置の位置情報）が求まる。 Here, by obtaining n pairs of feature point correspondences between the captured position image and the captured image at the position selected by the processing of step 4 in FIG. 7, the relational expression of [Equation 27] is obtained for each set. By generating
Is obtained. This formula is
It has the shape of Therefore,
Is obtained by applying the least square method to obtain the values of k (k ₁ and k ₂ ). Thus the value of k ₁ and k ₂ obtained in the position from the position on the image feature point p _k and q _k, the actual feature point p _k and q _k on the three-dimensional space (i.e. , Position information of the position of the object A) is obtained.

なお、図１１のＳ４０４の処理において撮像位置選択部２７が既知位置を複数選択した場合には、Ｓ５０２において、距離算出部２８は、対象物Ａの位置の特定処理を、次のようにして行う。   When the imaging position selection unit 27 selects a plurality of known positions in the process of S404 in FIG. 11, the distance calculation unit 28 performs the process of specifying the position of the object A as follows in S502. .

まず、距離算出部２８は、撮像位置選択部２７が選択した複数の既知位置の１つずつに基づいて、対象物Ａについての位置情報の特定処理を前述のようにして行う。次に、距離算出部２８は、この特定処理によって得られた複数個の位置情報で示されている複数の位置の重心の位置を求める処理を行う。そして、このようにして求められた重心の位置情報を、Ｓ５０２の位置特定の処理による、対象物Ａの位置情報の特定結果とする。   First, the distance calculation unit 28 performs position information specifying processing for the object A as described above based on each of a plurality of known positions selected by the imaging position selection unit 27. Next, the distance calculation unit 28 performs a process of obtaining the positions of the centroids of the plurality of positions indicated by the plurality of position information obtained by the specifying process. The position information of the center of gravity obtained in this way is used as the position information specifying result of the object A by the position specifying process in S502.

なお、上述したようにして重心の位置を求める際に、撮像位置選択部２７による既知位置の選択順序に応じた重みを考慮するようにしてもよい。すなわち、距離算出部２８は、まず、撮像位置選択部２７が選択した複数の既知位置の１つずつに基づいて、対象物Ａについての位置情報の特定処理を前述のようにして行う。次に、距離算出部２８は、この特定処理によって位置情報が得られた複数個の位置の各々に対し、当該位置情報の特定に用いた選択既知位置を撮像位置選択部２７がＳ４０４の処理において選択したときの選択順序に応じた重み付けを与える処理を行う。次に、距離算出部２８は、このようにして重み付けが各々与えられた複数個の位置の重心（重み付け重心）を求める処理を行う。そして、このようにして求められた重み付け重心の位置情報を、Ｓ５０２の位置特定の処理による、対象物Ａの位置情報の特定結果とする。距離算出部２８がこのようにして対象物Ａの位置情報の特定を行うようにしてもよい。   In addition, when obtaining the position of the center of gravity as described above, a weight according to the selection order of known positions by the imaging position selection unit 27 may be considered. That is, the distance calculation unit 28 first performs position information specifying processing for the object A as described above based on each of a plurality of known positions selected by the imaging position selection unit 27. Next, in the distance calculation unit 28, for each of a plurality of positions for which position information has been obtained by this specifying process, the imaging position selecting unit 27 selects the selected known position used for specifying the position information in the process of S404. A process of giving a weight according to the selection order when selected. Next, the distance calculation unit 28 performs processing for obtaining the centroids (weighted centroids) of the plurality of positions each weighted in this way. Then, the position information of the weighted center of gravity obtained in this way is set as the identification result of the position information of the object A by the position identification process of S502. The distance calculation unit 28 may specify the position information of the object A in this way.

図６の位置特定装置は、以上の処理を各構成要素が行うことによって、静止状態であった自動車Ｖが移動を開始して以降の対象物Ａの位置を特定する。
なお、図６の撮像装置は、カメラ１１が撮像位置画像の取得後に続いて画像を新たに撮像した場合における当該新画像の撮像位置Ｐ２の特定についても、同様に行うことができる。すなわち、この場合には、図７のステップ１において、前述のようにして特定した撮像位置Ｐ１を新たな基準位置Ｐ０に設定する処理を撮像装置位置特定部２６が行うことで、後は同様の処理によって、当該新画像の撮像位置Ｐ２を特定することができる。 The position specifying device in FIG. 6 specifies the position of the object A after the automobile V that has been stationary starts moving by performing the above-described processing by each component.
Note that the imaging apparatus of FIG. 6 can similarly perform the specification of the imaging position P2 of the new image when the camera 11 newly captures an image after acquiring the imaging position image. That is, in this case, in step 1 of FIG. 7, the imaging device position specifying unit 26 performs a process of setting the imaging position P1 specified as described above to a new reference position P0. Through the processing, the imaging position P2 of the new image can be specified.

また、撮像位置Ｐ１に基づく新画像の撮像位置Ｐ２の特定は、以下のようにして行うこともできる。
まず、基準位置Ｐ０、撮像位置Ｐ１、及び上記の新画像の撮像位置Ｐ２の位置を表す座標を、それぞれＸ０、Ｘ１、及びＸ２とする。 The identification of the imaging position P2 of the new image based on the imaging position P1 can also be performed as follows.
First, the coordinates representing the reference position P0, the imaging position P1, and the imaging position P2 of the new image are X0, X1, and X2, respectively.

ここで、基準位置Ｐ０から撮像位置Ｐ１への移動におけるカメラ１１の移動量の回転成分を回転行列Ｒ１と表し、その並進成分を並進行列Ｔ１と表すものとする。また、基準位置Ｐ０から新画像の撮像位置Ｐ２への移動におけるカメラ１１の移動量の回転成分を回転行列Ｒ２と表し、その並進成分を並進行列Ｔ２と表すものとする。   Here, the rotation component of the movement amount of the camera 11 in the movement from the reference position P0 to the imaging position P1 is represented as a rotation matrix R1, and the translation component thereof is represented as a translation sequence T1. In addition, the rotation component of the movement amount of the camera 11 in the movement from the reference position P0 to the imaging position P2 of the new image is represented as a rotation matrix R2, and the translation component is represented as a translation sequence T2.

このとき、下記の式が成り立つ。
Ｘ１＝Ｒ１（Ｘ０−Ｔ１）………………式［６］
Ｘ２＝Ｒ２（Ｘ０−Ｔ２）………………式［７］
上記の式［６］を変形すると、
Ｘ０＝Ｒ１^T Ｘ１＋Ｔ１…………………式［８］
この式［８］を式［７］に代入すると、
Ｘ２＝Ｒ２（Ｒ１^T Ｘ１＋Ｔ１−Ｔ２）
＝Ｒ２Ｒ１^T （Ｘ１−Ｒ１（Ｔ２−Ｔ１））…………………式［９］
ここで、Ｒ１２＝Ｒ２Ｒ１^T 及びＴ１２＝Ｒ１（Ｔ２−Ｔ１）と置くと、式［９］は、
Ｘ２＝Ｒ１２（Ｘ１−Ｔ１２）…………式［１０］
と表される。 At this time, the following equation holds.
X1 = R1 (X0-T1) .............. [6]
X2 = R2 (X0-T2) ............ Formula [7]
When the above equation [6] is transformed,
X0 = R1 ^T X1 + T1 Expression (8)
Substituting this equation [8] into equation [7],
X2 = R2 (R1 ^T X1 + T1-T2)
= R2R1 ^T (X1−R1 (T2−T1))... Formula [9]
Here, when R12 = R2R1 ^T and T12 = R1 (T2-T1) are set, Equation [9] is
X2 = R12 (X1-T12) ............ Formula [10]
It is expressed.

従って、Ｒ１、Ｒ２、Ｔ１、及びＴ２を用いてＲ１２及びＴ１２を求めることで、撮像位置Ｐ１から新画像の撮像位置Ｐ２への移動におけるカメラ１１の移動量が求まり、従って、新画像の撮像位置Ｐ２の特定を、撮像位置Ｐ１に基づいて行うことができる。   Therefore, by obtaining R12 and T12 using R1, R2, T1, and T2, the amount of movement of the camera 11 in the movement from the imaging position P1 to the imaging position P2 of the new image is obtained, and accordingly, the imaging position of the new image P2 can be specified based on the imaging position P1.

図６の位置特定装置は、以上のように動作する結果、自動車Ｖが移動を開始した直後においても、その周囲に存在する対象物Ａについての位置特定及び距離計測を高精度に行うことができる。従って、自動車Ｖの始動直後から周囲にある物体情報を自動車Ｖのドライバへ提供することができ、ドライバの安心安全を実現できる。また、図６の位置特定装置は単眼カメラシステム系であるので、低コストで実現できる。
なお、前述した各実施例に係る位置特定装置の各機能ブロックを、コンピュータを用いて構成することもできる。 As a result of the operation as described above, the position specifying device of FIG. 6 can perform position specifying and distance measurement for the object A existing around the vehicle V with high accuracy even immediately after the automobile V starts moving. . Therefore, immediately after the start of the vehicle V, object information in the vicinity can be provided to the driver of the vehicle V, and the driver can be safe and secure. 6 is a monocular camera system system, and can be realized at low cost.
In addition, each functional block of the position specifying device according to each embodiment described above can be configured using a computer.

ここで図１３について説明する。図１３には、位置特定装置の各機能ブロックとして動作させることのできるコンピュータのハードウェア構成例が図解されている。
このコンピュータ３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、インタフェース装置３６、及び記録媒体駆動装置３７を備えている。なお、これらの構成要素はバスライン３８を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。 Here, FIG. 13 will be described. FIG. 13 illustrates a hardware configuration example of a computer that can be operated as each functional block of the position specifying device.
The computer 30 includes an MPU 31, a ROM 32, a RAM 33, an input device 34, a display device 35, an interface device 36, and a recording medium drive device 37. These components are connected via a bus line 38, and various data can be exchanged under the management of the MPU 31.

ＭＰＵ（Micro Processing Unit）３１は、このコンピュータ３０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この制御プログラムをコンピュータ３０の起動時に読み出して実行することにより、このコンピュータ３０の各構成要素の動作制御が可能となる。 An MPU (Micro Processing Unit) 31 is an arithmetic processing unit that controls the operation of the entire computer 30.
A ROM (Read Only Memory) 32 is a read-only semiconductor memory in which a predetermined control program and various constant values are recorded in advance. The MPU 31 can control the operation of each component of the computer 30 by reading and executing the control program when the computer 30 is started.

ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。なお、このＲＡＭ３３は、図１における記録部４や、図２における特徴点追跡結果格納メモリ１６、あるいは図６における記録装置２５及び距離記録装置２９として機能する。   A RAM (Random Access Memory) 33 is a semiconductor memory that can be written and read at any time and used as a working storage area as necessary when the MPU 31 executes various control programs. The RAM 33 functions as the recording unit 4 in FIG. 1, the feature point tracking result storage memory 16 in FIG. 2, or the recording device 25 and the distance recording device 29 in FIG.

入力装置３４は、例えばキーボード装置であり、コンピュータ３０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。   The input device 34 is, for example, a keyboard device. When operated by a user of the computer 30, the input device 34 acquires input of various information from the user associated with the operation content, and inputs the acquired input information to the MPU 31. Send.

表示装置３５は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置３６は、このコンピュータ３０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置３６は、カメラ１１から送られてくる撮像画像信号のアナログ−デジタル変換や、アクチュエータ１２を駆動させるための駆動信号の出力などを行う。 The display device 35 is a liquid crystal display, for example, and displays various texts and images according to display data sent from the MPU 31.
The interface device 36 manages the exchange of various data with various devices connected to the computer 30. More specifically, the interface device 36 performs analog-digital conversion of a captured image signal sent from the camera 11, outputs a drive signal for driving the actuator 12, and the like.

このような構成を有するコンピュータ３０を、前述した各実施例に係る位置特定装置の各機能ブロックとして機能させることができる。例えば、図７及び図９から図１２の各図を用いて説明した位置特定処理の各処理手順をＭＰＵ３１に行わせるための制御プログラムを作成する。作成した制御プログラムはＲＯＭ３２に予め格納しておく。そして、ＭＰＵ３１に所定の実行開始指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ３１が、図６における特徴点抽出部２２、特徴点追跡部２３、位置特定部２４、撮像装置位置特定部２６、撮像位置選択部２７、及び距離算出部２８として機能するようになる。従って、コンピュータ３０のインタフェース装置３６に撮像装置２１を接続することで、図６の位置特定装置を構成することができる。   The computer 30 having such a configuration can be caused to function as each functional block of the position specifying device according to each embodiment described above. For example, a control program for causing the MPU 31 to perform each processing procedure of the position specifying process described with reference to FIGS. 7 and 9 to 12 is created. The created control program is stored in the ROM 32 in advance. Then, a predetermined execution start instruction is given to the MPU 31, and this control program is read and executed. By doing so, the MPU 31 functions as the feature point extraction unit 22, the feature point tracking unit 23, the position specification unit 24, the imaging device position specification unit 26, the imaging position selection unit 27, and the distance calculation unit 28 in FIG. 6. become. Therefore, by connecting the imaging device 21 to the interface device 36 of the computer 30, the position specifying device of FIG. 6 can be configured.

なお、記録媒体駆動装置３７は、可搬型記録媒体３９に記録されている各種の制御プログラムやデータの読み出しを行う装置である。例えば、ＲＯＭ３２としてフラッシュメモリを使用し、ＭＰＵ３１が、可搬型記録媒体３９に記録されている前述の制御プログラムを、記録媒体駆動装置３８を介して読み出してＲＯＭ３２に格納するようにコンピュータ３０を構成してもよい。この場合には、ＭＰＵ３１は、所定の実行開始指示を受けたには、ＭＰＵ３１がＲＯＭ３２に格納した制御プログラムを読み出して実行するようにする。   The recording medium driving device 37 is a device that reads various control programs and data recorded on the portable recording medium 39. For example, the flash memory is used as the ROM 32, and the computer 30 is configured so that the MPU 31 reads the above-described control program recorded on the portable recording medium 39 through the recording medium driving device 38 and stores it in the ROM 32. May be. In this case, when the MPU 31 receives a predetermined execution start instruction, the MPU 31 reads and executes the control program stored in the ROM 32.

なお、可搬型記録媒体３９としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などの非一時的（non-transitory）な記録媒体が利用可能である。また、可搬型記録媒体３９として、例えばＵＳＢ（Universal Serial Bus）規格のコネクタが備えられている半導体メモリも利用可能である。   As the portable recording medium 39, for example, a non-transitory recording medium such as a CD-ROM (Compact Disc Read Only Memory) and a DVD-ROM (Digital Versatile Disc Read Only Memory) can be used. It is. As the portable recording medium 39, for example, a semiconductor memory provided with a USB (Universal Serial Bus) standard connector can also be used.

また、端末装置と、当該端末装置との間で各種データの授受を行うことのできるサーバ装置とからなるコンピュータシステムにより、前述した各実施例に係る位置特定装置を構成してもよい。例えば、このコンピュータシステムで図６の位置特定装置を構成する場合には、自動車Ｖに設置される端末装置に、撮像装置２１と、サーバ装置との通信用の通信装置と、対象物Ａについての位置特定及び距離算出の結果をドライバに提供する表示装置とを備える。一方、サーバ装置には、例えば図１３のコンピュータ３０の構成を備える。但し、インタフェース装置３６には、端末装置の通信装置との間でのデータ通信を管理する通信装置を備える。そして、端末装置は、撮像装置２１で順次撮像される自動車Ｖ周囲の撮像画像をサーバ装置に送付する。一方、サーバ装置では、端末装置から受け取った撮像画像に基づき、対象物Ａについての位置特定及び距離算出を前述したようにして行い、その結果を端末装置に送付して表示装置に表示させる。このようにして、図６の位置特定装置を上述のコンピュータシステムにより構成してもよい。   In addition, the position specifying device according to each of the above-described embodiments may be configured by a computer system including a terminal device and a server device that can exchange various data between the terminal device. For example, when the position specifying device of FIG. 6 is configured with this computer system, the terminal device installed in the automobile V is connected to the imaging device 21, the communication device for communication with the server device, and the object A. A display device that provides the driver with the results of position specification and distance calculation. On the other hand, the server device includes the configuration of the computer 30 in FIG. 13, for example. However, the interface device 36 includes a communication device that manages data communication with the communication device of the terminal device. And a terminal device sends the picked-up image around the motor vehicle V sequentially imaged with the imaging device 21 to a server apparatus. On the other hand, the server device performs position specification and distance calculation for the object A as described above based on the captured image received from the terminal device, and sends the result to the terminal device to be displayed on the display device. In this manner, the position specifying device of FIG. 6 may be configured by the above-described computer system.

１ 撮像位置特定部
２ 対象物位置特定部
３ 選択部
４ 記録部
５ 判定部
６ 撮像装置
７、１８、２８ 距離算出部
１１ カメラ
１２ アクチュエータ
１３ アクチュエータ制御部
１４ 画像取得部
１５ 画像処理部
１５ａ、２２ 特徴点抽出部
１５ｂ、２３ 特徴点追跡部
１６ 特徴点追跡結果格納メモリ
１７、２４ 位置特定部
１７ａ 第一位置特定部
１７ｂ 第二位置特定部
１７ｃ 第三位置特定部
１９ ドアミラー
２１ 撮像装置
２５ 記録装置
２６ 撮像装置位置特定部
２７ 撮像装置位置選択部
２９ 距離記録装置
３０ コンピュータ
３１ ＭＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 入力装置
３５ 表示装置
３６ インタフェース装置
３７ 記録媒体駆動装置
３８ バスライン
３９ 可搬型記録媒体 DESCRIPTION OF SYMBOLS 1 Image pick-up position specific | specification part 2 Object position specific | specification part 3 Selection part 4 Recording part 5 Judgment part 6 Imaging device 7, 18, 28 Distance calculation part 11 Camera 12 Actuator 13 Actuator control part 14 Image acquisition part 15 Image processing part 15a, 22 Feature point extraction unit 15b, 23 Feature point tracking unit 16 Feature point tracking result storage memory 17, 24 Position specifying unit 17a First position specifying unit 17b Second position specifying unit 17c Third position specifying unit 19 Door mirror 21 Imaging device 25 Recording device 26 imaging device position specifying unit 27 imaging device position selecting unit 29 distance recording device 30 computer 31 MPU
32 ROM
33 RAM
34 Input Device 35 Display Device 36 Interface Device 37 Recording Medium Drive Device 38 Bus Line 39 Portable Recording Medium

Claims (11)

位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該撮像位置の位置情報の特定を行う撮像位置特定部、及び
前記撮像位置特定部で位置情報が特定された撮像位置からの距離が前記基準位置よりも大きい地点に位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報の特定を行う対象物位置特定部、
を備えることを特徴とする位置特定装置。 The position information of the reference position where the position information is known, the reference position image obtained by imaging the object at the reference position, and the imaging position image obtained by imaging the object at an arbitrary imaging position. An image pickup position specifying unit that specifies position information of the image pickup position based on the image pickup position, and a position where the distance from the image pickup position whose position information is specified by the image pickup position specifying unit is larger than the reference position Position information of a known position where information is known, a known position image obtained by imaging the object at the known position, position information of the imaging position, and imaging the object at the imaging position An object position specifying unit for specifying the position information of the object based on the captured position image;
A position specifying device comprising: 前記既知位置が複数存在する場合に、該複数の既知位置のうちから、前記対象物位置特定部による前記対象物の位置特定の基礎として用いるときの適性を表している所定の条件に合致するものを、選択既知位置として選択する選択部を更に備え、
前記対象物位置特定部は、前記選択部が選択した前記選択既知位置の位置情報と、該選択既知位置で前記対象物を撮像して得た選択既知位置画像と、前記撮像位置の位置情報と、前記撮像位置画像とに基づいて、該対象物の位置情報の特定を行う、
ことを特徴とする請求項１に記載の位置特定装置。 When there are a plurality of known positions, one of the plurality of known positions that meets a predetermined condition indicating suitability for use as a basis for position identification of the object by the object position identifying unit Is further selected as a selection known position,
The object position specifying unit includes position information of the selected known position selected by the selection unit, a selected known position image obtained by imaging the object at the selected known position, and position information of the imaging position. Identifying the position information of the object based on the imaging position image,
The position specifying device according to claim 1. 前記選択部は、前記複数の既知位置のうちで、前記撮像位置特定部が位置情報を特定した撮像位置からの距離が大きい順に所定数個を、前記選択既知位置として選択することを特徴とする請求項２に記載の位置特定装置。   The selection unit selects, as the selected known positions, a predetermined number of the plurality of known positions in descending order from the imaging position where the imaging position specifying unit specifies the position information. The position specifying device according to claim 2. 過去に行われた前記対象物の位置情報の特定結果の履歴が記録されている記録部を更に備え、
前記選択部は、前記複数の既知位置のうちで、前記撮像位置特定部が位置情報を特定した撮像位置を結ぶ線分の垂直二等分線からの、前記記録部に記録されている過去の位置情報の特定結果に係る前記対象物の位置までの距離が短くなる順序に所定数個を、前記選択既知位置として選択する、
ことを特徴とする請求項２に記載の位置特定装置。 A recording unit in which a history of the result of specifying the position information of the object performed in the past is recorded;
The selection unit includes a plurality of known positions, the past recorded in the recording unit from a perpendicular bisector connecting the imaging positions where the imaging position specifying unit specified the position information. Selecting a predetermined number of the selected known positions in the order in which the distance to the position of the object according to the identification result of the position information becomes shorter,
The position specifying device according to claim 2. 前記選択部が前記選択既知位置を複数個選択した場合には、前記対象物位置特定部は、前記対象物についての位置情報の特定を、該選択部が選択した複数個の選択既知位置の各々についてまず行い、該特定により得られる複数の位置情報で示される複数の位置の重心を求め、該重心の位置情報を該対象物の位置情報の特定結果とすることを特徴とする請求項２から４のうちのいずれか一項に記載の位置特定装置。   When the selection unit selects a plurality of the selected known positions, the object position specifying unit specifies the position information about the object, and selects each of the plurality of selected known positions selected by the selection unit. The center of gravity of a plurality of positions indicated by the plurality of position information obtained by the identification is obtained, and the position information of the center of gravity is used as the identification result of the position information of the object. The position specifying device according to any one of 4. 前記選択部が前記選択既知位置を複数個選択した場合には、前記対象物位置特定部は、前記対象物についての位置情報の特定を、該選択部が選択した複数個の選択既知位置の各々についてまず行い、該特定により得られる複数の位置情報で示される複数の位置の各々に対して、該位置情報の特定に用いた選択既知位置を前記選択部が選択したときの選択順序に応じた重み付けを与え、該重み付けが各々与えられた該複数の位置の重み付け重心を求め、該重み付け重心の位置情報を該対象物の位置情報の特定結果とすることを特徴とする請求項３又は４に記載の位置特定装置。   When the selection unit selects a plurality of the selected known positions, the object position specifying unit specifies the position information about the object, and selects each of the plurality of selected known positions selected by the selection unit. First, and for each of a plurality of positions indicated by the plurality of position information obtained by the identification, according to the selection order when the selection unit selects the selected known position used for identifying the position information. 5. The weighted centroid of each of the plurality of positions to which the weight is given is obtained, and the position information of the weighted centroid is used as the identification result of the position information of the object. The positioning device described. 前記基準位置と前記撮像位置特定部が特定した撮像位置との間の距離である基線距離と所定の距離閾値との長短を判定する判定部を更に備え、
前記対象物位置特定部は、
前記基線距離が前記距離閾値よりも短いと前記判定部が判定したときには、前記選択部が選択した選択既知位置の位置情報と、該選択既知位置で前記対象物を撮像して得た選択既知位置画像と、前記撮像位置特定部が特定した撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報を特定し、
前記基線距離が前記距離閾値よりも長いと前記判定部が判定したときには、前記基準位置の位置情報と、前記基準位置画像と、前記撮像位置特定部が特定した撮像位置の位置情報と、該撮像位置で前記対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報を特定する、
ことを特徴とする請求項２から６のうちのいずれか一項に記載の位置特定装置。 A determination unit that determines a length of a baseline distance that is a distance between the reference position and the imaging position specified by the imaging position specifying unit and a predetermined distance threshold;
The object position specifying unit includes:
When the determination unit determines that the baseline distance is shorter than the distance threshold, the position information of the selected known position selected by the selection unit and the selected known position obtained by imaging the object at the selected known position Based on the image, the position information of the imaging position specified by the imaging position specifying unit, and the imaging position image obtained by imaging the object at the imaging position, the position information of the object is specified,
When the determination unit determines that the baseline distance is longer than the distance threshold, the position information of the reference position, the reference position image, the position information of the imaging position specified by the imaging position specifying unit, and the imaging Based on the imaging position image obtained by imaging the object at a position, the position information of the object is specified.
The position specifying device according to claim 2, wherein the position specifying device is a device. 移動体に設置されており、前記基準位置画像、前記撮像位置画像、及び前記既知位置画像の全ての撮像を行う単一の撮像装置を更に備えることを特徴とする請求項１から７のうちのいずれか一項に記載の位置特定装置。   8. The apparatus according to claim 1, further comprising a single imaging device that is installed in a moving body and that performs imaging of all of the reference position image, the imaging position image, and the known position image. The position specifying device according to any one of the above. 前記撮像装置から前記対象物までの距離を、前記対象物位置特定部が特定した前記対象物の位置情報と、前記撮像位置特定部が特定した撮像位置の位置情報とに基づいて算出する距離算出部を更に備えることを特徴とする請求項８に記載の位置特定装置。   Distance calculation for calculating the distance from the imaging device to the object based on the position information of the object specified by the object position specifying unit and the position information of the image pickup position specified by the imaging position specifying unit The position specifying device according to claim 8, further comprising a unit. 位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた、該撮像位置の位置情報の特定を撮像位置特定部が行い、
前記撮像位置特定部が位置情報を特定した撮像位置からの距離が前記基準位置よりも遠くに位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた、該対象物の位置情報の特定を対象物位置特定部が行う、
ことを特徴とする位置特定方法。 The position information of the reference position where the position information is known, the reference position image obtained by imaging the object at the reference position, and the imaging position image obtained by imaging the object at an arbitrary imaging position. Based on this, the imaging position specifying unit specifies the position information of the imaging position,
The position information of the known position where the distance from the imaging position where the imaging position specifying unit specified the position information is farther than the reference position and the position information is known, and the object is imaged at the known position The position information of the object is specified based on the known position image obtained in this way, the position information of the imaging position, and the imaging position image obtained by imaging the object at the imaging position. The specific department performs,
A position specifying method characterized by the above. 位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該撮像位置の位置情報の特定を行い、
前記撮像位置の位置情報の特定によって位置情報が特定された撮像位置からの距離が前記基準位置よりも遠くに位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報の特定を行う、
処理をコンピュータに実行させるプログラム。 The position information of the reference position where the position information is known, the reference position image obtained by imaging the object at the reference position, and the imaging position image obtained by imaging the object at an arbitrary imaging position. Based on the position information of the imaging position based on,
The position information of the known position where the distance from the imaging position where the position information is specified by specifying the position information of the imaging position is farther than the reference position and the position information is known; and Identification of position information of the object based on a known position image obtained by imaging the object, position information of the imaging position, and an imaging position image obtained by imaging the object at the imaging position I do,
A program that causes a computer to execute processing.