JP5499895B2

JP5499895B2 - 位置特定装置、位置特定方法、及びプログラム

Info

Publication number: JP5499895B2
Application number: JP2010113007A
Authority: JP
Inventors: 康貴岡田; 收文中山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2010-05-17
Filing date: 2010-05-17
Publication date: 2014-05-21
Anticipated expiration: 2030-05-17
Also published as: JP2011242198A

Description

本明細書で議論される実施態様は、物体の位置の特定技術に関する。

近年、自動車の安全運転を支援する技術として、ドライバから見難い範囲、若しくは死角となる範囲の映像をドライバへ提供する技術が各種提案されている。このような技術は、例えば、自動車の後方の映像をドライバへ提供する駐車支援システムや、Ｔ字路等の道路において自動車の前方の映像をドライバへ提供する対向車両確認システムなどとして実用化されている。

また、運転支援の支援技術として、自車両からその周囲に存在する物体の位置を特定し、その特定結果に基づき、自車両の周囲の三次元画像を構成する等して、周囲の情報をドライバへ違和感無く提供するようなシステムが考えられている。

このようなシステムを実用化するには、自車両周囲の物体の位置の特定を広範囲で行えるようにすることが必要であり、また、システムコストの低廉化も必要である。
対象物の位置は、例えば、対象物を異なる位置で撮影して得られる視差画像を基にして、三角測量の原理により算出することができる。しかし、この画像を得るためのカメラが単眼であって自車両に１台のみ固定されている場合には、自車両が走行等で移動しない限り視差画像を得ることができず、対象物の位置を特定できない。その一方、複数のカメラを用いて対象物の位置の特定を行うように構成すると、システムコストは当然高価なものになる。

また、図８に図解する構成を備えて距離の測定を行う技術が知られている。図８の構成では、自車両に設置されているカメラ１０１の向きを変化させる不図示の可動部と、当該可動部によるカメラ１０１の向きの変化量を検知するセンサ１０２とを備えている。この構成では、可動部が向きを変化させながらカメラ１０１で撮像した複数の撮像画像における共通視野１０３内に含まれている物体についての自車両からの距離を、当該複数の撮影画像に基づいて測定するというものである。

この他の背景技術について幾つか説明する。
車両のドアミラーに内蔵したカメラで当該ドアミラーの周辺を監視する監視装置において、ドアを開閉させても周辺の監視を継続できるようにするために、ドアの開放の検知に応じてドアミラーをドアに対して回動させるという技術が提案されている。

また、カメラを回転させながら繰り返し撮影した対象物の複数の画像の各々から、対象物の作業目標付近の領域の基準画像と最も相関の高い領域を検出し、当該検出結果から当該作業目標の三次元座標を得るという技術が提案されている。

更に、単眼カメラを用いる位置測定技術として、対象物のピントと焦点との関係を用いて対象物までの距離を求めるという技術が提案されている。

特開２００７−１０６２００号公報特開平６−６６５１９号公報特許第４０４４４５４号公報

前述した図８の構成を用いて行う距離の測定では、カメラ１０１の向きの変化により共通視野が減少するため、物体の位置を特定できる範囲が狭い。また、この向きの変化を検知するセンサ１０２を必要とするため、耐久性やコスト面でも課題がある。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、単眼カメラを用いて行う対象物の位置の特定を広い範囲で可能にすることである。

本明細書で後述する位置特定装置のひとつに、位置特定手段を有するというものがある。ここで、位置特定手段は、位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像と、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像とに基づいて、該第二対象物の位置を特定する。なお、該２枚の第一撮像画像のうちの少なくとも一方は、該第二対象物の像も含まれており、該第一撮像画像及び該第二撮像画像は、自動車のドアミラーに設置されているカメラによって撮像され、該経路は、該ドアミラーを開閉動作させたときの該カメラの軌跡である。

また、本明細書で後述する位置特定方法のひとつは、位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像と、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像とに基づいて、該第二対象物の位置を特定する。なお、該２枚の第一撮像画像のうちの少なくとも一方は、該第二対象物の像も含まれており、該第一撮像画像及び該第二撮像画像は、自動車のドアミラーに設置されているカメラによって撮像され、該経路は、該ドアミラーを開閉動作させたときの該カメラの軌跡である。

また、本明細書で後述するプログラムのひとつは、位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像を取得する処理、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像を取得する処理、及び該２枚の第一撮像画像と該１枚の第二撮像画像とに基づいて、該第二対象物の位置を特定する位置特定処理、をコンピュータに行わせる。なお、該２枚の第一撮像画像のうちの少なくとも一方は、該第二対象物の像も含まれており、該第一撮像画像及び該第二撮像画像は、自動車のドアミラーに設置されているカメラによって撮像され、該経路は、該ドアミラーを開閉動作させたときの該カメラの軌跡である。

本明細書で後述する位置特定装置は、単眼カメラを用いて行う対象物の位置の特定を広い範囲で行うことができる。

位置特定装置の機能構成図である。アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その１）である。アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その２）である。第一撮影画像の説明図である。第二撮影画像の説明図である。図１の位置特定装置における位置特定部による対象物の位置特定の動作を説明する図である。コンピュータの構成の一例である。第一位置特定処理の処理内容を図解したフローチャートである。第二位置特定処理の処理内容を図解したフローチャートである。距離の測定を行う技術の説明図である。

まず図１について説明する。図１は位置特定装置の機能構成図である。この位置特定装置は、自動車の車両周辺の対象物の位置を特定して、当該対象物の当該車両からの距離を求める装置である。

図１の位置特定装置は、カメラ１、アクチュエータ２、アクチュエータ制御部３、画像取得部４、画像処理部５、特徴点追跡結果格納メモリ６、位置特定部７、及び距離算出部８を備えている。

カメラ１は対象物を撮像するものであり、アクチュエータ２は、このカメラ１の位置を移動させる。アクチュエータ制御部３は、アクチュエータ２によるカメラ１の移動動作を制御するものである。

ここで、カメラ１と、アクチュエータ２と、アクチュエータ制御部３との関係について、図２Ａ及び図２Ｂを参照しながら説明する。
図２Ａに図解されているように、カメラ１は自動車のドアミラー９の先端部分に固定されており、当該自動車の側方の対象物を撮像する。アクチュエータ２は、このドアミラー９の自動開閉動作の駆動用のモータであり、アクチュエータ制御部３がアクチュエータ２を制御してドアミラー９を開閉動作させることで、カメラ１を移動させることができる。従って、ドアミラー９を開閉動作させたときのカメラ１の移動の経路（軌跡）は既知である。

なお、このアクチュエータ制御部３は、ドアミラー９が完全に閉じたこと及び完全に開いたことの検出はできるが、開閉動作の途中においてドアミラー９がどの程度開いているかを検出することはできない。また、ドアミラー９が完全に閉じたとき及び完全に開いたときのカメラ１の位置（自動車に対する相対位置及び向き）及びカメラ１の軌跡は既知であるが、その開閉動作の途中でカメラ１の位置（軌跡上のどこか）を、知ることはできない。

カメラ１は、ドアミラー９の開閉動作による移動の途中で順次撮像を繰り返す。
画像取得部４は、カメラ１が移動しながら複数枚撮像した対象物の画像を取得する。
画像処理部５は、画像取得部４が取得した複数枚の画像に対して各種の画像処理を施す。より具体的には、画像処理部５は、特徴点抽出部５ａと特徴点追跡部５ｂとを備えており、いわゆるブロックマッチング処理を行う。

特徴点抽出部５ａは、画像取得部４が取得した撮像画像から部分画像領域（特徴点）の抽出を行う。特徴点抽出部５ａは、カメラ１が撮像した対象物が映っている画像領域から特徴点を抽出する。

特徴点追跡部５ｂは、画像取得部４が取得した２枚の撮像画像から、特徴点抽出部５ａが抽出した特徴点の類似度が所定の閾値以上で最大の位置を抽出し、２枚の画像間での特徴点の移動を追跡する。

特徴点追跡結果格納メモリ６は、画像取得部４が取得した撮像画像と、画像処理部５による処理結果である、各撮像画像間での特徴点の追跡結果とを格納して記憶しておく記憶装置である。

位置特定部７は、特徴点追跡結果格納メモリ６に格納されている情報を用いて、カメラ１が撮像した対象物の位置（自動車に対する相対位置）を特定する。位置特定部７は第一位置特定部７ａ及び第二位置特定部７ｂを備えている。

第一位置特定部７ａは、カメラ１が撮像した対象物のひとつである第一対象物の位置を特定する。この第一対象物の位置の特定は、位置が既知である、ドアミラー９が完全に閉じたとき及び完全に開いたときの位置（２つの既知点）の各々からカメラ１が撮像して得た、第一対象物についての２枚の撮像画像（第一撮像画像）に基づいて行われる。

第二位置特定部７ｂは、カメラ１が撮像した対象物のひとつであって第一対象物とは別のものである第二対象物の位置を特定する。この位置の特定は、第一対象物の位置と、カメラ１の軌跡上の任意の位置から撮像して得た、第一対象物の像も含まれている第二対象物についての１枚の撮像画像（第二撮像画像）と、第一撮像画像のうち第二対象物の像も含まれているものとに基づいて行われる。

ここで、第一撮影画像及び第二撮影画像について、図３Ａ及び図３Ｂを用いて説明する。
図３Ａ及び図３Ｂは、ドアミラー９の開閉動作により移動するカメラ１の視野の変化を図解している。

図３Ａにおいて、［１］はドアミラー９が完全に閉じたときの視野であり、［２］はドアミラー９が完全に開いたときの視野であり、［３］はドアミラー９の開閉動作による軌跡上のある位置での視野である。また、［４］は、［１］の視野と［２］の視野とには重なりがあり、自車両の左側方で立っている人Ｈが、この両者の共通部分に位置していることを表現している。従って、人Ｈの像は、カメラ１が［１］の視野で撮像した画像と、カメラ１が［２］の視野で撮像した画像とのどちらにも含まれる。この場合において、人Ｈが第一対象物であり、カメラ１が［１］及び［２］の各々で撮像して得た２枚の撮像画像が第一撮像画像となり、第一位置特定部７ａは、この２枚の撮像画像から人Ｈの位置を特定する。

一方、図３Ｂは、それまで完全に閉じていたドアミラー９の開動作によって、人Ｈのみが含まれていたカメラ１の視野が変化して、車Ｖの一部も視野内に含むようになった様子を示している。この場合においては、第一位置特定部７ａが位置の特定を行った人Ｈが第一対象物であり、車Ｖが第二対象物となり、カメラ１が人Ｈと車Ｖとの両者を視野に含む位置で撮像した撮像画像が第二撮像画像となる。そして、第二位置特定部７ｂは、第一位置特定部７ａにより特定された人Ｈの位置と、第二撮像画像と、第一撮像画像のうち車Ｖの像も含まれているもの（図３Ａの［２］の画像）とから、車Ｖの位置を特定する。

なお、上記説明においては、第一対象物と第二対象物とは別個の物体である場合を例としているが、本実施例はこれに限るものではない。第一対象物、第二対象物とも、カメラ１が撮像した画像上で特定可能な特徴点もしくは特徴領域であれば良い。その意味からすれば、第一対象物および第二対象物は、同一の物体の異なる部位であっても構わない。例えば、カメラ１を搭載した自動車の側方に、図３Ａの［１］、［２］、［３］何れの状態でも撮像範囲に存在するトラックや壁のような長い物体が存在する場合には、その物体のある一部分を第一対象物、該ある部分とは異なる一部分を第二対象物とみなしても構わない。また、カメラ１を搭載した自動車の側方に、図３Ａの［１］、［２］、［３］何れの状態でも撮像範囲に存在する路面ペイントが存在する場合には、その路面ペイントのある一部分を第一対象物、該ある部分とは異なる一部分を第二対象物とみなしても構わない。

図１の説明に戻る。
距離算出部８は、位置特定部７により特定された第一対象物、第二対象物、第三対象物、…の各対象物についての、カメラ１が設置されている自動車の所定位置からの距離を算出する。

なお、図１の位置特定部７は、更に第三位置特定部７ｃも備えている。第三位置特定部７ｃは、カメラ１が撮像した対象物のひとつであって第一対象物及び第二対象物とは別のものである第三対象物の位置を特定する。この特定は、第一対象物の位置と、第一対象物の像も含まれている第三対象物についての１枚の撮像画像（第三撮像画像）と、第一撮像画像のうち第三対象物の像も含まれているものとに基づいて行われる。

次に、位置特定部７による対象物の位置特定の動作について、図４を用いて更に説明する。
図４は、ドアミラー９を開閉動作させてカメラ１を移動させながら、対象物Ａ（図４では丸印で表現）、対象物Ｂ（図４では四角印で表現）、及び対象物Ｃ（図４では三角印で表現）を撮像する様子を模式的に表したものである。

図４において、Ｐ１、Ｐ２、及びＱｉはカメラ１の位置を表している。このうちのＰ１及びＰ２は、その位置が既知であり、ドアミラー９が完全に閉じたとき及び完全に開いたときのカメラ１の位置である。また、Ｑｉは、ドアミラー９の開閉動作によりカメラ１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置である。

また、Ｐ１画像、Ｑｉ画像、及びＰ２画像は、それぞれ、カメラ１がＰ１、Ｑｉ、及びＰ２の各位置において撮像して得た画像である。ここで、対象物Ａは、位置Ｐ１におけるカメラ１の視野と位置Ｐ２におけるカメラ１の視野とのどちらにも含まれる場所に位置しているので、Ｐ１画像、Ｑｉ画像、及びＰ２画像のいずれにも、対象物Ａの像が含まれている。一方、対象物Ｂは位置Ｐ２におけるカメラ１の視野から外れているため、対象物Ｂの像は、Ｐ１画像及びＱｉ画像には含まれているが、Ｐ２画像には含まれていない。また、対象物Ｃは位置Ｐ１におけるカメラ１の視野から外れているため、対象物Ｃの像は、Ｑｉ画像及びＰ２画像には含まれているが、Ｐ１画像には含まれていない。

この図４の例において、位置特定部７が備えている第一位置特定部７ａ及び第二位置特定部７ｂは、それぞれ以下のように動作する。
まず、第一位置特定部７ａは、対象物Ａ（第一対象物）の位置を特定する。第一位置特定部７ａは、この位置の特定を、位置が既知である２つの既知点Ｐ１及びＰ２の各々からカメラ１が撮像して得た２枚の撮像画像（第一撮像画像）であるＰ１画像及びＰ２画像に基づいて行う。つまり、第一位置特定部７ａは、第一撮像画像を視差画像として使用して、前述した三角測量の原理により対象物Ａの位置（特徴点抽出部５ａが抽出した各特徴点に対応する対象物Ａの各部の位置）を算出することで、その位置を特定する。

第二位置特定部７ｂは、対象物Ａとは別のものである対象物Ｂ（第二対象物）の位置を特定する。第二位置特定部７ｂは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｂについての撮像画像であるＱｉ画像（第二撮像画像）と、第一撮像画像のうち対象物Ｂの像が含まれているＰ１画像とに基づいて行う。第二位置特定部７ｂによる対象物Ｂの位置の特定は、より具体的には、以下のようにして行われる。

まず、位置Ｐ１から位置Ｑｉまでの移動によるカメラ１の移動量の回転成分を回転行列Ｒｉと表し、その並進成分を並進行列Ｔｉと表すものとする。また、第一位置特定部７ａにより特定された対象物Ａの位置（特徴点抽出部５ａによりＰ１画像から抽出された対象物Ａ上の特徴点ｍの座標）をＸｒｍと表すものとする。このとき、Ｑｉ画像における対象物Ａの位置（特徴点追跡部５ｂによる追跡の結果である、Ｑｉ画像における対象物Ａ上の特徴点ｍの座標）Ｘｍは、下記の式［１］により表される。
Ｘｍ＝Ｒｉ（Ｘｒｍ−Ｔｉ）………………式［１］

対象物Ａ上の複数の特徴点について、この式［１］を立て、得られた複数の式に対して最小二乗法を適用することで、Ｒｉ及びＴｉを求める。これにより、既知の位置Ｐ１から位置Ｑｉまでの移動によるカメラ１の移動量が求まるので、位置Ｑｉを位置Ｐ１に基づき特定することができる。その後、第二位置特定部７ｂは、既知の位置で撮像したＰ１画像と、特定された位置で撮像したＱｉ画像とを視差画像として使用して、前述した三角測量の原理により対象物Ｂの位置を算出することで、その位置を特定する。

ところで、第三位置特定部７ｃは、対象物Ａ及び対象物Ｂとは別のものである対象物Ｃの位置を特定する。図４の例では、第三位置特定部７ｃは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｃについての撮像画像であるＱｉ画像（第三撮像画像）と、第一撮像画像のうち対象物Ｃの像が含まれているＰ２画像とに基づいて行う。

位置特定部７は、このようにして同様の処理を繰り返すことで、複数の対象物の位置特定を次々と行うことができる。
なお、カメラ１での画像の撮像位置は、以下のようにして求めるようにしてもよい。

まず、Ｘｊ及びＸｋを、ドアミラー９の開閉動作によりカメラ１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置とする。
まず、基準位置Ｘ０から位置Ｘｊまでの移動によるカメラ１の移動量の回転成分を回転行列Ｒｊと表し、並進成分を並進行列Ｔｊと表すものとする。また、基準位置Ｘ０から位置Ｘｋまでの移動によるカメラ１の移動量の回転成分を回転行列Ｒｋと表し、並進成分を並進行列Ｔｋと表すものとする。

位置Ｐ１をＸｒと表すと、位置Ｘｊ及び位置Ｘｋは下記の式で表すことができる。
このとき、
Ｘｊ＝Ｒｊ（Ｘ０−Ｔｊ）………………式［２］
Ｘｋ＝Ｒｋ（Ｘ０−Ｔｋ）………………式［３］
上記の［２］式及び［３］からＸ０を消去すると、下記の式［４］が得られる。
Ｘｋ＝ＲｋＲｊ^t｛Ｘｊ−Ｒｊ（Ｔｋ−Ｔｊ）｝………………式［４］
なお、式［４］において、「Ｒｊ^t」はＲｊの転置行列である。

ここで、Ｒｊｋ＝ＲｋＲｊ^tと置き、Ｔｊｋ＝Ｔｋ−Ｔｊと置くと、下記の式［５］が得られる。
Ｘｋ＝Ｒｊｋ（Ｘｊ−Ｔｊｋ）………………式［５］

この式［５］を用い、Ｒｊｋ及びＴｊｋを前述したようにして最小二乗法により求めておくことで、先に求まった位置Ｘｊから位置Ｘｋを求めることができる。このようにして、カメラ１での画像の撮像位置を順次求めるようにしてもよい。

次に図５について説明する。図５には、図１の位置特定装置の一部として動作させることのできるコンピュータ１０の構成例が図解されている。
このコンピュータ１０は、ＭＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、入力装置１４、表示装置１５、及びインタフェース装置１６を備えている。なお、これらの構成要素はバス１７を介して接続されており、ＭＰＵ１１の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（Micro Processing Unit）１１は、このコンピュータ１０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）１２は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。ＭＰＵ１１は、この制御プログラムをコンピュータ１０の起動時に読み出して実行することにより、このコンピュータ１０の各構成要素の動作制御がかのうとなり、更に、後述する制御処理を行えるようにもなる。

ＲＡＭ（Random Access Memory）１３は、ＭＰＵ１１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。なお、このＲＡＭ１３は、図１の位置特定装置における特徴点追跡結果格納メモリ６として機能する。

入力装置１４は、例えばキーボード装置であり、コンピュータ１０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ１１に送付する。

表示装置１５は例えば液晶ディスプレイであり、ＭＰＵ１１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置１６は、このコンピュータ１０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置１６は、カメラ１から送られてくる撮像画像信号のアナログ−デジタル変換や、アクチュエータ２を駆動させるための駆動信号の出力などを行う。

このように、コンピュータ１０はごく標準的な構成を有するものである。このような構成を有するコンピュータ１０を、アクチュエータ制御部３、画像取得部４、画像処理部５、特徴点追跡結果格納メモリ６、位置特定部７、及び距離算出部８として機能させることができる。このためには、まず、後述する対象物位置特定制御処理の処理内容をＭＰＵ１１に行わせるための制御プログラムを作成する。作成した制御プログラムは、ＲＯＭ１２に予め格納しておく。そして、ＭＰＵ１１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ１１が、図１の位置特定装置における前述した各構成要素として機能するようになり、このコンピュータ１０を用いて図１の位置特定装置を構成することが可能になる。

次に、ＭＰＵ１１により行われる対象物位置特定制御処理について、図６及び図７を用いて説明する。
図６は、第一位置特定処理の処理内容を図解したフローチャートである。この処理は、前述した第一対象物の位置を、ドアミラー９が完全に閉じたとき及び完全に開いたときの位置の各々からカメラ１が撮像して得た、第一対象物についての２枚の撮像画像に基づいて行うものである。

図６において、まず、Ｓ１０１では、アクチュエータ２を制御してドアミラー９を閉じ、カメラ１をＰ１の位置へ移動させる処理が行われる。この処理は、アクチュエータ制御部３の機能を提供するための処理である。

次に、Ｓ１０２において映像取得処理が行われる。この処理では、Ｐ１に位置しているカメラ１を制御して第一対象物についての画像を撮像させ、得られた撮像画像を取り込んでＲＡＭ１３に格納する処理が行われる。この処理は、画像取得部４の機能を提供するための処理である。

次に、Ｓ１０３において特徴点抽出処理が行われる。この処理は、Ｓ１０２の処理により取得された撮像画像から特徴点を抽出する処理であり、特徴点抽出部５ａの機能を提供するための処理である。なお、この特徴点を抽出する手法としては、形状の特徴を用いる手法や色彩の特徴を用いる手法など、広く知られている各種の手法を用いることができる。

次に、Ｓ１０４では、アクチュエータ２を駆動制御してドアミラー９を開く動作を開始させる処理が行われる。この処理は、アクチュエータ制御部３の機能を提供するための処理であり、この処理により、カメラ１は、Ｐ１の位置からＰ２の位置への移動を開始する。

次に、Ｓ１０５において映像取得処理が行われる。この処理はＳ１０２と同様の処理であるが、Ｐ１からＰ２への軌跡上のいずれかの位置にあるカメラ１を制御して画像を撮像させ、得られた撮像画像を取り込んでＲＡＭ１３に格納する処理である。なお、このＳ１０５の処理の繰り返し（後述）により得られるいずれの撮像画像にも、第一対象物の像が含まれる。また、このＳ１０５の処理の繰り返しにより得られる撮影画像の複数枚に第二対象物の像が撮像画像に含まれ、このＳ１０５の処理の繰り返しにより得られる撮影画像の複数枚に第三対象物の像が撮像画像に含まれる。

このＳ１０５の処理によって得られる撮像画像の枚数、すなわち、Ｓ１０５の処理の繰り返しの回数を「Ｎ」とする。
次に、Ｓ１０６において特徴点抽出処理が行われる。この処理は、この処理は、Ｓ１０５の処理により取得された撮像画像から特徴点を抽出する処理であり、特徴点抽出部５ａの機能を提供するための処理である。

次に、Ｓ１０７において特徴点の追跡処理が行われる。この処理では、まず、直近に実行されたＳ１０５の処理で取得された撮像画像と過去に実行された映像取得処理で取得された各撮像画像とから、特徴点抽出部５ａが抽出した特徴点の類似度が所定の閾値以上で最大の位置を抽出する。そして、各撮像画像間での特徴点の移動を追跡する処理である。この処理は、特徴点追跡部５ｂの機能を提供するための処理である。

次に、Ｓ１０８では、Ｓ１０１及びＳ１０５の処理により取得した撮像画像と、Ｓ１０６及びＳ１０７の処理結果である、各撮像画像間での特徴点の追跡結果を示す情報とを、特徴点追跡結果格納メモリ６として機能させるＲＡＭ１３に保存する処理が行われる。なお、各撮像画像間での特徴点の追跡結果を示す情報は、各特徴点の撮影画像上の位置を特定する位置情報と、各特徴点の撮像画像間での対応関係を示す情報とを有している。

次に、Ｓ１０９では、前述したＳ１０４の処理によって開き始めたドアミラー９が完全に開き、カメラ１がＰ２の位置で撮像した撮像画像に対してまで、上述したＳ１０６からＳ１０８の処理を完了したか否かを判定する処理が行われる。ここで、Ｐ２の位置での撮像画像まで上述の処理を完了したと判定したとき（判定結果がＹｅｓのとき）にはＳ１１０に処理を進める。一方、Ｐ２の位置での撮像画像に対する上述の処理が完了していないと判定したとき（判定結果がＮｏのとき）にはＳ１０５へ処理を戻し、前述したＳ１０５からＳ１０８にかけての処理が繰り返される。

次に、Ｓ１１０では、Ｐ１の位置での撮像画像とＰ２の位置での撮像画像とにおける第一対象物についての特徴点の位置と対応関係（特徴点の追跡結果）との情報を、ＲＡＭ１３から読み出して取得する処理が行われる。そして、続くＳ１１１において、三角測量の原理に基づき、２枚の撮像画像において対応している特徴点と既知であるＰ１及びＰ２の位置情報とから、特徴点の位置（ドアミラー９が装備されている自動車の所定位置に対する相対位置）を特定する処理が行われる。このＳ１１０及びＳ１１１の処理は、第一位置特定部７ａの機能を提供するための処理である。

次に、Ｓ１１２では、Ｓ１１１の処理により特定された第一対象物についての特徴点の位置と、ドアミラー９が装備されている自動車の所定位置との距離を算出する処理が行われ、その後はこの図６の処理を終了する。この処理は、距離算出部８の機能を提供するための処理である。

次に図７について説明する。図７は、第二位置特定処理の処理内容を図解したフローチャートである。この処理は、図６の第一位置特定処理に続いて行われる処理であり、前述した第二対象物、第三対象物、…の位置の特定を、第一位置特定処理で取得した撮像画像に基づいて行うものである。

図７において、まず、Ｓ２０１では、変数ｉに初期値「１」を代入する処理が行われる。
次に、Ｓ２０２では、変数ｉの現在の値が、前述したＳ１０５の処理により得られた撮像画像の枚数Ｎよりも小さいか否かを判定する処理が行われる。ここで、変数ｉの現在の値がＮよりも小さいとき（判定結果がＹｅｓのとき）にはＳ２０３に処理を進める。一方、変数ｉの現在の値がＮ以上となったとき（判定結果がＮｏのとき）には、この図７の処理を終了する。

次に、Ｓ２０３では、図６のＳ１１０の処理によって位置を特定できた各特徴点の位置情報に基づいて、Ｑｉ画像の撮像位置Ｑｉを特定する処理が行われる。この処理では、まず、位置を特定できた各特徴点について、特徴点の位置情報をＸｒｍとし、当該特徴点のＱｉ画像における位置情報をＸｍとして得られる複数の前掲した式［１］に対し前述のように最小二乗法を適用してＲｉ及びＴｉを求める処理が行われる。そして、次に、得られた既知の位置Ｐ１からの移動量（Ｒｉ及びＴｉ）を用いて、位置Ｑｉの位置を求める処理が行われる。

次に、Ｓ２０４では、Ｑｉ画像上の特徴点の位置を特定する処理が行われる。この処理は、Ｑｉ画像と、Ｓ２０３の処理で特定されたＱｉ画像の撮像位置の情報と、Ｐ１画像及びＰ２画像のうちＱｉ画像上の特徴点が含まれているものとその撮像位置の情報とを用い、三角測量の原理に基づいて行われる。

なお、このＳ２０３及びＳ２０４の処理は、第二位置特定部７ｂや第三位置特定部７ｃ等の機能を提供するための処理である。ここで、変数ｉの値が「１」の場合には第二位置特定部７ｂの機能を提供し、変数ｉの値が「２」の場合には第三位置特定部７ｃの機能を提供する。

次に、Ｓ２０５では、Ｓ２０４の処理により特定された特徴点の位置と、ドアミラー９が装備されている自動車の所定位置との距離を算出する処理が行われ、その後はこの図７の処理を終了する。この処理は、距離算出部８の機能を提供するための処理である。

以上の図６及び図７の処理をＭＰＵ１１が実行することで、図１の位置特定装置の一部として図５のコンピュータ１０を動作させることができる。
なお、図１の装置では、第三位置特定部７ｃによる第三対象物の位置の特定を、第一対象物の位置と、第一対象物の像も含まれている第三対象物についての第三撮像画像と、第一撮像画像のうち第三対象物の像が含まれているものとに基づいて行うようにしていた。この代わりに、第三対象物の位置の特定を、第二位置特定部７ｂが特定した第二対象物の位置と、第二対象物の像も含まれている第三対象物についての第三撮像画像と、第三対象物の像も含まれている第二撮像画像とその撮像位置とに基づき行うようにしてもよい。ここで、第二撮像画像の撮像位置は、第二位置特定部７ｂが第二対象物の位置の特定を前述したようにして行うときに特定済みである。このようにして第三対象物の位置の特定を行う場合には、必要な情報は第二撮像画像についてのものであり、第一撮像画像の情報は不要であるので、第一撮像画像の情報をいつまでも特徴点追跡結果格納メモリ６に保存しておく必要がなく、有益である。

また、前述した説明では、位置Ｐ１及び位置Ｐ２は、ドアミラー９が完全に閉じたとき及び完全に開いたときのカメラ１の位置（カメラ１軌跡の両端の位置）としていた。ここで、位置Ｐ１及び位置Ｐ２が既知であれば、これらの位置は、ドアミラー９の開閉動作によりカメラ１が移動することで描かれる軌道上の途中の位置であってもよい。

なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像に基づいて該第一対象物の位置を特定する第一位置特定手段、及び
該第一位置特定手段により特定された該第一対象物の位置と、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像と、該第一撮像画像のうち該第二対象物の像も含まれているものとに基づいて、該第二対象物の位置を特定する第二位置特定手段、
を有することを特徴とする位置特定装置。
（付記２）
該第二位置特定手段は、該第一位置特定手段により特定された該第一対象物の位置と、該第二撮像画像とに基づいて、該第二撮像画像を撮像したときの該経路上の撮像位置を特定し、該第二撮像画像と、特定された該第二撮像画像の撮像位置と、該第一撮像画像のうちの１枚であって該第二対象物の像も含まれているものと、該２つの既知点の位置のうち該第一撮像画像のうちの１枚であって該第二対象物の像も含まれているものを撮像したときの撮像位置であるものとに基づいて、該第二対象物の位置を特定することを特徴とする付記１に記載の位置特定装置。
（付記３）
該第一位置特定手段により特定された該第一対象物の位置と、該経路上の任意の位置から撮像して得た、該第二対象物とは別のものである第三対象物についての１枚の第三撮像画像であって該第一対象物の像も含まれているものと、該第一撮像画像のうち該第三対象物の像も含まれているものとに基づいて、該第三対象物の位置を特定する第三位置特定手段を更に有することを特徴とする付記１または２に記載の位置特定装置。
（付記４）
該第三位置特定手段は、該第一位置特定手段により特定された該第一対象物の位置と、該第三撮像画像とに基づいて、該第三撮像画像を撮像したときの該経路上の撮像位置を特定し、該第三撮像画像と、特定された該第三撮像画像の撮像位置と、該第一撮像画像のうちの１枚であって該第三対象物の像も含まれているものと、該２つの既知点の位置のうち該第一撮像画像のうちの１枚であって該第三対象物の像も含まれているものを撮像したときの撮像位置であるものとに基づいて、該第三対象物の位置を特定することを特徴とする付記３に記載の位置特定装置。
（付記５）
該第二位置特定手段により特定された該第二対象物の位置と、該経路上の任意の位置から撮像して得た、該第二対象物とは別のものである第三対象物についての１枚の第三撮像画像であって該第二対象物の像も含まれているものと、該第二撮像画像であって該第三対象物の像も含まれているものとに基づいて、該第三対象物の位置を特定する第三位置特定手段を更に有することを特徴とする付記１または２に記載の位置特定装置。
（付記６）
該第二位置特定手段により特定された該第二対象物の位置と所定位置との距離を算出する距離算出手段を更に有することを特徴とする付記１から５のうちのいずれか一項に記載の位置特定装置。
（付記７）
該第三位置特定手段により特定された該第三対象物の位置と所定位置との距離を算出する距離算出手段を更に有することを特徴とする付記３から５のうちのいずれか一項に記載の位置特定装置。
（付記８）
該第一撮像画像及び該第二撮像画像は、自動車のドアミラーに設置されているカメラによって撮像され、該経路は、該ドアミラーを開閉動作させたときの該カメラの軌跡であることを特徴とする付記１から６のうちのいずれか１項に記載の位置特定装置。
（付記９）
位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像に基づいて該第一対象物の位置を特定し、
該第一撮像画像に基づいて特定された該第一対象物の位置と、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像と、該第一撮像画像のうち該第二対象物の像も含まれているものとに基づいて、該第二対象物の位置を特定する、
ことを特徴とする位置特定方法。
（付記１０）
位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像に基づいて該第一対象物の位置を特定する第一位置特定処理、及び
該第一位置特定処理により特定された該第一対象物の位置と、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像と、該第一撮像画像のうち該第二対象物の像も含まれているものとに基づいて、該第二対象物の位置を特定する第二位置特定処理、
をコンピュータに行わせるためのプログラム。

１カメラ
２アクチュエータ
３アクチュエータ制御部
４画像取得部
５画像処理部
５ａ特徴点抽出部
５ｂ特徴点追跡部
６特徴点追跡結果格納メモリ
７位置特定部
７ａ第一位置特定部
７ｂ第二位置特定部
７ｃ第三位置特定部
８距離算出部
９ドアミラー
１０コンピュータ
１１ＭＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４入力装置
１５表示装置
１６インタフェース装置
１７バス
１０１カメラ
１０２センサ
１０３共通視野

Claims

位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像と、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像とに基づいて、該第二対象物の位置を特定する位置特定手段を有し、
該２枚の第一撮像画像のうちの少なくとも一方は、該第二対象物の像も含まれており、
該第一撮像画像及び該第二撮像画像は、自動車のドアミラーに設置されているカメラによって撮像され、該経路は、該ドアミラーを開閉動作させたときの該カメラの軌跡である
ことを特徴とする位置特定装置。
該位置特定手段は、
該２枚の第一撮像画像に基づいて該第一対象物の位置を特定する第一位置特定手段、及び
該第一位置特定手段により特定された該第一対象物の位置と、該１枚の第二撮像画像と、該第一撮像画像のうち該第二対象物の像も含まれているものとに基づいて、該第二対象物の位置を特定する第二位置特定手段、
を有することを特徴とする請求項１に記載の位置特定装置。
該第二位置特定手段は、該第一位置特定手段により特定された該第一対象物の位置と、該第二撮像画像とに基づいて、該第二撮像画像を撮像したときの該経路上の撮像位置を特定し、該第二撮像画像と、特定された該第二撮像画像の撮像位置と、該第一撮像画像のうちの１枚であって該第二対象物の像も含まれているものと、該２つの既知点の位置のうち該第一撮像画像のうちの１枚であって該第二対象物の像も含まれているものを撮像したときの撮像位置であるものとに基づいて、該第二対象物の位置を特定することを特徴とする請求項２に記載の位置特定装置。
該第一位置特定手段により特定された該第一対象物の位置と、該経路上の任意の位置から撮像して得た、該第二対象物とは別のものである第三対象物についての１枚の第三撮像画像であって該第一対象物の像も含まれているものと、該第一撮像画像のうち該第三対象物の像も含まれているものとに基づいて、該第三対象物の位置を特定する第三位置特定手段を更に有することを特徴とする請求項２または３に記載の位置特定装置。
該第二位置特定手段により特定された該第二対象物の位置と所定位置との距離を算出する距離算出手段を更に有することを特徴とする請求項２から４のうちのいずれか一項に記載の位置特定装置。
位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像と、該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像とに基づいて、該第二対象物の位置を特定する位置特定方法であって、
該２枚の第一撮像画像のうちの少なくとも一方は、該第二対象物の像も含まれており、
該第一撮像画像及び該第二撮像画像は、自動車のドアミラーに設置されているカメラによって撮像され、該経路は、該ドアミラーを開閉動作させたときの該カメラの軌跡であることを特徴とする位置特定方法。
位置が既知である２つの既知点の各々から撮像して得た第一対象物についての２枚の第一撮像画像を取得する処理、
該２つの既知点を結びかつ位置が既知である経路上における任意の位置から撮像して得た、該第一対象物の像も含まれている第二対象物についての１枚の第二撮像画像を取得する処理、及び
該２枚の第一撮像画像と該１枚の第二撮像画像とに基づいて、該第二対象物の位置を特定する位置特定処理、
をコンピュータに行わせるためのプログラムであって、
該２枚の第一撮像画像のうちの少なくとも一方は、該第二対象物の像も含まれており、
該第一撮像画像及び該第二撮像画像は、自動車のドアミラーに設置されているカメラによって撮像され、該経路は、該ドアミラーを開閉動作させたときの該カメラの軌跡である
ことを特徴とするプログラム。