JP2008128867A - Device for identifying tire direction - Google Patents
Device for identifying tire direction Download PDFInfo
- Publication number
- JP2008128867A JP2008128867A JP2006315322A JP2006315322A JP2008128867A JP 2008128867 A JP2008128867 A JP 2008128867A JP 2006315322 A JP2006315322 A JP 2006315322A JP 2006315322 A JP2006315322 A JP 2006315322A JP 2008128867 A JP2008128867 A JP 2008128867A
- Authority
- JP
- Japan
- Prior art keywords
- tire
- orientation
- vehicle
- image
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、タイヤの向きを特定するタイヤ向き特定装置に関する。 The present invention relates to a tire orientation identifying device that identifies the orientation of a tire.
従来、車両のタイヤの撮影画像を処理することで、その向きを特定する装置の技術が知られている。例えば、特許文献１には、操舵角とその操舵角に対応する前タイヤの画像との組から成るテンプレートを、様々な操舵角毎に、記憶しておき、それらテンプレートと現在の前タイヤの画像とのマッチング処理によって、現在の前タイヤの画像と最も類似度の高いテンプレートから現在の操舵角を求める技術が記載されている。
しかし、カメラの取り付け位置やタイヤの大きさは車種ごとに異なるため、装置の製造時にテンプレートを作成する場合は、車種ごとにテンプレートを用意しなければならない。また、装置の製造時にテンプレートを作成する場合は、タイヤ交換、ホイール交換などで以前と違うタイヤ、ホイールが装着されてしまえば、あらかじめ記憶されているテンプレートのままでは正確なマッチング処理ができなくなる恐れがある。 However, since the mounting position of the camera and the size of the tire are different for each vehicle type, when creating a template at the time of manufacturing the apparatus, it is necessary to prepare a template for each vehicle type. Also, when creating a template at the time of manufacturing the device, if a tire or wheel that is different from the previous one is installed due to tire replacement or wheel replacement, accurate matching processing may not be possible with the template stored in advance. There is.
本発明は上記点に鑑み、タイヤの向きとタイヤの撮影画像との組から成るテンプレートに対するマッチング処理によって、現在のタイヤの撮影画像から現在のタイヤの向きを特定する技術において、車種毎にテンプレートの用意をする必要がなく、かつ、タイヤまたはホイールの交換があっても正確なマッチング処理ができるような技術を提供することを目的とする。 In view of the above points, the present invention relates to a technique for identifying the current tire orientation from the current tire photographed image by the matching process for the template comprising a set of the tire orientation and the tire photographed image. It is an object of the present invention to provide a technique that does not require preparation and that can perform an accurate matching process even if a tire or a wheel is replaced.
上記目的を達成するための本発明の特徴は、車両のドライバーによる車両の姿勢変化のための操作に応じて向きを変えるタイヤを撮影するカメラを備えたタイヤ向き特定装置において、複数の撮影機会におけるカメラの複数の撮影画像のそれぞれについて：（Ａ）当該撮影画像が撮影されたときのタイヤの車体に対する向きを特定し、さらに、（Ｂ）特定した当該向きと当該撮影画像との組（以下、テンプレートという）を記憶媒体に記録する。さらにタイヤ向き特定装置は、記録したテンプレートの群から、上記の複数の撮影機会とは異なる他の撮影機会におけるカメラの撮影画像と最も類似度が高い撮影画像を有するテンプレートを抽出し、当該テンプレートに含まれる向きを、当該他の撮影機会におけるタイヤの車体に対する向きとして特定する。 In order to achieve the above object, a feature of the present invention is that in a tire orientation identifying device including a camera that photographs a tire that changes its orientation according to an operation for changing the posture of a vehicle by a vehicle driver, For each of the plurality of photographed images of the camera: (A) Specify the orientation of the tire relative to the vehicle body when the photographed image is photographed, and (B) a pair of the identified orientation and the photographed image (hereinafter, Is recorded on a storage medium. Further, the tire orientation identifying device extracts a template having a photographed image having the highest similarity to the photographed image of the camera at another photographing opportunity different from the plurality of photographing opportunities from the group of recorded templates. The included orientation is specified as the orientation of the tire relative to the vehicle body at the other photographing opportunity.
このように、タイヤ向き特定装置自体がテンプレートを作成するようになっている。したがって、車種毎にテンプレートの用意をせずとも、ある車種の車両に搭載されたタイヤ向き特定装置は、その車両に適合したテンプレートの群を作成することができる。また、タイヤまたはホイールの交換があっても、その後にタイヤ向き特定装置自体がテンプレートを作成すれば、交換後も正確なマッチング処理ができるようになる。 In this way, the tire orientation identifying device itself creates a template. Therefore, without preparing a template for each vehicle type, a tire orientation specifying device mounted on a vehicle of a certain vehicle type can create a group of templates suitable for the vehicle. Even if the tire or wheel is replaced, if the tire orientation specifying device itself creates a template after that, an accurate matching process can be performed after the replacement.
また、カメラは、当該タイヤに加え、車両の車体のうちタイヤの周辺部分を撮影するようになっていてもよい。このとき、「（Ａ）当該撮影画像が撮影されたときのタイヤの車体に対する向きを特定」する方法としては、（Ａ１）当該撮影画像内のタイヤの輪郭および当該撮影画像内の周辺部分の輪郭を特定し、（Ａ２）当該タイヤの輪郭および当該周辺部分の輪郭との比較に基づいて、タイヤの車体に対する向きを特定するという方法を採用してもよい。このように、撮影画像中の車体の輪郭を用いることで、タイヤの車体に対する向きを簡易かつ正確に特定することができる。 In addition to the tire, the camera may take a picture of a portion around the tire of the vehicle body. At this time, “(A) Identifying the orientation of the tire relative to the vehicle body when the photographed image is photographed” includes (A1) the contour of the tire in the photographed image and the contour of the peripheral portion in the photographed image. And (A2) a method of specifying the orientation of the tire with respect to the vehicle body based on the comparison between the contour of the tire and the contour of the peripheral portion. Thus, by using the contour of the vehicle body in the captured image, the orientation of the tire with respect to the vehicle body can be specified easily and accurately.
また、タイヤ向き特定装置は、抽出されたテンプレートが有する撮影画像と当該他の撮影機会における撮影画像との類似度が基準類似度以上であるか否かを判定し、その判定結果が否定的であることに基づいて、新たな複数の撮影機会におけるカメラの複数の撮影画像のそれぞれについて：（Ａ）当該撮影画像が撮影されたときのタイヤの車体に対する向きを特定し、さらに、（Ｂ）テンプレート群の内容を更新するために、特定した当該向きと当該撮影画像との組を記憶媒体に記録するようになっていてもよい。 Further, the tire orientation specifying device determines whether or not the similarity between the captured image of the extracted template and the captured image at the other capturing opportunity is equal to or higher than the reference similarity, and the determination result is negative. On the basis of a certain thing, for each of a plurality of photographed images of the camera at a plurality of new photographing opportunities: (A) specifying the orientation of the tire with respect to the vehicle body when the photographed image is photographed; and (B) a template In order to update the contents of the group, a set of the specified direction and the captured image may be recorded on a storage medium.
このようになっていることで、タイヤまたはホイールの交換があったときに、タイヤ向き特定装置は、抽出されたテンプレート、すなわち、最も類似度の高いテンプレートについての類似度が基準類似度よりも低いと判定する可能性が高い。したがって、タイヤ向き特定装置は、タイヤまたはホイールの交換の有無を自動的に検出してテンプレート群を更新することができる。 In this way, when the tire or the wheel is replaced, the tire orientation identifying device has a similarity lower than the reference similarity for the extracted template, that is, the template having the highest similarity. Is likely to be determined. Therefore, the tire orientation specifying device can automatically detect the presence or absence of replacement of the tire or wheel and update the template group.
また、本発明の特徴は、車両のドライバーによる前記車両の姿勢変化のための操作に応じて向きを変えるタイヤと、前記車両の車体のうち前記タイヤの周辺部分とを、撮影するカメラによる、複数の撮影機会における撮影画像のそれぞれについて：（Ａ）当該撮影画像が撮影されたときの前記タイヤの前記車体に対する向きを特定し、さらに、（Ｂ）特定した当該向きと当該撮影画像との組を記憶媒体に記録する記録手段、および前記記録手段によって記録された前記組の群から、前記複数の撮影機会とは異なる他の撮影機会における前記カメラの撮影画像と最も類似度が高い撮影画像を有する組を抽出し、当該組に含まれる向きを、前記他の撮影機会における前記タイヤの前記車体に対する向きとして特定する特定手段として、コンピュータを機能させるプログラム、としても捉えることができる Further, the present invention is characterized in that a plurality of tires that change the direction according to an operation for changing the posture of the vehicle by a driver of the vehicle, and a camera that captures a peripheral portion of the tire in the vehicle body of the vehicle. For each of the photographed images at the photographing opportunity of: (A) specifying the orientation of the tire with respect to the vehicle body when the photographed image is photographed; and (B) defining a set of the identified orientation and the photographed image. From the group of recording units recorded on the storage medium and the group recorded by the recording unit, the captured image having the highest similarity with the captured image of the camera in another imaging opportunity different from the plurality of imaging opportunities As a specifying means for extracting a set and specifying the direction included in the set as the direction of the tire with respect to the vehicle body at the other photographing opportunity, It can be grasped as a program, to function
以下、本発明の一実施形態について説明する。図１に、本実施形態に係るタイヤ向き特定装置１のハードウェア構成をブロック図で示す。タイヤ向き特定装置１は、車両に搭載され、表示装置１１、操作部１２、右サイドカメラ１３、左サイドカメラ１４、前方カメラ１５、後方カメラ１６、メモリ１７、および処理部１８を有している。
Hereinafter, an embodiment of the present invention will be described. FIG. 1 is a block diagram showing the hardware configuration of the tire
表示装置１１は、車内のドライバー席から見ることのできる位置に設置され、処理部１８から受ける画像信号に基づいて画像を表示する装置である。
The
操作部１２は、ユーザの操作を受け付け、受け付けた操作に応じた信号を処理部１８に出力する、メカニカルスイッチ、タッチパネル等の装置である。
The
カメラ１３〜１６は、車両の各部に設置され、繰り返し（例えば３０ミリ秒間隔の一定周期で）撮影を行い、撮影の結果の画像信号を逐次処理部１８に出力する装置である。図２に、タイヤ向き特定装置１が搭載される車両２０における、カメラ１３〜１６の配置を示す。この車両は、前輪操舵車両である。
The
右サイドカメラ１３は、車両の右ドアミラーの底部に取り付けられ、車両２０の右前輪（すなわち右前ホイールディスクおよび右前タイヤ）、車両２０の車体のうち右前輪の周辺にある部位、および車両２０の右方にある地面等の物を撮影する。
The
左サイドカメラ１４は、車両の左ドアミラーの底部に取り付けられ、車両２０の左前輪（すなわち左前ホイールディスクおよび左前タイヤ）、車両２０の車体のうち左前輪の周辺にある部位、および車両２０の左方にある地面等の物を撮影する。
The
前方カメラ１５は、車両の前端部に取り付けられ、車両の前方にある地面等の物を撮影する。後方カメラ１６は、車両の後端部に取り付けられ、車両の後方にある地面等の物を撮影する。
The
メモリ１７は、ハードディスクドライブ、フラッシュメモリ、バックアップＲＡＭ等の、タイヤ向き特定装置１への主電力の供給がなくともデータを記憶し続けることができる記憶媒体である。
The
処理部１８は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたマイコンである。ＣＰＵは、ＲＯＭ中に記録されたプログラムを実行し、その実行において、必要に応じてＲＡＭ、ＲＯＭ、メモリ１７からデータを読み出し、ＲＡＭ、メモリ１７にデータを書き込み、操作部１２または図示しないシフト位置センサ（ドライブポジション位置センサでもよい）から信号を受け、カメラ１３〜１６から受けた画像信号に対して各種処理を施し、表示装置１１に画像信号を出力する。このＣＰＵの処理によって、処理部１８の作動が実現する。
The
具体的には、処理部１８は、走行支援処理を実行する。走行支援処理において、処理部１８は、カメラ１３〜１６から受けた画像信号が示す画像に対して周知の変換処理を行うことで車両２０の周囲の鳥瞰画像を生成し、あらかじめメモリ１７に記憶されている車両２０自体の鳥瞰画像を生成された画像に合成することで、車両２０および車両２０の周囲を表す鳥瞰画像を生成する。そして、この生成された画像の信号を表示装置１１に出力する。
Specifically, the
なお、処理部１８は、生成し出力する鳥瞰画像に、車両２０の予測進路線を重ねる。予測新路線は、例えば、車両２０の後輪が現在以降に辿ると予測される軌跡である。この予測のためには、車両２０の現在以降の挙動の予測が必要となるが、処理部１８は、車両の左右前輪の車体に対する向きに基づいて、それを予測する。
Note that the
図３に、処理部１８の走行支援処理のためにＣＰＵがＲＯＭから読み出して繰り返し実行するプログラム１００のフローチャートを示す。このプログラム１００の実行において、ＣＰＵは、まずステップ１０５で、走行支援処理を開始するタイミングを待つ。具体的には、ＣＰＵは、操作部１２に対して特定の操作が行われたか、または、車両のシフト位置が「後退」位置に入った（または車両のドライブレンジが「Ｒ」に入った）ことに基づいて、走行支援処理の開始タイミングとなったと判定し、続いてステップ１１０で、ＲＡＭ中のタイヤ交換フラグの値をゼロにリセットする。
FIG. 3 shows a flowchart of a
続いてステップ１１５では、現在の走行支援処理が工場出荷後初めての起動であるか否か、および、タイヤ交換フラグの値が１であるか否かを判定し、それらのうちの少なくともいずれか１つの判定結果が肯定的であれば続いてステップ１２０を実行し、いずれも否定的であれれば続いてステップ１４０を実行する。なお、現在の走行支援処理が工場出荷後初めての起動であるか否かについては、メモリ１７中の出荷判定用フラグが１であるか否かで判定する。工場出荷直後は、この出荷判定用フラグは１になっている。そして、１回分のプログラム１００の実行が終了するときに、出荷判定用フラグは１は０にリセットされる。
Subsequently, in
ステップ１２０では、右サイドカメラ１３または左サイドカメラ１４から１枚分の撮影画像の信号を受けるまで待ち、受けると、その受けた撮影画像（以下、入力画像という）を用いて画像処理、具体的には輪郭検出処理を行うことで、車両２０の前方タイヤの車体に対する向き（例えば、「同一方向」、「右１０°」、「左５°」）を特定する。
In
図４に、入力画像の一例として、左サイドカメラ１４から出力された撮影画像３０を示す。この撮影画像３０中、右側に車両２０が写されており、左側に車両２０の左方の路面が写されている。撮影画像３０中の点線で囲まれた部分が、左前輪が写されたタイヤ部３１である。タイヤ部３１には、左前方車輪に加え、車体のうち左前方車輪の周囲の部位も写されている。右サイドカメラ１３、左サイドカメラ１４の撮影する範囲は固定されているので、撮影画像中のどの範囲に車両の右前輪および左前輪があるかについてはあらかじめわかっており、プログラム中にはその範囲が規定されている。
FIG. 4 shows a captured
ＣＰＵは、ステップ１２０の輪郭検出処理においては、当該入力画像中からタイヤ部を抽出し、このタイヤ部に対して周知の輪郭検出処理を行う。図５に、図４のタイヤ部３１に対して輪郭検出を行った結果の輪郭画像４０を示す。この輪郭画像４０に示すように、輪郭検出処理の結果、タイヤ内周輪郭４１、タイヤ外周輪郭４２、および車体輪郭４３が検出される。タイヤ内周輪郭４１は、タイヤをホイールディスクから分かつ境界である。タイヤ外周輪郭４２は、タイヤを路面および車体から分かつ境界である。車体輪郭４３は、車体を路面およびタイヤから分かつ境界である。
In the contour detection process of
ＣＰＵは、このようにして得たタイヤ内周輪郭４１、タイヤ外周輪郭４２、車体輪郭４３に基づいて、タイヤの車体に対する方向を特定する。例えば、タイヤ内周輪郭４１の楕円の長軸の方向を、タイヤの向いている方向とし、そして、車体輪郭４３の中心点４４における車体輪郭４３に対する接線の方向を車体の方向とする。そして、この車体の方向に対するタイヤの方向の成す角を、タイヤの車体に対する方向（図中では操舵角と記す）として特定する。また、タイヤの方向は、タイヤ外周輪郭４２の左辺部分の中心点４５におけるタイヤ外周輪郭４２に対する接線の方向であってもよい。
The CPU specifies the direction of the tire with respect to the vehicle body based on the tire
ステップ１２０ではさらに、検出したタイヤの車体に対する方向と、入力画像との組を、１つのテンプレートとして、メモリ１７に記録する。ステップ１２０が実行される度にそのときの入力画像と検出した方向との組から成るテンプレートが作成されるので、メモリ１７には、右前タイヤ用の複数の様々な角度のテンプレート、および、左前タイヤ用の複数の様々な角度のテンプレートが蓄積されていく。図６に、左前方タイヤについての３つのテンプレート５１、５２、５３を例示する。
In
続いてステップ１２５では、ステップ１２０で特定された検出したタイヤの車体に対する方向から、周知の方法で車両の予想進路を特定する。このとき、シフト位置センサ（またはドライブポジションセンサ）から、車両２０が前進しようとしているか後退しようとしているかを判定する。そして、前進しようとしている場合は、車両２０が現在のタイヤの方向を保持して前進したときに車両がどのように動くかを特定することで、予想進路を特定する。また、後退しようとしている場合は、車両２０が現在のタイヤの方向を保持して後退したときに車両がどのように動くかを特定することで、予想進路を特定する。
Subsequently, in
続いてステップ１３０では、予想進路に合わせて、車輪（前進のときは前輪、後退の時は後輪、あるいは常に前輪後輪すべてであってもよい）が辿るであろう軌跡を特定し、この軌跡を上述した車両２０および車両２０周辺の鳥瞰画像を作成し、作成した鳥瞰画像を表示装置１１に表示させる。図７に、この鳥瞰画像の一例６０を示す。この鳥瞰画像６０においては、車両２０、および車両２０の後方の路面上にある白線６３、６４、および、ＣＰＵが生成した外側予測進路６１、６２が描かれている。
Subsequently, in
続いてステップ１３５では走行支援処理を終了するか否かを判定し、終了する場合はプログラム１００の１回分の処理を終了し、終了しない場合は再度ステップ１１５に実行を戻す。走行支援処理を終了する場合としては、車両のシフト位置（またはドライブポジション）が後退位置から前進位置に変化した場合、操作部１２に対して所定の終了操作があった場合等がある。
Subsequently, in
工場出荷直後でもなく、かつタイヤ交換フラグが０である場合に実行されるステップ１４０では、右サイドカメラ１３または左サイドカメラ１４から１枚分の撮影画像の信号を受けるまで待ち、受けると、その受けた撮影画像（以下、入力画像という）と、メモリ１７中のテンプレート群中の各画像との周知のマッチング処理を行う。マッチング処理においては、例えば、入力画像の各画素の値と、比較対象中の同じ位置の画素の値との、差分を取り、その差分を画素の数だけ加算することで、入力画像と比較対処の画像の違いの大きさを定量的に特定する。この加算結果が大きいほど、マッチング率（類似度の一例に相当する）が低く、加算結果が小さいほど、マッチング率が高い。
In
続いてステップ１４５では、入力画像とのマッチング率が最も高かった撮影画像を含むテンプレートを抽出し、抽出したテンプレートから、タイヤの車体に対する角度を読み出す。
Subsequently, in
続いてステップ１５０では、抽出したテンプレートの画像とのマッチング率、すなわち最も高かったマッチング率が、閾値以上であるか否かを判定する。この閾値は、タイヤまたはホイールディスクの交換があったか否かを判定するための基準値であり、その値は一定でもよいし、各種条件に基づいて変動ようになっていてもよい、一定の範囲内でランダムに決まってもよい。閾値以上である場合、続いてステップ１２５を実行し、閾値以下である場合、続いてステップ１５５を実行する。
Subsequently, in
ステップ１５５では、タイヤ交換フラグを１にセットし、続いてステップ１２０を実行する。タイヤ交換フラグを設定する処理はステップ１１０とステップ１５５のみであり、かつ、ステップ１１０は走行支援処理の開始時に１回のみ実行されるだけであるので、ステップ１５５でタイヤ交換フラグが１になると、その後走行支援処理が終了するまでこの対は保持される。したがって、ステップ１５５の後は、ステップ１２０→１２５→１３０→１３５→１１５→１２０のループが、走行支援処理の終了まで繰り返される。
In
以上のような処理をＣＰＵに行わせることで、処理部１８は、前方タイヤ向き特定装置１の工場出荷後初めて（ステップ１１５参照）走行支援処理を実行するとき（ステップ１０５参照）、右サイドカメラ１３または左サイドカメラ１４から連続的に受ける入力画像のそれぞれについて（ステップ１１５、１２０、１２５、１３０、１３５のループ参照）、当該入力画像内の前方タイヤの輪郭および前方タイヤ周辺の車体の輪郭を特定し、当該前方タイヤの輪郭および当該周辺部分の輪郭との比較に基づいて、前方タイヤの車体に対する向きを特定する。すなわち、輪郭検出処理によって前方タイヤの車体に対する向きを特定する。
By causing the CPU to perform the processing as described above, the
そして、それら入力画像毎に、当該入力画像と、当該入力画像について特定した向きとの組から成るテンプレートを、メモリ１７に記録する（ステップ１２０参照）。また、輪郭検出処理によって逐次特定した前方タイヤの車体に対する向きに基づいて、車両の予測進路を決定し（ステップ１２５参照）、決定した予測進路に基づく予測進路線を含む車両２０および車両２０周辺の鳥瞰図を、表示装置１１に表示させる（ステップ１３０参照）。このように、１回の走行支援処理の開始から終了までに入力画像毎に生成される複数のテンプレートは、１つのテンプレート群としてメモリ１７に記録される。
Then, for each input image, a template composed of a set of the input image and the direction specified for the input image is recorded in the memory 17 (see step 120). Further, the predicted course of the vehicle is determined based on the orientation of the front tire relative to the vehicle body sequentially specified by the contour detection process (see step 125), and the
このように、タイヤ向き特定装置１は、タイヤ向き特定装置１の工場出荷直後の走行支援処理の期間中の複数の撮影機会におけるカメラ１３、１４の複数の撮影画像のそれぞれについて：（Ａ）当該撮影画像が撮影されたときのタイヤの車体に対する向きを特定し、さらに、（Ｂ）特定した当該向きと当該撮影画像との組から成るテンプレートを記憶媒体に記録する。
As described above, the tire
このように、タイヤ向き特定装置１自体がテンプレートを作成するようになっている。したがって、車種毎にテンプレートの用意をせずとも、ある車種の車両に搭載されたタイヤ向き特定装置１は、その車両に適合したテンプレートの群を作成することができる。
In this way, the tire
また、タイヤ向き特定装置１は、「（Ａ）当該撮影画像が撮影されたときのタイヤの車体に対する向きを特定」する方法としては、（Ａ１）当該撮影画像内のタイヤの輪郭および当該撮影画像内の周辺部分の輪郭を特定し、（Ａ２）当該タイヤの輪郭および当該周辺部分の輪郭との比較に基づいて、タイヤの車体に対する向きを特定するという方法を採用している。このように、撮影画像中の車体の輪郭を用いることで、操舵角センサを有していなくとも、タイヤの車体に対する向きを簡易かつ正確に特定することができる。
In addition, the tire
また、処理部１８は、前方タイヤ向き特定装置１の工場出荷後から数えて２回目以降の（ステップ１１５参照）走行支援処理において（ステップ１０５参照）、右サイドカメラ１３または左サイドカメラ１４から連続的に受ける入力画像のそれぞれについて（ステップ１１５、１４０、１４５、１５０、１２５、１３０、１３５を通るループ参照）、メモリ１７に記録されたテンプレート群中の撮影画像のそれぞれと当該入力画像とのマッチング処理を行い（ステップ１４０参照）、そのマッチングの結果マッチング率（類似度の一例に相当する）が最も高い撮影画像を有するテンプレート中の前方タイヤの方向を特定する（ステップ１４５参照）。
In addition, the
このように、タイヤ向き特定装置１は、テンプレートを作成した後はテンプレートマッチングを用いて前方タイヤの方向を特定する。多くの場合、テンプレートマッチングの実行に必要な時間は、輪郭検出処理の実行に必要な時間よりも非常に短い。したがって、常に輪郭検出処理で向きを特定する場合に比べ、処理部１８にかかる処理負荷が低減される。
As described above, after creating the template, the tire
そして、最も高かったマッチング率が閾値（基準類似度の一例に相当する）より高いときには、すなわち、前方タイヤやホイールディスクの取替えがないときには（ステップ１５０参照）、テンプレートマッチングによって逐次特定した前方タイヤの車体に対する向きに基づいて、車両の予測進路を決定し（ステップ１２５参照）、決定した予測進路に基づく予測進路線を含む車両２０および車両２０周辺の鳥瞰図を、表示装置１１に表示させる（ステップ１３０参照）。
When the highest matching rate is higher than a threshold value (corresponding to an example of the reference similarity), that is, when there is no replacement of the front tire or the wheel disc (see step 150), the front tires sequentially identified by template matching are determined. Based on the orientation with respect to the vehicle body, the predicted course of the vehicle is determined (see step 125), and the
しかし、最も高かったマッチング率が閾値より低いときには、すなわち、前方タイヤやホイールディスクの取替えがあったときには（ステップ１５０参照）、その後、輪郭検出処理によって繰り返し（ステップ１１５、１２０、１２５、１３０、１３５のループ参照）前方タイヤの車両に対する方向を特定するように制御する（ステップ１５５参照）。そして、輪郭検出処理によって繰り返し特定した前方タイヤの車体に対する向きに基づいて、車両の予測進路を決定し（ステップ１２５参照）、決定した予測進路に基づく予測進路線を含む車両２０および車両２０周辺の鳥瞰図を、表示装置１１に表示させる（ステップ１３０参照）。
However, when the highest matching rate is lower than the threshold value, that is, when the front tire or the wheel disc is replaced (see step 150), it is repeated by the contour detection process thereafter (steps 115, 120, 125, 130, 135). The control is performed so as to specify the direction of the front tire with respect to the vehicle (see step 155). Based on the orientation of the front tire relative to the vehicle body repeatedly specified by the contour detection process, the predicted course of the vehicle is determined (see step 125), and the
さらにこのとき、輪郭検出処理によって繰り返し特定した前方タイヤの車体に対する向きと、その輪郭検出処理を行った対象の入力画像との組とから成るテンプレートの新たな群を生成し、そのテンプレート群で、それまでにメモリ１７に記録されていたテンプレート群に置き換える（ステップ１２０）。このようになっていることでタイヤまたはホイールディスクの交換後のテンプレート群の更新が実現される。
Furthermore, at this time, a new group of templates composed of a set of the orientation of the front tire repeatedly identified by the contour detection process and the target input image for which the contour detection process has been performed is generated. The template group previously recorded in the
このように、タイヤ向き特定装置１は、抽出されたテンプレートが有する撮影画像と当該他の撮影機会における撮影画像との類似度が基準類似度以上であるか否かを判定し、その判定結果が否定的であることに基づいて、その判定を行った回の走行支援処理中の複数の撮影機会（新たな複数の撮影機会の一例に相当する）における複数の撮影画像のそれぞれについて：（Ａ）当該撮影画像が撮影されたときのタイヤの車体に対する向きを特定し、さらに、（Ｂ）テンプレート群の内容を更新するために、特定した当該向きと当該撮影画像との組を記憶媒体に記録するようになっている。
As described above, the tire
このようになっていることで、タイヤ向き特定装置は、タイヤまたはホイールの交換の有無を自動的に検出してテンプレート群を更新することができる。 In this way, the tire orientation specifying device can automatically detect the presence or absence of replacement of the tire or wheel and update the template group.
なお、上記の実施形態において、右サイドカメラ１３および左サイドカメラ１４のそれぞれが、車両のドライバーによる車両の姿勢変化のための操作に応じて向きを変えるタイヤを撮影するカメラの一例に相当する。また、メモリ１７が記憶媒体の一例に相当する。また、処理部１８が、プログラム１００のステップ１２０を実行することで記録手段の一例として機能し、ステップ１４０および１４５を実行することで特定手段の一例として機能し、ステップ１５０および１５５を実行することで判定手段の一例として機能する。
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
In the above-described embodiment, each of the
(Other embodiments)
As mentioned above, although embodiment of this invention was described, the scope of the present invention is not limited only to the said embodiment, The various form which can implement | achieve the function of each invention specific matter of this invention is included. It is.
例えば、処理部１８は、右サイドカメラ１３からの撮影画像および左サイドカメラ１４からの撮影画像のいずれか一方に基づいて、テンプレートの作成およびタイヤの方向の特定を行うようになっていてもよい。処理部１８は、車両のドライバーによる車両の姿勢変化のための操作に応じて向きを変えるタイヤであれば、どのタイヤの画像を用いてテンプレート作成およびタイヤ方向特定を行ってもよい。
For example, the
また、テンプレート群を更新する処理は、タイヤまたはホイールディスクの交換があったと判定したときのみならず、操作部１２に対する所定の更新のための操作があったときに実行するようになっていてもよい。このようになっていることで、ユーザが必要と感じたときにタイヤ向き特定装置自体がテンプレートを作成すれば、交換後も正確なマッチング処理ができるようになる。
Further, the process of updating the template group is executed not only when it is determined that the tire or the wheel disk has been replaced, but also when there is an operation for a predetermined update on the
また、走行支援処理中にタイヤまたはホイールディスクの交換がある可能性がほとんどないという事実に鑑みれば、ステップ１５０の処理は、走行支援処理の開始後最初のステップ１４５の実行後のみであってもよい。そして、２回目以降のステップ１４５の実行後には、続いてステップ１２５を実行するようになっていてもよい。
Further, in view of the fact that there is almost no possibility of tire or wheel disk replacement during the driving support process, the process of
また、タイヤの車体に対する方向の特定は、必ずしも車体の輪郭の方向とタイヤの方向との比較に基づかなくともよい。例えば、（１）撮影画像内のタイヤの撮影画像そのものに対する向きと、（２）タイヤの車体に対する向きと、の関係をあらかじめテーブルとして記憶しておき、そのテーブルに基づいて、入力画像内のタイヤの向きから、タイヤの車体に対する現在の向きとの関係を特定するようになっていてもよい。 Further, the specification of the direction of the tire relative to the vehicle body does not necessarily need to be based on a comparison between the direction of the contour of the vehicle body and the direction of the tire. For example, the relationship between (1) the orientation of the tire in the captured image with respect to the captured image itself and (2) the orientation of the tire with respect to the vehicle body is stored in advance as a table, and the tire in the input image is based on the table. The relationship between the tire direction and the current direction of the tire body may be specified.
また、テンプレートを作成する処理は、必ずしも走行支援処理中にのみ行う必要はない。車両が交差点を右折または左折しているときに実行するようになっていてもよい。 Further, the process of creating a template is not necessarily performed only during the driving support process. It may be executed when the vehicle is turning right or left at the intersection.
また、上記の実施形態において、処理部１８がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。
In the above embodiment, each function realized by the
１…タイヤ向き特定装置、１１…表示装置、１２…操作部、１３…右サイドカメラ、
１４…左サイドカメラ、１５…前方カメラ、１６…後方カメラ、１７…メモリ、
１８…処理部、２０…車両、３０…撮影画像、３１…タイヤ部、４０…輪郭画像、
４１…タイヤ内周輪郭、４２…タイヤ外周輪郭、４３…車体輪郭、
４４、４５…中心点、５１〜５３…テンプレート、６０…鳥瞰画像、
６１…外側予測進路、６２…内側予測進路、６３、６４…白線、１００…プログラム。
DESCRIPTION OF
14 ... Left side camera, 15 ... Front camera, 16 ... Back camera, 17 ... Memory,
18 ... processing unit, 20 ... vehicle, 30 ... captured image, 31 ... tire portion, 40 ... contour image,
41 ... tire inner peripheral contour, 42 ... tire outer peripheral contour, 43 ... vehicle body contour,
44, 45 ... center point, 51-53 ... template, 60 ... bird's-eye view image,
61 ... outside predicted course, 62 ... inside predicted course, 63, 64 ... white line, 100 ... program.
Claims (4)
複数の撮影機会における前記カメラの複数の撮影画像のそれぞれについて：（Ａ）当該撮影画像が撮影されたときの前記タイヤの前記車体に対する向きを特定し、さらに、（Ｂ）特定した当該向きと当該撮影画像との組を記憶媒体に記録する記録手段と、
前記記録手段によって記録された前記組の群から、前記複数の撮影機会とは異なる他の撮影機会における前記カメラの撮影画像と最も類似度が高い撮影画像を有する組を抽出し、当該組に含まれる向きを、前記他の撮影機会における前記タイヤの前記車体に対する向きとして特定する特定手段と、を備えたタイヤ向き特定装置。 A camera that shoots a tire that changes direction according to an operation for changing the posture of the vehicle by a driver of the vehicle;
For each of a plurality of photographed images of the camera at a plurality of photographing opportunities: (A) identifying the orientation of the tire with respect to the vehicle body when the photographed image is photographed; and (B) identifying the orientation and the identified Recording means for recording a set with a photographed image on a storage medium;
From the group of sets recorded by the recording means, a set having a photographed image having the highest similarity to the photographed image of the camera in another photographing opportunity different from the plurality of photographing opportunities is included and included in the set A tire orientation identifying device comprising: a means for identifying the orientation of the tire as the orientation of the tire with respect to the vehicle body at the other photographing opportunity.
前記記録手段は、前記複数の撮影機会における前記カメラの複数の撮影画像のそれぞれについて：（Ａ１）当該撮影画像内の前記タイヤの輪郭および当該撮影画像内の前記周辺部分の輪郭を特定し、（Ａ２）当該タイヤの輪郭および当該周辺部分の輪郭との比較に基づいて、前記タイヤの前記車体に対する向きを特定し、さらに、（Ｂ）特定した当該向きと当該撮影画像との組を記憶媒体に記録することを特徴とする請求項１に記載のタイヤ向き特定装置。 The camera, in addition to tires that change the direction according to an operation for changing the posture of the vehicle by a driver of the vehicle, photographs a peripheral portion of the tire in the vehicle body of the vehicle,
For each of the plurality of photographed images of the camera at the plurality of photographing opportunities, the recording means specifies (A1) the contour of the tire in the photographed image and the contour of the peripheral portion in the photographed image; A2) Based on the comparison between the contour of the tire and the contour of the peripheral portion, the orientation of the tire with respect to the vehicle body is specified, and (B) the set of the specified orientation and the captured image is stored in a storage medium The tire orientation identifying device according to claim 1, wherein the tire orientation identifying device records the tire orientation.
前記記録手段は、前記判定手段の判定結果が否定的であることに基づいて、新たな複数の撮影機会における前記カメラの複数の撮影画像のそれぞれについて：（Ａ）当該撮影画像が撮影されたときの前記タイヤの前記車体に対する向きを特定し、さらに、（Ｂ）前記群の内容を更新するために、特定した当該向きと当該撮影画像との組を記憶媒体に記録することを特徴とする請求項１または２に記載のタイヤ向き特定装置。 A determination unit for determining whether the similarity between the captured image of the set extracted by the specifying unit and the captured image in the other shooting opportunity is equal to or higher than a reference similarity;
The recording means, based on the determination result of the determination means being negative, for each of a plurality of photographed images of the camera at a plurality of new photographing opportunities: (A) When the photographed image is photographed The direction of the tire relative to the vehicle body is specified, and (B) a set of the specified direction and the captured image is recorded in a storage medium in order to update the contents of the group. Item 3. The tire orientation specifying device according to Item 1 or 2.
前記記録手段によって記録された前記組の群から、前記複数の撮影機会とは異なる他の撮影機会における前記カメラの撮影画像と最も類似度が高い撮影画像を有する組を抽出し、当該組に含まれる向きを、前記他の撮影機会における前記タイヤの前記車体に対する向きとして特定する特定手段として、コンピュータを機能させるプログラム。
Each of the photographed images at a plurality of photographing opportunities by a camera for photographing a tire that changes its direction according to an operation for changing the posture of the vehicle by a driver of the vehicle, and a peripheral portion of the tire of the vehicle body. About: (A) Identifying the orientation of the tire relative to the vehicle body when the photographed image is photographed; and (B) Recording means for recording a set of the identified orientation and the photographed image on a storage medium; And extracting from the group of sets recorded by the recording means a set having a photographed image having the highest similarity to the photographed image of the camera in another photographing opportunity different from the plurality of photographing opportunities, A program that causes a computer to function as specifying means for specifying the included orientation as the orientation of the tire with respect to the vehicle body at the other photographing opportunity. Mu.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006315322A JP2008128867A (en) | 2006-11-22 | 2006-11-22 | Device for identifying tire direction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006315322A JP2008128867A (en) | 2006-11-22 | 2006-11-22 | Device for identifying tire direction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008128867A true JP2008128867A (en) | 2008-06-05 |
Family
ID=39554835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006315322A Withdrawn JP2008128867A (en) | 2006-11-22 | 2006-11-22 | Device for identifying tire direction |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008128867A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010118764A (en) * | 2008-11-11 | 2010-05-27 | Nissan Motor Co Ltd | Apparatus and method for monitoring periphery of vehicle |
| WO2015045568A1 (en) * | 2013-09-27 | 2015-04-02 | 日産自動車株式会社 | Predicted-route presentation device and predicted-route presentation method |
| KR20160112673A (en) * | 2015-03-20 | 2016-09-28 | 주식회사 디젠 | Lane departure warning system apparatus |
| WO2020008576A1 (en) * | 2018-07-04 | 2020-01-09 | 富士通株式会社 | Determination method, determination program, and information processing device |
| CN114771657A (en) * | 2022-06-02 | 2022-07-22 | 安徽安凯汽车股份有限公司 | Steering wheel angle detection system |
-
2006
- 2006-11-22 JP JP2006315322A patent/JP2008128867A/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010118764A (en) * | 2008-11-11 | 2010-05-27 | Nissan Motor Co Ltd | Apparatus and method for monitoring periphery of vehicle |
| JPWO2015045568A1 (en) * | 2013-09-27 | 2017-03-09 | 日産自動車株式会社 | Predicted course presentation device and predicted course presentation method |
| CN105580359A (en) * | 2013-09-27 | 2016-05-11 | 日产自动车株式会社 | Predicted-route presentation device and predicted-route presentation method |
| EP3051807A4 (en) * | 2013-09-27 | 2016-09-28 | Nissan Motor | Predicted-route presentation device and predicted-route presentation method |
| WO2015045568A1 (en) * | 2013-09-27 | 2015-04-02 | 日産自動車株式会社 | Predicted-route presentation device and predicted-route presentation method |
| US9683861B2 (en) | 2013-09-27 | 2017-06-20 | Nissan Motor Co., Ltd. | Estimated route presentation apparatus and estimated route presentation method |
| CN105580359B (en) * | 2013-09-27 | 2018-10-19 | 日产自动车株式会社 | Predict forward march suggestion device and prediction forward march reminding method |
| KR20160112673A (en) * | 2015-03-20 | 2016-09-28 | 주식회사 디젠 | Lane departure warning system apparatus |
| KR101667347B1 (en) * | 2015-03-20 | 2016-10-18 | 주식회사 디젠 | Lane departure warning system apparatus |
| WO2020008576A1 (en) * | 2018-07-04 | 2020-01-09 | 富士通株式会社 | Determination method, determination program, and information processing device |
| JPWO2020008576A1 (en) * | 2018-07-04 | 2021-06-24 | 富士通株式会社 | Judgment method, judgment program and information processing device |
| JP7099526B2 (en) | 2018-07-04 | 2022-07-12 | 富士通株式会社 | Judgment method, judgment program and information processing device |
| US11663731B2 (en) | 2018-07-04 | 2023-05-30 | Fujitsu Limited | Determining method, information processing apparatus, and recording medium |
| CN114771657A (en) * | 2022-06-02 | 2022-07-22 | 安徽安凯汽车股份有限公司 | Steering wheel angle detection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6095985B2 (en) | Playback apparatus, playback system, playback method, and program | |
| JPWO2018051459A1 (en) | Object detection apparatus and object detection method | |
| WO2016147584A1 (en) | Vehicle monitoring device, vehicle monitoring method, and vehicle monitoring program | |
| JP5915923B2 (en) | Image processing apparatus and driving support system | |
| JP4962304B2 (en) | Pedestrian detection device | |
| JP2008128867A (en) | Device for identifying tire direction | |
| JP6375633B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP6890288B2 (en) | Image processing equipment, image display system and image processing method | |
| WO2015133072A1 (en) | Vehicle peripheral image display device and method for displaying vehicle peripheral image | |
| TW201929210A (en) | Semiconductor device, imaging system, and program | |
| JP2018142884A (en) | Bird's eye video creation device, bird's eye video creation system, bird's eye video creation method, and program | |
| JP2010225089A (en) | Driver monitor | |
| JP2015171106A (en) | Vehicle peripheral image display device and vehicle peripheral image display method | |
| JP6327115B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP2016021712A (en) | Image processing system and operation support system | |
| JP5263519B2 (en) | Display control system, display control method, and display control program | |
| US20190068898A1 (en) | Display control device which controls video extraction range | |
| JP2007088577A (en) | Vehicle surrounding image processing system | |
| JP2009181310A (en) | Road parameter estimation device | |
| JP2010233080A (en) | Driving support device, driving support method, and driving support program | |
| EP3772019A1 (en) | Line-based feature generation for vision-based driver assistance systems and methods | |
| JP2008294616A (en) | Driving support system and vehicle | |
| JP2016215726A (en) | Vehicle periphery display apparatus and vehicle periphery display method | |
| JP2021051348A (en) | Object distance estimation apparatus and object distance estimation method | |
| EP3396620A1 (en) | Display control device and display control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100202 |