JP2008046744A - 接近移動体表示装置、システム及び方法 - Google Patents
接近移動体表示装置、システム及び方法 Download PDFInfo
- Publication number
- JP2008046744A JP2008046744A JP2006219769A JP2006219769A JP2008046744A JP 2008046744 A JP2008046744 A JP 2008046744A JP 2006219769 A JP2006219769 A JP 2006219769A JP 2006219769 A JP2006219769 A JP 2006219769A JP 2008046744 A JP2008046744 A JP 2008046744A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- vehicle
- display
- screen
- approaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 カメラ3で道路の交通状況の画像を繰り返して撮像し、カメラ3で撮像された各画像情報に基づいて当該道路を移動する移動体Cを認識し、前記認識された移動体Cの位置情報から同移動体Cの画面上の仮想表示位置を算出し、前記算出された移動体Cの仮想表示位置Cvを前記車両内の画面に表示し、前記表示された移動体Cの仮想表示位置Cvを当該画面における移動体Cの実表示位置Crに近づける。
【選択図】 図20
Description
また、交差点にカメラを設置し、このカメラにより、自車両から死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を自車両で受信する装置がある(特許文献2参照)。この装置によれば、カメラから見た実際の他車両の画像を自車両内で観察することができる。
しかし、路車間通信や車々間通信の送信時間は通信方式の違いや、各所の通信状況等によって微妙に異なり、また、画像の処理時間も演算手法等によって微妙に異なるので、上記時間遅れを厳密に割り出すことが困難となる場合がある。このため、当該時間遅れに伴う他車両の表示位置の補正計算を行っても、表示部の画面上の他車両の表示位置は実際の他車両の位置からずれてしまい、自車両のドライバに対して他車両の正確な位置情報を提供できない場合がある。
この場合、前記操作部として、前記時間遅れの値を変更可能な操作部材により構成することができ(請求項2)、この操作部により、上記演算部での補正計算の引数となっている時間遅れを変更すれば、当該演算部において算出される移動体の位置ずれの補正値を任意に調節することができる。
このため、場所による通信状況の変化等によって時間遅れの値が搭乗中に変化し、これによって移動体の仮想表示位置がずれた場合であっても、操作部材を操作することでその位置ずれを搭乗者自らが迅速に是正することができる。
この場合、移動体が死角から外れると、その移動体をドライバがフロントガラス面から直接目視することになる。したがって、移動体の実表示位置は、車両のドライバから見た前記フロントガラス面上における移動体の位置となることから、この移動体の位置に、同移動体の仮想表示位置が一致するように操作部材を操作すればよい。
前記算出された移動体の仮想表示位置を車両内の画面に表示する場合、前記移動体の仮想表示位置を3次元表示された道路図形と重ねて表示することとすれば、当該車両のドライバは、移動体の仮想表示位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
前記表示部は、前記移動体の仮想表示位置をヘッドアップディスプレイに表示するものでもよい。前記接近移動体の仮想表示位置をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、接近移動体を認識することができる。
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することとすれば、ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
この接近移動体表示装置を使えば、交差点等見通しの悪い場所を移動する接近移動体の仮想表示位置を、当該場所に進入しようとする当該車両内の画面上に道路図形と重ねて表示することができる。したがって、当該車両のドライバは、死角となる場所の移動体の状況を道路との関係で具体的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
また、上記操作部により、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
また、上記操作部により、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
なお前記移動体の検出処理や位置情報の算出処理は、必ずしも、車載装置で行う必要はなく、路上に設置した画像処理装置で行ってもよい。
また、移動体の仮想表示位置を移動体の実表示位置に近づけることでこれらを実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
また、表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部を有しているので、この操作部を操作することで、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができ、移動体を表示部の画面に正確に表示することができる。
〔接近移動体表示方法〕
図1及び図2は、本発明の接近移動体表示方法を実施するためのカメラの配置図である。
図1では、カメラ3を、建物が密集した交差点4に配置し、図2では、建物が密集したカーブ5に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ3を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
交差点4が4本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた4台のカメラ3を設置するとよい。しかし、すべての流入路にカメラ3を設置できなくても、少なくとも1本の流入路にカメラ3を向けることができれば、当該流入路を監視できることになる。
以下、交差点4の1本の流入路にカメラ3を配置した図1の構成を例にとって、本発明の接近移動体表示方法を説明する。
なお、以下に述べる定式化は、カメラ3が単眼カメラである場合を例にして説明する。もっとも、本発明は、カメラ3が単眼カメラであってもステレオカメラであっても適用することができる。
道路(背景)の座標系を(X,Y,Z)、カメラ3の座標系を(X′,Y′,Z′)とし、原点はともにカメラ3のレンズ中心とする。
道路座標系は、監視対象である道路方向をY軸(前方向を正)、これと直角な道路面上の方向をX軸(右方向を正)、路面と垂直な方向をZ(上方を正)とする。
さらに、カメラ3座標軸の道路座標軸に対する回転角(カメラ3の姿勢)を、それぞれθ(ピッチ角)、φ(ロール角)、ψ(ヨー角)とし、全て右ねじの進む方向を正(θ:水平面より上向きが正、φ:右回りが正、ψ:左回りが正)とする。θ、φ、ψはいずれも既知とする。
P11=cosφ・cosψ−sinθ・sinφ・sinψ
P12=cosφ・sinψ+sinθ・sinφ・cosψ
P13=−cosθ・sinφ
P21=−cosθ・sinψ
P22=cosθ・cosψ
P23=sinθ
P31=sinφ・cosψ+sinθ・cosφ・sinψ
P32=sinφ・sinψ−sinθ・cosφ・cosψ
P33=cosθ・cosφ
図4は、カメラ3の画像面を示す図であり、右方向をx軸、上方向をy軸とする。x軸は前記X′軸と一致し、y軸は前記Z′軸と一致する。
x=f・X′/Y′… (1)
y=f・Z′/Y′… (2)
いま、監視対象であるカメラ3の前方の道路に移動体Cが存在するとする。移動体Cは、歩行者、二輪車、自動車など動くものなら何でもよい。
移動体Cが二輪車であれば、前輪のタイヤの道路接地点を「移動体Cの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Cの特徴点」と
する。
移動体Cの特徴点を道路座標系で表せば、(X,Y,−H)となる。
これを前記行列式に代入すれば、X′,Z′,Y′をそれぞれX,Yで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ3の画像面上の点x,yをX,Yで表すことができる。
このようにして、カメラ3からの相対位置X,Yが分かれば、カメラ3の位置を特定することによって移動体Cの位置(位置情報)を算出できる。なお、この移動体Cの位置情報は経緯度表現による絶対位置で表すこともできる。
以上のように移動体Cの位置が特定できれば、移動体Cの位置を画面上に表示することができる。
図6は、画面14に3次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。車両Aは、交差点4に向かって走行中である。画面14には、自車両Aの前方にある交差点4が写されていて、交差点4に近づく移動体Cが表示されている。ドライバは、画面14を見れば、交差点4に近づくこの移動体Cを認識することができる。
実際、移動体CがビルディングBの陰になっている場合でも、移動体Cは表示可能である。
実際の移動体Cが建物の陰に隠れていても、画面14には移動体Cが存在するかのように映るので、ドライバは、移動体Cが次の交差点4に現れることを予想できる。
以上のように移動体Cの位置が特定できれば、次に、ドライバの視点Eから移動体Cを見た場合の、移動体Cが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Cの位置座標X,Yの、X座標値を0とおく。自車両Aの位置X,Yの、Y座標値も0とおく。また自車両Aの走行方向は、−X方向であるとする。
自車両Aのドライバの視点Eとカメラ3との距離をXa、移動体Cの特徴点とカメラ3
との距離をYbとしている。
距離Xaは、自車両Aにおいて後述するように検出可能であり、距離Ybは前述したように撮像画像から求めることができる。したがって、ドライバの視点Eから見た移動体Cの方向Tが決定でき、ドライバの視点Eから見た移動体Cが見える水平角度αが決定できる。ドライバの視点Eから移動体Cまでの距離Wも算出できる。
図8は、方向Tを横軸、路面と垂直な方向Zを縦軸にとった場合の座標図である。ドライバの視点Eの地上からの高さをhとする。このhは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Eから移動体Cがどのように見えるかを決定することができる。
図9では、自車両Aのドライバの視点Eの座標を(Xa,Ya)、移動体Cの特徴点の座標を(Xb,Yb)としている。また自車両Aの走行方向をPで表している。自車両Aの走行方向Pとドライバの視点Eの座標(Xa,Ya)は、後述するように検出可能である。ドライバの視点Eとカメラ3との距離は√(Xa2+Ya2)、移動体Cの特徴点とカメラ3との距離は√(Xb2+Yb2)となる。
次に、車両A内のヘッドアップディスプレイの画面で、移動体Cの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
実際に移動体Cがフロントガラスから見えている場合は、移動体Cとこの作画された移動体C′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
そこで、本発明の表示方法では、上記時間遅れの間に進んだ移動体C′の移動量を考慮して移動体C′の位置を補正し、この補正された移動体C′の位置をディスプレイに表示することで、位置ずれを是正している。この点については後で詳述する。
次に、前記接近移動体表示方法を実施するための、本発明の接近移動体表示システムの
構成を説明する。
図11は、接近移動体表示システムの全体構成を示す概念図である。接近移動体表示システムは、カメラ3と、画像送信装置6と、車載装置7とを含む。
画像送信装置6は、カメラ3で撮像した画像データ等を送信する装置である。カメラ3と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ3と通信回線で結ばれている。画像データの送信媒体は、車載装置7に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信よりも、無線LAN等の路車間通信がさらに望ましい。変調方式や符号化方式は、任意である。
カメラ3の位置は、次のような方法で設定する。
(1)カメラ3の取り付け前の調査で把握し、予め画像送信装置6に記憶させておく。
図12は、画像送信装置6から車載装置7に各種データを送信するスケジュールを示すフローチャートである。画像送信装置6は、一定の処理周期になれば(ステップS1)、カメラ3から撮像画像を取得し(ステップS2)、車載装置7との通信が確立していれば(ステップS3)、時刻、撮像画像、カメラ3の位置、カメラ3の姿勢、交差点形状などのデータを車載装置7に送信する(ステップS4)。また、差分画像を得るため、移動体のない時の撮像画像も送信することが好ましい。
前記通信装置13は、画像送信装置6から送られてくるデータを受信するものであり、復調方式や復号化方式は、画像送信装置6のものに対応している。
位置方位検出装置12は、当該車両の位置と方位を検出するための装置である。なお、車載装置7の位置検出は、例えばGPSを利用する。GPSを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点4からの距離のような相対的表現があり、どちらを利用してもよい。
ディスプレイ14には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
スピーカ15は、交差点4などでの出合い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
すなわち、車載コンピュータ16は、カメラ3の撮像画像に基づいて道路を移動する移動体を認識する認識部、この認識された移動体の位置を算出する演算部、この算出された位置を画面表示時点の位置に補正する補正部(補正の仕方は後述する。)としての機能を併有する。
以下、前記車載コンピュータ16の機能を、フローチャート(図13,図14)に基づいて詳細に説明する。
そして、撮像画像に基づいて、移動体を認識する(ステップT4)。この移動体の認識は、移動体のない時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
このようにして、カメラ3に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用して種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ3の撮像画像内の移動体Cの特徴点の座標(x0,y0)に基づいて、接近移動体の位置を算出する(ステップT6)。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
以下、その推定処理を説明する(ステップT7)。なお、移動体の位置のX座標を、簡単のため0とおき、Y座標だけで議論する。移動体表示時刻をtとする。
(a) 1次式を利用した例
Y=at+b
で推定する。係数a,bは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数aに基づいて当該移動体の速度Vを算出し、直前のデータ(t0,Y0)と時間遅れ(t-t0)(=Δt)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t-t0) =Y0+V・Δtで算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
Y = a t 2+bt+c
で推定する。係数a,b,cは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数a,bに基づいて、移動体の速度Vと加速度Aを算出し、直前のデータ(t0,Y0)と時間遅れ(t-t0)(=Δt)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t-t0)+A(t-t0) 2/2 =Y0+V・Δt+A・Δt2 /2で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
以上の推定処理を用いれば、画像送信装置の処理時間、通信時間、車載装置7への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
そこで、本実施形態では、車両の搭乗者が操作可能な前記操作部18(操作つまみ19や操作スイッチ20)により、移動体の位置の補正を行うための上記Δtを変更できるようにしている。このため、ドライバ等が操作部18でΔtを変更することにより、移動体Cの座標よりなる位置情報を補正することができ、その結果、画面上での仮想表示位置Cv(例えば、図21〜図24参照)が補正され、その仮想表示位置Cvを画面上で人為的に移動させることができる。
図14は、接近移動体を、自車両Aの画面上へ表示する場合の手順を示すフローチャートである。
フロントガラスへの表示を行う場合は(ステップT8でYES)、前述したように、ドライバの視点Eから接近移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる(ステップT9,T10)。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から接近移動体までの距離Wと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
また、図6に示したように、立体道路地図と重ねてもよい。
次に、オプションとして、接近移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点4に到着する時間tsと、安全余裕度dtとを基にして、自車両が、時間ts−dtからts+dtの範囲に交差点4に到達してしまう走行速度の範囲(「走行速度の危険範囲」という)を求め、自車速度と共に表示することが好ましい。
ts=s1/v1
となる。また自車両の危険速度をv2,交差点4までの距離をs2とすると、
ts−dt≦s2/v2≦ts+dt
を満たすv2の範囲が、走行速度の危険範囲となる(ステップT14)。
なお上式では、安全余裕度を時間dtで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ15から音声で警告してもよい(ステップT16)。
これまで説明した実施形態では、車載装置7で移動体の存在判定や位置検出を行っていたが、路上側の画像処理装置6aで、移動体の存在判定や位置検出を行ってもよい。ただし、この場合においても、移動体の位置情報の補正ないし推定処理は、車載装置7側で行う必要がある。その理由は、路上側の画像処理装置6aでは、画面表示の表示時点が不明だからである。
この場合の接近移動体表示システムの構成を図15に示す。
これらの機能を含めた、画像処理装置6aの処理手順を、フローチャート(図16)を用いて説明する。
このようにして、カメラ3に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用してその種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ3の撮像画像内の移動体Cの特徴点の座標(x0,y0)に基づいて、接近移動体の位置を算出する(ステップU5)。
次に車載装置7の処理に移る。
図17を参照して、車載コンピュータ16は、一定の処理周期になれば(ステップV1)、画像処理装置との通信が確立しているかどうかを確認し(ステップV2)、確立していれば、画像処理装置6aから、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを受信する(ステップV3)。
フロントガラスへの表示を行う場合は(ステップV5でYES)、ドライバの視点Eから接近移動体までの方向に基づいて、その方向をフロントガラスへ投影することによって表示する(ステップV6,V7)。
また、自車両が走行速度危険範囲内に入っている場合には(ステップV11)、走行速度の危険範囲表示(ステップV12)を行い、音声での警告(ステップV13)を行う。
例えば、図18に示したような、右折待ち車両Fの陰になる対向車線17がある。このような場合、図18に示すように対向車線17を見渡すことができる位置にカメラ3aを設置するとよい。本発明の方法により、カメラ3aの撮像画像に基づいて、右折待ち車両Fの陰になった移動体Gの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
なお以上の実施形態では、単眼カメラ3の場合であるが、勿論ステレオカメラ3でもよい。
また同じ道路にカメラ3を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
すなわち、地上設備に設置されるカメラ3の代わりに、他の車両に搭載された車載カメラを利用し、この車載カメラで撮像して得られた画像データや画像処理後の移動体の位置情報等を、車々間通信にて自車両Aの車載装置7に送信するシステム構成にすることもできる(図示省略)。
図21は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の実例の一つである。
ここでは、自車両Aが交差点を右折しようとする右折車両であり、ドライバからは、フロントガラス面21を通して、トラックよりなる対向車両Bと、その死角に隠れていた二輪車よりなる死角移動体Cが見え始めたものとする。また、図21において、Cvは、フロントガラス面21に表示された死角移動体Cの仮想表示位置を示し、Crは、当該死角移動体Cの実表示位置(ドライバから見たフロントガラス面21上における死角移動体Cの位置)である。
このような位置ずれが生じた場合には、ドライバが操作部18を操作することにより、死角移動体Cの仮想表示位置Cvをその実表示位置Crに近づけて両者を一致させることができ、かかる操作部18によるアジャストを行うことにより、それ以降の死角移動体Cの仮想表示位置Cvを正確に表示できるようになる。
ここでは、自車両Aが交差点の手前を走行する直進車両であり、ドライバからは、フロントガラス面21を通して、交差点を右側から進入してくる乗用車よりなる進入移動体Cが見え始めたものとする。また、図22において、Cvは、フロントガラス面21に表示された進入移動体Cの仮想表示位置を示し、Crは、当該進入移動体Cの実表示位置(ドライバから見たフロントガラス面21上における進入移動体Cの位置)である
このような位置ずれが生じた場合でも、ドライバが操作部18を操作することにより、進入移動体Cの仮想表示位置Cvをその実表示位置Crに近づけて両者を一致させることができる。
ここでは、自車両Aがカーブする道路を走行する走行車両であり、ドライバからは、フロントガラス面21を通して、その道路のカーブを曲がりきった乗用車よりなる対向移動体Cが見え始めたものとする。また、図23において、Cvは、フロントガラス面21に表示された対向移動体Cの仮想表示位置を示し、Crは、当該対向移動体Cの実表示位置(ドライバから見たフロントガラス面21上に置ける対向移動体Cの位置)である。
このような位置ずれが生じた場合でも、ドライバが操作部18を操作することにより、対向移動体Cの仮想表示位置Cvをその実表示位置Crに近づけて両者を一致させることができる。
ここでは、自車両Aが直進道路を走行する走行車両であり、ドライバからは、フロントガラス面21を通して、その道路の左側に駐車している駐車車両Bと、今まで駐車車両B死角になっていた移動体である歩行者Cが見え始めたものとする。また、図24において、Cvは、フロントガラス面21に表示された歩行者Cの仮想表示位置を示し、Crは、当該歩行者体Cの実表示位置(ドライバから見たフロントガラス面21上における歩行者Cの位置)である。
この図24の表示例においても、画像の撮像時点に対するディスプレイ14での表示時点の時間遅れΔtにより、画面上の架空表示Cvは実際の歩行者Cの実表示Cr(ここでは、ドライバがフロントガラス面21を通して直接目視する歩行者C自体)に対してずれることがある。
このような位置ずれが生じた場合でも、ドライバが操作部18を操作することにより、歩行者Cの仮想表示位置Cvをその実表示位置Crに近づけて両者を一致させることができる。
すなわち、移動体Cの位置情報の補正処理を行わないことは、前記時間遅れΔtの設定値が0であることと等価であり、このような場合でも、操作部18によって前記時間遅れΔtを人為的に設定することにより、移動体Cの仮想表示位置Cvを変更することができる。
4 交差点
5 カーブ
6 画像送信装置
6a 画像処理装置
7 車載装置
11 電波時計
12 位置方位検出装置
13 通信装置
14 ディスプレイ、画面
15 スピーカ
16 車載コンピュータ
17 対向車線
18 操作部
19 操作つまみ
20 操作スイッチ
21 フロントガラス面
C 移動体
Cv 仮想表示位置
Cr 実表示位置
Claims (8)
- 接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
カメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、
前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、
前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、
前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部と
を有することを特徴とする接近移動体表示装置。 - 前記演算部は、前記画像の撮像時点に対する前記表示部での表示時点の時間遅れを算出し、この時間遅れに基づいて移動体の仮想表示位置を補正する補正機能を有し、前記操作部は、前記時間遅れの値を変更可能な操作部材よりなる請求項1に記載の接近移動体表示装置。
- 前記操作部材は、前記車両の搭乗席からの人的操作が可能なヒューマンインタフェースよりなる請求項2に記載の接近移動体表示装置。
- 前記表示部は、移動体の仮想表示位置を前記車両のフロントガラス面に投影するヘッドアップディスプレイよりなり、移動体の実表示位置は、前記車両のドライバから見た前記フロントガラス面上における移動体の位置である請求項1〜3のいずれか1項に記載の接近移動体表示装置。
- 接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
交差点など見通しの悪い場所に接近する移動体の位置情報を受信する受信部と、
前記受信された移動体の位置情報から算出した仮想表示位置を前記車両内の画面に表示する表示部と、
前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部と
を有することを特徴とする接近移動体表示装置。 - 接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
道路の交通状況の画像を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報を送信する画像送信装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を当該車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有することを特徴とする接近移動体表示システム。 - 接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
道路の交通状況の画像を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置情報を算出して、送信する画像処理装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有することを特徴とする接近移動体表示システム。 - 接近移動体を車両内の画面に表示するための接近移動体表示方法であって、
カメラで道路の交通状況の画像を繰り返して撮像し、
前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、
前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出し、
前記算出された移動体の仮想表示位置を前記車両内の画面に表示し、
前記表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけることを特徴とする接近移動体表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006219769A JP4311420B2 (ja) | 2006-08-11 | 2006-08-11 | 接近移動体表示装置、システム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006219769A JP4311420B2 (ja) | 2006-08-11 | 2006-08-11 | 接近移動体表示装置、システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008046744A true JP2008046744A (ja) | 2008-02-28 |
JP4311420B2 JP4311420B2 (ja) | 2009-08-12 |
Family
ID=39180452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006219769A Expired - Fee Related JP4311420B2 (ja) | 2006-08-11 | 2006-08-11 | 接近移動体表示装置、システム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4311420B2 (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009208677A (ja) * | 2008-03-05 | 2009-09-17 | Nissan Motor Co Ltd | 車両用減速制御装置 |
WO2009119110A1 (ja) * | 2008-03-27 | 2009-10-01 | パナソニック株式会社 | 死角表示装置 |
JP2010108460A (ja) * | 2008-11-03 | 2010-05-13 | Denso Corp | 交差点走行支援システム、走行支援システム、および車載装置 |
KR100975949B1 (ko) * | 2008-05-02 | 2010-08-13 | 백상은 | 디지털 무선 카메라의 영상 시차 보상 장치 및 방법 |
JP2011003003A (ja) * | 2009-06-18 | 2011-01-06 | Mitsubishi Motors Corp | 運転支援装置 |
JP2014166834A (ja) * | 2013-02-28 | 2014-09-11 | Aisin Seiki Co Ltd | 駐車支援装置、駐車支援方法およびプログラム |
JP2016173800A (ja) * | 2015-03-18 | 2016-09-29 | 日本電気株式会社 | データ処理装置、システム、データ処理方法、およびプログラム |
CN106470877A (zh) * | 2014-07-01 | 2017-03-01 | 日产自动车株式会社 | 车辆用显示装置以及车辆用显示方法 |
EP3153356A4 (en) * | 2014-07-01 | 2017-10-04 | Nissan Motor Co., Ltd | Display device for vehicle and display method for vehicle |
FR3050710A1 (fr) * | 2016-04-28 | 2017-11-03 | Peugeot Citroen Automobiles Sa | Procede et dispositif d'aide a la conduite d'un vehicule manoeuvrant pour stationner dans un parking |
JP2018101202A (ja) * | 2016-12-19 | 2018-06-28 | トヨタ自動車株式会社 | 車両用運転支援装置 |
JP2019197270A (ja) * | 2018-05-07 | 2019-11-14 | 株式会社デンソーテン | 物体検知装置および物体検知方法 |
CN111915900A (zh) * | 2019-05-07 | 2020-11-10 | 株式会社电装 | 信息处理装置和方法及计算机可读存储介质 |
CN113155147A (zh) * | 2012-06-05 | 2021-07-23 | 苹果公司 | 用于3d地图的虚拟相机 |
WO2022102684A1 (ja) * | 2020-11-16 | 2022-05-19 | パナソニックIpマネジメント株式会社 | 路側機、車両、制御装置、及び、車両制御方法 |
DE112021000344T5 (de) | 2020-02-12 | 2022-10-27 | Panasonic Intellectual Property Management Co., Ltd. | Rendering-System, Anzeigesystem, Fahrzeug, Rendering-Verfahren und Programm |
WO2023189084A1 (ja) * | 2022-03-30 | 2023-10-05 | パナソニックIpマネジメント株式会社 | 情報提示方法、情報提示装置、車両制御方法及び車両制御装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101667236B1 (ko) * | 2015-05-29 | 2016-10-18 | 한양대학교 산학협력단 | 시간 지연을 고려한 스테레오 비전 센서 보정 장치 및 방법 |
-
2006
- 2006-08-11 JP JP2006219769A patent/JP4311420B2/ja not_active Expired - Fee Related
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009208677A (ja) * | 2008-03-05 | 2009-09-17 | Nissan Motor Co Ltd | 車両用減速制御装置 |
WO2009119110A1 (ja) * | 2008-03-27 | 2009-10-01 | パナソニック株式会社 | 死角表示装置 |
US8395490B2 (en) | 2008-03-27 | 2013-03-12 | Panasonic Corporation | Blind spot display apparatus |
JP5208203B2 (ja) * | 2008-03-27 | 2013-06-12 | パナソニック株式会社 | 死角表示装置 |
KR100975949B1 (ko) * | 2008-05-02 | 2010-08-13 | 백상은 | 디지털 무선 카메라의 영상 시차 보상 장치 및 방법 |
JP2010108460A (ja) * | 2008-11-03 | 2010-05-13 | Denso Corp | 交差点走行支援システム、走行支援システム、および車載装置 |
JP2011003003A (ja) * | 2009-06-18 | 2011-01-06 | Mitsubishi Motors Corp | 運転支援装置 |
CN113155147A (zh) * | 2012-06-05 | 2021-07-23 | 苹果公司 | 用于3d地图的虚拟相机 |
JP2014166834A (ja) * | 2013-02-28 | 2014-09-11 | Aisin Seiki Co Ltd | 駐車支援装置、駐車支援方法およびプログラム |
US11402628B2 (en) | 2014-07-01 | 2022-08-02 | Nissan Motor Co., Ltd. | Vehicular display apparatus and vehicular display method |
EP3153356A4 (en) * | 2014-07-01 | 2017-10-04 | Nissan Motor Co., Ltd | Display device for vehicle and display method for vehicle |
EP3150443A4 (en) * | 2014-07-01 | 2017-10-04 | Nissan Motor Co., Ltd | Display device for vehicle and display method for vehicle |
CN106470877A (zh) * | 2014-07-01 | 2017-03-01 | 日产自动车株式会社 | 车辆用显示装置以及车辆用显示方法 |
JPWO2016002007A1 (ja) * | 2014-07-01 | 2017-06-08 | 日産自動車株式会社 | 車両用表示装置及び車両用表示方法 |
JP2016173800A (ja) * | 2015-03-18 | 2016-09-29 | 日本電気株式会社 | データ処理装置、システム、データ処理方法、およびプログラム |
FR3050710A1 (fr) * | 2016-04-28 | 2017-11-03 | Peugeot Citroen Automobiles Sa | Procede et dispositif d'aide a la conduite d'un vehicule manoeuvrant pour stationner dans un parking |
JP2018101202A (ja) * | 2016-12-19 | 2018-06-28 | トヨタ自動車株式会社 | 車両用運転支援装置 |
JP2019197270A (ja) * | 2018-05-07 | 2019-11-14 | 株式会社デンソーテン | 物体検知装置および物体検知方法 |
JP7244215B2 (ja) | 2018-05-07 | 2023-03-22 | 株式会社デンソーテン | 物体検知装置 |
CN111915900A (zh) * | 2019-05-07 | 2020-11-10 | 株式会社电装 | 信息处理装置和方法及计算机可读存储介质 |
JP2020184164A (ja) * | 2019-05-07 | 2020-11-12 | 株式会社デンソー | 情報処理装置 |
JP7140043B2 (ja) | 2019-05-07 | 2022-09-21 | 株式会社デンソー | 情報処理装置 |
CN111915900B (zh) * | 2019-05-07 | 2024-06-07 | 株式会社电装 | 信息处理装置和方法及计算机可读存储介质 |
DE112021000344T5 (de) | 2020-02-12 | 2022-10-27 | Panasonic Intellectual Property Management Co., Ltd. | Rendering-System, Anzeigesystem, Fahrzeug, Rendering-Verfahren und Programm |
WO2022102684A1 (ja) * | 2020-11-16 | 2022-05-19 | パナソニックIpマネジメント株式会社 | 路側機、車両、制御装置、及び、車両制御方法 |
WO2023189084A1 (ja) * | 2022-03-30 | 2023-10-05 | パナソニックIpマネジメント株式会社 | 情報提示方法、情報提示装置、車両制御方法及び車両制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4311420B2 (ja) | 2009-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4311420B2 (ja) | 接近移動体表示装置、システム及び方法 | |
JP4277217B2 (ja) | 接近移動体表示装置、システム及び方法、並びに衝突情報提供装置及び方法 | |
US7215254B2 (en) | Driving assistance system | |
WO2019111702A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP4311426B2 (ja) | 移動体を表示するための表示システム、車載装置及び表示方法 | |
WO2017057055A1 (ja) | 情報処理装置、情報端末、及び、情報処理方法 | |
US20200320728A1 (en) | Imaging control device and method, and vehicle | |
US20200329215A1 (en) | Imaging control device and method, and vehicle | |
EP3770549B1 (en) | Information processing device, movement device, method, and program | |
KR20190007286A (ko) | 차량용 주행 시스템 및 차량 | |
KR20180026241A (ko) | 차량용 사용자 인터페이스 장치 및 차량 | |
JP2008217813A (ja) | 衝突情報提供装置及び方法 | |
KR20180000672A (ko) | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 | |
KR101979276B1 (ko) | 차량용 사용자 인터페이스 장치 및 차량 | |
WO2019073920A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2019069581A1 (ja) | 画像処理装置及び画像処理方法 | |
CN110574357B (zh) | 成像控制设备、用于控制成像控制设备的方法以及移动体 | |
CN112309157B (zh) | 图像显示装置 | |
US11590985B2 (en) | Information processing device, moving body, information processing method, and program | |
US20230258466A1 (en) | Display device interworking with vehicle and operating method thereof | |
US20220080826A1 (en) | Information processing apparatus, information processing method, and mobile body apparatus | |
CN112368598A (zh) | 信息处理设备、信息处理方法、计算机程序和移动设备 | |
KR101916431B1 (ko) | 자율 주행 차량 및 자율 주행 차량의 동작 방법 | |
JP2008041058A (ja) | 死角移動体を報知するための報知システム、画像処理装置、車載装置及び報知方法 | |
KR101979277B1 (ko) | 차량용 사용자 인터페이스 장치 및 차량 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090504 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |