JP6196444B2 - 周辺車の位置追跡装置及び方法 - Google Patents

Description

本発明は、周辺車の位置追跡装置及び方法に係り、周辺車の位置を基準にビュー変換された映像を提供する装置及び方法に関する。

車の走行時、運転者は車の左、右側面に備えられたサイドミラーを介して車側面に位置した周辺車を確認する。しかし、サイドミラーを介して確認されない死角領域により、運転者は車側面に位置した周辺車の正確な位置を把握することができない場合が発生する。

ここに、車外部にカメラを配置し、車の周辺映像を撮影して提供することにより、使用者は周辺映像を介して死角領域の周辺車も把握することができることになる。

しかし、従来の車外部に配置されるカメラはその角度が固定され、より広い視野確保のため光学カメラを適用するので原本映像の歪曲が激しく周辺車が非常に小さく表示され得るので、これにより運転者が周辺映像を介しても周辺車の位置を把握することができない場合が発生することになる。

韓国公開特許第１０−２００４−００８８７１５号公報

本発明の目的は、周辺車の位置を基準に周辺映像をビュー変換して使用者に提供することにより使用者がビュー変換映像を介して周辺車の位置を把握することができるようにする周辺車の位置追跡装置及び方法を提供することにある。

さらに、本発明の他の目的は、周辺映像から検出された周辺車のイメージが周辺映像の中央へ来るようにビュー変換した映像を使用者に提供することにより、周辺車の位置把握が容易になるようにする周辺車の位置追跡装置及び方法を提供することにある。

本発明に係わる周辺車の位置追跡装置は、車に備えられたカメラから獲得した周辺映像を分析して上記周辺映像内の周辺車を検出する周辺車検出部、上記周辺映像内で検出された上記周辺車の位置を追跡する位置追跡部、上記追跡された上記周辺車の位置を基準に上記周辺映像のビューを変換したビュー変換映像を生成するビュー変換部、及び上記ビュー変換映像が上記車に備えられたディスプレイを介して出力されるようにする出力制御部を含むことを特徴とする。

上記ビュー変換部は、上記ビュー変換映像で上記周辺車のイメージが上記ビュー変換映像の中央へ来るように配置することを特徴とする。

上記ビュー変換部は、上記ビュー変換映像で上記周辺車のイメージを除いた残りの領域をクロップ(crop) 処理することを特徴とする。

上記ビュー変換部は、上記車と上記周辺車の間の位置関係情報を含み上記ビュー変換映像を生成することを特徴とする。

上記位置追跡部は、上記周辺映像内で上記周辺車が検出される間、上記周辺車の位置情報をリアルタイムで更新することを特徴とする。

一方、本発明に係わる周辺車の位置追跡方法は、車に備えられたカメラから獲得した周辺映像を分析して上記周辺映像内の周辺車を検出する段階、上記周辺映像内で検出された上記周辺車の位置を追跡する段階、上記追跡された上記周辺車の位置を基準に上記周辺映像のビューを変換したビュー変換映像を生成する段階、及び上記ビュー変換映像が上記車に備えられたディスプレイを介して出力されるようにする段階を含むことを特徴とする。

上記ビュー変換映像を生成する段階は、上記ビュー変換映像で上記周辺車のイメージが上記ビュー変換映像の中央へ来るように配置することを特徴とする。

さらに、本発明に係わる周辺車の位置追跡方法は、上記ビュー変換映像で上記周辺車のイメージを除いた残りの領域をクロップ(crop) 処理する段階をさらに含むことを特徴とする。

さらに、上記ビュー変換映像を生成する段階は、上記車と上記周辺車の間の位置関係情報を含み上記ビュー変換映像を生成することを特徴とする。

一方、上記周辺車の位置を追跡する段階は、上記周辺映像内で上記周辺車が検出される間、上記周辺車の位置情報をリアルタイムで更新することを特徴とする。

本発明に従えば、周辺車の位置を基準に、周辺映像をビュー変換して使用者に提供することにより、使用者がビュー変換映像を介して周辺車の位置を把握することができるとの利点がある。

さらに、本発明は、周辺映像で検出された周辺車のイメージが周辺映像の中央へ来るようにビュー変換した映像を使用者に提供することにより、周辺車の位置把握が容易であるとの利点がある。

本発明に係わる周辺車の位置追跡装置が適用されたシステム構成の説明に参照される図である。 本発明に係わる周辺車の位置追跡装置の構成を示したブロック図である。 本発明に係わる周辺車の位置追跡装置のビュー変換動作の説明に参照される例示図である。 本発明に係わる周辺車の位置追跡装置でビュー変換映像を提供する実施例を示した例示図である。 本発明に係わる周辺車の位置追跡装置でビュー変換映像を提供する実施例を示した例示図である。 本発明に係わる周辺車の位置追跡方法に対する動作の流れを示したフローチャートである。

以下、図を参照して本発明の実施例を説明する。

図1は、本発明に係わる周辺車の位置追跡装置が適用されたシステム構成の説明に参照される図である。

図1を参照すれば、車10の左側及び右側側面には車の周辺映像を撮影するカメラ11a、11bが備えられる。このカメラ11a、11bは車10の始動がオンになると動作し、車10の周辺で移動する移動体をリアルタイムで撮影することになる。本発明の実施例では移動体が周辺車21、22であることにして説明するが、歩行者などのように車周辺で移動する対象であればいずれのものでも適用可能であるのは当然である。

このとき、車10の左、後側面に備えられたカメラ11a、11bを介して撮影された周辺映像は、周辺車の位置追跡装置100に伝達され、周辺車の位置追跡装置100は車の左、右側面に備えられたカメラ11a、11bを介して撮影された周辺映像に基づき周辺車21、22の位置を追跡し、追跡された周辺車21、22の位置を基準に周辺映像をビュー変換したビュー変換映像を生成して使用者にリアルタイムで提供する。

ここで、使用者に提供されるビュー変換映像は、周辺車の位置を基準にビュー変換された映像であるため、使用者が周辺車の位置をもう少し容易に把握することができることになる。

一方、周辺車の位置追跡装置100は車10内に具現されるものにし、車制御ユニットにモジュール化されて具現され得る。さらに、周辺車の位置追跡装置100は別途のモジュール形態に具現され車制御ユニットと連結されるか、外部装置で具現され車10のフロントパネルなどに備えられたインターフェース手段を介して車制御ユニットと連結され得ることもある。このように、周辺車の位置追跡装置100が車10内に具現される形態はいずれか一つに限定されるものではない。

ここに、使用者に周辺車21、22の位置を基準にしたビュー変換映像を提供する周辺車の位置追跡装置100に対する具体的な構成の説明は図2の実施例を参照する。

図2は、本発明に係わる周辺車の位置追跡装置の構成を示したブロック図である。図2を参照すれば、本発明に係わる周辺車の位置追跡装置100は制御部110、映像獲得部120、出力部130、貯蔵部140、周辺車検出部150、位置追跡部160、ビュー変換部170及び出力制御部180を含む。ここで、制御部110は、周辺車の位置追跡装置の各部の動作を制御する。

映像獲得部120は、車に備えられた少なくとも一つのカメラなどから撮影された車周辺の周辺映像を獲得する。このとき、映像獲得部120は移動する周辺車に対して所定時間間隔で撮影された周辺映像を獲得する。

ここで、車に備えられたカメラなどは車の前、後、左、右側に配置されたカメラであり得る。勿論、その他にも他の方向に配置されたカメラが該当され得ることは当然である。このとき、映像獲得部120は車の前、後、左、右側に配置されたカメラから撮影された車の前、後、左、右側に対する周辺映像などを貯蔵部140に貯蔵するようにする。

出力部130はディスプレイ手段と連結され、ビュー変換部170からのビュー変換映像をディスプレイ手段で出力する。ここで、ディスプレイ手段は車に備えられたモニター及びナビゲーションなどが該当され得る。このとき、ディスプレイ手段は使用者が運転中に確認し易い位置に配置されるものとする。

一例として、ディスプレイ手段は一つのディスプレイ手段が車のフロントパネル中央に配置され得るが、二つのディスプレイ手段が車の左側及び右側ウィンドウ周辺、あるいは車の室内でサイドミラーの位置に対応する位置に配置され得ることもある。ここに、ビュー変換映像がディスプレイ手段を介して出力される具体的な説明は図4及び図5の実施例を参照するようにする。

貯蔵部140は、周辺車の位置追跡装置の動作のための設定値などが貯蔵される。 さらに、貯蔵部140は映像獲得部120により獲得された周辺映像などが貯蔵されることができ、ビュー変換部170によりビュー変換されたビュー変換映像が貯蔵され得る。さらに、貯蔵部140は各映像などから抽出された情報及び位置追跡部160により追跡された周辺車の位置情報が貯蔵され得ることもある。

周辺車検出部150は、車に備えられたカメラから獲得した周辺映像を分析して周辺映像内の周辺車を検出する。一例として、周辺車検出部150は二つ以上の周辺映像の車映像から移動する周辺車を検出することができる。周辺車検出部150で周辺映像から周辺車を検出する方式はいずれか一つに限定されるものではなく、映像分析を介して移動体を検出する方式であればいずれのものでも適用可能である。

位置追跡部160は、周辺映像内で検出された周辺車の位置を追跡する。このとき、 位置追跡部160は、周辺映像内で周辺車が検出される間周辺車の位置情報をリアルタイムで更新する。再言すれば、位置追跡部160は車に備えられたカメラの撮影領域内に周辺車が存在する限り移動する周辺車の位置情報をリアルタイムで更新する。一例として、周辺車が車の左側後側から左側前側に移動するまで周辺車の位置情報を所定間隔で更新する。

ここで、 位置追跡部160はカメラ設定値及び詳細情報、周辺映像内で周辺車の座標情報などをもとに周辺車の位置を追跡することができ、車に備えられた複数のセンサーなどから獲得したセンサー値に基づき周辺車の位置を追跡することができる。位置追跡部160で周辺車の位置を追跡する方式はいずれか一つに限定されるものではなく、位置を検出するのに適用される方式であればいずれのものでも適用可能である。ここに、周辺車の位置を追跡する方式は一般に利用される方式を適用するので、これに対する具体的な説明は略する。

ビュー変換部170は、位置追跡部160により追跡された周辺車の位置を基準に、周辺映像のビューを変換してビュー変換映像を生成する。

このとき、ビュー変換部170は車に備えられたカメラ位置及び詳細情報に基づいて生成した数学的モデリングを行い、このとき生成された数学的モデルをもとに仮想カメラを具現する。したがって、ビュー変換部170は追跡された周辺車の位置に従い仮想カメラのビューを変換することにより、原本の周辺映像に対するビュー変換映像を生成する。

このとき、ビュー変換部170はビュー変換映像で周辺車のイメージがビュー変換映像の中央へ来るように配置する。一方、ビュー変換部170はビュー変換映像で上記周辺車のイメージを除いた残りの領域をクロップ(crop) 処理することもできる。

さらに、ビュー変換部170は当該車の位置情報と追跡された周辺車の位置情報に基づいて車と周辺車の間の位置関係を定義し、ビュー変換映像生成時に車と周辺車の間の位置関係情報が含まれるようにする。ビュー変換映像で車と周辺車の間の位置関係情報が表示される位置は、ビュー変換映像内のいずれの所でも可能である。

一方、ビュー変換部170は位置追跡部160により周辺車の位置情報が更新されると、映像獲得部120により獲得された周辺映像と更新された周辺車の位置情報に基づき更新された位置での周辺車に対するビュー変換映像を生成する。ビュー変換部170で周辺車の位置に従いビュー変換映像を生成する具体的な説明は、図3の実施例を参照する。

出力制御部180は、ビュー変換部170により生成されたビュー変換映像が出力部130を介して出力されるようにする。このとき、出力部130を介して出力されたビュー変換映像は車に備えられたディスプレイを介して出力されるようになる。

図3は、本発明に係わる周辺車の位置追跡装置のビュー変換動作の説明に参照される例示図である。図3の実施例は、周辺車の位置追跡装置で獲得した周辺映像などのうち車の側面方向で獲得した映像を基準に説明するが、実施形態に応じて多様な方向に対し適用可能であることは当然である。

図3を参照すれば、 図3の (a)、 (b)、 (c) 及び (d)に示された原本映像は、車に備えられたカメラが所定時間間隔で周辺車を撮影した周辺映像を示したものである。このとき、周辺映像を撮影したカメラの角度は固定されている。

周辺車の位置追跡装置は図3の (a)、 (b)、 (c) 及び (d)に示された周辺映像内の周辺車をそれぞれ検出し検出された周辺車の位置を追跡し、このとき追跡された位置に基づき仮想カメラのビューを変換する。

図3の (a)に示された原本映像で周辺車は当該車の左側後方に位置しているので、周辺車の位置追跡装置は仮想カメラのビューを車の左側後方に合わせて変換する。さらに、図3の (b)に示された原本映像で周辺車は当該車の左側後方であるが、図3の (a)の位置よりは前に位置しているので、周辺車の位置追跡装置は追跡された周辺車の位置に合わせて仮想カメラのビューを変換する。

さらに、図3の (c)に示された原本映像で周辺車は当該車の左側に位置しているので、周辺車の位置追跡装置は仮想カメラのビューを車の左側に合わせて変換する。さらに、図3の (d)に示された原本映像で周辺車は当該車の左側前方に位置しているので、周辺車の位置追跡装置は仮想カメラのビューを車の左側前方に合わせて変換する。

このように、周辺車の位置追跡装置は追跡された周辺車の位置に基づき仮想カメラのビューを変換し、それぞれの原本映像を周辺車の位置に合わせてビュー変換された仮想カメラに適用してビュー変換映像を生成する。このとき、生成されたそれぞれのビュー変換映像は図3の(a)、(b)、(c) 及び (d)に示されたビュー変換映像の通りである。

勿論、周辺車の位置追跡装置はそれぞれの原本映像を獲得した時点の該当車と周辺車の位置関係を定義し、定義された位置関係がビュー変換映像上にともに現われるようにすることができる。このとき、車と周辺車の位置関係はトップビュー形態に表示されることができ、周辺車の移動軌跡がともに表示され得る。

図4及び図5は、本発明に係わる周辺車の位置追跡装置でビュー変換映像を提供する実施例を示した例示図である。

先ず、図4は、車のフロントパネル中央ディスプレイ手段が配置された例を示した図である。図4を参照すれば、周辺車の位置追跡装置は車の左側又は右側で獲得した周辺映像に対し周辺車の位置を基準にビュー変換されたビュー変換映像を、フロントパネル中央に配置されたディスプレイ手段を介して表示されるようにする。

このとき、ディスプレイ手段は画面が二つの画面に分割され、分割された画面を介して左側の周辺車に対するビュー変換映像と、右側の周辺車に対するビュー変換映像がそれぞれ表示されるようにすることができる。

したがって、運転者はディスプレイ手段に表示された左側のビュー変換映像と、右側のビュー変換映像を介して車と左側及び右側に位置した周辺車の間の位置を容易に把握することができるようになる。

一方、図5は、車のフロントパネル両側に二つのディスプレイ手段がそれぞれ配置された例を示した図である。図5を参照すれば、周辺車の位置追跡装置は車の左側及び右側で獲得した周辺映像に対し周辺車の位置を基準に、ビュー変換されたビュー変換映像をフロントパネルの左側に配置された第1 ディスプレイ手段と、右側に配置された第2 ディスプレイ手段を介してそれぞれ表示されるようにする。

再言すれば、周辺車の位置追跡装置は第1ディスプレイ手段を介して左側の周辺車に対するビュー変換映像が表示されるようにし、第2ディスプレイ手段を介して右側の周辺車に対するビュー変換映像が表示されるようにすることができる。

したがって、運転者は第1 ディスプレイ手段及び第2 ディスプレイ手段に表示された左側のビュー変換映像と、右側のビュー変換映像を介して車と左側及び右側に位置した周辺車の間の位置を容易に把握することができるようになる。

上記のような構成を有する本発明に係わる周辺車の位置追跡装置の動作の流れをより詳しく説明する。

図6は、本発明に係わる周辺車の位置追跡方法に対する動作流れを示したフローチャートである。図6を参照すれば、本発明に係わる周辺車の位置追跡装置は車側面に備えられたカメラを介して撮影された周辺映像を獲得する(S100)。

このとき、 周辺車の位置追跡装置は「S100」過程で獲得した周辺映像内の周辺車を検出し(S110)、「S110」過程で検出された周辺車の位置を追跡する(S120)。

周辺車の位置追跡装置は、「S120」過程で追跡された周辺車の位置を基準に 「S100」過程で獲得した原本映像のビューを変換してビュー変換映像を生成し(S130)、「S130」過程で生成されたビュー変換映像が車に備えられたディスプレイ手段を介して出力するようにする(S140)。

「S100」乃至「S140」過程は動作終了命令のある前までは反復的に行われ、したがって周辺車の位置追跡装置は移動する周辺車の位置をリアルタイムで更新し、更新された周辺車の位置を基準にしたビュー変換映像を生成して使用者にリアルタイムで提供するようにする。

一方、始動オフ又は別途スィッチ操作などにより動作終了命令が入力されると(S150)、周辺車の位置追跡装置は該当動作を終了する。

以上のように、本発明に係わる周辺車の位置追跡装置及び方法は例示された図を参照して説明したが、本明細書に開示された実施例と図により本発明は限定されず、技術思想が保護される範囲以内で応用され得る。

10: 車
11a、 11b: カメラ
15、 15a、 15b: ディスプレイ手段
20、 21、 22: 周辺車
100: 周辺車の位置追跡装置
110: 制御部
120: 映像獲得部
130: 出力部
140: 貯蔵部
150: 周辺車検出部
160: 位置追跡部
170: ビュー変換部
180: 出力制御部

Claims (6)

1. 車に備えられたカメラから獲得した周辺映像を分析して前記周辺映像内の周辺車を検出する周辺車検出部、
   前記周辺映像内で検出された前記周辺車の位置を追跡する位置追跡部、
   前記車に備えられたカメラ位置及び前記車と周辺車の間の位置関係情報に基づいて生成した数学的モデリングを行い、生成された数学的モデルを基に仮想カメラを具現化し、前記追跡された周辺車の位置を基準に仮想カメラのビューを変換することにより、原本の周辺映像に対するビュー変換映像を生成するビュー変換部、及び
   前記ビュー変換映像が前記車に備えられたディスプレイを介して出力されるようにする出力制御部を含み、
   前記ビュー変換部は、
   前記周辺車のイメージが前記ビュー変換映像の中央へ来るように配置し、
   前記車に備えられたカメラ位置、及び前記車と周辺車の間の位置関係情報を定義し、
   前記ビュー変換映像上に前記車と前記周辺車の間の位置関係情報に該当するイメージを表示することを特徴とする周辺車の位置追跡装置。
2. 前記ビュー変換部は、
   前記ビュー変換映像で前記周辺車のイメージを除いた残りの領域をクロップ（ｃｒｏｐ）処理することを特徴とする請求項１記載の周辺車の位置追跡装置。
3. 前記位置追跡部は、
   前記周辺映像内で前記周辺車が検出される間、前記周辺車の位置情報をリアルタイムで更新することを特徴とする請求項１記載の周辺車の位置追跡装置
4. 車側面に備えられたカメラを介して撮影された周辺映像を獲得する段階、
   車に備えられた前記カメラから獲得した周辺映像を分析して前記周辺映像内の周辺車を検出する段階、
   前記周辺映像内で検出された前記周辺車の位置を追跡する段階、
   ビュー変換部が車に備えられた前記カメラの位置及び詳細情報に基づいて生成した数学的モデリングを行う段階、
   数学的モデルをもとに仮想カメラを具現化する段階、
   前記追跡された周辺車の位置に合わせて前記仮想カメラのビューを変換する段階、
   前記追跡された周辺車の位置を基準に前記周辺映像のビューを変換したビュー変換映像を生成する段階、及び
   前記ビュー変換映像が前記車に備えられたディスプレイを介して出力されるようにする段階を含み、
   前記ビュー変換映像を出力する段階は、
   前記周辺車のイメージが前記ビュー変換映像の中央へ来るように配置し、
   前記車に備えられたカメラ位置、及び前記車と周辺車の間の位置関係情報を定義し、
   前記ビュー変換映像上に前記車と前記周辺車の間の位置関係情報に該当するイメージを表示することを特徴とする周辺車の位置追跡方法。
5. 前記ビュー変換映像で前記周辺車のイメージを除いた残りの領域をクロップ（ｃｒｏｐ）処理する段階をさらに含むことを特徴とする請求項４記載の周辺車の位置追跡方法。
6. 前記周辺車の位置を追跡する段階は、
   前記周辺映像内で前記周辺車が検出される間、前記周辺車の位置情報をリアルタイムで更新することを特徴とする請求項４記載の周辺車の位置追跡方法。

Images