JP5666264B2 - 拡張現実を利用した車両内デバイス制御システム及びその方法 - Google Patents

Description

本発明は、拡張現実を利用した車両内デバイス制御システム及びその方法に係り、より詳しくは、モバイル装置を利用して車両内デバイスを拡張現実で制御することができる拡張現実を利用した車両内デバイス制御システム及びその方法に関する。

一般に、車両のエアコン、オーディオ、ナビゲーション、ラジオ、ＤＭＢなどの車両内操作ボタンは、車両内のセンターフェイシア、即ち運転者及び助手席の中間に位置している。
車両の後席では、エアコン、オーディオ、ナビゲーションなどの車両内操作ボタンを操作し難く、後席で乗客が起きて上体を曲げた状態で車両のセンターフェイシアの操作部を操作する場合、車両が急発進又は急停止すると事故につながる可能性が高い問題点がある。

特開２０１０−２３８０９８号公報

本発明は、前記のような問題点を解決するためになされたものであって、車両内デバイスをモバイル装置の拡張現実を利用して遠隔で制御することができるようにする拡張現実を利用した車両内デバイス制御システム及びその方法を提供することを目的とする。

前記のような目的を達成するための本発明に係る拡張現実を利用した車両内デバイス制御システムは、車両対象部をイメージで認識し、前記イメージの拡張現実の具現を介し車両制御命令が入力されるモバイル装置と、前記モバイル装置へ車種情報を伝送し、前記モバイル装置から命令信号を受信すると、前記命令信号に該当する車両内デバイスを制御する駆動制御部とを含むことを特徴とする。

前記モバイル装置は、前記車両対象部のイメージを獲得するカメラと、前記車両対象部のイメージパターン情報及び前記車種情報を格納する格納部と、前記カメラから前記イメージが獲得されると、前記格納部に格納されているイメージパターン情報と前記獲得されたイメージのパターン情報とを比べ、一致する場合、車両遠隔制御モードに進入し、命令語入力のためのアイコンを提供し、前記アイコンを介して前記車両制御命令が入力されると、前記車両制御命令を前記駆動制御部への伝送を制御する制御部とを含むことを特徴とする。

前記制御部は、前記車両対象部のイメージが獲得されると、獲得された前記車両対象部のイメージを前記車種情報に基づいて参照領域と非参照領域に区分し、前記格納部に格納されている前記イメージパターン情報と前記獲得されたイメージの参照領域のパターン情報とを比べることを特徴とする。

前記制御部は、前記車両対象部が車両のセンターフェイシアである場合、前記参照領域はエアコングリル領域であることを特徴とする。

前記車両内デバイスは、エアコン、オーディオ、ラジオ、ＤＭＢ、ナビゲーション、車両室内照明、窓の何れか１つであることを特徴とする。

前記駆動制御部は、前記モバイル装置が車両と一定の距離内に進入すると、前記車両の車種情報を前記モバイル装置へ伝送することを特徴とする。

前記駆動制御部は、前記モバイル装置が前記車両に車種情報を求める場合、前記車両の車種情報を前記モバイル装置へ伝送することを特徴とする。

前記モバイル装置は、前記車両対象部のイメージを獲得するカメラと、車種別車両対象部のイメージパターン情報を格納し、前記イメージ上の操作ボタンに該当する座標情報を格納する格納部と、前記カメラから前記イメージが獲得されると、前記格納部に格納されているイメージパターン情報と前記獲得されたイメージのパターン情報とを比べ、一致する場合、車両遠隔制御モードに進入し、前記獲得されたイメージ上の操作ボタンがタッチされると、タッチされた部分の座標情報と前記格納部に格納された座標情報とを比べ、車両制御命令を判断したあと、前記車両制御命令を前記駆動制御部への伝送を制御する制御部とを含むことを特徴とする。

本発明に係る拡張現実を利用した車両内デバイス制御方法は、車種別センターフェイシアイメージパターン情報をモバイル装置に予め格納する過程と、前記モバイル装置が車両から車種情報を受信する過程と、車両対象部のイメージがモバイル装置の画面上に表れるようにしてイメージを獲得する過程と、前記モバイル装置で、前記車種情報に基づいて前記獲得されたイメージのパターン情報と前記予め格納されたイメージのパターン情報とを比べる過程と、前記獲得されたイメージのパターン情報と前記予め格納されたイメージパターン情報とが一致する場合、前記モバイル装置が車両遠隔制御モードに進入する過程と、前記モバイル装置が車両のデバイス制御命令アイコンを画面上に示す過程とを含むことを特徴とする。

前記車種情報を受信する過程は、前記モバイル装置が車両と一定の距離内に進入した場合、前記車両が前記モバイル装置へ前記車両の車種情報を伝送することを特徴とする。

前記車種情報を受信する過程は、前記モバイル装置が前記車両に車種情報を求める場合、前記モバイル装置が前記車両に車種情報を求めて前記車両の車種情報を受信することを特徴とする。

前記パターン情報を比べる過程は、前記獲得されたイメージを、前記車種情報に基づいて参照領域と非参照領域に区分する過程と、前記獲得されたイメージの参照領域のパターン情報と前記予め格納されたイメージパターン情報とを比べる過程とを含むことを特徴とする。

前記車両対象部がセンターフェイシアである場合、エアコングリル部が前記参照領域となり、センター部が前記非参照領域となることを特徴とする。

車両のデバイス制御命令アイコンが選択されると、前記アイコンに該当する命令信号を駆動制御部に無線送信する過程と、前記駆動制御部が受信した命令信号に応じて車両内デバイスを制御する過程とをさらに含むことを特徴とする。

前記車両内デバイスは、エアコン、オーディオ、ラジオ、ＤＭＢ、ナビゲーション、車両室内照明、窓の何れか１つであることを特徴とする。

また、本発明に係る拡張現実を利用した車両内デバイス制御方法は、車種別車両対象部のイメージパターン情報及び前記車両対象部のイメージ上の座標情報をモバイル装置に予め格納する過程と、前記モバイル装置が車両から車種情報を受信する過程と、前記車両対象部のイメージがモバイル装置の画面上に表れるようにしてイメージを獲得する過程と、前記モバイル装置で、前記車種情報に基づいて前記獲得されたイメージのパターン情報と前記予め格納されたイメージのパターン情報とを比べる過程と、前記獲得されたイメージのパターン情報と前記予め格納されたイメージパターン情報とが一致する場合、前記モバイル装置が車両遠隔制御モードに進入する過程と、前記モバイル装置が画面に示した前記車両対象部のイメージタッチを介して車両内デバイス制御命令が入力される過程と、前記車両内デバイス制御命令を前記車両へ伝送する過程とを含むことを特徴とする。

前記車種情報を受信する過程は、前記モバイル装置が車両と一定の距離内に進入した場合、前記車両が前記モバイル装置へ前記車両の車種情報を伝送することを特徴とする。

前記車種情報を受信する過程は、前記モバイル装置が前記車両に車種情報を求める場合、前記モバイル装置が前記車両に車種情報を求めて前記車両の車種情報を受信することを特徴とする。

前記パターン情報を比べる過程は、前記獲得されたイメージを、前記車種情報に基づいて参照領域と非参照領域に区分する過程と、前記獲得されたイメージの参照領域のパターン情報と前記予め格納されたイメージパターン情報とを比べる過程とを含むことを特徴とする。

前記車両内デバイス制御命令が入力される過程は、前記モバイル装置が画面に示した前記車両対象部のイメージがタッチされると、タッチされた部分の座標情報と前記予め格納された車両対象部のイメージ上の座標情報とを比べ、車両制御命令を判断することを特徴とする。

前記のように、本発明は車両内デバイスをモバイル装置の拡張現実イメージ上で遠隔制御させることによりユーザの便宜を増大させる効果がある。

本発明の実施形態に係る拡張現実を利用した車両内デバイス制御システムの構成を示す図である。 本発明の実施形態に係る拡張現実を利用した車両内デバイス制御方法を示すフローチャートである。 モバイル装置の画面にセンターフェイシアイメージを獲得した例示を示す図である。 図３に示したセンターフェイシアイメージの参照領域と非参照領域を区分した例示を示す図である。 車種別エアコングリルをイメージパターン情報として格納する例示を示す図である。 車種別エアコングリルをイメージパターン情報として格納する例示を示す図である。

以下、本発明に係る拡張現実を利用した車両内デバイス制御システムを、図１〜図６を参照しながら詳しく説明する。
拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）は、ユーザが見ている実写映像に、コンピュータで生成した仮想映像を正確に整合するユーザインタフェース技術である。このような拡張現実を利用すれば、ユーザに、より向上したリアリティー及び認知度を提供することができるようになる。

図１は、本発明の実施形態に係る拡張現実を利用した車両内デバイス制御システムの構成を示す図である。
本発明の車両内デバイス制御システムは、モバイル装置１００、駆動制御部２００、車両対象部３００及び車両内デバイス４００を含む。
モバイル装置１００は、車両対象部３００のイメージを獲得し、イメージを介し車両制御命令が入力されて車両制御命令が駆動制御部２００へ伝送される。このため、モバイル装置１００はカメラ１１０、格納部１２０、無線通信部１３０、制御部１４０及び表示部１５０を備える。このとき、モバイル装置１００はスマートフォンなどの各種アプリケーションの具現が可能な端末を含む。

カメラ１１０は、車両対象部３００のイメージを獲得する。このとき、カメラ１１０はイメージを撮影せずに、イメージがモバイル装置１００の表示部１５０に表れるようカメラ１１０のオン（ｏｎ）状態を維持させる。
格納部１２０は、駆動制御部２００から受信した車種情報、車種別車両対象部３００のイメージパターン情報及びイメージ座標情報を格納する。このとき、車両対象部３００がセンターフェイシアである場合、車両対象部３００のイメージパターン情報はエアコングリルのパターン情報を意味する。
無線通信部１３０は、ブルートゥースなどを介し駆動制御部２００と無線通信を行う。

制御部１４０は、カメラ１１０からイメージが獲得されると、予め受信した車種情報に基づき獲得された車両対象部３００のイメージを参照領域３２０と非参照領域３３０に区分し、格納部１２０に格納されている車種別車両対象部３００のイメージパターン情報と、カメラ１１０を介し獲得されたイメージ参照領域のパターン情報とを比べ、一致する場合、車両遠隔制御モードに進入し、車両内のデバイス制御命令語の入力のためのアイコンを提供する。なお、制御部１４０はユーザからアイコンを介し車両制御命令が入力されると、車両制御命令を駆動制御部２００へ伝送するように制御する。

制御部１４０はカメラ１１０を介し獲得されたイメージ上の操作ボタンがタッチされると、タッチされた部分の座標情報を認識し、タッチされた部分の座標情報と予め格納しておいたイメージ座標情報とを比べて操作ボタンの命令を認識する。例えば、ソナタ車種のセンターフェイシアイメージでオーディオボタンの座標が（Ａ、Ｂ）、ＤＭＢボタンの座標が（Ｃ、Ｄ）に格納されている場合、カメラ１１０を介し獲得されたイメージ上でユーザによりタッチされた部分の座標が（Ｃ、Ｄ）の場合、ユーザがＤＭＢボタンを操作しようとするものと認識してＤＭＢボタン操作命令信号を駆動制御部２００へ伝送する。

駆動制御部２００は、モバイル装置１００から命令信号を受信すると、命令信号に応じて車両内デバイス４００を制御する。さらに、駆動制御部２００はモバイル装置１００が車両と一定の距離内に進入すると、車両の車種情報をモバイル装置１００へ伝送する。
車両対象部３００は、遠隔制御のためのセンターフェイシア３１０などの対象物を含む。
車両内デバイス４００は、エアコン、オーディオ、ラジオ、ＤＭＢ、車両室内照明、窓開閉などを含む。

以下、図２を参照しながら、本発明の実施形態に係る拡張現実を利用した車両内デバイス制御方法を具体的に説明する。図２では、車両のセンターフェイシア３１０を制御する例を開示しているが、本発明は車両のドア開閉、窓開閉など、多様な車両の制御に適用可能である。
先ず、モバイル装置１００の格納部１２０に車種別センターフェイシアイメージパターン情報を格納する（Ｓ１０１）。このとき、モバイル装置１００はテレマティクスセンター（図示省略）又は車両関連サイトなどで車種別センターフェイシアイメージパターン情報をダウンロードして予め格納しておくのが好ましい。

このとき、図３に示したような車種別センターフェイシアイメージは、図４のように、両側のエアコングリル部を参照領域３２０に、センター部を非参照領域３３０に区分し、各参照領域を、図５及び図６のようにパターン化して車種別に格納する。図５は、エアコングリル部がセンターフェイシアの両側に存在する場合のパターンイメージであり、図６は、エアコングリル部がセンターフェイシアの上段に並んで存在する場合のパターンイメージの例である。

その後、モバイル装置１００と車両が無線通信を行い、モバイル装置１００は車両の駆動制御部２００から車種情報を受信する（Ｓ１０２）。このとき、モバイル装置１００が車種情報を受信する方法は、モバイル装置１００が車両と一定の距離内に進入する場合、これを駆動制御部２００が認知し、モバイル装置１００へ車種情報を伝送するように具現することができる。さらに、ユーザが車両に搭乗したあと、モバイル装置１００が車両に車種情報を求める場合（車両遠隔制御アプリケーションを駆動させる場合）、モバイル装置１００が駆動制御部２００に車種情報を求め、駆動制御部２００がモバイル装置１００へ車種情報を伝送するように具現することもできる。

その後、ユーザによりモバイル装置１００のカメラ１１０が駆動され、センターフェイシア３１０がモバイル装置１００の画面上に表れるように調整されると（Ｓ１０３）、制御部１４０は画面上に表れたセンターフェイシアイメージを、図４のように車種に従って参照領域３２０と非参照領域３３０に区分する（Ｓ１０４）。例えば、車種がソナタの場合、エアコングリルが図５のように両側に位置するので、画面上に表れたセンターフェイシアイメージの両側面を参照領域３２０に設定し、センター部を非参照領域３３０に設定する。

次に、制御部１４０は、画面上に表れたセンターフェイシアイメージの参照領域３２０のパターン情報と、前記過程Ｓ１０１で予め格納しておいた車種別のセンターフェイシアイメージパターン情報を比べる（Ｓ１０５）。
過程Ｓ１０５での比較結果、不一致の場合、カメラ１１０の位置及び角度を再調整し、画面上にセンターフェイシアのエアコングリルが入ってくるように調整する。一方、過程Ｓ１０５での比較結果、一致する場合、制御部１４０は車両遠隔制御モードに進入する（Ｓ１０６）。
その後、制御部１４０は、センターフェイシア制御アイコンをモバイル装置１００の表示部１５０に表す（Ｓ１０７）。このとき、センターフェイシア制御アイコンはエアコン、ナビゲーション、オーディオ、ＤＭＢ、車両室内照明などの車両内の制御関連アイコンを含む。

その後、制御部１４０は、ユーザからモバイル装置１００の表示部１５０に表したアイコンが選択されると（Ｓ１０８）、選択されたアイコンに該当する命令信号を、無線通信部１３０を介し駆動制御部２００へ伝送する（Ｓ１０９）。このとき、無線通信部１３０はブルートゥース通信を行うのが好ましい。
次に、駆動制御部２００は、モバイル装置１００から受信した命令信号に応じ、車両内デバイス４００（エアコン、オーディオ、ナビゲーション、ＤＭＢ、車両室内照明など）を制御する（Ｓ１１０）。

本発明では、車種ごとに形態、大きさの異なるエアコングリルの形態をパターンイメージで認識する例を説明しているが、センターフェイシアのオーディオ調節ボタン又はラジオボタンなど、操作ボタンの形態に従いパターンイメージを認識するようにすることもできる。
さらに、本発明では、センターフェイシア制御アイコンを利用する例を開示しているが、タッチスクリーン形態でユーザが直接センターフェイシアイメージ情報のセンター部にタッチして命令が入力されるようにすることもできる。このときは、車種別のセンターフェイシアイメージ情報のセンター部の操作ボタン別の座標情報を格納部１２０に予め格納しておき、ユーザによりセンターフェイシアイメージ情報のセンター部の操作ボタンがタッチされると、制御部１４０がタッチされた位置の座標情報に基づいて命令信号を認識し、当該命令信号を駆動制御部２００へ伝送するようにするのが好ましい。

以上、本発明に関する好ましい実施形態を説明したが、本発明は前記実施形態に限定されず、本発明の属する技術範囲を逸脱しない範囲での全ての変更が含まれる。

１００ モバイル装置
１１０ カメラ
１２０ 格納部
１３０ 無線通信部
１４０ 制御部
１５０ 表示部
２００ 駆動制御部
３００ 車両対象部
３１０ センターフェイシア
３２０ 参照領域
３３０ 非参照領域
４００ 車両内デバイス

Claims (17)

1. 車両対象部をイメージで認識し、前記イメージの拡張現実の具現を介し車両制御命令が入力されるモバイル装置と、
   前記モバイル装置へ車種情報を伝送し、前記モバイル装置から命令信号を受信すると、前記命令信号に該当する車両内デバイスを制御する駆動制御部と、を含み、
   前記モバイル装置は、
   前記車両対象部のイメージを獲得するカメラと、
   前記車両対象部のイメージパターン情報及び前記車種情報を格納する格納部と、
   前記カメラから前記イメージが獲得されると、前記格納部に格納されているイメージパターン情報と前記獲得されたイメージのパターン情報とを比べ、一致する場合、車両遠隔制御モードに進入し、命令語入力のためのアイコンを提供し、前記アイコンを介して前記車両制御命令が入力されると、前記車両制御命令を前記駆動制御部への伝送を制御する制御部と、を含み、
   前記制御部は、
   前記車両対象部のイメージが獲得されると、獲得された前記車両対象部のイメージを前記車種情報に基づいて参照領域と非参照領域に区分し、前記格納部に格納されている前記イメージパターン情報と前記獲得されたイメージの参照領域のパターン情報とを比べることを特徴とする拡張現実を利用した車両内デバイス制御システム。
2. 前記制御部は、
   前記車両対象部が車両のセンターフェイシアである場合、
   前記参照領域はエアコングリル領域であることを特徴とする請求項１に記載の拡張現実を利用した車両内デバイス制御システム。
3. 前記車両内デバイスは、
   エアコン、オーディオ、ラジオ、ＤＭＢ、ナビゲーション、車両室内照明、窓の何れか１つであることを特徴とする請求項１に記載の拡張現実を利用した車両内デバイス制御システム。
4. 前記駆動制御部は、
   前記モバイル装置が車両と一定の距離内に進入すると、前記車両の車種情報を前記モバイル装置へ伝送することを特徴とする請求項１に記載の拡張現実を利用した車両内デバイス制御システム。
5. 前記駆動制御部は、
   前記モバイル装置が前記車両に車種情報を求める場合、前記車両の車種情報を前記モバイル装置へ伝送することを特徴とする請求項１に記載の拡張現実を利用した車両内デバイス制御システム。
6. 前記モバイル装置は、
   前記車両対象部のイメージを獲得するカメラと、
   車種別車両対象部のイメージパターン情報を格納し、前記イメージ上の操作ボタンに該当する座標情報を格納する格納部と、
   前記カメラから前記イメージが獲得されると、前記格納部に格納されているイメージパターン情報と前記獲得されたイメージのパターン情報とを比べ、一致する場合、車両遠隔制御モードに進入し、前記獲得されたイメージ上の操作ボタンがタッチされると、タッチされた部分の座標情報と前記格納部に格納された座標情報とを比べ、車両制御命令を判断したあと、前記車両制御命令を前記駆動制御部への伝送を制御する制御部と
   を含むことを特徴とする請求項１に記載の拡張現実を利用した車両内デバイス制御システム。
7. 車種別センターフェイシアイメージパターン情報をモバイル装置に予め格納する過程と、
   前記モバイル装置が車両から車種情報を受信する過程と、
   車両対象部のイメージがモバイル装置の画面上に表れるようにしてイメージを獲得する過程と、
   前記モバイル装置で、前記車種情報に基づいて前記獲得されたイメージのパターン情報と前記予め格納されたイメージのパターン情報とを比べる過程と、
   前記獲得されたイメージのパターン情報と前記予め格納されたイメージパターン情報とが一致する場合、前記モバイル装置が車両遠隔制御モードに進入する過程と、
   前記モバイル装置が車両のデバイス制御命令アイコンを画面上に示す過程と、を含み、
   前記パターン情報を比べる過程は、
   前記獲得されたイメージを、前記車種情報に基づいて参照領域と非参照領域に区分する過程と、
   前記獲得されたイメージの参照領域のパターン情報と前記予め格納されたイメージパターン情報とを比べる過程と、を含むことを特徴とする拡張現実を利用した車両内デバイス制御方法。
8. 前記車種情報を受信する過程は、
   前記モバイル装置が車両と一定の距離内に進入した場合、前記車両が前記モバイル装置へ前記車両の車種情報を伝送することを特徴とする請求項７に記載の拡張現実を利用した車両内デバイス制御方法。
9. 前記車種情報を受信する過程は、
   前記モバイル装置が前記車両に車種情報を求める場合、前記モバイル装置が前記車両に車種情報を求めて前記車両の車種情報を受信することを特徴とする請求項７に記載の拡張現実を利用した車両内デバイス制御方法。
10. 前記車両対象部がセンターフェイシアである場合、
    エアコングリル部が前記参照領域となり、センター部が前記非参照領域となることを特徴とする請求項７に記載の拡張現実を利用した車両内デバイス制御方法。
11. 車両のデバイス制御命令アイコンが選択されると、前記アイコンに該当する命令信号を駆動制御部に無線送信する過程と、
    前記駆動制御部が受信した命令信号に応じて車両内デバイスを制御する過程と
    をさらに含むことを特徴とする請求項７に記載の拡張現実を利用した車両内デバイス制御方法。
12. 前記車両内デバイスは、
    エアコン、オーディオ、ラジオ、ＤＭＢ、ナビゲーション、車両室内照明、窓の何れか１つであることを特徴とする請求項７に記載の拡張現実を利用した車両内デバイス制御方法。
13. 車種別車両対象部のイメージパターン情報及び前記車両対象部のイメージ上の座標情報をモバイル装置に予め格納する過程と、
    前記モバイル装置が車両から車種情報を受信する過程と、
    前記車両対象部のイメージがモバイル装置の画面上に表れるようにしてイメージを獲得する過程と、
    前記モバイル装置で、前記車種情報に基づいて前記獲得されたイメージのパターン情報と前記予め格納されたイメージのパターン情報とを比べる過程と、
    前記獲得されたイメージのパターン情報と前記予め格納されたイメージパターン情報とが一致する場合、前記モバイル装置が車両遠隔制御モードに進入する過程と、
    前記モバイル装置が画面に示した前記車両対象部のイメージタッチを介して車両内デバイス制御命令が入力される過程と、
    前記車両内デバイス制御命令を前記車両へ伝送する過程と、を含み、
    前記パターン情報を比べる過程は、
    前記獲得されたイメージを、前記車種情報に基づいて参照領域と非参照領域に区分する過程と、
    前記獲得されたイメージの参照領域のパターン情報と前記予め格納されたイメージパターン情報とを比べる過程と、を含むことを特徴とする拡張現実を利用した車両内デバイス制御方法。
14. 前記車種情報を受信する過程は、
    前記モバイル装置が車両と一定の距離内に進入した場合、前記車両が前記モバイル装置へ前記車両の車種情報を伝送することを特徴とする請求項１３に記載の拡張現実を利用した車両内デバイス制御方法。
15. 前記車種情報を受信する過程は、
    前記モバイル装置が前記車両に車種情報を求める場合、前記モバイル装置が前記車両に車種情報を求めて前記車両の車種情報を受信することを特徴とする請求項１３に記載の拡張現実を利用した車両内デバイス制御方法。
16. 前記パターン情報を比べる過程は、
    前記獲得されたイメージを、前記車種情報に基づいて参照領域と非参照領域に区分する過程と、
    前記獲得されたイメージの参照領域のパターン情報と前記予め格納されたイメージパターン情報とを比べる過程と
    を含むことを特徴とする請求項７に記載の拡張現実を利用した車両内デバイス制御方法。
17. 前記車両内デバイス制御命令が入力される過程は、
    前記モバイル装置が画面に示した前記車両対象部のイメージがタッチされると、タッチされた部分の座標情報と前記予め格納された車両対象部のイメージ上の座標情報とを比べ、車両制御命令を判断することを特徴とする請求項７に記載の拡張現実を利用した車両内デバイス制御方法。
    

Images