JP2007074081A - 車載用通信装置 - Google Patents
車載用通信装置 Download PDFInfo
- Publication number
- JP2007074081A JP2007074081A JP2005256104A JP2005256104A JP2007074081A JP 2007074081 A JP2007074081 A JP 2007074081A JP 2005256104 A JP2005256104 A JP 2005256104A JP 2005256104 A JP2005256104 A JP 2005256104A JP 2007074081 A JP2007074081 A JP 2007074081A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- occupant
- communication device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】 より円滑にコミュニケーションを図る。
【解決手段】 車両の全乗員を含む画像を撮影する車室内カメラ10aと、車室内カメラ10aによって撮影された全乗員を含む画像から乗員毎に注目した領域の画像を切り出す画像切り出し部10bと、画像切り出し部によって切り出された画像から発話者に注目した領域を選択する話者位置判定機11bと、話者位置判定機によって選択された発話者に注目した領域の画像を通話相手の車載通信装置へ送信する通信機17を備える。
【選択図】 図1
【解決手段】 車両の全乗員を含む画像を撮影する車室内カメラ10aと、車室内カメラ10aによって撮影された全乗員を含む画像から乗員毎に注目した領域の画像を切り出す画像切り出し部10bと、画像切り出し部によって切り出された画像から発話者に注目した領域を選択する話者位置判定機11bと、話者位置判定機によって選択された発話者に注目した領域の画像を通話相手の車載通信装置へ送信する通信機17を備える。
【選択図】 図1
Description
本発明は、車両に搭載され、他の通信装置とテレビ電話機能を利用した通話を行う車載通信装置に関する。
近年、テレビ電話機能を備えたカメラ付携帯電話の普及により、テレビ電話機能を利用した通話が増えてきている。このテレビ電話機能により、音声だけでなく、相手の顔を見て視覚的コミュニケーションを図りながら会話することが可能となっている。
このようなテレビ電話機能を備えたカメラ付携帯電話を利用して通信を行う通信装置として、他の車両に搭載された同様の装置から送信される通話相手の電話番号や現在位置データに基づいて、ナビゲーション装置のモニタ画面上の地図の対応する位置に通話相手の顔画像や電話番号等をテンプレートとして表示させ、また、通話相手のテンプレートを大型表示またはフラッシュ表示等させて、通話相手の位置や通話相手が誰であるかを識別し易くしたものが提案されている(例えば、特許文献1参照)。
特開2003−121162号公報
ところで、車両に複数の人が乗車し、この車の乗員と別の車の乗員との間でテレビ電話機能を備えたカメラ付携帯電話を利用して会話するといった状況が考えられる。このような状況では、カメラの撮影範囲に含まれない人が会話に参加すると、通話相手には誰が話しているのか分からなくなってしまう場合がある。
このような場合、特許文献1に記載したようなカメラ付き携帯電話を利用した通信装置では、通話相手の通信機器の表示部に表示させる画像範囲を容易に切り替えることができないため、カメラを発話者に向けたり、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させたりする必要があり、視覚的コミュニケーションを図りながら会話するのには限界がある。
本発明は上記問題に鑑みたもので、より円滑にコミュニケーションを図ることを目的とする。
上記目的を達成するため、本発明では、車両の全乗員を含む画像を撮影するカメラと、カメラによって撮影された全乗員を含む画像から乗員毎に注目した領域の画像を切り出す画像切り出し部と、画像切り出し部によって切り出された画像から特定の乗員に注目した領域を選択する選択手段と、選択手段によって選択された特定の乗員に注目した領域の画像を通話相手の通信装置へ送信する送信手段と、を備えたことを第1の特徴としている。
このように、選択手段によって画像切り出し部によって切り出された画像から発話者に注目した領域を選択し、送信手段は、特定の乗員に注目した領域の画像を通話相手の通信装置へ送信するので、カメラの向きを発話者に合わせたり、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させたりする必要がなく、より円滑にコミュニケーションを図ることができる。
また、本発明は、複数のマイクロフォンを有し、当該マイクロフォンによって集音された音声に基づいて当該音声の発生位置を検知する位置検知マイクと、位置検知マイクによって検知された音声の発生位置に基づいて発話者の位置を特定する第1の特定手段と、を備え、選択手段は、第1の特定手段によって特定された発話者の位置を特定の乗員に注目した領域として選択することを第2の特徴としている。
このように、位置検知マイクによって検知された音声の発生位置に基づいて発話者の位置が特定され、特定された発話者の位置が発話者に注目した領域として選択されるので、発話者が他の乗員に変わっても、発話者に注目した領域の画像を自動的に切り替えて他の通信装置へ送信することができる。
また、本発明は、画像切り出し部によって切り出された乗員毎に注目した領域の画像を表示する表示手段と、表示手段に表示された乗員毎に注目した領域の画像の中から乗員の操作に応じて特定の乗員に注目した領域の画像を特定する第2の特定手段を備え、選択手段は、第2の特定手段によって特定された画像を特定の乗員に注目した領域として選択することを第3の特徴としている。
このように、車両の乗員は、表示手段に表示された乗員毎に注目した領域の画像の中から特定の乗員に注目した領域の画像を容易に特定することができる。
また、本発明は、車両の各乗員に注目した各静止画像を縮小して並べて配置したサムネイル画像を生成するサムネイル画像生成手段と、選択手段は、サムネイル画像生成手段によって生成されたサムネイル画像を通話相手の車載通信装置へ送信し、送信したサムネイル画像の中から通話相手によって特定された画像を示す信号を通話相手の車載通信装置から受信し、通話相手によって特定された画像を特定の乗員に注目した領域の画像として選択することを第4の特徴としている。
複数の動画像を送受信する場合、通信負荷が大きくなることが考えられるが、このように、サムネイル画像生成手段によって生成されたサムネイル画像を通話相手の通信装置へ送信することにより、通信負荷を低減することができる。
(第1実施形態)
本発明の第1実施形態に係る車載通信装置の構成を図1に示す。車載通信装置1は、車両に搭載され、車室内カメラ装置10、位置検知マイク装置11、ユーザ操作部15、表示器16、通信機17および車載サーバ18を備えている。
本発明の第1実施形態に係る車載通信装置の構成を図1に示す。車載通信装置1は、車両に搭載され、車室内カメラ装置10、位置検知マイク装置11、ユーザ操作部15、表示器16、通信機17および車載サーバ18を備えている。
車室内カメラ装置10と位置検知マイク装置11は一体で構成され、図2に示すように車室内の車両前方の天井に取り付けられている。このように車室内カメラ装置10と位置検知マイク装置11を一体化することで取り付け作業を容易にしている。車室内カメラ装置10は、車室内カメラ10aおよび画像切り出し部10bを備え、位置検知マイク装置11は、位置検知マイク11aおよび話者位置判定機11bを備えている。
車室内カメラ10aは、半球状の魚眼レンズを有し、この魚眼レンズを用いて車室内の画像を撮影する。この車室内カメラ10aにより、自車内の全乗員の顔を含む全体画像が撮影される。
画像切り出し部10bには、車室内カメラ10aによって撮影された全体画像の画像データおよび車両の各座席に設けられた着座センサ(図示せず)から座席毎に乗員が着座しているか否かを示す検知信号が入力される。
画像切り出し部10bは、着座センサから入力される検知信号に基づいて乗員が着座している座席位置を特定し、車室内カメラ10aによって撮影された全体画像から着座している乗員毎に乗員に注目した領域(例えば、乗員の顔を中心とした領域)を画像処理により切り出し、切り出した各乗員の注目画像(動画像)とともに車室内カメラ10aによって撮影された全体画像(動画像)の画像を車載サーバ18へ送信する。なお、切り出した各乗員の注目画像には座席位置を示す情報が付加され車載サーバ18に送信される。
なお、車室内カメラ10aによって撮影された画像はゆがんだ画像となるため、画像切り出し部10bは、車室内カメラ10aによって撮影された画像に対してゆがみの補正を行った後、乗員に注目した領域を切り出して車載サーバ18へ出力する。ここではソフトウェア処理によりゆがみの補正を行うようにしているが、グラフィックボード等を用いてハード的に実現してもよい。
位置検知マイク11aは、車両の前後左右方向に向けて配置された4つのマイクロフォンm1〜m4(図2中には、m1とm2のみを示す)を有し、これらのマイクロフォンm1〜m4によって乗員毎の音声を集音し、集音した音声に応じた音声信号を話者位置判定機11bへ出力する。
話者位置判定機11bは、位置検知マイク11aの各マイクロフォンm1〜m4から入力される音声信号を車載サーバ18へ送信するとともに、位置検知マイク11aの各マイクロフォンm1〜m4から入力される音声信号に基づいて音声の発生位置、すなわち発話者の座席位置を判定し、発話者の座席位置を示す情報を車載サーバ18へ送信する。
位置検知マイク11aの各マイクロフォンm1〜m4によって集音される音声の大きさは発話者の座席位置によって異なることから、話者位置判定機11bは、位置検知マイク11aの各マイクロフォンm1〜m4によって集音される音声の大小関係に基づいて発話者の座席位置を判定する。
ユーザ操作部15は、押しボタンスイッチ、表示器16に重ねて設けられたタッチパネル等によって構成され、乗員の操作に応じた信号を出力する。
表示器16は、車載サーバ18から入力される映像信号に応じた映像を表示する。
通信機17は、他の通信機器と通信するための無線機により構成されており、図3に示すように、携帯電話網、無線LANといった中継局を介して他の通信機器と通信する中継通信と光、マイクロ波を利用して他の通信機器と直接通信する直接通信の両方が利用できるように構成されている。なお、本実施形態では、中継通信により他の通信装置と通信するものとして説明するが、例えば、直接通信により他の通信装置と通信を行い、通信途絶が発生した場合に直接通信に切り替えて他の通信装置と通信するように構成してもよい。
車載サーバ18は、画像音声連結部18a、一時記憶部18b、画像記憶部18cおよび主制御器18eを備えている。
画像音声連結部18aには、画像切り出し部10bから自車内の全乗員を含む画像(動画像)と各乗員に注目した画像(動画像)が入力され、話者位置判定機11bから位置検知マイク11aの各マイクロフォンm1〜m4から入力される音声信号と発話者の座席位置を示す情報が入力される。なお、上述したように画像切り出し部10bから入力される各画像には、座席位置を示す情報が付加されている。
画像音声連結部18aは、画像切り出し部10bから入力される画像と話者位置判定機11bを介して位置検知マイク11aの各マイクロフォンm1〜m4から入力される音声信号とを連結する。具体的には、画像切り出し部10bから入力される自車内の全乗員を含む画像の画像データと位置検知マイク11aの全マイクロフォンm1〜m4から入力される音声信号とを関連付けした画像音声会話データを生成する、また、乗員の注目画像についても、その乗員の座席位置に応じて予め定められたマイクロフォンから入力される音声信号を関連付けて画像音声会話データを生成する。このようにして生成された画像音声会話データは、主制御器18eによって画像記憶部18cに記憶される。
一時記憶部18bは、RAMによって構成され、一時的にデータを記憶する記憶媒体として利用される。この一時記憶部18bは、画像記憶部18c、表示器16、通信機17とそれぞれ高速データバスにより接続されている。
画像記憶部18cは、ハードディスクドライブによって構成され、上記画像音声会話データや通信機17を介して他の通信機器から受信した画像等が記憶される。
主制御器18eは、CPU、メモリ等を有するコンピュータによって構成され、メモリに記憶されたプログラムに従って各種処理を行う。主制御器18eは、画像音声連結部18aとともに一時記憶部18bを介してユーザ操作部15、表示器16、通信機17、画像記憶部18cと各種データの授受を行う。
主制御器18eは、画像音声連結部18aを介して話者位置判定機11bから発話者の座席位置を示す情報を取得して発話者がどの乗員であるかを識別する。
上記した構成において、乗員の操作に応じて図示しないバッテリから電源が供給されると、車載サーバ18の主制御器18eはメモリに記憶されたプログラムに従って動作を開始する。そして、車載通信装置1からの発信あるいは他の通信装置からの着信により、車載通信装置1と相手の通信機器との間の通信が確立すると、相手の通信機器と通話が可能な状態となる。また、相手の通信機器がテレビ電話機能に対応する機器の場合、相手の通信機器との間でテレビ電話機能を利用した通話が可能な状態となる。
なお、車室内カメラ装置10および位置検知マイク装置11は、相手の通信機器との間でテレビ電話機能を利用した通話が可能な状態になると処理を開始し、テレビ電話機能を利用した通話が終了すると処理を終了する。
また、本実施形態における車載通信装置1は、乗員の操作によって相手の通信機器の表示部に表示させる表示モードを「特定人物」、「ランダム」、「車内全体」、「自動」の4つの中から選択できるようになっている。主制御器18eは、乗員の操作によって選択される表示モードに従って相手の通信機器の表示部に表示させる画像データを選択して相手の通信機器へ送信する表示モード選択処理を行う。
次に、図4を参照して、主制御器18eによる表示モード選択処理について説明する。主制御器18eは、通信機17を介して相手の通信機器との間でテレビ電話機能を利用した通信が確立すると、図4に示す処理を開始する。
まず、相手の通信機器の表示部に表示させる画像の表示モードを判定する。具体的には、「特定人物」、「ランダム」、「車内全体」、「自動」の中から表示モードを選択させるメニュー画面を表示器16に表示させ、乗員のユーザ操作部15の操作によりどの表示モードが選択されたかを判定する(S100)。
まず、表示モードの選択において「特定人物」モードが選択された場合、特定人物の画像取り込みを開始する(S102)。具体的には、全体画像(動画像)を表示させ、この全体画像の中から乗員の操作によって特定された人物に注目した画像を画像記憶部18cから取り込んで一時記憶部18bに記憶する処理を開始する。なお、人物の特定は、特定する人物の顔のクリック操作または特定する人物の上半身を丸で囲む等の操作により特定される。
次に、対象人物の音声信号の取り込みを開始する(S104)。具体的には、画像記憶部18cに記憶された画像音声会話データに基づいて乗員の操作によって特定された人物の注目画像と関連付けて記憶された音声信号を画像記憶部18cから取り込んで一時記憶部18bに記憶する処理を開始し、S126へ進む。
また、表示モードの選択において「ランダム」モードが選択された場合、乗員毎の人物画像をランダムに取り込む処理を開始する(S108)。具体的には、座席に着座している各乗員の注目画像を、予め定められた順序に従って一定時間毎に切り替えて画像記憶部18cから取り込み一時記憶部18bに記憶する処理を開始する。
次に、対象人物の音声信号の取り込みを開始する(S110)。具体的には、画像記憶部18cに記憶された画像音声会話データに基づいて画像記憶部18cからランダムに取り込む注目画像と関連付けて記憶された音声信号を画像記憶部18cから取り込んで一時記憶部18bに記憶する処理を開始し、S126へ進む。
また、表示モードの選択において「車内全体」モードが選択された場合、車内の全乗員が含まれる画像の取り込みを開始する(S114)。具体的には、車内の全乗員が含まれる画像を画像記憶部18cから取り込んで一時記憶部18bに記憶する処理を開始する。
次に、対象人物の音声信号の取り込みを開始する(S116)。具体的には、画像記憶部18cに記憶された画像音声会話データに基づいて自車内の全乗員を含む画像の画像データと関連付けて記憶された音声信号を画像記憶部18cから取り込んで一時記憶部18bに記憶する処理を開始し、S126へ進む。なお、自車内の全乗員を含む画像の画像データと関連付けて記憶された音声信号は、位置検知マイク11aの全マイクロフォンm1〜m4から入力される音声信号である。
また、表示モードの選択において「自動」モードが選択された場合、発話者に注目した画像を画像記憶部18cから取り込む処理を開始する(S120)。具体的には、話者位置判定機11bから送信される発話者の座席位置を示す情報に基づいて発話者に注目した画像を画像記憶部18cから取り込んで一時記憶部18bに記憶する処理を開始する。なお、この処理では、発話者が別の乗員に変わると画像記憶部18cから別の乗員の注目画像を取り込んで一時記憶部18bに記憶するようになる。
次に、対象人物の音声信号を画像記憶部18cから取り込む(S122)。具体的には、画像記憶部18cに記憶された画像音声会話データに基づいて発話者の注目画像と関連付けて記憶された音声信号を画像記憶部18cから取り込んで一時記憶部18bに記憶する処理を開始し、S126へ進む。なお、この処理においても、発話者が別の乗員に変わると画像記憶部18cから別の乗員の音声信号を取り込んで一時記憶部18bに記憶するようになる。
S126では、各表示モードにおいて画像記憶部18cから取り込んだ画像と音声信号から相手の通信機器へ送信する送信データを生成し、生成した送信データに従って表示器16から映像出力させるとともにスピーカから音声出力させる。
次に、通信機17を介してS126で生成した送信データを相手の通信機器へ送信する(S128)。
「特定人物」モードが選択されている場合、相手の通信機器の表示部には、図5(a)に示すように、乗員のユーザ操作部15の操作によって特定された特定人物に注目した画像が表示され、相手の通信機器のスピーカから特定人物の音声が出力される。
また、「ランダム」モードが選択されている場合、相手の通信機器の表示部には各乗員の注目画像が座席位置に応じて一定時間毎に順番に切り替えてランダムに表示され、相手の通信機器のスピーカからランダムに表示される乗員の座席位置に対応するマイクロフォンで集音された音声が出力される。
また、「車内全体」モードが選択されている場合、相手の通信機器の表示部には、図5(b)に示すように、自車内の全乗員が含まれる画像が表示され、相手の通信機器のスピーカから位置検知マイク11aの全マイクロフォンによって集音された音声が出力される。
また、「自動」モードが選択されている場合、相手の通信機器の表示部には発話者の注目画像が表示され、相手の通信機器のスピーカから発話者の座席位置に対応するマイクロフォンで集音された音声が出力される。発話者が他の乗員に変わると、相手の通信機器に表示される乗員の注目画像も自動的に切り替わる。
次に、表示モードの切り替え依頼が有るか否かを判定する(S130)。具体的には、ユーザ操作部15から乗員の操作に応じて他の表示モードへの切り替え指示が入力された場合、表示モードの切り替え依頼が有ると判定し、他の表示モードへの切り替え依頼が入力されない場合、表示モードの切り替え依頼がないと判定する。
他の表示モードへの切り替え指示が入力されない場合、S130の判定はNOとなり、S126〜S130の処理を繰り返す。
また、他の表示モードへの切り替え指示が入力された場合、S130の判定はYESとなり、S102、S108、S114、S120の各画像取り込み処理と、S104、S110、S116、S122の各音声取り込み処理を終了し、S100の判定へ戻る。
このように、乗員の操作によって「特定人物」モードが選択された場合、相手の通信機器から特定人物に注目した画像と音声を出力させることができ、「ランダム」モードが選択された場合、相手の通信機器から着座している乗員の注目画像と音声を一定時間毎に順番に切り替わるように出力させることができる。また、「車内全体」モードが選択された場合、相手の通信機器から車両内の全乗員が含まれる画像と音声を出力させることができ、「自動」モードが選択された場合、相手の通信機器から発話者に注目した画像と音声を出力させることができる。
上記した構成によれば、「特定人物」モードにおいて、画像切り出し部10bによって切り出された画像の中からユーザ操作部15の操作によって選択された特定の乗員に注目した領域の画像が相手の通信装置へ送信されるので、カメラの向きを発話者に合わせたり、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させたりすることなく、特定の乗員に注目した領域の画像を相手の通信機器に表示させることができ、円滑にコミュニケーションを図ることができる。
また、「ランダム」モードにおいて、座席に着座している各乗員の注目画像が、予め定められた順序に従って一定時間毎に切り替えて相手の通信機器へ送信されるので、自動的に座席に着座している各乗員の注目画像を一定時間毎に切り替えて相手の通信機器に表示させることができる。
また、「車内全体」モードにおいて、自車内の全乗員が含まれる画像が相手の通信機器へ送信されるので、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させることなく、特定の乗員に注目した領域の画像を相手の通信機器に表示させることができる。
また、「自動」モードにおいて、位置検知マイク11aによって検知された音声の発生位置に基づいて発話者の位置が特定され、特定された発話者の位置が発話者に注目した領域として選択され、選択された領域の画像が他の通信装置に送信されるので、発話者が他の乗員に変わっても、カメラの向きを発話者に合わせることなく、発話者に注目した画像を相手の通信機器に表示させることができ、円滑にコミュニケーションを図ることができる。
次に、図6を参照して、自車と他車にそれぞれ車載通信装置1が搭載され、自車と他車との間で直接通信による通話を行う場合の車載通信装置1間のデータのやり取りについて説明する。なお、本実施形態の車載通信装置1は、特定の個人と1対1で会話するモードと3人以上のグループで同時に会話するモードのいずれかを選択できるようになっており、ここでは、特定の個人と1対1で会話するモードを選択するものとして説明する。
まず、自車または他車の乗員の操作に応じて自車と他車との間の通信が確立すると、データの送受信が可能な状態となり(S200、S300)、自車と他車との間で「もしもし、はいはい」といった会話が交わされる。
そして、他車から「○○さん、顔見せて」といった問い掛けがあると、自車の乗員は、話者を○○さんに切り替える(S202)。具体的には、表示器16のメニュー画面に従ってユーザ操作部15の操作により「特定人物」モードを選択し、乗員の中の○○さんの顔を指定することによって、話者を○○さんに切り替える。
これにより、表示、音声が切り替えられ(S204)、自車から他車へ話者が○○さんに切り替えられた画像と音声が送信され、他車の車載通信装置1の表示器16には○○さんに注目した画像が表示され、スピーカから○○さんの音声が出力される。
また、自車の○○さんが「そっちの△△さん、調子はどう?」と問い掛けると、他車の乗員は、話者を△△さんに切り替える。具体的には、ユーザ操作部15の操作により、乗員の中の△△さんの顔を指定することによって、話者を△△さんに切り替える(S302)。
これにより、表示、音声が切り替えられ(S304)、他車から自車へ話者が△△さんに切り替えられた画像と音声が送信され、自車の車載通信装置1の表示器16には△△さんに注目した画像が表示され、スピーカから△△さんの音声が出力される。
また、他車の△△さんから「全員の顔見せて」といった問い掛けがあると、自車の乗員は、話者を全乗員に切り替える。具体的には、表示器16のメニュー画面に従って「車両全体」モードを選択し、話者を全乗員に切り替える(S206)。
これにより、表示、音声が切り替えられ(S208)、自車から他車へ自車の全乗員が含まれる画像と音声が送信され、他車の車載通信装置1の表示器16には全乗員が含まれる画像が表示され、スピーカから全乗員の音声が出力される。
なお、本実施形態では、車両に搭載された車載通信装置1と、他の通信装置との間でテレビ電話機能を利用した通信を行う例を示したが、他の通信装置としては、例えば、テレビ電話機能を備えたカメラ付き携帯電話であってもよい。
(第2実施形態)
本発明の第2の実施形態に係る車載通信装置の構成を図7に示す。以下、第1実施形態と同一部分には、同一符号を付して説明を省略し、相違点を中心に説明する。本実施形態に係る車載通信装置2の構成は、図1に示した第1実施形態の構成と比較して、更に、車外カメラ12、車外撮影位置判定機13、位置測定器14を備えている。また、車載サーバ18は、更に、車外画像位置連結部18dおよびカタログ生成部18fを備えている。また、本実施形態に係る車載通信装置2は、同様の車載通信装置2が搭載された3台の車両(A車、B車、C車)との間で車々間通信(直接通信)するものとして説明する。
本発明の第2の実施形態に係る車載通信装置の構成を図7に示す。以下、第1実施形態と同一部分には、同一符号を付して説明を省略し、相違点を中心に説明する。本実施形態に係る車載通信装置2の構成は、図1に示した第1実施形態の構成と比較して、更に、車外カメラ12、車外撮影位置判定機13、位置測定器14を備えている。また、車載サーバ18は、更に、車外画像位置連結部18dおよびカタログ生成部18fを備えている。また、本実施形態に係る車載通信装置2は、同様の車載通信装置2が搭載された3台の車両(A車、B車、C車)との間で車々間通信(直接通信)するものとして説明する。
車外カメラ12は、車両の前方を撮影するフロントカメラと車両の後方を撮影するリアカメラを備え、これらのカメラによって車両周辺の景色等を撮影した画像を出力する。
車外撮影位置判定機13には、車外カメラ12のフロントカメラとリアカメラによって撮影された各画像が入力される。
車外撮影位置判定機13は、車外カメラ12から入力される画像がフロントカメラによって撮影された車両の前方の画像であるかリアカメラによって撮影された車両後方の画像であるかを判定し、車外カメラ12によって撮影された画像に撮影方向を示す情報を付加して車載サーバ18へ送信する。
位置測定器14は、衛星からの測位信号を受信するGPS受信機やジャイロセンサ等を有し、これらのGPS受信機、ジャイロセンサ等を用いて車両の位置を算出し、算出した車両の位置(緯度経度)を出力する。
車外画像位置連結部18dは、位置測定器14によって算出された車両の位置から撮影位置を特定し、特定した撮影位置を車外撮影位置判定機13から入力される画像に付加する。これにより、車外カメラ12によって撮影された画像に撮影方向と撮影位置が付加された画像情報が生成される。
カタログ生成部18fは、画像音声連結部18aに記憶された自車内の各乗員に注目した画像および車外画像位置連結部18dによって生成された画像情報から、各画像の縮小静止画像を並べて配置したサムネイル画像を生成するとともに、このサムネイル画像をデータ圧縮したカタログデータを生成する。なお、サムネイル画像には、縮小した画像毎に座席位置、撮影位置、撮影方向等の情報が付加される。
次に、上記した車載通信装置2が搭載された3台の車両(A車、B車、C車)でグループ走行する際の車載通信装置2の作動について説明する。
各車両の乗員の操作によって、3人以上のグループで同時に会話するモードが選択され、3台の車両間で各車両の乗員の操作に応じて通信が確立し車両相互間で車々間通信による通話が可能な状態となると、各車両A〜Cの車載通信装置2は、他の2台の車載通信装置2へ自車のカメラ(車室内カメラ、フロントカメラ、リアカメラ)によって撮影した画像データを送信する。具体的には、カタログ生成部18fによって生成されたカタログデータを送信する。なお、このカタログデータは、自車内の各乗員に注目した画像および車両周辺の画像の各画像の縮小静止画像を並べて配置したサムネイル画像を圧縮したデータである。
車載通信装置2は、他の車両の車載通信装置2からカタログデータを受信すると、受信したカタログデータに基づいて表示器16にサムネイル画像を表示させる。
図8に、車両Aの車載通信装置2の表示器16に、車両B、Cの各カメラ(車室内カメラ、フロントカメラ、リアカメラ)によって撮影された小さな画面のライブ映像が表示された場合の表示例を示す。車両Aの乗員が、これらの小さな画面の中の特定の画面を選択操作すると、選択された小さな画面の映像が拡大表示される。
なお、乗員は、ユーザ操作部15の操作によりサムネイル画像の縮小画像毎に、乗員の座席位置、カメラの撮影位置、カメラの撮影方向等の説明を表示させるようにしてもよい。
また、車両Aの乗員が、車両Bの車室内カメラと車両Cの車室内カメラを選択すると、車両Aから車両B、Cに対してそれぞれ車室内カメラの撮影画像の送信依頼を示すコマンドが送信される。また、車両B、Cは、このコマンドを受信すると各車室内カメラの撮影画像を送信する。なお、車両B、Cから送信される各車室内カメラの撮影画像は、カタログ生成部18fによって生成されたカタログデータとして送信される。
車両Aの車載通信装置2は、車両B、Cから送信される各カタログデータに基づくサムネイル画像を表示器16に表示させる。図9に、車両Aの表示器16の表示例を示す。図に示すように、表示器16には、車両B、Cの各サムネイル画像が表示される。
ここで、車両Aの乗員が、車両Bのサムネイル画像の中から乗員B3の顔を選択すると、車両Aから車両Bに乗員B3の拡大画像の送信依頼を示すコマンドが送信される。車両Bは、このコマンドを受信すると乗員B3の拡大画像を車両Aに送信し、車両Aは、これらの画像を受信すると表示器16に表示させる。
このときの車両Aの表示器16の表示例を図10に示す。図に示すように、表示器16の車両Bの表示画面には、乗員B3の拡大画像が表示される。なお、「menu」を選択するとメニュー画面(図示せず)に戻り、アイコンRを選択するとサムネイル画像の表示画面に戻る。
また、サムネイル画像の表示画面やサムネイル画像の中から特定の乗員が選択された情報は、一時記憶部18bに記憶される。そして、例えば、他車との通信が一時的に途絶え、再度、通信が可能な状態となった場合には、一時記憶部18bに記憶された情報を読み出して、他車との通信が途絶える前と同じ状態で画像表示するようになっている。
上記した構成によれば、まず、相手の車載通信装置2から送信されたカタログデータに基づいて複数の縮小静止画像を並べて配置したサムネイル画像を表示し、このサムネイル画像の中から乗員の操作によって特定の縮小静止画像が選択された時点で、乗員の操作によって選択された画像のライブ映像を相手の車載通信装置2から取得して表示するようになっている。複数の画像を送受信する場合、通信負荷が大きくなってしまうが、このように、相手の車載通信装置2から送信されたカタログデータに基づいて複数の縮小静止画像を並べて配置したサムネイル画像を表示するので、通信負荷を軽減することができる。
(その他の実施形態)
上記実施形態では、車室内カメラ装置10と位置検知マイク装置11を一体で構成した例を示したが、別体で構成してもよい。
上記実施形態では、車室内カメラ装置10と位置検知マイク装置11を一体で構成した例を示したが、別体で構成してもよい。
また、上記実施形態では、位置検知マイク11aのマイクロフォンm1〜m4を、車両の天井に前後左右方向に向けて設置した例を示したが、例えば、車室内の前方右側、前方左側、後方右側、後方左側のように、車室内の複数箇所にマイクロフォンを分散させて配置してもよい。
また、上記実施形態では、魚眼レンズを有する車室内カメラ10aによって車室内を撮影する例を示したが、魚眼レンズ以外のレンズを有する車室内カメラ10aによって撮影してもよい。
また、各座席に乗員が着座しているか否かを検知するための着座センサとして種々のセンサを用いることができるが、例えば、車両の各座席に設けられた超音波センサを用いて各座席に乗員が着座しているか否かを検知してもよい。
また、カタログデータ生成部18fによって生成されるサムネイル画像に含まれる縮小画像は、静止画像でも動画像のどちらでもよいが、静止画像の方が通信負荷の低減効果を大きくすることができる。
なお、図4に示すフローチャートの各ステップの処理は、それぞれの機能を実現する手段として把握されるものであり、主制御器18eとしては、上記した実施形態に示すようなソフトウェアによって構成されるものに限らず、ハードウェアにより構成されていてもよい。
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、話者位置判定機11bが第1の特定手段に相当し、ユーザ操作部15が第2の特定手段に相当し、通信機17が送信手段に相当し、カタログデータ生成部18fがサムネイル画像生成手段に相当し、表示器16が表示手段に相当する。
1…車載通信装置、10…車室内カメラ装置、10a…車室内カメラ、
10b…画像切り出し部、11…位置検知マイク装置、11a…位置検知マイク、
11b…話者位置判定機、12…車外カメラ、13…車外撮影位置判定機、
14…位置測定器、15…ユーザ操作部、16…表示器、17…通信機、
18…車載サーバ、18a…画像音声連結部、18b…一時記憶部、
18c…画像記憶部、18d…車外画像位置連結部、18e…主制御器、
18f…カタログ生成部。
10b…画像切り出し部、11…位置検知マイク装置、11a…位置検知マイク、
11b…話者位置判定機、12…車外カメラ、13…車外撮影位置判定機、
14…位置測定器、15…ユーザ操作部、16…表示器、17…通信機、
18…車載サーバ、18a…画像音声連結部、18b…一時記憶部、
18c…画像記憶部、18d…車外画像位置連結部、18e…主制御器、
18f…カタログ生成部。
Claims (4)
- 車両に搭載され、他の通信装置とテレビ電話機能を利用した通話を行う車載通信装置であって、
前記車両の全乗員を含む画像を撮影するカメラと、
前記カメラによって撮影された前記全乗員を含む画像から乗員毎に注目した領域の画像を切り出す画像切り出し部と、
前記画像切り出し部によって切り出された画像から特定の乗員に注目した領域を選択する選択手段と、
前記選択手段によって選択された前記特定の乗員に注目した領域の画像を通話相手の通信装置へ送信する送信手段と、を備えたことを特徴とする車載通信装置。 - 複数のマイクロフォンを有し、当該マイクロフォンによって集音された音声に基づいて当該音声の発生位置を検知する位置検知マイクと、
前記位置検知マイクによって検知された前記音声の発生位置に基づいて発話者の位置を特定する第1の特定手段と、を備え、
前記選択手段は、前記第1の特定手段によって特定された前記発話者の位置を前記特定の乗員に注目した領域として選択することを特徴とする請求項1に記載の車載通信装置。 - 前記画像切り出し部によって切り出された前記乗員毎に注目した領域の画像を表示する表示手段と、
前記表示手段に表示された前記乗員毎に注目した領域の画像の中から乗員の操作に応じて特定の乗員に注目した領域の画像を特定する第2の特定手段を備え、
前記選択手段は、前記第2の特定手段によって特定された前記画像を前記特定の乗員に注目した領域として選択することを特徴とする請求項1または2に記載の車載通信装置。 - 前記車両の各乗員に注目した各静止画像を縮小して並べて配置したサムネイル画像を生成するサムネイル画像生成手段と、
前記選択手段は、前記サムネイル画像生成手段によって生成された前記サムネイル画像を前記通話相手の通信装置へ送信し、前記送信したサムネイル画像の中から前記通話相手によって特定された画像を示す信号を前記通話相手の通信装置から受信し、前記通話相手によって特定された画像を前記特定の乗員に注目した領域として選択することを特徴とする請求項1ないし3のいずれか1つに記載の車載通信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005256104A JP2007074081A (ja) | 2005-09-05 | 2005-09-05 | 車載用通信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005256104A JP2007074081A (ja) | 2005-09-05 | 2005-09-05 | 車載用通信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007074081A true JP2007074081A (ja) | 2007-03-22 |
Family
ID=37935194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005256104A Withdrawn JP2007074081A (ja) | 2005-09-05 | 2005-09-05 | 車載用通信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007074081A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190031053A (ko) * | 2017-09-15 | 2019-03-25 | 엘지전자 주식회사 | 차량 제어 방법 |
JP2020080542A (ja) * | 2017-06-16 | 2020-05-28 | 本田技研工業株式会社 | 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法 |
US11004450B2 (en) | 2018-07-03 | 2021-05-11 | Hyundai Motor Company | Dialogue system and dialogue processing method |
WO2023127118A1 (ja) * | 2021-12-28 | 2023-07-06 | パイオニア株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体 |
-
2005
- 2005-09-05 JP JP2005256104A patent/JP2007074081A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020080542A (ja) * | 2017-06-16 | 2020-05-28 | 本田技研工業株式会社 | 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法 |
KR20190031053A (ko) * | 2017-09-15 | 2019-03-25 | 엘지전자 주식회사 | 차량 제어 방법 |
KR102023995B1 (ko) * | 2017-09-15 | 2019-09-23 | 엘지전자 주식회사 | 차량 제어 방법 |
US11004450B2 (en) | 2018-07-03 | 2021-05-11 | Hyundai Motor Company | Dialogue system and dialogue processing method |
WO2023127118A1 (ja) * | 2021-12-28 | 2023-07-06 | パイオニア株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6077214B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
JP2008151766A (ja) | 立体音響制御装置及び立体音響制御方法 | |
JP3888667B2 (ja) | 多者間通信装置 | |
EP4016956A1 (en) | Calling method, device and system, server and storage medium | |
JP2013021468A (ja) | 画像処理システム、車両用装置、画像処理装置、プログラム、及び、画像表示方法 | |
JP2007074081A (ja) | 車載用通信装置 | |
CN109104564B (zh) | 一种拍摄提示方法及终端设备 | |
CN111133752B (zh) | 表情记录*** | |
JP2013055416A (ja) | 車外映像提供システム | |
JP2022078741A (ja) | ロボット | |
WO2020137398A1 (ja) | 操作制御装置、撮像装置、操作制御方法 | |
JP4325410B2 (ja) | 車載装置 | |
WO2023112115A1 (ja) | 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP4076747B2 (ja) | Tv電話システム及びtv電話接続方法 | |
JP4586442B2 (ja) | 車両用誘導システム、車両用誘導方法、および車載装置 | |
JP6146017B2 (ja) | 携帯端末装置 | |
JP2001328499A (ja) | 緊急通報システム端末機器および緊急通報システム | |
WO2022208656A1 (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP2023094982A (ja) | 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体 | |
WO2023112113A1 (ja) | 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP4074449B2 (ja) | 通信装置 | |
WO2023112114A1 (ja) | 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP2022153972A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
US20240105052A1 (en) | Information management device, information management method and storage medium | |
JP2001341952A (ja) | エレベータ情報伝送システムおよび情報伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081202 |