JP2014051156A - 車載装置 - Google Patents

車載装置 Download PDF

Info

Publication number
JP2014051156A
JP2014051156A JP2012195931A JP2012195931A JP2014051156A JP 2014051156 A JP2014051156 A JP 2014051156A JP 2012195931 A JP2012195931 A JP 2012195931A JP 2012195931 A JP2012195931 A JP 2012195931A JP 2014051156 A JP2014051156 A JP 2014051156A
Authority
JP
Japan
Prior art keywords
unit
display data
moving image
character
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012195931A
Other languages
English (en)
Inventor
Natsunori Ishida
奈都規 石田
Toshiyuki Sekimura
利行 関村
Shingo Sato
慎吾 佐藤
Atsushi Yamashita
敦士 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012195931A priority Critical patent/JP2014051156A/ja
Publication of JP2014051156A publication Critical patent/JP2014051156A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】携帯端末装置からの映像を車載装置に表示する際、利便性と安全性を両立する。
【解決手段】受信部10は、携帯端末装置から表示データを受信する。判定部30は、表示データを画像解析して、走行中に非表示とすべき情報が含まれるか否か判定する。画像合成部60は、非表示とすべき情報を含む領域をマスキング処理する。例えば、表示データ内に、設定されたサイズ以下の文字が含まれる場合、その文字を含む領域をマスキングする。
【選択図】図1

Description

本発明は、スマートフォンなどの端末装置と連携する車載装置に関する。
近年、スマートフォンの画面を外部機器に表示させるミラーリングが普及してきている。例えば、スマートフォンと車載装置(例えば、ディスプレイオーディオ、カーナビゲーション装置)を接続し、スマートフォンの画面を車載装置のディスプレイに表示させる。一般に車載装置の画面サイズはスマートフォンの画面サイズより大きく、車載装置は運転者から比較的見やすい位置に設置されているため、スマートフォンと車載装置を連携してのミラーリング機能は便利な機能である。
ただし走行中に車載装置に映し出されるスマートフォンの画面を、運転者が見入ってしまうと危険である。そこで走行中はスマートフォンからの映像を表示しないようにすることが考えられる(例えば、特許文献1参照)。
特開2009−35024号公報
しかしながら走行中において、スマートフォンなどの携帯端末装置からの映像を車載装置に表示することを一律に禁止するのは利便性が低下する。安全とみなせる映像であれば、その表示を許容するのが利便性向上につながる。
本発明はこうした状況に鑑みなされたものであり、その目的は、携帯端末装置からの映像を車載装置に表示する際、利便性と安全性を両立する技術を提供することにある。
本発明のある態様の車載装置は、車載装置であって、携帯端末装置から表示データを受信する受信部と、前記表示データを画像解析して、走行中に非表示とすべき情報が含まれるか否か判定する判定部と、前記非表示とすべき情報を含む領域をマスキングするマスキング処理部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、携帯端末装置からの映像を車載装置に表示する際、利便性と安全性を両立できる。
本発明の実施の形態1に係る車載装置の構成を示す図である。 判定パラメータ保持部に保持される判定パラメータを規定したテーブルの一例を示す図である。 判定パラメータ保持部に保持される判定パラメータを規定したテーブルの別の例を示す図である。 アプリ履歴保持部に保持されるテーブルの一例を示す図である。 画像解析および規制判定処理のタイミングチャートを示す図である。 図6(a)−(c)は、インターネットラジオの表示画面の規制例を示す図である。 図7(a)−(d)は、マスキングの具体的な表示方法について説明する図である。 図8(a)−(c)は、音楽再生アプリケーションの表示画面の規制例を示す図である。 図9(a)−(c)は、動画投稿アプリケーションの表示画面の規制例を示す図である。 本発明の実施の形態1に係る車載装置の動作を示すフローチャートである。 本発明の実施の形態2に係る車載装置の構成を示す図である。 図12(a)−(b)は、インターネットラジオの表示画面の文字変換例を示す図である。
図1は、本発明の実施の形態1に係る車載装置100の構成を示す図である。車載装置100はカーナビゲーション装置、ディスプレイオーディオなどが該当する。本実施の形態に係る車載装置100は携帯端末装置と連携して動作する。当該携帯端末装置はスマートフォン、携帯電話機、タブレット、PDA、携帯型音楽プレーヤ、携帯型ゲーム機などが該当する。車載装置100と当該携帯端末装置とは、USB、HDMI(登録商標)などの有線通信、Bluetooth(登録商標)、Wi−Fi(登録商標)などの短距離無線通信により接続される。
当該携帯端末装置は、システムプログラムまたはアプリケーションプログラムを実行し、その表示データおよび音声データを、自己のディスプレイおよびスピーカに出力するとともに車載装置100に送信する。本実施の形態では表示データについて注目するため音声データについては無視して考える。
車載装置100は、受信部10、制御部20、表示部80、操作部90を備える。受信部10は上記携帯端末装置から送信される表示データを受信する。受信部10は受信した表示データを制御部20に出力する。表示部80は制御部20から供給される表示データを表示する。操作部90はユーザからの操作を受け付け、その操作内容に応じた指示信号を生成する。操作部90は生成した指示信号を制御部20に出力する。
制御部20は車載装置100全体を制御する。制御部20は、判定部30、アプリ履歴保持部40、判定パラメータ保持部50、画像合成部60を含む。判定部30は、走行状態判定部32、アプリ特定部34、画像解析部36、規制判定部38を含む。本実施の形態では走行規制処理に注目するため、走行規制処理に関連する構成のみを描いている。
上述の制御部20の構成は、ハードウェア的には、任意のコンピュータのプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
判定部30は、上記携帯端末装置から受信した表示データを画像解析して、走行中に非表示とすべき情報が含まれるか否か判定する。画像合成部60は、上記携帯端末装置から受信した表示データのうち、判定部30により非表示とすべき情報を含む領域をマスキングする。以下、より具体的に説明する。
走行状態判定部32は、車載装置100が設置されている車両が走行中であるか否かを判定する。例えば、加速度センサまたは角速度センサを搭載してもよいし、車両内の各種計器(例えば、速度計)またはECUと接続してもよい。
アプリ特定部34は、上記携帯端末装置から受信した表示データが、いずれのアプリケーションプログラムの表示データであるか特定する。上記携帯端末装置は、生成した表示データが、いずれのアプリケーションプログラムの表示データであるかを少なくとも先頭フレームのヘッダに書き込む。アプリ特定部34は、その情報を参照してアプリケーションプログラムを特定できる。
画像解析部36は、上記携帯端末装置から受信した表示データを画像解析する。画像解析部36はOCR(Optical Character Recognition)機能を備え、表示データにより形成される画像内から文字を検出する。また画像解析部36は、表示データにより形成される画像内から動画領域を検出する。
規制判定部38は車両走行中に、上記携帯端末装置から受信した表示データに形成される画像内に、表示すべきでない文字および/または動画領域が含まれるか否か判定する。走行中に表示すべきでない文字および/または動画領域であるか否かは、運転中の運転者が表示部80に表示される画像を見た際に、一定時間以上画面を見入る(以下本明細書では、注視という)可能性が高いか否かにより判断される。画面を注視する可能性が高い文字または動画の場合はその表示を禁止する。一方、画面を注視する可能性が低い文字または動画の場合はその表示を許容する。
文字の場合、小さな文字または込み入った文字は視認性が低いため運転者が注視する可能性が高いと考えられる。また長い文字列も運転者が注視する可能性が高いと考えられる。動画の場合、基本的に注視する可能性が高いと考えられる。車載装置メーカの中には走行中に、表示部80にナビゲーション画面以外の動画(例えば、TVやDVDの映像)が映らないように規制しているメーカもある。ただし、ナビゲーション画面以外の動画を一律に規制するのは、運転者の利便性を犠牲にしている面もある。例えば、描画更新回数が少なかったり、アニメーションの領域が画面全体に比して小さかったりして、運転者が注視する可能性が低い映像であれば、動画であっても表示を許容してもよい場合があると考えられる。
規制判定部38は車両走行中に、非表示とすべき文字または動画領域が含まれるか否かを、判定パラメータ保持部50に保持される判定パラメータを用いて判定する。当該判定パラメータは、設計者による実験またはシミュレーションにもとづき決定された値に設定される。なお当該判定パラメータの値は、保守作業員による操作またはオンライン配布により事後的にアップデートすることが可能である。また当該判定パラメータの値は、ユーザにより変更が可能な設計であってもよい。
図2は、判定パラメータ保持部50に保持される判定パラメータを規定したテーブル50aの一例を示す。図2では走行時の規制判定パラメータとして4種類のパラメータを挙げている。文字の大きさ、文字の長さ、動画領域の画面全体に対する占有率、動画領域の動きの速さである。それぞれの規制判定パラメータのしきい値として、20ポイント以下、10文字以上、1/4以上、1コマ/秒以上と設定されている。これは規制対象となる文字および動画を規定したものである。これらの条件を満たさない文字および動画は、規制対象から外れる。
即ち、画像解析部36による画像解析の結果、上記携帯端末装置から受信した表示データにより形成される画面内に、設定された大きさ(図2の例では20ポイント)以下の文字が含まれる場合、規制判定部38はその文字を規制対象と判定する。規制判定部38は、その文字をマスキングするよう画像合成部60に指示し、画像合成部60は当該画面内のその文字を含む領域をマスキングする。
また画像解析部36による画像解析の結果、上記携帯端末装置から受信した表示データにより形成される画面内に、設定された文字数(図2の例では10文字)以上の文字列が含まれる場合、規制判定部38はその文字列を規制対象と判定する。規制判定部38はその文字列をマスキングするよう画像合成部60に指示し、画像合成部60は当該画面内のその文字列を含む領域をマスキングする。
また画像解析部36による画像解析の結果、上記携帯端末装置から受信した表示データにより形成される画面内に、設定された画面占有率(図2の例では1/4)以上の動画領域が含まれる場合、規制判定部38はその動画領域を規制対象と判定する。規制判定部38はその動画領域をマスキングするよう画像合成部60に指示し、画像合成部60は当該画面内のその動画領域を含む領域をマスキングする。
画面占有率が低い動画は、コンテンツそのものではなく、装飾、演出、効果を狙った簡易アニメーションまたは動的アイコンであることが多い。これらの簡易アニメーションまたは動的アイコンは基本的に意味を伝達するものではなく、運転者が注視する可能性が低いと考えられる。なお「処理中」、「受信中」などのステータスを示す動的アイコンは、文字ではなくシンボルで意味を伝達するものであるが、アイコンは小さな文字と異なり、運転者は瞬時にその形およびその意味を把握できるため注視する可能性が低いと考えられる。
また画像解析部36による画像解析の結果、上記携帯端末装置から受信した表示データにより形成される画面内に、設定された速度(図2の例では1コマ/秒)以上で変化する動画領域が含まれる場合、規制判定部38はその動画領域を規制対象と判定する。規制判定部38はその動画領域をマスキングするよう画像合成部60に指示し、画像合成部60は当画面内のその動画領域を含む領域をマスキングする。
この規制により、テレビ放送、映画配信アプリケーション、動画投稿アプリケーションのような一般的な動画コンテンツは表示禁止になる。音楽再生アプリケーションの再生位置を示すインジケータ表示、時計アプリケーションなど、一定周期で更新され、一般的な動画コンテンツに比べ変化が少ない動画は表示禁止の対象としない。このような変化が少ない動画は、ほぼ静止画とみなすことができるためである。
なお「処理中」、「受信中」などのステータスを示す動的アイコンは、1コマ/秒以上の速さで変化するものもある。このような動的アイコンを規制対象から外すために、設定された画面占有率(例えば、1/16)以下の動画領域については、設定された速度(図2の例では1コマ/秒)以上で変化していても、表示を許容するという例外条件を設けてもよい。
図3は、判定パラメータ保持部50に保持される判定パラメータを規定したテーブル50bの別の例を示す。図3に示すテーブル50bは、図2に示すテーブル50aの文字に関する判定パラメータをより細分化して規定したテーブルである。
図3に示すテーブル50bでは文字の大きさに関するパラメータのしきい値を、文字の書体(フォント)の種別に応じて異なる値に設定している。見やすい書体ほどしきい値を小さく、見にくい書体ほどしきい値を大きく設定する。図3に示すテーブル50bではゴシック体の場合は20ポイント以下、明朝体および行書体の場合は30ポイント以下を規制対象としている。ゴシック体は線の太さがほぼ均一であり比較的見やすい書体である。一方、明朝体および行書体は線の太さが不均一であり比較的見にくい書体である。
図3に示すテーブル50bでは文字の長さに関するパラメータのしきい値を、条件に応じて異なる値に設定している。まず図2に示すテーブル50aでは文字の長さを文字数のみで特定したが、文字列が描かれている領域の幅方向のドット数でも特定する。図3に示すテーブル50bではそのドット数が100ドット以上の文字列が規制対象となる。
また図3に示すテーブル50bでは文字の長さに関するパラメータのしきい値を、文字コードの種別に応じて異なる値に設定している。見やすい文字コードほどしきい値を大きく(長く)、見にくい文字コードほどしきい値を小さく(短く)設定する。図3に示すテーブル50bでは、検出される文字がASCII(American standard code for information interchange)コードの場合は20文字以上、ひらがな及びカタカナの場合は15文字以上、JIS第1水準漢字の場合は15文字以上、JIS第2水準漢字の場合は15文字以上を規制対象としている。
日本語の文字の形状は、ASCIIコードに規定されるアルファベットおよび数字の形状より複雑であることに鑑み、日本語の文字のほうを厳しい基準としている。なお、ひらがな及びカタカナと漢字を比較すると、形状は漢字のほうが複雑である。ただし表意文字である漢字は、表音文字であるひらがな及びカタカナより漢字圏の人間にとっては認識スピードが速いという面もある。そこで図3に示す例では両者の間でしきい値に軽重をつけていないが、両者の間でしきい値に軽重をつけてもよい。
また図3に示すテーブル50bでは文字の長さに関するパラメータのしきい値を、言語の種別に応じて異なる値に設定している。見やすい文字の言語ほどしきい値を大きく(長く)、見にくい文字の言語ほどしきい値を小さく(短く)設定する。図3に示すテーブル50bでは、検出される文字が日本語の場合は15文字以上、繁体字中国語の場合は15文字以上、簡体字中国語の場合は20文字以上を規制対象としている。繁体字中国語の文字の形状は、簡体字中国語の文字の形状より複雑であるため繁体字中国語のほうの基準を厳しくしている。
図3に示すテーブル50bを使用したほうが図2に示すテーブル50aを使用する場合より、きめ細かな処理が可能となるが、文字の種類および書体を厳密に特定する必要がある。したがって高度なOCR機能を搭載する必要がある。一方、図2に示すテーブル50aを使用する場合、画像内のオブジェクトが文字であることさえ特定できればよく、文字の種別および書体を厳密に特定する必要がない。例えば、カタカナの「ハ」と漢字の「八」を厳密に区別する必要もない。したがって簡易なOCR機能を搭載すれば足りる。設計者は必要に応じて両者を使い分ければよい。
図1に戻る。画像解析部36は、上記携帯端末装置から受信した表示データの画像解析を、全フレームに対して実行してもよいし、定期的に実行してもよいし、最初だけ実行してもよい。画像解析を全フレームについてリアルタイムに行うには、高度なハードウェアスペックが必要となる。例えば、画像解析専用のASICを搭載する必要がある。この場合、全フレームについて非表示とすべき領域が特定できるため、画像合成部60は、非表示とすべき文字または動画領域のみをピンポイントにマスキングできる。
画像解析を定期的(例えば、1分に1回)に行う場合、ソフトウェア処理も可能である。今回の画像解析から次回の画像解析までの間に、画面の構図が更新される可能性がある。したがって今回の画像解析により特定された、非表示とすべき文字または動画領域の存在または位置が、次回の画像解析までの間に消去または移動される可能性がある。この可能性に鑑み、画面内に非表示とすべき文字または動画領域が含まれる場合、画像合成部60は画面全体をマスキングしてもよい。また画面の構図は頻繁に変わらないという経験則に鑑み、画像合成部60は非表示とすべき文字または動画表示領域のみをマスキングしてもよい。
画面の構図は頻繁に変わらないという経験則を重視すると、アプリケーションプログラムが実行された後、最初の数フレームのみを画像解析するという手法も考えられる。この場合、ハードウェア資源に与える負荷を最小化できる。最初の数フレームのみを画像解析する場合においても、画像合成部60は画面全体をマスキングしてもよいし、非表示とすべき文字または動画領域のみをマスキングしてもよい。
以下さらに処理負荷を軽減する手法について説明する。規制判定部38は、画像解析部36により走行中に非表示とすべき文字または動画領域を含まないと判定された表示データが、いずれのアプリケーションプログラムの表示データであるかをアプリ履歴保持部40に履歴として格納する。具体的には、走行規制が不要と判定されたアプリケーションプログラムの識別情報を履歴として格納する。
アプリ履歴保持部40に保持される走行規制が不要と判定されたアプリケーションプログラムの表示データが再度受信された場合、規制判定部38は、画像解析部36によるその表示データの画像解析をスキップさせる。即ち、新たな画像解析をせずに走行中における当該アプリケーションプログラムの表示データの表示を許可する。
図4は、アプリ履歴保持部40に保持されるテーブル40aの一例を示す図である。当該テーブル40aにはアプリID、アプリ名、走行時の規制判定フラグが含まれる。このテーブル40aには、車載装置100が新たなアプリケーションプログラムの表示データを受信する度、履歴データが追加される。図4に示すように各種のアプリケーションプログラムについて、画像解析の結果にもとづき走行規制が必要か否か登録される。
処理負荷の軽減の観点からは、対象のアプリケーションプログラムの表示データに走行中に非表示とすべき文字または動画領域を含まないと一度、判定されれば、その判定結果を次回以降使用し続けることが有効である。しかしながら、アップデートにより当該アプリケーションプログラムの表示画面の構図が変更される場合がある。また最初に画像解析部36が文字または動画領域を誤認識する可能性もある。そこで当該アプリケーションプログラムが実行された場合において、前回の実行から一定の期間(例えば、1ヶ月)が経過している場合、画像解析をスキップせずに再度、行ってもよい。
上述したように画像解析部36が文字または動画領域を誤認識する可能性がある。また上述の条件に当てはめると規制対象となる文字列または動画であっても、人間の感覚では必ずしも安全性を損なう文字列または動画ではないと判断できるものもある。またその逆の場合も考えられる。
そこでユーザが操作部90を操作して、アプリ履歴保持部40に保持される履歴データの内容を編集できるように設計されていてもよい。例えば、「規制なし」と判定されたアプリケーションプログラムであっても、ユーザが安全性を損なう文字列または動画が含まれると判断した場合、ユーザがそのアプリケーションプログラムの規制判定フラグを「規制あり」に書き換えることができる。
また運転者が運転中、アプリケーションプログラムの表示画面を見たとき、その表示画面が規制されるべきものか否か判断に悩む場合がある。そこで表示画面を保存する機能を設けてもよい。操作部90に保存キーを設け、保存キーが押下されると、規制判定部38はその時点で表示されている表示画面を、図示しないフレームバッファに保存する。運転者は運転終了後に操作部90を操作して、当該フレームバッファに保存された表示画面を読み出し、表示部80に表示させる。これにより運転者であるユーザは、そのアプリケーションプログラムの表示画面が規制されるべきか否かじっくり検討できる。
一般的にアプリケーションプログラムは、ユーザによる実行開始操作がなされてから、実際に実行可能な状態になるまで時間がかかる。通常、プログラムおよびデータは外部メモリに格納されているため内部メモリに読み込む時間が必要となる。この立ち上がり時間中、何らかのアニメーションまたは動的アイコンが表示されることが多い。
したがって上記携帯端末装置から受信部10がアプリケーションプログラムの実行開始信号を受信して直ぐに、画像解析部36が画像解析を開始すると、このアニメーションまたは動的アイコンを動画として認識する可能性がある。そして規制判定部38が非表示とすべき動画を含む表示データを生成するアプリケーションプログラムと判定してしまう可能性がある。またアプリケーションプログラムが完全に起動する前は、背景にメニュー画面が表示されていることが多いため、画像解析部36はメニュー画面からアプリ画面への遷移を、動画と認識する可能性がある。
そこで上記携帯端末装置から受信部10がアプリケーションプログラムの実行開始信号を受信してから所定の設定期間、画像解析部36は上記携帯端末装置から受信した表示データの画像解析を保留する。当該設定期間経過後から、画像解析部36は当該表示データの画像解析を開始する。これにより、アプリケーションプログラム以外の表示データにより、当該アプリケーションプログラムの規制判定がなされることを回避できる。
図5は、画像解析および規制判定処理のタイミングチャートの一例を示す。このタイミングチャートでは、ユーザ操作により特定のアプリケーションプログラムの起動が開始してから0.5秒間、画像解析および規制判定処理を保留する。0.5秒経過後、画像解析処理および規制判定処理を実行する。当該処理は、リアルタイムに実行されてもよいし、定期的に実行されてもよいし、最初の1回だけ実行されてもよい。
以下、具体的なアプリケーションプログラムの表示画面の規制例を示す。図6(a)−(c)は、インターネットラジオの表示画面の規制例を示す。図6(a)はオリジナルの表示画面を示す。インターネットラジオの表示画面には主に、放送局名、放送時間、番組情報が表示される。図6(a)を参照すると「番組情報」、「21:30-22:00」、「番組メールアドレス:」、「[email protected]」、「xxxxxxxハッシュタグは「#xxxx」」、「xxxxxxxアカウントは「@xxxxxx」」の各文字列はサイズが小さく、規制判定部38は表示禁止と判定する。また「xxxxxxxハッシュタグは「#xxxx」」及び「xxxxxxxアカウントは「@xxxxxx」」の各文字列は20文字以上であり、規制判定部38は文字数の条件からも表示禁止と判定する。
図6(a)に示すような小さな文字で描かれたメールアドレス、ハッシュタグ、SNSのアカウントなどが走行中に表示されると、それを見た運転者はその内容を把握しようと、意識的または無意識的に注視してしまう可能性がある。そこで画像合成部60は、それらの文字列をマスキングする。図6(b)は、それらの文字列のみをマスキングした表示画面を示す。図6(c)は、画面全体をマスキングした表示画面を示す。
ここでマスキングの方法について説明する。図7(a)−(d)はマスキングの具体的な表示方法について説明する図である。図7(a)が元の表示画面であったとすると、図7(b)は図6(b)と同様にベタ塗りによるマスキング、図7(c)は文字列を表示せずに文字列のあった部分に下線を表示することによるマスキング、図7(d)は文字列を表示せず透明化するマスキングを示している。これ以外にも様々なマスキング方法が考えられるが、本実施の形態では以下ベタ塗りをするものとして記載する。
図8(a)−(c)は、音楽再生アプリケーションの表示画面の規制例を示す。図8(a)はオリジナルの表示画面を示す。音楽再生アプリケーションの表示画面には主に、アーティスト名、曲名、アルバム/シングルタイトル、再生インジケータ、ジャケット写真が表示される。図8(a)を参照するとアーティスト名を示す「Xxxxx Xxxxxxx」、曲名を示す「What the Xxxx」、シングルタイトルを示す「What the Xxxx-Single」、再生インジケータin1の付加情報を示す「1:48」及び「-1:51」、再生トラック情報を示す「40of43」の各文字列はサイズが小さい。規制判定部38は表示禁止と判定する。
再生インジケータin1は、再生位置を示すシンボルマーク(図8(a)では丸型であるが、バー型でもよい)が楽曲の進行とともに右に移動する。したがって再生インジケータin1は動画のカテゴリに含まれるが、その移動速度が1コマ/秒未満である。よって再生インジケータin1は表示が許可される。ジャケット写真は静止画であるため表示が許可される。
図8(a)に示すような小さな文字で描かれたアーティスト名、曲名などが走行中に表示されると、それを見た運転者はその内容を把握しようと、意識的または無意識的に注視してしまう可能性がある。そこで画像合成部60は、それらの文字列をマスキングする。なお再生インジケータin1はマスキングしない。図8(b)は、それらの文字列のみをマスキングした表示画面を示す。図8(c)は、画面全体をマスキングした表示画面を示す。
図9(a)−(c)は、動画投稿アプリケーションの表示画面の規制例を示す。図9(a)はオリジナルの表示画面を示す。動画投稿アプリケーションの表示画面には主に、動画領域V1、操作領域が含まれる。画面全体に対する動画領域V1が占める割合が1/4以上であるため、規制判定部38は表示禁止と判定する。また動画領域V1の動きの速度は、通常1コマ/秒以上であるため、規制判定部38はその条件からも表示禁止と判定する。
図9(a)に示すような動画領域V1は、運転者はその動画を意識的または無意識的に注視してしまう可能性がある。そこで画像合成部60は、動画領域V1をマスキングする。図9(b)は、動画領域V1のみをマスキングした表示画面を示す。図9(c)は、画面全体をマスキングした表示画面を示す。
図10は、本発明の実施の形態1に係る車載装置100の動作を示すフローチャートである。まず受信部10は、上記携帯端末装置から特定のアプリケーションプログラムの表示データを受信する(S10)。アプリ特定部34は、当該表示データを生成しているアプリケーションプログラムを特定する(S11)。アプリ特定部34は、特定したアプリケーションプログラムの情報を規制判定部38に渡す。
規制判定部38はアプリ履歴保持部40を参照し、当該アプリケーションプログラムの規制判定履歴を探索する(S12)。規制判定履歴が存在しないか、または規制判定履歴が存在してもその規制判定履歴が走行規制ありの場合(S12のN)、規制判定部38は画像解析部36に画像解析を指示する。
画像解析部36は、受信された表示データを画像解析する(S13)。画像解析部36はその解析結果を規制判定部38に渡す。規制判定部38は当該表示データ内に規制すべき文字または動画領域を含むか否か判定する(S14)。含む場合(S14のY)、規制判定部38は画像合成部60にマスキングを指示する。画像合成部60は、規制すべき文字または動画領域を含む領域をマスキングする(S15)。表示部80はマスキングされた画像を表示する(S16)。
ステップS14にて当該表示データ内に規制すべき文字または動画領域を含まない場合(S14のN)、ステップS15をスキップする。表示部80はマスキングされていない画像を表示する(S16)。
ステップS12にて当該アプリケーションプログラムの規制判定履歴がアプリ履歴保持部40に存在し、かつその規制判定履歴が走行規制なしの場合(S12のY)、ステップS13〜ステップS15をスキップする。表示部80はマスキングされていない画像を表示する(S16)。
以上説明したように実施の形態1によれば、携帯端末装置からの映像を車載装置に表示する際に、表示禁止すべき情報をマスキングすることにより、利便性と安全性を両立できる。走行中であっても運転者が注視する可能性が低い映像内容であれば、その表示を許容することにより、運転者の利便性を向上できる。一方、運転者が注視する可能性が高い映像内容については、その表示を禁止することにより安全性を向上できる。
また本実施の形態では表示データを画像解析することにより、表示禁止すべきオブジェクトが画面内に含まれるか否か判定する。したがって画面全体のマスキングではなく、表示禁止すべきオブジェクトのみのマスキングも可能となる。また汎用性が高い走行規制処理を実現できる。アプリケーションプログラムごとに上記携帯端末装置から車載装置に表示を許可するか禁止するかを指示する信号を送る手法では、新たな通信規則を設定する必要があり汎用性が低い。
またその手法では事前に全てのアプリケーションプログラムについて走行規制するか否か判定しなければならず、車載装置メーカ以外のメーカまたはベンダに、煩雑な負担を強いることになる。この点、本実施の形態では車載装置メーカのテリトリで走行規制処理を完結させることができる。
図11は、本発明の実施の形態2に係る車載装置100の構成を示す図である。実施の形態2に係る車載装置100は、図1に示した実施の形態1に係る車載装置100の制御部20に文字変換部70が追加された構成である。
文字変換部70は相対的に見にくい文字を相対的に見やすい文字に変換する。例えば、以下の変換処理を行う。書体(フォント)を相対的に見やすいものに変換する。旧漢字を新漢字に変換する。中国語の繁体字を中国語の簡体字に変換する。ひらがな及びカタカナを漢字に変換する。
画像解析部36は、上記携帯端末装置から受信した表示データから、変換すべき文字を検出する。文字変換部70は、検出された文字を、図示しない変換テーブルを参照して相対的に見やすい文字に変換する。なお当該変換テーブルには、変換すべき文字および変換後の文字が関連づけられて登録されている。画像合成部60は、表示データ内の変換すべき文字を変換後の文字で上書きする。具体的には、表示データ内の変換すべき文字が存在する位置に、変換後の文字を描いたイメージデータを貼り付ける。
この文字変換処理により、文字のサイズまたは文字列の長さが変わる場合がある。例えば、ひらがな及びカタカナを漢字に変換すると通常、文字数が少なくなる。したがって文字変換前は走行規制条件に該当していたが、文字変換後は走行規制条件に該当しなくなるケースも発生する。そこで規制判定部38は、少なくとも文字に関する走行規制判定を、文字変換部70による文字変換後に実行する。その他の処理は、実施の形態1と同じであるため説明を省略する。
図12(a)−(b)は、インターネットラジオの表示画面の文字変換例を示す。図12(a)はオリジナルの表示画面を示す。図12(a)に示す表示画面には出演者名として「澤 榮子」と明朝体の文字で描かれている。またメッセージとして「おたよりおくってください。」と明朝体の文字で描かれている。
文字変換部70は旧漢字の文字列「澤 榮子」を新漢字の文字列「沢 栄子」に変換する。また文字変換部70は、ひらがなのみの文字列「おたよりおくってください。」を、漢字かな混じりの文字列「お便り送って下さい。」に変換する。また文字変換部70は変換後のそれらの文字列の書体を、明朝体からゴシック体に変換する。なお上述しように画像合成部60は、表示禁止すべきサイズの小さな文字列をマスキングする。
図12(b)は文字変換およびマスキング後の表示画面を示す。図12(a)と図12(b)を比較すると、表示画面が見やすくなったことが分かる。なお出演者名などの有益な情報が残るため、運転者の利便性向上に資する。
以上説明したように実施の形態2によれば、実施の形態1と同様の効果を奏するとともに、表示を許容する文字をより見やすくできる。したがって安全性をより高めることができる。
以上、本発明を実施の形態をもとに説明した。こられ実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
100 車載装置、 10 受信部、 20 制御部、 30 判定部、 32 走行状態判定部、 34 アプリ特定部、 36 画像解析部、 38 規制判定部、 40 アプリ履歴保持部、 50 判定パラメータ保持部、 60 画像合成部、 70 文字変換部、 80 表示部、 90 操作部。

Claims (6)

  1. 車載装置であって、
    携帯端末装置から表示データを受信する受信部と、
    前記表示データを画像解析して、走行中に非表示とすべき情報が含まれるか否か判定する判定部と、
    前記非表示とすべき情報を含む領域をマスキングするマスキング処理部と、
    を備えることを特徴とする車載装置。
  2. 前記マスキング処理部は、前記表示データ内に、設定されたサイズ以下の文字が含まれる場合、その文字を含む領域をマスキングすることを特徴とする請求項1に記載の車載装置。
  3. 前記マスキング処理部は、前記表示データ内に、設定された文字数以上の文字列が含まれる場合、その文字列を含む領域をマスキングすることを特徴とする請求項1または2に記載の車載装置。
  4. 前記マスキング処理部は、前記表示データ内に、設定された画面占有率以上の動画領域が含まれる場合、その動画領域を含む領域をマスキングし、設定された画面占有率未満の動画領域が含まれる場合、その動画領域をマスキングしないことを特徴とする請求項1から3のいずれかに記載の車載装置。
  5. 前記マスキング処理部は、前記表示データ内に、設定された速度以上で動く動画領域が含まれる場合、その動画領域を含む領域をマスキングし、設定された速度未満で動く動画領域が含まれる場合、その動画領域をマスキングしないことを特徴とする請求項1から4のいずれかに記載の車載装置。
  6. 前記判定部により走行中に非表示とすべき情報を含まないと判定された表示データが、いずれのアプリケーションプログラムの表示データであるかを履歴として保持する履歴保持部を、さらに備え、
    前記判定部は、前記履歴保持部に保持されるアプリケーションプログラムの表示データが受信されると、その表示データの画像解析をスキップすることを特徴とする請求項1から5のいずれかに記載の車載装置。
JP2012195931A 2012-09-06 2012-09-06 車載装置 Pending JP2014051156A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012195931A JP2014051156A (ja) 2012-09-06 2012-09-06 車載装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012195931A JP2014051156A (ja) 2012-09-06 2012-09-06 車載装置

Publications (1)

Publication Number Publication Date
JP2014051156A true JP2014051156A (ja) 2014-03-20

Family

ID=50610068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012195931A Pending JP2014051156A (ja) 2012-09-06 2012-09-06 車載装置

Country Status (1)

Country Link
JP (1) JP2014051156A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072160A1 (ja) * 2014-11-06 2016-05-12 クラリオン株式会社 オーディオ再生装置、及びオーディオ再生システム
JP2018507479A (ja) * 2015-02-02 2018-03-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車用の運転者支援システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072160A1 (ja) * 2014-11-06 2016-05-12 クラリオン株式会社 オーディオ再生装置、及びオーディオ再生システム
JP2016090824A (ja) * 2014-11-06 2016-05-23 クラリオン株式会社 オーディオ再生装置、及びオーディオ再生システム
US9967687B2 (en) 2014-11-06 2018-05-08 Clarion Co., Ltd. Audio reproduction apparatus and audio reproduction system
JP2018507479A (ja) * 2015-02-02 2018-03-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車用の運転者支援システム
US10460605B2 (en) 2015-02-02 2019-10-29 Robert Bosch Gmbh Driver assistance system for a motor vehicle
JP2020126664A (ja) * 2015-02-02 2020-08-20 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 自動車用の運転者支援システム

Similar Documents

Publication Publication Date Title
JP6903808B2 (ja) リアルタイム手書き認識の管理
KR102007023B1 (ko) 오프-스크린 가시 객체들의 표면화
US8432367B2 (en) Translating user interaction with a touch screen into input commands
US10444942B2 (en) Display control apparatus and display control method to optimize and display objects of various forms
US10365719B2 (en) Haptic feedback of user interface scrolling with synchronized visual animation components
RU2007144706A (ru) Способ ввода символов для добавления визуального эффекта к символу при вводе символа и мобильная станция для осуществления способа
CN110450714B (zh) 一种信息显示方法、装置、设备及存储介质
JP2014056217A (ja) ウェアラブル携帯型表示装置、頭部装着型表示装置、表示処理システム及びプログラム
JP2014051156A (ja) 車載装置
US20140259030A1 (en) Mobile information device
JP2009025972A (ja) 情報表示装置、情報表示方法及び情報表示プログラム
JP4896935B2 (ja) 文字修飾サーバ、装置、方法及びシステム
CN109683726B (zh) 字符输入方法、装置、电子设备及存储介质
CN104881145A (zh) 用于车载通信和娱乐***的国际键盘
KR102414993B1 (ko) 연관 정보 제공 방법 및 시스템
JP4998915B2 (ja) メッセージ交換装置
JP2013008201A (ja) 文章表示装置、文章表示方法、プログラムおよび記録媒体
WO2016157366A1 (ja) 表示制御装置、表示制御方法及び表示制御用プログラム
KR101910036B1 (ko) 대용량 디지털 학습장치
US9971483B2 (en) Contextual-based real-time text layout conversion control and management on a mobile electronic device
AU2020103034A4 (en) A System for Displaying Turn-By-Turn Navigation Details from a Mobile Computing Device on a Connected Computing Device Independent of Vendor Support
JP2023029483A (ja) 表示制御装置
JP6091617B2 (ja) 情報提示装置
JP6115723B2 (ja) 電子装置、操作ボタンの表示制御方法及び表示制御プログラム
CN115188398A (zh) 基于车辆的歌词显示方法、***、设备和可读介质