JP2016095705A - 不明事項解消処理システム - Google Patents
不明事項解消処理システム Download PDFInfo
- Publication number
- JP2016095705A JP2016095705A JP2014231790A JP2014231790A JP2016095705A JP 2016095705 A JP2016095705 A JP 2016095705A JP 2014231790 A JP2014231790 A JP 2014231790A JP 2014231790 A JP2014231790 A JP 2014231790A JP 2016095705 A JP2016095705 A JP 2016095705A
- Authority
- JP
- Japan
- Prior art keywords
- unknown
- subject
- determination
- matter
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Image Processing (AREA)
- Machine Translation (AREA)
Abstract
Description
る技術を提供することにある。
一実施の形態におけるシステムの概要を説明するための図1を参照すると、不明事項解消処理システム1は、自動車などの車両(移動体)の室内に設置された車載機(車載通信装置)2と、携帯電話端末及び携帯情報端末の機能を併せ持つスマートフォン(携帯通信機器)3と、サーバ(不明事項解消処理装置)4とを備えている。
ど)を搭載し、エージェント機能、通信機能、情報入力機能、情報出力(可視表示・可聴表示)機能、情報指定機能、及び情報保持(記憶)機能を含む。
図3は、図1に示す不明事項解消処理システム1における車載機(車載通信装置)2のハードウェア構成の一例を示す。
標)一体機の車載用ナビゲーション装置により実現可能である。
整部110、スピーカ111、画像調整部112、画像出力部113、表示部114、リモコン送受信部115、リモコン(遠隔操作部)116、及び操作部117を含む。
をピックアップにより読込み、読み込んだデータに基づく、音声信号及び映像信号などを出力する。ディスク再生部104は、光学ピックアップ、ピックアップディスク駆動機構、ピックアップディスク駆動機構の制御回路、読取信号の復号回路などを備える。ディスク再生部104は、制御部100からの制御信号により、オン/オフ、読み込み位置などの各種動作が制御される。
モリを含む。ナビゲーション部106は、制御部100からの制御信号により、オン/オフなどの各種動作が制御される。
unication)、赤外線通信、ブルートゥース(登録商標)などの近距離の無線通信のため
の通信インタフェースである。ここでは、近距離通信部121はスマートフォン3と近距離無線接続される。
図4は、図1に示す不明事項解消処理システム1におけるサーバ(不明事項解消処理装置)4のハードウェア構成の一例を示す。
図5は、サーバ4における不明事項解消処理の手順の一例を示している。ここでは、サ
ーバ4が、車載機2及びスマートフォン3と協働して、ドライバ及び同乗者による会話時の不明事項解消処理を遂行する場合について詳述するが、後に説明するような変形処理を採ることもできる。
例えば、車載機2の放送受信部103において番組を受信している場合、車載機2からスマートフォン3に送信される車室内の音声信号には、車室内で会話を行っているドライバ及び同乗者の音声信号の他に番組のオーディオ信号(音声信号及び音信号)が含まれている。サーバ4においては、CPU401は、不明事項解消処理プログラムにより、オーディオ信号を判別して除去し、上述した一実施の形態と同様に、ドライバ及び同乗者による会話の内容を判断する。なお、車載機2がドライバ及び同乗者の音声信号からオーディオ信号を除去した後にサーバ4へ送信してもよい。
例えば、ドライバが単独乗車し、車室内で会話が行われずに、車載機2の放送受信部103において番組を受信している場合、車載機2からスマートフォン3に送信される信号には、ドライバの画像信号の他に番組のオーディオ信号(音声信号及び音信号)が含まれている。サーバ4においては、CPU401は、ドライバの画像信号とともに受信された番組のオーディオ信号(音声信号)における対応箇所を不明事項として特定し、不明事項解消処理を遂行可能である。
サーバ4における上述した処理S59,S61の不明点の抽出(特定)処理に関して、次に示す方法を付加的に適用可能である。
読み取って、不明点を特定する。
サーバ4における上述した処理S62の不明点の解説処理に関して、次に示す方法を付加的に適用可能である。
けが見ることのできるディスプレイにリアルタイムで不明点の解説を表示する。
1段:速報レベルの簡易版でスピード重視(HUDを活用するなど)。
2段:ドライバの単独乗車時に詳細の解説(補足説明)。
サーバ4における上述した処理S62の不明点の解説処理に関して、次に示す内容補足方法を適用可能である。
サーバ4における上述した各処理に関して、次に示す方法を付加的に適用可能である。
は詳しいと予測し、逆に芸能関係には疎いと予測できる。サーバ4は、この予測に応じて、分からなかった会話の内容を推定して、分からなかったことをユーザ管理データベース41に登録しておくことにより、次回の不明事項解消処理に活用する。
サーバ4における上述した各処理に関して、次に示す方法を付加的に適用可能である。
上述した一実施の形態及び変形例1〜変形例7の不明事項解消処理システム1においては、サーバ4が、車載機2及びスマートフォン3と協働して、不明事項解消処理を遂行する場合について例示した。
上述した一実施の形態及び変形例1〜変形例8の不明事項解消処理システム1においては、サーバ4が自動車などの車両(移動体)の室内に設置された車載機2と協働して、不明事項解消処理を遂行する場合について例示した。
上述した一実施の形態及び各変形例における処理はコンピュータで実行可能なプログラムとして提供され、CD−ROMやフレキシブルディスクなどの非一時的コンピュータ可読記録媒体、さらには通信回線を経て提供可能である。
上述した一実施の形態及び変形例に関し、更に以下の付記を開示する。
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定する手段と;
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定する手段と;
前記不明事項解消対象者が前記発話状態になく、不機嫌状態を判定したとき、不明事項の発生を判定する手段と;
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定する手段と;
特定した前記不明事項を解説する情報を送信する手段と;
を備える不明事項解消処理装置。
不明事項対応の音データを第1の記憶手段から読み出してテキスト化した単語が第2の記憶手段に予め登録されているかを判定する手段を更に備える、
付記1記載の不明事項解消処理装置。
検知された会話内容が前記不明事項解消対象者にとって不明事項となる可能性が高いかを第1の記憶手段を参照して判定する手段を更に備える、
付記2記載の不明事項解消処理装置。
前記特定の室内は車両を含む移動体の室内であり、前記不明事項解消対象者は運転者及び同乗者の少なくとも一方であり、前記画像信号及び前記音声信号は運転者及び同乗者の少なくとも一方に対応する、
付記1記載の不明事項解消処理装置。
コンピュータが、
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定するステップと;
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定するステップと;
前記不明事項解消対象者が前記発話状態になく、前記不機嫌状態を判定したとき、不明事項の発生を判定するステップと;
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定するステップと;
特定した前記不明事項を解説する情報を送信するステップと;
を実行する不明事項解消処理方法。
コンピュータに、
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定するステップと;
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定するステップと;
前記不明事項解消対象者が前記発話状態になく、前記不機嫌状態を判定したとき、不明事項の発生を判定するステップと;
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定するステップと;
特定した前記不明事項を解説する情報を送信するステップと;
を実行させる不明事項解消処理プログラム。
2 車載機(車載通信装置)
3 スマートフォン(携帯通信機器)
4 サーバ(不明事項解消処理装置)
Claims (7)
- 対象者を撮影した画像を認識する認識手段と;
音を入力する入力手段と;
前記認識手段による前記対象者の口の状態に基づいて発話状態と、前記認識手段による前記対象者の顔の状態に基づいて表情とを判定する第1判定手段と;
前記第1判定手段の判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第2判定手段と;
前記第2判定手段により前記不明事項が発生したときの、前記入力手段により入力された音に基づいて、前記不明事項を特定する特定手段と;
前記特定手段により特定された前記不明事項を解説する情報を出力する出力手段と;
を備えることを特徴とする情報処理装置。 - 不明事項対応の音データを第1記憶手段から読み出してテキスト化した単語が第2記憶手段に予め登録されているかを判定する第3判定手段を更に備える、
請求項1記載の情報処理装置。 - 検知された会話内容が前記対象者にとって前記不明事項となる可能性が高いかを前記第1記憶手段を参照して判定する第4判定手段を更に備える、
請求項2記載の情報処理装置。 - 前記対象者は車両を含む移動体の室内に存在する運転者及び同乗者の少なくとも一方であり、前記画像及び前記音は運転者及び同乗者の少なくとも一方に対応する、
請求項1記載の情報処理装置。 - コンピュータが、
対象者を撮影した画像を認識する認識ステップと;
音を入力する入力ステップと;
前記認識ステップによる前記対象者の口の状態に基づいて発話状態と、前記認識ステップによる前記対象者の顔の状態に基づいて表情とを判定する第1判定ステップと;
前記第1判定ステップの判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第2判定ステップと;
前記第2判定ステップにより前記不明事項が発生したときの、前記入力ステップにより入力された音に基づいて、前記不明事項を特定する特定ステップと;
前記特定ステップにより特定された前記不明事項を解説する情報を出力する出力ステップと;
を実行することを特徴とする処理方法。 - コンピュータに、
対象者を撮影した画像を認識する認識ステップと;
音を入力する入力ステップと;
前記認識ステップによる前記対象者の口の状態に基づいて発話状態と、前記認識ステップによる前記対象者の顔の状態に基づいて表情とを判定する第1判定ステップと;
前記第1判定ステップの判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第2判定ステップと;
前記第2判定ステップにより前記不明事項が発生したときの、前記入力ステップにより入力された音に基づいて、前記不明事項を特定する特定ステップと;
前記特定ステップにより特定された前記不明事項を解説する情報を出力する出力ステップと;
を実行させることを特徴とする処理プログラム。 - 情報を提供する対象者の状態に基づき不明点を抽出する抽出手段と;
所定の情報が提供されている場合に、前記抽出手段から前記不明点が抽出されたときは、前記所定の情報と前記不明点とに基づいて不明内容を推定する推定手段と;
前記不明内容の意味を検索する検索手段と;
前記検索手段で検索された意味を前記対象者に報知する報知手段と;
を備えたことを特徴とする処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231790A JP6387287B2 (ja) | 2014-11-14 | 2014-11-14 | 不明事項解消処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231790A JP6387287B2 (ja) | 2014-11-14 | 2014-11-14 | 不明事項解消処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016095705A true JP2016095705A (ja) | 2016-05-26 |
JP6387287B2 JP6387287B2 (ja) | 2018-09-05 |
Family
ID=56071125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014231790A Active JP6387287B2 (ja) | 2014-11-14 | 2014-11-14 | 不明事項解消処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6387287B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018182692A (ja) * | 2017-04-21 | 2018-11-15 | ソニー株式会社 | 情報処理装置、受信装置、及び情報処理方法 |
JP2019067134A (ja) * | 2017-09-29 | 2019-04-25 | パイオニア株式会社 | 情報提供装置、情報提供方法及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020091777A (ja) * | 2018-12-07 | 2020-06-11 | 株式会社デンソー | 情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001232637A (ja) * | 1999-12-13 | 2001-08-28 | Nippon Steel Corp | 化学原料用廃棄プラスチック粒状化物の成形方法、および、成形装置 |
JP2008257363A (ja) * | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | 操作支援装置 |
WO2008126355A1 (ja) * | 2007-03-29 | 2008-10-23 | Panasonic Corporation | キーワード抽出装置 |
-
2014
- 2014-11-14 JP JP2014231790A patent/JP6387287B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001232637A (ja) * | 1999-12-13 | 2001-08-28 | Nippon Steel Corp | 化学原料用廃棄プラスチック粒状化物の成形方法、および、成形装置 |
WO2008126355A1 (ja) * | 2007-03-29 | 2008-10-23 | Panasonic Corporation | キーワード抽出装置 |
JP2008257363A (ja) * | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | 操作支援装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018182692A (ja) * | 2017-04-21 | 2018-11-15 | ソニー株式会社 | 情報処理装置、受信装置、及び情報処理方法 |
JP7026449B2 (ja) | 2017-04-21 | 2022-02-28 | ソニーグループ株式会社 | 情報処理装置、受信装置、及び情報処理方法 |
US11676595B2 (en) | 2017-04-21 | 2023-06-13 | Saturn Licensing Llc | Information processing device, reception device, and information processing method |
JP2019067134A (ja) * | 2017-09-29 | 2019-04-25 | パイオニア株式会社 | 情報提供装置、情報提供方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6387287B2 (ja) | 2018-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6515764B2 (ja) | 対話装置及び対話方法 | |
CN106209138B (zh) | 一种车辆谨慎紧急响应***及方法 | |
US20170235361A1 (en) | Interaction based on capturing user intent via eye gaze | |
JP7340940B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
KR20190030731A (ko) | 다중모드 신호 분석을 이용한 명령 프로세싱 | |
JPWO2018061491A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN103038818A (zh) | 在车载语音识别***与车外语音识别***之间的通信***和方法 | |
US11068529B2 (en) | Information output system, information output method, and program | |
US20200191583A1 (en) | Matching method, matching server, matching system, and storage medium | |
JP6387287B2 (ja) | 不明事項解消処理システム | |
CN111667824A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US9791925B2 (en) | Information acquisition method, information acquisition system, and non-transitory recording medium for user of motor vehicle | |
CN111731320B (zh) | 智能体***、智能体服务器及其控制方法、存储介质 | |
JP2020060861A (ja) | エージェントシステム、エージェント方法、およびプログラム | |
JP7274404B2 (ja) | 情報提供装置、情報提供方法、およびプログラム | |
WO2016147744A1 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP2014065359A (ja) | 表示制御装置、表示システム及び表示制御方法 | |
JP2019159559A (ja) | 情報提供装置 | |
JP2020162003A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111661065B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111667823B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP5160653B2 (ja) | 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体 | |
US11797261B2 (en) | On-vehicle device, method of controlling on-vehicle device, and storage medium | |
JP2022103675A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111754288A (zh) | 服务器装置、信息提供***、信息提供方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180813 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6387287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |