JP6502865B2 - 会話支援システム、会話支援装置及び会話支援プログラム - Google Patents
会話支援システム、会話支援装置及び会話支援プログラム Download PDFInfo
- Publication number
- JP6502865B2 JP6502865B2 JP2016001342A JP2016001342A JP6502865B2 JP 6502865 B2 JP6502865 B2 JP 6502865B2 JP 2016001342 A JP2016001342 A JP 2016001342A JP 2016001342 A JP2016001342 A JP 2016001342A JP 6502865 B2 JP6502865 B2 JP 6502865B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- robot
- speaker
- control unit
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
図1は、本実施形態におけるロボット(会話支援システム)100が備える機能構成の概略を示す図である。ロボット100は、一人又は複数人の利用者と会話を行うことができるロボットである。
公知文献1:澤田 宏、外4名、"多人数多マイクでの発話区間検出〜ピンマイクでの事例〜"、日本音響学会 春季研究発表会、pp.679−680、2007年3月
(1)吸気音又はフィラーを発声する
(2)現話者に視線向ける
(3)現話者の会話に頷く
図3は、本実施形態における動作制御部109の構成の詳細の具体例を示す図である。動作制御部109は、発話制御部301と、動作パターン情報格納部302と、動作制御信号生成部303とを備える。発話制御部301は、ロボット100の発話の開始タイミングを指示する発話タイミング信号を出力する。この発話タイミング信号は、所定秒数後または任意の秒数後にロボット100が発話を開始するよう音制御部110へ指示する信号である。
図4は、本実施形態における音制御部110の構成の詳細の具体例を示す図である。音制御部110は、音声解析部401と、会話情報生成部402と、会話情報DB(データベース)403と、会話支援情報生成部404と、呼吸音情報格納部405と、フィラー情報格納部406と、発声情報生成部407と、音信号生成部408とを備える。ここで、フィラーとは、言い淀み時などに出現する場つなぎのための発声であり、例えば、「あのー」、「そのー」、「えっと」、等の音声である。
図6は、本実施形態におけるロボット100の会話動作を示すフロー図である。図6に示すように、ロボット100が会話モードに設定されることにより会話動作を開始する(ステップS100)。利用者の発話を集音したマイク101から音声信号が音声入力部104に入力され、利用者を撮影したカメラ102から映像信号が映像入力部105に入力され、利用者の位置を検出したセンサ103からセンサ信号がセンサ入力部106に入力される(ステップS101)。
なお、動作制御部109は、ステップS101において、ロボット100の動作を非話者の動作に制御する。ここで非話者とは、発話していない者のことであり、現話者の話を聞いている者のことでもある。また、非話者の動作とは、例えば、任意のタイミングで軽く頷いたり、任意のタイミングで瞬きしたり、任意のタイミングで相槌を打ったりする動作である。
たとえば、下記の公知文献2には、人間が現話者の発話末(次発話の直前)に行う視線移動のパターンについて調査結果が記載されている。図7は、公知文献2において、現話者が、話者継続時と話者交替時とで、どのような視線行動を行うかを、分析した結果を示す図である。
公知文献2:石井亮、外4名、“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”、人工知能学会研究会資料、SIG-SLUD-B301-06、pp.27-34、2013年
X:人物以外を注視
L1〜L2:非話者を注視(相互注視無)
L1M〜L2M:非話者と相互注視
S:現話者を注視(相互注視無)
SM:現話者と相互注視
L1〜L2:非話者を注視(相互注視無)
L1M〜L2M:非話者と相互注視
たとえば、下記の公知文献3には、人間の発話の直前に起こる頭部動作を分析した結果が記載されている。公知文献3では、人間の頭部の位置(X,Y,Z)、回転角(Azimuth, Elevation, Roll)を30Hzで計測している。また、現話者の発話末から前3秒間における、頭部の位置(X,Y,Z)及び回転角(Azimuth, Elevation, Roll)のそれぞれの1秒間の平均変化量(MO)、パラメータ変化を波系として捉えた時の平均振幅(AM)、1秒間の波形の平均周波数(FQ)を求めて分析している。
公知文献3:石井 亮、外3名、“複数人対話での話者交替に関する頭部動作の分析 〜次話者と発話開始タイミングの予測モデルの構築に向けて〜”、HCGシンポジウム、2014年
たとえば、下記の公知文献4には、人間の発話の直前に起こる呼吸動作の特徴が明らかにされている。公知文献4に記載されているように、現話者は話者継続時に、発話終了直後すぐに、短く、急激に吸気する。またその吸気開始のタイミングは、次発話開始から平均350ミリ秒前である。話者交替時の次話者の発話直前の呼気は、多く、急激に、深く、吸気を行う。またその吸気開始のタイミングは、次発話開始から平均900ミリ秒前である。
・MAX: 息の吸い込み終了時のRSP値、すなわち、息の吸い込み区間のRSP値の最大値
・AMP: 息の吸い込み区間のRSP値の波形の振幅
・DUR: 息の吸い込み区間の長さ
・SLO: 息の吸い込み区間におけるRSP値の波形の1秒間当たりの傾きの平均値
・INT1: 現話者のIPU(Inter-Pausal Unit)末から息の吸い込みが開始されるまでの間隔
・INT2: 息の吸い込み開始時から次話者のIPUが開始されるまでの間隔
・INT3: 息の吸い込み終了時から次話者のIPUが開始されるまでの間隔
これらのパラメータを利用すれば、ロボット100の肺気量(胸部、腹部の長さ)を制御することが可能である。
公知文献5には、フィラーが発生する局面の一つとしてとして、発話の冒頭や、発話と発話の合間に現れることが記載されている。このようなフィラーは、発話の開始の合図や、発話の継続を周囲の利用者に知らせる機能を有することも記載されている。
公知文献5:山根智恵(2002)『日本語の談話におけるフィラー』、日本語研究叢書15、くろしお出版
ロボット100は、早くとも発話開始の5秒前にフィラーを発生することによって、発話開始を事前に通知する。
公知文献6:特開2003−8974号公報
Claims (4)
- ロボットを、又は、表示装置に表示される話者を制御する動作制御部と、
前記ロボット又は前記話者が発話するタイミングを制御する制御信号を出力する発話制御部と、
を備え、
前記動作制御部は、前記発話制御部からの発話のタイミングに基づいて、前記発話の前に前記ロボット又は前記話者が会話を支援する動作を行うよう制御し、
前記会話を支援する動作は、呼吸音を発する動作である会話支援システム。 - 前記呼吸音は吸気音である請求項1に記載の会話支援システム。
- ロボットを、又は、表示装置に表示される話者を制御する動作制御部と、
前記ロボット又は前記話者が発話するタイミングを制御する制御信号を出力する発話制御部と、
を備え、
前記動作制御部は、前記発話制御部からの発話のタイミングに基づいて、前記発話の前に前記ロボット又は前記話者が会話を支援する動作を行うよう制御し、
前記会話を支援する動作は、呼吸音を発する動作である会話支援装置。 - コンピュータを、請求項1又は2に記載の会話支援システムとして機能させるための、会話支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016001342A JP6502865B2 (ja) | 2016-01-06 | 2016-01-06 | 会話支援システム、会話支援装置及び会話支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016001342A JP6502865B2 (ja) | 2016-01-06 | 2016-01-06 | 会話支援システム、会話支援装置及び会話支援プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018194434A Division JP6712303B2 (ja) | 2018-10-15 | 2018-10-15 | 会話支援システム、会話支援装置及び会話支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017122815A JP2017122815A (ja) | 2017-07-13 |
JP6502865B2 true JP6502865B2 (ja) | 2019-04-17 |
Family
ID=59305672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016001342A Active JP6502865B2 (ja) | 2016-01-06 | 2016-01-06 | 会話支援システム、会話支援装置及び会話支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6502865B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6516805B2 (ja) * | 2017-08-18 | 2019-05-22 | ヤフー株式会社 | 決定装置、決定方法、及び決定プログラム |
JP6922766B2 (ja) * | 2018-01-31 | 2021-08-18 | トヨタ自動車株式会社 | コミュニケーションロボットおよびその制御プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4751192B2 (ja) * | 2005-12-12 | 2011-08-17 | 本田技研工業株式会社 | 移動ロボット |
JP5109038B2 (ja) * | 2007-09-10 | 2012-12-26 | 株式会社国際電気通信基礎技術研究所 | リップシンクアニメーション作成装置及びコンピュータプログラム |
JP6134895B2 (ja) * | 2013-09-27 | 2017-05-31 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット制御プログラムおよび説明ロボット |
-
2016
- 2016-01-06 JP JP2016001342A patent/JP6502865B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017122815A (ja) | 2017-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Meltzner et al. | Silent speech recognition as an alternative communication device for persons with laryngectomy | |
US10702991B2 (en) | Apparatus, robot, method and recording medium having program recorded thereon | |
JP2012510088A (ja) | 音声推定インタフェースおよび通信システム | |
KR101598955B1 (ko) | 언어 치료용 게임 장치 및 게임 방법 | |
US20230154450A1 (en) | Voice grafting using machine learning | |
JP6658306B2 (ja) | 音声対話システムおよび発話タイミング決定方法 | |
JP2006071936A (ja) | 対話エージェント | |
JP2008139762A (ja) | プレゼンテーション支援装置および方法並びにプログラム | |
JP6502865B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
Włodarczak et al. | Respiratory belts and whistles: A preliminary study of breathing acoustics for turn-taking | |
JP6480351B2 (ja) | 発話制御システム、発話制御装置及び発話制御プログラム | |
JP7120060B2 (ja) | 音声対話装置、音声対話装置の制御装置及び制御プログラム | |
JP6445473B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
Bilac et al. | Gaze and filled pause detection for smooth human-robot conversations | |
JP2007155986A (ja) | 音声認識装置および音声認識装置を備えたロボット | |
JP2008023604A (ja) | アンドロイド制御システム | |
JP6363987B2 (ja) | 音声処理システム、音声処理装置および音声処理プログラム | |
JP6712303B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
JP2007018006A (ja) | 音声合成システム、音声合成方法、音声合成プログラム | |
Rochet-Capellan et al. | Is breathing sensitive to the communication partner? | |
KR20160028868A (ko) | 안면부 영상 인식 및 외부 입력 장비를 이용한 음성 합성 시스템 및 음성 합성 방법 | |
JP6335157B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
Werner | The phonetics of speech breathing: pauses, physiology, acoustics, and perception | |
Seong et al. | A study on the voice security system using sensor technology | |
JP7143579B2 (ja) | 音声入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180815 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6502865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |