JP2013243447A - Telephone having operation support function - Google Patents

Telephone having operation support function Download PDF

Info

Publication number
JP2013243447A
JP2013243447A JP2012114232A JP2012114232A JP2013243447A JP 2013243447 A JP2013243447 A JP 2013243447A JP 2012114232 A JP2012114232 A JP 2012114232A JP 2012114232 A JP2012114232 A JP 2012114232A JP 2013243447 A JP2013243447 A JP 2013243447A
Authority
JP
Japan
Prior art keywords
telephone
voice
keyword
call
voice keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012114232A
Other languages
Japanese (ja)
Inventor
Koichi Nagoya
光一 名児耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nakayo Telecommunications Inc
Original Assignee
Nakayo Telecommunications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nakayo Telecommunications Inc filed Critical Nakayo Telecommunications Inc
Priority to JP2012114232A priority Critical patent/JP2013243447A/en
Publication of JP2013243447A publication Critical patent/JP2013243447A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a telephone which learns the content of conversation in association with the operation of a telephone, and supports the operation of a telephone when conversation requiring the operation of a telephone is made subsequently.SOLUTION: When an operation related to transfer, hold, telephone conversation recording, telephone book operation or secret telephone conversation is accepted during telephone conversation, a telephone operation storage unit stores the information related to the operation in association with a keyword received by a voice keyword reception unit during a predetermined period before and after the operation. When the voice keyword reception unit receives a keyword during telephone conversation, a telephone conversation monitoring unit indicates an operation associated with the keyword thus received, as an operation candidate, in a display by referring to the telephone operation storage unit on the basis of the keyword thus received.

Description

本発明は、電話機に係り、特に会話の途中で電話機の操作を支援する電話機に関する。   The present invention relates to a telephone, and more particularly to a telephone that supports the operation of the telephone during a conversation.

通話を第三者へ転送する場合に保留操作を忘れて切断してしまうことがある。また、面識のない相手からの会話においてその場では会話内容が理解できず通話録音を行なっていれば良かったと後悔することがある。このような通話に関する操作忘れを防ぐために会話の途中で操作を支援する電話機の要求がある。   When transferring a call to a third party, the user may forget the hold operation and disconnect. Also, in conversations from unacquainted opponents, the content of the conversation cannot be understood on the spot, and there may be regret that it would be good if the call recording was performed. In order to prevent such a forgetting operation related to a call, there is a demand for a telephone that supports the operation in the middle of a conversation.

特許文献１は、音声を発することにより一連の通話操作を行なうことを可能にする通話接続方法および電話機に関する技術を開示する。また、特許文献２は、音声メッセージを対象に音声認識モデルを用いてワードスポッティングの音声認識処理を行ない、キーワードに該当する音声を認識すると特定の動作を行なう技術を開示する。   Patent Document 1 discloses a technology relating to a telephone connection method and a telephone that enable a series of telephone operations to be performed by emitting a voice. Patent Document 2 discloses a technique for performing a word spotting voice recognition process using a voice recognition model for a voice message and performing a specific operation when a voice corresponding to a keyword is recognized.

特開平０７−２１２４５６号公報Japanese Patent Laid-Open No. 07-212456 特開平１０−１７３７６９号公報JP-A-10-173769

特許文献１では、電話機の操作を行なうために対応する操作用命令語を予め登録する必要がある。ここで、電話機の操作とは、応答、発呼、切断等である。しかし、会話の途中で操作のための発声を行なうことは、通話相手との会話が不自然になることが懸念される。   In Patent Document 1, it is necessary to register a corresponding operation command word in advance in order to operate the telephone. Here, the operation of the telephone includes answering, calling, disconnecting, and the like. However, it is feared that the speech for the operation during the conversation makes the conversation with the other party unnatural.

特許文献２では、ワードスポッティングを用いてキーワードを検出するために予め該当するキーワードを登録しておく必要がある。さらに利用者ごとにキーワード管理まで行なうには音声認識の構成が複雑になる事が予想される。   In Patent Document 2, it is necessary to register a corresponding keyword in advance in order to detect the keyword using word spotting. Furthermore, it is expected that the structure of speech recognition will be complicated in order to perform keyword management for each user.

本発明は、上記事情に鑑みてなされたものであり、会話の内容と電話機の操作とを対応付けて学習し、その後電話機の操作が必要な会話がなされた場合に、電話機の操作を支援する電話機を提供する。   The present invention has been made in view of the above circumstances, and learns by associating the contents of a conversation with the operation of the telephone, and then supports the operation of the telephone when a conversation requiring operation of the telephone is performed. Provide a phone.

上記課題を解決するために、本発明ではワードスポッティングを用いた音声認識機能を利用した電話機を用いる。電話機は会話の語句のキーワードを検出し、その際に電話機を操作した操作内容を関連付けて記憶する。また、会話している相手が自電話機の電話帳等に存在している既知の相手であるかを合わせて記憶する。   In order to solve the above problems, the present invention uses a telephone using a voice recognition function using word spotting. The telephone detects the keyword of the phrase of the conversation, and stores the operation details of operating the telephone at that time in association with each other. In addition, it is also stored whether or not the conversation partner is a known partner existing in the telephone directory of the telephone.

以降、新たな会話において記憶したキーワードの音声を検出したならば、過去に操作したボタン（例えば、保留ボタンや転送ボタンや通話録音ボタンなど）を会話者が操作しやすいように電話機の画面に表示する。   After that, if the voice of the keyword stored in a new conversation is detected, the buttons operated in the past (for example, hold button, transfer button, call recording button, etc.) are displayed on the phone screen so that the conversation person can easily operate. To do.

上述した課題は、音声キーワードを抽出する自電話機と接続された音声認識装置または自電話機が備える音声認識部へ通話者の音声を出力する音声出力手段と、音声認識装置または音声認識部から抽出された音声キーワードを入力する音声キーワード入力手段と、音声キーワードと対応付けて当該音声キーワードを当該通話者が発した時の通話者が為した操作内容を記憶する電話機操作記憶手段と、操作候補を表示する操作候補表示手段と、を備え、通話中に、転送、保留、通話録音、電話帳操作または秘匿通話に係わる操作が為された場合に、電話機操作記憶手段は当該操作に係わる操作内容を当該操作が為された前後の所定の期間に音声キーワード入力手段が入力した音声キーワードと対応付けて記憶し、通話中に、音声キーワード入力手段が音声キーワードを入力した場合に、操作候補表示手段は、電話機操作記憶手段を参照して、入力した音声キーワードに対応付けられた操作内容を操作候補として表示することにより達成できる。   The above-described problems are extracted from the voice recognition device connected to the phone that extracts the voice keyword or the voice output unit that outputs the caller's voice to the voice recognition unit included in the phone, and the voice recognition device or the voice recognition unit. Voice keyword input means for inputting a voice keyword, telephone operation storage means for storing operation details performed by the caller when the caller issued the voice keyword in association with the voice keyword, and operation candidates are displayed. Operation candidate display means, and when an operation related to transfer, hold, call recording, telephone directory operation or secret call is performed during a call, the telephone operation storage means stores the operation content related to the operation. Voice keywords are input and stored in correspondence with the voice keywords input by the voice keyword input means during a predetermined period before and after the operation is performed. If the stage has input speech keywords, candidate operation display unit may be achieved by referring to the telephone operation storage means, for displaying the operation contents associated with the voice keyword entered as candidate operation.

本発明によれば、会話の内容によって実行する操作を事前に促すことにより操作ミスや操作忘れを防ぐことができ電話機の利便性を高める効果がある。   ADVANTAGE OF THE INVENTION According to this invention, the operation performed according to the content of the conversation is urged in advance, so that it is possible to prevent operation mistakes and forgetting operations, thereby improving the convenience of the telephone.

電話システムの構成を説明するブロック図である。It is a block diagram explaining the structure of a telephone system. ＩＰ電話機のブロック図である。It is a block diagram of an IP telephone. 音声認識サーバが保持する音声キーワードテーブルである。It is a voice keyword table which a voice recognition server holds. 電話機が保持する電話機操作テーブルである。It is a telephone operation table held by the telephone. 電話機操作テーブルへの登録を説明するシーケンス図である。It is a sequence diagram explaining registration to a telephone operation table. 操作支援を説明するシーケンス図である。It is a sequence diagram explaining operation support. 電話機操作テーブル登録を説明する電話システムのフローチャー図である。It is a flowchart of the telephone system explaining telephone operation table registration. 電話機操作の支援を説明する電話システムのフローチャー図である。It is a flowchart of the telephone system explaining assistance of telephone operation.

以下、本発明の実施の形態について、実施例を用い図面を参照しながら、詳細に説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings using examples. The same reference numerals are assigned to substantially the same parts, and the description will not be repeated.

図１を参照して、電話システムの構成を説明する。図１において、電話システム１００は、音声認識サーバ１と、ＩＰ電話機２と、ＷＡＮ３と、ルータ４と、ＳＩＰサーバ５と、ＬＡＮ６とから構成されている。ＷＡＮ３には、音声認識サーバ１と、ＩＰ電話機２−１と、ルータ４とが接続されている。ＬＡＮ６には、ルータ４と、ＳＩＰサーバ５と、ＩＰ電話機２−１、２−３とが接続されている。   The configuration of the telephone system will be described with reference to FIG. In FIG. 1, the telephone system 100 includes a voice recognition server 1, an IP telephone 2, a WAN 3, a router 4, a SIP server 5, and a LAN 6. A voice recognition server 1, an IP phone 2-1, and a router 4 are connected to the WAN 3. A router 4, a SIP server 5, and IP telephones 2-1 and 2-3 are connected to the LAN 6.

音声認識サーバ１は、ＩＰ電話機２から音声データを受信すると、ワードスポッティング技術を用いて会話音声から言葉の単語（キーワード）を抽出し、音声データ送信したＩＰ電話機２に抽出したキーワードを出力する。
ＩＰ電話機２は、タッチセンサ付きディスプレイを備える。ＩＰ電話機２は、操作画面をタッチパネルで表示して、ユーザの操作を受け付ける。また、ＩＰ電話機２は、ＳＩＰサーバ５に収容され、内線電話機として機能する。ＩＰ電話機２は、発信または着信の呼を一旦保留し、他のＩＰ電話機へ転送する。 When the voice recognition server 1 receives voice data from the IP telephone 2, it extracts the word (keyword) of the word from the conversation voice using the word spotting technique, and outputs the extracted keyword to the IP telephone 2 that transmitted the voice data.
The IP telephone 2 includes a display with a touch sensor. The IP telephone 2 displays an operation screen on the touch panel and accepts a user operation. The IP telephone 2 is accommodated in the SIP server 5 and functions as an extension telephone. The IP telephone 2 temporarily holds the outgoing or incoming call and transfers it to another IP telephone.

図２を参照して、ＩＰ電話機の構成を説明する。図２において、ＩＰ電話機２は、ＬＡＮインタフェース部２０１と、ハンドセット２０２と、ＩＰ電話処理部２０３と、タッチセンサ付きディスプレイ２０４と、電話機捜査検出制御部２０５と、通話監視部２０６と、音声データ抽出部２０７と、電話帳記憶部２０８と、音声認識要求部２０９と、音声キーワード受信部２１０と、電話機操作記憶部２１１と、表示制御部２１２とから構成されている。   The configuration of the IP telephone will be described with reference to FIG. In FIG. 2, the IP telephone 2 includes a LAN interface unit 201, a handset 202, an IP phone processing unit 203, a display 204 with a touch sensor, a telephone investigation detection control unit 205, a call monitoring unit 206, and voice data extraction. 207, phone book storage unit 208, voice recognition request unit 209, voice keyword reception unit 210, telephone operation storage unit 211, and display control unit 212.

ＬＡＮインタフェース部２０１は、ＬＡＮ６を介して他のＩＰ電話機２やＳＩＰサーバ５さらにルータ４を介してＷＡＮ３へデータを送出する。ＬＡＮインタフェース部２０１は、ＬＡＮ６に接続するための接続インタフェースである。ハンドセット２０２は、音声を取り込むマイクと、音声を聴取するスピーカとを備え、ＩＰ電話処理部２０３とアナログ音声を送受信する。   The LAN interface unit 201 sends data to the WAN 3 via the LAN 6 via the other IP telephones 2, the SIP server 5, and the router 4. The LAN interface unit 201 is a connection interface for connecting to the LAN 6. Handset 202 includes a microphone that captures sound and a speaker that listens to sound, and transmits / receives analog sound to / from IP phone processing unit 203.

ＩＰ電話処理部２０３は、ＳＩＰやＨ．３２３などの音声プロトコル機能を有し、アナログ音声をデジタルのＩＰデータに変換する。ＩＰ電話処理部２０３は、ＳＩＰサーバ５と通信しＩＰ電話機２の発着信処理を行なう。また、ＩＰ電話処理部２０３は、発信相手または着信相手の電話番号の情報を抽出する。さらに、ＩＰ電話処理部２０３は、タッチセンサ付きディスプレイ２０４からの操作により、発信、着信、保留、転送などの電話機動作を行なう。   The IP phone processing unit 203 is configured to use SIP or H.264. It has a voice protocol function such as H.323, and converts analog voice into digital IP data. The IP telephone processing unit 203 communicates with the SIP server 5 and performs outgoing / incoming processing of the IP telephone 2. The IP telephone processing unit 203 also extracts information on the telephone number of the calling party or the called party. Furthermore, IP telephone processing unit 203 performs telephone operations such as outgoing call, incoming call, hold, and transfer by operations from display 204 with a touch sensor.

タッチセンサ付きディスプレイ２０４は、ＩＰ電話機２の操作画面と発着信時の操作状況を表示する。また、タッチセンサ付きディスプレイ２０４は、通話相手の情報、具体的には、電話番号や電話帳記憶部２０８に保存されている電話帳データなどの表示を行なう。タッチセンサ付きディスプレイ２０４は、ＩＰ電処理部２０３からの情報により、発着信状況を表示する。   A display 204 with a touch sensor displays an operation screen of the IP telephone 2 and an operation state at the time of outgoing / incoming call. In addition, the display 204 with a touch sensor displays information on the other party, specifically, phone numbers and phone book data stored in the phone book storage unit 208. The display 204 with a touch sensor displays an outgoing / incoming state based on information from the IP power processing unit 203.

電話機操作検出制御部２０５は、タッチセンサ付きディスプレイ２０４からの情報を監視してタッチして選択された操作を検出する。さらに、電話機操作検出制御部２０５は、検出した操作情報を通話監視部２０６へ送る。   The telephone operation detection control unit 205 monitors information from the display 204 with a touch sensor and detects an operation selected by touching. Further, the telephone operation detection control unit 205 sends the detected operation information to the call monitoring unit 206.

通話監視部２０６は、音声データ抽出部２０７から送られた音声データを音声認識サーバ１へ送信するために音声認識要求部２０９へ送る。また、通話監視部２０６は、ＩＰ電話処理部２０３から送られた通話相手の情報例えば電話番号や通話中状態などのＩＰ電話機２の情報を受け取る。また、通話監視部２０６は、電話帳記憶部２０８に記憶している電話番号を電話番号に対応付けられている名前の情報を受け取る。また、通話監視部２０６は、音声キーワード受信部２１０から音声より抽出したキーワードを受け取る。また、通話監視部２０６は、音声キーワードと電話機の操作と通話相手の情報を関連付けて電話機操作記憶部２１１へ送る。通話監視部２０６は、電話機操作記憶部２１１から音声キーワードと電話機の操作と通話相手の情報を関連付けられたテーブル情報を受け取る。また、通話監視部２０６は、表示制御部２１２へ表示したい表示データ情報を送る。通話監視部２０６は、音声データ抽出部２０７から受け取った音声データを音声認識要求部２０９へ送る。通話監視部２０６は、音声キーワード受信部２１０から受け取った音声キーワードと電話機操作検出制御部２１１から受け取った電話機の操作情報と通話相手の情報とさらに電話帳記憶部２０８から受け取った電話帳データを関連付けて電話機操作記憶部２１１に送る。また、通話監視部２０６は、電話機操作記憶部２１１から受け取った電話機操作テーブルと比較して合致したデータがあった場合に表示制御部２１２へ表示データを送る。   The call monitoring unit 206 sends the voice data sent from the voice data extraction unit 207 to the voice recognition request unit 209 in order to send it to the voice recognition server 1. In addition, the call monitoring unit 206 receives information on the other party of the call, such as a telephone number or a busy state, sent from the IP phone processing unit 203. In addition, the call monitoring unit 206 receives information on the name associated with the telephone number stored in the telephone directory storage unit 208. The call monitoring unit 206 receives a keyword extracted from the voice from the voice keyword receiving unit 210. In addition, the call monitoring unit 206 associates the voice keyword, telephone operation, and information on the other party, and sends them to the telephone operation storage unit 211. The call monitoring unit 206 receives from the telephone operation storage unit 211 table information in which the voice keyword, the telephone operation, and the information on the other party of the call are associated. In addition, the call monitoring unit 206 sends display data information to be displayed to the display control unit 212. The call monitoring unit 206 sends the voice data received from the voice data extraction unit 207 to the voice recognition request unit 209. The call monitoring unit 206 associates the voice keyword received from the voice keyword receiving unit 210, the telephone operation information received from the telephone operation detection control unit 211, the information on the other party, and the telephone book data received from the telephone book storage unit 208. To the telephone operation storage unit 211. The call monitoring unit 206 sends display data to the display control unit 212 when there is data that matches the telephone operation table received from the telephone operation storage unit 211.

音声データ抽出部２０７は、ＩＰ電話処理部２０３から送られたデジタル化された通話者のＩＰデータを音声データに変換し、通話監視部２０６に送る。電話帳記憶部２０８は、電話番号と名前を関連付けられた電話帳テーブルを記憶する。
音声認識要求部２０９は、ＬＡＮインタフェース部２０１を介して外部に接続されている音声認識サーバ１へ通話監視部２０６から送られた音声データを送信して音声キーワードを要求する。 The voice data extraction unit 207 converts the digitized caller IP data sent from the IP telephone processing unit 203 into voice data and sends the voice data to the call monitoring unit 206. The phone book storage unit 208 stores a phone book table in which phone numbers and names are associated with each other.
The voice recognition request unit 209 requests voice keywords by sending the voice data sent from the call monitoring unit 206 to the voice recognition server 1 connected to the outside via the LAN interface unit 201.

音声キーワード受信部２１０は、ＬＡＮインタフェース部２０１を介して外部に接続している音声認識サーバ１から音声キーワードを受信する。音声キーワード受信部２１０は、受信した音声キーワードを通話監視部２０６へ送る。   The voice keyword receiving unit 210 receives a voice keyword from the voice recognition server 1 connected to the outside via the LAN interface unit 201. The voice keyword receiving unit 210 sends the received voice keyword to the call monitoring unit 206.

電話機操作記憶部２１１は、音声キーワードテーブル３３を記憶する。電話機操作記憶部２１１は、通話監視部２０６から送られた音声キーワードと電話機操作情報と通話相手の情報を関連付けて電話機操作テーブル３８として記憶する。また、電話機操作記憶部２１１は、電話機操作テーブル３８を記憶し、通話監視部２０６からの要求に応じて電話機操作テーブル３８の情報を通話監視部２０６へ送る。表示制御部２１２は、通話監視部２０６から送られた表示データを操作画面としてタッチセンサ付きディスプレイ２０４へ送る。
なお、本明細書において、通話者とは、ハンドセット２０２から音声を入力する者である。逆に通話相手とは、ハンドセットからその音声を出力する者である。 The telephone operation storage unit 211 stores a voice keyword table 33. The telephone operation storage unit 211 stores the voice keyword, the telephone operation information, and the call partner information sent from the call monitoring unit 206 in association with each other as the telephone operation table 38. Further, the telephone operation storage unit 211 stores the telephone operation table 38 and sends information of the telephone operation table 38 to the call monitoring unit 206 in response to a request from the call monitoring unit 206. The display control unit 212 sends the display data sent from the call monitoring unit 206 to the display 204 with a touch sensor as an operation screen.
In the present specification, the caller is a person who inputs voice from the handset 202. Conversely, the other party is a person who outputs the voice from the handset.

図３Ａを参照して、音声キーワードテーブルを説明する。音声キーワードテーブル３３は、音声認識サーバ１と電話機２とが共に保持するテーブルである。図３Ａにおいて、音声キーワードテーブル３３は、キーワードＩＤ３１と、音声キーワード３２とから、構成されている。音声キーワードテーブル３３は、予め電話機の会話でよく使われる音声キーワード３２をキーワードＩＤ３１と共に記憶している。   The voice keyword table will be described with reference to FIG. 3A. The voice keyword table 33 is a table held by both the voice recognition server 1 and the telephone 2. In FIG. 3A, the voice keyword table 33 includes a keyword ID 31 and a voice keyword 32. The voice keyword table 33 stores voice keywords 32 that are often used in telephone conversations together with keyword IDs 31 in advance.

図３Ｂを参照して、電話機操作テーブルを説明する。電話機操作テーブル３８は、電話機２が保持するテーブルである。図３Ｂにおいて、電話機操作テーブル３８は、通話相手３４と、キーワードＩＤ３５と、操作３６と、回数３７とから構成されている。電話機操作テーブル３８は、電話機操作と音声認識サーバ１が検出した音声キーワードを関連して記憶するテーブルである。電話機操作テーブル３８は、通話監視部２０６から送られた通話相手情報と音声キーワード情報と電話機操作情報を関連付けて記憶する。通話相手３４は、通話監視部２０６から送られた電話帳データから通話相手の電話番号からの登録者名が送られた場合に通話相手の名前を記憶する。通話相手の名前が記憶されていない場合、通話相手３４は、相手の電話番号を記憶する。キーワードＩＤ３５は、通話監視部２０６から送られた音声認識サーバ１から受信した音声キーワードと音声キーワードテーブル３３と一致したキーワードＩＤを記憶する。操作３６は、音声監視部２０６から送られた電話機操作情報を記憶する。回数３７は、通話相手３４ごとに通話中使用した操作３６の使用回数を記憶する。尚、電話機操作テーブル３８に音声認識サーバ１からの音声キーワードを登録ししてもよい。これによって、ＩＰ電話機２は音声キーワードテーブル３３が不要となる。   The telephone operation table will be described with reference to FIG. 3B. The telephone operation table 38 is a table held by the telephone 2. In FIG. 3B, the telephone operation table 38 includes a call partner 34, a keyword ID 35, an operation 36, and a number of times 37. The telephone operation table 38 is a table that stores telephone operations in association with voice keywords detected by the voice recognition server 1. The telephone operation table 38 stores call partner information, voice keyword information, and telephone operation information transmitted from the call monitoring unit 206 in association with each other. The call partner 34 stores the name of the call partner when the registrant name from the phone number of the call partner is sent from the phone book data sent from the call monitoring unit 206. If the name of the other party is not stored, the other party 34 stores the telephone number of the other party. The keyword ID 35 stores a keyword ID that matches the voice keyword received from the voice recognition server 1 sent from the call monitoring unit 206 and the voice keyword table 33. The operation 36 stores the telephone operation information sent from the voice monitoring unit 206. The number of times 37 stores the number of times of use of the operation 36 used during a call for each call partner 34. Note that the voice keyword from the voice recognition server 1 may be registered in the telephone operation table 38. This eliminates the need for the voice keyword table 33 in the IP telephone 2.

通話監視部２０６は、表示制御部２１２へ表示する優先を通知し、タッチセンサ付きディスプレイ２０４へ使用回数が多い操作順に表示する。なお、電話機操作テーブル３８の通話相手３４の会話および操作の状況によって、同一の通話相手３４で異なるキーワードＩＤ３５を記憶することにより、通話相手３４ごとに複数の音声キーワード３２を記憶することができる。   The call monitoring unit 206 notifies the display control unit 212 of the priority to be displayed, and displays the priority on the display 204 with a touch sensor in the order of operations that are used frequently. It should be noted that a plurality of voice keywords 32 can be stored for each call partner 34 by storing different keyword IDs 35 for the same call partner 34 depending on the conversation and operation status of the call partner 34 in the telephone operation table 38.

図４Ａのシーケンスを参照して、電話機操作テーブルの登録動作を説明する。図４Ａのシーケンスは、通話を行なうＩＰ電話機２−１およびＩＰ電話機２−２ならびにＷＡＮ３を介して接続された音声認識サーバ１の間で実行される。なお、電話機２−２が電話機操作テーブル３８を記憶するものして、説明する。ＩＰ電話機２−１とＩＰ電話機２−２とは、通話状態にある。ＩＰ電話機２−２は、相手の音声および自側の音声を音声データとして抽出する（Ｓ１０１）。ＩＰ電話機２−２は、ＷＡＮ３に接続された音声認識サーバ１へ音声データを送信する（Ｓ１０２）。音声認識サーバ１は、受信した音声データを音声認識処理により音声をテキスト変換して、さらにワードスポッティング技術により会話の語句を分離してキーワードとして音声認識処理を行なう（Ｓ１０３）。なお、音声認識サーバ１は、送られてきた音声データを常に解析し、キーワードを検出した場合に音声キーワードを通知する。ＩＰ電話機２−２は、音声認識サーバ１から送信された音声キーワードを受信する（Ｓ１０４）。通話途中でユーザが操作したとき、ＩＰ電話機２−２は、操作を検出する（Ｓ１０５）。ＩＰ電話機２−２は、電話帳記憶部２０８のデータと通話相手の電話番号の情報から通話相手を検出する（Ｓ１０６）。ＩＰ電話機２−２は、検出した電話機操作と検出した通話相手を、予め記憶している通話会話の音声キーワードを関連付けて電話機操作テーブル３８に記憶する（Ｓ１０７）。   The telephone operation table registration operation will be described with reference to the sequence of FIG. 4A. The sequence in FIG. 4A is executed between the IP telephone set 2-1 and the IP telephone set 2-2 that perform a call and the voice recognition server 1 connected through the WAN 3. In the following description, the telephone set 2-2 stores the telephone operation table 38. IP phone 2-1 and IP phone 2-2 are in a call state. The IP phone 2-2 extracts the other party's voice and the own side's voice as voice data (S101). The IP phone 2-2 transmits the voice data to the voice recognition server 1 connected to the WAN 3 (S102). The voice recognition server 1 converts the voice of the received voice data into a voice by a voice recognition process, further separates words of the conversation by a word spotting technique, and performs a voice recognition process as a keyword (S103). Note that the voice recognition server 1 always analyzes the sent voice data and notifies the voice keyword when a keyword is detected. The IP phone 2-2 receives the voice keyword transmitted from the voice recognition server 1 (S104). When the user operates during the call, the IP phone 2-2 detects the operation (S105). The IP phone 2-2 detects the other party from the data in the telephone directory storage unit 208 and the information on the other party's telephone number (S106). The IP telephone 2-2 stores the detected telephone operation and the detected call partner in the telephone operation table 38 in association with the voice keywords of the telephone conversation stored in advance (S107).

図４Ｂを参照して、音声認識を利用した操作支援を説明する。図４Ｂにおいて、シーケンスは、通話を行なうＩＰ電話機２−１およびＩＰ電話機２−２ならびにＷＡＮ３を介して接続された音声認識サーバ１の間で実行される。まず、ＩＰ電話機２−１とＩＰ電話機２−２とは、通話状態にある。ＩＰ電話機２−２は、音声データを抽出する（Ｓ２０１）。ＩＰ電話機２−２は、抽出した音声データをそのまま外部に接続されている音声認識サーバ１へ送信する（Ｓ２０２）。音声認識サーバ１は、受信した音声データから音声キーワードを抽出する音声認識処理を行なう（Ｓ２０３）。ＩＰ電話機２−２は、音声認識サーバ１から音声キーワードを受信する（Ｓ２０４）。ＩＰ電話機２−２は、電話機操作記憶部２１１に記憶している電話機操作テーブル３８を読み込む（Ｓ２０５）。ＩＰ電話機２−２は、電話機操作テーブル３８と一致した音声キーワードがあった場合、タッチセンサ付きディスプレイ２０４へ操作候補を表示する（Ｓ２０６）。   With reference to FIG. 4B, operation assistance using voice recognition will be described. In FIG. 4B, the sequence is executed between the IP telephone set 2-1 and the IP telephone set 2-2 that make a call and the voice recognition server 1 connected via the WAN 3. First, IP phone 2-1 and IP phone 2-2 are in a call state. The IP phone 2-2 extracts voice data (S201). The IP phone 2-2 transmits the extracted voice data as it is to the voice recognition server 1 connected to the outside (S202). The speech recognition server 1 performs speech recognition processing for extracting speech keywords from the received speech data (S203). The IP phone 2-2 receives the voice keyword from the voice recognition server 1 (S204). The IP telephone 2-2 reads the telephone operation table 38 stored in the telephone operation storage unit 211 (S205). When there is a voice keyword that matches the telephone operation table 38, the IP telephone 2-2 displays operation candidates on the display 204 with the touch sensor (S206).

図５を参照して、通話音声から音声キーワードを抽出して電話機操作と関連付けて記憶する動作を説明する。図５において、ＩＰ電話機２は、通話中の音声を抽出する（Ｓ５０１）。ＩＰ電話機２は、抽出した音声を音声データに変換してＷＡＮ３に接続されている音声認識サーバ１へ送信する（Ｓ５０２）。そして、ＷＡＮに接続された音声認識サーバ１から音声キーワードを受信すると、（Ｓ５０３）ＩＰ電話機２は、電話機操作を検出したか判定する（Ｓ５０４）。電話機操作を検出しないとき（Ｓ５０４でＮＯ）、ＩＰ電話機２は、ステップ５０１に戻る。ステップ５０４で電話機操作を検出した場合（Ｓ５０４でＹＥＳ）、ＩＰ電話機２は、電話機操作検出制御部２０５から通話相手の情報（電話番号またはＩＰアドレスなど）を受け取り、電話帳記憶部２０８に記憶されている電話番号と名前の情報から通話相手を特定する（Ｓ５０５）。さらに、ＩＰ電話機２は、電話帳記憶部２０８から電話帳データを読み込む（Ｓ５０６）。ＩＰ電話機２は、音声キーワードと電話機操作と通話相手とを電話機操作テーブル３８に記憶する（Ｓ５０７）。このとき、電話機操作テーブル３８に既に通話相手３３と操作３２が記録されている場合、電話機操作テーブル３８の使用回数３７をインクリメントする。ＩＰ電話機２は、通話終了を判定する（Ｓ５０８）。通話が継続していれば（Ｓ５０８でＮＯ）、ＩＰ電話機２は、ステップ５０１に遷移する。ステップ５０８で通話が終了（Ｓ５０８でＹＥＳ）のとき、ＩＰ電話機２は、処理を終了する。   With reference to FIG. 5, the operation of extracting a voice keyword from the call voice and storing it in association with the telephone operation will be described. In FIG. 5, the IP telephone 2 extracts the voice during a call (S501). The IP telephone 2 converts the extracted voice into voice data and transmits it to the voice recognition server 1 connected to the WAN 3 (S502). When a voice keyword is received from the voice recognition server 1 connected to the WAN (S503), the IP telephone 2 determines whether a telephone operation has been detected (S504). When the telephone operation is not detected (NO in S504), the IP telephone 2 returns to Step 501. When the telephone operation is detected in step 504 (YES in S504), the IP telephone 2 receives the information of the other party (telephone number or IP address) from the telephone operation detection control unit 205, and is stored in the telephone directory storage unit 208. The other party is identified from the information of the current telephone number and name (S505). Further, the IP phone 2 reads the phone book data from the phone book storage unit 208 (S506). The IP telephone 2 stores the voice keyword, telephone operation, and call partner in the telephone operation table 38 (S507). At this time, when the call partner 33 and the operation 32 are already recorded in the telephone operation table 38, the use count 37 of the telephone operation table 38 is incremented. The IP phone 2 determines the end of the call (S508). If the call is continued (NO in S508), IP phone 2 transitions to step 501. When the call ends in step 508 (YES in S508), IP telephone 2 ends the process.

図６を参照して、通話音声から電話機操作テーブルを検索して電話機操作の表示動作を説明する。図６において、ＩＰ電話機２は、通話中の音声を抽出する（Ｓ６０１）。ＩＰ電話機２は、抽出した音声を音声データに変換してＷＡＮ３に接続されている音声認識サーバ１へ送信する（Ｓ６０２）。そしてＷＡＮに接続された音声認識サーバ１から音声キーワードを受信すると（Ｓ６０３）、ＩＰ電話機２は、電話機操作記憶部２１１で記憶している電話機操作テーブル３８に音声キーワードに対応した操作の登録があるか判定する（Ｓ６０４）。登録がないとき（Ｓ６０４でＮＯ）、ＩＰ電話機２は、ステップ６０１に遷移する。電話機操作テーブル３８に音声キーワードに対応した操作の登録があるとき（Ｓ６０４でＹＥＳ）、ＩＰ電話機２は、音声キーワードに対応する操作の候補を表示する（Ｓ６０５）。   With reference to FIG. 6, a display operation of the telephone operation will be described by searching the telephone operation table from the call voice. In FIG. 6, the IP telephone 2 extracts the voice during a call (S601). The IP telephone 2 converts the extracted voice into voice data and transmits it to the voice recognition server 1 connected to the WAN 3 (S602). When the voice keyword is received from the voice recognition server 1 connected to the WAN (S603), the IP telephone 2 has registered an operation corresponding to the voice keyword in the telephone operation table 38 stored in the telephone operation storage unit 211. Is determined (S604). When there is no registration (NO in S604), the IP telephone 2 transitions to Step 601. When the operation corresponding to the voice keyword is registered in the telephone operation table 38 (YES in S604), the IP telephone 2 displays an operation candidate corresponding to the voice keyword (S605).

次にＩＰ電話機２は、通話終了を判定する（Ｓ６０６）。通話が継続していれば（Ｓ６０６でＮＯ）、ＩＰ電話機２は、ステップ６０１に遷移する。ステップ６０６で通話が終了（Ｓ６０６でＹＥＳ）のとき、ＩＰ電話機２は、処理を終了する。   Next, the IP telephone 2 determines the end of the call (S606). If the call is continued (NO in S606), IP phone 2 transitions to step 601. When the call is ended in step 606 (YES in S606), the IP telephone 2 ends the process.

本実施例では、音声認識を利用して通話相手との会話をモニタし、会話に対して操作が行なわれると、その会話の音声と操作を関連付けて記憶する。通話相手の情報と検出した音声キーワードと電話機の操作を記憶することにより、次回通話相手ごとに同じ会話を行なった場合に電話機の操作をタッチセンサ付きディスプレイへ操作ボタンを表示することで操作忘れや操作をしやすく支援することができる。タッチセンサ付きディスプレイへの表示は、操作ボタンを使用回数が多い順に並べて表示しても良いし、使用回数が多い操作の表示を大きく表示して操作しやすくしてもよい。本実施例で説明している電話機操作は例えば通話相手の話したい相手が自分でない場合、保留操作や転送操作を行なうことがある。また、電話帳に記録されていない初めての相手との通話の場合、通話内容をあとで確認するために通話録音を行なうことがある。また、初めての相手との通話の場合、相手の電話番号と名前を電話帳へ登録する操作を行なうことがある。また特定の相手、例えば会社の幹部との通話や重要な顧客との通話に関して暗号通話を行なった秘匿通話の操作を行なうことがある。また、通話相手との会話にて第三者の名前例えば通話している本人と通話相手の名前の音声キーワードを検出すると会議通話の操作を行なうことがある。また、通話中に第三者からの着信があった場合、例えばキャッチホンの信号が通話中にあった場合に電話が掛かってきた旨の音声キーワードからキャッチホン操作を行なうことがある。このように通話中の相手や会話内容から電話機の操作を通話中に行なうことがあり、タッチセンサ付きディスプレイへ通話内容により操作する内容を表示することで、操作忘れや操作をしやすくなるような電話機操作の支援を行なうことができる。尚、本実施例で説明したタッチセンサ付きディスプレイ以外に、ＬＣＤ表示などの画面表示のみの機能を有した電話機であってもよい。また、音声認識サーバは、外部に接続されたサーバを使用してもよいし電話機に音声認識機能を有してもよい。さらに、本実施例は、ＩＰ電話機に限定されず、様々な電話機に利用可能である。この場合、ＷＡＮは、ＰＳＴＮ等に置き換えればよい。   In this embodiment, the conversation with the other party is monitored using voice recognition. When an operation is performed on the conversation, the conversation voice and operation are stored in association with each other. By memorizing the information of the other party, the detected voice keyword and the operation of the telephone, when the same conversation is performed for the next party, the operation button can be displayed on the touch sensor display. Easy to operate and support. The display on the touch sensor-equipped display may be displayed by arranging the operation buttons in the descending order of the number of times of use, or the operation of the number of times of use being large may be displayed to be easy to operate. The telephone operation described in the present embodiment may be a hold operation or a transfer operation when, for example, the other party that the other party wants to talk to is not himself. In addition, in the case of a call with the first party not recorded in the phone book, call recording may be performed in order to confirm the content of the call later. In the case of a call with the other party for the first time, an operation of registering the telephone number and name of the other party in the phone book may be performed. In addition, a secret call operation in which an encrypted call is made with respect to a call with a specific partner, for example, a company executive or a call with an important customer may be performed. Further, when a voice keyword of the name of a third party, for example, the name of the person who is talking and the name of the other party is detected in the conversation with the other party, the conference call may be operated. In addition, when there is an incoming call from a third party during a call, for example, when a call waiting signal is during a call, a call waiting operation may be performed from a voice keyword indicating that a call has been made. In this way, the phone may be operated during a call based on the other party or the content of the conversation, and it is easier to forget or operate by displaying the content to be operated according to the content of the call on the display with touch sensor. Support for telephone operation can be provided. In addition to the display with a touch sensor described in this embodiment, a telephone having only a screen display function such as an LCD display may be used. The voice recognition server may use a server connected to the outside, or the telephone may have a voice recognition function. Furthermore, the present embodiment is not limited to IP telephones but can be used for various telephones. In this case, the WAN may be replaced with PSTN or the like.

１…音声認識サーバ、２…ＩＰ電話機、３…ＷＡＮ、４…ルータ、５…ＳＩＰサーバ、６…ＬＡＮ、１００…電話システム、２０１…ＬＡＮインタフェース部、２０２…ハンドセット、２０３…ＩＰ電話処理部、２０４…タッチセンサ付きディスプレイ、２０５…電話機捜査検出制御部、２０６…通話監視部、２０７…音声データ抽出部、２０８…電話帳記憶部、２０９…音声認識要求部、２１０…音声キーワード受信部、２１１…電話機操作記憶部、２１２…表示制御部。   DESCRIPTION OF SYMBOLS 1 ... Voice recognition server, 2 ... IP telephone, 3 ... WAN, 4 ... Router, 5 ... SIP server, 6 ... LAN, 100 ... Telephone system, 201 ... LAN interface part, 202 ... Handset, 203 ... IP telephone processing part, 204 ... Display with touch sensor, 205 ... Telephone investigation detection control unit, 206 ... Call monitoring unit, 207 ... Voice data extraction unit, 208 ... Phonebook storage unit, 209 ... Voice recognition request unit, 210 ... Voice keyword reception unit, 211 ... telephone operation storage unit, 212 ... display control unit.

Claims (3)

音声キーワードを抽出する自電話機と接続された音声認識装置または自電話機が備える音声認識部へ通話者の音声を出力する音声出力手段と、前記音声認識装置または前記音声認識部から抽出された音声キーワードを入力する音声キーワード入力手段と、音声キーワードと対応付けて当該音声キーワードを当該通話者が発した時の前記通話者が為した操作内容を記憶する電話機操作記憶手段と、操作候補を表示する操作候補表示手段と、を備え、
通話中に、転送、保留、通話録音、電話帳操作または秘匿通話に係わる操作が為された場合に、前記電話機操作記憶手段は当該操作に係わる操作内容を当該操作が為された前後の所定の期間に前記音声キーワード入力手段が入力した音声キーワードと対応付けて記憶し、
通話中に、前記音声キーワード入力手段が音声キーワードを入力した場合に、前記操作候補表示手段は、前記電話機操作記憶手段を参照して、前記入力した音声キーワードに対応付けられた操作内容を操作候補として表示することを特徴とする操作支援機能を有する電話機。 A voice recognition device connected to the own telephone for extracting the voice keyword or voice output means for outputting the voice of the caller to a voice recognition unit included in the own telephone; and a voice keyword extracted from the voice recognition apparatus or the voice recognition unit A voice keyword input means for inputting the voice keyword, a telephone operation storage means for storing the operation content performed by the caller when the caller issued the voice keyword in association with the voice keyword, and an operation for displaying the operation candidate Candidate display means,
When an operation related to transfer, hold, call recording, phone book operation or secret call is performed during a call, the telephone operation storage means stores the operation content related to the operation in a predetermined manner before and after the operation is performed. Storing in association with the speech keyword input by the speech keyword input means during the period,
When the voice keyword input means inputs a voice keyword during a call, the operation candidate display means refers to the telephone operation storage means, and selects an operation content associated with the input voice keyword as an operation candidate. A telephone having an operation support function characterized by being displayed as: 請求項１に記載の電話機であって、
前記電話操作記憶手段は、通話相手ごとに音声キーワードと前記通話者の操作内容を対応付けて記憶し、
通話中に、前記音声キーワード入力手段が音声キーワードを入力した場合に、前記操作候補表示手段は、通話相手ごとに前記電話機操作記憶手段を参照して、前記入力した音声キーワードに対応付けられた操作内容を操作候補として表示することを特徴とする操作支援機能を有する電話機。 The telephone set according to claim 1, wherein
The telephone operation storage means stores the voice keyword and the operation content of the caller in association with each other party,
When the voice keyword input means inputs a voice keyword during a call, the operation candidate display means refers to the telephone operation storage means for each call partner and performs an operation associated with the input voice keyword. A telephone having an operation support function, characterized in that the contents are displayed as operation candidates. 請求項１または請求項２に記載の電話機であって、
前記電話操作記憶手段は、前記操作を受け付けた場合に、前記操作に係わる操作内容と音声キーワードとそれらの組み合わせの受け付け回数とを対応付けて記憶し、
通話中に、前記音声キーワード入力手段が音声キーワードを入力した場合に、前記操作候補表示手段は、入力された音声キーワードに基づいて、前記電話機操作記憶手段を参照し、前記入力した音声キーワードに対応付けられた操作内容の内、前記受け付け回数の大きい操作内容を優先して操作候補として表示することを特徴とする電話機。 The telephone set according to claim 1 or 2,
The telephone operation storage means stores the operation content related to the operation, the voice keyword, and the number of receptions of the combination in association with each other when the operation is received,
When the voice keyword input means inputs a voice keyword during a call, the operation candidate display means refers to the telephone operation storage means based on the input voice keyword, and corresponds to the input voice keyword. A telephone set characterized in that, among the attached operation contents, the operation contents with a large number of receptions are preferentially displayed as operation candidates.
JP2012114232A 2012-05-18 2012-05-18 Telephone having operation support function Pending JP2013243447A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012114232A JP2013243447A (en) 2012-05-18 2012-05-18 Telephone having operation support function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012114232A JP2013243447A (en) 2012-05-18 2012-05-18 Telephone having operation support function

Publications (1)

Publication Number Publication Date
JP2013243447A true JP2013243447A (en) 2013-12-05

Family

ID=49843963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012114232A Pending JP2013243447A (en) 2012-05-18 2012-05-18 Telephone having operation support function

Country Status (1)

Country Link
JP (1) JP2013243447A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016019070A (en) * 2014-07-07 2016-02-01 キヤノン株式会社 Information processing device, display control method, computer program, and recording medium
CN106973144A (en) * 2017-02-24 2017-07-21 上海与德信息技术有限公司 The method and device of record data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122389A (en) * 2001-10-11 2003-04-25 Casio Comput Co Ltd Data processor and program
JP2003125038A (en) * 2001-10-10 2003-04-25 Canon Inc Communication apparatus, method for controlling display thereof, display control program and storage medium of the same
JP2005136702A (en) * 2003-10-30 2005-05-26 Sharp Corp Image transmitting apparatus and image transmitting method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125038A (en) * 2001-10-10 2003-04-25 Canon Inc Communication apparatus, method for controlling display thereof, display control program and storage medium of the same
JP2003122389A (en) * 2001-10-11 2003-04-25 Casio Comput Co Ltd Data processor and program
JP2005136702A (en) * 2003-10-30 2005-05-26 Sharp Corp Image transmitting apparatus and image transmitting method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016019070A (en) * 2014-07-07 2016-02-01 キヤノン株式会社 Information processing device, display control method, computer program, and recording medium
CN106973144A (en) * 2017-02-24 2017-07-21 上海与德信息技术有限公司 The method and device of record data

Similar Documents

Publication Publication Date Title
CA2958354C (en) Customer premises call handling
CN101345798B (en) Telephone system, server and proxy response telephone
JPWO2015083741A1 (en) Relay device, display device, and communication system
JP2013243447A (en) Telephone having operation support function
JP2009147399A (en) Telephone relaying device, telephone relaying method, and program for telephone relay
JP2007324925A (en) Ip telephone system
JP2012075047A (en) Ip exchange system and ip exchanger
JP5051368B2 (en) Communication terminal and communication progress display method in communication terminal
JP4667526B2 (en) Cooperation apparatus, cooperation system, and computer program
JP5716913B2 (en) Telephone communication terminal, base device, e-mail information providing program, and outgoing call processing program
JP5136907B2 (en) Incoming display control method for telephone device
JP5119813B2 (en) Telephone device that can operate the phone book function during a call
JP2019114995A (en) Telephone control device and telephone control program
JP4583949B2 (en) The present invention relates to a three-party call system and a button telephone device.
JP5794128B2 (en) Telephone device having transfer destination candidate display function for each speaker
US11223714B2 (en) Telecommunication terminal and method for controlling media streams
JP4690274B2 (en) Message mail transmission system, message mail transmission method, program, and IP telephone adapter
JP4992360B2 (en) Telephone device with search function when playing back recorded messages
JP2008141491A (en) Telephone exchange system
JP2001346236A (en) Voice response telephone call transfer system
JP2010081468A (en) Communication history server with call memorandum storage function and communication terminal
JP2014147043A (en) Telephone control device
JP5293797B2 (en) Telephone device that can operate the phone book function during a call
KR100894729B1 (en) Conversation service method between USB internet phones and service server
JP5640878B2 (en) E-mail display method or transmission method linked with telephone function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151215