JP2006106711A - Information processing terminal - Google Patents
Information processing terminal Download PDFInfo
- Publication number
- JP2006106711A JP2006106711A JP2005257117A JP2005257117A JP2006106711A JP 2006106711 A JP2006106711 A JP 2006106711A JP 2005257117 A JP2005257117 A JP 2005257117A JP 2005257117 A JP2005257117 A JP 2005257117A JP 2006106711 A JP2006106711 A JP 2006106711A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- processing terminal
- information processing
- call
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、声から推定したその声を発した人の感情を通知する情報処理端末に関する。 The present invention relates to an information processing terminal that notifies an emotion of a person who utters a voice estimated from the voice.
人が発する声から、具体的には声の音量、声の波形、声のピッチ、または、音韻などから、その人の感情を推定する技術が開示されている(特許文献1)。また、特許文献1の技術等を用いて推定した感情に基づいて、3Dコンピュータグラフィック上に形成した、人間の顔を模擬した顔モデルの表情を3次元的に変化させて表示し、その感情を表現する技術が開示されている(特許文献2)。これらの技術により、音声のみからその音声を発した人の感情を視覚的に読み取ることができる。
しかしながら、ある音声に複数の感情が含まれると推定された場合、例えば、感情情報の主要因子としては、喜び、悲しみ、驚き、嫌悪、怒り、恐れとした6因子を用いることが多いが、この感情結果をそのままリアルタイムにみせることはコミュニケーションをおこなう上で相手に見せたくない感情も直接的に伝わってしまう課題をもっている。 However, when it is estimated that a certain voice includes a plurality of emotions, for example, six factors such as joy, sadness, surprise, disgust, anger, and fear are often used as the main factors of emotion information. Presenting emotional results in real time has the problem of directly communicating emotions that you do not want to show to the other party when communicating.
また、従来、電話による音声通話は、メールのようにその時の対話状況が残ることなく通話時刻の記録が残るだけで、後で振り返ってその時の通話状況を振り返るすべがないという課題を持っていた。 Conventionally, a voice call by telephone has a problem that there is no way to look back on the call status at a later time, just to record the call time without leaving the conversation status at that time like email. .
本発明は、上記事情に鑑みてなされたもので、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することが出来る情報処理端末を提供することを目的とする。 The present invention has been made in view of the above circumstances, and expresses the emotions of the person who uttered the voice directly in real time, thereby expressing that the expression he does not want to express is conveyed directly to the other party. It is an object to provide an information processing terminal that can be used.
また、本発明は、後で振り返って通話状況の全体像を把握することができる情報処理端末を提供することを目的とする。 It is another object of the present invention to provide an information processing terminal that can be looked back later to grasp the overall picture of a call situation.
本発明の情報処理端末は、前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、各種情報を通知する通知手段とを備える情報処理端末であって、前記通知手段が、前記パラメータ生成手段により生成したパラメータに対応する感情についての情報を通知するものである。 The information processing terminal according to the present invention is an information processing terminal including a parameter generation unit that generates an emotion parameter from the input voice and a notification unit that notifies various types of information. The notification unit includes the parameter generation unit. Information about the emotion corresponding to the parameter generated by the means is notified.
また、本発明の情報処理端末は、データを記憶する記憶手段を備え、前記記憶手段が、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。 The information processing terminal according to the present invention further includes storage means for storing data, the storage means stores emotion parameters generated by the parameter generation means, and the notification means stores parameters stored in the storage means. Including information notifying about emotions corresponding to.
この構成によれば、入力した音声からその音声を発した人の感情を通知することにより、音声を発した人の感情を誤って別の感情として読み取ることを防ぐことができる。 According to this configuration, by notifying the emotion of the person who uttered the voice from the input voice, the emotion of the person who uttered the voice can be prevented from being erroneously read as another emotion.
また、本発明の情報処理端末は、前記記憶手段が、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。 In the information processing terminal of the present invention, the storage unit stores the emotion parameter generated by the parameter generation unit in correspondence with the order in which the parameter generation unit generates the emotion parameter, and the notification unit And notifying information about emotions corresponding to the parameters stored in the storage means based on the order.
この構成によれば、音声を発した人の感情を時系列的に読み取ることができるため、より音声を発した人の感情を把握しやすくなる。 According to this configuration, it is possible to read the emotions of the person who uttered the sound in time series, so that it becomes easier to grasp the emotions of the person who uttered the sound.
また、本発明の情報処理端末は、通話を行う通話手段を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力するものを含む。 The information processing terminal according to the present invention includes a calling unit that performs a call, and the voice input unit inputs a voice during a call by the calling unit.
この構成によれば、通話時の音声を入力することにより、当該情報処理端末に簡易に音声を入力することができる。 According to this configuration, the voice can be easily input to the information processing terminal by inputting the voice during the call.
また、本発明の情報処理端末は、データを記憶する記憶手段と、通話を行う通話手段と、を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力し、前記記憶手段が、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。 The information processing terminal according to the present invention further comprises storage means for storing data and call means for making a call, wherein the voice input means inputs voice during a call by the call means, and the storage means The parameter generation means stores the emotion parameters generated by the parameter generation means in correspondence with the order in which the emotion parameters are generated, and the notification means stores the parameters stored in the storage means based on the order. Including information notifying about emotions corresponding to.
この構成によれば、通話相手の感情を時系列的に読み取ることができるため、通話相手の感情を把握しやすくなり、その結果、円滑なコミュニケーションを実現できる。 According to this configuration, since the emotion of the other party can be read in time series, it becomes easier to grasp the emotion of the other party, and as a result, smooth communication can be realized.
また、本発明の情報処理端末は、前記通知手段が、前記通話手段による通話終了後、前記感情についての情報を通知するものを含む。 The information processing terminal according to the present invention includes the information processing terminal in which the notifying unit notifies the emotion information after the call by the calling unit ends.
この構成によれば、通話終了毎に、その通話における通話相手あるいは本人の感情を確認することができるため、円滑なコミュニケーションを実現できる。 According to this configuration, it is possible to confirm the feelings of the other party or the person in the call every time the call ends, so that smooth communication can be realized.
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、前記表示手段が、通話履歴を表示する場合に、前記通話履歴中の各通話項目毎に、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。 In the information processing terminal according to the present invention, the notification means includes display means for displaying various information, the storage means stores the emotion parameter for each call by the call means, and the display means However, when displaying the call history, for each call item in the call history, the information about the emotion corresponding to the parameter stored in the storage means is notified.
この構成によれば、通話履歴の項目に、各通話における通話相手あるいは本人の感情を表示することができるため、各通話においてなされた会話内容を容易に想起することができる。 According to this configuration, since the call partner or the person's emotion in each call can be displayed in the call history item, the contents of the conversation made in each call can be easily recalled.
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、前記表示手段が、前記記憶手段に記憶したパラメータに対応する感情のうちの特定のパラメータに対応する感情についての情報を、時系列に沿って表示するものを含む。 In the information processing terminal according to the present invention, the notification means includes display means for displaying various information, the storage means stores the emotion parameter for each call by the call means, and the display means Includes information about emotions corresponding to specific parameters among emotions corresponding to the parameters stored in the storage means in a time series.
この構成によれば、通話履歴の項目に、各通話における通話相手あるいは本人の感情を時系列的に表示することができるため、各通話においてなされた会話内容をより容易に想起することができる。 According to this configuration, since the call partner or the person's emotion in each call can be displayed in time series in the call history item, the contents of the conversation made in each call can be recalled more easily.
また、本発明の情報処理端末は、前記通知手段が、前記記憶手段に記憶したパラメータに対応する、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を通知するものを含む。 In the information processing terminal of the present invention, the notification means stores information about emotions of each of the callers, one of the callers, or the entire callers corresponding to the parameters stored in the storage means. Includes notifications.
この構成によれば、自分の着信中の感情の時間的変化、相手の着信中の感情の時間的変化、さらに、会話全体としての感情の時間的変化を視覚的に認識することができる。また、時系列に配置された感情についての情報から通話後に会話全体の内容を想起することができる。 According to this configuration, it is possible to visually recognize the temporal change of emotion during the incoming call, the temporal change of emotion during the incoming call of the other party, and the temporal change of emotion as the whole conversation. Moreover, the content of the whole conversation can be recalled from the information about the emotions arranged in time series after the call.
また、本発明の情報処理端末は、前記記憶手段が、顔画像情報を当該顔画像を撮像された者と対応付けて記憶し、前記通知手段が、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を、前記記憶手段から読み出した当該通話者の顔画像を画像処理して通知するものを含む。 In the information processing terminal according to the present invention, the storage unit stores the face image information in association with the person who has captured the face image, and the notification unit stores each of the callers, among the callers. On the other hand, the information about the emotions of both parties is included, and the information about the emotions of both parties is notified by performing image processing on the face images of the parties read from the storage means.
この構成によれば、携帯電話機の使用者は、着信相手の氏名の表示確認しなくても着信相手が誰であるかが視覚的に容易に認識できることに加え、自分に対応付けた画像の時系列順の顔画像と相手に対応付けた画像の時系列順の顔画像との区別を容易にすることができる。 According to this configuration, the user of the mobile phone can easily visually recognize who the called party is without having to confirm the display of the name of the called party. It is possible to easily distinguish the face image in the sequence order and the face image in the time sequence order of the image associated with the partner.
また、本発明の情報処理端末は、音声を入力する音声入力手段と、前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、各種情報を通知する通知手段とを備える情報処理端末であって、前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定手段を備え、前記通知手段が、前記特定した感情についての情報を通知するものを含む。 An information processing terminal according to the present invention is an information processing terminal comprising voice input means for inputting voice, parameter generation means for generating emotion parameters from the input voice, and notification means for notifying various information. In addition, an emotion specifying unit that specifies an emotion represented by a characteristic parameter among the generated parameters is provided, and the notification unit includes a unit that notifies information about the specified emotion.
この構成によれば、入力した音声から特徴的な感情を特定することにより、音声を発した人の感情を誤って別の感情として読み取ることを防ぐことができる。 According to this configuration, by identifying a characteristic emotion from the input voice, it is possible to prevent the emotion of the person who emitted the voice from being erroneously read as another emotion.
また、本発明の情報処理端末は、データを記憶する記憶手段を備え、前記記憶手段が、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記感情特定手段が、前記記憶したパラメータの内の、特徴的なパラメータで表された感情を特定するものを含む。 The information processing terminal according to the present invention further includes storage means for storing data, the storage means stores emotion parameters generated by the parameter generation means, and the emotion identification means includes the stored parameters. Including those that specify emotions represented by characteristic parameters.
この構成によれば、入力した音声から生成される感情のパラメータを記憶してことにより、記憶した感情のパラメータを読み出していつでも特徴的なパラメータを特定することができる。 According to this configuration, by storing the emotion parameter generated from the input voice, it is possible to specify the characteristic parameter at any time while reading the stored emotion parameter.
また、本発明の情報処理端末は、通話を行う通話手段を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力するものを含む。 The information processing terminal according to the present invention includes a calling unit that performs a call, and the voice input unit inputs a voice during a call by the calling unit.
この構成によれば、通話時の音声を入力することにより、当該情報処理端末に簡易に音声を入力することができる。 According to this configuration, the voice can be easily input to the information processing terminal by inputting the voice during the call.
また、本発明の情報処理端末は、前記通話手段による通話時の音声を録音する音声録音手段を備え、前記音声入力手段が、前記音声録音手段により録音した音声を入力するものを含む。 The information processing terminal of the present invention includes a voice recording unit that records a voice during a call by the calling unit, and the voice input unit inputs a voice recorded by the voice recording unit.
この構成によれば、携帯電話機利用者は、録音された音声があるという事実だけでなく、その録音された音声の内容、緊急度を同時に判別することが出来るようになり、その結果、円滑なコミュニケーションをとることが可能になる。 According to this configuration, the mobile phone user can determine not only the fact that there is a recorded voice but also the content and urgency of the recorded voice at the same time. It becomes possible to take communication.
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段は、前記特定した感情を各通話毎に記憶し、前記表示手段が、通話履歴を表示する場合に、前記通話履歴に合わせて前記特定した感情についての情報を表示するものを含む。 In the information processing terminal according to the present invention, the notification unit includes a display unit that displays various information, the storage unit stores the specified emotion for each call, and the display unit displays a call history. When displaying, the information about the specified emotion is displayed according to the call history.
また、本発明の情報処理端末は、前記記憶手段が、前記特定した感情を反映している一部の音声を記憶し、前記表示手段が、前記通話履歴に合わせて前記特定した感情と同一時刻の前記一部の音声を表示するものを含む。 In the information processing terminal according to the present invention, the storage unit stores a part of the voice reflecting the specified emotion, and the display unit has the same time as the specified emotion according to the call history. Including the part of the voice.
この構成によれば、通話履歴確認した時に、通話履歴の各通話毎にその通話時の特徴的な感情を表示することにより、その通話で通話者がどのような感情であったかを確認することができる。 According to this configuration, when the call history is confirmed, it is possible to confirm the emotion of the caller in the call by displaying the characteristic emotion at the time of each call in the call history. it can.
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記特定した感情を通話者毎に記憶し、前記表示手段が、前記記憶手段に記憶した通話者の個人情報を表示する場合に、前記個人情報に合わせて前記特定した感情についての情報を表示するものを含む。 In the information processing terminal according to the present invention, the notification means includes display means for displaying various information, the storage means stores the specified emotion for each caller, and the display means includes the storage means. When the personal information of the caller stored in is displayed, the information about the specified emotion is displayed in accordance with the personal information.
この構成によれば、個人情報を確認した時に、当該個人との通話時の特徴的な感情を表示することにより、当該個人が当該情報処理端末使用者との通話でどのような感情であったかを確認することができる。 According to this configuration, when the personal information is confirmed, by displaying a characteristic emotion at the time of a call with the individual, it is possible to determine what kind of emotion the individual was in the call with the information processing terminal user. Can be confirmed.
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記特定した感情を通話した日付に対応させて記憶し、前記表示手段が、カレンダを表示する場合に、前記カレンダの日付に合わせて前記特定した感情についての情報を表示するものを含む。 In the information processing terminal according to the present invention, the notification unit includes a display unit that displays various types of information, the storage unit stores the specified emotion in correspondence with the date of the call, and the display unit includes: In the case of displaying a calendar, the display includes information on the identified emotion in accordance with the date of the calendar.
この構成によれば、通話から特定した感情を日付ごとに表示することにより、該当日付に通話した通話内容を容易に振り返ることが可能になる According to this configuration, it is possible to easily look back on the content of a call made on the corresponding date by displaying the emotions identified from the call for each date.
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、感情に対応する画像を記憶し、前記表示手段が、前記記憶手段から読み出された、前記特定した感情に対応する画像を表示するものを含む。 In the information processing terminal according to the present invention, the notification means includes display means for displaying various information, the storage means stores an image corresponding to emotion, and the display means reads out from the storage means. And displaying an image corresponding to the identified emotion.
この構成によれば、特徴的な感情を画像により通知することにより、この画像を見た当該情報処理端末使用者は容易に感情を確認することができる。 According to this configuration, by notifying a characteristic emotion by an image, the information processing terminal user who sees the image can easily confirm the emotion.
また、本発明の情報処理端末は、前記記憶手段が、前記感情特定手段により特定される感情の出現頻度を記憶し、前記表示手段が、前記感情の出現頻度に応じて前記記憶手段から読み出された、前記特定した感情に対応する画像を表示するものを含む。 In the information processing terminal of the present invention, the storage unit stores the appearance frequency of the emotion specified by the emotion specifying unit, and the display unit reads out the storage unit according to the appearance frequency of the emotion. And displaying an image corresponding to the identified emotion.
この構成によれば、感情の出現頻度に応じて特徴的な感情に対応する画像を変化させて表示することにより、感情通知を実行させるときの娯楽性を高めることができ、長期にわたって感情通知を楽しむことができる。 According to this configuration, by changing the image corresponding to the characteristic emotion according to the appearance frequency of the emotion and displaying it, it is possible to enhance the entertainment when the emotion notification is executed, and to send the emotion notification over a long period of time. I can enjoy it.
また、本発明の情報処理端末は、前記通知手段が、各種情報を点灯により通知する点灯手段を含み、前記記憶手段が、感情に対応する色を記憶し、前記点灯手段が、前記記憶手段から読み出された、前記特定した感情に対応する色で点灯するものを含む。 In the information processing terminal according to the present invention, the notification unit includes a lighting unit that notifies various information by lighting, the storage unit stores a color corresponding to an emotion, and the lighting unit receives the information from the storage unit. It includes those that are lit in a color corresponding to the specified emotion that has been read.
この構成によれば、特徴的な感情を色により通知することにより、当該情報処理端末使用者は視覚的に容易に感情を確認することができる。 According to this configuration, the information processing terminal user can easily confirm the emotion visually by notifying the characteristic emotion by color.
また、本発明の情報処理端末は、前記通知手段が、各種情報を振動により通知するバイブレーション手段を含み、前記記憶手段が、感情に対応する振動数または振動の強さを記憶し、前記バイブレーション手段が、前記記憶手段から読み出された、前記特定した感情に対応する振動数または振動の強さで振動するものを含む。 In the information processing terminal according to the present invention, the notification means includes a vibration means for notifying various information by vibration, the storage means stores a vibration frequency corresponding to an emotion or a strength of the vibration, and the vibration means Includes those that vibrate at a vibration frequency or intensity corresponding to the identified emotion read from the storage means.
この構成によれば、特徴的な感情をバイブレーションにより通知することにより、当該情報処理端末使用者は触覚的に容易に感情を確認することができる。 According to this configuration, by notifying the characteristic emotion by vibration, the user of the information processing terminal can easily confirm the emotion tactilely.
また、本発明の情報処理端末は、感情に対応する画像を記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する画像を記憶するものを含む。 The information processing terminal according to the present invention includes a receiving unit that receives data from a server that records an image corresponding to an emotion, and the storage unit stores an image corresponding to the received emotion.
また、本発明の情報処理端末は、感情に対応する色を記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する色を記憶するものを含む。 The information processing terminal according to the present invention includes a receiving unit that receives data from a server that records a color corresponding to an emotion, and the storage unit stores a color corresponding to the received emotion.
また、本発明の情報処理端末は、感情に対応する振動数または振動の強さを記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する振動数または振動の強さを記憶するものを含む。 The information processing terminal according to the present invention further includes a receiving unit that receives data from a server that records the frequency or intensity of vibration corresponding to emotion, and the storage unit is configured to receive the frequency or frequency corresponding to the received emotion. Includes those that memorize the strength of vibration.
この構成によれば、情報処理端末外部に設けたサーバから表示手段、点灯手段、またはバイブレーション手段による感情通知動作を受信することにより、感情通知動作を容易に新しいものを追加することができ、長期にわたって感情通知を楽しむことができる。 According to this configuration, it is possible to easily add a new emotion notification operation by receiving an emotion notification operation by a display unit, a lighting unit, or a vibration unit from a server provided outside the information processing terminal. You can enjoy emotional notifications over time.
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、パラメータの数値が最も高い感情を特定するものを含む。 The information processing terminal according to the present invention includes an information processing terminal in which the emotion specifying unit specifies an emotion having the highest parameter value among the emotion parameters stored by the storage unit.
この構成によれば、入力された音声の最初から最後までの間で数値が最も大きかった感情を特徴的な感情とすることにより、会話中の強く印象に残った内容を重視して感情を特定することができる。 According to this configuration, the emotion with the highest numerical value from the beginning to the end of the input speech is set as a characteristic emotion, and the emotion is identified with emphasis on the content that is strongly impressed during the conversation. can do.
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、前記音声の開始から終了にかけて生成したパラメータの数値の合計が最も高い感情を特定するものを含む。 In the information processing terminal according to the present invention, the emotion specifying unit specifies the emotion having the highest sum of the numerical values of the parameters generated from the start to the end of the voice among the emotion parameters stored by the storage unit. including.
この構成によれば、音声の最初から最後にかけて合計した数値が最も大きかった感情を特徴的な感情とすることにより、会話全体の内容を重視して感情を特定することができる。 According to this configuration, it is possible to identify an emotion with an emphasis on the content of the entire conversation by making the emotion having the largest sum total from the beginning to the end of the voice a characteristic emotion.
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、前記音声の終了前に生成したパラメータの数値が最も高い感情を特定するものを含む。 The information processing terminal according to the present invention includes an information processing terminal in which the emotion specifying unit specifies the emotion having the highest numerical value of the parameter generated before the end of the voice among the emotion parameters stored by the storage unit.
この構成によれば、音声の最後間際に数値が最も大きかった感情を特徴的な感情とすることにより、会話の余韻を重視して感情を特定することができる。 According to this configuration, it is possible to identify an emotion with emphasis on the afterglow of the conversation by making the emotion having the largest numerical value at the very end of the voice a characteristic emotion.
また、本発明の情報処理端末は、他情報処理端末に前記特定した感情を送信する送信手段を備えるものを含む。 Moreover, the information processing terminal of this invention contains what is provided with the transmission means which transmits the specified emotion to another information processing terminal.
この構成によれば、音声信号からその音声を発した人物の感情を推定することができない他情報処理端末に、特徴的な感情の情報を送信することにより、他情報処理端末使用者も当該情報処理端末使用者と同様に容易に音声を発した人物の感情を判断することができる。 According to this configuration, by transmitting characteristic emotion information to another information processing terminal that cannot estimate the emotion of the person who uttered the sound from the audio signal, the other information processing terminal user can also receive the information. Like the processing terminal user, it is possible to easily determine the emotion of the person who uttered the voice.
本発明の情報処理端末によれば、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することができる。 According to the information processing terminal of the present invention, it is possible to express by using another expression means that the emotion of a person who has spoken voice is directly shown in real time, so that facial expressions that the user does not want to express can be directly transmitted to the other party.
また、本発明の情報処理端末によれば、後で振り返って通話状況の全体像を把握することができる。 Further, according to the information processing terminal of the present invention, it is possible to look back later and grasp the overall picture of the call status.
以下、本発明を実施する情報処理端末の形態を、携帯電話機を例に挙げて、詳細に説明する。 Hereinafter, the form of an information processing terminal for implementing the present invention will be described in detail by taking a mobile phone as an example.
(第1実施形態)
本発明の第1実施形態の携帯電話機について図面を参照して詳細に説明する。図1に、本発明の第1実施形態の携帯電話機の構成図を示す。本発明の第1実施形態の携帯電話機は、音声通話を制御する通話装置10と、通話装置10から入力された通話中の音声に基づいて当該携帯電話機使用者の感情、通話相手の感情あるいはその両方の感情を特定する感情通知装置20と、当該携帯端末使用者に感情通知装置20により特定した感情を通知するデバイス、例えば表示部30、LED40、バイブレーション50、スピーカ80、または香り発生装置90等、とを含んで構成される。
(First embodiment)
A mobile phone according to a first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 shows a configuration diagram of a mobile phone according to a first embodiment of the present invention. The mobile phone according to the first embodiment of the present invention includes a call device 10 that controls a voice call and the emotion of the mobile phone user, the emotion of the other party of the call based on the voice during the call input from the call device 10 Emotion notification device 20 that identifies both emotions, and a device that notifies the mobile terminal user of the emotion identified by emotion notification device 20, such as display unit 30, LED 40, vibration 50, speaker 80, or scent generating device 90 , And.
通話装置10において、音声信号出力部102は、音声信号の送受信を行う通信部101を介して通話相手から受信した音声信号、または、マイク104により収音した当該携帯電話機使用者の音声信号を感情通知装置20に出力する。また、音声信号出力部102は、通話相手から受信した音声をスピーカ103に出力し、マイク104により収音した当該携帯電話機使用者の通話音声を通信部101に出力する。 In the communication device 10, the audio signal output unit 102 emotionally receives an audio signal received from the other party via the communication unit 101 that transmits and receives an audio signal, or an audio signal of the mobile phone user collected by the microphone 104. Output to the notification device 20. The audio signal output unit 102 outputs the voice received from the other party to the speaker 103, and outputs the call voice of the mobile phone user collected by the microphone 104 to the communication unit 101.
感情通知装置20において、感情推定部201は、通話装置10の通信部101から通話が開始したことを通知されると、通話装置10から入力された音声信号からその音声を発した人物の感情を推定する。このとき、感情推定部201には、通話相手から受信した音声信号または当該携帯電話機使用者の音声信号、あるいはその両方の音声信号が入力される。当該携帯電話機使用者が通話装置10から入力される音声信号を選択するようにしても良いし、一定時間毎に通話装置10から入力される音声信号を切り替えるように設定しても良い。 In the emotion notification device 20, when the emotion estimation unit 201 is notified from the communication unit 101 of the call device 10 that the call has started, the emotion estimation unit 201 transmits the emotion of the person who uttered the voice from the voice signal input from the call device 10. presume. At this time, the voice signal received from the other party, the voice signal of the mobile phone user, or both voice signals are input to the emotion estimation unit 201. The mobile phone user may select an audio signal input from the call device 10 or may be set to switch an audio signal input from the call device 10 at regular intervals.
感情推定部201は、通話装置10から入力される音声信号からその音声を発した人物の感情を推定する。図2に、本発明の第1実施形態の携帯電話機による感情推定例を示す。感情推定部201は、例えば、図2に示す愛情、喜び、怒り、哀しみ、ニュートラルから構成される感情情報の因子毎に、0、1、2の値により表現したその感情の度合い(0:感情なし、1:感情弱、2:感情強)を通話開始から通話終了にかけて継続的に推定し、その推定した各々の数値を感情蓄積部202に逐次出力する。 The emotion estimation unit 201 estimates the emotion of the person who has emitted the voice from the voice signal input from the call device 10. FIG. 2 shows an example of emotion estimation by the mobile phone according to the first embodiment of the present invention. The emotion estimation unit 201, for example, for each factor of emotion information composed of affection, joy, anger, sadness, and neutral shown in FIG. None, 1: Emotional weakness, 2: Emotional strong) is continuously estimated from the start of the call to the end of the call, and each estimated value is sequentially output to the emotion accumulation unit 202.
感情蓄積部202は、感情推定部201から入力された各々の因子毎の数値を、入力された時刻または順番に対応させて蓄積する。 The emotion accumulation unit 202 accumulates the numerical value for each factor input from the emotion estimation unit 201 in correspondence with the input time or order.
感情特定部203は、感情蓄積部202からある通話における通話開始から通話終了までに蓄積した各々の因子毎の数値を読み出し、その読み出した数値から特徴的な感情を特定し、その特徴的な感情を感情通知動作指示部205に出力する。特定の際、通話開始から通話終了までの間で数値が最も大きかった感情を特徴的な感情とすることにより、通話中の強く印象に残った内容を重視して感情を特定することができ、また、通話開始から通話終了にかけて合計した数値が最も大きかった感情を特徴的な感情とすることにより、通話全体の内容を重視して感情を特定することができ、また、通話終了間際に数値が最も大きかった感情を特徴的な感情とすることにより、会話の余韻を重視して感情を特定することができる。 The emotion identification unit 203 reads the numerical value for each factor accumulated from the start of the call to the end of the call in the emotion accumulation unit 202, identifies the characteristic emotion from the read numerical value, and the characteristic emotion Is output to the emotion notification operation instruction unit 205. By identifying the emotion that had the largest number from the beginning of the call to the end of the call as a characteristic emotion, it is possible to identify emotions with emphasis on strong and memorable content during the call, In addition, by setting the emotion with the largest total from the start of the call to the end of the call as the characteristic emotion, the emotion can be specified with emphasis on the content of the entire call. By making the greatest emotion a characteristic emotion, it is possible to identify the emotion with emphasis on the afterglow of the conversation.
また、感情特定部203は、特定した特徴的な感情を反映しているある一定期間(例えば2秒)の音声をクリッピングし、のちに通話履歴を振り返る時に通話履歴にクリッピングした音声を記載するように、特徴的な音声情報として感情蓄積部202に記憶する。 Also, the emotion identification unit 203 clips the voice for a certain period (for example, 2 seconds) reflecting the identified characteristic emotion, and describes the clipped voice in the call history when the call history is later reviewed. In addition, it is stored in the emotion storage unit 202 as characteristic audio information.
なお、感情特定部203は、感情推定部201が逐次出力する因子毎の数値を、感情蓄積部202を介さずに、直接入力するようにして、継続的に特徴的な感情を特定するようにしても良い。これにより、通話と同期して特徴的な感情を特定することができる。 The emotion identifying unit 203 continuously inputs characteristic numerical values for each factor that the emotion estimating unit 201 sequentially outputs without using the emotion accumulation unit 202 to continuously identify characteristic emotions. May be. Thereby, characteristic emotions can be identified in synchronization with the call.
感情通知動作指示部205は、特徴的な感情が入力されると、表示部30、LED40またはバイブレーション50などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶部204から、特徴的な感情に対応する感情通知動作を読み出し、これらのデバイスに動作指示を出力する。携帯電話機使用者によって予め設定されたデバイスに感情通知動作を実行させるようにしても良いし、複数のデバイスに同時に感情通知動作を実行させるようにして感情通知の表現力を高めるようにしても良い。以下、表示部30、LED40の感情通知動作の動作例を図面を参照して説明する。 When a characteristic emotion is input, the emotion notification operation instruction unit 205 responds to the characteristic emotion from the emotion content storage unit 204 that stores the emotion notification operation by a device such as the display unit 30, the LED 40, or the vibration 50. The emotion notification operation is read and an operation instruction is output to these devices. A device preset by the mobile phone user may be made to execute the emotion notification operation, or a plurality of devices may be made to simultaneously execute the emotion notification operation to enhance the expressiveness of the emotion notification. . Hereinafter, an operation example of the emotion notification operation of the display unit 30 and the LED 40 will be described with reference to the drawings.
図3に、本発明の第1実施形態の携帯電話機の表示部の画像表示例を示す。表示部30により感情通知動作を実行する場合、感情通知動作指示部205は、特徴的な感情が入力されると、感情コンテンツ記憶部204から特徴的な感情に対応する画像を読み出し、読み出した画像を出力するよう表示部30に指示する。表示部30が、特徴的な感情に対応させた図3に示す画像を表示することにより、携帯電話機使用者は視覚的に容易に音声を発した人物の感情を判断することができる。なお、表示部30は、近年の携帯電話機が備えるサブ液晶表示部(メイン液晶表示部よりも表示領域が小さい。携帯電話機のメイン液晶表示部の背面に設けられることが多く、背面液晶とも称される)も含まれる。この表示部30による別の表示例としては、感情に対応させて、表示部30に表示する情報の背景の色を変えたり、一連の絵文字、画像、ピクトなどを連続的に表示したり(モーショングラフィック)、予め撮像しておいた画像や保存してある映像を表示させたりする。 FIG. 3 shows an image display example of the display unit of the mobile phone according to the first embodiment of the present invention. When the emotion notification operation is executed by the display unit 30, the emotion notification operation instruction unit 205 reads an image corresponding to the characteristic emotion from the emotion content storage unit 204 when a characteristic emotion is input, and the read image Is output to the display unit 30. When the display unit 30 displays the image shown in FIG. 3 corresponding to the characteristic emotion, the user of the mobile phone can easily determine the emotion of the person who uttered the sound visually. The display unit 30 is a sub liquid crystal display unit (which has a smaller display area than the main liquid crystal display unit provided in recent mobile phones. It is often provided on the back of the main liquid crystal display unit of the mobile phone, and is also referred to as a rear liquid crystal. Included). As another display example by the display unit 30, the background color of information displayed on the display unit 30 is changed according to emotions, or a series of pictograms, images, pictograms, etc. are continuously displayed (motion Graphics), pre-captured images and stored images are displayed.
図4に、本発明の第1実施形態の携帯電話機のLEDの点灯例を示す。LED40により感情通知動作を実行する場合、感情通知動作指示部205は、特徴的な感情が入力されると、感情コンテンツ記憶部204から特徴的な感情に対応する色情報を読み出し、読み出した色で発光するようLED40に指示する。LED40が、特徴的な感情に対応させた図4に示す色で発光することにより、携帯電話機使用者は視覚的に容易に音声を発した人物の感情を判断することができる。なお、これらのLEDには当該携帯電話機が備える操作キーのバックライトも含まれ、このLEDの点灯方法としては、感情に応じて、点灯光の色または強度、点灯範囲、点滅リズム(感情に応じて点滅間隔を代えたり、後述するスピーカ80が出力する音あるいは後述するバイブレーションの振動に合せて点滅させたり)を変えても良い。また、LEDが複数個ある場合には、それぞれのLEDを異なる色で点灯させても良いし、また、複数個のLEDをドットと見なしてそのドットにより感情を表す文字、マークを表現するようにしても良い。 FIG. 4 shows a lighting example of the LED of the mobile phone according to the first embodiment of the present invention. When the emotion notification operation is executed by the LED 40, the emotion notification operation instruction unit 205 reads color information corresponding to the characteristic emotion from the emotion content storage unit 204 when the characteristic emotion is input, and uses the read color. The LED 40 is instructed to emit light. The LED 40 emits light in the color shown in FIG. 4 corresponding to the characteristic emotion, so that the mobile phone user can easily determine the emotion of the person who has uttered the voice visually. Note that these LEDs also include backlights for operation keys provided in the mobile phone, and the lighting method of these LEDs is the color or intensity of lighting light, lighting range, flashing rhythm (depending on emotion). The flashing interval may be changed, or the sound output from the speaker 80 described later or flashing in accordance with the vibration of the vibration described later may be changed. In addition, when there are a plurality of LEDs, each LED may be lit in a different color, or a plurality of LEDs are regarded as dots and characters or marks expressing emotions are expressed by the dots. May be.
バイブレーション50により感情通知動作を実行する場合、感情通知動作指示部205は、特徴的な感情が入力されると、感情コンテンツ記憶部204から特徴的な感情に対応するバイブレーションの振動情報を読み出し、読み出した振動情報に含まれる振動数および振動の強さで振動するようバイブレーション50に指示する。バイブレーション50が、特徴的な感情に対応させた振動数および振動の強さで振動することにより(例えば、感情の変動が小さければ振動の強さを弱くし、大きければ振動の強さを大きくする)、携帯電話機使用者は触覚的に容易に音声を発した人物の感情を判断することができる。なお、バイブレーション50は、後述するスピーカ80が出力する音に合せて振動するようにしても良い。バイブレーション50による振動とスピーカ80による音出力との組み合わせ方としては、例えば、感情の変動が小さければバイブレーション50のみを振動の強さを弱くして振動させ、変動が大きければ音の周波数に対応した振動数で、かつ振動の強さを強くして振動するなどが挙げられる。 When the emotion notification operation is executed by the vibration 50, the emotion notification operation instruction unit 205 reads and reads the vibration information of the vibration corresponding to the characteristic emotion from the emotion content storage unit 204 when the characteristic emotion is input. The vibration 50 is instructed to vibrate at the vibration frequency and vibration strength included in the vibration information. The vibration 50 vibrates at a vibration frequency and intensity corresponding to characteristic emotions (for example, if the fluctuation of emotion is small, the vibration intensity is reduced, and if it is large, the vibration intensity is increased. ), The mobile phone user can easily determine the emotion of the person who uttered the voice. The vibration 50 may vibrate according to the sound output from the speaker 80 described later. As a method of combining the vibration generated by the vibration 50 and the sound output from the speaker 80, for example, if the fluctuation of emotion is small, only the vibration 50 is vibrated with a weak vibration, and if the fluctuation is large, the frequency corresponds to the sound frequency. For example, it may vibrate at a vibration frequency and with a strong vibration intensity.
スピーカ80により感情通知動作を実行する場合、感情通知動作指示部205は、特徴的な感情が入力されると、感情コンテンツ記憶部204から特徴的な感情に対応する音情報を読み出し、読み出した音情報を出力するようスピーカ80に指示する。スピーカ80が、特徴的な感情に対応させた音情報を出力することにより(例えば、各感情毎に異なる音楽、メロディを設定するようにしたりする。このメロディとして携帯電話機が着信時に鳴らす着信メロディを選択するようにしても良い)、携帯電話機使用者は聴覚的に容易に音声を発した人物の感情を判断することができる。なお、各感情毎に異なる音楽、メロディを設定する構成について述べたが、複数の感情に共通の音楽、メロディを設定して、感情毎にその音楽、メロディの音調を変えるように設定しても良い。 When the emotion notification operation is executed by the speaker 80, the emotion notification operation instruction unit 205 reads the sound information corresponding to the characteristic emotion from the emotion content storage unit 204 when the characteristic emotion is input, and the read sound The speaker 80 is instructed to output information. The speaker 80 outputs sound information corresponding to characteristic emotions (for example, different music or melody is set for each emotion. As this melody, a ringing melody that the mobile phone rings when receiving an incoming call is used. The mobile phone user can easily determine the emotion of the person who uttered the sound easily. In addition, although the configuration that sets different music and melody for each emotion was described, it is possible to set music and melody common to multiple emotions and change the tone of the music and melody for each emotion. good.
香り発生装置90により感情通知動作を実行する場合、感情通知動作指示部205は、特徴的な感情が入力されると、感情コンテンツ記憶部204から特徴的な感情に対応する香り情報を読み出し、読み出した香り情報に対応する芳香を出すよう香り発生装置90に指示する。香り発生装置90が、特徴的な感情に対応させた芳香を出すことにより、携帯電話機使用者は嗅覚的に容易に音声を発した人物の感情を判断することができる。なお、各感情ごとに異なる芳香を出させるようにする構成でも構わないが、複数の感情に共通の芳香を設定して、感情毎にその芳香の濃度を変えるように設定しても良い。 When the emotion notification operation is executed by the scent generating device 90, the emotion notification operation instruction unit 205 reads out and reads the scent information corresponding to the characteristic emotion from the emotion content storage unit 204 when the characteristic emotion is input. The scent generating device 90 is instructed to emit scent corresponding to the scent information. When the scent generating device 90 produces a fragrance corresponding to a characteristic emotion, the mobile phone user can easily determine the emotion of the person who uttered the sound in an olfactory manner. In addition, although the structure which makes a different fragrance produce for every emotion may be sufficient, you may set so that the fragrance common to a several emotion may be set and the density | concentration of the fragrance may be changed for every emotion.
なお、本発明の携帯電話機は、表示部30、LED40、バイブレーション50、スピーカ80、または香り発生装置90等のデバイスのうちのいずれか1つを利用する構成でも良いし、組み合わせて動作させる構成であっても良い。 The mobile phone of the present invention may be configured to use any one of devices such as the display unit 30, the LED 40, the vibration 50, the speaker 80, or the scent generating device 90, or may be configured to operate in combination. There may be.
また、感情通知動作指示部205は、図1のメール送信部60に感情コンテンツ記憶部204から読み出した特徴的な感情に対応する感情通知動作を他携帯電話機に送信するように指示する。感情通知装置20が備わっておらず、音声信号からその音声を発した人物の感情を推定することができない他携帯電話機に、特徴的な感情に対応する感情通知動作情報をメールにより送信することにより、他携帯電話機使用者も当該携帯端末使用者と同様に容易に音声を発した人物の感情を判断することができる。当該携帯端末使用者が感情通知動作を確認した後にメールを送信するようにしても良いし、また、自動で通話相手の携帯電話機に送信するようにしても良い。 The emotion notification operation instruction unit 205 instructs the mail transmission unit 60 of FIG. 1 to transmit an emotion notification operation corresponding to the characteristic emotion read from the emotion content storage unit 204 to another mobile phone. By sending emotion notification operation information corresponding to characteristic emotions by e-mail to other mobile phones that are not equipped with the emotion notification device 20 and cannot estimate the emotion of the person who uttered the voice from the voice signal. Other mobile phone users can easily determine the emotion of the person who uttered the voice, as with the mobile terminal user. The mobile terminal user may send an email after confirming the emotion notification operation, or may automatically send it to the mobile phone of the other party.
また、感情通知動作指示部205は、図1の記憶部70に記録された、過去の通話における通話相手、通話時刻、通話時間などの通話状態を示す通話履歴701に、感情特定部203で特定した特徴的な感情とその感情を特定した通話における通話状態とを記録するよう記録部70に指示する。通話履歴701を記録した後、携帯電話機使用者が通話履歴701を表示部30に表示させ、通話履歴に記録されている感情を確認した場合、感情コンテンツ記憶部204から通話履歴に記録されている感情に対応する感情通知動作を読み出し、これらのデバイスに動作指示を出力する。 Further, the emotion notification operation instruction unit 205 specifies the call history 701 recorded in the storage unit 70 of FIG. 1 and indicating a call state such as a call partner, a call time, and a call time in a past call by the emotion specifying unit 203. The recording unit 70 is instructed to record the characteristic emotion and the call state in the call specifying the emotion. After recording the call history 701, when the mobile phone user displays the call history 701 on the display unit 30 and confirms the emotion recorded in the call history, it is recorded in the call history from the emotion content storage unit 204. The emotion notification operation corresponding to the emotion is read, and an operation instruction is output to these devices.
従来、通話履歴を記録しても、メールの送受信履歴のように、その送受信履歴を確認して過去の対話状況を確認することができず、通話履歴から過去の通話内容を振り返ることは困難であったが、本発明の第1実施形態の携帯電話機によれば、通話履歴に、ある通話から特定した感情とその通話における通話状態と記録するため、通話履歴を確認したときにその通話で当該携帯電話機使用者または通話相手がどのような感情であったのかを確認することができ、その通話における通話内容を容易に振り返ることが可能になる。 Conventionally, even if the call history is recorded, it is difficult to check the past conversation status by checking the transmission / reception history like the mail transmission / reception history, and it is difficult to look back on the past call contents from the call history. However, according to the mobile phone of the first embodiment of the present invention, since the emotion specified from a certain call and the call state in the call are recorded in the call history, when the call history is confirmed, It is possible to confirm the feeling of the mobile phone user or the other party, and it is possible to easily look back on the content of the call in the call.
なお、感情通知動作指示部205は、感情コンテンツ記憶部204から特徴的な感情に対応する感情通知動作を読み出す際、当該携帯電話機により通知される感情の通知頻度などの感情通知装置20による内的要因、或いは、感情通知動作を読み出す際の日時、当該携帯電話機による通話時間、または、当該携帯電話機に備えられた位置情報取得機能により特定される現在位置などの感情通知装置20以外の装置による外的要因が特定の条件を満たしたときに通常読み出す感情通知動作とは異なる感情通知動作を読み出すようにしても良い。このとき、特定の条件には、感情の通知頻度の場合は、感情特定部203がある感情を一定回数以上特定したとき、日時の場合はその日時が正月、クリスマスなどの日付、若しくは昼、夜、深夜などの時間帯に一致、若しくは含まれるとき、現在位置の場合はその現在位置が遊園地や海などの場所に含まれる、若しくは近いとき、などが含まれる。 When the emotion notification operation instruction unit 205 reads the emotion notification operation corresponding to the characteristic emotion from the emotion content storage unit 204, the emotion notification device 20 determines the internal frequency of the emotion notification device 20 and the like. Factors or the date and time when the emotion notification operation is read, the call time of the mobile phone, or the current location specified by the location information acquisition function provided in the mobile phone, etc. You may make it read the emotion notification operation | movement different from the emotion notification operation | movement normally read when a specific factor satisfy | fills specific conditions. At this time, in the case of the emotion notification frequency, the specific condition is that when the emotion specifying unit 203 specifies a certain number of emotions more than a certain number of times, in the case of a date, the date is a date such as New Year, Christmas, or daytime When the current position is coincident with or included in a time zone such as midnight, the current position is included or close to a place such as an amusement park or the sea.
図5に、本発明の第1実施形態の携帯電話機の表示部に表示する画像のカテゴリを示す。カテゴリ1は条件無しで表示部30に表示される画像であり、カテゴリ2はある感情が一定回数以上特定されたときに表示される画像であり、カテゴリ3はある感情が特定されたときに非常に低い確率で偶発的に表示される画像であって、カテゴリ1、2、3は内的要因毎に、カテゴリ1からカテゴリ3にかけて表示頻度が小さくなるように分類されている。また、カテゴリ4は当該携帯端末の現在位置が所定の場所に含まれるときに表示される画像であり、カテゴリ5は当該携帯端末の現在位置が所定の場所に含まれ、かつ、当該携帯電話機による通話時間が所定の時間を越えているときに表示される画像であって、カテゴリ4、5は主に外的要因毎に分類されている。このように画像毎に表示頻度を設定することで、携帯電話機使用者は、携帯電話機に感情通知を実行させるときの娯楽性を高めることができ、長期にわたって感情通知を楽しむことができる。 FIG. 5 shows categories of images displayed on the display unit of the mobile phone according to the first embodiment of the present invention. Category 1 is an image that is displayed on the display unit 30 without any conditions, category 2 is an image that is displayed when a certain emotion is identified a certain number of times, and category 3 is an emergency that is displayed when a certain emotion is identified. The categories 1, 2, and 3 are classified so that the display frequency decreases from category 1 to category 3 for each internal factor. Category 4 is an image displayed when the current position of the mobile terminal is included in the predetermined location, and category 5 includes the current position of the mobile terminal in the predetermined location, and the mobile phone The images are displayed when the call time exceeds a predetermined time. Categories 4 and 5 are mainly classified according to external factors. By setting the display frequency for each image in this manner, the mobile phone user can improve the entertainment when the mobile phone performs emotion notification, and can enjoy emotion notification over a long period of time.
また、記憶部70の通話履歴701に、感情特定部203で特定した特徴的な感情とその感情を特定した通話における通話状態とを記録するようにしたが、感情コンテンツ記憶部204から読み出した、特徴的な感情に対応する感情通知動作とその感情を特定した通話における通話状態とを記録するようにしてもよい。この構成により、感情通知動作指示部205は、携帯電話機使用者が通話履歴701に記録されている感情を確認した場合に、感情コンテンツ記録部204から通話履歴に記録されている感情に対応する感情通知動作を検索する時間を省いて直接通信履歴からその感情通知動作を読み出すことができるため、通話履歴に記録されている感情の確認からデバイスの動作までにかかる時間を短縮することができる。 Further, the characteristic emotion specified by the emotion specifying unit 203 and the call state in the call specifying the emotion are recorded in the call history 701 of the storage unit 70, but read from the emotion content storage unit 204. You may make it record the emotion notification operation | movement corresponding to a characteristic emotion, and the call state in the telephone call which specified the emotion. With this configuration, when the mobile phone user confirms the emotion recorded in the call history 701, the emotion notification operation instruction unit 205 corresponds to the emotion recorded in the call history from the emotion content recording unit 204. Since the emotion notification operation can be read directly from the communication history without searching for the notification operation, the time required from the confirmation of the emotion recorded in the call history to the operation of the device can be reduced.
次に、本発明の第1実施形態の携帯電話機における、音声の入力から感情の通知および記録までの処理の流れを説明する。図6に、本発明の第1実施形態の携帯電話機による処理の流れを示すフローチャートを示す。 Next, the flow of processing from voice input to emotion notification and recording in the mobile phone according to the first embodiment of the present invention will be described. FIG. 6 is a flowchart showing the flow of processing by the mobile phone according to the first embodiment of the present invention.
感情推定部201は、通信部101から通話が開始したことを通知されると(S600)、音声信号出力部102から音声信号が入力される(S601a〜S601c)。このとき、通話相手から受信した音声信号または当該携帯電話機使用者の音声信号、あるいはその両方の音声信号が入力される。感情推定部201は、入力された音声信号からその音声を発した人物の感情を推定し(S602)、推定した感情情報の主要因子毎の数値を感情蓄積部202に逐次出力する。通信部101から通話が終了したことが感情推定部201に通知されると(S603)、感情特定部203は、ある通話における通話開始から通話終了までの各々の因子毎の数値から、特徴的な感情を特定し(S604)、その特徴的な感情を感情通知動作指示部205に出力する。感情通知動作指示部205は、特徴的な感情が入力されると、感情コンテンツ記憶部204から特徴的な感情に対応する感情通知動作を読み出し、表示部30、LED40またはバイブレーション50などのデバイスに動作指示を出力する(S605)。 When the emotion estimation unit 201 is notified by the communication unit 101 that a call has started (S600), an audio signal is input from the audio signal output unit 102 (S601a to S601c). At this time, the voice signal received from the other party, the voice signal of the mobile phone user, or both voice signals are input. The emotion estimation unit 201 estimates the emotion of the person who uttered the voice from the input voice signal (S602), and sequentially outputs a numerical value for each major factor of the estimated emotion information to the emotion accumulation unit 202. When the emotion estimation unit 201 is notified from the communication unit 101 that the call has ended (S603), the emotion identification unit 203 determines the characteristic from the numerical values for each factor from the start of the call to the end of the call in a call. The emotion is specified (S604), and the characteristic emotion is output to the emotion notification operation instruction unit 205. When a characteristic emotion is input, the emotion notification operation instruction unit 205 reads an emotion notification operation corresponding to the characteristic emotion from the emotion content storage unit 204, and operates on a device such as the display unit 30, the LED 40, or the vibration 50. An instruction is output (S605).
携帯電話機使用者が、特徴的な感情または特徴的な感情に対応する感情通知動作と通話状態とを通話履歴701に記録するように指示すれば(S607、YES)、記録し(S608)、特徴的な感情に対応する感情通知動作を他携帯電話機に送信するように指示すれば(S609)、他携帯電話機にその感情通知動作情報を送信する(S610)。 If the mobile phone user instructs to record the characteristic emotion or the emotion notification action corresponding to the characteristic emotion and the call state in the call history 701 (S607, YES), the characteristic is recorded (S608). If an instruction to send an emotion notification operation corresponding to a specific emotion is sent to another mobile phone (S609), the emotion notification operation information is sent to the other mobile phone (S610).
図6のフローチャートでは、図1に示す構成の本発明の第1実施形態の携帯電話機により、通話時に入力される音声信号からその音声を発した人物の感情を推定する処理を行ったが、別の手段により入力される音声信号からその音声を発した人物の感情を推定する処理も考えられる。ここでは、別の手段の1例として、近年の携帯電話機が有する留守番電話機能(携帯電話機利用者が音声通話着信に応答できない場合に、携帯電話機が自動でその音声通話着信に応答し、通話相手の音声を録音する機能。以下の説明では、通話相手の音声を携帯電話機が備える記憶装置に記憶する場合を想定している)を利用し、その留守番電話機能により録音した音声信号から感情を推定する処理について説明する。図14に、本発明の第1実施形態の携帯電話機の別例の構成図を、図15に、本発明の第1実施形態の携帯電話機による処理の流れの別例を示すフローチャートを、それぞれ示す。なお、図14、15において、図1、6と同一の参照符号を割り当てた各部の機能、各処理は、上述した通りであるため、説明を省略する。 In the flowchart of FIG. 6, the cellular phone according to the first embodiment of the present invention having the configuration shown in FIG. 1 performs the process of estimating the emotion of the person who uttered the voice from the voice signal input during the call. A process for estimating the emotion of the person who uttered the voice from the voice signal input by the above means is also conceivable. Here, as an example of another means, an answering machine function of a recent mobile phone (when a mobile phone user cannot respond to an incoming voice call, the mobile phone automatically responds to the incoming voice call and In the following explanation, it is assumed that the voice of the other party is stored in the storage device of the mobile phone), and the emotion is estimated from the voice signal recorded by the answering machine function. Processing to be performed will be described. FIG. 14 shows a configuration diagram of another example of the mobile phone according to the first embodiment of the present invention, and FIG. 15 shows a flowchart showing another example of the flow of processing by the mobile phone according to the first embodiment of the present invention. . 14 and 15, the functions and processes of the respective units to which the same reference numerals as those in FIGS. 1 and 6 are assigned are the same as described above, and thus description thereof is omitted.
図14の携帯電話機の構成図は、図1の構成にさらに、ガイダンス音記憶部105、音声記憶部106を追加したものである。ガイダンス音記憶部105は、携帯電話機利用者が音声通話着信に応答できない場合に通話装置10が自動でその音声通話着信に応答した際、携帯電話機利用者が音声通話着信に応答できない旨を通話相手に音声出力するための音声信号を記憶している。音声記憶部106は、通話装置10が自動でその音声通話着信に応答した後、通話相手から受信した音声信号を記憶する。 14 is obtained by adding a guidance sound storage unit 105 and a voice storage unit 106 to the configuration of FIG. The guidance sound storage unit 105 indicates that the mobile phone user cannot respond to an incoming voice call when the mobile device automatically responds to the incoming voice call when the mobile phone user cannot respond to the incoming voice call. A voice signal for outputting a voice is stored. The voice storage unit 106 stores a voice signal received from the call partner after the call device 10 automatically responds to the incoming voice call.
次に、本発明の第1実施形態の携帯電話機における、留守番電話機能を利用して録音した音声から感情の通知をする処理の流れを、図15を参照して説明する。 Next, the flow of processing for notifying emotions from voices recorded using the answering machine function in the mobile phone according to the first embodiment of the present invention will be described with reference to FIG.
通信部101は、音声通話着信を受け付けたとき(ステップS1401)、留守番電話機能を利用するよう携帯電話機が設定されているかを判定する(ステップS1402)。通信部101は、留守番電話機能を利用するよう設定されていると判定すると(着信の受け付け開始から所定の時間その着信に応答しない場合に留守番電話機能を利用するようにした携帯電話機の場合には、ステップS1402の判定基準に、着信の受け付け開始から計時した時間が所定の時間を越えるか否かという判定基準が追加される。この場合のように、留守番電話機能を利用するよう設定されているかを判定する判定基準は適宜追加、組み合わされる)、音声通話着信に応答し、音声信号出力部102がガイダンス音記憶部105から読み出した音声信号を、送話音声として出力する(S1403)。音声信号出力部102は、ステップS1403の後、通信部101が通話相手からの受話音声を入力すると、その受話音声を音声記憶部106に記憶させる。感情推定部201は、音声信号出力部102を介して入力した、音声記憶部106に記憶した音声信号から、その音声を発した人物の感情を推定する。以降、ステップS603の処理で通話が終了すれば、音声信号出力部102は、受話音声を音声記憶部106に記憶させる処理を終了し、感情推定部201が推定した感情に基づく感情通知動作を各種デバイスに実行させることになる。 When receiving an incoming voice call (step S1401), the communication unit 101 determines whether the mobile phone is set to use the answering machine function (step S1402). If the communication unit 101 determines that the answering machine function is set to be used (in the case of a mobile phone that uses the answering machine function when it does not respond to the incoming call for a predetermined time from the start of reception of the incoming call, In addition, a criterion of whether or not the time measured from the start of reception of incoming calls exceeds a predetermined time is added to the criterion of step S1402.Is it set to use the answering machine function as in this case? In response to the incoming voice call, the voice signal output unit 102 outputs the voice signal read from the guidance sound storage unit 105 as the transmission voice (S1403). After step S1403, the audio signal output unit 102 stores the received voice in the voice storage unit 106 when the communication unit 101 inputs the received voice from the other party. The emotion estimation unit 201 estimates the emotion of the person who has emitted the voice from the voice signal stored in the voice storage unit 106 input via the voice signal output unit 102. Thereafter, when the call ends in the process of step S603, the voice signal output unit 102 ends the process of storing the received voice in the voice storage unit 106, and performs various emotion notification operations based on the emotion estimated by the emotion estimation unit 201. Will cause the device to run.
従来の留守番電話機能では、留守番電話に録音があったという情報のみが通知手段(表示部、LED、バイブレーションなど)により通知されていた為、録音された音声自体の内容や緊急度は、録音された音声を再生するまで分からなかった。このため、携帯電話機利用者は録音された音声があるという事実を知っていたが、緊急度の高い内容だとは判別できず、その結果、録音された音声を再生せずにいたために、音声を録音してくれていた通話相手とのコミュニケーションが途切れてしまっていた。本発明の第1実施形態の携帯電話機のように、留守番電話機能を利用して通話相手の音声を録音すると共に、その留守番電話機能により録音した音声信号から感情を推定し、その感情についての情報を通知する構成により、携帯電話機利用者は、録音された音声があるという事実だけでなく、その録音された音声の内容、緊急度を同時に判別することが出来るようになり、その結果、円滑なコミュニケーションをとることが可能になる。このような構成は、特に、何らかの事情で着信には応答できないが、録音中の音声、あるいは録音が終了した音声があることを比較的短時間で知ることができる状況(例えば、電車内にいる場合であったり、会議中であったりするなど)に、より効果的に円滑なコミュニケーションを実現することができる。 In the conventional answering machine function, only the information that the answering machine was recorded was notified by the notification means (display unit, LED, vibration, etc.), so the contents and urgency of the recorded voice itself are recorded. I didn't know until I played the voice. For this reason, mobile phone users knew the fact that there was recorded audio, but it was not possible to determine that the content was urgent, and as a result, the recorded audio was not played back. Communication with the other party who was recording the voice was interrupted. As with the mobile phone of the first embodiment of the present invention, the voice of the other party is recorded using the answering machine function, the emotion is estimated from the voice signal recorded by the answering machine function, and information about the emotion is recorded The mobile phone user can determine not only the fact that there is a recorded voice but also the content and urgency of the recorded voice at the same time. It becomes possible to take communication. In particular, such a configuration cannot respond to an incoming call for some reason, but it can be known in a relatively short time that there is a voice being recorded or a voice that has been recorded (for example, in a train). Smooth communication can be realized more effectively when it is a case or during a meeting.
次に、本発明の第1実施形態の携帯電話機における、通話履歴の確認の処理の流れを説明する。図7に、本発明の第1実施形態の携帯電話機における通話履歴確認のフローチャートを、図8に、本発明の第1実施形態の携帯電話機における表示部の通話履歴表示例を、それぞれ示す。 Next, the flow of processing for confirming a call history in the mobile phone according to the first embodiment of the present invention will be described. FIG. 7 shows a call history confirmation flowchart in the mobile phone of the first embodiment of the present invention, and FIG. 8 shows a call history display example of the display unit in the mobile phone of the first embodiment of the present invention.
携帯電話機使用者が、図8(a)の通話履歴確認ボタンを押して表示部30に図8(b)に示す通話履歴を表示させ、通話履歴中の1件を選択し(S700)、その1件の通話時における感情を確認しようとすると(S701、YES)、感情通知動作指示部205は、通話履歴701に記録された特徴的な感情を読み出し、感情コンテンツ記憶部204からその特徴的な感情に対応する画像を読み出して表示部30にその画像を表示するよう指示し(S702)、表示部30は、図8(d)に示す画像を出力する(S703)。 The mobile phone user presses the call history confirmation button in FIG. 8A to display the call history shown in FIG. 8B on the display unit 30 and selects one in the call history (S700). When it is attempted to confirm the emotion at the time of the call (S701, YES), the emotion notification operation instruction unit 205 reads the characteristic emotion recorded in the call history 701, and the characteristic emotion is stored in the emotion content storage unit 204. Is read and the display unit 30 is instructed to display the image (S702), and the display unit 30 outputs the image shown in FIG. 8D (S703).
このように、通話から特定した感情とその通話における通話状態とを通話履歴に記録することにより、通話履歴を確認したときにその通話で当該携帯電話機使用者または通話相手がどのような感情であったのかを確認することができ、その通話における通話内容を容易に振り返ることが可能になる。 In this way, by recording the emotion identified from the call and the call state in that call in the call history, when the call history is confirmed, what kind of emotion the mobile phone user or the other party is in the call? It is possible to check the contents of the call in the call.
なお、本発明の第1実施形態の携帯電話機において、特定した特徴的な感情を通話履歴を利用して確認するように述べたが、通話履歴に限らず、携帯電話機の機能として利用される電話帳またはスケジューラを利用して確認するようにしても良い。以下、本発明の第1実施形態の携帯電話機における、電話帳の確認の処理の流れ及びスケジューラの確認の処理の流れを説明する。 In the mobile phone according to the first embodiment of the present invention, it has been described that the identified characteristic emotion is confirmed using the call history. However, the phone is not limited to the call history and is used as a function of the mobile phone. You may make it confirm using a book or a scheduler. Hereinafter, the flow of the telephone directory confirmation process and the scheduler confirmation process in the cellular phone according to the first embodiment of the present invention will be described.
本発明の第1実施形態の携帯電話機における、電話帳の確認の処理の流れを説明する。図9に、本発明の第1実施形態の携帯電話機における電話帳確認のフローチャートを、図10に、本発明の第1実施形態の携帯電話機における表示部の電話帳表示例を、それぞれ示す。 A flow of a telephone directory confirmation process in the mobile phone according to the first embodiment of the present invention will be described. FIG. 9 shows a flowchart of phone book confirmation in the mobile phone according to the first embodiment of the present invention, and FIG. 10 shows a phone book display example of the display unit in the mobile phone according to the first embodiment of the present invention.
図6に示すステップ608において、特徴的な感情または特徴的な感情に対応する感情通知動作を電話帳に登録された通話相手の個人情報として通話時刻とともに電話帳702に記録した後、携帯電話機使用者が、図10(a)の電話帳選択ボタンを押して表示部30に電話帳を表示させて、図10(c)に示すように電話帳中の1名を選択し(S900)、該当人物の通話時における感情を確認しようとすると(S901、YES)、感情通知動作指示部205は、電話帳702に記録された特徴的な感情を読み出し(S902)、感情コンテンツ記憶部204からその特徴的な感情に対応する画像を読み出して表示部30にその画像を通話時刻に基づいて時系列的に表示するよう指示し(S903)、表示部30は、図10(e)に示す画像を出力する(S904)。 In step 608 shown in FIG. 6, after the characteristic emotion or the emotion notification operation corresponding to the characteristic emotion is recorded in the telephone directory 702 together with the call time as personal information of the other party registered in the telephone directory, the cellular phone is used. The person presses the telephone book selection button in FIG. 10A to display the telephone book on the display unit 30 and selects one person in the telephone book as shown in FIG. 10C (S900). If the emotion at the time of the call is to be confirmed (S901, YES), the emotion notification operation instruction unit 205 reads the characteristic emotion recorded in the telephone directory 702 (S902), and the characteristic is stored in the emotion content storage unit 204. The image corresponding to the emotion is read out and the display unit 30 is instructed to display the image in time series based on the call time (S903). The display unit 30 is shown in FIG. And outputs the image (S904).
このように、通話から特定した感情を電話帳に登録された通話相手の個人情報として電話帳に記録することにより、電話帳を確認した際に、電話帳に登録された人物の感情が携帯端末使用者との通話によってどのように推移したかを容易に確認することができる。 In this way, by recording the emotion identified from the call in the phone book as the personal information of the other party registered in the phone book, when the phone book is confirmed, the emotion of the person registered in the phone book is It is possible to easily confirm how the call has changed due to a call with the user.
また、本発明の第1実施形態の携帯電話機における、スケジューラの確認の処理の流れを説明する。図11に、本発明の第1実施形態の携帯電話機におけるスケジューラ確認のフローチャートを、図12に、本発明の第1実施形態の携帯電話機における表示部のスケジューラ表示例を、それぞれ示す。 The flow of the scheduler confirmation process in the mobile phone according to the first embodiment of the present invention will be described. FIG. 11 shows a flowchart of scheduler confirmation in the mobile phone according to the first embodiment of the present invention, and FIG. 12 shows a scheduler display example of the display unit in the mobile phone according to the first embodiment of the present invention.
携帯電話機使用者が、図12(a)のスケジューラ選択ボタンを押して表示部30にスケジューラを表示させて、図12(b)に示すようにカレンダ上の1つの日付を選択し(S1100)、該当日付の通話時における感情を確認しようとすると(S1101、YES)、感情通知動作指示部205は、該当日時における通話履歴701に記録された特徴的な感情を読み出し(S1102)、感情コンテンツ記憶部204からその特徴的な感情に対応する画像を読み出して表示部30にその画像を通話相手毎に表示するよう指示し(S1103)、表示部30は、図12(d)に示す画像を出力する(S1104)。 The mobile phone user presses the scheduler selection button in FIG. 12A to display the scheduler on the display unit 30 and selects one date on the calendar as shown in FIG. 12B (S1100). When an attempt is made to confirm the emotion during the date call (S1101, YES), the emotion notification operation instruction unit 205 reads the characteristic emotion recorded in the call history 701 at the corresponding date (S1102), and the emotion content storage unit 204 Then, an image corresponding to the characteristic emotion is read out and the display unit 30 is instructed to display the image for each call partner (S1103), and the display unit 30 outputs the image shown in FIG. S1104).
このように、通話から特定した感情を日付ごとに読み出すことにより、該当日付に通話した通話内容を容易に振り返ることが可能になる。 In this way, by reading out emotions identified from a call for each date, it is possible to easily look back on the content of a call made on that date.
なお、本発明の第1実施形態の携帯電話機において、通話履歴、電話帳またはスケジューラを利用して読み出した感情を表示部に画像を表示させて確認するようにしたが、LEDまたはバイブレーションなどを作動させて確認するようにしても良い。 In the mobile phone according to the first embodiment of the present invention, the emotion read by using the call history, the phone book or the scheduler is displayed on the display unit for confirmation, but the LED or vibration is activated. You may make it confirm.
(第2実施形態)
本発明の第2実施形態の携帯電話機について図面を参照して詳細に説明する。図13に、本発明の第2実施形態の携帯電話機を含むシステムの構成図を示す。本発明の第2実施形態の携帯電話機は、第1実施形態の携帯電話機の構成に加えて、表示部30、LED40またはバイブレーション50などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶サーバ2から、感情コンテンツを取得する感情コンテンツ取得部206を含んで構成されている。なお、図1と同一符号のものは、同一の構成を示しており、説明は省略する。
(Second Embodiment)
A mobile phone according to a second embodiment of the present invention will be described in detail with reference to the drawings. FIG. 13 shows a configuration diagram of a system including the mobile phone according to the second embodiment of the present invention. The cellular phone according to the second embodiment of the present invention includes an emotion content storage server 2 that stores emotion notification operations by devices such as the display unit 30, the LED 40, or the vibration 50 in addition to the configuration of the cellular phone according to the first embodiment. An emotion content acquisition unit 206 that acquires emotion content is included. In addition, the thing of the same code | symbol as FIG. 1 has shown the same structure, and abbreviate | omits description.
感情コンテンツ取得部206は、感情コンテンツ記憶サーバ2から取得した感情通知動作を感情コンテンツ記憶部204に出力する。感情コンテンツ記憶部204は、感情コンテンツ取得部206から入力された感情通知動作を新たに追加して記憶する。 The emotion content acquisition unit 206 outputs the emotion notification operation acquired from the emotion content storage server 2 to the emotion content storage unit 204. The emotion content storage unit 204 newly adds and stores the emotion notification operation input from the emotion content acquisition unit 206.
携帯電話機外部に設けられたサーバから感情通知動作を取得することにより、携帯電話機使用者は、表示部、LED、またはバイブレーション等による感情通知動作を容易に新しいものを追加することができ、長期にわたって感情通知を楽しむことができる。 By acquiring the emotion notification operation from a server provided outside the mobile phone, the mobile phone user can easily add a new emotion notification operation using a display unit, LED, or vibration, etc. You can enjoy feelings notifications.
(第3実施形態)
図21は、本発明の第3実施形態の携帯電話機の構成を図的に示したものである。携帯電話11の構成の多くの部分は第1の実施携帯記載の携帯電話機1の構成と同一であり、以下に構成が相違している箇所を中心に述べる。
(Third embodiment)
FIG. 21 schematically shows the configuration of the mobile phone according to the third embodiment of the present invention. Many parts of the configuration of the mobile phone 11 are the same as the configuration of the mobile phone 1 described in the first embodiment mobile phone, and the following description focuses on the differences in configuration.
携帯電話機11の感情通知装置20において、音声入力切換制御部200は、感情推定部201に入力する音声入力を選択的に制御する。携帯電話機使用者の入力操作部95の操作によって、受話音声、送話音声のいずれか、又は両方の音声を入力とするかの設定が行われ、その設定は制御設定記憶部206に記憶される。音声入力切換制御部200は、入力された通話装置10の通信部101から通話が開始したことを通知されると、前記音声入力設定に基づいて、通話装置10から入力された音声信号を選択的に出力する。出力された音声信号は感情推定部201に入力され、その音声を発した人物の感情を推定する。 In the emotion notification device 20 of the mobile phone 11, the voice input switching control unit 200 selectively controls the voice input to be input to the emotion estimation unit 201. Depending on the operation of the input operation unit 95 of the mobile phone user, setting is made as to whether the received voice, the transmitted voice, or both voices are input, and the setting is stored in the control setting storage unit 206. . When the voice input switching control unit 200 is notified by the communication unit 101 of the inputted call device 10 that the call has started, the voice input switching control unit 200 selectively selects the voice signal input from the call device 10 based on the voice input setting. Output to. The output voice signal is input to the emotion estimation unit 201, and the emotion of the person who has emitted the voice is estimated.
感情蓄積部202は、推定された感情を一時的に蓄積する。 The emotion accumulation unit 202 temporarily accumulates the estimated emotion.
感情推定部203は、前記蓄積された推定された感情から特徴的な感情が出力されると、前記特徴的な感情通話のあった時刻に関連付けて記憶部70に感情データ703として記憶する。 When the emotion estimation unit 203 outputs a characteristic emotion from the accumulated estimated emotion, the emotion estimation unit 203 stores it as the emotion data 703 in the storage unit 70 in association with the time of the characteristic emotion call.
感情コンテンツ記憶部204は、表示部30、LED40またはバイブレーション50などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶部204から、特徴的な感情に対応する感情通知動作の出力制御データ704や画像データ705を記憶する。 The emotion content storage unit 204 stores output control data 704 and image data of emotion notification operations corresponding to characteristic emotions from the emotion content storage unit 204 that stores emotion notification operations by devices such as the display unit 30, the LED 40, or the vibration 50. 705 is stored.
感情通知動作指示部205は、記憶部70に記憶された通話履歴データ701が参照されると、感情データ703を参照して、出力制御データ704や画像データ705を読み出し、出力制御部80にデバイスへの感情通知動作の出力指示を行う。 When the call history data 701 stored in the storage unit 70 is referred to, the emotion notification operation instruction unit 205 reads the output control data 704 and the image data 705 with reference to the emotion data 703, and sends the device to the output control unit 80. Instructs the user to output the emotion notification operation.
出力制御部80はこれらのデバイスへの動作制御を行う。 The output control unit 80 performs operation control on these devices.
なお、表示部30、LED40またはバイブレーション50などのデバイスへの感情通知動作の出力について、携帯電話機使用者が入力操作部95によって設定したひとつのデバイスに感情通知動作を実行させるようにしても良いし、複数のデバイスに同時に感情通知動作を実行させるようにしてもよい。複数のデバイスの動作実行を行うと、たとえば、感情通知の表現力が高まり、携帯電話機使用者にはより効果的に通話の際の感情が伝えられる効果が生じる。また、表示部30、LED40は互いに出力の方法は異なるが、ともに視覚的な出力を行うデバイスであるので、LED40は表示部30の近くに位置しているのが良い。近くに位置すると表示部30とLED40とが同時に視野に入るので、表示部30とLED40とに同時に出力すると、それぞれ単独で出力するよりも視覚的刺激が大きくなるという効果を有する。 In addition, regarding the output of the emotion notification operation to a device such as the display unit 30, the LED 40, or the vibration 50, the emotion notification operation may be executed by one device set by the mobile phone user using the input operation unit 95. A plurality of devices may simultaneously execute the emotion notification operation. When the operation of a plurality of devices is performed, for example, the expressiveness of emotion notification is enhanced, and the mobile phone user has an effect that emotions during a call can be transmitted more effectively. Further, although the display unit 30 and the LED 40 are different from each other in output method, they are both devices that perform visual output, so the LED 40 is preferably located near the display unit 30. If the display unit 30 and the LED 40 enter the visual field at the same time when they are located close to each other, the simultaneous output to the display unit 30 and the LED 40 has an effect that the visual stimulus becomes larger than the output of each independently.
出力制御データ704としては、表示部30の発光色制御データや、LED40の点滅パターン制御データ、バイブレーション50の振動パターン制御データ等がある。出力制御データはこれらに限るものではなく、例えばデバイスとして音声出力デバイスを備える場合は、対応する音声パターン制御データを持っていれば音声出力デバイスを制御できる。 The output control data 704 includes emission color control data of the display unit 30, blinking pattern control data of the LED 40, vibration pattern control data of the vibration 50, and the like. The output control data is not limited to these. For example, when an audio output device is provided as a device, the audio output device can be controlled if the corresponding audio pattern control data is provided.
感情コンテンツ記憶部204には、出力制御データ704と併せて、画像データ705が記憶されている。画像データ705は、とくに表示部30に画像表示するためのデータである。画像データ705として、ビットマップ形式、GIF形式やJPEG形式等の静止画形式画像データ、Flash形式やMotion JPEG形式等の動画形式画像データを含む。 The emotion content storage unit 204 stores image data 705 together with output control data 704. The image data 705 is data for displaying an image on the display unit 30 in particular. The image data 705 includes bitmap format, still image format image data such as GIF format and JPEG format, and moving image format image data such as Flash format and Motion JPEG format.
ここで、記憶部70および感情コンテンツ記憶部204に記憶されるデータの構成、および前記各データの相互関連付けおよび通話履歴表示における各データの表示について説明する。 Here, the configuration of data stored in the storage unit 70 and the emotion content storage unit 204, and the display of each data in the correlation and the call history display of each data will be described.
通話履歴データ701は、少なくとも(たとえば図示しない計時部208によって計時される)通話のあった時刻、通話時間等の時間情報、電話番号等の通話相手の特定する番号情報から構成される。電話帳データ703は、少なくとも電話番号等の通話相手を特定する番号情報、該番号情報と関連付られる氏名、ニックネーム等の通話相手情報から構成されるが、さらに通話相手関連情報(通話相手に関連付けた文字、画像や音声等)を付加してもよい。通話履歴表示の際、電話番号等の通話相手の特定する番号情報によって、通話履歴データ701と電話帳データとが関連付られ、通話のあった時刻と通信者相手情報が表示される。なお、電話帳データのない通話相手との通話履歴表示においては、通話履歴データ701と電話帳データ703との関連付けを行うことができないので、通話のあった時刻と電話番号等の通話相手の特定する番号情報とが表示される。 The call history data 701 includes at least (for example, timed by a time measuring unit 208 (not shown)) time information such as a call time, time information such as a call time, and number information specified by a call partner such as a telephone number. The phone book data 703 includes at least number information for identifying a call partner such as a telephone number, call partner information such as a name and a nickname associated with the number information, and further includes call partner related information (associated with a call partner). Character, image, sound, etc.) may be added. When the call history is displayed, the call history data 701 and the phone book data are associated with each other by the number information specified by the other party such as a telephone number, and the time when the call was made and the communication partner information are displayed. In addition, in the call history display with the call partner without the phone book data, the call history data 701 and the phone book data 703 cannot be associated with each other, so that the call partner such as the call time and the phone number can be specified. Number information to be displayed.
感情データ703は、少なくとも通話のあった時刻、入力音声の種別(通話相手の音声か、自分の音声か)、および特徴的な感情から構成される。また、感情データ703はさらに、ある通話時刻の通話における通話時間内のどの時間帯のデータであるか識別可能なインデックスを有してもよい。画像データ705は、少なくとも特徴的な感情と、特徴的な感情に対応づけられた画像のデータから構成される。通話履歴表示の際、通話のあった時刻によって、通話履歴データ701と感情データ703と画像データ705とは互いに関連付けられ、少なくとも通話のあった時刻と特徴的な感情に対応づけられた画像のデータとが表示される。 The emotion data 703 includes at least the time when the call was made, the type of the input voice (whether the voice is the other party's voice or one's own voice), and characteristic emotions. Moreover, the emotion data 703 may further include an index that can identify which time zone within the call time of a call at a certain call time. The image data 705 includes at least characteristic emotion and image data associated with the characteristic emotion. When the call history is displayed, the call history data 701, the emotion data 703, and the image data 705 are associated with each other depending on the time of the call, and at least the image data associated with the time of the call and the characteristic emotion. Is displayed.
また、上記の説明によって、感情データ705と電話帳データ703とも関連付けられるので、通話履歴表示の際、たとえば通話のあった時刻と通信相手情報と特徴的な感情とを併せて表示させることができる。これ以外の情報の組み合わせも、上記のデータ間の関連付けによって、可能な組み合わせを表示することができる。 Moreover, since the emotion data 705 and the phone book data 703 are associated with each other as described above, for example, when the call history is displayed, the time when the call was made, the communication partner information, and the characteristic emotion can be displayed together. . Other combinations of information can also be displayed by the association between the data.
制御設定記憶部206に感情表示を行う設定が記憶されている場合、通話終了後もしくは入力操作部95による携帯電話機使用者の通話履歴閲覧指示によって、以下のように感情表示される。感情通知動作制御部205は、記憶された感情データ703に基づき、通話履歴データ701と出力制御データ704とを関連付け、出力制御部80に出力指示し、出力制御部207はデバイスに感情表示制御を行う。 When settings for emotion display are stored in the control setting storage unit 206, emotions are displayed as follows after the call ends or according to a call history browsing instruction of the mobile phone user through the input operation unit 95. The emotion notification operation control unit 205 associates the call history data 701 with the output control data 704 based on the stored emotion data 703, instructs the output control unit 80 to output, and the output control unit 207 performs emotion display control on the device. Do.
次に、携帯電話機使用者による感情推定およびその推定結果表示の初期設定について図17を用いて説明する。
携帯電話機使用者は入力操作部95による入力動作によって、感情推定を行う入力を行う(S171、Yes)。感情推定を行わない場合(S171、No)、初期設定を終了する。続いて、感情推定の対象とする入力音声について、送話音声入力のみ、受話音声入力のみ、送話と受話との音声を混合して入力、送話と受話の音声入力を個別に入力のいずれかから選択する(S172)、さらに続いて感情推定結果の表示形態について、アイコン画像を時系列に表示する、代表のアイコン画像を表示する、動画画像を大画面で表示する、動画画像を小画面で追加するのいずれかから選択する(S173)。以上を行うことによって初期設定を終了する。
Next, emotion estimation by the mobile phone user and initial setting of the estimation result display will be described with reference to FIG.
The mobile phone user performs input for estimating the emotion by the input operation by the input operation unit 95 (S171, Yes). When emotion estimation is not performed (S171, No), the initial setting is terminated. Next, for the input voice that is the target of emotion estimation, either the input of the transmitted voice, the input of the received voice only, the mixed input of the voice of the transmitted and received voices, or the input of the voice input of the transmitted and received voices individually (S172), and subsequently, regarding the display form of the emotion estimation result, the icon image is displayed in time series, the representative icon image is displayed, the moving image is displayed on the large screen, and the moving image is displayed on the small screen In step S173, the user selects one of the items to be added. The initial setting is completed by performing the above.
次に、通話中の感情特定の手順について図18のフローチャートを用いて説明する。
通話が開始されると、計時部208が動作する(S181)。音声入力切替部200によって感情推定部201への音声入力が切り替えられる(S182)。計時部208が単位時間の計時を開始する(S183)。単位時間を経過したら(S184、Yes)、感情推定部201は当該単位時間における各感情の感情のパラメータを出力する(S185)。感情蓄積部202は出力された当該単位時間の感情のパラメータを蓄積する(S186)。感情特定部203は当該単位時間の感情パラメータから当該単位時間における特徴的感情を特定する(S187)。感情蓄積部202は特定された当該単位時間における特徴的感情を蓄積する(S188)。ここで、通話が終了していなければ(S189、No)、S183に戻り次の単位時間の通話の感情推定を開始する。通話が終了していれば(S189、Yes)感情推定を終了する。この手順で感情特定することによって、感情蓄積部203には通話を単位時間に分割した時系列で感情パラメータおよび特徴的感情が蓄積される。
Next, an emotion identification procedure during a call will be described with reference to the flowchart of FIG.
When the telephone call is started, the timer unit 208 operates (S181). The voice input switching unit 200 switches the voice input to the emotion estimation unit 201 (S182). The timer unit 208 starts to measure unit time (S183). When the unit time has elapsed (S184, Yes), the emotion estimation unit 201 outputs emotion parameters of each emotion in the unit time (S185). The emotion accumulation unit 202 accumulates the output emotion parameter for the unit time (S186). The emotion identifying unit 203 identifies the characteristic emotion in the unit time from the emotion parameter of the unit time (S187). The emotion accumulation unit 202 accumulates the characteristic emotion in the specified unit time (S188). Here, if the call has not ended (S189, No), the process returns to S183, and emotion estimation for the next unit time is started. If the call has ended (S189, Yes), emotion estimation ends. By specifying emotions by this procedure, emotion parameters and characteristic emotions are accumulated in the emotion accumulation unit 203 in a time series obtained by dividing a call into unit times.
以下に、上記の感情決定の手順を図面を用いて具体的に説明する。
図20は感情特定部203が出力する感情種類毎の感情の強弱を単位時間の時系列で連続的に表したグラフである。図25の横軸は時間、縦軸は各感情種類の強度を表す。感情特定部203は特定の感情をひとつ抽出するのでなく、愛情、喜び、怒り、悲しみおよびニュートラル、以上すべての感情種類毎に強度(強い感情表現が行われた程度の指標値)を出力する。図21は図20で示したグラフを数値化したものである。単位時間毎に、当該単位時間における感情種類ごとの強度を数値で示している。当該単位時間の感情種類のうち、最大値を示す感情を抽出し、その最大値が予め定めた閾値以上であるならば、その感情を当該単位時間の感情として決定する。たとえば、1番目の単位時間において、愛情の強度が80、喜びが30、怒りが20、悲しみが10、ニュートラルが50であるので、1番目の単位時間において最大値の感情を示すものは愛情となる。また、愛情の強度は80であり、強度閾値の50を超えているので、1番目の単位時間における感情は愛情であると決定される。また、8番目の単位時間において、愛情の強度が30、喜びが20、怒りが10、悲しみが10、ニュートラルが10であるので、8の単位時間において最大値の感情を示すものは愛情となる。しかしながら、愛情の強度は30であり、強度閾値の50を超えないので、8番目の単位時間における感情は判定なしであると決定される。図21の最下部に、単位時間において最大値をとった感情種類をその単位時間の最も特徴的であった感情種類を示す。
Hereinafter, the procedure for determining the emotion will be specifically described with reference to the drawings.
FIG. 20 is a graph in which emotion strength for each emotion type output by the emotion identification unit 203 is continuously represented in a unit time series. In FIG. 25, the horizontal axis represents time, and the vertical axis represents the intensity of each emotion type. The emotion identification unit 203 does not extract one specific emotion, but outputs strength (an index value to the extent that strong emotional expression is performed) for each of the emotion types described above, such as affection, joy, anger, sadness, and neutral. FIG. 21 is a graph of the graph shown in FIG. For each unit time, the intensity for each emotion type in the unit time is indicated by a numerical value. Among emotion types of the unit time, an emotion showing the maximum value is extracted, and if the maximum value is equal to or greater than a predetermined threshold, the emotion is determined as the emotion of the unit time. For example, since the intensity of love is 80, joy is 30, anger is 20, sadness is 10, and neutral is 50 in the first unit time, the one that shows the maximum emotion in the first unit time is love and Become. Moreover, since the intensity of affection is 80 and exceeds the intensity threshold value 50, it is determined that the emotion in the first unit time is affection. In addition, since the intensity of love is 30, joy is 20, anger is 10, sadness is 10, and neutral is 10 in the 8th unit time, what shows the maximum emotion in the 8 unit time is love. . However, since the intensity of love is 30 and does not exceed the intensity threshold of 50, it is determined that the emotion in the eighth unit time is not judged. At the bottom of FIG. 21, the emotion types that have the maximum value in unit time are shown as the emotion types that are most characteristic in the unit time.
次に、通話終了後の感情決定の手順について図19のフローチャートを用いて説明する。
通話が終了すると、通話時間を予め定めた分割数で区間分割する。ここで通話時間の区間分割数をN(Nは自然数)として説明する。通話時間を区間分割数Nと単位時間とで除して、1区間あたり(1区間分割帯)の単位時間の個数を算出する(S191)。感情蓄積部203に蓄積されている単位時間あたりの感情パラメータは各時間分割帯に属するようにくくり直される。各時間分割帯にくくられた単位時間あたりの感情パラメータは、各時間分割帯で感情毎に累積値が再計算され、各時間分割帯での特徴的感情が決定される。以上のようにして決定された区間の推定感情は通話時刻と関連付けられて、記憶部70に記憶される。
Next, the procedure for emotion determination after the call ends will be described with reference to the flowchart of FIG.
When the call ends, the call time is divided into sections by a predetermined number of divisions. Here, it is assumed that the number of divisions of the call time is N (N is a natural number). The call time is divided by the section division number N and the unit time to calculate the number of unit times per section (one section division band) (S191). The emotion parameters per unit time accumulated in the emotion accumulation unit 203 are reduced so as to belong to each time division zone. The emotion parameter per unit time made difficult for each time division zone is recalculated for each emotion in each time division zone, and the characteristic emotion in each time division zone is determined. The estimated emotion of the section determined as described above is stored in the storage unit 70 in association with the call time.
ここで、上記の感情決定の手順を図面を用いて具体的に説明する。図22は図21で示した単位時間の感情パラメータを、時間分割帯にくくり直して再計算する例を示したものである。通話時間を区間分割数Nと単位時間とで除した数を超えない整数値に1を加えた数を単位時間の個数とする。図21の例では通話時間における単位時間の個数は11であり、区間分割数は4であるので、1区間の単位時間数は3である。よって、1番目の区間に1〜3番目の単位時間の感情パラメータをくくる。同様に、2番目の区間に単位時間のパラメータをくくり、そして3番目の区間に7〜9番目の単位時間の感情パラメータをくくる。4番目の単位区間についてはたとえば10、11番目の単位時間のパラメータをくくってもよいし、9〜11番目の感情をくくってもよい。続いて、各区間における各感情パラメータの値を加え合わせ累積する。累積した各感情パラメータの値からの感情の決定は、単位時間における感情の決定と同様の方法によって行われる。 Here, the emotion determination procedure will be described in detail with reference to the drawings. FIG. 22 shows an example of recalculating the emotion parameters per unit time shown in FIG. The number obtained by adding 1 to the integer value not exceeding the number obtained by dividing the call time by the section division number N and the unit time is defined as the number of unit times. In the example of FIG. 21, the number of unit times in the call time is 11, and the number of section divisions is 4, so the number of unit hours in one section is 3. Therefore, emotion parameters for the first to third unit times are included in the first interval. Similarly, a unit time parameter is entered in the second interval, and emotion parameters for the seventh to ninth unit times are entered in the third interval. For the fourth unit section, for example, the parameters of the 10th and 11th unit times may be included, or the 9th to 11th emotions may be included. Subsequently, the value of each emotion parameter in each section is added and accumulated. The determination of the emotion from the accumulated value of each emotion parameter is performed by the same method as the determination of the emotion in unit time.
感情が決定されると、出力制御データに基づいてデバイスに出力が行われる。 When the emotion is determined, output is performed on the device based on the output control data.
続いて、通話履歴における感情の出力について説明する。図23は、記憶部70に記憶された特徴的感情データ703を表示部30に図的に表示する際のアイコンの例を示したものである。図23の左列は感情の種類、右列は感情の種類に対応するアイコンである。各アイコンは感情コンテンツ記憶部204に画像データ705として記憶されている。喜びの感情をたとえば喜びの表情を表すアイコンで置き換えて図的に表示することで、感情を視覚によって直感的に認識することができる。図23においては、感情として、ニュートラル、喜び、怒り、驚き、悲しみ、を例示しているが、感情抽出特定部が抽出可能な感情であれば、他の感情をアイコンに対応づけてもよい。また、対応づけるアイコンは図示されたものに限らず、感情コンテンツ記憶部204に記憶されている他の画像データでもよい。 Next, emotion output in the call history will be described. FIG. 23 shows an example of icons when the characteristic emotion data 703 stored in the storage unit 70 is graphically displayed on the display unit 30. The left column of FIG. 23 shows the types of emotions, and the right column shows icons corresponding to the types of emotions. Each icon is stored as image data 705 in the emotion content storage unit 204. By replacing the emotion of joy with, for example, an icon representing the expression of joy and displaying it graphically, the emotion can be intuitively recognized visually. In FIG. 23, neutral, joy, anger, surprise, and sadness are illustrated as emotions, but other emotions may be associated with icons as long as the emotion extraction specifying unit can extract them. Further, the icon to be associated is not limited to the illustrated one, and may be other image data stored in the emotion content storage unit 204.
図24と図25は、記憶部70に記憶された特徴的感情データ703をLED40に出力する際の発光色、感情の強度に対応するLED発光(点滅)パターンの例を示したものである。図24の左列は感情の種類、右列は感情の種類に対応する発光色設定であり、図25の左列は感情の強度、右列はLEDのON−OFFの時間制御設定である。各LED発光色、LED発光パターンは感情コンテンツ記憶部204に出力制御データ704として記憶されている。例えば怒りの感情を怒りを表す赤のLED発光色で置き換えて出力することで、携帯電話機の使用者は赤の色彩の有する感情イメージから直感的に怒りの感情を認識することができる。図24においては、ニュートラル、喜び、怒り、驚き、悲しみの感情を、それぞれ水色、ピンク、赤、黄、青に対応付けて例示しているが、感情抽出特定部203が抽出可能な感情であれば、他の感情をLED発光色に対応づけてもよい。対応づけるLED発光色は図24に示されたものに限らず、感情コンテンツ記憶部204に記憶されている他の出力制御データによるLED発光色でもよい。また、ある感情が強いこと(例えば感情が怒りの場合、激しく怒っていること)をLEDの高速な点滅によって出力することで、携帯電話機の使用者はある感情が強いことを視覚的刺激によって直感的に認識することができ、ある感情が弱いこと(例えば感情が怒りの場合、少々の怒り加減であること)をLEDの常時点灯によって出力することで、携帯電話機の使用者はある感情が弱いことを視覚的刺激によって直感的に認識することができる。対応づけるLED発光パターンは図25に示されたものに限らず、感情コンテンツ記憶部204に記憶されている他の出力制御データによるLED発光パターンでもよい。また、本実施形態ではLED40はON−OFFの2値の状態を出力するものとして例示しているが、ONの状態を複数指定できる3値以上の状態を出力するものを用いればさらに感情の強さを多岐に出力でき、LEDの発光パターンによる感情の表現力の幅を広げることができる。さらにまた、発光パターンによる感情の強度出力は、LED40の発光色による感情出力と組み合わせて用いることによって、より感情の表現力の幅を広げることができ、携帯電話機の使用者は感情を細やかに認識することができる。 24 and 25 show examples of LED emission (flashing) patterns corresponding to the emission color and emotion intensity when the characteristic emotion data 703 stored in the storage unit 70 is output to the LED 40. FIG. The left column of FIG. 24 is the type of emotion, the right column is the emission color setting corresponding to the type of emotion, the left column of FIG. 25 is the intensity of emotion, and the right column is the LED ON / OFF time control setting. Each LED emission color and LED emission pattern are stored in the emotion content storage unit 204 as output control data 704. For example, by replacing the emotion of anger with a red LED emission color that represents anger and outputting it, the user of the mobile phone can intuitively recognize the emotion of anger from the emotion image of the red color. In FIG. 24, the emotions of neutral, joy, anger, surprise, and sadness are illustrated in association with light blue, pink, red, yellow, and blue, respectively. However, the emotion that can be extracted by the emotion extraction specifying unit 203 is illustrated. For example, other emotions may be associated with the LED emission color. The LED emission color to be associated is not limited to that shown in FIG. 24, but may be an LED emission color based on other output control data stored in the emotion content storage unit 204. In addition, by outputting that a certain emotion is strong (for example, when the emotion is angry, when the emotion is angry) by flashing the LED at high speed, the user of the mobile phone can intuitively understand that a certain emotion is strong by visual stimulation. The user of the mobile phone is weak in certain emotions by outputting that an emotion is weak (for example, if the emotion is anger, a little anger is moderate) by constantly lighting the LED. This can be intuitively recognized by visual stimulation. The LED light emission pattern to be associated is not limited to that shown in FIG. 25, but may be an LED light emission pattern based on other output control data stored in the emotion content storage unit 204. Further, in this embodiment, the LED 40 is exemplified as one that outputs a binary state of ON-OFF, but if an LED that outputs three or more states that can specify a plurality of ON states is used, the emotional strength is further increased. Can be output in a variety of ways, and the range of expressiveness of emotions by the light emission pattern of the LED can be expanded. Furthermore, the emotion intensity output by the light emission pattern can be used in combination with the emotion output by the light emission color of the LED 40, so that the range of expressiveness of the emotion can be further expanded, and the user of the mobile phone recognizes the emotion finely. can do.
[着信履歴の出力形態1]
着信履歴の第1の出力形態を図面を用いて説明する。
図26は、携帯電話機11の表示部30に着信履歴一覧を表示した例である。図26における1件の着信履歴表示301は、受話音声(相手)から抽出された感情に対応する画像を表したアイコン302、着信時刻303、通話時間304、着信相手の氏名305からなる。
[Incoming call output form 1]
A first output form of the incoming call history will be described with reference to the drawings.
FIG. 26 shows an example in which an incoming call history list is displayed on the display unit 30 of the mobile phone 11. One incoming call history display 301 in FIG. 26 includes an icon 302 representing an image corresponding to an emotion extracted from the received voice (partner), an incoming time 303, a call time 304, and a name 305 of the incoming party.
これらの表示を1件の着信履歴として、図26では表示部30の画面で2件分表示を行っている。着信履歴の蓄積が3件以上あるときは入力操作部95を操作することによって別の着信履歴を表示することができる。画面あたりの表示件数は3件以上であってもよく、画面上で着信履歴の視認性を損なわない表示の程度であれば、表示件数は問わない。 With these displays as one incoming call history, two displays are displayed on the screen of the display unit 30 in FIG. When there are three or more incoming call history accumulations, another incoming call history can be displayed by operating the input operation unit 95. The number of displays per screen may be three or more, and the number of displays is not limited as long as the display does not impair the visibility of the incoming call history on the screen.
アイコン302は、通話が開始されてから通話が終了するまで時系列順に左から右に配置される。アイコン302が時系列的に配置されて表示されることによって、携帯電話機の使用者は着信中の相手の感情の時間的変化を視覚的に認識することができる。また、視覚による刺激によって通話後に会話の内容を想起することができる。また、着信時刻303、着信相手の氏名305を併せて表示することによって、携帯電話の使用者は、より確実に会話の内容、会話の流れ、会話時の相手の印象を想起できるという効果がある。 The icons 302 are arranged from left to right in chronological order from the start of the call until the end of the call. By displaying the icons 302 arranged in time series, the user of the mobile phone can visually recognize the temporal change in the emotion of the other party who is receiving the call. In addition, the contents of the conversation can be recalled after a call by visual stimulation. Further, by displaying the incoming time 303 and the name 305 of the called party together, there is an effect that the user of the mobile phone can more surely recall the contents of the conversation, the flow of the conversation, and the impression of the other party during the conversation. .
着信相手の氏名305は、着信時の着信電話番号から電話帳データを参照し、電話番号に対応付けて電話帳データ702に登録されている氏名が表示されている。着信電話番号が登録されていない場合、氏名表示ではなく、着信電話番号をそのまま表示(図26の表示部33における相手の電話番号306の表示を参照)したり、未登録である旨の表示をしてもよい。 As the name 305 of the called party, the name registered in the phone book data 702 is displayed in association with the phone number by referring to the phone book data from the incoming phone number at the time of the incoming call. When the incoming telephone number is not registered, the incoming telephone number is displayed as it is instead of the name display (see the display of the other party's telephone number 306 in the display unit 33 in FIG. 26), or an indication that it is not registered is displayed. May be.
アイコン302や相手の氏名305は個人情報であるので、携帯電話機の使用者はアイコン302や相手の氏名305を秘匿したい場合がある。この場合、持ち主としての携帯電話機の使用者が、特定の相手についてはアイコン302や相手の氏名305の表示を行わない設定を行い、かつその設定を解除することができるようにしてもよい。アイコン302の表示や相手の氏名305を行わない設定として、例えばアイコン302や相手の氏名305を空白として表示、別の画像や文字列に置換して表示等がある。また、特定の相手からの着信履歴表示を予め定めた文字表示色、背景色等で行ってもよい。このように表示することによって、携帯電話機の使用者は特定の相手の着信履歴を他の者からの着信履歴とは明確に区別することができる。また、持ち主としての携帯電話機の使用者以外の者には特定の相手が誰であるかを不明とすることができるので、携帯電話機を紛失した際などに個人情報の漏洩を防ぐことができるという効果を有する。また、着信の相手によらず特定の着信履歴表示の表示を行わない設定ができるようにしても上記効果を得ることができる。 Since the icon 302 and the partner's name 305 are personal information, the user of the mobile phone may want to keep the icon 302 and the partner's name 305 secret. In this case, the user of the mobile phone as the owner may make a setting for not displaying the icon 302 or the name 305 of the other party for the specific party and cancel the setting. As a setting for not displaying the icon 302 or the partner's name 305, for example, the icon 302 or the partner's name 305 is displayed as a blank, and replaced with another image or character string. In addition, incoming call history from a specific partner may be displayed in a predetermined character display color, background color, or the like. By displaying in this way, the user of the mobile phone can clearly distinguish the incoming call history of a specific partner from the incoming call history from other parties. In addition, it is possible to make it unclear who a specific person is to anyone other than the owner of the mobile phone, so that personal information can be prevented from leaking when the mobile phone is lost. Has an effect. In addition, the above-described effect can be obtained even if a setting is made so that a specific incoming call history display is not displayed regardless of the destination of the incoming call.
着信履歴は、通話相手ごとに抽出を行い画面表示するようにしてもよい。さらに抽出した履歴を着信時刻順また通話時間の長さ順に並べ変えを行い画面表示するようにできてもよい。通話相手ごとに抽出して画面表示することによって、特定の相手との会話について、いつどのような会話であったかを容易に想起することができる。また、着信履歴を時刻順や通話時間の長さ順に並べ変えて画面表示することによって、携帯電話機の使用者は多くの着信履歴のなかから所望の着信履歴を抽出することが容易となる。 The incoming call history may be extracted for each call partner and displayed on the screen. Further, the extracted histories may be rearranged in the order of the incoming time or the length of the call time and displayed on the screen. By extracting each call partner and displaying it on the screen, it is possible to easily recall when and what kind of conversation was made with respect to a conversation with a specific partner. Further, by arranging the incoming call history in the order of time or the length of the call time and displaying it on the screen, the user of the mobile phone can easily extract a desired incoming call history from many incoming calls.
また、本出力形態では表示部30への出力について述べたが、LED40の発光による出力も同期して行ってもよい。表示部30への出力とLED40への出力とを併せることによって、表示部30へのみ出力する場合に比べて、携帯電話機の使用者はさらに感情を細やかに認識することができる。 Moreover, although the output to the display part 30 was described in this output form, you may perform also the output by light emission of LED40 synchronizing. By combining the output to the display unit 30 and the output to the LED 40, the user of the mobile phone can recognize emotions more finely than when outputting only to the display unit 30.
[着信履歴の出力形態2]
着信履歴の第2の出力形態を図面を用いて説明する。
第1の出力形態の着信履歴の画面表示において、画面表示上の複数の着信履歴のうち任意の1件についてさらに詳細な通話結果を表示することができる。図26では、1件の着信履歴表示301は他の着信履歴表示と区別されて反転色で表示されており、この表示状態からさらに入力操作部95によって通話結果表示指示キー307を選択操作すると、通話結果が表示される。
[Outgoing call output form 2]
A second output form of the incoming call history will be described with reference to the drawings.
In the screen display of the incoming call history in the first output form, it is possible to display a more detailed call result for any one of a plurality of incoming call histories on the screen display. In FIG. 26, one incoming call history display 301 is displayed in reverse color in distinction from other incoming call history displays. When the call result display instruction key 307 is further selected from the display state by the input operation unit 95, The call result is displayed.
図27は、通話結果を表示部30に表示した例である。第1の出力形態との相違は、1件の通話結果表示321において、発話音声(自分)、受話音声(相手)から抽出された感情を、自分と相手のアイコン302を時系列順に画面左から右に配置して併せて表示している点と、自分と相手のアイコン302を区別して認識できるように履歴タイトル(自分の表示)308と履歴タイトル(相手の表示)309とを画面表示している点であり、他の画面表示は同じである。 FIG. 27 is an example in which the call result is displayed on the display unit 30. The difference from the first output form is that, in one call result display 321, the emotions extracted from the uttered voice (self) and the received voice (partner) are displayed from the left of the screen in order of the icons 302 of the partner and the partner. A history title (own display) 308 and a history title (display of the other party) 309 are displayed on the screen so that the point arranged on the right and displayed together with the icon 302 of the other party can be distinguished and recognized. The other screen displays are the same.
第2の出力形態では、通話相手の感情の時間的変化と併せて自分の感情の変化を時系列的に表示するので、携帯電話機の使用者は、アイコン302の横の並びによって通話中の相手および自分のそれぞれの感情の時間的変化を視覚的に認識できるだけでなく、アイコン302の縦の並びによって会話のある時点での感情を視覚的に認識できるので、ある時点での会話の内容、会話の流れ、相手の印象や自分の心理をより確実に想起することができるという効果を有する。 In the second output form, since the change in the emotion of the other party is displayed in chronological order together with the temporal change in the emotion of the other party, the user of the mobile phone can display the side of the icon 302 along the side of the call. In addition to visually recognizing temporal changes in each emotion, the emotion at a certain point in the conversation can be visually recognized by the vertical arrangement of the icons 302. It has the effect of being able to recall the flow of the person, the impression of the other party and his / her psychology more reliably.
[着信履歴の出力形態3]
着信履歴の第3の出力形態を図面を用いて説明する。
図28は、通話結果を表示部30に表示した第2の出力形態の別の例である。第2の出力形態との相違は、1件の通話結果表示331において、発話音声(自分)から抽出された感情のみを、アイコン302を時系列順に画面左から右に配置して画面表示している点である。
[Incoming history output form 3]
A third output form of the incoming call history will be described with reference to the drawings.
FIG. 28 is another example of the second output form in which the call result is displayed on the display unit 30. The difference from the second output mode is that only one emotion extracted from the uttered voice (self) is displayed on the screen by arranging icons 302 from the left to the right in the time series order in one call result display 331. It is a point.
自分のアイコン302のみを時系列に表示することによって、特に自分の着信中の感情の時間的変化を視覚的に明確に認識することができる。また、時系列順に配置されたアイコン302から通話後に会話の内容を視覚的に想起することができる。 By displaying only the user's own icon 302 in time series, it is possible to clearly recognize the temporal change in emotion during the incoming call. In addition, the contents of the conversation can be visually recalled after a call from the icons 302 arranged in chronological order.
図29は、通話結果を表示部30に表示した第2の出力形態の別の例である。第2の出力形態との相違は、1件の通話結果表示341において、受話音声(相手)から抽出された感情のみを、アイコン302を時系列順に画面左から右に配置して画面表示している点である。 FIG. 29 is another example of the second output form in which the call result is displayed on the display unit 30. The difference from the second output form is that, in one call result display 341, only emotions extracted from the received voice (the other party) are displayed on the screen by arranging icons 302 from the left to the right in the time series order. It is a point.
相手のアイコン302のみを時系列順に画面表示することによって、特に相手の着信中の感情の時間的変化を視覚的に明確に認識することができる。また、時系列順に配置されたアイコンから通話後に会話の内容を想起することができる。 By displaying only the partner's icon 302 in time-sequential order on the screen, it is possible to recognize clearly the temporal change of the emotion during the other party's incoming call. In addition, it is possible to recall the contents of a conversation after a call from icons arranged in time series.
また、上記の自分のみもしくは相手のみの通話結果の表示は相互に切り替えを行えるようにしてもよい。このようにすると、切り替えによって同一着信履歴におけるアイコン302の時系列表示を相互に参照することができる、という効果を有する。 Further, the above-described display of the call result of only one person or only the other party may be switched between. By doing this, there is an effect that the time series display of the icon 302 in the same incoming call history can be mutually referred by switching.
[着信履歴の出力形態4]
着信表示の第4の出力形態を図面を用いて説明する。
図30は通話結果を表示部30に表示した第2の出力形態の別の例である。第2の出力形態との相違は、1件の通話結果表示351において、発話音声(自分)と受話音声(相手)全体から抽出した感情を、アイコン302を時系列順に画面左から右に配置して画面表示している点である。
[Outgoing call output form 4]
A fourth output form of incoming call display will be described with reference to the drawings.
FIG. 30 is another example of the second output form in which the call result is displayed on the display unit 30. The difference from the second output mode is that, in one call result display 351, the emotions extracted from the entire voice (self) and the received voice (partner) are arranged with icons 302 from the left to the right in order of time series. This is the point that is displayed on the screen.
自分と相手とのアイコン302を時系列順に画面表示することによって、会話全体としての感情の時間的変化を視覚的に認識することができる。また、時系列に配置されたアイコンから通話後に会話全体の内容を想起することができる。 By displaying the icons 302 of the person and the other party on the screen in chronological order, it is possible to visually recognize the temporal change in emotion as the whole conversation. In addition, the contents of the entire conversation can be recalled after a call from the icons arranged in time series.
[着信履歴の出力形態5]
着信表示の第5の出力形態を図面を用いて説明する。
図31は通話結果を表示部30に表示した第2の出力形態の別の例である。第2の出力形態との相違は、1件の通話結果表示361において、受話音声(相手)から抽出された感情を、感情に対応する動画として表すアニメーション310用いて画面表示している点である。
[Incoming call history output form 5]
A fifth output form of incoming call display will be described with reference to the drawings.
FIG. 31 is another example of the second output form in which the call result is displayed on the display unit 30. The difference from the second output form is that, in one call result display 361, the emotion extracted from the received voice (the other party) is displayed on the screen using an animation 310 that represents a video corresponding to the emotion. .
会話全体としての相手の感情が動画として画面表示されることによって、アイコンのような静止画像を用いて画面表示した場合に対して会話全体の感情をより視覚的に認識することができる。加えて、動画によって通話後に会話の内容をより明確に想起することができる。 By displaying the other party's emotion as the whole conversation on the screen as a moving image, it is possible to more visually recognize the emotion of the entire conversation than when the screen is displayed using a still image such as an icon. In addition, the content of the conversation can be recalled more clearly after the call by the video.
なお、本出力形態では相手の会話全体から抽出される感情に対応付けた動画を画面表示しているが、自分の会話全体から抽出される感情に対応付けた動画、また自分と相手との会話全体から抽出される感情に対応付けた動画を表示してもよい。それぞれの動画の表示によって、アイコンを用いた表示に対して、会話全体の感情をより視覚的に認識することができる。加えて、動画によって通話後に会話の内容をより明確に想起することができる。 In this output form, a video associated with the emotion extracted from the entire conversation of the other party is displayed on the screen. You may display the moving image matched with the emotion extracted from the whole. By displaying each moving image, the emotion of the entire conversation can be recognized more visually than the display using icons. In addition, the content of the conversation can be recalled more clearly after the call by the video.
[着信履歴の出力形態6]
着信表示の第6の出力形態を図面を用いて説明する。
図32は、通話結果を表示部30に表示した第2の出力形態の別の例である。第2の出力形態との相違は、1件の通話結果表示371において、発話音声(自分)と受話音声(相手)とから抽出された感情を、アイコン302の代わりにそれぞれ自分に対応付けた画像の時系列順の表示311と相手に対応付けた画像の時系列順の表示312に配置して、それぞれ画面表示している点である。
[Incoming history output form 6]
A sixth output form of incoming call display will be described with reference to the drawings.
FIG. 32 is another example of the second output form in which the call result is displayed on the display unit 30. The difference from the second output form is that in the one call result display 371, the emotions extracted from the uttered voice (self) and the received voice (partner) are associated with each other instead of the icon 302. Are arranged in a time-series order display 311 and a time-series order display 312 of images associated with the other party, and are respectively displayed on the screen.
ここで相手に対応付けた画像の時系列順の表示312について見ると、相手に対応付けた異なる画像が配置されている。具体的には画像313と画像314の2種類の画像が配置されている。本出力形態において、図33(A)の着信相手「野村」に対応付けられた画像は、感情がニュートラルであるときの画像(画像313)であり、記憶部70に保存されており、携帯電話機11の電話帳表示においても用いられる。画像313に対しては画像処理は行っていない。一方、図33(B)の着信相手「野村」に対応付けられた画像は、感情が悲しみであるときの画像(画像314)であり、画像313に対して画像処理部207が画像処理を行うことによって生成されている。本出力形態では画像314の経た画像処理は、画像313に対して、涙の滴を表す補助画像315の重畳である。ここで補助画像315は感情特定部203で特定される悲しみの感情に関連付けられた画像であり、感情コンテンツ記憶部204に記憶されている。したがって、本出力形態では感情を表示する際に、基本となる画像と補助画像とを用いて画像処理を行い表示画像を生成するので、多数の感情を表現する自分や相手に対応付けた画像を予め個別に記憶部に保存しておく必要がなく、記憶部を有効に利用することができる。一方、画像処理を行った画像を記憶部に記憶しておいてもよく、この場合は画面表示する際に画像処理を行う必要がないので、画面表示を高速に行えるという効果がある。画像処理としては上記の補助画像の重畳以外にも、相手に対応付けた画像自体を変形させてもよい。たとえば怒りの感情を表現するために、相手に対応付けた画像が顔画像であれば、眉と目をつり上げるデフォルメや、顔の色を赤らめる色調補正などの画像処理がある。画像処理後の画像が感情を想起させる効果があるものであれば、画像処理の種類は問わない。 Here, when viewing the display 312 of the images associated with the partner in chronological order, different images associated with the partner are arranged. Specifically, two types of images, an image 313 and an image 314, are arranged. In this output form, the image associated with the incoming call partner “Nomura” in FIG. 33A is an image when the emotion is neutral (image 313), and is stored in the storage unit 70. It is also used in 11 telephone directory displays. Image processing is not performed on the image 313. On the other hand, the image associated with the called party “Nomura” in FIG. 33B is an image when the emotion is sad (image 314), and the image processing unit 207 performs image processing on the image 313. Has been generated by In the present output form, the image processing that the image 314 has undergone is the superimposition of the auxiliary image 315 that represents tear drops on the image 313. Here, the auxiliary image 315 is an image associated with the emotion of sadness specified by the emotion specifying unit 203, and is stored in the emotion content storage unit 204. Therefore, in this output form, when displaying emotions, image processing is performed using a basic image and an auxiliary image to generate a display image. Therefore, an image associated with oneself or a partner expressing a large number of emotions is displayed. There is no need to store the data in the storage unit individually in advance, and the storage unit can be used effectively. On the other hand, an image that has been subjected to image processing may be stored in the storage unit. In this case, there is no need to perform image processing when displaying the screen, so that the screen can be displayed at high speed. As the image processing, in addition to the superimposition of the auxiliary image, the image associated with the other party may be deformed. For example, in order to express an angry emotion, if the image associated with the other party is a face image, there are image processing such as deformation that raises the eyebrows and eyes and color correction that makes the face color blush. The type of image processing is not limited as long as the image after image processing has an effect of recalling emotions.
感情の画面表示として、自分や相手に対応付けた画像を配列することによって、携帯電話機の使用者は、着信相手の氏名305の表示確認しなくても着信相手が誰であるかが視覚的に容易に認識できることに加え、履歴タイトル308、309を確認しなくても自分に対応付けた画像の時系列順の表示311と相手に対応付けた画像の時系列順の表示312との区別をすることができる。 By arranging images associated with the user and the other party as the emotion screen display, the user of the mobile phone can visually determine who the called party is without having to confirm the display of the name 305 of the called party. In addition to being easily recognizable, it is possible to distinguish between the time series display 311 of the image associated with the user and the time series display 312 of the image associated with the partner without checking the history titles 308 and 309. be able to.
特に着信相手や自分に対応づける画像として、着信相手や自分の顔画像を用いると、感情をより明確に認識できる効果がある。また、会話を行う自分や相手の顔画像を用いると、通話後に会話の内容をより明確に想起することができる。 In particular, when an image of the incoming call partner or his / her face is used as an image associated with the incoming call partner or himself / herself, there is an effect that emotions can be recognized more clearly. In addition, if the face image of the person or the other party who is having a conversation is used, the contents of the conversation can be recalled more clearly after the call.
上記のように着信相手に応じて対応付けた画像を着信表示に用いることで、着信相手毎に異なる画像を用いるので着信相手を視覚的に容易に識別することができる効果を有する。さらに、着信履歴から視覚的に通話内容を明確に想起することができる。また、着信相手により親しみを持つことが出来る。 As described above, by using an image associated with an incoming call partner for the incoming call display, a different image is used for each incoming call partner, so that it is possible to visually identify the incoming call partner easily. Furthermore, the contents of the call can be clearly recalled from the incoming call history. Also, you can be more familiar with the other party.
なお、第3および第4の出力形態と同様に画像表示を、自分だけの表示、相手だけの表示、自分と相手を合わせた会話全体の表示としてもよい。このとき得られる効果は上記の第6の実施形態の効果に加え、第3および第4の出力形態で記した効果である。 Note that, as in the third and fourth output forms, the image display may be a display of only oneself, a display of only the other party, or a display of the entire conversation in which the person and the other party are combined. The effects obtained at this time are the effects described in the third and fourth output forms in addition to the effects of the sixth embodiment.
(第4実施形態)
本発明の第4実施形態の携帯電話機では、携帯電話機11における通話終了後の感情データ705と電話帳データ703との関連付けによる電話帳更新に関して説明する。
(Fourth embodiment)
In the mobile phone according to the fourth embodiment of the present invention, the phone book update by associating the emotion data 705 and the phone book data 703 after the call in the mobile phone 11 will be described.
電話帳データ703の登録者について、登録者に関連付けられた画像が記憶部70に登録されているならば、感情通知動作指示部205は登録者に関連付けられた画像に対して、画像処理を行うよう画像処理部207に指示する。画像処理は、感情データ703に基づいて、登録者に関連付けられた元の画像に感情を関連付ける処理である。画像処理の種類としては、第3の実施形態の第6の出力形態と同様に、電話帳の登録者に関連付けられた画像に感情コンテンツ記憶部204に記憶されている補助画像を重畳するもの、登録画像をデフォルメするもの等があるが、画像処理後の画像が感情を想起させる効果があるものであれば、画像処理の種類は問わない。 If an image associated with the registrant is registered in the storage unit 70 for the registrant of the phone book data 703, the emotion notification operation instruction unit 205 performs image processing on the image associated with the registrant. The image processing unit 207 is instructed to do so. The image processing is processing for associating emotion with the original image associated with the registrant based on the emotion data 703. As the type of image processing, similar to the sixth output form of the third embodiment, the auxiliary image stored in the emotion content storage unit 204 is superimposed on the image associated with the registrant of the phone book, The registered image may be deformed, but the type of image processing is not limited as long as the image after image processing has an effect of recalling emotion.
なお、電話帳に登録した画像の更新は、画面表示する都度行っても、通話後に更新を行い更新した画像データを記憶部に保存してもよい。通話後に更新を行うと、電話帳を画面表示する際に画像処理を行う必要がないので、画面表示を高速に行えるという効果がある。 The image registered in the phone book may be updated every time the screen is displayed, or updated after the call and the updated image data may be stored in the storage unit. If the update is performed after a call, there is no need to perform image processing when the phone book is displayed on the screen, so that the screen can be displayed at high speed.
電話帳の登録者に関連付けられた画像には、記憶部に予め記憶されている画像や、撮像装置やデータ通信機能、外部記憶媒体によって取り込んだ画像を用いる。画像の種類としては、画像から登録者を想起しやすいものがよく、例えば登録者の顔画像が好適である。 As an image associated with the registrant of the phone book, an image stored in advance in the storage unit, an image captured by an imaging device, a data communication function, or an external storage medium is used. As the type of image, one that easily recalls the registrant from the image is preferable, and for example, a registrant's face image is suitable.
図34は、登録者に関連付けられた画像として登録者の顔画像を登録した電話帳について、通常の電話帳の画面表示(A)と、本実施形態の電話帳の画面表示(B)とを示したものである。図34(A)と図34(B)との相違は、図34(B)では登録者に関連付けられた画像が最新の通話で決定された感情に基づいて画像処理されて画面表示されている点である。例えば図34(B)の登録者「野村」に対応する登録画像には、最後に通話を行った際の登録者の感情が悲しみとして決定されたので、悲しみに対応する画像処理が行われて、画面表示されている。 FIG. 34 shows a normal phone book screen display (A) and a phone book screen display (B) of this embodiment for a phone book in which a registrant's face image is registered as an image associated with the registrant. It is shown. The difference between FIG. 34 (A) and FIG. 34 (B) is that the image associated with the registrant is image-processed based on the emotion determined in the latest call and displayed on the screen in FIG. 34 (B). Is a point. For example, in the registered image corresponding to the registrant “Nomura” in FIG. 34B, since the emotion of the registrant at the time of the last call is determined as sadness, image processing corresponding to sadness is performed. Is displayed on the screen.
このように電話帳登録者と通話を行った後、電話帳に電話番号や登録者の名前と併せて登録者に対応付けられている画像に対して最新の通話で決定された感情に基づいて画像処理を行い、更新することによって、携帯電話機の使用者が通話後に電話帳を画面表示して参照すると、電話帳登録者と感情とが視覚的に関連付けられて記憶が刺激され、電話帳登録者との前回の通話内容を容易に想起することができるという効果を有する。この効果は、通話履歴を画面表示して通話内容を想起できるのと同様である。また、携帯電話機の使用者が次回の発信前に電話帳を参照すると前回の通話内容が想起されるので、発信前に予め会話の内容を考えることができ、発信後効率よく会話を進めたり、スムーズに会話を行えるという効果も有する。 After making a call with the phone book registrant in this way, based on the emotions determined in the latest call for the image associated with the registrant along with the phone number and the name of the registrant in the phone book By performing image processing and updating, when the user of the mobile phone displays the phone book on the screen after referring to it, the phone book registrant and emotion are visually associated with each other to stimulate memory and register the phone book. The content of the previous call with the person can be easily recalled. This effect is the same as that the call history can be displayed on the screen and the contents of the call can be recalled. Also, if the user of the mobile phone refers to the phone book before the next call, the content of the previous call will be recalled, so the content of the conversation can be considered in advance before the call, It also has the effect of having a smooth conversation.
本発明の情報処理端末は、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することができ、また、後で振り返って通話状況の全体像を把握することができるという効果を奏し、声から推定したその声を発した人の感情を通知する情報処理端末に関して有用である。 The information processing terminal of the present invention can directly express in real time the emotion of the person who uttered the voice, and can express the expression that he / she does not want to express directly to the other party, It is useful for an information processing terminal that has an effect of being able to look back later and grasp the overall state of a call state, and that notifies the emotions of the person who utters the voice estimated from the voice.
1、11 携帯電話機
10 通話装置
101 通信部
102 音声信号出力部
103 スピーカ
104 マイク
105 ガイダンス音記憶部
106音声記憶部
2 感情コンテンツ記憶サーバ
20 感情通知装置
201 感情推定部
202 感情蓄積部
203 感情特定部
204 感情コンテンツ記憶部
205 感情通知動作指示部
206 感情コンテンツ取得部
30 表示部
40 LED
50 バイブレーション
60 メール送信部
70 記憶部
80 スピーカ
90 香り発生装置
95 入力操作部
DESCRIPTION OF SYMBOLS 1,11 Mobile phone 10 Communication apparatus 101 Communication part 102 Audio | voice signal output part 103 Speaker 104 Microphone 105 Guidance sound storage part 106 Voice storage part 2 Emotion content storage server 20 Emotion notification apparatus 201 Emotion estimation part 202 Emotion accumulation part 203 Emotion identification part 204 emotion content storage unit 205 emotion notification operation instruction unit 206 emotion content acquisition unit 30 display unit 40 LED
50 Vibration 60 Mail transmission unit 70 Storage unit 80 Speaker 90 Scent generator 95 Input operation unit
Claims (29)
前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、
各種情報を通知する通知手段とを備える情報処理端末であって、
前記通知手段は、前記パラメータ生成手段により生成したパラメータに対応する感情についての情報を通知する情報処理端末。 Voice input means for inputting voice;
Parameter generating means for generating emotion parameters from the input speech;
An information processing terminal comprising notification means for notifying various information,
The information processing terminal for notifying information about an emotion corresponding to the parameter generated by the parameter generation unit.
データを記憶する記憶手段を備え、
前記記憶手段は、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。 An information processing terminal according to claim 1,
Storage means for storing data;
The storage means stores emotion parameters generated by the parameter generation means,
The notification means is an information processing terminal for notifying information about an emotion corresponding to a parameter stored in the storage means.
前記記憶手段は、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。 An information processing terminal according to claim 2,
The storage means stores the emotion parameters generated by the parameter generation means in correspondence with the order in which the parameter generation means generates emotion parameters,
The information processing terminal that notifies the information about the emotion corresponding to the parameter stored in the storage unit based on the order.
通話を行う通話手段を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力する情報処理端末。 The information processing terminal according to any one of claims 1 to 3,
It has a means for making calls,
The voice input means is an information processing terminal for inputting voice during a call by the call means.
データを記憶する記憶手段と、
通話を行う通話手段と、を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力し、
前記記憶手段は、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。 An information processing terminal according to claim 1,
Storage means for storing data;
A call means for making a call,
The voice input means inputs voice during a call by the call means,
The storage means stores the emotion parameters generated by the parameter generation means in correspondence with the order in which the parameter generation means generates emotion parameters,
The information processing terminal that notifies the information about the emotion corresponding to the parameter stored in the storage unit based on the order.
前記通知手段は、前記通話手段による通話終了後、前記感情についての情報を通知する情報処理端末。 An information processing terminal according to claim 5,
The notification means is an information processing terminal for notifying information about the emotion after the call by the calling means is completed.
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、
前記表示手段は、通話履歴を表示する場合に、前記通話履歴中の各通話項目毎に、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。 An information processing terminal according to claim 5 or 6,
The notification means includes display means for displaying various information,
The storage means stores the emotion parameter for each call by the call means,
The display means is an information processing terminal for notifying information about an emotion corresponding to a parameter stored in the storage means for each call item in the call history when displaying the call history.
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、
前記表示手段は、前記記憶手段に記憶したパラメータに対応する感情のうちの特定のパラメータに対応する感情についての情報を、時系列に沿って表示する情報処理端末。 An information processing terminal according to claim 5 or 6,
The notification means includes display means for displaying various information,
The storage means stores the emotion parameter for each call by the call means,
The information processing terminal that displays information about an emotion corresponding to a specific parameter among emotions corresponding to the parameter stored in the storage unit in a time series.
前記通知手段は、前記記憶手段に記憶したパラメータに対応する、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を通知する情報処理端末。 The information processing terminal according to any one of claims 5 to 8,
The notification means is an information processing terminal for notifying information about emotions of each caller, one of the callers, or the entire callers corresponding to the parameters stored in the storage means.
前記記憶手段は、顔画像情報を当該顔画像を撮像された者と対応付けて記憶し、
前記通知手段は、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を、前記記憶手段から読み出した当該通話者の顔画像を画像処理して通知する情報処理端末。 An information processing terminal according to claim 9,
The storage means stores face image information in association with the person who captured the face image,
Information for notifying the information about the emotions of each of the callers, one of the callers, or the entire callers by image processing the face image of the caller read from the storage means Processing terminal.
前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定手段を備え、
前記通知手段は、前記特定した感情についての情報を通知する情報処理端末。 An information processing terminal according to claim 1,
An emotion specifying means for specifying an emotion represented by a characteristic parameter among the generated parameters;
The notification means is an information processing terminal that notifies information about the identified emotion.
データを記憶する記憶手段を備え、
前記記憶手段は、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記感情特定手段は、前記記憶したパラメータの内の、特徴的なパラメータで表された感情を特定する情報処理端末。 An information processing terminal according to claim 11,
Storage means for storing data;
The storage means stores emotion parameters generated by the parameter generation means,
The emotion identifying means is an information processing terminal that identifies an emotion represented by a characteristic parameter among the stored parameters.
通話を行う通話手段を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力する情報処理端末。 An information processing terminal according to claim 11 or 12,
It has a means for making calls,
The voice input means is an information processing terminal for inputting voice during a call by the call means.
前記通話手段による通話時の音声を録音する音声録音手段を備え、
前記音声入力手段は、前記音声録音手段により録音した音声を入力する情報処理端末。 An information processing terminal according to claim 13,
Voice recording means for recording voice during a call by the calling means,
The voice input means is an information processing terminal for inputting the voice recorded by the voice recording means.
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を各通話毎に記憶し、
前記表示手段は、通話履歴を表示する場合に、前記通話履歴に合わせて前記特定した感情についての情報を表示する情報処理端末。 The information processing terminal according to claim 13 or 14,
The notification means includes display means for displaying various information,
The storage means stores the identified emotion for each call,
The display means is an information processing terminal that displays information about the identified emotion in accordance with the call history when displaying the call history.
前記記憶手段は、前記特定した感情を反映している一部の音声を記憶し、
前記表示手段は、前記通話履歴に合わせて前記特定した感情と同一時刻の前記一部の音声の有無を表示する情報処理端末。 An information processing terminal according to claim 15,
The storage means stores a part of sound reflecting the identified emotion,
The information processing terminal that displays the presence or absence of the partial voice at the same time as the identified emotion according to the call history.
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を通話者毎に記憶し、
前記表示手段は、前記記憶手段に記憶した通話者の個人情報を表示する場合に、前記個人情報に合わせて前記特定した感情についての情報を表示する情報処理端末。 The information processing terminal according to claim 13 or 14,
The notification means includes display means for displaying various information,
The storage means stores the identified emotion for each caller,
The display means is an information processing terminal for displaying information on the specified emotion in accordance with the personal information when displaying the personal information of the caller stored in the storage means.
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を通話した日付に対応させて記憶し、
前記表示手段は、カレンダを表示する場合に、前記カレンダの日付に合わせて前記特定した感情についての情報を表示する情報処理端末。 The information processing terminal according to claim 13 or 14,
The notification means includes display means for displaying various information,
The storage means stores the identified emotion in correspondence with the date of the call,
The display means is an information processing terminal for displaying information about the specified emotion in accordance with the date of the calendar when displaying the calendar.
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、感情に対応する画像を記憶し、
前記表示手段は、前記記憶手段から読み出された、前記特定した感情に対応する画像を表示する情報処理端末。 An information processing terminal according to any one of claims 11 to 18,
The notification means includes display means for displaying various information,
The storage means stores an image corresponding to emotion,
The information processing terminal that displays the image corresponding to the identified emotion read from the storage unit.
前記記憶手段は、前記感情特定手段により特定される感情の出現頻度を記憶し、
前記表示手段は、前記感情の出現頻度に応じて前記記憶手段から読み出された、前記特定した感情に対応する画像を表示する情報処理端末。 An information processing terminal according to claim 19, wherein
The storage means stores the appearance frequency of the emotion specified by the emotion specifying means,
The information processing terminal that displays the image corresponding to the identified emotion read from the storage unit according to the appearance frequency of the emotion.
前記通知手段は、各種情報を点灯により通知する点灯手段を含み、
前記記憶手段は、感情に対応する色を記憶し、
前記点灯手段は、前記記憶手段から読み出された、前記特定した感情に対応する色で点灯する情報処理端末。 An information processing terminal according to any one of claims 11 to 18,
The notification means includes lighting means for notifying various information by lighting,
The storage means stores a color corresponding to emotion,
The information processing terminal in which the lighting unit is lit in a color corresponding to the specified emotion read from the storage unit.
前記通知手段は、各種情報を振動により通知するバイブレーション手段を含み、
前記記憶手段は、感情に対応する振動数または振動の強さを記憶し、
前記バイブレーション手段は、前記記憶手段から読み出された、前記特定した感情に対応する振動数または振動の強さで振動する情報処理端末。 An information processing terminal according to any one of claims 11 to 18,
The notification means includes a vibration means for notifying various information by vibration,
The storage means stores the number of vibrations corresponding to the emotion or the strength of the vibration,
The vibration means is an information processing terminal that vibrates at a vibration frequency or intensity corresponding to the identified emotion read from the storage means.
感情に対応する画像を記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する画像を記憶する情報処理端末。 The information processing terminal according to claim 19 or 20,
A receiving means for receiving data from a server that records images corresponding to emotions;
The storage means is an information processing terminal that stores an image corresponding to the received emotion.
感情に対応する色を記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する色を記憶する情報処理端末。 An information processing terminal according to claim 21, wherein
A receiving means for receiving data from a server that records colors corresponding to emotions;
The information processing terminal that stores the color corresponding to the received emotion.
感情に対応する振動数または振動の強さを記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する振動数または振動の強さを記憶する情報処理端末。 An information processing terminal according to claim 22,
A receiving means for receiving data from a server that records the number of vibrations or the strength of the vibration corresponding to the emotion;
The storage means is an information processing terminal that stores the number of vibrations or the strength of vibration corresponding to the received emotion.
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、パラメータの数値が最も高い感情を特定する情報処理端末。 An information processing terminal according to any one of claims 12 to 25,
The emotion identifying means is an information processing terminal that identifies an emotion having the highest parameter value among emotion parameters stored by the storage means.
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、前記音声の開始から終了にかけて生成したパラメータの数値の合計が最も高い感情を特定する情報処理端末。 An information processing terminal according to any one of claims 12 to 25,
The emotion specifying means is an information processing terminal for specifying an emotion having the highest sum of numerical values of parameters generated from the start to the end of the voice among the emotion parameters stored by the storage means.
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、前記音声の終了前に生成したパラメータの数値が最も高い感情を特定する情報処理端末。 An information processing terminal according to any one of claims 12 to 25,
The emotion identifying means is an information processing terminal for identifying an emotion having the highest numerical value of a parameter generated before the end of the voice among emotion parameters stored by the storage means.
他情報処理端末に前記特定した感情を送信する送信手段を備える情報処理装置。 An information processing terminal according to any one of claims 11 to 28,
An information processing apparatus comprising a transmission means for transmitting the specified emotion to another information processing terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005257117A JP4871552B2 (en) | 2004-09-10 | 2005-09-05 | Information processing terminal |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004264350 | 2004-09-10 | ||
JP2004264350 | 2004-09-10 | ||
JP2005257117A JP4871552B2 (en) | 2004-09-10 | 2005-09-05 | Information processing terminal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006106711A true JP2006106711A (en) | 2006-04-20 |
JP4871552B2 JP4871552B2 (en) | 2012-02-08 |
Family
ID=36376461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005257117A Expired - Fee Related JP4871552B2 (en) | 2004-09-10 | 2005-09-05 | Information processing terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4871552B2 (en) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007148493A1 (en) * | 2006-06-23 | 2007-12-27 | Panasonic Corporation | Emotion recognizer |
JP2008113331A (en) * | 2006-10-31 | 2008-05-15 | Aplix Corp | Telephone system, telephone set, server device, and program |
KR100890423B1 (en) | 2007-02-09 | 2009-03-26 | (주)티아이스퀘어 | Method and apparatus for providing voice analyzing service on wire/wireless video communication network during video call |
JP2009294647A (en) * | 2008-05-09 | 2009-12-17 | Agi:Kk | Action analysis device and call center system |
US7893342B2 (en) | 2006-09-08 | 2011-02-22 | Panasonic Corporation | Information processing terminal and music information generating program |
JP2011160260A (en) * | 2010-02-02 | 2011-08-18 | Nakayo Telecommun Inc | Telephone main device, and telephone set |
KR101157928B1 (en) | 2010-03-15 | 2012-06-22 | 한국표준과학연구원 | System for announce hearing-impaired persons including emotion information and method for announce using the same |
JP2012524444A (en) * | 2009-04-17 | 2012-10-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ambient communication system, method of operating the system, and computer readable medium |
JP2012208630A (en) * | 2011-03-29 | 2012-10-25 | Mizuho Information & Research Institute Inc | Speech management system, speech management method and speech management program |
JP2012235425A (en) * | 2011-05-09 | 2012-11-29 | Nikon Corp | Electronic apparatus, signal distribution method, and program |
JP2014119879A (en) * | 2012-12-14 | 2014-06-30 | Nippon Hoso Kyokai <Nhk> | Face expression evaluation result smoothing device and face expression evaluation result smoothing program |
KR101480668B1 (en) | 2014-03-21 | 2015-01-26 | 충남대학교산학협력단 | Mobile Terminal Having Emotion Recognition Application using Voice and Method for Controlling thereof |
JP2015035172A (en) * | 2013-08-09 | 2015-02-19 | 日本放送協会 | Expression analysis device and expression analysis program |
JP2015050470A (en) * | 2013-08-29 | 2015-03-16 | 京セラ株式会社 | Terminal device and speech communication data processing method |
JP2016507106A (en) * | 2013-01-24 | 2016-03-07 | D2 エモーション カンパニー リミテッドD2 Emotion Co., Ltd. | Group member management support system and method thereof |
JPWO2017150103A1 (en) * | 2016-02-29 | 2019-01-31 | パナソニックIpマネジメント株式会社 | Audio processing apparatus, image processing apparatus, microphone array system, and audio processing method |
WO2019107170A1 (en) * | 2017-11-29 | 2019-06-06 | 日本電信電話株式会社 | Urgency estimation device, urgency estimation method, and program |
JP2020091609A (en) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | Learning support device, learning support method and program |
JP2020529680A (en) * | 2017-08-08 | 2020-10-08 | Line株式会社 | Methods and systems for recognizing emotions during a call and leveraging the perceived emotions |
WO2021192691A1 (en) * | 2020-03-24 | 2021-09-30 | 株式会社Jvcケンウッド | Information output device, information output method, and information output program |
WO2022180859A1 (en) * | 2021-02-26 | 2022-09-01 | 株式会社I’mbesideyou | Video session evaluation terminal, video session evaluation system, and video session evaluation program |
WO2022180860A1 (en) * | 2021-02-26 | 2022-09-01 | 株式会社I’mbesideyou | Video session evaluation terminal, video session evaluation system, and video session evaluation program |
JP7385892B2 (en) | 2019-05-14 | 2023-11-24 | 学校法人 芝浦工業大学 | Emotion estimation system and emotion estimation device |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11161154A (en) * | 1997-11-21 | 1999-06-18 | Nec Corp | Method and device for converting attention calling sound signal |
WO2000062279A1 (en) * | 1999-04-12 | 2000-10-19 | Amir Liberman | Apparatus and methods for detecting emotions in the human voice |
JP2000354517A (en) * | 1999-06-15 | 2000-12-26 | Kao Corp | Method for creating face image |
JP2002091482A (en) * | 2000-09-13 | 2002-03-27 | Agi:Kk | Method and device for detecting feeling and recording medium |
JP2002298155A (en) * | 2001-03-29 | 2002-10-11 | Hic:Kk | Emotion-oriented three-dimensional computer graphics expression model forming system |
WO2002086801A1 (en) * | 2001-04-17 | 2002-10-31 | Koninklijke Philips Electronics N.V. | Method and apparatus of managing information about a person |
JP2002351489A (en) * | 2001-05-29 | 2002-12-06 | Namco Ltd | Game information, information storage medium, and game machine |
WO2003021924A1 (en) * | 2001-08-29 | 2003-03-13 | Roke Manor Research Limited | A method of operating a communication system |
JP2003209513A (en) * | 2002-01-17 | 2003-07-25 | Fujitsu Ltd | Portable terminal |
JP2003248837A (en) * | 2001-11-12 | 2003-09-05 | Mega Chips Corp | Device and system for image generation, device and system for sound generation, server for image generation, program, and recording medium |
JP2003274004A (en) * | 2002-03-15 | 2003-09-26 | Nec Saitama Ltd | Conversion method from received voice information in mobile terminal to character image information and mobile terminal with function of executing the conversion method |
JP2003304307A (en) * | 2002-04-11 | 2003-10-24 | Oki Electric Ind Co Ltd | Apparatus, method and program for voice communication |
JP2004037989A (en) * | 2002-07-05 | 2004-02-05 | Nippon Telegr & Teleph Corp <Ntt> | Voice reception system |
JP2004072292A (en) * | 2002-08-05 | 2004-03-04 | Fuji Photo Film Co Ltd | Portable telephone system and portable telephone set |
JP2004110511A (en) * | 2002-09-19 | 2004-04-08 | Nippon Telegr & Teleph Corp <Ntt> | User status determination method and user status determination device |
US20040147814A1 (en) * | 2003-01-27 | 2004-07-29 | William Zancho | Determination of emotional and physiological states of a recipient of a communicaiton |
JP2004252668A (en) * | 2003-02-19 | 2004-09-09 | Fujitsu Ltd | Contact center managing and controlling program, device and method |
-
2005
- 2005-09-05 JP JP2005257117A patent/JP4871552B2/en not_active Expired - Fee Related
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11161154A (en) * | 1997-11-21 | 1999-06-18 | Nec Corp | Method and device for converting attention calling sound signal |
WO2000062279A1 (en) * | 1999-04-12 | 2000-10-19 | Amir Liberman | Apparatus and methods for detecting emotions in the human voice |
JP2000354517A (en) * | 1999-06-15 | 2000-12-26 | Kao Corp | Method for creating face image |
JP2002091482A (en) * | 2000-09-13 | 2002-03-27 | Agi:Kk | Method and device for detecting feeling and recording medium |
JP2002298155A (en) * | 2001-03-29 | 2002-10-11 | Hic:Kk | Emotion-oriented three-dimensional computer graphics expression model forming system |
JP2004533640A (en) * | 2001-04-17 | 2004-11-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for managing information about a person |
WO2002086801A1 (en) * | 2001-04-17 | 2002-10-31 | Koninklijke Philips Electronics N.V. | Method and apparatus of managing information about a person |
JP2002351489A (en) * | 2001-05-29 | 2002-12-06 | Namco Ltd | Game information, information storage medium, and game machine |
WO2003021924A1 (en) * | 2001-08-29 | 2003-03-13 | Roke Manor Research Limited | A method of operating a communication system |
JP2003248837A (en) * | 2001-11-12 | 2003-09-05 | Mega Chips Corp | Device and system for image generation, device and system for sound generation, server for image generation, program, and recording medium |
JP2003209513A (en) * | 2002-01-17 | 2003-07-25 | Fujitsu Ltd | Portable terminal |
JP2003274004A (en) * | 2002-03-15 | 2003-09-26 | Nec Saitama Ltd | Conversion method from received voice information in mobile terminal to character image information and mobile terminal with function of executing the conversion method |
JP2003304307A (en) * | 2002-04-11 | 2003-10-24 | Oki Electric Ind Co Ltd | Apparatus, method and program for voice communication |
JP2004037989A (en) * | 2002-07-05 | 2004-02-05 | Nippon Telegr & Teleph Corp <Ntt> | Voice reception system |
JP2004072292A (en) * | 2002-08-05 | 2004-03-04 | Fuji Photo Film Co Ltd | Portable telephone system and portable telephone set |
JP2004110511A (en) * | 2002-09-19 | 2004-04-08 | Nippon Telegr & Teleph Corp <Ntt> | User status determination method and user status determination device |
US20040147814A1 (en) * | 2003-01-27 | 2004-07-29 | William Zancho | Determination of emotional and physiological states of a recipient of a communicaiton |
JP2004252668A (en) * | 2003-02-19 | 2004-09-09 | Fujitsu Ltd | Contact center managing and controlling program, device and method |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8204747B2 (en) | 2006-06-23 | 2012-06-19 | Panasonic Corporation | Emotion recognition apparatus |
WO2007148493A1 (en) * | 2006-06-23 | 2007-12-27 | Panasonic Corporation | Emotion recognizer |
US8283549B2 (en) | 2006-09-08 | 2012-10-09 | Panasonic Corporation | Information processing terminal and music information generating method and program |
JP5225847B2 (en) * | 2006-09-08 | 2013-07-03 | パナソニック株式会社 | Information processing terminal, music information generation method, and program |
US7893342B2 (en) | 2006-09-08 | 2011-02-22 | Panasonic Corporation | Information processing terminal and music information generating program |
JP2008113331A (en) * | 2006-10-31 | 2008-05-15 | Aplix Corp | Telephone system, telephone set, server device, and program |
KR100890423B1 (en) | 2007-02-09 | 2009-03-26 | (주)티아이스퀘어 | Method and apparatus for providing voice analyzing service on wire/wireless video communication network during video call |
JP2009294647A (en) * | 2008-05-09 | 2009-12-17 | Agi:Kk | Action analysis device and call center system |
JP2012524444A (en) * | 2009-04-17 | 2012-10-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ambient communication system, method of operating the system, and computer readable medium |
JP2011160260A (en) * | 2010-02-02 | 2011-08-18 | Nakayo Telecommun Inc | Telephone main device, and telephone set |
KR101157928B1 (en) | 2010-03-15 | 2012-06-22 | 한국표준과학연구원 | System for announce hearing-impaired persons including emotion information and method for announce using the same |
JP2012208630A (en) * | 2011-03-29 | 2012-10-25 | Mizuho Information & Research Institute Inc | Speech management system, speech management method and speech management program |
JP2012235425A (en) * | 2011-05-09 | 2012-11-29 | Nikon Corp | Electronic apparatus, signal distribution method, and program |
JP2014119879A (en) * | 2012-12-14 | 2014-06-30 | Nippon Hoso Kyokai <Nhk> | Face expression evaluation result smoothing device and face expression evaluation result smoothing program |
JP2016507106A (en) * | 2013-01-24 | 2016-03-07 | D2 エモーション カンパニー リミテッドD2 Emotion Co., Ltd. | Group member management support system and method thereof |
US10089340B2 (en) | 2013-01-24 | 2018-10-02 | D2 Emotion Co., Ltd. | Group member management support system and method |
JP2015035172A (en) * | 2013-08-09 | 2015-02-19 | 日本放送協会 | Expression analysis device and expression analysis program |
JP2015050470A (en) * | 2013-08-29 | 2015-03-16 | 京セラ株式会社 | Terminal device and speech communication data processing method |
KR101480668B1 (en) | 2014-03-21 | 2015-01-26 | 충남대학교산학협력단 | Mobile Terminal Having Emotion Recognition Application using Voice and Method for Controlling thereof |
JPWO2017150103A1 (en) * | 2016-02-29 | 2019-01-31 | パナソニックIpマネジメント株式会社 | Audio processing apparatus, image processing apparatus, microphone array system, and audio processing method |
JP2020529680A (en) * | 2017-08-08 | 2020-10-08 | Line株式会社 | Methods and systems for recognizing emotions during a call and leveraging the perceived emotions |
JP2022020659A (en) * | 2017-08-08 | 2022-02-01 | Line株式会社 | Method and system for recognizing feeling during conversation, and utilizing recognized feeling |
JPWO2019107170A1 (en) * | 2017-11-29 | 2020-11-26 | 日本電信電話株式会社 | Urgency estimation device, urgency estimation method, program |
JP6996570B2 (en) | 2017-11-29 | 2022-01-17 | 日本電信電話株式会社 | Urgency estimation device, urgency estimation method, program |
WO2019107170A1 (en) * | 2017-11-29 | 2019-06-06 | 日本電信電話株式会社 | Urgency estimation device, urgency estimation method, and program |
US11495245B2 (en) | 2017-11-29 | 2022-11-08 | Nippon Telegraph And Telephone Corporation | Urgency level estimation apparatus, urgency level estimation method, and program |
WO2020116280A1 (en) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | Learning support device, learning support method, and recording medium |
JP2020091609A (en) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | Learning support device, learning support method and program |
JP7392259B2 (en) | 2018-12-04 | 2023-12-06 | 日本電気株式会社 | Learning support devices, learning support methods and programs |
JP7385892B2 (en) | 2019-05-14 | 2023-11-24 | 学校法人 芝浦工業大学 | Emotion estimation system and emotion estimation device |
WO2021192691A1 (en) * | 2020-03-24 | 2021-09-30 | 株式会社Jvcケンウッド | Information output device, information output method, and information output program |
WO2022180859A1 (en) * | 2021-02-26 | 2022-09-01 | 株式会社I’mbesideyou | Video session evaluation terminal, video session evaluation system, and video session evaluation program |
WO2022180860A1 (en) * | 2021-02-26 | 2022-09-01 | 株式会社I’mbesideyou | Video session evaluation terminal, video session evaluation system, and video session evaluation program |
Also Published As
Publication number | Publication date |
---|---|
JP4871552B2 (en) | 2012-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4871552B2 (en) | Information processing terminal | |
WO2006028223A1 (en) | Information processing terminal | |
JP5225847B2 (en) | Information processing terminal, music information generation method, and program | |
CN100359941C (en) | Visuable telephone terminal | |
US7697923B2 (en) | System and method for providing an automatic generation of user theme videos for ring tones and transmittal of context information | |
KR100841590B1 (en) | Chat system, communication device, control method thereof and computer-readable information storage medium | |
JP2004349851A (en) | Portable terminal, image communication program, and image communication method | |
CN103796181A (en) | Playing method of sending message, system and related equipment thereof | |
KR20090037590A (en) | Message service for offering three-dimensional image in mobile phone and mobile phone therefor | |
JP2007279776A (en) | Cg character agent device | |
JP2003143257A (en) | Mobile phone, mobile terminal, control program for the mobile phone, and control program for the mobile terminal | |
JP2008113331A (en) | Telephone system, telephone set, server device, and program | |
WO2008004844A1 (en) | Method and system for providing voice analysis service, and apparatus therefor | |
JP2005142797A (en) | Portable terminal device | |
KR20080026979A (en) | A mobile telecommunication device having a vibration pattern generation function and a vibration pattern generating and transmitting method | |
WO2007069361A1 (en) | Information processing terminal | |
JP2007158945A (en) | Communication terminal apparatus and communication system | |
CN109740017A (en) | The immediate feedback method and device of recommendation information | |
JP3641631B2 (en) | Mobile phone device, control method for mobile phone device, control program for mobile phone device, and computer-readable recording medium recording control program for mobile phone device | |
JP4772315B2 (en) | Information conversion apparatus, information conversion method, communication apparatus, and communication method | |
KR20230072199A (en) | Emotion object generating apparatus and system including the apparatus, and control method thereof | |
CN113726956A (en) | Incoming call answering control method and device, terminal equipment and storage medium | |
JP2007259427A (en) | Mobile terminal unit | |
KR20080020714A (en) | Method for transmission of emotional in mobile terminal | |
JP3877724B2 (en) | Telephone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111121 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |