JP3950802B2 - 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 - Google Patents
顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP3950802B2 JP3950802B2 JP2003024734A JP2003024734A JP3950802B2 JP 3950802 B2 JP3950802 B2 JP 3950802B2 JP 2003024734 A JP2003024734 A JP 2003024734A JP 2003024734 A JP2003024734 A JP 2003024734A JP 3950802 B2 JP3950802 B2 JP 3950802B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- subject
- face
- predetermined condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005540 biological transmission Effects 0.000 title claims description 61
- 238000000034 method Methods 0.000 title claims description 11
- 230000008921 facial expression Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000008451 emotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
- A47K1/00—Wash-stands; Appurtenances therefor
- A47K1/04—Basins; Jugs; Holding devices therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Description
【発明の属する技術分野】
本発明は、顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体に関するものである。
【0002】
【従来の技術】
電子メールの普及に伴って、単に文章情報だけではなく各種の画像情報を送信する場合が増えている。その画像情報を送信する際の一態様として、ユーザ(被写体)の顔の画像を取得して、その顔の画像を指定された表情に応じた画像に変換する技術がある(例えば、特許文献1参照。)。
【0003】
【特許文献1】
特開平10−149433号公報
【0004】
【発明が解決しようとする課題】
ところで、ユーザの中には自己の顔の画像をそのまま送信することにはためらいがあるものの、自己の感情や意思といった要素を反映させたキャラクタ画像を送信したいという要望がある。従来の技術では、被写体の顔の画像を指定された表情に応じた画像に変換することはできても、ユーザの表情に基づいて感情や意思といった要素を反映させた画像を生成することはできないという課題がある。
【0005】
そこで本発明では、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することを課題とする。
【0006】
【課題を解決するための手段】
本発明の顔情報送信システムは、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、被写体が発する音声を取得する音声取得手段と、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、を含む。
【0007】
本発明の顔情報送信方法は、画像取得手段が、被写体の顔の画像を取得する画像取得ステップと、第一生成手段が、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成ステップと、画像判断手段が、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断ステップと、音声取得手段が、被写体が発する音声を取得する音声取得ステップと、第二生成手段が、画像判断ステップでの判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成ステップと、送信手段が、当該生成した第二画像情報を所定の通信端末に送信する送信ステップと、を含む。
【0008】
本発明の顔情報送信プログラムは、コンピュータを、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、被写体が発する音声を取得する音声取得手段と、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、して機能させる。
【0009】
本発明の顔情報送信システムおよび顔情報送信方法によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映されている可能性の高い画像として第二画像情報を生成して所定の通信端末に送信できる。第一画像情報が所定の条件を満たしていない場合には、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成して所定の通信端末に送信できる。また、コンピュータを用いて本発明の顔情報送信プログラムを実行しても同様である。
【0010】
また本発明の顔情報送信システムにおいては、被写体が発する音声を取得する音声取得手段と、第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、を更に含み、第二生成手段は、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。第一画像情報が所定の条件を満たしていない場合に、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成できる。
【0011】
また本発明の顔情報送信システムにおいては、音声取得手段が取得した音声に対応する音素を特定する音素特定手段と、当該特定された音素が所定の条件を満たすかどうか判断する音素判断手段と、を更に備え、第二生成手段は、音素判断手段の判断の結果、音素が所定の条件を満たしている場合には少なくとも音素に基づいて被写体の顔の表情に応じた第二画像情報を生成し、音素が所定の条件を満たしていない場合には第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。音素が所定の条件を満たしていない場合に、第一画像情報及び/又は音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、音素が何らかの理由で特定できなかったとしても第二画像情報を生成できる。
【0012】
また本発明の顔情報送信システムにおいては、第二生成手段は、第一画像情報及び音素がそれぞれ所定の条件を満たさず音声も取得できない場合には、予め定められた画像情報を第二画像情報とすることも好ましい。条件によっては音声も取得できない場面も想定できるが、そのような場合であっても予め定められた画像情報を用いれば第二画像情報が生成できる。
【0013】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報を含むことも好ましい。特徴点の顔における分布状況が特定されれば、特徴点相互の相対的な位置関係が把握できるのでより適切に第二画像情報を生成できる。
【0014】
また本発明の顔情報送信システムにおいては、画像取得手段は、顔の画像を時系列に沿って取得し、第一生成手段は、当該取得した画像に基づいて時系列に沿った特徴点の位置の変位を含む第一画像情報を生成することも好ましい。時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成すれば、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じた第二画像情報を生成できる。
【0015】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むことも好ましい。特徴点の顔に対する相対的な移動状況を時系列に沿って特定できるので、被写体の顔の表情の変化をより的確に把握できる。
【0016】
本発明のコンピュータ読取可能な記録媒体は、上記顔情報送信プログラムが記録されている。コンピュータを用いて、本発明の記録媒体に記録された顔情報送信プログラムを実行すると、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。
【0017】
【発明の実施の形態】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【0018】
本発明の実施形態である携帯電話機(顔情報送信システム)について図1を用いて説明する。図1は携帯電話機10を説明するための図である。携帯電話機10は、ネットワーク20を介して他の携帯電話機(通信端末)30と相互に情報通信が可能なように構成されている。
【0019】
引き続いて携帯電話機10について説明する。携帯電話機10は、物理的には、CPU(中央処理装置)、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能な携帯電話機として構成されている。
【0020】
携帯電話機10は、機能的な構成要素として、画像取得部(画像取得手段)101と、第一生成部(第一生成手段)102と、音声取得部(音声取得手段)103と、音素特定部(音素特定手段)104と、画像判断部(画像判断手段)105と、割込み入力部106と、第二生成部(第二生成手段)107と、送信部(送信手段)108と、音素判断部(音素判断手段)109と、キャラクタ情報格納部110と、を含む。引き続いて、各構成要素について詳細に説明する。
【0021】
画像取得部101は、被写体としての携帯電話機10のユーザの顔の画像を取得する部分である。画像取得部101が取得する顔の画像は瞬間的なもの(静止画)であっても、時系列に沿ったもの(動画)であってもよい。画像取得部101は取得した画像を第一生成部102に出力する。
【0022】
第一生成部102は、画像取得部101が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する。より具体的には、図2(a)に示すように第一生成部102は、画像取得部101が出力した画像40に含まれる被写体の顔画像403に対して、目及び眉毛を特定する特徴点401、口及び鼻を特定する特徴点402を特定し、顔画像403及び特徴点401、402を静止画の第一画像情報として生成する。また、画像取得部101が出力した画像が動画である場合には、図2(a)に示した画像40と所定時間経過した画像40aとを受け取ることとなる。画像40aは図2(b)に示すように、所定時間経過中に動いた顔画像403aを含み、その顔画像403aに対して特徴点401a、402aが特定される。従って動画の場合の第一画像情報は、顔画像403及び特徴点401、402と、顔画像403a及び特徴点401a、402aを含む。第一生成部102は、生成した第一画像情報を画像判断部105に出力する。
【0023】
画像判断部105は、第一生成部102が出力した第一画像情報が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機10を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機10のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、第一画像情報に含まれる特徴点のうち過半数を取得できないことや、顔画像に対する特徴点の分布が大きく外れていることが条件として設定される。画像判断部105は、第一画像情報が所定の条件を満たすかどうかの判断結果と、第一画像情報とを第二生成部107に出力する。
【0024】
音声取得部103は、被写体としての携帯電話機10のユーザが発する音声を取得する部分である。音声取得部103は、取得した音声を音素特定部104に出力する。
【0025】
音素特定部104は、音声取得部103が取得して出力した音声に対応する音素を特定する部分である。音素とは意味の相違をもたらす最小の音の単位である。例えば、出力された音声が「こんにちは」であれば、音素としては「こ」「ん」「に」「ち」「は」を特定する。音素特定部104は、音声及び特定した音素を音素判断部109に出力する。
【0026】
音素判断部109は、音素特定部104が出力した音素が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機10を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機10のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、音素が特定できないことなどが条件として設定される。音素判断部109は、音素が所定の条件を満たすかどうかの判断結果と音声とを第二生成部107に出力する。
【0027】
割込み入力部106は、携帯電話機10のユーザが入力する割込み指示を受け付けて、その割込み指示を第二生成部107に出力する部分である。より具体的には、「笑う」「泣く」「驚く」といった表情に関する指示に割り当てられたボタンをユーザが押下することで対応する指示が入力されて第二生成部107に出力される。
【0028】
第二生成部107は、第一生成部102が生成した第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像(第二画像情報)を生成する部分である。第二生成部107はまた、画像判断部105の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくともその第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成し、第一画像情報が所定の条件を満たしていない場合であって音素特定部104が特定した音素が所定の条件を満たしていればその音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する。
【0029】
第二生成部107は、第一画像情報も音素もそれぞれ所定の条件を満たしている場合には、第一画像情報及び音素に基づいてキャラクタ画像を生成する。例えば、第一画像情報では顔の傾きしか取得できない場合であって、音素が特定できている場合には互いに補完してキャラクタ画像を生成する。第二生成部107は、第一画像情報及び音素がそれぞれ所定の条件を満たしていない場合には音声の有無に基づいてキャラクタ画像を生成する。例えば、音声が所定の閾値を超えている場合にはユーザが声を発しているものとして、しゃべっているキャラクタ画像を生成する。更に、第一画像情報及び音素がそれぞれ所定の条件を満たしておらず、音声も取得できていない場合には予め格納されている画像情報をキャラクタ画像として用いるようにしても良い。
【0030】
第二生成部107が第一画像情報に基づいてキャラクタ画像を生成する場合、例えば図2(a)に示す顔画像403及び特徴点401、402に基づく場合には、顔画像403に対する特徴点401、402の相対的な位置を分布状況として特定する。第二生成部107はその分布状況に基づいて、図3(a)に示すようにキャラクタ顔画像503に対する特徴点501、502の相対的な位置を決めて静止画のキャラクタ画像50を生成する。また、第一画像情報が動画に対応する場合、すなわち図2(a)に示す顔画像403及び特徴点401、402と、図2(b)に示す所定時間経過後の顔画像403a及び特徴点401a、402aとに基づく場合には、図3(a)に示すキャラクタ画像50に加えて、図3(b)に示すキャラクタ顔画像503a及び特徴点501a、502aに基づくキャラクタ画像50aを生成する。
【0031】
第二生成部107が音素に基づいてキャラクタ画像を生成する場合には、キャラクタ情報格納部110に格納されている情報を利用する。キャラクタ情報格納部110に画されている情報の例を図4に示す。図4に示す例に拠れば、キャラクタ情報格納部110には、「音素」「特徴点データ」「キャラクタ画像」が関連付けられて格納されている。第二生成部107は、各「音素」に対応する「特徴点データ」「キャラクタ画像」を抽出して静止画若しくは動画としてのキャラクタ画像を生成する。尚、図4に示す例では、口元周辺の画像を表示しているけれども、顔全体の画像を対応させてもよい。また、「キャラクタ画像」としてユーザの癖を織り込んだ画像を格納するようにしても良い。
【0032】
第二生成部107は、割込み入力部106から割込み指示が出力された場合には、その割込み指示に応じてキャラクタ画像を改変する。例えば、「笑う」という割込み指示が出力された場合には、生成したキャラクタ画像を笑っている表情になるように改変する。第二生成部107は、生成し若しくは改変を加えたキャラクタ画像を送信部108に出力する。
【0033】
送信部108は、第二生成部107が生成したキャラクタ画像を携帯電話機30に送信する。
【0034】
引き続いて、携帯電話機10を用いてキャラクタ画像の送信を行う方法について、図5及び図6に示すフローチャートを用いて説明する。図5及び図6に示されるフローチャートは一連のものである。ユーザがキャラクタ画像を作成して送信する指示を携帯電話機10に入力する(ステップS01)。この指示の入力に応じて、引き続いて説明するステップS02、S03及びステップS04、S05の動作が平行して行われる。
【0035】
画像取得部101が、被写体としての携帯電話機10のユーザの顔の画像を取得する(ステップS02)。画像取得部101は取得した画像を第一生成部103に出力する。第一生成部102が、画像取得部101が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する(ステップS03)。第一生成部102は、生成した第一画像情報を画像判断部105に出力する。
【0036】
音声取得部103が、被写体としての携帯電話機10のユーザが発する音声を取得する部分である。(ステップS04)。音声取得部103は、取得した音声を音素特定部104に出力する。音素特定部104が、音声取得部103が取得して出力した音声に対応する音素を特定する(ステップS05)。音素特定部104は、音声及び特定した音素を音素判断部109に出力する。
【0037】
画像判断部105が、第一生成部102が出力した第一画像情報が所定の条件を満たすかどうかを判断する(ステップS06)。画像判断部105は、第一画像情報が所定の条件を満たすかどうかの判断結果と第一画像情報とを第二生成部107に出力する。
【0038】
音素判断部109が、音素特定部104が出力した音素が所定の条件を満たすかどうかを判断する(ステップS07、S08)。また、音素判断部109は、音素特定部104が出力した音声が所定の閾値を超えて実質的に音声がある状態かどうかを判断する(ステップS09)。音素判断部109は、音素が所定の条件を満たすかどうかの判断結果と、音声が所定の閾値を超えているかどうかの判断結果と、音声及び音素とを第二生成部107に出力する。
【0039】
第一画像情報が所定の条件を満たしており、音素も所定の条件を満たしている場合(ステップS06からステップS07)には、第二生成部107は第一画像情報と音素とに基づいて被写体の顔の表情に応じたキャラクタ画像を生成する(ステップS10)。
【0040】
第一画像情報が所定の条件を満たしており、音素は所定の条件を満たしていない場合(ステップS06からステップS07)には、第二生成部107は第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する(ステップS11)。
【0041】
第一画像情報が所定の条件を満たしておらず、音素は所定の条件を満たしている場合(ステップS06からステップS08)には、第二生成部107は音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する(ステップS12)。
【0042】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えている場合(ステップS06、ステップS08からステップS09)には、第二生成部107は音声に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する(ステップS13)。
【0043】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えていない場合(ステップS06、ステップS08からステップS09)には、第二生成部107は予め格納されているデフォルト情報に基づいてキャラクタ画像を生成する(ステップS14)。
【0044】
第二生成部107は、割込み入力部106から割込み指示が出力されたかどうかを判断する(ステップS15)。第二生成部107は、割込み指示が出力されている場合には、その割込み指示に応じてキャラクタ画像を改変する(ステップS16)。第二生成部107は、生成し若しくは改変を加えたキャラクタ画像を送信部108に出力する。送信部108が、第二生成部107が生成したキャラクタ画像を携帯電話機30に送信する(ステップS17)。
【0045】
引き続いて、CPU(中央処理装置)、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能なコンピュータを、本実施形態の携帯電話機10として機能させるための顔情報送信プログラム92及びそれが記録されているコンピュータ読取可能な記録媒体9について説明する。図7は、顔情報送信プログラム92が記録されている記録媒体9の構成を示した図である。記録媒体9としては、例えば、磁気ディスク、光ディスク、CD−ROM、コンピュータに内蔵されたメモリなどが該当する。
【0046】
記録媒体9は、図7に示すように、プログラムを記録するプログラム領域91と、データを記録するデータ領域93とを備えている。データ領域93には、図1を用いて説明したキャラクタ情報格納部110と同様のキャラクタ情報データベース931が格納されている。
【0047】
プログラム領域91には、顔情報送信プログラム92が記録されている。顔情報送信プログラム92は、処理を統括するメインモジュール921と、画像取得モジュール922と、第一生成モジュール923と、音声取得モジュール924と、音素特定モジュール925と、画像判断モジュール926と、割込み入力モジュール927と、第二生成モジュール928と、送信モジュール929と、音素判断モジュール930とを備える。ここで、画像取得モジュール922、第一生成モジュール923、音声取得モジュール924、音素特定モジュール925、画像判断モジュール926、割込み入力モジュール927、第二生成モジュール928、送信モジュール929、音素判断モジュール930のそれぞれを動作させることによって実現する機能は、上記携帯電話機10の画像取得部101、第一生成部102、音声取得部103、音素特定部104、画像判断部105、割込み入力部106、第二生成部107、送信部108、音素判断部109のそれぞれの機能と同様である。
【0048】
本実施形態においては、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じたキャラクタ画像を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像としてキャラクタ画像を生成して携帯電話機30に送信できる。
【0049】
また本実施形態においては、第一画像情報が所定の条件を満たしていない場合に、音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしてもキャラクタ画像を生成できる。
【0050】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報も含むので、特徴点相互の相対的な位置関係が把握でき、より適切にキャラクタ画像を生成できる。
【0051】
また本実施形態においては、時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成するので、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じたキャラクタ画像を生成できる。
【0052】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むので、特徴点の顔に対する相対的な移動状況を時系列に沿って特定でき、被写体の顔の表情の変化をより的確に把握できる。
【0053】
【発明の効果】
本発明によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。第一画像情報が所定の条件を満たしていない場合には、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成して所定の通信端末に送信できる。従って本発明の目的とする、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することができた。
【図面の簡単な説明】
【図1】本発明の実施形態である顔情報送信システムを説明するための図である。
【図2】本発明の実施形態である顔情報送信システムが取得する顔画像の例を示す図である。
【図3】本発明の実施形態である顔情報送信システムが生成するキャラクタ画像の例を示す図である。
【図4】図1のキャラクタ情報格納部に格納されている情報の例を示す図である。
【図5】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図6】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図7】本発明の実施形態である顔情報送信プログラムを説明するための図である。
【符号の説明】
10…携帯電話機、101…画像取得部、102…第一生成部、103…音声取得部、104…音素特定部、105…画像判断部、106…割込み入力部、107…第二生成部、108…送信部、109…音素判断部、110…キャラクタ情報格納部、20…ネットワーク、30…携帯電話機。
Claims (9)
- 被写体の顔の画像を取得する画像取得手段と、
当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成手段と、
当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、
前記被写体が発する音声を取得する音声取得手段と、
前記画像判断手段の判断の結果、前記第一画像情報が所定の条件を満たしている場合には少なくとも前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記第一画像情報が所定の条件を満たしていない場合には前記音声に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、
当該生成した第二画像情報を所定の通信端末に送信する送信手段と、
を含む顔情報送信システム。 - 前記音声取得手段が取得した音声に対応する音素を特定する音素特定手段と、
当該特定された音素が所定の条件を満たすかどうか判断する音素判断手段と、を更に備え、
前記第二生成手段は、前記音素判断手段の判断の結果、前記音素が所定の条件を満たしている場合には少なくとも前記音素に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記音素が所定の条件を満たしていない場合には前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する、請求項1に記載の顔情報送信システム。 - 前記第二生成手段は、前記第一画像情報及び前記音素がそれぞれ所定の条件を満たさず前記音声も取得できない場合には、予め定められた画像情報を前記第二画像情報とする、請求項2に記載の顔情報送信システム。
- 前記第一画像情報は、前記特徴点の前記被写体の顔における分布状況を特定する情報を含む、請求項1に記載の顔情報送信システム。
- 前記画像取得手段は、前記顔の画像を時系列に沿って取得し、
前記第一生成手段は、当該取得した画像に基づいて時系列に沿った前記特徴点の位置の変位を含む前記第一画像情報を生成する、請求項1に記載の顔情報送信システム。 - 前記第一画像情報は、前記特徴点の前記被写体の顔に対する相対的な移動状況を特定する情報を含む、請求項5に記載の顔情報送信システム。
- 画像取得手段が、被写体の顔の画像を取得する画像取得ステップと、
第一生成手段が、当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成ステップと、
画像判断手段が、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断ステップと、
音声取得手段が、前記被写体が発する音声を取得する音声取得ステップと、
第二生成手段が、画像判断ステップでの判断の結果、前記第一画像情報が所定の条件を満たしている場合には少なくとも前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記第一画像情報が所定の条件を満たしていない場合には前記音声に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成ステップと、
送信手段が、当該生成した第二画像情報を所定の通信端末に送信する送信ステップと、
を含む顔情報送信方法。 - コンピュータを、
被写体の顔の画像を取得する画像取得手段と、
当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成手段と、
当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、
前記被写体が発する音声を取得する音声取得手段と、
前記画像判断手段の判断の結果、前記第一画像情報が所定の条件を満たしている場合には少なくとも前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記第一画像情報が所定の条件を満たしていない場合には前記音声に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、
当該生成した第二画像情報を所定の通信端末に送信する送信手段と、
して機能させるための顔情報送信プログラム。 - 請求項8に記載の顔情報送信プログラムが記録されたことを特徴とするコンピュータ読取可能な記録媒体。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003024734A JP3950802B2 (ja) | 2003-01-31 | 2003-01-31 | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
US10/748,248 US7224367B2 (en) | 2003-01-31 | 2003-12-31 | Face information transmission system |
EP04001619A EP1443465B1 (en) | 2003-01-31 | 2004-01-26 | Face information transmission system |
DE602004001887T DE602004001887T2 (de) | 2003-01-31 | 2004-01-26 | System zur Übertragung von Gesichtsinformation |
CNB2004100037869A CN1237799C (zh) | 2003-01-31 | 2004-01-30 | 面部信息传输*** |
KR1020040006230A KR100629643B1 (ko) | 2003-01-31 | 2004-01-30 | 얼굴 정보 전송 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003024734A JP3950802B2 (ja) | 2003-01-31 | 2003-01-31 | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004236186A JP2004236186A (ja) | 2004-08-19 |
JP3950802B2 true JP3950802B2 (ja) | 2007-08-01 |
Family
ID=32652930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003024734A Expired - Lifetime JP3950802B2 (ja) | 2003-01-31 | 2003-01-31 | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7224367B2 (ja) |
EP (1) | EP1443465B1 (ja) |
JP (1) | JP3950802B2 (ja) |
KR (1) | KR100629643B1 (ja) |
CN (1) | CN1237799C (ja) |
DE (1) | DE602004001887T2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306824B2 (en) | 2008-10-14 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for creating face character based on voice |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100630085B1 (ko) * | 2004-02-06 | 2006-09-27 | 삼성전자주식회사 | 무선단말기의 조합형 이모티콘 입력방법 |
KR100662335B1 (ko) * | 2004-06-18 | 2007-01-02 | 엘지전자 주식회사 | 이동단말기 사용자의 감정 전달 및 표출 방법과, 그를위한 통신 시스템 |
DE102004063553A1 (de) * | 2004-12-30 | 2006-04-13 | Siemens Ag | Verfahren, Endgerät sowie mobiles Endgerät zur Darstellung von insbesondere multimedialen Kurznachrichten in einem mobilen Kommunikationssystem |
KR101141643B1 (ko) * | 2005-03-07 | 2012-05-04 | 엘지전자 주식회사 | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 |
US7693306B2 (en) * | 2005-03-08 | 2010-04-06 | Konami Gaming, Inc. | System and method for capturing images from mobile devices for use with patron tracking system |
KR100686076B1 (ko) * | 2005-03-24 | 2007-02-26 | 엘지전자 주식회사 | 피사체의 감정 상태에 대응하는 메시지 출력 기능을 갖는무선 통신 단말기 및 이를 이용한 메시지 출력 방법 |
KR100713281B1 (ko) * | 2005-03-29 | 2007-05-04 | 엘지전자 주식회사 | 감정 상태에 따른 프로그램 추천 기능을 갖는 영상표시기기및 그 제어방법 |
JP2006330958A (ja) * | 2005-05-25 | 2006-12-07 | Oki Electric Ind Co Ltd | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ |
JP2006350986A (ja) * | 2005-06-17 | 2006-12-28 | Tokyo Institute Of Technology | 顔写真付きメールを送受信できる携帯電話機 |
EP1966674A2 (en) * | 2005-12-22 | 2008-09-10 | Koninklijke Philips Electronics N.V. | Valentine pillow |
JP2007193730A (ja) * | 2006-01-23 | 2007-08-02 | Seiko Epson Corp | 印刷装置、画像処理装置、印刷方法、および画像処理方法 |
US8766983B2 (en) * | 2006-05-07 | 2014-07-01 | Sony Computer Entertainment Inc. | Methods and systems for processing an interchange of real time effects during video communication |
DE102007010662A1 (de) * | 2007-03-02 | 2008-09-04 | Deutsche Telekom Ag | Verfahren und Videokommunikationssystem zur Gestik-basierten Echtzeit-Steuerung eines Avatars |
US20090201297A1 (en) * | 2008-02-07 | 2009-08-13 | Johansson Carolina S M | Electronic device with animated character and method |
KR101009151B1 (ko) | 2008-09-04 | 2011-01-18 | 삼성전기주식회사 | 휴대용 단말기의 환경설정 변경 장치 및 그 방법 |
CN101727904B (zh) * | 2008-10-31 | 2013-04-24 | 国际商业机器公司 | 语音翻译方法和装置 |
US9307190B2 (en) | 2010-11-09 | 2016-04-05 | Kanfield Capital Sa | Apparatus and method for physical interaction over a distance using a telecommunication device |
US8565392B2 (en) | 2010-11-09 | 2013-10-22 | WOOW Inc. Limited | Apparatus and method for physical interaction over a distance using a telecommunication device |
JP5555193B2 (ja) | 2011-03-01 | 2014-07-23 | 株式会社メガチップス | データ処理装置、データ処理システム、及びプログラム |
CN102156888B (zh) * | 2011-04-27 | 2013-06-12 | 西安电子科技大学 | 基于特征点局部颜色及分布特征的图像拣出方法 |
CN102571631B (zh) * | 2011-12-23 | 2016-08-31 | 上海量明科技发展有限公司 | 即时通信中动作图像信息的发送方法、终端和*** |
US9262869B2 (en) * | 2012-07-12 | 2016-02-16 | UL See Inc. | Method of 3D model morphing driven by facial tracking and electronic device using the method the same |
KR101988279B1 (ko) | 2013-01-07 | 2019-06-12 | 삼성전자 주식회사 | 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
US9609272B2 (en) * | 2013-05-02 | 2017-03-28 | Avaya Inc. | Optimized video snapshot |
KR102299764B1 (ko) * | 2014-11-28 | 2021-09-09 | 삼성전자주식회사 | 전자장치, 서버 및 음성출력 방법 |
US10398902B2 (en) | 2015-03-27 | 2019-09-03 | Equility Llc | Neural stimulation method and system with audio output |
US10327984B2 (en) | 2015-03-27 | 2019-06-25 | Equility Llc | Controlling ear stimulation in response to image analysis |
US10039928B2 (en) | 2015-03-27 | 2018-08-07 | Equility Llc | Ear stimulation with neural feedback sensing |
US10512783B2 (en) | 2015-03-27 | 2019-12-24 | Equility Llc | User interface method and system for ear stimulation |
US10406376B2 (en) | 2015-03-27 | 2019-09-10 | Equility Llc | Multi-factor control of ear stimulation |
US9987489B2 (en) | 2015-03-27 | 2018-06-05 | Elwha Llc | Controlling ear stimulation in response to electrical contact sensing |
US10589105B2 (en) | 2015-03-27 | 2020-03-17 | The Invention Science Fund Ii, Llc | Method and system for controlling ear stimulation |
US11364380B2 (en) | 2015-03-27 | 2022-06-21 | Elwha Llc | Nerve stimulation system, subsystem, headset, and earpiece |
CN106445107A (zh) * | 2016-08-30 | 2017-02-22 | 苏州品诺维新医疗科技有限公司 | 一种基于面部表情进行信息发送的方法及装置 |
KR102661019B1 (ko) * | 2018-02-23 | 2024-04-26 | 삼성전자주식회사 | 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 |
EP3766004A4 (en) * | 2018-03-16 | 2021-12-15 | Magic Leap, Inc. | FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS |
JP7277145B2 (ja) * | 2019-01-10 | 2023-05-18 | 株式会社Iriam | キャラクタを使ったライブ通信システム |
US11218666B1 (en) * | 2020-12-11 | 2022-01-04 | Amazon Technologies, Inc. | Enhanced audio and video capture and presentation |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5426460A (en) * | 1993-12-17 | 1995-06-20 | At&T Corp. | Virtual multimedia service for mass market connectivity |
JPH10149433A (ja) | 1996-11-21 | 1998-06-02 | Matsushita Electric Ind Co Ltd | 顔マーク入力装置 |
US5995119A (en) * | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
WO2001045089A1 (en) | 1999-12-15 | 2001-06-21 | Bright Spark Technologies (Proprietary) Limited | Phonemes recognition in an audio signal |
US6943794B2 (en) * | 2000-06-13 | 2005-09-13 | Minolta Co., Ltd. | Communication system and communication method using animation and server as well as terminal device used therefor |
JP3478255B2 (ja) | 2000-08-01 | 2003-12-15 | カシオ計算機株式会社 | 顔画像作成装置および顔画像作成制御方法 |
JP2002175538A (ja) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 |
JP2002199362A (ja) | 2000-12-26 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 画像通信装置 |
US6654018B1 (en) * | 2001-03-29 | 2003-11-25 | At&T Corp. | Audio-visual selection process for the synthesis of photo-realistic talking-head animations |
JP3593067B2 (ja) | 2001-07-04 | 2004-11-24 | 沖電気工業株式会社 | 画像コミュニケーション機能付き情報端末装置および画像配信システム |
-
2003
- 2003-01-31 JP JP2003024734A patent/JP3950802B2/ja not_active Expired - Lifetime
- 2003-12-31 US US10/748,248 patent/US7224367B2/en not_active Expired - Lifetime
-
2004
- 2004-01-26 EP EP04001619A patent/EP1443465B1/en not_active Expired - Lifetime
- 2004-01-26 DE DE602004001887T patent/DE602004001887T2/de not_active Expired - Lifetime
- 2004-01-30 KR KR1020040006230A patent/KR100629643B1/ko active IP Right Grant
- 2004-01-30 CN CNB2004100037869A patent/CN1237799C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306824B2 (en) | 2008-10-14 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for creating face character based on voice |
Also Published As
Publication number | Publication date |
---|---|
US7224367B2 (en) | 2007-05-29 |
DE602004001887D1 (de) | 2006-09-28 |
CN1237799C (zh) | 2006-01-18 |
DE602004001887T2 (de) | 2007-02-08 |
EP1443465B1 (en) | 2006-08-16 |
JP2004236186A (ja) | 2004-08-19 |
KR100629643B1 (ko) | 2006-09-29 |
US20040207720A1 (en) | 2004-10-21 |
EP1443465A1 (en) | 2004-08-04 |
CN1527602A (zh) | 2004-09-08 |
KR20040070326A (ko) | 2004-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3950802B2 (ja) | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 | |
US20190341046A1 (en) | Voice dialog device and voice dialog method | |
KR100586767B1 (ko) | 다중모드 입력을 이용한 다중모드 초점 탐지, 기준 모호성해명 및 기분 분류를 위한 시스템 및 방법 | |
JP4718987B2 (ja) | インターフェース装置およびそれを備えた移動ロボット | |
CN112075075A (zh) | 用于会议的计算机化智能助理 | |
US8306823B2 (en) | Dialog detecting apparatus, dialog detecting method, and computer program product | |
US11468888B2 (en) | Control apparatus, control method agent apparatus, and computer readable storage medium | |
US8164644B2 (en) | Method and apparatus for generating media signal by using state information | |
CN109446876A (zh) | 手语信息处理方法、装置、电子设备和可读存储介质 | |
JP2007272534A (ja) | 省略語補完装置、省略語補完方法、及びプログラム | |
JP2012230535A (ja) | 電子機器および電子機器の制御プログラム | |
US10956761B2 (en) | Control apparatus, control method agent apparatus, and computer readable storage medium | |
US20200143810A1 (en) | Control apparatus, control method, agent apparatus, and computer readable storage medium | |
WO2016206646A1 (zh) | 使机器装置产生动作的方法及*** | |
JP2021113835A (ja) | 音声処理装置および音声処理方法 | |
US20230042310A1 (en) | Wearable apparatus and methods for approving transcription and/or summary | |
KR20060102651A (ko) | 피사체의 감정 상태에 대응하는 메시지 출력 기능을 갖는무선 통신 단말기 및 이를 이용한 메시지 출력 방법 | |
US20210390957A1 (en) | Systems and methods for processing audio and video | |
US11687317B2 (en) | Wearable computing device audio interface | |
US10997442B2 (en) | Control apparatus, control method, agent apparatus, and computer readable storage medium | |
JP2018055155A (ja) | 音声対話装置および音声対話方法 | |
JP2019191339A (ja) | 電子機器、制御プログラム、制御装置および制御方法 | |
WO2019142420A1 (ja) | 情報処理装置および情報処理方法 | |
US20190110022A1 (en) | Communication device, communication system, and non-transitory computer readable medium storing program | |
JP5067435B2 (ja) | 会話管理システムおよび管理サーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3950802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |