JP2012103904A - 画像処理装置および方法、並びに、プログラム - Google Patents
画像処理装置および方法、並びに、プログラム Download PDFInfo
- Publication number
- JP2012103904A JP2012103904A JP2010251826A JP2010251826A JP2012103904A JP 2012103904 A JP2012103904 A JP 2012103904A JP 2010251826 A JP2010251826 A JP 2010251826A JP 2010251826 A JP2010251826 A JP 2010251826A JP 2012103904 A JP2012103904 A JP 2012103904A
- Authority
- JP
- Japan
- Prior art keywords
- mouth shape
- mouth
- basic
- shape
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】映像生成部123は、所定の音を発する場合に予め形成され、その音の母音に対応する口形とは異なる口形であって、複数の基本口形のうちのいずれかである初口形、および、1つの音を発し終える際に形成される口形であって、複数の基本口形のうちのいずれかである終口形が、ユーザにより入力された対象語を発音する際に現れる順序に従って、各基本口形を表す基本口形画像データを並べるとともに、2つの連続する基本口形画像データの間の中間画像データを、当該2つの基本口形画像データを用いて補間することにより、対象語を発音する際の口の動きを表す発話映像を生成する。本発明は、例えば、読唇術のトレーニング装置に適用できる。
【選択図】図3
Description
1.本発明に適用する理論
2.本発明の実施の形態
3.本発明の適用例および変形例
まず、図1および図2を参照して、本発明に適用する理論について説明する。
まず、図1および図2を参照して、日本語の音と口形の関係について説明する。
例えば、図2に基づいて、”雨(あめ)”の各音(”あ”、”め”)に対応するコードパターンを順番に並べると、"-AXE"となる。この口形コードの列は、”あめ”を発音する時に形成される口形の順序を示している。このように、日本語の各言葉を発するときに形成される口形の順序を口形コードにより表現したものを、以下、口形順序コードと称する。すなわち、口形順序コードは、対象となる言葉を発する際に現れる初口形および終口形の順番を示すデータであり、口形順序コードの奇数番目は、初口形の口形コードを示し、偶数番目は、終口形の口形コードを示す。
ここで、口形順序コードを生成するための規則について説明する。
2拍以上の言葉に対する口形順序コードを生成する場合、まず、図2に基づいて、その言葉に現れる各音に対応するコードパターンを単純に並べた口形コードの列(以下、単純連結コードと称する)を生成する。ただし、この段階では促音や撥音に対する口形パターンを決定するができないため、促音や撥音に対するコードパターンには、一時的に"-*"が割り当てられる。
1<s≦sMAXのとき、cL(s)=cL(s-1)かつcF(s)=-ならば、cF(s)とcL(s)を削除する。
1<s≦sMAXのとき、cF(s)=cL(s-1)ならば、cF(s)=-とする。
1<s<sMAXのとき、cL(s)=*かつcF(s+1)=Xならば、cL(s)=X、cF(s+1)=-とする。
1<s≦sMAXのとき、cL(s)=*かつcL(s-1)=A、または、cL(s)=*かつcL(s-1)=Eならば、cL(s)=Iとする。
1<s≦sMAXのとき、cL(s)=*かつcL(s-1)=Oならば、cL(s)=Uとする。
1<s≦sMAXのとき、cL(s)=*かつcL(s-1)=I、または、cL(s)=*かつcL(s-1)=Uならば、cF(s)とcL(s)を削除する。
次に、図3乃至図12を参照して、本発明の実施の形態について説明する。
図3は、本発明を適用した発話映像生成システムの一実施の形態を示すブロック図である。
次に、図4のフローチャートを参照して、発話映像生成システム101により実行される発話映像生成処理について説明する。なお、この処理は、例えば、発話映像生成システム101の電源がオンされたとき開始され、オフされたとき終了する。
1<s≦sMAXのとき、cL(s)=*かつcL(s-1)=I、または、cL(s)=*かつcL(s-1)=Uならば、cL(s)をcL(s-1)と同じ値に設定する。
なお、図6の発話速度および発話速度パラメータの値は、その一例であり、他の値に設定するようにしてもよい。例えば、発話速度を2段階、または、4段階以上に設定できるようにしてもよい。また、例えば、初口形の前後の口形変化時間を個別に設定できるようにしてもよい。さらに、例えば、単口形音と複口形音の終口形表示時間を個別に設定できるようにしてもよい。また、例えば、図2を参照して説明した口形パターン毎に個別に発話速度パラメータの値を設定できるようにしてもよい。
111 入力装置
112 画像処理装置
113 表示装置
121 口形順序コード生成部
122 設定部
123 映像生成部
124 表示制御部
125 記憶部
Claims (8)
- 人が話す際の口の動きを表す発話映像を生成する画像処理装置において、
所定の音を発する場合に予め形成され、その音の母音に対応する口形とは異なる口形であって、複数の基本口形のうちのいずれかである第1の口形、および、1つの音を発し終える際に形成される口形であって、複数の前記基本口形のうちのいずれかである第2の口形が、生成対象となる言葉である対象語を発音する際に現れる順序に従って、各前記基本口形を表す基本口形画像を並べるとともに、2つの連続する前記基本口形画像の間の画像を、当該2つの前記基本口形画像を用いて補間することにより、前記対象語に対する前記発話映像を生成する映像生成手段を
含む画像処理装置。 - 前記映像生成手段は、前記第1の口形から前記第2の口形に変化する間、前記第2の口形から前記第1の口形に変化する間、および、前記第2の口形から別の前記第2の口形に変化する間の画像を補間する
請求項1に記載の画像処理装置。 - 前記第1の口形を表示する第1の表示時間、前記第2の口形を表示する第2の表示時間、前記第1の口形から前記第2の口形に変化する間の第1の遷移時間、前記第2の口形から前記第1の口形に変化する間の第2の遷移時間、および、前記第2の口形から他の前記第2の口形に変化する間の第3の遷移時間を設定する設定手段を
さらに含み、
前記映像生成手段は、前記第1の表示時間、前記第2の表示時間、前記第1の遷移時間、前記第2の遷移時間、および、前記第3の遷移時間に基づいて、前記発話映像における発話速度を調整する
請求項1に記載の画像処理装置。 - 与えられた前記対象語に対して、前記対象語を発音する際に現れる前記第1の口形および前記第2の口形の順序を示すデータを生成する口形順序データ生成手段を
さらに含み、
前記映像生成手段は、生成された前記データに基づいて前記発話映像を生成する
請求項1に記載の画像処理装置。 - 前記基本口形は、母音を発するときに形成される母音口形、および、唇を閉じた状態の閉唇口形を含む
請求項1に記載の画像処理装置 - 生成された前記発話映像の表示を制御する表示制御手段を
さらに含む請求項1に記載の画像処理装置。 - 人が話す際の口の動きを表す発話映像を生成する画像処理方法において、
所定の音を発する場合に予め形成され、その音の母音に対応する口形とは異なる口形であって、複数の基本口形のうちのいずれかである第1の口形、および、1つの音を発し終える際に形成される口形であって、複数の前記基本口形のうちのいずれかである第2の口形が、生成対象となる言葉である対象語を発音する際に現れる順序に従って、各前記基本口形を表す基本口形画像を並べるとともに、2つの連続する前記基本口形画像の間の画像を、当該2つの前記基本口形画像を用いて補間することにより、前記対象語に対する前記発話映像を生成する映像生成ステップを
含む画像処理方法。 - 人が話す際の口の動きを表す発話映像を生成するコンピュータに、
所定の音を発する場合に予め形成され、その音の母音に対応する口形とは異なる口形であって、複数の基本口形のうちのいずれかである第1の口形、および、1つの音を発し終える際に形成される口形であって、複数の前記基本口形のうちのいずれかである第2の口形が、生成対象となる言葉である対象語を発音する際に現れる順序に従って、各前記基本口形を表す基本口形画像を並べるとともに、2つの連続する前記基本口形画像の間の画像を、当該2つの前記基本口形画像を用いて補間することにより、前記対象語に対する前記発話映像を生成する映像生成ステップを
含む処理を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010251826A JP2012103904A (ja) | 2010-11-10 | 2010-11-10 | 画像処理装置および方法、並びに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010251826A JP2012103904A (ja) | 2010-11-10 | 2010-11-10 | 画像処理装置および方法、並びに、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012103904A true JP2012103904A (ja) | 2012-05-31 |
Family
ID=46394222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010251826A Pending JP2012103904A (ja) | 2010-11-10 | 2010-11-10 | 画像処理装置および方法、並びに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012103904A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142424A1 (ja) * | 2018-01-17 | 2019-07-25 | 株式会社Jvcケンウッド | 表示制御装置、通信装置、表示制御方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02234285A (ja) * | 1989-03-08 | 1990-09-17 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像合成方法及びその装置 |
JP2003058908A (ja) * | 2001-08-10 | 2003-02-28 | Minolta Co Ltd | 顔画像制御方法および装置、コンピュータプログラム、および記録媒体 |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
-
2010
- 2010-11-10 JP JP2010251826A patent/JP2012103904A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02234285A (ja) * | 1989-03-08 | 1990-09-17 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像合成方法及びその装置 |
JP2003058908A (ja) * | 2001-08-10 | 2003-02-28 | Minolta Co Ltd | 顔画像制御方法および装置、コンピュータプログラム、および記録媒体 |
JP2008310382A (ja) * | 2007-06-12 | 2008-12-25 | Omron Corp | 読唇装置および方法、情報処理装置および方法、検出装置および方法、プログラム、データ構造、並びに、記録媒体 |
Non-Patent Citations (4)
Title |
---|
CSNG199900706003; 金子 正秀: 'テキスト情報に対応した口形状変化を有する顔動画像の合成' 電子情報通信学会論文誌 D-II Vol.J75-D-II No.2, 19920225, P.203-215, 社団法人電子情報通信学会 * |
CSNG200900634002; 宮崎 剛: '日本語発話時の特徴的口形のコード化と口形変化情報表示方法の提案' 電気学会論文誌C Vol.129 No.12 第129巻 第12号, 20091201, P.2108-2114, (社)電気学会 * |
JPN6014036310; 金子 正秀: 'テキスト情報に対応した口形状変化を有する顔動画像の合成' 電子情報通信学会論文誌 D-II Vol.J75-D-II No.2, 19920225, P.203-215, 社団法人電子情報通信学会 * |
JPN6014036311; 宮崎 剛: '日本語発話時の特徴的口形のコード化と口形変化情報表示方法の提案' 電気学会論文誌C Vol.129 No.12 第129巻 第12号, 20091201, P.2108-2114, (社)電気学会 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142424A1 (ja) * | 2018-01-17 | 2019-07-25 | 株式会社Jvcケンウッド | 表示制御装置、通信装置、表示制御方法およびプログラム |
JP2019125927A (ja) * | 2018-01-17 | 2019-07-25 | 株式会社Jvcケンウッド | 表示制御装置、通信装置、表示制御方法およびプログラム |
JP7081164B2 (ja) | 2018-01-17 | 2022-06-07 | 株式会社Jvcケンウッド | 表示制御装置、通信装置、表示制御方法および通信方法 |
US11508106B2 (en) | 2018-01-17 | 2022-11-22 | Jvckenwood Corporation | Display control device, communication device, display control method, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Taylor et al. | A deep learning approach for generalized speech animation | |
US11145100B2 (en) | Method and system for implementing three-dimensional facial modeling and visual speech synthesis | |
JP3664474B2 (ja) | 視覚的スピーチの言語透過的合成 | |
US7571099B2 (en) | Voice synthesis device | |
US6661418B1 (en) | Character animation system | |
KR101492816B1 (ko) | 애니메이션 립싱크 자동화 장치 및 방법 | |
JP2518683B2 (ja) | 画像合成方法及びその装置 | |
JP2003530654A (ja) | キャラクタのアニメ化 | |
US20150187112A1 (en) | System and Method for Automatic Generation of Animation | |
KR101089184B1 (ko) | 캐릭터의 발화와 감정표현 제공 시스템 및 방법 | |
JP4599606B2 (ja) | 頭部動作自動生成のための頭部動作学習装置及び頭部動作合成装置並びにコンピュータプログラム | |
CN113112575B (zh) | 一种口型生成方法、装置、计算机设备及存储介质 | |
JP5531654B2 (ja) | 制御情報生成装置および形状制御装置 | |
JP4631077B2 (ja) | アニメーション作成装置 | |
Taylor et al. | A mouth full of words: Visually consistent acoustic redubbing | |
JP2012103904A (ja) | 画像処理装置および方法、並びに、プログラム | |
WO2008023819A1 (fr) | Système informatique et procédé de commande d'opération | |
JP2003216173A (ja) | 合成音声及び映像の同期制御方法、装置及びプログラム | |
JP2003058908A (ja) | 顔画像制御方法および装置、コンピュータプログラム、および記録媒体 | |
JP2008140364A (ja) | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 | |
Verma et al. | Animating expressive faces across languages | |
CN110166844B (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
WO1999046732A1 (fr) | Dispositif de generation d'images en mouvement et dispositif d'apprentissage via reseau de controle d'images | |
CN113259778A (zh) | 将虚拟人物用于视频自动生产的方法、***和存储介质 | |
JP6486582B2 (ja) | 電子機器、音声制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20131028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131107 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20131107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131028 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141218 |