JP3059022B2 - 動画像表示装置 - Google Patents
動画像表示装置Info
- Publication number
- JP3059022B2 JP3059022B2 JP5135755A JP13575593A JP3059022B2 JP 3059022 B2 JP3059022 B2 JP 3059022B2 JP 5135755 A JP5135755 A JP 5135755A JP 13575593 A JP13575593 A JP 13575593A JP 3059022 B2 JP3059022 B2 JP 3059022B2
- Authority
- JP
- Japan
- Prior art keywords
- mouth shape
- image
- unit
- mouth
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
合成して表示装置の画面上に表示することにより、オペ
レータである人間と機械とのコミニュケーションを円滑
に行えるようにした動画像表示装置に関する。
する内容をテキストにし、このテキストに応じて発声す
る音声の口形と発声時間とを決定し、この決定した口形
の画像を人間の顔画像の口領域に合成し、この合成顔画
像をテキストから合成した音声と同期して表示する装置
がある。
音を抽出し、この抽出した母音に応じた口形を決定し、
この決定した口形の画像を人間の顔画像の口領域に合成
し、この合成顔画像を入力音声の発声速度に同期して表
示する装置がある(原島ら;「表情アニメーション作成
のためのシナリオ記述ツールとリアルタイム動画像表
示」;信学技法HC91−57,P23〜30参照)。
種類の装置のうち、第1の装置は、テキストに応じて口
形を決定するため口形は正確に表現できるが、音声はテ
キストから合成するため自然性に欠けるといった不都合
がある。
て入力音声をテキスト化してから口形を決定するため、
音声は正確に表現できるが、口形は音声の認識を誤ると
不自然なものが選択され、正確な合成顔画像が得られな
いといった不都合がある。また、この装置は処理に時間
がかかり過ぎるといった不都合もある。
確に識別し、入力音声と同期して正確な口形を有する顔
画像を表示することを目的とする。
装置は、発声する音声の低域および高域の周波数成分を
抽出する周波数検出部と、周波数検出部で抽出した周波
数成分に基づき発声する音声の口形を決定する口形選択
部と、この決定した口形に応じた口形画像を人間の顔画
像の口領域に合成して合成顔画像を得る画像合成部と、
音声の発声に同期して合成顔画像を表示する表示部とか
ら構成する。
0Hzを境にして、発声する音声の低域側の出力値を検
出する第1の帯域フィルタと高域側の出力値を検出する
第2の帯域フィルタとを備え、口形選択部はこの第1お
よび第2の帯域フィルタの両出力値に基づいて発声する
音声の口形を決定する。
る音声の低域および高域の周波数成分を抽出し、口形選
択部はこの抽出した周波数成分に基づいて口形を決定す
る。口形を決定するうえで重要なのは調音位置である
が、母音の調音位置は主に第1フォルマントおよび第2
フォルマントの位置によって決まる。
帯域フィルタによって第1フォルマントの出力値を抽出
し、高域側の第2の帯域フィルタによって第2フォルマ
ントの出力値を抽出する。口形選択部はこの2種類の帯
域フィルタで抽出した出力値の割合から入力音声を摩擦
子音、バスバー、5種類の母音および無音に大別し、そ
れぞれに応じた口形を決定する。合成画像部はこうして
決定した口形に対する口形画像を顔画像の口領域に合成
して合成顔画像を得、表示部はこの合成画像を音声の発
声に同期して表示する。
施例を示すブロック図である。本実施例において、音声
格納部1は自然音声を格納するためのもので、予め収集
した音声であっても、リアルタイムで入力した音声であ
ってもよい。
れた音声信号の低域および高域の周波数成分を抽出する
ためのもので、低域側の帯域フィルタBPF1と高域側
の帯域フィルタBPF2とによって構成されている。こ
の2つの帯域フィルタBPF1およびBPF2は、図2
に示すように、周波数1200Hzを境界とする周波数
特性を有しており、この境界周波数(1200Hz)は
母音の第1フォルマントと第2フォルマントとを区別し
やすくするために設定した値である。
波数成分の検出結果に基づいて、表示すべき口形を決定
するためのもので、前述した2つの帯域フィルタBPF
1およびBPF2の出力値から口形を決定する。図3
は、口形選択部3における口形決定のための特性図で、
横軸に帯域フィルタBPF1の出力値、縦軸に帯域フィ
ルタBPF2の出力値を示し、この2つの出力値の相関
から口形を決定する。
o,mmは、それぞれ口形を表す記号で、frは/s/
(サ行音)のような摩擦性子音を発声するときの口形、
relは発声していないときの口形、aは母音/a/を
発声するときの口形、iは母音/i/を発声するときの
口形、uは母音/u/を発声するときの口形、oは母音
/o/を発声するときの口形、mmは/ma/を発声す
るときのような唇を閉じたときの口形である。
力レベルがa1以下で、かつ帯域フィルタBPF2の出
力レベルがb1以上であれば、口形選択部3は記号fr
の口形を選択する。
形に対応する画像データを口形画像格納部5から読み出
し、同時に顔画像格納部6から人間の顔画像を表示する
画像データを読み出して、図4に示すように、顔画像F
の口領域Mに、口形画像を嵌め込んで合成顔画像を形成
する。口形画像格納部5には、図5に示すように、前述
した8種類の口形fr,rel,a,i,u,e,o,
mmに対応する口形の画像データが格納されている。
画像を、同期制御部(不図示)からの制御によって、発
音部8から発声する音声出力と同期して表示するもので
ある。この場合、顔画像に嵌め込む口形画像の切り換え
を、口形が変化したときのみ実行するようにすれば、処
理量を大幅に削減することができる。
迅速に入力音声の口形を決定することができ、その結
果、音声と同期した違和感のない口形を有する合成顔画
像を表示することができるので、オペレータと機械との
間でのヒューマン・インターフェースが可能となる。
ブロック図である。
である。
Claims (1)
- 【請求項1】 周波数1200Hzを境として、発声す
る音声の低域側の出力値を検出する第1の帯域フィルタ
と発声する音声の高域側の出力値を検出する第2の帯域
フィルタとを備える周波数検出部と、前記第1および第2の帯域フィルタの両出力値に基づい
て 前記発声する音声の口形を決定する口形選択部と、 前記決定した口形に応じた口形画像を人間の顔画像の口
領域に合成して合成顔画像を得る画像合成部と、 前記音声の発声に同期して前記合成顔画像を表示する表
示部と、 を備えることを特徴とする動画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5135755A JP3059022B2 (ja) | 1993-06-07 | 1993-06-07 | 動画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5135755A JP3059022B2 (ja) | 1993-06-07 | 1993-06-07 | 動画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06348811A JPH06348811A (ja) | 1994-12-22 |
JP3059022B2 true JP3059022B2 (ja) | 2000-07-04 |
Family
ID=15159111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5135755A Expired - Fee Related JP3059022B2 (ja) | 1993-06-07 | 1993-06-07 | 動画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3059022B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6479596B1 (en) | 1993-07-02 | 2002-11-12 | Vantico, Inc. | Epoxy acrylates |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100236974B1 (ko) | 1996-12-13 | 2000-02-01 | 정선종 | 동화상과 텍스트/음성변환기 간의 동기화 시스템 |
KR100240637B1 (ko) | 1997-05-08 | 2000-01-15 | 정선종 | 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치 |
US7096079B2 (en) | 1999-10-14 | 2006-08-22 | Sony Computer Entertainment Inc. | Audio processing and image generating apparatus, audio processing and image generating method, recording medium and program |
JP2002133445A (ja) * | 2000-10-30 | 2002-05-10 | Namco Ltd | 画像処理装置、画像処理方法および情報記憶媒体 |
JP2012150363A (ja) * | 2011-01-20 | 2012-08-09 | Kddi Corp | メッセージ映像編集プログラムおよびメッセージ映像編集装置 |
CN108847234B (zh) * | 2018-06-28 | 2020-10-30 | 广州华多网络科技有限公司 | 唇语合成方法、装置、电子设备及存储介质 |
CN112770062B (zh) * | 2020-12-22 | 2024-03-08 | 北京奇艺世纪科技有限公司 | 一种图像生成方法及装置 |
-
1993
- 1993-06-07 JP JP5135755A patent/JP3059022B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6479596B1 (en) | 1993-07-02 | 2002-11-12 | Vantico, Inc. | Epoxy acrylates |
Also Published As
Publication number | Publication date |
---|---|
JPH06348811A (ja) | 1994-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3226245B1 (en) | System and method to insert visual subtitles in videos | |
Graf et al. | Visual prosody: Facial movements accompanying speech | |
US5940797A (en) | Speech synthesis method utilizing auxiliary information, medium recorded thereon the method and apparatus utilizing the method | |
US5278943A (en) | Speech animation and inflection system | |
JP2518683B2 (ja) | 画像合成方法及びその装置 | |
Le Goff et al. | A text-to-audiovisual-speech synthesizer for french | |
US7076429B2 (en) | Method and apparatus for presenting images representative of an utterance with corresponding decoded speech | |
US6317716B1 (en) | Automatic cueing of speech | |
JP2003186379A (ja) | 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム | |
JPH10312467A (ja) | 像合成のための自動スピーチ整列方法 | |
JPS62120179A (ja) | 画像合成装置 | |
JPH065451B2 (ja) | 発音訓練装置 | |
EP0674315A1 (en) | Audio visual dubbing system and method | |
KR20000005183A (ko) | 이미지 합성방법 및 장치 | |
Waters et al. | An automatic lip-synchronization algorithm for synthetic faces | |
JP3059022B2 (ja) | 動画像表示装置 | |
Barker et al. | Evidence of correlation between acoustic and visual features of speech | |
JP4381404B2 (ja) | 音声合成システム、音声合成方法、音声合成プログラム | |
JP2002108382A (ja) | リップシンクを行うアニメーション方法および装置 | |
JP4011844B2 (ja) | 翻訳装置、翻訳方法および媒体 | |
JP2003216173A (ja) | 合成音声及び映像の同期制御方法、装置及びプログラム | |
Bailly et al. | Lip-synching using speaker-specific articulation, shape and appearance models | |
Mattheyses et al. | Multimodal unit selection for 2D audiovisual text-to-speech synthesis | |
NO317598B1 (no) | Fremgangsmate og apparat for frembringelse av visuell talesyntese | |
Weiss | A Framework for Data-driven Video-realistic Audio-visual Speech-synthesis. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080421 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |