JP4226237B2 - 漫画生成装置及び漫画生成プログラム - Google Patents
漫画生成装置及び漫画生成プログラム Download PDFInfo
- Publication number
- JP4226237B2 JP4226237B2 JP2001274435A JP2001274435A JP4226237B2 JP 4226237 B2 JP4226237 B2 JP 4226237B2 JP 2001274435 A JP2001274435 A JP 2001274435A JP 2001274435 A JP2001274435 A JP 2001274435A JP 4226237 B2 JP4226237 B2 JP 4226237B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- frame image
- information
- image
- comic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、動画映像信号と音声信号とから、静止画像を時系列に並べた漫画画像を生成する漫画生成装置及び漫画生成プログラムに関する。
【0002】
【従来の技術】
現在、漫画を自動で生成する試みは種々行なわれている。例えば、インターネット上でメッセージを交換することで、複数の人が遠隔地に居ながらリアルタイムでコミュニケーションを行なうチャット(Chat)において、通常テキストで構成されるチャットのメッセージを、各ユーザが自分の好きなキャラクタを選択し、発言するときに前記キャラクタの表情と、前記キャラクタの会話内容を表示する吹き出しの形と、会話内容であるメッセージを入力することで、チャット画面上にメッセージを読み進める順番に配置された漫画画像を表示するアプリケーションが存在する。
【0003】
また、インターネットにおける電子メールで、メール文章の引用情報に基づいてメール相互の引用関係を判断し、複数の関連のあるメールをまとめて、前記チャットにおける漫画画像を表示するのと同様に、関連のあるメール毎に漫画形式で表示するアプリケーションが存在している。
これらのアプリケーションは、通常のメッセージ形式における表示形態に比べて、視覚的に分かりやすく、効率的に情報を得ることができる。
【0004】
【発明が解決しようとする課題】
しかしながら、前記従来の技術は、入力されたテキスト情報から、予め定められたキャラクタで漫画を生成するものであり、動画映像や音声を漫画に変換するものではない。このように、テレビ番組等の動画映像や音声から漫画画像を自動生成する技術は従来にはなく、テレビ番組から漫画画像を生成するには、動画映像から異なる場面毎の静止画像を抽出し、その静止画像毎に人物の台詞をテキスト情報として入力し、前記テキスト情報を入力した吹き出しを前記静止画像に合成するといった個々の作業を、人手を介して行なうしか方法がない。
【0005】
本発明は、前記した技術的問題点に鑑みてなされたものであり、テレビ番組等の動画映像及び音声を自動的に漫画画像に変換し、番組コンテンツの娯楽性を保持しつつ、可搬性を向上させる漫画を生成する漫画生成装置及び漫画生成プログラムを提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は、前記目的を達成するために提案されるものであり、まず、請求項1に記載の漫画生成装置は、入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段と、前記映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段と、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも1つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段と、前記人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段と、前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、前記蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段と、を備える構成とした。
【0007】
かかる構成によれば、漫画生成装置は、コマ画像抽出手段によって、入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出する。また、漫画生成装置は、人物領域検出手段によって、映像フレームの色情報及び映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域を検出する。また、漫画生成装置は、台詞認識手段によって、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成とともに、音声信号における音声レベルの強弱と、文字列情報において予め設定された文字列が出現する度合いとの少なくとも1つに基づいて、人物の台詞の重要性の度合いを示す重要度情報を生成する。そして、漫画生成装置は、吹き出し付与手段によって、台詞認識手段で生成された重要度情報と、人物領域検出手段で検出された人物の口の動きの有無とに基づいて、吹き出し形状を選択し、文字列情報を付加して、コマ画像の顔領域に対応する位置に重畳する。
【0016】
また、請求項2に記載の漫画生成装置は、請求項1に記載の漫画生成装置において、人物領域と重要度情報とに基づいて、人物の感情や心理状態を強調する効果線を前記コマ画像に重畳する効果線付与手段を備える構成とした。
【0017】
かかる構成によれば、漫画生成装置は、効果線付与手段によって、人物の感情や心理状態を示すキーワードの出現を重要度情報から認識することで、前記キーワードに該当する予め設定された効果線を人物や背景等の適当な領域に付与する。
【0018】
さらに、請求項3に記載の漫画生成装置は、請求項1又は請求項2に記載の漫画生成装置において、時系列に生成されたコマ画像を、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定する配置決定手段を備える構成とした。
【0019】
かかる構成によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出する。
【0020】
また、請求項4に記載の漫画生成装置は、請求項3に記載の漫画生成装置において、配置決定手段によって、重要度情報に基づいて、前記コマ画像の大きさを変える構成とした。
【0021】
かかる構成によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出する。このとき、重要度情報に基づいて、映像内容の中で重要性が高いと判定したコマ画像の大きさを通常よりも大きくすることで、重要性の高いコマ画像を強調する。
【0022】
さらに、請求項5に記載の漫画生成装置は、請求項3又は請求項4に記載の漫画生成装置において、コマ画像の大きさ及び位置に基づいて、予め設定された大きさのページ領域内にコマ画像を配置した漫画画像を生成する漫画画像生成手段を備える構成とした。
【0023】
かかる構成によれば、漫画生成装置は、漫画画像生成手段によって、配置決定手段で算出された大きさ及び位置に基づいて、コマ画像を拡大あるいは縮小し、ページ領域内に配置することで、1ページ内に複数のコマ画像を配置した漫画画像を生成する。
【0024】
また、請求項6に記載の漫画生成プログラムは、入力された映像信号及び音声信号から、漫画画像を生成するためにコンピュータを、以下の各手段により機能させる構成とした。
すなわち、入力された前記映像信号の連続した映像フレーム間の変化量である差分又は前記音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段、映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも1つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段、前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段、とした。
【0025】
かかる構成によれば、漫画生成プログラムは、コマ画像抽出手段によって、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、人物領域検出手段によって、前記コマ画像に登場する人物の人物領域を検出し、台詞認識手段によって、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、吹き出し付与手段によって、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳する。
【0026】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
(漫画生成装置の構成)
図1は、漫画生成装置の構成を示したブロック図である。図1に示すように、漫画生成装置1は、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、人物の台詞を書き込んだ吹き出しを前記コマ画像に重畳し、前記コマ画像を時系列に配置した漫画画像を生成する装置である。この漫画生成装置1は、コマ画像生成部10、情報抽出部20、視覚効果付与部30及びレイアウト実行部40を備えて構成されている。
【0027】
コマ画像生成部10は、コマ画像抽出手段10aとコマ画像蓄積手段10bとを備え、コマ画像抽出手段10aによって、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位である静止画のコマ画像として抽出生成し、生成されたコマ画像をコマ画像蓄積手段10bに蓄積する。このコマ画像蓄積手段10bに蓄積されたコマ画像は、視覚効果付与部30が吹き出し等の視覚効果を付与する際の元画像となる。なお、コマ画像生成部10は、前記コマ画像を抽出生成したときに、コマ画像生成信号を情報抽出部20へ通知し、情報抽出部20との同期を行なう。
【0028】
このコマ画像抽出手段10aは、入力された映像信号の映像フレーム毎に、例えば、タイトルの表示、パンやチルトやズーム等のカメラワークの切れ目、登場人物の動き等の画像の変化量(映像フレーム間の差分)を計測し、この変化量が大きい映像フレームを映像内容の切り替わりの特徴となる代表画像と判定し、前記代表画像を静止画のコマ画像として抽出する。
【0029】
ここで、前記した映像フレーム毎の画像の変化量に基づく代表画像の選定は、特開平5−37893号公報の明細書に記載された「テレビジヨン信号記録装置及びテレビジヨン信号再生装置」で開示されているように、映像信号中から映像の動きを検出し、検出された映像の動きが予め設定された基準以上となる毎に、前記映像信号中からその時点の静止画を抽出することで実現することができる。また、これ以外にも、映像シーンの切り替わりを検出するいわゆるカット点検出の公知の技術を用いることが可能である。
【0030】
また、コマ画像抽出手段10aは、映像信号によるコマ画像の抽出以外に、音声信号からもコマ画像の抽出を行なう。この場合、入力された音声信号の音声レベル、例えば振幅スペクトルに基づいて、人物の台詞の開始を検出し、その開始時点の映像フレームを映像内容の切り替わりの特徴となる代表画像と判定し、前記代表画像を静止画のコマ画像として抽出する。ここで、人物の台詞は必ずしも音声信号として連続しているとは限らないため、音声信号が不連続な信号であっても、その不連続間隔時間が予め定めた時間に満たない場合は連続しているとみなす。
また、コマ画像蓄積手段10bは、コマ画像抽出手段10aによって抽出されたコマ画像を時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【0031】
なお、コマ画像抽出手段10aにおいて、入力された映像信号からのコマ画像抽出と、入力された音声信号からのコマ画像抽出とを、どちらか一方のみを機能させる、あるいは、両方を機能させ、例えば音声信号が連続しているときに映像信号が切り替わった場合、どちらを優先的に使用するか等の設定は、予めキーボード等の外部入力手段(図示せず)によって指定する。
【0032】
情報抽出部20は、人物領域検出手段20aと台詞認識手段20bと情報蓄積手段20cとを備えている。この情報抽出部20は、入力された映像信号から、人物領域検出手段20aによって、映像フレームに登場する人物の人物領域を検出し人物情報として生成し、また、入力された音声信号から、台詞認識手段20bによって、前記人物が話す台詞を音声認識により文字列情報として生成する。なお、台詞認識手段20bは、前記文字列情報に基づいて、その台詞の重要性の度合いを示す重要度情報を生成している。この重要度情報には、前記した音声レベルから抽出した情報も含まれる。さらに情報抽出部20は、前記人物情報、前記文字列情報及び前記重要度情報を情報蓄積手段20cに蓄積する。この情報蓄積手段20cに蓄積された人物情報、文字列情報及び重要度情報は、視覚効果付与部30がコマ画像に吹き出し等の視覚効果を付与する際の参照情報となる。さらに前記重要度情報は、レイアウト実行部40が視覚効果付コマ画像の大きさを決定する際の参照情報となる。
【0033】
なお、情報抽出部20は、コマ画像生成部10からコマ画像生成信号を通知された段階で一旦人物情報を保持し、さらに台詞の認識を開始し、次のコマ画像生成信号を通知された段階で、前記人物情報とともに文字列情報と重要度情報とを情報蓄積手段20cに蓄積する。
【0034】
人物領域検出手段20aは、入力された映像信号の映像フレーム毎に、登場人物の人物領域を検出する。例えば、映像フレーム間の色情報の差分によって、映像フレームの画像を前景領域と背景領域とに分割することができ、前記前景領域を人物領域として検出することができる。
【0035】
さらに、人物領域検出手段20aは、前記人物領域の中で肌色の色情報を持つ領域を人物の顔の領域として検出する。ここで検出した顔の領域である顔の位置及び大きさは前記人物情報に付加される。また、同じ人物領域内で複数の肌色領域が検出された場合、例えば、顔以外に手等の領域を検出した場合などは、その肌色領域の大きさが最も大きい、あるいは、前記肌色領域の縦横比が1に近い場合に顔の領域とする等の判断基準を予め設定しておき、顔の領域を検出する。
【0036】
ここで、前記人物情報を図1及び図2に基づいてさらに説明する。図2(1)はある時刻tにおける画像(映像フレームの内容)を示しており、図2(2)は、前記映像フレームの1フレーム前、すなわち時刻t−1における画像(映像フレームの内容)を示している。人物領域検出手段20aは、この2つの映像フレームから色情報の差分を求め、前景領域である人物領域を検出する。そして、図2(3)に示すような背景領域に「0」、人物領域に「1」の値を持つ人物領域マスクデータを生成する。さらに前記人物領域マスクデータと、図2(1)の画像に基づいて肌色の色情報を持つ領域を検出し、図2(3)に示すような顔領域情報を生成する。前記人物情報は、図2(3)の顔領域情報と人物領域マスクデータとを含んだ情報である。なお、前記顔領域情報は、図2(3)において図示されているが、実際は顔の位置及び大きさを表わす数値データであり、説明の都合上図示したもので示している。
【0037】
なお、人物領域検出手段20aは、前記同様に映像フレーム間の差分によって、顔の領域のみに着目して人物の口の動きを検出することも可能であり、前記人物が口を動かして台詞を話しているかどうかを前記人物情報に追加することもできる。また、動画像中で人物の心の内におけるつぶやきをナレーションで音声表示している場合、人物の口の動きと音声信号から、人物の台詞において種々の異なるパターンとして、前記人物情報に追加することもできる。
【0038】
図1に戻って説明を続ける。
台詞認識手段20bにより、人物が話す台詞を音声認識によって文字列情報に変換するのは、従来の一般的な音声認識技術を用いて実現することができる。
【0039】
ここでまず、前記台詞の重要性の度合いについて説明する。例えば、テレビ番組等の映像・音声情報で、ある場面において登場人物の声が大きくなったとき、あるいは登場人物が番組の内容に関わりのあるキーワードを話したとき等に、前記場面が番組全体の中で重要性の高い場面であると判断することができる。
【0040】
そこで、台詞認識手段20bは、入力された音声信号の振幅スペクトル等で声の大きさすなわち音声レベルを検出し、さらに、予めキーワードを設定しておくことで、音声認識された前記文字列情報の中から前記キーワードがいくつ存在するかを検出し、前記音声レベル及びキーワードの検出数を含んだ重要度情報を生成する。
【0041】
また、情報蓄積手段20cは、人物領域検出手段20aによって検出された人物情報と、台詞認識手段20bによって生成された文字列情報及び重要度情報とを時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【0042】
視覚効果付与部30は、吹き出し付与手段30aと効果線付与手段30bと視覚効果付コマ画像蓄積手段30cとを備えている。この視覚効果付与部30は、コマ画像生成部10で生成されたコマ画像と、情報抽出部20で抽出された人物情報、文字列情報及び重要度情報とに基づいて、吹き出し付与手段30aによって、コマ画像に吹き出しを付加し、効果線付与手段30bによって、コマ画像に効果線を付与し、視覚効果を高めた視覚効果付コマ画像を生成し、視覚効果付コマ画像蓄積手段30cに蓄積する。この視覚効果付コマ画像蓄積手段30cに蓄積された視覚効果付コマ画像は、レイアウト実行部40がページ領域に画像を配置する際の元画像となる。
【0043】
この吹き出し付与手段30aは、視覚効果付コマ画像蓄積手段30cに複数の吹き出し形状を保持しており、前記コマ画像と、時間的に対応した前記人物情報、前記文字列情報及び前記重要度情報とに基づいて、人物の台詞を含んだ吹き出しを前記コマ画像に重畳する。このとき、人物の台詞は、前記文字列情報を使用する。ここで、吹き出しの中に書き込む文字列は、予めキーボード等の外部入力手段(図示せず)によって指定された、縦書きまたは横書きの方向で書き込まれる。
【0044】
また、効果線付与手段30bは、人物の感情や心理状態を強調する効果線をコマ画像に付与する。ここで、人物の感情や心理状態は、前記文字列情報から予め喜怒哀楽を表わすような言葉、例えば、「うれしい」、「悲しい」等を予めキーワードとして設定しておき、そのキーワードに基づいて、コマ画像に効果線を付加する。
【0045】
ここで、図3及び図4に基づいて、吹き出し及び効果線の具体例について説明する。図3は、吹き出しの形状及び位置を説明するための図であり、図3(1)は、吹き出し形状の例を表わしており、図3(2)は吹き出し位置の例を表わしている。
【0046】
例えば、図3(1)において、A1は人物が通常の台詞を話す場合の吹き出し形状で、通常はこの形状を使用する。また、A2は人物が叫び声で話す場合の吹き出し形状を表わしている。重要度情報に含まれる音声レベルが予め設定されているレベル以上の音声の場合はA2の形状を使用する。さらに、前記人物情報に人物が口を動かしていないという情報が付加されていれば、A3のような心の声や想いを表現した吹き出し形状を使用する。
【0047】
また、この吹き出しの位置は、前記人物情報に含まれる顔領域情報に基づいて決定される。例えば、顔の領域が画面中央より左側にある場合は、図3(2)のB1のように、画面右側に吹き出しが配置され、顔の領域が画面中央より右側にある場合は、B2のように、画面左側に吹き出しが配置される。このとき、声の発生元を表わす吹き出しのシッポ部分は、顔の領域を向くように配置し、さらに吹き出しが、顔の大きさや位置によって、画面内に収まらない場合は、吹き出し形状の縮小を行ない画面に配置する。
【0048】
また、図4(1)、図4(2)は効果線の例を表わしている。効果線については、例えば、図4(1)のC1に示すように人物そのものを強調するような効果線や、図4(2)のC2に示すような人物の表情を強調する効果線がある。C1の場合は、前記文字列情報から、例えば、「うれしい」というキーワードを検出したときに、前記人物情報に含まれる人物領域マスクデータから、人物の重心座標を算出し、その重心座標を中心として放射線状に、前記人物領域マスクデータの領域以外の背景部分に線を引くことで実現することができる。また、C2の場合は、前記文字列情報から、例えば、「ショック」というキーワードを検出したときに、前記人物情報に含まれる顔領域情報に基づいて、線を引くことで実現することができる。
【0049】
図1に戻って説明を続ける。
視覚効果付コマ画像蓄積手段30cは、吹き出し付与手段30aと効果線付与手段30bによって視覚効果が付加された視覚効果付コマ画像を時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【0050】
レイアウト実行部40は、配置決定手段40aと漫画画像生成手段40bと漫画画像蓄積手段40cとを備えている。このレイアウト実行部40は、情報抽出部20で生成された重要度情報と、視覚効果付与部30で生成された視覚効果付コマ画像とに基づいて、配置決定手段40aによって、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定し、漫画画像生成手段40bによって、前記ページ領域内にコマ画像を配置した漫画画像を生成し、漫画画像蓄積手段40cに蓄積する。前記漫画画像を印刷する場合は、漫画画像蓄積手段40cに蓄積された漫画画像をプリンタ等の外部出力手段(図示せず)に出力する。また、前記漫画画像は画像データとして、記録媒体に記憶して配付することもできる。
【0051】
ここで、配置決定手段40aは、予め設定されたページ領域に視覚効果付与部30で生成された視覚効果付コマ画像を配置するための、位置及び大きさを決定する。例えば、キーボード等の外部入力手段(図示せず)によって、ページの大きさ及びその中に含まれる基準のコマ画像数を入力し、配置決定手段40aが個々のコマ画像の大きさと位置を算出する。
【0052】
このとき、配置決定手段40aは、吹き出し付与手段30aで指定された吹き出し内の文字列の方向に基づいて、前記文字列が縦書きである場合、コマ画像をページ内の右上から逆Z字型の方向で左下へ配置されるように位置を算出する。また、前記文字列が横書きである場合、コマ画像をページ内の左上からZ字型の方向で右下へ配置されるように位置を算出する。
【0053】
さらに、配置決定手段40aは、情報抽出部20で生成された重要度情報に基づいて、コマ画像の重要度が高い(指定のキーワードが含まれている)場合は、該当するコマ画像を他のコマ画像よりも大きくしてページ領域に配置するように大きさと位置を算出する。
【0054】
また、漫画画像生成手段40bは、配置決定手段40aで算出されたコマ画像の大きさと位置に基づいて、前記指定されたページの大きさの領域内に配置して前記コマ画像を漫画画像として生成する。このとき、漫画画像生成手段40bは、コマ画像を視覚効果付与部30内の視覚効果付コマ画像蓄積手段30cに蓄積された視覚効果付コマ画像を時系列に読み出して、配置決定手段40aで算出された大きさに拡大・縮小を行なって、ページ領域内の算出された位置に書き込んだ、漫画画像を生成する。
【0055】
ここで、図5に基づいて、レイアウト実行部40で行なわれるコマ画像の配置について具体的に説明する。図5(1)は、漫画画像におけるコマ画像の流れを表わし、図5(2)は、漫画画像の重要度に基づいたコマ画像の配置を表わしている。
【0056】
図5(1)において、例えば、ページの中に含まれる基準のコマ画像数を縦3コマ、横2コマとして、吹き出しの中に書き込む文字列が縦書きであった場合は、コマ画像をページ内の右上から逆Z字型の矢印方向に従って左下へ配置された縦書き漫画画像D1が生成される。また、吹き出しの中に書き込む文字列が横書きであった場合は、コマ画像をページ内の左上からZ字型の矢印方向に従って右下へ配置された縦書き漫画画像D2が生成される。なお、このコマ画像はページの中に含まれる基準のコマ画像数に基づいて、拡大・縮小が行なわれる。
【0057】
また、図5(2)において、例えば、ページの中に含まれる基準のコマ画像数を縦4コマ(実際は縦3コマになっているが、その説明は後記する)、横2コマとし、ページ内に書き込まれる3番目のコマ画像の重要度が高いとき、3番目のコマ画像を通常の縦横2倍の大きさにして配置した漫画画像の例がE1である。また、ページ内に書き込まれる2番目のコマ画像の重要度が高いとき、2番目のコマ画像を通常の縦横2倍の大きさにして配置した漫画画像の例がE2である。この場合、E2に示すように1番目のコマ画像を中央に配置することで、ページ全体のバランスを保つことも可能である。
【0058】
なお、図5(2)において、縦のコマ数が3コマしかなく、当初ページの中に含まれる基準のコマ画像数を縦4コマとした設定と異なっているのは、コマ画像の中に重要度の高いコマ画像があった場合、そのコマ画像が拡大されて書き込まれるためである。このように、基準のコマ画像数は、通常(重要度の高くない)のコマ画像を配置したときの状態を基準としている。
【0059】
以上、一実施形態に基づいて本発明に係る漫画生成装置1の構成について説明したが、本発明はこれに限定されるものではなく、例えば、コマ画像生成部10、情報抽出部20、視覚効果付与部30及びレイアウト実行部40の各々の段階で生成される情報をCRT等の表示装置に表示させて、操作者がキーボード等の入力装置から情報の変更を行なう形態であっても構わない。
【0060】
また、コマ画像蓄積手段10b、情報蓄積手段20c、視覚効果付コマ画像蓄積手段30c及び漫画画像蓄積手段40cは、1つの蓄積手段として蓄積手段内部を各手段毎に領域を区画して使用する形態であっても構わない。この場合、前記蓄積手段は、コマ画像抽出手段10aによって抽出されたコマ画像を蓄積し、人物領域検出手段20aによって検出された人物情報と、台詞認識手段20bによって生成された文字列情報及び重要度情報とを蓄積し、吹き出し付与手段30aまたは効果線付与手段30bによって視覚効果が付加された視覚効果付コマ画像を蓄積する手段として機能する。さらに前記蓄積手段は、漫画画像生成手段40bによって生成された漫画画像を蓄積する手段としても機能する。
【0061】
また、漫画生成装置1の構成からレイアウト実行部40を省いた構成、すなわち、コマ画像生成部10、情報抽出部20及び視覚効果付与部30とした構成であっても構わない。この場合は、同一の大きさの視覚効果付コマ画像が生成され、その視覚効果付コマ画像を一枚づつ参照することで内容が把握できる。
【0062】
なお、コマ画像抽出手段10a、人物領域検出手段20a、台詞認識手段20b及び吹き出し付与手段30aは、各機能をプログラムとして実現することも可能であり、各機能プログラムを統合して漫画生成プログラムとして機能させることも可能である。
さらに、効果線付与手段30b、配置決定手段40a及び漫画画像生成手段40bも、各機能をプログラムとして実現することができる。
【0063】
(漫画生成装置の動作)
次に、図6〜図8のフローチャートに基づいて、漫画生成装置1の動作について説明する。漫画生成装置1の動作は、映像信号及び音声信号から、漫画画像生成に必要なコマ画像及び各種情報(人物情報、文字列情報及び重要度情報)を抽出する動作(コマ画像生成部10及び情報抽出部20)と、コマ画像に視覚効果を付与する動作(視覚効果付与部30)と、視覚効果を付与されたコマ画像を漫画画像に配置する動作(レイアウト実行部40)の3つに大別される。
【0064】
図6は、入力された映像信号及び音声信号から、コマ画像生成部10が、映像内容の切り替わりの特徴となる映像フレームを漫画の構成単位である静止画のコマ画像として抽出し、情報抽出部20が、人物情報、文字列情報及び重要度情報を生成する動作を示すフローチャートである。
【0065】
また、図7は、視覚効果付与部30が、コマ画像、人物情報、文字列情報及び重要度情報に基づいて、視覚効果付コマ画像を生成する動作を示すフローチャートである。図8は、レイアウト実行部40が、視覚効果付コマ画像と重要度情報とから漫画画像を生成する動作を示すフローチャートである。
【0066】
まず最初に、図6に基づいて、映像信号及び音声信号から、漫画画像生成に必要なコマ画像及び各種情報(人物情報、文字列情報及び重要度情報)を抽出する動作について説明する。
【0067】
まず、外部からの映像信号及び音声信号を入力する(ステップa1)。なお、ここで入力される映像信号及び音声信号は、テレビ、ビデオ、DVD、レーザディスク等の動画や音声を使用することができる。そして次に、音声信号から音声レベルの検出を開始し(ステップa2)、映像信号から映像フレーム毎の差分を計測し(ステップa3)、人物の台詞の開始あるいは、映像フレーム毎の差分の変化量から、計測した映像フレームが映像内容の切り替わりの特徴となる代表画像(カット点)であるかどうかを判定する(ステップa4)。ここで、前記映像フレームが代表画像でない場合(No)は、ステップa10に進む。
【0068】
一方、前記映像フレームが代表画像である場合(Yes)は、前記代表画像をコマ画像としてコマ画像蓄積手段10bに蓄積しておく(ステップa5)。また、ステップa3において計測した映像フレーム間の差分から人物領域を抽出し人物情報を生成する(ステップa6)。また、人物が話す台詞から音声認識により文字列情報を生成し(ステップa7)、音声レベルの高低及び前記文字列情報の中にキーワードが含まれているかどうかを検出して、前記コマ画像の重要度情報を生成する(ステップa8)。そして、前記人物情報、前記文字列情報及び前記重要度情報を情報蓄積手段20cに蓄積しておく(ステップa9)。
【0069】
そして、さらに映像信号が入力されているかどうかを判定し(ステップa10)、映像信号が入力されている場合(Yes)は、ステップa3に戻って動作を続ける。一方、映像信号の入力がなくなった状態(No)で動作を終了する。
【0070】
次に、図7に基づいて、コマ画像、人物情報、文字列情報及び重要度情報から、視覚効果付コマ画像を生成する動作について説明する。
【0071】
まず、図6の動作で生成されコマ画像蓄積手段10bに蓄積されたコマ画像を読み出し(ステップb1)、さらに、前記コマ画像に時間的に対応した人物情報、文字列情報及び重要度情報を情報蓄積手段20cから読み出す(ステップb2)。
【0072】
そして、前記文字列情報から前記コマ画像に吹き出しが必要かどうかを判定し(ステップb3)、吹き出しが必要でない場合(No)は、ステップb8へ進み、前記コマ画像をそのまま視覚効果付コマ画像として、視覚効果付コマ画像蓄積手段30cに蓄積する。
【0073】
一方、前記コマ画像に吹き出しが必要な場合(Yes)は、前記人物情報、前記文字列情報及び前記重要度情報に基づいて、吹き出しの位置、大きさ及び形状を決定する(ステップb4)。さらに前記文字列情報の中に効果線を指定するキーワードが含まれているかどうかを判定し(ステップb5)、前記判定に基づいて効果線が必要な場合(Yes)は、効果線を前記コマ画像に描画し(ステップb6)、ステップb7へ進む。また、ステップb5で効果線が必要でない場合(No)は、ステップb7へ進む。
【0074】
そして、前記文字列情報を入れた吹き出しを前記コマ画像に配置した視覚効果付コマ画像を生成し(ステップb7)、前記視覚効果付コマ画像を視覚効果付コマ画像蓄積手段30cに蓄積しておく(ステップb8)。
【0075】
次に、図8に基づいて、視覚効果付コマ画像と重要度情報とから漫画画像を生成する動作について説明する。
【0076】
まず、図7の動作で生成され視覚効果付コマ画像蓄積手段30cに蓄積された視覚効果付コマ画像を読み出し(ステップc1)、図6の動作で生成され情報蓄積手段20cに蓄積された重要度情報を読み出す(ステップc2)。
【0077】
そして、前記重要度情報に基づいて、重要度が高い(指定のキーワードが含まれている)場合は、該当するコマ画像を他のコマ画像よりも大きくしてページ領域に配置するように大きさと位置を算出する(ステップc3)。そして、ページ領域内に前記大きさと位置に基づいて、前記視覚効果付コマ画像を配置(必要に応じて拡大・縮小)した漫画画像を生成して外部に出力し(ステップc4)、動作を終了する。
【0078】
以上、漫画生成装置1の動作について説明したが、コマ画像及び各種情報(人物情報、文字列情報及び重要度情報)を抽出する動作(図6)、コマ画像に視覚効果を付与する動作(図7)、視覚効果を付与されたコマ画像を漫画画像に配置する動作(図8)は、蓄積手段を介さずに連続動作を行なうことも可能である。
【0079】
【発明の効果】
以上説明したとおり、本発明に係る漫画生成装置及び漫画生成プログラムでは、以下に示す優れた効果を奏する。
【0080】
請求項1に記載の発明によれば、漫画生成装置は、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、前記コマ画像に登場する人物の人物領域を検出し、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳することができる。
【0081】
これにより、漫画生成装置は、映像信号(動画)と音声信号とから、映像内容の特徴となる映像フレームをコマ画像として自動的に検出することができ、さらに音声認識によって得られた人物の台詞を文字列情報として挿入した吹き出しを前記コマ画像に重畳することができるので、例えばテレビ番組から、自動的にテレビ番組の内容を把握することができる時系列に生成されたコマ画像を生成することが可能になる。
【0083】
また、請求項1に記載の発明によれば、漫画生成装置は、映像信号の映像フレームから、タイトルの表示、パンやチルトやズーム等のカメラワークの切れ目、登場人物の動き等に基づいて、代表画像(カット点)となる静止画を抽出することができるので、効率的に代表画像を選定することができ、映像の内容を保持したまま、効率良く漫画画像を生成することができる。
【0085】
また、請求項1に記載の発明によれば、漫画生成装置は、音声信号から、人物が話す台詞の開始タイミングに基づいて、自動的に代表画像(カット点)となる静止画を抽出することができるので、効率的に代表画像を選定することができ、映像の内容を保持したまま、効率良く漫画画像を生成することができる。
【0087】
また、請求項1に記載の発明によれば、漫画生成装置は、人物が話した台詞が、映像内容においてどれだけの重要度を持つ台詞であるかを重要度情報によって判定することができるので、この重要度情報に基づいて、コマ画像に視覚効果を付与することで、コマ画像を単に並べた漫画を生成するのではなく、例えば、テレビ番組が持つコンテンツの娯楽性を保持した状態で、漫画画像を生成することができる。
【0089】
さらに、請求項1に記載の発明によれば、漫画生成装置は、人物の台詞の音声レベルの強弱や、台詞の内容に基づいて、吹き出し形状を変えることができるので、静止画であるコマ画像の中で、文字列の表示だけでは伝わりにくい、人物の感情を伝えることが可能になる。
【0090】
請求項2に記載の発明によれば、漫画生成装置は、効果線付与手段によって、人物の感情や心理状態を示すキーワードの出現を重要度情報から認識することで、前記キーワードに該当する予め設定された効果線を人物や背景等の適当な領域に付与することができる。
【0091】
これにより、漫画生成装置は、台詞の内容に基づいて、効果線を付与することができるので、登場人物そのものを強調したり、登場人物の表情を強調したりすることで、静止画であるコマ画像の中で、文字列の表示だけでは伝わりにくい、人物の感情を伝えることが可能になる。
【0092】
請求項3に記載の発明によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出することができる。
【0093】
これにより、指定されたページの大きさに基づいて、最適なコマ画像の大きさ及び位置を算出するので、ページ領域内において、バランスのとれた漫画画像を生成するためのコマ画像の配置を自動的に決定することができる。
【0094】
請求項4に記載の発明によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出することができる。また、このとき、重要度情報に基づいて、映像内容の中で重要性が高いと判定したコマ画像の大きさを通常よりも大きくすることで、重要性の高いコマ画像を強調することができる。
【0095】
これにより、指定されたページの大きさに基づいて、最適なコマ画像の大きさ及び位置を算出するので、ページ領域内において、バランスのとれた漫画画像を生成するためのコマ画像の配置を自動的に決定することができる。また、重要性の高いコマ画像を通常のコマ画像よりも大きくして配置することができるので、より視覚効果の高いコマ画像の配置を決定することができる。
【0096】
請求項5に記載の発明によれば、漫画生成装置は、漫画画像生成手段によって、配置決定手段で算出された大きさ及び位置に基づいて、コマ画像を拡大あるいは縮小し、ページ領域内に配置することで、1ページ内に複数のコマ画像を配置した漫画画像を生成することができる。
【0097】
これにより、予め指定された大きさのページ内に、複数のコマ画像を配置するので、生成された漫画画像を印刷することで、可搬性に優れた紙ベースの漫画画像を生成することができ、例えば、テレビ番組という視聴時間及び視聴する場所において制約のあるコンテンツを、その娯楽性を保持しつつ、可搬性を向上させることができる。
【0098】
請求項6に記載の発明によれば、漫画生成プログラムは、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、前記コマ画像に登場する人物の人物領域を検出し、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳することができる。
【0099】
これにより、漫画生成プログラムは、映像信号(動画)と音声信号とから、映像内容の特徴となる映像フレームをコマ画像として自動的に検出することができ、さらに音声認識によって得られた人物の台詞を文字列情報として挿入した吹き出しを前記コマ画像に重畳することができるので、例えばテレビ番組から、自動的にテレビ番組の内容を把握することができる時系列に生成されたコマ画像を生成することが可能になる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る漫画生成装置の全体構成を示すブロック図である。
【図2】本発明の実施の形態に係る人物情報を説明するための説明図である。
【図3】本発明の実施の形態に係る吹き出しの形状及び位置を説明するための説明図である。
【図4】本発明の実施の形態に係る効果線を説明するための説明図である。
【図5】本発明の実施の形態に係るコマ画像の流れ及び配置を説明するための説明図である。
【図6】本発明の実施の形態に係る人物情報、文字列情報及び重要度情報を生成する動作を示すフローチャートである。
【図7】本発明の実施の形態に係る視覚効果付コマ画像を生成する動作を示すフローチャートである。
【図8】本発明の実施の形態に係る漫画画像を生成する動作を示すフローチャートである。
【符号の説明】
1……漫画生成装置
10……コマ画像生成部
10a……コマ画像抽出手段
10b……コマ画像蓄積手段
20……情報抽出部
20a……人物領域検出手段
20b……台詞認識手段
20c……情報蓄積手段
30……視覚効果付与部
30a……吹き出し付与手段
30b……効果線付与手段
30c……視覚効果付コマ画像蓄積手段
40……レイアウト実行部
40a……配置決定手段
40b……漫画画像生成手段
40c……漫画画像蓄積手段
Claims (6)
- 入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段と、
前記映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段と、
前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも1つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段と、
前記人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段と、
前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、前記蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段と、
を備えて構成されていることを特徴とする漫画生成装置。 - 前記人物領域と前記重要度情報とに基づいて、人物の感情や心理状態を強調する効果線を前記コマ画像に重畳する効果線付与手段、
を備えて構成されていることを特徴とする請求項1に記載の漫画生成装置。 - 時系列に生成された前記コマ画像を、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定する配置決定手段、
を備えて構成されていることを特徴とする請求項1又は請求項2に記載の漫画生成装置。 - 前記配置決定手段が、前記重要度情報に基づいて、前記コマ画像の大きさを変えることを特徴とする請求項3に記載の漫画生成装置。
- 前記コマ画像の大きさ及び位置に基づいて、予め設定された大きさのページ領域内にコマ画像を配置した漫画画像を生成する漫画画像生成手段、
を備えて構成されていることを特徴とする請求項3又は請求項4に記載の漫画生成装置。 - 入力された映像信号及び音声信号から、漫画画像を生成するためにコンピュータを、
入力された前記映像信号の連続した映像フレーム間の変化量である差分又は前記音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段、
前記映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段、
前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも1つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段、
前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段、
として機能させることを特徴とする漫画生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001274435A JP4226237B2 (ja) | 2001-09-11 | 2001-09-11 | 漫画生成装置及び漫画生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001274435A JP4226237B2 (ja) | 2001-09-11 | 2001-09-11 | 漫画生成装置及び漫画生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003085572A JP2003085572A (ja) | 2003-03-20 |
JP4226237B2 true JP4226237B2 (ja) | 2009-02-18 |
Family
ID=19099462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001274435A Expired - Fee Related JP4226237B2 (ja) | 2001-09-11 | 2001-09-11 | 漫画生成装置及び漫画生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4226237B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9704279B2 (en) | 2015-03-30 | 2017-07-11 | Fujifilm Corporation | Image processing device, image processing method, program, and recording medium |
US10373648B2 (en) | 2015-01-20 | 2019-08-06 | Samsung Electronics Co., Ltd. | Apparatus and method for editing content |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697785B2 (en) * | 2004-03-31 | 2010-04-13 | Fuji Xerox Co., Ltd. | Generating a highly condensed visual summary |
JP2005292691A (ja) * | 2004-04-05 | 2005-10-20 | Matsushita Electric Ind Co Ltd | 動画像表示装置および動画像表示方法 |
JP2006339817A (ja) * | 2005-05-31 | 2006-12-14 | Toshiba Corp | 情報処理装置およびその表示方法 |
JP2006350577A (ja) | 2005-06-14 | 2006-12-28 | Fuji Xerox Co Ltd | 動作分析装置 |
JP4710550B2 (ja) * | 2005-10-31 | 2011-06-29 | セイコーエプソン株式会社 | 画像におけるコメントレイアウト |
JP5038836B2 (ja) * | 2007-09-28 | 2012-10-03 | 株式会社東芝 | 情報処理装置 |
JP4954045B2 (ja) * | 2007-12-11 | 2012-06-13 | シャープ株式会社 | 電子メールフォーマット変換装置及びそれを備えた移動通信端末、画像形成装置、電子メールフォーマット変換プログラム、電子メールフォーマット変換方法 |
JP4612669B2 (ja) * | 2007-12-25 | 2011-01-12 | 株式会社テクノフェイス | 漫画作成支援装置、およびプログラム |
JP5237773B2 (ja) * | 2008-12-01 | 2013-07-17 | スパイシーソフト株式会社 | 画像群編集装置及び電子機器 |
JP5209510B2 (ja) * | 2009-01-07 | 2013-06-12 | オリンパスイメージング株式会社 | 音声表示装置及びカメラ |
JP5630541B2 (ja) * | 2009-01-20 | 2014-11-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5540376B2 (ja) * | 2009-09-15 | 2014-07-02 | 学校法人東京工芸大学 | コマ割り画像生成装置及びプログラム |
JP5389594B2 (ja) * | 2009-09-30 | 2014-01-15 | 富士フイルム株式会社 | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 |
JP5455546B2 (ja) * | 2009-10-19 | 2014-03-26 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP5353835B2 (ja) * | 2010-06-28 | 2013-11-27 | ブラザー工業株式会社 | 情報処理プログラムおよび情報処理装置 |
JP2012249211A (ja) * | 2011-05-31 | 2012-12-13 | Casio Comput Co Ltd | 画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法 |
JP5790372B2 (ja) * | 2011-09-26 | 2015-10-07 | 大日本印刷株式会社 | テキスト入力支援システム、テキスト挿入方法、サーバおよびプログラム |
WO2014042051A1 (ja) * | 2012-09-11 | 2014-03-20 | 富士フイルム株式会社 | コンテンツ作成装置、方法およびプログラム |
JP6099511B2 (ja) * | 2013-07-26 | 2017-03-22 | 三菱電機株式会社 | ドキュメント作成装置 |
KR101650153B1 (ko) * | 2015-03-19 | 2016-08-23 | 네이버 주식회사 | 만화 데이터 편집 방법 및 만화 데이터 편집 장치 |
JP2017058978A (ja) * | 2015-09-16 | 2017-03-23 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
CN111429341B (zh) * | 2020-03-27 | 2023-08-18 | 咪咕文化科技有限公司 | 一种视频处理方法、设备及计算机可读存储介质 |
CN112699774B (zh) * | 2020-12-28 | 2024-05-24 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
JP7148172B2 (ja) * | 2021-03-03 | 2022-10-05 | VoiceApp株式会社 | 字幕表示処理プログラム、字幕表示処理装置、サーバ。 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07264545A (ja) * | 1994-03-17 | 1995-10-13 | Matsushita Electric Ind Co Ltd | 動画再生装置 |
JPH10261099A (ja) * | 1997-03-17 | 1998-09-29 | Casio Comput Co Ltd | 画像処理装置 |
JPH11220689A (ja) * | 1998-01-31 | 1999-08-10 | Media Link System:Kk | 映像ソフト処理装置及び同処理プログラム記録記憶媒体 |
JP2000061145A (ja) * | 1998-08-25 | 2000-02-29 | Namco Ltd | ゲーム装置及び情報記憶媒体 |
-
2001
- 2001-09-11 JP JP2001274435A patent/JP4226237B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10373648B2 (en) | 2015-01-20 | 2019-08-06 | Samsung Electronics Co., Ltd. | Apparatus and method for editing content |
US10971188B2 (en) | 2015-01-20 | 2021-04-06 | Samsung Electronics Co., Ltd. | Apparatus and method for editing content |
US9704279B2 (en) | 2015-03-30 | 2017-07-11 | Fujifilm Corporation | Image processing device, image processing method, program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2003085572A (ja) | 2003-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4226237B2 (ja) | 漫画生成装置及び漫画生成プログラム | |
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及***、存储介质、终端 | |
KR101445263B1 (ko) | 맞춤형 콘텐츠 제공 시스템 및 방법 | |
CN104732593B (zh) | 一种基于移动终端的3d动画编辑方法 | |
CN109118562A (zh) | 虚拟形象的讲解视频制作方法、装置以及终端 | |
JP5553609B2 (ja) | 部分イメージを活用した言語学習コンテンツ提供システム | |
US20170287481A1 (en) | System and method to insert visual subtitles in videos | |
US20120276504A1 (en) | Talking Teacher Visualization for Language Learning | |
JPH09138767A (ja) | 感情表現の通信装置 | |
KR20070020252A (ko) | 메시지를 수정하기 위한 방법 및 시스템 | |
JP2000123191A (ja) | 情報処理装置及び方法及び情報伝送システム | |
JP5634853B2 (ja) | 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法 | |
JP5353835B2 (ja) | 情報処理プログラムおよび情報処理装置 | |
Steinmetz et al. | Multimedia fundamentals, Volume 1: Media coding and content processing | |
KR100856786B1 (ko) | 3d 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법 | |
CN113538628A (zh) | 表情包生成方法、装置、电子设备及计算机可读存储介质 | |
JP6641045B1 (ja) | コンテンツ生成システム、及びコンテンツ生成方法 | |
KR101694303B1 (ko) | 편집형 영상 객체 생성 장치 및 방법 | |
KR101985669B1 (ko) | 동영상을 이용한 카툰 생성장치 및 방법 | |
JP2004023225A (ja) | 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法 | |
KR102281298B1 (ko) | 인공지능 기반 동영상 합성을 위한 시스템 및 방법 | |
JP2002342234A (ja) | 表示方法 | |
Wolfe et al. | Exploring localization for mouthings in sign language avatars | |
JP2006349845A (ja) | 電子書籍表示装置 | |
JP3486159B2 (ja) | 漫画編集支援装置、漫画編集支援システム、および漫画編集支援プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |