JP4489121B2 - 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びニュース情報提供サーバ - Google Patents

移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びニュース情報提供サーバ Download PDF

Info

Publication number
JP4489121B2
JP4489121B2 JP2007553050A JP2007553050A JP4489121B2 JP 4489121 B2 JP4489121 B2 JP 4489121B2 JP 2007553050 A JP2007553050 A JP 2007553050A JP 2007553050 A JP2007553050 A JP 2007553050A JP 4489121 B2 JP4489121 B2 JP 4489121B2
Authority
JP
Japan
Prior art keywords
news
character
news information
mobile communication
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007553050A
Other languages
English (en)
Other versions
JP2008529403A (ja
Inventor
インソン ファン
ジョンミン キム
フージョン キム
ウォンヒー ソル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of JP2008529403A publication Critical patent/JP2008529403A/ja
Application granted granted Critical
Publication of JP4489121B2 publication Critical patent/JP4489121B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B02CRUSHING, PULVERISING, OR DISINTEGRATING; PREPARATORY TREATMENT OF GRAIN FOR MILLING
    • B02CCRUSHING, PULVERISING, OR DISINTEGRATING IN GENERAL; MILLING GRAIN
    • B02C18/00Disintegrating by knives or other cutting or tearing members which chop material into fragments
    • B02C18/06Disintegrating by knives or other cutting or tearing members which chop material into fragments with rotating knives
    • B02C18/08Disintegrating by knives or other cutting or tearing members which chop material into fragments with rotating knives within vertical containers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B02CRUSHING, PULVERISING, OR DISINTEGRATING; PREPARATORY TREATMENT OF GRAIN FOR MILLING
    • B02CCRUSHING, PULVERISING, OR DISINTEGRATING IN GENERAL; MILLING GRAIN
    • B02C18/00Disintegrating by knives or other cutting or tearing members which chop material into fragments
    • B02C18/06Disintegrating by knives or other cutting or tearing members which chop material into fragments with rotating knives
    • B02C18/16Details
    • B02C18/18Knives; Mountings thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B02CRUSHING, PULVERISING, OR DISINTEGRATING; PREPARATORY TREATMENT OF GRAIN FOR MILLING
    • B02CCRUSHING, PULVERISING, OR DISINTEGRATING IN GENERAL; MILLING GRAIN
    • B02C18/00Disintegrating by knives or other cutting or tearing members which chop material into fragments
    • B02C18/06Disintegrating by knives or other cutting or tearing members which chop material into fragments with rotating knives
    • B02C18/16Details
    • B02C18/24Drives
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B02CRUSHING, PULVERISING, OR DISINTEGRATING; PREPARATORY TREATMENT OF GRAIN FOR MILLING
    • B02CCRUSHING, PULVERISING, OR DISINTEGRATING IN GENERAL; MILLING GRAIN
    • B02C18/00Disintegrating by knives or other cutting or tearing members which chop material into fragments
    • B02C18/06Disintegrating by knives or other cutting or tearing members which chop material into fragments with rotating knives
    • B02C18/16Details
    • B02C2018/162Shape or inner surface of shredder-housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Food Science & Technology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、移動通信網における3Dキャラクターを利用したニュース情報を提供する方法及びシステムに関し、より詳しくは、リアルタイムに伝えられるニュース情報を音声に変換した音声情報の内容を分析して音声情報の内容に相応する口形態データと顔表情データを抽出して3Dキャラクターに適用し、3Dキャラクターに背景イメージ及び/または背景音楽を合成した3Dキャラクターデータを生成し、音声情報と同期化させて、3Dキャラクターニュースを生成しストリーミング方式により移動通信端末機へ転送する移動通信網における3Dキャラクターを利用したニュース情報を提供する方法及びニュース情報提供サーバに関する。
TCP/IP(Transmission Control Protocol / Internet Protocol)を基盤とするインターネット(Internet)が確立されることにより、オンライン連結が可能な所であればどこでも自分のコンピュータを利用してインターネットに接続して各種情報を検索するか、または文字、音声、イメージ(Image)、動映像などを含む各種データをリアルタイムに転送できるシステム開発が急速になされている。また、移動通信技術の発達により無線通信網を通じて移動性に基盤したインターネットサービスを利用できる無線インターネットサービスが活性化している。
したがって、移動通信システムで提供するサービスは、音声サービスだけでなく、サーキット(Circuit)データ、パケット(Packet)データなどのようなデータを転送するマルチメディア通信サービスに発展しており、モバイル(Mobile)PC、PDA(Personal Digital Assistant)、モバイルフォンなどのような移動通信端末機の性能向上のためのハードウェア及びソフトウェアの開発がなされている。
これによって、最近には、移動通信端末機が既存の個人用コンピュータに取って代わっており、高速の無線通信が可能な移動通信端末機を利用してニュース提供サービス、音楽ファイルダウンロードサービス、ゲームサービス、銀行(株式)業務サービスなどのような、多様な種類のコンテンツを移動通信網を通じて提供されることができる。ここで、ニュース提供サービスは、移動通信端末機の使用者がモバイル用に加工されたニュース情報を提供されることができるサービスである。
しかしながら、移動通信端末機を利用して提供される既存のニュース提供サービスは、一連の自動文字や音声メッセージ形態のニュース情報がサーバ側に既に格納された状態で、移動通信端末機の使用者はこれをダウンロードして視聴するか、空中波放送用ニュースをそのまま伝達する段階に止まっている。したがって、移動通信端末機の使用者は、ニュース情報をサーバ側から一方的に提供されるので、自分が希望するニュース情報のみを抽出して利用し難く、自分が必要としないとか関心がない情報まで不要に提供されなければならないという問題点がある。
また、文字または音声メッセージ形態で提供されるニュース提供サービスは、実際、TVアナウンサーが放送をするような現場感を与えないという問題点があり、空中波放送用ニュースをそのまま提供するニュース提供サービスは、単純にオーディオ信号とビデオ信号のみをサービスするため、サービスが単調であるので、使用者の多様な情報選択の趣向を充足させることができないという問題点がある。
本発明は、前述の問題点を解決するために案出したものであって、リアルタイムに伝えられるニュース情報を音声に変換した音声情報の内容を分析して音声情報の内容に相応する口形態データと顔表情データを抽出して3Dキャラクターに適用し、3Dキャラクターに背景イメージ及び/または背景音楽を合成した3Dキャラクターデータを生成し、音声情報と同期化させて、3Dキャラクターニュースを生成してストリーミング方式により移動通信端末機へ転送する移動通信網における3Dキャラクターを利用したニュース情報を提供する方法及びシステムを提供することを目的とする。
また、本発明は、移動通信端末機に3Dキャラクターニュースサービスを提供する途中に、ニュース情報提供サーバに接続した他の移動通信端末機にも接続時点であるニュースの中間部分から3Dキャラクターニュースサービスを提供することを目的とする。
また、本発明は、モバイル放送サーバを利用して移動通信サービス加入者自身が製作したニュース情報を3Dキャラクターニュースとして提供することを目的とする。
本発明の目的によれば、 移動通信網、及びニュース情報提供サーバを含む移動通信システムにおいて、第1移動通信端末機へ3D(3-dimension)キャラクターニュースを提供する途中に、上記ニュース情報提供サーバに接続した第2移動通信端末機へ上記3Dキャラクターニュースを提供する方法であって、(a)上記ニュース情報提供サーバに接続した上記第2移動通信端末機のニュース情報要請を受けて、上記3Dキャラクターニュースを上記第2移動通信端末機に提供するように同期化させるためのストリーミングフォーマットデータを生成する段階と、(b)上記ストリーミングフォーマットデータに含まれたシンクマーク(Sync Mark)を基準時点に選択して、3Dキャラクター、背景イメージ及び/または背景音楽を合成した3Dキャラクターデータと音声情報を同期化させた上記3Dキャラクターニュースを生成する段階と、(c)上記基準時点から上記3Dキャラクターニュースをストリーミング方式により上記第2移動通信端末機へ転送する段階と、を含むことを特徴とする3Dキャラクターを利用したニュース情報を提供する方法を提供する。
また、本発明の目的によれば、移動通信網を通じて接続した移動通信端末機に3Dキャラクターにより進行されるニュースサービスを提供するシステムのニュース情報提供サーバであって、テキストデータ、または音声データで構成されたニュース情報をリアルタイムに伝達されて提供するニュース情報提供部と、上記テキストデータで構成された上記ニュース情報を音声データに変換する音声情報変換部と、上記ニュース情報提供部、または上記音声情報変換部から上記ニュース情報を構成する音声情報を伝達され、上記音声情報の内容を分析する音声分析部と、上記音声分析部で分析した上記音声情報の内容に相応する口形態データを抽出するリップシンク処理部と、上記音声分析部で分析した上記音声情報の内容に相応する顔表情データを抽出するアニメーション処理部と、上記音声分析部から伝達された上記音声情報を音声符号化過程を経て変換させるコデック部と、3Dキャラクター、背景イメージ及び背景音楽を格納するメモリと、上記口形態データと上記顔表情データを上記3Dキャラクターに適用し、上記3Dキャラクターと上記背景イメージ及び/または背景音楽を合成した3Dキャラクターデータを生成し、上記コデック部から出力された上記音声情報と上記3Dキャラクターデータを同期化させて、3Dキャラクターニュースを生成する3Dキャラクター同期化部と、上記3Dキャラクターニュースをストリーミング方式により上記移動通信端末機へ転送するストリーミングサービス部と、上記3Dキャラクターニュースを生成して上記移動通信端末機を転送するように、上記ニュース情報提供サーバの動作を制御する制御部と、前記移動通信端末機に前記3Dキャラクターニュースを提供する途中に、前記第2移動通信端末機のニュース情報要請を受ければ、前記3Dキャラクターニュースを前記第2移動通信端末機に提供するように同期化させるためのストリーミングフォーマットデータを生成して、前記3Dキャラクター同期化部に伝達するストリーミングフォーマット生成部と、を含み、前記3Dキャラクター同期化部は、前記ストリーミングフォーマットデータに含まれたシンクマーク(Sync Mark)を基準時点に選択して、前記3Dキャラクターデータと前記音声情報を同期化させた前記3Dキャラクターニュースを生成することを特徴とする3Dキャラクターを利用したニュース情報を提供するニュース情報提供サーバを提供する。
本発明は、移動通信網を通じて場所及び時間に関わらず、希望するニュース情報を提供することができ、3Dキャラクターにより進行されるニュース情報を提供して実際TVアナウンサーが放送を進行するようなニュースサービスを移動通信サービスとして提供できる効果がある。
また、本発明は、3Dキャラクターニュースサービスの進行の途中に接続する他の移動通信端末機にも接続時点であるニュースの中間部分から3Dキャラクターニュースサービスを提供することができ、移動通信サービス加入者自身が製作したニュース情報を3Dキャラクターニュースとして提供できる効果がある。
以下、本発明の好ましい実施形態を添付した図面を参照しつつ詳細に説明する。まず、各図面の構成要素への参照符号の付加において、同一な構成要素に対しては、たとえ他の図面上に表示されてもできる限り同一な符号が与えられていることに留意しなければならない。また、本発明の説明において、関連した公知構成または機能に対する具体的な説明が本発明の要旨を曖昧にすることができると判断される場合にはその詳細な説明は省略する。
図1は、本発明の好ましい実施形態による移動通信網における3Dキャラクターを利用したニュース情報を提供するシステムを示す構成図である。
図1に示すように、本発明の好ましい実施形態による移動通信網における3Dキャラクターを利用したニュース情報を提供するシステムは、移動通信端末機100、移動通信網110、及びニュース情報提供サーバ120などを含むことができる。
本発明の好ましい実施形態による移動通信端末機100は、移動通信網110を経由して相手方と無線通信により電話通話を遂行するだけでなく、備えられた情報検索機能を利用して、無線インターネットに接続して希望する情報を検索できる端末機である。移動通信端末機100には、無線インターネット関連アプリケーションを駆動させる無線インターネットプラットフォームが搭載されており、無線インターネットに接続するための無線インターネット接続用ブラウザーが内蔵されている。
ここで、無線インターネットプラットフォームは、WIPI(Wireless Internet Platform for Interoperability)、SKテレコム(SK Telecom)において、WIPIを基盤にして製作されたWI−TOP(Wireless Internet-Terminal Open Platform)、J2ME(Java 2 Micro Edition)などを含むことができる。無線インターネット接続用ブラウザーは、無線アプリケーションプロトコル(WAP:Wireless Application Protocol)に基盤したWAPブラウザーだけでなく、HTTPプロトコルを使用するHTMLに基盤したMIE(Microsoft Internet Explorer)、ハンドヘルドデバイストランスポートプロトコル(HDTP:Handheld Device Transport Protocol)、NTT DOCOMO社のi−ModeまたはSKテレコム社の‘NATE’などを利用することができる。
本発明の好ましい実施形態による移動通信端末機100は、移動通信網110を通じてニュース情報提供サーバ120に接続して希望するニュース情報を選択して要請することができ、ニュース情報提供サーバ120からリアルタイムに放送される3Dキャラクターニュースを受信して視聴することになる。このために、移動通信端末機100には3Dキャラクターニュースを視聴するためのソフトウェアが搭載されており、無線インターネットプラットフォームの種類によって該当プラットフォームで駆動できるように製作されたソフトウェアを利用することができる。
本発明の好ましい実施形態による移動通信端末機100は、PDA(Personal Digital Assistant)、セルラーフォン、PCS(Personal Communication Service)フォン、ハンドヘルドPC(Hand-Held PC)、GSM(Global System for Mobile)フォン、WCDMA(Wideband CDMA)フォン、CDMA−2000フォン、及びMBS(Mobile Broadband System)フォン等、各種無線通信端末機を含むことができる。ここで、MBSフォンは、現在論議されている第4世代のシステムで使われる移動通信端末機をいう。
本発明の好ましい実施形態による移動通信網110は、音声信号及びデータ信号を含む無線信号を送受信する役割をし、基地局転送器、基地局制御器、移動通信交換局、PDSN(Packet Data Serving Node)などを含んで構成されることができる。
基地局転送器は、移動通信端末機100と基地局制御器との間で、有無線変換、無線信号の送受信などを遂行し、移動通信端末機100と直接的に連結される網終端(Endpoint)装置である。基地局制御器は、基地局転送器を制御し、移動通信端末機100に対する無線チャンネル割り当て及び解除、移動通信端末機100及び基地局転送機の送信出力制御、ソフトハンドオフ(Soft Handoff)及びハードハンドオフ(Hard Handoff)決定、トランスコーディング(Transcoding)及びボーコーディング(Vocoding)、無線接続網に対する運用及びメインテナンス機能などを遂行する。
移動通信交換局は、多数の電子式交換器を具備して、基本及び付加サービス処理、加入者の着信及び発信呼処理、位置登録手順及びハンドオフ手順処理、他網との連動機能などを遂行する。PDSNは無線データをパケットデータにサービスできるようにセッションを管理し、パケットデータのルーティング処理機能を遂行し、移動通信網110とパケットデータ網を連結する。
本発明の好ましい実施形態による移動通信網110は、IS(Interim Standard)−95網、GSM網、CDMA2000 1X網、CDMA2000 3X網、CDMA2000 EV−DO(Evolution-Data only)網、WCDMA網、WiBro(Wireless Broadband Internet)網などの多様な移動通信システムによる無線接続網を含むことができる。
本発明の好ましい実施形態によるニュース情報提供サーバ120は、外部のニュースコンテンツサーバ(図示せず)からリアルタイムに提供されるニュース情報を利用した3Dキャラクターニュースを生成して、リアルタイムに3Dキャラクターニュースを移動通信網110を通じて伝播する。このために、ニュース情報提供サーバ120は、提供されたニュース情報を音声に変換した音声情報の内容を分析して、音声情報の内容に相応する口形態データ及び顔表情データを抽出して3Dキャラクターに適用し、3Dキャラクターと背景イメージ及び/または背景音楽を合成した3Dキャラクターデータと音声情報を同期化させて3Dキャラクターニュースを生成し、生成した3Dキャラクターニュースをストリーミング方式により移動通信端末機100に提供する。ニュース情報提供サーバ120の内部構成については、図2に詳細に説明する。
ここで、ニュース情報提供サーバ120は、ネットワークサーバで具現されることができる。ネットワークサーバとは、通常的に、私設イントラネット、またはインターネットのようなコンピューターネットワークを通じて他のネットワークサーバと通信可能な下位装置と連結されて作業遂行要請を受付けて、それに対する作業を遂行して遂行結果を提供するコンピュータシステム及びコンピュータソフトウェア(ネットワークサーバプログラム)を意味するものである。しかしながら、このようなネットワークサーバプログラムの他にも、ネットワークサーバ上で動作する一連の応用プログラムと、場合によっては内部に構築されている各種データベースとを含む広い概念に理解されるべきである。このようなネットワークサーバは、DOS、ウィンドウズ(Windows)、リナックス(Linux)、ユニックス(UNIX)、またはマッキントッシュ(Macintosh)などの運営体制によって多様に提供されていているネットワークサーバプログラムを利用して具現されることができる。
図2は、本発明の好ましい実施形態によるニュース情報提供サーバの内部構成を示す構成図である。
図2に示すように、本発明の好ましい実施形態によるニュース情報提供サーバ120は、ニュース情報提供部200、音声情報変換部205、音声分析部210、コデック部215、リップシンク処理部220、アニメーション処理部225、メモリ230、3Dキャラクター同期化部235、ストリーミングサービス部240、ストリーミングフォーマット生成部245、及び制御部250などを含むことができる。
ニュース情報提供部200は、外部のニュースコンテンツサーバからテキストデータ、または音声データで構成された多数のニュース情報をリアルタイムに伝達されて音声情報変換部205及び/または音声分析部210に提供する。
音声情報変換部205は、ニュース情報提供部200からテキストデータで構成されたニュース情報を伝達されて音声データに変換した音声情報を生成する。音声情報変換部235は、TTS(Text To Speech)技術を利用してテキストデータを音声に変換することになり、このために入力受けたテキスト文書の文法的構造を分析して人が読むような韻律を生成し、生成された韻律によって音素の基本単位を集めて合成音を生成することができる。
音声分析部210は、ニュース情報提供部200、または音声情報変換部205からニュース情報を構成する音声情報を伝達されて音声情報の内容を分析する。例えば、音声分析部210は伝達された音声情報の音の強弱と高低などを分析して、音声分析部210のデータベース(図示せず)に格納された音声資料と比較することによって、音声に含まれた言語的な意味を決定することができる。
コデック部215は、音声分析部210から伝達された音声情報の音質を向上させるために、音声情報を音声符号化過程を経て変換させる。このために、コデックス方式は、EVRC(Enhanced Variable Rate Coder)、IMBE(Improved Multi Band Excitation)、DoD−CELP(Department of Defense Code Excited Linear Prediction)、VSELP(Vector Sum Excited Linear Prediction)、QCELP(Qualcomm Code Excited Linear Prediction)、LD−CELP(Low Delay CELP)、ADPCM(Adaptive Differential Pulse Code Modulation)、A−law,u−lawなどの多様なコデック方式を適用することができる。
リップシンク処理部220は、アナウンサーがニュースの内容を読むような3Dキャラクターの口形態を具現するために、音声分析部210で分析した音声情報の内容に相応する口形態データを抽出する。アニメーション処理部225は、3Dキャラクターの顔表情に変化が与えられるように、音声分析部210で分析した音声情報の内容に相応する顔表情データを抽出する。即ち、アニメーション処理部225は、音声分析部210で分析した音声情報の内容によって、喜び、驚き、悲しみなどの感情を表現するための3Dキャラクターの目、口、眉毛、鼻、顔筋肉などの顔表情データを抽出することができる。メモリ230は、本発明の3Dキャラクターニュースサービスを提供するための多数の3Dキャラクター、背景イメージ、及び背景音楽などを格納し、ハードディスク、フラッシュメモリ、RAMなど、各種データ格納装置により具現されることができる。
3Dキャラクター同期化部235は、リップシンク処理部220及びアニメーション処理部225から口形態データ及び顔表情データを伝達されて、コデック部215から音声情報を伝達されて、メモリ230から3Dキャラクター、背景イメージ及び背景音楽を伝達される。3Dキャラクター同期化部235は、口形態データと顔表情データを3Dキャラクターに適用し、3Dキャラクターと背景イメージ及び/または背景音楽を合成した3Dキャラクターデータを生成し、音声情報に合わせて3Dキャラクターが動作できるように3Dキャラクターデータと音声情報を同期化させて3Dキャラクターニュースを生成する。
ストリーミングサービス部240は、3Dキャラクター同期化部235で生成した3Dキャラクターニュースをリアルタイムに転送できるように、ストリーミング方式により3Dキャラクターニュースを移動通信網110を通じて移動通信端末機100へ転送する。
ストリーミングフォーマット生成部245は、移動通信端末機102に3Dキャラクターニュースを提供する途中に、他の移動通信端末機104がニュース情報提供サーバ120に接続してサービスを要請すれば、移動通信端末機102にサービスされている3Dキャラクターニュースを他の移動通信端末機104にも提供するためのストリーミングフォーマットデータを生成して3Dキャラクター同期化部235に伝達する。ここで、ストリーミングフォーマットデータは、他の移動通信端末機104のサービス要請時点から、例えば、1〜3秒のように、周期的に発生するシンクマーク(Sync Mark)を含み、シンクマークを基準にして3Dキャラクターニュースの同期化を要請する。その結果、3Dキャラクター同期化部235では、ストリーミングフォーマットデータのシンクマークを基準にして3Dキャラクターデータと音声情報を同期化させることになり、他の移動通信端末機104は、3Dキャラクターニュースが提供されている中間にニュース情報提供サーバ120に接続してもシンクマークを基準時点にして、基準時点からの3Dキャラクターニュースを提供されることができることになる。
制御部250は、前述したニュース情報提供サーバ120の構成要素を全般的に管理し制御し、リアルタイムに伝達されたニュース情報を利用した3Dキャラクターニュースを生成して移動通信網110を通じて移動通信端末機102へ転送するように制御する。また、制御部250は、他の移動通信端末機104のニュース情報要請を受ければ、ストリーミングフォーマット生成部245でストリーミングフォーマットデータを生成して接続時点からの3Dキャラクターニュースを提供するように制御する。
図3は、本発明の好ましい実施形態によるニュース情報提供サーバで3Dキャラクターを利用したニュース情報を提供する方法を示す順序図である。
本発明のニュース情報提供サーバ120は、外部のニュースコンテンツサーバからリアルタイムにニュース情報を提供されて3Dキャラクターニュースを生成し、移動通信網110を通じてニュース情報提供サーバ120に接続した移動通信端末機100に3Dキャラクターニュースをリアルタイムに提供することになる。ニュース情報提供サーバ120が3Dキャラクターニュースを提供する詳細な過程は、下記の通りである。
図3に示すように、ニュース情報提供サーバ120のニュース情報提供部200は、外部のニュースコンテンツサーバからリアルタイムにテキストデータまたは音声データで構成された多数のニュース情報を提供される(S300)。ニュース情報提供サーバ120は、提供されたニュース情報がテキストデータであるか、または音声データであるかを判断することになる(S302)。ニュース情報がテキストデータである場合には、音声情報変換部205でニュース情報を音声情報に変換した後、音声分析部210に伝達することになり(S306)、ニュース情報が音声データである場合には音声変換過程なしに直ちに音声分析部210に伝えられる。
音声分析部210では、伝達された音声情報の内容を分析してリップシンク処理部220及びアニメーション処理部225に伝達し、リップシンク処理部220とアニメーション処理部225は、音声情報の内容に相応する口形態データと、目、口、眉毛などの顔表情を表す顔表情データを抽出することになる。3Dキャラクターを表現するための口形態データと顔表情データを抽出すれば、ニュース情報提供サーバ120のメモリ230に格納されている3Dキャラクター、背景イメージ、背景音楽などを利用して、口形態データ及び顔表情データを3Dキャラクターに適用し、3Dキャラクターと背景イメージ及び/または背景音楽を合成した3Dキャラクターデータを生成することになる(S306)。また、音声分析部210の音楽情報は、コデック部215にも伝えられて、コデック部215では音声情報の音質向上のために音声情報を音声符号化過程を経て変換させる。
3Dキャラクターデータと音声情報は、3Dキャラクター同期化部235に伝えられて、音声情報に合せて3Dキャラクターが動作できるように、3Dキャラクターデータと音声情報を同期化させて3Dキャラクターニュースを生成することになる(S308)。ニュース情報を提供されてリアルタイムに生成された3Dキャラクターニュースは、ストリーミングサービス部240を通じてストリーミング方式により移動通信網110を通じて伝播されて、移動通信端末機100の使用者は、希望する3Dキャラクターニュースを選択して視聴することになる(S310)。
一方、本発明のニュース情報提供サーバ120は、移動通信網110を通じて接続した移動通信端末機100に本発明の3Dキャラクターニュースサービスを提供するためのメニュー画面を提供することができ、メニュー画面はニュース選択メニューと画面設定メニューを含むことができる。ニュース選択メニューは、政治、経済、社会、演芸、スポーツなどのように、カテゴリー別に区分されており、移動通信端末機100の使用者は、希望するニュース情報を選択し、リアルタイムに生成されて放送される3Dキャラクターニュースを受信して視聴することになる。
画面設定メニューは、3Dキャラクターニュースを生成するために使用する3Dキャラクター、背景イメージ及び背景音楽を選択できるようにして、移動通信端末機100の使用者の趣向に合う3Dキャラクターニュースサービスを提供できるようにする。即ち、本発明の3Dキャラクターニュースを視聴する前に、画面設定メニューで3Dキャラクター、背景イメージ及び背景音楽を設定しておけば、選択したニュース情報を自分が設定した3Dキャラクターにより進行される3Dキャラクターニュースとして提供されることができる。
図4は、本発明の好ましい実施形態によるニュース情報提供サーバから3Dキャラクターニュースを提供する途中に、ニュース情報提供サーバに接続した他の移動通信端末機に3Dキャラクターニュースを提供する方法を示す順序図である。
図4に示すように、ニュース情報提供サーバ120は、リアルタイムにニュース情報を提供されて3Dキャラクターニュースを生成し、移動通信網110を通じて伝播して、移動通信端末機102から3Dキャラクターニュースを受信して視聴することになる(S400)。ニュース情報提供サーバ120から3Dキャラクターニュースをリアルタイムに提供する途中に、他の移動通信端末機104でもニュース情報提供サーバ120に接続してニュース情報を要請することができる(S402)。この場合、ニュース情報提供サーバ120の制御部250は、移動通信網110を通じて他の移動通信端末機104の接続要請信号を受信することになり、ストリーミングフォーマット生成部245は、制御部250の制御によって放送中である3Dキャラクターニュースを他の移動通信端末機104に提供するように同期化させるためのストリーミングフォーマットデータを生成して3Dキャラクター同期化部235に伝達する(S404)。
3Dキャラクター同期化部235では、ストリーミングフォーマットデータに含まれたシンクマークの中の1つを基準時点に選択して3Dキャラクターデータと音声情報を同期化させる(S406)。同期化された3Dキャラクターニュースは、ストリーミングサービス部240を通じて他の移動通信端末機104にリアルタイム転送されて、他の移動通信端末機104は、基準時点からの3Dキャラクターニュースを聴取することになる(S408)。したがって、3Dキャラクターニュースがリアルタイムにサービスされている中に、ニュース情報提供サーバ120に接続した他の移動通信端末機104は、自分がサービスを要請した時点であるニュースの中間部分から3Dキャラクターニュースを提供されることができるようになる。
図5は、本発明の好ましい実施形態によるモバイル放送サーバを利用して3Dキャラクターニュース情報を提供するシステムを示す構成図である。
図5の3Dキャラクターニュース情報を提供するシステムは、移動通信端末機100、移動通信網110、ニュース情報提供サーバ120及びモバイル放送サーバ500などを含むことができ、図1の構成要素と同一な機能を遂行する構成要素に対する説明は省略する。
モバイル放送サーバ500は、個人ニュース情報を3Dキャラクターニュースに生成して移動通信端末機100に提供できるように、個人ニュース情報を入力されてニュース情報提供サーバ120に伝達する。ここで、個人ニュース情報は、移動通信網110を通じて移動通信端末機100から入力されるか、有線通信網110を通じてデスクトップコンピュータ、ノートブックコンピュータなどの各種端末機から入力された各種情報を含むことができる。
また、モバイル放送サーバ500は、ニュース情報提供サーバ120のニュース情報提供部200からニュース情報を伝達されて内容を変更するか、追加する等の加工処理を遂行した第2ニュース情報を生成することができ、生成した第2ニュース情報を3Dキャラクターニュースサービスに提供できるように、ニュース情報提供サーバ120のニュース情報提供部200へ転送することができる。
したがって、モバイル放送サーバ500を利用して移動通信サービス事業者側で提供するニュース情報だけでなく、移動通信サービス加入者自身が製作したニュース情報を3Dキャラクターニュースに生成して提供できることになる。
以上の説明は、本発明を例示的に説明したことに過ぎないものであって、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から外れない範囲で多様な変形が可能である。したがって、本明細書に開示された実施形態は本発明を限定するためのものでなく、説明するためのものであり、このような実施形態により本発明の思想と範囲が限るのではない。本発明の範囲は下記の請求範囲により解されなければならなくて、それと同等な範囲内にある全ての技術は本発明の権利範囲に含まれることと解されているべきである。
本発明の好ましい実施形態による移動通信網における3Dキャラクターを利用したニュース情報を提供するシステムを示す構成図である。 本発明の好ましい実施形態によるニュース情報提供サーバの内部構成を示す構成図である。 本発明の好ましい実施形態によるニュース情報提供サーバから3Dキャラクターを利用したニュース情報を提供する方法を示す順序図である。 本発明の好ましい実施形態によるニュース情報提供サーバから3Dキャラクターニュースを提供する途中に、ニュース情報提供サーバに接続した他の移動通信端末機に3Dキャラクターニュースを提供する方法を示す順序図である。 本発明の好ましい実施形態によるモバイル放送サーバを利用して3Dキャラクターニュース情報を提供するシステムを示す構成図である。

Claims (7)

  1. 移動通信網を通じてニュース情報提供サーバに接続した第1移動通信端末機へ3D(3-dimension)キャラクターニュースを提供する途中に、前記ニュース情報提供サーバに接続した第2移動通信端末機へ前記ニュース情報提供サーバから前記3Dキャラクターニュースを提供する方法であって、
    (a)前記ニュース情報提供サーバに接続した前記第2移動通信端末機のニュース情報要請を受けて、前記3Dキャラクターニュースを前記第2移動通信端末機に提供するように同期化させるためのストリーミングフォーマットデータを生成する段階と、
    (b)前記ストリーミングフォーマットデータに含まれたシンクマーク(Sync Mark)を基準時点に選択して、3Dキャラクター、背景イメージ及び/または背景音楽を合成した3Dキャラクターデータと音声情報を同期化させた前記3Dキャラクターニュースを生成する段階と、
    (c)前記基準時点から前記3Dキャラクターニュースをストリーミング方式により前記第2移動通信端末機へ転送する段階と、
    を含むことを特徴とする3Dキャラクターを利用したニュース情報を提供する方法。
  2. 前記(b)段階は、
    前記第2移動通信端末機の前記ニュース情報要請を受けた時点から周期的に発生する前記シンクマークの中の1つを前記基準時点に選択することを特徴とする請求項に記載の3Dキャラクターを利用したニュース情報を提供する方法。
  3. 移動通信網を通じて接続した移動通信端末機に3D(3-dimension)キャラクターにより進行されるニュースサービスを提供するシステムのニュース情報提供サーバであって、
    テキストデータ、または音声データで構成されたニュース情報をリアルタイムに伝達されて提供するニュース情報提供部と、
    前記テキストデータで構成された前記ニュース情報を音声データに変換する音声情報変換部と、
    前記ニュース情報提供部、または前記音声情報変換部から前記ニュース情報を構成する音声情報を伝達されて、前記音声情報の内容を分析する音声分析部と、
    前記音声分析部で分析した前記音声情報の内容に相応する口形態データを抽出するリップシンク処理部と、
    前記音声分析部で分析した前記音声情報の内容に相応する顔表情データを抽出するアニメーション処理部と、
    前記音声分析部から伝達された前記音声情報を音声符号化過程を経て変換させるコデック部と、
    3Dキャラクター、背景イメージ及び背景音楽を格納するメモリと、
    前記口形態データと前記顔表情データを前記3Dキャラクターに適用し、前記3Dキャラクターと前記背景イメージ及び/または背景音楽を合成した3Dキャラクターデータを生成し、前記コデック部から出力された前記音声情報と前記3Dキャラクターデータを同期化させて、3Dキャラクターニュースを生成する3Dキャラクター同期化部と、
    前記3Dキャラクターニュースをストリーミング方式により前記移動通信端末機へ転送するストリーミングサービス部と、
    前記3Dキャラクターニュースを生成して前記移動通信端末機を転送するように前記ニュース情報提供サーバの動作を制御する制御部と、
    前記移動通信端末機に前記3Dキャラクターニュースを提供する途中に、前記第2移動通信端末機のニュース情報要請を受ければ、前記3Dキャラクターニュースを前記第2移動通信端末機に提供するように同期化させるためのストリーミングフォーマットデータを生成して、前記3Dキャラクター同期化部に伝達するストリーミングフォーマット生成部と、を含み、
    前記3Dキャラクター同期化部は、前記ストリーミングフォーマットデータに含まれたシンクマーク(Sync Mark)を基準時点に選択して、前記3Dキャラクターデータと前記音声情報を同期化させた前記3Dキャラクターニュースを生成することを特徴とする3Dキャラクターを利用したニュース情報を提供するニュース情報提供サーバ。
  4. 前記3Dキャラクター同期化部は、前記第2移動通信端末機の前記ニュース情報要請を受けた時点から周期的に発生する前記シンクマークの中の1つを前記基準時点に選択することを特徴とする請求項に記載の3Dキャラクターを利用したニュース情報を提供するニュース情報提供サーバ。
  5. 前記システムは、
    個人ニュース情報から前記3Dキャラクターニュースを生成して、前記移動通信端末機に提供するように前記個人ニュース情報を入力されて前記ニュース情報提供サーバに伝達するモバイル放送サーバを更に含むことを特徴とする請求項3又は4に記載の3Dキャラクターを利用したニュース情報を提供するニュース情報提供サーバ
  6. 前記モバイル放送サーバは、前記ニュース情報提供サーバから前記ニュース情報が伝達され、伝達された前記ニュース情報を加工して第2ニュース情報を生成し、前記第2ニュース情報を前記ニュース情報提供サーバに伝達することを特徴とする請求項に記載の3Dキャラクターを利用したニュース情報を提供するニュース情報提供サーバ
  7. 前記顔表情データは、前記音声情報の内容に従う前記3Dキャラクターの感情を表現するための目、口、眉毛、鼻、及び顔筋肉データを含むことを特徴とする請求項3〜6のいずれか1項に記載の3Dキャラクターを利用したニュース情報を提供するニュース情報提供サーバ。
JP2007553050A 2005-02-15 2006-02-15 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びニュース情報提供サーバ Expired - Fee Related JP4489121B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050012313A KR100706967B1 (ko) 2005-02-15 2005-02-15 이동통신망에서 3d 캐릭터를 이용한 뉴스 정보를 제공하는방법 및 시스템
PCT/KR2006/000527 WO2006088313A1 (en) 2005-02-15 2006-02-15 Method and system for providing news information by using three dimensional character for use in wireless communication network

Publications (2)

Publication Number Publication Date
JP2008529403A JP2008529403A (ja) 2008-07-31
JP4489121B2 true JP4489121B2 (ja) 2010-06-23

Family

ID=36916685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007553050A Expired - Fee Related JP4489121B2 (ja) 2005-02-15 2006-02-15 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びニュース情報提供サーバ

Country Status (5)

Country Link
US (1) US7912725B2 (ja)
JP (1) JP4489121B2 (ja)
KR (1) KR100706967B1 (ja)
CN (1) CN101120348B (ja)
WO (1) WO2006088313A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748060B1 (ko) * 2005-08-05 2007-08-09 주식회사 오아시스미디어 실시간 다층 동영상 합성 시스템을 이용한 인터넷 방송시스템 및 이를 이용한 인터넷 방송 제공방법
US8659668B2 (en) * 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
KR100873646B1 (ko) * 2006-10-20 2008-12-12 에스케이씨앤씨 주식회사 3차원 아바타를 이용하는 엔터테인먼트 장치 및 그 사용방법
KR100813034B1 (ko) * 2006-12-07 2008-03-14 한국전자통신연구원 캐릭터 형성방법
TWI454955B (zh) * 2006-12-29 2014-10-01 Nuance Communications Inc 使用模型檔產生動畫的方法及電腦可讀取的訊號承載媒體
KR100830441B1 (ko) * 2007-01-17 2008-05-20 엘지전자 주식회사 이미지 표출 방법 및 이미지 표출 장치
GB0718633D0 (en) * 2007-05-16 2007-11-07 Seereal Technologies Sa Holograms
US8284233B2 (en) * 2009-02-06 2012-10-09 Broadcom Corporation Utilizing image sequences to perform video streaming during video conferencing
KR20100113266A (ko) * 2009-04-13 2010-10-21 삼성전자주식회사 휴대용 단말기에서 3차원 영상 메시지 제작 방법 및 장치
CN101826216B (zh) * 2010-03-31 2011-12-07 中国科学院自动化研究所 一个角色汉语口型动画自动生成***
JP5039865B2 (ja) * 2010-06-04 2012-10-03 パナソニック株式会社 声質変換装置及びその方法
KR101571283B1 (ko) 2011-11-08 2015-12-01 한국전자통신연구원 그래픽 오브젝트를 이용한 증강 미디어 콘텐츠를 제공하기 위한 미디어 콘텐츠 송신 방법 및 장치, 및 수신 방법 및 장치
KR101358999B1 (ko) * 2011-11-21 2014-02-07 (주) 퓨처로봇 캐릭터의 다국어 발화 시스템 및 방법
KR101439212B1 (ko) * 2012-12-04 2014-09-12 (주)에프엑스기어 단말 장치 및 이를 이용한 토킹 헤드 표시 방법
CN105228070A (zh) * 2014-06-16 2016-01-06 施耐德电气工业公司 现场扬声器装置、现场语音广播***及其方法
TW201615008A (en) * 2014-10-09 2016-04-16 Kuo-Ching Chiang Portable device with recording transform module
CN104574478A (zh) * 2014-12-30 2015-04-29 北京像素软件科技股份有限公司 一种编辑动画人物口型的方法及装置
CN104835190A (zh) * 2015-04-29 2015-08-12 华东师范大学 一种3d即时通讯***及其通讯方法
KR20240068992A (ko) * 2022-11-11 2024-05-20 한국전자기술연구원 사용자의 표정과 감정 상태를 적용한 3d 모델 얼굴 움직임 생성 방법 및 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4266411B2 (ja) * 1998-10-19 2009-05-20 キヤノン株式会社 情報処理装置及びその制御方法、情報伝送システム、記憶媒体
WO2001057851A1 (en) * 2000-02-02 2001-08-09 Famoice Technology Pty Ltd Speech system
US6539354B1 (en) * 2000-03-24 2003-03-25 Fluent Speech Technologies, Inc. Methods and devices for producing and using synthetic visual speech based on natural coarticulation
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
KR20020022504A (ko) * 2000-09-20 2002-03-27 박종만 3차원 캐릭터의 동작, 얼굴 표정, 립싱크 및 립싱크된음성 합성을 지원하는 3차원 동영상 저작 도구의 제작시스템 및 방법
KR100383018B1 (ko) * 2000-10-02 2003-05-09 (주)아이뮤직소프트 실시간 음성 인식에 의한 립싱크 애니메이션 제공 방법
KR20010000911A (ko) * 2000-10-27 2001-01-05 서의환 캐릭터를 휴대폰에 따운 받아 새로운 뉴스, 일기예보,스포츠나 광고 등의 정보와 게임을 서비스하는 방법.
US7203648B1 (en) * 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
JP2002288686A (ja) * 2001-03-23 2002-10-04 Minolta Co Ltd メッセージ送信システム、メッセージ送信方法、画像データ生成システム、およびコンピュータプログラム
JP2003060811A (ja) * 2001-08-20 2003-02-28 Takahiro Wada スポーツ情報提供方法
KR100371266B1 (en) 2001-09-17 2003-02-07 Digital Agent Co Ltd Method and system for selling character on internet
KR20030039019A (ko) * 2001-11-09 2003-05-17 신선혜 문장 텍스트를 스피치로 실시간 변환하면서 3디 스캔한실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장된기록매체와, 이를 이용한 온라인 게임, 이메일, 채팅,방송 및 외국어 학습방법
DE60224776T2 (de) * 2001-12-20 2009-01-22 Matsushita Electric Industrial Co., Ltd., Kadoma-shi Virtuelles Bildtelefon
KR20040025029A (ko) * 2002-09-18 2004-03-24 (주)아이엠에이테크놀로지 유무선통신단말기의 문자데이터 입력을 통한 영상데이터전송방법
KR100521310B1 (ko) * 2003-10-06 2005-10-14 에스케이 텔레콤주식회사 멀티모달을 이용한 립싱크-아바타 제공 방법 및 장치

Also Published As

Publication number Publication date
KR20060091435A (ko) 2006-08-21
WO2006088313A1 (en) 2006-08-24
CN101120348B (zh) 2010-05-19
JP2008529403A (ja) 2008-07-31
CN101120348A (zh) 2008-02-06
US20090125312A1 (en) 2009-05-14
KR100706967B1 (ko) 2007-04-11
US7912725B2 (en) 2011-03-22

Similar Documents

Publication Publication Date Title
JP4489121B2 (ja) 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びニュース情報提供サーバ
US8285257B2 (en) Emotion recognition message system, mobile communication terminal therefor and message storage server therefor
US20080151786A1 (en) Method and apparatus for hybrid audio-visual communication
US20090198497A1 (en) Method and apparatus for speech synthesis of text message
TW200820216A (en) Improved methods and apparatus for delivering audio information
WO2003063483A1 (fr) Dispositif de communication
KR100853122B1 (ko) 이동통신망을 이용한 실시간 대체 영상 서비스 방법 및시스템
JP2015514273A (ja) ウェブページ上における漫画ストーリー形式の対話を支援するモバイルチャットシステム
JP5486062B2 (ja) サービスサーバ装置、サービス提供方法、サービス提供プログラム
JP2013009367A (ja) サービスサーバ装置、サービス提供方法、サービス提供プログラム
JP2007066303A (ja) フラッシュ動画自動生成システム
WO2003021924A1 (en) A method of operating a communication system
JP2004193809A (ja) 通信装置
JP2002169750A (ja) ブラウザ搭載装置
JP2004023225A (ja) 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法
KR100475953B1 (ko) 이동 영상 전화에서의 대체 영상 서비스 방법 및 시스템
JP5136823B2 (ja) 定型メッセージ機能付きPoCシステム、通信方法、通信プログラム、端末、PoCサーバ
KR20110050483A (ko) 통신 방법, 통신 관련 시스템 및 관련 변환부
KR20040063425A (ko) 멀티미디어 광고 서비스 시스템
JP2006210973A (ja) 通信端末装置およびそのセッション接続方法
KR100573174B1 (ko) VoIP 링백톤을 이용한 통화중 배경음악 서비스 방법및 시스템
KR101432656B1 (ko) 특수 효과 통신 기능을 수행하는 이동 통신 단말기 및 그방법
KR100720074B1 (ko) 플래시 동영상을 이용한 화상대화 제공 방법
KR100596001B1 (ko) 사용자 단말기에 소정의 콘텐츠를 제공하기 위한 방법 및그 시스템
KR20060092625A (ko) 키워드에 의해서 캐릭터의 움직임이 바뀌는 콘텐츠를 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4489121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees