JP2004356999A - E-mail repeating apparatus, method and program - Google Patents
E-mail repeating apparatus, method and program Download PDFInfo
- Publication number
- JP2004356999A JP2004356999A JP2003152709A JP2003152709A JP2004356999A JP 2004356999 A JP2004356999 A JP 2004356999A JP 2003152709 A JP2003152709 A JP 2003152709A JP 2003152709 A JP2003152709 A JP 2003152709A JP 2004356999 A JP2004356999 A JP 2004356999A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image
- multimedia
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Color Television Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、動画像が添付された電子メールを中継して送信先に送信するメール中継装置および方法並びにメール中継方法をコンピュータに実行させるためのプログラムに関するものである。
【0002】
【従来の技術】
デジタルカメラやスキャナ等により取得される画像は、RGB各色8ビットの合計24ビットの色すなわち約1677万色の色を表現することが可能である。しかしながら、画像を再生する装置によっては、これよりも少ない(例えば256色)の色数しか表現できない場合がある。また、ウェブサイトにおいて利用頻度が高いgifやpng等の画像フォーマットが扱うことが可能な色は256色である。したがって、デジタルカメラ等により取得された画像を、表現可能な色数が少ない再生装置に表示したり、gifやpng等の画像フォーマットに変換する場合には、1677万色の色数を256色に減色する必要がある。
【0003】
従来よりこのような減色処理は、減色処理を行う画像を256色で表現するのに最適な256色のパレット色からなるパレットデータを生成し、パレットデータのパレット色の中から、画素毎に変換すべき色を選択して各画素を減色していくことにより行っている。
【0004】
また、デジタルビデオカメラにより取得された動画像をリアルタイムで減色処理して、静止画像が連続的に切り替わることによる動きのある画像(以下減色動画像とする)を生成する方法が提案されている(特許文献1参照)。この方法は、動画像に含まれる1/60秒毎に変化するフレームをコマ落ちさせることなくリアルタイムで減色処理するために、各フレーム毎にパレットデータを生成するのではなく、数フレーム毎にパレットデータを生成し、数フレーム単位で1つのパレットデータを用いて減色処理を行う方法である。
【0005】
一方、カメラ付き携帯電話機等の携帯端末装置の機能の向上は著しく、通信速度の向上とも相まって、動画像を撮影し、撮影した動画像を電子メールに添付して送信したり、動画像コンテンツを配信する動画像配信サーバにアクセスして、所望とする動画像コンテンツをダウンロードして再生可能な携帯端末装置が提案されている。
【0006】
また、静止画像ではあるが、カメラ付きの携帯端末装置から送信された画像が添付された電子メールに対して、送信先の端末装置の種類に応じて適切な画像処理を施すメール中継装置が提案されている(特許文献2参照)。このようなメール中継装置を用いれば、送信先の携帯端末装置が有する画面サイズ、画面の明るさや色合い等に適した画像となるように画像データに画像処理を施して、画像添付電子メールを送信することができる。
【0007】
また、携帯端末装置の機種に応じた画像データをウェブサイトの画像サーバに保管しておき、ウェブサイトにアクセスした携帯端末装置の機種を判別し、判別された機種に応じた画像データを携帯端末装置に送信するようにしたシステムも提案されている(特許文献3参照)。
【0008】
ところで、携帯端末装置の表示画面の高画素化が進み、従来よりも縦横が2倍すなわち画素数で4倍となる表示画面を搭載した携帯端末装置が市場に出回りつつある。このような、携帯端末装置にその表示画面の画素数に見合った画像を用意すれば、従来よりも高精細な画像を表示することができる。
【0009】
【特許文献1】
特開平11−259640号公報
【0010】
【特許文献2】
特願2002−214215号
【0011】
【特許文献3】
特開2002−244971号公報
【0012】
【発明が解決しようとする課題】
動画像が添付された電子メールを送信した場合、送信先の携帯端末装置が動画像を再生できる機種であれば、その携帯端末装置においては電子メールに添付された動画像を表示することができる。しかしながら、機種によっては動画像を表示できない場合がある。このため、そのような携帯端末装置においては、たとえ機種に応じて適切に画像処理が施された動画像が添付された電子メールが送信されても、動画像を表示することができない。このような場合、動画像を上述したように減色動画像に変換して送信先の携帯端末装置に送信することが考えられる。
【0013】
ところで、表示画面の高画素化が進んでも、携帯端末装置に搭載される画像表示のためのメモリの容量はコスト等の面から高容量とはなっていないのが現状である。例えば、表示画面の画素数が4倍となってもメモリの容量は2倍にしかなっていない。
【0014】
一方、gifやpng等の減色動画像フォーマットは、画像上の一方向すなわち1次元方向についての冗長性を考慮して圧縮処理を行っている。このため、一方向に同じ画素値を有する画素が並んでいる場合には圧縮率を高めることができるが、その一方向に直交する方向については、圧縮率を高めることができないものである。
【0015】
このため、高画素の表示画面を有する携帯端末装置に動画像に代えて減色動画像フォーマットを有する減色動画像を送信して表示した場合、例えば画素数を4倍としつつも圧縮後の容量を2倍にまでしかできないという制限があるため、画質を低減させたり、表示するフレーム数を低減したり、解像度を低減する等して、減色動画像フォーマットの画像のデータ容量を少なくしなければならない。しかしながら、上記減色動画像フォーマットの画像は表示可能な色数が元々256色しかないため、データ容量を少なくすると、携帯端末装置自体は高精細に画像を表示可能であるにも拘わらず、表示される画像は非常に画質が悪いものとなる。
【0016】
本発明は上記事情に鑑みなされたものであり、動画像を表示できない携帯端末装置に動画像を添付した電子メールが送信されても、その動画像を減色動画像のようにコマ送り表示させつつ高画質に表示できるようにすることを目的とする。
【0017】
【課題を解決するための手段】
本発明によるメール中継装置は、動画像が添付された電子メールを該電子メールの送信先である送信先端末装置に送信するメール中継装置において、
前記送信先端末装置の機種を判別する機種判別手段と、
該送信先端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記添付された動画像を該マルチメディア画像に変換する動画像変換手段とを備え、
前記マルチメディア画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするものである。
【0018】
「マルチメディアフォーマットのマルチメディア画像」とは、複数のフレームをコマ送り表示させつつ音声と同期させながらインタラクティブに表示可能なフォーマットの画像を意味し、例えばMacromedia社が開発したFlash(登録商標)を用いることができるがこれに限定されるものではない。また、音声と同期させないフォーマットも「マルチメディアフォーマットのマルチメディア画像」に含めるものとする。
【0019】
Flashとは、音声やベクターグラフィックスのアニメーションを組み合わせたWeb表示用ベクトル型グラフィックアニメーションであり、SWFというファイルフォーマットで表現され、ベクトル表現された図形や写真等のグラフィックスアニメーション等を音声と同期させながら表示画面上においてインタラクティブに表示することができる。このようなFlashを用いることにより、複数のフレームがコマ送り表示されるマルチメディア画像を生成することができる。
【0020】
また、Flashは上述したgifやpng等の減色動画像を扱うことが可能であるが、本発明においては、gifやpngフォーマットのように、1次元方向に冗長性を考慮した圧縮形式ではなく、JPEGフォーマットのように、2次元方向の冗長性を考慮した圧縮形式にて複数のフレームを圧縮することが好ましい。
【0021】
「マルチメディア画像を動画像に代えて送信先端末装置に送信する」とは、送信先端末装置が電子メールに添付された動画像をそのまま受信可能なものである場合には、動画像に代えてマルチメディア画像を電子メールに添付して送信すること、および送信先端末装置が電子メールに添付された動画像をそのまま受信することができないものである場合には、マルチメディア画像を一時的に保管しておき保管場所を表す情報(例えばURL)を電子メールに添付して送信先端末装置に送信し、送信先端末装置からの指示により保管されたマルチメディア画像を送信先端末装置に送信することの双方を含む。
【0022】
なお、本発明によるメール中継装置においては、前記動画像変換手段が、前記動画像から複数のフレームをサンプリングするサンプリング手段と、
該複数のフレームを2次元方向に冗長性を考慮した圧縮形式にて圧縮して前記マルチメディア画像を生成するマルチメディア画像生成手段とを備えるものであってもよい。
【0023】
この場合、マルチメディア画像生成手段は、前記送信先端末装置が有する表示装置の特性に応じて、該表示装置に表示可能なように前記マルチメディア画像を生成する手段であってもよい。
【0024】
「表示装置の特性」としては、表示装置の解像度、表示装置が扱うことが可能なデータ容量、表示装置の出力色数等を用いることができる。
【0025】
「表示装置に表示可能なようにマルチメディア画像を生成する」とは、マルチメディア画像に用いるフレーム数、各フレームの表示間隔、表示するサイズ、表示する色数、マルチメディア画像のデータ容量、展開後のデータ容量等が、表示装置の特性と適合し、表示装置側において何ら加工を加えることなく表示可能なようにマルチメディア画像を生成することをいう。
【0026】
なお、前記マルチメディア画像生成手段は、前記表示装置の特性に応じて前記複数のフレームを拡大縮小するサイズ変更手段と、
前記表示装置が取り扱い可能なデータ容量となるように、前記複数のフレームを前記2次元方向に冗長性を考慮した圧縮形式にて圧縮するフレーム圧縮手段と、
該圧縮された複数のフレームのフォーマットを成形して前記マルチメディア画像を生成するフォーマット成形手段とを備えてなるものであってもよい。
【0027】
この場合、前記フレーム圧縮手段は、前記生成されたマルチメディア画像が前記表示装置が取り扱い可能なデータ容量とならない場合に、前記フレームの圧縮率の変更および/または前記複数のフレームからのフレームの間引きを、前記マルチメディア画像が前記データ容量となるまで繰り返す手段であってもよい。
【0028】
また、本発明によるメール中継装置においては、前記送信先端末装置が携帯端末装置であってもよい。
【0029】
本発明によるメール中継方法は、動画像が添付された電子メールを該電子メールの送信先である送信先端末装置に送信するメール中継方法において、
前記送信先端末装置の機種を判別し、
該送信先端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記添付された動画像を該マルチメディア画像に変換し、
前記マルチメディア画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするものである。
【0030】
なお、本発明によるメール中継方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【0031】
【発明の効果】
本発明によるメール中継装置および方法によれば、動画像が添付された電子メールの送信先である送信先端末装置の機種が判別され、その送信先端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合には、動画像がマルチメディア画像に変換され、マルチメディア画像が動画像に代えて送信先端末装置に送信される。このため、携帯端末装置が動画像を表示できなくても、マルチメディア画像により電子メールに添付されて送信された動画像を擬似的にかつ高画質に表示することができる。
【0032】
また、請求項2の発明によれば、動画像から複数のフレームがサンプリングされ、複数のフレームが2次元方向に冗長性を考慮した圧縮形式にて圧縮されてマルチメディアフォーマットのマルチメディア画像が生成される。ここで、動画像からサンプリングされたフレームは、上記減色動画像のフォーマットであるgifやpngフォーマットのように1次元方向の冗長性を考慮した圧縮形式ではなく、JPEGのように2次元方向の冗長性を考慮した圧縮形式にて圧縮されてマルチメディア画像に含められることとなる。また、2次元方向の冗長性を考慮した圧縮方式の方が1次元方向の冗長性を考慮した圧縮方式よりも、画質を維持しつつデータ容量を低減できるものである。したがって、請求項2の発明によれば、減色動画像と比較してデータ容量を低減しつつも、コマ送り表示される画像を高画質に生成することができ、これにより、高画素の表示画面を有する送信先端末装置の表示装置にコマ送り表示される画像を高画質に表示することができる。
【0033】
また、送信先端末装置が有する表示装置の特性に応じて、表示装置に表示可能なようにマルチメディア画像を生成することにより、生成されたマルチメディア画像を確実に送信先端末装置の表示装置に表示することができる。
【0034】
また、送信先端末装置が有する表示装置の特性に応じてフレームを拡大縮小し、表示装置が取り扱い可能なデータ容量となるように複数のフレームを2次元方向に冗長性を考慮した圧縮形式にて圧縮し、圧縮された複数のフレームのフォーマットを成形してマルチメディア画像を生成することにより、表示装置の表示画面のサイズおよび表示装置が扱うことが可能なデータ容量を考慮してマルチメディア画像を生成することができ、これにより、生成されたマルチメディア画像をより確実に送信先端末装置の表示装置に表示することができる。
【0035】
また、フレームが単一の色のみからなる等単純な画像であるか、細かな被写体を含む等により複雑なものであるかによって、フレームの圧縮後の容量は異なるものとなる。また、圧縮されたフレームの展開後の容量も、単純な画像か複雑な画像かによって異なるものとなる。このため、フレームの複雑さによっては生成されたマルチメディア画像のデータ容量(展開前後の双方を含む)が送信先端末装置の表示装置が取り扱い可能なデータ容量とならない場合がある。したがって、生成されるマルチメディア画像がその表示装置が取り扱い可能なデータ容量とならない場合に、フレームの圧縮率の変更および/または複数のフレームからのフレームを間引くことを表示装置が取り扱い可能なデータ容量となるまで繰り返すことにより、送信先端末装置の表示装置が取り扱い可能なデータ容量のマルチメディア画像を生成することができる。
【0036】
また、送信先端末装置を携帯端末装置とすることにより、携帯端末装置においてマルチメディア画像を表示することができる。
【0037】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態によるメール中継装置を適用したメール中継サーバを用いたメールシステムの構成を示す概略ブロック図である。図1に示すように、本実施形態によるメールシステムは、メール中継サーバ1を備え、動画像を撮影可能なカメラ付きの携帯電話機、PHS、PDA等の携帯端末装置3から送信された、動画像が添付された電子メールをメール中継サーバ1において中継して、電子メールの送信先に送信するものである。
【0038】
図1に示すように、メール中継サーバ1は、メール受信部11と、動画像分離部12と、機種判別部13と、画像蓄積部14と、動画像変換部15と、画像添付部16と、URL添付部17と、メール送信部18と、リクエスト受信部19と、画像読み出し部20と、画像送信部21とを備える。
【0039】
メール受信部11は、ある携帯端末装置3が送信した動画像を表す動画像データM0が添付された電子メールE0を受信する。
【0040】
動画像分離部12は、電子メールE0から動画像データM0を分離して、電子メールE0の動画像データM0以外の情報からなるメール本体E1を生成する。なお、メール本体E1はメール本文と送信者のメールアドレス、送信先のメールアドレス等の各種情報を含むヘッダとからなる。動画像分離部12はメール本体E1および動画像データM0を機種判別部13に入力する。
【0041】
機種判別部13は、メール本体E1のヘッダに含まれる送信先の携帯端末装置3のメールアドレスに基づいて、メールアドレスと機種とを対応づけたデータベース13Aおよび機種とフォーマットとの関係を表すテーブルを参照して、送信先の携帯端末装置3が動画像を表示可能であるか否かを判定する。また、送信先の携帯端末装置3が、画像が添付された電子メールをそのまま受信可能なものであるか否かも判定する。
【0042】
図2は機種とフォーマットとの関係を表すテーブルを示す図である。図2に示すように、テーブルT1は、携帯端末装置3が携帯電話機である場合の機種毎(A001,A002,B001等)に、動画像の表示の可否、マルチメディア画像の表示の可否、画面サイズ、表示可能色数、表示可能な減色動画像のコマ数、扱うことが可能なデータ容量(単位KB)が割り当てられている。
【0043】
ここで、機種判別部13の判定結果は下記に示すものとなる。
(1)送信先の携帯端末装置3が動画像を表示可能であり、画像が添付された電子メールをそのまま受信可能である。
【0044】
(2)送信先の携帯端末装置3が動画像を表示可能ではなく、画像が添付された電子メールをそのまま受信可能である。
【0045】
(3)送信先の携帯端末装置3が動画像を表示可能であり、画像が添付された電子メールを受信可能でない。
【0046】
(4)送信先の携帯端末装置3が動画像を表示可能ではなく、画像が添付された電子メールをそのまま受信可能でない。
【0047】
上記(1)のように判定された場合、機種判別部13は動画像変換部15に処理を行わせることなく動画像データM0を画像添付部16に入力する。また、動画像分離部12はメール本体E1を画像添付部16に入力する。
【0048】
上記(2)のように判定された場合、機種判別部13は動画像データM0を動画像変換部15に入力し、動画像変換部15に処理を行わせる。また、動画像分離部12はメール本体E1を画像添付部16に入力する。
【0049】
上記(3)のように判定された場合、機種判別部13は動画像変換部15に処理を行わせることなく動画像データM0を画像蓄積部14に入力する。また、動画像分離部12はメール本体E1をURL添付部17に入力する。
【0050】
上記(4)のように判定された場合、機種判別部13は動画像データM0を動画像変換部15に入力し、動画像変換部15に処理を行わせる。また、動画像分離部12はメール本体E1をURL添付部17に入力する。
【0051】
画像蓄積部14は、動画像データM0および動画像変換部15が生成したマルチメディア画像データF1または減色動画像データR1を蓄積する。
【0052】
動画像変換部15は、送信先の携帯端末装置3が動画像を表示できない機種である場合に、さらに送信先の携帯端末装置3がマルチメディア画像を表示可能であるか否かを判定し、マルチメディア画像を表示可能である場合には、動画像データM0をマルチメディア画像データF1に変換する。また、マルチメディア画像も表示できない場合には、動画像データM0を減色動画像データR1に変換する。
【0053】
図3は動画像変換部15の詳細な構成を示す概略ブロック図である。図3に示すように、動画像変換部15は、動画像入力部51と、復号化部52と、出力フォーマット決定部53と、マルチメディア画像生成部54と、減色動画像生成部55と、生成画像出力部56とを備える。
【0054】
動画像入力部51は、動画像データM0の動画像変換部15への入力を受け付ける。
【0055】
復号化部52は、符号化されている動画像データM0を復号化して生動画像データM0′を生成する。
【0056】
出力フォーマット決定部53は、テーブルT1を参照して、送信先の携帯端末装置3がマルチメディア画像を表示可能である場合には、生動画像データM0′をマルチメディア画像生成部54に入力する。また、マルチメディア画像も表示できない場合には、生動画像データM0′を減色動画像生成部55に入力する。
【0057】
マルチメディア画像生成部54は、生動画像データM0′からマルチメディア画像データF1を生成する。図4は、マルチメディア画像生成部54の詳細な構成を示す概略ブロック図である。図4に示すようにマルチメディア画像生成部54は、フレーム分離部61と、符号化制御部62と、フレームサンプリング部63と、フレーム内符号化部64と、フォーマット成形部65とを備える。
【0058】
フレーム分離部61は、生動画像データM0′をフレーム単位の画像データ(以下フレームデータFr0とする)に分離する。例えば本実施形態においては1フレームは1/60秒の動画像を表すものである。
【0059】
符号化制御部62は、最終的に得られるマルチメディア画像データF1のデータ容量が送信先の携帯端末装置3が有する表示装置が扱うことが可能なデータ容量(以下データ容量Kとする)以下となるようにフレームサンプリング部63およびフレーム内符号化部64を制御する。なお、データ容量Kは圧縮されたマルチメディア画像データF1を取り扱うことが可能なデータ容量K1およびこれを展開した場合データを取り扱うことが可能なデータ容量K2の双方を含む。
【0060】
フレームサンプリング部63は、マルチメディア画像データF1のデータ容量がデータ容量K以下となるように、複数のフレームデータFr0からフレームデータをサンプリングしてサンプリングされたフレームデータFr1を生成する。
【0061】
フレーム内符号化部64は、マルチメディア画像データF1のデータ容量がデータ容量K以下となるようにサンプリングされたフレームデータFr1のそれぞれを2次元方向の冗長性を考慮した圧縮方式であるJPEG形式にて圧縮して圧縮済みのフレームデータFr2を生成する。さらに、フレーム内符号化部64は、圧縮済みのフレームデータFr2をフォーマット成形部65においてフォーマットを成形することにより生成されるマルチメディア画像データF1のデータ容量がデータ容量K1以下となるか否かおよび展開後のマルチメディア画像データF1のデータ容量がデータ容量K2以下となるかを判定する。そしてこの判定が肯定された場合には圧縮済みのフレームデータFr2をフォーマット成形部65に入力する。一方、この判定が否定された場合には、その旨の情報を符号化制御部62に送信する。符号化制御部62はこの旨の情報を受信すると、さらにサンプリングするフレーム数を少なくするようフレームサンプリング部63を再制御するとともに、圧縮率を高くするようフレーム内符号化部64を再制御する。
【0062】
すなわち、フレームが単一の色のみからなる等単純な画像であるか、細かな被写体を含む等により複雑なものであるかによって、圧縮済みのフレームデータFr2のデータ容量は異なるものとなる。また、マルチメディア画像データF1の展開後のデータ容量も、単純な画像か複雑な画像かによって異なるものとなる。このため、フレームの複雑さによっては生成されたマルチメディア画像データF1のデータ容量がデータ容量K以下とならない場合がある。したがって、フォーマット成形部65において生成されるマルチメディア画像データF1がデータ容量K以下とならない場合に、マルチメディア画像データF1のデータ容量がデータ容量K以下となるように、再度サンプリングおよびフレームデータFr1の符号化を行うようにしたものである。
【0063】
フォーマット成形部65は、圧縮済みのフレームデータFr2をFlashフォーマットに成形してマルチメディア画像データF1を生成する。具体的には、各フレームデータFr2の表示間隔等、各フレームをコマ送り表示させるために必要な情報をフレームデータFr2に付与しつつ各フレームデータFr2を並べることによりフレームデータFr2のフォーマットを成形してマルチメディア画像データF1を生成する。なお、マルチメディア画像データF1に音声を付与したい場合には、フォーマット成形部65において音声データがマルチメディア画像データF1に含められる。
【0064】
図3に戻り、減色動画像生成部55は、送信先の携帯端末装置3が動画像およびマルチメディア画像を表示できない機種である場合に、動画像データM0を減色動画像データR1に変換する。図5は減色動画像生成部55の詳細な構成を示す概略ブロック図である。図5に示すように、減色動画像生成部55は、フレーム分離部71と、基準フレーム生成部72と、パレットデータ生成部73と、フレームサンプリング部74と、処理部75と、フレーム合成部76と、符号化部77とを備える。
【0065】
フレーム分離部71は、マルチメディア画像生成部54のフレーム分離部61と同様に、生動画像データM0′をフレーム単位の画像データすなわちフレームデータFr0に分離する。
【0066】
基準フレーム生成部72は、フレームデータFr0からパレットデータの生成に用いられる基準フレームデータB0を生成する。ここで、基準フレームデータB0としては、各フレームを時系列順に並べた場合における先頭のフレームデータFr0を用いるものとする。なお、任意のフレームデータを基準フレームデータB0としてもよく、全フレームデータFr0または全フレームデータFr0から選択した複数のフレームデータFr0′を1つの画像データとなるように合成し、この合成したフレームデータを基準フレームデータB0として生成してもよい。また、全フレームデータFrまたは全フレームデータFr0から選択した複数のフレームデータFr0′を平均することにより基準フレームデータB0を生成してもよい。なお、複数のフレームデータFr0′としては、後述するフレームサンプリング部74がサンプリングしたフレームデータを用いてもよい。
【0067】
パレットデータ生成部73は、基準フレームデータB0から減色処理に必要な色数のパレットデータP0を生成する。具体的にはメディアンカット法等を用いてパレットデータP0を生成することができるが、これに限定されるものではない。
【0068】
ここで、メディアンカット法は、基準フレームデータB0を構成するRGBの各色データをRGBの3次元空間にプロットし、3次元空間上の色データが存在する範囲におけるメディアン値を求め、これをパレットデータを構成する1つのパレット色とし、さらにメディアン値により空間を2つに分割して、分割された空間におけるメディアン値を求めることを、パレットデータの色数(例えば256色)が得られるまで繰り返すことにより、パレットデータを構成するパレット色を求める方法である。
【0069】
フレームサンプリング部74は、フレームデータFr0から減色動画像を構成するフレームデータをサンプリングする。具体的には、図2に示すテーブルT1を参照して、送信先の携帯端末装置3が表示することが可能な減色動画像のコマ数の情報を取得し、このコマ数に相当する数のフレームデータをサンプリングする。この際、サンプリングするフレームデータは、動画像データM0の再生時間をコマ数により等分した時間におけるフレームデータとすればよい。なお、フレームデータをサンプリングするのみならず、フレーム間において補間を行って新たなフレームデータを生成してもよい。
【0070】
処理部75は、フレームサンプリング部74がサンプリングしたフレームデータFr3に対して、パレットデータP0を用いて減色処理を施す。減色処理の方法としては、誤差拡散法等を用いることができる。これにより、減色されたフレームデータFr4が生成される。
【0071】
フレーム合成部76は、処理部75が生成したフレームデータFr4を時系列順に並べて1つのファイルとなるように合成することにより、各フレームの画像が連続的に切り替わって再生される減色生動画像データR0を生成する。
【0072】
符号化部77は、減色生動画像データR0を符号化して減色動画像データR1を生成する。この際、送信先の携帯端末装置3が取り扱うことが可能なデータ容量K以下となるように符号化を行う。なお、減色動画像データR1のファイルフォーマットとしては、アニメーションgifやpngのアニメーションgifに対応するフォーマットのmngを用いることができるが、これに限定されるものではない。
【0073】
図3に戻り、生成画像出力部56は、マルチメディア画像生成部54が生成したマルチメディア画像データF1または減色動画像生成部55が生成した減色動画像データR1を画像蓄積部14または画像添付部16に出力する。
【0074】
図1に戻り、画像添付部16は、送信先の携帯端末装置3が画像が添付された電子メールをそのまま受信可能である場合に、メール本体E1に動画像データM0、マルチメディア画像データF1または減色動画像データR1を添付して画像が添付された電子メールE2を生成する。
【0075】
URL添付部17は、送信先の携帯端末装置3が画像が添付された電子メールをそのまま受信可能でない場合に、メール本体E1に動画像データM0、マルチメディア画像データF1または減色動画像データR1の画像蓄積部14における蓄積場所のURLを添付してURLが添付された電子メールE3を生成する。
【0076】
メール送信部18は、電子メールE2または電子メールE3を送信先の携帯端末装置3に携帯電話通信網を介して送信する。
【0077】
リクエスト受信部19は、URLが添付された電子メールE3を受信した携帯端末装置3による画像のダウンロードのリクエストを受信する。なお、携帯端末装置3による動画像配信のリクエストには、動画像データM0、マルチメディア画像データF1または減色動画像データR1の蓄積先のURLが含まれる。
【0078】
画像読み出し部20は、リクエスト受信部19が受信したリクエストに含まれるURLを参照して、動画像データM0、マルチメディア画像データF1または減色動画像データR1を画像蓄積部14から読み出す。
【0079】
画像送信部21は、画像読み出し部20が読み出した動画像データM0、マルチメディア画像データF1または減色動画像データR1を、リクエストを行った携帯端末装置3に携帯電話通信網を介して送信する。
【0080】
次いで、本実施形態において行われる処理について説明する。図6は、本実施形態において行われる処理を示すフローチャートである。ある携帯端末装置3が送信した動画像データM0が添付された電子メールE0をメール受信部11が受信すると処理が開始され、動画像分離部12が電子メールE0から動画像データM0を分離する(ステップS1)。次いで、機種判別部13がメール本体E1のヘッダに含まれる送信先携帯端末装置3のメールアドレスに基づいてデータベース13Aを参照して、送信先の携帯端末装置3が上記(1)〜(4)のいずれに該当するかを判定する(ステップS2)。
【0081】
(1)に該当する場合、図7に示すフローチャートに進み、機種判別部13が動画像データM0を、動画像分離部12がメール本体E1をそれぞれ画像添付部16に入力する(ステップS3)。画像添付部16は、動画像データM0をメール本体E1に添付して画像が添付された電子メールE2を生成し(ステップS4)、メール送信部18が電子メールE2を送信先の携帯端末装置3に送信し(ステップS5)、処理を終了する。
【0082】
電子メールE2を受信した携帯端末装置3は動画像を表示可能であることから、電子メールE2に添付された動画像データM0が表示される。
【0083】
一方、(2)に該当する場合、図8に示すフローチャートに進み、機種判別部13が動画像データM0を動画像変換部15に入力し、動画像分離部12がメール本体E1を画像添付部16に入力する(ステップS6)。動画像変換部15は、動画像データM0に対して動画像変換処理を行う(ステップS7)。
【0084】
図9は動画像変換処理のフローチャートである。まず、動画像入力部51が動画像データM0の入力を受け付け(ステップS21)、復号化部52が動画像データM0を復号化して生動画像データM0′を取得する(ステップS22)。続いて、出力フォーマット決定部53がテーブルT1を参照して、送信先の携帯端末装置3がマルチメディア画像を表示可能であるか否かを判定し(ステップS23)、ステップS23が肯定されるとマルチメディア画像生成部54が生動画像データM0′に対してマルチメディア画像生成処理を施す(ステップS24)。
【0085】
図10はマルチメディア画像生成処理のフローチャートである。まず、フレーム分離部61が生動画像データM0′をフレーム単位の画像データであるフレームデータFr0に分離し(ステップS31)、符号化制御部62が最終的に得られるマルチメディア画像データF1のデータ容量がデータ容量K以下となるようにフレームサンプリング部63およびフレーム内符号化部64を制御する(ステップS32)。
【0086】
そして、フレームサンプリング部63が、フレームデータFr0からマルチメディア画像データF1を構成するフレームデータFr1をサンプリングする(ステップS33)。さらに、フレーム内符号化部64がフレームデータFr1を符号化して圧縮済みのフレームデータFr2を生成する(ステップS34)。続いて、フレーム内符号化部64が、フォーマット成形部65においてフレームデータFr2から生成されるマルチメディア画像データF1のデータ容量がデータ容量K以下となるか否かを判定する(ステップS35)。ステップS35が否定されると、フレーム内符号化部64はその情報を符号化制御部62に入力する。符号化制御部62は最終的に得られるマルチメディア画像データF1のデータ容量がデータ容量K以下となるようにフレームサンプリング部63およびフレーム内符号化部64を再制御し(ステップS36)、ステップS33に戻る。フレームサンプリング部63およびフレーム内符号化部64は、マルチメディア画像データF1のデータ容量がデータ容量K以下となるまで、ステップS33以降の処理を繰り返す。
【0087】
ステップS35が肯定されると、フォーマット成形部65がフレームデータFr2をFlashフォーマットに成形してマルチメディア画像データF1を生成し(ステップS37)、マルチメディア画像生成処理を終了する。
【0088】
図9に戻り、ステップS23が否定されると減色動画像生成部55が生動画像データM0′に対して減色動画像生成処理を施す(ステップS25)。
【0089】
図11は、減色動画像生成処理のフローチャートである。まず、フレーム分離部71が生動画像データM0′をフレーム単位の画像データであるフレームデータFr0に分離し(ステップS41)、基準フレーム生成部72が、フレームデータFr0から基準フレームデータB0を生成する(ステップS42)。そして、パレットデータ生成部73が、基準フレームデータB0からパレットデータP0を生成する(ステップS43)。
【0090】
一方、フレームサンプリング部74が、フレームデータFr0から減色動画像を構成するフレームデータFr3をサンプリングする(ステップS44)。なお、ステップS44の処理を先に行ってもよく、ステップS42,S43およびステップS44の処理を並列に行ってもよい。
【0091】
そして、処理部75が、フレームサンプリング部74がサンプリングしたフレームデータFr3に対して、パレットデータP0を用いて減色処理を施して減色されたフレームデータFr4を生成する(ステップS45)。次いで、フレーム合成部76が、処理部75が生成したフレームデータFr4を時系列順に並べることにより1つのファイルとなるように合成して減色生動画像データR0を生成し(ステップS46)、符号化部77が減色生動画像データR0を符号化して減色動画像データR1を生成し(ステップS47)、減色処理を終了する。
【0092】
図8に戻り、画像添付部16は、マルチメディア画像データF1または減色動画像データR1をメール本体E1に添付して画像が添付された電子メールE2を生成し(ステップS8)、メール送信部18が電子メールE2を送信先の携帯端末装置3に送信し(ステップS9)、処理を終了する。
【0093】
電子メールE2を受信した携帯端末装置3は動画像を表示可能ではないため、受信した電子メールE2に添付されたマルチメディア画像データF1または減色動画像データR1に基づいて、動画像データM0からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
【0094】
ここで、マルチメディア画像データF1は減色動画像データR1と比較して、高画質に画像を再生できることから、マルチメディア画像データF1を受信した携帯端末装置3には、動画像データM0からサンプリングされたフレームが連続的に切り替わる動きのある高画質の画像が表示される。
【0095】
(3)に該当する場合、図12に示すフローチャートに進み、機種判別部13が動画像データM0を画像蓄積部14に入力し、動画像分離部12がメール本体E1をURL添付部17に入力する(ステップS10)。画像蓄積部14は動画像データM0を蓄積する(ステップS11)。URL添付部17は、動画像データM0の蓄積先のURLをメール本体E1に添付してURLが添付された電子メールE3を生成し(ステップS12)、メール送信部18が電子メールE3を送信先の携帯端末装置3に送信し(ステップS13)、処理を終了する。
【0096】
(4)に該当する場合、図13に示すフローチャートに進み、機種判別部13が動画像データM0を動画像変換部15に入力し、動画像分離部12がメール本体E1をURL添付部17に入力する(ステップS14)。動画像変換部15は、動画像データM0に対して動画像変換処理を行う(ステップS15)。画像蓄積部14は動画像変換処理により生成されたマルチメディア画像データF1または減色動画像データR1を蓄積する(ステップS16)。URL添付部17は、マルチメディア画像データF1または減色動画像データR1の蓄積先のURLをメール本体E1に添付してURLが添付された電子メールE3を生成し(ステップS17)、メール送信部18が電子メールE3を送信先の携帯端末装置3に送信し(ステップS18)、処理を終了する。
【0097】
上記(3)および(4)の場合において、電子メールE3を受信した携帯端末装置3は、動画像データM0、マルチメディア画像データF1または減色動画像データR1のダウンロードのリクエストをメール中継サーバ1に対して行う。
【0098】
図14はリクエストが行われた際にメール中継サーバ1において行われる処理を示すフローチャートである。リクエスト受信部19がダウンロードのリクエストを受信すると処理が開始され、画像読み出し部20がリクエストに含まれるURLを参照して画像蓄積部14から動画像データM0、マルチメディア画像データF1または減色動画像データR1を読み出す(ステップS51)。そして、画像送信部21が動画像データM0、マルチメディア画像データF1または減色動画像データR1をリクエストを行った携帯端末装置3に送信し(ステップS52)、処理を終了する。
【0099】
携帯端末装置3においては、動画像データM0、マルチメディア画像データF1または減色動画像データR1が受信される。ここで、携帯端末装置3が動画像を表示可能なものである場合には動画像データM0が送信され、動画像が表示される。一方、携帯端末装置3が動画像を表示できないがマルチメディア画像を表示可能なものである場合にはマルチメディア画像データF1が送信され、動画像データM0からサンプリングされたフレームが連続的に切り替わる動きのある高画質の画像が表示される。
【0100】
また、携帯端末装置3が動画像およびマルチメディア画像を表示できない場合には減色動画像データR1が送信され、減色動画像データR1に基づいて、動画像データM0からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
【0101】
このように、本実施形態においては、動画像が添付された電子メールE0の送信先の携帯端末装置3の機種を判別し、その機種が動画像を表示できないものである場合には、電子メールE0に添付された動画像データM0をマルチメディア画像データF1または減色動画像データR1に変換して送信するようにしたため、携帯端末装置3が動画像を表示できなくても、マルチメディア画像データF1または減色動画像データR1により動画像を擬似的に表示することができる。
【0102】
とくに、マルチメディア画像データF1は、減色動画像データR1とは異なり、JPEGのように2次元方向の冗長性を考慮した圧縮形式にて圧縮されたフレームデータFr2が含められるため、データ容量を低減しつつも減色動画像データR1と比較して、コマ送り表示される画像を高画質に生成することができる。したがって、携帯端末装置3が動画像を表示できず、かつ取り扱うことが可能なデータ容量に制限があっても、マルチメディア画像データF1により、動画像を擬似的にかつ高画質に表示することができ、これにより、携帯端末装置3が高画素の表示画面を有する場合にもコマ送り表示される画像を高画質に表示できる。
【0103】
また、送信先の携帯端末装置3の特性に応じて動画像データM0からマルチメディア画像データF1を生成しているため、生成されたマルチメディア画像データF1を送信先の携帯端末装置3に確実に表示することができる。
【0104】
また、生成されるマルチメディア画像データF1がデータ容量K以下とならない場合には、フレームデータFr1の再度のサンプリングおよびフレームデータFr2の再度の符号化を、生成されるマルチメディア画像データF1がデータ容量K以下となるまで繰り返すようにしたため、携帯端末装置3がの表示装置が取り扱うことが可能なデータ容量Kに適合する容量のマルチメディア画像データF1を生成することができる。
【0105】
また、送信先の携帯端末装置3が動画像もマルチメディア画像も表示できない場合には、動画像データM0を減色動画像データR1に変換して送信するようにしたため、携帯端末装置3が動画像およびマルチメディア画像を表示できなくても、画質は落ちるものの減色動画像データR1により動画像を擬似的に表示することができる。
【0106】
また、動画像データM0から減色動画像データR1を生成する際に、1つのパレットデータP0のみを生成しているため、上記特許文献1に記載された方法のように、数フレーム毎にパレットデータを生成する必要がなくなり、これにより、装置の規模を大きくすることなく、動画像データM0から減色動画像データR1を得ることができる。
【0107】
なお、上記実施形態においては、マルチメディア画像としてFlashフォーマットを有するものを用いているが、複数のフレームをコマ送り表示させつつインタラクティブに表示可能なフォーマットであればこれに限定されるものではない。
【0108】
また、上記実施形態において、マルチメディア画像データF1に動画像データM0に含まれる音声を含めることも可能である。
【0109】
また、上記実施形態においては、1つのパレットデータP0のみを生成して動画像データM0から減色動画像データR1を生成しているが、上記特許文献1に記載された方法のように、数フレーム毎にパレットデータを生成して動画像データM0から減色動画像データR1を生成してもよい。また、これらの方法に限らず、動画像データM0から減色動画像データR1を生成できれば任意の方法を適用することができる。
【0110】
また、上記実施形態において、動画像分離部12において動画像データM0が添付された電子メールE0を一時的に保管しておき、機種判別部13が上記(1)のように判定した場合には、動画像データM0が添付された電子メールE0をそのままメール送信部18から送信先の携帯端末装置3に送信してもよい。
【0111】
なお、上記実施形態において、テーブルT1を参照して、送信先の携帯端末装置3の表示画面サイズおよび表示可能色数に適合するように動画像データM0のフォーマットを変換してもよい。この場合、マルチメディア画像データF1および減色動画像データR1は、フォーマット変換済みの動画像データM0から生成される。
【0112】
また、上記実施形態においては、メール中継サーバ1を、送信先の携帯端末装置3が、画像が添付された電子メールをそのまま受信可能であるか否かに拘わらず電子メールを中継するものとしているが、送信先の携帯端末装置3が画像が添付された電子メールをそのまま受信可能である場合に特化したものとなるようにメール中継サーバ1を構成することも可能である。このように構成したメール中継サーバ(1Aとする)を図15に示す。図15に示すように、メール中継サーバ1Aは、図1に示すメール中継サーバ1と比較して、画像蓄積部14、URL添付部17、リクエスト受信部19、画像読み出し部20および画像送信部21が除かれたものとなる。
【0113】
逆に、送信先の携帯端末装置3が画像が添付された電子メールをそのまま受信できない場合に特化したものとなるようにメール中継サーバ1を構成することも可能である。このように構成したメール中継サーバ(1Bとする)を図16に示す。図16に示すように、メール中継サーバ1Bは、図1に示すメール中継サーバ1と比較して、画像添付部16が除かれたものとなる。
【図面の簡単な説明】
【図1】本発明の実施形態によるメール中継装置を適用したメール中継サーバを用いたメールシステムの構成を示す概略ブロック図
【図2】機種とフォーマットとの関係を表すテーブルを示す図
【図3】動画像変換部の詳細な構成を示す概略ブロック図
【図4】マルチメディア画像生成部の詳細な構成を示す概略ブロック図
【図5】減色動画像生成部の詳細な構成を示す概略ブロック図
【図6】本実施形態において行われる処理を示すフローチャート(その1)
【図7】本実施形態において行われる処理を示すフローチャート(その2)
【図8】本実施形態において行われる処理を示すフローチャート(その3)
【図9】動画像変換処理のフローチャート
【図10】マルチメディア画像生成処理のフローチャート
【図11】減色動画像生成処理のフローチャート
【図12】本実施形態において行われる処理を示すフローチャート(その4)
【図13】本実施形態において行われる処理を示すフローチャート(その5)
【図14】リクエストが行われた際にメール中継サーバにおいて行われる処理を示すフローチャート
【図15】本発明の他の実施形態によるメール中継装置を適用したメール中継サーバを用いたメールシステムの構成を示す概略ブロック図
【図16】本発明の他の実施形態によるメール中継装置を適用したメール中継サーバを用いたメールシステムの構成を示す概略ブロック図
【符号の説明】
1,1A,1B メール中継サーバ
3 携帯端末装置
11 メール受信部
12 動画像分離部
13 機種判別部
14 画像蓄積部
15 動画像変換部
16 画像添付部
17 URL添付部
18 メール送信部
19 リクエスト受信部
20 画像読み出し部
21 画像送信部
51 動画像入力部
52 復号化部
53 出力フォーマット決定部
54 マルチメディア画像生成部
55 減色動画像生成部
56 生成画像出力部
61,71 フレーム分離部
62 符号化制御部
63,74 フレームサンプリング部
64 フレーム内符号化部
65 フォーマット成形部
72 基準フレーム生成部
73 パレットデータ生成部
75 処理部
76 フレーム合成部
77 符号化部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mail relay apparatus and method for relaying an e-mail attached with a moving image to a destination, and a program for causing a computer to execute the mail relay method.
[0002]
[Prior art]
An image acquired by a digital camera, a scanner, or the like can express a total of 24 bits of RGB, that is, 8 bits, that is, about 16.77 million colors. However, depending on a device that reproduces an image, there may be a case where only a smaller number of colors (for example, 256 colors) can be expressed. In addition, 256 colors can be handled by image formats such as gif and png which are frequently used on websites. Therefore, when an image acquired by a digital camera or the like is displayed on a playback device with a small number of colors that can be expressed or converted to an image format such as gif or png, the number of colors of 16.77 million colors is changed to 256 colors. It is necessary to reduce the color.
[0003]
Conventionally, such subtractive color processing generates palette data composed of 256 palette colors that are optimal for expressing the image to be subtracted in 256 colors, and converts the palette data from the palette colors into individual pixels. This is done by selecting the color to be reduced and reducing the color of each pixel.
[0004]
Further, a method has been proposed in which a moving image acquired by a digital video camera is subjected to color reduction processing in real time, and a moving image (hereinafter referred to as a reduced color moving image) is generated by continuous switching of still images ( Patent Document 1). This method does not generate palette data for each frame but performs palette reduction every few frames in order to perform color reduction processing in real time without dropping frames of frames that change every 1/60 seconds included in a moving image. In this method, data is generated and color reduction processing is performed using one palette data in units of several frames.
[0005]
On the other hand, mobile terminal devices such as camera-equipped mobile phones have significantly improved functions, and coupled with the improvement in communication speed, a moving image is shot, and the shot moving image is attached to an e-mail and transmitted. There has been proposed a mobile terminal device capable of accessing a moving image distribution server to be distributed and downloading and reproducing a desired moving image content.
[0006]
In addition, a mail relay device is proposed that performs appropriate image processing on an e-mail attached with an image transmitted from a mobile terminal device with a camera, although it is a still image, according to the type of the destination terminal device. (See Patent Document 2). If such a mail relay device is used, image processing is performed on the image data so as to obtain an image suitable for the screen size, screen brightness, hue, etc. of the destination mobile terminal device, and an image-attached e-mail is transmitted. can do.
[0007]
In addition, image data corresponding to the model of the mobile terminal device is stored in the image server of the website, the model of the mobile terminal device accessing the website is determined, and the image data corresponding to the determined model is stored in the mobile terminal A system that transmits data to a device has also been proposed (see Patent Document 3).
[0008]
By the way, the display screen of a mobile terminal device has been increased in pixel count, and mobile terminal devices equipped with a display screen that is twice as long as that in the past, that is, four times the number of pixels, are now on the market. If an image commensurate with the number of pixels of the display screen is prepared in such a mobile terminal device, a higher-definition image than conventional can be displayed.
[0009]
[Patent Document 1]
JP-A-11-259640 [0010]
[Patent Document 2]
Japanese Patent Application No. 2002-214215
[Patent Document 3]
JP-A-2002-244971 [0012]
[Problems to be solved by the invention]
When an e-mail with a moving image attached is transmitted, if the mobile terminal device of the transmission destination is a model that can reproduce a moving image, the mobile terminal device can display the moving image attached to the e-mail. . However, there are cases where a moving image cannot be displayed depending on the model. For this reason, in such a portable terminal device, even if an e-mail attached with a moving image appropriately subjected to image processing according to the model is transmitted, the moving image cannot be displayed. In such a case, it is conceivable that the moving image is converted into a reduced color moving image as described above and transmitted to the mobile terminal device of the transmission destination.
[0013]
By the way, even if the display screen has been increased in the number of pixels, the capacity of the memory for displaying an image mounted on the portable terminal device is not high in terms of cost and the like. For example, even if the number of pixels on the display screen is quadrupled, the memory capacity is only doubled.
[0014]
On the other hand, in the subtractive color moving image formats such as gif and png, compression processing is performed in consideration of redundancy in one direction on the image, that is, one-dimensional direction. For this reason, when pixels having the same pixel value are arranged in one direction, the compression rate can be increased, but the compression rate cannot be increased in a direction orthogonal to the one direction.
[0015]
Therefore, when a reduced color moving image having a reduced color moving image format is transmitted and displayed on a mobile terminal device having a display screen with a high pixel instead of the moving image, for example, the capacity after compression is increased while the number of pixels is quadrupled. Since there is a restriction that it can only be doubled, the image data volume of the reduced color moving image format must be reduced by reducing the image quality, reducing the number of frames to be displayed, reducing the resolution, etc. . However, since the number of colors that can be displayed is originally 256, the image of the reduced color moving image format can be displayed when the data capacity is reduced, even though the mobile terminal device itself can display images with high definition. The image quality will be very poor.
[0016]
The present invention has been made in view of the above circumstances, and even when an e-mail attached with a moving image is transmitted to a mobile terminal device that cannot display a moving image, the moving image is displayed frame by frame like a subtractive moving image. An object is to enable display with high image quality.
[0017]
[Means for Solving the Problems]
A mail relay device according to the present invention is a mail relay device that transmits an electronic mail with a moving image attached thereto to a destination terminal device that is a destination of the electronic mail.
Model discriminating means for discriminating the model of the destination terminal device;
A moving image conversion means for converting the attached moving image into the multimedia image when the destination terminal device model is not capable of displaying a moving image but can display a multimedia image in a multimedia format;
The multimedia image is transmitted to the destination terminal device instead of the moving image.
[0018]
“Multimedia image in multimedia format” means an image in a format that can be displayed interactively while synchronizing a plurality of frames with frame-by-frame display. For example, Flash (registered trademark) developed by Macromedia is used. Although it can be used, it is not limited to this. A format that is not synchronized with audio is also included in the “multimedia image of the multimedia format”.
[0019]
Flash is a vector graphic animation for Web display that combines animation of voice and vector graphics. It is expressed in a file format called SWF, and it synchronizes graphics animations such as graphics and pictures expressed in vector with voice. However, it can be displayed interactively on the display screen. By using such Flash, it is possible to generate a multimedia image in which a plurality of frames are displayed by frame advance.
[0020]
In addition, Flash can handle reduced color moving images such as the above-mentioned gif and png, but in the present invention, it is not a compression format that considers redundancy in the one-dimensional direction like the gif or png format. It is preferable to compress a plurality of frames in a compression format that considers redundancy in the two-dimensional direction, such as the JPEG format.
[0021]
“Transmit a multimedia image to a destination terminal device instead of a moving image” means that if the destination terminal device can receive the moving image attached to the e-mail as it is, the moving image is replaced with the moving image. If the multimedia image is attached to the email and transmitted, and the destination terminal device cannot receive the moving image attached to the email as it is, the multimedia image is temporarily stored. The storage location information (for example, URL) indicating the storage location is attached to the e-mail and transmitted to the transmission destination terminal device, and the multimedia image stored according to the instruction from the transmission destination terminal device is transmitted to the transmission destination terminal device. Including both.
[0022]
In the mail relay device according to the present invention, the moving image conversion means includes sampling means for sampling a plurality of frames from the moving image;
A multimedia image generating unit that generates the multimedia image by compressing the plurality of frames in a compression format considering redundancy in a two-dimensional direction may be provided.
[0023]
In this case, the multimedia image generating means may be a means for generating the multimedia image so that it can be displayed on the display device according to the characteristics of the display device of the transmission destination terminal device.
[0024]
As the “characteristics of the display device”, the resolution of the display device, the data capacity that can be handled by the display device, the number of output colors of the display device, and the like can be used.
[0025]
“Generate a multimedia image so that it can be displayed on a display device” means the number of frames used in the multimedia image, the display interval of each frame, the display size, the number of colors to be displayed, the data capacity of the multimedia image, and the development This means that a multimedia image is generated so that the subsequent data capacity and the like match the characteristics of the display device and can be displayed without any processing on the display device side.
[0026]
The multimedia image generation means includes a size changing means for enlarging / reducing the plurality of frames according to characteristics of the display device,
Frame compression means for compressing the plurality of frames in a compression format considering redundancy in the two-dimensional direction so that the display device can handle data capacity;
And a format forming unit that forms a format of the plurality of compressed frames to generate the multimedia image.
[0027]
In this case, when the generated multimedia image does not have a data capacity that can be handled by the display device, the frame compression means changes the compression rate of the frame and / or thins out frames from the plurality of frames. May be a unit that repeats until the multimedia image reaches the data capacity.
[0028]
In the mail relay device according to the present invention, the transmission destination terminal device may be a mobile terminal device.
[0029]
A mail relay method according to the present invention is a mail relay method for transmitting an electronic mail attached with a moving image to a destination terminal device that is a destination of the electronic mail.
Determine the model of the destination terminal device,
When the model of the destination terminal device cannot display a moving image but can display a multimedia image in a multimedia format, the attached moving image is converted into the multimedia image;
The multimedia image is transmitted to the destination terminal device instead of the moving image.
[0030]
The mail relay method according to the present invention may be provided as a program for causing a computer to execute the mail relay method.
[0031]
【The invention's effect】
According to the mail relay apparatus and method of the present invention, the model of the transmission destination terminal device that is the transmission destination of the e-mail attached with the moving image is determined, and the model of the transmission destination terminal device cannot display the moving image. When a multimedia image in the multimedia format can be displayed, the moving image is converted into a multimedia image, and the multimedia image is transmitted to the transmission destination terminal device instead of the moving image. Therefore, even if the mobile terminal device cannot display a moving image, it is possible to display a moving image attached to an e-mail as a multimedia image in a pseudo and high-quality manner.
[0032]
According to the invention of
[0033]
In addition, by generating a multimedia image so that it can be displayed on the display device according to the characteristics of the display device of the transmission destination terminal device, the generated multimedia image can be reliably displayed on the display device of the transmission destination terminal device. Can be displayed.
[0034]
In addition, the frame is scaled according to the characteristics of the display device of the transmission destination terminal device, and a plurality of frames are compressed in a two-dimensional direction in consideration of redundancy so as to have a data capacity that can be handled by the display device. By compressing and forming a compressed multiple frame format to generate a multimedia image, the multimedia image is taken into consideration in consideration of the display screen size of the display device and the data capacity that the display device can handle. Thus, the generated multimedia image can be more reliably displayed on the display device of the transmission destination terminal device.
[0035]
Further, the capacity of the frame after compression differs depending on whether the frame is a simple image such as consisting of only a single color or a complicated image including a fine subject. Further, the capacity of the compressed frame after expansion also varies depending on whether it is a simple image or a complex image. For this reason, depending on the complexity of the frame, the data capacity of the generated multimedia image (including both before and after expansion) may not be a data capacity that can be handled by the display device of the destination terminal apparatus. Therefore, if the generated multimedia image does not have a data capacity that can be handled by the display device, the data capacity that the display device can handle to change the compression rate of the frame and / or to thin out frames from a plurality of frames. By repeating the above, it is possible to generate a multimedia image having a data capacity that can be handled by the display device of the transmission destination terminal device.
[0036]
In addition, by setting the transmission destination terminal device as a mobile terminal device, a multimedia image can be displayed on the mobile terminal device.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing a configuration of a mail system using a mail relay server to which a mail relay apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, the mail system according to the present embodiment includes a
[0038]
As shown in FIG. 1, the
[0039]
The
[0040]
The moving
[0041]
The
[0042]
FIG. 2 is a diagram showing a table representing the relationship between model and format. As shown in FIG. 2, the table T1 includes whether or not to display a moving image, whether or not to display a multimedia image for each model (A001, A002, B001, etc.) when the mobile
[0043]
Here, the determination result of the
(1) The mobile
[0044]
(2) The mobile
[0045]
(3) The mobile
[0046]
(4) The mobile
[0047]
When the determination is made as in (1) above, the
[0048]
When the determination is made as in (2) above, the
[0049]
When the determination is made as in (3) above, the
[0050]
When the determination is made as in (4) above, the
[0051]
The
[0052]
If the destination mobile
[0053]
FIG. 3 is a schematic block diagram showing a detailed configuration of the moving
[0054]
The moving
[0055]
The
[0056]
The output
[0057]
The multimedia
[0058]
The
[0059]
The
[0060]
The
[0061]
The
[0062]
In other words, the data capacity of the compressed frame data Fr2 differs depending on whether the frame is a simple image such as consisting of only a single color or a complicated image including a fine subject. Further, the data capacity after the development of the multimedia image data F1 also differs depending on whether it is a simple image or a complex image. For this reason, depending on the complexity of the frame, the data capacity of the generated multimedia image data F1 may not be less than the data capacity K. Therefore, when the multimedia image data F1 generated in the
[0063]
The
[0064]
Returning to FIG. 3, when the destination mobile
[0065]
Similar to the
[0066]
The reference
[0067]
The palette
[0068]
Here, in the median cut method, each color data of RGB constituting the reference frame data B0 is plotted in the RGB three-dimensional space, and a median value in a range where the color data exists in the three-dimensional space is obtained, and this is obtained as pallet data. Is repeated until the number of colors of palette data (for example, 256 colors) is obtained by dividing the space into two by the median value and obtaining the median value in the divided space. In this way, the palette color constituting the palette data is obtained.
[0069]
The
[0070]
The
[0071]
The
[0072]
The
[0073]
Returning to FIG. 3, the generated
[0074]
Returning to FIG. 1, when the destination mobile
[0075]
The
[0076]
The
[0077]
The
[0078]
The
[0079]
The
[0080]
Next, processing performed in the present embodiment will be described. FIG. 6 is a flowchart showing processing performed in the present embodiment. When the
[0081]
In the case of (1), the process proceeds to the flowchart shown in FIG. 7, in which the
[0082]
Since the mobile
[0083]
On the other hand, in the case of (2), the process proceeds to the flowchart shown in FIG. 8, where the
[0084]
FIG. 9 is a flowchart of the moving image conversion process. First, the moving
[0085]
FIG. 10 is a flowchart of multimedia image generation processing. First, the
[0086]
Then, the
[0087]
If step S35 is affirmed, the
[0088]
Returning to FIG. 9, if step S23 is negative, the reduced color moving
[0089]
FIG. 11 is a flowchart of the reduced color moving image generation process. First, the
[0090]
On the other hand, the
[0091]
Then, the
[0092]
Returning to FIG. 8, the
[0093]
Since the mobile
[0094]
Here, since the multimedia image data F1 can reproduce an image with higher image quality than the subtractive color moving image data R1, the mobile
[0095]
In the case of (3), the process proceeds to the flowchart shown in FIG. 12, where the
[0096]
In the case of (4), the process proceeds to the flowchart shown in FIG. 13 where the
[0097]
In the cases (3) and (4), the mobile
[0098]
FIG. 14 is a flowchart showing processing performed in the
[0099]
In the mobile
[0100]
In addition, when the mobile
[0101]
As described above, in the present embodiment, the model of the mobile
[0102]
In particular, unlike the subtractive color moving image data R1, the multimedia image data F1 includes frame data Fr2 compressed in a compression format that considers redundancy in the two-dimensional direction, such as JPEG. However, compared with the color-reduced moving image data R1, an image displayed by frame advance can be generated with high image quality. Therefore, even if the mobile
[0103]
In addition, since the multimedia image data F1 is generated from the moving image data M0 according to the characteristics of the destination mobile
[0104]
If the generated multimedia image data F1 is not less than or equal to the data capacity K, the frame data Fr1 is sampled again and the frame data Fr2 is encoded again. Since it is repeated until it becomes K or less, it is possible to generate multimedia image data F1 having a capacity suitable for the data capacity K that can be handled by the display device of the mobile
[0105]
When the mobile
[0106]
Further, since only one palette data P0 is generated when generating the subtractive color moving image data R1 from the moving image data M0, the palette data is obtained every several frames as in the method described in
[0107]
In the above embodiment, a multimedia image having the Flash format is used. However, the present invention is not limited to this as long as it can be interactively displayed while displaying a plurality of frames.
[0108]
In the above embodiment, the multimedia image data F1 can also include the audio included in the moving image data M0.
[0109]
In the above embodiment, only one palette data P0 is generated and the subtractive color moving image data R1 is generated from the moving image data M0. However, as in the method described in
[0110]
In the above embodiment, when the moving
[0111]
In the above embodiment, the format of the moving image data M0 may be converted with reference to the table T1 so as to match the display screen size and the number of displayable colors of the mobile
[0112]
In the above embodiment, the
[0113]
Conversely, the
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a configuration of a mail system using a mail relay server to which a mail relay device according to an embodiment of the present invention is applied. FIG. 2 is a diagram showing a table showing the relationship between models and formats. FIG. 4 is a schematic block diagram showing a detailed configuration of the moving image converting unit. FIG. 4 is a schematic block diagram showing a detailed configuration of the multimedia image generating unit. FIG. 5 is a schematic block diagram showing a detailed configuration of the subtractive color moving image generating unit. FIG. 6 is a flowchart (part 1) showing processing performed in the embodiment.
FIG. 7 is a flowchart (part 2) showing processing performed in the embodiment.
FIG. 8 is a flowchart (No. 3) showing processing performed in the embodiment.
FIG. 9 is a flowchart of moving image conversion processing. FIG. 10 is a flowchart of multimedia image generation processing. FIG. 11 is a flowchart of reduced color moving image generation processing. FIG. 12 is a flowchart showing processing performed in this embodiment (part 4).
FIG. 13 is a flowchart (No. 5) showing processing performed in the embodiment.
FIG. 14 is a flowchart showing processing performed in a mail relay server when a request is made. FIG. 15 shows a configuration of a mail system using a mail relay server to which a mail relay device according to another embodiment of the present invention is applied. FIG. 16 is a schematic block diagram showing a configuration of a mail system using a mail relay server to which a mail relay apparatus according to another embodiment of the present invention is applied.
1, 1A, 1B
Claims (8)
前記送信先端末装置の機種を判別する機種判別手段と、
該送信先端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記添付された動画像を該マルチメディア画像に変換する動画像変換手段とを備え、
前記マルチメディア画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするメール中継装置。In a mail relay device that transmits an e-mail attached with a moving image to a destination terminal device that is a destination of the e-mail,
Model discriminating means for discriminating the model of the destination terminal device;
A moving image conversion means for converting the attached moving image into the multimedia image when the destination terminal device model is not capable of displaying a moving image but can display a multimedia image in a multimedia format;
A mail relay device, wherein the multimedia image is transmitted to the destination terminal device instead of the moving image.
該複数のフレームを2次元方向に冗長性を考慮した圧縮形式にて圧縮して前記マルチメディア画像を生成するマルチメディア画像生成手段とを備えたことを特徴とする請求項1記載のメール中継装置。Sampling means for sampling a plurality of frames from the moving image, the moving image conversion means;
2. A mail relay apparatus according to claim 1, further comprising a multimedia image generating means for generating the multimedia image by compressing the plurality of frames in a compression format considering redundancy in a two-dimensional direction. .
前記表示装置が取り扱い可能なデータ容量となるように、前記複数のフレームを前記2次元方向に冗長性を考慮した圧縮形式にて圧縮するフレーム圧縮手段と、
該圧縮された複数のフレームのフォーマットを成形して前記マルチメディア画像を生成するフォーマット成形手段とを備えてなることを特徴とする請求項3記載のメール中継装置。The multimedia image generation means includes a size changing means for enlarging / reducing the plurality of frames according to characteristics of the display device,
Frame compression means for compressing the plurality of frames in a compression format considering redundancy in the two-dimensional direction so that the display device can handle data capacity;
4. The mail relay apparatus according to claim 3, further comprising: format forming means for generating the multimedia image by forming a format of the plurality of compressed frames.
前記送信先端末装置の機種を判別し、
該送信先端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記添付された動画像を該マルチメディア画像に変換し、
前記マルチメディア画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするメール中継方法。In a mail relay method for transmitting an e-mail attached with a moving image to a destination terminal device that is a destination of the e-mail,
Determine the model of the destination terminal device,
When the model of the destination terminal device cannot display a moving image but can display a multimedia image in a multimedia format, the attached moving image is converted into the multimedia image;
A mail relay method, wherein the multimedia image is transmitted to the destination terminal device instead of the moving image.
前記送信先端末装置の機種を判別する手順と、
該送信先端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記添付された動画像を該マルチメディア画像に変換する手順と、
前記マルチメディア画像を前記動画像に代えて前記送信先端末装置に送信する手順とを有することを特徴とするプログラム。In a program for causing a computer to execute a mail relay method for transmitting an e-mail attached with a moving image to a destination terminal device that is a destination of the e-mail,
A procedure for determining the model of the destination terminal device;
A procedure for converting the attached moving image to the multimedia image when the model of the destination terminal device cannot display a moving image but can display a multimedia image in a multimedia format;
A program for transmitting the multimedia image to the transmission destination terminal device instead of the moving image.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003152709A JP4170150B2 (en) | 2003-05-29 | 2003-05-29 | Mail relay apparatus and method, and program |
US10/828,201 US7647428B2 (en) | 2003-05-27 | 2004-04-21 | Method and apparatus for email relay of moving image conversion and transmission, and programs therefor |
KR1020040037878A KR100632793B1 (en) | 2003-05-27 | 2004-05-27 | Method and apparatus for moving image conversion, method and apparatus for moving image transmission, and medium recording programs therefor |
CNB2004100427817A CN1285059C (en) | 2003-05-27 | 2004-05-27 | Method and apparatus for moving image conversion, method and apparatus for moving image transmission, and programs therefor |
EP04253150A EP1496656A1 (en) | 2003-05-27 | 2004-05-27 | Method and apparatus for moving image conversion, method and apparatus for moving image transmission, and programs therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003152709A JP4170150B2 (en) | 2003-05-29 | 2003-05-29 | Mail relay apparatus and method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004356999A true JP2004356999A (en) | 2004-12-16 |
JP4170150B2 JP4170150B2 (en) | 2008-10-22 |
Family
ID=34047854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003152709A Expired - Lifetime JP4170150B2 (en) | 2003-05-27 | 2003-05-29 | Mail relay apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4170150B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006120972A1 (en) * | 2005-05-13 | 2006-11-16 | Matsushita Electric Industrial Co., Ltd. | Communication terminal, security device, and integrated circuit |
JP2008071324A (en) * | 2006-09-11 | 2008-03-27 | Wisdom Web Co Ltd | Content distribution system for information terminal in which calculation resource and communication resource are restricted |
-
2003
- 2003-05-29 JP JP2003152709A patent/JP4170150B2/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006120972A1 (en) * | 2005-05-13 | 2006-11-16 | Matsushita Electric Industrial Co., Ltd. | Communication terminal, security device, and integrated circuit |
JP2006318292A (en) * | 2005-05-13 | 2006-11-24 | Matsushita Electric Ind Co Ltd | Communication terminal, secure device and integrated circuit |
JP4613094B2 (en) * | 2005-05-13 | 2011-01-12 | パナソニック株式会社 | Communication terminal and communication method |
JP2008071324A (en) * | 2006-09-11 | 2008-03-27 | Wisdom Web Co Ltd | Content distribution system for information terminal in which calculation resource and communication resource are restricted |
Also Published As
Publication number | Publication date |
---|---|
JP4170150B2 (en) | 2008-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7647428B2 (en) | Method and apparatus for email relay of moving image conversion and transmission, and programs therefor | |
KR100597458B1 (en) | Apparatus and method for moving image conversion, apparatus and method for moving image transmission, and medium recording programs therefor | |
KR100501173B1 (en) | Method for Displaying High-Resolution Pictures in Mobile Communication Terminal, Mobile Communication Terminal and File Format Converting System of the Pictures therefor | |
KR101167432B1 (en) | Method for implementing rich video on mobile terminals | |
JP2004164098A (en) | Web camera | |
JP2000197074A (en) | Stereoscopic reproduction device, output device, and its control method and storage medium | |
US20060039478A1 (en) | Image decoding and reducing apparatus and method | |
CN104144313B (en) | Video communication method, system and high in the clouds image server | |
US20050185000A1 (en) | Representative color selection apparatus and method, reduced color image production apparatus and method, and programs | |
KR20220149574A (en) | 3D video processing method, apparatus, readable storage medium and electronic device | |
JP4444623B2 (en) | Moving image conversion apparatus and method, moving image distribution apparatus, mail relay apparatus, and program | |
JP2004356998A (en) | Apparatus and method for dynamic image conversion, apparatus and method for dynamic image transmission, as well as programs therefor | |
JP5135147B2 (en) | Video file transmission server and operation control method thereof | |
JP4170150B2 (en) | Mail relay apparatus and method, and program | |
JP4970912B2 (en) | Video segmentation server and control method thereof | |
JP4723796B2 (en) | Moving picture conversion apparatus and method, moving picture distribution apparatus and method, and program | |
KR100655199B1 (en) | Dynamic image server and method of controlling the same | |
JP4248934B2 (en) | Mail relay apparatus and method, and program | |
JP2005136567A (en) | Device and method for generating pallet data, device and method for forming image, moving image distributing apparatus, mail repeating device and program | |
JP4275629B2 (en) | Data transmission / reception device, image processing device, and image processing method | |
JP2008136057A (en) | Motion picture file generating device and control method thereof | |
JP2003030082A (en) | Information processor and data communication system | |
JP2006067146A (en) | Image distribution server, relay server of mail with image, and operation control method therefor | |
JP2008311791A (en) | Video photographing device and video recording and playback device | |
KR20040058854A (en) | digital video editing system and the operating method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060303 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080806 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4170150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |