JP4247666B2 - 画像処理方法及び画像処理システム - Google Patents
画像処理方法及び画像処理システム Download PDFInfo
- Publication number
- JP4247666B2 JP4247666B2 JP2003156878A JP2003156878A JP4247666B2 JP 4247666 B2 JP4247666 B2 JP 4247666B2 JP 2003156878 A JP2003156878 A JP 2003156878A JP 2003156878 A JP2003156878 A JP 2003156878A JP 4247666 B2 JP4247666 B2 JP 4247666B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- processing
- terminal
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Processing Or Creating Images (AREA)
- Facsimiles In General (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び画像処理システムに係り、特にデジタルカメラやカメラ付き携帯電話機などにより撮影される静止画像又は動画像を補正して所望の画質や録画時間を実現するのに好適な画像処理技術に関する。
【０００２】
【従来の技術】
近時、デジタルカメラやカメラ付き携帯電話機などが普及し、手軽な撮影手段の一つとして多くの人に利用されている。特許文献１に開示されたカメラ機能付きの携帯電話機によれば、カメラ部から動画像が取り込まれると、画像処理部において該画像データに対してホワイトバランス等の基本的な画像処理が実行され、フレームレート変換部において、設定されたフレームレート値で調整された後、色数変換部において、設定された色数に調整される。その後、サイズ変換部において、色数変換部から入力された画像データは、設定されたサイズ値に調整され、画像圧縮部においてＪＰＥＧ等の画像圧縮方式により、設定された圧縮率で圧縮される。これらの処理が全て終了すると、ＣＰＵは該画像データをＲＡＭに格納させるとともに、ＬＣＤに画面表示させている。
【０００３】
【特許文献１】
特開２００２−２７１６７１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来、携帯端末において画像サイズ、フォーマットが異なるケースに対応しきれない場合が多く、それを解決する手段として、サーバ側で画像処理を行い、送信先の端末の仕様に合わせて最適な処理を施す手段が知られている。かかる方法は、サーバで処理を行うことにより、複雑な処理を可能とする反面、処理結果を送信者側が確認できないという欠点がある。
【０００５】
本発明はこのような事情に鑑みてなされたもので、送信側端末から送出した画像を画像処理サーバで画像処理し、処理結果の画像を相手側に送る画像伝送システムにおいて、サーバで実施された画像処理の結果を相手側に送る前に、或いは相手に送りながらリアルタイムに、送信者側で確認することができる画像処理方法及びシステムを提供することを目的とする。
【００１９】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理方法は、送信側端末と受信側端末とがそれぞれ撮像手段を有しており、各端末の撮像手段によって撮影された映像の圧縮動画像データを互いに通信回線を利用して送受信可能な通信システムに適用される画像処理方法であって、前記送信側端末と前記受信側端末との間で通信接続を確立し、相互に圧縮動画像データの受け渡しを開始する工程と、前記通信回線に接続されている画像処理サーバと前記送信側端末との間の通信接続を維持する工程と、前記送信側端末から前記画像処理サーバへ圧縮動画像データを送出する工程と、前記送信側端末から受け取った圧縮動画像データを前記画像処理サーバにおいて画像処理する工程と、前記画像処理によって生成された処理後の圧縮動画像データを前記画像処理サーバから通信相手の前記受信側端末へ送信するとともに、前記維持していた通信接続を利用して、該処理後の圧縮動画像データを前記送信側端末へ送信する工程と、前記画像処理サーバから受け取った前記処理後の圧縮動画像データを復元し、その画像と前記受信側端末から送られてくる相手側の画像とを前記送信側端末の表示装置に同時に表示する工程と、前記処理後の結果を示す動画像と前記相手側の画像とを前記表示装置に同時に表示したときに、さらに画像処理パラメータを変更する指示の入力を受け付け、前記送信側端末の操作部から入力された指示に応じた情報を前記画像処理サーバに送る工程と、前記処理後の結果を示す動画像と前記相手側の画像とを前記表示装置に同時に表示したときに、前記送信側端末の操作部から画像処理パラメータを変更する指示が入力されると、該変更されたパラメータに従って前記画像処理サーバにおいて画像処理を実行する工程と、前記変更されたパラメータの設定を反映した画像処理により生成された処理結果の圧縮動画像データを前記画像処理サーバから前記受信側端末に送信するとともに、前記維持していた通信接続を利用して該パラメータ変更後の処理結果による圧縮動画像データを前記画像処理サーバから前記送信側端末に送信する工程と、前記画像処理サーバから受け取った前記パラメータ変更後の処理結果による圧縮動画像データを復元し、その画像と前記受信側端末から送られてくる相手側の画像とを前記表示装置に同時に表示する工程と、を含むことを特徴とする。
【００２０】
すなわち、本発明は、いわゆるテレビ電話機能を有する端末どうしの動画映像の伝送における画像処理に応用できる技術であり、画像処理サーバにおいて行われる画像処理の結果を受信者側の端末（受信側端末）のみならず送信元の端末（送信側端末）の表示装置にも表示させている。これにより、画像処理サーバで行われているリアルタイム処理の結果を送信者本人が手元の端末の表示装置で確認しながら通信を行うことができる。
【００２１】
画像処理サーバから返された処理結果の画像を送信側端末の表示装置に表示する場合、その処理結果画像（自分側の撮影画像）と相手側から送られてくる画像（相手側の撮影画像）とを同時に、又は必要に応じて適宜切り替えて表示する態様が好ましい。画像処理サーバから返された自分側の撮影画像と、相手側の撮影画像とを同時に表示する際には、それぞれの画像の表示エリアの大小関係や画面の分割形態（上下分割、左右分割、ピクチャー・イン・ピクチャーによる小ウインドウ化）などを適宜設定することも可能である。
【００２３】
また、本発明の態様により、必要に応じてパラメータの設定を変更し、その設定が反映された処理結果を表示装置で確認しながら通信を行うことができる。また、画像処理サーバによる処理の内容として、例えば、顔や体型を細くする／太くする、髪形を変える（複数の合成用パーツ画像の中から所望の画像を選択させ、選択に係るパーツ画像を原画像に合成する）などの処理を加えることにより、エンターテイメント性が増す。
【００２７】
また、本発明のさらに他の態様に係る画像処理システムは、通信回線に接続されている画像処理サーバと、前記画像処理サーバを介して相互に圧縮動画像データを送受信可能な送信側端末及び受信側端末と、から構成される画像処理システムであって、前記画像処理サーバは、前記通信回線を介して前記送信側端末から受け取った圧縮動画像データを画像処理する画像処理手段と、前記画像処理手段による画像処理の際に前記送信側端末との通信接続を維持する接続維持制御手段と、前記画像処理手段により生成された処理後の圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して前記処理後の圧縮動画像データを前記送信側端末へ送信する処理結果送信制御手段と、を備え、前記送信側端末は、光学像を電気信号に変換する撮像手段と、前記通信回線を介して前記受信側端末及び前記画像処理サーバに接続する通信手段と、前記撮像手段により撮影された映像の圧縮動画像データを前記画像処理サーバに送信する通信制御手段と、前記画像処理サーバから受信した前記処理後の圧縮動画像データを復元する信号処理手段と、前記信号処理手段により復元された前記処理後の動画像と前記受信端末側から送られてくる相手側の画像とを同時に表示する表示手段と、画像処理パラメータを変更する操作を行うためのパラメータ変更操作手段を備え、前記画像処理サーバは、前記パラメータ変更操作手段により変更されたパラメータに従って前記画像処理手段による画像処理を行い、前記変更されたパラメータの設定を反映した画像処理により生成された圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して該パラメータ変更後の処理結果を示す圧縮動画像データを前記送信側端末へ送信する制御を行うことを特徴とする。
【００２９】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００３０】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理システムの構成図である。図示のように、このシステムは、通信端末として機能する複数の携帯電話機１、２と、これら端末間の通信の中継を行う画像処理サーバ４とから構成され、携帯電話機１、２及び画像処理サーバ４はネットワーク（通信回線）６を介して接続されている。ネットワーク６は、例えば、インターネットに代表される広域通信回線網であり、電話回線網、携帯電話回線網、専用回線網など、有線・無線を問わず種々の通信回線網を含む。
【００３１】
携帯電話機１には、カメラ部１２、アンテナ１４、ディスプレイ１６、受話口１７、送話口１８及び操作部２０が設けられている。操作部２０には、ダイヤルボタン２１、通話ボタン２２、通話切兼用電源ボタン２３、十字ボタン２４、実行ボタン２５その他の各種の操作手段が含まれる。操作部２０は、プッシュ式のスイッチ部材に限定されず、ダイヤル部材、レバースイッチなどの構成も可能である。
【００３２】
ディスプレイ１６は、カラー表示可能な液晶ディスプレイで構成される。もちろん、有機ＥＬなど他の方式の表示装置を適用してもよい。なお、図１には明示されていないが、この携帯電話機１には動画再生時の音声や各種効果音等を出力するためのスピーカ（図２中符号２７として記載）及び動画撮影時の音声を取り込むためのマイク（図２中符号２８として記載）が設けられている。
【００３３】
図１に示したカメラ部１２は、携帯電話機１の筐体２９の所定位置に固設されているが、撮影方向を自由に変更できるようにカメラ部を回動自在に取り付ける態様も可能であり、また、複数のカメラ部を搭載する態様も可能である。
【００３４】
図２は、携帯電話機１の構成を示すブロック図である。同図に示したように、携帯電話機１は、中央演算処理装置（ＣＰＵ）３０、メモリ３２、音声処理部３４、送受信回路３６、受話口１７のスピーカ３７、送話口１８のマイク３８といった通常の電話機能を実現するために必要な構成要素を備えている。
【００３５】
ＣＰＵ３０は、所定のプログラムに従って携帯電話機１全体の動作を制御する制御部として機能するとともに、各種演算を行う演算装置として機能する。すなわち、ＣＰＵ３０は、操作部２０から入力される指令信号に基づいて携帯電話機１内の各回路を制御し、通信制御、撮影動作制御、画像処理制御、ディスプレイ１６の表示制御、メモリ３２の読み書き制御及び容量管理（空き容量の検出を含む）などを行う。
【００３６】
ＣＰＵ３０はバス３９を介してメモリ３２と接続されている。メモリ３２は、ＣＰＵ３０が実行するプログラム及び制御に必要な各種データなどが格納される不揮発性メモリ領域と、プログラムの展開領域及びＣＰＵ３０の演算作業用領域として利用される揮発性メモリ領域とを含むブロックである。不揮発性メモリ領域は、電話機帳や通話履歴のデータ記憶領域として利用されるとともに、音声や画像の保存領域として利用される。本発明の画像処理機能における処理パラメータの情報は不揮発性メモリ領域に格納される。また、揮発性メモリ領域は、画像データの一時記憶領域としても利用される。
【００３７】
音声処理部３４は、ＣＰＵ３０と連携して音声信号を処理又は変換する手段である。音声処理部３４は、送受信回路３６から受入したデータの復号化処理及び送受信回路３６を通じて送信するデータの符号化処理を行うとともに、スピーカ２７、３７への出力信号生成処理、マイク２８、３８からの入力音声信号の符号化処理などを行う。
【００３８】
通話モード（電話機能を使用するモード）において、通信相手との通信接続が確立されると、マイク２８から入力される音声は電気信号に変換され、音声処理部３４に送られる。音声処理部３４はマイク３８から入力された音声信号をデジタル信号に変換（Ａ／Ｄ変換）した後、所要の信号処理を行い、所定形式の音声データに変換する。音声処理部３４で処理された音声データ（送信用のデータ）は、バス３９を介して送受信回路３６に送られ、所定の送信用信号形式に変換された後、アンテナ１４から送信される。
【００３９】
また、アンテナ１４によって受波された信号は、送受信回路３６において復調され、音声処理部３４に送られる。音声処理部３４は、送受信回路３６から受入した音声信号を所定形式の音声データに変換する。音声処理部３４で生成された音声データ（受信データ）は、アナログ音声信号に変換（Ｄ／Ａ変換）された後、スピーカ３７に送られる。こうして、通話相手の音声がスピーカ３７から可聴出力される。もちろん、携帯電話機１は、音声データのみならず、電子メール機能やインターネットのブラウザ機能などを利用して画像データ、文書データ、プログラムデータなど種々のデータを送受信することが可能である。
【００４０】
さらに、携帯電話機１は、撮影レンズ４０とＣＣＤイメージセンサ（以下、ＣＣＤという。）４２を有し、ＣＣＤ４２から得られる画像信号を処理するためのアナログ処理部４４、Ａ／Ｄ変換器４５、画像処理部４６、圧縮伸張部４７を備えている。なお、本例では撮像素子としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを用いてもよい。
【００４１】
撮影レンズ４０を通過した光はＣＣＤ４２の受光面の上に焦点を結ぶ。ＣＣＤ４２の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００４２】
ＣＣＤ４２の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４２は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。
【００４３】
ＣＣＤ４２の各フォトセンサに蓄積された信号電荷は、ＣＰＵ３０の指令に従いタイミングジェネレータ（ＴＧ）４８から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４２から出力された画像信号は、アナログ処理部４４に送られ、相関二重サンプリング（ＣＤＳ）処理やゲイン調整などの所要の処理が施された後、Ａ／Ｄ変換器４５によってデジタル信号に変換される。デジタル化された画像データは画像処理部４６に送られる。
【００４４】
画像処理部４６は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含むデジタル画像信号処理手段であり、ＣＰＵ３０からのコマンドに従ってメモリ３２を活用しながら画像信号を処理する。
【００４５】
画像処理部４６において、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）への変換処理（ＹＣ処理）など、所定の処理が施されて生成された画像データはメモリ３２に一時的に記憶される。ここで、撮影中の映像をディスプレイ１６に表示させる場合には、このメモリ３２の内容を読み出して表示回路５０に送り、表示回路５０において表示用の信号形式に変換した後、ディスプレイ１６に供給する。これにより、ＣＣＤ４２が捉えているリアルタイム映像（スルー画）がディスプレイ１６に表示され、撮影者はディスプレイ１６の表示映像によって撮影画角（構図）を確認できる。
【００４６】
操作部２０の撮影ボタン（例えば、実行ボタン２５で兼用）が押されると、ＣＰＵ３０はこれを検知して、記録用の撮影動作を実行する。すなわち、撮影ボタンの押下に応動してＣＣＤ４２の露光制御及び電荷の読み出し制御が行われる。こうして取り込まれた記録用の画像データは、画像処理部４６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張部４７に送られ、ここで所定の圧縮フォーマット（例えば、JPEG形式) に従って圧縮される。圧縮された画像データは、メモリ３２の画像保存領域に格納される。
【００４７】
動画撮影モードが選択されている場合には、撮影ボタンの押下によって録画動作がスタートし、その後もう一度撮影ボタンを押下すると動画記録動作が停止する。なお、撮影ボタンの押下継続中に録画動作を行い、押下解除により録画を停止するようにしてもよい。
【００４８】
動画撮影時の音声は、マイク２８によって検出され、その検出信号（音声信号）は、音声処理部３４において所定の信号形式に変換される。この音声データは、画像データとともに圧縮伸張部４７において所定の圧縮フォーマット（例えば、ＭＰＥＧ形式）に従って圧縮処理された後メモリ３２に記録される。
【００４９】
画像再生時には、ユーザのファイル選択操作に応じて、または自動的にメモリ３２から画像ファイルのデータが読み出される。メモリ３２から読み出された圧縮データは、圧縮伸張部４７によって伸張され、表示回路５０を介して表示用の信号に変換された後、ディスプレイに出力される。これにより、当該ファイルの画像内容がディスプレイ上に表示される。
【００５０】
図１において符号２で示した携帯電話機の構成は、上記した携帯電話機１と同一又は類似の構成であるため、その説明は省略する。
【００５１】
図３は画像処理サーバ４の要部を示す機能ブロック図である。画像処理サーバ４は、通信部５２と、制御部５３と、メモリ５４と、画像処理部５５とを備えている。通信部５２は、ネットワーク６を介して接続される携帯電話機１、２との間で所定の通信プロトコル（例えば、ＴＣＰ）に従ってデータの送受信を行うための信号変換及び通信制御を行う。すなわち、通信部５２は、画像データの入力部及び出力部として機能する手段である。
【００５２】
制御部５３は通信部５２を含むサーバ全体の動作を制御する。メモリ５４は制御部５３の制御に従って画像データその他のデータを記憶する。画像処理部５５は、設定されている処理パラメータに従い、入力画像（被処理画像）について変形、置換、合成、補正その他の変換処理等を行う画像手段を備えた処理部である。
【００５３】
図３に示したとおり、携帯電話機１から送られてきた原画像（被処理画像）６０のデータは通信部５２を介して画像処理サーバ４に入力され、制御部５３を経由して画像処理部５５へ送られる。
【００５４】
画像処理部５５は、制御部５３から指定される画像処理パラメータに基づいて、原画像に画像処理を施し、パラメータを反映させた処理結果画像（変換画像）を生成する。処理内容には、明るさ補正、輪郭強調補正、色補正、貼り付け用画像の合成など種々の項目があり、それぞれの処理について調整値等が定義されている。
【００５５】
画像処理部５５で生成された処理結果画像６２は、画像処理サーバ４内のメモリ５４に保存されるとともに、通信部５２を介して送信元の携帯電話機１に送信される。画像処理サーバ４から送出された処理結果画像６２は携帯電話機１によって受信され、携帯電話機１内で所要の復元処理が行われた後、その画像内容がディスプレイ１６に表示される。送信者はディスプレイ１６の表示によって処理結果画像６２を確認し、必要に応じて画像処理パラメータの変更操作を行うことができる。
【００５６】
携帯電話機１から入力されたパラメータの情報６３は通信部５２を介して制御部５３に入力される。制御部５３は、変更されたパラメータに基づいて画像処理部５５の処理内容を修正する。パラメータの変更が反映された処理結果は携帯電話機１側に返され、携帯電話機１のディスプレイ１６に表示される。
【００５７】
処理結果を確認後、その画像でＯＫであれば、携帯電話機１からその旨を示す信号（送信許可信号）を画像処理サーバ４に送る。画像処理サーバ４は携帯電話機１から送信許可信号を受け取ると、これに応動してメモリ５４内の処理結果画像６２を指定された送信先へ送信する。
【００５８】
次に、上記の如く構成された画像処理システムの動作について説明する。
【００５９】
図４は本システムの動作を示すフローチャートである。送信者側の携帯電話機１は、携帯オペレータに接続し、画像処理サーバ４に対して画像（この場合、静止画）を送信する（ステップＳ１１０）。画像の送信の方法には、電子メールに画像を添付して送る態様、画像処理サーバ４に画像をアップロードする態様などがあり得る。なお、携帯電話機１から送信する画像は、カメラ部１２で撮影した画像に限らず、電子メール等により外部から受け取った画像でもよい。
【００６０】
画像送信後も送信元の携帯電話機１と画像処理サーバ４とのＴＣＰ接続は維持される。画像処理サーバ４は、携帯電話機１から送られてきた画像を受信し、その画像（原画像）をメモリ５４に保存する（ステップＳ１１２）。その後、画像処理サーバ４は、当該受信画像を画像処理部５５に送り、画像処理を実施する（ステップＳ１１４）。画像処理の過程で必要に応じて受信側端末情報が取得され、受信側端末の仕様に合わせて、画像サイズの調整（リサイズ）や色数の決定が行われる（ステップＳ１１６）。受信側の端末情報は、携帯電話機１又は２から送信してもよいし、ユーザ登録などの手続によって予め登録されていてもよい。
【００６１】
こうして、画像処理サーバ４において所要の画像処理が実施され、処理結果の画像が生成されると、その結果画像はメモリ５４に記憶されるとともに、維持していたＴＣＰ接続を利用して画像処理サーバ４から送信元の携帯電話機１に返送される（ステップＳ１１８）。携帯電話機１は、画像処理サーバ４から返された処理結果画像を受信し（ステップＳ１２０）、その画像データを復元処理してディスプレイ１６の画面右下に小さく表示させる（ステップＳ１２２、図１参照）。図１では、やや暗い原画像が画像処理によって明るい画像に変換された様子が示されている。
【００６２】
図１の画面例によれば、ディスプレイ１６内の小画面ウインドウ７０に処理結果の画像が表示されているが、処理結果の表示方法はこの例に限定されず、上下２分割、左右２分割、表示画面の切り替えなど、種々の態様があり、複数の表示方法の中から所望の表示方法を選択できるように構成してもよい。
【００６３】
また、このとき、図１に示したように、ディスプレイ１６の画面最下に「さらに処理」のコマンドメニュー７１と、「送信ＯＫ」のコマンドメニュー７２が表示される。これらメニュー表示は、符号７３の操作ボタンに「さらに処理ボタン」の機能が割り当てられ、符号７４の操作ボタンに「送信ＯＫボタン」の機能が割り当てられたことを意味している。
【００６４】
送信者はディスプレイ１６の表示を確認し、表示された処理結果で良ければ、「送信ＯＫボタン」（操作ボタン７４）を押す。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、処理結果でＯＫか否かの判定を行う（図４のステップＳ１２４）。「送信ＯＫボタン」が押されると、その情報は携帯電話機１から画像処理サーバ４に送られる。画像処理サーバ４は携帯電話機１からのＯＫ情報（送信許可）を受けて画像処理を完了し（ステップＳ１２６）、メモリ５４に記憶しておいた処理結果画像を受信者側の携帯電話機２に送信する（ステップＳ１４０）。受信者側の携帯電話機２は、画像処理サーバ４から送られてきた画像を受信し（ステップＳ１４２）、この受信した画像をディスプレイに表示させる（ステップＳ１４４）。
【００６５】
その一方、ステップＳ１２２で表示された処理結果画像を確認した送信者がその処理結果に満足しない場合には、「さらに処理ボタン」（操作ボタン７３）を押して、パラメータ変更入力画面に移行し、パラメータの調整を行う。
【００６６】
すなわち、「さらに処理ボタン」が押された場合には、ステップＳ１２４においてＮＯ判定となり、ステップＳ１３０に進む。ステップＳ１３０では、前の処理で使用したパラメータを基準としてさらに処理パラメータを調整する操作が受け付けられる。例えば、明るさ補正やシャープネスについて、０，±１，±２という段階調整率が定義されており、ユーザは好みに応じて＋／−ボタン（十字ボタン２４の上下キーにて兼用）を操作してパラメータを入力することができる。前の処理で使用したパラメータ値が「＋１」であった場合には、その値に対してさらに「＋１」を加算して「＋２」に修正したり、「＋２」から−１調整を行って「＋１」に修正したりすることができる。
【００６７】
ステップＳ１３０においてパラメータの調整が行われると、その情報は画像処理サーバ４に送られる。画像処理サーバ４は、変更されたパラメータの情報を取得した後（ステップＳ１３２）、ステップＳ１１４に戻り、その変更されたパラメータに基づいて画像処理を実施する。このとき、画像処理サーバ４は、メモリ５４に保存してある処理後の画像を基本データとして、ユーザが設定したパラメータに合わせて処理を加える。処理後の変換画像はステップＳ１１８によって送信元の携帯電話機１に返され、ディスプレイ１６に表示される。
【００６８】
この作業（ステップＳ１１４〜Ｓ１３２）を繰り返すことで、送信者が意図する表現の画像を得ることができる。送信者がこれでよいと思える画像が得られた時点で「送信ＯＫボタン」を押して、処理を終了させる。こうして、画像処理サーバ４は、送信者の選択に応じて処理画像を送信先である受信側携帯電話機２に送信する。
【００６９】
〔第２の実施形態〕
次に本発明の第２の実施形態について説明する。
【００７０】
図５は第２の実施形態に係る画像処理システムの動作を示すフローチャートである。システムの構成は上記した第１の実施形態と類似するので説明は省略する。
【００７１】
図５に示したように、送信者側の携帯電話機１は、携帯オペレータに接続し、画像処理サーバ４に対して所定の通信プロトコル（例えば、ＴＣＰ）に従い画像を送信する（ステップＳ２１０）。画像送信後も画像処理サーバ４と携帯電話機１とのＴＣＰ接続を維持する。オペレータ側の画像処理サーバ４は、携帯電話機１から送られてきた画像（原画像）を受信し、サーバ内の画像処理装置に入力する（ステップＳ２１２）。画像処理サーバ４は、入力された処理前の原画像をメモリ５４に保存する一方（ステップＳ２１４）、入力された原画像について画像処理を実施する（ステップＳ２１６）。
【００７２】
処理結果の画像が生成されると、その結果画像はメモリ５４に記憶されるとともに（ステップＳ２１８）、維持していたＴＣＰ接続を利用して画像処理サーバ４から送信元の携帯電話機１に返送される（ステップＳ２２０）。
【００７３】
携帯電話機１は、画像処理サーバ４から返された処理結果画像を受信し（ステップＳ２２２）、その画像データを復元してディスプレイ１６に表示させる（ステップＳ２２４）。
【００７４】
送信者はディスプレイ１６の表示を確認し、表示された処理結果で良ければ、「送信ＯＫボタン」（操作ボタン７４）を押す。その一方、処理結果を見て、この画像に関しては処理を行いたくないと判断した場合には、「処理をしない」のコマンドメニュー（不図示）を選択する操作を行う。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、操作に応じた信号を画像処理サーバ４へ送信する（ステップＳ２２６）。
【００７５】
画像処理サーバ４は、携帯電話機１から受け取った信号を判断し（ステップＳ２２８）、指示に応じた処理を行う。すなわち、処理結果を採用する旨を示す「送信ＯＫ」のコマンド信号を受信した場合には、メモリ５４から処理結果画像を読み出し（ステップＳ２３０）、これを送信先へ送信する（ステップＳ２３４）。
【００７６】
一方、ステップＳ２２８において、処理前の原画像を採用する旨を示す「処理をしない」のコマンド信号を受信した場合には、メモリ５４に保存されている処理前の原画像を読み出し（ステップＳ２３２）、これを送信先へ送信する（ステップＳ２３４）。こうして、送信先への画像送信を実施して処理を終了する。
【００７７】
〔第３の実施形態〕
次に本発明の第３の実施形態について説明する。
【００７８】
図６は、本発明の第３の実施形態に係る画像処理システムの構成図である。図６中、図１と同一又は類似する部分には同一の符号を付し、その説明は省略する。このシステムは、２台のカメラ付き携帯電話機１、２どうしで互いに映像と音声を伝送し合いながらコミュニケーションを行うためのシステム（いわゆるテレビ電話システム）である。
【００７９】
携帯電話機１のカメラ部１２で撮影された映像は、画像処理サーバ４を経由して相手側の携帯電話機２に送られ、携帯電話機２のディスプレイ８０に表示される。同様に、携帯電話機２のカメラ部８２で撮影された映像は、携帯電話機１のディスプレイ１６に表示される。
【００８０】
画像処理サーバ４は、携帯電話機１、２間で送受される動画データの画像処理を行う動画像処理装置として機能する。テレビ電話などの分野では、通信のリアルタイム性が要求されるため、画質向上のための補正処理等の画像処理を迅速に行う必要がある。そのため、画像処理サーバ４は、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（圧縮動画像データという）を圧縮空間にて高速に画像処理することができる動画処理装置を備えている。
【００８１】
動画像業界のスタンダードとなりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−Ｔ Ｈ．２６１及びＩＴＵ−Ｔ Ｈ．２６３、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正を行えば、イントラフレームに依存するインターフレームも補正されることになる。
【００８２】
例えば、ＭＰＥＧ形式の圧縮動画像データは、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のフレームから構成される。Ｉフレームはイントラフレームであり、Ｐフレームは自身より前のフレームのデータのみに依存するインターフレーム、Ｂフレームは自身の前後のフレーム両方に依存するインターフレームである。
【００８３】
図７は、画像処理サーバ４に装備された動画像処理装置１００の構成を示すブロック図である。図示のように、動画像処理装置１００は、圧縮動画像データＧをイントラフレームＧ0 とインターフレームＧ1 とに分離するフレーム分離部１０２と、フレーム分離部１０２により得られたイントラフレームＧ0 をデコードしてデコードイントラムレームＧ01を得るデコード部１０４と、デコードイントラフレームＧ01に対して補正処理その他の画像処理を行って処理済みデコードイントラフレームＧ02を得る補正部１０６と、処理済みデコードイントラフレームＧ02をエンコードして処理済みイントラフレームＧ03を得るエンコード部１０８と、処理済みイントラフレームＧ03及びインターフレームＧ1 とを合成して処理済み動画像Ｇ′を得る合成部１１０と、を備えている。
【００８４】
かかる構成により、圧縮動画像データをイントラフレームとインターフレームとに分離し、イントラフレームのみに対してデコード、画像処理、及びエンコードを行い、処理済みのイントラフレームを得て、これら処理済みのイントラフレームと、非処理対象のインターフレームとを合成することによって処理済み圧縮動画像データを生成している。
【００８５】
圧縮動画像データの一部分のみに対してデコード、画像処理、エンコードを行うことになるので、処理時間の短縮を図ることができる。また、インターフレームについては、直接的に画像処理を施さないが、イントラフレームを補正すれば、これに依存するインターフレームに対しても間接的に処理を施したことになる。
【００８６】
なお、ＭＰＥＧ空間にて画像処理を行う方法は、図７で説明した方法に限定されない。例えば、圧縮動画像データを他のフレームに依存しないイントラフレーム（Ｉフレーム）と、他のフレームに依存する程度が低いインターフレーム（Ｐフレーム）と、他のフレームに依存する程度が高いインターフレーム（Ｂフレーム）とに分離し、ＩフレームとＰフレームのみに対してデコード、画像処理、エンコードを実施して処理済みのフレームを得て、これら処理済みのフレームとＢフレームとを合成することによって処理済みの圧縮動画像データを生成してもよい。
【００８７】
また、画像処理を行うためには、まずデコード手段により、補正対象部分をデコードする必要があるが、このとき画像処理を行うことができる程度のデコード処理のみを施すことが好ましい。動画像データの圧縮は段階的に行われることが通常であり、デコードする場合は、圧縮時と逆の手順で各段階の逆演算を行うことにより段階的にデコードする。例えば、ＭＰＥＧ圧縮動画像データをデコードする際は、圧縮動画像データを可変長復号化し、可変長復号化されたデータを動きベクトル、ＤＣＴ係数などに分けた後に、動き補償予測、ＤＣＴ変換の逆となるＩＤＣＴ変換などの手順を必要とする。その一方、画質補正の処理においてＤＣＴ係数の補正を行うことができるので、デコード手段はＩＤＣＴ変換を行わず、ＤＣＴ係数を画像処理手段（補正部）に供し、補正部によりＤＣＴ係数に対して処理を施すことが可能である。また、後にエンコードする場合、補正されたＤＣＴ係数を用い、新たにＤＣＴ係数を求める必要がないので、エンコードする時間の短縮化も達成できる。
【００８８】
さらにまた、次のような方法もある。ＭＰＥＧにより圧縮された画像データは、イントラフレームかインターフレームかなどを示すヘッダ情報以外に、フレームごとのＤＣＴ係数及び動きベクトルを含んでいる。このような圧縮動画像データをデコードする際、或いはデコード後に画質補正等の処理を行ってからエンコードする際にも、動きベクトルが必要である。動きベクトルは階調などの画質に影響をそれほど与えないものであるにもかかわらす、エンコード時に動きベクトルを求める演算量が莫大であることから、エンコードする際に新たに動きベクトルを求めず、デコード時にえられた動きベクトルをエンコードに用いて処理時間の短縮を図る態様もある。
【００８９】
次に、上記の如く構成された第３の実施形態に係る画像処理システムの動作について説明する。なお、ここでは、携帯電話機１を送信側、携帯電話機２を受信側として説明するが、本システムにおいて送信側と受信側の関係は入れ替え可能である。
【００９０】
図８は、第３の実施形態に係るシステムの動作を示すフローチャートである。まず、テレビ電話機能を備えた携帯電話機１を用いて通信相手と接続し、テレビ電話を開始する（ステップＳ３１０）。送信側の携帯電話機１は、画像処理サーバ４とのＴＣＰ接続を維持する。画像処理サーバ４は、既述のとおり、ＭＰＥＧ空間にて画像処理を高速に行うことができる動画像処理装置１００を備えており、送信側の携帯電話機１から送られてきた圧縮動画像データ動画像処理装置に取り込む（ステップＳ３１２）。
【００９１】
画像処理サーバ４は、画像処理を開始し（ステップＳ３１４）、処理画像を通信相手の携帯電話機２（受信側端末）に送信するとともに、送信元である送信側の携帯電話機１にも維持されたＴＣＰ接続を用いて処理結果の動画を送信する（ステップＳ３１６）。
【００９２】
通信相手の携帯電話機２は、画像処理サーバ４より送られた動画データを受信し（ステップＳ３１８）、これを復元処理してディスプレイ８０に表示させる（ステップＳ３２０）。
【００９３】
その一方、送信側の携帯電話機１は、画像処理サーバ４から送られてきた処理結果を受信し（ステップＳ３２２）、これを復元処理してディスプレイ１６の画面上に小さく表示させる（ステップＳ３２４、図６参照）。
【００９４】
図６に示した画面例によれば、ディスプレイ１６の画面右下に小さいウインドウ８４で（例えば、６分の１サイズで）処理画像を表示させている。これにより、送信者は、処理結果をリアルタイムで確認することができ、現在、相手側にどのような画像が送られているかを把握することができる。
【００９５】
なお、ディスプレイ１６の他の表示エリア（主表示部）には、通信相手の携帯電話機２から送られてくる相手の画像（動画像）が表示されており、相手の画像と、自分から相手に送っている画像とをディスプレイ１６上で同時に確認することができるようになっている。処理結果の表示方法はこの例に限定されず、上下２分割、左右２分割、表示画面の切り替えなど、種々の態様があり、複数の表示方法の中から所望の表示方法を選択できるように構成してもよい。
【００９６】
また、このとき、図６に示したように、ディスプレイ１６の画面左下に「さらに処理」のコマンドメニュー７１が表示される。このメニュー表示は、符号７３の操作ボタンに「さらに処理ボタン」の機能が割り当てられたことを意味している。
【００９７】
ディスプレイ１６に表示された処理結果を確認した送信者が、さらに処理内容を変更したいと判断した場合には、「さらに処理ボタン」（操作ボタン７３）を押す。「さらに処理ボタン」を押すと、図示のような各種パラメータのパラメータ値を設定するためのサブメニュー８６がディスプレイ１６に表示される。送信者は、このサブメニュー８６から所望の項目を選択してパラメータの調整を行う。
【００９８】
例えば、「明るくする」、「シャープにする」、「ちらつきを抑える」、「細くする」、「太くする」などの処理項目についてそれぞれ０，±１，±２という５段階の調整率が定義されており、ユーザは好みに応じて＋／−ボタン（十字ボタン２４の上下キーにて兼用）を操作してパラメータ値を指定することができる。また、「髪形を変える」という項目については、各種ヘアースタイルに対応した貼り付け合成用のパーツ画像が複数用意されており、その中から所望のタイプを選択することができるようになっている。
【００９９】
送信者は必要に応じて操作部２０から指示を入力する。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、入力された指示内容の判定に応じて処理を制御する（図８のステップＳ３２６）。「さらに処理ボタン」が押されていない場合には、現在の処理結果でＯＫであるものと判定される。もちろん、「これでＯＫ」であることを示すコマンドメニュー（不図示）を選択させ、そのメニューの選択に基づいて判定してもよい。
【０１００】
ステップＳ３２６において、処理内容を容認する旨の判定が得られた場合は、画像処理サーバ４において現在の処理パラメータの設定による処理が継続される（ステップＳ３２８）。
【０１０１】
その一方、処理結果が気に入らない場合、送信者は「さらに処理ボタン」を押して、パラメータの設定を行う（ステップＳ３３０）。ステップＳ３３０においてパラメータの調整が行われると、その情報は画像処理サーバ４に送られる。画像処理サーバ４は、変更されたパラメータの情報を取得した後、ステップＳ３１２に戻り、その変更されたパラメータに基づいて画像処理を実施する。
【０１０２】
処理後の変換画像は通信相手の携帯電話機２に送信されるとともに、送信元の携帯電話機１に返され、ディスプレイ１６に表示される（ステップＳ３１４〜Ｓ３２４）。
【０１０３】
この作業（ステップＳ３１２〜Ｓ３３０）を繰り返すことで、送信者は、手元のディスプレイ１６で処理画像を即座に確認しながら、自身の好みの画像になるまでパラメータ値を設定することができる。
【０１０４】
処理内容が決まれば、そのまま通話を維持する（ステップＳ３２８）。その後、通話が終了し、接続が切れると（ステップＳ３３２）、処理を終了する（ステップＳ３３４）。
【０１０５】
上述した各実施形態では、通信端末として携帯電話機を例示したが、本発明の適用範囲はこれに限定されず、ＰＤＡ、モバイルパソコンなど、種々の携帯端末についても本発明を適用することができる。
【０１０８】
【発明の効果】
以上説明したように本発明によれば、いわゆるテレビ電話機能を使用する端末どうしの動画データの送受信において、画像処理サーバで処理された画像を相手側（受信者側）のみならず、送信元の端末にも表示させるようにしたので、送信者本人が処理結果を確認しながら通信を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理システムの構成図
【図２】図１に示した携帯電話機の構成を示すブロック図
【図３】図１に示した画像処理サーバの要部を示す機能ブロック図
【図４】本例の画像処理システムの動作を示すフローチャート
【図５】本発明の第２の実施形態に係る画像処理システムの動作を示すフローチャート
【図６】本発明の第３の実施形態に係る画像処理システムの構成図
【図７】図６に示した画像処理サーバに装備された動画像処理装置の構成を示すブロック図
【図８】本発明の第３の実施形態に係る画像処理システムの動作を示すフローチャート
【符号の説明】
１，２…携帯電話機、４…画像処理サーバ、６…ネットワーク、１２…カメラ部、１６…ディスプレイ、２０…操作部、２４…十字ボタン、３０…ＣＰＵ、３２…メモリ、４２…ＣＣＤ、５２…通信部、５３…制御部、５４…メモリ、５５…画像処理部、８０…ディスプレイ、８２…カメラ部
【発明の属する技術分野】
本発明は画像処理方法及び画像処理システムに係り、特にデジタルカメラやカメラ付き携帯電話機などにより撮影される静止画像又は動画像を補正して所望の画質や録画時間を実現するのに好適な画像処理技術に関する。
【０００２】
【従来の技術】
近時、デジタルカメラやカメラ付き携帯電話機などが普及し、手軽な撮影手段の一つとして多くの人に利用されている。特許文献１に開示されたカメラ機能付きの携帯電話機によれば、カメラ部から動画像が取り込まれると、画像処理部において該画像データに対してホワイトバランス等の基本的な画像処理が実行され、フレームレート変換部において、設定されたフレームレート値で調整された後、色数変換部において、設定された色数に調整される。その後、サイズ変換部において、色数変換部から入力された画像データは、設定されたサイズ値に調整され、画像圧縮部においてＪＰＥＧ等の画像圧縮方式により、設定された圧縮率で圧縮される。これらの処理が全て終了すると、ＣＰＵは該画像データをＲＡＭに格納させるとともに、ＬＣＤに画面表示させている。
【０００３】
【特許文献１】
特開２００２−２７１６７１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来、携帯端末において画像サイズ、フォーマットが異なるケースに対応しきれない場合が多く、それを解決する手段として、サーバ側で画像処理を行い、送信先の端末の仕様に合わせて最適な処理を施す手段が知られている。かかる方法は、サーバで処理を行うことにより、複雑な処理を可能とする反面、処理結果を送信者側が確認できないという欠点がある。
【０００５】
本発明はこのような事情に鑑みてなされたもので、送信側端末から送出した画像を画像処理サーバで画像処理し、処理結果の画像を相手側に送る画像伝送システムにおいて、サーバで実施された画像処理の結果を相手側に送る前に、或いは相手に送りながらリアルタイムに、送信者側で確認することができる画像処理方法及びシステムを提供することを目的とする。
【００１９】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理方法は、送信側端末と受信側端末とがそれぞれ撮像手段を有しており、各端末の撮像手段によって撮影された映像の圧縮動画像データを互いに通信回線を利用して送受信可能な通信システムに適用される画像処理方法であって、前記送信側端末と前記受信側端末との間で通信接続を確立し、相互に圧縮動画像データの受け渡しを開始する工程と、前記通信回線に接続されている画像処理サーバと前記送信側端末との間の通信接続を維持する工程と、前記送信側端末から前記画像処理サーバへ圧縮動画像データを送出する工程と、前記送信側端末から受け取った圧縮動画像データを前記画像処理サーバにおいて画像処理する工程と、前記画像処理によって生成された処理後の圧縮動画像データを前記画像処理サーバから通信相手の前記受信側端末へ送信するとともに、前記維持していた通信接続を利用して、該処理後の圧縮動画像データを前記送信側端末へ送信する工程と、前記画像処理サーバから受け取った前記処理後の圧縮動画像データを復元し、その画像と前記受信側端末から送られてくる相手側の画像とを前記送信側端末の表示装置に同時に表示する工程と、前記処理後の結果を示す動画像と前記相手側の画像とを前記表示装置に同時に表示したときに、さらに画像処理パラメータを変更する指示の入力を受け付け、前記送信側端末の操作部から入力された指示に応じた情報を前記画像処理サーバに送る工程と、前記処理後の結果を示す動画像と前記相手側の画像とを前記表示装置に同時に表示したときに、前記送信側端末の操作部から画像処理パラメータを変更する指示が入力されると、該変更されたパラメータに従って前記画像処理サーバにおいて画像処理を実行する工程と、前記変更されたパラメータの設定を反映した画像処理により生成された処理結果の圧縮動画像データを前記画像処理サーバから前記受信側端末に送信するとともに、前記維持していた通信接続を利用して該パラメータ変更後の処理結果による圧縮動画像データを前記画像処理サーバから前記送信側端末に送信する工程と、前記画像処理サーバから受け取った前記パラメータ変更後の処理結果による圧縮動画像データを復元し、その画像と前記受信側端末から送られてくる相手側の画像とを前記表示装置に同時に表示する工程と、を含むことを特徴とする。
【００２０】
すなわち、本発明は、いわゆるテレビ電話機能を有する端末どうしの動画映像の伝送における画像処理に応用できる技術であり、画像処理サーバにおいて行われる画像処理の結果を受信者側の端末（受信側端末）のみならず送信元の端末（送信側端末）の表示装置にも表示させている。これにより、画像処理サーバで行われているリアルタイム処理の結果を送信者本人が手元の端末の表示装置で確認しながら通信を行うことができる。
【００２１】
画像処理サーバから返された処理結果の画像を送信側端末の表示装置に表示する場合、その処理結果画像（自分側の撮影画像）と相手側から送られてくる画像（相手側の撮影画像）とを同時に、又は必要に応じて適宜切り替えて表示する態様が好ましい。画像処理サーバから返された自分側の撮影画像と、相手側の撮影画像とを同時に表示する際には、それぞれの画像の表示エリアの大小関係や画面の分割形態（上下分割、左右分割、ピクチャー・イン・ピクチャーによる小ウインドウ化）などを適宜設定することも可能である。
【００２３】
また、本発明の態様により、必要に応じてパラメータの設定を変更し、その設定が反映された処理結果を表示装置で確認しながら通信を行うことができる。また、画像処理サーバによる処理の内容として、例えば、顔や体型を細くする／太くする、髪形を変える（複数の合成用パーツ画像の中から所望の画像を選択させ、選択に係るパーツ画像を原画像に合成する）などの処理を加えることにより、エンターテイメント性が増す。
【００２７】
また、本発明のさらに他の態様に係る画像処理システムは、通信回線に接続されている画像処理サーバと、前記画像処理サーバを介して相互に圧縮動画像データを送受信可能な送信側端末及び受信側端末と、から構成される画像処理システムであって、前記画像処理サーバは、前記通信回線を介して前記送信側端末から受け取った圧縮動画像データを画像処理する画像処理手段と、前記画像処理手段による画像処理の際に前記送信側端末との通信接続を維持する接続維持制御手段と、前記画像処理手段により生成された処理後の圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して前記処理後の圧縮動画像データを前記送信側端末へ送信する処理結果送信制御手段と、を備え、前記送信側端末は、光学像を電気信号に変換する撮像手段と、前記通信回線を介して前記受信側端末及び前記画像処理サーバに接続する通信手段と、前記撮像手段により撮影された映像の圧縮動画像データを前記画像処理サーバに送信する通信制御手段と、前記画像処理サーバから受信した前記処理後の圧縮動画像データを復元する信号処理手段と、前記信号処理手段により復元された前記処理後の動画像と前記受信端末側から送られてくる相手側の画像とを同時に表示する表示手段と、画像処理パラメータを変更する操作を行うためのパラメータ変更操作手段を備え、前記画像処理サーバは、前記パラメータ変更操作手段により変更されたパラメータに従って前記画像処理手段による画像処理を行い、前記変更されたパラメータの設定を反映した画像処理により生成された圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して該パラメータ変更後の処理結果を示す圧縮動画像データを前記送信側端末へ送信する制御を行うことを特徴とする。
【００２９】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００３０】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理システムの構成図である。図示のように、このシステムは、通信端末として機能する複数の携帯電話機１、２と、これら端末間の通信の中継を行う画像処理サーバ４とから構成され、携帯電話機１、２及び画像処理サーバ４はネットワーク（通信回線）６を介して接続されている。ネットワーク６は、例えば、インターネットに代表される広域通信回線網であり、電話回線網、携帯電話回線網、専用回線網など、有線・無線を問わず種々の通信回線網を含む。
【００３１】
携帯電話機１には、カメラ部１２、アンテナ１４、ディスプレイ１６、受話口１７、送話口１８及び操作部２０が設けられている。操作部２０には、ダイヤルボタン２１、通話ボタン２２、通話切兼用電源ボタン２３、十字ボタン２４、実行ボタン２５その他の各種の操作手段が含まれる。操作部２０は、プッシュ式のスイッチ部材に限定されず、ダイヤル部材、レバースイッチなどの構成も可能である。
【００３２】
ディスプレイ１６は、カラー表示可能な液晶ディスプレイで構成される。もちろん、有機ＥＬなど他の方式の表示装置を適用してもよい。なお、図１には明示されていないが、この携帯電話機１には動画再生時の音声や各種効果音等を出力するためのスピーカ（図２中符号２７として記載）及び動画撮影時の音声を取り込むためのマイク（図２中符号２８として記載）が設けられている。
【００３３】
図１に示したカメラ部１２は、携帯電話機１の筐体２９の所定位置に固設されているが、撮影方向を自由に変更できるようにカメラ部を回動自在に取り付ける態様も可能であり、また、複数のカメラ部を搭載する態様も可能である。
【００３４】
図２は、携帯電話機１の構成を示すブロック図である。同図に示したように、携帯電話機１は、中央演算処理装置（ＣＰＵ）３０、メモリ３２、音声処理部３４、送受信回路３６、受話口１７のスピーカ３７、送話口１８のマイク３８といった通常の電話機能を実現するために必要な構成要素を備えている。
【００３５】
ＣＰＵ３０は、所定のプログラムに従って携帯電話機１全体の動作を制御する制御部として機能するとともに、各種演算を行う演算装置として機能する。すなわち、ＣＰＵ３０は、操作部２０から入力される指令信号に基づいて携帯電話機１内の各回路を制御し、通信制御、撮影動作制御、画像処理制御、ディスプレイ１６の表示制御、メモリ３２の読み書き制御及び容量管理（空き容量の検出を含む）などを行う。
【００３６】
ＣＰＵ３０はバス３９を介してメモリ３２と接続されている。メモリ３２は、ＣＰＵ３０が実行するプログラム及び制御に必要な各種データなどが格納される不揮発性メモリ領域と、プログラムの展開領域及びＣＰＵ３０の演算作業用領域として利用される揮発性メモリ領域とを含むブロックである。不揮発性メモリ領域は、電話機帳や通話履歴のデータ記憶領域として利用されるとともに、音声や画像の保存領域として利用される。本発明の画像処理機能における処理パラメータの情報は不揮発性メモリ領域に格納される。また、揮発性メモリ領域は、画像データの一時記憶領域としても利用される。
【００３７】
音声処理部３４は、ＣＰＵ３０と連携して音声信号を処理又は変換する手段である。音声処理部３４は、送受信回路３６から受入したデータの復号化処理及び送受信回路３６を通じて送信するデータの符号化処理を行うとともに、スピーカ２７、３７への出力信号生成処理、マイク２８、３８からの入力音声信号の符号化処理などを行う。
【００３８】
通話モード（電話機能を使用するモード）において、通信相手との通信接続が確立されると、マイク２８から入力される音声は電気信号に変換され、音声処理部３４に送られる。音声処理部３４はマイク３８から入力された音声信号をデジタル信号に変換（Ａ／Ｄ変換）した後、所要の信号処理を行い、所定形式の音声データに変換する。音声処理部３４で処理された音声データ（送信用のデータ）は、バス３９を介して送受信回路３６に送られ、所定の送信用信号形式に変換された後、アンテナ１４から送信される。
【００３９】
また、アンテナ１４によって受波された信号は、送受信回路３６において復調され、音声処理部３４に送られる。音声処理部３４は、送受信回路３６から受入した音声信号を所定形式の音声データに変換する。音声処理部３４で生成された音声データ（受信データ）は、アナログ音声信号に変換（Ｄ／Ａ変換）された後、スピーカ３７に送られる。こうして、通話相手の音声がスピーカ３７から可聴出力される。もちろん、携帯電話機１は、音声データのみならず、電子メール機能やインターネットのブラウザ機能などを利用して画像データ、文書データ、プログラムデータなど種々のデータを送受信することが可能である。
【００４０】
さらに、携帯電話機１は、撮影レンズ４０とＣＣＤイメージセンサ（以下、ＣＣＤという。）４２を有し、ＣＣＤ４２から得られる画像信号を処理するためのアナログ処理部４４、Ａ／Ｄ変換器４５、画像処理部４６、圧縮伸張部４７を備えている。なお、本例では撮像素子としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを用いてもよい。
【００４１】
撮影レンズ４０を通過した光はＣＣＤ４２の受光面の上に焦点を結ぶ。ＣＣＤ４２の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００４２】
ＣＣＤ４２の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４２は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。
【００４３】
ＣＣＤ４２の各フォトセンサに蓄積された信号電荷は、ＣＰＵ３０の指令に従いタイミングジェネレータ（ＴＧ）４８から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４２から出力された画像信号は、アナログ処理部４４に送られ、相関二重サンプリング（ＣＤＳ）処理やゲイン調整などの所要の処理が施された後、Ａ／Ｄ変換器４５によってデジタル信号に変換される。デジタル化された画像データは画像処理部４６に送られる。
【００４４】
画像処理部４６は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含むデジタル画像信号処理手段であり、ＣＰＵ３０からのコマンドに従ってメモリ３２を活用しながら画像信号を処理する。
【００４５】
画像処理部４６において、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）への変換処理（ＹＣ処理）など、所定の処理が施されて生成された画像データはメモリ３２に一時的に記憶される。ここで、撮影中の映像をディスプレイ１６に表示させる場合には、このメモリ３２の内容を読み出して表示回路５０に送り、表示回路５０において表示用の信号形式に変換した後、ディスプレイ１６に供給する。これにより、ＣＣＤ４２が捉えているリアルタイム映像（スルー画）がディスプレイ１６に表示され、撮影者はディスプレイ１６の表示映像によって撮影画角（構図）を確認できる。
【００４６】
操作部２０の撮影ボタン（例えば、実行ボタン２５で兼用）が押されると、ＣＰＵ３０はこれを検知して、記録用の撮影動作を実行する。すなわち、撮影ボタンの押下に応動してＣＣＤ４２の露光制御及び電荷の読み出し制御が行われる。こうして取り込まれた記録用の画像データは、画像処理部４６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張部４７に送られ、ここで所定の圧縮フォーマット（例えば、JPEG形式) に従って圧縮される。圧縮された画像データは、メモリ３２の画像保存領域に格納される。
【００４７】
動画撮影モードが選択されている場合には、撮影ボタンの押下によって録画動作がスタートし、その後もう一度撮影ボタンを押下すると動画記録動作が停止する。なお、撮影ボタンの押下継続中に録画動作を行い、押下解除により録画を停止するようにしてもよい。
【００４８】
動画撮影時の音声は、マイク２８によって検出され、その検出信号（音声信号）は、音声処理部３４において所定の信号形式に変換される。この音声データは、画像データとともに圧縮伸張部４７において所定の圧縮フォーマット（例えば、ＭＰＥＧ形式）に従って圧縮処理された後メモリ３２に記録される。
【００４９】
画像再生時には、ユーザのファイル選択操作に応じて、または自動的にメモリ３２から画像ファイルのデータが読み出される。メモリ３２から読み出された圧縮データは、圧縮伸張部４７によって伸張され、表示回路５０を介して表示用の信号に変換された後、ディスプレイに出力される。これにより、当該ファイルの画像内容がディスプレイ上に表示される。
【００５０】
図１において符号２で示した携帯電話機の構成は、上記した携帯電話機１と同一又は類似の構成であるため、その説明は省略する。
【００５１】
図３は画像処理サーバ４の要部を示す機能ブロック図である。画像処理サーバ４は、通信部５２と、制御部５３と、メモリ５４と、画像処理部５５とを備えている。通信部５２は、ネットワーク６を介して接続される携帯電話機１、２との間で所定の通信プロトコル（例えば、ＴＣＰ）に従ってデータの送受信を行うための信号変換及び通信制御を行う。すなわち、通信部５２は、画像データの入力部及び出力部として機能する手段である。
【００５２】
制御部５３は通信部５２を含むサーバ全体の動作を制御する。メモリ５４は制御部５３の制御に従って画像データその他のデータを記憶する。画像処理部５５は、設定されている処理パラメータに従い、入力画像（被処理画像）について変形、置換、合成、補正その他の変換処理等を行う画像手段を備えた処理部である。
【００５３】
図３に示したとおり、携帯電話機１から送られてきた原画像（被処理画像）６０のデータは通信部５２を介して画像処理サーバ４に入力され、制御部５３を経由して画像処理部５５へ送られる。
【００５４】
画像処理部５５は、制御部５３から指定される画像処理パラメータに基づいて、原画像に画像処理を施し、パラメータを反映させた処理結果画像（変換画像）を生成する。処理内容には、明るさ補正、輪郭強調補正、色補正、貼り付け用画像の合成など種々の項目があり、それぞれの処理について調整値等が定義されている。
【００５５】
画像処理部５５で生成された処理結果画像６２は、画像処理サーバ４内のメモリ５４に保存されるとともに、通信部５２を介して送信元の携帯電話機１に送信される。画像処理サーバ４から送出された処理結果画像６２は携帯電話機１によって受信され、携帯電話機１内で所要の復元処理が行われた後、その画像内容がディスプレイ１６に表示される。送信者はディスプレイ１６の表示によって処理結果画像６２を確認し、必要に応じて画像処理パラメータの変更操作を行うことができる。
【００５６】
携帯電話機１から入力されたパラメータの情報６３は通信部５２を介して制御部５３に入力される。制御部５３は、変更されたパラメータに基づいて画像処理部５５の処理内容を修正する。パラメータの変更が反映された処理結果は携帯電話機１側に返され、携帯電話機１のディスプレイ１６に表示される。
【００５７】
処理結果を確認後、その画像でＯＫであれば、携帯電話機１からその旨を示す信号（送信許可信号）を画像処理サーバ４に送る。画像処理サーバ４は携帯電話機１から送信許可信号を受け取ると、これに応動してメモリ５４内の処理結果画像６２を指定された送信先へ送信する。
【００５８】
次に、上記の如く構成された画像処理システムの動作について説明する。
【００５９】
図４は本システムの動作を示すフローチャートである。送信者側の携帯電話機１は、携帯オペレータに接続し、画像処理サーバ４に対して画像（この場合、静止画）を送信する（ステップＳ１１０）。画像の送信の方法には、電子メールに画像を添付して送る態様、画像処理サーバ４に画像をアップロードする態様などがあり得る。なお、携帯電話機１から送信する画像は、カメラ部１２で撮影した画像に限らず、電子メール等により外部から受け取った画像でもよい。
【００６０】
画像送信後も送信元の携帯電話機１と画像処理サーバ４とのＴＣＰ接続は維持される。画像処理サーバ４は、携帯電話機１から送られてきた画像を受信し、その画像（原画像）をメモリ５４に保存する（ステップＳ１１２）。その後、画像処理サーバ４は、当該受信画像を画像処理部５５に送り、画像処理を実施する（ステップＳ１１４）。画像処理の過程で必要に応じて受信側端末情報が取得され、受信側端末の仕様に合わせて、画像サイズの調整（リサイズ）や色数の決定が行われる（ステップＳ１１６）。受信側の端末情報は、携帯電話機１又は２から送信してもよいし、ユーザ登録などの手続によって予め登録されていてもよい。
【００６１】
こうして、画像処理サーバ４において所要の画像処理が実施され、処理結果の画像が生成されると、その結果画像はメモリ５４に記憶されるとともに、維持していたＴＣＰ接続を利用して画像処理サーバ４から送信元の携帯電話機１に返送される（ステップＳ１１８）。携帯電話機１は、画像処理サーバ４から返された処理結果画像を受信し（ステップＳ１２０）、その画像データを復元処理してディスプレイ１６の画面右下に小さく表示させる（ステップＳ１２２、図１参照）。図１では、やや暗い原画像が画像処理によって明るい画像に変換された様子が示されている。
【００６２】
図１の画面例によれば、ディスプレイ１６内の小画面ウインドウ７０に処理結果の画像が表示されているが、処理結果の表示方法はこの例に限定されず、上下２分割、左右２分割、表示画面の切り替えなど、種々の態様があり、複数の表示方法の中から所望の表示方法を選択できるように構成してもよい。
【００６３】
また、このとき、図１に示したように、ディスプレイ１６の画面最下に「さらに処理」のコマンドメニュー７１と、「送信ＯＫ」のコマンドメニュー７２が表示される。これらメニュー表示は、符号７３の操作ボタンに「さらに処理ボタン」の機能が割り当てられ、符号７４の操作ボタンに「送信ＯＫボタン」の機能が割り当てられたことを意味している。
【００６４】
送信者はディスプレイ１６の表示を確認し、表示された処理結果で良ければ、「送信ＯＫボタン」（操作ボタン７４）を押す。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、処理結果でＯＫか否かの判定を行う（図４のステップＳ１２４）。「送信ＯＫボタン」が押されると、その情報は携帯電話機１から画像処理サーバ４に送られる。画像処理サーバ４は携帯電話機１からのＯＫ情報（送信許可）を受けて画像処理を完了し（ステップＳ１２６）、メモリ５４に記憶しておいた処理結果画像を受信者側の携帯電話機２に送信する（ステップＳ１４０）。受信者側の携帯電話機２は、画像処理サーバ４から送られてきた画像を受信し（ステップＳ１４２）、この受信した画像をディスプレイに表示させる（ステップＳ１４４）。
【００６５】
その一方、ステップＳ１２２で表示された処理結果画像を確認した送信者がその処理結果に満足しない場合には、「さらに処理ボタン」（操作ボタン７３）を押して、パラメータ変更入力画面に移行し、パラメータの調整を行う。
【００６６】
すなわち、「さらに処理ボタン」が押された場合には、ステップＳ１２４においてＮＯ判定となり、ステップＳ１３０に進む。ステップＳ１３０では、前の処理で使用したパラメータを基準としてさらに処理パラメータを調整する操作が受け付けられる。例えば、明るさ補正やシャープネスについて、０，±１，±２という段階調整率が定義されており、ユーザは好みに応じて＋／−ボタン（十字ボタン２４の上下キーにて兼用）を操作してパラメータを入力することができる。前の処理で使用したパラメータ値が「＋１」であった場合には、その値に対してさらに「＋１」を加算して「＋２」に修正したり、「＋２」から−１調整を行って「＋１」に修正したりすることができる。
【００６７】
ステップＳ１３０においてパラメータの調整が行われると、その情報は画像処理サーバ４に送られる。画像処理サーバ４は、変更されたパラメータの情報を取得した後（ステップＳ１３２）、ステップＳ１１４に戻り、その変更されたパラメータに基づいて画像処理を実施する。このとき、画像処理サーバ４は、メモリ５４に保存してある処理後の画像を基本データとして、ユーザが設定したパラメータに合わせて処理を加える。処理後の変換画像はステップＳ１１８によって送信元の携帯電話機１に返され、ディスプレイ１６に表示される。
【００６８】
この作業（ステップＳ１１４〜Ｓ１３２）を繰り返すことで、送信者が意図する表現の画像を得ることができる。送信者がこれでよいと思える画像が得られた時点で「送信ＯＫボタン」を押して、処理を終了させる。こうして、画像処理サーバ４は、送信者の選択に応じて処理画像を送信先である受信側携帯電話機２に送信する。
【００６９】
〔第２の実施形態〕
次に本発明の第２の実施形態について説明する。
【００７０】
図５は第２の実施形態に係る画像処理システムの動作を示すフローチャートである。システムの構成は上記した第１の実施形態と類似するので説明は省略する。
【００７１】
図５に示したように、送信者側の携帯電話機１は、携帯オペレータに接続し、画像処理サーバ４に対して所定の通信プロトコル（例えば、ＴＣＰ）に従い画像を送信する（ステップＳ２１０）。画像送信後も画像処理サーバ４と携帯電話機１とのＴＣＰ接続を維持する。オペレータ側の画像処理サーバ４は、携帯電話機１から送られてきた画像（原画像）を受信し、サーバ内の画像処理装置に入力する（ステップＳ２１２）。画像処理サーバ４は、入力された処理前の原画像をメモリ５４に保存する一方（ステップＳ２１４）、入力された原画像について画像処理を実施する（ステップＳ２１６）。
【００７２】
処理結果の画像が生成されると、その結果画像はメモリ５４に記憶されるとともに（ステップＳ２１８）、維持していたＴＣＰ接続を利用して画像処理サーバ４から送信元の携帯電話機１に返送される（ステップＳ２２０）。
【００７３】
携帯電話機１は、画像処理サーバ４から返された処理結果画像を受信し（ステップＳ２２２）、その画像データを復元してディスプレイ１６に表示させる（ステップＳ２２４）。
【００７４】
送信者はディスプレイ１６の表示を確認し、表示された処理結果で良ければ、「送信ＯＫボタン」（操作ボタン７４）を押す。その一方、処理結果を見て、この画像に関しては処理を行いたくないと判断した場合には、「処理をしない」のコマンドメニュー（不図示）を選択する操作を行う。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、操作に応じた信号を画像処理サーバ４へ送信する（ステップＳ２２６）。
【００７５】
画像処理サーバ４は、携帯電話機１から受け取った信号を判断し（ステップＳ２２８）、指示に応じた処理を行う。すなわち、処理結果を採用する旨を示す「送信ＯＫ」のコマンド信号を受信した場合には、メモリ５４から処理結果画像を読み出し（ステップＳ２３０）、これを送信先へ送信する（ステップＳ２３４）。
【００７６】
一方、ステップＳ２２８において、処理前の原画像を採用する旨を示す「処理をしない」のコマンド信号を受信した場合には、メモリ５４に保存されている処理前の原画像を読み出し（ステップＳ２３２）、これを送信先へ送信する（ステップＳ２３４）。こうして、送信先への画像送信を実施して処理を終了する。
【００７７】
〔第３の実施形態〕
次に本発明の第３の実施形態について説明する。
【００７８】
図６は、本発明の第３の実施形態に係る画像処理システムの構成図である。図６中、図１と同一又は類似する部分には同一の符号を付し、その説明は省略する。このシステムは、２台のカメラ付き携帯電話機１、２どうしで互いに映像と音声を伝送し合いながらコミュニケーションを行うためのシステム（いわゆるテレビ電話システム）である。
【００７９】
携帯電話機１のカメラ部１２で撮影された映像は、画像処理サーバ４を経由して相手側の携帯電話機２に送られ、携帯電話機２のディスプレイ８０に表示される。同様に、携帯電話機２のカメラ部８２で撮影された映像は、携帯電話機１のディスプレイ１６に表示される。
【００８０】
画像処理サーバ４は、携帯電話機１、２間で送受される動画データの画像処理を行う動画像処理装置として機能する。テレビ電話などの分野では、通信のリアルタイム性が要求されるため、画質向上のための補正処理等の画像処理を迅速に行う必要がある。そのため、画像処理サーバ４は、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（圧縮動画像データという）を圧縮空間にて高速に画像処理することができる動画処理装置を備えている。
【００８１】
動画像業界のスタンダードとなりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−Ｔ Ｈ．２６１及びＩＴＵ−Ｔ Ｈ．２６３、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正を行えば、イントラフレームに依存するインターフレームも補正されることになる。
【００８２】
例えば、ＭＰＥＧ形式の圧縮動画像データは、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のフレームから構成される。Ｉフレームはイントラフレームであり、Ｐフレームは自身より前のフレームのデータのみに依存するインターフレーム、Ｂフレームは自身の前後のフレーム両方に依存するインターフレームである。
【００８３】
図７は、画像処理サーバ４に装備された動画像処理装置１００の構成を示すブロック図である。図示のように、動画像処理装置１００は、圧縮動画像データＧをイントラフレームＧ0 とインターフレームＧ1 とに分離するフレーム分離部１０２と、フレーム分離部１０２により得られたイントラフレームＧ0 をデコードしてデコードイントラムレームＧ01を得るデコード部１０４と、デコードイントラフレームＧ01に対して補正処理その他の画像処理を行って処理済みデコードイントラフレームＧ02を得る補正部１０６と、処理済みデコードイントラフレームＧ02をエンコードして処理済みイントラフレームＧ03を得るエンコード部１０８と、処理済みイントラフレームＧ03及びインターフレームＧ1 とを合成して処理済み動画像Ｇ′を得る合成部１１０と、を備えている。
【００８４】
かかる構成により、圧縮動画像データをイントラフレームとインターフレームとに分離し、イントラフレームのみに対してデコード、画像処理、及びエンコードを行い、処理済みのイントラフレームを得て、これら処理済みのイントラフレームと、非処理対象のインターフレームとを合成することによって処理済み圧縮動画像データを生成している。
【００８５】
圧縮動画像データの一部分のみに対してデコード、画像処理、エンコードを行うことになるので、処理時間の短縮を図ることができる。また、インターフレームについては、直接的に画像処理を施さないが、イントラフレームを補正すれば、これに依存するインターフレームに対しても間接的に処理を施したことになる。
【００８６】
なお、ＭＰＥＧ空間にて画像処理を行う方法は、図７で説明した方法に限定されない。例えば、圧縮動画像データを他のフレームに依存しないイントラフレーム（Ｉフレーム）と、他のフレームに依存する程度が低いインターフレーム（Ｐフレーム）と、他のフレームに依存する程度が高いインターフレーム（Ｂフレーム）とに分離し、ＩフレームとＰフレームのみに対してデコード、画像処理、エンコードを実施して処理済みのフレームを得て、これら処理済みのフレームとＢフレームとを合成することによって処理済みの圧縮動画像データを生成してもよい。
【００８７】
また、画像処理を行うためには、まずデコード手段により、補正対象部分をデコードする必要があるが、このとき画像処理を行うことができる程度のデコード処理のみを施すことが好ましい。動画像データの圧縮は段階的に行われることが通常であり、デコードする場合は、圧縮時と逆の手順で各段階の逆演算を行うことにより段階的にデコードする。例えば、ＭＰＥＧ圧縮動画像データをデコードする際は、圧縮動画像データを可変長復号化し、可変長復号化されたデータを動きベクトル、ＤＣＴ係数などに分けた後に、動き補償予測、ＤＣＴ変換の逆となるＩＤＣＴ変換などの手順を必要とする。その一方、画質補正の処理においてＤＣＴ係数の補正を行うことができるので、デコード手段はＩＤＣＴ変換を行わず、ＤＣＴ係数を画像処理手段（補正部）に供し、補正部によりＤＣＴ係数に対して処理を施すことが可能である。また、後にエンコードする場合、補正されたＤＣＴ係数を用い、新たにＤＣＴ係数を求める必要がないので、エンコードする時間の短縮化も達成できる。
【００８８】
さらにまた、次のような方法もある。ＭＰＥＧにより圧縮された画像データは、イントラフレームかインターフレームかなどを示すヘッダ情報以外に、フレームごとのＤＣＴ係数及び動きベクトルを含んでいる。このような圧縮動画像データをデコードする際、或いはデコード後に画質補正等の処理を行ってからエンコードする際にも、動きベクトルが必要である。動きベクトルは階調などの画質に影響をそれほど与えないものであるにもかかわらす、エンコード時に動きベクトルを求める演算量が莫大であることから、エンコードする際に新たに動きベクトルを求めず、デコード時にえられた動きベクトルをエンコードに用いて処理時間の短縮を図る態様もある。
【００８９】
次に、上記の如く構成された第３の実施形態に係る画像処理システムの動作について説明する。なお、ここでは、携帯電話機１を送信側、携帯電話機２を受信側として説明するが、本システムにおいて送信側と受信側の関係は入れ替え可能である。
【００９０】
図８は、第３の実施形態に係るシステムの動作を示すフローチャートである。まず、テレビ電話機能を備えた携帯電話機１を用いて通信相手と接続し、テレビ電話を開始する（ステップＳ３１０）。送信側の携帯電話機１は、画像処理サーバ４とのＴＣＰ接続を維持する。画像処理サーバ４は、既述のとおり、ＭＰＥＧ空間にて画像処理を高速に行うことができる動画像処理装置１００を備えており、送信側の携帯電話機１から送られてきた圧縮動画像データ動画像処理装置に取り込む（ステップＳ３１２）。
【００９１】
画像処理サーバ４は、画像処理を開始し（ステップＳ３１４）、処理画像を通信相手の携帯電話機２（受信側端末）に送信するとともに、送信元である送信側の携帯電話機１にも維持されたＴＣＰ接続を用いて処理結果の動画を送信する（ステップＳ３１６）。
【００９２】
通信相手の携帯電話機２は、画像処理サーバ４より送られた動画データを受信し（ステップＳ３１８）、これを復元処理してディスプレイ８０に表示させる（ステップＳ３２０）。
【００９３】
その一方、送信側の携帯電話機１は、画像処理サーバ４から送られてきた処理結果を受信し（ステップＳ３２２）、これを復元処理してディスプレイ１６の画面上に小さく表示させる（ステップＳ３２４、図６参照）。
【００９４】
図６に示した画面例によれば、ディスプレイ１６の画面右下に小さいウインドウ８４で（例えば、６分の１サイズで）処理画像を表示させている。これにより、送信者は、処理結果をリアルタイムで確認することができ、現在、相手側にどのような画像が送られているかを把握することができる。
【００９５】
なお、ディスプレイ１６の他の表示エリア（主表示部）には、通信相手の携帯電話機２から送られてくる相手の画像（動画像）が表示されており、相手の画像と、自分から相手に送っている画像とをディスプレイ１６上で同時に確認することができるようになっている。処理結果の表示方法はこの例に限定されず、上下２分割、左右２分割、表示画面の切り替えなど、種々の態様があり、複数の表示方法の中から所望の表示方法を選択できるように構成してもよい。
【００９６】
また、このとき、図６に示したように、ディスプレイ１６の画面左下に「さらに処理」のコマンドメニュー７１が表示される。このメニュー表示は、符号７３の操作ボタンに「さらに処理ボタン」の機能が割り当てられたことを意味している。
【００９７】
ディスプレイ１６に表示された処理結果を確認した送信者が、さらに処理内容を変更したいと判断した場合には、「さらに処理ボタン」（操作ボタン７３）を押す。「さらに処理ボタン」を押すと、図示のような各種パラメータのパラメータ値を設定するためのサブメニュー８６がディスプレイ１６に表示される。送信者は、このサブメニュー８６から所望の項目を選択してパラメータの調整を行う。
【００９８】
例えば、「明るくする」、「シャープにする」、「ちらつきを抑える」、「細くする」、「太くする」などの処理項目についてそれぞれ０，±１，±２という５段階の調整率が定義されており、ユーザは好みに応じて＋／−ボタン（十字ボタン２４の上下キーにて兼用）を操作してパラメータ値を指定することができる。また、「髪形を変える」という項目については、各種ヘアースタイルに対応した貼り付け合成用のパーツ画像が複数用意されており、その中から所望のタイプを選択することができるようになっている。
【００９９】
送信者は必要に応じて操作部２０から指示を入力する。携帯電話機１のＣＰＵ３０は操作部２０からの入力を検出し、入力された指示内容の判定に応じて処理を制御する（図８のステップＳ３２６）。「さらに処理ボタン」が押されていない場合には、現在の処理結果でＯＫであるものと判定される。もちろん、「これでＯＫ」であることを示すコマンドメニュー（不図示）を選択させ、そのメニューの選択に基づいて判定してもよい。
【０１００】
ステップＳ３２６において、処理内容を容認する旨の判定が得られた場合は、画像処理サーバ４において現在の処理パラメータの設定による処理が継続される（ステップＳ３２８）。
【０１０１】
その一方、処理結果が気に入らない場合、送信者は「さらに処理ボタン」を押して、パラメータの設定を行う（ステップＳ３３０）。ステップＳ３３０においてパラメータの調整が行われると、その情報は画像処理サーバ４に送られる。画像処理サーバ４は、変更されたパラメータの情報を取得した後、ステップＳ３１２に戻り、その変更されたパラメータに基づいて画像処理を実施する。
【０１０２】
処理後の変換画像は通信相手の携帯電話機２に送信されるとともに、送信元の携帯電話機１に返され、ディスプレイ１６に表示される（ステップＳ３１４〜Ｓ３２４）。
【０１０３】
この作業（ステップＳ３１２〜Ｓ３３０）を繰り返すことで、送信者は、手元のディスプレイ１６で処理画像を即座に確認しながら、自身の好みの画像になるまでパラメータ値を設定することができる。
【０１０４】
処理内容が決まれば、そのまま通話を維持する（ステップＳ３２８）。その後、通話が終了し、接続が切れると（ステップＳ３３２）、処理を終了する（ステップＳ３３４）。
【０１０５】
上述した各実施形態では、通信端末として携帯電話機を例示したが、本発明の適用範囲はこれに限定されず、ＰＤＡ、モバイルパソコンなど、種々の携帯端末についても本発明を適用することができる。
【０１０８】
【発明の効果】
以上説明したように本発明によれば、いわゆるテレビ電話機能を使用する端末どうしの動画データの送受信において、画像処理サーバで処理された画像を相手側（受信者側）のみならず、送信元の端末にも表示させるようにしたので、送信者本人が処理結果を確認しながら通信を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理システムの構成図
【図２】図１に示した携帯電話機の構成を示すブロック図
【図３】図１に示した画像処理サーバの要部を示す機能ブロック図
【図４】本例の画像処理システムの動作を示すフローチャート
【図５】本発明の第２の実施形態に係る画像処理システムの動作を示すフローチャート
【図６】本発明の第３の実施形態に係る画像処理システムの構成図
【図７】図６に示した画像処理サーバに装備された動画像処理装置の構成を示すブロック図
【図８】本発明の第３の実施形態に係る画像処理システムの動作を示すフローチャート
【符号の説明】
１，２…携帯電話機、４…画像処理サーバ、６…ネットワーク、１２…カメラ部、１６…ディスプレイ、２０…操作部、２４…十字ボタン、３０…ＣＰＵ、３２…メモリ、４２…ＣＣＤ、５２…通信部、５３…制御部、５４…メモリ、５５…画像処理部、８０…ディスプレイ、８２…カメラ部
Claims (3)
- 送信側端末と受信側端末とがそれぞれ撮像手段を有しており、各端末の撮像手段によって撮影された映像の圧縮動画像データを互いに通信回線を利用して送受信可能な通信システムに適用される画像処理方法であって、
前記送信側端末と前記受信側端末との間で通信接続を確立し、相互に圧縮動画像データの受け渡しを開始する工程と、
前記通信回線に接続されている画像処理サーバと前記送信側端末との間の通信接続を維持する工程と、
前記送信側端末から前記画像処理サーバへ圧縮動画像データを送出する工程と、
前記送信側端末から受け取った圧縮動画像データを前記画像処理サーバにおいて画像処理する工程と、
前記画像処理によって生成された処理後の圧縮動画像データを前記画像処理サーバから通信相手の前記受信側端末へ送信するとともに、前記維持していた通信接続を利用して、該処理後の圧縮動画像データを前記送信側端末へ送信する工程と、
前記画像処理サーバから受け取った前記処理後の圧縮動画像データを復元し、その画像と前記受信側端末から送られてくる相手側の画像とを前記送信側端末の表示装置に同時に表示する工程と、
前記処理後の結果を示す動画像と前記相手側の画像とを前記表示装置に同時に表示したときに、さらに画像処理パラメータを変更する指示の入力を受け付け、前記送信側端末の操作部から入力された指示に応じた情報を前記画像処理サーバに送る工程と、
前記処理後の結果を示す動画像と前記相手側の画像とを前記表示装置に同時に表示したときに、前記送信側端末の操作部から画像処理パラメータを変更する指示が入力されると、該変更されたパラメータに従って前記画像処理サーバにおいて画像処理を実行する工程と、
前記変更されたパラメータの設定を反映した画像処理により生成された処理結果の圧縮動画像データを前記画像処理サーバから前記受信側端末に送信するとともに、前記維持していた通信接続を利用して該パラメータ変更後の処理結果による圧縮動画像データを前記画像処理サーバから前記送信側端末に送信する工程と、
前記画像処理サーバから受け取った前記パラメータ変更後の処理結果による圧縮動画像データを復元し、その画像と前記受信側端末から送られてくる相手側の画像とを前記表示装置に同時に表示する工程と、
を含むことを特徴とする画像処理方法。 - 通信回線に接続されている画像処理サーバと、前記画像処理サーバを介して相互に圧縮動画像データを送受信可能な送信側端末及び受信側端末と、から構成される画像処理システムであって、
前記画像処理サーバは、前記通信回線を介して前記送信側端末から受け取った圧縮動画像データを画像処理する画像処理手段と、
前記画像処理手段による画像処理の際に前記送信側端末との通信接続を維持する接続維持制御手段と、
前記画像処理手段により生成された処理後の圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して前記処理後の圧縮動画像データを前記送信側端末へ送信する処理結果送信制御手段と、
を備え、
前記送信側端末は、光学像を電気信号に変換する撮像手段と、
前記通信回線を介して前記受信側端末及び前記画像処理サーバに接続する通信手段と、
前記撮像手段により撮影された映像の圧縮動画像データを前記画像処理サーバに送信する通信制御手段と、
前記画像処理サーバから受信した前記処理後の圧縮動画像データを復元する信号処理手段と、
前記信号処理手段により復元された前記処理後の動画像と前記受信側端末から送られてくる相手側の画像とを同時に表示する表示手段と、
画像処理パラメータを変更する操作を行うためのパラメータ変更操作手段を備え、
前記画像処理サーバは、前記パラメータ変更操作手段により変更されたパラメータに従って前記画像処理手段による画像処理を行い、前記変更されたパラメータの設定を反映した画像処理により生成された圧縮動画像データを前記受信側端末に送信するとともに、前記接続維持制御手段により維持していた通信接続を利用して該パラメータ変更後の処理結果を示す圧縮動画像データを前記送信側端末へ送信する制御を行うことを特徴とする画像処理システム。 - 光学像を電気信号に変換する撮像手段と、
通信回線を介して通信相手の端末及び画像処理サーバに接続する通信手段と、
前記撮像手段により撮影された映像の圧縮動画像データを前記画像処理サーバに送信する通信制御手段と、
前記画像処理サーバによって圧縮動画像データの画像処理が行われる際に前記画像処理サーバとの通信接続を維持する接続維持制御手段と、
前記画像処理サーバから返信された画像処理後の圧縮動画像データ及び前記通信相手の端末から送られてきた相手側の圧縮動画像データを復元する信号処理手段と、
前記信号処理手段により復元された送信側の処理結果画像及び相手側の画像を同時に表示する表示手段と、
画像処理パラメータを変更する操作を行うためのパラメータ変更操作手段とを備え、
前記パラメータ変更操作手段により画像処理パラメータを変更する指示が入力されると、該変更されたパラメータに従って前記画像処理サーバによる画像処理が行われ、前記変更されたパラメータの設定を反映した画像処理結果を示す動画像が前記表示手段に表示されることを特徴とする通信端末。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003156878A JP4247666B2 (ja) | 2003-06-02 | 2003-06-02 | 画像処理方法及び画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003156878A JP4247666B2 (ja) | 2003-06-02 | 2003-06-02 | 画像処理方法及び画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004362055A JP2004362055A (ja) | 2004-12-24 |
| JP4247666B2 true JP4247666B2 (ja) | 2009-04-02 |
Family
ID=34050819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003156878A Expired - Fee Related JP4247666B2 (ja) | 2003-06-02 | 2003-06-02 | 画像処理方法及び画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4247666B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006191483A (ja) * | 2005-01-07 | 2006-07-20 | Nec Corp | 予約動画配信システム、予約動画配信方法、及び、プログラム |
| JP4635899B2 (ja) * | 2006-02-20 | 2011-02-23 | 株式会社ニコン | カメラ |
| JP2008117308A (ja) * | 2006-11-07 | 2008-05-22 | Lab At Site Ltd | 通信ネットワークを利用した画像レイアウトシステム |
| JP5388032B2 (ja) * | 2009-05-11 | 2014-01-15 | 独立行政法人情報通信研究機構 | 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム |
| US9008464B2 (en) | 2009-06-16 | 2015-04-14 | University-Industry Cooperation Group Of Kyung Hee University | Media data customization |
| JP5874887B2 (ja) * | 2010-09-16 | 2016-03-02 | 日本電気株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
| JP2011004431A (ja) * | 2010-09-22 | 2011-01-06 | Fujifilm Corp | 撮影装置及び表示方法 |
| CN107113394B (zh) | 2015-01-06 | 2019-10-18 | 麦克赛尔株式会社 | 影像显示装置、影像显示方法以及影像显示*** |
| JP2016195309A (ja) * | 2015-03-31 | 2016-11-17 | 日鉄住金テックスエンジ株式会社 | データ処理装置、データ処理方法、プログラム及び記憶媒体 |
-
2003
- 2003-06-02 JP JP2003156878A patent/JP4247666B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004362055A (ja) | 2004-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6538686B2 (en) | Method for transmitting image data and communication terminal | |
| EP1786202A2 (en) | Image pickup apparatus, image processing method, and program | |
| JP2000278659A (ja) | 携帯用通信装置及びその通信方法 | |
| US8411133B2 (en) | Mobile terminal and panoramic photographing method for the same | |
| KR100796340B1 (ko) | 듀얼 카메라를 갖는 휴대용 단말기 및 이를 이용한 촬영방법 | |
| JP4247666B2 (ja) | 画像処理方法及び画像処理システム | |
| KR100689419B1 (ko) | 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법 | |
| KR100819243B1 (ko) | 카메라 폰에서 이미지 촬영 및 저장방법 | |
| US7606432B2 (en) | Apparatus and method for providing thumbnail image data on a mobile terminal | |
| KR102058860B1 (ko) | 카메라의 이미지 처리 장치 및 방법 | |
| JP2004342003A (ja) | 画像処理方法及び装置並びに画像処理システム | |
| JP7174123B2 (ja) | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム | |
| KR20060014297A (ko) | 이동통신 단말기의 저장 사진 디스플레이 방법 | |
| JP2006211570A (ja) | 撮影装置 | |
| JP4440079B2 (ja) | 通信端末 | |
| JP4916749B2 (ja) | テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法 | |
| JP4407150B2 (ja) | 携帯端末機器及びネットワークシステム並びに画像処理方法 | |
| KR100459422B1 (ko) | 카메라 결합형 이동통신 단말기의 화질 보정 방법 | |
| WO2020161969A1 (ja) | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム | |
| KR101080455B1 (ko) | 휴대단말기의 영상 보정 방법 및 장치 | |
| JP2007173979A (ja) | 撮影システム | |
| JP2001197460A (ja) | 画像データの中継方法および通信管理センタ | |
| KR100678059B1 (ko) | 거울기능을 가지는 휴대용 복합 통신단말기 및 그 구현방법 | |
| KR100769672B1 (ko) | 화상 통신이 가능한 이동통신단말기 | |
| KR101015753B1 (ko) | 문서 이미지 전송 기능을 갖춘 이동 단말과 이를 위한문서 이미지 변환 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060301 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080722 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080911 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081218 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081231 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |