JP4571733B2 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP4571733B2 JP4571733B2 JP2000232398A JP2000232398A JP4571733B2 JP 4571733 B2 JP4571733 B2 JP 4571733B2 JP 2000232398 A JP2000232398 A JP 2000232398A JP 2000232398 A JP2000232398 A JP 2000232398A JP 4571733 B2 JP4571733 B2 JP 4571733B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- transmission
- image data
- object image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、情報処理装置および情報処理方法に関する。
【０００２】
【従来の技術】
従来、携帯電話やＰＨＳ（Personal Handyphone System）などの移動体情報処理サービスを利用して、音声データの送受信だけではなく、文章や画像などの非音声データも送受信できる情報処理端末が登場し、さらに、ＣＣＤ（Charge Coupled Device）などの撮影部を備えた情報処理端末も普及してきている。
【０００３】
このようなモバイル端末においては、単一の伝送路を共有して音声データと画像データとを送信するが、会話（音声データの送受信）によるコミュニケーションを遮断しないように、音声データと画像データとを多重化して送信することが一般的におこなわれている。また、音声データに比較して大きなデータ量を有する画像データを効率良く送信するために、種々の送信技術（たとえば、特開平８−２７９８３５号公報、特開平９−２６１１９７号公報、特開平１０−２２９３７５号公報などに開示された送信技術）が提案されている。以下、これらの従来技術について簡単に説明する。
【０００４】
まず最初に、特開平８−２７９８３５号公報には、音声データの有無、すなわち無音期間を検出する送信技術が開示されている。すなわち、この従来技術においては、音声の無音期間を検出し、無音期間中は、音声データの送信（音声データと画像データの多重化送信）を中断して、画像データのみを送信することによって、画像データを効率良く送信している。
【０００５】
また、特開平９−２６１１９７号公報には、音声データを圧縮する送信技術が開示されている。すなわち、この従来技術においては、送信する画像データが大きい場合に、音声データを圧縮して音声データの伝送帯域幅を小さくすること（画像データの伝送帯域幅を大きくすること）によって、画像データを効率良く送信している。
【０００６】
また、特開平１０−２２９３７５号公報には、画像データを優先的に送信するか否かを選択させる送信技術が開示されている。すなわち、この従来技術においては、送信する画像データのデータ量が大量に蓄積されている場合に、画像データの優先的送信を選択させ、この選択がなされると、音声データの送信を中断して、画像データのみを送信することによって、画像データを効率良く送信している。
【０００７】
【発明が解消しようとする課題】
しかしながら、上記の従来技術は、送信する画像データのデータ量が大きい場合に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要するという問題点があった。
【０００８】
すなわち、特開平８−２７９８３５号公報に開示された従来技術は、無音期間中に、画像データのみを送信している。しかし、話者の周囲が騒々しい環境であって、会話はしていないが有音期間として検出される場合には、画像データを音声データと多重化して送信せざるを得ない。このため、画像データのデータ量が大きい場合には、通信相手に画像データが送信されるまでの時間が長くなってしまう。したがって、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要していた。また、この結果として、通信時間が長くなり通信費用も高くなっていた。
【０００９】
また、特開平９−２６１１９７号公報に開示された従来技術は、送信する画像データが大きい場合に、音声データを圧縮して画像データの伝送帯域幅を大きくしている。しかし、デジタル携帯電話サービスのＰＤＣ(Personal Digital Cellular)などのように伝送路の帯域幅が小さい場合には、音声信号の圧縮による画像データ伝送帯域幅の拡大にも限界がある。このため、画像データのデータ量が大きい場合には、通信相手に画像データが送信されるまでの時間が長くなってしまう。したがって、上記の従来技術（特開平８−２７９８３５号公報に開示された従来技術）と同様に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要し、結果として、通信時間が長くなり通信費用も高くなっていた。
【００１０】
また、特開平１０−２２９３７５号公報に開示された従来技術は、画像データのデータ量が大きい場合に、画像データの優先的送信を選択させて、画像データのみを送信している。しかし、画像データのデータ量が大きい場合に画像データのみを優先的に送信するものであるため、会話によるコミュニケーションが長時間にわたって遮断されてしまうこととなる。また、画像データのデータ量が大きいと、通信相手に画像データが送信されるまでの時間が長くなってしまうため、上記の従来技術（特開平８−２７９８３５号公報に開示された従来技術）と同様に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要し、結果として、通信時間が長くなり通信費用も高くなっていた。
【００１１】
ところで、近年、ＣＣＤなどの撮像素子の高画素化にともなって、画像データのデータ量も大きくなってきており、上述した従来技術の問題点は、一層顕著である。特に、撮影部を備える情報処理端末においては、通話中に撮影した画像データを通信相手に送信し、早急に画像データの内容を理解して円滑に会話できることが要望されている。しかし、上述したように、上記の従来技術では、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要するため、このような要望に応えることが困難であった。
【００１２】
そこで、この発明は、上述した従来技術による問題点を解決するため、送受信される画像データの内容を早急に理解して、円滑な会話をおこなうことができる情報処理装置および情報処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る情報処理装置は、単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置において、前記画像データにかかる画像を表示する表示手段と、前記表示手段に表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定手段と、前記指定手段によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御手段と、を備えたことを特徴とする。
【００１４】
また、請求項２記載の発明は、請求項１に記載の情報処理装置において、前記送信制御手段が送信する前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、ことを特徴とする。
【００１５】
また、請求項３の発明に係る情報処理装置は、請求項１または２に記載の発明において、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する手段を備え、前記送信制御手段は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、ことを特徴とする。
【００１６】
また、請求項４の発明に係る情報処理装置は、請求項３に記載の発明において、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する手段を備え、前記送信制御手段は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、ことを特徴とする。
【００１７】
また、請求項５の発明に係る情報処理方法は、単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置で実行される情報処理方法であって、前記画像データにかかる画像を表示する表示工程と、前記表示工程により表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定工程と、前記指定工程によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定工程によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御工程と、を含むことを特徴とする。
【００１８】
また、請求項６の発明に係る情報処理方法は、請求項５に記載の発明において、前記送信制御工程で送信される前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、ことを特徴とする。
【００１９】
また、請求項７の発明に係る情報処理方法は、請求項５または６に記載の発明において、前記指定工程で指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する工程を含み、前記送信制御工程は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、ことを特徴とする。
【００２０】
また、請求項８の発明に係る情報処理方法は、請求項７に記載の発明において、前記指定工程で指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する工程を含み、前記送信制御工程は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、ことを特徴とする。
【００３４】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る情報処理装置および情報処理方法の好適な実施の形態を詳細に説明する。
【００３５】
なお、本実施の形態では、本発明を、ＰＳＴＮや携帯電話サービスのＰＤＣ(Personal Digital Cellular)などの比較的低いビットレート回線に接続して、音声データ（リアルタイム性が要求される情報）と画像データ（リアルタイム性が要求されない情報）とを同時に送受信するモバイル端末に適用した場合を示すこととする。
【００３６】
ただし、本実施の形態によって本発明が限定されるものではなく、たとえば、ＰＤＡ（Personal Digital Assistants）、ＴＶ電話、ＴＶ会議システムなど、リアルタイム性が要求される情報（たとえば、音声情報など）とリアルタイム性が要求されない情報（たとえば、画像情報、文章情報、音楽情報など）とを同時に送受信する、あらゆる情報処理に適用することができる。
【００３７】
以下、本発明の実施の形態について、［モバイル端末の構成例］と、［データ通信プロトコルの構成例］と、［データ通信プロトコルを用いた通信例］と、［モバイル端末の動作例（動作例１〜動作例８）］とを順に説明する。
【００３８】
［モバイル端末の構成例］
まず最初に、図１および図２を参照して、本実施の形態に用いられるモバイル端末の概略的な構成および処理の内容を説明する。図１は、本実施の形態に用いられるモバイル端末の構成を示すブロック図である。また、図２は、本実施の形態に用いられるモバイル端末の外観を示す図であり、詳細には、図２（ａ）は、モバイル端末の正面図であり、図２（ｂ）は、モバイル端末の背面図である。なお、図２においては、便宜上、各種の操作ボタンなどの図示を省略している。
【００３９】
本実施の形態に用いられるモバイル端末１は、図１に示すように、画像入力部２と、画像処理部３と、表示部４と、画像メモリ２５と、音声入力部３８と、音声処理部３０と、音声出力部３９と、操作部５と、通信部６と、制御部７とを、バス３６を介して、データ授受可能に接続して構成される。
【００４０】
そして、概略的には、本実施の形態に用いられるモバイル端末１は、音声入力部３８によって入力した音声データや画像入力部２などによって入力した画像データなどを、通信部６によって伝送路に送り出すとともに、通信部６を介して伝送路から送られてくる音声データや画像データを、音声出力部３９や表示部４によって出力する。
【００４１】
ここで、本実施の形態に用いられるモバイル端末１は、制御部７における送信制御処理に特徴があり、具体的には、音声データと画像データとの多重化送信に先立って、音声データの送信を停止し、画像データに関する要約や画像データの主要部分などを、送信相手に早急に送信するよう構成している。
【００４２】
次に、図１を参照して、本実施の形態に用いられるモバイル端末１における各部の具体的な構成および処理の内容を順に説明する。画像入力部２は、図１に示すように、レンズ１１と、メカ機構１２と、ＣＣＤ（Charge Coupled Device）１３と、ＣＤＳ回路（Correlated Double Sampling：相関二重サンプリング回路）１４と、Ａ／Ｄ変換器１５と、モータドライバ１６と、制御信号生成部１７とを備えて構成される。
【００４３】
この画像入力部２において、レンズ１１は、被写体像をＣＣＤ１３上に結像するためのレンズである。また、メカ機構１２は、メカニカルシャッター、オートフォーカス機構、絞り機構、およびフィルターを含む機構である。また、ＣＣＤ１３は、レンズ１１とメカ機構１２を介して入力された映像（被写体像）を電気信号（アナログ画像信号）に変換する回路である。
【００４４】
また、画像入力部２において、ＣＤＳ回路１４は、ＣＣＤ型撮像素子に対する低雑音化をおこなう回路である。また、Ａ／Ｄ変換器１５は、ＣＤＳ回路１４を介して入力されたＣＣＤ１３からのアナログ画像信号をデジタル画像データに変換する回路である。なお、このＡ／Ｄ変換器１５によって変換された画像データは、画像処理部３に送られて、各種の画像処理がおこなわれる。
【００４５】
また、画像入力部２において、モータドライバ１６は、レンズ１１を移動させてズームやフォーカスなどをおこなう駆動部である。また、制御信号生成部１７は、ＣＣＤ１３、ＣＤＳ回路１４、およびＡ／Ｄ変換器１５の動作タイミングを制御する信号を生成する処理部である。
【００４６】
画像処理部３は、図１に示すように、デジタル信号処理部１８と、画像圧縮伸長処理部１９とを備えて構成される。この画像処理部３において、デジタル信号処理部１８は、Ａ／Ｄ変換器１５から入力したデジタル画像データについて、色差（Ｃｂ，Ｃｒ）と輝度（Ｙ）に分けて各種処理、補正および画像圧縮／伸長のためのデータ処理をおこなう処理部である。
【００４７】
また、画像処理部３において、画像圧縮伸長処理部１９は、デジタル信号処理部１８から送られてくる画像データや、通信部６を介して外部のモバイル端末１などから送られてくる画像データに対し、ＪＰＥＧ準拠の符号化や復号化をおこなう処理部である。なお、ＪＰＥＧの符号化モードとしては、ＤＣＴ利用型シーケンシャルモードと階層型モード（ハイアラーキカルモード）との両方を実行できる。
【００４８】
画像メモリ２５は、画像入力部２から入力した画像データが画像処理部３によって画像処理された画像データや、通信部６から入力した画像データなどを記憶するフラッシュメモリである。この画像メモリ２５に記憶する画像フォーマットとしては、ＪＰＥＧの階層型モードやFlashPixなどを適用できる。なお、本実施の形態では、画像データのみを記憶する場合を示したが、音声データや文章データを記憶することも可能である。
【００４９】
音声入力部３８は、通話音声を入力するものであり、音声出力部３９は、通信部６を介して受信した通話相手の音声（相手端末から受信した音声データ）を出力するものであり、本実施の形態では、図２に示すように、イヤホンマイクとして構成される。
【００５０】
音声処理部３０は、音声入力部３８（イヤホンマイク）から入力される音声信号をＡ／Ｄ（Analog／Digital）変換し、このデジタル音声データをITU-T勧告G.723.1に従って符号化をおこなうとともに、相手端末から受信される符号化された音声データをITU-T勧告G.723.1に従って復号化し、この復号化された音声データをＤ／Ａ（Digital／Analog）変換する処理部である。
【００５１】
表示部４は、図１に示すように、ファインダ表示制御部２６と、電子ビューファインダ３１と、ＬＣＤ表示制御部２７と、ＬＣＤ３２とを備えて構成される。
この表示部４において、ファインダ表示制御部２６は、デジタル信号処理部１８から入力された被写体画像データとその中の任意の領域を指示するための矩形（グラフィック）データとを合成して電子ビューファインダ３１に表示するための制御をおこなう処理部である。また、ＬＣＤ表示制御部２７は、画像メモリ２５に記憶された画像データや操作メニューなどをＬＣＤ３２に表示するための制御をおこなう処理部である。
【００５２】
操作部５は、図１に示すように、操作指示部２９と、タッチパネル３３と、タッチパネル制御部２８とを備えて構成される。この操作部５において、タッチパネル制御部２８は、タッチパネル３３上で電子ペンのペン先や指など（図示を省略）が接触した部分を検出し、その位置情報を取り込むものであり、タッチパネル３３はＬＣＤ３２と重ね合わせて密着されている。また、操作指示部２９は、機能選択や撮影指示などの操作や、電子ビューファインダ３１に表示される矩形領域を指定するための操作などを、指示するための各種操作スイッチを備えるユーザーインタフェースである。
【００５３】
通信部６は、図１に示すように、カードインタフェース２０と、カード用アダプタ２１と、ＰＣカード３７とを備えて構成される。この通信部６において、カードインタフェース２０は、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）規格に準拠したＰＣカードとのインタフェース動作を実行する処理部である。
【００５４】
また、通信部６において、ＰＣカード３７は、デジタル携帯電話サービスのＰＤＣやＰＨＳなどを利用して無線データ通信を行うためのアンテナ内蔵型のデータ通信カードや、ＰＳＴＮに接続してデータ通信を行うためのモデムカードや、画像データを記憶するメモリカードなどである。このＰＣカード３７は、ＰＣＭＣＩＡ規格に準拠しており、カード用アダプタ２１に接続される。
【００５５】
制御部７は、図１に示すように、ＣＰＵ２２と、メインメモリ２３と、ＲＯＭ２４とを備えて構成され、モバイル端末１の各部の動作を制御するものである。
この制御部７において、メインメモリ２３は、ＤＲＡＭ（Dynamic Random Access Memory）により構成され、ＣＰＵ２２のワークエリアとして使用される。また、ＲＯＭ２４には、モバイル端末１を制御するための各種プログラムがあらかじめ書き込まれている。
【００５６】
なお、図１に示したバッテリ３５は、たとえば、ニッケル水素電池、リチウム電池などであり、ＤＣ−ＤＣコンバータ３４を介して、電流をモバイル端末１の内部に供給する。
【００５７】
［データ通信プロトコルの構成例］
次に、図３を参照して、本実施の形態に用いられるモバイル端末１におけるデータ通信プロトコルの構成を説明する。なお、本実施の形態では、ITU-T勧告G.723.1に従って符号化された音声データとＪＰＥＧファイルなどのデータとを多重化して送信する場合におけるデータ通信プロトコルの構成について説明する。また、移動通信回線を使用して音声データとファイルなどのデータとを多重化して送信する場合、ＰＤＣのデータ通信サービスやＰＨＳのＰＩＡＦＳ（PHS Internet Access Forum Standard）などの、移動通信事業者の提供するデータ通信サービスを利用することになるが、本実施の形態では、ＰＤＣのデータ通信サービスを利用する場合におけるデータ通信プロトコルの構成について説明する。
【００５８】
図３は、データ通信プロトコルの構成を示すブロック図であり、詳細には、ＰＤＣのデータ通信サービスを利用して、ITU-T勧告G.723.1に従って符号化された音声データとＪＰＥＧファイルなどのデータとを多重化して送信する場合におけるデータ通信プロトコルの構成を示すブロック図である。
【００５９】
図３に示すように、データ通信プロトコルは、通信制御をおこなうブロック４０と、バイナリデータの転送をおこなうブロック４１と、ITU-T勧告G.723.1の音声符号化および復号化をおこなうブロック４２と、H.223実行部５１と、V.42実行部５２と、物理レイヤ５３とから構成される。以下、各部の具体的な構成と処理の内容を順に説明する。
【００６０】
図３に示すデータ通信プロトコルにおいて、ブロック４０は、通信制御アプリケーション４３と、H.245実行部４４と、CCSRL（Control Channel Segmentation and Reassembly Layer）４５と、LAPM実行部４６とから構成され、データ通信コネクションの確立や解放などの通信制御を実行する。
【００６１】
具体的には、通信制御アプリケーション４３は、データ通信コネクションの確立や解放などの通信制御を実行する。また、H.245実行部４４は、ITU-T勧告H.245に準拠した動作を実行する。また、CCSRL４５は、H.245実行部４４から受け取ったＳＤＵ（Service Data Unit）を１つまたは複数のＰＤＵ（Protocol Data Unit）に分割するとともに、LAPM実行部４６から受け取った１つまたは複数のＰＤＵから１つのＳＤＵを生成する。また、LAPM実行部４６は、ITU-T勧告V.42の中で規定された誤り訂正手順であるLAPM（Link Access Procedures for Modems）を実行する。
【００６２】
また、図３に示すデータ通信プロトコルにおいて、ブロック４１は、バイナリデータ転送アプリケーション４７と、X.225実行部４８とから構成され、静止画像ファイルなどのバイナリデータの転送を実行する。具体的には、バイナリデータ転送アプリケーション４７は、バイナリファイル転送フォーマットとしてITU-T勧告T.434を使用して、静止画像ファイルなどのバイナリデータの転送を実行する。また、X.225実行部４８は、ITU-T勧告X.225に準拠したセッションレイヤの動作を実行する。
【００６３】
また、図３に示すデータ通信プロトコルにおいて、ブロック４２は、オーディオI/O４９と、G.723.1実行部５０とから構成され、ITU-T勧告G.723.1の音声符号化および復号化を実行する。具体的には、オーディオI/O４９は、イヤホンマイクに該当し、G.723.1実行部５０は、音声処理部３０に該当する。なお、ITU-T勧告G.723.1では、音声データを5.3Kbit/sまたは6.3Kbit/sで符号化する。
【００６４】
また、図３に示すデータ通信プロトコルにおいて、H.223実行部５１は、アダプテーションレイヤと多重化レイヤとから構成され、ITU-T勧告H.223に準拠した動作を実行する。なお、ITU-T勧告H.223は、モバイル通信用に３つのレベルのプロトコルを規定しており、レベル１が最も誤り耐性が弱く、レベル３が最も誤り耐性が強い。
【００６５】
具体的には、H.223実行部５１におけるH.223レベル３のアダプテーションレイヤは、LAPM実行部４６から受け取った通信制御データとX.225実行部４８から受け取ったバイナリデータとについて、誤り検出、順方向誤り訂正（ＦＥＣ：Forward Error Correction）および再送（ＡＲＱ：Automatic ReQuest for reception）を実行する。また、H.223実行部５１におけるH.223多重化レイヤは、H.223アダプテーションレイヤから受け取った通信制御データ、バイナリデータ、および音声データを多重化するとともに、V.42実行部５２から受け取った多重化データから通信制御データ、バイナリデータ、および音声データを分離してH.223アダプテーションレイヤへ送り出す。
【００６６】
また、図３に示すデータ通信プロトコルにおいて、V.42実行部５２は、通信用のＰＣカード３７に実装されており、ITU-T勧告V.42に準拠した動作を実行して、データの誤り訂正をおこなう。また、物理レイヤ５３も、通信用のＰＣカード３７に実装されており、通信速度に対応したデータの変調をおこなう。
【００６７】
なお、図３に示すデータ通信プロトコルにおいては、呼の接続や解放など、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格である「デジタル方式自動車電話システム標準規格」（規格番号RCR STD-27G）に準拠した動作を実行する処理部の図示を省略している。また、上記の通信方式では、音声の符号化方式を通信モードに従って適宜切り替えることができるが、本実施の形態では、説明の便宜上、音声の符号化をITU-T勧告G.723.1のみに限定して説明している。
【００６８】
［データ通信プロトコルを用いた通信例］
次に、図４〜図６を参照して、本実施の形態に用いられるモバイル端末１におけるデータ通信プロトコルを用いた通信例を説明する。なお、本実施の形態では、ＰＤＣのデータ通信サービスを利用して、図３に示したデータ通信プロトコルを用いて相手端末と通信する場合を説明する。
【００６９】
まず最初に、相手端末と接続して会話ができる通信状態になるまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図４は、相手端末と接続して会話ができる通信状態になるまでのシーケンスを示す図である。同図に示すように、まず、ARIB規格RCR STD-27Gに規定される手順に従って呼を接続し、自端末のV.42実行部５２と相手端末のV.42実行部５２との間でデータリンクコネクションが確立されると、自端末のH.245実行部４４は、TerminalCapabilitySetメッセージを送信し、相手端末から応答メッセージであるTerminalCapabilitySetAckを受信することによって、端末間の能力交換をおこなう。
【００７０】
そして、自端末のH.245実行部４４はMasterSlaveDeterminationメッセージを送信し、相手端末からマスターの決定情報が入ったMasterSlaveDeterminationAckメッセージを受信すると、スレーブの決定情報を入れたMasterSlaveDeterminationAckメッセージを送信することによって、自端末はマスターとなり、相手端末はスレーブとなる。
【００７１】
そして、自端末のH.245実行部４４は、データタイプとしてG.723.1オーディオを含めたOpenLogicalChannelメッセージを送信し、相手端末から応答メッセージであるOpenLogicalChannelAckメッセージを受信することによって、音声チャネルを開設する。
【００７２】
そして、自端末のH.245実行部４４は、MultiplexEntrySendメッセージを送信し、相手端末から応答メッセージであるMultiplexEntrySendAckメッセージを受信して多重化テーブルエントリを決定することによって、音声データ通信を実行可能なフェーズ、すなわち通信相手と会話ができる状態に移行する。なお、図４に示す通信制御アプリケーション４３とH.245実行部４４との間のプリミティブは、ITU-T勧告H.245に規定されたものである。
【００７３】
次に、会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図５は、会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでのシーケンスを示す図である。
【００７４】
図５に示すように、静止画像データを音声データと多重化して送信する要求が生じた場合、まず、自端末のH.245実行部４４は、データタイプとしてT.434データを含めたOpenLogicalChannelメッセージを送信し、相手端末から応答メッセージであるOpenLogicalChannelAckメッセージを受信することによって、バイナリデータ用のチャネルを開設する。
【００７５】
そして、自端末のH.245実行部４４は、MultiplexEntrySendメッセージを送信し、相手端末から応答メッセージであるMultiplexEntrySendAckメッセージを受信して多重化テーブルエントリを決定することによって、静止画像データと音声データとを多重化して送信できる状態に移行する。なお、図５に示す通信制御アプリケーション４３とH.245実行部４４との間のプリミティブは、ITU-T勧告H.245に規定されたものである。
【００７６】
次に、通信可能状態から通信状態を終了するまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図６は、通信可能状態から通信状態を終了するまでのシーケンスを示す図である。同図に示すように、通信を終了する場合、まず、自端末のH.245実行部４４は、音声チャネルとバイナリデータ用のチャネルそれぞれに対してCloseLogicalChannelメッセージを送信し、その応答メッセージであるCloseLogicalChannelAckメッセージを受信することによって、音声チャネルとバイナリデータ用のチャネルを閉じる。
【００７７】
そして、自端末のH.245実行部４４は、EndSessionCommandメッセージを送信して、相手端末へ通信の終了を通知する。そして、V.42実行部５２間のデータリンクコネクションを解放した後、ARIB規格RCR STD-27Gに規定される手順に従って呼を解放する。なお、図６に示すEndSession要求プリミティブおよびEndSession通知プリミティブは、ITU-T勧告H.245に規定されていない、本実施の形態に固有のものである。
【００７８】
［モバイル端末の動作例］
次に、図７〜図１８を参照して、本実施の形態に用いられるモバイル端末１における動作例（動作例１〜動作例８）を説明する。なお、下記に示す動作例１では、画像データのデータ量をチェックして画像データを送信する場合について説明し、動作例２では、解像度の異なる複数のフレームにより構成される画像データを送信する場合について説明し、動作例３では、解像度の異なる複数のサブ画像から構成される画像データを送信する場合について説明する。
【００７９】
また、動作例４では、表示した画像内容の所定部分を矩形領域によって指定しつつ、画像データを送信する場合について説明し、動作例５では、表示した画像の所定部分をオブジェクトによって指定しつつ、画像データを送信する場合について説明する。また、動作例６では、被写体の所定部分を矩形領域によって指定しつつ撮影して画像データを送信する場合について説明し、動作例７では、被写体の所定部分をオブジェクトによって指定しつつ撮影して画像データを送信する場合について説明し、動作例８では、撮影画面の中心部分をオブジェクトによって指定しつつ撮影して画像データを送信する場合について説明する。
【００８０】
（動作例１）
動作例１では、モバイル端末１は、制御部７によって画像データのデータ量が所定量を超えるか否かを判定し、越えない場合には、音声データの送信を停止して画像データのみを送信し、越える場合には、音声データと画像データとを多重化して送信するよう動作する。図７は、モバイル端末１の動作例１を説明するためのフローチャートである。以下、図７を参照して、モバイル端末１の動作例１を説明する。
【００８１】
まず、モバイル端末１は、操作部５を使用して発呼操作が行われたか否かを判断し（ステップＳ７０１）、発呼操作が行われた場合（ステップＳ７０１肯定）、相手端末と呼を接続し、V.42実行部５２間でデータリンクコネクションを確立し、図４に示した通信シーケンスに従って音声データ用のチャネルを開設する（ステップＳ７０２）。
【００８２】
そして、相手と通話している時に画像メモリ２５に記憶されている静止画像ファイルの中から送信するファイルが選択されると（ステップＳ７０３肯定）、そのファイルのデータ量が所定の値よりも小さいか否かを判断する（ステップＳ７０４）。なお、所定の値としては、音声データの送信を停止してそのデータを送信した場合の送信時間（会話ができない時間）などを考慮して定められる。
【００８３】
そして、データ量が予め定められた所定の値よりも小さい場合（ステップＳ７０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ７０５）。ここで、呼が接続してから最初のファイル送信の場合には（ステップＳ７０６肯定）、図５に示した通信シーケンスに従ってバイナリデータ用のチャネルを開設する（ステップＳ７０７）。
【００８４】
そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信し、この送信をおこなっている間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ７０８）。そして、静止画像ファイルの送信が終了すると（ステップＳ７０９肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ７１０）。
【００８５】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開する（ステップＳ７１１）。なお、バイナリデータ用のチャネルは、次のファイル送信に備えてそのままにしておく。なお、上記のファイル転送の間、すなわち音声がミュートされているとき、ＬＣＤ３２は、音声がミュート状態であることを表すメッセージやアイコンを表示する。これによって、ユーザの利便性を向上させることができる。
【００８６】
一方、選択されたファイルのデータ量が予め定められた所定の値よりも大きい場合において（ステップＳ７０４否定）、呼が接続してから最初のファイル送信の場合（ステップＳ７１２肯定）、図５に示した通信シーケンスに従ってバイナリデータ用のチャネルを開設する（ステップＳ７１３）。そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信するが、H.223実行部５１は、静止画像ファイルのデータを音声データと多重化して送信する（ステップＳ７１４）。すわなち、会話をしながらファイル転送が実行される。
【００８７】
上述してきたように、動作例１によれば、制御部７は、画像データのデータ量が所定の値より小さいか否かを判定し、所定の値よりも小さいと判定された場合に、画像データのみを送信し、所定の値以上であると判定された場合に、音声データと画像データとを多重化した情報を送信することとしたので、リアルタイム性が要求されない画像データなどのデータ量が少量である場合に、僅かな時間だけ会話（リアルタイム性が要求される音声データの送受信）を中断して、この画像データを早急に会話相手に送信することができる。このため、送信相手は、画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【００８８】
（動作例２）
動作例２では、モバイル端末１は、画像メモリ２５にて解像度の異なる複数のフレームにより構成される画像データを記憶し、この画像データのうち所定のフレームまでの画像データの送信については、音声データの送信を停止しておこない、残りのフレームの画像データの送信については、音声データと多重化して送信するよう動作する。
【００８９】
まず最初に、画像データの記憶形式について説明する。動作例２では、画像メモリ２５は、カラー静止画像をＪＰＥＧの符号化方式の１つである階層型モードで符号化されたファイルとして記憶する。この画像ファイルは、解像度の異なる複数のフレームにより構成され、フレームには、次に続くフレームの予測に使用する参照再生成分と、現成分と参照再生成分との差分を符号化した差分フレームがある。このため、この画像を再生（復号化）して表示する場合、低解像度のフレームから、より高解像度のフレームへと順次フレームを再生していくため、初めは荒い画像が表示されるが、徐々に表示画像の品質が向上する。
【００９０】
したがって、モバイル端末１によってこの画像ファイルを相手のモバイル端末に送信する場合、低解像度のフレームデータから、より高解像度のフレームデータが順次送信される。このため、受信側のモバイル端末１においては、受信した画像データをリアルタイムに表示すると、初めは荒い画像が表示されるが、徐々に表示画像の品質が向上する。
【００９１】
次に、図８を参照して、モバイル端末１の動作例２を説明する。図８は、モバイル端末１の動作例２を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【００９２】
まず、相手と通話している時に、画像メモリ２５に記憶されている階層型モードの静止画像ファイルの中から送信するファイルが選択されると（ステップＳ８０１肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ８０２）。
【００９３】
そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信するが、そのファイルの先頭から所定のフレームまでのデータを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ８０３）。なお、所定のフレームとしては、音声データの送信を停止してそのフレームまでのデータを送信した場合の送信時間（会話ができない時間）などを考慮して定められる。
【００９４】
そして、静止画像ファイルの所定のフレームまでのデータ送信が終了すると（ステップＳ８０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ８０５）。そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ８０６）、H.223実行部５１は、静止画像ファイルの残りのフレームデータと音声データとを多重化して送信する（ステップＳ８０７）。すなわち、会話をしながらファイルの残り部分のデータ転送が実行される。
【００９５】
なお、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、静止画像ファイルの各フレームを受信する度に、画像圧縮伸長処理部１９によって伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。
【００９６】
上述してきたように、動作例２によれば、制御部７は、所定の階層までの画像データを送信し、この送信後に、音声データと前記所定の階層以降の画像データとを多重化した情報を送信することとしたので、僅かな時間だけ会話を中断して、所定の階層までの画像データを、早急に会話相手に送信することができる。このため、送信相手は、先に受信した所定の階層までの画像データに基づいて後に受信する画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【００９７】
（動作例３）
動作例３では、モバイル端末１は、画像メモリ２５にて解像度の異なる複数のサブ画像により構成される画像データを記憶し、この画像データから、最低解像度の画像データを、音声データの送信を停止して送信し、その後、最高解像度の画像データを、音声データと多重化して送信するよう動作する。
【００９８】
まず最初に、画像データの記憶形式について説明する。動作例３では、画像メモリ２５は、カラー静止画像をFlash Pixとして記憶する。このFlash Pixでは、１つの画像オブジェクトが解像度の異なる複数のサブ画像から構成されている。また、それぞれのサブ画像は画像ブロックの最小単位である６４×６４画素のタイルから構成されており、各タイル毎にJPEG圧縮されている。
【００９９】
例えば、1024×1024画素で撮影した画像には、512×512画素、256×256画素、128×128画素、６４×６４画素のサブ画像が存在し得るが、これらの中で512×512画素と256×256画素のサブ画像のみが別々のファイルとして、1024×1024画素のオリジナル画像とともに画像メモリ２５に保存されている。
【０１００】
次に、図９を参照して、モバイル端末１の動作例３を説明する。図９は、モバイル端末１の動作例３を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１０１】
まず、相手と通話している時に、画像メモリ２５に記憶されているFlash Pixの静止画像の中から送信するものが選択されると（ステップＳ９０１肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ９０２）。
【０１０２】
そして、指定された静止画像のサブ画像ファイルの中で最も解像度の小さいものをバイナリデータ用のチャネルで送信するが、この解像度が最も小さいサブ画像ファイルを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ９０３）。そして、そのサブ画像ファイルの送信が終了すると（ステップＳ９０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ９０５）。
【０１０３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ９０６）、H.223実行部５１は、オリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ９０７）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１０４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信されたサブ画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１０５】
上述してきたように、動作例３によれば、制御部７は、最小データ量（最小解像度）の画像データを送信し、この送信後に、音声データと最大データ量（最高解像度）の画像データとを多重化した情報を送信することとしたので、僅かな時間だけ会話を中断して、最小解像度の画像データを早急に会話相手に送信することができる。このため、送信相手は、先に受信した最小解像度の画像データに基づいて後に受信する最高解像度の画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１０６】
（動作例４）
動作例４では、モバイル端末１は、画像メモリ２５に記憶された画像をＬＣＤ３２に表示し、この表示された画像内容の任意の矩形領域をタッチパネル３３によって指定する。そして、モバイル端末１は、この指定された矩形領域内の画像データを、音声データの送信を停止して送信し、その後、全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１０７】
図１０は、ＬＣＤ３２における画像の表示例を示す図であり、図１１は、モバイル端末１の動作例４を説明するためのフローチャートである。以下、図１１を参照して、モバイル端末１の動作例４を説明する。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１０８】
まず、相手と通話している時に、操作部５によって画像メモリ２５に記憶された静止画像ファイルの再生操作があると、この静止画像を画像圧縮伸長処理部１９にて伸長し、伸長した画像データをＬＣＤ３２に表示する（ステップＳ１１０１）。そして、電子ペンなどを使用してタッチパネル３３によって、この静止画像中の任意の矩形領域が指定されると（ステップＳ１１０２肯定）、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮し、圧縮された画像データをメインメモリ２３に記憶する（ステップＳ１１０３）。
【０１０９】
そして、操作部５によって、この静止画像の送信操作が行われると（ステップＳ１１０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１１０５）。
【０１１０】
そして、メインメモリ２３に記憶された矩形領域内の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域内の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１１０６）。
【０１１１】
そして、その矩形領域内の画像データの送信が終了すると（ステップＳ１１０７肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１１０８）。そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１１０９）、H.223実行部５１は、画像メモリ２５に記憶されたオリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１１１０）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１１２】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域内の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１１３】
上述してきたように、動作例４によれば、操作部５は、表示部４に表示された画像から、画像の一部を矩形領域で指定することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたい矩形領域内の画像を、早急に会話相手に送信することができる。このため、送信相手は、先に受信した短形領域内の画像に基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１１４】
なお、動作例４では、画像の一部を矩形領域で指定する場合を示したが、本発明はこれに限定されるものではなく、円形、楕円形、三角形などの領域で指定することもできる。また、動作例４では、１つの矩形領域の画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数の短形領域の画像データを多重化に先立って送信することもできる。
【０１１５】
また、動作例４では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信した矩形領域の画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１１６】
（動作例５）
動作例５では、モバイル端末１は、画像メモリ２５に記憶された画像をＬＣＤ３２に表示し、この表示された画像内容の任意のオブジェクトをタッチパネル３３によって指定する。そして、モバイル端末１は、この指定されたオブジェクトを含む矩形領域内の画像データを、音声データの送信を停止して送信し、全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１１７】
まず最初に、図１２および図１３を参照して、オブジェクト画像の抽出について説明する。ＪＰＥＧ圧縮は矩形画像を圧縮するものであるが、任意の形状のオブジェクト画像を圧縮する場合には、オブジェクト画像を含んだ矩形画像を圧縮処理し、ＪＰＥＧファイルのファイルヘッダにそのオブジェクト画像を含んだ矩形画像の位置情報を入れる方法が一般的におこなわれている。
【０１１８】
たとえば、オブジェクト画像の輪郭線を抽出する方法として、特開平５−３２４８２９号公報に開示された方法がある。これは、矩形や閉曲線で囲まれた領域内のオブジェクト画像の輪郭線を抽出するものであり、また、閉曲線上の各点を閉曲線を膨張させる方向に移動させることによって、物体の輪郭を抽出する方法も開示されている。なお、この閉曲線を点とした場合においても、同様の方法によって、その点を含んだオブジェクト画像の輪郭線を抽出することができる。
【０１１９】
この特開平５−３２４８２９号公報に開示された方法にて、オブジェクト画像の輪郭線を抽出すると、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する。そして、この矩形領域内にあり、かつ輪郭線の外側にある画素の値を全てゼロに置き換える。そして、このオブジェクト画像を含む最小面積の矩形領域の位置データを、ＪＰＥＧファイルのファイルヘッダに入れておく。図１２は、ＪＰＥＧファイルのファイルヘッダの構造を示す図である。
【０１２０】
図１２において、SOIは、Start Of Imageであり、画像の開始を表すマーカーである。また、APP0は、Application segmentであり、アプリケーションデータのセグメントである。また、COMは、Commentであり、コメント用のセグメントである。また、DQTは、Define Quantization Tableであり、量子化テーブルデータのセグメントである。また、APP0セグメントは、アプリケーションデータマーカーコード（２バイト）と、アプリケーションデータセグメント長（２バイト）と、矩形領域の水平方向の位置情報の識別子（１バイト）およびそのデータ（２バイト）と、矩形領域の垂直方向の位置情報の識別子（１バイト）およびそのデータ（２バイト）とから構成される。
【０１２１】
また、図１３は、抽出されたオブジェクト画像と、これを含む最小面積の矩形領域との関係を示す図である。同図において、矩形領域の左上の頂点（点Ｂ）の位置は、オリジナル画像の左上の頂点（点Ａ）からの水平方向と垂直方向の座標点（ｘ，ｙ）で表される。なお、この座標の単位は画素であり、例えば、（ｘ，ｙ）＝（１００，２００）は、図１３の点Ａから水平方向へ１００画素、垂直方向へ２００画素の位置である。
【０１２２】
また、ＪＰＥＧ符号化では、８×８画素のブロック毎に処理が実行されるので、オブジェクト画像を含む最小面積の矩形領域の縦方向および横方向の画素数が８の倍数でない場合には、８の倍数になるように値がゼロのデータを追加する。
すなわち、図１３に示すように、矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換える。なお、矩形領域の大きさ（縦横の画素数）は、ＪＰＥＧ規格で定義された位置、すなわち、ＳＯＦ（Start Of Frame）セグメント内の所定の位置に書き込まれる。
【０１２３】
次に、図１４を参照して、モバイル端末１の動作例５を説明する。図１４は、モバイル端末１の動作例５を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。まず、相手と通話している時に、操作部５によって画像メモリ２５に記憶された静止画像ファイルの再生操作があると、この静止画像を画像圧縮伸長処理部１９にて伸長し、伸長した画像データをＬＣＤ３２に表示する（ステップＳ１４０１）。
【０１２４】
そして、電子ペンなどを使用してタッチパネル３３によって、この静止画像中の任意のオブジェクト画像が閉曲線にて囲まれて指定されると（ステップＳ１４０２）、上記に説明した方法でオブジェクト画像の輪郭線を抽出する（ステップＳ１４０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１４０４）。
【０１２５】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、オブジェクト以外の部分をゼロで置き換えた矩形画像データを画像圧縮伸長処理部１９へ転送して圧縮処理を行い、この圧縮画像データをメインメモリ２３にＪＰＥＧファイル形式で記憶する（ステップＳ１４０５）。なお、この記憶処理においては、ＪＰＥＧファイルのファイルヘッダに、矩形領域の位置情報を書き込む。
【０１２６】
その後、この静止画像の送信操作が行われると（ステップＳ１４０６肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１４０７）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式のオブジェクト画像データをバイナリデータ用のチャネルで送信するが、このオブジェクト画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１４０８）。
【０１２７】
そして、そのオブジェクト画像データの送信が終了すると（ステップＳ１４０９肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１４１０）。
【０１２８】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１４１１）、H.223実行部５１は、画像メモリ２５に記憶されたオリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１４１２）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１２９】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信されたＪＰＥＧファイル形式のオブジェクト画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１３０】
上述してきたように、動作例５では、操作部５は、表示部４に表示された画像情報から、画像の一部を形成するオブジェクトを指定することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、早急に会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１３１】
なお、動作例５では、閉曲線によってオブジェクト画像を指定する場合を示したが、本発明はこれに限定されるものではなく、ポイント（点）によってオブジェクト画像を指定することもできる。また、動作例５では、１つのオブジェクトの画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数のオブジェクトの画像データを多重化に先立って送信することもできる。
【０１３２】
また、動作例５では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信したオブジェクトの画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１３３】
（動作例６）
動作例６では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この表示された被写体像から任意の矩形領域を操作指示部２９によって指定して撮影する。そして、モバイル端末１は、被写体の矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１３４】
まず最初に、被写体像から任意の矩形領域を指定して撮影をおこなって、画像データを記憶する手順について説明する。まず、ＣＣＤ１３によって電気信号に変換された被写体画像は、ＣＤＳ回路１４、Ａ／Ｄ変換器１５、デジタル信号処理部１８、およびファインダ表示制御部２６を介して電子ビューファインダ３１に表示される。続いて、操作指示部２９に備えられる「領域指定ボタン」が押下されると、予め決められた大きさの矩形を電子ビューファインダ３１に表示する。なお、図１５は、電子ビューファインダ３１の表示例を示す図である。
【０１３５】
そして、操作指示部２９に備えられた「領域ズームボタン」が押下されると、ファインダ表示制御部２６は、矩形を拡大あるいは縮小して電子ビューファインダ３１に表示する。また、操作指示部２９に備えられた「領域移動ボタン（上下左右の指示ボタン）」が押下されると、ファインダ表示制御部２６は、矩形を指定された方向へ所定距離だけ移動して電子ビューファインダ３１に表示する。
【０１３６】
続いて、操作指示部２９に備えられた「撮影ボタン」が押下されると、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する。
【０１３７】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理する。そして、圧縮された画像データを、図１２に示したＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する。
【０１３８】
次に、図１６を参照して、モバイル端末１の動作例６を説明する。図１６は、モバイル端末１の動作例６を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１３９】
まず、相手と通話している時に、操作部５によって、領域指定ボタン、領域ズームボタン、および領域移動ボタンが操作されて被写体中の矩形領域が指定され、撮影ボタンが押されると（ステップＳ１６０１肯定）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１６０２）。
【０１４０】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１６０３）。
【０１４１】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１６０４）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１６０５）。
【０１４２】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１６０６肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１６０７）。
【０１４３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１６０８）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１６０９）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１４４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１４５】
上述してきたように、動作例６では、画像入力部２および操作部５は、表示部４に表示される画像の一部の矩形領域を指定しつつ画像を入力し、制御部７は、この指定入力された一部の矩形領域内の画像を送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたい一部の画像を、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信した一部の画像に基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１４６】
なお、動作例６では、１つの矩形領域の画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数の短形領域の画像データを多重化に先立って送信することもできる。また、動作例６では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信した矩形領域の画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１４７】
（動作例７）
動作例７では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この表示された被写体像から任意のオブジェクト画像を操作部５によって指定して撮影する。そして、モバイル端末１は、このオブジェクト画像を含む矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。なお、動作例７において、オブジェクト画像の抽出手順およびオブジェクト画像データの送信手順は、上記した動作例５と同様であるので、その説明を省略する。以下、図１７を参照して、モバイル端末１の動作例７を説明する。
【０１４８】
図１７は、モバイル端末１の動作例７を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。まず、相手と通話している時に、操作部５によって、領域指定ボタン、領域ズームボタン、領域移動ボタンが操作されて被写体中のオブジェクト画像が閉曲線などにより指定され、撮影ボタンが押されると（ステップＳ１７０１肯定）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１７０２）。
【０１４９】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、特開平５−３２４８２９号公報に開示された方法を用いて、その矩形で囲まれた領域内のオブジェクト画像の輪郭線を抽出する（ステップＳ１７０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１７０４）。
【０１５０】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、このオブジェクト画像を含む最小面積の矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１７０５）。
【０１５１】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１７０６）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１７０７）。
【０１５２】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１７０８肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１７０９）。
【０１５３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１７１０）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１７１１）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１５４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１５５】
上述してきたように、動作例７では、画像入力部２および操作部５は、表示部４に表示される画像を形成するオブジェクトを指定しつつ画像を入力し、制御部７は、この指定入力されたオブジェクトを送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１５６】
なお、動作例７では、１つのオブジェクトの画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数のオブジェクトの画像データを多重化に先立って送信することもできる。また、動作例７では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信したオブジェクトの画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１５７】
（動作例８）
動作例８では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この電子ビューファインダ３１に中心に位置するオブジェクト画像を指定して撮影する。そして、モバイル端末１は、このオブジェクト画像を含む矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１５８】
なお、動作例８において、オブジェクト画像の抽出手順およびオブジェクト画像データの送信手順は、上記した動作例５と同様であるので、その説明を省略する。以下、図１８を参照して、モバイル端末１の動作例８を説明する。図１８は、モバイル端末１の動作例８を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１５９】
まず、ファインダ表示制御部２６は、電子ビューファインダ３１に表示する被写体画像データの中心に、例えば十字マークなどを表示する。そして、相手と通話している時に撮影ボタンが押されると（ステップＳ１８０１）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１８０２）。
【０１６０】
そして、メインメモリ２３に記憶された被写体画像データの中心にあるオブジェクトを抽出する処理をおこなう。すなわち、特開平５−３２４８２９号公報に開示された方法を用いて、電子ビューファインダ３１に表示されていた十字マークを含むオブジェクトの輪郭線を抽出する（ステップＳ１８０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１８０４）。
【０１６１】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、このオブジェクト画像を含む最小面積の矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１８０５）。
【０１６２】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１８０６）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１８０７）。
【０１６３】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１８０８肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１８０９）。
【０１６４】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１８１０）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１８１１）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１６５】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１６６】
上述してきたように、動作例８では、画像入力部２および操作部５は、表示部４に表示される画像の中心に位置するオブジェクトを指定しつつ画像を入力し、制御部７は、この指定入力されたオブジェクトを送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１６７】
なお、本実施の形態で説明した情報処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピューターやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、上記記録媒体を介して、インターネットなどのネットワークを介して配布することができる。
【０１６８】
また、本実施の形態では、ＰＤＣのデータ通信サービスを利用してモバイル端末１間で通信する場合を説明したが、本発明はこれに限定されるものではなく、ＰＳＴＮ端末間、モバイル端末１とＰＳＴＮ端末間、などで通信することもできる。なお、図３に示したデータ通信プロトコルの構成で、物理レイヤ５３にITU-T勧告V.34モデムなどのアナログ電話回線用のモデムを使用すれば、ＰＳＴＮに接続する通信端末となる。
【０１６９】
【発明の効果】
以上説明したように、本発明によれば、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、早急に会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することが可能な情報処理装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に用いられるモバイル端末の構成を示すブロック図である。
【図２】本実施の形態に用いられるモバイル端末の外観を示す図である。
【図３】データ通信プロトコルの構成を示すブロック図である。
【図４】相手端末と接続して会話ができる通信状態になるまでのシーケンスを示す図である。
【図５】会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでのシーケンスを示す図である。
【図６】通信可能状態から通信状態を終了するまでのシーケンスを示す図である。
【図７】モバイル端末の動作例１を説明するためのフローチャートである。
【図８】モバイル端末の動作例２を説明するためのフローチャートである。
【図９】モバイル端末の動作例３を説明するためのフローチャートである。
【図１０】図１に示したＬＣＤにおける画像の表示例を示す図である。
【図１１】モバイル端末の動作例４を説明するためのフローチャートである。
【図１２】ＪＰＥＧファイルのファイルヘッダの構造を示す図である。
【図１３】抽出されたオブジェクト画像と、これを含む最小面積の矩形領域との関係を示す図である。
【図１４】モバイル端末の動作例５を説明するためのフローチャートである。
【図１５】図１に示した電子ビューファインダの表示例を示す図である。
【図１６】モバイル端末の動作例６を説明するためのフローチャートである。
【図１７】モバイル端末の動作例７を説明するためのフローチャートである。
【図１８】モバイル端末の動作例８を説明するためのフローチャートである。
【符号の説明】
１ モバイル端末
２ 画像入力部
３ 画像処理部
４ 表示部
５ 操作部
６ 通信部
７ 制御部
２５ 画像メモリ
３０ 音声処理部
３８ 音声入力部
３９ 音声出力部
【発明の属する技術分野】
この発明は、情報処理装置および情報処理方法に関する。
【０００２】
【従来の技術】
従来、携帯電話やＰＨＳ（Personal Handyphone System）などの移動体情報処理サービスを利用して、音声データの送受信だけではなく、文章や画像などの非音声データも送受信できる情報処理端末が登場し、さらに、ＣＣＤ（Charge Coupled Device）などの撮影部を備えた情報処理端末も普及してきている。
【０００３】
このようなモバイル端末においては、単一の伝送路を共有して音声データと画像データとを送信するが、会話（音声データの送受信）によるコミュニケーションを遮断しないように、音声データと画像データとを多重化して送信することが一般的におこなわれている。また、音声データに比較して大きなデータ量を有する画像データを効率良く送信するために、種々の送信技術（たとえば、特開平８−２７９８３５号公報、特開平９−２６１１９７号公報、特開平１０−２２９３７５号公報などに開示された送信技術）が提案されている。以下、これらの従来技術について簡単に説明する。
【０００４】
まず最初に、特開平８−２７９８３５号公報には、音声データの有無、すなわち無音期間を検出する送信技術が開示されている。すなわち、この従来技術においては、音声の無音期間を検出し、無音期間中は、音声データの送信（音声データと画像データの多重化送信）を中断して、画像データのみを送信することによって、画像データを効率良く送信している。
【０００５】
また、特開平９−２６１１９７号公報には、音声データを圧縮する送信技術が開示されている。すなわち、この従来技術においては、送信する画像データが大きい場合に、音声データを圧縮して音声データの伝送帯域幅を小さくすること（画像データの伝送帯域幅を大きくすること）によって、画像データを効率良く送信している。
【０００６】
また、特開平１０−２２９３７５号公報には、画像データを優先的に送信するか否かを選択させる送信技術が開示されている。すなわち、この従来技術においては、送信する画像データのデータ量が大量に蓄積されている場合に、画像データの優先的送信を選択させ、この選択がなされると、音声データの送信を中断して、画像データのみを送信することによって、画像データを効率良く送信している。
【０００７】
【発明が解消しようとする課題】
しかしながら、上記の従来技術は、送信する画像データのデータ量が大きい場合に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要するという問題点があった。
【０００８】
すなわち、特開平８−２７９８３５号公報に開示された従来技術は、無音期間中に、画像データのみを送信している。しかし、話者の周囲が騒々しい環境であって、会話はしていないが有音期間として検出される場合には、画像データを音声データと多重化して送信せざるを得ない。このため、画像データのデータ量が大きい場合には、通信相手に画像データが送信されるまでの時間が長くなってしまう。したがって、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要していた。また、この結果として、通信時間が長くなり通信費用も高くなっていた。
【０００９】
また、特開平９−２６１１９７号公報に開示された従来技術は、送信する画像データが大きい場合に、音声データを圧縮して画像データの伝送帯域幅を大きくしている。しかし、デジタル携帯電話サービスのＰＤＣ(Personal Digital Cellular)などのように伝送路の帯域幅が小さい場合には、音声信号の圧縮による画像データ伝送帯域幅の拡大にも限界がある。このため、画像データのデータ量が大きい場合には、通信相手に画像データが送信されるまでの時間が長くなってしまう。したがって、上記の従来技術（特開平８−２７９８３５号公報に開示された従来技術）と同様に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要し、結果として、通信時間が長くなり通信費用も高くなっていた。
【００１０】
また、特開平１０−２２９３７５号公報に開示された従来技術は、画像データのデータ量が大きい場合に、画像データの優先的送信を選択させて、画像データのみを送信している。しかし、画像データのデータ量が大きい場合に画像データのみを優先的に送信するものであるため、会話によるコミュニケーションが長時間にわたって遮断されてしまうこととなる。また、画像データのデータ量が大きいと、通信相手に画像データが送信されるまでの時間が長くなってしまうため、上記の従来技術（特開平８−２７９８３５号公報に開示された従来技術）と同様に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要し、結果として、通信時間が長くなり通信費用も高くなっていた。
【００１１】
ところで、近年、ＣＣＤなどの撮像素子の高画素化にともなって、画像データのデータ量も大きくなってきており、上述した従来技術の問題点は、一層顕著である。特に、撮影部を備える情報処理端末においては、通話中に撮影した画像データを通信相手に送信し、早急に画像データの内容を理解して円滑に会話できることが要望されている。しかし、上述したように、上記の従来技術では、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要するため、このような要望に応えることが困難であった。
【００１２】
そこで、この発明は、上述した従来技術による問題点を解決するため、送受信される画像データの内容を早急に理解して、円滑な会話をおこなうことができる情報処理装置および情報処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る情報処理装置は、単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置において、前記画像データにかかる画像を表示する表示手段と、前記表示手段に表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定手段と、前記指定手段によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御手段と、を備えたことを特徴とする。
【００１４】
また、請求項２記載の発明は、請求項１に記載の情報処理装置において、前記送信制御手段が送信する前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、ことを特徴とする。
【００１５】
また、請求項３の発明に係る情報処理装置は、請求項１または２に記載の発明において、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する手段を備え、前記送信制御手段は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、ことを特徴とする。
【００１６】
また、請求項４の発明に係る情報処理装置は、請求項３に記載の発明において、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する手段を備え、前記送信制御手段は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、ことを特徴とする。
【００１７】
また、請求項５の発明に係る情報処理方法は、単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置で実行される情報処理方法であって、前記画像データにかかる画像を表示する表示工程と、前記表示工程により表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定工程と、前記指定工程によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定工程によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御工程と、を含むことを特徴とする。
【００１８】
また、請求項６の発明に係る情報処理方法は、請求項５に記載の発明において、前記送信制御工程で送信される前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、ことを特徴とする。
【００１９】
また、請求項７の発明に係る情報処理方法は、請求項５または６に記載の発明において、前記指定工程で指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する工程を含み、前記送信制御工程は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、ことを特徴とする。
【００２０】
また、請求項８の発明に係る情報処理方法は、請求項７に記載の発明において、前記指定工程で指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する工程を含み、前記送信制御工程は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、ことを特徴とする。
【００３４】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る情報処理装置および情報処理方法の好適な実施の形態を詳細に説明する。
【００３５】
なお、本実施の形態では、本発明を、ＰＳＴＮや携帯電話サービスのＰＤＣ(Personal Digital Cellular)などの比較的低いビットレート回線に接続して、音声データ（リアルタイム性が要求される情報）と画像データ（リアルタイム性が要求されない情報）とを同時に送受信するモバイル端末に適用した場合を示すこととする。
【００３６】
ただし、本実施の形態によって本発明が限定されるものではなく、たとえば、ＰＤＡ（Personal Digital Assistants）、ＴＶ電話、ＴＶ会議システムなど、リアルタイム性が要求される情報（たとえば、音声情報など）とリアルタイム性が要求されない情報（たとえば、画像情報、文章情報、音楽情報など）とを同時に送受信する、あらゆる情報処理に適用することができる。
【００３７】
以下、本発明の実施の形態について、［モバイル端末の構成例］と、［データ通信プロトコルの構成例］と、［データ通信プロトコルを用いた通信例］と、［モバイル端末の動作例（動作例１〜動作例８）］とを順に説明する。
【００３８】
［モバイル端末の構成例］
まず最初に、図１および図２を参照して、本実施の形態に用いられるモバイル端末の概略的な構成および処理の内容を説明する。図１は、本実施の形態に用いられるモバイル端末の構成を示すブロック図である。また、図２は、本実施の形態に用いられるモバイル端末の外観を示す図であり、詳細には、図２（ａ）は、モバイル端末の正面図であり、図２（ｂ）は、モバイル端末の背面図である。なお、図２においては、便宜上、各種の操作ボタンなどの図示を省略している。
【００３９】
本実施の形態に用いられるモバイル端末１は、図１に示すように、画像入力部２と、画像処理部３と、表示部４と、画像メモリ２５と、音声入力部３８と、音声処理部３０と、音声出力部３９と、操作部５と、通信部６と、制御部７とを、バス３６を介して、データ授受可能に接続して構成される。
【００４０】
そして、概略的には、本実施の形態に用いられるモバイル端末１は、音声入力部３８によって入力した音声データや画像入力部２などによって入力した画像データなどを、通信部６によって伝送路に送り出すとともに、通信部６を介して伝送路から送られてくる音声データや画像データを、音声出力部３９や表示部４によって出力する。
【００４１】
ここで、本実施の形態に用いられるモバイル端末１は、制御部７における送信制御処理に特徴があり、具体的には、音声データと画像データとの多重化送信に先立って、音声データの送信を停止し、画像データに関する要約や画像データの主要部分などを、送信相手に早急に送信するよう構成している。
【００４２】
次に、図１を参照して、本実施の形態に用いられるモバイル端末１における各部の具体的な構成および処理の内容を順に説明する。画像入力部２は、図１に示すように、レンズ１１と、メカ機構１２と、ＣＣＤ（Charge Coupled Device）１３と、ＣＤＳ回路（Correlated Double Sampling：相関二重サンプリング回路）１４と、Ａ／Ｄ変換器１５と、モータドライバ１６と、制御信号生成部１７とを備えて構成される。
【００４３】
この画像入力部２において、レンズ１１は、被写体像をＣＣＤ１３上に結像するためのレンズである。また、メカ機構１２は、メカニカルシャッター、オートフォーカス機構、絞り機構、およびフィルターを含む機構である。また、ＣＣＤ１３は、レンズ１１とメカ機構１２を介して入力された映像（被写体像）を電気信号（アナログ画像信号）に変換する回路である。
【００４４】
また、画像入力部２において、ＣＤＳ回路１４は、ＣＣＤ型撮像素子に対する低雑音化をおこなう回路である。また、Ａ／Ｄ変換器１５は、ＣＤＳ回路１４を介して入力されたＣＣＤ１３からのアナログ画像信号をデジタル画像データに変換する回路である。なお、このＡ／Ｄ変換器１５によって変換された画像データは、画像処理部３に送られて、各種の画像処理がおこなわれる。
【００４５】
また、画像入力部２において、モータドライバ１６は、レンズ１１を移動させてズームやフォーカスなどをおこなう駆動部である。また、制御信号生成部１７は、ＣＣＤ１３、ＣＤＳ回路１４、およびＡ／Ｄ変換器１５の動作タイミングを制御する信号を生成する処理部である。
【００４６】
画像処理部３は、図１に示すように、デジタル信号処理部１８と、画像圧縮伸長処理部１９とを備えて構成される。この画像処理部３において、デジタル信号処理部１８は、Ａ／Ｄ変換器１５から入力したデジタル画像データについて、色差（Ｃｂ，Ｃｒ）と輝度（Ｙ）に分けて各種処理、補正および画像圧縮／伸長のためのデータ処理をおこなう処理部である。
【００４７】
また、画像処理部３において、画像圧縮伸長処理部１９は、デジタル信号処理部１８から送られてくる画像データや、通信部６を介して外部のモバイル端末１などから送られてくる画像データに対し、ＪＰＥＧ準拠の符号化や復号化をおこなう処理部である。なお、ＪＰＥＧの符号化モードとしては、ＤＣＴ利用型シーケンシャルモードと階層型モード（ハイアラーキカルモード）との両方を実行できる。
【００４８】
画像メモリ２５は、画像入力部２から入力した画像データが画像処理部３によって画像処理された画像データや、通信部６から入力した画像データなどを記憶するフラッシュメモリである。この画像メモリ２５に記憶する画像フォーマットとしては、ＪＰＥＧの階層型モードやFlashPixなどを適用できる。なお、本実施の形態では、画像データのみを記憶する場合を示したが、音声データや文章データを記憶することも可能である。
【００４９】
音声入力部３８は、通話音声を入力するものであり、音声出力部３９は、通信部６を介して受信した通話相手の音声（相手端末から受信した音声データ）を出力するものであり、本実施の形態では、図２に示すように、イヤホンマイクとして構成される。
【００５０】
音声処理部３０は、音声入力部３８（イヤホンマイク）から入力される音声信号をＡ／Ｄ（Analog／Digital）変換し、このデジタル音声データをITU-T勧告G.723.1に従って符号化をおこなうとともに、相手端末から受信される符号化された音声データをITU-T勧告G.723.1に従って復号化し、この復号化された音声データをＤ／Ａ（Digital／Analog）変換する処理部である。
【００５１】
表示部４は、図１に示すように、ファインダ表示制御部２６と、電子ビューファインダ３１と、ＬＣＤ表示制御部２７と、ＬＣＤ３２とを備えて構成される。
この表示部４において、ファインダ表示制御部２６は、デジタル信号処理部１８から入力された被写体画像データとその中の任意の領域を指示するための矩形（グラフィック）データとを合成して電子ビューファインダ３１に表示するための制御をおこなう処理部である。また、ＬＣＤ表示制御部２７は、画像メモリ２５に記憶された画像データや操作メニューなどをＬＣＤ３２に表示するための制御をおこなう処理部である。
【００５２】
操作部５は、図１に示すように、操作指示部２９と、タッチパネル３３と、タッチパネル制御部２８とを備えて構成される。この操作部５において、タッチパネル制御部２８は、タッチパネル３３上で電子ペンのペン先や指など（図示を省略）が接触した部分を検出し、その位置情報を取り込むものであり、タッチパネル３３はＬＣＤ３２と重ね合わせて密着されている。また、操作指示部２９は、機能選択や撮影指示などの操作や、電子ビューファインダ３１に表示される矩形領域を指定するための操作などを、指示するための各種操作スイッチを備えるユーザーインタフェースである。
【００５３】
通信部６は、図１に示すように、カードインタフェース２０と、カード用アダプタ２１と、ＰＣカード３７とを備えて構成される。この通信部６において、カードインタフェース２０は、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）規格に準拠したＰＣカードとのインタフェース動作を実行する処理部である。
【００５４】
また、通信部６において、ＰＣカード３７は、デジタル携帯電話サービスのＰＤＣやＰＨＳなどを利用して無線データ通信を行うためのアンテナ内蔵型のデータ通信カードや、ＰＳＴＮに接続してデータ通信を行うためのモデムカードや、画像データを記憶するメモリカードなどである。このＰＣカード３７は、ＰＣＭＣＩＡ規格に準拠しており、カード用アダプタ２１に接続される。
【００５５】
制御部７は、図１に示すように、ＣＰＵ２２と、メインメモリ２３と、ＲＯＭ２４とを備えて構成され、モバイル端末１の各部の動作を制御するものである。
この制御部７において、メインメモリ２３は、ＤＲＡＭ（Dynamic Random Access Memory）により構成され、ＣＰＵ２２のワークエリアとして使用される。また、ＲＯＭ２４には、モバイル端末１を制御するための各種プログラムがあらかじめ書き込まれている。
【００５６】
なお、図１に示したバッテリ３５は、たとえば、ニッケル水素電池、リチウム電池などであり、ＤＣ−ＤＣコンバータ３４を介して、電流をモバイル端末１の内部に供給する。
【００５７】
［データ通信プロトコルの構成例］
次に、図３を参照して、本実施の形態に用いられるモバイル端末１におけるデータ通信プロトコルの構成を説明する。なお、本実施の形態では、ITU-T勧告G.723.1に従って符号化された音声データとＪＰＥＧファイルなどのデータとを多重化して送信する場合におけるデータ通信プロトコルの構成について説明する。また、移動通信回線を使用して音声データとファイルなどのデータとを多重化して送信する場合、ＰＤＣのデータ通信サービスやＰＨＳのＰＩＡＦＳ（PHS Internet Access Forum Standard）などの、移動通信事業者の提供するデータ通信サービスを利用することになるが、本実施の形態では、ＰＤＣのデータ通信サービスを利用する場合におけるデータ通信プロトコルの構成について説明する。
【００５８】
図３は、データ通信プロトコルの構成を示すブロック図であり、詳細には、ＰＤＣのデータ通信サービスを利用して、ITU-T勧告G.723.1に従って符号化された音声データとＪＰＥＧファイルなどのデータとを多重化して送信する場合におけるデータ通信プロトコルの構成を示すブロック図である。
【００５９】
図３に示すように、データ通信プロトコルは、通信制御をおこなうブロック４０と、バイナリデータの転送をおこなうブロック４１と、ITU-T勧告G.723.1の音声符号化および復号化をおこなうブロック４２と、H.223実行部５１と、V.42実行部５２と、物理レイヤ５３とから構成される。以下、各部の具体的な構成と処理の内容を順に説明する。
【００６０】
図３に示すデータ通信プロトコルにおいて、ブロック４０は、通信制御アプリケーション４３と、H.245実行部４４と、CCSRL（Control Channel Segmentation and Reassembly Layer）４５と、LAPM実行部４６とから構成され、データ通信コネクションの確立や解放などの通信制御を実行する。
【００６１】
具体的には、通信制御アプリケーション４３は、データ通信コネクションの確立や解放などの通信制御を実行する。また、H.245実行部４４は、ITU-T勧告H.245に準拠した動作を実行する。また、CCSRL４５は、H.245実行部４４から受け取ったＳＤＵ（Service Data Unit）を１つまたは複数のＰＤＵ（Protocol Data Unit）に分割するとともに、LAPM実行部４６から受け取った１つまたは複数のＰＤＵから１つのＳＤＵを生成する。また、LAPM実行部４６は、ITU-T勧告V.42の中で規定された誤り訂正手順であるLAPM（Link Access Procedures for Modems）を実行する。
【００６２】
また、図３に示すデータ通信プロトコルにおいて、ブロック４１は、バイナリデータ転送アプリケーション４７と、X.225実行部４８とから構成され、静止画像ファイルなどのバイナリデータの転送を実行する。具体的には、バイナリデータ転送アプリケーション４７は、バイナリファイル転送フォーマットとしてITU-T勧告T.434を使用して、静止画像ファイルなどのバイナリデータの転送を実行する。また、X.225実行部４８は、ITU-T勧告X.225に準拠したセッションレイヤの動作を実行する。
【００６３】
また、図３に示すデータ通信プロトコルにおいて、ブロック４２は、オーディオI/O４９と、G.723.1実行部５０とから構成され、ITU-T勧告G.723.1の音声符号化および復号化を実行する。具体的には、オーディオI/O４９は、イヤホンマイクに該当し、G.723.1実行部５０は、音声処理部３０に該当する。なお、ITU-T勧告G.723.1では、音声データを5.3Kbit/sまたは6.3Kbit/sで符号化する。
【００６４】
また、図３に示すデータ通信プロトコルにおいて、H.223実行部５１は、アダプテーションレイヤと多重化レイヤとから構成され、ITU-T勧告H.223に準拠した動作を実行する。なお、ITU-T勧告H.223は、モバイル通信用に３つのレベルのプロトコルを規定しており、レベル１が最も誤り耐性が弱く、レベル３が最も誤り耐性が強い。
【００６５】
具体的には、H.223実行部５１におけるH.223レベル３のアダプテーションレイヤは、LAPM実行部４６から受け取った通信制御データとX.225実行部４８から受け取ったバイナリデータとについて、誤り検出、順方向誤り訂正（ＦＥＣ：Forward Error Correction）および再送（ＡＲＱ：Automatic ReQuest for reception）を実行する。また、H.223実行部５１におけるH.223多重化レイヤは、H.223アダプテーションレイヤから受け取った通信制御データ、バイナリデータ、および音声データを多重化するとともに、V.42実行部５２から受け取った多重化データから通信制御データ、バイナリデータ、および音声データを分離してH.223アダプテーションレイヤへ送り出す。
【００６６】
また、図３に示すデータ通信プロトコルにおいて、V.42実行部５２は、通信用のＰＣカード３７に実装されており、ITU-T勧告V.42に準拠した動作を実行して、データの誤り訂正をおこなう。また、物理レイヤ５３も、通信用のＰＣカード３７に実装されており、通信速度に対応したデータの変調をおこなう。
【００６７】
なお、図３に示すデータ通信プロトコルにおいては、呼の接続や解放など、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格である「デジタル方式自動車電話システム標準規格」（規格番号RCR STD-27G）に準拠した動作を実行する処理部の図示を省略している。また、上記の通信方式では、音声の符号化方式を通信モードに従って適宜切り替えることができるが、本実施の形態では、説明の便宜上、音声の符号化をITU-T勧告G.723.1のみに限定して説明している。
【００６８】
［データ通信プロトコルを用いた通信例］
次に、図４〜図６を参照して、本実施の形態に用いられるモバイル端末１におけるデータ通信プロトコルを用いた通信例を説明する。なお、本実施の形態では、ＰＤＣのデータ通信サービスを利用して、図３に示したデータ通信プロトコルを用いて相手端末と通信する場合を説明する。
【００６９】
まず最初に、相手端末と接続して会話ができる通信状態になるまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図４は、相手端末と接続して会話ができる通信状態になるまでのシーケンスを示す図である。同図に示すように、まず、ARIB規格RCR STD-27Gに規定される手順に従って呼を接続し、自端末のV.42実行部５２と相手端末のV.42実行部５２との間でデータリンクコネクションが確立されると、自端末のH.245実行部４４は、TerminalCapabilitySetメッセージを送信し、相手端末から応答メッセージであるTerminalCapabilitySetAckを受信することによって、端末間の能力交換をおこなう。
【００７０】
そして、自端末のH.245実行部４４はMasterSlaveDeterminationメッセージを送信し、相手端末からマスターの決定情報が入ったMasterSlaveDeterminationAckメッセージを受信すると、スレーブの決定情報を入れたMasterSlaveDeterminationAckメッセージを送信することによって、自端末はマスターとなり、相手端末はスレーブとなる。
【００７１】
そして、自端末のH.245実行部４４は、データタイプとしてG.723.1オーディオを含めたOpenLogicalChannelメッセージを送信し、相手端末から応答メッセージであるOpenLogicalChannelAckメッセージを受信することによって、音声チャネルを開設する。
【００７２】
そして、自端末のH.245実行部４４は、MultiplexEntrySendメッセージを送信し、相手端末から応答メッセージであるMultiplexEntrySendAckメッセージを受信して多重化テーブルエントリを決定することによって、音声データ通信を実行可能なフェーズ、すなわち通信相手と会話ができる状態に移行する。なお、図４に示す通信制御アプリケーション４３とH.245実行部４４との間のプリミティブは、ITU-T勧告H.245に規定されたものである。
【００７３】
次に、会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図５は、会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでのシーケンスを示す図である。
【００７４】
図５に示すように、静止画像データを音声データと多重化して送信する要求が生じた場合、まず、自端末のH.245実行部４４は、データタイプとしてT.434データを含めたOpenLogicalChannelメッセージを送信し、相手端末から応答メッセージであるOpenLogicalChannelAckメッセージを受信することによって、バイナリデータ用のチャネルを開設する。
【００７５】
そして、自端末のH.245実行部４４は、MultiplexEntrySendメッセージを送信し、相手端末から応答メッセージであるMultiplexEntrySendAckメッセージを受信して多重化テーブルエントリを決定することによって、静止画像データと音声データとを多重化して送信できる状態に移行する。なお、図５に示す通信制御アプリケーション４３とH.245実行部４４との間のプリミティブは、ITU-T勧告H.245に規定されたものである。
【００７６】
次に、通信可能状態から通信状態を終了するまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図６は、通信可能状態から通信状態を終了するまでのシーケンスを示す図である。同図に示すように、通信を終了する場合、まず、自端末のH.245実行部４４は、音声チャネルとバイナリデータ用のチャネルそれぞれに対してCloseLogicalChannelメッセージを送信し、その応答メッセージであるCloseLogicalChannelAckメッセージを受信することによって、音声チャネルとバイナリデータ用のチャネルを閉じる。
【００７７】
そして、自端末のH.245実行部４４は、EndSessionCommandメッセージを送信して、相手端末へ通信の終了を通知する。そして、V.42実行部５２間のデータリンクコネクションを解放した後、ARIB規格RCR STD-27Gに規定される手順に従って呼を解放する。なお、図６に示すEndSession要求プリミティブおよびEndSession通知プリミティブは、ITU-T勧告H.245に規定されていない、本実施の形態に固有のものである。
【００７８】
［モバイル端末の動作例］
次に、図７〜図１８を参照して、本実施の形態に用いられるモバイル端末１における動作例（動作例１〜動作例８）を説明する。なお、下記に示す動作例１では、画像データのデータ量をチェックして画像データを送信する場合について説明し、動作例２では、解像度の異なる複数のフレームにより構成される画像データを送信する場合について説明し、動作例３では、解像度の異なる複数のサブ画像から構成される画像データを送信する場合について説明する。
【００７９】
また、動作例４では、表示した画像内容の所定部分を矩形領域によって指定しつつ、画像データを送信する場合について説明し、動作例５では、表示した画像の所定部分をオブジェクトによって指定しつつ、画像データを送信する場合について説明する。また、動作例６では、被写体の所定部分を矩形領域によって指定しつつ撮影して画像データを送信する場合について説明し、動作例７では、被写体の所定部分をオブジェクトによって指定しつつ撮影して画像データを送信する場合について説明し、動作例８では、撮影画面の中心部分をオブジェクトによって指定しつつ撮影して画像データを送信する場合について説明する。
【００８０】
（動作例１）
動作例１では、モバイル端末１は、制御部７によって画像データのデータ量が所定量を超えるか否かを判定し、越えない場合には、音声データの送信を停止して画像データのみを送信し、越える場合には、音声データと画像データとを多重化して送信するよう動作する。図７は、モバイル端末１の動作例１を説明するためのフローチャートである。以下、図７を参照して、モバイル端末１の動作例１を説明する。
【００８１】
まず、モバイル端末１は、操作部５を使用して発呼操作が行われたか否かを判断し（ステップＳ７０１）、発呼操作が行われた場合（ステップＳ７０１肯定）、相手端末と呼を接続し、V.42実行部５２間でデータリンクコネクションを確立し、図４に示した通信シーケンスに従って音声データ用のチャネルを開設する（ステップＳ７０２）。
【００８２】
そして、相手と通話している時に画像メモリ２５に記憶されている静止画像ファイルの中から送信するファイルが選択されると（ステップＳ７０３肯定）、そのファイルのデータ量が所定の値よりも小さいか否かを判断する（ステップＳ７０４）。なお、所定の値としては、音声データの送信を停止してそのデータを送信した場合の送信時間（会話ができない時間）などを考慮して定められる。
【００８３】
そして、データ量が予め定められた所定の値よりも小さい場合（ステップＳ７０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ７０５）。ここで、呼が接続してから最初のファイル送信の場合には（ステップＳ７０６肯定）、図５に示した通信シーケンスに従ってバイナリデータ用のチャネルを開設する（ステップＳ７０７）。
【００８４】
そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信し、この送信をおこなっている間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ７０８）。そして、静止画像ファイルの送信が終了すると（ステップＳ７０９肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ７１０）。
【００８５】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開する（ステップＳ７１１）。なお、バイナリデータ用のチャネルは、次のファイル送信に備えてそのままにしておく。なお、上記のファイル転送の間、すなわち音声がミュートされているとき、ＬＣＤ３２は、音声がミュート状態であることを表すメッセージやアイコンを表示する。これによって、ユーザの利便性を向上させることができる。
【００８６】
一方、選択されたファイルのデータ量が予め定められた所定の値よりも大きい場合において（ステップＳ７０４否定）、呼が接続してから最初のファイル送信の場合（ステップＳ７１２肯定）、図５に示した通信シーケンスに従ってバイナリデータ用のチャネルを開設する（ステップＳ７１３）。そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信するが、H.223実行部５１は、静止画像ファイルのデータを音声データと多重化して送信する（ステップＳ７１４）。すわなち、会話をしながらファイル転送が実行される。
【００８７】
上述してきたように、動作例１によれば、制御部７は、画像データのデータ量が所定の値より小さいか否かを判定し、所定の値よりも小さいと判定された場合に、画像データのみを送信し、所定の値以上であると判定された場合に、音声データと画像データとを多重化した情報を送信することとしたので、リアルタイム性が要求されない画像データなどのデータ量が少量である場合に、僅かな時間だけ会話（リアルタイム性が要求される音声データの送受信）を中断して、この画像データを早急に会話相手に送信することができる。このため、送信相手は、画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【００８８】
（動作例２）
動作例２では、モバイル端末１は、画像メモリ２５にて解像度の異なる複数のフレームにより構成される画像データを記憶し、この画像データのうち所定のフレームまでの画像データの送信については、音声データの送信を停止しておこない、残りのフレームの画像データの送信については、音声データと多重化して送信するよう動作する。
【００８９】
まず最初に、画像データの記憶形式について説明する。動作例２では、画像メモリ２５は、カラー静止画像をＪＰＥＧの符号化方式の１つである階層型モードで符号化されたファイルとして記憶する。この画像ファイルは、解像度の異なる複数のフレームにより構成され、フレームには、次に続くフレームの予測に使用する参照再生成分と、現成分と参照再生成分との差分を符号化した差分フレームがある。このため、この画像を再生（復号化）して表示する場合、低解像度のフレームから、より高解像度のフレームへと順次フレームを再生していくため、初めは荒い画像が表示されるが、徐々に表示画像の品質が向上する。
【００９０】
したがって、モバイル端末１によってこの画像ファイルを相手のモバイル端末に送信する場合、低解像度のフレームデータから、より高解像度のフレームデータが順次送信される。このため、受信側のモバイル端末１においては、受信した画像データをリアルタイムに表示すると、初めは荒い画像が表示されるが、徐々に表示画像の品質が向上する。
【００９１】
次に、図８を参照して、モバイル端末１の動作例２を説明する。図８は、モバイル端末１の動作例２を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【００９２】
まず、相手と通話している時に、画像メモリ２５に記憶されている階層型モードの静止画像ファイルの中から送信するファイルが選択されると（ステップＳ８０１肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ８０２）。
【００９３】
そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信するが、そのファイルの先頭から所定のフレームまでのデータを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ８０３）。なお、所定のフレームとしては、音声データの送信を停止してそのフレームまでのデータを送信した場合の送信時間（会話ができない時間）などを考慮して定められる。
【００９４】
そして、静止画像ファイルの所定のフレームまでのデータ送信が終了すると（ステップＳ８０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ８０５）。そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ８０６）、H.223実行部５１は、静止画像ファイルの残りのフレームデータと音声データとを多重化して送信する（ステップＳ８０７）。すなわち、会話をしながらファイルの残り部分のデータ転送が実行される。
【００９５】
なお、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、静止画像ファイルの各フレームを受信する度に、画像圧縮伸長処理部１９によって伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。
【００９６】
上述してきたように、動作例２によれば、制御部７は、所定の階層までの画像データを送信し、この送信後に、音声データと前記所定の階層以降の画像データとを多重化した情報を送信することとしたので、僅かな時間だけ会話を中断して、所定の階層までの画像データを、早急に会話相手に送信することができる。このため、送信相手は、先に受信した所定の階層までの画像データに基づいて後に受信する画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【００９７】
（動作例３）
動作例３では、モバイル端末１は、画像メモリ２５にて解像度の異なる複数のサブ画像により構成される画像データを記憶し、この画像データから、最低解像度の画像データを、音声データの送信を停止して送信し、その後、最高解像度の画像データを、音声データと多重化して送信するよう動作する。
【００９８】
まず最初に、画像データの記憶形式について説明する。動作例３では、画像メモリ２５は、カラー静止画像をFlash Pixとして記憶する。このFlash Pixでは、１つの画像オブジェクトが解像度の異なる複数のサブ画像から構成されている。また、それぞれのサブ画像は画像ブロックの最小単位である６４×６４画素のタイルから構成されており、各タイル毎にJPEG圧縮されている。
【００９９】
例えば、1024×1024画素で撮影した画像には、512×512画素、256×256画素、128×128画素、６４×６４画素のサブ画像が存在し得るが、これらの中で512×512画素と256×256画素のサブ画像のみが別々のファイルとして、1024×1024画素のオリジナル画像とともに画像メモリ２５に保存されている。
【０１００】
次に、図９を参照して、モバイル端末１の動作例３を説明する。図９は、モバイル端末１の動作例３を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１０１】
まず、相手と通話している時に、画像メモリ２５に記憶されているFlash Pixの静止画像の中から送信するものが選択されると（ステップＳ９０１肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ９０２）。
【０１０２】
そして、指定された静止画像のサブ画像ファイルの中で最も解像度の小さいものをバイナリデータ用のチャネルで送信するが、この解像度が最も小さいサブ画像ファイルを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ９０３）。そして、そのサブ画像ファイルの送信が終了すると（ステップＳ９０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ９０５）。
【０１０３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ９０６）、H.223実行部５１は、オリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ９０７）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１０４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信されたサブ画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１０５】
上述してきたように、動作例３によれば、制御部７は、最小データ量（最小解像度）の画像データを送信し、この送信後に、音声データと最大データ量（最高解像度）の画像データとを多重化した情報を送信することとしたので、僅かな時間だけ会話を中断して、最小解像度の画像データを早急に会話相手に送信することができる。このため、送信相手は、先に受信した最小解像度の画像データに基づいて後に受信する最高解像度の画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１０６】
（動作例４）
動作例４では、モバイル端末１は、画像メモリ２５に記憶された画像をＬＣＤ３２に表示し、この表示された画像内容の任意の矩形領域をタッチパネル３３によって指定する。そして、モバイル端末１は、この指定された矩形領域内の画像データを、音声データの送信を停止して送信し、その後、全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１０７】
図１０は、ＬＣＤ３２における画像の表示例を示す図であり、図１１は、モバイル端末１の動作例４を説明するためのフローチャートである。以下、図１１を参照して、モバイル端末１の動作例４を説明する。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１０８】
まず、相手と通話している時に、操作部５によって画像メモリ２５に記憶された静止画像ファイルの再生操作があると、この静止画像を画像圧縮伸長処理部１９にて伸長し、伸長した画像データをＬＣＤ３２に表示する（ステップＳ１１０１）。そして、電子ペンなどを使用してタッチパネル３３によって、この静止画像中の任意の矩形領域が指定されると（ステップＳ１１０２肯定）、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮し、圧縮された画像データをメインメモリ２３に記憶する（ステップＳ１１０３）。
【０１０９】
そして、操作部５によって、この静止画像の送信操作が行われると（ステップＳ１１０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１１０５）。
【０１１０】
そして、メインメモリ２３に記憶された矩形領域内の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域内の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１１０６）。
【０１１１】
そして、その矩形領域内の画像データの送信が終了すると（ステップＳ１１０７肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１１０８）。そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１１０９）、H.223実行部５１は、画像メモリ２５に記憶されたオリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１１１０）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１１２】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域内の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１１３】
上述してきたように、動作例４によれば、操作部５は、表示部４に表示された画像から、画像の一部を矩形領域で指定することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたい矩形領域内の画像を、早急に会話相手に送信することができる。このため、送信相手は、先に受信した短形領域内の画像に基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１１４】
なお、動作例４では、画像の一部を矩形領域で指定する場合を示したが、本発明はこれに限定されるものではなく、円形、楕円形、三角形などの領域で指定することもできる。また、動作例４では、１つの矩形領域の画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数の短形領域の画像データを多重化に先立って送信することもできる。
【０１１５】
また、動作例４では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信した矩形領域の画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１１６】
（動作例５）
動作例５では、モバイル端末１は、画像メモリ２５に記憶された画像をＬＣＤ３２に表示し、この表示された画像内容の任意のオブジェクトをタッチパネル３３によって指定する。そして、モバイル端末１は、この指定されたオブジェクトを含む矩形領域内の画像データを、音声データの送信を停止して送信し、全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１１７】
まず最初に、図１２および図１３を参照して、オブジェクト画像の抽出について説明する。ＪＰＥＧ圧縮は矩形画像を圧縮するものであるが、任意の形状のオブジェクト画像を圧縮する場合には、オブジェクト画像を含んだ矩形画像を圧縮処理し、ＪＰＥＧファイルのファイルヘッダにそのオブジェクト画像を含んだ矩形画像の位置情報を入れる方法が一般的におこなわれている。
【０１１８】
たとえば、オブジェクト画像の輪郭線を抽出する方法として、特開平５−３２４８２９号公報に開示された方法がある。これは、矩形や閉曲線で囲まれた領域内のオブジェクト画像の輪郭線を抽出するものであり、また、閉曲線上の各点を閉曲線を膨張させる方向に移動させることによって、物体の輪郭を抽出する方法も開示されている。なお、この閉曲線を点とした場合においても、同様の方法によって、その点を含んだオブジェクト画像の輪郭線を抽出することができる。
【０１１９】
この特開平５−３２４８２９号公報に開示された方法にて、オブジェクト画像の輪郭線を抽出すると、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する。そして、この矩形領域内にあり、かつ輪郭線の外側にある画素の値を全てゼロに置き換える。そして、このオブジェクト画像を含む最小面積の矩形領域の位置データを、ＪＰＥＧファイルのファイルヘッダに入れておく。図１２は、ＪＰＥＧファイルのファイルヘッダの構造を示す図である。
【０１２０】
図１２において、SOIは、Start Of Imageであり、画像の開始を表すマーカーである。また、APP0は、Application segmentであり、アプリケーションデータのセグメントである。また、COMは、Commentであり、コメント用のセグメントである。また、DQTは、Define Quantization Tableであり、量子化テーブルデータのセグメントである。また、APP0セグメントは、アプリケーションデータマーカーコード（２バイト）と、アプリケーションデータセグメント長（２バイト）と、矩形領域の水平方向の位置情報の識別子（１バイト）およびそのデータ（２バイト）と、矩形領域の垂直方向の位置情報の識別子（１バイト）およびそのデータ（２バイト）とから構成される。
【０１２１】
また、図１３は、抽出されたオブジェクト画像と、これを含む最小面積の矩形領域との関係を示す図である。同図において、矩形領域の左上の頂点（点Ｂ）の位置は、オリジナル画像の左上の頂点（点Ａ）からの水平方向と垂直方向の座標点（ｘ，ｙ）で表される。なお、この座標の単位は画素であり、例えば、（ｘ，ｙ）＝（１００，２００）は、図１３の点Ａから水平方向へ１００画素、垂直方向へ２００画素の位置である。
【０１２２】
また、ＪＰＥＧ符号化では、８×８画素のブロック毎に処理が実行されるので、オブジェクト画像を含む最小面積の矩形領域の縦方向および横方向の画素数が８の倍数でない場合には、８の倍数になるように値がゼロのデータを追加する。
すなわち、図１３に示すように、矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換える。なお、矩形領域の大きさ（縦横の画素数）は、ＪＰＥＧ規格で定義された位置、すなわち、ＳＯＦ（Start Of Frame）セグメント内の所定の位置に書き込まれる。
【０１２３】
次に、図１４を参照して、モバイル端末１の動作例５を説明する。図１４は、モバイル端末１の動作例５を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。まず、相手と通話している時に、操作部５によって画像メモリ２５に記憶された静止画像ファイルの再生操作があると、この静止画像を画像圧縮伸長処理部１９にて伸長し、伸長した画像データをＬＣＤ３２に表示する（ステップＳ１４０１）。
【０１２４】
そして、電子ペンなどを使用してタッチパネル３３によって、この静止画像中の任意のオブジェクト画像が閉曲線にて囲まれて指定されると（ステップＳ１４０２）、上記に説明した方法でオブジェクト画像の輪郭線を抽出する（ステップＳ１４０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１４０４）。
【０１２５】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、オブジェクト以外の部分をゼロで置き換えた矩形画像データを画像圧縮伸長処理部１９へ転送して圧縮処理を行い、この圧縮画像データをメインメモリ２３にＪＰＥＧファイル形式で記憶する（ステップＳ１４０５）。なお、この記憶処理においては、ＪＰＥＧファイルのファイルヘッダに、矩形領域の位置情報を書き込む。
【０１２６】
その後、この静止画像の送信操作が行われると（ステップＳ１４０６肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１４０７）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式のオブジェクト画像データをバイナリデータ用のチャネルで送信するが、このオブジェクト画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１４０８）。
【０１２７】
そして、そのオブジェクト画像データの送信が終了すると（ステップＳ１４０９肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１４１０）。
【０１２８】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１４１１）、H.223実行部５１は、画像メモリ２５に記憶されたオリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１４１２）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１２９】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信されたＪＰＥＧファイル形式のオブジェクト画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１３０】
上述してきたように、動作例５では、操作部５は、表示部４に表示された画像情報から、画像の一部を形成するオブジェクトを指定することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、早急に会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１３１】
なお、動作例５では、閉曲線によってオブジェクト画像を指定する場合を示したが、本発明はこれに限定されるものではなく、ポイント（点）によってオブジェクト画像を指定することもできる。また、動作例５では、１つのオブジェクトの画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数のオブジェクトの画像データを多重化に先立って送信することもできる。
【０１３２】
また、動作例５では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信したオブジェクトの画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１３３】
（動作例６）
動作例６では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この表示された被写体像から任意の矩形領域を操作指示部２９によって指定して撮影する。そして、モバイル端末１は、被写体の矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１３４】
まず最初に、被写体像から任意の矩形領域を指定して撮影をおこなって、画像データを記憶する手順について説明する。まず、ＣＣＤ１３によって電気信号に変換された被写体画像は、ＣＤＳ回路１４、Ａ／Ｄ変換器１５、デジタル信号処理部１８、およびファインダ表示制御部２６を介して電子ビューファインダ３１に表示される。続いて、操作指示部２９に備えられる「領域指定ボタン」が押下されると、予め決められた大きさの矩形を電子ビューファインダ３１に表示する。なお、図１５は、電子ビューファインダ３１の表示例を示す図である。
【０１３５】
そして、操作指示部２９に備えられた「領域ズームボタン」が押下されると、ファインダ表示制御部２６は、矩形を拡大あるいは縮小して電子ビューファインダ３１に表示する。また、操作指示部２９に備えられた「領域移動ボタン（上下左右の指示ボタン）」が押下されると、ファインダ表示制御部２６は、矩形を指定された方向へ所定距離だけ移動して電子ビューファインダ３１に表示する。
【０１３６】
続いて、操作指示部２９に備えられた「撮影ボタン」が押下されると、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する。
【０１３７】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理する。そして、圧縮された画像データを、図１２に示したＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する。
【０１３８】
次に、図１６を参照して、モバイル端末１の動作例６を説明する。図１６は、モバイル端末１の動作例６を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１３９】
まず、相手と通話している時に、操作部５によって、領域指定ボタン、領域ズームボタン、および領域移動ボタンが操作されて被写体中の矩形領域が指定され、撮影ボタンが押されると（ステップＳ１６０１肯定）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１６０２）。
【０１４０】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１６０３）。
【０１４１】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１６０４）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１６０５）。
【０１４２】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１６０６肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１６０７）。
【０１４３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１６０８）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１６０９）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１４４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１４５】
上述してきたように、動作例６では、画像入力部２および操作部５は、表示部４に表示される画像の一部の矩形領域を指定しつつ画像を入力し、制御部７は、この指定入力された一部の矩形領域内の画像を送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたい一部の画像を、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信した一部の画像に基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１４６】
なお、動作例６では、１つの矩形領域の画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数の短形領域の画像データを多重化に先立って送信することもできる。また、動作例６では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信した矩形領域の画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１４７】
（動作例７）
動作例７では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この表示された被写体像から任意のオブジェクト画像を操作部５によって指定して撮影する。そして、モバイル端末１は、このオブジェクト画像を含む矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。なお、動作例７において、オブジェクト画像の抽出手順およびオブジェクト画像データの送信手順は、上記した動作例５と同様であるので、その説明を省略する。以下、図１７を参照して、モバイル端末１の動作例７を説明する。
【０１４８】
図１７は、モバイル端末１の動作例７を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。まず、相手と通話している時に、操作部５によって、領域指定ボタン、領域ズームボタン、領域移動ボタンが操作されて被写体中のオブジェクト画像が閉曲線などにより指定され、撮影ボタンが押されると（ステップＳ１７０１肯定）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１７０２）。
【０１４９】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、特開平５−３２４８２９号公報に開示された方法を用いて、その矩形で囲まれた領域内のオブジェクト画像の輪郭線を抽出する（ステップＳ１７０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１７０４）。
【０１５０】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、このオブジェクト画像を含む最小面積の矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１７０５）。
【０１５１】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１７０６）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１７０７）。
【０１５２】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１７０８肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１７０９）。
【０１５３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１７１０）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１７１１）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１５４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１５５】
上述してきたように、動作例７では、画像入力部２および操作部５は、表示部４に表示される画像を形成するオブジェクトを指定しつつ画像を入力し、制御部７は、この指定入力されたオブジェクトを送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１５６】
なお、動作例７では、１つのオブジェクトの画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数のオブジェクトの画像データを多重化に先立って送信することもできる。また、動作例７では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信したオブジェクトの画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１５７】
（動作例８）
動作例８では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この電子ビューファインダ３１に中心に位置するオブジェクト画像を指定して撮影する。そして、モバイル端末１は、このオブジェクト画像を含む矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１５８】
なお、動作例８において、オブジェクト画像の抽出手順およびオブジェクト画像データの送信手順は、上記した動作例５と同様であるので、その説明を省略する。以下、図１８を参照して、モバイル端末１の動作例８を説明する。図１８は、モバイル端末１の動作例８を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１５９】
まず、ファインダ表示制御部２６は、電子ビューファインダ３１に表示する被写体画像データの中心に、例えば十字マークなどを表示する。そして、相手と通話している時に撮影ボタンが押されると（ステップＳ１８０１）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１８０２）。
【０１６０】
そして、メインメモリ２３に記憶された被写体画像データの中心にあるオブジェクトを抽出する処理をおこなう。すなわち、特開平５−３２４８２９号公報に開示された方法を用いて、電子ビューファインダ３１に表示されていた十字マークを含むオブジェクトの輪郭線を抽出する（ステップＳ１８０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１８０４）。
【０１６１】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、このオブジェクト画像を含む最小面積の矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１８０５）。
【０１６２】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１８０６）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１８０７）。
【０１６３】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１８０８肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１８０９）。
【０１６４】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１８１０）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１８１１）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１６５】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１６６】
上述してきたように、動作例８では、画像入力部２および操作部５は、表示部４に表示される画像の中心に位置するオブジェクトを指定しつつ画像を入力し、制御部７は、この指定入力されたオブジェクトを送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１６７】
なお、本実施の形態で説明した情報処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピューターやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、上記記録媒体を介して、インターネットなどのネットワークを介して配布することができる。
【０１６８】
また、本実施の形態では、ＰＤＣのデータ通信サービスを利用してモバイル端末１間で通信する場合を説明したが、本発明はこれに限定されるものではなく、ＰＳＴＮ端末間、モバイル端末１とＰＳＴＮ端末間、などで通信することもできる。なお、図３に示したデータ通信プロトコルの構成で、物理レイヤ５３にITU-T勧告V.34モデムなどのアナログ電話回線用のモデムを使用すれば、ＰＳＴＮに接続する通信端末となる。
【０１６９】
【発明の効果】
以上説明したように、本発明によれば、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、早急に会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することが可能な情報処理装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に用いられるモバイル端末の構成を示すブロック図である。
【図２】本実施の形態に用いられるモバイル端末の外観を示す図である。
【図３】データ通信プロトコルの構成を示すブロック図である。
【図４】相手端末と接続して会話ができる通信状態になるまでのシーケンスを示す図である。
【図５】会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでのシーケンスを示す図である。
【図６】通信可能状態から通信状態を終了するまでのシーケンスを示す図である。
【図７】モバイル端末の動作例１を説明するためのフローチャートである。
【図８】モバイル端末の動作例２を説明するためのフローチャートである。
【図９】モバイル端末の動作例３を説明するためのフローチャートである。
【図１０】図１に示したＬＣＤにおける画像の表示例を示す図である。
【図１１】モバイル端末の動作例４を説明するためのフローチャートである。
【図１２】ＪＰＥＧファイルのファイルヘッダの構造を示す図である。
【図１３】抽出されたオブジェクト画像と、これを含む最小面積の矩形領域との関係を示す図である。
【図１４】モバイル端末の動作例５を説明するためのフローチャートである。
【図１５】図１に示した電子ビューファインダの表示例を示す図である。
【図１６】モバイル端末の動作例６を説明するためのフローチャートである。
【図１７】モバイル端末の動作例７を説明するためのフローチャートである。
【図１８】モバイル端末の動作例８を説明するためのフローチャートである。
【符号の説明】
１ モバイル端末
２ 画像入力部
３ 画像処理部
４ 表示部
５ 操作部
６ 通信部
７ 制御部
２５ 画像メモリ
３０ 音声処理部
３８ 音声入力部
３９ 音声出力部
Claims (8)
- 単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置において、
前記画像データにかかる画像を表示する表示手段と、
前記表示手段に表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定手段と、
前記指定手段によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御手段と、
を備えたことを特徴とする情報処理装置。 - 前記送信制御手段が送信する前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、
ことを特徴とする請求項１に記載の情報処理装置。 - 前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する手段を備え、
前記送信制御手段は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、
ことを特徴とする請求項１または２に記載の情報処理装置。 - 前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する手段を備え、
前記送信制御手段は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、
ことを特徴とする請求項３に記載の情報処理装置。 - 単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置で実行される情報処理方法であって、
前記画像データにかかる画像を表示する表示工程と、
前記表示工程により表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定工程と、
前記指定工程によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定工程によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御工程と、
を含むことを特徴とする情報処理方法。 - 前記送信制御工程で送信される前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、
ことを特徴とする請求項５に記載の情報処理方法。 - 前記指定工程で指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する工程を含み、
前記送信制御工程は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、
ことを特徴とする請求項５または６に記載の情報処理方法。 - 前記指定工程で指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する工程を含み、
前記送信制御工程は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、
ことを特徴とする請求項７に記載の情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000232398A JP4571733B2 (ja) | 2000-07-31 | 2000-07-31 | 情報処理装置および情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000232398A JP4571733B2 (ja) | 2000-07-31 | 2000-07-31 | 情報処理装置および情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002051312A JP2002051312A (ja) | 2002-02-15 |
| JP4571733B2 true JP4571733B2 (ja) | 2010-10-27 |
Family
ID=18725091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000232398A Expired - Fee Related JP4571733B2 (ja) | 2000-07-31 | 2000-07-31 | 情報処理装置および情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4571733B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7404001B2 (en) * | 2002-03-27 | 2008-07-22 | Ericsson Ab | Videophone and method for a video call |
| JP4522843B2 (ja) | 2004-12-24 | 2010-08-11 | パナソニック株式会社 | Ｉｐ電話システム、ｉｐ電話装置及びファイル転送方法 |
| JP4522842B2 (ja) * | 2004-12-24 | 2010-08-11 | パナソニック株式会社 | Ｉｐ電話システム、ｉｐ電話装置及びファイル転送方法 |
| JPWO2007055206A1 (ja) | 2005-11-08 | 2009-04-30 | シャープ株式会社 | 通信装置、通信方法、通信システム、プログラム、および、コンピュータ読み取り可能な記録媒体 |
| JP2008072249A (ja) * | 2006-09-12 | 2008-03-27 | Murata Mach Ltd | 通信装置 |
| JP2014212560A (ja) * | 2014-07-01 | 2014-11-13 | 京セラ株式会社 | 画像送信装置、画像送信方法および画像送信プログラム |
| JP6476646B2 (ja) * | 2014-08-19 | 2019-03-06 | 三菱電機株式会社 | 画像表示システム、および、その制御方法 |
| JP2018157493A (ja) * | 2017-03-21 | 2018-10-04 | ブラザー工業株式会社 | 会議プログラム、及び遠隔会議方法 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02306765A (ja) * | 1989-05-22 | 1990-12-20 | Ricoh Co Ltd | 画像伝送装置 |
| JPH03201742A (ja) * | 1989-12-28 | 1991-09-03 | Takeshi Sakamura | トークンリング型ｌａｎ |
| JPH04357571A (ja) * | 1991-06-04 | 1992-12-10 | Hitachi Ltd | 画像処理方法および画像処理装置 |
| JPH05324829A (ja) * | 1992-05-22 | 1993-12-10 | Fujitsu Ltd | 物体輪郭抽出方法および輪郭抽出装置 |
| JPH06334998A (ja) * | 1993-05-25 | 1994-12-02 | Hitachi Ltd | 携帯テレビ電話 |
| JPH0758878A (ja) * | 1993-08-17 | 1995-03-03 | Media Rinku:Kk | 通信システム |
| JPH0865324A (ja) * | 1994-07-07 | 1996-03-08 | Lg Ind Syst Co Ltd | Ｐｌｃ通信のパラメータ設定方法 |
| JPH08130722A (ja) * | 1994-11-01 | 1996-05-21 | Matsushita Electric Ind Co Ltd | 画像通信端末装置 |
| JPH08274961A (ja) * | 1995-04-04 | 1996-10-18 | Canon Inc | 画像伝送方法及び装置並びに解像度制御装置 |
| JPH09261197A (ja) * | 1996-03-25 | 1997-10-03 | Kokusai Electric Co Ltd | 重畳伝送システム |
| JPH1079944A (ja) * | 1996-07-08 | 1998-03-24 | Hyundai Electron Ind Co Ltd | 物体境界ブロック合併／分割を利用した映像情報符号化方法 |
| JPH10229375A (ja) * | 1997-02-14 | 1998-08-25 | Ibaraki Pref Gov | データ伝送装置 |
| JPH10289188A (ja) * | 1997-04-17 | 1998-10-27 | Mitsubishi Electric Corp | サーバ・クライアント間通信優先度制御装置 |
| JPH10304335A (ja) * | 1997-04-28 | 1998-11-13 | Fujitsu Ltd | 情報伝送装置 |
| JPH11177518A (ja) * | 1997-12-12 | 1999-07-02 | Kokusai Electric Co Ltd | データ通信装置 |
| JPH11187468A (ja) * | 1997-12-24 | 1999-07-09 | Kyocera Corp | 携帯形テレビ電話システムにおける画像データ領域可変方式 |
| JP2000030038A (ja) * | 1998-07-10 | 2000-01-28 | Fujitsu Ltd | 画像処理装置及び記録媒体 |
| JP2000184328A (ja) * | 1998-12-17 | 2000-06-30 | Fuji Photo Film Co Ltd | 画像記憶方法、画像転送方法および装置並びに記録媒体 |
-
2000
- 2000-07-31 JP JP2000232398A patent/JP4571733B2/ja not_active Expired - Fee Related
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02306765A (ja) * | 1989-05-22 | 1990-12-20 | Ricoh Co Ltd | 画像伝送装置 |
| JPH03201742A (ja) * | 1989-12-28 | 1991-09-03 | Takeshi Sakamura | トークンリング型ｌａｎ |
| JPH04357571A (ja) * | 1991-06-04 | 1992-12-10 | Hitachi Ltd | 画像処理方法および画像処理装置 |
| JPH05324829A (ja) * | 1992-05-22 | 1993-12-10 | Fujitsu Ltd | 物体輪郭抽出方法および輪郭抽出装置 |
| JPH06334998A (ja) * | 1993-05-25 | 1994-12-02 | Hitachi Ltd | 携帯テレビ電話 |
| JPH0758878A (ja) * | 1993-08-17 | 1995-03-03 | Media Rinku:Kk | 通信システム |
| JPH0865324A (ja) * | 1994-07-07 | 1996-03-08 | Lg Ind Syst Co Ltd | Ｐｌｃ通信のパラメータ設定方法 |
| JPH08130722A (ja) * | 1994-11-01 | 1996-05-21 | Matsushita Electric Ind Co Ltd | 画像通信端末装置 |
| JPH08274961A (ja) * | 1995-04-04 | 1996-10-18 | Canon Inc | 画像伝送方法及び装置並びに解像度制御装置 |
| JPH09261197A (ja) * | 1996-03-25 | 1997-10-03 | Kokusai Electric Co Ltd | 重畳伝送システム |
| JPH1079944A (ja) * | 1996-07-08 | 1998-03-24 | Hyundai Electron Ind Co Ltd | 物体境界ブロック合併／分割を利用した映像情報符号化方法 |
| JPH10229375A (ja) * | 1997-02-14 | 1998-08-25 | Ibaraki Pref Gov | データ伝送装置 |
| JPH10289188A (ja) * | 1997-04-17 | 1998-10-27 | Mitsubishi Electric Corp | サーバ・クライアント間通信優先度制御装置 |
| JPH10304335A (ja) * | 1997-04-28 | 1998-11-13 | Fujitsu Ltd | 情報伝送装置 |
| JPH11177518A (ja) * | 1997-12-12 | 1999-07-02 | Kokusai Electric Co Ltd | データ通信装置 |
| JPH11187468A (ja) * | 1997-12-24 | 1999-07-09 | Kyocera Corp | 携帯形テレビ電話システムにおける画像データ領域可変方式 |
| JP2000030038A (ja) * | 1998-07-10 | 2000-01-28 | Fujitsu Ltd | 画像処理装置及び記録媒体 |
| JP2000184328A (ja) * | 1998-12-17 | 2000-06-30 | Fuji Photo Film Co Ltd | 画像記憶方法、画像転送方法および装置並びに記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002051312A (ja) | 2002-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100554604B1 (ko) | 전화 통신 시스템 | |
| KR101450580B1 (ko) | 이미지 합성 방법 및 장치 | |
| EP1612736B1 (en) | Method for editing images in a mobile terminal | |
| JP3843269B2 (ja) | 携帯端末機の画像表示装置及び方法 | |
| US7711255B2 (en) | Camera-equipped portable terminal and photograph transmission method using the same | |
| US20070291107A1 (en) | Apparatus and method for sending/receiving text message during video call in mobile terminal | |
| JP2005123804A (ja) | コミュニケーションシステム及び方法 | |
| CN102045441A (zh) | 使用移动终端的数据通信方法和*** | |
| CN100401736C (zh) | 识别图像的拍摄者的设备 | |
| JP4571733B2 (ja) | 情報処理装置および情報処理方法 | |
| JP4526965B2 (ja) | テレビドアホン装置 | |
| US20050192050A1 (en) | Method and apparatus for processing incoming call of wireless telephone having camera | |
| CN200990664Y (zh) | 一种可实现远程视频对话功能的电视机 | |
| KR100438540B1 (ko) | 이동통신 단말기의 이미지 송수신 방법 및 시스템 | |
| US8159970B2 (en) | Method of transmitting image data in video telephone mode of a wireless terminal | |
| JP2005168012A (ja) | テレビ電話対応型インターネット電話機 | |
| JP2007208810A (ja) | 通信装置、通信方法 | |
| JP4241916B2 (ja) | 電話通信システム | |
| JP2006211570A (ja) | 撮影装置 | |
| US20100002068A1 (en) | Communication terminal and method for performing video telephony | |
| KR20110109886A (ko) | 송신 장치, 방법, 및 프로그램 | |
| JP2004192138A (ja) | 画像作成送信システム、画像作成送信方法および携帯情報端末 | |
| CN1291623C (zh) | 用于在便携式终端中显示活动图像的设备及方法 | |
| JP3177042B2 (ja) | テレビ電話装置及び通信装置の制御方法 | |
| KR100617564B1 (ko) | 이동단말기의 화상통화를 이용한 멀티미디어 데이터 전송방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100810 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100813 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |