JP2007281766A - 画像送信装置及びその送信方法 - Google Patents
画像送信装置及びその送信方法 Download PDFInfo
- Publication number
- JP2007281766A JP2007281766A JP2006104112A JP2006104112A JP2007281766A JP 2007281766 A JP2007281766 A JP 2007281766A JP 2006104112 A JP2006104112 A JP 2006104112A JP 2006104112 A JP2006104112 A JP 2006104112A JP 2007281766 A JP2007281766 A JP 2007281766A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- data
- sub
- mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Facsimiles In General (AREA)
Abstract
【目的】画像送信開始時に送信するIフレームの情報量を少なくして送信し、受信装置が画像を受信して表示する待機時間を短縮することが可能な「画像送信装置及びその送信方法」を提供することである。
【構成】画像送信装置は、1フレーム目の画像に対し、N×N画素よりなる複数のサブ画像に分割して、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像P1を生成してIフレームとして送信する。次に、画像送信装置は、2フレーム目の画像に対し、n×n画素(n<N)よりなる複数の更に小さなサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像P2を生成してIフレームとして送信する。
【選択図】図1
【構成】画像送信装置は、1フレーム目の画像に対し、N×N画素よりなる複数のサブ画像に分割して、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像P1を生成してIフレームとして送信する。次に、画像送信装置は、2フレーム目の画像に対し、n×n画素(n<N)よりなる複数の更に小さなサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像P2を生成してIフレームとして送信する。
【選択図】図1
Description
本発明は、画像送信装置及びその送信方法に係わり、特に前回送信した画像との差分画像データを送信する画像送信装置及びその送信方法に関する。
近年、携帯電話や携帯情報端末ではカメラを搭載し、画像データ付き電子メールサービスやTV電話サービス等の種々の画像データ伝送サービスが使用できるようになっている。しかしこのようなシステムにおいて、画像データのような情報量が大きいデータを伝送しようとすると、伝送帯域が問題となり画像データを伝送することができない。
そこで、画像データを伝送する場合には、画像の符号化/復号処理が必要であり、携帯電話や携帯情報端末では現在MPEG−4と呼ばれる画像の符号化/復号方式が採用されている。
MPEG−4は、画像データとして独立に意味をなす絶対値情報としてのフレーム(以後Iフレームとする)と、1フレーム前の画像データとの差分情報であり画像データとして独立に意味をなさないフレーム(以後Pフレームとする)で構成される。なお、Iフレームは静止画として符号化した1画面の全画像情報を含む画像データであり、Pフレームは1フレーム前の画像データとの差分情報であり、1画面の全画像情報ではない。
MPEG−4は、画像データとして独立に意味をなす絶対値情報としてのフレーム(以後Iフレームとする)と、1フレーム前の画像データとの差分情報であり画像データとして独立に意味をなさないフレーム(以後Pフレームとする)で構成される。なお、Iフレームは静止画として符号化した1画面の全画像情報を含む画像データであり、Pフレームは1フレーム前の画像データとの差分情報であり、1画面の全画像情報ではない。
図9は上記MPEG−4を使用した画像データの送受信システムの動作例を模式的に表した図である。同図において、例えば送信装置CP1においてV1、V2、V3、・・、VN、・・に示す画像データがカメラにより順次撮影されたとする。まず、送信伝送装置CP1は上記画像データV1を静止画として符号化しIフレームとして送信する。これに対し受信装置CP2は、上記Iフレームを基に1画面データW1を復号して表示する。
次に送信装置CP1は、上記画像データV2、V3、・・VN、・・が得られるごとに、これらの画像データV2、V3、・・とその1フレーム前の画像データV1、V2、・・との差分を検出し、この差分情報をそれぞれ符号化し、Pフレームとして送信する。これに対し受信装置CP2は、上記Pフレームを受信するごとにそれぞれ、そのデータを1画面前に表示した動画像データW1、W2、・・に加算して画像データを復号して表示する。但し、送信装置CP1は上記差分情報の情報量が大きい場合等において、適宜、Iフレームを送信する(例えば、画像データVN送信時)。
これにより、例えば、数Mbpsの情報量を持つ画像データが数十Kbpsの情報量として伝送することを可能としている。
次に送信装置CP1は、上記画像データV2、V3、・・VN、・・が得られるごとに、これらの画像データV2、V3、・・とその1フレーム前の画像データV1、V2、・・との差分を検出し、この差分情報をそれぞれ符号化し、Pフレームとして送信する。これに対し受信装置CP2は、上記Pフレームを受信するごとにそれぞれ、そのデータを1画面前に表示した動画像データW1、W2、・・に加算して画像データを復号して表示する。但し、送信装置CP1は上記差分情報の情報量が大きい場合等において、適宜、Iフレームを送信する(例えば、画像データVN送信時)。
これにより、例えば、数Mbpsの情報量を持つ画像データが数十Kbpsの情報量として伝送することを可能としている。
ところで、画像送信開始時には、送信装置CP1は画像データをIフレームとして符号化して送信しなければならない。しかし、IフレームはPフレームと比較して情報量が多いという特徴を有する。そのため、画像送信開始時において、送信装置CP1が受信装置CP2へIフレームを送信する際、Iフレームの情報量が膨大であると、受信装置CP2がIフレームを受信して表示するまでの待機時間Tが長く、ユーザに違和感を与えていた(図10参照)。
従来技術として、送受信用の画像圧縮伸張装置に1個のフレームメモリに対して複数個の符号化/復号回路とバッファメモリとを設けて、並列処理により符号化/復号処理を短縮する画像圧縮伸張装置がある(特許文献1参照)。
特開平7−147637号公報
しかしながら、従来技術では、画像送信開始時に送信するIフレームの情報量を少なくするものではないため、受信装置CP2がIフレームを受信して表示するまでの待機時間Tは依然として長かった。
従って、本発明の目的は、画像送信開始時に送信するIフレームの情報量を少なくして送信し、受信装置が画像を受信して表示する待機時間を短縮することが可能な画像送信装置及びその送信方法を提供する。
従って、本発明の目的は、画像送信開始時に送信するIフレームの情報量を少なくして送信し、受信装置が画像を受信して表示する待機時間を短縮することが可能な画像送信装置及びその送信方法を提供する。
本発明は、前回送信した画像との差分画像データを送信する画像送信装置であり、画像をN×N画素よりなる複数のサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成するとともに、前記モザイク画像データ送信後に、原画像あるいは原画像と前記モザイク画像との差分画像を生成する画像処理部と、画像送信時、最初に前記モザイク画像データを送信し、該モザイク画像データ送信後に、原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信し、以後、前回送信した画像との差分画像データを送信する画像送信部と、を備えている。
上記画像送信装置の画像処理部は、前記画像送信部が前記原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信する前に、原画像をn×n画素(n<N)よりなる複数の更に小さなサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成し、前記画像送信部は、該モザイク画像データを生成する。
本発明は、前回送信した画像との差分画像データを送信する画像送信装置の画像送信方法であり、画像をN×N画素よりなる複数のサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成するステップ、画像送信時、最初に前記モザイク画像データを送信するステップ、前記モザイク画像データ送信後に、原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信し、以後、前回送信した画像との差分画像データを送信するステップ、を有している。
上記画像送信方法は、前記原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信する前に、画像をn×n画素(n<N)よりなる複数の更に小さなサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成して送信するステップ、を有している。
本発明によれば、画像をN×N画素よりなる複数のサブ画像に分割して、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成し、画像送信時、最初に前記モザイク画像データを送信し、該モザイク画像データ送信後に、原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信し、以後、前回送信した画像との差分画像データを送信するように構成したため、画像送信開始時に、受信装置が画像を受信して表示する待機時間を短縮することができる。
本発明によれば、原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信する前に、画像をn×n画素(n<N)よりなる複数の更に小さなサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成して送信するように構成したため、画像を徐々に鮮明に表示することができ、ユーザに違和感を与えずに画像を表示することができる。
(A)本発明に係る画像送信処理の概略
図1は本発明に係る画像送信処理の概略図である。図示しない送信装置は、ユーザにより画像送信開始が指示されると、カメラ等の撮像装置から1フレーム目の画像を取得し、該画像をN×N画素(例えば16×16画素)の複数のサブ画像に分割する。そして、送信装置は該サブ画像の所定の画素(例えば、左上部の画素)の画素データを該サブ画像の全画素の画素データとし、モザイク画像P1を生成する。その後、送信装置はモザイク画像P1を静止画として符号化し、Iフレームとして送信する。これに対し、図示しない受信装置は、上記Iフレームを受信し、このIフレームを基にモザイク画像P1を復号して表示する。
次に、送信装置は、撮像装置から2フレーム目の画像を取得し、該画像をn×n画素(n<N)(例えば8×8画素)の複数の更に小さなサブ画像に分割する。そして、送信装置は該サブ画像の所定の画素(例えば、左上部の画素)の画素データを該サブ画像の全画素の画素データとし、モザイク画像P2を生成する。その後、送信装置はモザイク画像P2を静止画として符号化し、Iフレームとして送信する。これに対し、受信装置は、上記Iフレームを受信し、このIフレームを基にモザイク画像P2を復号して表示する。
次に、送信装置は、撮像装置から3フレーム目の画像を取得し、静止画として符号化しIフレームとして送信する。これに対し、受信装置は、上記Iフレームを受信し、このIフレームを基に画像P3を復号して表示する。
4フレーム目の画像以降、送信装置は、画像取得後、該画像とその1フレーム前の画像との差分を検出し、この差分情報を符号化し、Pフレームとして送信する。これに対し、受信装置は、上記Pフレームを受信し、そのデータを1フレーム前に表示した画像に加算して画像を復号して表示する。但し、送信装置は、差分情報の情報量が大きい場合等において、適宜、Iフレームを送信することもできる。
これにより、画像送信開始時に、受信装置が画像を受信して表示する待機時間を短縮することができ、かつ、画像を徐々に鮮明に表示し、ユーザに違和感を与えずに画像を表示することができる。
図1は本発明に係る画像送信処理の概略図である。図示しない送信装置は、ユーザにより画像送信開始が指示されると、カメラ等の撮像装置から1フレーム目の画像を取得し、該画像をN×N画素(例えば16×16画素)の複数のサブ画像に分割する。そして、送信装置は該サブ画像の所定の画素(例えば、左上部の画素)の画素データを該サブ画像の全画素の画素データとし、モザイク画像P1を生成する。その後、送信装置はモザイク画像P1を静止画として符号化し、Iフレームとして送信する。これに対し、図示しない受信装置は、上記Iフレームを受信し、このIフレームを基にモザイク画像P1を復号して表示する。
次に、送信装置は、撮像装置から2フレーム目の画像を取得し、該画像をn×n画素(n<N)(例えば8×8画素)の複数の更に小さなサブ画像に分割する。そして、送信装置は該サブ画像の所定の画素(例えば、左上部の画素)の画素データを該サブ画像の全画素の画素データとし、モザイク画像P2を生成する。その後、送信装置はモザイク画像P2を静止画として符号化し、Iフレームとして送信する。これに対し、受信装置は、上記Iフレームを受信し、このIフレームを基にモザイク画像P2を復号して表示する。
次に、送信装置は、撮像装置から3フレーム目の画像を取得し、静止画として符号化しIフレームとして送信する。これに対し、受信装置は、上記Iフレームを受信し、このIフレームを基に画像P3を復号して表示する。
4フレーム目の画像以降、送信装置は、画像取得後、該画像とその1フレーム前の画像との差分を検出し、この差分情報を符号化し、Pフレームとして送信する。これに対し、受信装置は、上記Pフレームを受信し、そのデータを1フレーム前に表示した画像に加算して画像を復号して表示する。但し、送信装置は、差分情報の情報量が大きい場合等において、適宜、Iフレームを送信することもできる。
これにより、画像送信開始時に、受信装置が画像を受信して表示する待機時間を短縮することができ、かつ、画像を徐々に鮮明に表示し、ユーザに違和感を与えずに画像を表示することができる。
次に、移動通信システムの伝送装置間でMPEG−4による画像符号化/復号方式を使用し、車両内で無線TV電話通信を行う場合に、受信側の携帯電話が画像を受信して表示する待機時間を短縮する画像送信装置及びその送信方法について説明する。
(B)無線TV電話通信の仕組み
図2は、移動通信システムの送信装置CP1と受信装置CP2間で画像データ、音声データおよびコンピュータデータを多重化伝送することにより、無線TV電話通信を行う際の仕組みを示す図である。
送信装置CP1と受信装置CP2は物理レイヤにより相互に接続され、MUX−PDUと呼ばれるパケット単位でデータ伝送を行う。MUX−PDUは、図2に示すように先頭にフラグとヘッダを配置し、その後ろに動画像データ、音声データおよびコンピュータデータを交互に配置したものである。ヘッダにはMUX−PDUの内容を表す情報が挿入される。
物理レイヤの上位にはAL/MUXレイヤが配置され、このAL/MUXレイヤにおいて上記MUX−PDUが生成される。また、AL/MUXレイヤの上位には高位レイヤが配置され、ここでビデオチャネル、オーディオチャネルおよび制御・データチャネルの接続が行われる。高位レイヤは、後述する画像コーデック、音声コーデックおよびデータ通信部により実現される。
図2は、移動通信システムの送信装置CP1と受信装置CP2間で画像データ、音声データおよびコンピュータデータを多重化伝送することにより、無線TV電話通信を行う際の仕組みを示す図である。
送信装置CP1と受信装置CP2は物理レイヤにより相互に接続され、MUX−PDUと呼ばれるパケット単位でデータ伝送を行う。MUX−PDUは、図2に示すように先頭にフラグとヘッダを配置し、その後ろに動画像データ、音声データおよびコンピュータデータを交互に配置したものである。ヘッダにはMUX−PDUの内容を表す情報が挿入される。
物理レイヤの上位にはAL/MUXレイヤが配置され、このAL/MUXレイヤにおいて上記MUX−PDUが生成される。また、AL/MUXレイヤの上位には高位レイヤが配置され、ここでビデオチャネル、オーディオチャネルおよび制御・データチャネルの接続が行われる。高位レイヤは、後述する画像コーデック、音声コーデックおよびデータ通信部により実現される。
図3は、MPEG−4ストリームのデータ構造を示す図である。MPEG−4ストリームは図2に示したビデオチャネルに挿入され伝送される。このMPEG−4ストリームでは、図2に示すように1画面の全ての画像要素を含むIフレームがまず送信され、以後、各フレームタイミング毎に前フレームとの差分情報からなるPフレームが順次送信される。
但し、Pフレームに代えてIフレームを送信することもできる。
但し、Pフレームに代えてIフレームを送信することもできる。
(C)画像送受信装置の構成
図4は画像送受信装置の構成を示すブロック図であり、図2の送信装置CP1、受信装置CP2として使用できるものである。画像送受信装置は携帯端末1と、車載機2とから構成される。携帯端末1は無線部3と、ベースバンド部4と、入出力部5と、電源部6とから構成され、車載機2はCPU41と、通信インターフェース42と、表示部43と、操作部44とから構成される。
図4は画像送受信装置の構成を示すブロック図であり、図2の送信装置CP1、受信装置CP2として使用できるものである。画像送受信装置は携帯端末1と、車載機2とから構成される。携帯端末1は無線部3と、ベースバンド部4と、入出力部5と、電源部6とから構成され、車載機2はCPU41と、通信インターフェース42と、表示部43と、操作部44とから構成される。
同図において、基地局から移動通信システム用の無線チャネルを介して到来した無線周波信号はアンテナ11で受信された後、アンテナ共用器(DUP)12を介して受信回路(RX)13に入力される。受信回路13は高周波増幅器、周波数変換器および復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅した後、周波数変換器において周波数シンセサイザ(SYN)14から発生された受信局部発信信号とミキシングして受信中間周波信号または受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば、QPSK方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ14から発生される受信局部発信信号周波数は、ベースバンド部4に設けられた主制御部21から指示される
上記復調器から出力された復調信号はベースバンド部4に入力される。ベースバンド部4は、主制御部21と、多重分離部22と、音声コーデック23と、画像コーデック24と、画像処理部25と、LCD制御部26と、通信インターフェース27とを備えている。
上記復調信号は主制御部21において制御情報であるか画像データ等のマルチメディア情報であるかが識別され、マルチメディア情報であれば多重分離部22に入力されてここで音声データと画像データに分離される。そして、音声データは音声コーデック23に入力されてここで音声復号され、これにより再生された音声信号は入出力部5のスピーカ34から拡声出力される。一方、画像データは、画像コーデック24に入力されてここで画像復号処理され、これにより再生された画像信号は通信インターフェース27を介して接続された車載機2のCPU41に入力される。CPU41は、該画像信号を表示部43に入力して表示する。また、上記画像信号はLCD制御部26を介してLCD32に入力して表示することもできる。
一方、入出力部5のマイク33から出力された端末使用者の送話音声信号はベースバンド部4の音声コーデック23に入力され、ここで音声符号化された後、多重分離部22に入力される。また、カメラ31から出力された画像は、ベースバンド部4の画像処理部25に順次入力される。画像処理部25は、TV電話通信が開始され、主制御部21より画像処理の指示がされると、1フレーム目の画像及び2フレーム目の画像に対し、後述するモザイク画像を生成して画像コーデック24に入力するとともに、3フレーム以降の画像はそのまま画像コーデック24に入力する。画像コーデック24は、画像処理部25より順次入力される画像に対して符号化処理を行う。具体的には、画像処理部25より入力される1フレーム目及び2フレーム目のモザイク画像に対して、Iフレーム符号化処理を行う。更に、3フレーム目の画像に対してもIフレーム符号化処理を行い、4フレーム目以降の画像に対してはPフレーム符号化処理を行うように制御される。画像コーデック24により画像符号化処理が施された後、上記多重分離部22に入力される。多重分離部22では、上記符号化された音声データと画像データとが所定のフォーマットにより多重化され、この多重化された送信データは主制御部21から無線部3の送信回路(TX)15に入力される。
送信回路15は変調器、周波数変換器および送信電力増幅器を備える。上記送信データは変調器でディジタル変調された後、周波数変換器により周波数シンセサイザ14から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としてはQPSK方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅された後、アンテナ共用器12を介してアンテナ11に入力され、このアンテナ11から基地局に向け送信される。
図5及び図6は、1フレーム目及び2フレーム目の画像に対してモザイク画像を生成することを説明する図である。
画像処理部25は、1フレーム目の画像をカメラ31より取得した後、該画像をN×N画素(例えば16×16画素)の複数のサブ画像に分割する(図5(A))。なお、例えばサブ画像51の各画素は図5(B)に示すような画素データを有している。そして、画像処理部25は、サブ画像の所定の画素(例えば、左上部の画素52)の画素データをサブ画像の全画素の画素データとする(図5(C))。画像処理部25は、この処理を全サブ画像に対して行うことによりモザイク画像を生成し、画像コーデック24に入力する。
次に、画像処理部25は、2フレーム目の画像をカメラ31より取得し、該画像をn×n画素(n<N)(例えば8×8画素)の複数の更に小さなサブ画像に分割する(図6(A))。なお、サブ画像53の各画素は図6(B)に示すような画素データを有している。そして、画像処理部25は、サブ画像の所定の画素(例えば、左上部の画素54)の画素データをサブ画像の全画素の画素データとする(図6(C))。画像処理部25は、この処理を全サブ画像に対して行うことによりモザイク画像を生成し、画像コーデック24に入力する。一方、画像処理部25は、3フレーム目以降において、カメラ31より画像を取得し、該画像に対して一切処理を行わずに画像コーデック24に入力する。
画像処理部25は、1フレーム目の画像をカメラ31より取得した後、該画像をN×N画素(例えば16×16画素)の複数のサブ画像に分割する(図5(A))。なお、例えばサブ画像51の各画素は図5(B)に示すような画素データを有している。そして、画像処理部25は、サブ画像の所定の画素(例えば、左上部の画素52)の画素データをサブ画像の全画素の画素データとする(図5(C))。画像処理部25は、この処理を全サブ画像に対して行うことによりモザイク画像を生成し、画像コーデック24に入力する。
次に、画像処理部25は、2フレーム目の画像をカメラ31より取得し、該画像をn×n画素(n<N)(例えば8×8画素)の複数の更に小さなサブ画像に分割する(図6(A))。なお、サブ画像53の各画素は図6(B)に示すような画素データを有している。そして、画像処理部25は、サブ画像の所定の画素(例えば、左上部の画素54)の画素データをサブ画像の全画素の画素データとする(図6(C))。画像処理部25は、この処理を全サブ画像に対して行うことによりモザイク画像を生成し、画像コーデック24に入力する。一方、画像処理部25は、3フレーム目以降において、カメラ31より画像を取得し、該画像に対して一切処理を行わずに画像コーデック24に入力する。
電源部6は図示しないがリチウムイオン電池等のバッテリと、このバッテリを充電するための充電回路と、バッテリの出力電圧をもとに所定の電源電圧を生成する電圧生成回路を備えている。また、入力部5には主制御部21から出力された本端末の操作状態を表す情報、例えば、電話帳や受信強度やバッテリの残量などを表示するLCD32と、通話開始や終了を行うための操作部35と、LCD32や操作部35とを照明するための照明器36が備えられている。
主制御部21は、図示しないがマイクロプロセッサと、ROMおよびRAMなどからなる内部メモリとを備えたもので、無線チャネルの接続制御や通信リンクの確立、通常の制御機能とを備えている。また、主制御部21は、車載機2が備える操作部44で行われるハンズフリーTV電話通信設定情報が通信インターフェース27を介して入力され、図示しない車速センサー等により、車両が停止中であることが検出された場合には、送信装置CP1より受信した画像データを表示するように制御し、車両が走行中であることを検出した場合には、送信装置CP1より受信した画像データを非表示するように制御する。
(D)画像送信処理の動作
次に、以上のように構成された画像送受信装置の動作を説明する。図7は、送信装置CP1と受信装置CP2の動作内容を示すフローチャートである。
送信装置CP1と受信装置CP2とが、携帯端末1の操作部35あるいは車載機2の操作部44を操作してMPEG−4を用いて無線TV電話通信を開始したとする。これにより、カメラ33は画像を撮影するとともに(ステップS1)、主制御部21は、画像処理部25に1フレーム目の画像に対してモザイク画像を生成するように指示する。画像処理部25は、この指示に基づいて、1フレーム目の画像をカメラ31より取得した後、該画像を16×16画素の複数のサブ画像に分割し(図5(A))、サブ画像の左上部の画素の画素データをサブ画像の全画素の画素データとすることにより(図5(C))、モザイク画像を生成し、画像コーデック24に入力する(ステップS2)。そして、画像コーデック24はこのモザイク画像に対してIフレーム符号化処理を行い、このIフレームを最初のフレームタイミングで送信する(ステップS3)。これに対して、通信相手である受信装置CP2は、送信装置CP1より送信されたIフレームを受信し、画像コーデック24において、このIフレームを基にモザイク画像P1(図1)を復号して車載機2の表示部43に表示する(ステップS4)。
次に、主制御部21は、画像処理部25に2フレーム目の画像に対してモザイク画像を生成するように指示する。画像処理部25は、この指示に基づいて、2フレーム目の画像をカメラ31より取得した後、該画像を8×8画素の複数のサブ画像に分割し(図6(A))、サブ画像の左上部の画素の画素データをサブ画像の全画素の画素データとすることにより(図6(C))、モザイク画像を生成し、画像コーデック24に入力する(ステップS5)。そして、画像コーデック24はこのモザイク画像に対してIフレーム符号化処理を行い、このIフレームを送信する(ステップS6)。これに対して、受信装置CP2は、送信装置CP1より送信されたIフレームを受信し、画像コーデック24において、このIフレームを基にモザイク画像P2(図1)を復号して車載機2の表示部43に表示する(ステップS7)。
画像処理部25は、3フレーム目の画像をカメラ31より取得し、そのまま画像コーデック24に入力する。画像コーデック24は画像処理部25より入力された3フレーム目の画像に対してIフレーム符号化処理を行い、このIフレームを送信する(ステップS8)。
受信装置CP2は、送信装置CP1より送信されたIフレームを受信し、画像コーデック24において、このIフレームを基にモザイク画像P3(図1)を復号して車載機2の表示部43に表示する(ステップS9)。次いで、画像処理部25は、4フレーム目の画像をカメラ31より取得し、そのまま画像コーデック24に入力する。画像コーデック24は、画像処理部25より画像を取得後、該画像とその1フレーム前の画像(3フレーム目の画像)との差分情報を生成し(ステップS10)、この差分情報を符号化し、Pフレームとして送信する(ステップS11)。受信装置CP2は、送信装置CP1より送信されたPフレームを受信し、そのデータを1フレーム前に表示した画像(画像P3)に加算して画像P4(図1)を復号して車載機2の表示部43に表示する(ステップS12)。5フレーム目以降、送信装置CP1及び受信装置CP2は、ステップS10〜S12の処理を繰り返し行う。但し、送信装置CP1は、差分情報の情報量が大きい場合等において、適宜、Iフレームを送信することもできる。
以上の処理により、受信装置CP2は、画像を受信して表示する待機時間を短縮することができ、かつ、画像を徐々に鮮明に表示し、ユーザに違和感を与えずに画像を表示することができる。
次に、以上のように構成された画像送受信装置の動作を説明する。図7は、送信装置CP1と受信装置CP2の動作内容を示すフローチャートである。
送信装置CP1と受信装置CP2とが、携帯端末1の操作部35あるいは車載機2の操作部44を操作してMPEG−4を用いて無線TV電話通信を開始したとする。これにより、カメラ33は画像を撮影するとともに(ステップS1)、主制御部21は、画像処理部25に1フレーム目の画像に対してモザイク画像を生成するように指示する。画像処理部25は、この指示に基づいて、1フレーム目の画像をカメラ31より取得した後、該画像を16×16画素の複数のサブ画像に分割し(図5(A))、サブ画像の左上部の画素の画素データをサブ画像の全画素の画素データとすることにより(図5(C))、モザイク画像を生成し、画像コーデック24に入力する(ステップS2)。そして、画像コーデック24はこのモザイク画像に対してIフレーム符号化処理を行い、このIフレームを最初のフレームタイミングで送信する(ステップS3)。これに対して、通信相手である受信装置CP2は、送信装置CP1より送信されたIフレームを受信し、画像コーデック24において、このIフレームを基にモザイク画像P1(図1)を復号して車載機2の表示部43に表示する(ステップS4)。
次に、主制御部21は、画像処理部25に2フレーム目の画像に対してモザイク画像を生成するように指示する。画像処理部25は、この指示に基づいて、2フレーム目の画像をカメラ31より取得した後、該画像を8×8画素の複数のサブ画像に分割し(図6(A))、サブ画像の左上部の画素の画素データをサブ画像の全画素の画素データとすることにより(図6(C))、モザイク画像を生成し、画像コーデック24に入力する(ステップS5)。そして、画像コーデック24はこのモザイク画像に対してIフレーム符号化処理を行い、このIフレームを送信する(ステップS6)。これに対して、受信装置CP2は、送信装置CP1より送信されたIフレームを受信し、画像コーデック24において、このIフレームを基にモザイク画像P2(図1)を復号して車載機2の表示部43に表示する(ステップS7)。
画像処理部25は、3フレーム目の画像をカメラ31より取得し、そのまま画像コーデック24に入力する。画像コーデック24は画像処理部25より入力された3フレーム目の画像に対してIフレーム符号化処理を行い、このIフレームを送信する(ステップS8)。
受信装置CP2は、送信装置CP1より送信されたIフレームを受信し、画像コーデック24において、このIフレームを基にモザイク画像P3(図1)を復号して車載機2の表示部43に表示する(ステップS9)。次いで、画像処理部25は、4フレーム目の画像をカメラ31より取得し、そのまま画像コーデック24に入力する。画像コーデック24は、画像処理部25より画像を取得後、該画像とその1フレーム前の画像(3フレーム目の画像)との差分情報を生成し(ステップS10)、この差分情報を符号化し、Pフレームとして送信する(ステップS11)。受信装置CP2は、送信装置CP1より送信されたPフレームを受信し、そのデータを1フレーム前に表示した画像(画像P3)に加算して画像P4(図1)を復号して車載機2の表示部43に表示する(ステップS12)。5フレーム目以降、送信装置CP1及び受信装置CP2は、ステップS10〜S12の処理を繰り返し行う。但し、送信装置CP1は、差分情報の情報量が大きい場合等において、適宜、Iフレームを送信することもできる。
以上の処理により、受信装置CP2は、画像を受信して表示する待機時間を短縮することができ、かつ、画像を徐々に鮮明に表示し、ユーザに違和感を与えずに画像を表示することができる。
(E)画像送信処理の変形例
本実施例では、送信装置CP1は、2フレーム目のモザイク画像P2及び3フレーム目の原画像P3(図1)に対してIフレーム符号化処理を行って送信したが、図8に示すように2フレーム目のモザイク画像P2及び3フレーム目の原画像P3(図1)に対してPフレーム符号化処理を行って送信することもできる。
本実施例では、送信装置CP1は、2フレーム目のモザイク画像P2及び3フレーム目の原画像P3(図1)に対してIフレーム符号化処理を行って送信したが、図8に示すように2フレーム目のモザイク画像P2及び3フレーム目の原画像P3(図1)に対してPフレーム符号化処理を行って送信することもできる。
本実施例では、ステップS5〜S7の処理において、送信装置CP1が2フレーム目の原画像に対してモザイク画像P2を生成して送信し、受信装置CP2がこの画像を表示するようにした。しかし、これらの処理を省略しても、受信装置CP2は画像を受信して表示する待機時間を短縮することはできる。
本実施例では、画像データの符号化/復号方式にMPEG−4を用いているが、MPEG−4以外にH.264等のその他の方式を用いても実現できる。
本実施例では、車両内で無線TV電話通信を行う場合を説明したが、車両内でネットワークを介してインターネット上のWWWサーバに接続し、このサーバから画像データを表示させるような場合にも本発明は適用できる。
その他、本発明は、画像送受信装置の構成や制御手順等についても、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
CP1…送信装置
CP2…受信装置
P1、P2…モザイク画像
1…携帯端末
2…車載機
21…主制御部
24…画像コーデック
25…画像処理部
CP2…受信装置
P1、P2…モザイク画像
1…携帯端末
2…車載機
21…主制御部
24…画像コーデック
25…画像処理部
Claims (4)
- 前回送信した画像との差分画像データを送信する画像送信装置において、
画像をN×N画素よりなる複数のサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成するとともに、前記モザイク画像データ送信後に、原画像あるいは原画像と前記モザイク画像との差分画像を生成する画像処理部と、
画像送信時、最初に前記モザイク画像データを送信し、該モザイク画像データ送信後に、原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信し、以後、前回送信した画像との差分画像データを送信する画像送信部と、
を備えたことを特徴とする画像送信装置。 - 前記画像処理部は、前記画像送信部が前記原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信する前に、原画像をn×n画素(n<N)よりなる複数の更に小さなサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成し、
前記画像送信部は、該モザイク画像データを送信する、
ことを特徴とする請求項1記載の画像送信装置。 - 前回送信した画像との差分画像データを送信する画像送信装置の画像送信方法において、
画像をN×N画素よりなる複数のサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成するステップ、
画像送信時、最初に前記モザイク画像データを送信するステップ、
前記モザイク画像データ送信後に、原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信し、以後、前回送信した画像との差分画像データを送信するステップ、
を備えたことを特徴とする画像送信装置の画像送信方法。 - 前記原画像あるいは原画像と前記モザイク画像との差分画像とに応じた画像データを送信する前に、画像をn×n画素(n<N)よりなる複数の更に小さなサブ画像に分割し、該サブ画像の所定画素の画素データを該サブ画像の全画素の画素データとしてモザイク画像を生成して送信するステップ、
を備えることを特徴とする請求項3記載の画像送信装置の画像送信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006104112A JP2007281766A (ja) | 2006-04-05 | 2006-04-05 | 画像送信装置及びその送信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006104112A JP2007281766A (ja) | 2006-04-05 | 2006-04-05 | 画像送信装置及びその送信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007281766A true JP2007281766A (ja) | 2007-10-25 |
Family
ID=38682776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006104112A Withdrawn JP2007281766A (ja) | 2006-04-05 | 2006-04-05 | 画像送信装置及びその送信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007281766A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014225726A (ja) * | 2013-05-15 | 2014-12-04 | 富士通株式会社 | 情報処理装置、プログラム、及び画像処理方法 |
CN107302523A (zh) * | 2017-05-26 | 2017-10-27 | 中国科学院西安光学精密机械研究所 | 一种传输流丢包引起马赛克的解决方法 |
-
2006
- 2006-04-05 JP JP2006104112A patent/JP2007281766A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014225726A (ja) * | 2013-05-15 | 2014-12-04 | 富士通株式会社 | 情報処理装置、プログラム、及び画像処理方法 |
CN107302523A (zh) * | 2017-05-26 | 2017-10-27 | 中国科学院西安光学精密机械研究所 | 一种传输流丢包引起马赛克的解决方法 |
CN107302523B (zh) * | 2017-05-26 | 2019-08-27 | 中国科学院西安光学精密机械研究所 | 一种传输流丢包引起马赛克的解决方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4282201B2 (ja) | 符号化データ記録装置 | |
US7792998B2 (en) | System and method for providing real-time streaming service between terminals | |
US7535484B2 (en) | Communication terminals that vary a video stream based on how it is displayed | |
US7725136B2 (en) | Information processing apparatus | |
JP2005123804A (ja) | コミュニケーションシステム及び方法 | |
JP2004312685A (ja) | 携帯端末機の画像表示装置及び方法 | |
JP2003348556A (ja) | テレビ電話システムおよびその端末装置 | |
JP2007028633A (ja) | 映像通信機能を備えた移動通信端末機及び映像通信方法 | |
JP2004289688A (ja) | テレビ電話装置 | |
JP2005151446A (ja) | 携帯端末、クレードル、携帯端末の制御方法、クレードルの制御方法、制御プログラム、および該プログラムを記録した記録媒体 | |
WO2002089470A1 (fr) | Dispositif camera et dispositif electronique comprenant ce dispositif camera | |
JP2007281766A (ja) | 画像送信装置及びその送信方法 | |
US8159970B2 (en) | Method of transmitting image data in video telephone mode of a wireless terminal | |
JP2007215082A (ja) | 動画像データ伝送装置、伝送システムおよび伝送方法 | |
KR101077029B1 (ko) | 비디오 데이터 전송 장치 및 방법 | |
JP4283964B2 (ja) | 符号化データ記録装置 | |
KR20100000547A (ko) | 다자간 영상 통화 서비스 제공 방법 및 장치 | |
JP4421055B2 (ja) | データ伝送システムとその通信装置 | |
JP2005294929A (ja) | テレビドアホン装置 | |
KR100724422B1 (ko) | 통신 단말기의 화상 통화 서비스 방법 | |
WO2012155761A1 (zh) | 一种可视电话动态相框实现方法及移动终端 | |
JP2009100378A (ja) | テレビ電話機能付き携帯端末、画像転送方法及びプログラム | |
JP2007006085A (ja) | 無線携帯端末、並びに、それを用いた撮像方法および通信方法 | |
JP2007282164A (ja) | 画像送信装置及びその送信方法 | |
KR100617564B1 (ko) | 이동단말기의 화상통화를 이용한 멀티미디어 데이터 전송방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090707 |