JP4062747B2 - 画像データ送信装置 - Google Patents
画像データ送信装置 Download PDFInfo
- Publication number
- JP4062747B2 JP4062747B2 JP10975997A JP10975997A JP4062747B2 JP 4062747 B2 JP4062747 B2 JP 4062747B2 JP 10975997 A JP10975997 A JP 10975997A JP 10975997 A JP10975997 A JP 10975997A JP 4062747 B2 JP4062747 B2 JP 4062747B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- transmission
- compressed
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データ送信装置に関するものである。
【０００２】
【従来の技術】
従来、ビデオカメラ等で画像を撮影し、撮影された画像を遠隔地に配設された表示装置のディスプレイに表示するために画像伝送システムが提供されていて、該画像伝送システムは、前記ビデオカメラ等によって撮影された画像を圧縮画像データに変換して送信する画像データ送信装置、及び送信された圧縮画像データを受信し、該圧縮画像データに従って前記ディスプレイに画像を表示する画像データ受信装置から成る。
【０００３】
そして、前記画像データ送信装置においては、ビデオカメラ等によって、例えば、画像に対応するＮＴＳＣ信号、ＰＡＬ信号等のビデオ信号が発生させられ、該ビデオ信号は、Ａ／Ｄ変換部に送られ、該Ａ／Ｄ変換部によってＡ／Ｄ変換が行われ、ＲＧＢ信号、ＹＵＶ信号等のディジタル信号になる。続いて、ＣＰＵによってタイミング信号にパルスが形成され、それによって発生させられる画像取込タイミングで、一つの画面、すなわち、一つのフレームごとにディジタル信号が画像符号化部によって取り込まれる。このようにして、画像符号化部は画像を取り込む。
【０００４】
そして、前記ディジタル信号は、画像符号化部によって符号化されて画像データになるとともに圧縮され、圧縮画像データとして送信部に送られ、該送信部によって発生させられた送信タイミングに同期させて画像データ受信装置に送信される。
このようにして、前記圧縮画像データの送信が終了すると、前記ＣＰＵにおいて、直ちに次の画像取込タイミングが発生させられ、次のフレームの画像についてディジタル信号が画像符号化部によって取り込まれる。
【０００５】
なお、ビデオカメラ等によって撮影された画像、及びディスプレイに表示される画像は、例えば、６４０×４８０のマトリクスで構成される複数の画素から成る。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記従来の画像データ送信装置においては、前記画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、ビデオカメラ等を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイに表示しようとして前記画像データ送信装置の送信機のスナップ画像取込用のスナップボタンを操作した場合、画像取込タイミングを発生させることができるが、現在のフレームの画像についての圧縮画像データの送信が終了するまでは送信タイミングを発生させることができない。
【０００７】
ところで、前記画像データ送信装置においては、ビデオカメラ等によって撮影された画像が画像符号化部によって取り込まれ、符号化されて画像データになるが、該画像データが圧縮されるまでの時間は１フレーム当たり約１／３０秒である。これに対して、送信部に送られた圧縮画像データが画像データ受信装置に送信され、該画像データ受信装置によって受信されるまでの時間、すなわち、伝送時間は、伝送路、圧縮画像データのデータ量等によって異なるが、例えば、ディジタル携帯電話を使用した場合、１フレーム当たり約１〜１８０秒である。
【０００８】
したがって、オペレータがスナップボタンを操作しても、スナップ画像がディスプレイに表示されるまでの時間が長くなり、操作に対する画像データ送信装置の応答が遅くなってしまう。
また、前記画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、オペレータが、ディスプレイに表示される画像の解像度、すなわち、画質を切り換え、例えば、６４０×４８０の画素から３２０×４８０の画素に変更しようとして、画質切換用の画質ボタンを操作した場合、画像取込タイミングを発生させることができるが、現在のフレームの画像についての圧縮画像データの送信が終了するまでは送信タイミングを発生させることができない。
【０００９】
したがって、画質が切り換えられた後の画像がディスプレイに表示されるまでの時間が長くなり、操作に対する画像データ送信装置の応答が遅くなってしまう。
そこで、スナップ画像の表示、画質の切換え等のように、画像送信中断事由が発生した場合、直ちに送信を中断し、画像取込タイミングを発生させて新たな画像を取り込むことが考えられるが、現在のフレームの画像についての圧縮画像データの送信がほぼ終了しているときに送信を中断すると、現在のフレームの画像について再び符号化、画像データの圧縮、圧縮画像データの送信等を行う必要が生じるので、前のフレームの画像がディスプレイに表示されてから、次のフレームの画像がディスプレイに表示されるまでの時間が長くなってしまう。
【００１０】
本発明は、前記従来の画像データ送信装置の問題点を解決して、操作に対する応答を速くすることができ、前のフレームの画像がディスプレイに表示されてから、次のフレームの画像がディスプレイに表示されるまでの時間を短くすることができる画像データ送信装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
そのために、本発明の画像データ送信装置においては、画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第１の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第２の送信所要データ量とを比較し、前記第１の送信所要データ量が前記第２の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有する。
【００１２】
そして、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信する。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
図１は本発明の第１の実施の形態における画像データ送信装置のブロック図、図２は本発明の第１の実施の形態における画像伝送システムを示す図である。
図２において、１１は撮影された画像を圧縮画像データに変換して送信する画像データ送信装置であり、該画像データ送信装置１１は、画像を撮影する撮像手段としてのビデオカメラ１２、該ビデオカメラ１２にケーブル１４を介して接続され、撮影された画像を圧縮画像データに変換する送信機１３、及び圧縮画像データを送信タイミングに同期させて送信するディジタル携帯電話等の送信手段としての送信部１５を有する。なお、前記ビデオカメラ１２は本体部１２ａ及び制御部１２ｂから成り、前記送信機１３にはモデム９９が接続される。
【００１８】
また、１６は、無線通信を行うための携帯電話回線等の電話回線１７を介して、画像データ送信装置１１に接続された画像データ受信装置であり、該画像データ受信装置１６は、圧縮画像データを受信するディジタル携帯電話等の受信部３１、モデム３２、及び受信された圧縮画像データを伸長し、復号化してディジタル信号にするとともに、該ディジタル信号をアナログ信号にＤ／Ａ変換し、画像を表示するパソコン等の受信・表示ユニット１８を有する。そして、該受信・表示ユニット１８は本体部２１及び表示装置２２を備え、該表示装置２２にディスプレイ２３が配設される。また、前記本体部２１には操作部１９が形成される。なお、本実施の形態においては、送信部１５及び受信部３１はディジタル携帯電話等の無線通信によって構成されるが、通常の電話機等の有線通信によって構成することもできる。その場合、前記電話回線１７は、有線通信を行うための一般公衆回線、ＩＳＤＮ回線等によって構成される。
【００１９】
次に、前記画像データ送信装置１１について説明する。
図１において、１２はビデオカメラ、１３は送信機、１５は送信部であり、前記送信機１３は、ビデオ信号をディジタル信号にＡ／Ｄ変換するＡ／Ｄ変換部２４、前記ディジタル信号を取り込んで符号化して画像データにするとともに、該画像データを圧縮して圧縮画像データにする圧縮手段としての画像符号化部２５、ＣＰＵ２６、前記画像符号化部２５に接続されたブロックメモリ２７、並びに前記ＣＰＵ２６にそれぞれ接続されたＲＡＭ２８及びＲＯＭ２９から成る。前記ＣＰＵ２６は、ＲＡＭ２８をワーキングエリアとして使用し、ＲＯＭ２９に格納されたプログラム及びデータに従って各種の制御を行う。
【００２０】
前記ビデオカメラ１２においては、例えば、撮影された画像に対応するＮＴＳＣ信号、ＰＡＬ信号等のビデオ信号が３０〔フレーム／秒〕の速度で発生させられる。該ビデオ信号はＡ／Ｄ変換部２４によってＡ／Ｄ変換が行われ、ＲＧＢ信号、ＹＵＶ信号等のディジタル信号になる。
また、前記ＣＰＵ２６に内蔵された図示しないタイミング発生回路においてタイミング信号が発生させられ、該タイミング信号にパルスが形成され、それによって画像取込タイミングが発生させられる。そして、該画像取込タイミングが発生させられるたびに、一つのフレームごとに前記ディジタル信号が画像符号化部２５によって取り込まれる。次に、該画像符号化部２５は、ＣＰＵ２６からの指示に基づいて前記ディジタル信号を符号化し、画像データにするとともに、該画像データを圧縮して圧縮画像データにする。このようにして、ディジタル信号にされた画像は、画像符号化部２５によって取り込まれる。
【００２１】
そして、前記画像データによって構成されるマトリクスは、オペレータによって指定された画質に対応させて形成されるようになっている。したがって、オペレータが画質を切り換えることによって前記マトリクスは各種のサイズに変更され、例えば、３２０×４８０にされる。そのために、前記送信機１３に図示しない画質切換用の画質ボタンが配設され、オペレータが該画質ボタンを操作することによって、画質の切換えを指示することができるようになっている。なお、受信・表示ユニット１８に画質切換用の画質ボタンを形成することもできる。
【００２２】
ところで、前記画像符号化部２５は、ディジタル信号を符号化して画像データにするが、このとき、ＣＰＵ２６の指示に従い、所定の圧縮方法によって前記画像データを圧縮して圧縮画像データにする。この場合、既存の各種の圧縮方法、例えば、ＦＳＴ圧縮方法が採用される（特開平５−２２７５４７号公報参照）。
該ＦＳＴ圧縮方法においては、例えば、前記ディジタル信号がＲＧＢ信号から成る場合、符号化が行われた後のマトリクスを構成する各画像データは、各要素Ｒ、Ｇ、Ｂごとに設定された５ビットのビットデータから成り、合計のビット数は１５になる。
【００２３】
そして、前記画像符号化部２５は、画像データを圧縮するために、前記画像データのマトリクスを、例えば、４×２のサブマトリクスから成る複数のブロックに分割し、各ブロックごとに圧縮処理を行う。この場合、各画像データのビット数は１５であるので、１ブロックの画像データを構成するビットデータのビット数は、
１５×４×２＝１２０
になる。
【００２４】
ところで、ＦＳＴ圧縮方法は、一つのブロック内には２色だけが存在し、各色において輝度レベルは一定であるという前提で行われる。したがって、前記ＦＳＴ圧縮方法を行う場合、まず、各ブロックを構成する８個の画像データ（以下「ピクセル」という。）ごとに輝度レベルを調べ、各ピクセルを明暗二つのグループに分ける。次に、各グループを代表する色を決定するとともに、ブロック内のすべてのピクセルについて、どちらのグループの色に属しているかを「１」又は「０」で表す８ビットのビットマップを形成する。
【００２５】
したがって、ＦＳＴ圧縮方法が行われた後の１ブロックの情報量を表すビットデータのビット数は、各グループを代表する色を表すためのビット数
２×１５＝３０
に対して、ビットマップのビット数、すなわち、８を加算した数
３０＋８＝３８
になる。このような圧縮処理を行うことによって、各ブロック内の非冗長性情報が特定されてコード化され、前記画像データは、１２０ビットのビットデータから３８ビットの圧縮画像データに圧縮される。なお、該圧縮画像データは、ブロックメモリ２７に書き込まれる。
【００２６】
また、前記ＦＳＴ圧縮方法においては、フレーム内の各ブロック間の相関を採るフレーム内圧縮処理を第１の圧縮処理として行ったり、各フレーム内の各ブロック間の相関を採るフレーム内圧縮処理と各フレーム間の相関を採るフレーム間圧縮処理とから成る第２の圧縮処理として行ったりすることができるようになっている。
【００２７】
図３はＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第１の図、図４はＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第２の図、図５は本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
図において、ｆi （ｉ＝１、２、…、ｎ）は逐次形成されるｎ個のフレームのうちのｉ番目のフレームであり、ｆP は、前記フレームｆi のうち現在のフレーム、ｆO は前記フレームｆi のうち現在のフレームｆP より一つ前のフレームである。
【００２８】
また、ｂP は第１、第２の圧縮処理を行おうとする現在のブロック、ｂ1 は該現在のブロックｂP に対して左上に位置するブロック、ｂ2 は前記現在のブロックｂP に対して真上に位置するブロック、ｂ3 は前記現在のブロックｂP に対して右上に位置するブロック、ｂ4 は前記現在のブロックｂP に対して左に位置するブロック、ｂ5 は一つ前のフレームｆO において前記現在のブロックｂP に対応するブロックである。
【００２９】
通常、各ブロックｂ1 〜ｂ5 内の画像データと現在のブロックｂP 内の画像データとの相関は、比較的大きい。そこで、フレーム内圧縮処理において、各ブロックｂ1 〜ｂ4 のブロックデータと現在のブロックｂP のブロックデータとが比較され、フレーム間圧縮処理において、ブロックｂ5 のブロックデータと現在のブロックｂP のブロックデータとが比較される。
【００３０】
本実施の形態においては、第１、第２の圧縮処理の各モードで画像データを圧縮することができるようになっている。そして、第１の圧縮処理においては、フレーム内圧縮処理だけで画像データが圧縮され、各ブロックｂ1 〜ｂ4 のブロックデータと現在のブロックｂP のブロックデータとの比較結果が５ビットの第１の圧縮画像データにされる。このようにして、該第１の圧縮画像データによって前記現在のブロックｂP 内の画像データを表すことができる。
【００３１】
一方、第２の圧縮処理においては、フレーム内圧縮処理及びフレーム間圧縮処理が行われるので、各ブロックｂ1 〜ｂ5 のブロックデータと現在のブロックｂP のブロックデータとの比較結果が５ビットの第２の圧縮画像データにされる。したがって、該第２の圧縮画像データによって前記現在のブロックｂP 内の画像データを表すことができる。
【００３２】
なお、ブロックメモリ２７（図１）において、各ブロックデータは逐次書き換えられるようになっていて、各ブロックｂ1 〜ｂ5 のブロックデータは画像符号化部２５によって前記ブロックメモリ２７から読み出され、現在のブロックｂP のブロックデータと比較される。
このようにして、前記第２の圧縮処理及び第１の圧縮処理の各モードで画像データを圧縮することによってフレーム内及びフレーム間の非冗長性情報が特定されてコード化され、３８ビットの画像データは圧縮されて５ビットの圧縮画像データになる。
【００３３】
なお、ＦＳＴ圧縮方法に代えてＭＰＥＧ圧縮方法、ＴＩＭ圧縮方法等を採用することもできる。
このように、画像データが圧縮されると、ＣＰＵ２６は圧縮画像データを読み込み、送信部１５に送る。そして、該送信部１５は前記圧縮画像データを伝送信号に乗せてリアルタイムに画像データ受信装置１６（図２）に送る。このようにして、１フレーム分の圧縮画像データの送信が終了すると、前記ＣＰＵ２６において、直ちに次の画像取込タイミングが発生させられ、次のフレームの画像についてディジタル信号が画像符号化部２５によって取り込まれる。
【００３４】
ところで、通常は、図５に示すように、１フレーム分の圧縮画像データの送信が終了するたびに画像取込タイミングｔ１、ｔ２、…が発生させられるが、ある画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、ビデオカメラ１２等を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイ２３に表示しようとして前記送信機１３の図示しないスナップ画像取込用のスナップボタンを操作して画像送信中断事由が発生すると、次の画像取込タイミングを前倒しして発生させ、必要に応じて圧縮画像データの送信を中断することができるようになっている。そのために、画像送信中断事由が発生すると、ＣＰＵ２６の図示しない送信中断判断手段によってタイミング変更処理が行われる。
【００３５】
図６は本発明の第１の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャート、図７は本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
図７において、ｔ１１、ｔ１２、…は画像取込タイミング、τ１１は画像送信中断事由が発生するタイミング、τ１２は本来発生させられる画像取込タイミングである。
【００３６】
この場合、画像取込タイミングｔ１１でディジタル信号が画像符号化部２５（図１）によって取り込まれた後、圧縮画像データの送信を行い、圧縮画像データの送信が終了する時点で、本来の画像取込タイミングτ１２が発生させられるが、本来の画像取込タイミングτ１２が発生させられる前に、ビデオカメラ１２を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイ２３（図２）に表示しようとして、タイミングτ１１で前記送信機１３の図示しないスナップ画像取込用のスナップボタンを操作すると、ＣＰＵ２６は、ブロックメモリ２７に格納された圧縮画像データを画像取込タイミングｔ１２でＲＡＭ２８に格納するとともに、スナップ画像を取り込み、第２の圧縮処理によって画像データを圧縮し、圧縮後の第２の圧縮画像データをＲＡＭ２８に格納する。続いて、スナップボタンの操作を必要とすることなく、前記画像符号化部２５は、前記スナップ画像を再び取り込み、第１の圧縮処理によって画像データを圧縮し、圧縮後の第１の圧縮画像データをＲＡＭ２８に格納する。なお、本実施の形態においては、スナップボタンは送信機１３に配設されているが、受信・表示ユニット１８に配設することもできる。
【００３７】
次に、ＣＰＵ２６は、圧縮画像データの送信を中断してスナップ画像についてディジタル信号の符号化、画像データの圧縮等を開始するか、圧縮画像データの送信を中断しないで本来の画像取込タイミングτ１２でスナップ画像についてディジタル信号の符号化、画像データの圧縮等を開始するかを判断する。そのために、タイミングτ１１において送信中の圧縮画像データの残量をｃとし、ＲＡＭ２８に格納された第２の圧縮画像データのデータ量をａとし、ＲＡＭ２８に格納された第１の圧縮画像データのデータ量をｂとしたとき、ＣＰＵ２６は、第１の送信所要データ量としてのデータ量ｂと、データ量ａに残量ｃを加算して得られる第２の送信所要データ量としてのデータ量（ａ＋ｃ）とを比較し、
ｂ＜ａ＋ｃ
であるかどうかを判断する。そして、
ｂ＜ａ＋ｃ
である場合、ＣＰＵ２６は送信部１５に指示を与えて圧縮画像データの送信を中断するとともに、図７に示すように、送信部１５によって第１の圧縮画像データを送信する。その後、第２の圧縮処理によって画像データを圧縮する。
【００３８】
一方、
ｂ≧ａ＋ｃ
である場合、圧縮画像データの送信を中断させることなく、本来の画像取込タイミングτ１２を発生させ、該本来の画像取込タイミングτ１２で第２の圧縮処理によって画像データを圧縮することにより得られた第２の圧縮画像データを送信する。この場合、ブロックメモリ２７内においては、第２の圧縮画像データが第１の圧縮画像データに塗り代えられているので、画像符号化部２５は、ＲＡＭ２８に格納された第２の圧縮画像データを一旦（いったん）ブロックメモリ２７に格納し、前記第２の圧縮画像データを送信タイミングに同期させて送信する。その後、第２の圧縮処理によって画像データを圧縮する。
【００３９】
ところで、
ｂ＜ａ＋ｃ
である場合は、圧縮画像データの送信を中断しても、次のフレームの画像について圧縮画像データの送信を比較的早く終了することができる。したがって、オペレータは要求した画像を早く見ることができる。
【００４０】
一方、
ｂ≧ａ＋ｃ
である場合は、送信を中断することなくそのまま送信を継続し、本来の画像取込タイミングτ１２で次の画像を取り込む方が要求した画像を早く見ることができる。しかも、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
【００４１】
なお、本実施の形態においては、データ量ｂと、データ量ａに残量ｃを加算して得られるデータ量（ａ＋ｃ）とを比較するようにしているが、データ量ｂを送信するのに必要とされる第１の送信所要時間とデータ量（ａ＋ｃ）を送信するのに必要とされる第２の送信所要時間とを比較することもできる。
次に、フローチャートについて説明する。
ステップＳ１ 画像符号化部２５はスナップ画像を取り込んで第２の圧縮処理によって画像データを圧縮する。
ステップＳ２ 第２の圧縮画像データ（データ量ａ）をＲＡＭ２８に格納する。
ステップＳ３ 画像符号化部２５はスナップ画像を取り込んで第１の圧縮処理によって画像データを圧縮する。
ステップＳ４ 第１の圧縮画像データ（データ量ｂ）をＲＡＭ２８に格納する。
ステップＳ５ データ量ｂがデータ量（ａ＋ｃ）より少ないかどうかを判断する。データ量ｂがデータ量（ａ＋ｃ）より少ない場合はステップＳ６に、データ量ｂがデータ量（ａ＋ｃ）以上である場合はステップＳ８に進む。
ステップＳ６ 送信部１５に指示を与えて圧縮画像データの送信を中断する。
ステップＳ７ 第１の圧縮画像データを送信する。
ステップＳ８ 第２の圧縮画像データをブロックメモリ２７に格納する。
ステップＳ９ 送信部１５に指示を与えて第２の圧縮画像データを送信する。
【００４２】
次に、第２の実施の形態について説明する。
図８は本発明の第２の実施の形態における画像データ送信装置の動作を示すフローチャートである。
この場合、画像送信中断事由が発生すると、ＣＰＵ２６（図１）の図示しない送信中断判断手段によってタイミング変更処理が行われる。
ステップＳ１１ 画像符号化部２５は画像を取り込み、符号化して画像データにし、該画像データを圧縮して圧縮画像データにする。
ステップＳ１２ 画質の切換えが指示されたかどうかを判断する。画像の切換えが指示された場合はステップＳ１３に、切換えが指示されていない場合はステップＳ１４に進む。
ステップＳ１３ 送信中断判断手段はタイミング変更処理を行う。
ステップＳ１４ 圧縮画像データを送信する。
ステップＳ１５ 圧縮画像データの送信が終了したかどうかを判断する。送信が終了した場合はステップＳ１１に、終了していない場合はステップＳ１２に戻る。
【００４３】
次に、図８のステップＳ１３におけるタイミング変更処理について説明する。
図９は本発明の第２の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャート、図１０は本発明の第２の実施の形態における画像データ送信装置の動作を示す第１のタイムチャート、図１１は本発明の第２の実施の形態における画像データ送信装置の動作を示す第２のタイムチャートである。
【００４４】
図１０において、ｔ２１、ｔ２２、…は画像取込タイミング、τ２１は画像送信中断事由が発生するタイミング、τ２２は本来発生させられる画像取込タイミングである。
この場合、画像取込タイミングｔ２１でディジタル信号が画像符号化部２５（図１）によって取り込まれた後、圧縮画像データの送信が終了する時点で、本来の画像取込タイミングτ２２が発生させられるが、本来の画像取込タイミングτ２２が発生させられる前に、オペレータが、ディスプレイ２３（図２）に表示される画像の画質を切り換えようとして、タイミングτ２１で操作部１９の画質切換用の図示しない画質ボタンを操作し、所定のコマンドが送信機１３に送られると、ＣＰＵ２６は、タイミングτ２１から本来の画像取込タイミングτ２２までの時間、すなわち、送信中の圧縮画像データの残量を送信するのに必要とされる送信所要時間δを計算し、該送信所要時間δが設定値以上であるかどうかを判断する。なお、前記送信所要時間δは、タイミングτ２１において送信中の圧縮画像データの残量のデータ量、及び伝送速度に基づいて計算される。
【００４５】
そして、送信所要時間δが設定値以上である場合、ＣＰＵ２６の図示しない送信中断判断手段は送信部１５に指示を与えて送信を中断するとともに、図１０に示すように、画像取込タイミングｔ２２を発生させ、該画像取込タイミングｔ２２で画像符号化部２５は次のフレームの画像を取り込む。したがって、本来の画像取込タイミングτ２２が発生させられる前に、次のフレームの画像についてディジタル信号の符号化、画像データの圧縮等を開始することができる。その結果、オペレータは要求した画像を早く見ることができる。
【００４６】
これに対して、前記送信所要時間δが設定値より短い場合、ＣＰＵ２６は画像データの送信を中断することなく画質を切り換える。
すなわち、図１１において、ｔ３１、ｔ３２、…は画像取込タイミング、τ３１は画像送信中断事由が発生するタイミングである。
この場合、画像取込タイミングｔ３１でディジタル信号が画像符号化部２５（図１）によって取り込まれた後、圧縮画像データの送信が終了する時点で、次の画像取込タイミングｔ３２が発生させられる。そして、画像取込タイミングｔ３２が発生させられる前に、オペレータが、ディスプレイ２３（図２）に表示される画像の画質を切り換えようとして、タイミングτ３１で操作部１９の画質ボタンを操作したとき、タイミングτ３１から画像取込タイミングｔ３２までの送信所要時間δが設定値より短い場合、そのまま画像取込タイミングｔ３２が発生させられる。
【００４７】
このように、タイミングτ３１において送信中の圧縮画像データの残量がほとんどなく、圧縮画像データの送信がほぼ終了している場合、オペレータは要求した画像を早く見ることはできないが、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
なお、本実施の形態においては、送信所要時間δと設定値とを比較するようになっているが、送信所要時間δを計算することなく、送信中の圧縮画像データの残量と設定値とを比較することもできる。
【００４８】
次に、図９のフローチャートについて説明する。
ステップＳ１３−１ ＣＰＵ２６は、送信中の圧縮画像データの残量のデータ量、及び伝送速度に基づいて送信所要時間δを計算する。
ステップＳ１３−２ 送信中断判断手段は送信所要時間δが設定値以上であるかどうかを判断する。送信所要時間δが設定値以上である場合はステップＳ１３−３に、送信所要時間δが設定値より短い場合はステップＳ１３−５に進む。
ステップＳ１３−３ ＣＰＵ２６は送信部１５に指示を与えて圧縮画像データの送信を中断する。
ステップＳ１３−４ 画像符号化部２５は次のフレームの画像についてディジタル信号を取り込む。
ステップＳ１３−５ ＣＰＵ２６は圧縮画像データの送信を中断することなく画質を切り換える。
【００４９】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【００５０】
【発明の効果】
以上詳細に説明したように、本発明によれば、画像データ送信装置においては、画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第１の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第２の送信所要データ量とを比較し、前記第１の送信所要データ量が前記第２の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有する。
【００５１】
そして、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信する。
この場合、画像送信中断事由が発生すると、送信中断判断手段は、前記第１の送信所要データ量と第２の送信所要データ量とを比較し、前記第１の送信所要データ量が前記第２の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する。
【００５２】
したがって、圧縮画像データの送信を中断する場合は、次のフレームの画像について圧縮画像データの送信を比較的早く終了することができるので、要求した画像を早く見ることができる。
また、圧縮画像データの送信を中断しない場合は、要求した画像を早く見ることはできないが、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像データ送信装置のブロック図である。
【図２】本発明の第１の実施の形態における画像伝送システムを示す図である。
【図３】ＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第１の図である。
【図４】ＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第２の図である。
【図５】本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
【図６】本発明の第１の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャートである。
【図７】本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
【図８】本発明の第２の実施の形態における画像データ送信装置の動作を示すフローチャートである。
【図９】本発明の第２の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャートである。
【図１０】本発明の第２の実施の形態における画像データ送信装置の動作を示す第１のタイムチャートである。
【図１１】本発明の第２の実施の形態における画像データ送信装置の動作を示す第２のタイムチャートである。
【符号の説明】
１１ 画像データ送信装置
１２ ビデオカメラ
１５ 送信部
２５ 画像符号化部
２６ ＣＰＵ
ｔ１２、ｔ２２ 画像取込タイミング
δ 送信所要時間
τ１２、τ２２ 本来の画像取込タイミング
【発明の属する技術分野】
本発明は、画像データ送信装置に関するものである。
【０００２】
【従来の技術】
従来、ビデオカメラ等で画像を撮影し、撮影された画像を遠隔地に配設された表示装置のディスプレイに表示するために画像伝送システムが提供されていて、該画像伝送システムは、前記ビデオカメラ等によって撮影された画像を圧縮画像データに変換して送信する画像データ送信装置、及び送信された圧縮画像データを受信し、該圧縮画像データに従って前記ディスプレイに画像を表示する画像データ受信装置から成る。
【０００３】
そして、前記画像データ送信装置においては、ビデオカメラ等によって、例えば、画像に対応するＮＴＳＣ信号、ＰＡＬ信号等のビデオ信号が発生させられ、該ビデオ信号は、Ａ／Ｄ変換部に送られ、該Ａ／Ｄ変換部によってＡ／Ｄ変換が行われ、ＲＧＢ信号、ＹＵＶ信号等のディジタル信号になる。続いて、ＣＰＵによってタイミング信号にパルスが形成され、それによって発生させられる画像取込タイミングで、一つの画面、すなわち、一つのフレームごとにディジタル信号が画像符号化部によって取り込まれる。このようにして、画像符号化部は画像を取り込む。
【０００４】
そして、前記ディジタル信号は、画像符号化部によって符号化されて画像データになるとともに圧縮され、圧縮画像データとして送信部に送られ、該送信部によって発生させられた送信タイミングに同期させて画像データ受信装置に送信される。
このようにして、前記圧縮画像データの送信が終了すると、前記ＣＰＵにおいて、直ちに次の画像取込タイミングが発生させられ、次のフレームの画像についてディジタル信号が画像符号化部によって取り込まれる。
【０００５】
なお、ビデオカメラ等によって撮影された画像、及びディスプレイに表示される画像は、例えば、６４０×４８０のマトリクスで構成される複数の画素から成る。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記従来の画像データ送信装置においては、前記画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、ビデオカメラ等を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイに表示しようとして前記画像データ送信装置の送信機のスナップ画像取込用のスナップボタンを操作した場合、画像取込タイミングを発生させることができるが、現在のフレームの画像についての圧縮画像データの送信が終了するまでは送信タイミングを発生させることができない。
【０００７】
ところで、前記画像データ送信装置においては、ビデオカメラ等によって撮影された画像が画像符号化部によって取り込まれ、符号化されて画像データになるが、該画像データが圧縮されるまでの時間は１フレーム当たり約１／３０秒である。これに対して、送信部に送られた圧縮画像データが画像データ受信装置に送信され、該画像データ受信装置によって受信されるまでの時間、すなわち、伝送時間は、伝送路、圧縮画像データのデータ量等によって異なるが、例えば、ディジタル携帯電話を使用した場合、１フレーム当たり約１〜１８０秒である。
【０００８】
したがって、オペレータがスナップボタンを操作しても、スナップ画像がディスプレイに表示されるまでの時間が長くなり、操作に対する画像データ送信装置の応答が遅くなってしまう。
また、前記画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、オペレータが、ディスプレイに表示される画像の解像度、すなわち、画質を切り換え、例えば、６４０×４８０の画素から３２０×４８０の画素に変更しようとして、画質切換用の画質ボタンを操作した場合、画像取込タイミングを発生させることができるが、現在のフレームの画像についての圧縮画像データの送信が終了するまでは送信タイミングを発生させることができない。
【０００９】
したがって、画質が切り換えられた後の画像がディスプレイに表示されるまでの時間が長くなり、操作に対する画像データ送信装置の応答が遅くなってしまう。
そこで、スナップ画像の表示、画質の切換え等のように、画像送信中断事由が発生した場合、直ちに送信を中断し、画像取込タイミングを発生させて新たな画像を取り込むことが考えられるが、現在のフレームの画像についての圧縮画像データの送信がほぼ終了しているときに送信を中断すると、現在のフレームの画像について再び符号化、画像データの圧縮、圧縮画像データの送信等を行う必要が生じるので、前のフレームの画像がディスプレイに表示されてから、次のフレームの画像がディスプレイに表示されるまでの時間が長くなってしまう。
【００１０】
本発明は、前記従来の画像データ送信装置の問題点を解決して、操作に対する応答を速くすることができ、前のフレームの画像がディスプレイに表示されてから、次のフレームの画像がディスプレイに表示されるまでの時間を短くすることができる画像データ送信装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
そのために、本発明の画像データ送信装置においては、画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第１の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第２の送信所要データ量とを比較し、前記第１の送信所要データ量が前記第２の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有する。
【００１２】
そして、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信する。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
図１は本発明の第１の実施の形態における画像データ送信装置のブロック図、図２は本発明の第１の実施の形態における画像伝送システムを示す図である。
図２において、１１は撮影された画像を圧縮画像データに変換して送信する画像データ送信装置であり、該画像データ送信装置１１は、画像を撮影する撮像手段としてのビデオカメラ１２、該ビデオカメラ１２にケーブル１４を介して接続され、撮影された画像を圧縮画像データに変換する送信機１３、及び圧縮画像データを送信タイミングに同期させて送信するディジタル携帯電話等の送信手段としての送信部１５を有する。なお、前記ビデオカメラ１２は本体部１２ａ及び制御部１２ｂから成り、前記送信機１３にはモデム９９が接続される。
【００１８】
また、１６は、無線通信を行うための携帯電話回線等の電話回線１７を介して、画像データ送信装置１１に接続された画像データ受信装置であり、該画像データ受信装置１６は、圧縮画像データを受信するディジタル携帯電話等の受信部３１、モデム３２、及び受信された圧縮画像データを伸長し、復号化してディジタル信号にするとともに、該ディジタル信号をアナログ信号にＤ／Ａ変換し、画像を表示するパソコン等の受信・表示ユニット１８を有する。そして、該受信・表示ユニット１８は本体部２１及び表示装置２２を備え、該表示装置２２にディスプレイ２３が配設される。また、前記本体部２１には操作部１９が形成される。なお、本実施の形態においては、送信部１５及び受信部３１はディジタル携帯電話等の無線通信によって構成されるが、通常の電話機等の有線通信によって構成することもできる。その場合、前記電話回線１７は、有線通信を行うための一般公衆回線、ＩＳＤＮ回線等によって構成される。
【００１９】
次に、前記画像データ送信装置１１について説明する。
図１において、１２はビデオカメラ、１３は送信機、１５は送信部であり、前記送信機１３は、ビデオ信号をディジタル信号にＡ／Ｄ変換するＡ／Ｄ変換部２４、前記ディジタル信号を取り込んで符号化して画像データにするとともに、該画像データを圧縮して圧縮画像データにする圧縮手段としての画像符号化部２５、ＣＰＵ２６、前記画像符号化部２５に接続されたブロックメモリ２７、並びに前記ＣＰＵ２６にそれぞれ接続されたＲＡＭ２８及びＲＯＭ２９から成る。前記ＣＰＵ２６は、ＲＡＭ２８をワーキングエリアとして使用し、ＲＯＭ２９に格納されたプログラム及びデータに従って各種の制御を行う。
【００２０】
前記ビデオカメラ１２においては、例えば、撮影された画像に対応するＮＴＳＣ信号、ＰＡＬ信号等のビデオ信号が３０〔フレーム／秒〕の速度で発生させられる。該ビデオ信号はＡ／Ｄ変換部２４によってＡ／Ｄ変換が行われ、ＲＧＢ信号、ＹＵＶ信号等のディジタル信号になる。
また、前記ＣＰＵ２６に内蔵された図示しないタイミング発生回路においてタイミング信号が発生させられ、該タイミング信号にパルスが形成され、それによって画像取込タイミングが発生させられる。そして、該画像取込タイミングが発生させられるたびに、一つのフレームごとに前記ディジタル信号が画像符号化部２５によって取り込まれる。次に、該画像符号化部２５は、ＣＰＵ２６からの指示に基づいて前記ディジタル信号を符号化し、画像データにするとともに、該画像データを圧縮して圧縮画像データにする。このようにして、ディジタル信号にされた画像は、画像符号化部２５によって取り込まれる。
【００２１】
そして、前記画像データによって構成されるマトリクスは、オペレータによって指定された画質に対応させて形成されるようになっている。したがって、オペレータが画質を切り換えることによって前記マトリクスは各種のサイズに変更され、例えば、３２０×４８０にされる。そのために、前記送信機１３に図示しない画質切換用の画質ボタンが配設され、オペレータが該画質ボタンを操作することによって、画質の切換えを指示することができるようになっている。なお、受信・表示ユニット１８に画質切換用の画質ボタンを形成することもできる。
【００２２】
ところで、前記画像符号化部２５は、ディジタル信号を符号化して画像データにするが、このとき、ＣＰＵ２６の指示に従い、所定の圧縮方法によって前記画像データを圧縮して圧縮画像データにする。この場合、既存の各種の圧縮方法、例えば、ＦＳＴ圧縮方法が採用される（特開平５−２２７５４７号公報参照）。
該ＦＳＴ圧縮方法においては、例えば、前記ディジタル信号がＲＧＢ信号から成る場合、符号化が行われた後のマトリクスを構成する各画像データは、各要素Ｒ、Ｇ、Ｂごとに設定された５ビットのビットデータから成り、合計のビット数は１５になる。
【００２３】
そして、前記画像符号化部２５は、画像データを圧縮するために、前記画像データのマトリクスを、例えば、４×２のサブマトリクスから成る複数のブロックに分割し、各ブロックごとに圧縮処理を行う。この場合、各画像データのビット数は１５であるので、１ブロックの画像データを構成するビットデータのビット数は、
１５×４×２＝１２０
になる。
【００２４】
ところで、ＦＳＴ圧縮方法は、一つのブロック内には２色だけが存在し、各色において輝度レベルは一定であるという前提で行われる。したがって、前記ＦＳＴ圧縮方法を行う場合、まず、各ブロックを構成する８個の画像データ（以下「ピクセル」という。）ごとに輝度レベルを調べ、各ピクセルを明暗二つのグループに分ける。次に、各グループを代表する色を決定するとともに、ブロック内のすべてのピクセルについて、どちらのグループの色に属しているかを「１」又は「０」で表す８ビットのビットマップを形成する。
【００２５】
したがって、ＦＳＴ圧縮方法が行われた後の１ブロックの情報量を表すビットデータのビット数は、各グループを代表する色を表すためのビット数
２×１５＝３０
に対して、ビットマップのビット数、すなわち、８を加算した数
３０＋８＝３８
になる。このような圧縮処理を行うことによって、各ブロック内の非冗長性情報が特定されてコード化され、前記画像データは、１２０ビットのビットデータから３８ビットの圧縮画像データに圧縮される。なお、該圧縮画像データは、ブロックメモリ２７に書き込まれる。
【００２６】
また、前記ＦＳＴ圧縮方法においては、フレーム内の各ブロック間の相関を採るフレーム内圧縮処理を第１の圧縮処理として行ったり、各フレーム内の各ブロック間の相関を採るフレーム内圧縮処理と各フレーム間の相関を採るフレーム間圧縮処理とから成る第２の圧縮処理として行ったりすることができるようになっている。
【００２７】
図３はＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第１の図、図４はＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第２の図、図５は本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
図において、ｆi （ｉ＝１、２、…、ｎ）は逐次形成されるｎ個のフレームのうちのｉ番目のフレームであり、ｆP は、前記フレームｆi のうち現在のフレーム、ｆO は前記フレームｆi のうち現在のフレームｆP より一つ前のフレームである。
【００２８】
また、ｂP は第１、第２の圧縮処理を行おうとする現在のブロック、ｂ1 は該現在のブロックｂP に対して左上に位置するブロック、ｂ2 は前記現在のブロックｂP に対して真上に位置するブロック、ｂ3 は前記現在のブロックｂP に対して右上に位置するブロック、ｂ4 は前記現在のブロックｂP に対して左に位置するブロック、ｂ5 は一つ前のフレームｆO において前記現在のブロックｂP に対応するブロックである。
【００２９】
通常、各ブロックｂ1 〜ｂ5 内の画像データと現在のブロックｂP 内の画像データとの相関は、比較的大きい。そこで、フレーム内圧縮処理において、各ブロックｂ1 〜ｂ4 のブロックデータと現在のブロックｂP のブロックデータとが比較され、フレーム間圧縮処理において、ブロックｂ5 のブロックデータと現在のブロックｂP のブロックデータとが比較される。
【００３０】
本実施の形態においては、第１、第２の圧縮処理の各モードで画像データを圧縮することができるようになっている。そして、第１の圧縮処理においては、フレーム内圧縮処理だけで画像データが圧縮され、各ブロックｂ1 〜ｂ4 のブロックデータと現在のブロックｂP のブロックデータとの比較結果が５ビットの第１の圧縮画像データにされる。このようにして、該第１の圧縮画像データによって前記現在のブロックｂP 内の画像データを表すことができる。
【００３１】
一方、第２の圧縮処理においては、フレーム内圧縮処理及びフレーム間圧縮処理が行われるので、各ブロックｂ1 〜ｂ5 のブロックデータと現在のブロックｂP のブロックデータとの比較結果が５ビットの第２の圧縮画像データにされる。したがって、該第２の圧縮画像データによって前記現在のブロックｂP 内の画像データを表すことができる。
【００３２】
なお、ブロックメモリ２７（図１）において、各ブロックデータは逐次書き換えられるようになっていて、各ブロックｂ1 〜ｂ5 のブロックデータは画像符号化部２５によって前記ブロックメモリ２７から読み出され、現在のブロックｂP のブロックデータと比較される。
このようにして、前記第２の圧縮処理及び第１の圧縮処理の各モードで画像データを圧縮することによってフレーム内及びフレーム間の非冗長性情報が特定されてコード化され、３８ビットの画像データは圧縮されて５ビットの圧縮画像データになる。
【００３３】
なお、ＦＳＴ圧縮方法に代えてＭＰＥＧ圧縮方法、ＴＩＭ圧縮方法等を採用することもできる。
このように、画像データが圧縮されると、ＣＰＵ２６は圧縮画像データを読み込み、送信部１５に送る。そして、該送信部１５は前記圧縮画像データを伝送信号に乗せてリアルタイムに画像データ受信装置１６（図２）に送る。このようにして、１フレーム分の圧縮画像データの送信が終了すると、前記ＣＰＵ２６において、直ちに次の画像取込タイミングが発生させられ、次のフレームの画像についてディジタル信号が画像符号化部２５によって取り込まれる。
【００３４】
ところで、通常は、図５に示すように、１フレーム分の圧縮画像データの送信が終了するたびに画像取込タイミングｔ１、ｔ２、…が発生させられるが、ある画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、ビデオカメラ１２等を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイ２３に表示しようとして前記送信機１３の図示しないスナップ画像取込用のスナップボタンを操作して画像送信中断事由が発生すると、次の画像取込タイミングを前倒しして発生させ、必要に応じて圧縮画像データの送信を中断することができるようになっている。そのために、画像送信中断事由が発生すると、ＣＰＵ２６の図示しない送信中断判断手段によってタイミング変更処理が行われる。
【００３５】
図６は本発明の第１の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャート、図７は本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
図７において、ｔ１１、ｔ１２、…は画像取込タイミング、τ１１は画像送信中断事由が発生するタイミング、τ１２は本来発生させられる画像取込タイミングである。
【００３６】
この場合、画像取込タイミングｔ１１でディジタル信号が画像符号化部２５（図１）によって取り込まれた後、圧縮画像データの送信を行い、圧縮画像データの送信が終了する時点で、本来の画像取込タイミングτ１２が発生させられるが、本来の画像取込タイミングτ１２が発生させられる前に、ビデオカメラ１２を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイ２３（図２）に表示しようとして、タイミングτ１１で前記送信機１３の図示しないスナップ画像取込用のスナップボタンを操作すると、ＣＰＵ２６は、ブロックメモリ２７に格納された圧縮画像データを画像取込タイミングｔ１２でＲＡＭ２８に格納するとともに、スナップ画像を取り込み、第２の圧縮処理によって画像データを圧縮し、圧縮後の第２の圧縮画像データをＲＡＭ２８に格納する。続いて、スナップボタンの操作を必要とすることなく、前記画像符号化部２５は、前記スナップ画像を再び取り込み、第１の圧縮処理によって画像データを圧縮し、圧縮後の第１の圧縮画像データをＲＡＭ２８に格納する。なお、本実施の形態においては、スナップボタンは送信機１３に配設されているが、受信・表示ユニット１８に配設することもできる。
【００３７】
次に、ＣＰＵ２６は、圧縮画像データの送信を中断してスナップ画像についてディジタル信号の符号化、画像データの圧縮等を開始するか、圧縮画像データの送信を中断しないで本来の画像取込タイミングτ１２でスナップ画像についてディジタル信号の符号化、画像データの圧縮等を開始するかを判断する。そのために、タイミングτ１１において送信中の圧縮画像データの残量をｃとし、ＲＡＭ２８に格納された第２の圧縮画像データのデータ量をａとし、ＲＡＭ２８に格納された第１の圧縮画像データのデータ量をｂとしたとき、ＣＰＵ２６は、第１の送信所要データ量としてのデータ量ｂと、データ量ａに残量ｃを加算して得られる第２の送信所要データ量としてのデータ量（ａ＋ｃ）とを比較し、
ｂ＜ａ＋ｃ
であるかどうかを判断する。そして、
ｂ＜ａ＋ｃ
である場合、ＣＰＵ２６は送信部１５に指示を与えて圧縮画像データの送信を中断するとともに、図７に示すように、送信部１５によって第１の圧縮画像データを送信する。その後、第２の圧縮処理によって画像データを圧縮する。
【００３８】
一方、
ｂ≧ａ＋ｃ
である場合、圧縮画像データの送信を中断させることなく、本来の画像取込タイミングτ１２を発生させ、該本来の画像取込タイミングτ１２で第２の圧縮処理によって画像データを圧縮することにより得られた第２の圧縮画像データを送信する。この場合、ブロックメモリ２７内においては、第２の圧縮画像データが第１の圧縮画像データに塗り代えられているので、画像符号化部２５は、ＲＡＭ２８に格納された第２の圧縮画像データを一旦（いったん）ブロックメモリ２７に格納し、前記第２の圧縮画像データを送信タイミングに同期させて送信する。その後、第２の圧縮処理によって画像データを圧縮する。
【００３９】
ところで、
ｂ＜ａ＋ｃ
である場合は、圧縮画像データの送信を中断しても、次のフレームの画像について圧縮画像データの送信を比較的早く終了することができる。したがって、オペレータは要求した画像を早く見ることができる。
【００４０】
一方、
ｂ≧ａ＋ｃ
である場合は、送信を中断することなくそのまま送信を継続し、本来の画像取込タイミングτ１２で次の画像を取り込む方が要求した画像を早く見ることができる。しかも、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
【００４１】
なお、本実施の形態においては、データ量ｂと、データ量ａに残量ｃを加算して得られるデータ量（ａ＋ｃ）とを比較するようにしているが、データ量ｂを送信するのに必要とされる第１の送信所要時間とデータ量（ａ＋ｃ）を送信するのに必要とされる第２の送信所要時間とを比較することもできる。
次に、フローチャートについて説明する。
ステップＳ１ 画像符号化部２５はスナップ画像を取り込んで第２の圧縮処理によって画像データを圧縮する。
ステップＳ２ 第２の圧縮画像データ（データ量ａ）をＲＡＭ２８に格納する。
ステップＳ３ 画像符号化部２５はスナップ画像を取り込んで第１の圧縮処理によって画像データを圧縮する。
ステップＳ４ 第１の圧縮画像データ（データ量ｂ）をＲＡＭ２８に格納する。
ステップＳ５ データ量ｂがデータ量（ａ＋ｃ）より少ないかどうかを判断する。データ量ｂがデータ量（ａ＋ｃ）より少ない場合はステップＳ６に、データ量ｂがデータ量（ａ＋ｃ）以上である場合はステップＳ８に進む。
ステップＳ６ 送信部１５に指示を与えて圧縮画像データの送信を中断する。
ステップＳ７ 第１の圧縮画像データを送信する。
ステップＳ８ 第２の圧縮画像データをブロックメモリ２７に格納する。
ステップＳ９ 送信部１５に指示を与えて第２の圧縮画像データを送信する。
【００４２】
次に、第２の実施の形態について説明する。
図８は本発明の第２の実施の形態における画像データ送信装置の動作を示すフローチャートである。
この場合、画像送信中断事由が発生すると、ＣＰＵ２６（図１）の図示しない送信中断判断手段によってタイミング変更処理が行われる。
ステップＳ１１ 画像符号化部２５は画像を取り込み、符号化して画像データにし、該画像データを圧縮して圧縮画像データにする。
ステップＳ１２ 画質の切換えが指示されたかどうかを判断する。画像の切換えが指示された場合はステップＳ１３に、切換えが指示されていない場合はステップＳ１４に進む。
ステップＳ１３ 送信中断判断手段はタイミング変更処理を行う。
ステップＳ１４ 圧縮画像データを送信する。
ステップＳ１５ 圧縮画像データの送信が終了したかどうかを判断する。送信が終了した場合はステップＳ１１に、終了していない場合はステップＳ１２に戻る。
【００４３】
次に、図８のステップＳ１３におけるタイミング変更処理について説明する。
図９は本発明の第２の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャート、図１０は本発明の第２の実施の形態における画像データ送信装置の動作を示す第１のタイムチャート、図１１は本発明の第２の実施の形態における画像データ送信装置の動作を示す第２のタイムチャートである。
【００４４】
図１０において、ｔ２１、ｔ２２、…は画像取込タイミング、τ２１は画像送信中断事由が発生するタイミング、τ２２は本来発生させられる画像取込タイミングである。
この場合、画像取込タイミングｔ２１でディジタル信号が画像符号化部２５（図１）によって取り込まれた後、圧縮画像データの送信が終了する時点で、本来の画像取込タイミングτ２２が発生させられるが、本来の画像取込タイミングτ２２が発生させられる前に、オペレータが、ディスプレイ２３（図２）に表示される画像の画質を切り換えようとして、タイミングτ２１で操作部１９の画質切換用の図示しない画質ボタンを操作し、所定のコマンドが送信機１３に送られると、ＣＰＵ２６は、タイミングτ２１から本来の画像取込タイミングτ２２までの時間、すなわち、送信中の圧縮画像データの残量を送信するのに必要とされる送信所要時間δを計算し、該送信所要時間δが設定値以上であるかどうかを判断する。なお、前記送信所要時間δは、タイミングτ２１において送信中の圧縮画像データの残量のデータ量、及び伝送速度に基づいて計算される。
【００４５】
そして、送信所要時間δが設定値以上である場合、ＣＰＵ２６の図示しない送信中断判断手段は送信部１５に指示を与えて送信を中断するとともに、図１０に示すように、画像取込タイミングｔ２２を発生させ、該画像取込タイミングｔ２２で画像符号化部２５は次のフレームの画像を取り込む。したがって、本来の画像取込タイミングτ２２が発生させられる前に、次のフレームの画像についてディジタル信号の符号化、画像データの圧縮等を開始することができる。その結果、オペレータは要求した画像を早く見ることができる。
【００４６】
これに対して、前記送信所要時間δが設定値より短い場合、ＣＰＵ２６は画像データの送信を中断することなく画質を切り換える。
すなわち、図１１において、ｔ３１、ｔ３２、…は画像取込タイミング、τ３１は画像送信中断事由が発生するタイミングである。
この場合、画像取込タイミングｔ３１でディジタル信号が画像符号化部２５（図１）によって取り込まれた後、圧縮画像データの送信が終了する時点で、次の画像取込タイミングｔ３２が発生させられる。そして、画像取込タイミングｔ３２が発生させられる前に、オペレータが、ディスプレイ２３（図２）に表示される画像の画質を切り換えようとして、タイミングτ３１で操作部１９の画質ボタンを操作したとき、タイミングτ３１から画像取込タイミングｔ３２までの送信所要時間δが設定値より短い場合、そのまま画像取込タイミングｔ３２が発生させられる。
【００４７】
このように、タイミングτ３１において送信中の圧縮画像データの残量がほとんどなく、圧縮画像データの送信がほぼ終了している場合、オペレータは要求した画像を早く見ることはできないが、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
なお、本実施の形態においては、送信所要時間δと設定値とを比較するようになっているが、送信所要時間δを計算することなく、送信中の圧縮画像データの残量と設定値とを比較することもできる。
【００４８】
次に、図９のフローチャートについて説明する。
ステップＳ１３−１ ＣＰＵ２６は、送信中の圧縮画像データの残量のデータ量、及び伝送速度に基づいて送信所要時間δを計算する。
ステップＳ１３−２ 送信中断判断手段は送信所要時間δが設定値以上であるかどうかを判断する。送信所要時間δが設定値以上である場合はステップＳ１３−３に、送信所要時間δが設定値より短い場合はステップＳ１３−５に進む。
ステップＳ１３−３ ＣＰＵ２６は送信部１５に指示を与えて圧縮画像データの送信を中断する。
ステップＳ１３−４ 画像符号化部２５は次のフレームの画像についてディジタル信号を取り込む。
ステップＳ１３−５ ＣＰＵ２６は圧縮画像データの送信を中断することなく画質を切り換える。
【００４９】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【００５０】
【発明の効果】
以上詳細に説明したように、本発明によれば、画像データ送信装置においては、画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第１の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第２の送信所要データ量とを比較し、前記第１の送信所要データ量が前記第２の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有する。
【００５１】
そして、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信する。
この場合、画像送信中断事由が発生すると、送信中断判断手段は、前記第１の送信所要データ量と第２の送信所要データ量とを比較し、前記第１の送信所要データ量が前記第２の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する。
【００５２】
したがって、圧縮画像データの送信を中断する場合は、次のフレームの画像について圧縮画像データの送信を比較的早く終了することができるので、要求した画像を早く見ることができる。
また、圧縮画像データの送信を中断しない場合は、要求した画像を早く見ることはできないが、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像データ送信装置のブロック図である。
【図２】本発明の第１の実施の形態における画像伝送システムを示す図である。
【図３】ＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第１の図である。
【図４】ＦＳＴ圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第２の図である。
【図５】本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
【図６】本発明の第１の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャートである。
【図７】本発明の第１の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
【図８】本発明の第２の実施の形態における画像データ送信装置の動作を示すフローチャートである。
【図９】本発明の第２の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャートである。
【図１０】本発明の第２の実施の形態における画像データ送信装置の動作を示す第１のタイムチャートである。
【図１１】本発明の第２の実施の形態における画像データ送信装置の動作を示す第２のタイムチャートである。
【符号の説明】
１１ 画像データ送信装置
１２ ビデオカメラ
１５ 送信部
２５ 画像符号化部
２６ ＣＰＵ
ｔ１２、ｔ２２ 画像取込タイミング
δ 送信所要時間
τ１２、τ２２ 本来の画像取込タイミング
Claims (2)
- 画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第１の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第２の送信所要データ量とを比較し、前記第１の送信所要データ量が前記第２の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有するとともに、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信することを特徴とする画像データ送信装置。
- 画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を送信するのに必要とされる第１の送信所要時間と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られるデータ量を送信するのに必要とされる第２の送信所要時間とを比較し、前記第１の送信所要時間が前記第２の送信所要時間より短いときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有するとともに、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信することを特徴とする画像データ送信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10975997A JP4062747B2 (ja) | 1997-04-25 | 1997-04-25 | 画像データ送信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10975997A JP4062747B2 (ja) | 1997-04-25 | 1997-04-25 | 画像データ送信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304359A JPH10304359A (ja) | 1998-11-13 |
| JP4062747B2 true JP4062747B2 (ja) | 2008-03-19 |
Family
ID=14518526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10975997A Expired - Fee Related JP4062747B2 (ja) | 1997-04-25 | 1997-04-25 | 画像データ送信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4062747B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5264629B2 (ja) * | 2009-06-23 | 2013-08-14 | キヤノン株式会社 | 通信端末、及び通信端末の制御方法 |
-
1997
- 1997-04-25 JP JP10975997A patent/JP4062747B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10304359A (ja) | 1998-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8194143B2 (en) | Digital camera apparatus and recording method thereof | |
| JP3125552B2 (ja) | テレビ会議システム | |
| JP4525561B2 (ja) | 撮像装置、画像処理方法、並びにプログラム | |
| USRE42978E1 (en) | Image capturing device | |
| JPH08195944A (ja) | テレビ電話装置 | |
| JPH0795566A (ja) | 画像符号化方法および装置 | |
| JP3768182B2 (ja) | 電子カメラ | |
| JP4062747B2 (ja) | 画像データ送信装置 | |
| JP2001189932A (ja) | 画像伝送システムおよび画像伝送方法 | |
| JP2863180B2 (ja) | テレビ電話機 | |
| JP2522027B2 (ja) | 映像信号の符号化・復号化方法およびその装置 | |
| JPH09121333A (ja) | 画像伝送装置 | |
| JP3122445B2 (ja) | 通信装置 | |
| JPS6378674A (ja) | 画像伝送方式 | |
| JP2849385B2 (ja) | カラー画像の圧縮符号化装置 | |
| JP2008113088A (ja) | ドアホン装置 | |
| JP2002112086A (ja) | カメラシステム、画像符号化装置および画像復号化装置 | |
| JPH0686314A (ja) | ホワイトバランス補正装置 | |
| JPH09205628A (ja) | 画像情報伝送装置 | |
| KR100669607B1 (ko) | 휴대 단말기의 모드별 디스플레이 제어 장치 | |
| JP3585879B2 (ja) | 通信装置 | |
| JP3300179B2 (ja) | カラー画像取り込み装置 | |
| JP3618741B2 (ja) | 通信装置 | |
| JP3263664B2 (ja) | 通信装置 | |
| JPH06233288A (ja) | テレビ電話装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |