JP4665372B2 - 画像処理装置及び方法、通信システム及び方法、並びに記録媒体 - Google Patents

Description

【技術分野】
【０００１】
本発明は、例えば画像データからユーザの指示に応じた領域を特定する画像処理装置及び方法に関する。さらに詳しくは、画像データからユーザの指示に応じてオブジェクト画像を抽出する画像処理装置及び方法、通信システム及び方法、並びに記録媒体に関する。
【背景技術】
【０００２】
例えば、特開平１０−１１２８５６号公報には、送信側において、受信側からの指示に応じて、画像のある領域の画像データと他の領域の画像データとを異なる情報量で送信可能とする画像伝送装置が開示されている。この特開平１０−１１２８５６号公報記載の画像伝送装置によれば、受信側において、指示した点を含む所定の領域の画像を高い空間解像度で表示し、それ以外の領域の画像を低い空間解像度で表示するようなことが可能である。
【０００３】
すなわち、伝送路を介して送信側から受信側に対して画像データを伝送する場合においては、その伝送路の伝送レートを越えるデータレートの画像データを伝送することはできない。したがって、受信側においてリアルタイムで画像を表示する場合には、送信側から受信側に対して、伝送路の伝送レート内で画像データを送信しなければならず、その結果、伝送レートが十分でない場合には、受信側で表示される画像の空間解像度が全体として劣化することになる。
【０００４】
一方、上述の特開平１０−１１２８５６号公報に開示されている画像伝送装置のように、画像のある領域の画像データと他の領域の画像データとをそれぞれ異なる情報量で送信可能とし、例えば受信側において指示した点を含む所定の領域についての画像データの情報量を増やし、それ以外の領域の画像データの情報量を落とすようにすれば、受信側において指示した点を含む所定の領域の画像を高い空間解像度で表示でき、それ以外の領域の画像を低い空間解像度で表示することが可能となる。これにより、例えばユーザが詳細に見たい部分の画像領域を高い空間解像度で表示し、それ以外の画像領域を低い空間解像度で表示するようなことが可能となる。つまり、特開平１０−１１２８５６号公報に開示されている画像伝送装置によれば、ユーザが詳細に見たい部分以外の部分の空間解像度を犠牲にして、詳細に見たい部分の空間解像度を向上させることが可能となる。
【０００５】
また、本願出願人が先に提案しているＰＣＴ出願公開番号ＷＯ０１−１１８９Ａ１には、受信側で指示した領域の情報量制御として、特開平１０−１１２８５６号公報に記載されるような空間方向の解像度制御のみでなく、時間方向の解像度制御も行う画像処理装置が開示されている。更に、ＰＣＴ出願公開番号ＷＯ０１−１１８９Ａ１には、受信側のユーザによりマウスなどによってクリックされた位置及びそのクリックの時間間隔より、クリック位置に対応する画像データの静動判定と、そのクリックが時間的に連続的なクリックか否かを判定することにより、送信側に受信側に伝送される画像データからオブジェクトを抽出する画像処理装置が開示されている。
【発明が解決しようとする課題】
【０００６】
ところで、上述したように、例えばユーザが興味を持って特に詳細に見たい画像領域（以下、適宜、興味対象領域と呼ぶ。）の空間解像度を高め、それ以外の画像領域、例えば背景等の空間解像度を低くするようなことを実現するためには、送信側において、受信側のユーザが注目している画像領域、すなわち興味対象領域を特定する必要がある。
【０００７】
このように、受信側におけるユーザの興味対象領域を特定できれば、送信側から受信側に画像データを送信する際に、当該興味対象領域の画像の情報量を多くして送信することが可能となり、これにより、受信側ではその興味対象領域の画像を高い空間解像度で表示できるようになる。
【０００８】
ここで、ＰＣＴ出願公開番号ＷＯ０１−１１８９Ａ１には、受信側のマウスクリックなどによる受信された画像データに対する指示に応じて、ユーザの興味対象領域を特定する、例えば、オブジェクト画像を抽出する手法が開示されている。このような手法では、既に抽出されたオブジェクト画像を再評価する仕組みがない。そのため、ある時点では同一オブジェクト画像として抽出されたものが、異なるオブジェクト画像に分離してしまったときも常に同一オブジェクトとして扱ってしまうという問題があった。
【０００９】
更に、ユーザの興味の対象が変化し、ユーザの注目する画像領域が別の画像領域に移ったりした場合、そのユーザによる興味の対象の変化を検出して、上記特定する興味対象領域も変化させる必要がある。すなわち、ユーザの興味の対象が変化したにもかかわらず、それまでの情報を用いて処理を行うと、誤った判断をしてしまう危険性がある。したがって、もしもユーザの興味の対象が変化した場合には、その変化を検知して処理を変えなくてはならない。
【００１０】
通信端末として移動体端末が用いられる移動体通信システムに好適なデータ通信システム及び方法並びに移動体装置に関し、更には、これらシステムや方法に用いられるプログラムを格納したプログラム格納媒体に関する。
【００１１】
そこで、本発明は、このような実情に鑑みて提案されたものであり、ユーザが注目している興味対象領域を再評価することにより最適な興味対象領域の特定が可能であるたけでなく、ユーザの興味の対象となる画像領域が変化した場合でも、その変化を検出可能とする、画像処理装置及び方法、通信システム、方法、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述のような目的を達成するために提案される画像処理装置は、ユーザによる指示データを取得する指示データ取得手段と、指示データに対応する画像データを連結してグループ化する連結手段と、指示データに対応する画像データの特徴量を求める特徴量検出手段と、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて連結手段による指示データに対応する画像データ同士の連結を解除する連結解除手段と、指示データに対応する画像データを小領域に領域分割する分割手段と、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、連結手段は、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【００１３】
また、本発明は、画像データを送信する送信装置と、送信された画像データを受信する受信装置とを有する通信システムである。この通信システムを構成する受信装置は、通信装置から送信された画像データを受信する第１の受信手段と、第１の受信手段により受信された画像データを出力する出力手段と、この出力手段により出力された受信された画像データの時空間位置を指示する指示手段と、この指示手段により指示された画像データの時空間位置を指示する指示データを送信装置に送信する第１の送信手段とを備える。また、送信装置は、画像データが連続的に入力される入力手段と、第１の送信手段により送信された指示データを受信する第２の受信手段と、第２の受信手段により受信された指示データに対応する画像データを連結してグループ化する連結手段と、指示データに対応する画像データの特徴量を求める特徴量検出手段と、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、連結手段による指示データに対応する画像データ同士の連結を解除する連結解除手段と、指示データに対応する画像データを小領域に領域分割する分割手段と、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、連結手段は、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【００１４】
また、本発明に係る画像処理方法は、ユーザによる指示データを取得するステップと、この指示データに対応する画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて連結手段による指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【００１５】
更に、本発明は、画像データを送信装置と受信装置との間で通信する通信方法であり、この通信方法は、受信装置が、通信装置から送信された画像データを受信するステップと、受信された画像データを出力するステップと、出力された画像データの時空間位置を指示するステップと、指示された画像データの時空間位置を指示する指示データを送信装置に送信するステップとを有する。また、送信装置が、画像データが連続的に入力するステップと、送信された指示データを受信するステップと、受信された指示データに対応する入力される画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【００１６】
更にまた、本発明に係る画像処理方法を情報処理手段により実行するプログラムを格納した記録媒体であり、この記録媒体に格納されるプログラムは、ユーザによる指示データを取得するステップと、指示データに対応する画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを情報処理手段に実行させるためのものであり、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【００１７】
また、本発明に係る記録媒体に格納されるプログラムは、受信装置が通信装置から送信された画像データを受信するステップと、受信された画像データを出力するステップと、出力された画像データの時空間位置を指示するステップと、指示された画像データの時空間位置を指示する指示データを送信装置に送信するステップと、送信装置に画像データを連続的に入力するステップと、送信された指示データを受信するステップと、受信された指示データに対応する入力される画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを情報処理手段に実行させるためのものであり、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【００１８】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を適用した好ましい形態について、図面を参照しながら説明する。
【００２０】
本発明が適用されたデータ通信システムは、図１に示すような構成を備える。ここで、システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない。
【００２１】
図１に示すデータ通信システムは、例えば携帯電話やＰＨＳ（Personal Handy‐phone System：登録商標）等からなる少なくとも２台の端末１及び端末２と、これら端末１又は端末２との間で電波による信号の送受信を行う無線基地局３又は５と、これら基地局３，５間を結ぶ電話局等の交換局４とからなる。なお、無線基地局３，５は同一又は異なる無線基地局である。この構成により、端末１と端末２との間では、無線基地局３，５及び交換局４等から構成される伝送路を介して、双方がそれぞれ相手方に信号を送信し、相手方から送信されてきた信号を受信可能となされている。
【００２２】
また、図１に示すシステムにおいて、携帯電話やＰＨＳ等からなる端末１及び２は、電話番号や文字、記号等を入力するためのキー部８と、音声を入力するためのマイクロホン１０と、音声を出力するためのスピーカ９と、それぞれ静止画や動画像を撮影可能な撮像素子及び光学系を有するビデオカメラ部６と、文字や記号だけでなく画像をも表示可能な表示部７とを少なくとも備えている。
【００２３】
これら端末１と端末２との間では、音声信号の送受信だけでなく、ビデオカメラ部６にて撮影した画像データを送受信することも可能となされている。したがって、端末１と端末２は、それぞれ相手方が撮影した画像を表示部７に表示可能となる。
ここで、例えば、端末１が画像データを送信する送信装置となり、当該送信装置、すなわち端末１から送信された画像データの受信装置が端末２となっている場合を一例として説明を行う。また、以下、適宜、端末１又は端末２を、それぞれ送信装置１又は受信装置２と記述する。
【００２４】
この場合、送信装置１から送信された画像データは、フレームレートの情報と共に、基地局３，５及び交換局４等から構成される伝送路を介して受信装置２に送られる。受信装置２では、送信装置１から送信されてきた画像データを受信し、例えば液晶ディスプレイ等で構成される表示部７に、その受信されたフレームレート情報で受信された画像データに基づく動画像を表示する。一方、受信装置２からは、当該表示部７に表示される画像の空間解像度及び時間解像度を制御するための制御情報が、伝送路を介して送信装置１に送信される。すなわち、受信装置２からは、この受信装置２のユーザの興味対象領域を送信装置１側において特定する際に用いられる制御情報（後述する指示データとしてのクリックデータ）が、送信装置１に送信される。
【００２５】
送信装置１は、受信装置２からの制御情報（以下、クリックデータとする）を受信すると、そのクリックデータに基づいて、受信装置２において表示されることになる画像、例えば、送信装置１のビデオカメラ６で撮影した画像の中から受信装置２のユーザが注目する画像領域（興味対象領域）を特定する。更に、送信装置１は、その特定した画像領域の空間解像度及び時間解像度が所定の条件を満たしながら変更されるように、受信装置２に送信する画像データの情報量を制御する。なお、送信装置１及び受信装置２として、例えばＰＨＳ用の端末を用いた場合、伝送路は１８９５．１５００〜１９０５．９５００ＭＨｚ帯域の伝送路となり、その伝送レートは１２８ｋｂｐｓ（Bit Per Second）となる。
【００２６】
次に、図２に、図１に示す通信システムを構成する送信装置１を示す。この送信装置は、例えば撮像素子（ＣＣＤ：Charge Coupled Device等）及び光学系からなるビデオカメラ部６とこのビデオカメラ部６により得られた撮像信号から画像データを生成する画像信号処理回路等で構成された画像入力部１１を備える。すなわち、この画像入力部１１からは、送信装置１のユーザが所望の被写体をビデオカメラ部６で撮影し、さらに画像信号処理回路にて生成された画像データが出力され、その画像データが前処理部１２に送られる。
【００２７】
詳細な構成については後述するが、この前処理部１２は、大別して背景抽出部１３と、オブジェクト抽出部１４と、付加情報算出部１５とで構成される。
【００２８】
この前処理部１２のオブジェクト抽出部１４は、受信装置２から送信されてきたクリックデータに基づいて、画像入力部１１のビデオカメラ部６が撮影した画像の中で、受信装置２のユーザが注目している画像領域、すなわち興味対象領域を抽出し、その抽出した興味対象領域に対応する画像データを送信処理部１６に供給する。なお、画像入力部１１のビデオカメラ部６が撮影した画像の中に、受信装置２のユーザが注目する興味対象領域が複数存在する場合、当該オブジェクト抽出部１４は、それら複数の興味対象領域の画像データを送信処理部１６に供給する。また、オブジェクト抽出部１４で抽出された興味対象領域の画像データは、付加情報算出部１５にも供給される。
【００２９】
ここで、ユーザが注目する興味対象領域として、画像内の物体等のオブジェクトを例に挙げている。なお、本発明においてオブジェクトとは、画像をある単位毎に分割し、その単位毎に処理することができる領域のことであり、特に、画像内に存在する物体に着目し、その物体毎に処理を行う場合には、この物体をオブジェクトと定義している。本発明では、画像からクリックデータに基づいてオブジェクトデータを抽出し、当該オブジェクト単位で処理を行うような例を挙げている。なお、このオブジェクトの作成の仕方は、要求される画像の内容によって異なる。
【００３０】
以下、オブジェクト抽出部１４において、興味対象領域の一例としてオブジェクト（以下、適宜オブジェクト画像と呼ぶ。）を抽出する場合を例に挙げて説明することにする。なお、上記興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、後述する背景画像部分等であっても良いが、本発明では、興味対象領域としてオブジェクトを例に挙げて説明する。
【００３１】
オブジェクト画像の抽出方法は、画像に対するユーザのクリックデータに対応する小オブジェクト画像データを抽出し、小オブジェクト画像データの連結、非連結によりオブジェクト画像データを抽出することにより、オブジェクト画像を抽出する方法を本発明の実施例としている。
【００３２】
また、オブジェクト抽出部１４では、受信装置２のユーザの興味が変化し、興味対象領域が変化したような場合、その興味の変化を検出し、当該興味の変化の検出結果に基づいて新たな興味対象領域であるオブジェクト画像を抽出する。オブジェクト抽出部１４において行われるオブジェクト抽出、すなわち興味対象領域の特定処理と興味対象の変化検出の詳細についての説明は後述する。
【００３３】
次に、前処理部１２の背景抽出部１３は、オブジェクト抽出部１４によるオブジェクト抽出結果に基づいて、画像入力部１１により供給された画像データから画像の背景部分（興味対象領域以外の画像領域、以下、背景画像と呼ぶ。）に相当する信号（以下、背景画像データと呼ぶ）を抽出し、その抽出した背景画像データを送信処理部１６と付加情報算出部１５に供給する。ここで、アクティビティが小さく、画像として特別意味を持たないような平坦な画像領域を背景画像としている。もちろん、背景画像は特別な意味を持たない画像だけでなく、ユーザの興味対象となっていないオブジェクト等も含まれるが、説明を簡単にするため、上述のように平坦な画像領域を背景画像として説明する。
【００３４】
付加情報算出部１５は、背景抽出部１３から供給された背景画像データに基づいて、画像の撮影時に、画像入力部１１の撮影方向が動くことによる背景の動き、例えばパン、チルト画像を表す背景動きベクトルを検出する。また、付加情報算出部１５は、オブジェクト抽出部１４から供給されたオブジェクトの画像データ（以下、オブジェクト画像データと呼ぶ）に基づいて、オブジェクトの動きを表すオブジェクト動きベクトルを検出する。そして、付加情報算出部１５は、それら動きベクトルを付加情報として、送信処理部１６に供給する。また、付加情報算出部１５は、オブジェクト抽出部１４から供給されたオブジェクト画像データに基づいて、画像入力部１１のビデオカメラ部６により撮影された画像、すなわちフレーム画像内におけるオブジェクトの位置や形状を表す輪郭等のようなオブジェクトに関連する情報も、付加情報として送信処理部１６に供給する。すなわち、オブジェクト抽出部１４は、オブジェクト画像を抽出する際に、そのオブジェクトの位置や形状等のオブジェクトに関連する情報も抽出し、付加情報算出部１５に供給する。付加情報算出部１５は、そのオブジェクトに関連する情報も付加情報として出力するようになっている。
【００３５】
送信処理部１６は、受信装置２から供給されたクリックデータに基づいて、受信装置２において表示されることになる画像の内の前記オブジェクト画像についての空間解像度あるいは時間解像度を高めつつ、伝送路で伝送可能なデータレートの条件を満たすように、オブジェクト抽出部１４からのオブジェクト画像データと、背景抽出部１３からの背景画像データと、付加情報算出部１５からの付加情報を符号化する。更に、送信処理部１６は、それら符号化後のオブジェクト画像データ（以下、オブジェクト符号化データと呼ぶ。）、背景画像データ（以下、背景符号化データと呼ぶ。）、付加情報（以下、付加情報符号化データと呼ぶ。）を多重化し、その多重化データを、フレームレート情報と共に伝送路を介して受信装置２へ送信する。
【００３６】
次に、図３に示すフローチャートを参照して、図２に示す送信装置１の処理の概要について説明する。
【００３７】
図３において、先ずステップＳ１として、送信装置１の画像入力部１１では、ビデオカメラ部６により画像の撮影がなされ、その画像データが前処理部１２に送られる。
【００３８】
次に、ステップＳ２において、送信装置１は、受信装置２から送信されてきたクリックデータを受信し、そのクリックデータを前処理部１２に入力する。
【００３９】
画像データとクリックデータを受け取った前処理部１２は、ステップＳ３において、背景抽出、オブジェクト抽出、付加情報算出の前処理を行い、当該前処理にて得られた背景画像データ、オブジェクト画像データ、付加情報を送信処理部１６に送る。ここで、オブジェクト抽出には、興味対象の変化検出も含む。
【００４０】
送信処理部１６では、ステップＳ４の処理として、伝送路で伝送可能なデータレートの条件を満たすように、オブジェクト画像データと背景画像データ及び付加情報のデータ量を計算し、そのデータ量に応じて、それらオブジェクト画像データと背景画像データ、付加情報を、後述するように符号化して多重化する。その後、当該多重化データをフレームレート情報と共に伝送路を介して受信装置２へ送信する。
【００４１】
これ以後、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００４２】
次に、図１に示す通信システムを構成する受信装置２を図４に示す。
【００４３】
伝送路を介して、送信装置１から送信されてくる多重化データは、図４に示す受信装置２の受信処理部２１で受信される。受信処理部２１は、受信した多重化データから、それぞれ背景符号化データ、オブジェクト符号化データ及び付加情報符号化データを分離して復号し、その復号された背景画像データ、オブジェクト画像データ及び付加情報を合成処理部２２に送る。
【００４４】
合成処理部２２は、受信処理部２１から供給された復号後の背景画像データ、オブジェクト画像データ、及び付加情報を用いて画像を合成し、その合成された画像の信号を画像出力部２３に供給する。また、合成処理部２２は、クリックデータ入力部２４から供給されるクリックデータに基づき、合成する画像の空間解像度及び時間解像度を制御するようになされている。
【００４５】
画像出力部２３は、供給された画像データに基づいて、表示部７の例えば液晶ディスプレイ等を駆動するための駆動信号を生成して当該液晶ディスプレイ等に、上述の多重化データと共に受信されたフレームレート情報に基づくフレームレートで送ることにより、合成処理部２２にて合成された画像を表示部７に表示させる。
【００４６】
クリックデータ入力部２４は、表示部７上の画像の座標位置を指定するためのポインティングデバイスとしての機能を有するキー部８をユーザが操作した時に、そのユーザによるキー部８の操作に応じたクリック位置、すなわち座標位置及びクリック時刻を表すクリックデータを発生する。すなわち、表示部７に表示されている画像のうちの所望の画像部分である興味対象領域を、ユーザがキー部８をクリック操作することにより指定すると、クリックデータ入力部２４は、そのクリック位置の座標情報及びそのクリック時刻を表すクリックデータを発生する。クリックデータ入力部２４により発生されたクリックデータは、合成処理部２２とクリックデータ送信部２５に送られる。
【００４７】
クリックデータ送信部２５は、クリックデータ入力部２４からクリックデータを受け取ると、そのクリックデータを伝送路を介して送信装置１に送信する。
【００４８】
次に、図５のフローチャートを参照して、図４に示す受信装置２の処理の概要について説明する。
【００４９】
図５において、受信装置２の受信処理部２１では、先ず、ステップＳ１１として、送信装置１から伝送路を介して送信されてくる多重化データを受信する。
【００５０】
次に、受信処理部２１では、ステップＳ１２において、その多重化データから、背景符号化データとオブジェクト符号化データ及び付加情報符号化データを分離し、さらにそれら分離した符号化データを復号する。復号された背景画像データとオブジェクト画像データ及び付加情報は、合成処理部２２に送られる。
【００５１】
受信装置２のクリックデータ入力部２４では、ステップＳ１３において、ユーザによるキー部８のクリック操作に基づくクリックデータを取得して合成処理部２２に送ると共に、そのクリックデータをクリックデータ送信部２５に送り、当該クリックデータ送信部２５から送信装置１に送信する。
【００５２】
次に、合成処理部２２では、ステップＳ１４において、受信処理部２１から供給された背景画像データとオブジェクト画像データ及び付加情報と、クリックデータ入力部２４から供給されたクリックデータとに基づいて、画像を合成すると共に、その合成される画像の空間解像度及び時間解像度を制御する。
【００５３】
その後、画像出力部２３は、ステップＳ１５において、合成処理部２２にて合成された画像を、多重化データと共に受信されたフレームレート情報に基づいて表示部７の液晶ディスプレイ等に表示させる。
【００５４】
これ以後、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００５５】
次に、図２に示す送信装置１を構成する送信処理部１６の具体的な例を図６に示す。
【００５６】
図６に示す送信処理部１６には、図２に示した前処理部１２からの背景画像データ、オブジェクト画像データ及び付加情報が供給される。これら背景画像データ、オブジェクト画像データ及び付加情報は、符号化部３１と制御部３５に入力される。
【００５７】
符号化部３１は、供給された背景画像データ、オブジェクト画像データ及び付加情報を後述するように階層符号化し、その結果得られる各符号化データをＭＵＸ（マルチプレクサ）３２に供給する。
【００５８】
ＭＵＸ３２は、制御部３５による制御の元で、符号化部３１から供給された背景符号化データ、オブジェクト符号化データ、付加情報符号化データを選択し、多重化データとして送信部３３に供給する。
【００５９】
送信部３３は、ＭＵＸ３２からの多重化データを上述のフレームレート情報と共に後段の伝送路の伝送規格に応じて変調等し、その伝送路を介して受信装置２に送信する。
【００６０】
また、データ量計算部３４は、ＭＵＸ３２が送信部３３に出力する多重化データを監視しており、そのデータレートを算出し、制御部３５に供給する。
【００６１】
制御部３５は、データ量計算部３４にて算出されたデータレートが、伝送路の伝送レートを越えないように、ＭＵＸ３２による多重化データの出力を制御すると共に、伝送路を介して受信装置２から送信されて受信されたクリックデータを受け取り、そのクリックデータに基づいて、ＭＵＸ３２における符号化データの多重化を制御する。
【００６２】
次に、図６に示す符号化部３１の具体的構成例を図７に示す。
【００６３】
図７に示す符号化部３１において、背景画像データは、差分計算部４１Ｂに入力される。差分計算部４１Ｂは、ローカルデコーダ４４Ｂから供給される、現時点で処理しようとしている画像フレーム（以下、適宜、現フレームと呼ぶ。）に含まれる背景画像データから、既に処理した１フレーム前の背景画像データを減算し、その減算結果としての背景画像の差分データ（以下、背景画像差分データと呼ぶ。）を階層符号化部４２Ｂに供給する。
【００６４】
階層符号化部４２Ｂは、差分計算部４１Ｂからの背景画像差分データを後述するように階層符号化し、その符号化により得られたデータ、すなわち背景符号化データを記憶部４３Ｂに供給する。
【００６５】
記憶部４３Ｂは、階層符号化部４２からの背景符号化データを一時記憶する。記憶部４３Ｂに記憶された背景符号化データは、背景符号化データとして図６に示したＭＵＸ３２に送られる。
【００６６】
さらに、記憶部４３Ｂに記憶された背景符号化データは、ローカルデコーダ４４Ｂに供給される。ローカルデコーダ４４Ｂでは、その背景符号化データを局所復号して、元の背景画像データを復号し、その復号後の背景画像データを差分計算部４１Ｂに供給する。このように、ローカルデコーダ４４Ｂによって復号された背景画像データは、差分計算部４１Ｂにおいて次のフレームの背景画像データとの差分データを求めるのに用いられる。
【００６７】
また、図７に示す符号化部３１において、オブジェクト画像データは、差分計算部４１Ｆに供給される。差分計算部４１Ｆは、ローカルデコーダ４４Ｆから供給される、現時点で処理しようとしている画像フレーム（現フレーム）に含まれるオブジェクト画像データから、既に処理した１フレーム前のオブジェクト画像データを減算し、その減算結果としてのオブジェクトの差分データ（以下、オブジェクト画像差分データと呼ぶ。）を、階層符号化部４２Ｆに供給する。
【００６８】
階層符号化部４２Ｆは、差分計算部４１Ｆからのオブジェクト画像差分データを後述するように階層符号化し、その符号化により得られたデータ（オブジェクト符号化データ）を、記憶部４３Ｆに供給する。
【００６９】
記憶部４３Ｆは、階層符号化部４２からのオブジェクト符号化データを一時記憶する。記憶部４３Ｆに記憶されたオブジェクト符号化データは、図６に示したＭＵＸ３２に送られる。
【００７０】
さらに、記憶部４３Ｆに記憶されたオブジェクト符号化データは、ローカルデコーダ４４Ｆに供給される。当該ローカルデコーダ４４Ｆでは、そのオブジェクト符号化データを局所復号して、元のオブジェクト画像データを復号し、その復号後のオブジェクト画像データを差分計算部４１Ｆに供給する。このように、ローカルデコーダ４４Ｆによって復号されたオブジェクト画像データは、差分計算部４１Ｆにおいて、次のフレームのオブジェクト画像データとの差分データを求めるのに用いられる。
【００７１】
なお、オブジェクトが複数（オブジェクト＃１，＃２，＃３，…）存在する場合は、それら複数のオブジェクトの画像データそれぞれに対して、差分計算部４１Ｆ、階層符号化部４２Ｆ、記憶部４３Ｆ及びローカルデコーダ４４Ｆにおいて上述したような差分計算、階層符号化、記憶、ローカルデコードの処理を行う。
【００７２】
また、図７に示す符号化部３１において、付加情報は、ＶＬＣ（可変長符号化）部４５に供給される。ＶＬＣ部４５では、付加情報を可変長符号化する。ここで、可変長符号化の手法としては冗長度を削減することによりデータを圧縮する手法であれば良く、ランレングス符号化、ハフマン符号化などを用いることができる。この可変長符号化された付加情報は、前記付加情報符号化データとして図６に示したＭＵＸ３２に送られる。
【００７３】
次に、図８を参照して、図７の符号化部３１において行われる階層符号化と、受信側において階層符号化に対応して行われる復号について説明する。
【００７４】
ここで、図７の符号化部３１は、階層符号化として、例えば下位側の階層における水平方向２画素及び垂直方向２画素からなる４つの画素の平均値（画素値の平均）を、当該下位階層よりも一つ上の上位階層における１画素の画素値とするような処理が、例えば３階層分にわたって行われる。なお、ここで説明する画素値とは、階層符号化の前段の処理として行われる前記差分計算により得られた差分値、すなわち画素毎の差分値である。もちろん、階層符号化の前段で差分計算を行わない場合は、通常の画素値となる。
【００７５】
この場合、最下位階層（第１階層）の画像として、例えば図８Ａに示すように水平方向４画素及び垂直方向４画素からなる画像（以下、４×４画素と呼ぶ。）を考えると、階層符号化では、当該４×４画素のうち左上側の水平方向２画素及び垂直方向２画素（以下、２×２画素と呼ぶ。）を構成する４つの画素ｈ００，ｈ０１，ｈ０２，ｈ０３の平均値が演算され、この平均値が第２階層の左上の１画素ｍ０の画素値とされる。同様に、第１階層の４×４画素のうち右上側の２×２画素ｈ１０，ｈ１１，ｈ１２，ｈ１３の平均値は、第２階層の右上の１画素ｍ１の画素値となされ、第１階層の４×４画素のうち左下側の２×２画素ｈ２０，ｈ２１，ｈ２２，ｈ２３の平均値は、第２階層の左下の１画素ｍ２の画素値となされ、第１階層の４×４画素のうち右下側の２×２画素ｈ３０，ｈ３１，ｈ３２，ｈ３３の平均値は第２階層の右下の１画素ｍ３の画素値となされる。階層符号化では、さらに、第２階層の２×２画素を構成する４つの画素ｍ０，ｍ１，ｍ２，ｍ３の平均値を求め、この平均値が第３階層（最上位階層）の１つの画素ｑの画素値となされる。
【００７６】
図７の符号化部３１では、以上のような階層符号化を行う。なお、このような階層符号化によれば、最上位階層（第３階層）の画像の空間解像度は最も低くなり、階層が低くなるにつれて画像の空間解像度が向上し、最下位階層（第１階層）の画像の空間解像度は最も高くなる。
【００７７】
ところで、以上の画素ｈ００乃至ｈ０３、ｈ１０乃至ｈ１３、ｈ２０乃至ｈ２３、ｈ３０乃至ｈ３３、ｍ０乃至ｍ３、ｑを全部送信するようにした場合は、最下位階層の画像だけを送信する場合に比較して、より上位側の階層である第２階層の画素ｍ０乃至ｍ３と第３階層の画素ｑの分だけ、データ量が増加することとなる。
【００７８】
そこで、送信するデータ量を減らしたい場合には、例えば図８Ｂに示すように、第２階層の画素ｍ０乃至ｍ３のうちの例えば右下の画素ｍ３に替えて第３階層の画素ｑを埋め込み、それら画素ｍ０，ｍ１，ｍ２とｑからなる第２階層のデータと、第１階層のデータとを送信するようにする。これによれば、第３階層分のデータ量を減らすことができる。
【００７９】
また、図８Ｂの場合よりも更にデータ量を減らしたいときには、図８Ｃに示すように、第２の階層の画素ｍ０を、それを求めるのに用いた第１階層の２×２画素ｈ００乃至ｈ０３のうちの例えば右下の画素ｈ０３に替え、同様に、第２の階層の画素ｍ１を、それを求めるのに用いた第１階層の２×２画素ｈ１０乃至ｈ１３のうちの例えば右下の画素ｈ１３に替え、また、第２の階層の画素ｍ２を、それを求めるのに用いた第１階層の２×２画素ｈ２０乃至ｈ２３のうちの例えば右下の画素ｈ２３に替え、さらに、図８Ｂのようにして第２階層の画素ｍ０乃至ｍ３の右下の画素に埋め込まれた第３階層の画素ｑを、第１階層の２×２画素ｈ３０乃至ｈ３３のうちの例えば右下の画素ｈ３３に替えて送信するようにする。これによれば、第３階層と第２階層分のデータ量を減らすことができる。すなわち、図８Ｃに示す例では、送信する全画素数は４×４画素の１６画素分となり、図８Ａに示した最下位階層（第１階層）の画素数と変わらない。したがって、この場合、第１階層から第３階層までの各階層に相当する画素データを送信可能となるだけでなく、送信するデータ量の増加を最も抑えることが可能となる。
【００８０】
なお、図８Ｂにおいて画素ｑと替えられた第２階層の画素ｍ３と、図８Ｃにおいて画素ｍ０，ｍ１，ｍ２及びｑとそれぞれ替えられた第１階層の画素ｈ０３，ｈ１３，ｈ２３，ｈ３３は、以下のようにして復号することができる。
【００８１】
すなわち、画素ｑの値は、画素ｍ０乃至ｍ３の各画素値の平均値であるから、ｑ＝（ｍ０＋ｍ１＋ｍ２＋ｍ３）／４の式が成り立つ。したがって、ｍ３＝４×ｑ−（ｍ０＋ｍ１＋ｍ２）の式により、第３層の画素ｑ及び第２階層の画素ｍ０乃至ｍ２を用いて、第２層の画素ｍ３を求める（復号する）ことができる。
【００８２】
また、画素ｍ０の値は、画素ｈ００乃至ｈ０３の平均値であるから、ｍ０＝（ｈ００＋ｈ０１＋ｈ０２＋ｈ０３）／４の式が成り立つ。したがって、ｈ０３＝４×ｍ０−（ｈ００＋ｈ０１＋ｈ０２）の式により、第２階層の画素ｍ０及び第１階層の画素ｈ００乃至ｈ０２を用いて、第１階層の画素ｈ０３を求めることができる。同様にして、各画素ｈ１３，ｈ２３，ｈ３３も求めることができる。
【００８３】
以上のように、ある階層において送信されない画素は、その階層において送信される画素と、その１つ上位の階層において送信される画素とから復号することができる。
【００８４】
次に、図９に示すフローチャートを参照して、図６に示す送信処理部１６において行われる送信処理について説明する。
【００８５】
最初に、送信処理部１６の制御部３５は、ステップＳ２１において、受信装置２からクリックデータが送信されてきたか否かを判定する。ステップＳ２１において、受信装置２からクリックデータが送信されてきていないと判定された場合、すなわち制御部３５がクリックデータを受け取っていない場合、制御部３５は、ステップＳ２２として、ＭＵＸ３２を制御し、受信装置２において通常の時間解像度、例えばデフォルト設定されている時間解像度で画像の表示が可能なように、背景、オブジェクト、及び付加情報の各符号化データを選択させて多重化させる。
【００８６】
すなわち、通常の時間解像度として例えば３０フレーム／秒が設定されている場合、受信装置２では３０フレーム／秒で画像を表示することになり、このときのＭＵＸ３２は、当該３０フレーム／秒の時間解像度を維持しつつ、多重化データを伝送路の伝送レートで送信したときに、受信装置２側において表示される画像の空間解像度が最も高くなるように、背景、オブジェクト、及び付加情報の各符号化データを選択して多重化する。
【００８７】
より具体的に説明すると、例えば上述のように３階層の階層符号化が行われている場合において、３０フレーム／秒で画像を表示するのに、伝送路の伝送レートでは第３階層のデータしか送信することができないとき、当該ＭＰＸ３２は、この第３階層の画像を表示するための背景、オブジェクト及び付加情報の各符号化データを選択する。この場合の受信装置２では、３０フレーム／秒の時間解像度で且つ、水平方向及び垂直方向の空間解像度が何れも元の画像である第１階層の画像の１／４となった画像が表示されることになる。
【００８８】
次に、当該送信処理部１６では、ステップＳ２３において、ＭＵＸ３２からの多重化データを、上述の設定されているフレームレート情報と共に送信部３３から伝送路を介して送信し、その後、ステップＳ２１に戻る。
【００８９】
また、ステップＳ２１において、制御部３５が受信装置２からクリックデータが送信されてきたと判定した場合、すなわち制御部３５がクリックデータを受け取った場合、制御部３５は、ステップＳ２４として、そのクリックデータに基づいて、ユーザが受信装置２のクリックデータ入力部２４を操作することにより指定した注目点の座標であるクリック位置及びクリック時刻を認識する。
【００９０】
次に、詳細については後述するが、制御部３５は、ステップＳ２５の処理として、注目点の座標、すなわちクリック位置及びクリック時刻に基づいて、受信装置２側のユーザが注目している興味対象領域を特定し、その特定した興味対象領域を、受信装置２側で表示される画像のうちで空間解像度を優先的に向上させる優先範囲として設定し、その優先範囲内の画像とそれに対応する付加情報を検出する。なお、半発明において、優先範囲内の画像は、オブジェクト画像に対応し、優先範囲外の画像は、例えば背景画像のような興味対象領域以外の画像に対応する。
【００９１】
制御部３５は、ステップＳ２６として、ＭＵＸ３２を制御し、受信装置２において、上記優先範囲内の画像が、より高い空間解像度で表示されるように、その優先範囲内領域の画像（オブジェクト画像）と当該優先範囲外の画像（背景画像）及び付加情報の符号化データを選択させ、多重化させる。すなわち、制御部３５は、受信装置２からのクリックデータを受信した場合、時間解像度を犠牲にして、優先範囲内の画像の空間解像度を向上させるように、ＭＵＸ３２を制御する。
【００９２】
上述の説明では、制御部３５は、優先範囲内の画像の空間解像度を向上するように制御したが、優先範囲内の画像の時間解像度を向上する、すなわち、優先範囲内の画像のフレームレートが向上するように制御してもよい。このとき、制御部３５は、空間解像度を犠牲にするようにしてもよいが、優先範囲外である背景画像データに対応する画像を静止画像とすることにより全体の情報量制御を行うようにしてもよい。
【００９３】
これにより、ＭＵＸ３２は、例えば、優先範囲内の画像については、第３階層の他、第２階層の画像を表示するための符号化データを優先的に選択して多重化し、その多重化データを出力する。
【００９４】
さらに、制御部３５は、ステップＳ２６として、多重化データとして選択する付加情報に、優先範囲の位置と大きさ等の情報（以下、適宜、高解像度情報という。）を挿入するように、ＭＵＸ３２を制御し、ステップＳ２３に進む。
【００９５】
ステップＳ２３に進むと、送信部３３では、ＭＵＸ３２が出力する多重化データを、フレームレート情報と共に伝送路を介して送信した後、ステップＳ２１に戻る。
【００９６】
ここで、説明を簡単にするために、ステップＳ２６において、優先範囲外の画像、例えば背景画像については、第３階層の画像を表示するための符号化データを、ステップＳ２２における場合と同様に選択し続けるとすると、制御部３５では、ステップＳ２６の場合の多重化データのデータ量は、ステップＳ２２の場合に比較して、空間解像度を高めた優先範囲内の画像、オブジェクト画像についての第２階層のデータの分だけデータ量が増加することになる。
【００９７】
このとき、例えば３０フレーム／秒で画像を表示することを考えた場合、前述したように、伝送路の伝送レートでは、第３階層のデータしか送信することができないから、ステップＳ２６で得られた第２階層のデータを含む多重化データは、画像を３０フレーム／秒で表示可能なデータにはならない。
【００９８】
このような場合、送信部３３から例えば３０フレーム／秒より低いレート、最も極端な例では、０フレーム／秒、すなわち静止画像となる多重化データを送信する。これにより、受信装置２では、上記優先範囲内の画像について、水平方向及び垂直方向の空間解像度がいずれも、元の画像（第１階層の画像）の１／２となった画像、すなわち、水平方向及び垂直方向の空間解像度がいずれも、いままで表示されていた第３階層の画像の２倍になった画像（第２階層の画像）が表示されることになる。但し、このとき受信装置２に表示される画像の時間解像度は３０フレーム／秒未満となる。
【００９９】
以上のようにして、優先範囲内の画像について第２階層のデータが送信された後、ステップＳ２１において、前回に続いて受信装置２からクリックデータが送信されてきたと判定された場合、すなわち、ユーザがクリックデータ入力部２４を操作し続け、以前と同一の或いはその近傍の注目点を指定し続けている場合は、ステップＳ２４において前回と同一或いはその近傍の注目点が認識され、ステップＳ２５において前回と同一の優先範囲が設定され、ステップＳ２６に進む。これにより、制御部３５は、ステップＳ２６においてＭＵＸ３２を制御し、受信装置２にて優先範囲内の画像がより高い空間解像度で表示されるように、符号化データを選択させ、多重化させる。
【０１００】
この場合の優先範囲内の画像については、既に、第３階層の他、第２階層の画像及びそれらの付加情報の符号化データが優先的に選択されるようになっているので、ここでは更に第１階層の画像及び付加情報の符号化データも優先的に選択され、多重化データとして出力される。また、ステップＳ２６において上述したように高解像度情報が付加情報に挿入され、ステップＳ２３においてＭＵＸ３２からの多重化データが、フレームレート情報と共に送信部３３から伝送路を介して送信された後、ステップＳ２１に戻る。
【０１０１】
この場合、受信装置２では、優先範囲内の画像が元の画像（第１階層の画像）と同一の空間解像度の画像、すなわち水平方向及び垂直方向の空間解像度が、何れも最初に表示されていた第３階層の画像の４倍になった画像（第１階層の画像）が表示されることになる。但し、その時間解像度は上記３０フレーム／秒よりも低い画像、０フレーム／秒となった場合は静止画となされる。
【０１０２】
以上から、受信装置２のユーザがクリックデータ入力部２４を操作し続けて、例えば同一の注目点、すなわち興味対象領域を指定し続けると、注目点を含む優先範囲内の画像、すなわち興味対象領域、例えばオブジェクト画像について、空間解像度をより向上させるためのデータが優先的に送信されるので、当該注目点を含む優先範囲内の画像の空間解像度は徐々に向上し、その結果、優先範囲内の画像は、より鮮明に表示されるようになる。すなわち、受信装置２側においてユーザが注目している部分の画像である興味対象領域、例えばオブジェクト画像は、より鮮明に表示される。
【０１０３】
以上のように、クリックデータに基づく注目点によって特定された優先範囲内の画像である興味対象領域、例えばオブジェクト画像の空間解像度あるいは時間解像度が、伝送路の伝送レートに応じた解像度の範囲内で変更されるように、画像データの送信が制御されるので、限られた伝送レート内において、受信装置２に表示される注目点に対応する画像の空間解像度を、より向上させることができる。すなわち、画像の時間解像度を犠牲にして、優先範囲内のオブジェクト画像の空間解像度を向上させることで、限られた伝送レート内で受信装置２に表示される当該オブジェクト画像をより鮮明に表示させる、すなわち、空間解像度をより向上させることが可能となる。
【０１０４】
次に、図４に示す受信装置２を構成する受信処理部２１の具体的な構成を図１０を参照して説明する。
【０１０５】
この図１０において、伝送路を介して供給された多重化データは、受信部５１にて受信され、復調等された後、ＤＭＵＸ（デマルチプレクサ）５２に供給される。
【０１０６】
ＤＭＵＸ５２は、受信部５１から供給された多重化データを、背景符号化データ、オブジェクト符号化データ及び付加情報符号化データに分離し、復号部５３に供給する。
【０１０７】
復号部５３は、背景、オブジェクト、又は付加情報の各符号化データ（本実施の形態では前記差分値を符号化したデータ）を、前記符号化時とは逆の処理によりそれぞれ元のデータに復号し、図４に示した合成処理部２２に出力する。
【０１０８】
ここで、図１１に図１０に示す復号部５３の具体的な構成例を示す。
【０１０９】
図１１において、背景符号化データである階層符号化されている背景画像差分データは、加算器６１Ｂに供給される。加算器６１Ｂには、さらに記憶部６２Ｂに記憶された、既に復号されている１フレーム前の背景画像データも供給されるようになっている。加算器６１Ｂは、入力された背景画像差分データに、記憶部６２Ｂからの１フレーム前の背景画像データを加算することで、現フレームで必要な階層の背景画像データを復号する。この復号された背景画像データは、記憶部６２Ｂに供給されて記憶された後に読み出され、加算器６１Ｂに供給されるとともに図４に示す合成処理部２２に送られる。
【０１１０】
オブジェクト符号化データである階層符号化されたオブジェクト画像差分データは、加算器６１Ｆに供給される。加算器６１Ｆには、さらに記憶部６２Ｆに記憶された、既に復号されている１フレーム前のオブジェクト画像データも供給される。加算器６１Ｆは、上記入力されたオブジェクト画像差分データに、記憶部６２Ｆからの１フレーム前のオブジェクト画像データを加算することで、現フレームで必要な階層のオブジェクト画像データを復号する。この復号されたオブジェクト画像データは、記憶部６２Ｆに供給されて記憶された後に読み出され、加算器６１Ｆに供給されるとともに、図４に示す合成処理部２２に送られる。なお、オブジェクトが複数存在する場合は、加算器６１Ｆ及び記憶部６２Ｆでは、複数のオブジェクトの差分データそれぞれに対して上述したように階層復号がなされる。
【０１１１】
付加情報符号化データである、前記可変長符号化された付加情報は、逆ＶＬＣ部６３に入力し、ここで可変長復号される。これにより、元の付加情報に復号され、合成処理部２２に供給される。
【０１１２】
なお、前述した図７に示すローカルデコーダ４４Ｂは、加算器６１Ｂ及び記憶部６２Ｂと同様に構成され、また、図７のローカルデコーダ４４Ｆは、加算器６１Ｆ及び記憶部６２Ｆと同様に構成されている。
【０１１３】
次に、図４に示す受信装置２を構成する合成処理部２２の具体的な構成を図１２に示す。
【０１１４】
この図１２において、図１０に示した復号部５３から出力された背景画像データは背景書き込み部７１に入力し、オブジェクト画像データはオブジェクト書き込み部７２に入力し、付加情報は背景書き込み部７１とオブジェクト書き込み部７２及び合成部７７に入力する。
【０１１５】
背景書き込み部７１は、供給された背景画像データを、背景メモリ７３に順次書き込む。ここで例えば、前記送信装置１のビデオカメラ部６での撮影時に、パンニングやチルティングされて撮影が行われることによって背景に動きがあるような場合、背景書き込み部７１は、付加情報に含まれる背景動きベクトルに基づいて背景の位置合わせを行った状態で、背景メモリ７３への背景画像データの書き込みを行うようになされている。したがって、背景メモリ７３は、１フレーム分の画像よりも空間的に広い画像のデータを記憶することができるようになされている。
【０１１６】
オブジェクト書き込み部７２は、供給されたオブジェクト画像データを、オブジェクトメモリ７５に、順次書き込む。なお、例えばオブジェクトが複数存在する場合、オブジェクト書き込み部７２は、複数のオブジェクトの画像データそれぞれを、各オブジェクト毎にオブジェクトメモリ７５に書き込む。また、オブジェクト書き込み部７２は、同一のオブジェクトである後述する同一のオブジェクト番号が付されているオブジェクトの画像データの書き込みを行う場合、既にオブジェクトメモリ７５に書き込まれているオブジェクト画像データに代えて、新しいオブジェクト画像データ、すなわち、新たに、オブジェクト書き込み部７２に供給されるオブジェクト画像データを書き込むようになっている。
【０１１７】
さらに、オブジェクト書き込み部７２は、空間解像度の高いオブジェクトを、オブジェクトメモリ７５に書き込んだ場合、そのオブジェクトを構成する各画素に対応してオブジェクトフラグメモリ７６のアドレスに記憶されるオブジェクトフラグを”０”から”１”にするようになっている。すなわち、オブジェクト書き込み部７２は、オブジェクトメモリ７５にオブジェクト画像データを書き込む際に、オブジェクトフラグメモリ７６を参照するようになっており、オブジェクトフラグが”１”になっているオブジェクト、つまり既に空間解像度の高いオブジェクトの画像データが記憶されているオブジェクトメモリ７５には、空間解像度の低いオブジェクト画像データの書き込みは行わないようになっている。したがって、オブジェクトメモリ７５は、基本的に、オブジェクト書き込み部７２にオブジェクト画像データが供給されるたびに、そのオブジェクト画像データが書き込まれるが、既に空間解像度の高いオブジェクト画像データが記憶されているオブジェクトメモリ７５には、空間解像度の低いオブジェクト画像データの書き込みを行わない。その結果、オブジェクトメモリ７５においては、オブジェクト書き込み部７２に空間解像度の高いオブジェクト画像データが供給される毎に、空間解像度の高いオブジェクト画像の数が増加していくことになる。
【０１１８】
合成部７７は、背景メモリ７３に記憶された背景画像データから、現時点で表示を行うべきフレームである現フレームの背景画像を、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、その背景画像上に、オブジェクトメモリ７５に記憶されたオブジェクト画像を、付加情報に含まれるオブジェクト動きベクトルに基づいて合成し、これにより、現フレームの画像を構成して、表示メモリ７８に供給するようになっている。
【０１１９】
さらに、合成部７７は、図４のクリックデータ入力部２４から、クリックデータを受信した場合、そのクリックデータに含まれる注目点の座標位置を含むオブジェクト画像データを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に供給するようになっている。
【０１２０】
表示メモリ７８は、いわゆるＶＲＡＭ（Video Read Only Memory）として機能するメモリであり、合成部７７からの現フレームの画像を一時記憶した後に読み出して図４の画像出力部２３に供給する。また、サブウインドウメモリ７９は、合成部７７からのオブジェクト画像データを一時記憶した後読み出し、図４に示す画像出力部２３に供給する。このとき、当該画像出力部２３により駆動される表示部７上には、現フレームの画像と共に後述するサブウインドウが表示され、オブジェクト画像は当該サブウインドウ上に表示される。
【０１２１】
次に、図１３のフローチャートを参照して、図１２に示す合成処理部２２で行われる合成処理について説明する。
【０１２２】
先ず最初に、オブジェクト書き込み部７２は、ステップＳ３１において、図１０の復号部５３から供給されたオブジェクト画像データを、オブジェクトフラグメモリ７５に記憶されたオブジェクトフラグに基づいて、上述したようにして書き込む。
【０１２３】
すなわち、オブジェクト書き込み部７２は、オブジェクトフラグメモリ７６に記憶されているオブジェクトフラグを参照し、当該オブジェクトフラグが”０”になっている画素に対応するオブジェクトメモリ７５のアドレスには、そこに供給されるオブジェクト画像データを書き込み、オブジェクトフラグが”１”になっている画素に対応するオブジェクトメモリ７５のアドレスには、そこに供給されるオブジェクト画像データが、空間解像度の高いものである場合にのみ、その空間解像度の高いオブジェクト画像データを書き込む。
【０１２４】
なお、オブジェクトメモリ７５の既にオブジェクト画像データが記憶されているアドレスに、オブジェクト画像データを書き込む場合には、その書き込みは、上書きする形で行われる。
【０１２５】
その後、ステップＳ３２に進み、オブジェクト書き込み部７２では、付加情報に、高解像度情報が含まれているかどうかが判定される。ステップＳ３２において、付加情報に、高解像度情報が含まれていると判定された場合、すなわち受信装置２のユーザが図４のクリックデータ入力部２４を操作することにより、送信装置１にクリックデータが送信され、これにより、前述したようにして送信装置１から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合、ステップ３３に進み、オブジェクト書き込み部７２において、オブジェクトフラグメモリ７６の所定のオブジェクトフラグが”１”にされる。
【０１２６】
すなわち、送信装置１から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合には、ステップＳ３１において、オブジェクトメモリ７５に、その空間解像度の高いオブジェクト画像データが書き込まれる。このため、ステップＳ３３では、その空間解像度の高いオブジェクト画像を構成する画素についてのオブジェクトフラグが”１”とされる。
【０１２７】
その後、ステップＳ３４に進み、合成部７７は、優先範囲内にあるオブジェクト画像データを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。
【０１２８】
すなわち、ステップＳ３２において、付加情報に高解像度情報が含まれていると判定される場合というのは、上述したようにユーザがクリックデータ入力部２４を操作することにより、送信装置１にクリックデータが送信され、これにより、上述したようにして送信装置１から優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合である。また、送信装置１に送信されるクリックデータは、合成部７７にも供給される。そこで、合成部７７は、クリックデータを受信すると、ステップＳ３４において、そのクリックデータに含まれる注目点の座標及びクリック時刻から、優先範囲を認識し、送信装置１から送信されてくる優先範囲内にある空間解像度の高いオブジェクトを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。
【０１２９】
そして、ステップＳ３５に進み、合成部７７は、背景メモリ７３に記憶された背景画像データの中から、現フレームの背景画像データを、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、現フレームに表示すべきオブジェクト画像データをオブジェクトメモリ７５から読み出し、さらに、現フレームの背景画像データと、オブジェクトメモリ７５から読み出したオブジェクト画像データとを、付加情報に含まれるオブジェクト動きベクトルに基づいて合成する。これにより、現フレームの画像を構成して、表示メモリ７８に書き込む。すなわち、合成部７７は、例えば表示メモリ７８に対して、背景画像データを書き込み、その後、オブジェクト画像データを上書きすることで、背景画像とオブジェクト画像を合成した現フレームの画像データを、表示メモリ７８に書き込む。
【０１３０】
以上のようにして、表示メモリ７８に書き込まれた現フレームの画像データ、及びサブウインドウメモリ７９に書き込まれたオブジェクト画像データは、図４の画像出力部２３に供給され、表示部７に表示されることになる。
【０１３１】
一方、ステップＳ３２において、付加情報に高解像度情報が含まれていないと判定された場合、すなわち受信装置２のユーザがクリックデータ入力部２４を操作していない場合は、ステップＳ３３及びＳ３４の処理がスキップされ、ステップＳ３５に進み、上述したように合成部７７において背景メモリ７３から現フレームの背景画像データが読み出されるともに、オブジェクトメモリ７５から必要なオブジェクト画像データが読み出され、現フレームの背景画像とオブジェクトメモリ７５から読み出したオブジェクト画像とが、付加情報にしたがって合成される。これにより、現フレームの画像データが構成され、表示メモリ７８に書き込まれる。そして、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０１３２】
以上のような合成処理によれば、受信装置２のユーザがクリックデータ入力部２４を操作していない場合、すなわちクリックデータ入力部２４にてクリックが行われていない場合には、図１４Ａに示すように、表示部７の表示画面上には空間解像度の低い画像がデフォルトの時間解像度で表示される。なお、図１４Ａにおいては、空間解像度の低い背景画像の上を、空間解像度の低いオブジェクト画像が、右方向に移動しているときの画像例を示している。
【０１３３】
そして、受信装置２のユーザが、クリックデータ入力部２４を操作して、カーソルをオブジェクト画像上に移動させ、その位置でクリックを行うと、上述したように、送信装置１にクリックデータが送信され、送信装置１では、そのクリックデータに基づいて特定した優先範囲の画像を、空間解像度の高い画像として表示するためのデータが、時間解像度を犠牲にして送信されてくる。その結果、図１４Ｂに示すように、表示部７の表示画面上には、時間解像度は低いが、クリックが行われている位置を中心とする優先範囲内にあるオブジェクト画像の空間解像度が徐々に向上していく画像が表示される。すなわち、表示される画像は、クリックが行われている時間に応じて、優先範囲内の画像の空間解像度が徐々に向上していく。
【０１３４】
さらに、この場合、表示部７上には、図１４Ｂに示すように、サブウインドウがオープンされ、そのサブウインドウにクリックが行われている位置を含んで抽出された優先範囲内にあるオブジェクトの空間解像度が徐々に向上するような表示がなされる。
【０１３５】
その後、受信装置２のユーザが、クリックデータ入力部２４によるクリックを停止すると、合成部７７は、上述したようにステップＳ３５において背景メモリ７３から現フレームの背景画像データを読み出すともに、オブジェクトメモリ７５からオブジェクト画像データを読み出し、現フレームの背景画像データとオブジェクト画像データとを、付加情報にしたがって合成し、表示メモリ７８に書き込む。上述したように、クリックされることにより空間解像度が高くなったオブジェクト画像データは、そのままオブジェクトメモリ７５に記憶され続けるので、表示部７においては、図１４Ｃに示すように、クリックされることにより空間解像度が高くなったオブジェクト画像が、付加情報の動きベクトルに基づいて移動し、現フレーム上で表示されるべき位置に表示される。
【０１３６】
したがって、受信装置２のユーザは、詳細を見たいオブジェクト画像が表示されている位置でクリックを行うことにより、空間解像度が高くなったオブジェクト画像を見ることが可能となる。すなわち、オブジェクトの詳細な画像を見ることが可能となる。
【０１３７】
なお、背景画像データは、上述したように背景メモリ７３に記憶されるので、送信装置１においては一度送信した空間解像度の低い背景を送信する必要はなく、従って、その分の伝送レートを、より空間解像度の高いオブジェクト画像データの送信に優先的に割り当てることが可能である。
【０１３８】
また、上述の場合においては、クリックされることにより空間解像度が高くなったオブジェクト画像データを、オブジェクトメモリ７５に記憶しておき、クリックが停止された後は、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたため、受信装置２において表示されるオブジェクト画像は、空間解像度の高いものとなるが、このときのオブジェクト画像には、送信装置１で撮影されたオブジェクト画像の状態の変化は反映されないことになる。
【０１３９】
そこで、クリックが停止された後は、オブジェクトフラグを無視し、図１１に示す復号部５３の記憶部６２Ｆに記憶されたオブジェクト画像データを、オブジェクトメモリ７５に記憶された高い空間解像度であるオブジェクト画像データに対して上書きすることが可能である。すなわち、復号部５３の記憶部６２Ｆには、送信装置１から送信されてくるオブジェクト画像データが順次記憶されるから、そのオブジェクト画像データを、オブジェクトメモリ７５に書き込むことで、上述したようにして表示部７に表示される画像のうちのオブジェクト画像は、送信装置１で撮影されたオブジェクトの状態の変化が反映されたものとなる。但し、表示されるオブジェクト画像は、空間解像度の低いものとなる。
【０１４０】
次に、図１５を参照して、送信装置１から、伝送路を介して、受信装置２に送信される画像の空間解像度と時間解像度との関係について説明する。
【０１４１】
なお、伝送路の伝送レートはＲ［ｂｐｓ］とし、さらに、ここでは、背景画像と３つのオブジェクト画像＃１乃至＃３からなるデータを送信するとする。また、ここでは、説明を簡単にするために、付加情報は考えないこととし、さらに、背景画像、オブジェクト画像＃１乃至＃３それぞれを、ある空間解像度で表示するためには、同一のデータ量のデータが必要であるとする。
【０１４２】
この場合、送信装置１では、受信装置２でクリックが行われていない場合、図１５Ａに示すように、背景画像、オブジェクト画像＃１乃至＃３それぞれが、伝送レートＲを４等分したレートＲ／４［ｂｐｓ］で送信される。なお、通常の時間解像度が１／Ｔフレーム／秒であるとすると、送信装置１は、背景画像、オブジェクト画像＃１乃至＃３それぞれの１フレーム分のデータの送信を、長くてもＴ秒で完了することができるように行う。したがって、この場合、受信装置２では、１フレーム当たりＴ×Ｒ／４ビットのデータで得られる空間解像度の背景画像、オブジェクト画像＃１乃至＃３がそれぞれ表示される。
【０１４３】
そして、ある時刻ｔ１において、例えばオブジェクト画像＃１の位置で、ユーザがクリックを行うと、送信装置１は、例えば図１５Ａに示すように、背景画像並びにオブジェクト画像＃２及び＃３のデータ送信を例えば停止し、オブジェクト画像＃１のみを、伝送路の伝送レートＲすべてを用いて送信する。その後、時刻ｔ１から時間４Ｔだけ経過した時刻ｔ２において、ユーザがクリックを停止したとすると、送信装置１は、再び、背景画像、オブジェクト画像＃１乃至＃３それぞれを、伝送レートＲ／４で送信する。
【０１４４】
したがって、クリックが行われている間においては、オブジェクト画像＃１については、４Ｔ×Ｒビットのデータが送信されるので、クリックが行われている間の時間解像度を０フレーム／秒とすると、受信装置２では、１フレーム当たり４Ｔ×Ｒビットのデータで得られる空間解像度のオブジェクト画像＃１が表示される。すなわち、水平方向及び垂直方向の空間解像度を同じだけ向上させた場合、受信装置２では、時間解像度は０フレーム／秒になるが、ユーザがクリックしたオブジェクト画像＃１については、水平方向及び垂直方向の両方の空間解像度が、クリックが行われる前の４倍（＝√（４Ｔ×Ｒ／（Ｔ×Ｒ／４ビット）））となったものが表示されることになる。
【０１４５】
このように、時間解像度を犠牲にすることにより、空間解像度をより向上させることができ、更に時間解像度を犠牲にしない場合に比較して、ユーザが注目しているオブジェクト画像の空間解像度を、より迅速に向上させることができる。
【０１４６】
なお、図１５Ａに示す例では、オブジェクト画像＃１のクリックが行われている間、背景画像並びに他のオブジェクト画像＃２及び＃３のデータの伝送レートを０フレーム／秒としてそれらを完全に送信しないようにしたが、例えば図１５Ｂに示すように、オブジェクト＃１のデータの送信には高い伝送レートを割り当て、背景画像並びに他のオブジェクト画像＃２及び＃３のデータの送信には、低い伝送レートを割り当てるようにすることも可能である。
【０１４７】
また、クリックが行われても、背景画像、オブジェクト画像＃１乃至＃３それぞれの送信に割り当てる伝送レートは、Ｒ／４のまま変えないことも可能である。すなわち、この場合は、時間解像度を犠牲にして、空間解像度を向上させるため、伝送レートの割り当てを変えなくても、時間は要するようになるが、空間解像度を向上させることができる。
【０１４８】
上述したように、クリックされることにより空間解像度が高くなったオブジェクト画像を、オブジェクトメモリ７５に記憶しておき、クリックが停止された後に、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたが、この空間解像度の高いオブジェクト画像を、背景画像のどの位置に貼り付けるかは、その後に送信装置１から送信されてくる、そのオブジェクトについての付加情報に含まれるオブジェクト動きベクトルに基づいて決定される。
【０１４９】
したがって、受信装置２は、あるフレームのオブジェクト画像が、そのフレームに隣接するフレームのどのオブジェクト画像に対応するのかということを認識する必要があり、送信装置１のオブジェクト抽出部１４は、オブジェクトの抽出にあたり、受信装置２が、そのような認識を行うための情報を付加するようにもなっている。
【０１５０】
次に、送信装置１の前処理部１２において、受信装置２から供給されたクリックデータ、すなわちユーザの指示データに基づく興味対象領域であるオブジェクト画像の抽出及び受信装置２のユーザの興味の変化の検出を実現可能とする。
【０１５１】
ここで、第１の実施例及びその動作について説明する。なお、本実施例では、ユーザの指示データに基づく興味対象領域の抽出とその変化の検出を、図１のシステムの送信装置１側で行う場合を例に挙げる。
【０１５２】
図２に示す前処理部１２のオブジェクト抽出部１４において、受信装置２から送信されてきたクリックデータに基づいて、撮影画像中から受信装置２のユーザが注目しているオブジェクト画像（興味対象領域）を抽出する本発明が適用された画像処理装置の第１の実施例を図１６に示す。
【０１５３】
図１６に示す画像処理装置は、例えば受信装置２のユーザが画像を見ながら指示（クリック）することにより得られた指示データ（クリックデータ）を受け取り、そのクリックデータに基づいて画像からオブジェクトを抽出する。
【０１５４】
上述のようにユーザのクリックデータに基づいてオブジェクト抽出を行う際に、その入力がなされた時点のクリックデータだけでなく、各時点でのクリックデータを蓄積し、その蓄積したクリックデータと現時点でのクリックデータを用いることにより、受信装置２のユーザからの要求の予測をも可能としている。ここで、クリックデータとは、クリックの位置情報と、クリックの時刻情報を含むものである。
【０１５５】
但し、単純にクリックデータを蓄積して行くだけでは、その蓄積されたクリックデータが平均化されてしまい、徐々に有意な情報が得られなくなる。したがって、ユーザからの要求予測を正確に行うためには、上記蓄積されたクリックデータの中から、現在の段階で必要なクリックデータ、すなわち、有意なクリックデータのみを抽出することが必要になる。
【０１５６】
そこで、蓄積されたクリックデータの中から有意なクリックデータのみを抽出するために、オブジェクトの複数の特徴量を比較し、その比較に基づいて有意なクリックデータを抽出すること、すなわち、蓄積された各クリックデータの優位性を判断し、その優位性に応じたクリックデータを用いてオブジェクトの抽出を行うようにしている。言い換えれば、ユーザによるクリックデータに基づいて作成されるオブジェクト画像を、オブジェクト画像データの特徴量に基づいて、より適切なオブジェクトに統合或いは分割して再構築すること、つまり、オブジェクト画像データの所定の特徴量に基づいてクリックデータの優位性を判断し、その優位性に応じたクリックデータに対応するようにオブジェクト画像の統合或いは分割による再構成を行うようにしている。但し、特徴量の比較方法はユーザのクリックデータをどのように用いるかによって異なる。
【０１５７】
すなわち、オブジェクト画像の再構築の際には、例えば、上述のクリックデータに対応する小オブジェクトの連結を間違えるおそれや、また誤った小オブジェクトへの分割を行ってしまうおそれがあるが、本実施例の画像処理アルゴリズムでは、オブジェクト画像データの複数の特徴量のうち所定の特徴量に基づいて、各単位時間毎に小オブジェクト画像データの連結、分割の妥当性を検証することにより、それら連結と分割を適正に行いオブジェクト画像データを生成し、オブジェクト画像を得るようにしている。
【０１５８】
本実施例の画像処理装置は、このように各小オブジェクト画像データの所定の特徴量を用いて再構築されたオブジェクト画像データ単位での処理を行うことで、より適切なオブジェクト画像の抽出を行い得るようになっている。
【０１５９】
ここで、小オブジェクト画像データ毎の所定の特徴量の一例として、小オブジェクトオブジェクト画像データに対応する動きを例に挙げている。すなわち、上述のような小オブジェクト画像データの連結や分割の際に問題となるのは、いわゆるトラッキングの場合であり、トラッキングを行いながらオブジェクト画像の張り付けを行う場合、一体と考えられる複数の小オブジェクト画像は、同一の動きをするはずである。したがって、例えば２つの小オブジェクト画像が同一の動きをしているならば、その２つの小オブジェクト画像を同一のものとして扱ってよく、それら２つの小オブジェクト画像を連結してもよい。一方、それら２つの小オブジェクト画像の動きが異なる場合には、それら２つの小オブジェクト画像を同一のオブジェクト画像として処理を行うと矛盾を生じるため、それら２つの小オブジェクト画像は分離すべきである。
【０１６０】
このようなことから、同一の動き、言うなれば剛体動きを行っている小オブジェクト画像同士を同一のオブジェクト画像として連結処理し、一方、異なる動きを行っている小オブジェクト画像については分離することで、矛盾のない連結、分割処理を実現し、オブジェクト画像データの最適な利用を可能にしている。
【０１６１】
以上のように、受信装置２のユーザからのクリックデータを用いてオブジェクト画像を抽出する共に、オブジェクト画像の所定の特徴量、ここでは動きに応じたオブジェクトの連結、分割による再構成を行うことにで、より適切なオブジェクト画像の抽出を行い得るようになっている。
【０１６２】
さらに、受信装置２のユーザによる指示データの時間間隔であるクリック時間間隔に基づいて、ユーザの興味の変化をも検出可能としている。
【０１６３】
すなわち、ユーザが画像を見る場合には、ある程度意味を持った領域単位で見るということが解析により判っている。また、本実施例のシステムにおいて、ユーザがその興味を持った画像領域の高画質化を望む場合、ユーザはその興味のある画像領域をクリックすることになる。ここで、正しくオブジェクト画像の抽出がなされた場合には、非常に効果的に高画質な画像の提示が可能になるが、間違った抽出がなされた場合には破綻を生じ、むしろ逆効果になる。特に、ユーザの興味の対象が変化したような場合には、高画質化するオブジェクト画像を、当該変化以前のオブジェクト画像から、その新たな興味の対象となされたオブジェクト画像へ変更することになる。したがって、ユーザの興味の対象が変化したときには、そのユーザの興味の変化をどのようにして検知するかが問題となる。
【０１６４】
そこで、本実施例では、ユーザが一つの興味ある領域を連続的に指示している場合の指示に要する時間と比べて、他の領域へ興味が遷移する場合の指示に要する時間が長くなることを利用し、受信装置２のユーザからの指示であるクリックデータの時間間隔を計測することにより、ユーザの興味の変化を検出可能としている。
【０１６５】
以下、上述したことを実現する図１６に示すオブジェクト抽出部について説明する。
図１６において、画像入力部１１は、図２に示す画像入力部１１に対応し、例えばビデオカメラやビデオ入力端子等からなり、所定時間毎に画像データを取得して特徴量抽出部９１と抽出部８３、プロセッサ９２に送る。
【０１６６】
指示取得部８５は、受信装置２のユーザによるクリックデータを取得し、そのユーザからのクリックデータと当該ユーザによる入力イベントの発生を示す信号であるクリック入力が行われたことを示す信号とを、プロセッサ９２に送る。また、指示取得部８５からのクリックデータは、データ蓄積部９３を介して経過時間計算部８６に送られると共に、データ蓄積部９３に蓄積される。
【０１６７】
経過時間計算部８６では、指示取得部８５から供給された現在のクリックデータと、データ蓄積部９３に蓄積されている過去のクリックデータとを比較し、それらの時間間隔を算出する。すなわち、経過時間計算部８６では、各クリックデータに含まれるクリックの時刻情報より受信装置２のユーザによる指示であるクリックの時間間隔を算出する。経過時間計算部８６により求められた時間間隔データは、プロセッサ９２に送られる。
【０１６８】
プロセッサ９２は、各部の全ての処理を統括制御する。
【０１６９】
ここで、プロセッサ９２は、指示取得部８５からクリック入力イベントが供給されると、その入力イベントと共に供給されるクリックデータに対応した小オブジェクト画像を決定すると共に、上記経過時間計算部８６からの時間間隔データとデータ蓄積部９３から読み出した過去のクリックデータを元に、受信装置２のユーザの興味対象となっているオブジェクト画像が変化したかを判断する。
【０１７０】
このとき、例えば時間間隔データが所定の閾値を超えず、ユーザの興味の対象となっているオブジェクト画像が変化していないと判断した場合、プロセッサ９２は、前記オブジェクト決定に際し、データ蓄積部９３に蓄積されている過去のクリックデータを十分用いてオブジェクト画像の決定を行う。すなわち、指示取得部８５から供給された現在のクリックデータにより決定した小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像である小オブジェクト画像あるいは小オブジェクト画像の集合であるオブジェクト画像とを同一のオブジェクト画像として連結する。すなわち、プロセッサ９２は、データ蓄積部９３に、現在のクリックデータの位置情報及び時刻情報と共に、その現在のクリックデータに対応する小オブジェクト画像が、過去のクリックデータと同一のオブジェクト画像に属するとして、過去のクリックデータに対応して付される識別子情報と同一の識別子情報を現在のクリックデータに対応させて蓄積する。
【０１７１】
一方、例えば時間間隔データが所定の閾値を超えて、受信装置２のユーザの興味の対象となっているオブジェクト画像が変化したと判断した場合、プロセッサ９２は、オブジェクト画像の決定に際し、データ蓄積部９３に蓄積されている過去のクリックデータを用いずに、新たに入力されたクリックデータを用いたオブジェクト画像の決定を行う。すなわち、指示取得部８５から供給された現在のクリックデータにより決定した小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像、すなわち、小オブジェクト画像或いは小オブジェクト画像の集合であるオブジェクト画像とは異なるオブジェクトであるとして連結しないようにする。すなわち、プロセッサ９２は、データ蓄積部９３に現在のクリックデータの位置情報及び時刻情報と共に、その現在のクリックデータに対応する小オブジェクト画像が、過去のクリックデータとは異なるオブジェクト画像に属するとして、過去のクリックデータに対応して付される識別子情報とは異なる識別子情報を現在のクリックデータに対応させて蓄積する。
【０１７２】
プロセッサ９２は、オブジェクト画像の連結、非連結を表す連結情報、非連結情報をデータ蓄積部９３に蓄積させる。これが、上述の識別子情報に対応する。
【０１７３】
また、プロセッサ９２は、指示取得部８５からクリック入力イベントが供給されると、オブジェクト画像の決定と共に、そのオブジェクト画像データの所定の特徴量（動き）を抽出するための特徴量抽出要求信号と、その時点でのクリックデータに対応した所定のパラメータ、例えばオブジェクトを表す位置データなどを特徴量抽出部９１に対して送る。
【０１７４】
特徴量抽出部９１は、プロセッサ９２から特徴量抽出要求信号が供給されると、それと同時に送られてくるパラメータであるオブジェクト画像に対応するオブジェクトの動きを計算するための位置のデータなどに応じて、画像データから各小オブジェクト画像データの所定の特徴量である動きを抽出し、その抽出したオブジェクトの特徴量データをプロセッサ９２に送る。また、プロセッサ９２は、各小オブジェクト画像データについての特徴量データを、その小オブジェクト画像データに対応させてデータ蓄積部９３に蓄積させる。すなわち、データ蓄積部９３は、小オブジェクト画像データに対応するクリックデータに対応させて特徴量データを蓄積する。
【０１７５】
一方、指示取得部８５からクリック入力イベントがない場合、プロセッサ９２は、特徴量抽出部９１に対して、ある時間毎に、各小オブジェクト画像データについて特徴量の抽出を要求する特徴量抽出要求信号と、それら各小オブジェクト画像データ特徴量抽出のためのパラメータを送信する。これにより、特徴量抽出部９１では、それらの時間毎の各小オブジェクト画像データが、画像データより抽出され、それらの各時間毎に抽出された各小オブジェクト画像データの特徴量データがプロセッサ９２に供給されることになる。これら各小オブジェクト画像データについての特徴量データは、その小オブジェクト画像データに対応させてデータ蓄積部９３に蓄積される。すなわち、データ蓄積部９３は、小オブジェクト画像データに対応するクリックデータに対応させて特徴料データを蓄積する。
【０１７６】
なお、上述のように、特徴量抽出部９１では、クリック入力イベントの有無に応じて異なる特徴量を計算することになるが、この部分における処理は同一（同じ特徴量を求めるもの）であってもよい。また。データ蓄積部９３は、外部プロセッサ９４からの要求に応じて、蓄積しているデータを送信することも可能となされている。
【０１７７】
さらに、プロセッサ９２は、指示取得部８５からクリック入力イベントがない場合、各時点において取得した各小オブジェクト画像データの特徴量データと、既に蓄積している各小オブジェクト画像データの特徴量データとを用いて、現時点における特徴量データの特性が過去のものから変化していないか検証、すなわち、現時点での妥当性の判断をし、その検証結果に応じて、各小オブジェクト画像を連結すべきか或いは分離すべきかを判断すると共に、データの特性が変化している場合にはデータ蓄積部９３に蓄積されている各小オブジェクト画像の連結・分離に関する情報、すなわち連結情報又は非連結情報の更新或いは消去を行う。
【０１７８】
すなわち、プロセッサ９２は、指示取得部８５からクリック入力イベントがない場合に、各時間毎に抽出された各小オブジェクト画像データの特徴量データと既に蓄積されている各小オブジェクト画像データの特徴量データとを比較し、その比較結果に基づいて、複数の小オブジェクト画像を連結すべきか或いは分離すべきかの判断を行う。
【０１７９】
具体的に説明すると、例えば２つの小オブジェクト画像の動き（特徴量）がそれぞれ同一である場合、それら２つの小オブジェクト画像を連結すべきと判断し、一方、２つの小オブジェクト画像の動きがそれぞれ異なる場合、それら２つの小オブジェクト画像は連結せずに個々のオブジェクト画像とすべきと判断する。
【０１８０】
ここで、２つの小オブジェクト画像について連結すべきと判断した場合、プロセッサ９２は、それら２つの小オブジェクト画像を連結することを表す連結情報を蓄積データの一つとして、データ蓄積部９３に蓄積させる。既に２つのオブジェクトが連結されているときには、その連結情報をそのまま維持する。この連結情報は、上述の識別子情報である。
【０１８１】
また、個々に別個のオブジェクト画像であると判断されている小オブジェクト画像については、それら２つの小オブジェクト画像が個別のオブジェクト画像である旨の非連結情報を蓄積データの一つとして、データ蓄積部９３に蓄積させる。なお、それら２つの小オブジェクト画像が既に非連結オブジェクトであるとされているときには、その情報をそのまま維持する。
【０１８２】
一方、当初は同一小オブジェクト画像であると判断されて連結することになされた２つの小オブジェクト画像が、その後、異なる動きをするようになった場合、プロセッサ９２は、それら２つの小オブジェクト画像を分離すべきと判断する。このように、当初は同一のオブジェクト画像であったものを２つに分離すべきと判断した場合、プロセッサ９２は、それら２つの小オブジェクト画像を連結するとした連結情報をデータ蓄積部９３から消去し、各小オブジェクト画像を個別のオブジェクト画像とする旨の非連結情報に更新する。
【０１８３】
以上のように、プロセッサ９２は、指示取得部８５からのクリックデータとデータ蓄積部９３に蓄積された過去のクリックデータ、経過時間計算部８６からのクリックの時間間隔データに基づいてオブジェクトの決定とその連結、非連結を決定すると共に、各オブジェクト画像の特徴量（動き）に基づいてそれらオブジェクトの連結・分離をも判断する。
【０１８４】
プロセッサ９２は、上述のようにして決定されたオブジェクトを画像データから抽出するための制御信号を、抽出部８３に送信する。すなわち、プロセッサ９２には、画像入力部１１からの画像データが入力されており、画像データからオブジェクトの位置や形状を求め、それらオブジェクトの位置や形状を表す信号を制御信号として抽出部８３に送る。
【０１８５】
抽出部８３には、画像入力部１１からの画像データが入力されており、プロセッサ９２からのオブジェクトの位置や形状を表す信号に基づいて、画像データからオブジェクト画像を抽出する。この抽出されたオブジェクト画像データは、図２に示す前処理部１２のオブジェクト抽出部１４の出力となる。
【０１８６】
次に、図１６に示したオブジェクト抽出部の全体の処理の流れを図１７を参照して説明する。
【０１８７】
図１７において、指示取得部８５では、ステップＳ４１において、受信装置２のユーザから指示イベント、すなわちクリック入力イベントが送信されてきたか否か検出しており、イベント入力がなされた場合、その旨の信号をプロセッサ９２に送る。プロセッサ９２は、指示取得部８５からクリック入力イベントが供給されたか否かを見ることで、受信装置２のユーザによる指示イベントであるクリック入力イベントがなされたか否かの判断を行っている。このステップＳ４１の処理において、イベントの入力が有ったと判断した場合はステップＳ４２の処理に進み、無いと判断した場合はステップＳ４７の処理に進む。
【０１８８】
ステップＳ４２の処理に進むと、プロセッサ９２では、経過時間計算部８６からの時間間隔データとデータ蓄積部９３からの過去のクリックデータとを用いて、受信装置２のユーザが同一オブジェクトを指示しているか否か判定する。すなわち、プロセッサ９２は、時間間隔データが所定の閾値を超えたとき、受信装置２のユーザの興味対象のオブジェクト画像が変化し、ユーザは別のオブジェクト画像をクリックしたと判定してステップＳ４４の処理に進み、一方、時間間隔データが所定の閾値を超えていないとき、すなわち閾値以内のとき、受信装置２のユーザの興味対象のオブジェクト画像は変化しておらず、ユーザは同一のオブジェクト画像をクリックしていると判定してステップＳ４３の処理に進む。
【０１８９】
ステップＳ４３の処理に進むと、プロセッサ９２は、オブジェクト画像の決定に際し、データ蓄積部９３に蓄積されている過去のクリックデータを十分用いてオブジェクトの決定を行うこと、すなわち、指示取得部８５から供給された現在のクリックデータに対応する小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像とを同一のオブジェクト画像として連結する。
【０１９０】
一方、ステップＳ４４の処理に進むと、プロセッサ９２は、オブジェクト画像の決定に際し、データ蓄積部９３に蓄積されている過去のクリックデータを用いずに、新たに入力されたクリックデータを用いてオブジェクト画像の決定を行う。すなわち、指示取得部８５から供給された現在のクリックデータに対応する小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像とは異なるオブジェクトであるとして、連結しないようにする。
【０１９１】
これらステップＳ４３、ステップＳ４４の処理後、データ蓄積部９３には、プロセッサ９２の制御の元で、それら小オブジェクト画像毎のクリックデータと各小オブジェクト画像毎の連結情報、非連結情報の蓄積がなされる。
【０１９２】
また、ステップＳ４１において、受信装置２のユーザから指示イベントの入力が無いと判断されてステップＳ４７の処理に進むと、プロセッサ９２は、特徴量抽出部９１に対して、ある時間毎に各小オブジェクト画像データについて特徴量を抽出させると共に、データ蓄積部９３に蓄積されている各小オブジェクト画像データの特徴量データを用いて、それらの特徴量データの特性が変化していないか検証し、その検証結果に応じて、各小オブジェクト画像を連結すべきか或いは分離すべきかを判断する。
【０１９３】
次のステップＳ４８に進むと、プロセッサ９２は、ステップＳ４７にてデータの特性が変化しているとされた各小オブジェクト画像について、データ蓄積部９３に蓄積されているそれら各小オブジェクト画像の連結・分離に関する情報の更新或いは消去等の最適化処理を行う。
【０１９４】
すなわち、２つの小オブジェクト画像の特徴量（動き）がそれぞれ同一である場合、プロセッサ９２は、それら２つの小オブジェクト画像を連結するための連結情報を蓄積データの一つとしてデータ蓄積部９３に蓄積させる。なお、既に２つの小オブジェクト画像が連結されているときには、その連結情報をそのまま維持する。一方、当初は同一のオブジェクト画像となされた２つの小オブジェクト画像が異なる動きをするようになった場合、プロセッサ９２は、同一のオブジェクト画像であったものを２つに分離し、それら各小オブジェクト画像の連結情報をデータ蓄積部９３から消去すると共に非連結情報への更新を行う。
【０１９５】
ステップＳ４８とステップＳ４５の処理後、プロセッサ９２は、オブジェクトの位置や形状を表す信号を抽出部８３に送った後、ステップＳ４６として終了判定を行い、終了しないときはステップＳ４１の処理に戻る。
【０１９６】
次に、図１７のステップＳ４２の処理の詳細な流れを図１８を参照して説明する。
図１８において、図１７のステップＳ４２の処理に進むと、指示取得部８５は、現在のクリックデータを取得し、そのクリックデータをデータ蓄積部９３を介して経過時間計算部８６に送る。この時、経過時間計算部８６は、ステップＳ５２として、データ蓄積部９３から過去のクリックデータを取得する。このとき、クリックデータには、クリックされた画像の位置を示す位置情報及びクリックの時刻を示す時刻情報が含まれるとする。更に、ステップＳ５３として、指示取得部８５からの現在のクリックデータの時刻情報とデータ蓄積部９３からの過去のクリックデータの時刻情報とからクリック時間間隔を計算する。この時間間隔データはプロセッサ９２に送られる。
【０１９７】
プロセッサ９２は、ステップＳ５４として、経過時間計算部８６からの時間間隔データより、その時間間隔は閾値以下か否か判定する。ここで、閾値以下であるとき、プロセッサ９２は、ステップ４３に対応するステップＳ５５の処理として、受信装置２のユーザの興味対象は変化せずに興味が持続しているとし、現在のクリックデータに対応する小オブジェクト画像に対する連結情報を生成する。すなわち、複数の小オブジェクト画像に各々付されている識別子情報（連結情報）は、それらの複数の小オブジェクト画像が同一のオブジェクト画像か否かを示す。よって、興味が持続していると判断された場合の小オブジェクト画像には過去にクリックされた小オブジェクト画像に対する識別子番号と同一の識別子番号が付されている小オブジェクト画像（クリックデータ）の位置情報、時刻情報がデータ蓄積部９３に蓄積される。一方、閾値を超えたとき、プロセッサ９２は、ステップ４４に対応するステップＳ５６として、受信装置２のユーザの興味対象が変化したとし、過去にクリックされた小オブジェクト画像に対する識別子番号とは異なる識別子番号が付されて小オブジェクト画像（クリックデータ）の位置情報、時刻情報がデータ蓄積部９３に蓄積される。
【０１９８】
次に、図１７のステップＳ４７、Ｓ４８の処理の詳細な流れを図１９を参照して説明する。
【０１９９】
この図１９において、図１７のステップＳ４７の処理に進むと、プロセッサ９２は、先ず、ステップＳ６１として、データ蓄積部９３に蓄積されているオブジェクトの連結に関する情報を取得する。すなわち、データ蓄積部９３では、複数の小オブジェクト画像に対して同一の識別子番号などが付されることにより、これら複数の小オブジェクト画像が同一オブジェクト画像であることを示すように構成されている。
【０２００】
ステップＳ６２の処理に進むと、特徴量抽出部９１では、プロセッサ９２の制御の元で、小オブジェクト画像（要素）毎に特徴量（動き）を求め、その特徴量データをプロセッサ９２に送る。
【０２０１】
特徴量データを受け取ると、プロセッサ９２は、ステップＳ６３として、小オブジェクト画像がそれぞれ同一の特徴量、すなわち、ある範囲内に入っている動きを持つか否か判定し、同一の特徴量を持つと判定した場合はそれら２つの小オブジェクト画像の連結情報を蓄積し、既に連結されているときはそれを維持する。すなわち、各小オブジェクト画像（クリックデータ）に付されている識別子番号を変更しない。この処理が、ステップ４８に対応する。
【０２０２】
一方、ステップＳ６３にて、異なる特徴量を持つと判定した場合はステップＳ６４の処理に進む。ステップＳ６４に進むと、プロセッサ９２は、それら小オブジェクト画像は異なるとして、小オブジェクト画像の分割を行う。例えば、当初は同一のオブジェクト画像となされた２つのオブジェクトが異なる動きをするようになった場合、プロセッサ９２は、ステップＳ６４において、当該同一のオブジェクト画像であったものを２つに分離し、その後、プロセッサ９２では、ステップＳ４８において、それら各小オブジェクト画像の連結情報をデータ蓄積部９３から消去すると共に非連結情報への更新を行う。すなわち、別の特徴量と判断された小オブジェクト画像（クリックデータ）に対しての新たな識別子番号を付す。この処理がステップ４８に対応する。
【０２０３】
図１６の構成では、図１７の処理に代えて、図２０に示すような流れの処理を行うことも可能である。なお、この図２０において、図１７の同一の処理ステップには同じ指示符号を付して、それらの説明は省略する。以下、図１７の処理とは異なる部分のみ説明する。
【０２０４】
この図２０において、ステップＳ４１にて指示イベントの入力が有りと判定されると、ステップＳ７１の処理に進む。
【０２０５】
ステップＳ７１の処理に進むと、プロセッサ９２では、受信装置２から送られてきているクリックデータに対応する小オブジェクト画像に動きがあるか、或いは静止しているかの静動判定を行い、また、そのクリックデータが連続的なクリックであるか否かの連続クリック判定を行う。より具体的に説明すると、小オブジェクト画像のフレーム間差分値が所定の閾値以下であるときは小オブジェクト画像内のオブジェクトは静止と判定し、所定の閾値以上であるときには動きと判定し、さらにクリックの時間間隔が所定時間以内であるとき連続クリックであると判定する。このステップＳ７１の静動判定及び連続クリック判定において、過去のクリックデータに対応する小オブジェクト画像が静止オブジェクト画像で、現在のクリックデータが連続クリックであり且つ静止オブジェクトであると判定された場合には、ステップＳ７３に進み、それら静止オブジェクトが同一のオブジェクトであるとして、現在の小オブジェクト画像に対応する識別子情報を過去のオブジェクト画像に対応する識別子情報と同一にすることにより連結する。また、ステップＳ７１において、過去のクリックデータに対応する小オブジェクト画像が動きオブジェクトで、現在のクリックデータが連続クリックであり且つ動きオブジェクトであると判定された場合には、ステップＳ７２に進み、それら動きオブジェクトが同一のオブジェクトであるとして、現在の小オブジェクト画像に対応する識別子情報と同一にすることにより連結する。一方、ステップＳ７１において現在のクリックデータが不連続クリックであると判定された場合、或いは過去のクリックデータに対応する小オブジェクト画像の静動判定が異なる場合には、ステップＳ４４に進み、それらオブジェクトは異なるオブジェクトとして、現在の小オブジェクト画像に対応する識別子情報を過去のオブジェクト画像に対応する識別子情報とは異ならせることにより非連結処理する。これらステップＳ７２、Ｓ７３、Ｓ４４の後は、ステップＳ４５の処理に進む。
【０２０６】
以上のように、ユーザが注目している興味対象領域（オブジェクト）を正確に特定する、すなわち、連結すべきものは連結し、分割すべきものは分割できるだけでなく、ユーザの興味の対象となる画像領域が変化した場合でも、その変化を検出可能となる。
【０２０７】
なお、上述の説明では、図１に示す通信システムに図１６に示す構成を適用した例を挙げたが、オブジェクトの抽出や興味対象の変化検出の処理は、図１に示すシステムに限らず、画像中から興味対象領域を抽出したりその変化を検出したりする様々な用途に適用可能であることは言うまでもない。例えば、図１６の構成は単独でも構成可能であり、入力画像から所定の領域、例えばユーザの興味対象領域を抽出、連結、分離等を行うもの、及び、そのユーザの興味対象領域の変化検出を行うもの全てに適用可能である。また、特徴量も、動きに限らず、例えば画像の輝度のヒストグラム、標準偏差、変形、色などを用いることができる。
【０２０８】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送信装置１や受信装置２に組み込まれているコンピュータや、汎用のコンピュータ等にインストールされる。
【０２０９】
上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる、そのプログラムが記録されている記録媒体について説明する。
【０２１０】
上述した処理を実行するプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスクや半導体メモリに予め記録しておくことができる。また、当該プログラムは、フロッピィディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＭＯ（Magneto optical）ディスク、ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリなどの記録媒体に、一時的あるいは永続的に格納しておくことができる。
【０２１１】
なお、このプログラムは、上述したような記録媒体からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送し、当該コンピュータにおいて、内蔵するハードディスクなどにインストールするようにすることができる。
【０２１２】
また、本発明において、各種の処理を行うためのプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理、例えば、並列処理あるいはオブジェクトによる処理も含むものである。
【０２１３】
上述した一連の処理を実行するプログラムを実行するコンピュータとして、図２１に示すように構成したものを用いることができる。
【０２１４】
図２１に示すコンピュータは、ＣＰＵ（Central Processing Unit）１４２を内蔵している。ＣＰＵ１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、ＣＰＵ１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、半導体メモリに対応するＲＯＭ（Read Only Memory）１４３に格納されているプログラムを実行する。また、ＣＰＵ１４２は、ハードディスク１０２に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１４８で受信されてハードディスク１０２にインストールされたプログラム、又はドライブ１４９に装着されたフロッピディスク、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤ、若しくは磁気ディスクから読み出されてハードディスク１０２にインストールされたプログラムを、ＲＡＭ（Random Access Memory）１４４にロードして実行する。そして、ＣＰＵ１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、ＬＣＤ（Liquid CryStal Display）等で構成される表示部１４６に、必要に応じて出力する。
【０２１５】
なお、本発明において、送信装置１において階層符号化を行い、どの階層のデータまでを送信するかによって、受信装置２で表示される画像の時間解像度及び空間解像度を変えるようにしたが、受信装置２で表示される画像の時間解像度及び空間解像度の変更は、その他、例えば、送信装置１において、画像を離散コサイン変換するようにして、どの次数までの係数を送信するかや、あるいは、量子化を行うようにして、その量子化ステップを変更すること等によって行うことも可能である。
【０２１６】
また、時間解像度及び空間解像度の変更は、送信装置１における画像の符号化方式を変更することによって行うことも可能である。すなわち、通常の時間解像度で画像の表示を行う場合には、例えば、オブジェクト画像（興味対象領域）については、送信装置１において、その輪郭をチェイン符号化するとともに、オブジェクト画像を構成する画素値（色）の平均値を、その代表値として求め、それらをハフマン符号化等のエントロピー符号化し、受信装置２では、オブジェクト画像の領域内を、その代表値としての色で塗ったものを表示するようにし、空間解像度を向上させた画像の表示を行う場合には、上述したように階層符号化を用いるようにすることが可能である。
さらに、上述した実施例では、画像の空間解像度を向上させるようにしたが、その逆に、時間解像度を向上させるようにすることも可能である。
【０２１７】
また、上述した実施例では、画像の一部の領域としての優先範囲内の空間解像度を向上させるようにしたが、画像全体の空間解像度を向上させるようにすることも可能である。
【０２１８】
さらに、上述した実施例では、画像を、背景とオブジェクトとに分離して処理を行うようにしたが、そのような分離を行わずに処理を行うことも可能である。
【０２１９】
その他、本発明は、画像データだけでなく、音声データにも適用可能である。例えば、音声信号に含まれるある基本周波数により、音声の特徴量、例えば、ピッチ、人の声の所望の部分、音楽における各楽器などを抽出するような場合にも適用可能である。
【産業上の利用可能性】
【０２２０】
本発明は、ユーザによる指示データに対応する画像データを連結してグループ化し、指示データに対応する画像データの特徴量を求め、グループ化された画像データの各特徴量に応じて、画像データ同士の連結を解除することにより、ユーザが注目している興味対象領域を正確に特定できる。また、本発明は、指示データの時間間隔を計算し、時間間隔が所定の閾値以下のとき画像データを連結し、所定の閾値を超えるとき画像データを連結しないことにより、ユーザの興味の対象となる画像領域が変化した場合に、その変化を検出可能である。
【図面の簡単な説明】
【０２２１】
【図１】図１は、本発明を適用した伝送システムの一構成例を示すブロック図である。
【図２】図２は、図１に示す伝送システムを構成する送信装置を示すブロック図である。
【図３】図３は、図２に示す送信装置の処理を説明するためのフローチャートである。
【図４】図４は、図１に示す通信システムを構成する受信装置を示すブロック図である。
【図５】図５は、図４に示す受信装置の処理を説明するためのフローチャートである。
【図６】図６は、図２に示す送信装置を構成する送信処理部を示すブロック図である。
【図７】図７は、図６に示す送信処理部の符号化部を示すブロック図である。
【図８】図８Ａ、図８Ｂ及び図８Ｃは、階層符号化／復号を説明するための図である。
【図９】図９は、図６に示す送信処理部による送信処理を説明するためのフローチャートである。
【図１０】図１０は、図４に示す受信装置を構成する受信処理部を示すブロック図である。
【図１１】図１１は、図１０に示す受信処理部を構成する復号部を示すブロック図である。
【図１２】図１２は、図４に示す受信装置の合成処理部の構成例を示すブロック図である。
【図１３】図１３は、図１２に示す合成処理部による合成処理を説明するためのフローチャートである。
【図１４】図１４Ａ、図１４Ｂ及び図１４Ｃは、図４に示す受信装置の画像出力部における画像の表示例を示す図である。
【図１５】図１５は、図１に示す伝送システムを構成する送信装置から受信装置に送信される画像の空間解像度と時間解像度との関係を説明するための図である。
【図１６】図１６は、クリックデータに基づいてオブジェクト抽出を行う図２に示す送信装置を構成するオブジェクト抽出部の具体的構成例を示す図である。
【図１７】図１７は、図１６に示すオブジェクト抽出部における全体の処理の流れを示すフローチャートである。
【図１８】図１８は、図１７に示す処理手順中のステップＳ４２の詳細な流れを示すフローチャートである。
【図１９】図１９は、図１７に示す処理手順中のステップＳ４７の詳細な流れを示すフローチャートである。
【図２０】図２０は、図１６に示すオブジェクト抽出部における処理の流れの他の例を示すフローチャートである。
【図２１】図２１は、本発明を適用したコンピュータの構成例を示すブロック図である。

Claims (6)

1. ユーザによる指示データを取得する指示データ取得手段と、
   上記指示データに対応する画像データを連結してグループ化する連結手段と、
   上記指示データに対応する画像データの特徴量を求める特徴量検出手段と、
   上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて上記連結手段による上記指示データに対応する画像データ同士の連結を解除する連結解除手段と、
   上記指示データに対応する画像データを小領域に領域分割する分割手段と、
   上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、
   上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、
   上記特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
   上記連結手段は、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない画像処理装置。
2. 画像データを送信する送信装置と、該送信された画像データを受信する受信装置とを有する通信システムにおいて、
   上記受信装置は、上記通信装置から送信された画像データを受信する第１の受信手段と、
   上記第１の受信手段により受信された上記画像データを出力する出力手段と、
   上記出力手段により出力された受信された上記画像データの時空間位置を指示する指示手段と、
   上記指示手段により指示された上記画像データの時空間位置を指示する指示データを上記送信装置に送信する第１の送信手段とを備え、
   上記送信装置は、画像データが連続的に入力される入力手段と、
   上記第１の送信手段により送信された上記指示データを受信する第２の受信手段と、
   上記第２の受信手段により受信された上記指示データに対応する画像データを連結してグループ化する連結手段と、
   上記指示データに対応する画像データの特徴量を求める特徴量検出手段と、
   上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記連結手段による上記指示データに対応する画像データ同士の連結を解除する連結解除手段と、
   上記指示データに対応する画像データを小領域に領域分割する分割手段と、
   上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、
   上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、
   上記特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
   上記連結手段は、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない通信システム。
3. ユーザによる指示データを取得するステップと、
   上記指示データに対応する画像データを連結してグループ化するステップと、
   上記指示データに対応する画像データの特徴量を求めるステップと、
   上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて上記連結手段による上記指示データに対応する画像データ同士の連結を解除するステップと、
   上記指示データに対応する画像データを小領域に領域分割するステップと、
   上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
   上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、
   上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
   上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない画像処理方法。
4. 画像データを送信装置と受信装置との間で通信する通信方法において、
   上記受信装置は、
   上記通信装置から送信された画像データを受信するステップと、
   上記受信された上記画像データを出力するステップと、
   上記出力された上記画像データの時空間位置を指示するステップと、
   上記指示された上記画像データの時空間位置を指示する指示データを上記送信装置に送信するステップとを有し、
   上記送信装置は、
   画像データが連続的に入力するステップと、
   上記送信された上記指示データを受信するステップと、
   上記受信された上記指示データに対応する、上記入力される画像データを連結してグループ化するステップと、
   上記指示データに対応する画像データの特徴量を求めるステップと、
   上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記指示データに対応する画像データ同士の連結を解除するステップと、
   上記指示データに対応する画像データを小領域に領域分割するステップと、
   上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
   上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、
   上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
   上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない通信方法。
5. 情報処理手段により読み取り可能なプログラムが格納されている記録媒体であり、
   上記プログラムは、
   ユーザによる指示データを取得するステップと、
   上記指示データに対応する画像データを連結してグループ化するステップと、
   上記指示データに対応する画像データの特徴量を求めるステップと、
   上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記指示データに対応する画像データ同士の連結を解除するステップと、
   上記指示データに対応する画像データを小領域に領域分割するステップと、
   上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
   上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを上記情報処理手段に実行させるためのものであり、
   上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
   上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない記録媒体。
6. 情報処理手段により読み取り可能なプログラムが格納されている記録媒体であり、
   上記プログラムは、
   受信装置が通信装置から送信された画像データを受信するステップと、
   上記受信された上記画像データを出力するステップと、
   上記出力された上記画像データの時空間位置を指示するステップと、
   上記指示された上記画像データの時空間位置を指示する指示データを上記送信装置に送信するステップと、
   上記送信装置に画像データを連続的に入力するステップと、
   上記送信された上記指示データを受信するステップと、
   上記受信された上記指示データに対応する、上記入力される画像データを連結してグループ化するステップと、
   上記指示データに対応する画像データの特徴量を求めるステップと、
   上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記指示データに対応する画像データ同士の連結を解除するステップと、
   上記指示データに対応する画像データを小領域に領域分割するステップと、
   上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
   上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを上記情報処理手段に実行させるためのものであり、
   上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
   上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
   上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない記録媒体。

Images