JP4665372B2 - 画像処理装置及び方法、通信システム及び方法、並びに記録媒体 - Google Patents
画像処理装置及び方法、通信システム及び方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4665372B2 JP4665372B2 JP2001588251A JP2001588251A JP4665372B2 JP 4665372 B2 JP4665372 B2 JP 4665372B2 JP 2001588251 A JP2001588251 A JP 2001588251A JP 2001588251 A JP2001588251 A JP 2001588251A JP 4665372 B2 JP4665372 B2 JP 4665372B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- instruction data
- small area
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
本発明は、例えば画像データからユーザの指示に応じた領域を特定する画像処理装置及び方法に関する。さらに詳しくは、画像データからユーザの指示に応じてオブジェクト画像を抽出する画像処理装置及び方法、通信システム及び方法、並びに記録媒体に関する。
【背景技術】
【0002】
例えば、特開平10−112856号公報には、送信側において、受信側からの指示に応じて、画像のある領域の画像データと他の領域の画像データとを異なる情報量で送信可能とする画像伝送装置が開示されている。この特開平10−112856号公報記載の画像伝送装置によれば、受信側において、指示した点を含む所定の領域の画像を高い空間解像度で表示し、それ以外の領域の画像を低い空間解像度で表示するようなことが可能である。
【0003】
すなわち、伝送路を介して送信側から受信側に対して画像データを伝送する場合においては、その伝送路の伝送レートを越えるデータレートの画像データを伝送することはできない。したがって、受信側においてリアルタイムで画像を表示する場合には、送信側から受信側に対して、伝送路の伝送レート内で画像データを送信しなければならず、その結果、伝送レートが十分でない場合には、受信側で表示される画像の空間解像度が全体として劣化することになる。
【0004】
一方、上述の特開平10−112856号公報に開示されている画像伝送装置のように、画像のある領域の画像データと他の領域の画像データとをそれぞれ異なる情報量で送信可能とし、例えば受信側において指示した点を含む所定の領域についての画像データの情報量を増やし、それ以外の領域の画像データの情報量を落とすようにすれば、受信側において指示した点を含む所定の領域の画像を高い空間解像度で表示でき、それ以外の領域の画像を低い空間解像度で表示することが可能となる。これにより、例えばユーザが詳細に見たい部分の画像領域を高い空間解像度で表示し、それ以外の画像領域を低い空間解像度で表示するようなことが可能となる。つまり、特開平10−112856号公報に開示されている画像伝送装置によれば、ユーザが詳細に見たい部分以外の部分の空間解像度を犠牲にして、詳細に見たい部分の空間解像度を向上させることが可能となる。
【0005】
また、本願出願人が先に提案しているPCT出願公開番号WO01−1189A1には、受信側で指示した領域の情報量制御として、特開平10−112856号公報に記載されるような空間方向の解像度制御のみでなく、時間方向の解像度制御も行う画像処理装置が開示されている。更に、PCT出願公開番号WO01−1189A1には、受信側のユーザによりマウスなどによってクリックされた位置及びそのクリックの時間間隔より、クリック位置に対応する画像データの静動判定と、そのクリックが時間的に連続的なクリックか否かを判定することにより、送信側に受信側に伝送される画像データからオブジェクトを抽出する画像処理装置が開示されている。
【発明が解決しようとする課題】
【0006】
ところで、上述したように、例えばユーザが興味を持って特に詳細に見たい画像領域(以下、適宜、興味対象領域と呼ぶ。)の空間解像度を高め、それ以外の画像領域、例えば背景等の空間解像度を低くするようなことを実現するためには、送信側において、受信側のユーザが注目している画像領域、すなわち興味対象領域を特定する必要がある。
【0007】
このように、受信側におけるユーザの興味対象領域を特定できれば、送信側から受信側に画像データを送信する際に、当該興味対象領域の画像の情報量を多くして送信することが可能となり、これにより、受信側ではその興味対象領域の画像を高い空間解像度で表示できるようになる。
【0008】
ここで、PCT出願公開番号WO01−1189A1には、受信側のマウスクリックなどによる受信された画像データに対する指示に応じて、ユーザの興味対象領域を特定する、例えば、オブジェクト画像を抽出する手法が開示されている。このような手法では、既に抽出されたオブジェクト画像を再評価する仕組みがない。そのため、ある時点では同一オブジェクト画像として抽出されたものが、異なるオブジェクト画像に分離してしまったときも常に同一オブジェクトとして扱ってしまうという問題があった。
【0009】
更に、ユーザの興味の対象が変化し、ユーザの注目する画像領域が別の画像領域に移ったりした場合、そのユーザによる興味の対象の変化を検出して、上記特定する興味対象領域も変化させる必要がある。すなわち、ユーザの興味の対象が変化したにもかかわらず、それまでの情報を用いて処理を行うと、誤った判断をしてしまう危険性がある。したがって、もしもユーザの興味の対象が変化した場合には、その変化を検知して処理を変えなくてはならない。
【0010】
通信端末として移動体端末が用いられる移動体通信システムに好適なデータ通信システム及び方法並びに移動体装置に関し、更には、これらシステムや方法に用いられるプログラムを格納したプログラム格納媒体に関する。
【0011】
そこで、本発明は、このような実情に鑑みて提案されたものであり、ユーザが注目している興味対象領域を再評価することにより最適な興味対象領域の特定が可能であるたけでなく、ユーザの興味の対象となる画像領域が変化した場合でも、その変化を検出可能とする、画像処理装置及び方法、通信システム、方法、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0012】
上述のような目的を達成するために提案される画像処理装置は、ユーザによる指示データを取得する指示データ取得手段と、指示データに対応する画像データを連結してグループ化する連結手段と、指示データに対応する画像データの特徴量を求める特徴量検出手段と、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて連結手段による指示データに対応する画像データ同士の連結を解除する連結解除手段と、指示データに対応する画像データを小領域に領域分割する分割手段と、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、連結手段は、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【0013】
また、本発明は、画像データを送信する送信装置と、送信された画像データを受信する受信装置とを有する通信システムである。この通信システムを構成する受信装置は、通信装置から送信された画像データを受信する第1の受信手段と、第1の受信手段により受信された画像データを出力する出力手段と、この出力手段により出力された受信された画像データの時空間位置を指示する指示手段と、この指示手段により指示された画像データの時空間位置を指示する指示データを送信装置に送信する第1の送信手段とを備える。また、送信装置は、画像データが連続的に入力される入力手段と、第1の送信手段により送信された指示データを受信する第2の受信手段と、第2の受信手段により受信された指示データに対応する画像データを連結してグループ化する連結手段と、指示データに対応する画像データの特徴量を求める特徴量検出手段と、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、連結手段による指示データに対応する画像データ同士の連結を解除する連結解除手段と、指示データに対応する画像データを小領域に領域分割する分割手段と、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、連結手段は、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【0014】
また、本発明に係る画像処理方法は、ユーザによる指示データを取得するステップと、この指示データに対応する画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて連結手段による指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【0015】
更に、本発明は、画像データを送信装置と受信装置との間で通信する通信方法であり、この通信方法は、受信装置が、通信装置から送信された画像データを受信するステップと、受信された画像データを出力するステップと、出力された画像データの時空間位置を指示するステップと、指示された画像データの時空間位置を指示する指示データを送信装置に送信するステップとを有する。また、送信装置が、画像データが連続的に入力するステップと、送信された指示データを受信するステップと、受信された指示データに対応する入力される画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【0016】
更にまた、本発明に係る画像処理方法を情報処理手段により実行するプログラムを格納した記録媒体であり、この記録媒体に格納されるプログラムは、ユーザによる指示データを取得するステップと、指示データに対応する画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを情報処理手段に実行させるためのものであり、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【0017】
また、本発明に係る記録媒体に格納されるプログラムは、受信装置が通信装置から送信された画像データを受信するステップと、受信された画像データを出力するステップと、出力された画像データの時空間位置を指示するステップと、指示された画像データの時空間位置を指示する指示データを送信装置に送信するステップと、送信装置に画像データを連続的に入力するステップと、送信された指示データを受信するステップと、受信された指示データに対応する入力される画像データを連結してグループ化するステップと、指示データに対応する画像データの特徴量を求めるステップと、グループ化された同一グループ内の指示データに対応する画像データの各特徴量に応じて、指示データに対応する画像データ同士の連結を解除するステップと、指示データに対応する画像データを小領域に領域分割するステップと、分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを情報処理手段に実行させるためのものであり、特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より注目小領域画像データ内のオブジェクトの静動判定を行い、画像データを連結してグループ化するステップでは、過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、注目小領域画像データに対する静動判定が静止であり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、注目小領域画像データに対する静動判定が動きであり、且つ、時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、時間間隔が所定の閾値を超えるとき、或いは、過去の指示データに対応する小領域画像データの静動判定結果と、現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、過去の指示データに対応する識別子情報とは異なる識別子情報を現在の指示データに対応させて蓄積手段に記憶することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結しない。
【0018】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
【発明を実施するための最良の形態】
【0019】
以下、本発明を適用した好ましい形態について、図面を参照しながら説明する。
【0020】
本発明が適用されたデータ通信システムは、図1に示すような構成を備える。ここで、システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない。
【0021】
図1に示すデータ通信システムは、例えば携帯電話やPHS(Personal Handy‐phone System:登録商標)等からなる少なくとも2台の端末1及び端末2と、これら端末1又は端末2との間で電波による信号の送受信を行う無線基地局3又は5と、これら基地局3,5間を結ぶ電話局等の交換局4とからなる。なお、無線基地局3,5は同一又は異なる無線基地局である。この構成により、端末1と端末2との間では、無線基地局3,5及び交換局4等から構成される伝送路を介して、双方がそれぞれ相手方に信号を送信し、相手方から送信されてきた信号を受信可能となされている。
【0022】
また、図1に示すシステムにおいて、携帯電話やPHS等からなる端末1及び2は、電話番号や文字、記号等を入力するためのキー部8と、音声を入力するためのマイクロホン10と、音声を出力するためのスピーカ9と、それぞれ静止画や動画像を撮影可能な撮像素子及び光学系を有するビデオカメラ部6と、文字や記号だけでなく画像をも表示可能な表示部7とを少なくとも備えている。
【0023】
これら端末1と端末2との間では、音声信号の送受信だけでなく、ビデオカメラ部6にて撮影した画像データを送受信することも可能となされている。したがって、端末1と端末2は、それぞれ相手方が撮影した画像を表示部7に表示可能となる。
ここで、例えば、端末1が画像データを送信する送信装置となり、当該送信装置、すなわち端末1から送信された画像データの受信装置が端末2となっている場合を一例として説明を行う。また、以下、適宜、端末1又は端末2を、それぞれ送信装置1又は受信装置2と記述する。
【0024】
この場合、送信装置1から送信された画像データは、フレームレートの情報と共に、基地局3,5及び交換局4等から構成される伝送路を介して受信装置2に送られる。受信装置2では、送信装置1から送信されてきた画像データを受信し、例えば液晶ディスプレイ等で構成される表示部7に、その受信されたフレームレート情報で受信された画像データに基づく動画像を表示する。一方、受信装置2からは、当該表示部7に表示される画像の空間解像度及び時間解像度を制御するための制御情報が、伝送路を介して送信装置1に送信される。すなわち、受信装置2からは、この受信装置2のユーザの興味対象領域を送信装置1側において特定する際に用いられる制御情報(後述する指示データとしてのクリックデータ)が、送信装置1に送信される。
【0025】
送信装置1は、受信装置2からの制御情報(以下、クリックデータとする)を受信すると、そのクリックデータに基づいて、受信装置2において表示されることになる画像、例えば、送信装置1のビデオカメラ6で撮影した画像の中から受信装置2のユーザが注目する画像領域(興味対象領域)を特定する。更に、送信装置1は、その特定した画像領域の空間解像度及び時間解像度が所定の条件を満たしながら変更されるように、受信装置2に送信する画像データの情報量を制御する。なお、送信装置1及び受信装置2として、例えばPHS用の端末を用いた場合、伝送路は1895.1500〜1905.9500MHz帯域の伝送路となり、その伝送レートは128kbps(Bit Per Second)となる。
【0026】
次に、図2に、図1に示す通信システムを構成する送信装置1を示す。この送信装置は、例えば撮像素子(CCD:Charge Coupled Device等)及び光学系からなるビデオカメラ部6とこのビデオカメラ部6により得られた撮像信号から画像データを生成する画像信号処理回路等で構成された画像入力部11を備える。すなわち、この画像入力部11からは、送信装置1のユーザが所望の被写体をビデオカメラ部6で撮影し、さらに画像信号処理回路にて生成された画像データが出力され、その画像データが前処理部12に送られる。
【0027】
詳細な構成については後述するが、この前処理部12は、大別して背景抽出部13と、オブジェクト抽出部14と、付加情報算出部15とで構成される。
【0028】
この前処理部12のオブジェクト抽出部14は、受信装置2から送信されてきたクリックデータに基づいて、画像入力部11のビデオカメラ部6が撮影した画像の中で、受信装置2のユーザが注目している画像領域、すなわち興味対象領域を抽出し、その抽出した興味対象領域に対応する画像データを送信処理部16に供給する。なお、画像入力部11のビデオカメラ部6が撮影した画像の中に、受信装置2のユーザが注目する興味対象領域が複数存在する場合、当該オブジェクト抽出部14は、それら複数の興味対象領域の画像データを送信処理部16に供給する。また、オブジェクト抽出部14で抽出された興味対象領域の画像データは、付加情報算出部15にも供給される。
【0029】
ここで、ユーザが注目する興味対象領域として、画像内の物体等のオブジェクトを例に挙げている。なお、本発明においてオブジェクトとは、画像をある単位毎に分割し、その単位毎に処理することができる領域のことであり、特に、画像内に存在する物体に着目し、その物体毎に処理を行う場合には、この物体をオブジェクトと定義している。本発明では、画像からクリックデータに基づいてオブジェクトデータを抽出し、当該オブジェクト単位で処理を行うような例を挙げている。なお、このオブジェクトの作成の仕方は、要求される画像の内容によって異なる。
【0030】
以下、オブジェクト抽出部14において、興味対象領域の一例としてオブジェクト(以下、適宜オブジェクト画像と呼ぶ。)を抽出する場合を例に挙げて説明することにする。なお、上記興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、後述する背景画像部分等であっても良いが、本発明では、興味対象領域としてオブジェクトを例に挙げて説明する。
【0031】
オブジェクト画像の抽出方法は、画像に対するユーザのクリックデータに対応する小オブジェクト画像データを抽出し、小オブジェクト画像データの連結、非連結によりオブジェクト画像データを抽出することにより、オブジェクト画像を抽出する方法を本発明の実施例としている。
【0032】
また、オブジェクト抽出部14では、受信装置2のユーザの興味が変化し、興味対象領域が変化したような場合、その興味の変化を検出し、当該興味の変化の検出結果に基づいて新たな興味対象領域であるオブジェクト画像を抽出する。オブジェクト抽出部14において行われるオブジェクト抽出、すなわち興味対象領域の特定処理と興味対象の変化検出の詳細についての説明は後述する。
【0033】
次に、前処理部12の背景抽出部13は、オブジェクト抽出部14によるオブジェクト抽出結果に基づいて、画像入力部11により供給された画像データから画像の背景部分(興味対象領域以外の画像領域、以下、背景画像と呼ぶ。)に相当する信号(以下、背景画像データと呼ぶ)を抽出し、その抽出した背景画像データを送信処理部16と付加情報算出部15に供給する。ここで、アクティビティが小さく、画像として特別意味を持たないような平坦な画像領域を背景画像としている。もちろん、背景画像は特別な意味を持たない画像だけでなく、ユーザの興味対象となっていないオブジェクト等も含まれるが、説明を簡単にするため、上述のように平坦な画像領域を背景画像として説明する。
【0034】
付加情報算出部15は、背景抽出部13から供給された背景画像データに基づいて、画像の撮影時に、画像入力部11の撮影方向が動くことによる背景の動き、例えばパン、チルト画像を表す背景動きベクトルを検出する。また、付加情報算出部15は、オブジェクト抽出部14から供給されたオブジェクトの画像データ(以下、オブジェクト画像データと呼ぶ)に基づいて、オブジェクトの動きを表すオブジェクト動きベクトルを検出する。そして、付加情報算出部15は、それら動きベクトルを付加情報として、送信処理部16に供給する。また、付加情報算出部15は、オブジェクト抽出部14から供給されたオブジェクト画像データに基づいて、画像入力部11のビデオカメラ部6により撮影された画像、すなわちフレーム画像内におけるオブジェクトの位置や形状を表す輪郭等のようなオブジェクトに関連する情報も、付加情報として送信処理部16に供給する。すなわち、オブジェクト抽出部14は、オブジェクト画像を抽出する際に、そのオブジェクトの位置や形状等のオブジェクトに関連する情報も抽出し、付加情報算出部15に供給する。付加情報算出部15は、そのオブジェクトに関連する情報も付加情報として出力するようになっている。
【0035】
送信処理部16は、受信装置2から供給されたクリックデータに基づいて、受信装置2において表示されることになる画像の内の前記オブジェクト画像についての空間解像度あるいは時間解像度を高めつつ、伝送路で伝送可能なデータレートの条件を満たすように、オブジェクト抽出部14からのオブジェクト画像データと、背景抽出部13からの背景画像データと、付加情報算出部15からの付加情報を符号化する。更に、送信処理部16は、それら符号化後のオブジェクト画像データ(以下、オブジェクト符号化データと呼ぶ。)、背景画像データ(以下、背景符号化データと呼ぶ。)、付加情報(以下、付加情報符号化データと呼ぶ。)を多重化し、その多重化データを、フレームレート情報と共に伝送路を介して受信装置2へ送信する。
【0036】
次に、図3に示すフローチャートを参照して、図2に示す送信装置1の処理の概要について説明する。
【0037】
図3において、先ずステップS1として、送信装置1の画像入力部11では、ビデオカメラ部6により画像の撮影がなされ、その画像データが前処理部12に送られる。
【0038】
次に、ステップS2において、送信装置1は、受信装置2から送信されてきたクリックデータを受信し、そのクリックデータを前処理部12に入力する。
【0039】
画像データとクリックデータを受け取った前処理部12は、ステップS3において、背景抽出、オブジェクト抽出、付加情報算出の前処理を行い、当該前処理にて得られた背景画像データ、オブジェクト画像データ、付加情報を送信処理部16に送る。ここで、オブジェクト抽出には、興味対象の変化検出も含む。
【0040】
送信処理部16では、ステップS4の処理として、伝送路で伝送可能なデータレートの条件を満たすように、オブジェクト画像データと背景画像データ及び付加情報のデータ量を計算し、そのデータ量に応じて、それらオブジェクト画像データと背景画像データ、付加情報を、後述するように符号化して多重化する。その後、当該多重化データをフレームレート情報と共に伝送路を介して受信装置2へ送信する。
【0041】
これ以後、ステップS1に戻り、以下、同様の処理が繰り返される。
【0042】
次に、図1に示す通信システムを構成する受信装置2を図4に示す。
【0043】
伝送路を介して、送信装置1から送信されてくる多重化データは、図4に示す受信装置2の受信処理部21で受信される。受信処理部21は、受信した多重化データから、それぞれ背景符号化データ、オブジェクト符号化データ及び付加情報符号化データを分離して復号し、その復号された背景画像データ、オブジェクト画像データ及び付加情報を合成処理部22に送る。
【0044】
合成処理部22は、受信処理部21から供給された復号後の背景画像データ、オブジェクト画像データ、及び付加情報を用いて画像を合成し、その合成された画像の信号を画像出力部23に供給する。また、合成処理部22は、クリックデータ入力部24から供給されるクリックデータに基づき、合成する画像の空間解像度及び時間解像度を制御するようになされている。
【0045】
画像出力部23は、供給された画像データに基づいて、表示部7の例えば液晶ディスプレイ等を駆動するための駆動信号を生成して当該液晶ディスプレイ等に、上述の多重化データと共に受信されたフレームレート情報に基づくフレームレートで送ることにより、合成処理部22にて合成された画像を表示部7に表示させる。
【0046】
クリックデータ入力部24は、表示部7上の画像の座標位置を指定するためのポインティングデバイスとしての機能を有するキー部8をユーザが操作した時に、そのユーザによるキー部8の操作に応じたクリック位置、すなわち座標位置及びクリック時刻を表すクリックデータを発生する。すなわち、表示部7に表示されている画像のうちの所望の画像部分である興味対象領域を、ユーザがキー部8をクリック操作することにより指定すると、クリックデータ入力部24は、そのクリック位置の座標情報及びそのクリック時刻を表すクリックデータを発生する。クリックデータ入力部24により発生されたクリックデータは、合成処理部22とクリックデータ送信部25に送られる。
【0047】
クリックデータ送信部25は、クリックデータ入力部24からクリックデータを受け取ると、そのクリックデータを伝送路を介して送信装置1に送信する。
【0048】
次に、図5のフローチャートを参照して、図4に示す受信装置2の処理の概要について説明する。
【0049】
図5において、受信装置2の受信処理部21では、先ず、ステップS11として、送信装置1から伝送路を介して送信されてくる多重化データを受信する。
【0050】
次に、受信処理部21では、ステップS12において、その多重化データから、背景符号化データとオブジェクト符号化データ及び付加情報符号化データを分離し、さらにそれら分離した符号化データを復号する。復号された背景画像データとオブジェクト画像データ及び付加情報は、合成処理部22に送られる。
【0051】
受信装置2のクリックデータ入力部24では、ステップS13において、ユーザによるキー部8のクリック操作に基づくクリックデータを取得して合成処理部22に送ると共に、そのクリックデータをクリックデータ送信部25に送り、当該クリックデータ送信部25から送信装置1に送信する。
【0052】
次に、合成処理部22では、ステップS14において、受信処理部21から供給された背景画像データとオブジェクト画像データ及び付加情報と、クリックデータ入力部24から供給されたクリックデータとに基づいて、画像を合成すると共に、その合成される画像の空間解像度及び時間解像度を制御する。
【0053】
その後、画像出力部23は、ステップS15において、合成処理部22にて合成された画像を、多重化データと共に受信されたフレームレート情報に基づいて表示部7の液晶ディスプレイ等に表示させる。
【0054】
これ以後、ステップS11に戻り、以下、同様の処理が繰り返される。
【0055】
次に、図2に示す送信装置1を構成する送信処理部16の具体的な例を図6に示す。
【0056】
図6に示す送信処理部16には、図2に示した前処理部12からの背景画像データ、オブジェクト画像データ及び付加情報が供給される。これら背景画像データ、オブジェクト画像データ及び付加情報は、符号化部31と制御部35に入力される。
【0057】
符号化部31は、供給された背景画像データ、オブジェクト画像データ及び付加情報を後述するように階層符号化し、その結果得られる各符号化データをMUX(マルチプレクサ)32に供給する。
【0058】
MUX32は、制御部35による制御の元で、符号化部31から供給された背景符号化データ、オブジェクト符号化データ、付加情報符号化データを選択し、多重化データとして送信部33に供給する。
【0059】
送信部33は、MUX32からの多重化データを上述のフレームレート情報と共に後段の伝送路の伝送規格に応じて変調等し、その伝送路を介して受信装置2に送信する。
【0060】
また、データ量計算部34は、MUX32が送信部33に出力する多重化データを監視しており、そのデータレートを算出し、制御部35に供給する。
【0061】
制御部35は、データ量計算部34にて算出されたデータレートが、伝送路の伝送レートを越えないように、MUX32による多重化データの出力を制御すると共に、伝送路を介して受信装置2から送信されて受信されたクリックデータを受け取り、そのクリックデータに基づいて、MUX32における符号化データの多重化を制御する。
【0062】
次に、図6に示す符号化部31の具体的構成例を図7に示す。
【0063】
図7に示す符号化部31において、背景画像データは、差分計算部41Bに入力される。差分計算部41Bは、ローカルデコーダ44Bから供給される、現時点で処理しようとしている画像フレーム(以下、適宜、現フレームと呼ぶ。)に含まれる背景画像データから、既に処理した1フレーム前の背景画像データを減算し、その減算結果としての背景画像の差分データ(以下、背景画像差分データと呼ぶ。)を階層符号化部42Bに供給する。
【0064】
階層符号化部42Bは、差分計算部41Bからの背景画像差分データを後述するように階層符号化し、その符号化により得られたデータ、すなわち背景符号化データを記憶部43Bに供給する。
【0065】
記憶部43Bは、階層符号化部42からの背景符号化データを一時記憶する。記憶部43Bに記憶された背景符号化データは、背景符号化データとして図6に示したMUX32に送られる。
【0066】
さらに、記憶部43Bに記憶された背景符号化データは、ローカルデコーダ44Bに供給される。ローカルデコーダ44Bでは、その背景符号化データを局所復号して、元の背景画像データを復号し、その復号後の背景画像データを差分計算部41Bに供給する。このように、ローカルデコーダ44Bによって復号された背景画像データは、差分計算部41Bにおいて次のフレームの背景画像データとの差分データを求めるのに用いられる。
【0067】
また、図7に示す符号化部31において、オブジェクト画像データは、差分計算部41Fに供給される。差分計算部41Fは、ローカルデコーダ44Fから供給される、現時点で処理しようとしている画像フレーム(現フレーム)に含まれるオブジェクト画像データから、既に処理した1フレーム前のオブジェクト画像データを減算し、その減算結果としてのオブジェクトの差分データ(以下、オブジェクト画像差分データと呼ぶ。)を、階層符号化部42Fに供給する。
【0068】
階層符号化部42Fは、差分計算部41Fからのオブジェクト画像差分データを後述するように階層符号化し、その符号化により得られたデータ(オブジェクト符号化データ)を、記憶部43Fに供給する。
【0069】
記憶部43Fは、階層符号化部42からのオブジェクト符号化データを一時記憶する。記憶部43Fに記憶されたオブジェクト符号化データは、図6に示したMUX32に送られる。
【0070】
さらに、記憶部43Fに記憶されたオブジェクト符号化データは、ローカルデコーダ44Fに供給される。当該ローカルデコーダ44Fでは、そのオブジェクト符号化データを局所復号して、元のオブジェクト画像データを復号し、その復号後のオブジェクト画像データを差分計算部41Fに供給する。このように、ローカルデコーダ44Fによって復号されたオブジェクト画像データは、差分計算部41Fにおいて、次のフレームのオブジェクト画像データとの差分データを求めるのに用いられる。
【0071】
なお、オブジェクトが複数(オブジェクト#1,#2,#3,…)存在する場合は、それら複数のオブジェクトの画像データそれぞれに対して、差分計算部41F、階層符号化部42F、記憶部43F及びローカルデコーダ44Fにおいて上述したような差分計算、階層符号化、記憶、ローカルデコードの処理を行う。
【0072】
また、図7に示す符号化部31において、付加情報は、VLC(可変長符号化)部45に供給される。VLC部45では、付加情報を可変長符号化する。ここで、可変長符号化の手法としては冗長度を削減することによりデータを圧縮する手法であれば良く、ランレングス符号化、ハフマン符号化などを用いることができる。この可変長符号化された付加情報は、前記付加情報符号化データとして図6に示したMUX32に送られる。
【0073】
次に、図8を参照して、図7の符号化部31において行われる階層符号化と、受信側において階層符号化に対応して行われる復号について説明する。
【0074】
ここで、図7の符号化部31は、階層符号化として、例えば下位側の階層における水平方向2画素及び垂直方向2画素からなる4つの画素の平均値(画素値の平均)を、当該下位階層よりも一つ上の上位階層における1画素の画素値とするような処理が、例えば3階層分にわたって行われる。なお、ここで説明する画素値とは、階層符号化の前段の処理として行われる前記差分計算により得られた差分値、すなわち画素毎の差分値である。もちろん、階層符号化の前段で差分計算を行わない場合は、通常の画素値となる。
【0075】
この場合、最下位階層(第1階層)の画像として、例えば図8Aに示すように水平方向4画素及び垂直方向4画素からなる画像(以下、4×4画素と呼ぶ。)を考えると、階層符号化では、当該4×4画素のうち左上側の水平方向2画素及び垂直方向2画素(以下、2×2画素と呼ぶ。)を構成する4つの画素h00,h01,h02,h03の平均値が演算され、この平均値が第2階層の左上の1画素m0の画素値とされる。同様に、第1階層の4×4画素のうち右上側の2×2画素h10,h11,h12,h13の平均値は、第2階層の右上の1画素m1の画素値となされ、第1階層の4×4画素のうち左下側の2×2画素h20,h21,h22,h23の平均値は、第2階層の左下の1画素m2の画素値となされ、第1階層の4×4画素のうち右下側の2×2画素h30,h31,h32,h33の平均値は第2階層の右下の1画素m3の画素値となされる。階層符号化では、さらに、第2階層の2×2画素を構成する4つの画素m0,m1,m2,m3の平均値を求め、この平均値が第3階層(最上位階層)の1つの画素qの画素値となされる。
【0076】
図7の符号化部31では、以上のような階層符号化を行う。なお、このような階層符号化によれば、最上位階層(第3階層)の画像の空間解像度は最も低くなり、階層が低くなるにつれて画像の空間解像度が向上し、最下位階層(第1階層)の画像の空間解像度は最も高くなる。
【0077】
ところで、以上の画素h00乃至h03、h10乃至h13、h20乃至h23、h30乃至h33、m0乃至m3、qを全部送信するようにした場合は、最下位階層の画像だけを送信する場合に比較して、より上位側の階層である第2階層の画素m0乃至m3と第3階層の画素qの分だけ、データ量が増加することとなる。
【0078】
そこで、送信するデータ量を減らしたい場合には、例えば図8Bに示すように、第2階層の画素m0乃至m3のうちの例えば右下の画素m3に替えて第3階層の画素qを埋め込み、それら画素m0,m1,m2とqからなる第2階層のデータと、第1階層のデータとを送信するようにする。これによれば、第3階層分のデータ量を減らすことができる。
【0079】
また、図8Bの場合よりも更にデータ量を減らしたいときには、図8Cに示すように、第2の階層の画素m0を、それを求めるのに用いた第1階層の2×2画素h00乃至h03のうちの例えば右下の画素h03に替え、同様に、第2の階層の画素m1を、それを求めるのに用いた第1階層の2×2画素h10乃至h13のうちの例えば右下の画素h13に替え、また、第2の階層の画素m2を、それを求めるのに用いた第1階層の2×2画素h20乃至h23のうちの例えば右下の画素h23に替え、さらに、図8Bのようにして第2階層の画素m0乃至m3の右下の画素に埋め込まれた第3階層の画素qを、第1階層の2×2画素h30乃至h33のうちの例えば右下の画素h33に替えて送信するようにする。これによれば、第3階層と第2階層分のデータ量を減らすことができる。すなわち、図8Cに示す例では、送信する全画素数は4×4画素の16画素分となり、図8Aに示した最下位階層(第1階層)の画素数と変わらない。したがって、この場合、第1階層から第3階層までの各階層に相当する画素データを送信可能となるだけでなく、送信するデータ量の増加を最も抑えることが可能となる。
【0080】
なお、図8Bにおいて画素qと替えられた第2階層の画素m3と、図8Cにおいて画素m0,m1,m2及びqとそれぞれ替えられた第1階層の画素h03,h13,h23,h33は、以下のようにして復号することができる。
【0081】
すなわち、画素qの値は、画素m0乃至m3の各画素値の平均値であるから、q=(m0+m1+m2+m3)/4の式が成り立つ。したがって、m3=4×q−(m0+m1+m2)の式により、第3層の画素q及び第2階層の画素m0乃至m2を用いて、第2層の画素m3を求める(復号する)ことができる。
【0082】
また、画素m0の値は、画素h00乃至h03の平均値であるから、m0=(h00+h01+h02+h03)/4の式が成り立つ。したがって、h03=4×m0−(h00+h01+h02)の式により、第2階層の画素m0及び第1階層の画素h00乃至h02を用いて、第1階層の画素h03を求めることができる。同様にして、各画素h13,h23,h33も求めることができる。
【0083】
以上のように、ある階層において送信されない画素は、その階層において送信される画素と、その1つ上位の階層において送信される画素とから復号することができる。
【0084】
次に、図9に示すフローチャートを参照して、図6に示す送信処理部16において行われる送信処理について説明する。
【0085】
最初に、送信処理部16の制御部35は、ステップS21において、受信装置2からクリックデータが送信されてきたか否かを判定する。ステップS21において、受信装置2からクリックデータが送信されてきていないと判定された場合、すなわち制御部35がクリックデータを受け取っていない場合、制御部35は、ステップS22として、MUX32を制御し、受信装置2において通常の時間解像度、例えばデフォルト設定されている時間解像度で画像の表示が可能なように、背景、オブジェクト、及び付加情報の各符号化データを選択させて多重化させる。
【0086】
すなわち、通常の時間解像度として例えば30フレーム/秒が設定されている場合、受信装置2では30フレーム/秒で画像を表示することになり、このときのMUX32は、当該30フレーム/秒の時間解像度を維持しつつ、多重化データを伝送路の伝送レートで送信したときに、受信装置2側において表示される画像の空間解像度が最も高くなるように、背景、オブジェクト、及び付加情報の各符号化データを選択して多重化する。
【0087】
より具体的に説明すると、例えば上述のように3階層の階層符号化が行われている場合において、30フレーム/秒で画像を表示するのに、伝送路の伝送レートでは第3階層のデータしか送信することができないとき、当該MPX32は、この第3階層の画像を表示するための背景、オブジェクト及び付加情報の各符号化データを選択する。この場合の受信装置2では、30フレーム/秒の時間解像度で且つ、水平方向及び垂直方向の空間解像度が何れも元の画像である第1階層の画像の1/4となった画像が表示されることになる。
【0088】
次に、当該送信処理部16では、ステップS23において、MUX32からの多重化データを、上述の設定されているフレームレート情報と共に送信部33から伝送路を介して送信し、その後、ステップS21に戻る。
【0089】
また、ステップS21において、制御部35が受信装置2からクリックデータが送信されてきたと判定した場合、すなわち制御部35がクリックデータを受け取った場合、制御部35は、ステップS24として、そのクリックデータに基づいて、ユーザが受信装置2のクリックデータ入力部24を操作することにより指定した注目点の座標であるクリック位置及びクリック時刻を認識する。
【0090】
次に、詳細については後述するが、制御部35は、ステップS25の処理として、注目点の座標、すなわちクリック位置及びクリック時刻に基づいて、受信装置2側のユーザが注目している興味対象領域を特定し、その特定した興味対象領域を、受信装置2側で表示される画像のうちで空間解像度を優先的に向上させる優先範囲として設定し、その優先範囲内の画像とそれに対応する付加情報を検出する。なお、半発明において、優先範囲内の画像は、オブジェクト画像に対応し、優先範囲外の画像は、例えば背景画像のような興味対象領域以外の画像に対応する。
【0091】
制御部35は、ステップS26として、MUX32を制御し、受信装置2において、上記優先範囲内の画像が、より高い空間解像度で表示されるように、その優先範囲内領域の画像(オブジェクト画像)と当該優先範囲外の画像(背景画像)及び付加情報の符号化データを選択させ、多重化させる。すなわち、制御部35は、受信装置2からのクリックデータを受信した場合、時間解像度を犠牲にして、優先範囲内の画像の空間解像度を向上させるように、MUX32を制御する。
【0092】
上述の説明では、制御部35は、優先範囲内の画像の空間解像度を向上するように制御したが、優先範囲内の画像の時間解像度を向上する、すなわち、優先範囲内の画像のフレームレートが向上するように制御してもよい。このとき、制御部35は、空間解像度を犠牲にするようにしてもよいが、優先範囲外である背景画像データに対応する画像を静止画像とすることにより全体の情報量制御を行うようにしてもよい。
【0093】
これにより、MUX32は、例えば、優先範囲内の画像については、第3階層の他、第2階層の画像を表示するための符号化データを優先的に選択して多重化し、その多重化データを出力する。
【0094】
さらに、制御部35は、ステップS26として、多重化データとして選択する付加情報に、優先範囲の位置と大きさ等の情報(以下、適宜、高解像度情報という。)を挿入するように、MUX32を制御し、ステップS23に進む。
【0095】
ステップS23に進むと、送信部33では、MUX32が出力する多重化データを、フレームレート情報と共に伝送路を介して送信した後、ステップS21に戻る。
【0096】
ここで、説明を簡単にするために、ステップS26において、優先範囲外の画像、例えば背景画像については、第3階層の画像を表示するための符号化データを、ステップS22における場合と同様に選択し続けるとすると、制御部35では、ステップS26の場合の多重化データのデータ量は、ステップS22の場合に比較して、空間解像度を高めた優先範囲内の画像、オブジェクト画像についての第2階層のデータの分だけデータ量が増加することになる。
【0097】
このとき、例えば30フレーム/秒で画像を表示することを考えた場合、前述したように、伝送路の伝送レートでは、第3階層のデータしか送信することができないから、ステップS26で得られた第2階層のデータを含む多重化データは、画像を30フレーム/秒で表示可能なデータにはならない。
【0098】
このような場合、送信部33から例えば30フレーム/秒より低いレート、最も極端な例では、0フレーム/秒、すなわち静止画像となる多重化データを送信する。これにより、受信装置2では、上記優先範囲内の画像について、水平方向及び垂直方向の空間解像度がいずれも、元の画像(第1階層の画像)の1/2となった画像、すなわち、水平方向及び垂直方向の空間解像度がいずれも、いままで表示されていた第3階層の画像の2倍になった画像(第2階層の画像)が表示されることになる。但し、このとき受信装置2に表示される画像の時間解像度は30フレーム/秒未満となる。
【0099】
以上のようにして、優先範囲内の画像について第2階層のデータが送信された後、ステップS21において、前回に続いて受信装置2からクリックデータが送信されてきたと判定された場合、すなわち、ユーザがクリックデータ入力部24を操作し続け、以前と同一の或いはその近傍の注目点を指定し続けている場合は、ステップS24において前回と同一或いはその近傍の注目点が認識され、ステップS25において前回と同一の優先範囲が設定され、ステップS26に進む。これにより、制御部35は、ステップS26においてMUX32を制御し、受信装置2にて優先範囲内の画像がより高い空間解像度で表示されるように、符号化データを選択させ、多重化させる。
【0100】
この場合の優先範囲内の画像については、既に、第3階層の他、第2階層の画像及びそれらの付加情報の符号化データが優先的に選択されるようになっているので、ここでは更に第1階層の画像及び付加情報の符号化データも優先的に選択され、多重化データとして出力される。また、ステップS26において上述したように高解像度情報が付加情報に挿入され、ステップS23においてMUX32からの多重化データが、フレームレート情報と共に送信部33から伝送路を介して送信された後、ステップS21に戻る。
【0101】
この場合、受信装置2では、優先範囲内の画像が元の画像(第1階層の画像)と同一の空間解像度の画像、すなわち水平方向及び垂直方向の空間解像度が、何れも最初に表示されていた第3階層の画像の4倍になった画像(第1階層の画像)が表示されることになる。但し、その時間解像度は上記30フレーム/秒よりも低い画像、0フレーム/秒となった場合は静止画となされる。
【0102】
以上から、受信装置2のユーザがクリックデータ入力部24を操作し続けて、例えば同一の注目点、すなわち興味対象領域を指定し続けると、注目点を含む優先範囲内の画像、すなわち興味対象領域、例えばオブジェクト画像について、空間解像度をより向上させるためのデータが優先的に送信されるので、当該注目点を含む優先範囲内の画像の空間解像度は徐々に向上し、その結果、優先範囲内の画像は、より鮮明に表示されるようになる。すなわち、受信装置2側においてユーザが注目している部分の画像である興味対象領域、例えばオブジェクト画像は、より鮮明に表示される。
【0103】
以上のように、クリックデータに基づく注目点によって特定された優先範囲内の画像である興味対象領域、例えばオブジェクト画像の空間解像度あるいは時間解像度が、伝送路の伝送レートに応じた解像度の範囲内で変更されるように、画像データの送信が制御されるので、限られた伝送レート内において、受信装置2に表示される注目点に対応する画像の空間解像度を、より向上させることができる。すなわち、画像の時間解像度を犠牲にして、優先範囲内のオブジェクト画像の空間解像度を向上させることで、限られた伝送レート内で受信装置2に表示される当該オブジェクト画像をより鮮明に表示させる、すなわち、空間解像度をより向上させることが可能となる。
【0104】
次に、図4に示す受信装置2を構成する受信処理部21の具体的な構成を図10を参照して説明する。
【0105】
この図10において、伝送路を介して供給された多重化データは、受信部51にて受信され、復調等された後、DMUX(デマルチプレクサ)52に供給される。
【0106】
DMUX52は、受信部51から供給された多重化データを、背景符号化データ、オブジェクト符号化データ及び付加情報符号化データに分離し、復号部53に供給する。
【0107】
復号部53は、背景、オブジェクト、又は付加情報の各符号化データ(本実施の形態では前記差分値を符号化したデータ)を、前記符号化時とは逆の処理によりそれぞれ元のデータに復号し、図4に示した合成処理部22に出力する。
【0108】
ここで、図11に図10に示す復号部53の具体的な構成例を示す。
【0109】
図11において、背景符号化データである階層符号化されている背景画像差分データは、加算器61Bに供給される。加算器61Bには、さらに記憶部62Bに記憶された、既に復号されている1フレーム前の背景画像データも供給されるようになっている。加算器61Bは、入力された背景画像差分データに、記憶部62Bからの1フレーム前の背景画像データを加算することで、現フレームで必要な階層の背景画像データを復号する。この復号された背景画像データは、記憶部62Bに供給されて記憶された後に読み出され、加算器61Bに供給されるとともに図4に示す合成処理部22に送られる。
【0110】
オブジェクト符号化データである階層符号化されたオブジェクト画像差分データは、加算器61Fに供給される。加算器61Fには、さらに記憶部62Fに記憶された、既に復号されている1フレーム前のオブジェクト画像データも供給される。加算器61Fは、上記入力されたオブジェクト画像差分データに、記憶部62Fからの1フレーム前のオブジェクト画像データを加算することで、現フレームで必要な階層のオブジェクト画像データを復号する。この復号されたオブジェクト画像データは、記憶部62Fに供給されて記憶された後に読み出され、加算器61Fに供給されるとともに、図4に示す合成処理部22に送られる。なお、オブジェクトが複数存在する場合は、加算器61F及び記憶部62Fでは、複数のオブジェクトの差分データそれぞれに対して上述したように階層復号がなされる。
【0111】
付加情報符号化データである、前記可変長符号化された付加情報は、逆VLC部63に入力し、ここで可変長復号される。これにより、元の付加情報に復号され、合成処理部22に供給される。
【0112】
なお、前述した図7に示すローカルデコーダ44Bは、加算器61B及び記憶部62Bと同様に構成され、また、図7のローカルデコーダ44Fは、加算器61F及び記憶部62Fと同様に構成されている。
【0113】
次に、図4に示す受信装置2を構成する合成処理部22の具体的な構成を図12に示す。
【0114】
この図12において、図10に示した復号部53から出力された背景画像データは背景書き込み部71に入力し、オブジェクト画像データはオブジェクト書き込み部72に入力し、付加情報は背景書き込み部71とオブジェクト書き込み部72及び合成部77に入力する。
【0115】
背景書き込み部71は、供給された背景画像データを、背景メモリ73に順次書き込む。ここで例えば、前記送信装置1のビデオカメラ部6での撮影時に、パンニングやチルティングされて撮影が行われることによって背景に動きがあるような場合、背景書き込み部71は、付加情報に含まれる背景動きベクトルに基づいて背景の位置合わせを行った状態で、背景メモリ73への背景画像データの書き込みを行うようになされている。したがって、背景メモリ73は、1フレーム分の画像よりも空間的に広い画像のデータを記憶することができるようになされている。
【0116】
オブジェクト書き込み部72は、供給されたオブジェクト画像データを、オブジェクトメモリ75に、順次書き込む。なお、例えばオブジェクトが複数存在する場合、オブジェクト書き込み部72は、複数のオブジェクトの画像データそれぞれを、各オブジェクト毎にオブジェクトメモリ75に書き込む。また、オブジェクト書き込み部72は、同一のオブジェクトである後述する同一のオブジェクト番号が付されているオブジェクトの画像データの書き込みを行う場合、既にオブジェクトメモリ75に書き込まれているオブジェクト画像データに代えて、新しいオブジェクト画像データ、すなわち、新たに、オブジェクト書き込み部72に供給されるオブジェクト画像データを書き込むようになっている。
【0117】
さらに、オブジェクト書き込み部72は、空間解像度の高いオブジェクトを、オブジェクトメモリ75に書き込んだ場合、そのオブジェクトを構成する各画素に対応してオブジェクトフラグメモリ76のアドレスに記憶されるオブジェクトフラグを”0”から”1”にするようになっている。すなわち、オブジェクト書き込み部72は、オブジェクトメモリ75にオブジェクト画像データを書き込む際に、オブジェクトフラグメモリ76を参照するようになっており、オブジェクトフラグが”1”になっているオブジェクト、つまり既に空間解像度の高いオブジェクトの画像データが記憶されているオブジェクトメモリ75には、空間解像度の低いオブジェクト画像データの書き込みは行わないようになっている。したがって、オブジェクトメモリ75は、基本的に、オブジェクト書き込み部72にオブジェクト画像データが供給されるたびに、そのオブジェクト画像データが書き込まれるが、既に空間解像度の高いオブジェクト画像データが記憶されているオブジェクトメモリ75には、空間解像度の低いオブジェクト画像データの書き込みを行わない。その結果、オブジェクトメモリ75においては、オブジェクト書き込み部72に空間解像度の高いオブジェクト画像データが供給される毎に、空間解像度の高いオブジェクト画像の数が増加していくことになる。
【0118】
合成部77は、背景メモリ73に記憶された背景画像データから、現時点で表示を行うべきフレームである現フレームの背景画像を、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、その背景画像上に、オブジェクトメモリ75に記憶されたオブジェクト画像を、付加情報に含まれるオブジェクト動きベクトルに基づいて合成し、これにより、現フレームの画像を構成して、表示メモリ78に供給するようになっている。
【0119】
さらに、合成部77は、図4のクリックデータ入力部24から、クリックデータを受信した場合、そのクリックデータに含まれる注目点の座標位置を含むオブジェクト画像データを、オブジェクトメモリ75から読み出し、サブウインドウメモリ79に供給するようになっている。
【0120】
表示メモリ78は、いわゆるVRAM(Video Read Only Memory)として機能するメモリであり、合成部77からの現フレームの画像を一時記憶した後に読み出して図4の画像出力部23に供給する。また、サブウインドウメモリ79は、合成部77からのオブジェクト画像データを一時記憶した後読み出し、図4に示す画像出力部23に供給する。このとき、当該画像出力部23により駆動される表示部7上には、現フレームの画像と共に後述するサブウインドウが表示され、オブジェクト画像は当該サブウインドウ上に表示される。
【0121】
次に、図13のフローチャートを参照して、図12に示す合成処理部22で行われる合成処理について説明する。
【0122】
先ず最初に、オブジェクト書き込み部72は、ステップS31において、図10の復号部53から供給されたオブジェクト画像データを、オブジェクトフラグメモリ75に記憶されたオブジェクトフラグに基づいて、上述したようにして書き込む。
【0123】
すなわち、オブジェクト書き込み部72は、オブジェクトフラグメモリ76に記憶されているオブジェクトフラグを参照し、当該オブジェクトフラグが”0”になっている画素に対応するオブジェクトメモリ75のアドレスには、そこに供給されるオブジェクト画像データを書き込み、オブジェクトフラグが”1”になっている画素に対応するオブジェクトメモリ75のアドレスには、そこに供給されるオブジェクト画像データが、空間解像度の高いものである場合にのみ、その空間解像度の高いオブジェクト画像データを書き込む。
【0124】
なお、オブジェクトメモリ75の既にオブジェクト画像データが記憶されているアドレスに、オブジェクト画像データを書き込む場合には、その書き込みは、上書きする形で行われる。
【0125】
その後、ステップS32に進み、オブジェクト書き込み部72では、付加情報に、高解像度情報が含まれているかどうかが判定される。ステップS32において、付加情報に、高解像度情報が含まれていると判定された場合、すなわち受信装置2のユーザが図4のクリックデータ入力部24を操作することにより、送信装置1にクリックデータが送信され、これにより、前述したようにして送信装置1から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合、ステップ33に進み、オブジェクト書き込み部72において、オブジェクトフラグメモリ76の所定のオブジェクトフラグが”1”にされる。
【0126】
すなわち、送信装置1から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合には、ステップS31において、オブジェクトメモリ75に、その空間解像度の高いオブジェクト画像データが書き込まれる。このため、ステップS33では、その空間解像度の高いオブジェクト画像を構成する画素についてのオブジェクトフラグが”1”とされる。
【0127】
その後、ステップS34に進み、合成部77は、優先範囲内にあるオブジェクト画像データを、オブジェクトメモリ75から読み出し、サブウインドウメモリ79に書き込む。
【0128】
すなわち、ステップS32において、付加情報に高解像度情報が含まれていると判定される場合というのは、上述したようにユーザがクリックデータ入力部24を操作することにより、送信装置1にクリックデータが送信され、これにより、上述したようにして送信装置1から優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合である。また、送信装置1に送信されるクリックデータは、合成部77にも供給される。そこで、合成部77は、クリックデータを受信すると、ステップS34において、そのクリックデータに含まれる注目点の座標及びクリック時刻から、優先範囲を認識し、送信装置1から送信されてくる優先範囲内にある空間解像度の高いオブジェクトを、オブジェクトメモリ75から読み出し、サブウインドウメモリ79に書き込む。
【0129】
そして、ステップS35に進み、合成部77は、背景メモリ73に記憶された背景画像データの中から、現フレームの背景画像データを、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、現フレームに表示すべきオブジェクト画像データをオブジェクトメモリ75から読み出し、さらに、現フレームの背景画像データと、オブジェクトメモリ75から読み出したオブジェクト画像データとを、付加情報に含まれるオブジェクト動きベクトルに基づいて合成する。これにより、現フレームの画像を構成して、表示メモリ78に書き込む。すなわち、合成部77は、例えば表示メモリ78に対して、背景画像データを書き込み、その後、オブジェクト画像データを上書きすることで、背景画像とオブジェクト画像を合成した現フレームの画像データを、表示メモリ78に書き込む。
【0130】
以上のようにして、表示メモリ78に書き込まれた現フレームの画像データ、及びサブウインドウメモリ79に書き込まれたオブジェクト画像データは、図4の画像出力部23に供給され、表示部7に表示されることになる。
【0131】
一方、ステップS32において、付加情報に高解像度情報が含まれていないと判定された場合、すなわち受信装置2のユーザがクリックデータ入力部24を操作していない場合は、ステップS33及びS34の処理がスキップされ、ステップS35に進み、上述したように合成部77において背景メモリ73から現フレームの背景画像データが読み出されるともに、オブジェクトメモリ75から必要なオブジェクト画像データが読み出され、現フレームの背景画像とオブジェクトメモリ75から読み出したオブジェクト画像とが、付加情報にしたがって合成される。これにより、現フレームの画像データが構成され、表示メモリ78に書き込まれる。そして、ステップS31に戻り、以下、同様の処理が繰り返される。
【0132】
以上のような合成処理によれば、受信装置2のユーザがクリックデータ入力部24を操作していない場合、すなわちクリックデータ入力部24にてクリックが行われていない場合には、図14Aに示すように、表示部7の表示画面上には空間解像度の低い画像がデフォルトの時間解像度で表示される。なお、図14Aにおいては、空間解像度の低い背景画像の上を、空間解像度の低いオブジェクト画像が、右方向に移動しているときの画像例を示している。
【0133】
そして、受信装置2のユーザが、クリックデータ入力部24を操作して、カーソルをオブジェクト画像上に移動させ、その位置でクリックを行うと、上述したように、送信装置1にクリックデータが送信され、送信装置1では、そのクリックデータに基づいて特定した優先範囲の画像を、空間解像度の高い画像として表示するためのデータが、時間解像度を犠牲にして送信されてくる。その結果、図14Bに示すように、表示部7の表示画面上には、時間解像度は低いが、クリックが行われている位置を中心とする優先範囲内にあるオブジェクト画像の空間解像度が徐々に向上していく画像が表示される。すなわち、表示される画像は、クリックが行われている時間に応じて、優先範囲内の画像の空間解像度が徐々に向上していく。
【0134】
さらに、この場合、表示部7上には、図14Bに示すように、サブウインドウがオープンされ、そのサブウインドウにクリックが行われている位置を含んで抽出された優先範囲内にあるオブジェクトの空間解像度が徐々に向上するような表示がなされる。
【0135】
その後、受信装置2のユーザが、クリックデータ入力部24によるクリックを停止すると、合成部77は、上述したようにステップS35において背景メモリ73から現フレームの背景画像データを読み出すともに、オブジェクトメモリ75からオブジェクト画像データを読み出し、現フレームの背景画像データとオブジェクト画像データとを、付加情報にしたがって合成し、表示メモリ78に書き込む。上述したように、クリックされることにより空間解像度が高くなったオブジェクト画像データは、そのままオブジェクトメモリ75に記憶され続けるので、表示部7においては、図14Cに示すように、クリックされることにより空間解像度が高くなったオブジェクト画像が、付加情報の動きベクトルに基づいて移動し、現フレーム上で表示されるべき位置に表示される。
【0136】
したがって、受信装置2のユーザは、詳細を見たいオブジェクト画像が表示されている位置でクリックを行うことにより、空間解像度が高くなったオブジェクト画像を見ることが可能となる。すなわち、オブジェクトの詳細な画像を見ることが可能となる。
【0137】
なお、背景画像データは、上述したように背景メモリ73に記憶されるので、送信装置1においては一度送信した空間解像度の低い背景を送信する必要はなく、従って、その分の伝送レートを、より空間解像度の高いオブジェクト画像データの送信に優先的に割り当てることが可能である。
【0138】
また、上述の場合においては、クリックされることにより空間解像度が高くなったオブジェクト画像データを、オブジェクトメモリ75に記憶しておき、クリックが停止された後は、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたため、受信装置2において表示されるオブジェクト画像は、空間解像度の高いものとなるが、このときのオブジェクト画像には、送信装置1で撮影されたオブジェクト画像の状態の変化は反映されないことになる。
【0139】
そこで、クリックが停止された後は、オブジェクトフラグを無視し、図11に示す復号部53の記憶部62Fに記憶されたオブジェクト画像データを、オブジェクトメモリ75に記憶された高い空間解像度であるオブジェクト画像データに対して上書きすることが可能である。すなわち、復号部53の記憶部62Fには、送信装置1から送信されてくるオブジェクト画像データが順次記憶されるから、そのオブジェクト画像データを、オブジェクトメモリ75に書き込むことで、上述したようにして表示部7に表示される画像のうちのオブジェクト画像は、送信装置1で撮影されたオブジェクトの状態の変化が反映されたものとなる。但し、表示されるオブジェクト画像は、空間解像度の低いものとなる。
【0140】
次に、図15を参照して、送信装置1から、伝送路を介して、受信装置2に送信される画像の空間解像度と時間解像度との関係について説明する。
【0141】
なお、伝送路の伝送レートはR[bps]とし、さらに、ここでは、背景画像と3つのオブジェクト画像#1乃至#3からなるデータを送信するとする。また、ここでは、説明を簡単にするために、付加情報は考えないこととし、さらに、背景画像、オブジェクト画像#1乃至#3それぞれを、ある空間解像度で表示するためには、同一のデータ量のデータが必要であるとする。
【0142】
この場合、送信装置1では、受信装置2でクリックが行われていない場合、図15Aに示すように、背景画像、オブジェクト画像#1乃至#3それぞれが、伝送レートRを4等分したレートR/4[bps]で送信される。なお、通常の時間解像度が1/Tフレーム/秒であるとすると、送信装置1は、背景画像、オブジェクト画像#1乃至#3それぞれの1フレーム分のデータの送信を、長くてもT秒で完了することができるように行う。したがって、この場合、受信装置2では、1フレーム当たりT×R/4ビットのデータで得られる空間解像度の背景画像、オブジェクト画像#1乃至#3がそれぞれ表示される。
【0143】
そして、ある時刻t1において、例えばオブジェクト画像#1の位置で、ユーザがクリックを行うと、送信装置1は、例えば図15Aに示すように、背景画像並びにオブジェクト画像#2及び#3のデータ送信を例えば停止し、オブジェクト画像#1のみを、伝送路の伝送レートRすべてを用いて送信する。その後、時刻t1から時間4Tだけ経過した時刻t2において、ユーザがクリックを停止したとすると、送信装置1は、再び、背景画像、オブジェクト画像#1乃至#3それぞれを、伝送レートR/4で送信する。
【0144】
したがって、クリックが行われている間においては、オブジェクト画像#1については、4T×Rビットのデータが送信されるので、クリックが行われている間の時間解像度を0フレーム/秒とすると、受信装置2では、1フレーム当たり4T×Rビットのデータで得られる空間解像度のオブジェクト画像#1が表示される。すなわち、水平方向及び垂直方向の空間解像度を同じだけ向上させた場合、受信装置2では、時間解像度は0フレーム/秒になるが、ユーザがクリックしたオブジェクト画像#1については、水平方向及び垂直方向の両方の空間解像度が、クリックが行われる前の4倍(=√(4T×R/(T×R/4ビット)))となったものが表示されることになる。
【0145】
このように、時間解像度を犠牲にすることにより、空間解像度をより向上させることができ、更に時間解像度を犠牲にしない場合に比較して、ユーザが注目しているオブジェクト画像の空間解像度を、より迅速に向上させることができる。
【0146】
なお、図15Aに示す例では、オブジェクト画像#1のクリックが行われている間、背景画像並びに他のオブジェクト画像#2及び#3のデータの伝送レートを0フレーム/秒としてそれらを完全に送信しないようにしたが、例えば図15Bに示すように、オブジェクト#1のデータの送信には高い伝送レートを割り当て、背景画像並びに他のオブジェクト画像#2及び#3のデータの送信には、低い伝送レートを割り当てるようにすることも可能である。
【0147】
また、クリックが行われても、背景画像、オブジェクト画像#1乃至#3それぞれの送信に割り当てる伝送レートは、R/4のまま変えないことも可能である。すなわち、この場合は、時間解像度を犠牲にして、空間解像度を向上させるため、伝送レートの割り当てを変えなくても、時間は要するようになるが、空間解像度を向上させることができる。
【0148】
上述したように、クリックされることにより空間解像度が高くなったオブジェクト画像を、オブジェクトメモリ75に記憶しておき、クリックが停止された後に、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたが、この空間解像度の高いオブジェクト画像を、背景画像のどの位置に貼り付けるかは、その後に送信装置1から送信されてくる、そのオブジェクトについての付加情報に含まれるオブジェクト動きベクトルに基づいて決定される。
【0149】
したがって、受信装置2は、あるフレームのオブジェクト画像が、そのフレームに隣接するフレームのどのオブジェクト画像に対応するのかということを認識する必要があり、送信装置1のオブジェクト抽出部14は、オブジェクトの抽出にあたり、受信装置2が、そのような認識を行うための情報を付加するようにもなっている。
【0150】
次に、送信装置1の前処理部12において、受信装置2から供給されたクリックデータ、すなわちユーザの指示データに基づく興味対象領域であるオブジェクト画像の抽出及び受信装置2のユーザの興味の変化の検出を実現可能とする。
【0151】
ここで、第1の実施例及びその動作について説明する。なお、本実施例では、ユーザの指示データに基づく興味対象領域の抽出とその変化の検出を、図1のシステムの送信装置1側で行う場合を例に挙げる。
【0152】
図2に示す前処理部12のオブジェクト抽出部14において、受信装置2から送信されてきたクリックデータに基づいて、撮影画像中から受信装置2のユーザが注目しているオブジェクト画像(興味対象領域)を抽出する本発明が適用された画像処理装置の第1の実施例を図16に示す。
【0153】
図16に示す画像処理装置は、例えば受信装置2のユーザが画像を見ながら指示(クリック)することにより得られた指示データ(クリックデータ)を受け取り、そのクリックデータに基づいて画像からオブジェクトを抽出する。
【0154】
上述のようにユーザのクリックデータに基づいてオブジェクト抽出を行う際に、その入力がなされた時点のクリックデータだけでなく、各時点でのクリックデータを蓄積し、その蓄積したクリックデータと現時点でのクリックデータを用いることにより、受信装置2のユーザからの要求の予測をも可能としている。ここで、クリックデータとは、クリックの位置情報と、クリックの時刻情報を含むものである。
【0155】
但し、単純にクリックデータを蓄積して行くだけでは、その蓄積されたクリックデータが平均化されてしまい、徐々に有意な情報が得られなくなる。したがって、ユーザからの要求予測を正確に行うためには、上記蓄積されたクリックデータの中から、現在の段階で必要なクリックデータ、すなわち、有意なクリックデータのみを抽出することが必要になる。
【0156】
そこで、蓄積されたクリックデータの中から有意なクリックデータのみを抽出するために、オブジェクトの複数の特徴量を比較し、その比較に基づいて有意なクリックデータを抽出すること、すなわち、蓄積された各クリックデータの優位性を判断し、その優位性に応じたクリックデータを用いてオブジェクトの抽出を行うようにしている。言い換えれば、ユーザによるクリックデータに基づいて作成されるオブジェクト画像を、オブジェクト画像データの特徴量に基づいて、より適切なオブジェクトに統合或いは分割して再構築すること、つまり、オブジェクト画像データの所定の特徴量に基づいてクリックデータの優位性を判断し、その優位性に応じたクリックデータに対応するようにオブジェクト画像の統合或いは分割による再構成を行うようにしている。但し、特徴量の比較方法はユーザのクリックデータをどのように用いるかによって異なる。
【0157】
すなわち、オブジェクト画像の再構築の際には、例えば、上述のクリックデータに対応する小オブジェクトの連結を間違えるおそれや、また誤った小オブジェクトへの分割を行ってしまうおそれがあるが、本実施例の画像処理アルゴリズムでは、オブジェクト画像データの複数の特徴量のうち所定の特徴量に基づいて、各単位時間毎に小オブジェクト画像データの連結、分割の妥当性を検証することにより、それら連結と分割を適正に行いオブジェクト画像データを生成し、オブジェクト画像を得るようにしている。
【0158】
本実施例の画像処理装置は、このように各小オブジェクト画像データの所定の特徴量を用いて再構築されたオブジェクト画像データ単位での処理を行うことで、より適切なオブジェクト画像の抽出を行い得るようになっている。
【0159】
ここで、小オブジェクト画像データ毎の所定の特徴量の一例として、小オブジェクトオブジェクト画像データに対応する動きを例に挙げている。すなわち、上述のような小オブジェクト画像データの連結や分割の際に問題となるのは、いわゆるトラッキングの場合であり、トラッキングを行いながらオブジェクト画像の張り付けを行う場合、一体と考えられる複数の小オブジェクト画像は、同一の動きをするはずである。したがって、例えば2つの小オブジェクト画像が同一の動きをしているならば、その2つの小オブジェクト画像を同一のものとして扱ってよく、それら2つの小オブジェクト画像を連結してもよい。一方、それら2つの小オブジェクト画像の動きが異なる場合には、それら2つの小オブジェクト画像を同一のオブジェクト画像として処理を行うと矛盾を生じるため、それら2つの小オブジェクト画像は分離すべきである。
【0160】
このようなことから、同一の動き、言うなれば剛体動きを行っている小オブジェクト画像同士を同一のオブジェクト画像として連結処理し、一方、異なる動きを行っている小オブジェクト画像については分離することで、矛盾のない連結、分割処理を実現し、オブジェクト画像データの最適な利用を可能にしている。
【0161】
以上のように、受信装置2のユーザからのクリックデータを用いてオブジェクト画像を抽出する共に、オブジェクト画像の所定の特徴量、ここでは動きに応じたオブジェクトの連結、分割による再構成を行うことにで、より適切なオブジェクト画像の抽出を行い得るようになっている。
【0162】
さらに、受信装置2のユーザによる指示データの時間間隔であるクリック時間間隔に基づいて、ユーザの興味の変化をも検出可能としている。
【0163】
すなわち、ユーザが画像を見る場合には、ある程度意味を持った領域単位で見るということが解析により判っている。また、本実施例のシステムにおいて、ユーザがその興味を持った画像領域の高画質化を望む場合、ユーザはその興味のある画像領域をクリックすることになる。ここで、正しくオブジェクト画像の抽出がなされた場合には、非常に効果的に高画質な画像の提示が可能になるが、間違った抽出がなされた場合には破綻を生じ、むしろ逆効果になる。特に、ユーザの興味の対象が変化したような場合には、高画質化するオブジェクト画像を、当該変化以前のオブジェクト画像から、その新たな興味の対象となされたオブジェクト画像へ変更することになる。したがって、ユーザの興味の対象が変化したときには、そのユーザの興味の変化をどのようにして検知するかが問題となる。
【0164】
そこで、本実施例では、ユーザが一つの興味ある領域を連続的に指示している場合の指示に要する時間と比べて、他の領域へ興味が遷移する場合の指示に要する時間が長くなることを利用し、受信装置2のユーザからの指示であるクリックデータの時間間隔を計測することにより、ユーザの興味の変化を検出可能としている。
【0165】
以下、上述したことを実現する図16に示すオブジェクト抽出部について説明する。
図16において、画像入力部11は、図2に示す画像入力部11に対応し、例えばビデオカメラやビデオ入力端子等からなり、所定時間毎に画像データを取得して特徴量抽出部91と抽出部83、プロセッサ92に送る。
【0166】
指示取得部85は、受信装置2のユーザによるクリックデータを取得し、そのユーザからのクリックデータと当該ユーザによる入力イベントの発生を示す信号であるクリック入力が行われたことを示す信号とを、プロセッサ92に送る。また、指示取得部85からのクリックデータは、データ蓄積部93を介して経過時間計算部86に送られると共に、データ蓄積部93に蓄積される。
【0167】
経過時間計算部86では、指示取得部85から供給された現在のクリックデータと、データ蓄積部93に蓄積されている過去のクリックデータとを比較し、それらの時間間隔を算出する。すなわち、経過時間計算部86では、各クリックデータに含まれるクリックの時刻情報より受信装置2のユーザによる指示であるクリックの時間間隔を算出する。経過時間計算部86により求められた時間間隔データは、プロセッサ92に送られる。
【0168】
プロセッサ92は、各部の全ての処理を統括制御する。
【0169】
ここで、プロセッサ92は、指示取得部85からクリック入力イベントが供給されると、その入力イベントと共に供給されるクリックデータに対応した小オブジェクト画像を決定すると共に、上記経過時間計算部86からの時間間隔データとデータ蓄積部93から読み出した過去のクリックデータを元に、受信装置2のユーザの興味対象となっているオブジェクト画像が変化したかを判断する。
【0170】
このとき、例えば時間間隔データが所定の閾値を超えず、ユーザの興味の対象となっているオブジェクト画像が変化していないと判断した場合、プロセッサ92は、前記オブジェクト決定に際し、データ蓄積部93に蓄積されている過去のクリックデータを十分用いてオブジェクト画像の決定を行う。すなわち、指示取得部85から供給された現在のクリックデータにより決定した小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像である小オブジェクト画像あるいは小オブジェクト画像の集合であるオブジェクト画像とを同一のオブジェクト画像として連結する。すなわち、プロセッサ92は、データ蓄積部93に、現在のクリックデータの位置情報及び時刻情報と共に、その現在のクリックデータに対応する小オブジェクト画像が、過去のクリックデータと同一のオブジェクト画像に属するとして、過去のクリックデータに対応して付される識別子情報と同一の識別子情報を現在のクリックデータに対応させて蓄積する。
【0171】
一方、例えば時間間隔データが所定の閾値を超えて、受信装置2のユーザの興味の対象となっているオブジェクト画像が変化したと判断した場合、プロセッサ92は、オブジェクト画像の決定に際し、データ蓄積部93に蓄積されている過去のクリックデータを用いずに、新たに入力されたクリックデータを用いたオブジェクト画像の決定を行う。すなわち、指示取得部85から供給された現在のクリックデータにより決定した小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像、すなわち、小オブジェクト画像或いは小オブジェクト画像の集合であるオブジェクト画像とは異なるオブジェクトであるとして連結しないようにする。すなわち、プロセッサ92は、データ蓄積部93に現在のクリックデータの位置情報及び時刻情報と共に、その現在のクリックデータに対応する小オブジェクト画像が、過去のクリックデータとは異なるオブジェクト画像に属するとして、過去のクリックデータに対応して付される識別子情報とは異なる識別子情報を現在のクリックデータに対応させて蓄積する。
【0172】
プロセッサ92は、オブジェクト画像の連結、非連結を表す連結情報、非連結情報をデータ蓄積部93に蓄積させる。これが、上述の識別子情報に対応する。
【0173】
また、プロセッサ92は、指示取得部85からクリック入力イベントが供給されると、オブジェクト画像の決定と共に、そのオブジェクト画像データの所定の特徴量(動き)を抽出するための特徴量抽出要求信号と、その時点でのクリックデータに対応した所定のパラメータ、例えばオブジェクトを表す位置データなどを特徴量抽出部91に対して送る。
【0174】
特徴量抽出部91は、プロセッサ92から特徴量抽出要求信号が供給されると、それと同時に送られてくるパラメータであるオブジェクト画像に対応するオブジェクトの動きを計算するための位置のデータなどに応じて、画像データから各小オブジェクト画像データの所定の特徴量である動きを抽出し、その抽出したオブジェクトの特徴量データをプロセッサ92に送る。また、プロセッサ92は、各小オブジェクト画像データについての特徴量データを、その小オブジェクト画像データに対応させてデータ蓄積部93に蓄積させる。すなわち、データ蓄積部93は、小オブジェクト画像データに対応するクリックデータに対応させて特徴量データを蓄積する。
【0175】
一方、指示取得部85からクリック入力イベントがない場合、プロセッサ92は、特徴量抽出部91に対して、ある時間毎に、各小オブジェクト画像データについて特徴量の抽出を要求する特徴量抽出要求信号と、それら各小オブジェクト画像データ特徴量抽出のためのパラメータを送信する。これにより、特徴量抽出部91では、それらの時間毎の各小オブジェクト画像データが、画像データより抽出され、それらの各時間毎に抽出された各小オブジェクト画像データの特徴量データがプロセッサ92に供給されることになる。これら各小オブジェクト画像データについての特徴量データは、その小オブジェクト画像データに対応させてデータ蓄積部93に蓄積される。すなわち、データ蓄積部93は、小オブジェクト画像データに対応するクリックデータに対応させて特徴料データを蓄積する。
【0176】
なお、上述のように、特徴量抽出部91では、クリック入力イベントの有無に応じて異なる特徴量を計算することになるが、この部分における処理は同一(同じ特徴量を求めるもの)であってもよい。また。データ蓄積部93は、外部プロセッサ94からの要求に応じて、蓄積しているデータを送信することも可能となされている。
【0177】
さらに、プロセッサ92は、指示取得部85からクリック入力イベントがない場合、各時点において取得した各小オブジェクト画像データの特徴量データと、既に蓄積している各小オブジェクト画像データの特徴量データとを用いて、現時点における特徴量データの特性が過去のものから変化していないか検証、すなわち、現時点での妥当性の判断をし、その検証結果に応じて、各小オブジェクト画像を連結すべきか或いは分離すべきかを判断すると共に、データの特性が変化している場合にはデータ蓄積部93に蓄積されている各小オブジェクト画像の連結・分離に関する情報、すなわち連結情報又は非連結情報の更新或いは消去を行う。
【0178】
すなわち、プロセッサ92は、指示取得部85からクリック入力イベントがない場合に、各時間毎に抽出された各小オブジェクト画像データの特徴量データと既に蓄積されている各小オブジェクト画像データの特徴量データとを比較し、その比較結果に基づいて、複数の小オブジェクト画像を連結すべきか或いは分離すべきかの判断を行う。
【0179】
具体的に説明すると、例えば2つの小オブジェクト画像の動き(特徴量)がそれぞれ同一である場合、それら2つの小オブジェクト画像を連結すべきと判断し、一方、2つの小オブジェクト画像の動きがそれぞれ異なる場合、それら2つの小オブジェクト画像は連結せずに個々のオブジェクト画像とすべきと判断する。
【0180】
ここで、2つの小オブジェクト画像について連結すべきと判断した場合、プロセッサ92は、それら2つの小オブジェクト画像を連結することを表す連結情報を蓄積データの一つとして、データ蓄積部93に蓄積させる。既に2つのオブジェクトが連結されているときには、その連結情報をそのまま維持する。この連結情報は、上述の識別子情報である。
【0181】
また、個々に別個のオブジェクト画像であると判断されている小オブジェクト画像については、それら2つの小オブジェクト画像が個別のオブジェクト画像である旨の非連結情報を蓄積データの一つとして、データ蓄積部93に蓄積させる。なお、それら2つの小オブジェクト画像が既に非連結オブジェクトであるとされているときには、その情報をそのまま維持する。
【0182】
一方、当初は同一小オブジェクト画像であると判断されて連結することになされた2つの小オブジェクト画像が、その後、異なる動きをするようになった場合、プロセッサ92は、それら2つの小オブジェクト画像を分離すべきと判断する。このように、当初は同一のオブジェクト画像であったものを2つに分離すべきと判断した場合、プロセッサ92は、それら2つの小オブジェクト画像を連結するとした連結情報をデータ蓄積部93から消去し、各小オブジェクト画像を個別のオブジェクト画像とする旨の非連結情報に更新する。
【0183】
以上のように、プロセッサ92は、指示取得部85からのクリックデータとデータ蓄積部93に蓄積された過去のクリックデータ、経過時間計算部86からのクリックの時間間隔データに基づいてオブジェクトの決定とその連結、非連結を決定すると共に、各オブジェクト画像の特徴量(動き)に基づいてそれらオブジェクトの連結・分離をも判断する。
【0184】
プロセッサ92は、上述のようにして決定されたオブジェクトを画像データから抽出するための制御信号を、抽出部83に送信する。すなわち、プロセッサ92には、画像入力部11からの画像データが入力されており、画像データからオブジェクトの位置や形状を求め、それらオブジェクトの位置や形状を表す信号を制御信号として抽出部83に送る。
【0185】
抽出部83には、画像入力部11からの画像データが入力されており、プロセッサ92からのオブジェクトの位置や形状を表す信号に基づいて、画像データからオブジェクト画像を抽出する。この抽出されたオブジェクト画像データは、図2に示す前処理部12のオブジェクト抽出部14の出力となる。
【0186】
次に、図16に示したオブジェクト抽出部の全体の処理の流れを図17を参照して説明する。
【0187】
図17において、指示取得部85では、ステップS41において、受信装置2のユーザから指示イベント、すなわちクリック入力イベントが送信されてきたか否か検出しており、イベント入力がなされた場合、その旨の信号をプロセッサ92に送る。プロセッサ92は、指示取得部85からクリック入力イベントが供給されたか否かを見ることで、受信装置2のユーザによる指示イベントであるクリック入力イベントがなされたか否かの判断を行っている。このステップS41の処理において、イベントの入力が有ったと判断した場合はステップS42の処理に進み、無いと判断した場合はステップS47の処理に進む。
【0188】
ステップS42の処理に進むと、プロセッサ92では、経過時間計算部86からの時間間隔データとデータ蓄積部93からの過去のクリックデータとを用いて、受信装置2のユーザが同一オブジェクトを指示しているか否か判定する。すなわち、プロセッサ92は、時間間隔データが所定の閾値を超えたとき、受信装置2のユーザの興味対象のオブジェクト画像が変化し、ユーザは別のオブジェクト画像をクリックしたと判定してステップS44の処理に進み、一方、時間間隔データが所定の閾値を超えていないとき、すなわち閾値以内のとき、受信装置2のユーザの興味対象のオブジェクト画像は変化しておらず、ユーザは同一のオブジェクト画像をクリックしていると判定してステップS43の処理に進む。
【0189】
ステップS43の処理に進むと、プロセッサ92は、オブジェクト画像の決定に際し、データ蓄積部93に蓄積されている過去のクリックデータを十分用いてオブジェクトの決定を行うこと、すなわち、指示取得部85から供給された現在のクリックデータに対応する小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像とを同一のオブジェクト画像として連結する。
【0190】
一方、ステップS44の処理に進むと、プロセッサ92は、オブジェクト画像の決定に際し、データ蓄積部93に蓄積されている過去のクリックデータを用いずに、新たに入力されたクリックデータを用いてオブジェクト画像の決定を行う。すなわち、指示取得部85から供給された現在のクリックデータに対応する小オブジェクト画像と、過去のクリックデータにより決定されているオブジェクト画像とは異なるオブジェクトであるとして、連結しないようにする。
【0191】
これらステップS43、ステップS44の処理後、データ蓄積部93には、プロセッサ92の制御の元で、それら小オブジェクト画像毎のクリックデータと各小オブジェクト画像毎の連結情報、非連結情報の蓄積がなされる。
【0192】
また、ステップS41において、受信装置2のユーザから指示イベントの入力が無いと判断されてステップS47の処理に進むと、プロセッサ92は、特徴量抽出部91に対して、ある時間毎に各小オブジェクト画像データについて特徴量を抽出させると共に、データ蓄積部93に蓄積されている各小オブジェクト画像データの特徴量データを用いて、それらの特徴量データの特性が変化していないか検証し、その検証結果に応じて、各小オブジェクト画像を連結すべきか或いは分離すべきかを判断する。
【0193】
次のステップS48に進むと、プロセッサ92は、ステップS47にてデータの特性が変化しているとされた各小オブジェクト画像について、データ蓄積部93に蓄積されているそれら各小オブジェクト画像の連結・分離に関する情報の更新或いは消去等の最適化処理を行う。
【0194】
すなわち、2つの小オブジェクト画像の特徴量(動き)がそれぞれ同一である場合、プロセッサ92は、それら2つの小オブジェクト画像を連結するための連結情報を蓄積データの一つとしてデータ蓄積部93に蓄積させる。なお、既に2つの小オブジェクト画像が連結されているときには、その連結情報をそのまま維持する。一方、当初は同一のオブジェクト画像となされた2つの小オブジェクト画像が異なる動きをするようになった場合、プロセッサ92は、同一のオブジェクト画像であったものを2つに分離し、それら各小オブジェクト画像の連結情報をデータ蓄積部93から消去すると共に非連結情報への更新を行う。
【0195】
ステップS48とステップS45の処理後、プロセッサ92は、オブジェクトの位置や形状を表す信号を抽出部83に送った後、ステップS46として終了判定を行い、終了しないときはステップS41の処理に戻る。
【0196】
次に、図17のステップS42の処理の詳細な流れを図18を参照して説明する。
図18において、図17のステップS42の処理に進むと、指示取得部85は、現在のクリックデータを取得し、そのクリックデータをデータ蓄積部93を介して経過時間計算部86に送る。この時、経過時間計算部86は、ステップS52として、データ蓄積部93から過去のクリックデータを取得する。このとき、クリックデータには、クリックされた画像の位置を示す位置情報及びクリックの時刻を示す時刻情報が含まれるとする。更に、ステップS53として、指示取得部85からの現在のクリックデータの時刻情報とデータ蓄積部93からの過去のクリックデータの時刻情報とからクリック時間間隔を計算する。この時間間隔データはプロセッサ92に送られる。
【0197】
プロセッサ92は、ステップS54として、経過時間計算部86からの時間間隔データより、その時間間隔は閾値以下か否か判定する。ここで、閾値以下であるとき、プロセッサ92は、ステップ43に対応するステップS55の処理として、受信装置2のユーザの興味対象は変化せずに興味が持続しているとし、現在のクリックデータに対応する小オブジェクト画像に対する連結情報を生成する。すなわち、複数の小オブジェクト画像に各々付されている識別子情報(連結情報)は、それらの複数の小オブジェクト画像が同一のオブジェクト画像か否かを示す。よって、興味が持続していると判断された場合の小オブジェクト画像には過去にクリックされた小オブジェクト画像に対する識別子番号と同一の識別子番号が付されている小オブジェクト画像(クリックデータ)の位置情報、時刻情報がデータ蓄積部93に蓄積される。一方、閾値を超えたとき、プロセッサ92は、ステップ44に対応するステップS56として、受信装置2のユーザの興味対象が変化したとし、過去にクリックされた小オブジェクト画像に対する識別子番号とは異なる識別子番号が付されて小オブジェクト画像(クリックデータ)の位置情報、時刻情報がデータ蓄積部93に蓄積される。
【0198】
次に、図17のステップS47、S48の処理の詳細な流れを図19を参照して説明する。
【0199】
この図19において、図17のステップS47の処理に進むと、プロセッサ92は、先ず、ステップS61として、データ蓄積部93に蓄積されているオブジェクトの連結に関する情報を取得する。すなわち、データ蓄積部93では、複数の小オブジェクト画像に対して同一の識別子番号などが付されることにより、これら複数の小オブジェクト画像が同一オブジェクト画像であることを示すように構成されている。
【0200】
ステップS62の処理に進むと、特徴量抽出部91では、プロセッサ92の制御の元で、小オブジェクト画像(要素)毎に特徴量(動き)を求め、その特徴量データをプロセッサ92に送る。
【0201】
特徴量データを受け取ると、プロセッサ92は、ステップS63として、小オブジェクト画像がそれぞれ同一の特徴量、すなわち、ある範囲内に入っている動きを持つか否か判定し、同一の特徴量を持つと判定した場合はそれら2つの小オブジェクト画像の連結情報を蓄積し、既に連結されているときはそれを維持する。すなわち、各小オブジェクト画像(クリックデータ)に付されている識別子番号を変更しない。この処理が、ステップ48に対応する。
【0202】
一方、ステップS63にて、異なる特徴量を持つと判定した場合はステップS64の処理に進む。ステップS64に進むと、プロセッサ92は、それら小オブジェクト画像は異なるとして、小オブジェクト画像の分割を行う。例えば、当初は同一のオブジェクト画像となされた2つのオブジェクトが異なる動きをするようになった場合、プロセッサ92は、ステップS64において、当該同一のオブジェクト画像であったものを2つに分離し、その後、プロセッサ92では、ステップS48において、それら各小オブジェクト画像の連結情報をデータ蓄積部93から消去すると共に非連結情報への更新を行う。すなわち、別の特徴量と判断された小オブジェクト画像(クリックデータ)に対しての新たな識別子番号を付す。この処理がステップ48に対応する。
【0203】
図16の構成では、図17の処理に代えて、図20に示すような流れの処理を行うことも可能である。なお、この図20において、図17の同一の処理ステップには同じ指示符号を付して、それらの説明は省略する。以下、図17の処理とは異なる部分のみ説明する。
【0204】
この図20において、ステップS41にて指示イベントの入力が有りと判定されると、ステップS71の処理に進む。
【0205】
ステップS71の処理に進むと、プロセッサ92では、受信装置2から送られてきているクリックデータに対応する小オブジェクト画像に動きがあるか、或いは静止しているかの静動判定を行い、また、そのクリックデータが連続的なクリックであるか否かの連続クリック判定を行う。より具体的に説明すると、小オブジェクト画像のフレーム間差分値が所定の閾値以下であるときは小オブジェクト画像内のオブジェクトは静止と判定し、所定の閾値以上であるときには動きと判定し、さらにクリックの時間間隔が所定時間以内であるとき連続クリックであると判定する。このステップS71の静動判定及び連続クリック判定において、過去のクリックデータに対応する小オブジェクト画像が静止オブジェクト画像で、現在のクリックデータが連続クリックであり且つ静止オブジェクトであると判定された場合には、ステップS73に進み、それら静止オブジェクトが同一のオブジェクトであるとして、現在の小オブジェクト画像に対応する識別子情報を過去のオブジェクト画像に対応する識別子情報と同一にすることにより連結する。また、ステップS71において、過去のクリックデータに対応する小オブジェクト画像が動きオブジェクトで、現在のクリックデータが連続クリックであり且つ動きオブジェクトであると判定された場合には、ステップS72に進み、それら動きオブジェクトが同一のオブジェクトであるとして、現在の小オブジェクト画像に対応する識別子情報と同一にすることにより連結する。一方、ステップS71において現在のクリックデータが不連続クリックであると判定された場合、或いは過去のクリックデータに対応する小オブジェクト画像の静動判定が異なる場合には、ステップS44に進み、それらオブジェクトは異なるオブジェクトとして、現在の小オブジェクト画像に対応する識別子情報を過去のオブジェクト画像に対応する識別子情報とは異ならせることにより非連結処理する。これらステップS72、S73、S44の後は、ステップS45の処理に進む。
【0206】
以上のように、ユーザが注目している興味対象領域(オブジェクト)を正確に特定する、すなわち、連結すべきものは連結し、分割すべきものは分割できるだけでなく、ユーザの興味の対象となる画像領域が変化した場合でも、その変化を検出可能となる。
【0207】
なお、上述の説明では、図1に示す通信システムに図16に示す構成を適用した例を挙げたが、オブジェクトの抽出や興味対象の変化検出の処理は、図1に示すシステムに限らず、画像中から興味対象領域を抽出したりその変化を検出したりする様々な用途に適用可能であることは言うまでもない。例えば、図16の構成は単独でも構成可能であり、入力画像から所定の領域、例えばユーザの興味対象領域を抽出、連結、分離等を行うもの、及び、そのユーザの興味対象領域の変化検出を行うもの全てに適用可能である。また、特徴量も、動きに限らず、例えば画像の輝度のヒストグラム、標準偏差、変形、色などを用いることができる。
【0208】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送信装置1や受信装置2に組み込まれているコンピュータや、汎用のコンピュータ等にインストールされる。
【0209】
上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる、そのプログラムが記録されている記録媒体について説明する。
【0210】
上述した処理を実行するプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスクや半導体メモリに予め記録しておくことができる。また、当該プログラムは、フロッピィディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magneto optical)ディスク、DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどの記録媒体に、一時的あるいは永続的に格納しておくことができる。
【0211】
なお、このプログラムは、上述したような記録媒体からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、当該コンピュータにおいて、内蔵するハードディスクなどにインストールするようにすることができる。
【0212】
また、本発明において、各種の処理を行うためのプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理、例えば、並列処理あるいはオブジェクトによる処理も含むものである。
【0213】
上述した一連の処理を実行するプログラムを実行するコンピュータとして、図21に示すように構成したものを用いることができる。
【0214】
図21に示すコンピュータは、CPU(Central Processing Unit)142を内蔵している。CPU142には、バス141を介して、入出力インタフェース145が接続されており、CPU142は、入出力インタフェース145を介して、ユーザによって、キーボードやマウス等で構成される入力部147が操作されることにより指令が入力されると、それにしたがって、半導体メモリに対応するROM(Read Only Memory)143に格納されているプログラムを実行する。また、CPU142は、ハードディスク102に格納されているプログラム、衛星若しくはネットワークから転送され、通信部148で受信されてハードディスク102にインストールされたプログラム、又はドライブ149に装着されたフロッピディスク、CD−ROM、MOディスク、DVD、若しくは磁気ディスクから読み出されてハードディスク102にインストールされたプログラムを、RAM(Random Access Memory)144にロードして実行する。そして、CPU142は、その処理結果を、例えば、入出力インタフェース145を介して、LCD(Liquid CryStal Display)等で構成される表示部146に、必要に応じて出力する。
【0215】
なお、本発明において、送信装置1において階層符号化を行い、どの階層のデータまでを送信するかによって、受信装置2で表示される画像の時間解像度及び空間解像度を変えるようにしたが、受信装置2で表示される画像の時間解像度及び空間解像度の変更は、その他、例えば、送信装置1において、画像を離散コサイン変換するようにして、どの次数までの係数を送信するかや、あるいは、量子化を行うようにして、その量子化ステップを変更すること等によって行うことも可能である。
【0216】
また、時間解像度及び空間解像度の変更は、送信装置1における画像の符号化方式を変更することによって行うことも可能である。すなわち、通常の時間解像度で画像の表示を行う場合には、例えば、オブジェクト画像(興味対象領域)については、送信装置1において、その輪郭をチェイン符号化するとともに、オブジェクト画像を構成する画素値(色)の平均値を、その代表値として求め、それらをハフマン符号化等のエントロピー符号化し、受信装置2では、オブジェクト画像の領域内を、その代表値としての色で塗ったものを表示するようにし、空間解像度を向上させた画像の表示を行う場合には、上述したように階層符号化を用いるようにすることが可能である。
さらに、上述した実施例では、画像の空間解像度を向上させるようにしたが、その逆に、時間解像度を向上させるようにすることも可能である。
【0217】
また、上述した実施例では、画像の一部の領域としての優先範囲内の空間解像度を向上させるようにしたが、画像全体の空間解像度を向上させるようにすることも可能である。
【0218】
さらに、上述した実施例では、画像を、背景とオブジェクトとに分離して処理を行うようにしたが、そのような分離を行わずに処理を行うことも可能である。
【0219】
その他、本発明は、画像データだけでなく、音声データにも適用可能である。例えば、音声信号に含まれるある基本周波数により、音声の特徴量、例えば、ピッチ、人の声の所望の部分、音楽における各楽器などを抽出するような場合にも適用可能である。
【産業上の利用可能性】
【0220】
本発明は、ユーザによる指示データに対応する画像データを連結してグループ化し、指示データに対応する画像データの特徴量を求め、グループ化された画像データの各特徴量に応じて、画像データ同士の連結を解除することにより、ユーザが注目している興味対象領域を正確に特定できる。また、本発明は、指示データの時間間隔を計算し、時間間隔が所定の閾値以下のとき画像データを連結し、所定の閾値を超えるとき画像データを連結しないことにより、ユーザの興味の対象となる画像領域が変化した場合に、その変化を検出可能である。
【図面の簡単な説明】
【0221】
【図1】図1は、本発明を適用した伝送システムの一構成例を示すブロック図である。
【図2】図2は、図1に示す伝送システムを構成する送信装置を示すブロック図である。
【図3】図3は、図2に示す送信装置の処理を説明するためのフローチャートである。
【図4】図4は、図1に示す通信システムを構成する受信装置を示すブロック図である。
【図5】図5は、図4に示す受信装置の処理を説明するためのフローチャートである。
【図6】図6は、図2に示す送信装置を構成する送信処理部を示すブロック図である。
【図7】図7は、図6に示す送信処理部の符号化部を示すブロック図である。
【図8】図8A、図8B及び図8Cは、階層符号化/復号を説明するための図である。
【図9】図9は、図6に示す送信処理部による送信処理を説明するためのフローチャートである。
【図10】図10は、図4に示す受信装置を構成する受信処理部を示すブロック図である。
【図11】図11は、図10に示す受信処理部を構成する復号部を示すブロック図である。
【図12】図12は、図4に示す受信装置の合成処理部の構成例を示すブロック図である。
【図13】図13は、図12に示す合成処理部による合成処理を説明するためのフローチャートである。
【図14】図14A、図14B及び図14Cは、図4に示す受信装置の画像出力部における画像の表示例を示す図である。
【図15】図15は、図1に示す伝送システムを構成する送信装置から受信装置に送信される画像の空間解像度と時間解像度との関係を説明するための図である。
【図16】図16は、クリックデータに基づいてオブジェクト抽出を行う図2に示す送信装置を構成するオブジェクト抽出部の具体的構成例を示す図である。
【図17】図17は、図16に示すオブジェクト抽出部における全体の処理の流れを示すフローチャートである。
【図18】図18は、図17に示す処理手順中のステップS42の詳細な流れを示すフローチャートである。
【図19】図19は、図17に示す処理手順中のステップS47の詳細な流れを示すフローチャートである。
【図20】図20は、図16に示すオブジェクト抽出部における処理の流れの他の例を示すフローチャートである。
【図21】図21は、本発明を適用したコンピュータの構成例を示すブロック図である。
Claims (6)
- ユーザによる指示データを取得する指示データ取得手段と、
上記指示データに対応する画像データを連結してグループ化する連結手段と、
上記指示データに対応する画像データの特徴量を求める特徴量検出手段と、
上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて上記連結手段による上記指示データに対応する画像データ同士の連結を解除する連結解除手段と、
上記指示データに対応する画像データを小領域に領域分割する分割手段と、
上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、
上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、
上記特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
上記連結手段は、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない画像処理装置。 - 画像データを送信する送信装置と、該送信された画像データを受信する受信装置とを有する通信システムにおいて、
上記受信装置は、上記通信装置から送信された画像データを受信する第1の受信手段と、
上記第1の受信手段により受信された上記画像データを出力する出力手段と、
上記出力手段により出力された受信された上記画像データの時空間位置を指示する指示手段と、
上記指示手段により指示された上記画像データの時空間位置を指示する指示データを上記送信装置に送信する第1の送信手段とを備え、
上記送信装置は、画像データが連続的に入力される入力手段と、
上記第1の送信手段により送信された上記指示データを受信する第2の受信手段と、
上記第2の受信手段により受信された上記指示データに対応する画像データを連結してグループ化する連結手段と、
上記指示データに対応する画像データの特徴量を求める特徴量検出手段と、
上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記連結手段による上記指示データに対応する画像データ同士の連結を解除する連結解除手段と、
上記指示データに対応する画像データを小領域に領域分割する分割手段と、
上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積する蓄積手段と、
上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算する時間間隔計算手段とを備え、
上記特徴量検出手段は、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
上記連結手段は、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔計算手段により計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない通信システム。 - ユーザによる指示データを取得するステップと、
上記指示データに対応する画像データを連結してグループ化するステップと、
上記指示データに対応する画像データの特徴量を求めるステップと、
上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて上記連結手段による上記指示データに対応する画像データ同士の連結を解除するステップと、
上記指示データに対応する画像データを小領域に領域分割するステップと、
上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、
上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない画像処理方法。 - 画像データを送信装置と受信装置との間で通信する通信方法において、
上記受信装置は、
上記通信装置から送信された画像データを受信するステップと、
上記受信された上記画像データを出力するステップと、
上記出力された上記画像データの時空間位置を指示するステップと、
上記指示された上記画像データの時空間位置を指示する指示データを上記送信装置に送信するステップとを有し、
上記送信装置は、
画像データが連続的に入力するステップと、
上記送信された上記指示データを受信するステップと、
上記受信された上記指示データに対応する、上記入力される画像データを連結してグループ化するステップと、
上記指示データに対応する画像データの特徴量を求めるステップと、
上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記指示データに対応する画像データ同士の連結を解除するステップと、
上記指示データに対応する画像データを小領域に領域分割するステップと、
上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを有し、
上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない通信方法。 - 情報処理手段により読み取り可能なプログラムが格納されている記録媒体であり、
上記プログラムは、
ユーザによる指示データを取得するステップと、
上記指示データに対応する画像データを連結してグループ化するステップと、
上記指示データに対応する画像データの特徴量を求めるステップと、
上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記指示データに対応する画像データ同士の連結を解除するステップと、
上記指示データに対応する画像データを小領域に領域分割するステップと、
上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを上記情報処理手段に実行させるためのものであり、
上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない記録媒体。 - 情報処理手段により読み取り可能なプログラムが格納されている記録媒体であり、
上記プログラムは、
受信装置が通信装置から送信された画像データを受信するステップと、
上記受信された上記画像データを出力するステップと、
上記出力された上記画像データの時空間位置を指示するステップと、
上記指示された上記画像データの時空間位置を指示する指示データを上記送信装置に送信するステップと、
上記送信装置に画像データを連続的に入力するステップと、
上記送信された上記指示データを受信するステップと、
上記受信された上記指示データに対応する、上記入力される画像データを連結してグループ化するステップと、
上記指示データに対応する画像データの特徴量を求めるステップと、
上記グループ化された同一グループ内の上記指示データに対応する画像データの上記各特徴量に応じて、上記指示データに対応する画像データ同士の連結を解除するステップと、
上記指示データに対応する画像データを小領域に領域分割するステップと、
上記分割された小領域毎に当該小領域に対応する指示データの画像データ内の位置情報、指示された時刻情報、及びいずれかのオブジェクト画像に属するか否かを示す識別子情報を蓄積手段に蓄積するステップと、
上記指示データの指示された時刻情報より過去の指示データと現在の指示データとの時間間隔を計算するステップとを上記情報処理手段に実行させるためのものであり、
上記特徴量を求めるステップでは、複数の画像データから構成される動画像データのうちの、注目画像データに対応する注目小領域画像データと、当該注目小領域画像データに対して時間方向に隣接する周辺画像データとの差分より上記注目小領域画像データ内のオブジェクトの静動判定を行い、
上記画像データを連結してグループ化するステップでは、上記過去の指示データに対応する小領域画像データが静止オブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が静止であり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記過去の指示データに対応する小領域画像データが動きオブジェクトであり、且つ、上記注目小領域画像データに対する上記静動判定が動きであり、且つ、上記時間間隔を計算するステップで計算された時間間隔が所定の閾値以下のとき、現在の指示データに対応する小領域に対応するように、上記蓄積手段に蓄積される過去の指示データに対応する識別子情報と同一の識別子情報を、上記蓄積手段に蓄積することにより、過去の指示データに対応する小領域と現在の指示データに対応する小領域を連結し、
上記時間間隔が所定の閾値を超えるとき、或いは、上記過去の指示データに対応する小領域画像データの静動判定結果と、上記現在の指示データに対応する小領域画像データの静動判定結果とが異なるとき、上記過去の指示データに対応する識別子情報とは異なる識別子情報を上記現在の指示データに対応させて上記蓄積手段に記憶することにより、上記過去の指示データに対応する小領域と上記現在の指示データに対応する小領域を連結しない記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000159261 | 2000-05-29 | ||
PCT/JP2001/004331 WO2001093591A1 (en) | 2000-05-29 | 2001-05-23 | Image processing apparatus and method, communication apparatus, communication system and method, and recorded medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP4665372B2 true JP4665372B2 (ja) | 2011-04-06 |
Family
ID=18663604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001588251A Expired - Fee Related JP4665372B2 (ja) | 2000-05-29 | 2001-05-23 | 画像処理装置及び方法、通信システム及び方法、並びに記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (2) | US7076097B2 (ja) |
JP (1) | JP4665372B2 (ja) |
WO (1) | WO2001093591A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4665372B2 (ja) * | 2000-05-29 | 2011-04-06 | ソニー株式会社 | 画像処理装置及び方法、通信システム及び方法、並びに記録媒体 |
JP2004094551A (ja) * | 2002-08-30 | 2004-03-25 | Fujitsu Ltd | 画像コード化装置、方法及びプログラム |
US7251786B2 (en) * | 2003-02-26 | 2007-07-31 | Microsoft Corporation | Meeting information |
US20080193016A1 (en) * | 2004-02-06 | 2008-08-14 | Agency For Science, Technology And Research | Automatic Video Event Detection and Indexing |
US7382381B2 (en) * | 2004-10-22 | 2008-06-03 | Hewlett-Packard Development Company, L.P. | Graphics to video encoder |
US8977063B2 (en) * | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
US8019175B2 (en) * | 2005-03-09 | 2011-09-13 | Qualcomm Incorporated | Region-of-interest processing for video telephony |
US20090020611A1 (en) * | 2005-09-30 | 2009-01-22 | Symbol Technologies, Inc. | Bi-optic imaging scanner with preprocessor for processing image data from multiple sources |
US7430682B2 (en) * | 2005-09-30 | 2008-09-30 | Symbol Technologies, Inc. | Processing image data from multiple sources |
US20080114546A1 (en) * | 2006-11-15 | 2008-05-15 | Space Systems/Loral, Inc. | Image navigation and registration accuracy improvement using parametric systematic error correction |
US8505824B2 (en) * | 2007-06-28 | 2013-08-13 | Symbol Technologies, Inc. | Bar code readers having multifold mirrors |
US7780086B2 (en) * | 2007-06-28 | 2010-08-24 | Symbol Technologies, Inc. | Imaging reader with plural solid-state imagers for electro-optically reading indicia |
US8033472B2 (en) * | 2007-06-28 | 2011-10-11 | Symbol Technologies, Inc. | Electro-optical imaging reader having plural solid-state imagers with shutters to prevent concurrent exposure |
US8662397B2 (en) * | 2007-09-27 | 2014-03-04 | Symbol Technologies, Inc. | Multiple camera imaging-based bar code reader |
JP5231827B2 (ja) * | 2008-02-04 | 2013-07-10 | 富士フイルム株式会社 | 画像表示装置、表示制御方法及び表示制御プログラム |
US20100001075A1 (en) * | 2008-07-07 | 2010-01-07 | Symbol Technologies, Inc. | Multi-imaging scanner for reading images |
US20100102129A1 (en) * | 2008-10-29 | 2010-04-29 | Symbol Technologies, Inc. | Bar code reader with split field of view |
US8479996B2 (en) * | 2008-11-07 | 2013-07-09 | Symbol Technologies, Inc. | Identification of non-barcoded products |
US8079523B2 (en) * | 2008-12-15 | 2011-12-20 | Symbol Technologies, Inc. | Imaging of non-barcoded documents |
JP5160457B2 (ja) * | 2009-01-19 | 2013-03-13 | ルネサスエレクトロニクス株式会社 | コントローラドライバ、表示装置及び制御方法 |
US8146821B2 (en) | 2009-04-02 | 2012-04-03 | Symbol Technologies, Inc. | Auto-exposure for multi-imager barcode reader |
ES2377303B1 (es) * | 2009-06-05 | 2013-02-01 | Vodafone España S.A.U. | Método y sistema para recomendar fotografías. |
RU2616155C1 (ru) * | 2010-06-04 | 2017-04-12 | Сони Корпорейшн | Устройство и способ обработки изображений |
AU2015200216B2 (en) * | 2010-06-04 | 2015-11-05 | Sony Corporation | Image Processing Device and Method |
JP2012027678A (ja) * | 2010-07-23 | 2012-02-09 | Olympus Imaging Corp | 画像表示装置およびプログラム |
US8939371B2 (en) | 2011-06-30 | 2015-01-27 | Symbol Technologies, Inc. | Individual exposure control over individually illuminated subfields of view split from an imager in a point-of-transaction workstation |
US9787799B2 (en) | 2014-02-27 | 2017-10-10 | Dropbox, Inc. | Systems and methods for managing content items having multiple resolutions |
US10885104B2 (en) | 2014-02-27 | 2021-01-05 | Dropbox, Inc. | Systems and methods for selecting content items to store and present locally on a user device |
US10198355B2 (en) | 2015-10-29 | 2019-02-05 | Dropbox, Inc. | Proving a dynamic digital content cache |
CN106792085B (zh) * | 2016-12-09 | 2019-11-05 | 广州华多网络科技有限公司 | 一种生成视频封面图像的方法和装置 |
US10904286B1 (en) | 2017-03-24 | 2021-01-26 | Fireeye, Inc. | Detection of phishing attacks using similarity analysis |
US10983677B2 (en) | 2018-11-16 | 2021-04-20 | Dropbox, Inc. | Prefetching digital thumbnails from remote servers to client devices based on a dynamic determination of file display criteria |
CN111311624B (zh) * | 2020-03-20 | 2023-08-18 | 广东小天才科技有限公司 | 一种点读设备的书本检测方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11313319A (ja) * | 1998-04-28 | 1999-11-09 | Canon Inc | 復号装置およびその方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680226A (en) * | 1990-10-10 | 1997-10-21 | Fuji Xerox Co., Ltd. | Image recording apparatus |
JP3197420B2 (ja) * | 1994-01-31 | 2001-08-13 | 三菱電機株式会社 | 画像符号化装置 |
JPH0879757A (ja) * | 1994-08-31 | 1996-03-22 | Sanyo Electric Co Ltd | 動画像符号化装置 |
JP3754456B2 (ja) * | 1996-02-22 | 2006-03-15 | クヴァセル コンスルタント アクティエ ボラーグ | Canプロトコルにより動作する制御及び/又は管理システムにおける装置 |
JP3189870B2 (ja) * | 1996-12-24 | 2001-07-16 | シャープ株式会社 | 画像処理装置 |
US6633611B2 (en) | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
US5966462A (en) * | 1997-06-19 | 1999-10-12 | Xerox Corporation | Method and system for processing and rendering object oriented neutral image data |
US5970483A (en) * | 1997-07-25 | 1999-10-19 | Claritech Corporation | Apparatus and methodology for submitting search queries |
JPH11306197A (ja) * | 1998-04-24 | 1999-11-05 | Canon Inc | 画像処理装置及びその方法、コンピュータ可読メモリ |
SE513728C2 (sv) * | 1999-03-26 | 2000-10-30 | Goesta Granlund | Förfarande och system för artificiellt seende |
JP4665372B2 (ja) * | 2000-05-29 | 2011-04-06 | ソニー株式会社 | 画像処理装置及び方法、通信システム及び方法、並びに記録媒体 |
-
2001
- 2001-05-23 JP JP2001588251A patent/JP4665372B2/ja not_active Expired - Fee Related
- 2001-05-23 WO PCT/JP2001/004331 patent/WO2001093591A1/ja active Application Filing
- 2001-05-23 US US10/048,103 patent/US7076097B2/en not_active Expired - Fee Related
-
2005
- 2005-05-04 US US11/122,167 patent/US7298905B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11313319A (ja) * | 1998-04-28 | 1999-11-09 | Canon Inc | 復号装置およびその方法 |
Non-Patent Citations (1)
Title |
---|
PHILIPPE SALEMBIER: "Segmentation-based video coding system allowing the manipulation of objects", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,, vol. Volume: 7 Issue:1, JPN6010059860, February 1997 (1997-02-01), pages 60 - 74, ISSN: 0001753160 * |
Also Published As
Publication number | Publication date |
---|---|
US7298905B2 (en) | 2007-11-20 |
US20020172421A1 (en) | 2002-11-21 |
US7076097B2 (en) | 2006-07-11 |
US20050201625A1 (en) | 2005-09-15 |
WO2001093591A1 (en) | 2001-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4665372B2 (ja) | 画像処理装置及び方法、通信システム及び方法、並びに記録媒体 | |
JP4697500B2 (ja) | 送信装置および送信方法、受信装置および受信方法、並びに記録媒体 | |
JP4560897B2 (ja) | 通信装置、通信方法及び媒体 | |
US7924917B2 (en) | Method for encoding and decoding video signals | |
US7864849B2 (en) | Method for scalably encoding and decoding video signal | |
US7835452B2 (en) | Method for encoding and decoding video signal | |
US6510249B1 (en) | Object-base digital image predictive coding transfer method and apparatus, and decoding apparatus | |
JP4240554B2 (ja) | 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 | |
US20060062299A1 (en) | Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks | |
JP2002514866A (ja) | ビデオ・フレーム・レートを増加させる方法および装置 | |
US20060133482A1 (en) | Method for scalably encoding and decoding video signal | |
KR20060109247A (ko) | 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치 | |
JP4943586B2 (ja) | 効率的な映像処理のための方法および装置 | |
JPH0622289A (ja) | 多解像度画像信号符号化装置及び復号装置 | |
JP3098939B2 (ja) | 動画像符号化装置及び動画像復号装置 | |
JP4321468B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP2009246642A (ja) | 映像伝送装置、映像表示装置および映像伝送システム | |
JPH11285001A (ja) | 動画像符号化装置及び動画像復号装置 | |
JP2002016921A (ja) | 動画像符号化装置および動画像復号化装置 | |
JP2002044657A (ja) | 画像復号化方法、画像復号化装置および画像復号化プログラム記録媒体 | |
JP2002199394A (ja) | 動画処理システムおよび動画処理方法 | |
US20060072675A1 (en) | Method for encoding and decoding video signals | |
JP2000165876A (ja) | 画像処理装置 | |
JPH07336685A (ja) | 画像復号化方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |