JP4683250B2 - Image processing apparatus, image processing method, program, and program recording medium - Google Patents
Image processing apparatus, image processing method, program, and program recording medium Download PDFInfo
- Publication number
- JP4683250B2 JP4683250B2 JP2001070077A JP2001070077A JP4683250B2 JP 4683250 B2 JP4683250 B2 JP 4683250B2 JP 2001070077 A JP2001070077 A JP 2001070077A JP 2001070077 A JP2001070077 A JP 2001070077A JP 4683250 B2 JP4683250 B2 JP 4683250B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- click
- user
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体に関し、ユーザの意図を考慮して、画像データを処理することができるようにすることにより、例えば、ユーザの意図により適合した画像処理や、より精度の高い画像処理等を行うことができるようにする画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体に関する。
【0002】
【従来の技術】
例えば、画像から、オブジェクトを抽出する方法としては、隣接フレーム間の差分をとり、差分の絶対値が大きい部分を、動きのあるオブジェクトとして抽出したり、同一フレームにおいて、同じような色の部分を、オブジェクトとして抽出する方法等がある。
【0003】
【発明が解決しようとする課題】
しかしながら、隣接フレーム間の差分をとる方法では、動きのないオブジェクト等を、精度良く抽出することは困難である。また、同じような色の部分を、オブジェクトとして抽出する方法では、異なる複数の色を有しているオブジェクト等を、精度良く抽出することは困難である。
【0004】
本発明は、このような状況に鑑みてなされたものであり、オブジェクトの抽出その他の画像処理を精度良く行うこと等ができるようにするものである。
【0005】
【課題を解決するための手段】
本発明の画像処理装置は、表示された画像上の全領域のうち、ユーザが指示した位置を中心とする局所的な画像領域において、表示された画像と画像よりも過去に表示された他の画像との間で、画像領域の各画素値の差分絶対値の平均値を算出する平均値算出手段と、平均値が所定のしきい値以下であるか否かに基づいて、画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定手段と、表示された画像上において、ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得手段と、注目評価方法にしたがい、複数の位置情報から評価値を算出する評価値算出手段と、評価値が注目評価条件を満たす場合、注目評価方法および注目評価条件の組合せに対応付けて記憶されている動きを、ユーザが指示する位置の動きであるものとして解析する動き解析手段と、動き解析手段により解析された動きおよび静動判定手段による静動判定結果の組合せ毎に、動きおよび静動判定結果が生じた場合に推定されるユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、動き解析手段により解析された動きおよび静動判定結果に対応するユーザの意図を解析する意図解析手段と、画像データに対して、ユーザの意図に適合した処理を実行する処理手段とを備える。
【0006】
本発明の画像処理方法は、表示された画像上の全領域のうち、ユーザが指示した位置を中心とする局所的な画像領域において、表示された画像と画像よりも過去に表示された他の画像との間で、画像領域の各画素値の差分絶対値の平均値を算出する平均値算出ステップと、平均値が所定のしきい値以下であるか否かに基づいて、画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定ステップと、表示された画像上において、ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得ステップと、注目評価方法にしたがい、複数の位置情報から評価値を算出する評価値算出ステップと、評価値が注目評価条件を満たす場合、注目評価方法および注目評価条件の組合せに対応付けて記憶されている動きを、ユーザが指示する位置の動きであるものとして解析する動き解析ステップと、動き解析ステップにより解析された動きおよび静動判定ステップによる静動判定結果の組合せ毎に、動きおよび静動判定結果が生じた場合に推定されるユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、動き解析ステップにより解析された動きおよび静動判定結果に対応するユーザの意図を解析する意図解析ステップと、画像データに対して、ユーザの意図に適合した処理を実行する処理ステップとを含む。
【0007】
本発明のプログラムは、表示された画像上の全領域のうち、ユーザが指示した位置を中心とする局所的な画像領域において、表示された画像と画像よりも過去に表示された他の画像との間で、画像領域の各画素値の差分絶対値の平均値を算出する平均値算出ステップと、平均値が所定のしきい値以下であるか否かに基づいて、画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定ステップと、表示された画像上において、ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得ステップと、注目評価方法にしたがい、複数の位置情報から評価値を算出する評価値算出ステップと、評価値が注目評価条件を満たす場合、注目評価方法および注目評価条件の組合せに対応付けて記憶されている動きを、ユーザが指示する位置の動きであるものとして解析する動き解析ステップと、動き解析ステップにより解析された動きおよび静動判定ステップによる静動判定結果の組合せ毎に、動きおよび静動判定結果が生じた場合に推定されるユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、動き解析ステップにより解析された動きおよび静動判定結果に対応するユーザの意図を解析する意図解析ステップと、画像データに対して、ユーザの意図に適合した処理を実行する処理ステップとを含む処理をコンピュータに行なわせる。
【0008】
本発明のプログラム記録媒体は、表示された画像上の全領域のうち、ユーザが指示した位置を中心とする局所的な画像領域において、表示された画像と画像よりも過去に表示された他の画像との間で、画像領域の各画素値の差分絶対値の平均値を算出する平均値算出ステップと、平均値が所定のしきい値以下であるか否かに基づいて、画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定ステップと、表示された画像上において、ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得ステップと、注目評価方法にしたがい、複数の位置情報から評価値を算出する評価値算出ステップと、評価値が注目評価条件を満たす場合、注目評価方法および注目評価条件の組合せに対応付けて記憶されている動きを、ユーザが指示する位置の動きであるものとして解析する動き解析ステップと、動き解析ステップにより解析された動きおよび静動判定ステップによる静動判定結果の組合せ毎に、動きおよび静動判定結果が生じた場合に推定されるユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、動き解析ステップにより解析された動きおよび静動判定結果に対応するユーザの意図を解析する意図解析ステップと、画像データに対して、ユーザの意図に適合した処理を実行する処理ステップとを含む処理をコンピュータに行なわせるプログラムが記録されている。
【0011】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、表示された画像上の全領域のうち、ユーザが指示した位置を中心とする局所的な画像領域において、表示された画像と画像よりも過去に表示された他の画像との間で、画像領域の各画素値の差分絶対値の平均値が算出され、平均値が所定のしきい値以下であるか否かに基づいて、画像領域が動きのある動き領域であるか、または動きのない静止領域であるかが判定され、表示された画像上において、ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の組合せのうち、所定の組合せに対応する評価方法および評価条件が、注目評価方法および注目評価条件として取得され、注目評価方法にしたがい、複数の位置情報から評価値が算出され、評価値が注目評価条件を満たす場合、注目評価方法および注目評価条件の組合せに対応付けて記憶されている動きが、ユーザが指示する位置の動きであるものとして解析され、解析された動きおよび静動判定結果の組合せ毎に、動きおよび静動判定結果が生じた場合に推定されるユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、解析された動きおよび静動判定結果に対応するユーザの意図が解析される。そして、画像データに対して、ユーザの意図に適合した処理が実行される。
【0013】
【発明の実施の形態】
図1は、本発明を適用したネットワークシステム(システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない)の一実施の形態の構成例を示している。
【0014】
複数の携帯端末11,12,・・・,1Aは、無線通信が可能な、例えば、携帯電話機や、PHS(Personal Handyphone System)(商標)、PDA(Personal Digital Assistants)等で構成されている。
【0015】
基地局21,22,・・・,2Bは、通信サービスの提供エリアを所望の大きさに分割したセル内にそれぞれ設置された固定無線局であり、移動無線局である携帯端末11,12,・・・,1Aは、それが存在するセルを担当する基地局に無線接続されるようになっている。
【0016】
なお、本実施の形態では、基地局21乃至2B(以下、特に区別する必要がない限り、基地局2と記述する)と、携帯端末11乃至1A(以下、特に区別する必要がない限り、携帯端末1と記述する)との間では、例えば、W−CDMA(Wideband-Code Division Multiple Access)と呼ばれる符号分割多元接続方式によって無線通信が行われるようになっており、これにより、2GHzの周波数帯域を使用して、最大で2Mbpsのデータ転送速度で、大容量のデータを高速にやりとりすることができるようになっている。このように、高速かつ大容量のデータ通信が可能であることにより、携帯端末1では、音声通話は勿論、電子メールの送受信、Webページの閲覧、画像の送受信等の多種多様のデータのやりとりを行うことができるようになっている。
【0017】
基地局2は、有線回線を介して、公衆回線網3に接続されており、公衆回線網3には、インターネット5、図示しない多くの加入者有線端末、コンピュータネットワーク、企業内ネットワーク等が接続されている。さらに、公衆回線網3には、インターネットサービスプロバイダが保有するアクセスサーバ6およびコンテンツサーバ7も接続されている。
【0018】
アクセスサーバ6は、いわゆるダイヤルアップ接続による、インターネット5への接続サービスを提供する。
【0019】
コンテンツサーバ7は、携帯端末1からの要求に応じて、あるいは、いわゆるプッシュ型の配信によって、例えば、WebページとしてのHTML(Hyper Text Markup Language)形式のファイルや、さらには、電子ブックのデータ、CDに収められた曲の音声データ(オーディオデータ)、動画の画像データ等の各種のコンテンツを提供する。
【0020】
インターネット5には、多数のWWW(World Wide Web)サーバ41,42,・・・,4Cが接続され、これらのWWWサーバ41乃至4C(以下、特に区別する必要がない限り、WWWサーバ4と記載する)に対しては、加入者有線端末や、携帯端末1から、TCP/IP(Transmission Control Protocol/Internet Protocol)と呼ばれるプロトコルにしたがってアクセスすることができるようになっている。ここで、例えば、携帯端末1から基地局2までの間では、2Mbpsの簡易トランスポートプロトコルで、基地局2からインターネット5を介してWWWサーバ4までの間では、TCP/IPで、それぞれ通信が行われる。
【0021】
管理制御装置8は、公衆回線網3に接続されており、加入者有線端末や携帯端末1に対する通話料等の課金処理を行う。
【0022】
図2は、図1の携帯端末1の外観構成例を示している。
【0023】
即ち、図2は、携帯端末1が、例えば、カメラ付ディジタル携帯電話機である場合の外観構成例を示している。
【0024】
図2において、携帯端末1は、中央のヒンジ部11を境に、表示部12と本体13とに分けられており、ヒンジ部11を介して折り畳み可能に形成されている。
【0025】
表示部12には、その上端左部に送受信用のアンテナ14が引出しおよび収納可能な状態に取り付けられており、アンテナ14は、基地局2との間で電波を送受信する。また、表示部12には、その上端中央部に、ほぼ180度の角度範囲で回動自在なカメラ部15が設けられている。カメラ部15は、CCD(Charge Coupled Device)カメラ16を有しており、これにより、携帯端末1では、所望の被写体の画像を撮像することができるようになっている。
【0026】
カメラ部15の、CCDカメラ16が設けられている反対側の面(背面)には、スピーカ17が設けられている。即ち、ユーザが、カメラ部15を、図2に示した状態から、ほぼ180度回動し、その状態に位置決めすると、図3に示すように、カメラ部15の背面側中央に設けられたスピーカ17が、正面側に位置することになり、これにより、通常の音声通話が可能な状態に切り換わる。
【0027】
表示部12には、さらに、その正面に、液晶ディスプレイ18が設けられており、液晶ディスプレイ18には、例えば、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号、および発信履歴などが表示される。さらに、液晶ディスプレイ18には、電子メールの内容や、Webページ、CCDカメラ16で撮像された画像、携帯端末1で受信されたデータ、その他、液晶ディスプレイ18の表示画面上の所定の位置を指示するカーソルなども表示される。
【0028】
本体13には、その表面に「0」乃至「9」の数字キー、発呼キー、リダイヤルキー、終話及び電源キー、クリアキー、並びに電子メールキー等の操作キー19が設けられており、ユーザは、この操作キー19を操作することによって、各種の指示を入力することができるようになっている。
【0029】
また、本体13においては、操作キー19の下部に、メモボタン20やマイクロフォン21が設けられている。メモボタン20は、通話中の相手の音声を録音するときに操作される。マイクロフォン21は、通話時のユーザの音声を集音する。
【0030】
さらに、本体13においては、操作キー19の上部に、回転自在なトラックボール22が、本体13の表面から僅かに突出した状態で設けられている。トラックボール22が回転操作されると、その操作に応じて、液晶ディスプレイ18に表示された電話帳リストや電子メールのスクロール動作、ホームページのページ捲り動作、画像の送り動作等の種々の動作が行われる。
【0031】
また、トラックボール22は、本体13の内部方向への押圧操作が可能になっている。例えば、ユーザが、トラックボール22を回転操作することにより、液晶ディスプレイ18に表示された電話帳リストの複数の電話番号の中から所望の電話番号を選択し、トラックボール22を本体13の内部方向に押圧操作すると、携帯端末1では、選択された電話番号が確定され、その電話番号に対して自動的に発呼処理が行われる。
【0032】
その他、トラックボール22は、例えば、液晶ディスプレイ18に表示されるカーソルを移動するときに回転操作され、カーソルが位置している点をクリックするときに、押圧操作される。
【0033】
本体13の左側面上部には、抜差自在なメモリカード23を挿着するためのメモリカードスロット24が設けられている。メモリカード23には、メモボタン20が押下された場合に、通話中の相手の音声が記録され、あるいは、また、ユーザの操作に応じて、電子メールや、ホームページ、CCDカメラ16で撮像された画像、携帯端末1で受信されたデータ等が記録される。
【0034】
ここで、メモリカード23は、小型薄型形状のプラスチックケース内に、電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory )の一種であるフラッシュメモリ素子を格納したものであり、画像データや、音声データ、プログラム等の各種データの書き込みおよび読み出しが可能となっている。
【0035】
なお、メモリカード23としては、例えば、本件出願人であるソニー株式会社によって開発されたメモリスティク(ソニー株式会社の商標)を採用することができる。また、メモリカード23としては、その他、例えば、他社製品であるSDメモリーカードや、コンパクトフラッシュ、スマートメディア、マルチメディアカード、サムドライブ(Thumb Drive)(いずれも商標)等を採用することも可能である。また、半導体メモリであるメモリカード23に替えて、例えば、マイクロドライブやiDフォーマット(いずれも商標)といった磁気ディスク等を採用することも可能である。
【0036】
メモリカード23は、メモリカードスロット24に対して、容易に着脱可能となっており、従って、メモリカード23を介することで、他の電子機器との間で、データを、容易に共有することが可能となっている。
【0037】
なお、本体13には、背面側に、図示しないバッテリパックが挿着されており、終話及び電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態となる。
【0038】
図4は、携帯端末1の電気的構成例を示している。
【0039】
携帯端末1は、表示部12および本体13の各部を統括的に制御する主制御部30に対して、電源回路部31、操作入力制御部32、画像エンコーダ33、カメラインターフェース部34、LCD(Liquid Crystal Display)制御部35、画像デコーダ36、多重分離部37、記録再生部42、変復調回路部38、および音声コーデック39が、メインバス40を介して互いに接続されると共に、画像エンコーダ33、画像デコーダ36、多重分離部37、変復調回路部38、および音声コーデック39が、同期バス41を介して互いに接続されて構成されている。
【0040】
電源回路部31は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給し、携帯端末1を動作可能な状態に起動する。
【0041】
主制御部30は、図示せぬCPU,ROM、RAM等で構成され、CPUが、ROMに記憶されたプログラムを実行することで、各種の処理を行う。
【0042】
即ち、携帯端末1は、主制御部30の制御に基づいて、音声通話モード時にマイクロフォン21で集音した音声信号を、音声コーデック39によってディジタル音声データに変換し、これを変復調回路部38でスペクトラム拡散処理する。さらに、携帯端末1は、そのスペクトラム拡散処理後の信号に対して、送受信回路部43で周波数変換処理を施し、アンテナ14を介して送信する。
【0043】
また、携帯端末1は、音声通話モード時にアンテナ14で受信した受信信号を、送受信回路部43で増幅し、周波数変換処理を施して、変復調回路部38に供給する。変復調回路部38は、送受信回路部43からの信号をスペクトラム逆拡散処理し、音声コーデック39に供給する。音声コーディック39は、変復調回路部38からの信号をアナログ音声信号に変換し、スピーカ17に供給して出力させる。
【0044】
さらに、携帯端末1は、例えば、電子メール等のテキストデータを送信する場合、操作キー19やトラックボール22の操作によって入力されたテキストデータを、操作入力制御部32を介して主制御部30に送出する。主制御部30は、そこに供給されるテキストデータを、上述した音声通話における場合と同様に、変復調回路部38および送受信回路部43で処理した後、アンテナ14を介して、基地局2に送信する。
【0045】
また、携帯端末1は、電子メール等のテキストデータを受信する場合、アンテナ14を介して基地局2から受信した受信信号を、音声通話における場合と同様に、送受信回路部43および変復調回路部38で処理することにより、テキストデータに復元した後、LCD制御部35を介して、液晶ディスプレイ18に供給して、電子メールとして表示させる。
【0046】
さらに、携帯端末1は、例えば、画像データを送信する場合、CCDカメラ16で撮像された画像データを、カメラインターフェース部34を介して、画像エンコーダ33に供給する。画像エンコーダ33は、CCDカメラ16から供給される画像データを、所定の符号化方式によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部37に送出する。同時に、携帯端末1は、CCDカメラ16による撮像中にマイクロフォン21で集音した音声を、音声コーデック39を介して、ディジタルの音声データとして、多重分離部37に送出する。多重分離部37は、画像エンコーダ33から供給された符号化画像データと音声コーデック39から供給された音声データとを、所定の方式で多重化する。この結果得られる多重化データは、変復調回路部38および送受信回路部43で処理され、アンテナ14を介して送信される。
【0047】
なお、上述のようにしてCCDカメラ16で撮影される画像データは、同時に、カメラインターフェース部34及びLCD制御部35を介して、液晶ディスプレイ18に供給して表示することができる。
【0048】
携帯端末1は、例えば、画像データを受信する場合、アンテナ14を介して基地局2から受信した受信信号を、送受信回路部43および変復調回路部38で処理し、その結果得られる多重化データを、多重分離部37に送出する。多重分離部37は、多重化データを、符号化画像データと音声データとに分け、同期バス41を介して、符号化画像データを画像デコーダ36に供給すると共に、音声データを音声コーデック39に供給する。画像デコーダ36は、符号化画像データを所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、LCD制御部35を介して液晶ディスプレイ18に供給して表示させる。音声コーデック39は、そこに供給される音声データをアナログ音声信号に変換し、スピーカ17に供給して出力させる。
【0049】
その他、携帯端末1では、コンテンツサーバ7がプッシュ型で配信する電子ブックのデータや、映画等の画像(動画または静止画)データ等のコンテンツの受信も可能となっている。
【0050】
ここで、携帯端末1では、受信した各種のデータを、記録再生部42を介してメモリカード23に供給して記録させることが可能である。
【0051】
次に、図5は、図1のコンテンツサーバ7のハードウェア構成例を示している。
【0052】
バス51は、CPU52,ROM53,RAM54,ハードディスク55,入出力インタフェース60を相互に接続している。CPU52は、ROM53やRAM54等に記憶されたプログラムを実行することにより、各種の処理を行う。ROM53は、IPL(Initial Program Loading)のプログラム等を記憶している。RAM54は、ハードディスク55等から転送されてくるOS(Operating System)のプログラムや、サーバとして機能するためのプログラム等、さらには、CPU52の処理上必要なデータ等を一時記憶する。ハードディスク55は、各種のプログラムやデータ等を記憶する。出力部56は、例えば、ディスプレイやスピーカ等で構成され、各種のデータを表示、出力する。入力部57は、キーボードや、マウス、マイク等で構成され、必要な入力を与えるときに操作される。通信部58は、外部のコンピュータ(例えば、携帯端末1や、アクセスサーバ6等)と通信するときに通信制御を行う。ドライブ59は、リムーバブル記録媒体61をドライブし、リムーバブル記録媒体61からのデータやプログラムの読み出し、またはそれらの記録を行う。入出力インタフェース60は、バス51と、出力部56、入力部57、通信部58、およびドライブ59との間のインタフェースとして機能する。リムーバブル記録媒体61は、例えば、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどで構成される。
【0053】
以上のように構成されるコンテンツサーバ7では、CPU52は、インターネットサービスプロバイダの管理者によって、入力部57が操作等されることにより、入出力インタフェース60を介して指令が入力されると、それにしたがって、ROM(Read Only Memory)53に格納されているプログラムを実行する。あるいは、また、CPU52は、ハードディスク55に格納されているプログラム、衛星若しくはネットワークから転送され、通信部58で受信されてハードディスク55にインストールされたプログラム、またはドライブ59に装着されたリムーバブル記録媒体61から読み出されてハードディスク55にインストールされたプログラムを、RAM(Random Access Memory)54にロードして実行する。これにより、CPU52は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU52は、その処理結果を、必要に応じて、例えば、入出力インタフェース60を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部56から出力、あるいは、通信部58から送信、さらには、ハードディスク55に記録等させる。
【0054】
なお、本明細書において、コンテンツサーバ7(のCPU52)に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも、後述するフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクト(コンピュータプログラムのモジュールとしてのオブジェクト)による処理)も含むものである。
【0055】
また、プログラムは、コンテンツサーバ7だけによって処理されるものであっても良いし、コンテンツサーバ7を含む複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0056】
ここで、プログラムは、コンテンツサーバ7に内蔵されている記録媒体としてのハードディスク55やROM53に予め記録しておくことができる。
【0057】
あるいはまた、プログラムは、リムーバブル記録媒体61に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体61は、いわゆるパッケージソフトウエアとして提供することができる。
【0058】
さらに、プログラムは、上述したようなリムーバブル記録媒体61からコンテンツサーバ7にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンテンツサーバ7に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンテンツサーバ7に有線で転送し、コンテンツサーバ7では、そのようにして転送されてくるプログラムを、通信部58で受信し、内蔵するハードディスク55にインストールすることができる。
【0059】
ところで、コンテンツサーバ7は、上述したように、例えば、プッシュ型の配信や携帯端末1からの要求によって、電子ブックのデータや映画の画像データ等のコンテンツを、携帯端末1に提供する他、その提供するコンテンツを、複数の携帯端末11乃至1Aそれぞれから送信されてくる各ユーザのクリックデータに基づいて処理するようにもなっている。
【0060】
即ち、図1において、コンテンツサーバ7は、例えば、画像データを、複数の携帯端末11乃至1Aのうちの、ある注目している注目ユーザの携帯端末1(以下、適宜、注目携帯端末1という)に提供する場合には、最初は、例えば、図6(A)に示すような、全体の解像度が低い(あるいは、標準解像度の)画像データを提供する。
【0061】
注目携帯端末1において、図6(A)に示した解像度の低い画像データが表示されている場合に、注目携帯端末1のユーザが、トラックボール22をクリックすることにより、自身が所望する物体の表示部分を選択、指示すると、主制御部30(図4)は、その指示された表示部分(空間的および時間的な位置)を特定する情報を、クリックデータとして、変復調回路部38および送受信回路部43を制御することにより、コンテンツサーバ7に送信する。
【0062】
コンテンツサーバ7は、注目携帯端末1から送信されてくるユーザのクリックデータに基づいて、その注目携帯端末1のユーザ(以下、適宜、注目ユーザという)の意図を推定し、その推定した意図に基づいて、提供する画像データを加工する等の所定の画像処理を行う。
【0063】
即ち、コンテンツサーバ7は、例えば、提供する画像データの中で、注目ユーザが注視しようとしている意図が推測される領域の解像度を向上させる。
【0064】
その結果、注目携帯端末1には、例えば、図6(B)に示すように、注目ユーザが注視している物体(オブジェクト)の表示部分の解像度が向上した画像データが提供される。
【0065】
また、コンテンツサーバ7から注目携帯端末1に対して、例えば、図7(A)に示すように、オブジェクト分離されていない画像データが提供される場合において、注目携帯端末1のユーザが、トラックボール22をクリックすることにより、自身が所望するオブジェクトの表示部分を選択、指示すると、主制御部30(図4)は、その指示された表示部分を特定する情報を、クリックデータとして、変復調回路部38および送受信回路部43を制御することにより、コンテンツサーバ7に送信する。
【0066】
コンテンツサーバ7は、このようにして注目携帯端末1から送信されてくるユーザのクリックデータに基づいて、その注目携帯端末1のユーザの意図を推定し、その推定した意図に基づいて、提供する画像データ画像データからオブジェクトを抽出する。即ち、コンテンツサーバ7は、例えば、注目ユーザが注視しようとしている意図が推測されるオブジェクト(前景)を抽出することにより、図7(A)の画像データを、図7(B)に示すように、オブジェクト(前景)と背景に分離する。さらに、コンテンツサーバ7は、必要に応じて、オブジェクト抽出結果に基づいて、オブジェクト符号化等の画像圧縮を行い、あるいは、オブジェクト抽出の結果得られるオブジェクトによって、オブジェクトのデータベースを構成する。
【0067】
次に、図8は、コンテンツとして、映画等の動画の画像データを提供するコンテンツサーバ7の機能的構成例を示している。
【0068】
送受信制御部71は、画像加工部75から供給される、未加工の、または加工された画像データを、携帯端末1に送信する。また、送受信制御部71は、携帯端末1から送信されてくるクリックデータを受信し、登録部72に供給する。登録部72は、送受信制御部71から供給されるクリックデータを、クリックデータベース73に供給して記憶させる(登録する)。クリックデータベース73は、登録部72から供給されるクリックデータを記憶する。
【0069】
なお、クリックデータベース73は、携帯端末11乃至1Aそれぞれからの各ユーザのクリックデータを、各ユーザごとに記憶することができるようになっている。さらに、クリックデータベース73は、各ユーザについて、複数のクリックデータを記憶することができるようになっている。このクリックデータベース73における各ユーザごとの複数のクリックデータの登録は、登録部72が管理するが、登録部72は、各ユーザについて、所定数のクリックデータを記憶すると、次に供給されるユーザのクリックデータを、そのユーザについての最も古いクリックデータに上書きする形で、クリックデータベース73に登録するようになっている。
【0070】
クリックデータ処理部74は、クリックデータベース73に記憶されたクリックデータに基づいて、画像データベース76に記憶された画像データを処理し、その処理結果を、画像加工部75に供給する。なお、ここでは、クリックデータ処理部74は、例えば、クリックデータに基づいて、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果を、画像加工部75に供給するようになっている。
【0071】
画像加工部75は、画像データベース76から画像データを読み出し、送受信制御部71に供給する。さらに、画像加工部75は、送受信制御部71に画像データを供給する際、その画像データを、必要に応じて、クリックデータ処理部74からのオブジェクト抽出結果に基づいて加工する。即ち、画像加工部75は、クリックデータ処理部74から供給されるオブジェクトと、画像データベース76から読み出した画像データとのマッチングを行うこと等によって、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果に基づいて、画像データをオブジェクト符号化して、送受信制御部71に供給する。あるいは、また、画像加工部75は、画像データベース76から読み出した画像データにおいて、クリックデータ処理部74から供給されるオブジェクトと同様の領域を検出し、その領域の解像度を向上させて、送受信制御部71に供給する。
【0072】
画像データベース76は、携帯端末1等に提供するコンテンツとしての画像データを記憶している。
【0073】
以上のように構成されるコンテンツサーバ7では、画像データベース76から画像データが、所定のスケジュールにしたがって、あるいは、携帯端末1からの要求にしたがって読み出され、画像加工部75を介して、送受信制御部71に供給される。送受信制御部71は、この画像データを、携帯端末1に送信する。
【0074】
このようにして、コンテンツサーバ7から携帯端末1に送信された画像は、携帯端末1(図4)において、その液晶ディスプレイ18に表示される。そして、ユーザが、液晶ディスプレイ18に表示された画像の所定の位置に、カーソルを移動して、トラックボール22をクリックすると、携帯端末1は、そのクリックされた位置の座標と、その位置を含むフレーム(あるいはフィールド)を表す情報等を、クリックデータとして、コンテンツサーバ7に送信する。
【0075】
携帯端末1から送信されてくるクリックデータは、コンテンツサーバ7(図8)の送受信制御部71で受信され、登録部72に供給される。登録部72は、送受信制御部71からのクリックデータを、クリックデータベース73に供給して記憶させる。
【0076】
一方、クリックデータ処理部74は、以上のようにして、クリックデータベース73に記憶されたクリックデータを読み出し、そのクリックデータに基づいて、画像データベース76に記憶された画像データから、オブジェクトを抽出して、そのオブジェクト抽出結果を、画像加工部75に供給する。
【0077】
画像加工部75は、クリックデータ処理部74からオブジェクト抽出結果を受信すると、そのクリックデータ処理部74から供給されたオブジェクトと、画像データベース76から読み出した画像データとのマッチングを行うことにより、画像データからオブジェクトを抽出し、そのオブジェクト抽出結果に基づいて、画像データをオブジェクト符号化して、送受信制御部71に供給する。あるいは、また、画像加工部75は、画像データベース76から読み出した画像データから、クリックデータ処理部74から供給されるオブジェクトと同様の領域を検出し、その領域の解像度を向上させて、送受信制御部71に供給する。
【0078】
なお、画像加工部75における解像度の向上処理には、例えば、本件出願人が先に提案しているクラス分類適応処理を採用することができる。
【0079】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【0080】
即ち、適応処理では、例えば、標準解像度または低解像度の画像(SD(Standard Definition)画像)を構成する画素(以下、適宜、SD画素という)と、所定の予測係数との線形結合により、そのSD画像の解像度を向上させた高解像度の画像(HD(High Definition)画像)の画素の予測値を求めることで、そのSD画像の解像度を向上させた画像が得られる。
【0081】
具体的には、例えば、いま、あるHD画像を教師データとするとともに、そのHD画像の解像度を劣化させたSD画像を生徒データとして、HD画像を構成する画素(以下、適宜、HD画素という)の画素値yの予測値E[y]を、幾つかのSD画素(SD画像を構成する画素)の画素値x1,x2,・・・の集合と、所定の予測係数w1,w2,・・・の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式で表すことができる。
【0082】
E[y]=w1x1+w2x2+・・・
・・・(1)
【0083】
式(1)を一般化するために、予測係数wjの集合でなる行列W、生徒データxijの集合でなる行列X、および予測値E[yj]の集合でなる行列Y’を、
【数1】
で定義すると、次のような観測方程式が成立する。
【0084】
XW=Y’
・・・(2)
ここで、行列Xの成分xijは、i件目の生徒データの集合(i件目の教師データyiの予測に用いる生徒データの集合)の中のj番目の生徒データを意味し、行列Wの成分wjは、生徒データの集合の中のj番目の生徒データとの積が演算される予測係数を表す。また、yiは、i件目の教師データを表し、従って、E[yi]は、i件目の教師データの予測値を表す。なお、式(1)の左辺におけるyは、行列Yの成分yiのサフィックスiを省略したものであり、また、式(1)の右辺におけるx1,x2,・・・も、行列Xの成分xijのサフィックスiを省略したものである。
【0085】
そして、この観測方程式に最小自乗法を適用して、HD画素の画素値yに近い予測値E[y]を求めることを考える。この場合、教師データとなるHD画素の真の画素値yの集合でなる行列Y、およびHD画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、
【数2】
で定義すると、式(2)から、次のような残差方程式が成立する。
【0086】
XW=Y+E
・・・(3)
【0087】
この場合、HD画素の画素値yに近い予測値E[y]を求めるための予測係数wjは、自乗誤差
【数3】
を最小にすることで求めることができる。
【0088】
従って、上述の自乗誤差を予測係数wjで微分したものが0になる場合、即ち、次式を満たす予測係数wjが、HD画素の画素値yに近い予測値E[y]を求めるため最適値ということになる。
【0089】
【数4】
・・・(4)
【0090】
そこで、まず、式(3)を、予測係数wjで微分することにより、次式が成立する。
【0091】
【数5】
・・・(5)
【0092】
式(4)および(5)より、式(6)が得られる。
【0093】
【数6】
・・・(6)
【0094】
さらに、式(3)の残差方程式における生徒データxij、予測係数wj、教師データyi、および残差eiの関係を考慮すると、式(6)から、次のような正規方程式を得ることができる。
【0095】
【数7】
・・・(7)
【0096】
なお、式(7)に示した正規方程式は、行列(共分散行列)Aおよびベクトルvを、
【数8】
で定義するとともに、ベクトルWを、数1で示したように定義すると、式
AW=v
・・・(8)
で表すことができる。
【0097】
式(7)における各正規方程式は、生徒データxijおよび教師データyiのセットを、ある程度の数だけ用意することで、求めるべき予測係数wjの数Jと同じ数だけたてることができ、従って、式(8)を、ベクトルWについて解くことで(但し、式(8)を解くには、式(8)における行列Aが正則である必要がある)、最適な予測係数wjを求めることができる。なお、式(8)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることが可能である。
【0098】
以上のようにして、最適な予測係数wjを求めておき、さらに、その予測係数wjを用い、式(1)により、HD画素の画素値yに近い予測値E[y]を求めるのが適応処理である。
【0099】
ここで、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式(1)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数wが、教師データyを用いての、いわば学習により求められるため、HD画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造(解像度創造)作用がある処理ということができる。
【0100】
なお、画像の解像度を向上させる方法は、上述したクラス分類適応処理に限定されるものではない。
【0101】
次に、図9は、図8のクリックデータ処理部74の構成例を示している。
【0102】
図9の実施の形態においては、クリックデータ処理部74は、画像データベース76に記憶された画像データからオブジェクトを抽出する第1オブジェクト抽出装置81と第2オブジェクト抽出装置82とから構成されている。
【0103】
第1オブジェクト抽出装置81は、クリックデータに基づき、ユーザの意図を考慮せずに、オブジェクト抽出を行うようになっており、第2オブジェクト抽出装置82は、クリックデータに基づき、ユーザの意図を考慮して、オブジェクト抽出を行うようになっている。
【0104】
図10は、図9の第1オブジェクト抽出装置81の構成例を示している。
【0105】
クリックデータ読み出し部91は、クリックデータベース73から、ユーザごとのクリックデータを読み出し、オブジェクト抽出部94に供給する。画像データ読み出し部92は、画像データベース76から、必要な画像データを読み出し、背景抽出部93、オブジェクト抽出部94、および付加情報算出部95に供給する。
【0106】
背景抽出部93は、後述するオブジェクト抽出部94によるオブジェクト抽出結果に基づいて、画像データ読み出し部92から供給される画像データから、画像の背景部分(後述する興味対象領域以外の画像領域、以下、背景画像と呼ぶ)に相当する信号(以下、背景画像データと呼ぶ)を抽出し、その抽出した背景画像データを、多重化処理部96と付加情報算出部95に供給する。即ち、本実施の形態では、背景抽出部93は、画像データ読み出し部92が出力する画像データから、オブジェクト抽出部94が出力するオブジェクト画像を除いた残りを、背景画像として抽出する。
【0107】
オブジェクト抽出部94は、画像データ読み出し部92から供給される画像の中において、クリックデータ読み出し部91から供給されるクリックデータによって特定される領域を、携帯端末1のユーザが注目している画像領域である興味対象領域として抽出し、その抽出した興味対象領域に対応する画像データを、多重化処理部96に供給する。なお、画像データ読み出し部92から供給される画像の中に、携帯端末1のユーザが注目する興味対象領域が複数存在する場合、オブジェクト抽出部94は、その複数の興味対象領域の画像データを抽出して、多重化処理部96に供給する。また、オブジェクト抽出部94で抽出された興味対象領域の画像データは、付加情報算出部95にも供給される。
【0108】
ここで、ユーザが注目する興味対象領域としては、例えば、物体などのオブジェクトを挙げることができる。以下、オブジェクト抽出部94において興味対象領域の一例としてオブジェクト(以下、適宜、オブジェクト画像とも呼ぶ)を抽出する場合を例に挙げて説明することにする。但し、興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、あるいは背景画像部分等であっても良い。なお、オブジェクト抽出部94において行われるオブジェクト抽出(興味対象領域の特定)処理の詳細についての説明は後述する。
【0109】
付加情報算出部95は、背景抽出部93から供給される背景画像データに基づいて、背景の動き(画像の撮影時に、撮影方向が動くことによる背景の動き)を表す背景動きベクトルを検出するとともに、オブジェクト抽出部94から供給されるオブジェクト画像の画像データ(以下、オブジェクト画像データとも呼ぶ)に基づいて、オブジェクトの動きを表すオブジェクト動きベクトルを検出し、それら動きベクトルを付加情報の一つとして、多重化処理部96に供給する。また、付加情報算出部95は、オブジェクト抽出部94から供給されたオブジェクト画像データに基づいて、画像データベース76(図8)から読み出された画像(フレーム)内におけるオブジェクトの位置や輪郭等のようなオブジェクトに関連する情報も、付加情報として多重化処理部96に供給する。すなわち、オブジェクト抽出部94は、オブジェクト画像を抽出する際に、そのオブジェクトの位置や輪郭等のオブジェクトに関連する情報も抽出し、付加情報算出部95に供給するようになっており、付加情報算出部95は、そのオブジェクトに関連する情報も付加情報として出力するようになっている。
【0110】
多重化処理部96は、オブジェクト抽出部94からのオブジェクト画像データ、背景抽出部93からの背景画像データ、付加情報算出部95からの付加情報を多重化し、オブジェクト抽出結果として出力する。
【0111】
以上のように構成される第1オブジェクト抽出装置81では、図11のフローチャートに示すように、まず最初に、ステップS1において、クリックデータ読み出し部91は、クリックデータベース73から、そこに記憶されたクリックデータを読み出し、オブジェクト抽出部94に供給する。さらに、ステップS1では、画像データ読み出し部92は、画像データベース76から、処理の対象とする画像データを読み出し、背景抽出部93、オブジェクト抽出部94、および付加情報算出部95に供給する。ここで、画像データ読み出し部92は、クリックデータ読み出し部91が読み出すクリックデータが表すフレーム(またはフィールド)付近のフレームの画像データを、処理対象とするようになっている。
【0112】
そして、ステップS2に進み、オブジェクト抽出部94は、画像データ読み出し部92の画像データから、クリックデータ読み出し部91より供給される各ユーザについてのクリックデータに基づいて、オブジェクト画像データを抽出し、背景抽出部93、付加情報算出部95、および多重化処理部96に供給する。
【0113】
背景抽出部93は、ステップS3において、画像データ読み出し部92から供給される画像データから、オブジェクト抽出部94より供給されるオブジェクト画像データを減算することで、背景画像データを抽出し、付加情報算出部95および多重化処理部96に供給する。
【0114】
付加情報算出部95は、ステップS4において、画像データ読み出し部92、背景抽出部93、およびオブジェクト抽出部94の出力に基づいて、付加情報を算出し、多重化処理部96に供給する。
【0115】
多重化処理部96は、ステップS5において、オブジェクト抽出部94からのオブジェクト画像データ、背景抽出部93からの背景画像データ、付加情報算出部95からの付加情報を多重化し、その結果得られる多重化データを、オブジェクト抽出結果として出力して、処理を終了する。
【0116】
次に、図12は、図10のオブジェクト抽出部94の構成例を示している。
【0117】
画像データ読み出し部92(図10)から供給される画像データは、画像用メモリ101に蓄積される。画像用メモリ101に記憶された画像データは、そこから読み出され、静動判定部103、オブジェクト画像抽出部113、および切換選択スイッチ107の共通端子に送られる。なお、画像用メモリ101には、後段の静動判定部103で行われる静動判定の際に必要となる、少なくとも数フレーム分の画像データが蓄積される。
【0118】
また、クリックデータ読み出し部91(図10)から供給されるクリックデータは、クリックデータ用メモリ102に蓄積される。そして、クリックデータは、クリックデータ用メモリ102から読み出され、静動判定部103、連続クリック判定部104、および切換選択スイッチ106の共通端子に送られる。なお、このクリックデータ用メモリ102には、後段の連続クリック判定部104における連続クリック判定の際に必要となる数の時系列のクリックデータが蓄積される。
【0119】
静動判定部103は、クリックデータ用メモリ102に記憶されたクリックデータのうちの、所定のものに注目し、その注目した注目クリックデータを読み出す。さらに、静動判定部103は、その注目クリックデータが示すクリック位置(画像上の座標値)を中心とした局所的な小ブロック(例えば16×16画素)の画像領域が、動きがある動き領域であるか、または動きのない静止領域であるかの静動判定を行う。すなわち、静動判定部103は、クリック位置を中心とした16×16画素について、数フレーム前の画像領域と現フレームの画像領域との間でフレーム間差分を求め、このフレーム間差分値が所定のしきい値以下である場合には静止と判定し、フレーム間差分が所定のしきい値より大きい場合には動きと判定する静動判定を行う。なお、扱う画像がカラー画像である場合、静動判定の際には、例えば、R,G,Bの各16×16画素の画像について、それぞれフレーム間差分を求め、それらのR,G,B毎に求めたフレーム間差分の絶対値の平均値が所定のしきい値(例えば値10)以下のときは静止と判定し、そのしきい値より大きいときは動きと判定するようにすることができる。静動判定部103は、静動判定により静止と判定した場合には、注目クリックデータを静止クリック(静止領域のクリック)であるとし、静動判定により動きと判定した場合には、注目クリックデータを動きクリック(動き領域のクリック)であるとして、その静止クリック又は動きクリックを示す情報を、静動判定結果として、処理判定部105に送る。
【0120】
連続クリック判定部104は、注目クリックデータのクリック時刻(クリックデータに含まれる、クリックの時間的な位置)に基づいて、あるユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定を行う。すなわち、連続クリック判定部104は、連続クリック判定として、注目クリックデータのクリック時刻と、その直前(前回)のクリックデータのクリック時刻との時間差(クリック時間間隔)を求め、その時間差が所定のしきい値以下である場合には連続的なクリックであると判定し、クリック時刻の時間差が所定のしきい値より大きい場合には連続クリックでないと判定する。そして、連続クリック判定部104は、連続クリック判定により連続的なクリックであると判定した場合には、注目クリックデータを連続クリックとし、一方、連続クリック判定により連続的なクリックでない(クリック時刻の時間差が所定のしきい値以上である)と判定した場合には、注目クリックデータを不連続クリックとし、それら連続クリック又は不連続クリックの情報を、連続クリック判定結果として処理判定部105に送る。
【0121】
処理判定部105は、静動判定部103からの静動判定結果と、連続クリック判定部104からの連続クリック判定結果とに基づいて、切換選択スイッチ106乃至108の切換制御を行う。
【0122】
即ち、例えば、静動判定結果と連続クリック判定結果により、注目クリックデータが、静止クリックであり、且つ連続クリックであることが判った場合、処理判定部105は、注目クリックデータが、静止オブジェクト連結処理部111に送られるように、切換選択スイッチ106を切換制御すると共に、画像用メモリ101から出力される画像データが、静止オブジェクト連結処理部111に送られるように、切換選択スイッチ107を切換制御する。さらに、処理判定部105は、後述するオブジェクト抽出結果用メモリ114から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号(オブジェクトを分類(識別)する番号)、およびそのオブジェクト番号に対応するオブジェクト画像データが、静止オブジェクト連結処理部111に送られるように、切換選択スイッチ108を切換制御する。
【0123】
また、静動判定結果と連続クリック判定結果により、注目クリックデータが、動きクリックであり、且つ連続クリックであることが判った場合、処理判定部105は、注目クリックデータが、動きオブジェクト連結処理部110に送られるように、切換選択スイッチ106を切換制御すると共に、画像用メモリ101から出力される画像データが、動きオブジェクト連結処理部110に送られるように、切換選択スイッチ107を切換制御する。さらに、処理判定部105は、オブジェクト抽出結果用メモリ114から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号、およびそのオブジェクト番号に対応するオブジェクト画像データが、動きオブジェクト連結処理部110に送られるように、切換選択スイッチ108を切換制御する。
【0124】
さらに、静動判定結果と連続クリック判定結果により、注目クリックデータが、静止クリックであり、且つ不連続クリック(クリック時刻の時間差が所定のしきい値以上となるクリック)であることが判った場合、処理判定部105は、注目クリックデータが、オブジェクト番号割り当て部109に送られるように、切換選択スイッチ106を切換制御すると共に、画像用メモリ101から出力される画像データが、静止オブジェクト連結処理部111に送られるように、切換選択スイッチ107を切換制御する。さらに、処理判定部105は、オブジェクト抽出結果用メモリ114から出力される前回のクリックデータ、オブジェクト番号、およびオブジェクト画像データについては、静止オブジェクト連結処理部111に送らないように、切換選択スイッチ108を切換制御する(切換選択スイッチ108をオープン状態にする)。
【0125】
また、静動判定結果と連続クリック判定結果により、注目クリックデータが、動きクリックであり、且つ不連続クリックであることが判った場合、処理判定部105は、注目クリックデータが、オブジェクト番号割り当て部109に送られるように、切換選択スイッチ106を切換制御すると共に、画像用メモリ101から出力される画像データが、動きオブジェクト連結処理部110に送られるように、切換選択スイッチ107を切換制御する。さらに、処理判定部105は、オブジェクト抽出結果用メモリ114から出力される前回のクリックデータと、オブジェクト番号、およびオブジェクト画像データについては、動きオブジェクト連結処理部110に送らないように、切換選択スイッチ108を切換制御する。
【0126】
オブジェクト番号割り当て部109は、静止オブジェクト連結処理部111と、動きオブジェクト連結処理部110において、後述するような連結処理の対象となるもの以外の不連続クリックとなっているクリックデータに対して、新たなオブジェクト番号を割り当て、そのオブジェクト番号とクリックデータをオブジェクト番号用メモリ112に送る。
【0127】
動きオブジェクト連結処理部110は、処理判定部105により、注目クリックデータが動きクリックであり、且つ連続クリックと判定された場合に、前回のクリックデータが動きクリックであり、さらに、注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックデータに割り当てられたオブジェクト番号で構成される動きオブジェクト画像の領域の特徴に含まれているか、または近似しているか否かを判定する。そして、動きオブジェクト連結処理部110は、その判定結果が真である場合、注目クリックデータが、同一のオブジェクト画像をクリックしているものであると判断し、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行い、そのオブジェクト番号と注目クリックデータを、オブジェクト番号用メモリ112に送る。
【0128】
静止オブジェクト連結処理部111は、処理判定部105により、注目クリックデータが静止クリックであり、且つ連続クリックと判定された場合に、前回のクリックが静止クリックであり、さらに、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられたオブジェクト番号で構成される静止オブジェクト画像の領域内に含まれているか、またはその近傍であるか否かを判定する。そして、静止オブジェクト連結処理部111は、その判定結果が真である場合、注目クリックデータが、前回のクリックデータと同一のオブジェクト画像をクリックしているものであると判断し、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行い、そのオブジェクト番号と注目クリックデータを、オブジェクト番号用メモリ112に送る。
【0129】
オブジェクト番号用メモリ112は、オブジェクト番号割り当て部109、動きオブジェクト連結処理部110、および静止オブジェクト連結処理部111においてオブジェクト番号が割り当てられた過去複数フレーム分に相当するクリックデータを蓄積し、その蓄積したクリックデータ及びオブジェクト番号を、オブジェクト画像抽出部113に送る。
【0130】
オブジェクト画像抽出部113は、画像用メモリ101より供給される画像データから、オブジェクト番号用メモリ112より供給される、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止オブジェクト画像、動きオブジェクト画像、背景画像等を抽出し、その抽出結果を、オブジェクト抽出結果用メモリ114に供給する。
【0131】
すなわち、オブジェクト画像抽出部113は、オブジェクト番号用メモリ112より供給される、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックとされたクリックデータの密度が高い画像部分の中で支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部113は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上における分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【0132】
また、オブジェクト画像抽出部113は、動きクリックとされたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチング等を行い、そのマッチング結果に基づいて、動き補償を行う。さらに、オブジェクト画像抽出部113は、パターンマッチングで近似していると判定された画像領域(動き補償によって、いわば位置合わせを行った画像領域)においてクリック密度が高く支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部113は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上での分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【0133】
さらに、オブジェクト画像抽出部113は、上述したような静止クリックや、動きクリックのクリック密度が低い画像部分を、背景画像とする。
【0134】
オブジェクト抽出結果用メモリ114は、オブジェクト画像抽出部113が抽出したオブジェクト画像データを、クリックデータおよびオブジェクト番号等とともに蓄積し、必要に応じて、図10の背景抽出部93、付加情報算出部95、および多重化処理部96に供給する。
【0135】
次に、図13のフローチャートを参照し、図12に示したオブジェクト抽出部94において、クリックデータに基づいて、画像データから、携帯端末1のユーザが注目しているオブジェクト画像(興味対象領域)を抽出する処理の詳細について説明する。
【0136】
先ずステップS11として、画像用メモリ101は、画像データ読み出し部92(図10)より入力されるフレームの画像データを蓄積する。なお、画像用メモリ101は、後段のステップS13で行われる静動判定処理の際に必要となる、少なくとも数フレーム分の画像データを蓄積する。
【0137】
また、ステップS11では、クリックデータ用メモリ102は、クリックデータ読み出し部91(図10)から供給されるクリックデータを受信して蓄積する。なお、このクリックデータ用メモリ102には、後段のステップS13で行われる連続クリック判定処理の際に必要となる、少なくとも所定の時間分(例えば500〜700m秒以上)のクリックデータが蓄積される。
【0138】
その後、ステップS12に進み、クリックデータ用メモリ102に、まだ処理していないクリックデータが記憶されているか否かが判定される。ステップS12において、まだ処理していないクリックデータが、クリックデータ用メモリ102に無いと判定された場合は、ステップS11に戻って入力待ち状態となる。一方、ステップS12において、まだ処理していないクリックデータが、クリックデータ用メモリ102に有ると判定された場合、ステップS13に進み、その処理されていないクリックデータのうちの、例えば、時間的に最も過去のものを、注目クリックデータとして、その注目クリックデータを対象に、静動判定部103、連続クリック判定部104、および処理判定部105による静動判定処理と連続クリック判定処理が行われる。
【0139】
即ち、ステップS13において、静動判定部103は、静動判定処理として、注目クリックデータに含まれるクリック位置(画像上の座標値)情報を用い、そのクリック位置を中心とした局所的な小ブロックの画像領域に動きがあるか、或いは静止しているかの判定を行う。
【0140】
より具体的に説明すると、図13のステップS13の処理に進んで静動判定処理に移行したときの静動判定部103は、図14のフローチャートに示すように、先ずステップS21として、画像用メモリ101とクリックデータ用メモリ102にそれぞれ蓄積されている画像データとクリックデータを、数フレーム分だけ読み出す。即ち、静動判定部103は、注目クリックデータに対応するクリックが行われたフレームを含む、過去数フレーム分の画像データと、その数フレームに対して行われたクリックに対応するクリックデータを、画像データ用メモリ101とクリックデータ用メモリ102から、それぞれ読み出す。なお、扱う画像がカラー画像である場合、静動判定部103は、図15(A)に示すように、数フレームのR(赤),G(緑),B(青)それぞれの画像データを読み出す。
【0141】
次に、静動判定部103は、ステップS22として、注目クリックデータが示すクリック位置を中心とした、例えば水平方向16画素及び垂直方向16画素からなる局所的な小ブロックの画像領域について、数フレーム前の画像領域と現フレームの画像領域との間のフレーム間差分を計算する。なお、扱う画像がカラー画像である場合、静動判定部103は、ステップS22の処理として、図15(B)および図15(C)に示すように、R,G,Bの各16×16画素の画像について、フレーム間差分を求め、そのR,G,B毎に求めたフレーム間差分それぞれの絶対値の平均値を求める。
【0142】
次に、静動判定部103は、ステップS23の処理として、ステップS22の計算により求めたフレーム間差分値が、所定のしきい値以下であるかどうかを判定する。そして、ステップS24に進み、静動判定部103は、フレーム間差分値が、所定のしきい値以下である場合には、注目クリックデータが示すクリック位置を含む小ブロック(以下、適宜、注目ブロックという)が、静止であると判定し、一方、フレーム間差分が所定のしきい値より大きい場合には、動きがあると判定する。さらに、静動判定部103は、注目ブロックを静止と判定したときには、その静止と判定された注目ブロックに対応した注目クリックデータを静止クリックとし、動きと判定したときには、その動きと判定された注目ブロックに対応した注目クリックデータを動きクリックとし、静動判定結果として出力する。
【0143】
なお、扱う画像がカラー画像である場合、静動判定部103は、ステップS24において、図15(D)に示すように、R,G,Bの各16×16画素の注目ブロック毎に求められているフレーム間差分の絶対値の平均値が、所定のしきい値(例えば、値10)以下のときは、例えば、所定のフラグを”0”とし、逆に、しきい値より大きいときは、例えば所定のフラグを”1”にする。さらに、静動判定部103は、ステップS24において、図15(E)に示すように、R,G,Bの各16×16画素の注目ブロック毎に設定されている所定フラグのうち全てが”0”となっている場合には、注目ブロックが静止であると判定し、その静止と判定された注目ブロックに対応した注目クリックデータを静止クリックとする。一方、R,G,Bの各16×16画素の注目ブロック毎に設定されている所定フラグのうち何れか一つにでも”1”が立っている場合には、静動判定部103は、注目ブロックに、動きがあると判定し、その動きと判定された注目ブロックに対応した注目クリックデータを動きクリックとする。そして、静動判定部103は、静止クリックまたは動きクリックの情報を、静動判定結果として出力する。
【0144】
図13のステップS13では、さらに、連続クリック判定部104において、注目クリックデータに含まれるクリック時刻に基づいて、ユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定が行われる。
【0145】
より具体的に説明すると、図13のステップS13における連続クリック判定部104は、図16のフローチャートに示すように、先ず、ステップS31として、クリックデータ用メモリ102に蓄積されているクリックデータを読み出す。
【0146】
次に、連続クリック判定部104は、ステップS32として、注目クリックデータのクリック時刻と、その直前(前回)のクリックデータのクリック時刻との時間差(クリック間隔)を求める。
【0147】
次に、連続クリック判定部104は、ステップS33として、その時間差が所定のしきい値以下であるか否か判定を行う。このステップS33において、その時間差が所定のしきい値以下であると判定された場合には、連続クリック判定部104は、注目クリックデータが、連続的なクリックであると判定し、一方、クリック時刻の時間差が所定のしきい値より大きいと判定された場合には、連続クリック判定部104は、注目クリックデータが、連続的なクリックでないと判定する。そして、連続クリック判定部104は、ステップS34に進み、連続クリックまたは不連続クリックを表す情報を、連続クリック判定結果として出力する。
【0148】
即ち、ステップS33において、連続的なクリックであると判定された場合、ユーザは、ある一つのオブジェクト画像に対するクリック操作を連続して行っている可能性が高い。これは、携帯端末1のユーザが、空間解像度を高くすることを望むオブジェクト画像部分(興味対象領域)を連続的にクリックする傾向があると考えられるからである。したがって、連続クリック判定部104は、連続クリック判定処理において連続的なクリックであると判定した場合には、注目クリックデータを連続クリックとし、一方、連続的なクリックでない(クリック時刻の時間差が所定のしきい値以上である)と判定した場合には、注目クリックデータを不連続クリックとし、連続クリック判定結果として出力する。
【0149】
図13に戻り、処理判定部105は、静動判定部103と連続クリック判定部104それぞれでのステップS13の静動判定と連続クリック判定により、注目クリックデータが、連続クリックであり且つ静止クリックであることが判明した場合には、ステップS15に進み、切換選択スイッチ106乃至108を上述のように制御することにより、静止オブジェクト連結処理部111に、静止オブジェクト連結処理を行わせる。また、処理判定部105は、注目クリックデータが、連続クリックであり且つ動きクリックであることが判明した場合には、ステップS16に進み、切換選択スイッチ106乃至108を制御することにより、動きオブジェクト連結処理部110に、動きオブジェクト連結処理を行わせる。さらに、処理判定部105は、注目クリックデータが、不連続クリックであることが判明した場合には、ステップS14に進み、切換選択スイッチ106を制御することにより、オブジェクト番号割り当て部109に、新たなオブジェクト番号割り当て処理を行わせる。
【0150】
即ち、ステップS13において、注目クリックデータが不連続クリックであると判定され、ステップS14の処理に進んだ場合、オブジェクト番号割り当て部109は、その注目クリックデータに対して新たなオブジェクト番号を割り当て、ステップS11に戻る。
【0151】
具体例を挙げて説明すると、例えば図17(A)のように、図中実線の×印で示す前回のクリックデータCL1に対して割り当てられているオブジェクト番号が、例えば「0」とされているとした場合において、図17(A)において点線の×印で示す注目クリックデータCL2(オブジェクト番号が割り当てられる前のクリックデータ)が、不連続クリックであると判定されたとき、オブジェクト番号割り当て部109は、図17(B)中の実線の×印で示す注目クリックデータCL2に対して、新たなオブジェクト番号(この例では「1」)を割り当てる。
【0152】
一方、ステップS13において、注目クリックデータが、連続クリックであり且つ静止クリックであると判定された場合、静止オブジェクト連結処理部111は、前回のクリックが静止クリックとなっており、さらに、注目クリックデータが表すクリック位置が、前回のクリックデータ(あるユーザの、注目クリックデータの1つ前のクリックデータ)に割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近ければ、注目クリックデータに対応するクリックが前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判断し、ステップS15において、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【0153】
すなわち、静止オブジェクト連結処理部111は、図18のフローチャートに示すように、先ず、ステップS41として、前回のクリックデータが、連続クリックであり且つ静止クリックであったか否かの判定を行う。このステップS41において、前回のクリックデータが、連続クリックで且つ静止クリックであると判定された場合は、ステップS42の処理に進み、一方、前回のクリックデータが連続クリックで且つ静止クリックでないと判定された場合は、ステップS44の処理に進む。
【0154】
ステップS41にて前回のクリックデータが連続クリックで且つ静止クリックでないと判定すると、静止オブジェクト連結処理部111は、ステップS44の処理として、図17(A)及び(B)で説明したのと同様にして、注目クリックデータに対して、新たなオブジェクト番号を割り当てる。このステップS44の処理後は、図13のステップS17の処理に進む。
【0155】
また、ステップS41にて前回のクリックデータが、連続クリックで且つ静止クリックであると判定されてステップS42の処理に進むと、静止オブジェクト連結処理部111は、注目クリックデータが表すクリック位置と、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域との間の空間的な距離を求める。さらに、静止オブジェクト連結処理部111は、この距離に基づいて、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いかどうかを判定し、その判定結果が真の場合は、注目クリックデータは、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判定する。一方、注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成されるオブジェクト画像領域内に含まれず、且つその領域からも遠い場合は、静止オブジェクト連結処理部111は、注目クリックデータは、前回のクリックが含まれるものとは異なる別のオブジェクト画像をクリックしたものである判定する。ステップS42において、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合、ステップS43の処理に進み、一方、注目クリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップS44の処理に進む。
【0156】
ステップS42にて注目クリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定され、ステップS44の処理に進むと、静止オブジェクト連結処理部111は、注目クリックデータに対して新たなオブジェクト番号を割り当てた後、図13のステップS17の処理に進む。
【0157】
また、ステップS42にて注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定され、ステップS43の処理に進むと、静止オブジェクト連結処理部111は、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【0158】
具体例を挙げて説明すると、例えば図17(C)のように、図中実線の×印で示す前回のクリックデータCL1に対して割り当てられているオブジェクト番号が例えば「0」とされているとした場合において、図17(C)において点線の×印で示す注目クリックデータCL2(オブジェクト番号が割り当てられる前のクリックデータ)が、連続クリックで且つ静止クリックであると判定され、前回のクリックが静止クリックとなっており、さらに注目クリックデータが表すクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いとき、静止オブジェクト連結処理部111は、図17(D)中の実線の×印で示す注目クリックデータCL2に対して、前回のクリックデータと同一のオブジェクト番号(この例では「0」)を割り当てる。
【0159】
このようにステップS43にて、注目クリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図13のステップS17の処理に進む。
【0160】
また、図13のステップS13において、注目クリックデータが、連続クリックであり且つ動きクリックであると判定され、前回のクリックが動きクリックとなっており、さらに注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域(16×16画素)の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部110は、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたものであると判断し、ステップS16として、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行う。
【0161】
すなわち、ステップS13において、注目クリックデータが連続クリックであり且つ動きクリックであると判定されたとき、動きオブジェクト連結処理部110は、図19に示すように、先ず、ステップS51として、前回のクリックデータが、連続クリックであり且つ動きクリックであったか否かの判定を行う。このステップS51において、前回のクリックデータが、連続クリックで且つ動きクリックであると判定された場合は、ステップS52の処理に進み、一方、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定された場合は、ステップS54の処理に進む。
【0162】
ステップS51にて、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定されてステップS54の処理に進むと、動きオブジェクト連結処理部110は、図16(A)及び(B)で説明したのと同様にして、注目クリックデータに対して新たなオブジェクト番号を割り当てる。このステップS54の処理後は、図13のステップS17の処理に進む。
【0163】
また、ステップS51にて、前回のクリックデータが、連続クリックで且つ動きクリックであると判定されてステップS52の処理に進むと、動きオブジェクト連結処理部110は、注目クリックデータが表すクリック位置付近の画像領域(16×16画素)の特徴と、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴とを求める。さらに、動きオブジェクト連結処理部110は、これらの特徴に基づいて、注目クリックデータが表すクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれているか又はそれに近いかどうかを判定し、その判定結果が真の場合に、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしていると判定する。一方、注目クリックデータが表すクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれず、且つその特徴からも遠い場合は、動きオブジェクト連結処理部110は、注目クリックデータが、前回のクリックとは異なる別オブジェクト画像をクリックしたデータであると判定する。
【0164】
なお、ここでの画像領域の特徴とは、例えばクリック位置付近の局所領域(16×16画素)における色(平均色、代表色など)のヒストグラムや、パターン等のことである。また、上述のように、複数の動きクリックに、同一オブジェクト番号を割り当てるということは、これらのクリックデータの間でオブジェクトのトラッキングをしていると言い換えることができる。
【0165】
ステップS52において、注目クリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合は、ステップS53の処理に進み、一方、注目クリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップS54の処理に進む。
【0166】
ステップS52にて、注目クリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定されてステップS54の処理に進むと、動きオブジェクト連結処理部110は、上述の場合と同様に、注目クリックデータに対して、新たなオブジェクト番号を割り当てを行い、その後、図13のステップS17の処理に進む。
【0167】
また、ステップS52にて、注目クリックデータが、前回の各クリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定されてステップS53の処理に進むと、動きオブジェクト連結処理部110は、注目クリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる。
【0168】
具体例を挙げて説明すると、例えば図17(E)のように、図中実線の×印で示す前回のクリックデータCL1に対して割り当てられているオブジェクト番号が、例えば「0」とされているとした場合において、図17(E)中点線の×印で示す注目クリックデータCL2(オブジェクト番号が割り当てられる前のクリックデータ)が、連続クリックで且つ動きクリックであると判定され、前回のクリックが動きクリックとなっており、さらに注目クリックデータが表すクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成されるオブジェクト画像の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部110は、図17(F)中の実線の×印で示す注目クリックデータCL2に対して、前回のクリックデータと同一のオブジェクト番号(この例では「0」)を割り当てる。
【0169】
ステップS53にて、注目クリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図13のステップS17の処理に進む。
【0170】
次に、図13のステップS15からステップS17の処理に進んだ場合、オブジェクト画像抽出部113は、オブジェクト番号用メモリ112に記憶された、オブジェクト番号が割り当てられた過去数フレーム分に相当する各クリックデータと、画像用メモリ101に記憶された過去数フレームの画像データとに基づいて、注目クリックデータに対応するクリックが行われたフレーム(以下、適宜、注目フレームという)の画像データから、静止しているオブジェクト画像(静止オブジェクト画像)、動きのあるオブジェクト画像(動きオブジェクト画像)、それら以外の背景画像を抽出する。すなわち、注目フレームの画像中で、静止クリックと判定されたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられるため、オブジェクト画像抽出部113は、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックと判定されたクリックデータの密度(クリック密度)を求め、さらにクリック密度が高い画像部分の中で支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部113は、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成(特定)し、生成したオブジェクトの形状内の画像を、静止オブジェクト画像として、注目フレームの画像データから抽出する。
【0171】
また、ステップS16からステップS17の処理に進んだ場合、オブジェクト画像抽出部113は、動きクリックと判定されたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像どうしのフレーム間パターンマッチング等を行い、動き補償を行った後、パターンマッチングで近似しているとみなされた画像領域においてクリック密度が高く支配的なオブジェクト番号を求める。さらに、オブジェクト画像抽出部113は、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、動きオブジェクト画像として、注目フレームの画像データから抽出する。
【0172】
また、オブジェクト画像抽出部113は、ステップS17において、上述した静止クリック、動きクリックと判定されたクリックデータのクリック密度が低い画像部分を注目フレームの背景画像とみなす。言い換えると、オブジェクト画像抽出部113は、注目フレームから、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。
【0173】
ステップS17の処理を詳細に説明すると、オブジェクト画像抽出部113は、図20のフローチャートに示すように、先ず、ステップS61として、オブジェクト番号が割り当てられた過去複数フレーム分に相当する各クリックデータと画像データとを取り込み、各クリックデータを静止クリックと動きクリック毎に分類する。そして、ステップS62において、オブジェクト画像抽出部113は、注目クリックデータが、静止クリックまたは動きクリックのいずれであるかを判定し、その判定結果に基づいて、ステップS63またはS64に進む。ここで、図13のステップS15からステップS17の処理に進んだ場合には、ステップS62からステップS63以降の処理に進むことになり、図13のステップS16からステップS17の処理に進んだ場合には、ステップS62からステップS64以降の処理に進むことになる。
【0174】
図13のステップS15からステップS17の処理に進み、図20においてステップS62からステップS64以降の処理に進むと、オブジェクト画像抽出部113は、先ず、過去複数フレーム分の画像に対し、オブジェクト番号が割り当てられた各クリックデータの中で静止クリックとされているクリックデータの密度(以下、クリック密度と呼ぶ)を、例えば、16×16画素のブロック毎に求める。
【0175】
次に、オブジェクト画像抽出部113は、ステップS65として、図21(A)に示すように、画像内の図中点線で示すような各16×16画素のブロックbkについて、図中×印で示す静止クリックのクリック密度が所定値以上あるか否かの判定を行う。
【0176】
ここで、注目フレームの画像中で、静止クリックと判定されたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部113は、静止クリックのクリック密度が所定値以上となっているブロックについては、ステップS66の処理を行い、一方、静止クリックのクリック密度が所定値未満となっているブロックについては、ステップS70の処理を行う。
【0177】
ステップS66の処理に進むと、オブジェクト画像抽出部113は、静止クリックのクリック密度が所定値以上となっているブロックについて、図21(B)に示すように、ブロック内の各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図21(C)に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック(BK0、BK2、BK4、BK5)をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部113は、生成したオブジェクトの形状に基づき、静止オブジェクト画像を、注目フレームの画像データから抽出する。このステップS66の処理後は、図13のステップS11の処理に戻る。
【0178】
一方、図13のステップS16からステップS17の処理に進み、図20においてステップS62からステップS63以降の処理に進むと、オブジェクト画像抽出部113は、図21(D)に示すように、過去複数フレーム分の画像において、図中×印で示す各動きクリックとされているクリックデータのうち、それぞれ同じオブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチングを行い、さらに動き補償を行う。
【0179】
次いで、オブジェクト画像抽出部113は、ステップS67として、パターンマッチングで近似しているとみなされた画像領域内の動きクリックのクリック密度を求める。
【0180】
その後、オブジェクト画像抽出部113は、ステップS68として、図21(D)に示すように、画像内において図中×印で示す動きクリックのクリック密度が、所定値以上あるか否かの判定を行う。
【0181】
ここで、動き補償を行った後において、動きクリックと判定されたクリックデータの密度が高い画像部分には、動きオブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部113は、動き補償後の画像において動きクリックのクリック密度が所定値以上となっている画像領域については、ステップS69の処理を行い、一方、動きクリックのクリック密度が所定値未満となっている画像領域については、ステップS70の処理を行う。
【0182】
ステップS69の処理に進むと、オブジェクト画像抽出部113は、動きクリックのクリック密度が所定値以上となっている画像領域について、各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図21(E)に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック(BK3,BK6)をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部113は、生成したオブジェクトの形状に基づき、動きオブジェクト画像を、注目フレームの画像データから抽出する。このステップS69の処理後は、図13のステップS11の処理に戻る。
【0183】
なお、ステップS65またはステップS68において、クリック密度が所定値未満と判定されたとき、すなわち、静止クリックまたは動きクリックのクリック密度が低いとき、ステップS70に進み、そのようなクリック密度の低い画像部分に対応する注目フレームの領域は、背景画像領域として扱われる。言い換えると、オブジェクト画像抽出部113は、注目フレームから、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。このステップS70の処理後は、図13のステップS11の処理に戻る。
【0184】
図13のステップS11に戻った後は、以下、同様の処理を繰り返す。
【0185】
次に、図22は、図9の第2オブジェクト抽出装置82の構成例を示している。
【0186】
第2オブジェクト抽出装置82は、意図検出部120とオブジェクト抽出部125から構成されており、意図検出部120は、動き解析部121、動きデータベース122、意図解析部123、および動き対意図関係データベース124から構成され、クリックデータに基づいて、ユーザの意図を検出するようになっている。
【0187】
動き解析部121は、クリックデータベース73(図8)からユーザのクリックデータを読み出し、そのクリックデータに基づいて、ユーザがクリックした位置の動きを解析する。なお、動き解析部121は、ユーザによるクリック位置の動き(以下、適宜、クリック動きという)の解析を、動きデータベース122を参照しながら行い、その解析結果を、意図解析部123に供給するようになっている。
【0188】
動きデータベース122は、クリック動きを解析するのに必要な情報を記憶している。
【0189】
意図解析部123は、動き解析部121からのクリック動きの解析結果(以下、適宜、クリック動き解析情報という)に基づき、クリックを行ったユーザの意図を解析する。なお、意図解析部123は、ユーザの意図の解析を、動き対意図関係データベース124を参照しながら行い、その解析結果(以下、意図情報という)を、オブジェクト抽出部125に供給するようになっている。
【0190】
動き対意図関係データベース124は、クリック動きと、そのクリック動きが生じた場合に推定されるユーザの意図との対応関係を記憶している。
【0191】
オブジェクト抽出部125は、クリックデータベース73(図8)からクリックデータを読み出すとともに、画像データベース76から画像データを読み出し、クリックデータに基づき、意図解析部123からのユーザの意図情報を考慮して、画像データからオブジェクトを抽出する。オブジェクト抽出部125によるオブジェクトの抽出結果は、画像加工部75(図8)に供給されるようになっている。
【0192】
次に、図23のフローチャートを参照して、意図検出部120による、クリックデータに基づくユーザの意図の検出処理(意図検出処理)について説明する。
【0193】
まず最初に、ステップS81において、動き解析部121は、注目している注目ユーザのクリックデータすべてを、クリックデータベース73から読み出すことにより取得し、ステップS82に進む。ステップS82では、動き解析部121は、ステップS81で取得した注目ユーザのすべてのクリックデータを時系列に並べたものから、任意の範囲の(任意の始点から任意の終点までの)時系列のクリックデータの集合(以下、適宜、順列集合という)を抽出し、ステップS83に進む。
【0194】
ここで、ステップS82では、クリックデータについて、1つの順列集合だけでなく、複数の順列集合(範囲の異なる時系列のクリックデータの集合)を構成するようにすることが可能である。ステップS82において、複数の順列集合を構成する場合には、以降の処理は、その複数の順列集合それぞれについて行われる。
【0195】
ステップS83では、動き解析部121は、クリックデータの順列集合を用い、動きデータベース122を参照して、クリック動きを解析し、ステップS84に進む。ステップS84では、動き解析部121は、クリック動きの解析結果に基づいて、クリック動きが不明かどうか、即ち、クリック動きが、動きデータベース122に登録された所定のものでないかどうかを判定する。
【0196】
ステップS84において、クリック動きが不明であると判定された場合、ステップS85およびS86をスキップして、処理を終了する。従って、この場合、クリック動きの解析結果としてのクリック動き解析情報は、意図解析部123に供給されない。
【0197】
一方、ステップS84において、クリック動きが不明でないと判定された場合、動き解析部121は、そのクリック動きの解析結果としてのクリック動き解析情報を、意図解析部123に供給して、ステップS85に進む。
【0198】
意図解析部123は、ステップS85において、動き解析部121からクリック動き解析情報を受信し、そのクリック動き解析情報に基づいて、ユーザの意図を解析する。そして、ステップS86に進み、意図解析部123は、ステップS86におけるユーザの意図の解析結果としての意図情報を、オブジェクト抽出部125に出力し、処理を終了する。
【0199】
なお、図23の意図検出処理は、例えば、クリックデータベース73(図8)に、注目ユーザからの、新たなクリックデータが記憶されるごとに行われる。
【0200】
次に、図24のフローチャートを参照して、図22の動き解析部121が行う、図23のステップS83におけるクリック動きの解析処理(クリック動き解析処理)について説明する。
【0201】
動き解析部121は、まず最初に、ステップS91において、動きデータベース122に記憶されている、あるクリック動きの評価方法と評価条件を取得する。
【0202】
即ち、動きデータベース122は、複数のクリック動きについて、その評価方法と評価条件を記憶している。具体的には、動きデータベース122は、例えば、ユーザによるクリック位置の動き(変化)が、直線的であるもの、円運動的であるもの、いわゆるブラウン運動的であるもの等について、例えば、図25および図26に示すような評価方法と評価条件を記憶している。
【0203】
クリック動きが、直線的な動き(以下、適宜、直線動きという)であるかどうかの評価方法としては、例えば、図25(A)に示すように、連続する2つのクリック位置(図25において、○印で示す部分)を、そのクリック順に接続して得られるベクトル(以下、適宜、移動ベクトルという)を用い、ある移動ベクトルと、次の移動ベクトルとがなす角θを用いることが、動きデータベース122に記憶されている。
【0204】
また、クリック動きが、円運動的な動き(以下、適宜、円運動という)であるかどうかの評価方法としては、例えば、図25(B)に示すように、直線動きでない場合に、順列集合を構成するクリックデータの始点Sと終点E(図25(B)において、×印で示す部分)との間の距離DSEを用いることが、動きデータベース122に記憶されている。
【0205】
さらに、クリック動きが、ブラウン運動的な動き(以下、適宜、ブラウン運動という)であるかどうかの評価方法としては、例えば、図25(C)に示すように、順列集合を構成するクリックデータの隣接するものどうしの距離と、その始点Sと終点E(図25(C)において、×印で示す部分)との間の距離DSEを用いることが、動きデータベース122に記憶されている。
【0206】
また、クリック動きが、直線動き、円運動、ブラウン運動等であるかどうかの評価条件としては、例えば、図26に示すようなものが、動きデータベース122に記憶されている。
【0207】
即ち、図26の実施の形態においては、クリック動きが直線動きであると評価(解析)されるためには、移動ベクトルどうしのなす角θが、所定の閾値(例えば、30度など)以下であるという評価条件を満たすことが必要であることになっている。
【0208】
また、クリック動きが円運動であると評価されるためには、順列集合を構成する複数のクリックデータが、ある位置から移動して、その元の位置に戻ってくるような軌跡を描いているという評価条件を満たすことが必要であることになっている。なお、この評価条件を満たすかどうかは、例えば、クリック動きが直線動きでないこと、および順列集合を構成するクリックデータの始点Sと終点Eとの間の距離DSE(図25(B))が所定の閾値以下であること、という2つの条件を満たすかどうかによって判断することができる。
【0209】
さらに、クリック動きがブラウン運動と評価されるためには、順列集合を構成する複数のクリックデータが、その数(従って、クリックされた位置の数)に対して、始点Sから終点Eまでの距離が短いという評価条件を満たすことが必要であることになっている。なお、この評価条件を満たすかどうかは、クリック動きが円運動でないこと、および順列集合を構成する、隣接する(連続する)2つのクリックデータが表すクリック位置どうしの距離の総和に対して、その始点Sと終点Eとの間の距離DSE(図25(C))が、十分に短いこと、という2つの条件を満たすかどうかによって判断することができる。
【0210】
図24に戻り、ステップS91では、動き解析部121は、動きデータベース122に記憶されている、上述のような複数のクリック動きについての評価方法と評価条件のうち、所定のクリック動きについてのものを取得する。ここで、以下、適宜、ステップS91で取得された、あるクリック動きについての評価方法と評価条件を、それぞれ、注目評価方法と注目評価条件という。
【0211】
その後、ステップS92に進み、動き解析部121は、注目評価方法にしたがい、クリックデータの順列集合から、評価値を算出する。
【0212】
即ち、注目評価方法が、例えば、クリック動きが直線動きであるかどうかを評価するものである場合には、図25(A)および図26で説明したなす角θが、評価値となるため、動き解析部121は、クリックデータの順列集合について、移動ベクトルを求め、さらに、すべての移動ベクトルについて、なす角θを、評価値として求める。
【0213】
また、注目評価方法が、例えば、クリック動きが円運動であるかどうかを評価するものである場合には、図25(B)および図26で説明したクリックデータの始点Sと終点Eとの距離DSEが、評価値となるため、動き解析部121は、クリックデータの順列集合から、始点Sとなっているクリックデータと、終点Eとなっているクリックデータを検出し、その間の距離DSEを、評価値として求める。
【0214】
さらに、注目評価方法が、例えば、クリック動きがブラウン運動であるかどうかを評価するものである場合には、図25(C)および図26で説明したクリックデータの始点Sと終点Eとの距離DSE、およびクリックデータの順列集合の連続する2つのクリックデータの距離の総和Σが、評価値となるため、動き解析部121は、クリックデータの順列集合から、その距離DSEと、総和Σを、評価値として求める。
【0215】
ステップS92において、評価値を算出した後は、ステップS93に進み、動き解析部121は、評価値が、注目評価条件に適合するかどうか(注目評価条件を満たすかどうか)を判定する。
【0216】
即ち、例えば、クリック動きが直線動きであるかどうかを評価する場合には、図26で説明したように、隣接する移動ベクトルどうしがなす角θが、すべての所定の閾値以下であるかどうかが判定される。
【0217】
また、例えば、クリック動きが円運動であるかどうかを評価する場合には、図26で説明したように、クリック動きが円運動でなく、かつ、クリックデータの始点Sと終点Eとの距離DSEが所定の閾値以下であるかどうかが判定される。
【0218】
さらに、例えば、クリック動きがブラウン運動であるかを評価する場合には、図26で説明したように、クリック動きが円運動でなく、かつ、クリックデータの始点Sと終点Eとの距離DSEが、クリックデータの順列集合の連続する2つのクリックデータの距離の総和Σよりも十分小さいかどうかが判定される。
【0219】
ステップS93において、評価値が、注目評価条件に適合すると判定された場合、ステップS94に進み、動き解析部121は、注目評価方法および注目評価条件に対応するクリック動きを表す情報を、クリック解析情報として、意図解析部123に出力し、処理を終了する。
【0220】
一方、ステップS93において、評価値が、注目評価条件に適合しないと判定された場合、ステップS95に進み、動き解析部121は、まだ用いていない評価方法および評価条件が、動きデータベース122に記憶されているかどうかを判定する。
【0221】
ステップS95において、まだ用いていない評価方法および評価条件が、動きデータベース122に記憶されていると判定された場合、ステップS91に戻り、その、まだ用いていない評価方法および評価条件のうちのいずれか1セットを、動きデータベース122から読み出し、以下、同様の処理を繰り返す。
【0222】
また、ステップS95において、まだ用いていない評価方法および評価条件が、動きデータベース122に記憶されていないと判定された場合、動き解析部121は、クリック動きが不明であるとして、処理を終了する。
【0223】
なお、図24の実施の形態においては、動きデータベース122に記憶された複数の評価方法および評価条件を、順次、注目評価方法および注目評価条件として、逐次、処理を行うようにしたが、その他、例えば、動きデータベース122に記憶された複数の評価方法および評価条件それぞれについて、並列に処理を行うようにすることも可能である。
【0224】
さらに、図24の実施の形態では、上述のように、ある評価条件に適合した時点で、その評価条件に対応するクリック動きが、クリック解析情報とされるが、その他、例えば、動きデータベース122に記憶された複数の評価方法および評価条件すべてについて処理を行い、その処理結果に基づいて、最終的に最も確からしいクリック動きを表す情報を、クリック解析情報として出力するようにすることも可能である。
【0225】
次に、図27のフローチャートを参照し、図24のステップS91において、例えば、直線動きの評価方法と評価条件が、それぞれ、注目評価方法と注目評価条件とされた場合のステップS92およびS93の処理について、さらに詳述する。
【0226】
まず最初に、ステップS101において、動き解析部121は、クリックデータの順列集合における隣接するクリックデータを、そのクリック順に結ぶ移動ベクトルを算出し、ステップS102に進む。ここで、クリックデータの順列集合におけるi番目のクリックデータと、i+1番目のクリックデータとを結ぶ移動ベクトルを、以下、適宜、viと記述する。
【0227】
ステップS102では、動き解析部121は、移動ベクトルviを特定するインデックスとなる変数iを1に初期化し、ステップS103に進む。ステップS103では、動き解析部121は、移動ベクトルviとvi+1とがなす角θを求め、ステップS104に進み、そのなす角θが、所定の閾値ε以下であるかどうかを判定する。
【0228】
ステップS104において、なす角θが、閾値ε以下でないと判定された場合、ステップS108に進み、動き解析部121は、クリック動きが「直線動き」に適合しないと認識して、処理を終了する。
【0229】
また、ステップS104において、なす角θが、閾値ε以下であると判定された場合、ステップS105に進み、動き解析部121は、変数iを1だけインクリメントし、ステップS106に進む。
【0230】
ステップS106では、動き解析部121は、変数iが、順列集合を構成するクリックデータの数に等しいかどうかを判定し、等しくないと判定した場合、ステップS103に戻り、以下、同様の処理を繰り返す。
【0231】
また、ステップS106において、変数iが、順列集合を構成するクリックデータの数に等しいと判定された場合、従って、クリックデータの順列集合から構成される移動ベクトルの隣接するものどうしのなす角θが、すべて閾値ε以下である場合、ステップS107に進み、動き解析部121は、クリック動きが「直線動き」に適合すると認識して、処理を終了する。
【0232】
なお、図27のステップS101乃至S103の処理が、図24のステップS92の処理に対応し、図27のステップS104乃至S108の処理が、図24のステップS93の処理に対応する。
【0233】
次に、図28のフローチャートを参照して、図22の意図解析部123が行う、図23のステップS85における意図解析処理について説明する。
【0234】
まず最初に、ステップS111において、意図解析部123は、動き解析部121から供給されるクリック動き解析情報を受信し、ステップS112に進む。
ステップS112では、意図解析部123は、画像の静動判定を行う。
【0235】
ここで、ステップS112における静動判定では、第1オブジェクト抽出装置81を構成する、図12に示したオブジェクト抽出部94の静動判定部103が行うのと同様の処理が、順列集合を構成するクリックデータを順次、注目クリックデータとして行われる。そして、動きクリックとされたクリックデータの方が、静止クリックされたクリックデータより多い場合には、順列集合を構成するクリックデータは、画像の動き部をクリックしたものであると判定され、逆に、静止クリックとされたクリックデータの方が多い場合には、順列集合を構成するクリックデータは、画像の静止部をクリックしたものであると判定される。
【0236】
その後、ステップS28に進み、意図解析部123は、動き対意図関係データベース124を参照し、動き解析部121から受信した動き解析情報と、ステップS112で得た静動判定結果を検索する。
【0237】
即ち、動き対意図関係データベース124には、例えば、図29に示すように、動き解析情報が表すクリック動き、および静動判定結果と、それらのクリック動きおよび静動判定結果から推定される、ユーザがクリックを行った意図を表す意図情報とが対応付けられて記憶されている。
【0238】
ステップS28では、このような動き対意図関係データベース124から、動き解析部121から受信した動き解析情報と、ステップS112で得た静動判定結果との組が検索され、さらに、その組に対応付けられている意図情報が読み出される。
【0239】
ここで、図29の実施の形態では、クリック動きが直線動きで、クリックされた画像が動き部である場合には、ユーザによるクリックは、ある動きのあるオブジェクトをトラッキング(追跡)する意図があるとされている。また、クリック動きが円運動またはブラウン運動で、クリックされた画像が静止部である場合には、ユーザによるクリックは、ある静止しているオブジェクトを注視する意図があるとされている。
【0240】
図28に戻り、ステップS28において、動き対意図関係データベース124から、意図情報が読み出された後は、ステップS29に進み、意図解析部123は、その意図情報を、オブジェクト抽出部125(図22)に出力し、処理を終了する。
【0241】
なお、動き解析部121から受信した動き解析情報と、ステップS112で得た静動判定結果との組が、動き対意図関係データベース124に登録されていない場合には、ステップS28において検索を行うことができないが、その場合には、意図解析部123は、ユーザの意図が不明である旨の意図情報を、オブジェクト抽出部125に出力する。
【0242】
また、図28の実施の形態では、動き解析情報と、静動判定結果に基づいて、ユーザの意図を推定するようにしたが、ユーザの意図は、その他、動き解析情報にのみ基づいて推定することも可能である。
【0243】
但し、動き解析情報だけに基づいて、ユーザの意図を推定する場合においては、複数の意図が推定される場合があり、基本的には、その複数の意図から、最も確からしいものを決定するのが望ましい。そこで、ユーザの意図が複数推定される場合においては、上述したように、動き解析情報だけでなく、静動判定結果等をも用いることで、より確からしい意図を推定することが可能となる。
【0244】
即ち、例えば、何人かのユーザに、ある意図を持ってクリックを行ってもらう実験を行い、その実験によって、複数の意図が推定される動き解析情報については、上述の静動判定等を組み合わせ、意図の場合分けの細分化を行っておき、その細分化結果を、動き対意図関係データベース124に登録しておくことで、より確からしい意図を推定することが可能となる。
【0245】
以上のような意図情報を、意図解析部123から受信したオブジェクト抽出部125は、その意図情報を考慮して、画像データベース76(図8)に記憶された画像から、オブジェクトを抽出する。
【0246】
即ち、意図情報が、例えば、動いているオブジェクトをトラッキングする意図を表している場合には、オブジェクト抽出部125は、クリックデータベース73(図8)に記憶されたクリックデータに対応するクリック位置付近に、同一物体についてのオブジェクトがあると認識し、例えば、複数フレームについて、そのクリック位置付近においてブロックマッチング等を行うことで、その同一物体についてのオブジェクトを抽出する。
【0247】
あるいは、また、意図情報が、静止しているオブジェクトを注視する意図を表している場合には、オブジェクト抽出部125は、クリックデータベース73に記憶されたクリックデータが表す各クリック位置にある画素の周辺において、その画素と同様の色を有する画素を検出し、その検出した画素からなる領域を、オブジェクトとして抽出する。
【0248】
なお、ここでは、意図情報に基づいて、オブジェクトを抽出するようにしたが、意図情報は、オブジェクト抽出以外の画像処理において、その処理を行うにあたって参考にすることができる。
【0249】
即ち、図30乃至図36は、クリックを行った位置の解像度が高くなるという条件で行ったシミュレーション結果を示している。なお、図30乃至図33、並びに図35および図36は、シミュレーション結果としての画像を、模式的に表している。
【0250】
図30乃至図33は、自動車のおもちゃが、画面の左から右方向に直線的に移動している様子を表示する動画を示しており、さらに、図31乃至図33においてL1で示す線は、ユーザがクリックを行ったクリック位置を時系列に結んだの軌跡を示している。上述の意図検出処理(図23)によれば、図30乃至図33から、ユーザが、動いている自動車のおもちゃのオブジェクト画像をトラッキングしようとしている意図があることを認識することができる。
【0251】
一方、図34は、図30乃至図33に示した自動車のおもちゃのオブジェクト画像の所定の点の座標と、その座標の変化としての動きベクトル、およびユーザがクリックを行った点(クリック点)の座標と、その座標の変化としての移動ベクトルを示している。
【0252】
図34から、移動ベクトルは、動きベクトルと似ており、従って、ユーザが、オブジェクト画像をトラッキングしようとしている意図がある場合には、移動ベクトルに基づいて、動きベクトルの検出のためのブロックマッチングの範囲を選択することができる。即ち、ユーザがオブジェクトをトラッキングしようとしている意図を表す意図情報は、動きベクトルを検出する処理を行うにあたって、その処理のための補助的な情報として用いることができる。
【0253】
図35および図36は、複数のオブジェクトが表示された画像を、模式的に表しており、さらに、図35および図36においてL2で示す線は、ユーザがクリックを行ったクリック位置を時系列に結んだ軌跡を示している。上述の意図検出処理(図23)によれば、図35または図36から、ユーザが、画面右下にある、静止している物体のオブジェクト画像を注視しようとしている意図があることを認識することができる。
【0254】
この場合、図36に示すように、クリック位置を中心とする所定の範囲には、オブジェクト画像が含まれる。従って、ユーザがオブジェクトを注視しようとしている意図を表す意図情報は、オブジェクトを抽出する処理を行うにあたって、その処理のための補助的な情報として用いることができる。
【0255】
即ち、ユーザがオブジェクトを注視しようとしている意図を有する場合には、クリック位置にオブジェクトが存在することが推測されるから、クリック位置付近にオブジェクトが存在することが分かり、その結果、クリック位置と同じような色の部分をオブジェクトとして抽出する方法であっても、異なる複数の色を有しているオブジェクトを、精度良く抽出することが可能となる。また、図36において、点線の正方形は、クリック位置を中心とする正方形であるが、このような正方形の領域を抽出することにより、静止しているオブジェクトの概形を得ることができる。
【0256】
以上のように、意図情報は、各種の画像処理を行うにあたって、補助的な情報として用いることができ、その結果、画像処理の精度を向上させることができる。
【0257】
なお、意図解析部123で得られた意図情報は、第1オブジェクト抽出装置81におけるオブジェクト抽出処理の補助的な情報としても用いることが可能である。即ち、第1オブジェクト抽出装置81では、上述したように、クリック密度の高い部分がオブジェクトとして抽出されるが、このことは、逆に言えば、オブジェクトの領域であっても、クリック密度が低い領域が、オブジェクトとして抽出されないことが生じ得ることを意味する。そこで、ユーザがオブジェクトを注視しようとしている意図がある場合には、クリック密度が低い領域であっても、例外的に、オブジェクトとして抽出するようにすることで、より精度の高いオブジェクト抽出が可能となる。
【0258】
また、第1オブジェクト抽出装置81や第2オブジェクト抽出装置82では、各ユーザのクリックデータを、ユーザごとに個別に処理するのではなく、複数のユーザのクリックデータをまとめて(複数のユーザのクリックデータを、一人のユーザのクリックデータとみなして)処理するようにすることが可能である。
【0259】
さらに、本発明は、画像を、通信により提供するネットワークシステムの他、GUI(Graphical User Interface)等の画像を媒介としたユーザインタフェース等に適用することが可能である。本発明を、GUIに適用した場合、ユーザの意図に応じて、大きさや解像度等の異なるアイコンを表示する等の、ユーザの意図に適合した画像処理を行うことが可能となる。
【0260】
【発明の効果】
本発明の画像処理装置および画像処理方法、並びにプログラムによれば、例えば、オブジェクトの抽出等を精度良く行うことが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したネットワークシステムの一実施の形態の構成例を示す図であある。
【図2】携帯端末1の外観構成例を示す斜視図である。
【図3】携帯端末1のカメラ部15を回動した状態を示す斜視図である。
【図4】携帯端末1の電気的構成例を示すブロック図である。
【図5】コンテンツサーバ7のハードウェア構成例を示すブロック図である。
【図6】コンテンツサーバ7が提供する画像データを説明する図である。
【図7】コンテンツサーバ7が提供する画像データを説明する図である。
【図8】画像データを提供するコンテンツサーバ7の機能的構成例を示すブロック図である。
【図9】クリックデータ処理部74の構成例を示すブロック図である。
【図10】第1オブジェクト抽出装置81の構成例を示すブロック図である。
【図11】第1オブジェクト抽出装置81の処理を説明するフローチャートである。
【図12】オブジェクト抽出部94の構成例を示すブロック図である。
【図13】動きオブジェクト画像および静止オブジェクト画像の抽出処理を説明するフローチャートである。
【図14】静動判定処理を説明するフローチャートである。
【図15】フレーム間差分の計算方法を説明する図である。
【図16】連続クリック判定処理を説明するフローチャートである。
【図17】オブジェクト番号の付け方を説明する図である。
【図18】静止オブジェクト連結処理を説明するフローチャートである。
【図19】動きオブジェクト連結処理を説明するフローチャートである。
【図20】オブジェクト抽出処理を説明するフローチャートである。
【図21】オブジェクト抽出方法を説明する図である。
【図22】第2オブジェクト抽出装置82の構成例を示すブロック図である。
【図23】第2オブジェクト抽出装置82による意図検出処理を説明するフローチャートである。
【図24】クリック動き解析処理を説明するフローチャートである。
【図25】クリック動きの評価方法を示す図である。
【図26】クリック動きの評価条件を説明する図である。
【図27】クリック動きが直線動きであるかどうかを評価する処理を説明するフローチャートである。
【図28】意図解析処理を説明するフローチャートである。
【図29】動き対意図関係データベース124の記憶内容を示す図である。
【図30】シミュレーション結果を示す模式図である。
【図31】シミュレーション結果を示す模式図である。
【図32】シミュレーション結果を示す模式図である。
【図33】シミュレーション結果を示す模式図である。
【図34】シミュレーションで得られた動きベクトルと移動ベクトルとを示す図である。
【図35】シミュレーション結果を示す模式図である。
【図36】シミュレーション結果を示す模式図である。
【符号の説明】
11乃至1A 携帯端末, 21乃至2B 基地局, 3 公衆回線網, 41乃至4C WWWサーバ, 5 インターネット, 6 アクセスサーバ, 7 コンテンツサーバ, 8 管理制御装置, 11 ヒンジ部, 12 表示部,13 本体, 14 アンテナ, 15 カメラ部, 16 CCDカメラ,17 スピーカ, 18 液晶ディスプレイ, 19 操作キー, 10 メモボタン, 21 マイクロフォン, 22 トラックボール, 23 メモリカード, 24 メモリスティックスロット, 30 主制御部, 31 電源回路部, 32 操作入力制御部, 33 画像エンコーダ, 34 カメラI/F, 35 LED制御部, 36 画像デコーダ, 37 多重分離部, 38 変復調回路部, 39 音声コーデック, 40 メインバス, 41 同期バス, 42 記録再生部, 43 送受信回路部, 51 バス, 52 CPU, 53 ROM, 54 RAM, 55 ハードディスク, 56 出力部, 57 入力部, 58 通信部, 59 ドライブ, 60 入出力インタフェース, 61 リムーバブル記録媒体, 71 送受信制御部, 72 登録部, 73 クリックデータベース, 74 クリックデータ処理部, 75画像加工部, 76 画像データベース, 81 第1オブジェクト抽出装置, 82 第2オブジェクト抽出装置, 91 クリックデータ読み出し部, 92 画像データ読み出し部, 93 背景抽出部, 94 オブジェクト抽出部, 95 付加情報算出部, 96 多重化処理部, 101 画像用メモリ, 102 クリックデータ用メモリ, 103 静動判定部, 104 連続クリック判定部, 105 処理判定部, 106乃至108 切換選択スイッチ, 109 オブジェクト番号割り当て部, 110 動きオブジェクト連結処理部, 111 静止オブジェクト連結処理部, 112 オブジェクト番号用メモリ, 113 オブジェクト画像抽出部, 114 オブジェクト抽出結果用メモリ, 120 意図検出部, 121 動き解析部, 122 動きデータベース, 123 意図解析部, 124 動き対意図関係データベース,125 オブジェクト抽出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method,AndProgram and program recording mediumbodyIn consideration of the user's intention, the image data can be processed so that, for example, the image processing adapted to the user's intention, the image processing with higher accuracy, and the like can be performed. Image processing apparatus and image processing methodAndProgram and program recording mediumbodyAbout.
[0002]
[Prior art]
For example, as a method of extracting an object from an image, a difference between adjacent frames is taken and a part where the absolute value of the difference is large is extracted as a moving object, or a similar color part is extracted in the same frame. There is a method of extracting as an object.
[0003]
[Problems to be solved by the invention]
However, it is difficult to accurately extract objects and the like that do not move with the method of calculating the difference between adjacent frames. Further, in the method of extracting similar color portions as objects, it is difficult to accurately extract objects having a plurality of different colors.
[0004]
The present invention has been made in view of such a situation, and makes it possible to accurately perform object extraction and other image processing.
[0005]
[Means for Solving the Problems]
The image processing apparatus of the present inventionIn the local image area centered on the position designated by the user among all the areas on the displayed image, the image area between the displayed image and another image displayed in the past than the image. Based on average value calculating means for calculating the average value of the absolute difference of each pixel value and whether the average value is equal to or less than a predetermined threshold value, whether the image area is a moving area with motion, Or a combination of an evaluation method and an evaluation condition for evaluating and analyzing the movement of the position indicated by the user on the displayed image, and a static motion determination unit that determines whether the region is a static region without motion. Acquisition means for acquiring an evaluation method and an evaluation condition corresponding to a predetermined combination among a plurality of combinations as an attention evaluation method and an attention evaluation condition from a motion database stored in association with each of a plurality of determined movements When According to the attention evaluation method, an evaluation value calculation means for calculating an evaluation value from a plurality of pieces of position information, and a movement stored in association with a combination of the attention evaluation method and the attention evaluation condition when the evaluation value satisfies the attention evaluation condition TheMovement of position indicated by userAsA motion analysis means to analyze;For each combination of the motion analyzed by the motion analysis means and the static motion determination result by the static motion determination means, the motion pair storing the user's intention estimated when the motion and the static motion determination result are generated in association with each other. Corresponding to the motion and static motion judgment results analyzed by the motion analysis means using the intention relation databaseIntention analysis means for analyzing user intentions and image dataAgainst the user ’s intentionprocessingRunProcessing means.
[0006]
The image processing method of the present invention includes:In the local image area centered on the position designated by the user among all the areas on the displayed image, the image area between the displayed image and another image displayed in the past than the image. Based on an average value calculating step for calculating an average value of absolute difference values of each pixel value and whether the average value is a predetermined threshold value or less, whether the image area is a moving area with movement, Or a combination of an evaluation method and an evaluation condition for evaluating and analyzing the movement of the position indicated by the user on the displayed image in advance. An evaluation method and an evaluation condition corresponding to a predetermined combination among a plurality of combinations are acquired as an attention evaluation method and an attention evaluation condition from a motion database stored in association with each of a plurality of determined movements. In accordance with the step and the attention evaluation method, an evaluation value calculation step for calculating an evaluation value from a plurality of pieces of position information, and when the evaluation value satisfies the attention evaluation condition, the information is stored in association with the combination of the attention evaluation method and the attention evaluation condition. The movementMovement of position indicated by userAsA motion analysis step to analyze,For each combination of the motion analyzed in the motion analysis step and the static motion determination result in the static motion determination step, the motion pair storing the user's intention estimated when the motion and the static motion determination result are generated in association with each other. Corresponding to the motion and static motion judgment results analyzed by the motion analysis step using the intention relation databaseIntention analysis step for analyzing user intention and image dataAgainst the user ’s intentionprocessingRunProcessing steps toIncluding.
[0007]
The program of the present inventionIn the local image area centered on the position designated by the user among all the areas on the displayed image, the image area between the displayed image and another image displayed in the past than the image. Based on an average value calculating step for calculating an average value of absolute difference values of each pixel value and whether the average value is a predetermined threshold value or less, whether the image area is a moving area with movement, Or a combination of an evaluation method and an evaluation condition for evaluating and analyzing the movement of the position indicated by the user on the displayed image in advance. An evaluation method and an evaluation condition corresponding to a predetermined combination among a plurality of combinations are acquired as an attention evaluation method and an attention evaluation condition from a motion database stored in association with each of a plurality of determined movements. In accordance with the step and the attention evaluation method, an evaluation value calculation step for calculating an evaluation value from a plurality of pieces of position information, and when the evaluation value satisfies the attention evaluation condition, the information is stored in association with the combination of the attention evaluation method and the attention evaluation condition. The movementMovement of position indicated by userAsA motion analysis step to analyze,For each combination of the motion analyzed in the motion analysis step and the static motion determination result in the static motion determination step, the motion pair storing the user's intention estimated when the motion and the static motion determination result are generated in association with each other. Corresponding to the motion and static motion judgment results analyzed by the motion analysis step using the intention relation databaseIntention analysis step for analyzing user intention and image dataAgainst the user ’s intentionprocessingRunProcessing steps toCauses a computer to perform processing including
[0008]
The program recording medium of the present invention comprises:In the local image area centered on the position designated by the user among all the areas on the displayed image, the image area between the displayed image and another image displayed in the past than the image. Based on an average value calculating step for calculating an average value of absolute difference values of each pixel value and whether the average value is a predetermined threshold value or less, whether the image area is a moving area with movement, Or a combination of an evaluation method and an evaluation condition for evaluating and analyzing the movement of the position indicated by the user on the displayed image in advance. An evaluation method and an evaluation condition corresponding to a predetermined combination among a plurality of combinations are acquired as an attention evaluation method and an attention evaluation condition from a motion database stored in association with each of a plurality of determined movements. In accordance with the step and the attention evaluation method, an evaluation value calculation step for calculating an evaluation value from a plurality of pieces of position information, and when the evaluation value satisfies the attention evaluation condition, the information is stored in association with the combination of the attention evaluation method and the attention evaluation condition. The movementMovement of position indicated by userAsA motion analysis step to analyze,For each combination of the motion analyzed in the motion analysis step and the static motion determination result in the static motion determination step, the motion pair storing the user's intention estimated when the motion and the static motion determination result are generated in association with each other. Corresponding to the motion and static motion judgment results analyzed by the motion analysis step using the intention relation databaseIntention analysis step for analyzing user intention and image dataAgainst the user ’s intentionprocessingRunProcessing steps toCause the computer to perform the processThe program is recorded.
[0011]
In the image processing apparatus, the image processing method, and the program of the present invention,In the local image area centered on the position designated by the user among all the areas on the displayed image, the image area between the displayed image and another image displayed in the past than the image. An average value of absolute difference values of each pixel value is calculated, and based on whether the average value is equal to or less than a predetermined threshold value, the image area is a motion area with motion or stillness without motion A combination of an evaluation method and an evaluation condition for evaluating and analyzing the movement of the position designated by the user on the displayed image is determined for each of a plurality of predetermined movements. The evaluation method and the evaluation condition corresponding to the predetermined combination among the plurality of combinations are acquired as the attention evaluation method and the attention evaluation condition from the stored motion database, and a plurality of pieces of positional information according to the attention evaluation method. Calculated et evaluation value, when the evaluation value is noted evaluation conditions are satisfied, the movement in association with a combination of interest evaluation method and target evaluation conditions are stored,Movement of position indicated by userAsParsedFor each combination of the analyzed motion and static motion determination results, the analysis is performed using a motion versus intention relation database that stores the user's intention estimated when the motion and static motion determination results occur. Corresponding to the movement and static motion judgment resultsThe user's intention is analyzed. And,image dataAgainst the user ’s intentionprocessingRunIs done.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows an implementation of a network system to which the present invention is applied (a system is a logical collection of a plurality of devices, regardless of whether or not each component device is in the same housing). The example of a structure of the form is shown.
[0014]
Multiple mobile devices 11, 12, ..., 1AIs configured by, for example, a mobile phone, PHS (Personal Handyphone System) (trademark), PDA (Personal Digital Assistants), etc. capable of wireless communication.
[0015]
[0016]
In this embodiment,
[0017]
The
[0018]
The access server 6 provides a connection service to the
[0019]
The
[0020]
The
[0021]
The management control device 8 is connected to the
[0022]
FIG. 2 shows an external configuration example of the mobile terminal 1 of FIG.
[0023]
That is, FIG. 2 shows an external configuration example when the mobile terminal 1 is, for example, a digital mobile phone with a camera.
[0024]
In FIG. 2, the mobile terminal 1 is divided into a
[0025]
In the
[0026]
A
[0027]
The
[0028]
The
[0029]
In the
[0030]
Further, in the
[0031]
Further, the
[0032]
In addition, for example, the
[0033]
A
[0034]
Here, the
[0035]
As the
[0036]
The
[0037]
In addition, a battery pack (not shown) is inserted into the
[0038]
FIG. 4 shows an example of the electrical configuration of the mobile terminal 1.
[0039]
The mobile terminal 1 has a power
[0040]
When the end call and the power key are turned on by the user's operation, the power
[0041]
The
[0042]
That is, the portable terminal 1 converts the audio signal collected by the microphone 21 in the voice call mode into digital audio data by the
[0043]
In addition, the mobile terminal 1 amplifies the reception signal received by the
[0044]
Furthermore, for example, when transmitting text data such as e-mail, the mobile terminal 1 sends text data input by operating the operation key 19 or the
[0045]
In addition, when receiving text data such as an e-mail, the mobile terminal 1 receives a received signal received from the
[0046]
Furthermore, for example, when transmitting image data, the portable terminal 1 supplies the image data captured by the
[0047]
Note that the image data captured by the
[0048]
For example, when receiving image data, the portable terminal 1 processes a reception signal received from the
[0049]
In addition, the mobile terminal 1 can also receive content such as electronic book data distributed by the
[0050]
Here, in the portable terminal 1, various received data can be supplied to the
[0051]
Next, FIG. 5 shows a hardware configuration example of the
[0052]
The
[0053]
In the
[0054]
In the present specification, the processing steps for describing a program for causing the content server 7 (the CPU 52) to perform various types of processing need not necessarily be processed in time series in the order described in the flowchart described later. It also includes processing executed in parallel or individually (for example, parallel processing or processing by an object (an object as a module of a computer program)).
[0055]
The program may be processed only by the
[0056]
Here, the program can be recorded in advance in a
[0057]
Alternatively, the program can be stored (recorded) in the
[0058]
Furthermore, the program is installed in the
[0059]
By the way, as described above, the
[0060]
That is, in FIG. 1, the
[0061]
When the low-resolution image data shown in FIG. 6A is displayed on the target mobile terminal 1, the user of the target mobile terminal 1 clicks the
[0062]
The
[0063]
That is, for example, the
[0064]
As a result, for example, as illustrated in FIG. 6B, the attention mobile terminal 1 is provided with image data in which the resolution of the display portion of the object (object) that the attention user is gazing at is improved.
[0065]
Further, for example, when image data that is not object-separated is provided from the
[0066]
The
[0067]
Next, FIG. 8 illustrates a functional configuration example of the
[0068]
The transmission /
[0069]
The
[0070]
The click
[0071]
The
[0072]
The
[0073]
In the
[0074]
Thus, the image transmitted from the
[0075]
Click data transmitted from the portable terminal 1 is received by the transmission /
[0076]
On the other hand, the click
[0077]
When the
[0078]
For the resolution improvement process in the
[0079]
Class classification adaptive processing consists of class classification processing and adaptive processing. Data is classified into classes based on their properties by class classification processing, and adaptive processing is performed for each class. It is of the technique like.
[0080]
That is, in the adaptive processing, for example, the SD (Standard Definition (SD) image) (hereinafter, referred to as an SD pixel as appropriate) constituting a standard resolution or low resolution image is linearly combined with a predetermined prediction coefficient, and the SD is obtained. By obtaining a predicted value of a pixel of a high-resolution image (HD (High Definition) image) with improved image resolution, an image with improved resolution of the SD image can be obtained.
[0081]
Specifically, for example, a certain HD image is used as teacher data, and an SD image with degraded resolution of the HD image is used as student data, and pixels constituting the HD image (hereinafter, referred to as HD pixels as appropriate) The predicted value E [y] of the pixel value y of the pixel value x is the pixel value x of several SD pixels (pixels constituting an SD image).1, X2, ... and a predetermined prediction coefficient w1, W2Consider a linear primary combination model defined by the linear combination of. In this case, the predicted value E [y] can be expressed by the following equation.
[0082]
E [y] = w1x1+ W2x2+ ...
... (1)
[0083]
To generalize equation (1), the prediction coefficient wjA matrix W consisting ofijAnd a predicted value E [yj] Is a matrix Y ′ consisting of
[Expression 1]
Then, the following observation equation holds.
[0084]
XW = Y ’
... (2)
Here, the component x of the matrix XijIs a set of i-th student data (i-th teacher data yiThe j-th student data in the set of student data used for the prediction ofjRepresents a prediction coefficient by which the product of the j-th student data in the student data set is calculated. YiRepresents the i-th teacher data, and thus E [yi] Represents the predicted value of the i-th teacher data. Note that y on the left side of Equation (1) is the component y of the matrix Y.iThe suffix i is omitted, and x on the right side of Equation (1)1, X2,... Are also components x of the matrix XijThe suffix i is omitted.
[0085]
Then, it is considered to apply the least square method to this observation equation to obtain a predicted value E [y] close to the pixel value y of the HD pixel. In this case, a matrix Y composed of a set of true pixel values y of HD pixels serving as teacher data and a matrix E composed of a set of residuals e of predicted values E [y] with respect to the pixel values y of HD pixels,
[Expression 2]
From the equation (2), the following residual equation is established.
[0086]
XW = Y + E
... (3)
[0087]
In this case, the prediction coefficient w for obtaining the predicted value E [y] close to the pixel value y of the HD pixeljIs the square error
[Equation 3]
Can be obtained by minimizing.
[0088]
Therefore, the above square error is converted into the prediction coefficient w.jWhen the value differentiated by 0 is 0, that is, the prediction coefficient w satisfying the following equation:jHowever, this is the optimum value for obtaining the predicted value E [y] close to the pixel value y of the HD pixel.
[0089]
[Expression 4]
... (4)
[0090]
Therefore, first, Equation (3) is converted into the prediction coefficient wjIs differentiated by the following equation.
[0091]
[Equation 5]
... (5)
[0092]
From equations (4) and (5), equation (6) is obtained.
[0093]
[Formula 6]
... (6)
[0094]
Furthermore, the student data x in the residual equation of equation (3)ij, Prediction coefficient wj, Teacher data yiAnd residual eiConsidering this relationship, the following normal equation can be obtained from the equation (6).
[0095]
[Expression 7]
... (7)
[0096]
In addition, the normal equation shown in Expression (7) has a matrix (covariance matrix) A and a vector v,
[Equation 8]
And the vector W is defined as shown in Equation 1,
AW = v
... (8)
Can be expressed as
[0097]
Each normal equation in equation (7) is the student data xijAnd teacher data yiBy preparing a certain number of sets, the prediction coefficient w to be obtainedjTherefore, by solving equation (8) with respect to vector W (however, in order to solve equation (8), matrix A in equation (8) is regular). Necessary), the optimal prediction coefficient wjCan be requested. In solving the equation (8), for example, a sweeping method (Gauss-Jordan elimination method) or the like can be used.
[0098]
As described above, the optimum prediction coefficient wjAnd the prediction coefficient wjThe adaptive processing is to obtain the predicted value E [y] close to the pixel value y of the HD pixel by using Equation (1).
[0099]
Here, the adaptive process is not included in the SD image, but is different from, for example, a simple interpolation process in that a component included in the HD image is reproduced. In other words, the adaptive process looks the same as the interpolation process using a so-called interpolation filter as long as only Expression (1) is seen, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter uses the teacher data y. In other words, since it is obtained by learning, the components included in the HD image can be reproduced. From this, it can be said that the adaptive process is a process having an image creation (resolution creation) effect.
[0100]
Note that the method for improving the resolution of an image is not limited to the above-described classification adaptation process.
[0101]
Next, FIG. 9 shows a configuration example of the click
[0102]
In the embodiment of FIG. 9, the click
[0103]
The first
[0104]
FIG. 10 shows a configuration example of the first
[0105]
The click data reading unit 91 reads the click data for each user from the
[0106]
Based on the object extraction result by the
[0107]
In the image supplied from the image
[0108]
Here, examples of the region of interest to which the user pays attention include an object such as an object. Hereinafter, a case where an object (hereinafter also referred to as an object image as appropriate) is extracted as an example of the region of interest in the
[0109]
Based on the background image data supplied from the
[0110]
The
[0111]
In the first
[0112]
In step S2, the
[0113]
In step S3, the
[0114]
In
[0115]
In step S5, the
[0116]
Next, FIG. 12 shows a configuration example of the
[0117]
Image data supplied from the image data reading unit 92 (FIG. 10) is stored in the image memory 101. The image data stored in the image memory 101 is read therefrom and sent to the common terminal of the static
[0118]
The click data supplied from the click data reading unit 91 (FIG. 10) is stored in the
[0119]
The
[0120]
The continuous
[0121]
The
[0122]
That is, for example, when it is determined from the static motion determination result and the continuous click determination result that the target click data is a static click and a continuous click, the
[0123]
Further, when it is determined from the static motion determination result and the continuous click determination result that the target click data is a motion click and a continuous click, the
[0124]
Furthermore, when it is determined from the static motion determination result and the continuous click determination result that the click data of interest is a static click and a discontinuous click (a click whose time difference between click times exceeds a predetermined threshold). The
[0125]
Further, when it is determined from the static motion determination result and the continuous click determination result that the click data of interest is a motion click and a discontinuous click, the
[0126]
The object
[0127]
The moving object
[0128]
When the
[0129]
The object number memory 112 accumulates click data corresponding to the past plural frames to which object numbers are assigned in the object
[0130]
The object
[0131]
That is, the object
[0132]
Further, the object
[0133]
Furthermore, the object
[0134]
The object
[0135]
Next, referring to the flowchart of FIG. 13, in the
[0136]
First, as step S11, the image memory 101 stores the image data of the frame input from the image data reading unit 92 (FIG. 10). Note that the image memory 101 accumulates image data for at least several frames necessary for the static motion determination process performed in step S13 in the subsequent stage.
[0137]
In step S11, the
[0138]
Thereafter, the process proceeds to step S12, and it is determined whether or not click data that has not yet been processed is stored in the
[0139]
That is, in step S13, the static
[0140]
More specifically, as shown in the flowchart of FIG. 14, the static
[0141]
Next, in step S22, the static
[0142]
Next, the static
[0143]
When the image to be handled is a color image, the static
[0144]
In step S13 of FIG. 13, the continuous
[0145]
More specifically, as shown in the flowchart of FIG. 16, the continuous
[0146]
Next, the continuous
[0147]
Next, the continuous
[0148]
That is, when it is determined in step S33 that the clicks are continuous, it is highly likely that the user continuously performs a click operation on a certain object image. This is because it is considered that the user of the mobile terminal 1 tends to continuously click on an object image portion (interested region) for which the spatial resolution is desired to be increased. Therefore, if the continuous
[0149]
Returning to FIG. 13, the
[0150]
That is, if it is determined in step S13 that the click data of interest is a discontinuous click and the process proceeds to step S14, the object
[0151]
For example, as shown in FIG. 17A, for example, the object number assigned to the previous click data CL1 indicated by a solid line x in the figure is set to “0”, for example. In this case, when it is determined that the target click data CL2 (click data before the object number is assigned) indicated by the dotted x in FIG. 17A is a discontinuous click, the object
[0152]
On the other hand, when it is determined in step S13 that the click data of interest is a continuous click and a static click, the still object
[0153]
That is, as shown in the flowchart of FIG. 18, the stationary object
[0154]
If it is determined in step S41 that the previous click data is a continuous click and not a static click, the static object
[0155]
If it is determined in step S41 that the previous click data is a continuous click and a static click, and the process proceeds to step S42, the still object
[0156]
In step S42, it is determined that the click data of interest is data obtained by clicking an object image different from that including the previous click, and when the process proceeds to step S44, the stationary object
[0157]
Also, in step S42, it is determined that the click data of interest is the data obtained by clicking the same object image that includes the previous click, and when the process proceeds to step S43, the stationary object
[0158]
A specific example will be described. For example, as shown in FIG. 17C, the object number assigned to the previous click data CL1 indicated by a solid line x in the figure is set to “0”, for example. In this case, it is determined that the target click data CL2 (click data before the object number is assigned) indicated by a dotted x in FIG. 17C is a continuous click and a static click, and the previous click is stationary. When the click position indicated by the click data of interest is included in or close to the image area composed of the object number assigned to the previous click data, the still object
[0159]
Thus, after assigning the same object as the previous click data to the click data of interest in step S43, the process proceeds to step S17 in FIG.
[0160]
Further, in step S13 of FIG. 13, it is determined that the click data of interest is a continuous click and a motion click, the previous click is a motion click, and the image near the click position represented by the click data of interest is further displayed. When the feature is included in or close to the feature of the image area (16 × 16 pixels) configured by the object number assigned to the previous click, the moving object
[0161]
That is, in step S13, when it is determined that the click data of interest is a continuous click and a motion click, the moving object
[0162]
When it is determined in step S51 that the previous click data is a continuous click and not a motion click and the process proceeds to step S54, the moving object
[0163]
In step S51, when it is determined that the previous click data is a continuous click and a motion click and the process proceeds to step S52, the moving object
[0164]
Here, the characteristics of the image area are, for example, a histogram of colors (average color, representative color, etc.) in a local area (16 × 16 pixels) near the click position, a pattern, and the like. Moreover, as described above, assigning the same object number to a plurality of motion clicks can be rephrased as tracking an object between these click data.
[0165]
If it is determined in step S52 that the click data of interest is data that has been clicked on the same object image as that including the previous click, the process proceeds to step S53. If it is determined that the clicked object image is different from the click, the process proceeds to step S54.
[0166]
When it is determined in step S52 that the click data of interest is data obtained by clicking an object image different from the previous click and the process proceeds to step S54, the moving object
[0167]
In Step S52, when it is determined that the click data of interest is data obtained by clicking the same object image that includes each previous click, and the process proceeds to Step S53, the moving object
[0168]
For example, as shown in FIG. 17E, for example, the object number assigned to the previous click data CL1 indicated by a solid line x in the figure is set to “0”, for example. In this case, it is determined that the click data of interest CL2 (click data before the object number is assigned) indicated by a cross mark in FIG. 17E is a continuous click and a movement click, and the previous click is If the feature of the image near the click position indicated by the click data of interest is included in or close to the feature of the object image composed of the object number assigned to the previous click, it is a motion click. The object
[0169]
After assigning the same object as the previous click data to the click data of interest in step S53, the process proceeds to step S17 in FIG.
[0170]
Next, when the process proceeds from step S15 to step S17 in FIG. 13, the object
[0171]
Further, when the process proceeds from step S16 to step S17, the object
[0172]
In step S17, the object
[0173]
The processing in step S17 will be described in detail. As shown in the flowchart of FIG. 20, the object
[0174]
When the process proceeds from step S15 to step S17 in FIG. 13 and from step S62 to step S64 onward in FIG. 20, the object
[0175]
Next, as shown in FIG. 21A, the object
[0176]
Here, in the image of the frame of interest, it is considered that a still object image exists in an image portion where the density of click data determined to be a static click is high. For this reason, the object
[0177]
When the processing proceeds to step S66, the object
[0178]
On the other hand, when the process proceeds from step S16 to step S17 in FIG. 13 and from step S62 to step S63 and subsequent processes in FIG. 20, the object
[0179]
Next, in step S67, the object
[0180]
Thereafter, in step S68, the object
[0181]
Here, after performing motion compensation, it is considered that a moving object image exists in an image portion where the density of click data determined to be a motion click is high. For this reason, the object
[0182]
When the processing proceeds to step S69, the object
[0183]
When it is determined in step S65 or step S68 that the click density is less than the predetermined value, that is, when the click density of the static click or the motion click is low, the process proceeds to step S70, and such an image portion having a low click density is displayed. The corresponding region of the frame of interest is treated as a background image region. In other words, the object
[0184]
After returning to step S11 of FIG. 13, the same processing is repeated thereafter.
[0185]
Next, FIG. 22 shows a configuration example of the second
[0186]
The second
[0187]
The
[0188]
The
[0189]
The
[0190]
The movement versus
[0191]
The
[0192]
Next, with reference to the flowchart of FIG. 23, a description will be given of a user intention detection process (intention detection process) based on click data by the intention detection unit 120.
[0193]
First, in step S81, the
[0194]
Here, in step S82, not only one permutation set but also a plurality of permutation sets (a collection of time-series click data having different ranges) can be configured for the click data. When a plurality of permutation sets are configured in step S82, the subsequent processing is performed for each of the plurality of permutation sets.
[0195]
In step S83, the
[0196]
If it is determined in step S84 that the click movement is unknown, steps S85 and S86 are skipped, and the process ends. Therefore, in this case, the click motion analysis information as the click motion analysis result is not supplied to the
[0197]
On the other hand, when it is determined in step S84 that the click motion is not unknown, the
[0198]
In step S85, the
[0199]
Note that the intention detection process of FIG. 23 is performed each time new click data from the user of interest is stored in the click database 73 (FIG. 8), for example.
[0200]
Next, the click motion analysis process (click motion analysis process) in step S83 in FIG. 23 performed by the
[0201]
First, in step S91, the
[0202]
That is, the
[0203]
As an evaluation method of whether or not the click movement is a linear movement (hereinafter referred to as a linear movement as appropriate), for example, as shown in FIG. 25 (A), two consecutive click positions (in FIG. 25, It is possible to use a vector (hereinafter referred to as a movement vector as appropriate) obtained by connecting the portions marked with ○) in the order of clicking, and use an angle θ formed by a certain movement vector and the next movement vector. 122 is stored.
[0204]
Further, as an evaluation method for determining whether or not the click motion is a circular motion (hereinafter referred to as a circular motion as appropriate), for example, as shown in FIG. The distance D between the start point S and the end point E (the portion indicated by the mark x in FIG. 25B) of the click data constitutingSEIs stored in the
[0205]
Furthermore, as an evaluation method for determining whether or not the click movement is a Brownian movement (hereinafter referred to as “Brownian movement” as appropriate), for example, as shown in FIG. The distance D between the adjacent objects and the distance D between the start point S and the end point E (the portion indicated by x in FIG. 25C)SEIs stored in the
[0206]
Further, as an evaluation condition for determining whether the click movement is a linear movement, a circular movement, a Brownian movement, or the like, for example, the conditions shown in FIG. 26 are stored in the
[0207]
That is, in the embodiment of FIG. 26, in order to evaluate (analyze) that the click motion is a linear motion, the angle θ between the movement vectors is less than or equal to a predetermined threshold (for example, 30 degrees). It is supposed to satisfy the evaluation condition of being.
[0208]
In addition, in order to evaluate the click motion as a circular motion, a trajectory is drawn in which a plurality of click data constituting the permutation set moves from a certain position and returns to the original position. It is necessary to satisfy the evaluation condition. Note that whether or not this evaluation condition is satisfied is, for example, that the click motion is not a linear motion, and the distance D between the start point S and the end point E of the click data constituting the permutation set.SEThe determination can be made based on whether or not the two conditions (FIG. 25B) are equal to or less than a predetermined threshold.
[0209]
Further, in order for the click motion to be evaluated as Brownian motion, the distance from the start point S to the end point E with respect to the number of click data constituting the permutation set (therefore, the number of clicked positions). It is necessary to satisfy the evaluation condition that is short. Whether or not this evaluation condition is satisfied depends on whether the click motion is not a circular motion and the sum of the distances between the click positions represented by two adjacent (continuous) click data constituting the permutation set. Distance D between start point S and end point ESEIt can be determined whether or not (FIG. 25C) satisfies the two conditions of being sufficiently short.
[0210]
Referring back to FIG. 24, in step S91, the
[0211]
Thereafter, the process proceeds to step S92, and the
[0212]
That is, when the attention evaluation method evaluates, for example, whether or not the click motion is a linear motion, the angle θ described in FIG. 25A and FIG. 26 becomes the evaluation value. The
[0213]
Further, when the attention evaluation method evaluates, for example, whether or not the click motion is a circular motion, the distance between the start point S and the end point E of the click data described with reference to FIGS. DSETherefore, the
[0214]
Further, when the attention evaluation method evaluates, for example, whether or not the click motion is a Brownian motion, the distance between the start point S and the end point E of the click data described with reference to FIGS. DSE, And the sum Σ of the distances between two consecutive click data in the click data permutation set becomes an evaluation value, so that the
[0215]
After calculating the evaluation value in step S92, the process proceeds to step S93, and the
[0216]
That is, for example, when evaluating whether or not the click movement is a linear movement, as described with reference to FIG. 26, it is determined whether or not the angle θ between adjacent movement vectors is equal to or less than all the predetermined threshold values. Determined.
[0217]
Further, for example, when evaluating whether or not the click motion is a circular motion, the click motion is not a circular motion and the distance D between the start point S and the end point E of the click data as described with reference to FIG.SEIs less than or equal to a predetermined threshold.
[0218]
Further, for example, when evaluating whether the click motion is a Brownian motion, as described in FIG. 26, the click motion is not a circular motion, and the distance D between the start point S and the end point E of the click data.SEIs determined to be sufficiently smaller than the sum Σ of the distances between two consecutive click data in the permutation set of click data.
[0219]
When it is determined in step S93 that the evaluation value matches the attention evaluation condition, the process proceeds to step S94, and the
[0220]
On the other hand, when it is determined in step S93 that the evaluation value does not match the target evaluation condition, the process proceeds to step S95, and the
[0221]
If it is determined in step S95 that an evaluation method and evaluation conditions that have not been used yet are stored in the
[0222]
If it is determined in step S95 that an evaluation method and an evaluation condition that have not been used yet are not stored in the
[0223]
In the embodiment of FIG. 24, the plurality of evaluation methods and evaluation conditions stored in the
[0224]
Furthermore, in the embodiment of FIG. 24, as described above, when a certain evaluation condition is met, the click movement corresponding to the evaluation condition is used as the click analysis information. It is also possible to perform processing for all of the plurality of stored evaluation methods and evaluation conditions, and finally output information representing the most likely click motion as click analysis information based on the processing result. .
[0225]
Next, referring to the flowchart in FIG. 27, in step S91 in FIG. 24, for example, the processing in steps S92 and S93 when the linear motion evaluation method and the evaluation condition are the attention evaluation method and the attention evaluation condition, respectively. Will be described in further detail.
[0226]
First, in step S101, the
[0227]
In step S102, the
[0228]
If it is determined in step S104 that the angle θ formed is not less than or equal to the threshold value ε, the process proceeds to step S108, and the
[0229]
If it is determined in step S104 that the angle θ formed is equal to or smaller than the threshold ε, the process proceeds to step S105, and the
[0230]
In step S106, the
[0231]
In step S106, if it is determined that the variable i is equal to the number of click data constituting the permutation set, the angle θ formed by adjacent movement vectors composed of the permutation set of click data is determined as follows. If all the values are equal to or less than the threshold value ε, the process proceeds to step S107, and the
[0232]
27 corresponds to the process of step S92 of FIG. 24, and the processes of steps S104 to S108 of FIG. 27 correspond to the process of step S93 of FIG.
[0233]
Next, the intention analysis process in step S85 of FIG. 23 performed by the
[0234]
First, in step S111, the
In step S112, the
[0235]
Here, in the static motion determination in step S112, the same processing as that performed by the static
[0236]
Thereafter, the process proceeds to step S28, and the
[0237]
That is, in the motion versus
[0238]
In step S28, a set of the motion analysis information received from the
[0239]
Here, in the embodiment of FIG. 29, when the click motion is a linear motion and the clicked image is a motion part, the click by the user intends to track (track) an object with a certain motion. It is said that. In addition, when the click motion is a circular motion or a Brownian motion and the clicked image is a stationary portion, the click by the user is intended to gaze at a certain stationary object.
[0240]
Returning to FIG. 28, after the intention information is read from the motion versus
[0241]
If the set of the motion analysis information received from the
[0242]
In the embodiment of FIG. 28, the user's intention is estimated based on the motion analysis information and the static motion determination result. However, the user's intention is estimated based only on the motion analysis information. It is also possible.
[0243]
However, when estimating the user's intention based solely on motion analysis information, multiple intentions may be estimated. Basically, the most probable one is determined from the multiple intentions. Is desirable. Therefore, when a plurality of user intentions are estimated, as described above, it is possible to estimate a more likely intention by using not only the motion analysis information but also the static motion determination result or the like.
[0244]
That is, for example, an experiment in which some users click with a certain intention is performed, and the motion analysis information in which a plurality of intentions are estimated by the experiment is combined with the above-described static determination, By subdividing the intention into cases and registering the subdivision results in the motion versus
[0245]
The
[0246]
That is, when the intention information indicates, for example, an intention to track a moving object, the
[0247]
Alternatively, when the intention information represents an intention to gaze at a stationary object, the
[0248]
Here, the object is extracted based on the intention information. However, the intention information can be used as a reference when performing the processing in image processing other than object extraction.
[0249]
That is, FIG. 30 to FIG. 36 show simulation results performed under the condition that the resolution at the position where the click is performed becomes high. 30 to 33 and FIGS. 35 and 36 schematically show images as simulation results.
[0250]
FIG. 30 to FIG. 33 show a moving image displaying a state in which the toy car is moving linearly from the left to the right of the screen. Further, in FIG. 31 to FIG. It shows a trajectory connecting the click positions where the user clicked in time series. According to the above-described intention detection process (FIG. 23), it can be recognized from FIGS. 30 to 33 that the user has an intention to track an object image of a moving car toy.
[0251]
On the other hand, FIG. 34 shows the coordinates of a predetermined point in the object image of the car toy shown in FIGS. 30 to 33, the motion vector as a change in the coordinates, and the point where the user clicked (click point). A coordinate and a movement vector as a change of the coordinate are shown.
[0252]
From FIG. 34, the motion vector is similar to the motion vector, and therefore, if the user intends to track the object image, the block matching for motion vector detection is based on the motion vector. A range can be selected. In other words, intention information representing the intention of the user trying to track the object can be used as auxiliary information for the process in detecting the motion vector.
[0253]
FIG. 35 and FIG. 36 schematically show images on which a plurality of objects are displayed, and the line indicated by L2 in FIG. 35 and FIG. 36 indicates the click position where the user clicked in time series. It shows a connected trajectory. According to the above-described intention detection process (FIG. 23), the user recognizes from FIG. 35 or FIG. 36 that there is an intention to gaze at the object image of the stationary object at the lower right of the screen. Can do.
[0254]
In this case, as shown in FIG. 36, an object image is included in a predetermined range centered on the click position. Accordingly, intention information representing an intention of the user to pay attention to the object can be used as auxiliary information for the process of extracting the object.
[0255]
In other words, when the user has an intention to gaze at the object, it is assumed that the object exists at the click position, so it can be seen that the object exists near the click position, and as a result, the same as the click position. Even with the method of extracting such a color portion as an object, an object having a plurality of different colors can be extracted with high accuracy. In FIG. 36, a dotted-line square is a square centered on the click position. By extracting such a square area, an outline of a stationary object can be obtained.
[0256]
As described above, the intention information can be used as auxiliary information in performing various types of image processing, and as a result, the accuracy of the image processing can be improved.
[0257]
Note that the intention information obtained by the
[0258]
The first
[0259]
Furthermore, the present invention can be applied not only to a network system that provides images by communication, but also to a user interface that uses images such as GUI (Graphical User Interface). When the present invention is applied to a GUI, it is possible to perform image processing suitable for the user's intention, such as displaying icons having different sizes and resolutions according to the user's intention.
[0260]
【The invention's effect】
According to the image processing apparatus, the image processing method, and the program of the present invention,For example, the object can be extracted with high accuracy.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of an embodiment of a network system to which the present invention is applied.
FIG. 2 is a perspective view showing an external configuration example of a mobile terminal 1;
FIG. 3 is a perspective view showing a state in which the camera unit 15 of the mobile terminal 1 is rotated.
4 is a block diagram showing an example of the electrical configuration of the mobile terminal 1. FIG.
FIG. 5 is a block diagram illustrating a hardware configuration example of the
FIG. 6 is a diagram for explaining image data provided by a content server.
FIG. 7 is a diagram for explaining image data provided by a content server.
FIG. 8 is a block diagram illustrating a functional configuration example of a
9 is a block diagram illustrating a configuration example of a click
10 is a block diagram showing a configuration example of a first
FIG. 11 is a flowchart for explaining processing of the first
12 is a block diagram illustrating a configuration example of an
FIG. 13 is a flowchart for describing extraction processing of a moving object image and a still object image.
FIG. 14 is a flowchart for explaining static movement determination processing;
FIG. 15 is a diagram illustrating a method for calculating a difference between frames.
FIG. 16 is a flowchart for describing continuous click determination processing;
FIG. 17 is a diagram for explaining how to assign object numbers;
FIG. 18 is a flowchart illustrating still object connection processing.
FIG. 19 is a flowchart illustrating a moving object connection process.
FIG. 20 is a flowchart illustrating object extraction processing.
FIG. 21 is a diagram illustrating an object extraction method.
22 is a block diagram showing a configuration example of a second
FIG. 23 is a flowchart for explaining intention detection processing by the second
FIG. 24 is a flowchart illustrating click motion analysis processing.
FIG. 25 is a diagram illustrating a click movement evaluation method.
FIG. 26 is a diagram for explaining an evaluation condition for a click movement.
FIG. 27 is a flowchart illustrating processing for evaluating whether or not the click motion is a linear motion.
FIG. 28 is a flowchart for explaining intention analysis processing;
FIG. 29 is a diagram showing the stored contents of a motion versus
FIG. 30 is a schematic diagram showing a simulation result.
FIG. 31 is a schematic diagram showing a simulation result.
FIG. 32 is a schematic diagram showing a simulation result.
FIG. 33 is a schematic diagram showing simulation results.
FIG. 34 is a diagram showing motion vectors and movement vectors obtained by simulation.
FIG. 35 is a schematic diagram showing a simulation result.
FIG. 36 is a schematic diagram showing a simulation result.
[Explanation of symbols]
111A Mobile terminal, 212B Base station, 3 public network, 41Thru 4C WWW server, 5 Internet, 6 access server, 7 content server, 8 management control device, 11 hinge part, 12 display part, 13 main body, 14 antenna, 15 camera part, 16 CCD camera, 17 speaker, 18 liquid crystal display, 19 operation Key, 10 Memo button, 21 Microphone, 22 Trackball, 23 Memory card, 24 Memory stick slot, 30 Main control unit, 31 Power supply circuit unit, 32 Operation input control unit, 33 Image encoder, 34 Camera I / F, 35 LED Control unit, 36 image decoder, 37 demultiplexing unit, 38 modulation / demodulation circuit unit, 39 audio codec, 40 main bus, 41 synchronization bus, 42 recording / playback unit, 43 transmission / reception circuit unit, 51 bus, 52 C PU, 53 ROM, 54 RAM, 55 hard disk, 56 output unit, 57 input unit, 58 communication unit, 59 drive, 60 input / output interface, 61 removable recording medium, 71 transmission / reception control unit, 72 registration unit, 73 click database, 74 Click data processing unit, 75 image processing unit, 76 image database, 81 first object extraction device, 82 second object extraction device, 91 click data reading unit, 92 image data reading unit, 93 background extraction unit, 94 object extraction unit, 95 additional information calculation unit, 96 multiplexing processing unit, 101 image memory, 102 click data memory, 103 static motion determination unit, 104 continuous click determination unit, 105 processing determination unit, 106 to 108 switching selection Switch, 109 object number allocation unit, 110 moving object connection processing unit, 111 still object connection processing unit, 112 object number memory, 113 object image extraction unit, 114 object extraction result memory, 120 intention detection unit, 121 motion analysis unit , 122 motion database, 123 intention analysis unit, 124 motion versus intention relation database, 125 object extraction unit
Claims (10)
表示された画像上の全領域のうち、前記ユーザが指示した位置を中心とする局所的な画像領域において、表示された前記画像と前記画像よりも過去に表示された他の画像との間で、前記画像領域の各画素値の差分絶対値の平均値を算出する平均値算出手段と、
前記平均値が所定のしきい値以下であるか否かに基づいて、前記画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定手段と、
表示された前記画像上において、前記ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の前記組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得手段と、
前記注目評価方法にしたがい、複数の前記位置情報から評価値を算出する評価値算出手段と、
前記評価値が前記注目評価条件を満たす場合、前記注目評価方法および前記注目評価条件の組合せに対応付けて記憶されている前記動きを、前記ユーザが指示する位置の動きであるものとして解析する動き解析手段と、
前記動き解析手段により解析された前記動きおよび前記静動判定手段による静動判定結果の組合せ毎に、前記動きおよび前記静動判定結果が生じた場合に推定される前記ユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、前記動き解析手段により解析された前記動きおよび前記静動判定結果に対応する前記ユーザの意図を解析する意図解析手段と、
前記画像データに対して、前記ユーザの意図に適合した処理を実行する処理手段と
を備える画像処理装置。An image processing apparatus that processes image data provided to the user's terminal based on position information obtained by a user specifying a position on a displayed image,
Among all the areas on the displayed image, in the local image area centered on the position designated by the user, between the displayed image and another image displayed in the past than the image. Average value calculating means for calculating an average value of absolute differences of pixel values of the image area;
Based on whether or not the average value is equal to or less than a predetermined threshold value, a static motion determination means for determining whether the image region is a motion region with motion or a still region without motion;
On the displayed image, a movement storing a combination of an evaluation method and an evaluation condition for evaluating and analyzing a movement of a position designated by the user in association with a plurality of predetermined movements An acquisition means for acquiring, from the database, an evaluation method and an evaluation condition corresponding to a predetermined combination among the plurality of combinations as an attention evaluation method and an attention evaluation condition;
In accordance with the attention evaluation method, evaluation value calculation means for calculating an evaluation value from a plurality of the position information,
When the evaluation value satisfies the attention evaluation condition, the movement for analyzing the movement stored in association with the combination of the attention evaluation method and the attention evaluation condition as a movement of a position indicated by the user Analysis means;
For each combination of the motion analyzed by the motion analysis means and the static motion determination result by the static motion determination means, the intention of the user estimated when the motion and the static motion determination result occur is associated with each other. An intention analysis means for analyzing the user's intention corresponding to the motion and the static motion determination result analyzed by the motion analysis means using a stored motion versus intention relation database ;
Images processing device and a processing means for executing for the previous SL image data, the processing conforming to the intention of the user.
請求項1に記載の画像処理装置。 Before SL intention analysis means, said analyzed as a linear motion by the motion analysis unit, and, upon obtaining the movement determination result that it is the motion region by the movement determination unit, the user Analyzes that it intends to track a given object on the displayed image
The image processing apparatus according to 請 Motomeko 1.
請求項1に記載の画像処理装置。 Before SL intention analysis means, said by the motion analysis unit is analyzed to be a circular movement or Brownian motion movement, and, the movement determination result that it is the still region by the movement determination means If it is obtained , the user analyzes that the user intends to gaze at a predetermined object on the displayed image.
The image processing apparatus according to 請 Motomeko 1.
請求項2または3に記載の画像処理装置。The processing means executes a process of extracting the predetermined object from the image data as a process suitable for the user's intention.
The image processing apparatus according to 請 Motomeko 2 or 3.
請求項1に記載の画像処理装置。 The image data, further comprising providing means for providing to the terminal of the user
The image processing apparatus according to 請 Motomeko 1.
請求項5に記載の画像処理装置。The user terminal is a mobile terminal
The image processing apparatus according to 請 Motomeko 5.
請求項1に記載の画像処理装置。The location information is transmitted from the user terminal via a predetermined network.
The image processing apparatus according to 請 Motomeko 1.
前記画像処理装置による、
表示された画像上の全領域のうち、前記ユーザが指示した位置を中心とする局所的な画像領域において、表示された前記画像と前記画像よりも過去に表示された他の画像との間で、前記画像領域の各画素値の差分絶対値の平均値を算出する平均値算出ステップと、
前記平均値が所定のしきい値以下であるか否かに基づいて、前記画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定ステップと、
表示された前記画像上において、前記ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の前記組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得ステップと、
前記注目評価方法にしたがい、複数の前記位置情報から評価値を算出する評価値算出ステップと、
前記評価値が前記注目評価条件を満たす場合、前記注目評価方法および前記注目評価条件の組合せに対応付けて記憶されている前記動きを、前記ユーザが指示する位置の動きであるものとして解析する動き解析ステップと、
前記動き解析ステップにより解析された前記動きおよび前記静動判定ステップによる静動判定結果の組合せ毎に、前記動きおよび前記静動判定結果が生じた場合に推定される前記ユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、前記動き解析ステップにより解析された前記動きおよび前記静動判定結果に対応する前記ユーザの意図を解析する意図解析ステップと、
前記画像データに対して、前記ユーザの意図に適合した処理を実行する処理ステップと
を含む画像処理方法。 An image processing method of an image processing apparatus for processing image data provided to a user terminal based on position information obtained by a user indicating a position on a displayed image,
According to the image processing device,
Among all the areas on the displayed image, in the local image area centered on the position designated by the user, between the displayed image and another image displayed in the past than the image. , An average value calculating step for calculating an average value of absolute differences of the pixel values of the image area;
A static determination step of determining whether the image area is a moving area with movement or a stationary area without movement based on whether the average value is equal to or less than a predetermined threshold; and
On the displayed image, a movement storing a combination of an evaluation method and an evaluation condition for evaluating and analyzing a movement of a position designated by the user in association with a plurality of predetermined movements An acquisition step of acquiring, from the database, an evaluation method and an evaluation condition corresponding to a predetermined combination among the plurality of combinations as an attention evaluation method and an attention evaluation condition;
According to the attention evaluation method, an evaluation value calculation step of calculating an evaluation value from a plurality of the position information,
When the evaluation value satisfies the attention evaluation condition, the movement for analyzing the movement stored in association with the combination of the attention evaluation method and the attention evaluation condition as a movement of a position indicated by the user An analysis step;
For each combination of the motion analyzed in the motion analysis step and the static motion determination result in the static motion determination step, the user's intention estimated when the motion and the static motion determination result occur are associated with each other. An intention analysis step of analyzing the user's intention corresponding to the motion and the static motion determination result analyzed by the motion analysis step using a stored motion versus intention relationship database ;
Images processing method comprising a processing step to be executed for pre Symbol image data, the processing conforming to the intention of the user.
表示された画像上の全領域のうち、前記ユーザが指示した位置を中心とする局所的な画像領域において、表示された前記画像と前記画像よりも過去に表示された他の画像との間で、前記画像領域の各画素値の差分絶対値の平均値を算出する平均値算出ステップと、
前記平均値が所定のしきい値以下であるか否かに基づいて、前記画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定ステップと、
表示された前記画像上において、前記ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の前記組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得ステップと、
前記注目評価方法にしたがい、複数の前記位置情報から評価値を算出する評価値算出ステップと、
前記評価値が前記注目評価条件を満たす場合、前記注目評価方法および前記注目評価条件の組合せに対応付けて記憶されている前記動きを、前記ユーザが指示する位置の動きであるものとして解析する動き解析ステップと、
前記動き解析ステップにより解析された前記動きおよび前記静動判定ステップによる静動判定結果の組合せ毎に、前記動きおよび前記静動判定結果が生じた場合に推定される前記ユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、前記動き解析ステップにより解析された前記動きおよび前記静動判定結果に対応する前記ユーザの意図を解析する意図解析ステップと、
前記画像データに対して、前記ユーザの意図に適合した処理を実行する処理ステップと
を含む処理をコンピュータに行なわせるプログラム。A program for causing a computer to perform image processing for processing image data provided to the user's terminal based on position information obtained by a user indicating a position on a displayed image,
Among all the areas on the displayed image, in the local image area centered on the position designated by the user, between the displayed image and another image displayed in the past than the image. , An average value calculating step for calculating an average value of absolute differences of the pixel values of the image area;
A static determination step of determining whether the image area is a moving area with movement or a stationary area without movement based on whether the average value is equal to or less than a predetermined threshold; and
On the displayed image, a movement storing a combination of an evaluation method and an evaluation condition for evaluating and analyzing a movement of a position designated by the user in association with a plurality of predetermined movements An acquisition step of acquiring, from the database, an evaluation method and an evaluation condition corresponding to a predetermined combination among the plurality of combinations as an attention evaluation method and an attention evaluation condition;
According to the attention evaluation method, an evaluation value calculation step of calculating an evaluation value from a plurality of the position information,
When the evaluation value satisfies the attention evaluation condition, the movement for analyzing the movement stored in association with the combination of the attention evaluation method and the attention evaluation condition as a movement of a position indicated by the user An analysis step;
For each combination of the motion analyzed in the motion analysis step and the static motion determination result in the static motion determination step, the user's intention estimated when the motion and the static motion determination result occur are associated with each other. An intention analysis step of analyzing the user's intention corresponding to the motion and the static motion determination result analyzed by the motion analysis step using a stored motion versus intention relationship database ;
Program for causing relative to the front Symbol image data, the processing including a processing step of executing a process that matches the intention of the user to the computer.
表示された画像上の全領域のうち、前記ユーザが指示した位置を中心とする局所的な画像領域において、表示された前記画像と前記画像よりも過去に表示された他の画像との間で、前記画像領域の各画素値の差分絶対値の平均値を算出する平均値算出ステップと、
前記平均値が所定のしきい値以下であるか否かに基づいて、前記画像領域が動きのある動き領域であるか、または動きのない静止領域であるかを判定する静動判定ステップと、
表示された前記画像上において、前記ユーザが指示する位置の動きを評価して解析するための評価方法および評価条件の組合せを、予め決められた複数の動き毎に対応付けて記憶している動きデータベースから、複数の前記組合せのうち、所定の組合せに対応する評価方法および評価条件を、注目評価方法および注目評価条件として取得する取得ステップと、
前記注目評価方法にしたがい、複数の前記位置情報から評価値を算出する評価値算出ステップと、
前記評価値が前記注目評価条件を満たす場合、前記注目評価方法および前記注目評価条件の組合せに対応付けて記憶されている前記動きを、前記ユーザが指示する位置の動きであるものとして解析する動き解析ステップと、
前記動き解析ステップにより解析された前記動きおよび前記静動判定ステップによる静動判定結果の組合せ毎に、前記動きおよび前記静動判定結果が生じた場合に推定される前記ユーザの意図を対応付けて記憶している動き対意図関係データベースを用いて、前記動き解析ステップにより解析された前記動きおよび前記静動判定結果に対応する前記ユーザの意図を解析する意図解析ステップと、
前記画像データに対して、前記ユーザの意図に適合した処理を実行する処理ステップと
を含む処理をコンピュータに行なわせるプログラムが記録されている
プログラム記録媒体。A program in which a program for causing a computer to perform image processing for processing image data provided to the user's terminal is recorded based on position information obtained by a user indicating a position on a displayed image A recording medium,
Among all the areas on the displayed image, in the local image area centered on the position designated by the user, between the displayed image and another image displayed in the past than the image. , An average value calculating step for calculating an average value of absolute differences of the pixel values of the image area;
A static determination step of determining whether the image area is a moving area with movement or a stationary area without movement based on whether the average value is equal to or less than a predetermined threshold; and
On the displayed image, a movement storing a combination of an evaluation method and an evaluation condition for evaluating and analyzing a movement of a position designated by the user in association with a plurality of predetermined movements An acquisition step of acquiring, from the database, an evaluation method and an evaluation condition corresponding to a predetermined combination among the plurality of combinations as an attention evaluation method and an attention evaluation condition;
According to the attention evaluation method, an evaluation value calculation step of calculating an evaluation value from a plurality of the position information,
When the evaluation value satisfies the attention evaluation condition, the movement for analyzing the movement stored in association with the combination of the attention evaluation method and the attention evaluation condition as a movement of a position indicated by the user An analysis step;
For each combination of the motion analyzed in the motion analysis step and the static motion determination result in the static motion determination step, the user's intention estimated when the motion and the static motion determination result occur are associated with each other. An intention analysis step of analyzing the user's intention corresponding to the motion and the static motion determination result analyzed by the motion analysis step using a stored motion versus intention relationship database ;
For the previous SL image data, a program to perform a process including the process step for executing processing conforming to the intention of the user to the computer is recorded
Program recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001070077A JP4683250B2 (en) | 2001-03-13 | 2001-03-13 | Image processing apparatus, image processing method, program, and program recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001070077A JP4683250B2 (en) | 2001-03-13 | 2001-03-13 | Image processing apparatus, image processing method, program, and program recording medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002269568A JP2002269568A (en) | 2002-09-20 |
JP2002269568A5 JP2002269568A5 (en) | 2008-04-24 |
JP4683250B2 true JP4683250B2 (en) | 2011-05-18 |
Family
ID=18928007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001070077A Expired - Fee Related JP4683250B2 (en) | 2001-03-13 | 2001-03-13 | Image processing apparatus, image processing method, program, and program recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4683250B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006067345A (en) * | 2004-08-27 | 2006-03-09 | Sony Corp | Image signal processing apparatus, control method thereof, and image signal processing system |
US8649562B2 (en) * | 2009-10-06 | 2014-02-11 | Koninklijke Philips N.V. | Method and system for processing a signal including at least a component representative of a periodic phenomenon in a living being |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090107A (en) * | 1998-09-10 | 2000-03-31 | Toshiba Corp | Moving-picture relative information retrieval system |
-
2001
- 2001-03-13 JP JP2001070077A patent/JP4683250B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090107A (en) * | 1998-09-10 | 2000-03-31 | Toshiba Corp | Moving-picture relative information retrieval system |
Also Published As
Publication number | Publication date |
---|---|
JP2002269568A (en) | 2002-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4552296B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US10706887B2 (en) | Apparatus and method for displaying times at which an object appears in frames of video | |
US11941883B2 (en) | Video classification method, model training method, device, and storage medium | |
US7046232B2 (en) | Information processing apparatus, method of displaying movement recognizable standby state, method of showing recognizable movement, method of displaying movement recognizing process, and program storage medium | |
KR101007438B1 (en) | Transmitting apparatus and method, receiving apparatus and method, recording medium, and transmitting/receiving system | |
US7760156B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, receiving method, transmitting and receiving apparatus, transmitting and receiving method, record medium, and signal | |
CN103002328A (en) | Method and device for identifying channels | |
WO2021120866A1 (en) | Target object tracking method and apparatus, and terminal device | |
CN104798104A (en) | Gesture pre-processing of video stream using a markered region | |
CN111339842A (en) | Video jamming identification method and device and terminal equipment | |
KR101954717B1 (en) | Apparatus for Processing Image by High Speed Analysis and Driving Method Thereof | |
CN112596846A (en) | Method and device for determining interface display content, terminal equipment and storage medium | |
CN115239860A (en) | Expression data generation method and device, electronic equipment and storage medium | |
JP2002083302A (en) | Information processing device, action recognition processing method, and program storage medium | |
JP4683250B2 (en) | Image processing apparatus, image processing method, program, and program recording medium | |
JP2001306243A (en) | Information processor and recognizable operation notifying method and program storing medium | |
JP2003150561A (en) | Display device and display method and program and recording medium | |
JP2001306049A (en) | Information processor, movement recognition process displaying method and program storage medium | |
JP2001307108A (en) | Information processor, method for displaying operation recognizing waiting state and program storage medium | |
JP2001306236A (en) | Information processor, operation recognition processing method and program storage medium | |
CN118260380A (en) | Processing method and system for multimedia scene interaction data | |
CN115706796A (en) | Adaptive image intra coding system | |
CN107547522A (en) | General multi-screen intelligent information method for pushing and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |