JP4402703B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に関し、特には、画像処理途中での処理受け渡しを可能とする画像処理装置及びその制御方法に関する。

従来、放送等により取得した映像コンテンツに解像度向上などの高画質化処理を施して表示する技術が提案されている。このような高画質化処理は、表示時にリアルタイム処理として行われるのが一般的である。

一方、近年では、ハードディスクレコーダなど、大容量の蓄積媒体を備えた録画装置が普及しつつあり、また、録画装置が備えるプロセッサの能力も向上している。このような背景から、録画装置のプロセッサの処理能力に余裕がある時間帯を利用し、蓄積媒体に蓄積された映像コンテンツの高画質化を行う非リアルタイム高画質化処理も行われるようになってきた。

非リアルタイム高画質化処理を行う場合、高画質化処理対象のコンテンツに対する視聴要求はいつ発生するか分からないため、高画質化処理は早く終了すればする程よいと考えられる。しかし、非リアルタイム高画質処理をプロセッサの処理能力に余裕がある時にのみ行う場合、他の処理でプロセッサの処理能力に余裕がない状況が続くと高画質化処理は容易に完了できない。

例えば、蓄積媒体を備えたテレビジョン受像機（以下、単にテレビという）において非リアルタイム高画質化処理を行なうとする。テレビのプロセッサは、番組の視聴中、受信したデータストリームから表示画面を生成する等、負荷の大きな処理を連続して行なう必要がある。そのため、番組の視聴中に非リアルタイム高画質処理を行なうことはできず、処理時間の短縮は困難である。

一方、画像処理装置が複数接続されている場合に、画像処理を装置間で分担する技術が知られている。特許文献１では、画像処理可能なデジタルカメラとプリンタが接続された印刷システムにおいて、印刷を行う画像に対してどちらがどのような画像処理を行うかを決定することで、同じ画像処理を両者が適用することで画質が低下することを防止している。

特開２００４−１６５８１４公報

上述の従来技術においては、画像処理単位での分担は可能であるが、ある１つの画像処理を分担する、即ち、一方の装置が途中まで行った処理を引き継いで他方の装置が実行するような処理形態については具体的な提案がなされていない。

本発明は、このような課題を解決するためになされたものである。本発明は、蓄積された映像コンテンツに対する画像処理を中断した場合、中断した画像処理を他の画像処理装置が引き継いで実行することを可能にする画像処理装置及びその制御方法を提供することを目的とする。

すなわち、上述の目的は、蓄積された映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用する画像処理装置であって、映像コンテンツを構成する複数のフレーム画像の先頭のフレーム画像から順に、各フレーム画像を高画質化するための画像処理を適用する画像処理手段と、画像処理の内容及び進捗状況に関する情報を含む画像処理情報を記憶する記憶手段と、映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで画像処理を適用した後、残りのフレーム画像に対する当画像処理の適用を中断した場合、当残りのフレーム画像に対して当画像処理を適用するために映像コンテンツと適用を中断した画像処理に関する画像処理情報とを他の画像処理装置へ転送する転送手段とを有し、適用を中断した画像処理に関する画像処理情報に含まれる、画像処理の内容に関する情報は、画像処理の種別を示す情報を含み、画像処理の進捗状況に関する情報は、映像コンテンツを構成する複数のフレーム画像のうち、どのフレーム画像まで画像処理が適用されたかを示すフレーム番号情報であり、転送手段は、画像処理情報を映像コンテンツに多重化した転送用コンテンツにより、映像コンテンツと画像処理情報とを他の画像処理装置へ転送することを特徴とする画像処理装置によって達成される。

また、上述の目的は、映像コンテンツに対して、当映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用可能な画像処理手段を有する画像処理装置であって、他の画像処理装置から、映像コンテンツと、他の画像処理装置が当映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで適用した画像処理の種別を示す情報及び映像コンテンツを構成する複数のフレーム画像のうちどのフレーム画像まで画像処理が適用されたかを示すフレーム番号情報を含む画像処理情報と、を受信する受信手段と、受信手段が受信した画像処理情報に含まれる、画像処理の種別を示す情報に基づいて、画像処理手段で行うべき画像処理を選択する選択手段とを有し、画像処理手段が、前記他の画像処理装置から受信した映像コンテンツを構成する複数のフレーム画像のうち、フレーム番号情報で示されるフレーム画像の次のフレーム画像から、選択手段の選択した画像処理を適用することを特徴とする画像処理装置によっても達成される。

また、上述の目的は、蓄積された映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用する画像処理装置の制御方法であって、映像コンテンツを構成する複数のフレーム画像の先頭のフレーム画像から順に、各フレーム画像を高画質化するための画像処理を適用する画像処理ステップと、画像処理の内容及び進捗状況に関する情報を含む画像処理情報を記憶手段に記憶する記憶ステップと、映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで画像処理を適用した後、残りのフレーム画像に対する当画像処理の適用を中断した場合、当残りのフレーム画像に対して当画像処理を適用するために映像コンテンツと適用を中断した画像処理に関する画像処理情報とを他の画像処理装置へ転送するステップとを有し、適用を中断した画像処理に関する画像処理情報に含まれる、画像処理の内容に関する情報は、画像処理の種別を示す情報を含み、画像処理の進捗状況に関する情報は、映像コンテンツを構成する複数のフレーム画像のうち、どのフレーム画像まで画像処理が適用されたかを示すフレーム番号情報であり、転送ステップは、画像処理情報を映像コンテンツに多重化した転送用コンテンツにより、映像コンテンツと画像処理情報とを他の画像処理装置へ転送することを特徴とする画像処理装置の制御方法によっても達成される。

また、上述の目的は、映像コンテンツに対して、当映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用可能な画像処理手段を有する画像処理装置の制御方法であって、他の画像処理装置から、映像コンテンツと、他の画像処理装置が当映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで適用した画像処理の種別を示す情報及び映像コンテンツを構成する複数のフレーム画像のうちどのフレーム画像まで画像処理が適用されたかを示すフレーム番号情報を含む画像処理情報と、を受信する受信ステップと、受信ステップで受信された画像処理情報に含まれる、画像処理の種別を示す情報に基づいて、画像処理手段で行うべき画像処理を選択する選択ステップと、画像処理手段により、前記他の画像処理装置から受信した映像コンテンツを構成する複数のフレーム画像のうち、フレーム番号情報で示されるフレーム画像の次のフレーム画像から、選択ステップで選択された画像処理を適用する画像処理ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。

また、上述の目的は、コンピュータを、本発明の画像処理装置が有する各手段として機能させるためのプログラムによっても達成される。

このような構成により、本発明によれば、蓄積された映像コンテンツに対する画像処理を中断した場合、中断した画像処理を他の画像処理装置が引き継いで実行することが可能になる。

（第１の実施形態）
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の第１の実施形態に係る画像処理システムの構成例を示すブロック図である。

図１において、画像処理システムは、第１の表示装置１１０が接続された第１の画像処理装置１００と、第２の表示装置２０９が接続された第２の画像処理装置２００とが接続された構成を有する。ここで、第１の画像処理装置１００が実行可能な画像処理は、第２の画像処理装置２００においても実行可能であるとする。

第１の画像処理装置１００において、第１のコンテンツ受信部１０１は、例えばデジタルテレビジョン放送番組等の映像コンテンツを受信する。第１の復号部１０２は、コンテンツ受信部１０１が受信した映像コンテンツを復号する。第１の蓄積部１０３は、第１の復号部１０２が復号したコンテンツを蓄積する。

第１の画像処理部１０４は、第１の蓄積部１０３に蓄積された映像コンテンツに対して例えば解像度変換処理、色補正処理、ノイズ低減処理、動き検出処理といった画像処理を適用可能である。第１の画像処理部１０４は、画像処理を適用した映像コンテンツを、第１の蓄積部１０３に再び蓄積する。また、第１の画像処理部１０４は、適用中の画像処理の内容（画像処理の種類や使用したパラメータの種類や値）や進捗状況（映像コンテンツのどこまでが処理済であるか）に関する情報を、画像処理情報として生成し、第１の画像処理情報蓄積部１０５に蓄積する。

送信管理部１０６は第１の画像処理装置１００から第２の画像処理装置２００に処理を引き継ぐかどうかを判断する。そして、引き継ぎが必要と判断された場合、送信管理部１０６は圧縮部１０７に映像コンテンツの圧縮を指示する。圧縮部１０７は、送信管理部１０６からの送信指示を受け、第１の蓄積部１０３に蓄積された映像コンテンツを圧縮する。画像処理情報重畳部１０８は圧縮部１０７が圧縮した映像コンテンツに、第１の画像処理情報蓄積部１０５に蓄積された画像処理情報を重畳し、送信コンテンツを作成する。コンテンツ送信部１０９は画像処理情報重畳部１０８が作成した送信コンテンツを第２の画像処理装置２００に送信する。第１の表示装置１１０は、第１の復号部１０２が復号した映像コンテンツを表示する。

第１の制御部１２０は、第１の画像処理装置１００全体の動作を制御する。第１の制御部１２０は例えばＣＰＵのようなプロセッサであり、図示しないＲＯＭに記憶されたプログラムを図示しないＲＡＭに読み出して実行することにより、第１の画像処理装置１００の後述の動作を実現する。第１の制御部１２０の負荷状況は、一般にアクティビティモニタのようなソフトウェアで実現されるような手法により、使用率として判別することが可能である。本実施形態においては、第１の画像処理部１０４が、第１の制御部１２０の負荷状況を監視し、予め定めた使用率を下回ると非リアルタイム画像処理を開始し、使用率が予め定めた値以上となると非リアルタイム画像処理を中断するものとする。

なお、図１において、第１の蓄積部１０３及び第１の画像処理情報蓄積部１０５を除く各部の少なくとも一部は、第１の制御部１２０を構成するＣＰＵにより、ソフトウェア的に実現されても良い。

一方、第２の画像処理装置において、第２のコンテンツ受信部２０１は第１のコンテンツ送信部１０９が送信した送信コンテンツを受信する。第２の復号部２０２は、第２のコンテンツ受信部２０１が受信した送信コンテンツを復号し、第２の蓄積部２０３に蓄積する。第２の復号部２０２はさらに、第２の蓄積部２０３に蓄積された映像コンテンツを復号し、コンテンツ再生部２０８に出力する。第２の蓄積部２０３は、第２の復号部２０２が復号したコンテンツを蓄積する。

画像処理情報分析部２０４は、第２のコンテンツ受信部２０１が受信した送信コンテンツに含まれる画像処理情報を分析する。画像処理選択部２０５は、第２の画像処理装置２００が処理可能な画像処理手法から、画像処理情報分析部２０４の分析結果に基づき、第１の画像処理装置１００で行われていた画像処理を継続して実行するかどうかを判断する。

画像処理情報分析部２０４は、第１の画像処理装置１００において行われていた画像処理を継続して実行すると判断した場合、適用すべき画像処理手法を決定し、分析した画像処理情報とともに第２の画像処理情報蓄積部２０６に蓄積する。

第２の画像処理部２０７は、第２の画像処理情報蓄積部２０６に蓄積されている画像処理手法及び画像処理情報を用い、第２の蓄積部２０３に蓄積された映像コンテンツに画像処理を適用する。コンテンツ再生部２０８は、第２の復号部２０２が復号した映像信号、もしくは第２の蓄積部２０３に蓄積された映像コンテンツを再生する。第２の表示装置２０９はコンテンツ再生部２０８が再生した映像コンテンツを表示する。

第２の制御部２２０は、第１の制御部１２０と同様の構成を有し、第２の画像処理装置２００の動作全体を制御する。

（動作）
次に、このような構成を有する画像処理システムの動作について説明する。
なお、ここでは、第１の画像処理装置１００が処理対象としての映像コンテンツに対して行う画像処理が解像度変換による高画質化処理であるものとして説明を行う。しかし、画像処理の種類は解像度変換に限定されるものではない。他の画像処理としては例えば、色補正処理やノイズ低減処理、動き検出（動きベクトル検出）処理などを挙げることができる。

また、上述の通り、第１の画像処理装置１００と第２の画像処理装置とは少なくとも１つの同じ画像処理が可能であるものとする。端的な例では、第１の画像処理装置１００と第２の画像処理装置２００とが同一の装置であってよい。あるいは、処理可能な画像処理の内容を互いに把握し、第１の画像処理装置１００は第２の画像処理装置２００が処理可能な画像処理についてのみ処理を引き継ぐようにしてもよい。この、相手方装置の能力の把握は、第１の画像処理装置１００と第２の画像処理装置２００とが通信を確立する際に行う前手順において、互いに能力情報をやりとりする等により実現できる。

本実施形態において、第１の画像処理部１０４は、第１の蓄積部１０３に蓄積された映像コンテンツを、映像コンテンツを構成するフレーム毎に、一般的な解像度変換手法であるバイキュービック法を用いて解像度変換（高解像度化）する。この解像度得変換処理は第１の制御部１２０の処理負荷が低い（利用率が低い）際に非リアルタイム処理として実行する。

例えば解像度変換処理が前からｎ番目のフレームまで行われたタイミングで、何らかのユーザ要求により、第１の画像処理装置１００のプロセッサの負荷が上昇し、例えば使用率が予め定めた閾値を超えたとする。本実施形態ではこれをトリガとして、第１の画像処理装置１００からコンテンツを第２の画像処理装置２００に処理を引き継ぎ、第２の画像処理装置２００内において、映像コンテンツの前からｎ＋１番目のフレームから解像度変換処理を継続できるようにする。

図示しない外部装置からの入力される映像コンテンツは、第１の画像処理装置１００において第１のコンテンツ受信部１０１で受信される。本実施形態では、映像コンテンツがＭＰＥＧ２(Moving Picture Expert Group 2)のＴＳ(Transport Stream)形式で入力されるものとする。よって、第１のコンテンツ受信部１０１は、ＭＰＥＧ２−ＴＳデータを受信し、多重化されている複数の映像コンテンツの中から、ユーザの所望する映像コンテンツを抽出し、第１の復号部１０２に出力する。なお、第１のコンテンツ受信部１０１は、映像コンテンツとともに音声の抽出や同期の制御等も行うが、本実施形態には直接関係しないため説明を省略する。

第１の復号部１０２では、第１のコンテンツ受信部１０１から入力される圧縮動画像を復号する。本実施形態では、圧縮動画像としてＭＰＥＧ２−Ｖｉｄｅｏを想定する。従って、第１の復号部１０２はＭＰＥＧ２方式の復号を行い、復号した動画像をフレーム毎に第１の蓄積部１０３に蓄積する。

第１の画像処理部１０４は、第１の蓄積部１０３に蓄積された動画像を１フレーム毎に読み出し、解像度変換処理を行い、再び第１の蓄積部１０３に蓄積する。本実施形態では、バイキュービック法を用いて、入力されたフレームの解像度を、ユーザの指定した解像度に変換（増加）するものとする。

なお、第１の画像処理部１０４は、第２の画像処理装置において同様の解像度変換処理を実施するために必要な画像処理情報を、第１の画像処理情報蓄積部１０５に蓄積する。本実施形態における画像処理情報としては、解像度変換のアルゴリズムの種類を示すＩＤ値、処理が完了しているフレーム番号、解像度変換前の解像度、解像度変換後の解像度等、画像処理の内容と進捗状況に関する情報が含まれるものとする。従って、画像処理の種類に応じて処理情報の内容も変化しうる。

第１の画像処理装置１００は、第１の制御部１２０の負荷状況を示す使用率が予め定めた閾値を下回っている限り、第１の蓄積部１０３から処理対象の動画像のフレームを順次読み出し、解像度変換処理を継続する。

例えば、解像度変換対象の映像コンテンツとは異なる映像コンテンツ、例えば放送中の番組についてユーザから視聴要求が例えばリモコン等により入力されたとする。この場合、第１のコンテンツ受信部１０１、第１の復号部１０２として機能する第１の制御部１２０の処理負荷は増大する。そして、結果として第１の制御部１２０の使用率が予め定めた閾値を超えた場合、第１の画像処理部１０４は直ちに解像度変換処理を中断する。そして第１の画像処理部１０４は、中断時点における画像処理情報を第１の画像処理情報蓄積部１０５へ、処理対象の映像コンテンツを特定する情報と関連付けて蓄積する。

さらに、送信管理部１０６は、画像処理を第２の画像処理装置へ引き継ぐべきであるかどうかを判定する。ここで、送信管理部１０６の判定材料や条件に特に制限はなく、単純に第１の画像処理装置での画像処理が中断したら無条件に引き継ぎを行うべきであると判定しても良い。

あるいは、第２の画像処理装置の処理負荷を、図示しない通信インタフェースを介した問い合わせ等により取得し、第２の画像処理装置の処理負荷が低く、画像処理を直ちに継続実施可能であると思われる場合に処理を引き継ぐべきと判定することも可能である。

送信管理部１０６は、画像処理の引き継ぎを行うべきでないと判定される場合には、特になにも行わない。あるいは、第２の画像処理装置の処理負荷を定期的に監視しても良い。

送信管理部１０６は、画像処理の引き継ぎを行うべきと判定した場合、第１の蓄積部１０３から、第１の画像処理部１０４が画像処理を中断した映像コンテンツを動画圧縮手法で圧縮するよう圧縮部１０７に指示する。圧縮手法に制限はないが、本実施形態ではＭＰＥＧ２方式によって圧縮を行うものとする。

圧縮部１０７は、送信管理部１０６からの指示を受け、第１の蓄積部１０３に蓄積された、解像度変換を中断した映像コンテンツを読み出して圧縮し、画像処理情報重畳部１０８に出力する。

画像処理情報重畳部１０８は第１の画像処理情報蓄積部１０５から当該映像コンテンツの画像処理情報を読み出し、圧縮部１０７が圧縮した映像コンテンツに重畳して送信コンテンツを作成する。

第１の画像処理装置１００から送信コンテンツを第２の画像処理装置２００に転送する際のデータフォーマットは任意であるが、本実施形態ではＭＰＥＧ２−ＴＳフォーマットを用いる。ＭＰＥＧ２−ＴＳへの画像処理情報の重畳方法の詳細は後述する。
コンテンツ送信部１０９は、画像処理情報重畳部１０８が作成した送信コンテンツを第２の画像処理装置２００へ転送する。

次に、第１の画像処理部１０４と第１の画像処理情報蓄積部１０５の動作を詳細に説明する。
第１の画像処理部１０４では、映像コンテンツに含まれる動画像を構成するフレームのうち、時間的に前に表示されるフレームから順に、解像度変換処理を実行する。変換後の解像度は、例えばユーザが第１の画像処理装置に設定した値であってよい。

そして、第１の画像処理部１０４は、実行中の解像度変換処理を第２の画像処理装置において継続実施するために必要な情報を、画像処理情報として第１の画像処理情報蓄積部１０５へ記録、更新する。

具体的には、画像処理情報は、画像処理の内容及び進捗状況についての情報を含む。画像処理情報の例を示す図２のように、例えば「コンテンツ識別番号」「解像度変換アルゴリズムを示すＩＤ」「処理が完了しているフレーム番号」「解像度変換前の解像度」「解像度変換後の解像度」が、第１の画像処理情報蓄積部１０５に蓄積される。

「コンテンツ識別番号」は、第１の蓄積部１０３に蓄積されるコンテンツを識別する番号である。本実施形態では、第１の蓄積部１０３に第１の復号部１０２から入力された順に通し番号を付加するものとする。

「解像度変換アルゴリズム名」は、解像度変換処理に用いた手法（アルゴリズム）を特定するための情報である。本実施形態では、第１の画像処理装置１００と第２の画像処理装置２００が判別可能なＩＤが格納される。図３は、解像度変換処理における手法とＩＤとの対応例を示す図である。本実施形態においては「バイキュービック手法」を用いるため、対応するＩＤ＝３が画像処理情報に格納される。

「完了フレーム番号」は、進捗状況についての情報としての、第１の画像処理部１０４が既に処理を終えたフレームの番号であり、例えば１フレームの処理が終わる毎に更新される。

「解像度変換前の解像度」および「解像度変換後の解像度」には、第１の画像処理装置１００での解像度変換前の動画像のｘ方向、ｙ方向の画素数、解像度変換後の動画像のｘ方向、ｙ方向の画素数がそれぞれ格納される。
これら項目のうち、完了フレーム番号以外は、解像度変換処理を開始する際に１度記録すればよい。一方、完了フレーム番号は、処理の進行に伴って更新する必要がある。

なお、ここでは説明及び理解を容易にするため、画像処理が解像度変換処理のみである場合について示したが、実際には様々な画像処理が適用される可能性があることは上述した通りである。従って、画像処理情報についても、実際には画像処理の種別を特定するＩＤが含められ、画像処理の種別毎に、手法を特定するＩＤ、パラメータ値等が格納されることになる。

次に、画像処理情報重畳部１０８の動作を詳細に説明する。
上述のように、画像処理情報重畳部１０８はＭＰＥＧ２−ＴＳ形式の送信コンテンツを作成する際、第１の画像処理情報蓄積部１０５に蓄積されている画像処理情報を多重する。この際、画像処理情報重畳部１０８は、画像処理情報を、第１の画像処理装置１００と第２の画像処理装置２００がともに解することが出来る新規のＭＰＥＧ２−ＴＳセクションとして定義し、多重する。本実施形態では画像処理情報、ここでは解像度変換情報を送信するためのテーブルとして、ＲＴＩＴ（Resolution Translate Information Table)を新規に定義する。

ＲＴＩＴの構造例を図４に示す。一般的なＭＰＥＧ２−ＴＳのセクションに付加されるセクションヘッダについては、説明を省略し、セクションのペイロードに記載される情報について説明する。

ＲＴＩＴには、図４の通り、画像処理情報の各項目に準じた値が格納される。ここで、処理機器ＩＤには、第１の画像処理装置１００を特定する任意の識別情報が記載される。「解像度変換アルゴリズムＩＤ」、「解像度変換前の解像度」及び「解像度変換後の解像度」には、それぞれ画像処理情報に対応した値が記載される。なお、図４の例では、解像度についてｘ方向、ｙ方向毎に記載する形式となっているが、図２に示すようにｘ方向、ｙ方向をまとめて記載するようにしてもよい。
解像度変換以外の画像処理についても、同様にして新規のセクションとして定義され、画像処理に応じた情報がセクション中のペイロードに記載される。

第２の画像処理装置２００は、第１の画像処理装置１００から送信コンテンツを受信すると、まず第２のコンテンツ受信部２０１において、ＭＰＥＧ２−ＴＳの多重情報の分解（デマルチプレックス）を行う。第２のコンテンツ受信部２０１は、多重情報のうち、圧縮動画像を第２の復号部２０２へ、ＲＴＩＴとして多重されている画像処理情報を画像処理情報分析部２０４へそれぞれ出力する。

第２の復号部２０２は第１のコンテンツ受信部２０１から入力された圧縮動画像を復号し、フレーム毎に第２の蓄積部２０３に蓄積する。
一方、画像処理情報分析部２０４は、画像処理情報を解析し、図４に示したＲＴＩＴペイロードに含まれる各項目を取得し、画像処理選択部２０５に送る。上述の通り、画像処理情報に含まれる具体的な情報の内容は、画像処理に応じて異なる。

画像処理選択部２０５は、画像処理情報分析部２０４からの入力された画像処理情報に基づいて、第１の画像処理装置１００で行われていた画像処理を特定する。そして、第２の画像処理部２０７が第１の画像処理装置で行っていた画像処理を継続できるよう、第２の画像処理部２０７が使用する画像処理情報として第２の画像処理情報蓄積部２０６へ記録する。第２の画像処理情報蓄積部２０６に蓄積される画像処理情報は、第１の画像処理情報蓄積部１０５に蓄積される画像処理情報（図２）と同等のものであり、コンテンツ番号は第２の蓄積部２０３に既に蓄積されている映像コンテンツと異なる番号を付与する。

第２の画像処理部２０７は、一定期間毎に第２の蓄積部２０３及び第２の画像処理情報蓄積部２０６に蓄積されている内容を確認し、処理すべきコンテンツが登録されているかどうかを確認する。なお、画像処理選択部２０５が第２の画像処理部２０７に対して、新たな、継続すべき処理が登録されたことを通知する構成としても良い。

第１の画像処理装置から第２の画像処理装置へ動画像が送信されると、第２の画像処理情報蓄積部２０６には、画像処理選択部２０５により図２のような情報が書き込まれる。従って、継続すべき処理を解像度変換手法ＩＤから、処理開始フレームを完了フレーム番号から、解像度変換サイズを変換前及び変換後の解像度から特定することができる。

このようにして、継続処理すべき画像処理の内容を特定すると共に、コンテンツ番号から処理すべき映像コンテンツを特定することができる。そして、第２の蓄積部２０３から処理すべき映像コンテンツの動画像を構成するフレームのうち、完了フレーム番号の次のフレームから１フレーム毎に読み出す。そして、第２の画像処理部２０７は、第２の画像処理情報蓄積部２０６に蓄積された画像処理情報により特定される画像処理を実行し、結果をフレーム毎に第２の蓄積部２０３に蓄積する。また、画像処理情報の完了フレーム番号を更新する。第２の画像処理部２０７の動作は第１の画像処理部１０４と同一である。

このように、本実施形態によれば、第１の画像処理装置１００が、中断した画像処理を継続実施するために必要な画像処理情報と、途中まで処理がなされた映像コンテンツを第２の画像処理装置２００に送信する。これにより、第２の画像処理装置２００においては、画像処理情報を用いて受信した映像コンテンツに対する画像処理を継続実施することが可能となる。

そのため、第１の画像処理装置の処理負荷が大きい状態が続く場合であっても、映像コンテンツに対する画像処理を他の画像処理装置で実施することにより、画像処理の完了までに要する時間を短縮することが可能となる効果がある。

なお、第２の画像処理装置の処理負荷が増大し、継続実施していた画像処理を中断せざるを得なくなった場合、第２の画像処理装置２００から第１の画像処理装置１００へ再引き継ぎを行うことも可能である。この場合、第１の画像処理装置１００から第２の画像処理装置２００へ処理を引き継いだ際と同様の処理を第２の画像処理装置２００で行なえばよい。具体的には、第２の画像処理装置２００の図示しない送信管理部、圧縮部、画像処理情報重畳部及びコンテンツ送信部を用い、画像処理情報を多重した映像コンテンツを第１のコンテンツ受信部１０１へ転送すればよい。

また、第２の画像処理装置２００において、継続処理を行なった結果、映像コンテンツに対する画像処理が全て完了した場合も、同様にして第１の画像処理装置１００への転送を行うことができる。これにより、第１の画像処理装置１００は、画像処理情報に基づいて完了フレーム番号から全てのフレームについて処理が終了していることを判別することができる。従って、受信した映像コンテンツを処理済の映像コンテンツとして第１の蓄積部１０３へ蓄積し、その後視聴要求があった場合には処理済の映像コンテンツを用いて表示処理を行なうことができる。

（第２の実施形態）
以下、本発明の第２の実施形態に係る画像処理システムについて説明する。
本実施形態に係る画像処理システムは、第２の画像処理装置における画像処理選択部の動作以外は第１の実施形態に係る画像処理システムと同等でよいため、構成についての説明は省略する。

第１の実施形態においては、第２の画像処理装置２００が第１の画像処理装置１００と同等の画像処理を行う能力を有していた。しかし、実際には第２の画像処理装置２００が第１の画像処理装置１００と同一の処理を行なう能力を持たない場合も考えられる。例えば、第２の画像処理装置２００が第１の画像処理装置１００よりも画像処理能力が低い装置の場合にこのような状況が発生しうる。

本実施形態は、第２の画像処理装置が、第１の画像処理装置から画像処理を引き継いで実行する際、第１の受信装置と同一の画像処理が不可能な場合でも処理を実行する。
本実施形態においても、第１の実施形態と同様、第１の画像処理装置１００において非リアルタイム画像処理として行っていたバイキュービック法による解像度変換処理が中断し、この処理を第２の画像処理装置２００で継続処理する場合を想定する。従って、第１の画像処理装置１００が途中まで処理を終わった映像コンテンツと画像処理情報とを多重化したＭＰＥＧ−ＴＳ形式のデータを転送するまでの処理の説明は省略し、第２の画像処理装置２００の画像処理選択部２０５における処理について説明を行う。

画像処理選択部２０５は、画像処理情報分析部２０４を通じて、第１の画像処理装置１００から受信した画像処理情報を受け取る。
上述のように、画像処理情報には、「バイキュービック法による解像度変換」を「フレーム番号ｎまで」、「解像度変換前の解像度から」「解像度変換後の解像度へ」変換したという情報が含まれている。

画像処理選択部２０５は、一般的な画像処理アルゴリズムと、第２の画像処理部２０７が実施可能な画像処理アルゴリズムとの優劣に関する情報を保持している。そして、画像処理選択部２０５は、保持している情報と、第１の画像処理装置１００が行った画像処理内容を比較して、第２の画像処理部２０７で行う画像処理内容を決定する。

図５は、本実施形態における画像処理選択部２０５の動作を説明するフローチャートである。
まず、画像処理選択部２０５は、画像処理情報が入力されると、画像処理の種別（本実施形態では解像度変換処理）と手法（バイキュービック法）についての情報を取得する（Ｓ２００）。そして、第２の画像処理部２０７が、第１の画像処理装置１００が行った手法よりも能力が高い（良好な結果が得られる）アルゴリズムを実施可能であるかどうかを判定（Ｓ２０１）する。判定の結果、第１の画像処理装置１００が行った画像処理より良好な結果が得られる画像処理手法を第２の画像処理部２０７が実行可能である場合、画像処理選択部２０５は、未処理のフレーム（残フレーム）の数が予め定めた閾値以上か否か調べる（Ｓ２０２）。つまり、第１の画像処理装置で画像処理が行われていない部分の割合を調べる。

残フレーム数が閾値より少ない場合、画像処理選択部２０５は、画質より解像度変換処理の早期完了を優先し、残フレームのみを第２の画像処理装置２００で解像度変換する。画像処理選択部２０５は、第２の画像処理部２０７が第１の画像処理装置１００が行ったのと同一の解像度変換処理が可能かどうかを判定する（Ｓ２０３）。そして、第１の画像処理装置１００と同一の解像度変換が可能な場合は、第１の実施形態における画像処理選択部２０５が行ったように、画像処理情報を第２の画像処理情報蓄積部２０６へ蓄積すると共に、第２の画像処理部２０７に通知する。これにより、第２の画像処理部２０７は、第１の実施形態と同様にして残フレームの処理を開始する（Ｓ２０４）。

一方、Ｓ２０３において、第２の画像処理部２０７が第１の画像処理装置１００と同一の解像度変換をできない場合には、第２の画像処理部２０７が実行可能な手法のうち、最も近い処理結果が得られる手法を決定する。そして、解像度変換手法のＩＤを変更した画像処理情報を第２の画像処理情報蓄積部２０６へ蓄積するとともに、第２の画像処理部２０７へ通知する。これにより、第２の画像処理部２０７は、第１の実施形態と同様にして残フレームの処理を開始する（Ｓ２０５）。ただし、この場合には使用する手法が第１の画像処理装置１００で行ったものとは異なる。

Ｓ２０２において、残フレーム数が閾値より多い場合、画像処理（解像度変換）完了までの時間より、処理の品質（画質の向上）を優先する。
この場合、画像処理選択部２０５は、第１の画像処理装置１００が映像コンテンツに実行した画像処理を無効化し、第２の画像処理部２０７が実行可能な、より良好な結果が得られる画像処理を最初から行うように第２の画像処理部２０７に通知する。

この場合、画像処理選択部２０５が第２の画像処理情報蓄積部２０６へ蓄積する画像処理情報は第１の実施形態と同一であってよい。しかし、第２の画像処理部２０７は、やり直しを行う旨の通知に応答して、まず、画像処理情報に基づいた無効化処理を実行する（Ｓ２０６）。具体的には、第２の画像処理部２０７は、先頭フレームから完了フレーム番号までの各フレームについて、例えば解像度変換前の解像度に縮小する処理を行ない、第１の画像処理装置１００が行った解像度変換処理を無効化することができる。

そして、無効化処理が終わったフレームから、第２の画像処理部２０７が実施可能な画像処理手法のうち、第１の画像処理装置１００が行った手法よりも良好な結果が得られる手法を用いて画像処理を実行する（Ｓ２０７）。

例えば、第２の画像処理部２０７が、図６（ａ）に示す解像度変換手法を実行可能であるとする。この場合、第１の画像処理装置１００が行ったバイキュービック法よりも良好な結果が得られる高周波数領域０挿入手法を実行する。

別の例として、第２の画像処理部２０７が、図６（ｂ）に示すように、第１の画像処理装置１００が行ったバイキュービック法より結果の劣るバイリニア手法とニアレストネイバー手法のみを実行可能であるとする。この場合、Ｓ２０５において、第２の画像処理部２０７は、第１の画像処理装置１００が行ったバイキュービック法に最も近い結果が得られるバイリニア法による解像度変換処理を実行する。

Ｓ２０１において、第２の画像処理部２０７が、第１の画像処理装置１００が行った手法よりも能力が低い画像処理手法のみを実施可能であると判定された場合、画像処理選択部２０５は、Ｓ２０２と同様に残フレーム数が閾値以上であるか否かを判別する。

残フレーム数が閾値より少ない場合は、画質より解像度変換処理の早期完了を優先し、残フレームのみを、第２の画像処理部２０７が行いうる手法のうち、最良の結果が得られる手法を用いて解像度変換する。この場合、画像処理選択部２０５は、第２の画像処理情報蓄積部２０６へ蓄積する画像処理情報のうち、解像度変換手法のＩＤを第２の画像処理部２０７が実施可能な手法のうち、最良の結果が得られる手法に対応するＩＤに書き換える。そして、画像処理選択部２０５は、処理の継続を第２の画像処理部２０７へ通知する。

第２の画像処理部２０７は、この通知に応答して、完了フレーム番号の次のフレームから順次バイリニア法による解像度変換処理を実行する（Ｓ２０９）。
一方、Ｓ２０８において、残フレーム数が閾値以上である場合、途中まで画質が高いことよりも、全体の画質の統一を優先する。すなわち、Ｓ２０６、Ｓ２０７と同様、第１の画像処理装置１００が行った処理を無効化し（Ｓ２１０）、その後、第２の画像処理部２０７が行いうる最も良好な結果が得られる手法を用いて画像処理を最初からやり直す（Ｓ２１１）。

ただし、Ｓ２０７の場合と異なり、Ｓ２１１においては、第１の画像処理装置１００が行った画像処理よりも質の低い結果が得られる。すなわち、図６（ｂ）の例であれば、Ｓ２１１においてはバイリニア法による解像度変換処理が最初から行なわれる。

このように、本実施形態においては、処理を引き継ぐ側の画像処理装置が、
・処理対象の映像コンテンツがどの程度処理されているのか、
・処理を転送する側の画像処理装置が実行した画像処理と、引き継いで実行しうる画像処理との関係
とに応じて、引き継いで行う画像処理の内容を変更する。

そのため、処理を転送した時点における処理の進み具合や、処理を引き継ぐ側の装置の能力に応じて、適切な処理の引き継ぎを行うことが可能である。

（第３の実施形態）
以下、本発明の第３の実施形態に係る画像処理システムについて説明する。
図７は、本実施形態に係る画像処理システムの構成例を示すブロック図である。図７において、第１の実施形態に係る画像処理システムと同一の動作のブロックについては同一の符号を付し、説明を省略する。

図７において、画像処理システムは、第１の表示装置１１０が接続された第１の画像処理装置４００と、第２の表示装置２０９が接続された第２の画像処理装置５００とが接続された構成を有する。

第１の画像処理装置４００において、第１の学習部４０１は第１の蓄積部１０３に蓄積された映像コンテンツの各フレームを解析（画像処理）し、もっとも高周波成分を保持した状態で解像度変換を行うことの出来る、解像度変換計算式の係数を学習する。以下では本演算式の係数を単にパラメータと記載する。第１の学習処理情報蓄積部４０２は、第１の学習部４０１が学習中のパラメータを保存する。学習情報重畳部４０３は圧縮部１０７の作成した圧縮動画像に第１の学習処理情報蓄積部４０２に蓄積された学習処理情報を重畳する。この重畳は、第１の画像処理装置４００から映像コンテンツを第２の画像処理装置５００へ転送する必要があると送信管理部１０６が判断した場合に行われる。

第２の画像処理装置５００において、学習情報分析部５０１は第１の画像処理装置４００から入力されたコンテンツに含まれる学習情報を分析する。学習手法選択部５０２は、第２の学習部５０４が処理可能な学習手法から、学習情報分析部５０１が分析した第１の画像処理装置４００の学習内容を継続するかどうかを判断し、第２の学習部５０４が行うべき学習手法を決定する。学習手法選択部５０２はさらに、決定した学習手法と、第１の画像処理装置４００で行われた学習の処理情報を第２の学習処理情報蓄積部５０３に蓄積する。第２の学習処理情報蓄積部５０３は、第２の学習部５０４での学習処理情報を保持する。第２の学習部５０４は、第２の蓄積部２０３に蓄積された映像コンテンツの各フレームを解析し、解像度変換のパラメータの学習を行う。

本実施形態では、第１の画像処理装置４００内で、第１の蓄積部１０３に蓄積された映像コンテンツから読み出したフレームを解析し、バイキュービック法に類似する、もっとも高周波成分を保持できる解像度変換の計算式を学習するものとする。そして、映像コンテンツの全フレームについて解析を行い、学習が完了すると、処理対象の映像コンテンツを解像度変換するための解像度変換の式を決定する。次いで、決定した式を用い、処理対象の映像コンテンツの解像度変換を行う。

ここで、解像度変換計算式の学習に用いたフレームの数を学習精度として管理する。そして、非リアルタイム画像処置として実行中の解像度変換計算式の学習処理が、学習精度ｎのタイミングで中断されたとする。

この中断の要因は、第１及び第２の実施形態と同様、第１の制御部の処理負荷を閾値以上に上昇させる任意の処理であってよい。第１の画像処理装置４００の第１の制御部１２０の使用率が閾値を超え、演算能力に余裕が無くなると、第１の学習部は学習処理を中断する。

送信管理部１０６は、学習処理を第２の画像処理装置５００へ引き継ぐべきであるかどうかを判断する。そして、学習処理を第１の画像処理装置４００から第２の画像処理装置５００で継続処理すると判別された場合には、第１及び第２の実施形態における画像処理情報の代わりに学習処理情報を多重化した映像コンテンツを第２の画像処理装置５００へ転送させる。第２の画像処理装置５００では、学習精度ｎ＋１から学習処理を継続処理する。

このように、本実施形態における処理の流れは、第１の実施形態における「解像度変換処理」が「解像度変換式の学習処理」に置き換わるのみで、基本的に同じであるため、説明を省略する。動作の詳細については説明を省略する。

第１の学習部４０１の動作について説明する。

一般的なバイキュービック法の計算式を図８を用いて説明する。解像度変換の結果補完される画素を画素Ｐとすると、Ｐの画素値を計算する計算式は、図８の画素Ｐの周辺１６画素の値Ｒ１からＲ１６を、重みＷ１からＷ１６で重み付けした合計によって表される。すなわち、

である。ここで、重み付け係数Ｗ１〜Ｗ１６は、画素Ｐの位置から参照される周辺画素Ｒｎ（１≦ｎ≦１６）までの距離ｄに比例し、

が一般的である。本実施形態では、（２）の計算式を学習により以下のように変更する。

そして、式（３）における係数ＡからＨを学習により求めるものとする。

学習の手法を図９を用いて詳細に説明する。
まず、第１の学習部４０１は演算精度を１に設定する（Ｓ３０１）。演算精度とは、映像コンテンツのうち、学習に用いるフレーム数の量を決める数値である。従って、演算精度の値が大きいほど、多くのフレームに基づいて決定された係数である（＝精度が高い）ことを意味する。

演算精度は徐々に更新されるが、その演算精度で演算に用いるフレーム数は２の演算精度乗（２^ｎ）に設定され、予め決められた間隔で選択される（Ｓ３０２）。次に、式（３）の各係数Ａ〜Ｈを任意に設定（Ｓ３０３）し、選択されたフレーム群の中の１枚を、設定した係数を適用した式を用いて解像度変換する（Ｓ３０４、Ｓ３０５）。

次に、解像度変換結果をＤＣＴ(Discrete Cosine Transform)等の手法で空間周波数成分に分解する（Ｓ３０６）。さらに、分解された周波数成分について、高周波数成分のエネルギーを計算・加算する（Ｓ３０７）。ここで言う高周波成分とは、たとえはＤＣＴを８×８で実行したような場合、図１０の灰色部分のような領域のＤＣＴ係数であり、高周波成分のエネルギーとは、各ＤＣＴ係数値を二乗したものである。

この処理を、Ｓ３０２で抽出したすべてのフレームについて実行する（Ｓ３０８）。Ｓ３０２で抽出したすべてのフレームについての処理が完了したら、解析完了した全フレームのエネルギー平均値を計算（Ｓ３０９）する。

高周波数成分エネルギーが最大になる暫定係数ＡからＨを、任意の最適化手法（例えば最急降下法等）により収束するまで繰り返す（Ｓ３１０）。高周波数成分エネルギー値が収束したら現在の暫定周波数を現在の演算精度での解像度変換係数として採用する（Ｓ３１１）。さらに、全フレームを用いた学習を行っていない場合は、演算精度を＋１して演算を繰り返す（Ｓ３１２、Ｓ３１３）。

このような学習を行う過程において、第１の学習部４０１が第１の学習処理情報蓄積部４０２に蓄積する学習処理情報の例を図１１に示す。
コンテンツ番号は、第１の蓄積部１０３に蓄積された映像コンテンツのうち、学習処理情報に対応する映像コンテンツを特定する値である。学習方法ＩＤ値は、第１の画像処理装置と第２の画像処理装置間で予め決められている学習方法を示す値である。解像度変換前の解像度と解像度変換後の解像度は第１の実施形態と同様である。さらに、直近の計算によって得られた解像度変換式の暫定係数Ａ〜Ｈの値と対応する演算精度が含まれる。

第１の実施形態と同様、これらの学習処理情報は、学習情報重畳部４０３によって、圧縮部１０７の圧縮した情報に多重して送信される。多重化の方法も第１の実施形態と同様でよく、ＭＰＥＧ２−ＴＳ形式における新規セクションとして定義したＲＴＩＴに含めて映像コンテンツと多重化する。

本実施形態において新規に定義するＭＰＥＧ２−ＴＳのセクションの構成例を図１２に示す。
本実施形態では、学習手法ＩＤが複数有り、学習方法に応じて送信する情報が異なる場合に対応するため、セクションは固定部３２０と可変部３２１を含むものとして定義する。

固定部３２０には変換前後の解像度のような、学習手法によらず固定の情報が格納される。可変部３２１は学習手法に依存した情報が格納される。本実施形態における学習処理情報は、図１１に示す項目を有するので、固定部３２０には学習方法ＩＤ、変換前後の解像度が、可変部３２１には暫定係数値と演算精度が格納される。

学習処理情報と映像コンテンツとがＭＰＥＧ２−ＴＳ形式で多重化された送信映像コンテンツがコンテンツ送信部１０９から第２の画像処理装置５００へ転送されると、第２のコンテンツ受信部２０１が多重分離を行う。第２のコンテンツ受信部２０１は、映像コンテンツを第２の復号部２０２へ、学習処理情報を学習情報分析部５０１へ与える。
学習情報分析部５０１は、与えられた学習処理情報から、第１の画像処理装置４００で行っていた学習内容を抽出し、学習手法選択部５０２に通知する。

学習手法選択部５０２の動作を、図１３に示すフローチャートを用いて詳細に説明する。
まず、学習手法選択部５０２は、学習手法ＩＤと、第２の学習部５０４が実行可能な学習手法とから、第１の画像処理装置４００で行われていた学習手法と同一の学習手法を第２の学習部５０４が実行することが可能かどうかを確認する（Ｓ３３０）。

第２の学習部５０４が同一の学習手法を実行可能な場合、学習手法選択部５０２は同一手法での処理継続を決定する（Ｓ３３１）。学習手法選択部５０２は第２の蓄積部に蓄積された映像コンテンツを特定するためのコンテンツ番号を付与した学習処理情報を第２の学習処理情報蓄積部５０３へ蓄積するとともに、第２の学習部５０４へ継続処理を行うよう通知する。第２の学習部５０４はこの通知を受け取ると、第２の学習処理情報蓄積部５０３に新たに追加された学習処理情報を参照し、指定された学習手法を用いて次の学習精度からの学習処理を継続処理する。

一方、Ｓ３３０において、第２の学習部５０４が第１の画像処理装置４００と同一の学習手法を実行できない場合、学習手法選択部５０２は、第２の学習部５０４が実行可能な学習手法と、第１の画像処理装置４００で行われた学習手法とを比較する（Ｓ３３２）。そして、第２の学習部５０４で実行可能な学習手法がいずれも第１の画像処理装置４００（第１の学習部４０１）が行った学習手法よりも劣ると判断される場合には、学習処理を継続しないことを決定する（Ｓ３３３）。これにより、第２の画像処理装置５００において、第１の画像処理装置から転送されてきた映像コンテンツに対して解像度変換処理を行なう場合には、学習処理情報に含まれる暫定係数Ａ〜Ｈを最終的に決定された係数とした解像度変換式を用いる。

Ｓ３３２において、第２の学習部５０４が第１の画像処理装置４００で行った学習手法よりも優れる学習手法を実行可能であると判断される場合、学習手法選択部５０２は、第１の画像処理装置から受信した学習処理情報を破棄する（Ｓ３３４）。すなわち、第１の画像処理装置で行った学習手法より優れた学習手法を用いて第２の学習部５０４で新たに学習処理を実行することを決定する（Ｓ３３５）。

そして、学習手法選択部５０２は、第１の画像処理装置から受信した学習処理情報のうち、学習手法ＩＤを変更し、可変部を破棄した学習処理情報を第２の学習処理情報蓄積部５０３に蓄積するとともに、第２の学習部５０４へ継続処理を行うよう通知する。第２の学習部５０４はこの通知を受け取ると、第２の学習処理情報蓄積部５０３に新たに追加された学習処理情報を参照し、指定された学習手法を用いて最初の学習精度から学習処理を実行する。

以上のようにして第２の画像処理装置で継続処理若しくは新規処理して得られた学習結果は、第１の実施形態において述べたようにして、第１の画像処理装置へ通知するように構成することができる。

以上説明したように、本実施形態によれば、第１の画像処理装置４００が解像度変換式の係数学習をすべて完了できなかった場合でも、第２の画像処理装置５００内で学習を継続することが出来るようになる。そのため、学習処理を非リアルタイム処理として行なう画像処理装置において、処理を中断しなくてはならない状態になっても、他の画像処理装置において処理を継続して行なうことが可能となり、処理完了までの時間を短縮することができる。

また、第２の画像処理装置５００において、第１の画像処理装置４００で行った学習手法よりも良好な結果が得られる学習手法が実行可能な場合は、良好な結果が得られる学習手法を用いて学習処理をやり直す。そのため、そのまま処理を行なっていた場合よりも良好な結果が得られる。この場合、学習処理を受け渡した装置（第１の画像処理装置）に学習結果を通知することで、処理を受け渡した装置においても、自身が行いうる結果よりも良好な結果を利用することが可能となる。

（他の実施形態）
なお、上述の実施形態では、第１の画像処理部が画像処理を中断する要因となる処理負荷の増大が、映像コンテンツの視聴要求である場合を例として説明した。しかし、第１の制御部１２０の処理負荷が閾値を超える要因となる処理であればその内容は限定されない。

また、説明及び理解を容易にするため、上述の実施形態では、映像コンテンツに適用する画像処理が１種類のみである場合を示した。しかし、複数種の画像処理が順次適用されるような場合であっても同様にして処理の受け渡しを行うことが可能である。

例えば、解像度変換が済んだフレームに対し、さらに色補正処理を行なうような場合が考えられる。このような場合、処理対象の映像コンテンツには、
・解像度変換と色補正処理の両方が完了したフレーム、
・解像度変換のみが完了したフレーム、
・未処理のフレーム
の３種類が混在して存在することになる。

この場合、第１及び第２の実施形態であれば、解像度変換処理の画像処理情報と、色補正処理の画像処理情報の２つが第１の画像処理情報蓄積部１０５に蓄積・更新される。そして、処理の引き継ぎ時には両方の画像処理情報が映像コンテンツと多重化されて第２の画像処理装置へ転送される。第２の画像処理装置では、個々の画像処理情報に基づいて、継続すべき画像処理と開始フレームとを判別することができる。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。

つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の第１の実施形態に係る画像処理システムの構成例を示すブロック図である。 第１の実施形態における画像処理情報の例を示す図である。 第１の実施形態の画像処理システムにおける、解像度変換処理手法とＩＤとの対応例を示す図である。 第１の実施形態の画像処理システムで画像処理情報の多重化に用いるセクションの構成例を示す図である。 第１の実施形態の画像処理システムにおける画像処理選択部２０５の動作を説明するフローチャートである。 第２の実施形態の学習処理システムにおいて、第２の画像処理部２０７が実施可能な解像度変換手法の例を示す図である。 本発明の第３の実施形態に係る画像処理システムの構成例を示すブロック図である。 バイキュービック法を説明するための図である。 本発明の第３の実施形態に係る画像処理システムの第１の学習部が行う、解像度変換式の係数学習方法の例を説明するフローチャートである。 本発明の第３の実施形態に係る画像処理システムの第１の学習部において、高周波成分として用いるＤＣＴ係数の範囲の例を説明するための図である。 本発明の第３の実施形態に係る画像処理システムにおいて、第１の学習処理情報蓄積部４０２に蓄積する学習処理情報の例を示す図である。 第３の実施形態の画像処理システムで学習処理情報の多重化に用いるセクションの構成例を示す図である。 第３の実施形態の画像処理システムにおける学習手法選択部５０２の動作を説明するフローチャートである。

Claims (8)

1. 蓄積された映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用する画像処理装置であって、
   前記映像コンテンツを構成する複数のフレーム画像の先頭のフレーム画像から順に、各フレーム画像を高画質化するための画像処理を適用する画像処理手段と、
   前記画像処理の内容及び進捗状況に関する情報を含む画像処理情報を記憶する記憶手段と、
   前記映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで前記画像処理を適用した後、残りのフレーム画像に対する当該画像処理の適用を中断した場合、当該残りのフレーム画像に対して当該画像処理を適用するために前記映像コンテンツと前記適用を中断した画像処理に関する前記画像処理情報とを他の画像処理装置へ転送する転送手段とを有し、
   前記適用を中断した画像処理に関する前記画像処理情報に含まれる、前記画像処理の内容に関する情報は、前記画像処理の種別を示す情報を含み、前記画像処理の進捗状況に関する情報は、前記映像コンテンツを構成する複数のフレーム画像のうち、どのフレーム画像まで前記画像処理が適用されたかを示すフレーム番号情報であり、
   前記転送手段は、前記画像処理情報を前記映像コンテンツに多重化した転送用コンテンツにより、前記映像コンテンツと前記画像処理情報とを前記他の画像処理装置へ転送することを特徴とする画像処理装置。
2. 前記画像処理を前記映像コンテンツに適用中に、前記画像処理よりも優先すべき処理に起因して前記画像処理の適用を継続できなくなった場合、前記画像処理手段は前記画像処理の適用を中断することを特徴とする請求項１記載の画像処理装置。
3. 前記転送用コンテンツはＭＰＥＧ２−ＴＳ形式であり、前記画像処理情報は当該転送用コンテンツにＭＰＥＧ２−ＴＳ形式の新規のセクションとして多重化されることを特徴とする請求項１又は請求項２記載の画像処理装置。
4. 映像コンテンツに対して、当該映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用可能な画像処理手段を有する画像処理装置であって、
   他の画像処理装置から、映像コンテンツと、前記他の画像処理装置が当該映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで適用した画像処理の種別を示す情報及び前記映像コンテンツを構成する複数のフレーム画像のうちどのフレーム画像まで前記画像処理が適用されたかを示すフレーム番号情報を含む画像処理情報と、を受信する受信手段と、
   前記受信手段が受信した前記画像処理情報に含まれる、前記画像処理の種別を示す情報に基づいて、前記画像処理手段で行うべき画像処理を選択する選択手段とを有し、
   前記画像処理手段が、前記他の画像処理装置から受信した映像コンテンツを構成する複数のフレーム画像のうち、前記フレーム番号情報で示されるフレーム画像の次のフレーム画像から、前記選択手段の選択した画像処理を適用することを特徴とする画像処理装置。
5. 蓄積された映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用する画像処理装置の制御方法であって、
   前記映像コンテンツを構成する複数のフレーム画像の先頭のフレーム画像から順に、各フレーム画像を高画質化するための画像処理を適用する画像処理ステップと、
   前記画像処理の内容及び進捗状況に関する情報を含む画像処理情報を記憶手段に記憶する記憶ステップと、
   前記映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで前記画像処理を適用した後、残りのフレーム画像に対する当該画像処理の適用を中断した場合、当該残りのフレーム画像に対して当該画像処理を適用するために前記映像コンテンツと前記適用を中断した画像処理に関する前記画像処理情報とを他の画像処理装置へ転送するステップとを有し、
   前記適用を中断した画像処理に関する前記画像処理情報に含まれる、前記画像処理の内容に関する情報は、前記画像処理の種別を示す情報を含み、前記画像処理の進捗状況に関する情報は、前記映像コンテンツを構成する複数のフレーム画像のうち、どのフレーム画像まで前記画像処理が適用されたかを示すフレーム番号情報であり、
   前記転送ステップは、前記画像処理情報を前記映像コンテンツに多重化した転送用コンテンツにより、前記映像コンテンツと前記画像処理情報とを前記他の画像処理装置へ転送することを特徴とする画像処理装置の制御方法。
6. 前記画像処理を前記映像コンテンツに適用中に、前記画像処理よりも優先すべき処理に起因して前記画像処理の適用を継続できなくなった場合、前記画像処理ステップは前記画像処理の適用を中断することを特徴とする請求項５記載の画像処理装置の制御方法。
7. 前記転送用コンテンツはＭＰＥＧ２−ＴＳ形式であり、前記画像処理情報は当該転送用コンテンツにＭＰＥＧ２−ＴＳ形式の新規のセクションとして多重化されることを特徴とする請求項５又は請求項６記載の画像処理装置の制御方法。
8. 映像コンテンツに対して、当該映像コンテンツを構成する複数のフレーム画像の各々に画像処理を適用可能な画像処理手段を有する画像処理装置の制御方法であって、
   他の画像処理装置から、映像コンテンツと、前記他の画像処理装置が当該映像コンテンツを構成する複数のフレーム画像の途中のフレーム画像まで適用した画像処理の種別を示す情報及び前記映像コンテンツを構成する複数のフレーム画像のうちどのフレーム画像まで前記画像処理が適用されたかを示すフレーム番号情報を含む画像処理情報と、を受信する受信ステップと、
   前記受信ステップで受信された前記画像処理情報に含まれる、前記画像処理の種別を示す情報に基づいて、前記画像処理手段で行うべき画像処理を選択する選択ステップと、
   前記画像処理手段により、前記他の画像処理装置から受信した映像コンテンツを構成する複数のフレーム画像のうち、前記フレーム番号情報で示されるフレーム画像の次のフレーム画像から、前記選択ステップで選択された画像処理を適用する画像処理ステップとを有することを特徴とする画像処理装置の制御方法。

Images