JP4891204B2 - 映像処理装置、映像処理方法、映像処理プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像をタイル単位で画像処理を行う画像処理装置および画像処理方法に関する。

一般的に、映像処理システムにおいて、ディスプレイなどの映像出力部は画像と音声等のデータとの同期を取り出力する必要がある。すなわち、画像と音声が一致するように映像出力部は出力を同期させなければならない。

画像と音声の同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ１）やＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ２）は、出力タイミング情報であるタイムスタンプをパケットデータのヘッダ内に付加している。

図９に従来の映像処理システムのブロック図を示す。映像処理システムは、パケット生成装置、パケット処理装置、パケット受信装置から構成されている。

パケット送信装置９２００の映像パケット生成回路９２０１が映像入力装置９１００から映像データを受信すると、映像データをパケット化して送信する。このとき、システムタイムクロック生成回路９２０２が示す時刻を基にタイムスタンプを生成しパケットのヘッダに付加する。

パケット送信装置９２００が送信したパケットは伝送路９５００を経由してパケット受信装置９３００に受信される。

パケット受信装置９３００の映像データ送信回路９３０１はパケットを受信する。そしてシステムタイムクロック再生回路９３０２が示す時刻とパケットのヘッダに付加されているタイムスタンプが示す時刻とが一致すると、映像データを復元して映像出力装置９４００に送信する。

パケット送信装置９２００がパケットを送信してからパケット受信装置９３００がパケットを受信するまでの時間はシステムによって一定であるため、タイムスタンプはシステムタイムクロック生成回路９２０２を基に生成することができる。
特開２００２−１１８８４４号公報

従来の映像処理システムでは、パケット送信装置がパケットを送信してからパケット受信装置がパケットを受信するまでの時間はシステムによって一定であり、タイムスタンプの示す時刻にはパケット受信装置にパケットが到着した。

しかし、パケット送信装置とパケット受信装置の間に高画質化等の処理を施すパケット処理装置がある場合には、タイムスタンプが示す時刻に、パケット受信装置にパケットが到着しないという問題があった。つまり、パケット処理装置が外部メモリ等へのアクセスを行うと、アクセスの混雑によってパケット処理装置の処理性能が著しく低下することがあり、パケットが予定時刻に到着しない場合がある。よって、タイムスタンプに示される時刻に映像データを出力できなくなり、映像に乱れが生じてしまうおそれがあった。

本発明はかかる問題点に鑑みてなされたものであり、パケットの到着が遅れることによる画像の乱れを軽減することを目的とする。

上記目的を達成するための一手段として、本発明の映像処理装置は以下の構成を備える。

すなわち、映像データを示す１フレームを入力し、該フレームをタイル単位で分割しパケット化するパケット生成手段と、前記パケット生成手段によって生成された各パケットの処理時間を設定する設定手段と、前記パケットに対し、パケット毎に高画質処理を行う処理手段と、前記処理手段による処理時間を計測する計測手段と、前記設定手段によって設定された前記各パケットの処理時間と、前記計測手段によって計測された処理時間との比較に基づいて、前記処理手段における処理速度が異なる複数のモードからいずれかのモードを決定する決定手段と、前記処理手段によって処理されたパケットを合成して出力する出力手段とを備えることを特徴とする。

パケットの到着が遅れることによる画像の乱れを軽減することが可能となる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は、本発明の実施形態１に係る映像処理装置の主要部の構成を示すブロック図である。画像処理装置１０００は、映像入力装置１５００から入力された映像データを高画質化等の映像処理を施し、映像出力装置１６００に出力する。映像処理装置１０００の構成として、映像処理装置１０００は、映像入力装置１５００から入力されたデータをタイル分割しパケット化するパケット生成機能部１１００と、前記パケット生成機能部１１００が生成したパケットデータをパケット毎に映像処理するパケット処理機能部１２００，１３００，１４００で構成されている。本実施形態では、パケット処理機能部は３つで構成されるが、１つであってもよい。

また、前記パケット生成機能部１１００は、タイル分割部１１１０と、パケット化部１１２０と、パケット処理モード決定部１１３０と、映像処理時間予測部１１４０で構成される。タイル分割部１１１０は、入力された映像データをタイル状の矩形領域に分割する。パケット化部１１２０は、前記分割されたタイルデータにヘッダ情報を付加しパケットデータを生成する。パケット処理モード決定部１１３０は、前記ヘッダ情報に記されているパケット処理モード（後述）を決定する。映像処理時間予測部１１４０は、同じくヘッダ情報に記されている映像処理時間を予測する。

前記パケット処理機能部１２００，１３００，１４００は、パケット処理部１２１０と、処理モード変更部１２２０と、処理時間計測部１２３０と、ヘッダ情報変更部１２４０で構成される。パケット処理部１２１０は、入力されるパケットデータを映像処理する。処理モード変更部１２２０は、前記パケットデータのヘッダ情報を基にパケット処理部１２１０の処理モードを変更する。処理時間計測部１２３０は、前記パケットデータの処理時間を計測する。ヘッダ情報変更部１２４０は、前記計測した処理時間をヘッダ情報に付加する。

また、複数のパケット処理機能部を備える場合において、処理順序が最後となるパケット処理機能部は以下の構成を備える。つまり、パケット処理機能部１４００は、前記各パケット処理機能部１２００，１３００，１４００で計測された処理時間が記述されたヘッダ情報を前記パケット生成機能部１１００に送信するヘッダ情報送信部１４１０を備える。

次に、図２、図３に本実施例に係る前述のパケットデータの構成を示す。パケットデータは、ヘッダ情報２１００と映像データのデータペイロード３２００で構成されており、それぞれ図２にヘッダ情報の構成例、図３にデータペイロードの構成例を示す。

ヘッダ情報２１００には予測された映像処理時間（ｆｏｒｅｃａｓｔ ｔｉｍｅ）２１１３と測定されたパケットデータの処理時間（ａｃｔｕａｌ ｔｉｍｅ）２１１４が記されている。ヘッダ情報２１００には、ポートを示すｐｏｒｔ２１１１と後述する処理モードを示すｍｏｄｅ ２１１２とｆｏｒｅｃａｓｔ ｔｉｍｅ ２１１３とａｃｔｕａｌ ｔｉｍｅ２１１４の４つのフィールドが格納されている。他にも、Ｐａｙｌｏａｄのバイト数を示すＰａｙｌｏａｄ Ｌｅｎｇｔｈ ２１５０や、映像データ１フレーム中のパケット番号を示すＰａｃｋｅｔ＃２１３０や、パケットの種類を示すＴｙｐｅ２１４０が、ヘッダ情報２１００に含まれている。

データペイロード３２００には、例えば８ｐｉｘｅｌ×１２８ｐｉｘｅｌの映像データが格納されている。Ｐａｙｌｏａｄの大きさは８ＫＢｙｔｅである。各ｐｉｘｅｌデータは８Ｂｙｔｅで、Ａｄｏｂｅ ＲＧＢで表現された１６ｂｉｔのＲＧＢデータ、８ｂｉｔのαデータ、８ｂｉｔのアトリビュートデータで構成される。

図４は、本実施形態の映像処理装置における、画像処理を説明するフローチャートである。

（パケットデータ００の処理）
ステップ４１００において、映像処理装置１０００には、映像入力装置１５００から１フレーム分の映像データが入力され、パケット生成機能部１１００において映像データの読み込みを行う。

ステップ４１１０において、タイル分割部１１１０は、入力された映像データを矩形状の領域（以下タイル）に分割する。本実施形態では、１フレーム分の映像データは４つのタイルデータに分割されるものとし、タイル分割部１１１０は入力された映像データをタイルデータ００，０１，１０，１１に分割する。

ステップ４２００において、パケット化部１１２０は、後述する最後段のパケット処理機能部からヘッダ情報が更新されているか確認を行う。最初は初期状態のため、ヘッダ情報の更新は行われておらず、ステップ４３００に遷移する。

ステップ４３００において、パケット化部１１２０は、前述のタイルデータのヘッダ情報に処理モード２１１２と各パケット処理機能部１２００，１３００，１４００の予測映像処理時間２１１３とを書き込み、パケットデータを作成する。

処理モード２１１２と予測映像処理時間２１１３は、パケット処理モード決定部１１３０と映像処理時間予測部１１４０によって決定される。ここで、処理モードとは、各パケット処理機能部におけるパケットの処理時間に対して、パケット処理機能部の処理速度を可変とするモードである。図６に処理モード毎の処理時間の変化率を示す。例えば、ｍｏｄｅ５（６１５０）はｍｏｄｅ０（６１００）と比較すると、倍の速度でパケット処理を行うことを示す。最初は初期状態のため、パケット処理機能部１２００，１３００，１４００全ての処理モード２１１２は初期値の０に設定される。また、予測映像処理時間２１１３も初期値の１０［Ｔ］に設定されるとする。なお、本実施形態の映像出力装置１６００は、１５［Ｔ］毎に１パケットの映像データを入力し、１フレーム（４パケット分）のデータを６０［Ｔ］毎に出力するものとする。そのため、各パケット処理機能部１２００，１３００，１４００は１５［Ｔ］以内に画像処理を行わなくてはならない。よって予測映像処理時間２１１３の初期値は、多少の余裕を考慮して、１０［Ｔ］とするのが望ましい。ただし、パケット処理機能部１２００，１３００，１４００が予測映像処理時間２１１３以内に画像処理が完了するとは限らない。

各パケットデータ００、０１、１０、１１の処理に要する時間を図５に示す。図５に示すように、パケットデータ００は、各パケット処理機能部における映像処理時間が１０［Ｔ］となっているので、予測映像処理時間通りに処理は完了する。しかし、パケットデータ０１，１０，１１に関してはパケット処理機能部１２００で行われる画像処理の時間に、それぞれ１５［Ｔ］，２５［Ｔ］，３０［Ｔ］を要する。図５に示す処理時間を要するパケットデータを用いて、本実施形態の説明を行う。

図４のフローチャートの説明に戻る。

ステップ４３１０において、パケット生成機能部１１００は生成したパケットデータをパケット処理機能部１２００に転送する。

図７は時間毎のパケット生成機能部１１００とパケット処理機能部の状況を説明する図である。図５よりパケット生成機能部１１００がパケットデータ００を生成するのに要する時間は５［Ｔ］なので、図７に示すように時刻５［Ｔ］にパケット処理機能部１２００はパケットデータ００を受信している。

また、図８に、各パケットデータのヘッダ情報の遷移状況を示す。時刻５［Ｔ］におけるパケットデータ００のヘッダ情報は、初期値の状態にあり、処理モードは０、予測映像処理時間は１０であり、図８の８０２０に該当する。

ステップ４４００において、パケット処理機能部１２００の処理モード変更部１２２０は受信したパケットデータのヘッダ情報から、処理モードを取得し、パケット処理部１２１０の処理モードを設定する。処理モードは０なので、処理モード０がパケット処理部に設定される。

ステップ４４１０において、パケット処理機能部１２００の処理時間計測部１２３０は、パケットを受信した時刻５［Ｔ］に処理時間の計測を開始する。

ステップ４４２０において、パケット処理機能部１２００のパケット処理部１２１０はパケットデータ００の処理を開始する。処理モードはステップ４４００で０に設定されている。図５から、パケット処理機能部１２００がパケットデータ００を処理するのに要する時間は１０［Ｔ］となる。

ステップ４４３０において、パケット処理機能部１２００の処理時間計測部１２３０は、パケットデータ００の処理完了時刻を計測する。

ステップ４４５０において、パケット処理機能部１２００のヘッダ情報変更部１２４０は、処理時間計測部１２３０によって測定された処理時間をヘッダ情報の処理時間２１１４に書き込む。ヘッダ情報は図８に示す８０３０の状態に遷移する。

ステップ４５００において、映像処理装置１０００は、現在処理中のパケット処理機能部が最終段であるか判定される。パケット処理機能部１２００は最終段ではないので、ステップ４４００に遷移する。

ステップ４４１０において、パケット処理機能部１２００はパケット処理機能部１３００に、パケットデータ００を転送する。図７ではパケット処理機能部１２００が、時刻１５［Ｔ］にパケットデータ００を転送していることが示されている。

パケット処理機能部１３００においても、ステップ４４００からステップ４４５０の処理が行われる。処理モードは０に設定され、パケットデータ００の処理には１０［Ｔ］を要することが測定される。ヘッダ情報に１０［Ｔ］が書き込まれ、ヘッダ情報は図８の時刻２５［Ｔ］の状態８０４０となる。

再び、ステップ４５００において、映像処理装置１０００は、現在処理中のパケット処理機能部が最終段であるか判定される。パケット処理機能部１３００も最終段ではないので、ステップ４４００に遷移する。また時刻２５［Ｔ］にパケット処理機能部１３００はパケット処理機能部１４００にパケットデータ００を送信する。

パケット処理機能部１４００においても、ステップ４４００からステップ４４５０の処理が行われる。時刻３５［Ｔ］に、パケットデータ００のヘッダ情報は状態８０５０となる。

再び、ステップ４５００において、映像処理装置１０００は、現在処理中のパケット処理装置が最終段であるか判定される。パケット処理機能部１４００は最終段なので、ステップ４６００に遷移する。

ステップ４６００において、映像処理装置１０００は、ヘッダ情報に記された予測映像処理時間２１１３と処理時間２１１４を比較する。差異がある場合、ステップ４６１０に遷移する。パケットデータ００に関しては、予測映像処理時間２１１３と処理時間２１１４の解離は無いのでステップ４７００に遷移する。

ステップ４７００において、映像処理装置１０００は、１フレーム分のパケット処理が完了したか判定する。時刻５０［Ｔ］においては、１フレーム分のパケット処理は完了していないので、ステップ４２００に遷移する。

（パケットデータ０１、１０の処理）
本実施形態の映像処理装置１０００のパケット生成機能部１１００とパケット処理機能部１２００，１３００，１４００はパイプライン構造になっている。よって、パケット生成機能部１１００がパケット処理機能部１２００にパケットデータ００を転送し終えた時刻５［Ｔ］から、パケット生成機能部１１００はパケットデータ０１の処理を開始する。パケットデータ０１について、図４に示すフローチャートに従い説明を行う。

ステップ４２００において、パケット化部１１２０は、ヘッダ情報の更新の有無を確認する。時刻５［Ｔ］においては、ヘッダ情報は更新されていないので、ステップ４３００に遷移する。

ステップ４３００において、パケットデータ００と同様に処理モード２１１２と予測映像処理時間２１１３には、初期値が用いられる。処理モードを示す２１１２には０が設定され、予測映像処理時間２１１３は１０［Ｔ］となり、ヘッダ情報は図８の状態８１２０となる。

ステップ４３１０において、パケット生成機能部１１００はパケットデータ０１をパケット処理機能部１２００に転送する。ただし、パケット生成機能部１１００がパケット生成が完了した時刻１０［Ｔ］において、パケット処理機能部１２００は、パケットデータ００の処理を行っている。そのため、パケット生成機能部１１００がパケット処理機能部１２００に転送できるのは時刻１５［Ｔ］となる。

ステップ４４００において、パケット処理機能部１２００の処理モード変更部１２２０は受信したパケットデータのヘッダ情報から、処理モードｍｏｄｅを取得し、パケット処理部１２１０の処理モードを設定する。

ステップ４４１０において、パケット処理機能部１２００の処理時間計測部１２３０は、処理時間の計測を開始する。

ステップ４４２０において、パケット処理機能部１２００のパケット処理部１２１０はパケットデータ０１の処理を開始する。パケットデータ０１は図５に示すようにパケット処理機能部１２００の処理に１５［Ｔ］の処理時間を要する。

ステップ４４３０において、パケット処理機能部１２００の処理時間計測部１２３０は、パケットデータ０１の処理完了時刻を計測する。
ステップ４４５０において、パケット処理時間１５［Ｔ］がヘッダ情報の処理時間２１１４に書き込まれる。ヘッダ情報の状態は、図８の状態８１３０となる。

ステップ４５００において、パケット処理機能部が最終段であるか判定される。パケット処理機能部１２００は最終段ではないのでステップ４４００に遷移する。

ステップ４５１０において、パケットを後段のパケット処理機能部１３００に転送する。

パケット処理機能部１３００においても、ステップ４４００からステップ４４５０の処理が行われる。パケット処理機能部１３００がパケットデータ０１の処理を完了し、パケット処理機能部１４００に転送する時刻は４０［Ｔ］となる。

そしてステップ４５００において、映像処理装置１０００は、現在処理中のパケット処理機能部が最終段であるか判定が行われる。パケット処理機能部１３００は最終段ではないので再びステップ４４００に遷移する。

パケット処理機能部１４００においても、ステップ４４００からステップ４４５０の処理が行われる。

そしてステップ４５００において、映像処理装置１０００は、現在処理中のパケット処理機能部が最終段であるか判定が行われる。パケット処理機能部１４００は最終段であるのでステップ４６００に遷移する。

ステップ４６００において、映像処理装置１０００は、ヘッダ情報に記された予測映像処理時間２１１３と処理時間２１１４を比較する。パケット処理機能部１４００が処理を終えた時刻は、５０［Ｔ］となり、時刻５０［Ｔ］におけるパケットデータ０１のヘッダ情報は状態８１５０となる。

パケット処理機能部１２００の予測映像処理時間２１１３と処理時間２１１４は、それぞれ１０［Ｔ］と１５［Ｔ］となっており解離があると判断され、ステップ４６１０に遷移する。

ステップ４６１０において、パケット処理機能部１４００のヘッダ情報送信部１４１０は、予測映像処理時間と処理時間の解離があったパケットデータ０１のヘッダ情報をパケット生成機能部１１００に送信する。

ステップ４７００において、映像処理装置１０００は、１フレーム分のパケット処理が完了したかをを判定する。時刻５０［Ｔ］においては、１フレーム分のパケット処理は完了していないので、ステップ４２００に遷移し、パケットデータ１０の処理を行う。

ステップ４２００において、パケット化部１１２０は、最後段のパケット処理機能部からヘッダ情報が更新されているか確認を行う。前述のようにパケットデータ０１の処理を行う際に時刻５０［Ｔ］においてパケット情報の更新が行われている。ただし、時刻５０［Ｔ］以前に処理が始まっているパケットデータ１０に関してはパケット情報の更新が行われていないので、パケットデータ１０の処理は、前述のパケットデータ０１と同じ手順で行われる。パケットデータ１０のヘッダ情報の遷移は、図８の状態８２２０−８２５０となる。

（パケットデータ１１の処理）
次に、ヘッダ情報の更新が行われた時刻５０［Ｔ］以降に処理されるパケットデータ１１の処理手順について説明する。

ステップ４２００においては、ヘッダ情報が更新されているので、ステップ４２１０に遷移する。

ステップ４２１０において、パケット処理モード決定部１１３０は、更新されたヘッダ情報の読み込みを行う。パケット生成機能部が受信したヘッダ情報は、図８に示す状態８１５０となる。

ステップ４２２０において、パケット処理モード決定部１１３０は、更新されたヘッダ情報を元に処理モードを決定する。

図８の状態８１５０においては、パケット処理機能部１２００の予測映像処理時間２１１３が１０［Ｔ］に対して、処理時間２１１４は１５［Ｔ］である。一方、パケット処理機能部１３００とパケット処理機能部１４００に関しては、処理時間の解離は見られない。本実施形態では、パケット処理モード決定部１１３０は以下の式（１）に示すように、予測映像処理時間に対する解離を元に処理モードを決定する。
ｆｏｒｅｃａｓｔ ｔｉｍｅ／ａｃｔｕａｌ ｔｉｍｅ×１００ …（１）
以上の式を元に、パケット処理機能部１２００の処理モードを決定する。
１０／１５×１００≒６７ …（２）
処理時間比を６７以下にするため、図６からパケット処理モード決定部１１３０はモード４を選択する。

ステップ４２３０では、映像処理時間予測部１１４０は、予測映像処理時間２１１３を予測する。本実施形態では、各パケット処理機能部が時間１０［Ｔ］で処理を完了させることを想定している。よってモード４が選択されたので映像処理時間予測部１１４０は以下の式から、予測映像処理時間２１１３を６［Ｔ］とする。
１０［Ｔ］×０．６（モード４）＝６［Ｔ］ …（３）
なお、予測映像処理時間２１１３を予測する部は、更新直後のヘッダ情報の処理時間２１１４を用いて算出する方法や、ヘッダ情報の処理時間２１１４の平均を用いて算出しても良い。また、パケット処理機能部１３００とパケット処理機能部１４００に関しては、解離が無いのでモードと予測映像処理時間２１１３の変更はない。

次にステップ４３００において、パケット化部１１２０は、ヘッダ情報を書き込み、パケットデータ１１を生成する。このヘッダ情報の状態は図８に示す状態８３２０である。

ステップ４３１０において、パケット生成機能部１１００は、パケットデータ１１をパケット処理機能部１２００に転送する。転送する時刻は時刻５５［Ｔ］である。

ステップ４４００において、処理モード変更部１２２０はパケットデータ１１のヘッダ情報の処理モード４をパケット処理部１２１０に設定する。

ステップ４４１０において、処理時間計測部１２３０は処理時間の計測を開始する。

ステップ４４２０において、パケット処理部１２１０はパケット処理を行う。パケットデータ１１は図５に示すようにパケット処理機能部１２００の処理に、モード０の場合で３０［Ｔ］の処理時間を要する。ただし、パケット処理部１２１０にはモード４が設定されているので、パケット処理部１２１０は６０％の処理時間で処理を完了させる。

ステップ４４３０において、処理時間計測部１２３０は、パケット処理に要した処理時間を計測する。パケット処理部１２１０にはモード４が設定されており、パケットデータ１１の処理時間３０［Ｔ］の６０％の１８［Ｔ］で処理が完了し、処理時間計測部１２３０は１８［Ｔ］を処理時間として測定する。

ステップ４４５０において、パケット処理時間１８［Ｔ］がヘッダ情報の処理時間２１１４に書き込まれる。ヘッダ情報の状態は、図８の状態８３３０となる。

ステップ４５００において、パケット処理機能部が最終段であるか判定が行われる。パケット処理機能部１２００は最終段ではないので再びステップ４４００に遷移する。

ステップ４４５０において、時刻７３［Ｔ］にパケット処理機能部 １２００はパケット処理機能部１３００に、パケットデータ１１を転送する。

同様にパケット処理機能部１３００、パケット処理機能部１４００においても、ステップ４４００からステップ４４５０の処理が行われる。

そして、ステップ４５００において、パケット処理機能部が最終段であるか判定が行われる。パケット処理機能部１４００は最終段であるのでステップ４６００に遷移する。

ステップ４６００において、映像処理装置１０００は、ヘッダ情報に記された予測映像処理時間２１１３と処理時間２１１４を比較する。パケットデータ１０と同様に処理時間に解離があるため、ステップ４６１０に遷移する。

ステップ４６１０において、パケット処理機能部１４１０のヘッダ情報送信部１４１０は、パケット生成機能部１１１０にパケットを送信する。

ステップ４７００において、１フレーム分のパケットの処理が完了したことを判定する。本実施形態では、１フレーム分は４パケットで構成されており、パケットデータ１１の完了で１フレーム分のパケット処理が完了となる。

ステップ４７１０において、映像処理装置１０００は、処理されたパケットデータ００、０１、１０、１１を合成し、合成した映像を出力する。４つのパケットデータ００、０１、１０、１１の処理が完了するのが時刻９３［Ｔ］となる。前述のように、本実施例の映像出力機能部１６００は、１５［Ｔ］毎に１パケットの映像データを入力され、１フレーム（４パケット分）のデータを６０［Ｔ］毎に出力するものとする。第１のパケットデータ００を得られる時間は、初期レイテンシは、５［Ｔ］＋１５［Ｔ］＋１５［Ｔ］＋１５［Ｔ］＝５０［Ｔ］とパケットデータ０１，１０，１１がそれぞれ１５［Ｔ］と想定されている。ここで初期レイテンシとは、パケット生成機能部１１００とパケット処理機能部の想定処理時間の総和のことである。よって、時刻９５［Ｔ］までに、第１フレームの処理が完了すれば良いこととなる。本実施形態では時刻９３［Ｔ］に１フレーム分の映像処理が完了しているので、映像が乱れることなく映像処理を行うことができる。

以上説明したように、本発明は、個々のパケット処理機能部の画像処理にかかる時間を測定しフィードバックすることにより、個々のパケット処理機能部に適した処理モードを選択することができる。

これにより、パケットの到着が遅れることによる画像の乱れを軽減することが可能となる。

＜その他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムの１部として適用しても、１つの機器からなる装置の１部に適用してもよい。

また、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではない。

例えば、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施形態を実現するためのソフトウェアのプログラムコードを供給し実行させるものも本発明の範疇に含まれる。また、このコンピュータプログラムのコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施例を実現する場合も本発明の範疇に含まれる。

この場合、前記ソフトウェアのプログラムコード自体が上記実施形態の機能を実現することになる。即ち、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体も本発明の範疇に含まれる。

この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、本発明は上記プログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合に限らない。例えば、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施形態が実現される場合も本発明の範疇に含まれる。

更に、コンピュータの機能拡張ボードに備わるメモリに格納された上記プログラムコードの指示に基づいて、その機能拡張ボードに備わるＣＰＵ等が実際の処理の一部または全部を行う場合なども本発明の範疇に含まれる。

本発明における映像処理装置のブロック図 タイルに付加されるヘッダ情報の構成例 タイルに付加されるペイロードデータの構成例 本発明における映像処理装置の処理フロー図 パケット処理時間の例 処理モード毎の処理時間の変化率の例 本発明の時間毎のパケット生成機能部とパケット処理装置の処理状況を示す図 ヘッダ情報の遷移状況を示す図 従来技術のブロック図

Claims (7)

1. 映像データを示す１フレームを入力し、該フレームをタイル単位で分割しパケット化するパケット生成手段と、
   前記パケット生成手段によって生成された各パケットの処理時間を設定する設定手段と、
   前記パケットに対し、パケット毎に高画質処理を行う処理手段と、
   前記処理手段による処理時間を計測する計測手段と、
   前記設定手段によって設定された前記各パケットの処理時間と、前記計測手段によって計測された処理時間との比較に基づいて、前記処理手段における処理速度が異なる複数のモードからいずれかのモードを決定する決定手段と、
   前記処理手段によって処理されたパケットを合成して出力する出力手段と
   を備えることを特徴とする映像処理装置。
2. 前記決定手段は、前記計測手段によって計測されたパケットの処理時間が、前記設定手段によって設定された該パケットの処理時間を超えた場合において、該パケットの次に処理されるパケットの前記処理手段における前記モードを変更することを特徴とする請求項１に記載の映像処理装置。
3. 前記決定手段は、前記計測手段によって計測されたパケットの処理時間が、前記設定手段によって設定された該パケットの処理時間を超えた時間に応じたモードに変更することを特徴とする請求項２に記載の映像処理装置。
4. 前記処理手段は、複数の処理手段がパイプライン構造に構成されていることを特徴とする請求項１に記載の映像処理装置。
5. 映像処理装置を制御する映像処理方法であって、
   映像データを示す１フレームを入力し、該フレームをタイル単位で分割しパケット化するパケット生成工程と、
   前記パケット生成工程によって生成された各パケットの処理時間を設定する設定工程と、
   前記パケットに対し、パケット毎に高画質処理を行う処理工程と、
   前記処理工程による処理時間を計測する計測工程と、
   前記設定工程によって設定された前記各パケットの処理時間と、前記計測工程によって計測された処理時間との比較に基づいて、前記処理工程における処理速度が異なる複数のモードからいずれかのモードを決定する決定工程と、
   前記処理工程によって処理されたパケットを合成して出力する出力工程と
   を備えることを特徴とする映像処理方法。
6. 請求項５に記載の映像処理方法をコンピュータが読み込み実行することで、前記コンピュータを、映像処理装置として機能させるコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images