JP2005055976A - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP2005055976A JP2005055976A JP2003206211A JP2003206211A JP2005055976A JP 2005055976 A JP2005055976 A JP 2005055976A JP 2003206211 A JP2003206211 A JP 2003206211A JP 2003206211 A JP2003206211 A JP 2003206211A JP 2005055976 A JP2005055976 A JP 2005055976A
- Authority
- JP
- Japan
- Prior art keywords
- image
- effect
- image signal
- processing
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
この発明はマルチプロセッサ構成の画像処理装置及びプログラムに関し、特に1乃至複数の画像効果が混在した特殊画像を段階的に生成していく場合における画像生成処理全体のスループットを向上することのできるようにした画像処理装置及びプログラムに関する。
【0002】
【従来の技術】
従来から、複数台のVTRやビデオカメラ等から入力された複数のインタレース(飛び越し走査)方式の画像信号毎に、例えば画像を波上に歪ませて表示する垂直波状エフェクト、画像を複数のウインドウ上に表示するマルチウインドウ・マルチムーブエフェクト、立方体の各面上に画像を貼りつけたようにして表示するキューブマッピング、画像のエッジ抽出を行い画像を白黒反転して表示するネガなどの画像効果(エフェクト)を段階的に複数組み合わせて施していくことによって、最終的に複雑で多彩なエフェクトを表現した特殊な画像を生成することのできるようにした画像処理装置が知られている。こうした画像処理装置では画像に対して各種エフェクトを施す画像信号処理(エフェクト処理とも呼ぶ)をリアルタイムに処理するために画像信号処理用のプロセッサをマルチプロセッサ構成としており、実行すべき各エフェクト処理を複数のプロセッサのうちのいずれかのプロセッサに対してそれぞれ割り当て、各プロセッサ毎に該割り当てられたエフェクト処理を実行するようになっている(以下では、こうしたものをエフェクト固定割り当て方式と呼ぶ)。すなわち、エフェクト固定割り当て方式によるエフェクト処理においてはバッファメモリなどに格納された数フレーム分の画像信号をリアルタイムで(つまり実時間に沿って)読み出し、該読み出した各フレーム毎の画像信号を各プロセッサに対して割り当て、各プロセッサによりそれぞれ対応するエフェクト処理を行うようになっている。なお、こうしたエフェクト処理を複数組み合わせて実行して特殊な画像を生成することをリアルタイムに処理するため、画像信号はインタレース方式のままで入力・演算・出力されている。
【0003】
【発明が解決しようとする課題】
上述したように、従来の画像処理装置では、各プロセッサで処理すべきエフェクト処理がプロセッサ毎に固定的に割り当てられる、エフェクト固定割り当て方式により処理されていた。しかし、この、エフェクト固定割り当て方式においては、各プロセッサにつき予め割り当て済みのエフェクト処理しか実行させることができず、エフェクト処理が早く終了したプロセッサがある場合に当該プロセッサの空き時間に別のエフェクト処理を実行させることができなかった。すなわち、フレーム単位でしか画像信号に対してエフェクト処理を行うことができないものであった。そのため、特にエフェクト処理がアンバランスな系、つまり特定のエフェクト処理に対してのみ突出してプロセッサによる画像処理時間を必要とする場合などにおいては、当該プロセッサ以外の他のプロセッサの空き時間が多くなり各プロセッサを効率的に活用することができず、それに伴って画像生成処理全体のスループットが悪くなってしまうことから都合が悪い、という問題点があった。
【0004】
本発明は上述の点に鑑みてなされたもので、画像信号に対して複数のエフェクトを段階的に組み合わせて施すことにより特殊な画像を生成する際において、プロセッサによるエフェクト処理を画像信号のフィールド単位に実行できるようにすることにより、複数のプロセッサを効率的に活用して画像生成処理全体のスループットを向上するようにしたマルチプロセッサ構成の画像処理装置及びプログラムを提供しようとするものである。
【0005】
【課題を解決するための手段】
本発明に係るマルチプロセッサ構成の画像処理装置は、画像信号処理用のプロセッサを複数有するマルチプロセッサ構成の画像処理装置であって、1フレームにつき複数のフィールドで構成される画像信号を供給する画像供給手段と、前記画像信号に対して適用すべき1乃至複数の画像効果に従って、前記各プロセッサが処理すべき画像効果と前記画像信号のフィールドとを該各プロセッサに対して割り当てる割り当て手段とを具えることを特徴とする。
【0006】
この発明に係るマルチプロセッサ構成の画像処理装置によれば、供給された画像信号に対して適用すべき1乃至複数の画像効果に従って、前記各プロセッサが処理すべき画像効果と前記画像信号のフィールドとを該各プロセッサに対して割り当てるようにした。すなわち、供給されたインタレース形式の画像信号などの1フレームにつき複数のフィールドで構成される画像信号に対して画像効果を適用する場合に、適用する1乃至複数の画像効果に従って、前記画像効果を前記画像信号に対し適用するための該画像効果に応じた処理を、前記画像信号のフィールド毎に分割して処理するように複数のプロセッサ各々に対して割り当てる。このように、各プロセッサにおいて画像効果を適用する処理を画像信号のフィールド単位に分割して処理することができるようにしたことから、複数のプロセッサを効率的に活用でき、画像生成処理全体のスループットを向上することができるようになる。
【0007】
この発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明はコンピュータまたはDSP等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記録媒体の形態で実施することもできる。
【0008】
【発明の実施の形態】
以下、添付図面を参照してこの発明の一実施例について説明する。
【0009】
図1は、この発明に係る画像処理装置の実施の形態を示すハード構成ブロック図である。本実施例に示す画像処理装置のハードウエア構成例はコンピュータを用いて構成されており、そこにおいて、CPU1は複数の入力チャンネルを介して入力された複数のインタレース形式の画像信号の中から任意に選択された画像信号に対して、各種の画像効果(エフェクト)を段階的に複数組み合わせるようにして施すことによって、最終的に複雑で多彩なエフェクトを表現した特殊な画像を生成するように当該画像処理装置全体を制御するものである。この画像処理装置において、画像信号に対して各種エフェクトを施すエフェクト演算等の画像信号処理(以下、エフェクト処理と呼ぶ)はCPU1ではなく、マルチプロセッサ構成された複数の画像信号処理用のDISP(Digital Image Signal Processor)5〜7により実行される。なお、この実施例に示す画像処理装置においては、画像信号処理用のプロセッサとしてそれぞれが同様の処理性能を持つ3個のDISP5〜7を用いたものを示したがこれに限らず、画像信号処理用のDISPが複数個あるマルチプロセッサ構成であればいくつのDISPを用いたものであってもよいことは言うまでもない。また、DISPのそれぞれの性能が異なっていてもよい。さらに、画像信号処理用のプロセッサとしてDISPを用いた実施例を示したがこれに限らず、CPUなどを用いたものであってもよい。
【0010】
マイクロプロセッサユニット(CPU)1及びメモリ2からなるマイクロコンピュータは、所定の制御プログラムを含むソフトウエアを実行することにより、例えば「エフェクト処理割り当て表」(後述する図3(b)参照)に応じた各DISP5〜7へのエフェクト処理の割り当て制御やフィールド単位でのDISP5〜7への画像信号の入力制御、全てのエフェクト処理が組み合わされて生成された最終的な画像信号の出力制御、あるいはその他の制御など当該画像処理装置全体の制御を実施する。なお、画像処理装置におけるこれらの制御はコンピュータソフトウエアの形態に限らず、DSPなどによって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウエア装置の形態で実施してもよい。
【0011】
前記CPU1に対しては通信バス(例えば、データ及びアドレスバス等)1Dを介して、メモリ2、操作子3、DISP5〜7、DAC8がそれぞれ接続される。メモリ2はDISP5〜7により実行あるいは参照されるエフェクト処理のための各種プログラムや「エフェクト処理割り当て表」(後述する図3(b)参照)などの各種データ等を格納するROMやRAM、あるいはCPU1が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリ又は現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用されるRAMなどのメモリである。操作子3は、複数の入力チャンネルから入力される画像信号の中からユーザ所望のエフェクトを施す対象の画像信号を選択したり、該選択された画像信号に対して施すエフェクト種類を設定したりするためのスイッチ等の操作子である。該操作子の操作に基づき決定されたエフェクト種類の組み合わせに従って、後述するエフェクト構造(図3(a)参照)が決定される。
【0012】
DISP5〜7はCPU1とは独立してエフェクト処理を実行する画像信号処理回路であって、それぞれのDISP5〜7に対しては当該画像処理装置外部に接続された図示しない外部機器(例えば、VTRやビデオカメラ等)から入力された複数の画像信号が画像入力インタフェース4を介して入力される。すなわち、画像入力インタフェース4は外部機器から複数の入力チャンネル分の画像信号を取得するためのインタフェース機器であり、入力された画像信号(アナログ信号)をディジタル信号に変換するADC、ディジタル化された画像信号をバッファリングしてデータの入力順(時間軸上での整合性)を保つためのFIFOメモリ(First In First Out Memory)などのバッファメモリ、「エフェクト処理割り当て表」(後述する図3(b)参照)に従ってバッファメモリから読み出した画像信号を各DISP5〜7にフィールド単位に割り当てて入力するように制御するためのスイッチャーなどを含んで構成される。DISP5〜7により生成されたエフェクト処理済みの信号は、DAC8によりディジタル信号からアナログ信号へと変換されて出力画像信号として当該画像処理装置外部に接続された図示しない外部機器などに対して出力される。
【0013】
なお、CPU1により実行される制御プログラム等はROMやRAMなどのメモリ2に記憶されたもののみならず、ハードディスク(HD)、コンパクトディスク(CD−ROM・CD−RAM)、光磁気ディスク(MO)、あるいはDVD(Digital Versatile Disk)等の図示しない外部記憶媒体に記憶されたものを利用するようにしてよい。また、図示しない通信インターフェースを介して適宜のサーバコンピュータからダウンロードし、図示しないハードディスク等に保存したものを利用することも可能である。こうした場合、該制御プログラム等は、該プログラムを実行すべき時にRAMに転送されてCPU1の制御の下で実行される。これにより、各種プログラムの追加やバージョンアップ等が容易に行える。
【0014】
なお、本発明に係る画像処理装置は上述の実施例に示したようにメモリ2や操作子3などを1つの画像処理装置本体に内蔵したものに限らず、それぞれが別々に構成され、通信ネットワーク等を用いて各装置を接続するように構成されたものであってもよい。さらに、本発明に係る画像処理装置はパーソナルコンピュータ、携帯電話等の携帯型通信端末、電子楽器やカラオケ装置又は電子ゲーム装置、あるいはその他のマルチメディア機器等、任意の製品応用形態をとっているものであってもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバコンピュータ側に持たせ、端末とサーバコンピュータとからなるシステム全体として所定の機能を実現するようにしてもよい。
【0015】
ここで、図1に示した画像処理装置により実行される、エフェクトを段階的に複数組み合わせて施していくことにより、複雑で多彩なエフェクトを表現した特殊な画像を生成する処理全体の動作手順について、簡単に概要を説明する。
【0016】
まず、外部機器などから複数の入力チャンネル毎に画像信号が入力されると、入力された画像信号はディジタル信号に変換された後バッファメモリに記憶される。画像信号のデータ構成を示すと、図2に示すようになる。従来から知られているように、テレビジョンやビデオ等で画像を表示するための方式としてはインタレース方式が採用されている。インタレース方式では、複数の水平ラインを含む1画面分の画像を走査線1本おきに、つまり奇数ラインと偶数ラインとに分けて交互に表示する。奇数ラインと偶数ラインを含むテレビジョンやビデオ映像の1枚の画像は「フレーム」(図中におけるフレーム0、フレーム1、フレーム2…)と呼ばれており、該フレームが毎秒29.97フレーム(NTSC方式の場合)で送られることにより動画像が表示される。また、奇数ライン又は偶数ラインで表される垂直走査1回分だけの荒い画面はそれぞれ「奇数フィールド」(図中におけるフィールド0)、「偶数フィールド」(図中におけるフィールド1)と呼ばれている。本発明に係る実施例においては、こうしたインタレース方式のままで画像信号を入力・演算・出力する。
【0017】
エフェクト処理の動作手順の説明に戻って、ユーザによる操作子3の操作に応じて画像信号の選択及びエフェクト種類の設定が行われると「エフェクト構造」が決定されて、メモリ2に記憶された多数の「エフェクト処理割り当て表」の中から該決定されたエフェクト構造に対応する「エフェクト処理割り当て表」が読み出される。ここで、ユーザによる操作子3の操作に応じて画像信号の選択及びエフェクト種類の設定に応じて決定されるエフェクト構造及び該エフェクト構造に対応する「エフェクト処理割り当て表」について、図3を用いて説明する。図3(a)にエフェクト構造の一実施例を、図3(b)に該エフェクト構造に対応した「エフェクト処理割り当て表」の一実施例をそれぞれ示す。
【0018】
図3(a)に示すエフェクト構造は、2つの入力画像信号に対して5種類のエフェクトA〜Eを組み合わせて施すことにより特殊な画像を生成する場合における多段のエフェクト構造である。すなわち、入力画像信号aに対しては第1段階としてエフェクト種類Aのエフェクトを、第2段階としてエフェクト種類Cのエフェクトを施すことによって、エフェクトA及びCが付与された画像信号が得られる。一方、入力画像信号bに対しては、第1段階としてエフェクト種類Bのエフェクトを、第2段階としてエフェクト種類Dのエフェクトを施すことによって、エフェクトB及びDが付与された画像信号が得られる。こうしてそれぞれ多段のエフェクトを施すことにより生成された各画像信号を組み合わせ、さらにエフェクト種類Eのエフェクトを施すことで、5種類のエフェクトA〜Eが付与された1つの特殊な画像を表す出力画像信号が得られる。なお、図中における各段階のエフェクト種類A〜Eの表示内において括弧内に記述されている数字は、当該エフェクト処理を行うのにどれだけプロセッサの単位処理能力が必要とするものであるかを便宜的に表したものである。例えば、エフェクト種類Aのエフェクト処理には奇数フィールド(Field0)に対して3単位、偶数フィールド(Field1)に対して3単位の計6単位の処理能力が必要とされることを表している。また、この場合における5種類のエフェクトA〜Eが付与された1つの特殊な画像を生成するまでに必要とされる全体の処理能力は合計22単位の処理能力が必要とされる。
【0019】
「エフェクト処理割り当て表」は上述したエフェクト構造及び使用する画像信号処理用のDISPの個数に応じて予め多数記憶されており、エフェクト構造の決定に従って対応する「エフェクト処理割り当て表」が読み出されて用いられる。図3(b)に示すように、「エフェクト処理割り当て表」には図1に示した各画像信号処理用のDISP毎に、エフェクト種類及びエフェクト処理する対象のフィールド毎の画像信号とが処理順に定義される。この実施例において、DISP1に対しては、エフェクト種類Aのエフェクトを画像信号aにおけるフレーム0フィールド0の画像信号(aF00)に施すエフェクト処理、エフェクト種類Dのエフェクトを画像信号bにおけるフレーム0フィールド1の画像信号(bF01)に施すエフェクト処理、エフェクト種類Eのエフェクトを画像信号ab(つまり画像信号aと画像信号bとの組み合わせ)におけるフレーム0フィールド0の画像信号(abF00)に施すエフェクト処理を順次に実行するように定義されている。DISP2に対しては、エフェクト種類Aのエフェクトを画像信号aにおけるフレーム0フィールド1の画像信号(aF01)に施すエフェクト処理、エフェクト種類Cのエフェクトを画像信号aにおけるフレーム0フィールド0の画像信号(aF00)及び画像信号aにおけるフレーム0フィールド1の画像信号(aF01)にそれぞれ施すエフェクト処理、エフェクト種類Eのエフェクトを画像信号abにおけるフレーム0フィールド1の画像信号(abF01)に施すエフェクト処理を順次に実行するように定義されている。DISP3に対しては、エフェクト種類Bのエフェクトを画像信号bにおけるフレーム0フィールド0の画像信号(bF00)及び画像信号bにおけるフレーム0フィールド1の画像信号(bF01)にそれぞれ施すエフェクト処理、エフェクト種類Dのエフェクトを画像信号bにおけるフレーム0フィールド0の画像信号(bF00)に施すエフェクト処理を順次に実行するように定義されている。
【0020】
エフェクト処理の動作手順の説明に戻って、CPUでは上述した「エフェクト処理割り当て表」に従って各DISPに対してフィールド単位に画像信号を供給する。各DISPでは画像信号が供給されると、供給された画像信号に対して「エフェクト処理割り当て表」に従うエフェクト処理をそれぞれ実行する。この際、各DISPは並行的に動作する。そして、最終的に生成された画像信号はアナログ信号に変換された後に出力される。
【0021】
次に、上述した「エフェクト処理割り当て表」に従って割り当てられたエフェクト処理を各DISPで実行することによる画像処理時間の短縮の様子について、図4を用いて説明する。図4は、図1に示した各DISPにおける画像処理のタイムチャートである。ただし、ここでは上述の図3(b)に示した「エフェクト処理割り当て表」に従ってフレーム0の画像信号に対してエフェクト処理を実行した場合のタイムチャートのみを示した。また、従来での画像処理時間と比較するために、図4上段に本発明におけるタイムチャートを、図4下段に従来例におけるタイムチャートをそれぞれ示した。なお、図4下段に示す従来例は、DISP1に対してエフェクト種類Aのエフェクト処理を、DISP2に対してエフェクト種類B及びエフェクト種類Dのエフェクト処理を、DISP3に対してエフェクト種類C及びエフェクト種類Eの処理をそれぞれ固定的に割り当てた例(エフェクト固定割り当て方式)を示したものである。
【0022】
まず、本発明に係る画像処理装置における各DISPによりエフェクト処理を実行した際のタイムチャートについて説明する。上述した「エフェクト処理割り当て表」に従って、まずDISP1に対して画像信号aのうちフィールド0(フレーム0、以下同じ)の画像信号に対してエフェクト種類Aのエフェクト処理、DISP2に対して画像信号aのうちフィールド1(フレーム0、以下同じ)である画像信号に対してエフェクト種類Aのエフェクト処理、DISP3に対して画像信号bのうちフィールド0の画像信号に対してエフェクト種類Bのエフェクト処理がそれぞれ割り当てられ、各DISPではそれぞれ割り当てられたエフェクト処理を並列的に実行開始する。DISP1及びDISP2で実行されるエフェクト種類Aのエフェクト処理は、上述したエフェクト構造(図3(a)参照)に示したように、フィールド0及びフィールド1の画像信号それぞれに対して3単位の処理能力が必要とされるので、該処理能力に相当する時間分だけ処理時間がかかる(A1aF00〜A3aF00、A1aF01〜A3aF01)。他方、DISP3で実行されるエフェクト種類Bのエフェクト処理はフィールド0の画像信号に対して1単位の処理能力に相当する処理時間がかかる(B1bF00)。DISP3におけるエフェクト種類Bのフィールド0の画像信号に対するエフェクト処理が終了すると、「エフェクト処理割り当て表」に従って画像信号bのうちフィールド1の画像信号に対してエフェクト種類Bのエフェクト処理が割り当てられ、これを処理するのに1単位の処理能力に相当する処理時間がかかる(B1bF01)。さらに、DISP3におけるエフェクト種類Bのフィールド1の画像信号に対するエフェクト処理が終了すると、画像信号bのうちフィールド0の画像信号に対してエフェクト種類Dのエフェクト処理が割り当てられ、当該エフェクト処理を4単位の処理能力に相当する時間分実行する(D1bF00〜D4bF00)。
【0023】
DISP1及びDISP2におけるエフェクト種類Aのフィールド0及びフィールド1の画像信号に対するエフェクト処理が終了すると、DISP1に対して画像信号bのうちフィールド1の画像信号に対してエフェクト種類Dのエフェクト処理、DISP2に対して画像信号aのうちフィールド0の画像信号に対してエフェクト種類Cのエフェクト処理が割り当てられ、それぞれ4単位、2単位の処理能力に相当する処理時間をかけて処理する(D1bF01〜D4bF01、C1aF00〜C2aF00)。以後、同様にしてDISP1では画像信号abのうちフィールド0の画像信号に対してエフェクト種類Eのエフェクト処理(E1abF00)、DISP2に対して画像信号aのうちフィールド1の画像信号に対してエフェクト種類Cのエフェクト処理(C1aF01〜C2aF01)、その後画像信号abのうちフィールド1の画像信号に対してエフェクト種類Eのエフェクト処理(E1abF01)を、それぞれの処理能力に相当する処理時間をかけて処理する。こうして、8単位に相当する処理時間をかけて複数のエフェクトを組み合わせた特殊な画像を生成する。
【0024】
図4から理解できるように、本発明にかかる画像処理装置では各DISPの空き時間(図中においてNOPで示す)の合計が2単位に相当する処理時間だけであるのに対して、図4下段に示した従来例においては14単位に相当する処理時間分の空き時間がある。これは、各DISPの空き時間が多く、各DISPが有効活用されていないことを示している。したがって、本発明にかかる画像処理装置では8単位の処理能力に相当する処理時間で全てのエフェクト処理が終了するが従来例においては12単位の処理能力に相当する処理時間を必要としており、本発明に比べ4単位分処理時間が長くかかっていることがわかる。すなわち、従来のエフェクト固定割り当て方式のものでは各DISPにつき予め割り当て済みのエフェクト処理をフレーム単位の画像信号に対してでしか実行させることができず、エフェクト処理が早く終了したDISPがある場合であっても当該DISPの空き時間に別のエフェクト処理を割り当てて実行させることができないために生ずる。なお、図4下段に示した従来例において、DISP3が処理単位1〜4の空き時間に画像信号aに対するエフェクト種類Cのエフェクト処理(C1aF00〜C2AF01)を実行しないのは、図3(a)に示したエフェクト構造から理解できるように、エフェクト種類Cのエフェクト処理はエフェクト種類Aのエフェクト処理が終了してからでないと実行することができないからである。従って、DISP1においてエフェクト種類Aのエフェクト処理が終了する処理単位6以降でないと、DISP3はエフェクト種類Cのエフェクト処理を開始することができない。
【0025】
そこで、本実施例における画像処理装置においては、画像信号に対して適用するエフェクト種類の組み合わせを選択すると、該エフェクト種類の組み合わせにおけるエフェクト構造でのエフェクト処理を最も効率的に処理するように各プロセッサに対して処理を分配するように定義された「エフェクト処理割り当て表」を読み出し、該読み出した「エフェクト処理割り当て表」に従って、各エフェクト処理をフィールドごとの演算に分割し、それぞれ処理の空きがあるプロセッサに分配してエフェクト処理を行うようにした。こうすることにより、各エフェクト処理をそのままプロセッサに割り当て、フレーム単位にエフェクト処理を実行する従来のエフェクト固定割り当て方式に比べて処理の効率を上げることができるようになる。
【0026】
なお、上述した実施例においてはエフェクト構造及び使用する画像信号処理用のプロセッサ(DISP)の個数に応じて、それぞれ対応する「エフェクト処理割り当て表」を予めROMやRAMなどのメモリ2上に多数記憶しておき、この中から決定したエフェクト構造に対応する「エフェクト処理割り当て表」を読み出して用いるようにしたものを示したがこれに限らない。例えば、エフェクト構造が決定する都度、該決定したエフェクト構造及び使用する画像信号処理用のプロセッサ(DISP)の個数に従って「エフェクト処理割り当て表」を自動的に生成し、該生成した「エフェクト処理割り当て表」を用いて複数のプロセッサ(DISP)各々に対して処理を割り当てるようにしてもよい。
【0027】
【発明の効果】
以上の通り、この発明によれば複数のエフェクト処理を組み合わせて特殊な画像を生成する際において、エフェクト構造に応じて画像信号をフィールド毎に複数のプロセッサに対して割り当てながらエフェクト処理を実行するように制御することにより、各プロセッサにおける各種エフェクト処理の負荷の均等化を図って画像生成処理全体のスループットを向上させることができる、という優れた効果を奏する。
【図面の簡単な説明】
【図1】この発明に係る画像処理装置の実施の形態を示すハード構成ブロック図である。
【図2】入力画像信号のデータ構成の一実施例を示す概念図である。
【図3】エフェクト構造及びエフェクト処理割り当て表の一実施例を示す概念図であり、図3(a)にエフェクト構造を、図3(b)に該エフェクト構造に対応したエフェクト処理割り当て表の一実施例を示す。
【図4】図1に示した各DISPにおける画像処理のタイムチャートである。
【符号の説明】
1…CPU、2…メモリ、3…操作子、4…画像入力インタフェース、5〜7…DISP、8…DAC、1D…通信バス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and program having a multiprocessor configuration, and in particular, it is possible to improve the overall throughput of image generation processing when a special image in which one or more image effects are mixed is generated stepwise. The present invention relates to an image processing apparatus and a program.
[0002]
[Prior art]
Conventionally, for each of a plurality of interlaced (interlaced scanning) image signals input from a plurality of VTRs, video cameras, etc., for example, a vertical wavy effect for displaying an image distorted on a wave, an image for a plurality of windows Image effects such as multi-window and multi-move effects to be displayed above, cube mapping to be displayed as images are pasted on each side of the cube, and negatives to perform image edge extraction and display the image in black and white. 2. Description of the Related Art An image processing apparatus is known in which a special image that expresses a complex and diverse effect can be finally generated by performing a combination of a plurality of effects in stages. In such an image processing apparatus, a processor for image signal processing has a multiprocessor configuration in order to perform image signal processing (also referred to as effect processing) for applying various effects to an image in real time, and a plurality of effect processing to be executed is performed. Each processor is assigned to one of the processors, and the assigned effect processing is executed for each processor (hereinafter, this is referred to as an effect fixed assignment method). That is, in the effect processing by the fixed effect allocation method, the image signals for several frames stored in the buffer memory or the like are read in real time (that is, in real time), and the read image signals for each frame are read to each processor. The corresponding effect processing is performed by each processor. In order to process in real time that a special image is generated by executing a combination of a plurality of such effect processes, the image signal is input / calculated / output in an interlaced manner.
[0003]
[Problems to be solved by the invention]
As described above, in the conventional image processing apparatus, the effect processing to be processed by each processor is processed by the effect fixed allocation method in which each processor is fixedly allocated. However, in this fixed effect assignment method, only the pre-assigned effect processing can be executed for each processor, and when there is a processor for which the effect processing is completed early, another effect processing is performed in the free time of the processor. Could not execute. That is, the effect processing can be performed on the image signal only in frame units. Therefore, especially when the effect processing is unbalanced, that is, when the image processing time by the processor is required only for specific effect processing, the free time of other processors other than the processor increases. There is a problem that it is not convenient because the processor cannot be used efficiently, and the throughput of the entire image generation process deteriorates accordingly.
[0004]
The present invention has been made in view of the above-described points. When a special image is generated by applying a plurality of effects in a stepwise manner to an image signal, the effect processing by the processor is performed in units of field of the image signal. Therefore, it is intended to provide an image processing apparatus and program having a multiprocessor configuration in which a plurality of processors are efficiently used to improve the throughput of the entire image generation processing.
[0005]
[Means for Solving the Problems]
An image processing apparatus having a multiprocessor configuration according to the present invention is an image processing apparatus having a multiprocessor configuration having a plurality of processors for processing image signals, and supplying an image signal configured to include a plurality of fields per frame. And means for allocating the image effect to be processed by each processor and the field of the image signal to each processor according to one or more image effects to be applied to the image signal. It is characterized by that.
[0006]
According to the multiprocessor-structured image processing apparatus of the present invention, the image effect to be processed by each processor and the field of the image signal in accordance with one or more image effects to be applied to the supplied image signal. Is assigned to each processor. That is, when an image effect is applied to an image signal composed of a plurality of fields per frame, such as a supplied interlaced image signal, the image effect is applied according to one or more image effects to be applied. A process corresponding to the image effect to be applied to the image signal is assigned to each of the plurality of processors so as to be divided and processed for each field of the image signal. As described above, since the processing for applying the image effect in each processor can be divided and processed in the field unit of the image signal, a plurality of processors can be used efficiently, and the throughput of the entire image generation processing can be achieved. Can be improved.
[0007]
This invention can be constructed and implemented not only as a device invention but also as a method invention. In addition, the present invention can be implemented in the form of a program of a processor such as a computer or a DSP, and can also be implemented in the form of a recording medium storing such a program.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
[0009]
FIG. 1 is a block diagram of a hardware configuration showing an embodiment of an image processing apparatus according to the present invention. The hardware configuration example of the image processing apparatus shown in the present embodiment is configured using a computer, in which the CPU 1 arbitrarily selects from a plurality of interlaced image signals input via a plurality of input channels. By applying multiple image effects (effects) in a stepwise combination to the selected image signal, a special image expressing a complex and diverse effect is finally generated. It controls the entire image processing apparatus. In this image processing apparatus, image signal processing (hereinafter referred to as effect processing) such as effect calculation for applying various effects to an image signal is not the CPU 1 but a plurality of image signal processing DISPs (Digital) configured by a multiprocessor. (Image Signal Processor) 5-7. In the image processing apparatus shown in this embodiment, three image signal processors using three
[0010]
The microcomputer including the microprocessor unit (CPU) 1 and the
[0011]
The CPU 1 is connected to a
[0012]
The
[0013]
Control programs executed by the CPU 1 are not only those stored in the
[0014]
Note that the image processing apparatus according to the present invention is not limited to the one in which the
[0015]
Here, the operation procedure of the entire process for generating a special image expressing a complex and various effect by performing a combination of a plurality of effects in stages, which is executed by the image processing apparatus shown in FIG. A brief overview.
[0016]
First, when an image signal is input for each of a plurality of input channels from an external device or the like, the input image signal is converted into a digital signal and then stored in a buffer memory. The data structure of the image signal is as shown in FIG. As conventionally known, an interlace method is employed as a method for displaying an image on a television, a video, or the like. In the interlace method, an image for one screen including a plurality of horizontal lines is displayed alternately every other scanning line, that is, divided into odd lines and even lines. One image of a television or video image including odd and even lines is called a “frame” (frame 0, frame 1,
[0017]
Returning to the description of the operation procedure of the effect processing, when an image signal is selected and an effect type is set in accordance with the operation of the
[0018]
The effect structure shown in FIG. 3A is a multistage effect structure in the case where a special image is generated by combining five types of effects A to E with respect to two input image signals. That is, the effect type A effect is applied to the input image signal a as the first stage, and the effect type C effect is applied as the second stage, so that an image signal with the effects A and C is obtained. On the other hand, with respect to the input image signal b, an effect type B effect is applied as the first step, and an effect type D effect is applied as the second step, whereby an image signal with the effects B and D is obtained. The output image signals representing one special image to which five types of effects A to E are applied by combining the image signals generated by applying the multi-stage effects in this way and further applying the effect type E effect. Is obtained. Note that the numbers described in parentheses in the display of the effect types A to E at each stage in the figure indicate how much the unit processing capacity of the processor requires to perform the effect processing. It is shown for convenience. For example, the effect type A effect processing requires 6 units of processing capacity, 3 units for the odd field (Field 0) and 3 units for the even field (Field 1). In this case, the total processing capacity required to generate one special image to which the five types of effects A to E are applied is a total of 22 units.
[0019]
A large number of “effect processing allocation tables” are stored in advance according to the above-described effect structure and the number of image signal processing DISPs to be used, and the corresponding “effect processing allocation table” is read according to the determination of the effect structure. Used. As shown in FIG. 3B, the “effect processing allocation table” includes the effect type and the image signal for each field to be effect processed in the order of processing for each DISP for image signal processing shown in FIG. Defined. In this embodiment, for DISP1, effect processing for effect type A is applied to the image signal (aF00) of frame 0 field 0 in image signal a, and effect type D is applied to frame 0 field 1 in image signal b. Effect processing applied to the image signal (bF01) and effect processing applied to the image signal (abF00) of the frame 0 field 0 in the image signal ab (that is, a combination of the image signal a and the image signal b) in order. Is defined to run. For DISP2, the effect processing of effect type A is applied to the image signal (aF01) of frame 0 field 1 in the image signal a, and the effect of effect type C is applied to the image signal (aF00) of frame 0 field 0 in the image signal a. ) And the effect processing to be applied to the image signal (aF01) of the frame 0 field 1 in the image signal a and the effect processing to apply the effect of the effect type E to the image signal (abF01) of the frame 0 field 1 in the image signal ab in sequence. Is defined to be. For the DISP3, effect processing for effect type B is applied to the image signal (bF00) in frame 0 field 0 of the image signal b and the image signal (bF01) in frame 0 field 1 of the image signal b, respectively. Are applied to the image signal (bF00) of the frame 0 field 0 in the image signal b.
[0020]
Returning to the description of the operation procedure of the effect processing, the CPU supplies an image signal in units of fields to each DISP in accordance with the “effect processing allocation table” described above. When an image signal is supplied to each DISP, effect processing according to the “effect processing allocation table” is executed on the supplied image signal. At this time, each DISP operates in parallel. Then, the finally generated image signal is output after being converted into an analog signal.
[0021]
Next, how the image processing time is shortened by executing the effect processing assigned according to the “effect processing assignment table” described above in each DISP will be described with reference to FIG. FIG. 4 is a time chart of image processing in each DISP shown in FIG. However, only the time chart when the effect processing is executed on the image signal of frame 0 according to the “effect processing allocation table” shown in FIG. For comparison with the conventional image processing time, a time chart in the present invention is shown in the upper part of FIG. 4, and a time chart in the conventional example is shown in the lower part of FIG. In the conventional example shown in the lower part of FIG. 4, effect processing of effect type A is performed for DISP1, effect processing of effect type B and effect type D is performed for DISP2, and effect type C and effect type E is processed for DISP3. This is an example (fixed effect assignment method) in which each of the processes is fixedly assigned.
[0022]
First, a time chart when effect processing is executed by each DISP in the image processing apparatus according to the present invention will be described. In accordance with the “effect processing assignment table” described above, first, effect processing of effect type A is performed on the image signal of field 0 (frame 0, the same applies hereinafter) of the image signal a for DISP1, and the image signal a is processed for DISP2. Of these, the effect type A effect process is assigned to the image signal in the field 1 (frame 0, the same applies hereinafter), and the effect type B effect process is assigned to the image signal b in the field 0 of the image signal b to the DISP3. Each DISP starts to execute the assigned effect process in parallel. As shown in the effect structure (see FIG. 3A), the effect processing of effect type A executed by DISP1 and DISP2 is a processing unit of 3 units for the image signals of field 0 and field 1 respectively. Therefore, it takes a processing time corresponding to the processing capacity (A1aF00 to A3aF00, A1aF01 to A3aF01). On the other hand, the effect type B effect processing executed in DISP3 takes a processing time corresponding to one unit of processing capacity for the image signal of field 0 (B1bF00). When the effect processing for the image signal in the field 0 of the effect type B in the
[0023]
When the effect processing for the image signal of field 0 and field 1 of effect type A in DISP1 and DISP2 is completed, the effect processing of effect type D for the image signal of field 1 out of image signal b for DISP1, and for DISP2 Thus, the effect processing of the effect type C is assigned to the image signal of the field 0 in the image signal a, and the processing is performed over the processing time corresponding to the processing capacity of 4 units and 2 units, respectively (D1bF01 to D4bF01, C1aF00 to 0). C2aF00). Thereafter, in the same manner, in DISP1, the effect type E effect processing (E1abF00) is applied to the field 0 image signal of the image signal ab, and the effect type C is applied to the image signal a of the field 1 in DISP2. Effect processing (C1aF01 to C2aF01), and then effect type E effect processing (E1abF01) is processed for the image signal of field 1 in the image signal ab over a processing time corresponding to each processing capability. Thus, a special image is generated by combining a plurality of effects over a processing time corresponding to 8 units.
[0024]
As can be understood from FIG. 4, in the image processing apparatus according to the present invention, the total free time of each DISP (indicated by NOP in the figure) is only the processing time corresponding to 2 units, whereas the lower part of FIG. In the conventional example shown in FIG. 2, there is a free time corresponding to 14 units of processing time. This indicates that each DISP has a lot of free time and each DISP is not effectively used. Therefore, in the image processing apparatus according to the present invention, all effect processing is completed in a processing time corresponding to a processing capacity of 8 units, but in the conventional example, a processing time corresponding to a processing capacity of 12 units is required. It can be seen that the processing time for 4 units is longer than that of. In other words, with the conventional fixed effect assignment method, the effect processing that has been assigned in advance for each DISP can be executed only for the image signal in units of frames, and there is a DISP that has finished effect processing earlier. However, this is because another effect process cannot be assigned to the idle time of the DISP and executed. In the conventional example shown in the lower part of FIG. 4, the
[0025]
Therefore, in the image processing apparatus according to the present embodiment, when a combination of effect types to be applied to an image signal is selected, each processor is configured to process the effect processing with the effect structure in the combination of the effect types most efficiently. The “effect processing allocation table” defined to distribute the processing is read out, and each effect processing is divided into operations for each field according to the read “effect processing allocation table”, and there is a free space for each processing. Distributed effects to processors for effect processing. This makes it possible to increase the processing efficiency as compared with the conventional fixed effect allocation method in which each effect process is directly assigned to the processor and the effect process is executed in units of frames.
[0026]
In the above-described embodiment, a large number of “effect processing allocation tables” corresponding to the effect structure and the number of image signal processing processors (DISPs) to be used are stored in advance in the
[0027]
【The invention's effect】
As described above, according to the present invention, when a special image is generated by combining a plurality of effect processes, the effect process is executed while assigning image signals to a plurality of processors for each field according to the effect structure. By controlling to the above, there is an excellent effect that the load of various effect processes in each processor can be equalized and the throughput of the entire image generation process can be improved.
[Brief description of the drawings]
FIG. 1 is a hardware configuration block diagram showing an embodiment of an image processing apparatus according to the present invention;
FIG. 2 is a conceptual diagram illustrating an example of a data configuration of an input image signal.
FIG. 3 is a conceptual diagram showing an embodiment of an effect structure and an effect process assignment table. FIG. 3A shows an effect structure, and FIG. 3B shows an effect process assignment table corresponding to the effect structure. An example is shown.
4 is a time chart of image processing in each DISP shown in FIG. 1. FIG.
[Explanation of symbols]
1 ... CPU, 2 ... memory, 3 ... operator, 4 ... image input interface, 5-7 ... DISP, 8 ... DAC, 1D ... communication bus
Claims (5)
1フレームにつき複数のフィールドで構成される画像信号を供給する画像供給手段と、
前記画像信号に対して適用すべき1乃至複数の画像効果に従って、前記各プロセッサが処理すべき画像効果と前記画像信号のフィールドとを該各プロセッサに対して割り当てる割り当て手段とを具えることを特徴とするマルチプロセッサ構成の画像処理装置。An image processing apparatus having a multiprocessor configuration having a plurality of processors for image signal processing,
Image supply means for supplying an image signal composed of a plurality of fields per frame;
According to one or a plurality of image effects to be applied to the image signal, the image processing apparatus includes assigning means for assigning the image effect to be processed by each processor and a field of the image signal to each processor. An image processing apparatus having a multiprocessor configuration.
1フレームにつき複数のフィールドで構成される画像信号を供給する手順と、前記画像信号に対して適用すべき1乃至複数の画像効果に従って、前記各プロセッサが処理すべき画像効果と前記画像信号のフィールドとを該各プロセッサに対して割り当てる手順とを実行させるためのプログラム。On the computer,
According to a procedure for supplying an image signal composed of a plurality of fields per frame and one or more image effects to be applied to the image signal, the image effect to be processed by each processor and the field of the image signal A program for executing the procedure for assigning to each processor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003206211A JP2005055976A (en) | 2003-08-06 | 2003-08-06 | Image processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003206211A JP2005055976A (en) | 2003-08-06 | 2003-08-06 | Image processing apparatus and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005055976A true JP2005055976A (en) | 2005-03-03 |
Family
ID=34363145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003206211A Pending JP2005055976A (en) | 2003-08-06 | 2003-08-06 | Image processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005055976A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158722A (en) * | 2005-12-05 | 2007-06-21 | Canon Inc | Image processor and its control method, program, storing medium |
JP2011065343A (en) * | 2009-09-16 | 2011-03-31 | Fuji Xerox Co Ltd | Image data processing apparatus |
-
2003
- 2003-08-06 JP JP2003206211A patent/JP2005055976A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158722A (en) * | 2005-12-05 | 2007-06-21 | Canon Inc | Image processor and its control method, program, storing medium |
JP2011065343A (en) * | 2009-09-16 | 2011-03-31 | Fuji Xerox Co Ltd | Image data processing apparatus |
US8803893B2 (en) | 2009-09-16 | 2014-08-12 | Fuji Xerox Co., Ltd. | Image data processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1162832C (en) | Image display device | |
JP2022505118A (en) | Image processing method, equipment, hardware equipment | |
JP2023540753A (en) | Video processing methods, terminal equipment and storage media | |
JPH1021387A (en) | Image processor and processing method | |
CN111556325A (en) | Audio and video combined rendering method, medium and computer equipment | |
CN108174281A (en) | A kind of video play-reverse method, apparatus, system, medium and equipment | |
JPH10208030A (en) | Image processor and processing method | |
JP2005055976A (en) | Image processing apparatus and program | |
WO2007055067A1 (en) | Information processing device, graphic processor, control processor, and information processing method | |
JP6349355B2 (en) | Image composition apparatus, information processing apparatus, and image composition method | |
CN111221444A (en) | Split screen special effect processing method and device, electronic equipment and storage medium | |
JP2003316331A (en) | Display device | |
JP2002032749A (en) | Image processor | |
JP2001092434A (en) | Information processing device, picture generating method and program storage medium | |
JPH11355683A (en) | Video display device | |
JP2000020014A (en) | Picture display device | |
JP3061158B2 (en) | Video signal conversion method | |
JP2004310388A (en) | Special effector, address signal generating unit, address signal generating method, and address signal generating program | |
WO2022201801A1 (en) | Medical image processing system, medical image processing method, and program | |
JP3371643B2 (en) | Signal processing device | |
JPH10240565A (en) | Application program verification device, application program verification method and medium | |
JP2003066934A (en) | Display device | |
JP2008154065A (en) | Effect imparting device | |
JP2007028477A (en) | Image display apparatus | |
JPH11149569A (en) | Three-dimensional picture processor and system therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090602 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090728 |