JP5568884B2 - 映像処理装置、映像処理方法 - Google Patents

Description

本発明は画像処理の技術に関する。

近年、液晶テレビ、プラズマテレビ、プロジェクターなどの映像表示機器において、ハイビジョンをはるかに超える高解像度の仕様のものが知られている。このような高解像度映像を表示する映像表示機器においては、映像の全画面を複数の領域に分割し複数のプロセッサーで並列に処理をするという方式が頻繁に採用されている。この際、従来の方式では、各プロセッサーはそれぞれが担当する映像データについて独立に映像処理を行う。しかし、このような方式において、フィルター処理のように各画素の周辺画素のデータを参照して演算を施す処理の場合、各分割画面の端部分の画素は参照する周辺画素データがない部分があるため、全画面を完全にフィルター処理することができないという不具合があった。そのような不具合を解決する方法として下記の特許文献1が知られている

特開平１０−３０４１８４

この特許文献1による画像処理装置では、画像の全領域を格納した画像記憶手段から画像データを読み出し、その画像を分割入力部において複数領域に分割し、それを複数のパイプライン処理部にて並列に処理を行う。この際、各パイプライン処理部で周辺画素の参照が必要な場合には、分割入力部において、必要な周辺画素分を各分割領域がオーバーラップするように分割し、各パイプライン処理部に入力している。

しかしながら、特許文献１による方法は、多段のフィルター処理を行うことについては想定されていない。もし多段フィルター処理を行おうとする場合には、画像記憶手段からデータを読み出して、パイプライン処理部でフィルター処理を行った後、画像記憶手段に再度記憶するという作業を何度も繰り返すことになるため、記憶手段へのアクセス量やパイプライン処理部の処理量が増大してしまう。

本発明は、上述の課題の少なくとも一部を解決するために、以下の形態または適用例を取ることが可能である。
１画面分の映像を表す映像データを分割して処理する映像処理装置であって、前記映像データを入力する入力手段と、前記映像データを分割した複数の領域のそれぞれに対応して設けられ、前記領域に対応し縦横に各々２以上の画素が配列した画像データを受け取り、所定の画像処理を行なう複数の画像処理部と、前記各画像処理部の前記画像処理に先立って、前記各画像処理部が受け取った前記各領域に対応した画像データから、該領域に隣接する領域を処理する画像処理部が必要とする画像データを取得し、当該隣接する画像処理部に入力して、各画像処理部が受け取った前記領域に対応した画像データを拡張し、前記各画像処理部による前記所定の画像処理の対象とする画像データ拡張部と、前記複数の画像処理部が処理した画像データを受け取って、画面を再構成する画像合成部とを備える映像処理装置。

[適用例１]
１画面分の映像を表す映像データを分割して処理する映像処理装置であって、前記映像データを入力する入力手段と、前記映像データを分割した複数の領域のそれぞれに対応して設けられ、前記領域に対応した画像データを受け取り、所定の画像処理を行なう複数の画像処理部と、前記各画像処理部の前記画像処理に先立って、前記各画像処理部が受け取った前記各領域に対応した画像データから、該領域に隣接する領域を処理する画像処理部が必要とする画像データを取得し、当該隣接する画像処理部に入力して、各画像処理部が受け取った前記領域に対応した画像データを拡張し、前記各画像処理部による前記所定の画像処理の対象とする画像データ拡張部と、前記複数の画像処理部が処理した画像データを受け取って、画面を再構成する画像合成部とを備える映像処理装置。

この映像処理装置によると、各画像処理部は、画像処理に先立って、画像処理部が必要とする画像データを他の画像処理部から受け取り、それとは別に分割した映像データを受け取り、それら２つのデータから、それぞれの領域に対応した画像データを拡張し画像処理を行なうので、各画像処理部が各画像処理に必要な拡張した画像データを入力された映像データから一度に取得する必要がない。

[適用例２]
適用例１記載の映像処理装置であって、更に、前記入力した映像データを複数の領域毎に分割し、前記領域毎の画像データとして出力する画像分割部を備え、前記画像処理部は、前記分割された複数の領域のそれぞれに対応して設けられ、前記画像分割部から、前記領域に対応した画像データを受け取り、所定の画像処理を行う映像処理装置。

この映像処理装置によると、画像分割部を備えるので、映像処理部へのデータの入力は１画面を構成する映像データのデータ入力が可能であり、映像処理装置内で１画面分の映像データを分割し、分割した画像データとして処理を行うことができる。

[適用例３]
前記画像データ拡張部は、前記画像処理部毎に設けられた適用例１または適用例２記載の映像処理装置。
この映像処理装置によれば、画像データ拡張部は各画像処理部毎に設けられているので、各処理部毎に並列して画像データの拡張及び画像処理を行うことができる。

[適用例４]
適用例１ないし適用例３のいずれか記載の映像処理装置であって、前記画像処理部は、所定数の画素を対象としてフィルター処理を行なうフィルター処理部を有し、前記画像データ拡張部は、当該画像処理部が処理する領域に隣接する領域を処理する他の画像処理部から、前記フィルター処理に必要な画像データを取得する映像処理装置。

この映像処理装置によれば、画像処理部はフィルター処理部を備えるので、１画面を分割した画像データに対して、各画像処理部においてそれぞれにフィルター処理を行うことができる。つまり、各画像処理部において、分割した画像データに対して並列にフィルター処理が可能である。

[適用例５]
適用例４記載の映像処理装置であって、前記画像処理部は、複数の前記フィルター処理部を、前記フィルター処理が順に行なわれるよう直列的に配列して備え、前記各フィルター処理部による前記フィルター処理後の画像データであって、前記フィルター処理が適用できなかった周辺の領域の画像データを削除した画像データを、前記直列的に配列された次段のフィルター処理部に出力するデータ削除部を備える映像処理装置。

この映像処理装置によれば、直列的に配列したフィルター処理部を備え、各フィルター処理部はデータ削除部を備えているので、次段のフィルター処理部に出力する画像データのデータ容量を削減し、かつ、データ転送速度を向上させることができる。また、各フィルター処理部では、前段のフィルター処理部のデータ削除部でデータ削除後の画像データに対してフィルター処理を行うので、処理速度を高めることができる。

[適用例６]
前記画像データ拡張部は、前記複数のフィルター処理部が行なうフィルター処理に伴って削除される画像データの総和に対応した領域の画像データを、前記他の画像処理部から取得する適用例５記載の映像処理装置。

この映像処理装置によれば、各画像処理部は他の画像処理部から取得した画像データを、フィルター処理に伴って全て削除するので、各画像処理部が処理後に出力する画像データのデータ容量を最小限にすることができる。

[適用例７]
前記画像分割部は、前記映像データを、Ｍ×Ｎ（Ｍ，Ｎは、正の整数であり、少なくとも一方が２以上）の領域に対応した画像データに分割する適用例２記載の映像処理装置。
この映像処理装置によれば１画面分の映像をＭ×Ｎの領域に対応した画像データに分割し画像処理を行うので、様々な分割の態様で画像処理を行うことができる。

[適用例８]
１画面分の映像を分割して所定の画像処理を行なう複数の画像処理部を用いて、前記映像を処理する映像処理方法であって、前記映像のデータを入力し、該入力した映像データを複数の領域毎に分割し、該領域毎の画像データとして出力し、前記複数の画像処理部の各々の前記画像処理に先立って、前記各画像処理部が受け取った前記各領域に対応した画像データから、該領域に隣接する領域を処理する画像処理部が必要とする画像データを取得し、当該隣接する画像処理部に入力して、各画像処理部が処理する領域に対応して受け取った画像データを拡張し、該拡張された画像データに対して、前記複数の画像処理部により、前記所定の画像処理を実施し、前記複数の画像処理部が処理した画像データを受け取って、画面を再構成する映像処理方法。

この映像処理方法によると、入力した映像データを複数の領域毎に分割し、領域毎の画像データとして各画像処理部に出力する際に、画像処理部が必要とする拡張された画像データの態様で画像データを転送する必要がない。

なお、本発明は、種々の態様で実現することが可能である。例えば、映像処理方法および装置、映像処理システム、それらの方法または装置の機能を実現するための集積回路、コンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

第１実施例としての画像処理装置１の構成を示す構成図である。 第５映像処理部３５の内部構成を示すブロック図である。 第５映像処理部３５での動作を模式的に示すブロック図である。 第１，第２，第３フィルター行列について説明した説明図である。 各フィルター処理で必要な画像のブロックを説明した説明図である。 データ交換部３５１が取得する隣接画素データの説明をした説明図である。 第５映像処理部３５が行う画像処理の工程を示したフローチャートである。 第５映像処理部３５が行うフィルター処理について説明したブロック図である。 第５映像処理部３５が行うフィルター処理の工程を説明するフローチャートである。 変形例５における画像処理装置１ａの構成を示す構成図である。

次に、本発明の実施の形態を実施例に基づいて説明する。
Ａ．第１実施例：
（Ａ１）画像処理装置の構成：
本実施例では、液晶テレビに搭載された画像処理装置を例に挙げて説明を行う。図１は、液晶テレビに搭載された、本発明の第１実施例としての画像処理装置１の構成を示す構成図である。画像処理装置１は、入力されたアナログ映像信号をＡ／Ｄ変換によりデジタル信号に変換する映像入力部１０と、デジタル化された画像データＤＩｎを複数の画像ブロックに分割する映像分割部２０と、分割された画像ブロックを並列に処理する９つの映像処理部である第１映像処理部３１〜第９映像処理部３９と、各映像処理部で並列に処理された画像ブロックに対応した画像データＤＯｕｔ１〜９（以下、画像ブロックに対応した画像データを、単に画像ブロックＤＯｕｔ１〜９とも呼ぶ）を１画面の画像データに合成する映像合成部４０と、合成された画像データＤＯｕｔをＤ／Ａ変換した上で、図示しない液晶テレビの映像表示部に出力信号として出力する映像出力部５０と、タイミング指示部６０とを備える。

映像分割部２０は、内部に１フレーム分の映像信号を記憶するメモリーを備え、このメモリーに画像データＤＩｎが入力されると、順次分割して、第１ないし第９映像処理部３１〜３９に出力する。映像信号が１フレーム分入力するのを待つのではなく、分割可能な領域に対応した画像データＤＩｎが入力されたら順次、画像ブロックＤＩｎ１，ＤＩｎ２・・と出力していく。画像データＤＩｎは、水平方向のラスタデータとして入力されるから、例えば３×３に分割する場合には、最初の１／３の映像信号が入力された時点で、画像ブロックＤＩｎ１，ＤＩｎ２，ＤＩｎ３が、第１ないし第３映像処理部３１〜３３に出力される。以下、順次、映像信号の２／３、映像信号の３／３が入力された時点で、それぞれ画像ブロックＤＩｎ４〜ＤＩｎ６、ＤＩｎ７〜ＤＩｎ９が出力され、第４ないし第６映像処理３４〜３６、第７ないし第９映像処理部３７〜３９により受信される。なお、１/３ずつデータが蓄積されるのを待たず、各画像ブロックＤＩｎ１〜９の１ライン分に対応する画像データが映像分割部２０に入力される毎に、その画像データを順次分割して各画像ブロックに対応する映像処理部に出力してもよい。

各映像処理部３１〜３９は、それぞれの映像処理に必要な画像データの蓄積が完了すると、これをタイミング指示部６０に通知する。タイミング指示部６０は、各映像処理部３１〜３９における画像データの蓄積の状況を解析し、第１ないし第９映像処理部３１〜３９のうち、データ交換が可能になった処理部に対してデータ交換の開始を指示する。データ交換の指示とその処理については、後で詳しく説明する。データ交換は、第１ないし第９映像処理部３１〜３９の全てが画像データを受け取った後に行なってもよいが、画像データの受信が順次行なわれていることに鑑み、データ交換可能な映像処理部間でのデータ交換から順次指示するものとしている。なお、画像データＤＩｎを、一旦、フレームメモリーに記憶してから分割して、第１ないし第９映像処理部３１〜３９に出力してもよい。

タイミング指示部６０は、映像合成部４０が映像を合成しかつ合成後の映像信号を映像出力部５０が出力すべきタイミングを測って、第１ないし第９映像処理部３１〜３９に対して、処理後の映像信号を、映像合成部４０に出力するよう指示する。この指示は、映像合成部４０が、１画面分のフレームメモリーなどを有している場合には、映像処理を先に完了した映像処理部から、順次画像ブロックＤＯｕｔを出力させるものとしても良い。第１ないし第９映像処理部３１〜３９は、それぞれ周辺の映像処理部との間で、後述するデータの交換を行なうが、第１映像処理部３１が最も早くデータの交換を終えて、映像処理開始できるので、通常は、最も早く画像データＤＯｕｔ１を出力可能になるからである。

図１に示す９つの映像処理部３１〜３９間に示した縦方向の複数の矢印は、タイミング指示部６０からの指示を受けて映像処理部３１〜３９が、処理に必要な画素データを互いに交換している様子を示している。また、ここでは、１画面の画像データＤＩｎを映像分割部２０で水平方向に３分割、垂直方向に３分割、計９つのブロックに分割し、分割された画像ブロックＤＩｎ１〜９を、９つの映像処理部３１〜３９において並列に処理を行っている。第１映像処理部３１ではＤＩｎ１を処理し、第２映像処理部３２ではＤＩｎ２を処理する、と言ったように各映像処理部の番号と各画像ブロックの番号が対応して、各処理部は各画像ブロックを処理する。９つの映像処理部３１〜３９は、処理対象とする画像ブロックの位置が異なるだけであり、その処理内容は同一である。以下では、主として第５映像処理部３５の構成と処理について説明する。

図２は、第５映像処理部３５の内部構成を示すブロック図である。第５映像処理部３５は、デジタル信号処理プロセッサー（ＤＳＰ）としての機能を有するＣＰＵ７１、動作プログラムなどを記憶したＲＯＭ７３、ワークエリアとして利用されるＲＡＭ７５、分割画面分の画像データ、つまり画像ブロックＤＩｎより若干大きな記憶容量を有するフレームメモリー８０、映像分割部２０から画像データＤＩｎを受け取る入力インタフェース８１、映像合成部４０に画像ブロックＤＯｕｔを出力する出力インタフェース８３、タイミング指示部６０からのタイミング信号を受け取る指示入力インタフェース８５を備える。ＣＰＵ７１は、第５映像処理部３５の全体の動作を統御するが、特にフレームメモリー８０に高速にアクセスして、所定の画像処理（フィルター処理）を行なうことができる専用のプロセッサーである。なお、ＣＰＵ７１の機能は、ＦＰＧＡや映像処理専用ＬＳＩなどを用いて実現してもよい。

次に各映像処理部３１〜３９の処理について具体的に説明する。図３は、第５映像処理部３５での動作を模式的に示すブロック図である。第５映像処理部３５は、機能的には、データ交換部３５１、分割画像入力部３５２、データ記憶部３５３、第１フィルター処理部３５４、第２フィルター処理部３５５、第３フィルター処理部３５６、分割画像出力部３５７を備える。第５映像処理部３５は、第１，第２，第３フィルタ３５４〜３５６によって多段の画像処理を直列に行う。これらの各ブロックの動作は、実際には、ＣＰＵ７１が所定のプログラムを実行することにより実現される。

データ交換部３５１は、第５映像処理部３５以外の各映像処理部が備えるデータ交換部と、各映像処理部での画像処理に必要な画素データ（以下、隣接画素データとも呼ぶ）を互いに交換する。そして、第５映像処理部３５が画像処理に必要とする隣接画素データを他のデータ交換部から取得すると、データ記憶部３５３に出力し、データ記憶部３５３は隣接画素データを記憶する。

分割画像入力部３５２は、映像分割部２０から出力された画像ブロックＤＩｎ５を受信し、受信した画像ブロックＤＩｎ５をデータ記憶部３５３に出力する。データ記憶部３５３は入力された画像ブロックＤＩｎ５を記憶する。データ記憶部３５３は、データ交換部３５１から取得した隣接画素データと、分割画像入力部３５２から取得した画像ブロックＤＩｎ５とから、画像処理用の画素データ（以下、第１処理用ブロックとも呼ぶ）を生成する。データ記憶部３５３は生成した第１処理用ブロックを第１フィルター処理部に出力する。なおデータ交換部３５１、分割画像入力部３５２、データ記憶部３５３が、特許請求の範囲に記載の画像データ拡張部に相当する。

第１フィルター処理部３５４は、データ記憶部３５３から取得した第１処理用ブロックの、第１のフィルター処理の対象となる画素（以下、第１注目画素とも呼ぶ）に対して第１フィルター処理を行う。第１フィルター処理部３５４は第１処理用ブロックに第１フィルター処理を行うと、第１フィルター処理後の画素データの内、第２フィルター処理部３５５でのフィルター処理に必要な画素データ（以下、第２処理用ブロックとも呼ぶ）を、第２フィルター処理部３５５に出力する。

第２フィルター処理部３５５は、第１フィルター処理部３５４から取得した第２処理用ブロックの、第２のフィルター処理の対象となる画素（以下、第２注目画素とも呼ぶ）に対して第２フィルター処理を行う。第２フィルター処理部３５５は第２処理用ブロックに第２フィルター処理を行うと、第２フィルター処理後の画素データの内、第３フィルター処理部３５６でのフィルター処理に必要な画素データ（以下、第３処理用ブロックとも呼ぶ）を、第３フィルター処理部３５６に出力する。

第３フィルター処理部３５６は、第２フィルター処理部３５５から取得した第３処理用ブロックの、第３のフィルター処理の対象となる画素（以下、第３注目画素とも呼ぶ）に対して第３フィルター処理を行う。第３フィルター処理部３５６は第３処理用ブロックに第３フィルター処理を行うと、第３フィルター処理後の画素データの内、画像ブロックＤＯｕｔ５を分割画像出力部３５７に出力する。分割画像出力部３５７は画像ブロックＤｏｕｔ５を取得すると、画像ブロックＤＯｕｔ５を映像合成部４０に出力する。画像ブロックＤＯｕｔ５は、上述したように、映像合成部４０が１画面の画像データに合成するために必要とする９つの画像ブロックＤＯｕｔ１〜９の１つである。

（Ａ２）映像処理：
次に、第５映像処理部３５において行っている映像処理の詳細について説明する。図４は、第１，第２，第３フィルター処理部３５４〜３５６が、各々、第１，第２，第３処理用ブロックに対して行うフィルター処理に用いる第１，第２，第３フィルター行列について説明した説明図である。第１フィルター行列は９画素×９画素のフィルター行列である。第１フィルター行列の中心に位置するハッチングを施した画素がこの第１フィルター行列によって処理を行う第１注目画素である。第１フィルター処理部３５４は、第１注目画素に対してフィルター処理を行うために、第１フィルター行列内の第１注目画素の周辺の画素データ（第１参照画素とも呼ぶ）を参照する。

第２フィルター行列は７画素×７画素のフィルター行列である。第２フィルター行列の中心に位置するハッチングを施した画素が第２フィルター行列によって処理を行う第２注目画素である。第２フィルター処理部３５５は第２注目画素に対してフィルター処理を行うために、第２フィルター行列内の第２注目画素の周辺の画素データ（第２参照画素とも呼ぶ）を参照する。

第３フィルター行列は５画素×５画素のフィルター行列である。第３フィルター行列の中心に位置するハッチングを施した画素が第３フィルター行列によって処理を行う第３注目画素である。第３フィルター処理部３５６は第３注目画素に対してフィルター処理を行うために、第３フィルター行列内の第３注目画素の周辺の画素データ（第３参照画素とも呼ぶ）を参照する。つまり、第１フィルター処理部３５４では第１処理用ブロックに対して第１フィルター行列を用いて処理を行い、第２フィルター処理部３５５では第２処理用ブロックに対して第２フィルター行列を用いて処理を行い、第３フィルター処理部３５６では第３処理用ブロックに対して第３フィルター行列を用いて処理を行っている。

次に、第１，第２，第３処理用ブロックとして、必要な画素について説明する。ここで、各フィルター処理部で行われる処理を、説明のため、逆の順、つまり第３フィルター処理、第２フィルター処理、第１フィルター処理の順で考える。図５は各フィルター処理で必要な画像のブロックを説明した説明図である。図５において、ＤＯｕｔ５は映像合成部４０（図１）に出力する画素データである。ＤＯｕｔ５は、映像合成部４０で他の画像ブロックと合成され映像出力部５０を介して映像として表示されるため、全画素について第３フィルター処理が行われている必要がある。ここで、第３フィルター処理部３５６でＤＯｕｔ５の全画素について第３フィルター処理を行うためには、ＤＯｕｔ５の端部の画素についても、第３フィルター行列の第３注目画素としてフィルター処理を行う必要がある。従って、ＤＯｕｔ５の画素に加えて、第３フィルター行列の第３参照画素分だけ多く参照画素として画素データが必要になる。つまり、第３処理用ブロックは、ＤＯｕｔ５の画素の周辺に２画素ずつ第３参照画素を加えた画素データでなければならない。

第３処理用ブロックは、第２フィルター処理部３５５においてフィルター処理が行われ出力された画素データである。つまり第３処理用ブロックの全画素について第２フィルター処理が行われている必要がある。ここで、第２フィルター処理部３５５で第３処理用ブロックの全画素について第２フィルター処理を行うためには、第３処理用ブロックの端部の画素についても第２フィルター行列の第２注目画素としてフィルター処理を行う必要がある。従って、第３処理用ブロックの画素に加えて、第２フィルター行列の第２参照画素分だけ多く画素データが必要になる。つまり、第２処理用ブロックは、第３処理用ブロックの画素の周辺に３画素ずつ第２参照画素を加えた画素データである。

上記と同様に考えると、第１処理用ブロックは、第２処理用ブロックの画素の周辺に４画素ずつ第１参照画素を加えた画素データでなければならない。また、上述したように、画像ブロックＤＯｕｔ５は、第５映像処理部３５に入力された画像ブロックＤＩｎ５に対してフィルター処理を行った画像なので、ＤＩｎ５とＤＯｕｔ５とは対応関係にある。よって、第１処理用ブロックは、画像ブロックＤＩｎ５の周辺に、第１，第２，第３参照画素、つまり４画素＋３画素＋２画素＝９画素ずつ周辺画素を加えた画素データとして理解することができる。

上述したように、第１処理用ブロックはデータ記憶部３５３（図３）で生成された画素データである。第１処理用ブロックは、データ交換部３５１から取得した隣接画素データと、分割画像入力部３５２から取得した画像ブロックＤＩｎ５から生成されている。画像ブロックＤＩｎ５と隣接画素データとから、第１処理用ブロックを生成するために、データ交換部３５１は隣接画素データとして、画像データＤＩｎ内において画像ブロックＤＩｎ５に隣接して位置していた画像ブロックＤＩｎ１〜４，６〜９から隣接画素データを取得する。

図６は、データ交換部３５１（図３）が周辺の画像ブロックから取得する隣接画素データの説明をした説明図である。図６に示すように、データ交換部３５１は、画像ブロックＤＩｎ５の周辺９画素ずつを、隣接する画像ブロックＤＩｎ１〜４，６〜９から取得する。具体的には、画像ブロックＤＩｎ１〜４，６〜９をそれぞれ取得している各映像処理部のデータ交換部から取得する。その際、タイミング指示部６０が、各映像処理部のデータ交換部に対して、データ交換の指示を送信する。そして他のデータ交換部はそれぞれ、タイミング指示部６０からのデータ交換指示を受信すると、第５映像処理部３５が必要とする隣接画素データをデータ交換部３５１に送信する。また、逆に、他の映像処理部が、ＤＩｎ５の画素データの一部を、処理に必要な隣接画素データとして要求する場合は、タイミング指示部６０が、他の画像処理部が要求する隣接画素データの送信の指示を、第５映像処理部３５のデータ交換部３５１に送信し、データ交換部３５１は、ＤＩｎ５のデータのうち、他の画像処理部のデータ交換部が要求している画素データを隣接画素データとしてデータ送信する。以上、第１，第２，第３処理用ブロックとして必要な画素データ、及びデータ交換部３５１が隣接画素データとして、他の映像処理部のデータ交換部から取得する画素データについて説明した。

次に、第５映像処理部３５に入力されたＤＩｎ５が各フィルター処理部で処理が行われ画像ブロックＤＯｕｔ５として分割画像出力部３５７から出力されるまでの処理を順を追って説明する。図７は第５映像処理部３５のＣＰＵ７１が行う画像処理の工程を示したフローチャートである。この処理は画像処理装置１への映像データの入力とともに開始される。この処理の実行を開始すると、第５映像処理部３５に映像分割部２０から画像ブロックＤＩｎ５が入力される（ステップＳ１０５）。ＣＰＵ７１は、画像ブロックＤＩｎ５の入力が完了すると（ステップＳ１１０）、タイミング指示部６０に画像ブロックＤＩｎ５の入力が完了したことを示す「完了」信号を出力する（ステップＳ１１５）。ＣＰＵ７１は「完了」信号をタイミング指示部６０に送信すると、タイミング指示部６０からの「データ交換」の指示を受信できる状態にする（ステップＳ１２０）。タイミング指示部６０は、第５映像処理部３５からの「完了」信号の受信に加え、他の映像処理部から「完了」信号を受信すると、第５映像処理部３５がデータ交換可能な映像処理部を特定し、その映像処理部との間でデータ交換を行うよう第５映像処理部３５に対して「データ交換」の指示を送信する。第５映像処理部３５は、「データ交換」の指示を受けると（ステップＳ１２５）、データ交換部３５１が他の映像処理部のデータ交換部と、図６を用いて上述したようにしてデータ交換（隣接画素データの交換）を行う（ステップＳ１３０）。第５映像処理部３５はデータ交換終了後、データ交換によって取得した隣接データと、画像ブロックＤＩｎ５とに基づいてフィルター処理を行う（ステップＳ１３５）。第５映像処理部３５はフィルター処理によって生成した画像ブロックＤＯｕｔ５を映像合成部４０に出力する。このようにして第５映像処理部３５はフィルター処理を終了する。

図８は、第５映像処理部３５が行う映像処理におけるフィルター処理について説明したブロック図である。先述したように、データ記憶部３５３は、分割画像入力部３５２から画像ブロックＤＩｎ５を、データ交換部３５１から隣接画素データを取得し第１処理用ブロックを生成し、第１フィルター処理部３５４に出力する。第１フィルター処理部３５４では、第１処理用ブロックに対して、第１フィルター行列を用いてフィルター処理を行う。この時、先述したように、第１処理用ブロック内において第１フィルター行列が第１注目画素として処理する画素データの領域は、後で第２処理用ブロックとして用いられる画素の領域である。実際の、フィルター処理は、第１フィルター行列によって第１注目画素に位置する画素データの特性を検出し、画素の補間、画素の間引き、画素値の変更等を行うが、ここでは説明のため、画素の補間、間引き、画素値に変更等については省略して説明する。第１フィルター処理部３５４において、第１処理用ブロックに対してフィルター処理が終了すると、処理後の画素データの内、第２フィルター処理部が第２処理用ブロックとして使用する画素の領域以外の画素データを、第１無効画素として、第１フィルター処理後のデータから除去する。つまり、第２処理用ブロックが生成されることになる。この無効画素データの除去が、特許請求の範囲に記載のデータ削除部の機能に相当する。

第１フィルター処理部３５４は第２処理用ブロックを生成すると、第２フィルター処理部３５５に出力する。第２フィルター処理部３５５は第２処理用ブロックを取得すると、第２処理用ブロックに対して、第２フィルター行列を用いてフィルター処理を行う。この時、第１フィルター処理部での処理と同様に、第２処理用ブロック内において第２フィルター行列が第２注目画素として処理する画素データの領域は、後で第３処理用ブロックとして用いられる画素の領域である。第２フィルター処理部３５５において、第２処理用ブロックに対してフィルター処理が終了すると、処理後の画素データの内、第３フィルター処理部が第３処理用ブロックとして使用する画素の領域以外の画素データを、第２無効画素として、第２フィルター処理後のデータから除去する。つまり、第３処理用ブロックが生成される。

第２フィルター処理部３５５は第３処理用ブロックを生成すると、第３フィルター処理部３５６に出力する。第３フィルター処理部３５６は第３処理用ブロックを取得すると、第１，第２フィルター処理部と同様にフィルター処理を行う。そして第３フィルター処理後の画素データの内、ＤＯｕｔ５として分割画像出力部３５７に出力する画素の領域以外の画素データを、第３無効画素として、第３フィルター処理後のデータから除去し、ＤＯｕｔ５を生成する。分割画像出力部３５７はＤＯｕｔ５を受信すると、映像合成部４０に出力する。以上、上記のようにして、第５映像処理部３５による映像処理は終了する。なお映像合成部４０が、特許請求の範囲に記載の画像合成部に相当する。

図９は、上述した第５映像処理部３５が行うフィルター処理の工程を説明するフローチャートである。なお、フローチャートは、フィルター処理部の数がＮ個であるＮ段フィルタを備えるとして一般化して記載した。上述したように、第５映像処理部３５では多段のフィルター処理を、１段目のフィルター処理から順に行う（ステップＳ２０５，ステップＳ２１０）。フィルター処理部では取得した処理用ブロックについて処理を行った後に、次段のフィルター処理部において必要のない無効画素データを除去する（ステップＳ２１５）。そしてＮ段のフィルター処理が全て終了するまで、上記の処理を繰り返し行う（ステップＳ２２５）。Ｎ段全てのフィルター処理が完了すると（ステップＳ２２０）、第５映像処理部３５はフィルター処理を終了する。

画像処理装置１は、第５映像処理部３５で説明した処理と同様の処理を、各映像処理部３１〜３９で並列に処理している。そして、各映像処理部３１〜３９から出力されたＤＯｕｔ１〜９は、映像合成部４０で１画面の映像として合成され、映像出力部５０を介して液晶テレビの画面に表示される。なお、１画面を構成する画像データＤＩｎの端部の画素に対するフィルター処理においては、フィルター行列が参照する参照画素が無いので、画像データＤＩｎの端部の周縁にダミーの画素を備え、参照画素として用いることによってフィルター処理を行う。

以上説明したように、第１実施例における画像処理装置１は、１画面を構成する画像データＤＩｎを９つの画像ブロックＤＩｎ１〜９に分割し、各映像処理部において並列に多段のフィルター処理（第１，第２，第３フィルター処理）を行う。その際、フィルター処理に必要な隣接画素データを、各映像処理部のデータ交換部で互いにやり取りを行う。よって、多段のフィルター処理を正しく行うために必要な画素を取得し、フィルター処理を行うので、精度の高いフィルター処理を行うことができる。また、多段のフィルター処理において、１つのフィルター処理後、後のフィルター処理に必要の無い画素データは無効画素として除去する。よって各処理部間の画素データの転送量の軽減、および転送時間の短縮をすることができる。また、各フィルター処理部において、余分な画素データに対してフィルター処理を行うことがないので処理速度を高めることができる。

Ｂ．変形例：
（Ｂ１）変形例１：
第１実施例では、画像データＤＩｎを９つに分割したが、それに限ることなく、画像データＤＩｎを１つ以上で画像処理装置が処理可能な範囲で任意の数に分割するとしてもよい。具体的には、４分割、９分割、１６分割等のｎ²分割（ｎは２以上の整数）や、２分割、４分割、６分割等の偶数個分割、または、３分割、５分割、７分割等の奇数個分割等としてもよい。さらに、Ｍ×Ｎ分割（Ｍ，Ｎは正の整数であり、少なくとも１方が２以上）に画像データＤＩｎを分割するとしてもよい。例えば奇数個分割である５分割にする場合には、画像データＤＩｎを、水平方向もしくは垂直方向のどちらか１つの方向に５つに分割することができる。また映像信号が水平方向に入力される場合には、水平方向に分割した方が、各処理部の動作及びデータ交換のタイミングを早めることができる。このようにしても、上記第１実施例と同様の効果を得ることができる。

（Ｂ２）変形例２：
第１実施例では、各映像処理部は、３つのフィルター処理部（第１，第２，第３フィルター処理部）を備えていたが、それに限ることなく、各映像処理部はフィルター処理部を１つ以上で画像処理装置が処理可能な範囲で、任意の数の多段のフィルター処理部を備えるようにしてもよい。具体的には、画像処理装置の各映像処理部はフィルター処理部を２つ、５つ、８つ等備えるとしてもよい。

（Ｂ３）変形例３：
第１実施例では、各フィルター処理部が用いるフィルター行列のサイズは、５画素×５画素、７画素×７画素、９画素×９画素としたが、それに限らず、任意のサイズのフィルター行列を用いてフィルター処理を行うとしてもよい。

（Ｂ４）変形例４：
第１実施例では、第５映像処理部３５を代表例として説明したように、第１ないし第９映像処理部３１〜３９のそれぞれが、データ交換部を備え、隣接する領域の画像を扱う映像処理部との間で隣接画素データの交換を行うものとした。これに対して、第４の変形例では、各映像処理部３１〜３９が、それぞれ隣接画素データを、映像処理部３１〜３９の外部に設けられた処理部（ここでは、第１実施例のタイミング指示部６０）に出力し、タイミング処理部６０から、各映像処理部３１〜３９に分配するものとしている。こうした構成を採用すれば、隣接画素データの映像処理部３１〜３９間での交換処理を一括化でき、各映像処理部３１〜３９の処理内容を簡略化することができる。また、隣接する映像処理部３１〜３９間で交換されるデータには、隅部のデータについては重複していることから、全体のデータ交換に供されるデータ量を低減することができる。

（Ｂ５）変形例５：
図１０は、変形例５における画像処理装置１ａの構成を説明する説明図である。第１実施例では、映像入力部１０に１フレーム分の映像信号が入力され、映像分割部２０に送信され、映像分割部２０において、画像ブロックＤＩｎ１〜９に分割される構成を採用した。これに対して変形例５では、画像処理装置１ａと接続された映像データ記憶部９０に、１フレーム分の映像データが、分割されたデータ形式である画像ブロックＤＩｎ１〜９の形式で記憶されている。分割データ記憶部９１〜９９は、画像ブロックＤＩｎ１〜９を各々記憶する映像データ記憶部９０内の各記憶領域を示している。画像処理装置１ａは、分割データ記憶部９１〜９９に記憶した画像ブロックＤＩｎ１〜９を、映像入力部１０ａ−１ないし映像入力部１０ａ−９を介して第１映像処理部３１ａないし第９映像処理部３９ａに入力する。またこの時、画像ブロックＤＩｎ１〜９の第１映像処理部３１ａないし第９映像処理部３９ａへの入力のタイミングを同期する同期回路を設けるとしてもよい。そして、第１映像処理部３１ａないし第９映像処理部３９ａへの入力以降の画像ブロックＤＩｎ１〜９の処理、つまり各映像処理部、映像合成部、映像出力部における各処理は、第１実施例と同様の処理である。このように変形例５では、元々分割された画像ブロックＤＩｎ１〜９に対して各映像処理部で映像処理を行うので、１フレーム分の映像データを分割する処理を省略することができ、かつ、第１実施例と同様の効果を得ることができる。なお、映像データ記憶部９０としては、ＨＤＤ（ハードディスク）、ＳＤＤ（シリコンディスクドライブ）、ＣＤ、ＤＶＤ、ブルーレイディスク等の映像データを記憶可能な記憶装置及び記憶媒体を用いることができる。

１，１ａ…画像処理装置
１０，１０ａ−１〜９…映像入力部
２０…映像分割部
３１，３１ａ…第１映像処理部
３２，３２ａ…第２映像処理部
３５，３５ａ…第５映像処理部
４０，４０ａ…映像合成部
５０，５０ａ…映像出力部
６０，６０ａ…タイミング指示部
７１…ＣＰＵ
８０…フレームメモリー
８１…入力インタフェース
８３…出力インタフェース
８５…指示入力インタフェース
９０…映像データ記憶部
９１〜９９…分割データ記憶部
３５１…データ交換部
３５２…分割画像入力部
３５３…データ記憶部
３５４…第１フィルター処理部
３５５…第２フィルター処理部
３５６…第３フィルター処理部
３５７…分割画像出力部
ＤＩｎ…画像データ
ＤＩｎ１〜９…画像ブロック
ＤＯｕｔ…画像データ
ＤＯｕｔ１〜９…画像ブロック

Claims (6)

1. １画面分の映像を表す映像データを分割して処理する映像処理装置であって、
   前記映像データを入力する入力手段と、
   前記映像データを分割した複数の領域のそれぞれに対応して設けられ、前記領域に対応し縦横に各々２以上の画素が配列した画像データを受け取り、所定の画像処理を行なう複数の画像処理部と、
   前記各画像処理部の前記画像処理に先立って、前記各画像処理部が受け取った前記各領域に対応した画像データから、該領域に隣接する領域を処理する画像処理部が必要とする画像データを取得し、当該隣接する画像処理部に入力して、各画像処理部が受け取った前記領域に対応した画像データを拡張し、前記各画像処理部による前記所定の画像処理の対象とする画像データ拡張部と、
   前記複数の画像処理部が処理した画像データを受け取って、画面を再構成する画像合成部と
   を備え、
   前記画像処理部は、所定数の画素を対象としてフィルター処理を行なう複数のフィルター処理部を、前記フィルター処理が順に行なわれるよう直列的に配列して備えるとともに、前記各フィルター処理部による前記フィルター処理後の画像データであって、前記フィルター処理が適用できなかった周辺の領域の画像データを削除した画像データを、前記直列的に配列された次段のフィルター処理部に出力するデータ削除部を備え、
   前記画像データ拡張部は、当該画像処理部が処理する領域に隣接する領域を処理する他の画像処理部から、前記フィルター処理に必要な画像を取得する
   映像処理装置。
2. 請求項１記載の映像処理装置であって、更に、
   前記入力した映像データを複数の領域毎に分割し、前記領域毎の画像データとして出力する画像分割部を備え、
   前記画像処理部は、前記分割された複数の領域のそれぞれに対応して設けられ、前記画像分割部から、前記領域に対応した画像データを受け取り、所定の画像処理を行う
   映像処理装置。
3. 前記画像データ拡張部は、前記画像処理部毎に設けられた請求項１または請求項２記載の映像処理装置。
4. 前記画像データ拡張部は、前記複数のフィルター処理部が行なうフィルター処理に伴って削除される画像データの総和に対応した領域の画像データを、前記他の画像処理部から取得する請求項１から３のいずれか一項に記載の映像処理装置。
5. 前記画像分割部は、前記映像データを、Ｍ×Ｎ（Ｍ，Ｎは、正の整数であり、少なくとも一方が２以上）の領域に対応した画像データに分割する請求項２記載の映像処理装置。
6. １画面分の映像を分割して所定の画像処理を行なう複数の画像処理部を用いて、前記映像を処理する映像処理方法であって、
   前記画像処理部は、所定数の画素を対象としてフィルター処理を行なう複数のフィルター処理部を、前記フィルター処理が順に行なわれるよう直列的に配列して備え、
   前記映像のデータを入力し、
   該入力した映像データを複数の領域毎に分割し、縦横に各々２以上の画素が配列した前記領域毎の画像データとして出力し、
   前記複数の画像処理部の各々の前記画像処理に先立って、前記各画像処理部が受け取った前記各領域に対応した画像データから、該領域に隣接する領域を処理する画像処理部の前記フィルター処理部が前記フィルター処理に必要とする画像データを取得し、当該隣接する画像処理部に入力して、各画像処理部が処理する領域に対応して受け取った画像データを拡張し、
   該拡張された画像データに対して、前記各画像処理部が備える前記直列的に配置された複数のフィルター処理部によるフィルター処理を行うとともに、前記各フィルター処理部による前記フィルター処理後の画像データであって、前記フィルター処理が適用できなかった周辺の領域の画像データを削除した画像データを、前記直列的に配列された次段のフィルター処理部に出力する画像処理を前記画像処理部によって行い、
   前記複数の画像処理部が処理した画像データを受け取って、画面を再構成する
   映像処理方法。

Images