JP2013161471A - 画像処理装置 - Google Patents

Abstract

【課題】複数の画像処理の機能を再構成可能回路で実現するにあたり、画像内の画像領域ごとにその画像領域に対応した再構成処理を選択できるようにする。
【解決手段】画像分割部１０４は、画像データを複数の画像領域に分割する。画像解析部１０６は、画像領域ごとに、画像処理Ａに対応した複数の画素データと画像処理Ｂに対応した複数の画素データの混在状態を解析して解析結果を得る。処理時間予測部１０８は、画像領域ごとに、解析結果に基づいて全面再構成による処理時間と部分再構成による処理時間を予測する。再構成判定部１１０は、画像領域ごとに、全面再構成または部分再構成の処理時間の小さい方をその画像領域に対応した再構成処理とする判定結果を得る。画像処理Ａと画像処理Ｂの実行時においては、再構成判定部１１０の判定結果に応じて、画像領域ごとに全面再構成または部分再構成が選択される。
【選択図】図２

Description

本発明は画像処理装置に関する。

画像に対して例えば色変換処理やフィルタ処理などの画像処理を施すにあたり、画像処理の機能を再構成可能回路で実現する技術が知られている。

例えば、内部の論理回路構成を再構成（変更）することが可能なＰＬＤ(Programmable Logic Device)やＦＰＧＡ(Field Programmable Gate Array)などの再構成可能回路（プログラマブル論理回路とも呼ばれる）が利用される。

ＰＬＤやＦＰＧＡは、回路起動時に内部の論理回路構成を設定するものが一般的であるが、回路が動作中に論理回路構成を変更可能なものも開発されている。また、内部の論理回路構成を動的に再構成することが可能な動的再構成可能プロセッサ（ＤＲＰ：Dynamic Reconfigurable Processor）の利用も進んでいる。

再構成可能回路を利用することにより、例えば、複数の画像処理に対応した画像処理部を切り替えるように再構成可能回路内に構成（再構成処理）して、その再構成可能回路で複数の画像処理を実現することができる。

本発明は、複数の画像処理の機能を再構成可能回路で実現するにあたり、画像内の画像領域ごとにその画像領域に対応した再構成処理を選択できるようにすることを目的とする。

請求項１に係る発明は、複数の画素データで構成された画像を処理する画像処理装置であって、再構成可能回路内に複数の画像処理部を構成する制御部と、複数の画像領域に分割された前記画像の画像領域ごとに、その画像領域内における複数の画素データの配列状態を解析する解析部と、画像領域ごとに、前記解析の結果に基づいて、全面的再構成処理の画像処理性能と部分的再構成処理の画像処理性能を予測する予測部と、画像領域ごとに、前記画像処理性能の比較に基づいて選択した全面的再構成処理または部分的再構成処理をその画像領域に対応した再構成処理とする判定結果を得る判定部とを有し、前記制御部は、前記画像に対する画像処理において、画像領域ごとに前記判定結果に応じて、前記再構成可能回路内で少なくとも一つの画像処理部を維持しつつ、維持した画像処理部により各画像領域内の全域に亘って複数の画素データを画像処理するように、少なくとも一つの画像処理部を構成する全面的再構成処理、または、前記再構成可能回路内で複数の画像処理部を切り替えながら、各画素データに応じた各画像処理部により各画像領域内の複数の画素データを画像処理するように、複数の画像処理部を構成する部分的再構成処理、を選択して実行する、ことを特徴とする画像処理装置である。

請求項２に係る発明は、請求項１に記載の画像処理装置において、前記画像を構成する各画素データは、その画素データに対応した各画像処理部による画像処理を必要とし、前記解析部は、画像領域ごとに、各画素データと各画像処理部の対応関係に基づいて、複数の画像処理部に対応した複数の画素データの混在状態を解析し、前記予測部は、画像領域ごとに、前記解析の結果に基づいて、全面的再構成処理による処理時間と部分的再構成処理による処理時間を予測し、前記判定部は、画像領域ごとに、全面的再構成処理または部分的再構成処理の処理時間の小さい方をその画像領域に対応した再構成処理とする判定結果を得て、前記制御部は、前記全面的再構成処理において、各画像領域内の全域を一つの画像処理部で画像処理してから、画像処理前の当該画像領域内の全域を他の画像処理部で画像処理するように、複数の画像処理部を構成し、前記部分的再構成処理において、各画像領域内の次々に画像処理される各画素データをその画素データに対応した各画像処理部で画像処理するように、複数の画像処理部を構成する、ことを特徴とする画像処理装置である。

請求項３に係る発明は、請求項１または２に記載の画像処理装置において、前記画像を構成する各画素データは、通常消費電力の画像処理部、または、通常消費電力以下である低消費電力の画像処理部により画像処理され、前記解析部は、画像領域ごとに、低消費電力の画像処理部で処理することができる複数の画素データと通常消費電力の画像処理部で処理する必要がある複数の画素データの混在状態を解析し、前記予測部は、画像領域ごとに、前記解析の結果に基づいて、全面的再構成処理による消費電力と部分的再構成処理による消費電力を予測し、前記判定部は、画像領域ごとに、全面的再構成処理または部分的再構成処理の消費電力の小さい方をその画像領域に対応した再構成処理とする判定結果を得て、前記制御部は、前記全面的再構成処理において、前記再構成可能回路内で通常消費電力の画像処理部を維持しつつ、各画像領域内の全域に亘って複数の画素データを画像処理するように、通常消費電力の画像処理部を構成し、前記部分的再構成処理において、各画像領域内の次々に画像処理される各画素データをその画素データに応じて通常消費電力の画像処理部または低消費電力の画像処理部で画像処理するように、それらの画像処理部を切り替えて構成する、ことを特徴とする画像処理装置である。

請求項４に係る発明は、請求項１から３のいずれか１項に記載の画像処理装置において、前記複数の画像処理部による前記画像に対する画像処理に先立って、前記再構成可能回路内に、先行画像処理部と前記解析部と前記予測部と前記判定部が構成され、前記先行画像処理部による前記画像に対する画像処理と並行して、前記解析部が前記解析を実行し、前記予測部が前記予測を実行し、前記判定部が前記判定結果を得る、ことを特徴とする画像処理装置である。

請求項１に係る発明によれば、複数の画像処理の機能を再構成可能回路で実現するにあたり、画像内の画像領域ごとにその画像領域に対応した再構成処理を選択できる。

請求項２に係る発明によれば、予測される処理時間に基づいて、画像内の画像領域ごとにその画像領域に対応した再構成処理を選択できる。

請求項３に係る発明によれば、予測される消費電力に基づいて、画像内の画像領域ごとにその画像領域に対応した再構成処理を選択できる。

請求項４に係る発明によれば、再構成可能回路を利用して実行される画像処理と並行して、その再構成可能回路により、各画像領域に対応した再構成処理の判定結果を得ることができる。

本発明の実施において好適な画像処理装置を説明するための図である。 再構成可能回路内に構成される回路の具体例１を説明するための図である。 部分再構成による画像処理の切り替えを説明するための図である。 再構成の判定処理を説明するための図である。 再構成可能回路内に構成される回路の具体例２を説明するための図である。 通常消費電力と低消費電力の切り替えを説明するための図である。 通常消費電力と低消費電力の画像処理における再構成の判定処理を説明するための図である。

図１は、本発明の実施において好適な画像処理装置を説明するための図であり、図１には、その画像処理装置（本画像処理装置）が備える画像処理プロセッサ１００が示されている。

本画像処理装置によって処理される画像データは、例えばコンピュータなどの外部の装置から本画像処理装置に提供され、図示しないデータバス等を介して画像処理プロセッサ１００に送られる。また、本画像処理装置が図示しない画像読み取り機能（スキャン機能）を備えて、その機能を介して紙などの媒体から得られた画像データを画像処理プロセッサ１００が処理してもよい。さらに、本画像処理装置が例えば図示しない印刷機能（プリント機能）を備えて、処理後の画像データに対応した画像を紙などに印刷してもよいし、処理後の画像データを外部の装置に提供するようにしてもよい。

画像処理プロセッサ１００は、例えばＤＲＰ（Dynamic Reconfigurable Processor：動的再構成可能プロセッサ）などにより実現することができ、入力された画像データに対して画像処理を施し、画像処理後の画像データを出力する。もちろん、画像処理プロセッサ１００が既存の他のプロセッサまたは今後開発されるであろう他のプロセッサなどにより実現されてもよい。

図１に例示する画像処理プロセッサ１００は、再構成可能回路１０と制御部２０と再構成データ記憶部３０を備えている。再構成可能回路１０は、その内部の論理回路構成を動的に、すなわち当該プロセッサが動作中に再構成できる回路であり、例えば多数の回路要素（ＰＥ：プロセッサエレメント）からなるアレイを内部に備えている。そして、それら回路要素間の接続構成が再構成データ（コンフィギュレーションデータ）に従って、比較的高速に組み替え可能となっている。

再構成可能回路１０内の回路は、制御部２０の制御により、再構成データ記憶部３０に記憶された再構成データに基づいて再構成（リコンフィギュレーション）される。図１には、再構成データ記憶部３０に記憶される再構成データの例として、画像処理Ａ回路と画像処理Ｂ回路を全面再構成処理で実現するための再構成データ１、画像処理Ａ回路と画像処理Ｂ回路を部分再構成処理で実現するための再構成データ２、全面再構成または部分再構成のいずれが適切かを判定する回路を実現するための再構成データ３、先行画像処理回路を実現するための再構成データ４が図示されている。もちろん、これら以外の再構成データが再構成データ記憶部３０に記憶されてもよい。

本画像処理装置は、画像処理Ａと画像処理Ｂの回路を切り替えるように再構成可能回路１０内に構成する。これにより、例えば互いに異なる画像処理を施される複数の画素データを混在させた画像データを処理することができる。具体的には、画像データを構成する複数の画素データに対して色変換処理を施す場合に、各画素データの明度に応じて、互いに異なる色変換処理（画像処理Ａと画像処理Ｂ）を使い分けて処理することなどが可能になる。なお、画像処理Ａと画像処理Ｂが互いに同じ内容の画像処理を行うものの、画像処理Ａは同じ画素データが続く場合に比較的高速に処理でき、画像処理Ｂは画素データが頻繁に変化する場合に比較的高速に処理できるなど、画像処理Ａと画像処理Ｂが処理能力の面で互いに異なっていてもよい。また、画像処理Ａと画像処理Ｂにさらに画像処理Ｃなどを加え、３つ以上の複数の画像処理の回路を切り替えるような構成としてもよい。

図２は、再構成可能回路１０内に構成される回路の具体例１を説明するための図であり、本画像処理装置が画像処理Ａと画像処理Ｂを画像データに対して施すにあたって、再構成可能回路１０内に構成される回路を示している。

図２において、回路構成１は、画像処理Ａと画像処理Ｂの実行前における再構成可能回路１０内の回路構成を示しており、回路構成２と回路構成３は、画像処理Ａと画像処理Ｂの実行時における再構成可能回路１０内の回路構成を示している。画像処理Ａと画像処理Ｂの実行時においては、画像処理Ａと画像処理Ｂの回路を切り替えるにあたり、全面再構成（回路構成２）または部分再構成（回路構成３）が選択される。全面再構成または部分再構成の選択は、画像処理Ａと画像処理Ｂの処理対象となる画像データ内の画素データの状態に基づいて行われる。そのため、画像処理Ａと画像処理Ｂに先立って、回路構成１において画像データ内の状態が解析され、全面再構成または部分再構成のどちらを選択すべきかが判定される。

具体的には、回路構成１として、再構成可能回路１０内に、データ入力部１０２、画像分割部１０４、画像解析部１０６、処理時間予測部１０８、再構成判定部１１０、データ出力部１１２が構成され、画像処理Ａと画像処理Ｂの処理対象となる画像データ内の状態が解析されて再構成の判定が行われる。データ入力部１０２からデータ出力部１１２までのこれらの回路（再構成判定に係る回路）は、図１の再構成データ記憶部３０に記憶された再構成データ３に基づいて構成される。これらの再構成判定に係る回路による処理については、後に図４を利用して詳述する。

また、再構成判定に係る回路における処理は、画像処理Ａと画像処理Ｂに先立って実行される。その実行においては、何らかの他の処理、例えば画像処理Ａ，Ｂとは異なる先行画像処理と並行して行われることが望ましい。

そこで、図２に示すように、回路構成１として、再構成可能回路１０内に、データ入力部１２ｐ、先行画像処理回路１４ｐ、データ出力部１６ｐも構成される。先行画像処理に係るこれらの回路は、図１の再構成データ記憶部３０に記憶された再構成データ４に基づいて構成される。そして、処理対象となる画像データがデータ入力部１２ｐに入力されると、その画像データ内の複数の画素データが次々に先行画像処理回路１４ｐに送られて先行画像処理を施され、処理後の複数の画素データがデータ出力部１６ｐに送られる。こうして、画像データ内の全ての画素データが処理されてデータ出力部１６ｐに送られるとその画像データに関する先行画像処理が終了する。

回路構成１による再構成判定に係る処理と先行画像処理が終了すると、その再構成判定の結果に応じて、再構成可能回路１０内が回路構成２または回路構成３に再構成され、画像処理Ａと画像処理Ｂが実行される。画像処理Ａと画像処理Ｂにおいては、複数の画像領域に分割された画像データについて、画像領域ごとに回路構成２または回路構成３が選択される。

回路構成２は、全面再構成の場合の再構成可能回路１０内の回路構成を示しており、図１の再構成データ記憶部３０に記憶された再構成データ１に基づいて構成される。

全面再構成においては、まず、再構成可能回路１０内に画像処理Ａに係る回路構成であるデータ入力部１２ａ、画像処理Ａ回路１４ａ、データ出力部１６ａが構成される。そして、処理対象となる画像領域の画像データがデータ入力部１２ａに入力されると、その画像データ内の複数の画素データが次々に画像処理Ａ回路１４ａに送られて画像処理Ａを施され、処理後の複数の画素データがデータ出力部１６ａに送られる。こうして、画像領域内の全ての画素データが処理されてデータ出力部１６ａに送られるとその画像領域に関する画像処理Ａが終了する。

全面再構成においては、ある画像領域に関する画像処理Ａが終了してから、画像処理Ａが施される前のその画像領域について、さらに画像処理Ｂが施される。そこで、画像処理Ａに係る回路構成に換えて、再構成可能回路１０内に画像処理Ｂに係る回路構成であるデータ入力部１２ｂ、画像処理Ｂ回路１４ｂ、データ出力部１６ｂが構成される。そして、処理対象となる画像領域の画像データがデータ入力部１２ｂに入力されると、その画像データ内の複数の画素データが次々に画像処理Ｂ回路１４ｂに送られて画像処理Ｂを施されて、処理後の複数の画素データがデータ出力部１６ｂに送られる。こうして、画像領域内の全ての画素データが処理されてデータ出力部１６ｂに送られるとその画像領域に関する画像処理Ｂが終了する。

このように、全面再構成においては、ある画像領域の全域に亘って画像処理Ａを施してから、画像処理Ａを施される前のその画像領域の全域に亘って画像処理Ｂを施すように、再構成可能回路１０内が再構成される。

これに対し、回路構成３は、部分再構成の場合の再構成可能回路１０内の回路構成を示しており、図１の再構成データ記憶部３０に記憶された再構成データ２に基づいて構成される。

部分再構成においては、再構成可能回路１０内に、データ入力部１２、データ判定部１３、データ出力部１６が構成され、さらに、処理対象となる画素データに応じて、画像処理Ａ回路１４ａと画像処理Ｂ回路１４ｂが選択的に切り換わるように構成される。

つまり、処理対象となる画像領域の画像データがデータ入力部１２に入力されると、その画像データ内の複数の画素データが次々にデータ判定部１３に送られる。データ判定部１３は、画素データごとにその画素データが画像処理Ａに対応するのか画像処理Ｂに対応するのかについて判定する。例えば、各画素データの明度に応じて、互いに異なる色変換処理（画像処理Ａと画像処理Ｂ）のいずれを適用するのかが判定される。

そして、ある画素データが画像処理Ａに対応すると判定された場合には、再構成可能回路１０内に画像処理Ａ回路１４ａが形成されて、画像処理Ａ回路１４ａにおいてその画素データが処理される。一方、ある画素データが画像処理Ｂに対応すると判定された場合には、再構成可能回路１０内に画像処理Ａ回路１４ａに換えて画像処理Ｂ回路１４ｂが形成され、画像処理Ｂ回路１４ｂにおいてその画素データが処理される。その後も、画素データに応じて、画像処理Ａ回路１４ａと画像処理Ｂ回路１４ｂが切り替えられる。画像処理が色変換処理の場合には、例えば色変換用のルックアップテーブルのみが切り替えられてもよい。

こうして、画像領域内の全ての画素データが処理されてデータ出力部１６に送られるとその画像領域に関する画像処理Ａと画像処理Ｂが終了する。

このように、部分再構成においては、ある画像領域内において次々に画像処理される画素データごとに、その画素データに対応した画像処理Ａまたは画像処理Ｂを施すように、再構成可能回路１０内が再構成される。

図３は、部分再構成による画像処理の切り替えを説明するための図である。図３には、回路構成３（図２）において画像処理Ａ回路１４ａから画像処理Ｂ回路１４ｂに切り替えられる際の具体例が示されている。

まず、画像処理が開始されると（Ｓ１）、処理対象となる画像領域の画像データがデータ入力部１２に入力される。図３において、内部に数字を示した破線の長方形が画素データを示しており、この例では、画像処理Ａに対応した画素データ１〜４に続いて画像処理Ｂに対応した画素データ５〜８がデータ入力部１２に入力されている。

データ入力部１２に入力された複数の画素データは、例えば１クロックごとに次々にデータ判定部１３に送られる。データ判定部１３は、画素データごとにその画素データが画像処理Ａに対応するのか画像処理Ｂに対応するのかについて判定する。

図３の例では、画像処理の開始時に画像処理Ａ回路１４ａが構成されており、また、画素データ１〜４までは画像処理Ａに対応しているため、データ判定部１３における判定の後に、画像処理Ａ回路１４ａにおいて画素データ１〜４が次々に画像処理される。

そして、画素データ４に続いて画素データ５がデータ判定部１３に入力されると、画素データ５は画像処理Ｂに対応するため、画像処理Ａから画像処理Ｂへの切り替えが必要であると判定される（Ｓ２）。但し、この判定の時点においては、画像処理Ａ回路１４ａ内で画素データ１〜４が画像処理されているため、画像処理Ｂ回路１４ｂに切り替えることができない。

そこで、切り替えが必要であると判定された画素データ５の直前の画素データ４が画像処理Ａ回路１４ａ内で画像処理されてデータ出力部１６に出力（退避）されるのを待ち（Ｓ３）、処理後の画素データ４がデータ出力部１６に出力されてから、画像処理Ａ回路１４ａが画像処理Ｂ回路１４ｂに部分再構成される（Ｓ４）。

このように、部分再構成による画像処理の切り替えにおいては、切り替えごとに、データ退避（Ｓ３）のための時間（例えば１００クロック程度）と、部分再構成（Ｓ４）のための時間（例えば１９クロック程度）が必要になる。したがって、部分再構成は、切り替え回数が少ない場合に処理時間の面で好ましく、一方、切り替え回数が多くなると処理時間の面で好ましくない。その切り替え回数は、画像データ内の画素データの状態に依存している。

そこで、本画像処理装置では、図２を利用して概説したように、画像処理Ａと画像処理Ｂに先立って、回路構成１において画像データ内の状態が解析され、全面再構成または部分再構成のどちらを選択すべきかが判定される。

図４は、再構成の判定処理を説明するための図である。再構成の判定処理は、図２の回路構成１において再構成可能回路１０内に構成される、データ入力部１０２からデータ出力部１１２までの再構成判定に係る回路により実行される。これら図２の再構成判定に係る回路により実行される処理について、図４を利用して詳述する。なお、図２に示した構成（部分）については、以下の説明においても図２の符号を利用する。

まず、判定の対象となる画像データがデータ入力部１０２に入力される。判定の対象となる画像データは、画像処理Ａと画像処理Ｂを施される画像データである。そのため、例えば、データ出力部１６ｐから得られる先行画像処理を施された画像データがデータ入力部１０２に入力される。なお、再構成判定の結果に先行画像処理が影響を及ぼさないのであれば、例えば各画素データの明度に応じて色変換処理（画像処理Ａと画像処理Ｂ）を使い分けて処理する場合に先行画像処理が各画素データの明度を変更しない処理であれば、データ入力部１２ｐに入力される先行画像処理前の画像データがデータ入力部１０２に入力されてもよい。データ入力部１０２に入力された画像データは、後段の各部において以下のように処理される。

＜１＞画像分割
データ入力部１０２に入力された画像データは画像分割部１０４に送られる。画像分割部１０４は、画像データを複数の画像領域に分割する。画像データは複数の画素データで構成されており、図４において＜１＞に示すように、横方向（一点鎖線の矢印）に沿ったラインごとに、上段側のラインから順に、各ラインを構成する複数の画素データがデータ入力部１０２から次々に画像分割部１０４に送られる。

画像分割部１０４は、例えば画像データの大きさ（画素数）に応じて決定されるライン数の束を１つの画像領域とする。これにより画像データが複数の画像領域に分割される。なお、複数の画像領域の大きさは均等であることが望ましいものの、均等であることに限定されない。

＜２＞画像解析
データ入力部１０２から次々に出力された画素データは、画像分割部１０４から、さらに画像解析部１０６に送られる。画像解析部１０６は、画像領域ごとに、画像処理Ａに対応した複数の画素データと画像処理Ｂに対応した複数の画素データの混在状態を解析して解析結果を得る。

図４の＜２＞において、内部にＡまたはＢを付した破線の長方形が画素データを示しており、Ａが付された画素データＡは画像処理Ａに対応するものであり、Ｂが付された画素データＢは画像処理Ｂに対応するものである。画像解析部１０６は、画素データＡの個数と、画素データＢの個数と、画素データＡから画素データＢに又は画素データＢから画素データＡに切り替わる回数をカウントし、画像領域ごとにそれらのカウント数を得る。こうして、図４において＜２＞に示すように、解析結果として、画像領域ｎごとに、画像処理Ａのデータ数danと画像処理Ｂのデータ数dbnと画像処理の切替回数Nnが得られる。

＜３＞処理時間予測
処理時間予測部１０８は、画像解析部１０６において得られた解析結果に基づいて、画像領域ｎごとに、全面再構成を利用した場合の処理時間と、部分再構成を利用した場合の処理時間を予測する。具体的には、画像領域ｎごとに、全面再構成予測処理時間Twnと部分再構成予測処理時間Tpnを次式により算出する。

（１）Twn＝(Pa×dalln)＋ (Pb×dalln)＋Trw
（２）Tpn＝(Pa×dan)＋ (Pb×dbn)＋(Nn×Trp)

なお、Paは画像処理Ａ内の１段の処理時間（例えば１クロック）であり、Pbは画像処理Ｂ内の１段の処理時間（例えば１クロック）であり、dallnは、画像領域ｎ内の全画素データの個数である。また、Trwは１回の全面再構成に必要な時間であり、Trpは１回の部分再構成に必要な時間である。Trpは、図３を利用して説明したデータ退避（Ｓ３）のための時間と部分再構成（Ｓ４）のための時間を加算して得られる。

＜４＞再構成判定
再構成判定部１１０は、処理時間予測部１０８において得られた予測処理時間に基づいて、画像領域ｎごとに、全面再構成または部分再構成のうちの予測処理時間の小さい方をその画像領域ｎにおける再構成処理とする判定結果を得る。つまり、画像領域ｎごとに、全面再構成予測処理時間Twnと部分再構成予測処理時間Tpnが比較され、TwnがTpn以下であれば全面再構成が選択され、TpnがTwnよりも小さければ部分再構成が選択される。なおTwnとTpnが等しい場合に部分再構成を選択するようにしてもよい。

再構成判定部１１０において得られた全ての画像領域ｎに関する再構成の判定結果は、データ出力部１１２に送られ、後に実行される画像処理Ａと画像処理Ｂにおいて、画像領域ｎごとに全面再構成または部分再構成を選択する際に参照される。例えば、再構成判定部１１０において得られた判定結果に応じて、図１に示す制御部２０が再構成データ記憶部３０に記憶された再構成データ１または再構成データ２を選択し、再構成可能回路１０内の回路を再構成することにより、図２に示す画像処理Ａ，Ｂ時における再構成可能回路１０内の回路構成を実現する。

画像領域ｎごとに、TwnまたはTpnのうちの小さい方を次々に選択すると、全ての画像領域ｎで構成される全画像データの処理時間Tdは、次式のように算出される。次式において、min(Twn,Tpn)は、TwnとTpnのうちの小さい方を意味する。

（３）Td＝min(Tw1,Tp1)＋min(Tw2,Tp2)＋・・・＋min(Twn,Tpn)＋・・・

ちなみに、全ての画像領域ｎで全面再構成を選択した場合の全処理時間Twと、全ての画像領域ｎで部分再構成を選択した場合の全処理時間Tpは次式のようになる。

（４）Tw＝Tw1＋Tw2＋・・・＋Twn＋・・・
（５）Tp＝Tp1＋Tp2＋・・・＋Tpn＋・・・

（３）式のTdは（４）式のTw以下であり、また、（３）式のTdは（５）式のTp以下でもある。つまり、全ての画像領域ｎで全面再構成または部分再構成を一貫して利用する場合に比べて、画像領域ｎに応じて全面再構成または部分再構成を選択的に利用する本画像処理装置の方が処理時間の面で有利である。

なお、図２の回路構成２では、画像処理Ａに係る回路構成であるデータ入力部１２ａと画像処理Ａ回路１４ａとデータ出力部１６ａを、画像処理Ｂに係る回路構成であるデータ入力部１２ｂと画像処理Ｂ回路１４ｂとデータ出力部１６ｂに、全体的に再構成する例を示した。この全体的に再構成する例に換えて、画像処理Ａ回路１４ａと画像処理Ｂ回路１４ｂのみを部分的に再構成するようにしてもよい。つまり、まず、再構成可能回路１０内に画像処理Ａに係る回路構成であるデータ入力部１２ａと画像処理Ａ回路１４ａとデータ出力部１６ａを構成し、処理対象となる画像領域の全画像データに対して画像処理Ａを施す。そして、その画像領域に関する画像処理Ａが終了してから、画像処理Ａ回路１４ａのみを部分的に画像処理Ｂ回路１４ｂに再構成し、処理対象となる画像領域の全画像データに画像処理Ｂを施すようにしてもよい。

また、画像処理Ａと画像処理Ｂを実行するにあたり、画像データを分割するかどうかの分割判定を追加してもよい。画像データを分割せずに、画像データの全域に亘って画像処理Ａを適用してから画像処理に係る回路を再構成して画像処理Ｂを適用すると、その処理時間は次式のようになる。

（６）Tw´＝(Pa×dall)＋ (Pb×dall)＋Trw

Paは画像処理Ａ内の１段の処理時間（例えば１クロック）であり、Pbは画像処理Ｂ内の１段の処理時間（例えば１クロック）であり、dallは、画像データを構成する全画素データの個数である。そして、Trwは１回の全面再構成に必要な時間である。つまり、この場合には画像データの全域を処理するにあたって再構成処理が１回で済む。したがって、（６）式のTw´と（３）式のTdを比較した場合に、画像データ内の画素データの状態によっては、Tw´がTdよりも小さくなる可能性がある。そこで、Tw´とTdとを比較する分割判定を行い、Tw´がTd以下の場合には、画像データを分割せずに、画像データの全域に亘って画像処理Ａを適用してから画像処理に係る回路を再構成して画像処理Ｂを適用する非分割再構成を利用するようにしてもよい。

図２から図４を利用して説明した具体例１では、全面再構成または部分再構成を選択するにあたって処理時間を考慮しているが、処理時間に代えて又は処理時間と共に、消費電力を考慮して全面再構成または部分再構成を選択するようにしてもよい。そこで、消費電力を考慮した具体例２について以下に説明する。

図５は、再構成可能回路１０内に構成される回路の具体例２を説明するための図であり、本画像処理装置が通常消費電力の画像処理Ｎまたは低消費電力の画像処理Ｎ´を画像データに適用するにあたって、再構成可能回路１０内に構成される回路を示している。

図５において、回路構成１´は、画像処理Ｎ，Ｎ´の実行前における再構成可能回路１０内の回路構成を示しており、回路構成２´と回路構成３´は、画像処理Ｎ，Ｎ´の実行時における再構成可能回路１０内の回路構成を示している。画像処理Ｎ，Ｎ´の実行時には、全面再構成（回路構成２´）または部分再構成（回路構成３´）が選択される。全面再構成または部分再構成の選択は、画像処理Ｎ，Ｎ´の処理対象となる画像データ内の画素データの状態に基づいて行われる。そのため、画像処理Ｎ，Ｎ´に先立って、回路構成１´において画像データ内の状態が解析され、全面再構成または部分再構成のどちらを選択すべきかが判定される。

具体的には、回路構成１´として、再構成可能回路１０内に、データ入力部１０２、画像分割部１０４、画像解析部１０６、消費電力予測部１０９、再構成判定部１１０、データ出力部１１２が構成され、画像処理Ｎまたは画像処理Ｎ´の処理対象となる画像データ内の状態が解析されて再構成の判定が行われる。データ入力部１０２からデータ出力部１１２までのこれらの回路（再構成判定に係る回路）は、図１の再構成データ記憶部３０に記憶された再構成データに基づいて構成される。これらの再構成判定に係る回路による処理については、後に図７を利用して詳述する。

また、再構成判定に係る回路における処理は画像処理Ｎ，Ｎ´に先立って実行される。その実行においては、何らかの他の処理、例えば画像処理Ｎ，Ｎ´の前に実行される先行画像処理と並行して行われることが望ましい。

そこで、図５に示すように、回路構成１´として、再構成可能回路１０内に、データ入力部１２ｐ、先行画像処理回路１４ｐ、データ出力部１６ｐも構成される。先行画像処理に係るこれらの回路は、図１の再構成データ記憶部３０に記憶された再構成データに基づいて構成される。そして、処理対象となる画像データがデータ入力部１２ｐに入力されると、その画像データ内の複数の画素データが次々に先行画像処理回路１４ｐに送られて先行画像処理を施され、処理後の複数の画素データがデータ出力部１６ｐに送られる。こうして、画像データ内の全ての画素データが処理されてデータ出力部１６ｐに送られるとその画像データに関する先行画像処理が終了する。

回路構成１´による再構成判定に係る処理と先行画像処理が終了すると、その再構成判定の結果に応じて、再構成可能回路１０内が回路構成２´または回路構成３´に再構成され、画像処理Ｎ，Ｎ´が実行される。その実行においては、複数の画像領域に分割された画像データについて、画像領域ごとに回路構成２´または回路構成３´が選択される。

回路構成２´は、全面再構成の場合の再構成可能回路１０内の回路構成を示しており、図１の再構成データ記憶部３０に記憶された再構成データに基づいて構成される。

全面再構成においては、まず、再構成可能回路１０内に、通常消費電力の画像処理Ｎに係る回路構成であるデータ入力部１２、通常消費電力画像処理回路１４ｎ、データ出力部１６が構成される。そして、処理対象となる画像領域の画像データがデータ入力部１２ａに入力されると、その画像データ内の複数の画素データが次々に通常消費電力画像処理回路１４ｎに送られて画像処理Ｎを施され、処理後の複数の画素データがデータ出力部１６に送られる。こうして、画像領域内の全ての画素データが処理されてデータ出力部１６に送られるとその画像領域に関する画像処理Ｎが終了する。

このように、全面再構成においては、通常消費電力画像処理回路１４ｎを維持しつつ、ある画像領域の全域に亘って画像処理Ｎを施すように、再構成可能回路１０内が再構成される。

これに対し、回路構成３´は、部分再構成の場合の再構成可能回路１０内の回路構成を示しており、図１の再構成データ記憶部３０に記憶された再構成データに基づいて構成される。

部分再構成においては、再構成可能回路１０内に、データ入力部１２、データ判定部１３、データ出力部１６が構成され、さらに、処理対象となる画素データに応じて、通常消費電力画像処理回路１４ｎと低消費電力画像処理回路１４ｎ´が選択的に切り換わるように構成される。

つまり、処理対象となる画像領域の画像データがデータ入力部１２に入力されると、その画像データ内の複数の画素データが次々にデータ判定部１３に送られる。データ判定部１３は、画素データごとに、その画素データが、通常消費電力の画像処理Ｎによる処理を必要とするものか、低消費電力の画像処理Ｎ´による処理が可能なものか、について判定する。

そして、ある画素データが画像処理Ｎによる処理が必要であると判定された場合には、再構成可能回路１０内に通常消費電力画像処理回路１４ｎが形成されて、通常消費電力画像処理回路１４ｎにおいてその画素データが処理される。一方、ある画素データが画像処理Ｎ´による処理が可能であると判定された場合には、再構成可能回路１０内に低消費電力画像処理回路１４ｎ´が形成され、低消費電力画像処理回路１４ｎ´においてその画素データが処理される。その後も、画素データに応じて、通常消費電力画像処理回路１４ｎと低消費電力画像処理回路１４ｎ´が切り替えられる。

こうして、画像領域内の全ての画素データが処理されてデータ出力部１６に送られるとその画像領域に関する画像処理Ｎ，Ｎ´が終了する。

このように、部分再構成においては、ある画像領域内において次々に画像処理される画素データごとに、その画素データに対応した画像処理Ｎまたは画像処理Ｎ´を利用するように、再構成可能回路１０内が再構成される。

図６は、通常消費電力と低消費電力の切り替えを説明するための図である。図６には、回路構成３´（図５）における、通常消費電力画像処理回路１４ｎと低消費電力画像処理回路１４ｎ´の具体例として、ラン圧縮処理（ランレングス圧縮処理）が示されている。

ラン圧縮処理では、画像データを構成する複数の画素データについて、複数の画素データが同値で連続する場合に、連続する画素データ数（ラン長）とその画素データの値（データ値）とを対応付けた処理結果を得ることにより、画像データ全体のデータ量を圧縮する。

図６に示すランカウンタは、データ判定部１３（図５）を介して次々に得られる複数の画素データについて、同じデータ値で連続する画素データの数であるラン長を計数する。そして、図６に示す圧縮データ生成部は、同じデータ値で連続する画素データのラン長とそのデータ値とを対応付けた処理結果を生成し、データ出力部１６（図５）へ出力する。

このように、圧縮データ生成部は、ランカウンタにおけるラン長の計数結果と、計数の対象となった画素データのデータ値を利用すればよい。そのため、ランカウンタによるラン長の計数中において、圧縮データ生成部を使用しない回路構成が可能となる。

そこで、本画像処理装置は、ランカウンタと圧縮データ生成部を備えた通常消費電力画像処理回路１４ｎと、ランカウンタを備えるが圧縮データ生成部を備えない低消費電力画像処理回路１４ｎ´を選択的に利用する。

つまり、画像データ内の複数の画素データが次々にデータ判定部１３に送られると、データ判定部１３は、画素データごとに、その画素データが、通常消費電力画像処理回路１４ｎによる処理を必要とするものか、低消費電力画像処理回路１４ｎ´による処理が可能なものか、について判定する。例えば、同じデータ値の画素データが連続している場合に低消費電力画像処理回路１４ｎ´が選択され、低消費電力画像処理回路１４ｎ´内のランカウンタによりラン長が計数される。

同じデータ値で連続する複数の画素データが次々に処理対象とされ、それに続いて、異なるデータ値の画素データがデータ判定部１３に送られると、通常消費電力画像処理回路１４ｎによる処理が必要であると判定される。そして、ランカウンタにおけるラン長の計数結果を維持しつつ、ランカウンタの後段に圧縮データ生成部が再構成される。つまり、通常消費電力画像処理回路１４ｎに再構成される。さらに、再構成により形成された圧縮データ生成部が、ランカウンタにおけるラン長の計数結果と、計数された画素データのデータ値とを対応付けた処理結果を生成し、データ出力部１６へ出力する。

その後に、さらに同じデータ値の画素データが連続している場合には、低消費電力画像処理回路１４ｎ´に再構成され、低消費電力画像処理回路１４ｎ´内のランカウンタによりラン長が計数される。もちろん、例えばラン長に応じて、通常消費電力画像処理回路１４ｎによる処理を継続してもよい。

このように、低消費電力画像処理回路１４ｎ´を利用することにより、通常消費電力画像処理回路１４ｎのみを利用する場合に比べて、圧縮データ生成部における消費電力分だけ回路全体の消費電力を低減することができる。但し、通常消費電力画像処理回路１４ｎと低消費電力画像処理回路１４ｎ´とを切り替える際に、つまり、これらを切り替える部分再構成においても電力が消費される。したがって、低消費電力画像処理回路１４ｎ´を利用する部分再構成は、切り替え回数が少ない場合に消費電力の面で好ましく、一方、切り替え回数が多くなると消費電力の面で好ましくない。その切り替え回数は、画像データ内の画素データの状態に依存している。

そこで、本画像処理装置では、図５を利用して概説したように、画像処理Ｎ，Ｎ´に先立って、回路構成１´において画像データ内の状態が解析され、全面再構成または部分再構成のどちらを選択すべきかが判定される。

図７は、通常消費電力と低消費電力の画像処理における再構成の判定処理を説明するための図である。この再構成の判定処理は、図５の回路構成１´において再構成可能回路１０内に構成される、データ入力部１０２からデータ出力部１１２までの再構成判定に係る回路により実行される。これら図５の再構成判定に係る回路により実行される処理について、図７を利用して詳述する。なお、図５に示した構成（部分）については、以下の説明においても図５の符号を利用する。

まず、判定の対象となる画像データがデータ入力部１０２に入力される。判定の対象となる画像データは、例えばラン圧縮処理などの画像処理Ｎ，Ｎ´を施される画像データである。例えば、データ出力部１６ｐから得られる先行画像処理を施された画像データがデータ入力部１０２に入力される。なお、再構成判定の結果に先行画像処理が影響を及ぼさないのであれば、データ入力部１２ｐに入力される先行画像処理前の画像データがデータ入力部１０２に入力されてもよい。データ入力部１０２に入力された画像データは、後段の各部において以下のように処理される。

＜１＞画像分割
データ入力部１０２に入力された画像データは画像分割部１０４に送られる。図５の画像分割部１０４による処理は、図２の画像分割部１０４による処理と同じである。つまり画像分割部１０４は、画像データを複数の画像領域に分割する。これにより画像データが複数の画像領域に分割される。

＜２＞画像解析
データ入力部１０２から次々に出力された画素データは、画像分割部１０４から、さらに画像解析部１０６に送られる。画像解析部１０６は、画像領域ごとに、通常消費電力の画像処理Ｎを必要とする複数の画素データと、低消費電力の画像処理Ｎ´による処理が可能な複数の画素データの混在状態を解析して解析結果を得る。

図７の＜２＞において、内部にアルファベットを付した破線の長方形が画素データを示しており、同一のアルファベットを付された複数の画素データは互いに同じデータ値に対応している。例えば、内部にＡを付された複数の画素データは互いに同じデータ値Ａに対応しており、内部にＢを付された複数の画素データは互いに同じデータ値Ｂに対応している。

画像解析部１０６は、ラン長が閾値以上となるデータ数と、画像処理回路の切り替えが必要な回数をカウントし、画像領域ごとにそれらのカウント数を得る。こうして、図７において＜２＞に示すように、解析結果として、画像領域ｎごとに、ラン長が閾値Nth以上となるデータ数hitnと、画像処理回路の切替回数Nnが得られる。なお、ラン長に関する閾値Nthは、どの程度の低消費電力を必要とするかを設定するための閾値であり、例えばユーザにより設定される。ちなみに、図７の＜２＞に示した複数の画素データに関する部分的な具体例において、閾値Nth＝３とすると、この部分おいてラン長が３以上であるのは、内部にＡを付された５つの画素データと内部にＣを付された３つの画素データであり、データ数hitn＝８となる。

また、データ数hitnとしてカウントされた複数の画素データが低消費電力の画像処理Ｎ´の処理対象とされ、データ数hitnとしてカウントされなかった複数の画素データが通常消費電力の画像処理Ｎの処理対象とされる。そのため、図７の＜２＞に示す複数の画素データの具体例では、この部分における画像処理回路の切替回数はNn＝３となる。

＜３＞消費電力予測
消費電力予測部１０９は、画像解析部１０６において得られた解析結果に基づいて、画像領域ｎごとに、全面再構成を利用した場合の消費電力と、部分再構成を利用した場合の消費電力を予測する。具体的には、画像領域ｎごとに、全面再構成予測消費電力Twnと部分再構成予測消費電力Tpnを次式により算出する。

（７）Twn＝(Wa×dalln)＋Trw
（８）Tpn＝(Wa×(dalln-hitn))＋ (Wb×hitn)＋(Nn×Trp)

なお、Waは通常消費電力の画像処理Ｎ（例えばラン圧縮処理）の１データの処理に必要な消費電力であり、Wbは低消費電力の画像処理Ｎ´（例えばラン圧縮処理）の１データの処理に必要な消費電力である。また、dallnは、画像領域ｎ内の全画素データの個数であり、Trwは１回の全面再構成に必要な消費電力であり、Trpは１回の部分再構成に必要な消費電力である。

＜４＞再構成判定
再構成判定部１１０は、消費電力予測部１０９において得られた予測消費電力に基づいて、画像領域ｎごとに、全面再構成または部分再構成のうちの予測消費電力の小さい方をその画像領域ｎにおける再構成処理とする判定結果を得る。つまり、画像領域ｎごとに、全面再構成予測消費電力Twnと部分再構成予測消費電力Tpnが比較され、TwnがTpn以下であれば全面再構成が選択され、TpnがTwnよりも小さければ部分再構成が選択される。なおTwnとTpnが等しい場合に部分再構成を選択するようにしてもよい。

再構成判定部１１０において得られた全ての画像領域ｎに関する再構成の判定結果は、データ出力部１１２に送られ、後に実行される画像処理Ｎ，Ｎ´において、画像領域ｎごとに全面再構成または部分再構成を選択する際に参照される。例えば、再構成判定部１１０において得られた判定結果に応じて、図１に示す制御部２０が、再構成データ記憶部３０に記憶された再構成データに基づいて、再構成可能回路１０内の回路を再構成することにより、図５に示す画像処理Ｎ，Ｎ´時における再構成可能回路１０内の回路構成を実現する。

画像領域ｎごとに、TwnまたはTpnのうちの小さい方を次々に選択すると、全ての画像領域ｎで構成される全画像データの消費電力Tdは、次式のように算出される。次式において、min(Twn,Tpn)は、TwnとTpnのうちの小さい方を意味する。

（９）Td＝min(Tw1,Tp1)＋min(Tw2,Tp2)＋・・・＋min(Twn,Tpn)＋・・・

ちなみに、全ての画像領域ｎで全面再構成を選択した場合の全消費電力Twと、全ての画像領域ｎで部分再構成を選択した場合の全消費電力Tpは次式のようになる。

（１０）Tw＝Tw1＋Tw2＋・・・＋Twn＋・・・
（１１）Tp＝Tp1＋Tp2＋・・・＋Tpn＋・・・

（９）式のTdは（１０）式のTw以下であり、また（９）式のTdは（１１）式のTp以下でもある。つまり、全ての画像領域ｎで全面再構成または部分再構成を一貫して利用する場合に比べて、画像領域ｎに応じて全面再構成または部分再構成を選択的に利用する本画像処理装置の方が消費電力の面で有利である。

なお、画像処理Ｎまたは画像処理Ｎ´を実行するにあたり、画像データを分割するかどうかの分割判定を追加してもよい。画像データを分割せずに、画像データの全域に亘って通常消費電力の画像処理Ｎを適用すると、その消費電力は次式のようになる。

（１２）Tw´＝(Wa×dall)＋Trw

Waは通常消費電力の画像処理Ｎ（例えばラン圧縮処理）の１データの処理に必要な消費電力であり、dallは、画像データを構成する全画素データの個数である。そして、Trwは１回の全面再構成に必要な時間である。つまり、この場合には画像データの全域を処理するにあたって再構成処理が１回で済む。したがって（１２）式のTw´と（９）式のTdを比較した場合に、画像データ内の画素データの状態によっては、Tw´がTdよりも小さくなる可能性がある。そこで、Tw´とTdとを比較する分割判定を行い、Tw´がTd以下の場合には、画像データを分割せずに、画像データの全域に亘って通常消費電力の画像処理Ｎを適用する非分割再構成を利用するようにしてもよい。

以上、本発明の好適な実施形態を説明したが、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。例えば、具体例１として説明した処理時間と具体例２として説明した消費電力とを組み合わせた条件に基づいて全面再構成または部分再構成を判定するようにしてもよい。さらに、複数の全面再構成のパターンと複数の部分再構成のパターンを用意しておき、それら複数のパターンの中から、画像データに応じた再構成のパターンを選択するようにしてもよい。

１０ 再構成可能回路、１４ａ 画像処理Ａ回路、１４ｂ 画像処理Ｂ回路、２０ 制御部、３０ 再構成データ記憶部、１０４ 画像分割部、１０６ 画像解析部、１０８ 処理時間予測部、１０９ 消費電力予測部、１１０ 再構成判定部。

Claims (4)

1. 複数の画素データで構成された画像を処理する画像処理装置であって、
   再構成可能回路内に複数の画像処理部を構成する制御部と、
   複数の画像領域に分割された前記画像の画像領域ごとに、その画像領域内における複数の画素データの配列状態を解析する解析部と、
   画像領域ごとに、前記解析の結果に基づいて、全面的再構成処理の画像処理性能と部分的再構成処理の画像処理性能を予測する予測部と、
   画像領域ごとに、前記画像処理性能の比較に基づいて選択した全面的再構成処理または部分的再構成処理をその画像領域に対応した再構成処理とする判定結果を得る判定部と、
   を有し、
   前記制御部は、
   前記画像に対する画像処理において、画像領域ごとに前記判定結果に応じて、
   前記再構成可能回路内で少なくとも一つの画像処理部を維持しつつ、維持した画像処理部により各画像領域内の全域に亘って複数の画素データを画像処理するように、少なくとも一つの画像処理部を構成する全面的再構成処理、
   または、
   前記再構成可能回路内で複数の画像処理部を切り替えながら、各画素データに応じた各画像処理部により各画像領域内の複数の画素データを画像処理するように、複数の画像処理部を構成する部分的再構成処理、
   を選択して実行する、
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像を構成する各画素データは、その画素データに対応した各画像処理部による画像処理を必要とし、
   前記解析部は、画像領域ごとに、各画素データと各画像処理部の対応関係に基づいて、複数の画像処理部に対応した複数の画素データの混在状態を解析し、
   前記予測部は、画像領域ごとに、前記解析の結果に基づいて、全面的再構成処理による処理時間と部分的再構成処理による処理時間を予測し、
   前記判定部は、画像領域ごとに、全面的再構成処理または部分的再構成処理の処理時間の小さい方をその画像領域に対応した再構成処理とする判定結果を得て、
   前記制御部は、
   前記全面的再構成処理において、各画像領域内の全域を一つの画像処理部で画像処理してから、画像処理前の当該画像領域内の全域を他の画像処理部で画像処理するように、複数の画像処理部を構成し、
   前記部分的再構成処理において、各画像領域内の次々に画像処理される各画素データをその画素データに対応した各画像処理部で画像処理するように、複数の画像処理部を構成する、
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記画像を構成する各画素データは、通常消費電力の画像処理部、または、通常消費電力以下である低消費電力の画像処理部により画像処理され、
   前記解析部は、画像領域ごとに、低消費電力の画像処理部で処理することができる複数の画素データと通常消費電力の画像処理部で処理する必要がある複数の画素データの混在状態を解析し、
   前記予測部は、画像領域ごとに、前記解析の結果に基づいて、全面的再構成処理による消費電力と部分的再構成処理による消費電力を予測し、
   前記判定部は、画像領域ごとに、全面的再構成処理または部分的再構成処理の消費電力の小さい方をその画像領域に対応した再構成処理とする判定結果を得て、
   前記制御部は、
   前記全面的再構成処理において、前記再構成可能回路内で通常消費電力の画像処理部を維持しつつ、各画像領域内の全域に亘って複数の画素データを画像処理するように、通常消費電力の画像処理部を構成し、
   前記部分的再構成処理において、各画像領域内の次々に画像処理される各画素データをその画素データに応じて通常消費電力の画像処理部または低消費電力の画像処理部で画像処理するように、それらの画像処理部を切り替えて構成する、
   ことを特徴とする画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置において、
   前記複数の画像処理部による前記画像に対する画像処理に先立って、前記再構成可能回路内に、先行画像処理部と前記解析部と前記予測部と前記判定部が構成され、
   前記先行画像処理部による前記画像に対する画像処理と並行して、前記解析部が前記解析を実行し、前記予測部が前記予測を実行し、前記判定部が前記判定結果を得る、
   ことを特徴とする画像処理装置。
   

Images