JP2008543071A - ワーピング演算ユニットを有する集積回路 - Google Patents

Abstract

本発明は、画像の電子的な操作のための集積回路、ワーピングによる画像の電子的な操作のための方法、集積回路を有する画像の電子的な操作のためのシステム、並びに、本発明による集積回路のアプリケーションに関するものである。集積回路が、中央処理ユニット（３）、メモリアクセス制御ユニット（９）、グラフィックス出力制御ユニット（５）、及びワーピング演算ユニット（６）を有しているため、リアルタイム画像の動的なワーピングとの関連において高い性能を保証すると同時にハードウェアの単価を相対的に低く維持可能である画像の電子的な操作のための集積回路、並びに、このような集積回路を有する画像の電子的な操作のためのシステムを提供するという本発明の目的が解決されている。

Description

本発明は、画像の電子的な操作のための集積回路、ワーピングによる画像の電子的な操作のための方法、集積回路を有する画像の電子的な操作のためのシステム、並びに、本発明による集積回路の使用法に関するものである。

画像を電子的に操作するべく、一般的に、コンピュータが利用されている。画像情報は、グラフィックスカードチップを有するグラフィックスカードによって主に出力されており、このグラフィックスチップは、バスシステムを介して、コンピュータの中央処理ユニット（ＣＰＵ）及びメインメモリと、又は特別にグラフィックスカードに提供された別のメモリと通信している。画像のワーピングは、画像を電子的に操作するための様々な既知の方法の１つに過ぎない。ワーピング法においては、個々のピクセルの位置を変更することにより、所与の画像を歪曲するか、或いは、歪曲した画像を相応して補償することにより、補正している。この場合には、まず、光学画像を電子画像に変換する必要がある。例えば、定義された数の所謂ピクセルにソース画像を分割するビデオカメラ又はデジタル写真カメラの電子信号に基づいて、ソース画像のそれぞれのピクセルに対して正確な画面位置（ｘ，ｙ）を割り当てる。個々のピクセルの画像位置をメモリの画像メモリエリア内に保存する。ワーピングを実行する際には、正確に定義された変換規則に従って、ソース画像のそれぞれのピクセルをターゲット画像内の新しい画像位置（ｘ’，ｙ’）にシフトさせる。通常、この結果得られたターゲット画像は、第２メモリエリア内に保存されると共に／又は、グラフィックスカードを利用してディスプレイ上に表示されることになる。ピクセルの新しい画像位置は、通常、次のような方法に従って算出される。

１．それぞれのソースピクセル（ｘ，ｙ）から結果的に得られるターゲットピクセル（ｘ’，ｙ’）を算出するべく、二次元（２Ｄ）多項変換関数又は２Ｄ上に投影された３Ｄ多項変換関数を使用しており、この場合に、変換関数は、ソースピクセル（ｘ，ｙ）の画像位置に依存している。

２．それぞれのソースピクセル（ｘ，ｙ）ごとの任意の変換規則の形態におけるマトリックスエントリを含む保存されたルックアップマトリックスを使用する。

３．小さな三角形のソースピクセルエリアを変換済みの三角形のターゲットピクセルエリア上に投影することによってソースピクセル（ｘ，ｙ）をターゲットピクセル（ｘ’，ｙ’）上に投影する規則を表す三角形のメッシュを使用する。

又、以上の３つの方法に加え、操作済みの画像の品質を改善するべく、フィルタリングプロセスをそれぞれの画像に対して適用しており、この場合に、前述のフィルタリングプロセスにおいては、縮小された画像エリア内におけるピクセル間のオーバーラップを考慮しているのみならず、拡張されたエリア内においては、互いにもはや隣接して位置してはいないターゲットピクセル間における補間によって新しいピクセルを算出している。

この結果、ワーピングにより、レンズ効果又はミラー効果に起因して歪曲された画像を補正可能である。但し、平坦ではない表面上に投影された際に、「まっすぐ」に又は歪曲していないように見えるように、画像を意図的に歪曲することも可能である。この原理の１つの可能なアプリケーションが、自動車内における「ヘッドアップディスプレイ」であり、この場合には、例えば、プロジェクタを利用することより、自動車の計器盤が自動車のフロントガラス上に投影されている。例えば、自動車の運転者などの観察者が、フロントガラスの曲がりに起因して計器盤が歪曲していると感じることを防止するべく、フロントガラス上において歪曲することなしに反射されるように、電子的に生成された計器盤の画像を最初に歪曲させている。これは、ワーピング関数において、即ち、ターゲットピクセル位置（ｘ’，ｙ’）上にピクセル（ｘ，ｙ）を投影する関数において、フロントガラスの曲がりを考慮に入れる必要があることを意味している。この特定のアプリケーションに伴う１つの問題点は、画像のまったく歪曲していない外観又はまったく歪曲していない画像の演算は、それぞれ、投影された計器盤に対する観察者の視角又は位置に依存しているということである。

ワーピングプロセスの間に時間的に一定である変換規則を定義するべく、三角形のメッシュを利用した従来の３Ｄアクセラレータグラフィックスカードを有する標準的なＰＣ装置上において、研究を行った。これらのシステムは、ハードウェアにおける多大な努力と、このハードウェアの性能特性にも拘わらず、リアルタイム画像のワーピングにおいては、相対的に乏しい性能を具備していた。

ワーピングプロセスに必要とされる膨大な演算パワーに起因し、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって試験を実行した。ＦＰＧＡは、複数の自由にプログラム可能な非特殊型の論理回路を有している。ＦＰＧＡによれば、個々の論理回路が相応してプログラムされた場合に、そのＦＰＧＡ内において関数をマッピングすると共に大量の情報を並行処理可能である。ＦＰＧＡによれば、相対的に低いクロック周波数において、十分な演算パワーを既に実現可能である。ＦＰＧＡによれば、時間的に一定である変換規則を利用することにより、リアルタイム画像のワーピングとの関係において十分な結果が得られるが、ＦＰＧＡの１つの欠点は、大きな表面と、相応して大きな半導体基板を必要とするという点にある。この結果としてのＦＰＧＡの高い単価は、これらのコンポーネントを大量生産した場合にも低減することは不可能である。従って、このような複雑なＦＰＧＡを大量生産の消費者物品に利用することは現実的ではない。又、そのアプリケーションにおいて判明している、例えば、変化可能な視角の結果として生じる問題点も、十分に解決することはできないであろう。

以上のような当技術分野における状態に基づいて、本発明は、画像の電子的な操作のための集積回路、並びに、このような集積回路を有する画像の電子的な操作のためのシステムを提供するという目的を具備しており、この場合に、前述の集積回路及び前述のシステムは、リアルタイム画像のワーピングとの関連における大きな演算パワーを保証すると同時に、ハードウェアの単価を低く維持できるようにしている。又、本発明は、本発明による集積回路の対応した使用法と、ワーピングによる画像の電子的な操作のための方法をも提案しており、これらにおいては、これまで判明しているアプリケーションの固有の欠点が除去されている。

本発明の第１の開示によれば、前述の目的は、中央処理ユニット、メモリアクセス制御ユニット、グラフィックス出力制御ユニット、及びワーピング演算ユニットを具備した集積回路によって達成されている。

驚いたことに、集積回路の様々な処理ユニットを統合することにより、相対的に小さな半導体基板表面を有する、即ち、低い製造コストを有する大幅に改善された性能特性を実現可能であることが判明した。例えば、中央処理ユニットは、ワーピング演算ユニットとは無関係にソース画像を算出可能であり、ソース画像をメモリ内に保存している。これは、少なくとも１つの内部又は外部メモリのメモリエリアに対するアクセスを保証するメモリアクセス制御ユニットによって実現されている。メモリアクセス制御ユニットは、通常、ＲＡＭモジュールの形態におけるメモリに対するアクセスを調整している。これらのメモリモジュールは、多くの場合に、外部的に構成されている。但し、その性能を更に改善できるように、メモリを集積回路内に統合することも可能である。又、少なくとも１つのメモリアクセス制御ユニットを統合することにより、必要なメモリエリアに対する集積回路の個々のユニットのアクセスが調和され、この結果、相応して加速されることになる。１つのメモリアクセス制御ユニットのみを提供することにより、集積回路の簡単なレイアウトを実現することも可能である。但し、複数のメモリアクセス制御ユニットを提供することにより、メモリアクセスを並行化して加速させることも可能である。

次いで、ワーピング演算ユニットが、変換規則に従ってターゲットピクセルの位置を算出すると共に、例えば、演算の際に中央処理ユニットによって算出された画像に対してアクセスしている。ワーピング演算ユニットによって算出されたターゲット画像は、ディスプレイ上に表示されるか、又はグラフィックス出力制御ユニットによる更なる処理のためにその他の画像処理装置に対して転送される。本発明によれば、ソース画像及びターゲット画像の並行的であって独立した演算と、短い信号経路とに起因し、集積回路内において非常に大きな演算パワーが実現されることになる。又、この大きな演算パワーにより、原則的に、時間に依存した方式において、即ち、動的に、ワーピングプロセスのための変換規則を算出可能である。個々のユニットが必要とする表面を個々のタスクに対して最適に適合させると共に最適化可能であるため、集積回路の全体的な表面面積要件が小さく維持されることになる。この結果、本発明による回路は、大量生産に非常に適している。

別の有利な実施例によれば、集積回路は、ＡＳＩＣの形態において、又はＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ）の形態において実現されている。ＡＳＩＣは、既定のカスタム設計された機能を具備すると共に、通常は、１つのアプリケーションのみを目的として設計されている。対照的に、ＡＳＳＰは、大量生産用に最適化された集積回路であり、この集積回路は、様々なアプリケーションに使用するのに適している。ＡＳＩＣ並びにＡＳＳＰは、その表面面積要件と、製造プロセスにおけるプロセス安定性との関連において最適化されているという点を特徴としている。

本発明による集積回路の別の有利な実施例によれば、半導体基板が少なくとも部分的にシリコンから構成されているという事実に起因し、多年にわたって十分に試験されていると共に高い歩留まりを有する従来の製造プロセスを利用可能である。或いは、この代わりに、例えば、ＩＩＩ−Ｖ化合物半導体基板などの別の半導体基板上に本発明による集積回路を製造することも考えられよう。

３２ビット及び／又は６４ビット命令を処理する中央処理ユニットを提供する場合には、集積回路の製造コストを更に低減できるように、既存の中央処理ユニットのレイアウトを利用可能である。３２ビット命令を処理する中央処理ユニットと比べて、６４ビット命令を処理する中央処理ユニットは、それぞれ、更に多くの命令又は更に複雑な命令を６４ビット命令内において中央処理ユニットに転送可能であると共に、更に大きなアドレス空間を割り当て可能であるという利点を提供している。

本発明による集積回路の更に発展した実施例によれば、グラフィックス入力制御ユニットを提供することにより、ワーピングプロセスにおける性能特性を改善可能である。グラフィックス入力制御ユニットを統合することにより、本発明による集積回路に対して電子画像を直接的に転送可能である。この場合には、画像が、基本的に、もはや中央処理ユニットによって算出されないため、集積回路の処理速度が更に向上することになる。

グラフィックス入力制御ユニットとしてビデオフレームグラバユニットが提供されている場合には、ビデオフレームグラバユニットが、受信するビデオ画像のデータストリームを個々の画像に「分割」すると共に、個々の画像をメモリアクセス制御ユニットに転送するため、集積回路によってリアルタイム画像を容易に処理可能である。更には、ビデオフレームグラバユニットのハードウェア統合により、ワーピング演算ユニット用のソース画像の生成との関連における性能を改善することも可能である。

集積回路の別の実施例によれば、ルックアップマトリックスに基づいて動作するワーピング演算ユニットを利用することにより、リアルタイム画像のワーピングにおける演算パワーを更に改善可能である。ルックアップマトリックスに基づいたワーピング演算ユニットを利用することにより、従来のワーピング法よりも大きな処理速度を本発明による集積回路によって実現可能であるという利点が得られる。前述のように、変換規則は、マトリックス、即ち、ルックアップマトリックス内に保存されている。個々のエントリは、ワーピング演算ユニットによって連続的に読み出されて使用される。中央処理ユニットにより、同時並行的な独立した方式において、同一のルックアップマトリックス又は別のルックアップマトリックスを再計算可能である。

青色、緑色、及び赤色という３つの基本色のための１つの個別のルックアップテーブルを利用するワーピング演算ユニットが提供された場合には、それぞれの色ごとに、ターゲットピクセスのシフトを個別に算出可能である。この結果、例えば、光学レンズの分散を波長に応じて考慮に入れると共に、算出された画像の相応する正確な補正及び歪曲を実現可能である。

メモリアクセス制御ユニットにより、少なくとも中央処理ユニット及びワーピング演算ユニットが少なくとも１つの内部又は外部メモリのメモリエリアに対して直接的にアクセス可能である場合には、ワーピングの非常に高速の演算を保証可能である。この場合には、ワーピング演算ユニットは、直接的に、即ち、中央処理ユニットにアクセスすることを要することなしに、メモリと通信する。又、グラフィックス入力制御ユニット及び／又はグラフィックス出力制御ユニットが、これらのメモリエリアに対して直接的にアクセス可能である場合には、集積回路の演算速度を更に増大させることが可能である。少なくとも中央処理ユニット及びワーピング演算ユニットが、ユニファイド・メモリ・アーキテクチャ（ＵＭＡ）の原理に従って共通ランダムアクセスメモリのメモリエリアにアクセスしている場合には、まず、集積回路の性能の更なる改善が実現することになる。これに加えて、この場合には、ＵＭＡの原理に起因し、回路レイアウトが単純化されると共に、外部又は内部メモリユニットの数が最小化されることになり、この結果、製造コストを低減可能である。

少なくとも１つのメモリ内において、入力画像メモリエリア、ルックアップマトリックスメモリエリア、及び出力画像メモリエリア、及び／又は中央処理ユニットのランダムアクセスメモリエリアをメモリアクセス制御ユニットによって割り当て可能である場合には、特に短いアクセス時間が実現することになる。

本発明による集積回路の別の有利な実施例においては、入力画像メモリエリア、出力画像メモリエリア、及び／又はルックアップマトリックスメモリエリアに対する同時又は略同時のアクセスを実現するワーピング演算ユニットを提供することにより、演算速度を更に向上させることが可能である。同時アクセスの際には、異なるメモリエリアが並行してアドレス指定される。メモリレベルにおいて連続的に略同時のアクセスが実際に実現することになる。但し、アクセスは、データが個々の処理ユニット内において略同時に処理されるように、レイテンシー（待ち時間）との関連において最適化されている。このタイプのワーピング演算ユニットは、新しいソースピクセルの画像位置を入力画像メモリエリアから読み出すことが可能であり、対応するワーピング関数をルックアップメモリから読み出すことが可能であり、且つ、予め算出されたターゲットピクセルを同時に又は略同時に出力画像メモリエリア内に保存可能であることを保証している。これらの各段階と並行して、ターゲット画像を生成する段階を更に実行可能である。

例えば、縮小された画像エリア内におけるピクセルのオーバーラップと、変換の後に互いにもはや隣接して位置していないターゲットピクセル間の補間による拡大された画像エリアにおける新しいピクセルの演算を考慮に入れるべく、グラフィックス出力をフィルタリングするための少なくとも１つのフィルタを提供することが好ましい。集積回路内にフィルタユニットを統合することにより、演算パワーが更に増大することになる。

統合された中央処理ユニットによるフィルタパラメータの動的な変更を実現するべく、フィルタユニットは、好ましくは、ピクセルフィルタユニットの形態において実現されており、この場合に、フィルタパラメータは、プログラム可能なメモリ、具体的には、ＲＡＭ内に保存されている。この場合には、中央処理ユニットは、フィルタパラメータの変更の算出に必要な対応するデータに対して迅速且つ容易にアクセス可能である。

本発明による集積回路の別の実施例においては、中央処理ユニットが浮動小数点演算ユニットを具備しているという事実に起因し、中央処理ユニットの演算速度が向上している。この結果、特にワーピング変換規則の動的な演算との関連において、更なる速度上の利点が提供されることになる。

又、本発明の第２の開示によれば、前述の目的は、ワーピングによって画像を操作するための方法によって解決されており、この方法においては、変換規則を利用することにより、ソース画像のピクセルをターゲット画像のピクセルに対して割り当てており、且つ、ターゲットピクセル上にソースピクセルを投影するための変換規則を動的に算出している。変換規則の動的な演算に起因し、これらは、時間的に変化可能となり、この結果、この変換規則の時間変動をワーピングプロセスにおける電子画像補償又は画像歪曲に組み込むことが可能であり、且つ、動的な画像補償又は画像歪曲が実現することになる。この結果、原則的に、前述の「ヘッドアップディスプレイ」の観察者の頭の動きを考慮に入れることが可能となる。このプロセスは、動的ワーピングとも呼ばれている。

例えば、変換規則の動的な演算を、計測手段を利用することによって検出される少なくとも１つの外部イベントに応じて実行する場合には、観察者の位置に応じた画像の操作を実現可能である。例えば、ターゲット画像が投影される投影表面の動的な変化を検出し、画像が投影表面の変化によって影響を受けることなしに歪曲されることなく表示されるように、変換規則を適合させることが考えられるであろう。

ターゲット画像の少なくとも一人の観察者の視角及び／又は位置を、計測手段を利用することによって二者択一的に又は追加的に判定し、変換規則を少なくとも観察者の計測された視角及び／又は計測された位置に応じて動的に算出することが好ましい。「ヘッドアップディスプレイ」の場合には、これは、運転者の頭の位置が判定されると共に、ワーピング変換規則が運転者の頭の位置に応じて継続的に再計算されることを意味している。ワーピング変換規則の再計算を観察者が知覚できないように、これをリアルタイムで実行することが有利である。

ワーピングによる画像の電子的な操作をルックアップマトリックスに基づいて実行すると共に、ルックアップマトリックスを動的に算出することが特に有利である。リアルタイム画像との関連においては、観察者の動きを十分に考慮に入れるべく、変換規則を含むルックアップマトリックスを少なくとも１秒当たりに１回又は２回にわたって再計算する必要がある。但し、更に頻繁に演算を実行することも考えられよう。例えば、本発明による集積回路によれば、相応して高速の演算を実現可能である。

ターゲット画像の演算の際に第１ルックアップマトリックスに基づいて第２ルックアップマトリックスを算出する場合には、即ち、この場合には、再計算されたルックアップマトリックスを待つ必要性がもはや存在しないため、動的なワーピングプロセスの速度を更に向上させることができる。新しく算出された第２ルックアップマトリックスは、必要に応じてメモリ内に保存可能であり、且つ、ターゲット画像の演算の直後にワーピングプロセスに使用可能である。

又、本発明の第３の開示によれば、前述の目的は、本発明による集積回路と、集積回路に対して転送される電気信号に光学画像を変換する手段と、グラフィックス出力制御ユニットによって供給される画像を表示する手段と、を有する画像の電子的な操作のためのシステムによって解決されている。

このシステムの１つの特に有利な実施例は、ヘッドアップディスプレイ又はリアビューカメラディスプレイの形態において実現されるということを特徴としている。

特に、ヘッドアップディスプレイ又はリアビューカメラディスプレイの形態においてシステムが実現されており、且つ、フロントガラスがディスプレイエリアとして機能している場合には、本発明は、このシステムの有利な更なる発展を提案しており、この場合には、ターゲット画像の観察者の視角又は位置を判定するべく計測手段が提供されており、且つ、少なくとも一人の観察者の少なくとも計測された視角及び／又は位置に応じてターゲット画像を算出可能である。例えば、所謂頭部追跡センサは、少なくとも一人の観察者のそれぞれの頭の位置に対してワーピング変換規則を動的に適合させることができるように、観察者の頭の位置を正確に判定及び追跡可能である。

本発明の第４の開示によれば、前述の目的は、ワーピングプロセス、具体的には、画像の動的なワーピングをリアルタイムで実行する装置内において、本発明による集積回路を使用することによって解決されている。

車両又は自動車内における本集積回路の利用は、例えば、ヘッドアップディスプレイ又はリアビューカメラディスプレイなどの車両の運転者に追加的な視覚的支援を提供するための費用効率の良好な１つの選択肢を表している。自動車内において使用された際には、本集積回路の膨大な演算パワーにより、画像又は運転者の頭の位置が迅速に変化した場合にも、運転者が画像生成の遅延を知覚しないことが特に保証されている。

本発明による集積回路は、多数の方法において設計すると共に更に発展させることが可能である。この観点においては、請求項１、１６、２１、及び２３に従属する請求項と、添付図面を参照した以下の一実施例に関する説明を参照されたい。添付の図面には、「図面の簡単な説明」の節に記載された図面が含まれている。

図１には、グリッド上におけるワーピングの効果が概略的に示されている。図１ａは、歪曲されていないソース画像を示しており、図１ｂは、ワーピングプロセス後の歪曲されたグリッドの形態におけるターゲット画像を示している。図１ａに示されているソース画像は、グリッドを形成しているいくつかのまっすぐなラインから構成されており、この場合に、ピクセル１は、２つのまっすぐなラインのそれぞれの交点にそれぞれ位置している。ピクセル１は、２つの座標（ｘ，ｙ）によって定義された正確な画像位置に対して割り当てられている。図１ａによるソース画像をワーピングによって歪曲した際には、座標（ｘ，ｙ）を有するソース画像のそれぞれのピクセル１が、座標（ｘ’，ｙ’）を有するターゲット画像の新しいピクセル１’に対して割り当てられることになる。これは、ソース画像のすべてのピクセルについて実行され、この場合には、新しい画像位置を判定するための部分的に異なる演算規則が、図１に示されている個別のピクセルに対して適用される。ソース画像のワーピングによれば、歪曲されていない画像を歪曲させることのみならず、特に光学レンズを使用した際に通常生成される画像の非線形の歪みを補正することも可能である。簡単に前述したように、原則的には、ワーピングを実行するべく、様々な方法が考えられる。以下において説明する本発明による集積回路の実施例は、ルックアップマトリックスに基づいた動的なワーピング法を利用しているが、これは、その他のワーピング法を代表したものである。

図２は、半導体基板２上において実現された、本発明による集積回路の一実施例のアーキテクチャを概略的に示している。本発明によれば、中央処理ユニット３、グラフィックス入力制御ユニット４、グラフィックス出力制御ユニット５、及びワーピング演算ユニット６が半導体基板２上に提供されている。グラフィックス入力制御ユニット４は、図示の実施例においては、ビデオフレームグラバユニットの形態において実現されている。ビデオフレームグラバユニット４は、画像センサ又はカメラ７から供給された画像を処理している。画像センサ７がビデオ画像のデータストリームを供給する場合には、ビデオフレームグラバユニット４は、受信したビデオストリームを個々の画像に分割すると共に、これらの画像をメモリ１０内に保存している。次いで、メモリ１０内の個々の画像をワーピング演算ユニット６によって再計算すると共に、グラフィックス出力制御ユニットに転送するか、又は更なる処理のために再度メモリ１０内に保存している。この更なる処理は、例えば、中央処理ユニット３によって実行可能である。グラフィックス出力制御ユニット５は、例えば、ディスプレイのビデオ入力８に接続されており、ワーピング演算ユニット６によって算出された画像を、このディスプレイのビデオ入力８に供給している。但し、算出された画像を、ディスプレイのビデオ入力８に対してではなく、処理済みの画像のグラフィカルな再処理のために、別の装置に対して供給することも考えられよう。

本発明による集積回路の実施例においては、ワーピング演算ユニット６は、ワーピングプロセスのために、図２には示されていないメモリ１０内のルックアップマトリックスを利用しており、この場合に、前述のルックアップマトリックスは、ビデオフレームグラバユニット４から供給されるソース画像の個々のピクセルの新しい画像位置を算出するための演算規則をマトリックスの形態において含んでいる。

動的なワーピングプロセスを実行する際には、例えば、観察者の瞬間的な頭の位置を考慮に入れるべく、ルックアップマトリックス内の値を少なくとも１〜２回／秒だけ再計算する必要がある。中央処理ユニット３が、ソース画像のグラフィック処理とは無関係に、且つ、ワーピング演算ユニット６に悪影響を及ぼすことなしに、メモリ１０内のルックアップマトリックス値を再計算可能であるため、必要な演算パワーを実現可能である。又、中央処理ユニット３は、好ましくは、特にグラフィカルな歪曲の演算との関連において中央処理ユニット３の演算パワーを増大させる図２には示されていない浮動小数点演算ユニットをも有している。

図２には、メモリ１０に対する集積回路の個々の処理ユニット（３〜６）のアクセスを半導体基板２上に提供されたメモリアクセス制御ユニット９が調整していることも示されている。半導体基板２上における集積回路の性能を改善するべく、少なくともワーピング演算ユニット６及び中央処理ユニット３は、ユニファイド・メモリ・アーキテクチャ（ＵＭＡ）の原理に従って、共通ランダムアクセスメモリ１０に対してアクセスしている。メモリアクセス制御ユニット９により、集積回路の個々のユニット（３〜６）がメモリ１０に直接的にアクセス可能であるため、データスループットを更に増大させることが可能である。図示の実施例においては、これは、これらのユニットを４つのバス３ａ、４ａ、５ａ、６ａを介してメモリアクセス制御ユニット９に接続することによって実現されている。この実施例においては、メモリアクセス制御ユニット９は、１つのバスのみを介して共通メモリ１０と通信しているだけである。

データをメモリ１０内に保存する必要がない場合には、集積回路の個々のユニットを直接的に接続することも考えられよう。

メモリ１０は、通常、ランダムアクセスメモリ（ＲＡＭ）モジュールの形態において実現されている。但し、メモリ１０を集積回路内に統合することも考えられよう。この結果、集積回路の演算パワーの更なる増大が実現することになろう。

図３には、半導体基板２上の集積回路の実施例とメモリ１０間におけるデータフローがデータフローチャートの形態において概略的に示されている。図３によるデータフローチャートは、異なるメモリエリア１２、１３、１４、１５に分割されたメモリ１０を示している。ビデオフレームグラバユニット４の入力１１を介して受信された画像は、メモリ１０の入力画像メモリエリア１２内に一時的に保存される。ワーピングプロセスに必要なルックアップマトリックスは、メモリ１０のルックアップマトリックスメモリエリア１３内に保存されている。ワーピング演算ユニット６によって算出された画像も、出力画像メモリエリア１４内に保存されている。ワーピング演算ユニット６は、好ましくは、ターゲット画像の算出に必要な段階を並行して実行するべく、すべての３つのメモリエリアに対して同時に又は略同時にアクセスしている。

この結果、グラフィックス出力制御ユニット５は、出力画像メモリエリア１４内に保存されている画像を読み出し、これらの画像を、例えば、ディスプレイに対して転送している。明瞭であってギクシャクしていない画像を生成するには、約２０〜３０画像／秒をワーピング演算ユニット６によって算出し、例えば、グラフィックス出力制御ユニット５からディスプレイのビデオ入力８に供給する必要がある。

操作済みの画像をグラフィックス出力制御ユニット５から出力する前に、これらの画像に対して、図２には示されていないフィルタユニット、好ましくは、ピクセルフィルタユニットによるフィルタプロセスを適用することも可能である。このフィルタユニットは、好ましくは、本発明による集積回路内に統合されている。適切なフィルタユニットは、例えば、双一次、双三次、又は異方性フィルタユニットから構成可能である。この観点において、双一次フィルタリングプロセスは、最小の演算パワーを必要としており、異方性フィルタリングプロセスは、最大の演算パワーを必要としている。

中央処理ユニット３のランダムアクセスメモリエリア１５は、メモリ１０の一部を形成していると共に、ルックアップマトリックスの動的な演算に必要なプログラム及びデータを一時的に保存するべく使用されている。中央処理ユニット３は、ランダムアクセスメモリ１５内に保存されたデータに依存すると共に、ワーピング演算ユニット５の演算とは無関係に、ルックアップマトリックスを算出している。

ルックアップマトリックスの並行的且つ動的な構成に起因し、この提案された集積回路によれば、リアルタイム画像のワーピングとの関連において特に高い性能を実現可能である。

グリッド上におけるワーピング効果の概略図である。 本発明による集積回路の一実施例のアーキテクチャの概略図である。 図２に示されている本発明による集積回路の実施例の概略データフローチャートである。

Claims (25)

1. 少なくとも１個の半導体基板（２）を有する集積回路において、
   前記集積回路は、中央処理ユニット（３）と、少なくとも１つのメモリアクセス制御ユニット（９）と、グラフィックス出力制御ユニット（５）と、ワーピング演算ユニット（６）と、を有していることを特徴とする集積回路。
2. 前記集積回路は、特定用途向け集積回路（ＡＳＩＣ）又は特定用途向け標準製品（ＡＳＳＰ）の形態において実現されていることを特徴とする、請求項１記載の集積回路。
3. １個のみの半導体基板（２）が設けられている、請求項１又は２に記載の集積回路。
4. 前記半導体基板（２）は、少なくとも部分的にシリコンから構成されていることを特徴とする、請求項１乃至３の何れか１項に記載の集積回路。
5. ３２ビット及び／又は６４ビット命令を処理する中央処理ユニット（３）が提供されていることを特徴とする、請求項１乃至４の何れか１項に記載の集積回路。
6. グラフィックス入力制御ユニット（４）が提供されていることを特徴とする、請求項１乃至５の何れか１項に記載の集積回路。
7. グラフィックス入力制御ユニット（４）として、ビデオフレームグラバユニットが提供されていることを特徴とする、請求項６記載の集積回路。
8. ルックアップマトリックスに基づいて動作するワーピング演算ユニット（５）が提供されていることを特徴とする、請求項１乃至７の何れか１項に記載の集積回路。
9. 青色、緑色、及び赤色の３つの基本色のそれぞれに１つのルックアップマトリックスを利用するワーピング演算ユニット（６）が提供されていることを特徴とする、請求項７記載の集積回路。
10. 前記メモリアクセス制御ユニット（９）により、少なくとも前記中央処理ユニット（３）及び前記ワーピング演算ユニット（６）は、少なくとも１つの内部又は外部メモリ（１０）のメモリエリアに対して直接的にアクセス可能であることを特徴とする、請求項９記載の集積回路。
11. 少なくとも前記中央処理ユニット（３）及び前記ワーピング演算ユニット（６）は、ユニファイド・メモリ・アーキテクチャ（ＵＭＡ）の原理に従ってランダムアクセスメモリ（１０）の共通メモリエリアに対してアクセスしていることを特徴とする、請求項１乃至１０の何れか１項に記載の集積回路。
12. 前記メモリアクセス制御ユニット（９）により、少なくとも１つのメモリ（１０）内において、入力画像メモリエリア（１２）、ルックアップマトリックスメモリエリア（１３）、出力画像メモリエリア（１４）、及び／又は前記中央処理ユニット（３）のランダムアクセスメモリエリア（１５）をアドレス指定可能であることを特徴とする、請求項９乃至１１の何れか１項に記載の集積回路。
13. ワーピング演算ユニット（６）が提供されており、前記入力画像メモリエリア（１２）、前記出力画像メモリエリア（１４）、及び／又は前記ルックアップマトリックスメモリエリア（１３）に対して同時にアクセス可能であることを特徴とする、請求項６乃至１２の何れか１項に記載の集積回路。
14. 前記グラフィックス出力制御ユニット（５）のグラフィックス出力をフィルタリングするべく、フィルタユニットが提供されていることを特徴とする、請求項１乃至１３の何れか１項に記載の集積回路。
15. 前記フィルタユニットは、ピクセルフィルタユニットの形態において実現されており、フィルタパラメータは、プログラム可能なメモリ（１０）内に保存されていることを特徴とする、請求項１４記載の集積回路。
16. ワーピングによる画像の電子的な操作のための方法であって、変換規則を利用することによってソース画像のピクセルをターゲット画像のピクセルに割り当てており、且つ、特に請求項１乃至１５の何れか１項に記載の集積回路を利用する方法において、
    前記ソースピクセルを前記ターゲットピクセル上に投影するための前記変換規則は動的に算出されていることを特徴とする方法。
17. 前記変換規則の前記動的な演算は、計測手段を利用することによって検出される少なくとも１つの外部イベントに依存していることを特徴とする、請求項１６記載のワーピングによる画像の電子的な操作のための方法。
18. 前記計測手段は、前記ターゲット画像を観察している人物の視角及び／又は位置を判定しており、
    前記変換規則は、前記少なくとも一人の観察者の少なくとも前記計測された視角又は前記計測された位置に依存して動的に算出されていることを特徴とする、請求項１６又は１７記載のワーピングによる画像の電子的な操作のための方法。
19. 前記画像情報の前記ワーピングは、ルックアップマトリックスに基づいており、
    前記ルックアップマトリックスは、動的に算出されていることを特徴とする、請求項１６乃至１８の何れか１項に記載のワーピングによる画像の電子的な操作のための方法。
20. 前記ワーピング演算ユニットによる前記ターゲット画像の前記演算の際に第２の後続のルックアップマトリックスが前記中央処理ユニットによって算出されることを特徴とする、請求項１６乃至１９の何れか１項に記載のワーピングによる画像情報の電子的な操作のための方法。
21. 特に、請求項１６乃至１９の何れか１項に記載の方法を実行する画像の電子的な操作のためのシステムにおいて、
    請求項１乃至１５の何れか１項に記載の集積回路と、前記集積回路を利用することによって前記画像（７）を操作するべく、光学画像を電気信号に変換するための手段と、前記集積回路によって電子的に操作された画像（８）を表示するための手段と、を有するシステム。
22. 前記システムは、車両のヘッドアップディスプレイ又はリアビューカメラディスプレイの形態において実現されていることを特徴とする、請求項２０記載のシステム。
23. 前記ターゲット画像の観察者の視角又は位置を判定するべく、計測手段が提供されており、
    前記ターゲット画像は、前記ターゲット画像の少なくとも一人の観察者の前記計測された視角及び／又は前記計測された位置に依存して算出可能であることを特徴とする、請求項２０又は２１記載のシステム。
24. 画像の電子的な操作のための装置内における請求項１乃至１５の何れか１項に記載の集積回路の利用法。
25. 前記集積回路が、車両、特に自動車内において使用されることを特徴とする、請求項２３記載の集積回路の利用法。

Images