JP4335537B2 - 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム - Google Patents
並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム Download PDFInfo
- Publication number
- JP4335537B2 JP4335537B2 JP2002590651A JP2002590651A JP4335537B2 JP 4335537 B2 JP4335537 B2 JP 4335537B2 JP 2002590651 A JP2002590651 A JP 2002590651A JP 2002590651 A JP2002590651 A JP 2002590651A JP 4335537 B2 JP4335537 B2 JP 4335537B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processor
- port
- data port
- processors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
- G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
- G06F15/8023—Two dimensional arrays, e.g. mesh, torus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、並列データ処理のためのデバイスに関する。
【０００２】
本発明は、並列データ処理のための当該デバイスを有するカメラシステムにも関する。
【０００３】
【従来の技術】
並列データ処理のためのデバイスは、一般に知られている。集積回路として当該デバイスを形成することも一般に知られている。これらは、ディジタル信号プロセッサ（ＤＳＰ）として知られている。ＤＳＰの用途の分野は、固体画像センサ（ｓｏｌｉｄ−ｓｔａｔｅ ｉｍａｇｅ ｓｅｎｓｏｒ）によって得られる画像データを処理すると共に更新する分野である。
【０００４】
当該用途において、前記ＤＳＰはカメラシステムに組み込まれ、当該カメラシステムは、光画像（ｌｉｇｈｔ ｉｍａｇｅ）をアナログ電気信号に変換する固体画像センサにおいて光画像を生成するための光部品と、前記アナログ電気信号をディジタル形態の画像データに変換するためのコンバータと、前記データを更に処理するための、とりわけ、例えばモニタ上で当該データによって生成される画質を改善するための前記ＤＳＰとを備える。
【０００５】
上記のようなカメラシステムは、例えばＣＣＴＶ（閉回路テレビ（ｃｌｏｓｅｄ−ｃｉｒｃｕｉｔ ｔｅｌｅｖｉｓｉｏｎ））システム、ウェブカム（ｗｅｂｃａｍ）、ビデオ会議システム、ＤＳＣ（ディジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、及び、例えばテレビスタジオにおいて使用されているようなプロフェッショナルレコーディングシステム（ｐｒｏｆｅｓｓｉｏｎａｌ ｒｅｃｏｒｄｉｎｇ ｓｙｓｔｅｍ）において使用されている。
【０００６】
上述された固体画像センサは、主に、感光性素子（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｅｌｅｍｅｎｔ）の行（画像ライン）及び列からなるセンサマトリックスから構成されている。当該構成において、入射光画像（ｉｎｃｉｄｅｎｔ ｌｉｇｈｔ ｉｍａｇｅ）は画素に分割される。前記入射光画像は、画素毎に感光性素子によって電気信号（画素信号）に変換される。このように合成される全ての画素信号は完全な光画像の情報を有する。更なる処理のために、前記画素信号はディジタルデータに変換される。このように合成される全てのデータは、結果として、この場合ディジタル形態で完全な光画像の情報を有する。
【０００７】
通常、固体画像センサは、電荷結合素子（ＣＣＤ）ＩＣ技術、又は相補型金属酸化膜半導体（ＣＭＯＳ）ＩＣ技術で実現される。両方の場合において、前記画素信号は、電荷パケット（ｅｌｅｃｔｒｉｃ ｃｈａｒｇｅ ｐａｃｋｅｔ）によって構成されている。カラー情報を収集するために、前記センサマトリックス内の個々の感光性素子は、例えば赤、緑、及び青カラーフィルタを、交互のパターンで備えている。
【０００８】
従来の読み出し方法では、前記感光性素子からの前記画素信号は、前記センサマトリックスにおいて行毎に（又は画像ライン毎に）データに変換される。更なる処理に先行して当該データをラインメモリに一時的に記憶することが一般的に行われている。当該ラインメモリ、又はデータバッファは、少なくとも一つの画像ラインに起因するデータのための空き領域（ｓｐａｃｅ）を有している。
【０００９】
前記画像データがディスプレイに適したフォーマットに変換される前に、例えば、異なる画素から入力されるカラー情報を合成するために前記画像データを処理することが概して必要となる。当該目的に対して必要とされる前記デバイスにおいて、前記センサマトリックスにおける、周囲の画素のデータ及び関連したデータが画素毎に使用される。この場合、異なる画素に起因するデータについて、同じ動作が多数回実行される。従って、並列データ処理、例えばＤＳＰのためのデバイスの補助と並行して当該同じ動作を行うことは明らかである。実際、このことは、同質のデータを処理するためのＤＳＰが、他のデータ処理デバイスよりも時間を必要としないと共に電力を消費しない用途の当該分野において一般的に認識されている利点であることは明らかである。
【００１０】
ＤＳＰは、複数のプロセッサと、依然処理されるべきデータの一時的な記憶のための、若しくは既に処理されたデータの一時的な記憶のための、又はその両方のためのデータバッファ又はメモリとを有している。前記ＤＳＰの前記プロセッサ及び前記データバッファは、前記データを入力すると共に出力するためのデータポートを有している。
【００１１】
前記ＤＳＰの設計における顕著な問題は、互いに関する前記プロセッサの配置、及び集積回路におけるデータバッファに関する前記プロセッサの配置にある。前記相互の配置は、異なるプロセッサの前記データポートの間のコネクションのルーティング（ｒｏｕｔｉｎｇ）に大きな影響を与えると共に、プロセッサのデータポートとデータバッファのデータポートとの間のコネクションに大きな影響を与える。データの並列処理のために、多くのコネクションが必要とされる。それ故に、当該コネクションは、前記集積回路が前記シリコン上で必要とする表面積を大いに限定する。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、前記プロセッサが互いに関して配置されると共に、最小限の表面積をもたらす態様で前記データバッファに関して配置される、並列データ処理のためのデバイスを提供することにある。
【００１３】
【課題を解決するための手段】
当該目的に対して、並列データ処理のための前記デバイスは、行及び列で構成される、プロセッサの少なくとも一つのマトリックスを有し、前記行が少しづつずらして配置され、各々のプロセッサが少なくとも一つのデータポートを有し、前記プロセッサのうちの一つの少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって、少なくとも一つの他のプロセッサのうちの少なくとも一つの前記データポートに接続されることを特徴としている。
【００１４】
ほぼ直線状のコネクションとは、直線状であると共に、わずかなねじれ又は湾曲を有していてもよいコネクションを意味していると理解される。
【００１５】
プロセッサの少しづつずらした配置とは、前記プロセッサの各行が、先行するプロセッサの行に関して前記行方向にずらされていることを意味している。各行に対する前記ずれは、同じ方向になされる。
【００１６】
当該態様で前記プロセッサを配置することによって、ほぼ直線状のコネクションは、あるプロセッサのデータポートから他のプロセッサのデータポートに設けられ得る。ほぼ直線状のコネクションは、最小限の表面積も占有する、可能な限り最短のコネクションとなる。このことは、所要の表面積の重大な節減をもたらす。
【００１７】
本発明による前記デバイスは、前記コネクションがほぼ直線状であるばかりでなく、互いに可能な限り近くに配置されるので、前記所要の表面積の更なる節減が達成されるという他の利点を有している。
【００１８】
より小さな表面積を具備する集積回路を選択する代わりに、例えばより大規模な個別プロセッサのより大規模な機能動作による、前記デバイスの機能動作の改善が代わりの選択であってもよい。これにより、ある表面積及び同じ表面積に関するアルゴリズムを処理する、より高度な画像を実現する見通しがもたらされる。
【００１９】
本発明は、前記プロセッサが別個の集積回路として上に配置されると共に、前記コネクションがメタルトラックによって上に構成されるプリント回路基板（ＰＣＢ）における使用にも適している。
【００２０】
前記デバイスの実施例は、更なるデータポートをもつデータバッファを有しており、前記プロセッサの少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって前記データバッファの少なくとも一つの前記更なるデータポートに接続されている。
【００２１】
当該実施例は、前記所要の表面積の更なる節減が、前記プロセッサの前記データポートと前記データバッファの前記更なるデータポートとの間の、ほぼ直線状のコネクションを設けることによっても達成されるという利点を有している。
【００２２】
本発明による前記デバイスの実施例は、少なくとも一つの前記プロセッサの前記データポートが、少なくとも一つの一次データポート及び少なくとも一つの二次データポートを有し、少なくとも一つの前記二次データポートが、ほぼ直線状のコネクションによって他のプロセッサの一次データポートに接続されることを特徴としている。当該実施例は、二次データポートによって少なくとも一つの前記プロセッサに、一次データポートによって他のプロセッサに供給されるデータと同じデータが供給されるとき、複数のデータポートを互いに接続すると共に、前記データバッファの少なくとも一つの前記更なるデータポートに接続するために一つのコネクションしか必要とされないという利点を有している。
【００２３】
本発明による前記デバイスの実施例は、少なくとも一つの前記プロセッサの前記一次データポートが、前記データバッファからデータを受信するための少なくとも一つの一次入力データポートを有し、前記二次データポートが、前記データバッファからデータを受信するための少なくとも一つの二次入力データポートを有し、前記データポートが、前記データバッファにデータを送信するための少なくとも一つの出力データポートを有することを特徴としている。当該実施例は、前記プロセッサの前記一次入力データポートと、前記プロセッサの前記二次データポートと、前記データバッファの前記更なるデータポートとの間のコネクション、並びに、出力データポートと、前記データバッファの更なるデータポートとの間のコネクションが両方ともほぼ直線状になっているという利点を有している。
【００２４】
本発明による前記デバイスの実施例は、前記プロセッサが、一連のデータ構成要素（ｄａｔａ ｅｌｅｍｅｎｔ）から構成されるデータを処理し、各データプロセッサが、前記一連のデータ構成要素からの少なくとも一つのデータ構成要素を処理し、各プロセッサの前記一次入力データポートが、他のプロセッサの前記二次入力データポートに接続されることを特徴としている。当該実施例は、一つの画像ラインから入力されるデータを処理するのに非常に適しており、前記画像ラインにおいては、プロセッサが、一つの画素の前記データ、すなわち前記一次入力データポートに入力される一つのデータ構成要素を処理するばかりでなく、少なくとも一つの他の画素のデータ、すなわち、少なくとも一つの二次入力データポートから入力される、同じ画像ラインからの他のデータ構成要素も処理する。
【００２５】
本発明による前記デバイスの実施例は、各プロセッサの前記二次入力データポートが、第一の二次入力データポート及び第二の二次入力データポートを有し、各々の一次入力データポートが、前記データバッファの更なるデータポートから処理するために、前記一連のデータ構成要素からデータ構成要素を受信し、前記一連のデータ構成要素における前記データ構成要素に先行する前記データ構成要素を処理する前記プロセッサの前記第二の二次入力データポートに接続されると共に、前記一連のデータ構成要素における前記データ構成要素に後続する前記データ構成要素を処理する前記プロセッサの前記第一の二次入力データポートにも接続されることを特徴としている。当該実施例は、一つの画像ラインから入力されるデータを処理するのに非常に適しており、前記画像ラインにおいては、プロセッサが、前記一次入力データポートにおいて入力される一つの画素の前記データばかりでなく、データは各々の二次入力データポートにおいて入力される前記画像ラインにおける、隣接した画素のデータも必要としている。一つの画素のデータが転送される前記データバッファの更なるデータポートへの、前記二次入力データポートからのコネクション又は異なるプロセッサのコネクションは、前記一次入力データポートと、前記データバッファの同じ更なるデータポートとの間のコネクションと可能な限り同じコネクションでもある。
【００２６】
本発明による前記デバイスの実施例は、前記データバッファが、二つの物理的に分離された部分に分割され、第一の部分は、前記プロセッサマトリックスにおけるプロセッサの最初の行の近くに位置されると共に、第二の部分は、前記プロセッサマトリックスにおけるプロセッサの最後の行の近くに位置されることを特徴としている。当該実施例は、前記コネクションに必要とされる前記表面積が更に最小化され得るという利点を有している。
【００２７】
本発明の目的は、入射電磁放射（ｉｎｃｉｄｅｎｔ ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｒａｄｉａｔｉｏｎ）を画素信号に変換するための、行及び列から構成されるセンサマトリックスと、画素信号をデータに変換するための手段と、並列データ処理のためのデバイスとを有するカメラシステムを提供することにもある。
【００２８】
本発明による前記カメラシステムは、並列画像データ処理のための前記デバイスを実現するのに必要とされる、相対的に小さな表面積のために、カメラシステム全体が単一の集積回路として実現され得るという利点を有している。それにもかかわらず、記録された画像データを処理するため、又は一つの集積回路における前記画像データの質を改善するための多彩な機能を有していてもよい。例えば、リアルタイムビデオと、高度コンピュータビジョンアルゴリズム（ａｄｖａｎｃｅｄ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｌｇｏｒｉｔｈｍ）の実現とが、それによって可能となる。それ故に、当該機能はより低いコストで実現され得る。これは、結果として、例えばビデオ会議設備（ｖｉｄｅｏ ｃｏｎｆｅｒｅｎｃｉｎｇ ｆａｃｉｌｉｔｙ）又は自律式シーンインタプレッテイション機能（ａｕｔｏｎｏｍｏｕｓ ｓｃｅｎｅ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｃａｐａｂｉｌｉｔｙ）を消費者市場のための製品にもたらす。
【００２９】
本発明による前記カメラシステムの実施例において、前記センサマトリックス
はカラーフィルタアレイを有しており、各プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理する。当該データは、前記カラーフィルタアレイの異なるカラーについてのカラー情報を有している。前記センサマトリックスの各々の感光性素子は、例えばカラー赤、緑、又は青のうちの一つのためのカラーフィルタを有している。それ故に、各々の感光性素子は、前記カラーのうちの一つに感度を有するであろう。各プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理する。当該データは、赤、緑、及び青を有するアセンブリの異なるカラーのカラー情報を有している。このことは、各画素が別個に三つのカラーコンポーネント、赤、緑、又は青の全てを記録することなく、カラー情報が記録されるという利点を有している。並列データ処理のための前記デバイスは、画素毎に欠落したカラー情報を計算する。
【００３０】
本発明の当該及び他の態様は、以下に記載された実施例から明らかであり、これらの実施例を参照して説明される。当該図面において、同一のコンポーネントは同じ符号によって示されている。
【００３１】
【発明の実施の形態】
図１のカメラシステム１は、センサマトリックス２と、画素信号をデータに変換する手段と、データコンバータ３と、並列データ処理のためのデバイスと、ＤＳＰ４と、前記異なるコンポーネントのタスクを連携させる（ｃｏ−ｏｒｄｉｎａｔｅ）ための中央制御器５とを有している。カメラシステム１全体は、好ましくは、ＣＭＯＳ技術で実現され、全てのコンポーネントが一つの集積回路で実現される。代わりの実施例において、前記異なるコンポーネントは、少なくとも二つの別個の集積回路上で実現される。このことは、センサマトリックス２が、ＣＭＯＳ技術とＣＣＤ技術との両方で実現され得るという利点を有する。センサマトリックス２は、感光性素子の列及び行、画像ラインから構成されている。当該構成のため、入射光画像は画素に分割される。前記入射光画像は、前記感光性素子によって画素毎に画素信号に変換される。データコンバータ３は、少なくとも一つのＡ／Ｄコンバータを有している。画素信号を、ある画像ライン及び同じ画像ラインから同時にデータに変換することが推奨される。複数のＡ／Ｄコンバータが当該目的のために必要とされるが、当該要求仕様は、特に変換レートに関して厳格なものではない。矢印６は、センサマトリックス２からデータコンバータ３への前記画素信号によってカバーされるパスを示している。
【００３２】
前記データは、データコンバータ３からＤＳＰ４に送信される。矢印８は、データコンバータ３から、ＤＳＰ４及びＤＳＰ４の更に内部への前記データによってカバーされるパスを示している。前記実施例において、ＤＳＰ４は、更に入力／出力レジスタに機能的に分割されるデータバッファ７と、Ｉ／Ｏレジスタ９と、メモリバンク１０とを有している。前記ＤＳＰは、個々のプロセッサ１２を更に有する、プロセッサのマトリックスであるプロセッサマトリックス１１も有している。最終的に、中央制御器５は、示されている実施例において、ＤＳＰ４内に実現されている。
【００３３】
ＤＳＰ４内で、データコンバータ６から入力されるデータは、データバッファ７に転送される。当該データ転送は、矢印８によって示されている。示されている実施例において、データバッファ７は、図中７Ａと７Ｂとによってそれぞれ示されている、二つの物理的に分離されている部分によって構成されている。これは、以下更に説明される利点をもたらす。更に、示されている実施例において、データバッファ７の各々の部分７Ａ及び７Ｂは、二つの機能的に異なる部分、Ｉ／Ｏレジスタ９及びメモリバンク１０に分割される。Ｉ／Ｏレジスタ９は、依然処理されるべきデータ及び既に処理されたデータを記憶するために使用される。メモリバンク１０は、中間結果を記憶するために使用される。
【００３４】
プロセッサマトリックス１１におけるプロセッサ１２は、データポート１３を有している。データバッファ７は、更にデータポート１４を有している。データポート１３は、プロセッサ１２が、例えば、データバッファ７から入力データを受信する入力部、及びプロセッサ１２が送出データを送信する出力部であることが分かる。更なるデータポート１４は、データバッファ７が、例えば、プロセッサ１２から入力データを受信する入力部、及びデータバッファ７が送出データを、例えばプロセッサ１２に送信する出力部であることが分かる。
【００３５】
集積回路は、異なるレベルで設計されている。可能な分け方には、機能レベルとレイアウトレベルとがある。前記機能レベルにおいては、集積回路の前記異なる部分が、機能ブロックに分けられる。とりわけ、当該ＤＳＰの場合、プロセッサ１２とデータバッファ７とそれらの相互関係とに分けられる。前記レイアウトレベルにおいては、ライブラリセルで実現されている、異なる機能ブロックが、その後位置されると共にコネクション（ｃｏｎｎｅｃｔｉｏｎ）によって相互接続される。
【００３６】
コネクション１５は、集積回路の製造中、カスタムＩＣ技術の方法で配置される、電気的導通物質の、少なくとも一つの、基本的に四角形のストリップを有し、集積回路の少なくとも二つの部分が電気的導通態様で互いに接続されることを保証する。データポート１３又は更なるデータポート１４は、集積回路の一部、例えばデータバッファ７又はプロセッサ１２がコネクションとの電気的導通コンタクトを設ける位置にある。
【００３７】
コネクション１５は、ＩＣ技術においてカスタム態様で使用される方法によって、電気的導通態様で相互にコンタクトされる、上記のような、複数のコネクションのアセンブリであることも分かる。
【００３８】
示されている実施例において、前記コネクションは、複数のビットを有するデータを並列に送信するよう意図されており、それ故各々のコネクション１５は、常に同じデータポートとの電気的導通コンタクトを設ける、上記のような、複数の並置されたストリップを有している。
【００３９】
ライブラリセルは、非常に異なる態様で互いに位置されるため、機能レベルにおいて同じ集積回路が、レイアウトレベルにおいて相互に大きな差を有していてもよい。これにより、基本的に異なる態様で設けられるコネクション１５ももたらされる。
【００４０】
レイアウトレベルにおいてＤＳＰ４の設計における顕著な問題は、互いに対するプロセッサ１２の配置、及びデータバッファ７に対するプロセッサ１２の配置である。前記相互の配置は、異なるプロセッサ１２のデータポート１３の間のコネクション１５のルーティングに大きな影響を及ぼすと共に、データバッファ７の更なるデータポート１４とデータポート１３との間のコネクション１５のルーティングにも大きな影響を及ぼす。データ処理における並列処理のために、多くのコネクション１５が必要となる。その結果、当該コネクションは、前記集積回路がシリコン上で必要とする前記表面積を大いに限定する。
【００４１】
本発明によれば、プロセッサ１２は、最小の表面積をもたらす態様で、互いに対して配置され、及びデータバッファ７に対して配置される。図１に示されている実施例は、ＤＳＰのレイアウトにおいてこれが達成される態様を示している。
【００４２】
まず、プロセッサマトリックス１１におけるプロセッサ１２は、行１６及び列１７において配置され、行１６が少しづつずらして配置されると共に各々のプロセッサ１２が少なくとも一つのデータポート１３を有する。データバッファ７は、更なるデータポート１４も備えている。更に、プロセッサ１２のデータポート１３は、ほぼ直線状のコネクション１５によって、データバッファ７のうちの少なくとも一つの更なるデータポート１４に接続される。
【００４３】
前記プロセッサの各々の行１６におけるプロセッサ１２の、前記少しづつずらした構成は、プロセッサの、先行する行に対して行方向にずらされる。当該ずれは、各々の行１６に対して同じ方向で実現される。
【００４４】
プロセッサ１２を当該態様で配置することによって、一方のプロセッサのデータポート１３から他方のプロセッサの前記データポートに、又は前記データポートから更なるデータポート１４に、ほぼ直線状のコネクションは設けられ得ることが達成される。ほぼ直線状のコネクション１５は、最小の表面積も占める、可能な限り最短のコネクションである。表面積の顕著な節減がそのとき達成される。
【００４５】
他の利点は、図に示されているようなコネクション１５が、ほぼ直線状の態様で位置されてもよいばかりでなく、互いに可能な限り近付くように位置されてもよいので、所要の表面積の、更なる節減がそのとき達成されることにある。
【００４６】
コネクション１５を互いに可能な限り近付けるように配置し、その結果として、表面積を節減する他の可能性としては、データバッファ７Ａの第一の部分がプロセッサマトリックス１１におけるデータプロセッサ１２の最初の行の近くに位置されると共に、データバッファ７Ｂの第二の部分がプロセッサマトリックス１１におけるデータプロセッサの最後の行の近くに位置される形態で、データバッファ７を二つの物理的に分離された部分に分割することが挙げられる。
【００４７】
上記のようなデータバッファ７の前記分割による利点を最もよく発揮するために、コネクション１５は、データバッファ７Ａの第一の部分の更なるデータポート１４に常に接続され、隣接するコネクション１５は、データバッファ７Ｂの第二の部分の更なるデータポート１４に接続される。
【００４８】
より小さな表面積を有する集積回路を選択する代わりに、前記デバイスの機能動作、例えばより大規模な個々のプロセッサ１２のより大規模な機能動作を改善すること、又はデータバッファ７を大規模化することは代わりの選択となる。これにより、同じ表面積に関するアルゴリズムを処理する、より高度な画像を実現する見通しがもたらされる。
【００４９】
上記のように、ＤＳＰ４の前記設計は、集積回路における使用に適しているばかりでなく、プロセッサ１２が別個の集積回路として上に配置されるプリント回路基板（ＰＣＢ）上の使用にも適しており、コネクション１５が前記ＰＣＢ上において電気的導通トラックによって構成されることは明らかであろう。
【００５０】
上記のＤＳＰ４を具備するカメラシステム１は、単一の集積回路によって実現され得るカメラシステムである。当該システムは、ＤＳＰ４に必要とされる相対的に小さな表面積によって実現可能となる。しかしながら、カメラシステム１は、記録された画像データを処理するための多彩な機能、又は一つの集積回路における前記画像データの質を改善するための多彩な機能を有している。例えば、リアルタイムビデオ及び高度コンピュータビジョンアルゴリズムの実現がそれによって可能となるであろう。当該機能は、本発明によるカメラシステムによって、より低いコストで実現され得る。これは、結果として、例えばビデオ会議設備又は自律式シーンインタプレッテイション機能を前記消費者市場のための製品にもたらす。
【００５１】
図２は、カラーフィルタアレイ２２を概略的に示している。当該カラーフィルタアレイがセンサマトリックス２上に配置されると、各々の感光性素子は、特定のカラーの光を受光するので、当該特定のカラーに対して感度を有する。示されているパターンにより、前記センサマトリックスからの各々の感光性素子はカラー赤１８、緑１９、又は青２０のうちの一つに感度を有することが保証される。従って、前記センサマトリックスにおける行は、当該カラーのうちの二つの情報を有している。前記センサマトリックスは、常に一行づつ読み出される。ＤＳＰ４は、処理動作毎に一つのカラーを処理する。従って、当該列が常に二つの異なるカラーについての情報を有しているため、前記センサマトリックスにおける二つの隣接した列から入力されるデータを常にプロセッサ１２毎に処理することは有利なことである。３２０個ものプロセッサ１２が、ラインシーケンシャルな（ｌｉｎｅ−ｓｅｑｕｅｎｔｉａｌｌｙ）処理、例えば各々６４０画素の４８０行を有するＶＧＡ画像のためにそのとき必要とされる。
【００５２】
センサマトリックス２の複数の列は一つのプロセッサ１２を共有している態様が、使用されているカラーフィルタアレイ２２に依存していることは明らかであろう。例えば、カラーフィルタアレイ２２が、三つのカラーは各々のセンサマトリックス行においてもたらされることを保証する場合、前記センサマトリックスの三つの列全てに対しては一つのプロセッサ１２を使用することで十分である。
【００５３】
前記画素信号の行シーケンシャルな（ｒｏｗ−ｓｅｑｕｅｎｔｉａｌ）処理のため、データコンバータ３において、一つの行からの前記画素信号をデータに同時に変換することは有利なことである。当該目的のため、複数のＡ／Ｄコンバータが必要となるが、当該要求仕様は特に変換レートに関して厳格なものではない。Ａ／Ｄコンバータ毎のより低い変換レートの結果、画素信号の、データへの変換は電力をほとんど必要としない。
【００５４】
ＤＳＰ４は常に処理動作毎に一つのカラーを処理し、センサマトリックス２の各行は二つのカラーを有するため、データコンバータ３において前記センサマトリックスの二つの列毎に一つのＡ／Ｄコンバータを使用することで十分である。これは、両方の列から入力される画素信号の時多重（ｔｉｍｅ ｍｕｌｔｉｐｌｅｘｉｎｇ）を使用することによって実現される。
【００５５】
図３は、プロセッサマトリックス１１の実施例を概略的に示している。当該実施例において、プロセッサ１２は複数のデータポート１３を有している。一次データポート１３Ａ及び二次データポート１３Ｂは、前記データポート内で識別され得る。一方のプロセッサ１２の一次データポート１３Ａ及び他方のプロセッサの二次データポート１３Ｂは、ほぼ直線状のコネクション１５によって相互接続される。これは、図１に関して既に記載されているように、プロセッサマトリックス１１においてプロセッサ１２を配置する前記モードによって実現される。当該実施例は、同じデータが、一方のプロセッサ１２の一次入力部１３Ａと、他方のプロセッサの二次入力部１３Ｂとの両方に送信されなければならないとき、データポート１３Ａと１３Ｂとを相互接続すると共に、当該データポートをデータバッファ７の更なるデータポート１４の一つに接続するために、たった一つのコネクション１５しか必要とされないという利点を有している。一次データポート１３Ａとデータバッファ７の更なるデータポート１４との間の、コネクション１５の前記部分もほぼ直線状であると有利である。
【００５６】
図４は、プロセッサ１２が複数のデータポート１３を有するプロセッサマトリックス１１の実施例を概略的に示している。当該データポートは、前記データバッファからデータを受信するための一次入力データポート１３Ａと、ここでも前記データバッファからデータを受信するための二次入力データポート１３Ｂ１と、出力データポート１３Ａ２とに更に分割される。一方のプロセッサ１２の一次入力データポート１３Ａ１は、ほぼ直線状のコネクション１５によって、他方のプロセッサの二次入力データポート１３Ｂ１と、データバッファ７の更なるデータポート１４との両方に接続される。コネクション１５における矢印は、前記データ送出の方向を示している。更に、出力データポート１３Ａ２は、コネクション１５によって、前記データバッファの更なるデータポート１４に接続される。当該実施例は、前記プロセッサの一次入力データポート１３Ａ１と、プロセッサ１２の二次入力データポート１３Ｂ１と、データバッファ７の更なるデータポート１４との間のコネクション１５、並びに、出力データポート１３Ａ２と、データバッファ７の更なるデータポート１４との間のコネクション１５が両方ともほぼ直線状であるという利点を有している。
【００５７】
一つの画像ラインから入力されるデータを処理する際、各々のプロセッサ１２は、一次入力データポート１３Ａ１に入力される一つの画素のデータを処理するばかりでなく、他の画素のデータも処理することが頻繁に必要となる。後者のデータは、そのとき二次入力データポート１３Ｂ１を介して入力される。これは、コネクション１５が二次入力データポート１３Ｂ１及び一次入力データポート１３Ａ１を前記データバッファの更なるデータポート１４に接続するときに実現される。プロセッサマトリックス１１におけるプロセッサ１２の配置のために全てのコネクション１５がほぼ直線状なので、図４の実施例は当該目的に特に適している。
【００５８】
図５は、一連のデータ構成要素から構成されるデータを処理するのに非常に適しているプロセッサマトリックス１１の実施例を概略的に示している。各々のプロセッサ１２は、データバッファ７に記憶されている一連のデータ構成要素からの一つのデータ構成要素２１を処理する。プロセッサ１２は、前記データバッファからデータを受信するための一次入力データポート１３Ａ１と、第一の二次入力データポート１３Ｂ２と、第二の二次入力データポート１３Ｂ３とに分割されている複数のデータポート１３を有している。各々の一次入力データポート１３Ａ１は、データバッファ７の更なるデータポート１４からデータ構成要素２１、例えばＮを受信する。同じプロセッサは、第一の二次入力データポート１３Ｂ２における前記行内で先行するデータ構成要素２１、例えばＮ−１と、第二の二次入力データポート１３Ｂ３における前記行内で後続するデータ構成要素２１、例えばＮ＋１とも受信する。これは、ほぼ直線状のコネクション１５によって、第一のプロセッサ１２の一次入力データポート１３Ａ１を、第二のプロセッサの第一の二次入力データポート１３Ｂ２と、第三のプロセッサの第二の二次入力データポート１３Ｂ３との両方に接続すると共に、データバッファ７の更なるデータポート１４に接続することによって実現される。
【００５９】
図６Ａは、本発明による前記カメラシステムの一部の他の実施例を概略的に示している。当該実施例において、ＤＳＰ４は、一つのプロセッサマトリックス１１を有していないが、隣接する二つのプロセッサマトリックス１１を有している。二つ以上のプロセッサマトリックスを並べることも当然可能である。当該実施例は、両方のプロセッサマトリックス１１におけるプロセッサ１２が同じデータについて異なる処理動作を実行し得るという利点を有している。異なるプロセッサマトリックス１１内だが前記プロセッサマトリックスにおいて対応する位置に共に位置されている、二つの当該プロセッサ１２は、そのとき自身のデータポート１３において同じデータを受信する。他の利点は、一方のプロセッサマトリックス１１におけるプロセッサ１２の処理動作の結果が、他方のプロセッサマトリックス１１におけるプロセッサ１２の処理動作の結果と交換され得ることにある。
【００６０】
図６Ｂは、本発明による前記カメラシステムの一部の他の実施例を概略的に示している。当該実施例において、ＤＳＰ４は、一つのプロセッサマトリックス１１を有していないが、隣接する二つのプロセッサマトリックス１１を有している。更に、両方のプロセッサマトリックスは、互いにミラー反転している。これは、当然繰り返しの態様で行われてもよい。いくつかの処理動作を実行するために、プロセッサマトリックスを、相互にミラー反転された構成で並べることは有利であってもよい。
【００６１】
以上まとめると、本発明は、データを並列処理するためのデバイスと、当該デバイスを有するカメラシステムとに関する。カメラシステム１は、センサマトリックス２と、データコンバータ３と、ＤＳＰ４と、中央制御器５と、データバッファ７と、プロセッサ１２から構成されるプロセッサマトリックス１１とを有している。センサマトリックス２は、入射電磁放射を画素信号に変換する。データコンバータ３は、前記画素信号をデータに変換する。矢印６及び８は、画素信号及びデータの送出を概略的に示している。データバッファ７は、部分７Ａ及び部分７Ｂに物理的に分割され、Ｉ／Ｏレジスタ９及びメモリバンク１０に機能的に分割される。中央制御器５は、前記異なるタスクを連携させる。プロセッサ１２及びデータバッファ７は、コネクション１５によって電気的導通態様で相互に接続されている出力部及び入力部を備える、データポート１３及び更なるデータポート１４を有している。プロセッサ１２は、相互に少しづつずらして配置される行１６と、列１７とにおいて配置される。これにより、全てのコネクション１５は、ほぼ直線状となる。これにより、コネクションの数に起因して、前記表面積が低減される。
【００６２】
記載されている実施例において、特にカメラシステムの実施例が議論されてきた。本発明による並列データ処理のための前記デバイスが、多くの分野における使用に適していることは当業者にとって明らかであろう。
【図面の簡単な説明】
【図１】 本発明によるカメラシステムの実施例を概略的に示している。
【図２】 本発明によるカメラシステムの実施例において使用されているカラーフィルタアレイを概略的に示している。
【図３】 本発明による並列データ処理のためのデバイスにおけるプロセッサの前記マトリックスの実施例を概略的に示している。
【図４】 本発明による並列データ処理のためのデバイスにおけるプロセッサのマトリックスの他の実施例を概略的に示している。
【図５】 本発明による並列データ処理のためのデバイスにおけるプロセッサの前記マトリックスの他の実施例を概略的に示している。
【図６Ａ】 本発明による前記カメラシステムの一部の他の実施例を概略的に示している。
【図６Ｂ】 本発明による前記カメラシステムの一部の他の実施例を概略的に示している。
【発明の属する技術分野】
本発明は、並列データ処理のためのデバイスに関する。
【０００２】
本発明は、並列データ処理のための当該デバイスを有するカメラシステムにも関する。
【０００３】
【従来の技術】
並列データ処理のためのデバイスは、一般に知られている。集積回路として当該デバイスを形成することも一般に知られている。これらは、ディジタル信号プロセッサ（ＤＳＰ）として知られている。ＤＳＰの用途の分野は、固体画像センサ（ｓｏｌｉｄ−ｓｔａｔｅ ｉｍａｇｅ ｓｅｎｓｏｒ）によって得られる画像データを処理すると共に更新する分野である。
【０００４】
当該用途において、前記ＤＳＰはカメラシステムに組み込まれ、当該カメラシステムは、光画像（ｌｉｇｈｔ ｉｍａｇｅ）をアナログ電気信号に変換する固体画像センサにおいて光画像を生成するための光部品と、前記アナログ電気信号をディジタル形態の画像データに変換するためのコンバータと、前記データを更に処理するための、とりわけ、例えばモニタ上で当該データによって生成される画質を改善するための前記ＤＳＰとを備える。
【０００５】
上記のようなカメラシステムは、例えばＣＣＴＶ（閉回路テレビ（ｃｌｏｓｅｄ−ｃｉｒｃｕｉｔ ｔｅｌｅｖｉｓｉｏｎ））システム、ウェブカム（ｗｅｂｃａｍ）、ビデオ会議システム、ＤＳＣ（ディジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、及び、例えばテレビスタジオにおいて使用されているようなプロフェッショナルレコーディングシステム（ｐｒｏｆｅｓｓｉｏｎａｌ ｒｅｃｏｒｄｉｎｇ ｓｙｓｔｅｍ）において使用されている。
【０００６】
上述された固体画像センサは、主に、感光性素子（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｅｌｅｍｅｎｔ）の行（画像ライン）及び列からなるセンサマトリックスから構成されている。当該構成において、入射光画像（ｉｎｃｉｄｅｎｔ ｌｉｇｈｔ ｉｍａｇｅ）は画素に分割される。前記入射光画像は、画素毎に感光性素子によって電気信号（画素信号）に変換される。このように合成される全ての画素信号は完全な光画像の情報を有する。更なる処理のために、前記画素信号はディジタルデータに変換される。このように合成される全てのデータは、結果として、この場合ディジタル形態で完全な光画像の情報を有する。
【０００７】
通常、固体画像センサは、電荷結合素子（ＣＣＤ）ＩＣ技術、又は相補型金属酸化膜半導体（ＣＭＯＳ）ＩＣ技術で実現される。両方の場合において、前記画素信号は、電荷パケット（ｅｌｅｃｔｒｉｃ ｃｈａｒｇｅ ｐａｃｋｅｔ）によって構成されている。カラー情報を収集するために、前記センサマトリックス内の個々の感光性素子は、例えば赤、緑、及び青カラーフィルタを、交互のパターンで備えている。
【０００８】
従来の読み出し方法では、前記感光性素子からの前記画素信号は、前記センサマトリックスにおいて行毎に（又は画像ライン毎に）データに変換される。更なる処理に先行して当該データをラインメモリに一時的に記憶することが一般的に行われている。当該ラインメモリ、又はデータバッファは、少なくとも一つの画像ラインに起因するデータのための空き領域（ｓｐａｃｅ）を有している。
【０００９】
前記画像データがディスプレイに適したフォーマットに変換される前に、例えば、異なる画素から入力されるカラー情報を合成するために前記画像データを処理することが概して必要となる。当該目的に対して必要とされる前記デバイスにおいて、前記センサマトリックスにおける、周囲の画素のデータ及び関連したデータが画素毎に使用される。この場合、異なる画素に起因するデータについて、同じ動作が多数回実行される。従って、並列データ処理、例えばＤＳＰのためのデバイスの補助と並行して当該同じ動作を行うことは明らかである。実際、このことは、同質のデータを処理するためのＤＳＰが、他のデータ処理デバイスよりも時間を必要としないと共に電力を消費しない用途の当該分野において一般的に認識されている利点であることは明らかである。
【００１０】
ＤＳＰは、複数のプロセッサと、依然処理されるべきデータの一時的な記憶のための、若しくは既に処理されたデータの一時的な記憶のための、又はその両方のためのデータバッファ又はメモリとを有している。前記ＤＳＰの前記プロセッサ及び前記データバッファは、前記データを入力すると共に出力するためのデータポートを有している。
【００１１】
前記ＤＳＰの設計における顕著な問題は、互いに関する前記プロセッサの配置、及び集積回路におけるデータバッファに関する前記プロセッサの配置にある。前記相互の配置は、異なるプロセッサの前記データポートの間のコネクションのルーティング（ｒｏｕｔｉｎｇ）に大きな影響を与えると共に、プロセッサのデータポートとデータバッファのデータポートとの間のコネクションに大きな影響を与える。データの並列処理のために、多くのコネクションが必要とされる。それ故に、当該コネクションは、前記集積回路が前記シリコン上で必要とする表面積を大いに限定する。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、前記プロセッサが互いに関して配置されると共に、最小限の表面積をもたらす態様で前記データバッファに関して配置される、並列データ処理のためのデバイスを提供することにある。
【００１３】
【課題を解決するための手段】
当該目的に対して、並列データ処理のための前記デバイスは、行及び列で構成される、プロセッサの少なくとも一つのマトリックスを有し、前記行が少しづつずらして配置され、各々のプロセッサが少なくとも一つのデータポートを有し、前記プロセッサのうちの一つの少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって、少なくとも一つの他のプロセッサのうちの少なくとも一つの前記データポートに接続されることを特徴としている。
【００１４】
ほぼ直線状のコネクションとは、直線状であると共に、わずかなねじれ又は湾曲を有していてもよいコネクションを意味していると理解される。
【００１５】
プロセッサの少しづつずらした配置とは、前記プロセッサの各行が、先行するプロセッサの行に関して前記行方向にずらされていることを意味している。各行に対する前記ずれは、同じ方向になされる。
【００１６】
当該態様で前記プロセッサを配置することによって、ほぼ直線状のコネクションは、あるプロセッサのデータポートから他のプロセッサのデータポートに設けられ得る。ほぼ直線状のコネクションは、最小限の表面積も占有する、可能な限り最短のコネクションとなる。このことは、所要の表面積の重大な節減をもたらす。
【００１７】
本発明による前記デバイスは、前記コネクションがほぼ直線状であるばかりでなく、互いに可能な限り近くに配置されるので、前記所要の表面積の更なる節減が達成されるという他の利点を有している。
【００１８】
より小さな表面積を具備する集積回路を選択する代わりに、例えばより大規模な個別プロセッサのより大規模な機能動作による、前記デバイスの機能動作の改善が代わりの選択であってもよい。これにより、ある表面積及び同じ表面積に関するアルゴリズムを処理する、より高度な画像を実現する見通しがもたらされる。
【００１９】
本発明は、前記プロセッサが別個の集積回路として上に配置されると共に、前記コネクションがメタルトラックによって上に構成されるプリント回路基板（ＰＣＢ）における使用にも適している。
【００２０】
前記デバイスの実施例は、更なるデータポートをもつデータバッファを有しており、前記プロセッサの少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって前記データバッファの少なくとも一つの前記更なるデータポートに接続されている。
【００２１】
当該実施例は、前記所要の表面積の更なる節減が、前記プロセッサの前記データポートと前記データバッファの前記更なるデータポートとの間の、ほぼ直線状のコネクションを設けることによっても達成されるという利点を有している。
【００２２】
本発明による前記デバイスの実施例は、少なくとも一つの前記プロセッサの前記データポートが、少なくとも一つの一次データポート及び少なくとも一つの二次データポートを有し、少なくとも一つの前記二次データポートが、ほぼ直線状のコネクションによって他のプロセッサの一次データポートに接続されることを特徴としている。当該実施例は、二次データポートによって少なくとも一つの前記プロセッサに、一次データポートによって他のプロセッサに供給されるデータと同じデータが供給されるとき、複数のデータポートを互いに接続すると共に、前記データバッファの少なくとも一つの前記更なるデータポートに接続するために一つのコネクションしか必要とされないという利点を有している。
【００２３】
本発明による前記デバイスの実施例は、少なくとも一つの前記プロセッサの前記一次データポートが、前記データバッファからデータを受信するための少なくとも一つの一次入力データポートを有し、前記二次データポートが、前記データバッファからデータを受信するための少なくとも一つの二次入力データポートを有し、前記データポートが、前記データバッファにデータを送信するための少なくとも一つの出力データポートを有することを特徴としている。当該実施例は、前記プロセッサの前記一次入力データポートと、前記プロセッサの前記二次データポートと、前記データバッファの前記更なるデータポートとの間のコネクション、並びに、出力データポートと、前記データバッファの更なるデータポートとの間のコネクションが両方ともほぼ直線状になっているという利点を有している。
【００２４】
本発明による前記デバイスの実施例は、前記プロセッサが、一連のデータ構成要素（ｄａｔａ ｅｌｅｍｅｎｔ）から構成されるデータを処理し、各データプロセッサが、前記一連のデータ構成要素からの少なくとも一つのデータ構成要素を処理し、各プロセッサの前記一次入力データポートが、他のプロセッサの前記二次入力データポートに接続されることを特徴としている。当該実施例は、一つの画像ラインから入力されるデータを処理するのに非常に適しており、前記画像ラインにおいては、プロセッサが、一つの画素の前記データ、すなわち前記一次入力データポートに入力される一つのデータ構成要素を処理するばかりでなく、少なくとも一つの他の画素のデータ、すなわち、少なくとも一つの二次入力データポートから入力される、同じ画像ラインからの他のデータ構成要素も処理する。
【００２５】
本発明による前記デバイスの実施例は、各プロセッサの前記二次入力データポートが、第一の二次入力データポート及び第二の二次入力データポートを有し、各々の一次入力データポートが、前記データバッファの更なるデータポートから処理するために、前記一連のデータ構成要素からデータ構成要素を受信し、前記一連のデータ構成要素における前記データ構成要素に先行する前記データ構成要素を処理する前記プロセッサの前記第二の二次入力データポートに接続されると共に、前記一連のデータ構成要素における前記データ構成要素に後続する前記データ構成要素を処理する前記プロセッサの前記第一の二次入力データポートにも接続されることを特徴としている。当該実施例は、一つの画像ラインから入力されるデータを処理するのに非常に適しており、前記画像ラインにおいては、プロセッサが、前記一次入力データポートにおいて入力される一つの画素の前記データばかりでなく、データは各々の二次入力データポートにおいて入力される前記画像ラインにおける、隣接した画素のデータも必要としている。一つの画素のデータが転送される前記データバッファの更なるデータポートへの、前記二次入力データポートからのコネクション又は異なるプロセッサのコネクションは、前記一次入力データポートと、前記データバッファの同じ更なるデータポートとの間のコネクションと可能な限り同じコネクションでもある。
【００２６】
本発明による前記デバイスの実施例は、前記データバッファが、二つの物理的に分離された部分に分割され、第一の部分は、前記プロセッサマトリックスにおけるプロセッサの最初の行の近くに位置されると共に、第二の部分は、前記プロセッサマトリックスにおけるプロセッサの最後の行の近くに位置されることを特徴としている。当該実施例は、前記コネクションに必要とされる前記表面積が更に最小化され得るという利点を有している。
【００２７】
本発明の目的は、入射電磁放射（ｉｎｃｉｄｅｎｔ ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｒａｄｉａｔｉｏｎ）を画素信号に変換するための、行及び列から構成されるセンサマトリックスと、画素信号をデータに変換するための手段と、並列データ処理のためのデバイスとを有するカメラシステムを提供することにもある。
【００２８】
本発明による前記カメラシステムは、並列画像データ処理のための前記デバイスを実現するのに必要とされる、相対的に小さな表面積のために、カメラシステム全体が単一の集積回路として実現され得るという利点を有している。それにもかかわらず、記録された画像データを処理するため、又は一つの集積回路における前記画像データの質を改善するための多彩な機能を有していてもよい。例えば、リアルタイムビデオと、高度コンピュータビジョンアルゴリズム（ａｄｖａｎｃｅｄ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｌｇｏｒｉｔｈｍ）の実現とが、それによって可能となる。それ故に、当該機能はより低いコストで実現され得る。これは、結果として、例えばビデオ会議設備（ｖｉｄｅｏ ｃｏｎｆｅｒｅｎｃｉｎｇ ｆａｃｉｌｉｔｙ）又は自律式シーンインタプレッテイション機能（ａｕｔｏｎｏｍｏｕｓ ｓｃｅｎｅ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｃａｐａｂｉｌｉｔｙ）を消費者市場のための製品にもたらす。
【００２９】
本発明による前記カメラシステムの実施例において、前記センサマトリックス
はカラーフィルタアレイを有しており、各プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理する。当該データは、前記カラーフィルタアレイの異なるカラーについてのカラー情報を有している。前記センサマトリックスの各々の感光性素子は、例えばカラー赤、緑、又は青のうちの一つのためのカラーフィルタを有している。それ故に、各々の感光性素子は、前記カラーのうちの一つに感度を有するであろう。各プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理する。当該データは、赤、緑、及び青を有するアセンブリの異なるカラーのカラー情報を有している。このことは、各画素が別個に三つのカラーコンポーネント、赤、緑、又は青の全てを記録することなく、カラー情報が記録されるという利点を有している。並列データ処理のための前記デバイスは、画素毎に欠落したカラー情報を計算する。
【００３０】
本発明の当該及び他の態様は、以下に記載された実施例から明らかであり、これらの実施例を参照して説明される。当該図面において、同一のコンポーネントは同じ符号によって示されている。
【００３１】
【発明の実施の形態】
図１のカメラシステム１は、センサマトリックス２と、画素信号をデータに変換する手段と、データコンバータ３と、並列データ処理のためのデバイスと、ＤＳＰ４と、前記異なるコンポーネントのタスクを連携させる（ｃｏ−ｏｒｄｉｎａｔｅ）ための中央制御器５とを有している。カメラシステム１全体は、好ましくは、ＣＭＯＳ技術で実現され、全てのコンポーネントが一つの集積回路で実現される。代わりの実施例において、前記異なるコンポーネントは、少なくとも二つの別個の集積回路上で実現される。このことは、センサマトリックス２が、ＣＭＯＳ技術とＣＣＤ技術との両方で実現され得るという利点を有する。センサマトリックス２は、感光性素子の列及び行、画像ラインから構成されている。当該構成のため、入射光画像は画素に分割される。前記入射光画像は、前記感光性素子によって画素毎に画素信号に変換される。データコンバータ３は、少なくとも一つのＡ／Ｄコンバータを有している。画素信号を、ある画像ライン及び同じ画像ラインから同時にデータに変換することが推奨される。複数のＡ／Ｄコンバータが当該目的のために必要とされるが、当該要求仕様は、特に変換レートに関して厳格なものではない。矢印６は、センサマトリックス２からデータコンバータ３への前記画素信号によってカバーされるパスを示している。
【００３２】
前記データは、データコンバータ３からＤＳＰ４に送信される。矢印８は、データコンバータ３から、ＤＳＰ４及びＤＳＰ４の更に内部への前記データによってカバーされるパスを示している。前記実施例において、ＤＳＰ４は、更に入力／出力レジスタに機能的に分割されるデータバッファ７と、Ｉ／Ｏレジスタ９と、メモリバンク１０とを有している。前記ＤＳＰは、個々のプロセッサ１２を更に有する、プロセッサのマトリックスであるプロセッサマトリックス１１も有している。最終的に、中央制御器５は、示されている実施例において、ＤＳＰ４内に実現されている。
【００３３】
ＤＳＰ４内で、データコンバータ６から入力されるデータは、データバッファ７に転送される。当該データ転送は、矢印８によって示されている。示されている実施例において、データバッファ７は、図中７Ａと７Ｂとによってそれぞれ示されている、二つの物理的に分離されている部分によって構成されている。これは、以下更に説明される利点をもたらす。更に、示されている実施例において、データバッファ７の各々の部分７Ａ及び７Ｂは、二つの機能的に異なる部分、Ｉ／Ｏレジスタ９及びメモリバンク１０に分割される。Ｉ／Ｏレジスタ９は、依然処理されるべきデータ及び既に処理されたデータを記憶するために使用される。メモリバンク１０は、中間結果を記憶するために使用される。
【００３４】
プロセッサマトリックス１１におけるプロセッサ１２は、データポート１３を有している。データバッファ７は、更にデータポート１４を有している。データポート１３は、プロセッサ１２が、例えば、データバッファ７から入力データを受信する入力部、及びプロセッサ１２が送出データを送信する出力部であることが分かる。更なるデータポート１４は、データバッファ７が、例えば、プロセッサ１２から入力データを受信する入力部、及びデータバッファ７が送出データを、例えばプロセッサ１２に送信する出力部であることが分かる。
【００３５】
集積回路は、異なるレベルで設計されている。可能な分け方には、機能レベルとレイアウトレベルとがある。前記機能レベルにおいては、集積回路の前記異なる部分が、機能ブロックに分けられる。とりわけ、当該ＤＳＰの場合、プロセッサ１２とデータバッファ７とそれらの相互関係とに分けられる。前記レイアウトレベルにおいては、ライブラリセルで実現されている、異なる機能ブロックが、その後位置されると共にコネクション（ｃｏｎｎｅｃｔｉｏｎ）によって相互接続される。
【００３６】
コネクション１５は、集積回路の製造中、カスタムＩＣ技術の方法で配置される、電気的導通物質の、少なくとも一つの、基本的に四角形のストリップを有し、集積回路の少なくとも二つの部分が電気的導通態様で互いに接続されることを保証する。データポート１３又は更なるデータポート１４は、集積回路の一部、例えばデータバッファ７又はプロセッサ１２がコネクションとの電気的導通コンタクトを設ける位置にある。
【００３７】
コネクション１５は、ＩＣ技術においてカスタム態様で使用される方法によって、電気的導通態様で相互にコンタクトされる、上記のような、複数のコネクションのアセンブリであることも分かる。
【００３８】
示されている実施例において、前記コネクションは、複数のビットを有するデータを並列に送信するよう意図されており、それ故各々のコネクション１５は、常に同じデータポートとの電気的導通コンタクトを設ける、上記のような、複数の並置されたストリップを有している。
【００３９】
ライブラリセルは、非常に異なる態様で互いに位置されるため、機能レベルにおいて同じ集積回路が、レイアウトレベルにおいて相互に大きな差を有していてもよい。これにより、基本的に異なる態様で設けられるコネクション１５ももたらされる。
【００４０】
レイアウトレベルにおいてＤＳＰ４の設計における顕著な問題は、互いに対するプロセッサ１２の配置、及びデータバッファ７に対するプロセッサ１２の配置である。前記相互の配置は、異なるプロセッサ１２のデータポート１３の間のコネクション１５のルーティングに大きな影響を及ぼすと共に、データバッファ７の更なるデータポート１４とデータポート１３との間のコネクション１５のルーティングにも大きな影響を及ぼす。データ処理における並列処理のために、多くのコネクション１５が必要となる。その結果、当該コネクションは、前記集積回路がシリコン上で必要とする前記表面積を大いに限定する。
【００４１】
本発明によれば、プロセッサ１２は、最小の表面積をもたらす態様で、互いに対して配置され、及びデータバッファ７に対して配置される。図１に示されている実施例は、ＤＳＰのレイアウトにおいてこれが達成される態様を示している。
【００４２】
まず、プロセッサマトリックス１１におけるプロセッサ１２は、行１６及び列１７において配置され、行１６が少しづつずらして配置されると共に各々のプロセッサ１２が少なくとも一つのデータポート１３を有する。データバッファ７は、更なるデータポート１４も備えている。更に、プロセッサ１２のデータポート１３は、ほぼ直線状のコネクション１５によって、データバッファ７のうちの少なくとも一つの更なるデータポート１４に接続される。
【００４３】
前記プロセッサの各々の行１６におけるプロセッサ１２の、前記少しづつずらした構成は、プロセッサの、先行する行に対して行方向にずらされる。当該ずれは、各々の行１６に対して同じ方向で実現される。
【００４４】
プロセッサ１２を当該態様で配置することによって、一方のプロセッサのデータポート１３から他方のプロセッサの前記データポートに、又は前記データポートから更なるデータポート１４に、ほぼ直線状のコネクションは設けられ得ることが達成される。ほぼ直線状のコネクション１５は、最小の表面積も占める、可能な限り最短のコネクションである。表面積の顕著な節減がそのとき達成される。
【００４５】
他の利点は、図に示されているようなコネクション１５が、ほぼ直線状の態様で位置されてもよいばかりでなく、互いに可能な限り近付くように位置されてもよいので、所要の表面積の、更なる節減がそのとき達成されることにある。
【００４６】
コネクション１５を互いに可能な限り近付けるように配置し、その結果として、表面積を節減する他の可能性としては、データバッファ７Ａの第一の部分がプロセッサマトリックス１１におけるデータプロセッサ１２の最初の行の近くに位置されると共に、データバッファ７Ｂの第二の部分がプロセッサマトリックス１１におけるデータプロセッサの最後の行の近くに位置される形態で、データバッファ７を二つの物理的に分離された部分に分割することが挙げられる。
【００４７】
上記のようなデータバッファ７の前記分割による利点を最もよく発揮するために、コネクション１５は、データバッファ７Ａの第一の部分の更なるデータポート１４に常に接続され、隣接するコネクション１５は、データバッファ７Ｂの第二の部分の更なるデータポート１４に接続される。
【００４８】
より小さな表面積を有する集積回路を選択する代わりに、前記デバイスの機能動作、例えばより大規模な個々のプロセッサ１２のより大規模な機能動作を改善すること、又はデータバッファ７を大規模化することは代わりの選択となる。これにより、同じ表面積に関するアルゴリズムを処理する、より高度な画像を実現する見通しがもたらされる。
【００４９】
上記のように、ＤＳＰ４の前記設計は、集積回路における使用に適しているばかりでなく、プロセッサ１２が別個の集積回路として上に配置されるプリント回路基板（ＰＣＢ）上の使用にも適しており、コネクション１５が前記ＰＣＢ上において電気的導通トラックによって構成されることは明らかであろう。
【００５０】
上記のＤＳＰ４を具備するカメラシステム１は、単一の集積回路によって実現され得るカメラシステムである。当該システムは、ＤＳＰ４に必要とされる相対的に小さな表面積によって実現可能となる。しかしながら、カメラシステム１は、記録された画像データを処理するための多彩な機能、又は一つの集積回路における前記画像データの質を改善するための多彩な機能を有している。例えば、リアルタイムビデオ及び高度コンピュータビジョンアルゴリズムの実現がそれによって可能となるであろう。当該機能は、本発明によるカメラシステムによって、より低いコストで実現され得る。これは、結果として、例えばビデオ会議設備又は自律式シーンインタプレッテイション機能を前記消費者市場のための製品にもたらす。
【００５１】
図２は、カラーフィルタアレイ２２を概略的に示している。当該カラーフィルタアレイがセンサマトリックス２上に配置されると、各々の感光性素子は、特定のカラーの光を受光するので、当該特定のカラーに対して感度を有する。示されているパターンにより、前記センサマトリックスからの各々の感光性素子はカラー赤１８、緑１９、又は青２０のうちの一つに感度を有することが保証される。従って、前記センサマトリックスにおける行は、当該カラーのうちの二つの情報を有している。前記センサマトリックスは、常に一行づつ読み出される。ＤＳＰ４は、処理動作毎に一つのカラーを処理する。従って、当該列が常に二つの異なるカラーについての情報を有しているため、前記センサマトリックスにおける二つの隣接した列から入力されるデータを常にプロセッサ１２毎に処理することは有利なことである。３２０個ものプロセッサ１２が、ラインシーケンシャルな（ｌｉｎｅ−ｓｅｑｕｅｎｔｉａｌｌｙ）処理、例えば各々６４０画素の４８０行を有するＶＧＡ画像のためにそのとき必要とされる。
【００５２】
センサマトリックス２の複数の列は一つのプロセッサ１２を共有している態様が、使用されているカラーフィルタアレイ２２に依存していることは明らかであろう。例えば、カラーフィルタアレイ２２が、三つのカラーは各々のセンサマトリックス行においてもたらされることを保証する場合、前記センサマトリックスの三つの列全てに対しては一つのプロセッサ１２を使用することで十分である。
【００５３】
前記画素信号の行シーケンシャルな（ｒｏｗ−ｓｅｑｕｅｎｔｉａｌ）処理のため、データコンバータ３において、一つの行からの前記画素信号をデータに同時に変換することは有利なことである。当該目的のため、複数のＡ／Ｄコンバータが必要となるが、当該要求仕様は特に変換レートに関して厳格なものではない。Ａ／Ｄコンバータ毎のより低い変換レートの結果、画素信号の、データへの変換は電力をほとんど必要としない。
【００５４】
ＤＳＰ４は常に処理動作毎に一つのカラーを処理し、センサマトリックス２の各行は二つのカラーを有するため、データコンバータ３において前記センサマトリックスの二つの列毎に一つのＡ／Ｄコンバータを使用することで十分である。これは、両方の列から入力される画素信号の時多重（ｔｉｍｅ ｍｕｌｔｉｐｌｅｘｉｎｇ）を使用することによって実現される。
【００５５】
図３は、プロセッサマトリックス１１の実施例を概略的に示している。当該実施例において、プロセッサ１２は複数のデータポート１３を有している。一次データポート１３Ａ及び二次データポート１３Ｂは、前記データポート内で識別され得る。一方のプロセッサ１２の一次データポート１３Ａ及び他方のプロセッサの二次データポート１３Ｂは、ほぼ直線状のコネクション１５によって相互接続される。これは、図１に関して既に記載されているように、プロセッサマトリックス１１においてプロセッサ１２を配置する前記モードによって実現される。当該実施例は、同じデータが、一方のプロセッサ１２の一次入力部１３Ａと、他方のプロセッサの二次入力部１３Ｂとの両方に送信されなければならないとき、データポート１３Ａと１３Ｂとを相互接続すると共に、当該データポートをデータバッファ７の更なるデータポート１４の一つに接続するために、たった一つのコネクション１５しか必要とされないという利点を有している。一次データポート１３Ａとデータバッファ７の更なるデータポート１４との間の、コネクション１５の前記部分もほぼ直線状であると有利である。
【００５６】
図４は、プロセッサ１２が複数のデータポート１３を有するプロセッサマトリックス１１の実施例を概略的に示している。当該データポートは、前記データバッファからデータを受信するための一次入力データポート１３Ａと、ここでも前記データバッファからデータを受信するための二次入力データポート１３Ｂ１と、出力データポート１３Ａ２とに更に分割される。一方のプロセッサ１２の一次入力データポート１３Ａ１は、ほぼ直線状のコネクション１５によって、他方のプロセッサの二次入力データポート１３Ｂ１と、データバッファ７の更なるデータポート１４との両方に接続される。コネクション１５における矢印は、前記データ送出の方向を示している。更に、出力データポート１３Ａ２は、コネクション１５によって、前記データバッファの更なるデータポート１４に接続される。当該実施例は、前記プロセッサの一次入力データポート１３Ａ１と、プロセッサ１２の二次入力データポート１３Ｂ１と、データバッファ７の更なるデータポート１４との間のコネクション１５、並びに、出力データポート１３Ａ２と、データバッファ７の更なるデータポート１４との間のコネクション１５が両方ともほぼ直線状であるという利点を有している。
【００５７】
一つの画像ラインから入力されるデータを処理する際、各々のプロセッサ１２は、一次入力データポート１３Ａ１に入力される一つの画素のデータを処理するばかりでなく、他の画素のデータも処理することが頻繁に必要となる。後者のデータは、そのとき二次入力データポート１３Ｂ１を介して入力される。これは、コネクション１５が二次入力データポート１３Ｂ１及び一次入力データポート１３Ａ１を前記データバッファの更なるデータポート１４に接続するときに実現される。プロセッサマトリックス１１におけるプロセッサ１２の配置のために全てのコネクション１５がほぼ直線状なので、図４の実施例は当該目的に特に適している。
【００５８】
図５は、一連のデータ構成要素から構成されるデータを処理するのに非常に適しているプロセッサマトリックス１１の実施例を概略的に示している。各々のプロセッサ１２は、データバッファ７に記憶されている一連のデータ構成要素からの一つのデータ構成要素２１を処理する。プロセッサ１２は、前記データバッファからデータを受信するための一次入力データポート１３Ａ１と、第一の二次入力データポート１３Ｂ２と、第二の二次入力データポート１３Ｂ３とに分割されている複数のデータポート１３を有している。各々の一次入力データポート１３Ａ１は、データバッファ７の更なるデータポート１４からデータ構成要素２１、例えばＮを受信する。同じプロセッサは、第一の二次入力データポート１３Ｂ２における前記行内で先行するデータ構成要素２１、例えばＮ−１と、第二の二次入力データポート１３Ｂ３における前記行内で後続するデータ構成要素２１、例えばＮ＋１とも受信する。これは、ほぼ直線状のコネクション１５によって、第一のプロセッサ１２の一次入力データポート１３Ａ１を、第二のプロセッサの第一の二次入力データポート１３Ｂ２と、第三のプロセッサの第二の二次入力データポート１３Ｂ３との両方に接続すると共に、データバッファ７の更なるデータポート１４に接続することによって実現される。
【００５９】
図６Ａは、本発明による前記カメラシステムの一部の他の実施例を概略的に示している。当該実施例において、ＤＳＰ４は、一つのプロセッサマトリックス１１を有していないが、隣接する二つのプロセッサマトリックス１１を有している。二つ以上のプロセッサマトリックスを並べることも当然可能である。当該実施例は、両方のプロセッサマトリックス１１におけるプロセッサ１２が同じデータについて異なる処理動作を実行し得るという利点を有している。異なるプロセッサマトリックス１１内だが前記プロセッサマトリックスにおいて対応する位置に共に位置されている、二つの当該プロセッサ１２は、そのとき自身のデータポート１３において同じデータを受信する。他の利点は、一方のプロセッサマトリックス１１におけるプロセッサ１２の処理動作の結果が、他方のプロセッサマトリックス１１におけるプロセッサ１２の処理動作の結果と交換され得ることにある。
【００６０】
図６Ｂは、本発明による前記カメラシステムの一部の他の実施例を概略的に示している。当該実施例において、ＤＳＰ４は、一つのプロセッサマトリックス１１を有していないが、隣接する二つのプロセッサマトリックス１１を有している。更に、両方のプロセッサマトリックスは、互いにミラー反転している。これは、当然繰り返しの態様で行われてもよい。いくつかの処理動作を実行するために、プロセッサマトリックスを、相互にミラー反転された構成で並べることは有利であってもよい。
【００６１】
以上まとめると、本発明は、データを並列処理するためのデバイスと、当該デバイスを有するカメラシステムとに関する。カメラシステム１は、センサマトリックス２と、データコンバータ３と、ＤＳＰ４と、中央制御器５と、データバッファ７と、プロセッサ１２から構成されるプロセッサマトリックス１１とを有している。センサマトリックス２は、入射電磁放射を画素信号に変換する。データコンバータ３は、前記画素信号をデータに変換する。矢印６及び８は、画素信号及びデータの送出を概略的に示している。データバッファ７は、部分７Ａ及び部分７Ｂに物理的に分割され、Ｉ／Ｏレジスタ９及びメモリバンク１０に機能的に分割される。中央制御器５は、前記異なるタスクを連携させる。プロセッサ１２及びデータバッファ７は、コネクション１５によって電気的導通態様で相互に接続されている出力部及び入力部を備える、データポート１３及び更なるデータポート１４を有している。プロセッサ１２は、相互に少しづつずらして配置される行１６と、列１７とにおいて配置される。これにより、全てのコネクション１５は、ほぼ直線状となる。これにより、コネクションの数に起因して、前記表面積が低減される。
【００６２】
記載されている実施例において、特にカメラシステムの実施例が議論されてきた。本発明による並列データ処理のための前記デバイスが、多くの分野における使用に適していることは当業者にとって明らかであろう。
【図面の簡単な説明】
【図１】 本発明によるカメラシステムの実施例を概略的に示している。
【図２】 本発明によるカメラシステムの実施例において使用されているカラーフィルタアレイを概略的に示している。
【図３】 本発明による並列データ処理のためのデバイスにおけるプロセッサの前記マトリックスの実施例を概略的に示している。
【図４】 本発明による並列データ処理のためのデバイスにおけるプロセッサのマトリックスの他の実施例を概略的に示している。
【図５】 本発明による並列データ処理のためのデバイスにおけるプロセッサの前記マトリックスの他の実施例を概略的に示している。
【図６Ａ】 本発明による前記カメラシステムの一部の他の実施例を概略的に示している。
【図６Ｂ】 本発明による前記カメラシステムの一部の他の実施例を概略的に示している。
Claims (9)
- 並列データ処理のためのデバイスにおいて、行及び列において配置されるプロセッサの少なくとも一つのマトリックスを有し、前記行が少しづつずらして配置され、各々の前記プロセッサが少なくとも一つのデータポートを有し、前記プロセッサのうちの一つの、少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって、少なくとも一つの他の前記プロセッサのうちの、少なくとも一つの前記データポートに接続されることを特徴とするデバイス。
- 更なるデータポートを有するデータバッファを有し、前記プロセッサの、少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって、前記データバッファの、少なくとも一つの前記更なるデータポートに接続されることを特徴とする請求項１に記載のデバイス。
- 少なくとも一つの前記プロセッサの前記データポートが、少なくとも一つの一次データポート及び少なくとも一つの二次データポートを有し、少なくとも一つの前記二次データポートは、ほぼ直線状のコネクションによって、他の前記プロセッサの一次データポートに接続されることを特徴とする請求項２に記載のデバイス。
- 少なくとも一つの前記プロセッサの前記一次データポートが、前記データバッファからデータを受信するための、少なくとも一つの一次入力データポートを有し、前記二次データポートが、前記データバッファからデータを受信するための、少なくとも一つの二次入力データポートを有し、前記データポートが、前記データバッファにデータを送信するための、少なくとも一つの出力データポートを有することを特徴とする請求項３に記載のデバイス。
- 前記プロセッサが、一連のデータ構成要素から構成されるデータを処理し、各々の前記データプロセッサは、前記一連のデータ構成要素からの少なくとも一つの前記データ構成要素を処理し、各々の前記プロセッサの前記一次入力データポートは、他の前記プロセッサの前記二次入力データポートに接続されることを特徴とする請求項４に記載のデバイス。
- 各々の前記プロセッサの前記二次入力データポートが、第一の二次入力データポート及び第二の二次入力データポートを有し、各々の前記一次入力データポートは、前記データバッファの更なるデータポートから処理するために、前記一連のデータ構成要素から前記データ構成要素を受信し、前記一連のデータ構成要素における前記データ構成要素に先行する前記データ構成要素を処理する前記プロセッサの前記第二の二次入力データポートに接続されると共に、前記一連のデータ構成要素における前記データ構成要素に後続する前記データ構成要素を処理する前記プロセッサの前記第一の二次入力データポートにも接続されることを特徴とする請求項５に記載のデバイス。
- 前記データバッファが、二つの物理的に分離された部分に分割され、当該二つの部分のうちの第一の部分は、前記プロセッサマトリックスにおける前記プロセッサの前記最初の行の近くに位置されると共に、当該二つの部分のうちの第二の部分は、前記プロセッサマトリックスにおける前記プロセッサの前記最後の行の近くに位置されることを特徴とする請求項１、２、３、４、５、又は６に記載のデバイス。
- 入射電磁放射を画素信号に変換するための、行及び列から構成されるセンサマトリックスと、前記画素信号をデータに変換するための手段と、請求項１、２、３、４、５、６又は７に記載の、前記並列データ処理のためのデバイスとを有するカメラシステム。
- 前記センサマトリックスが、カラーフィルタアレイを有し、各々の前記プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理し、当該データが、前記カラーフィルタアレイの異なるカラーについてのカラー情報を有する請求項８に記載のカメラシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01201737 | 2001-05-11 | ||
| PCT/IB2002/001559 WO2002093905A2 (en) | 2001-05-11 | 2002-04-29 | Device for parallel data processing, and camera system comprising such a device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004520767A JP2004520767A (ja) | 2004-07-08 |
| JP2004520767A5 JP2004520767A5 (ja) | 2009-02-19 |
| JP4335537B2 true JP4335537B2 (ja) | 2009-09-30 |
Family
ID=8180289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002590651A Expired - Fee Related JP4335537B2 (ja) | 2001-05-11 | 2002-04-29 | 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7274390B2 (ja) |
| EP (1) | EP1393198B1 (ja) |
| JP (1) | JP4335537B2 (ja) |
| KR (1) | KR20030029103A (ja) |
| CN (1) | CN1295634C (ja) |
| AT (1) | ATE386982T1 (ja) |
| DE (1) | DE60225133T2 (ja) |
| WO (1) | WO2002093905A2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1648181A1 (en) * | 2004-10-12 | 2006-04-19 | Dialog Semiconductor GmbH | A multiple frame grabber |
| JP4320657B2 (ja) * | 2005-12-26 | 2009-08-26 | ソニー株式会社 | 信号処理装置 |
| GB2436377B (en) * | 2006-03-23 | 2011-02-23 | Cambridge Display Tech Ltd | Data processing hardware |
| US8681236B2 (en) * | 2009-06-18 | 2014-03-25 | Samsung Electronics Co., Ltd. | Apparatus and method for reducing shutter lag of a digital camera |
| US8648932B2 (en) | 2009-08-13 | 2014-02-11 | Olive Medical Corporation | System, apparatus and methods for providing a single use imaging device for sterile environments |
| WO2011120014A1 (en) | 2010-03-25 | 2011-09-29 | Olive Medical Corporation | System and method for providing a single use imaging device for medical applications |
| KR102012810B1 (ko) | 2011-05-12 | 2019-08-21 | 디퍼이 신테스 프로덕츠, 인코포레이티드 | 이미징 센서 및 이미징 센서에 대한 데이터를 액세스하는 방법 |
| KR101863605B1 (ko) | 2011-09-19 | 2018-07-06 | 삼성전자주식회사 | 스트림 데이터를 고속으로 처리하는 프로세서 |
| KR102143807B1 (ko) | 2012-07-26 | 2020-08-31 | 디퍼이 신테스 프로덕츠, 인코포레이티드 | 최소 영역 모노리식 cmos 이미지 센서를 가진 카메라 시스템 |
| CN105228503B (zh) | 2013-03-15 | 2017-11-07 | 德普伊新特斯产品公司 | 最小化内窥镜应用中图像传感器输入/输出和导体的数量 |
| BR112015023206A2 (pt) | 2013-03-15 | 2017-08-22 | Olive Medical Corp | Sincronização de sensor de imagem sem temporizador de entrada e temporizador de transmissão de dados |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4908751A (en) * | 1987-10-15 | 1990-03-13 | Smith Harry F | Parallel data processor |
| US4873515A (en) * | 1987-10-16 | 1989-10-10 | Evans & Sutherland Computer Corporation | Computer graphics pixel processing system |
| US5187801A (en) * | 1990-04-11 | 1993-02-16 | Thinking Machines Corporation | Massively-parallel computer system for generating paths in a binomial lattice |
| JP3513165B2 (ja) * | 1992-06-30 | 2004-03-31 | キヤノン株式会社 | 画像処理装置 |
| CA2185787A1 (en) * | 1994-03-22 | 1995-09-28 | Richard S. Norman | Efficient direct cell replacement fault tolerant architecture supporting completely integrated systems with means for direct communication with system operator |
| JPH07288824A (ja) * | 1994-04-14 | 1995-10-31 | Asahi Optical Co Ltd | 輝度信号生成装置 |
| US5590356A (en) * | 1994-08-23 | 1996-12-31 | Massachusetts Institute Of Technology | Mesh parallel computer architecture apparatus and associated methods |
| US5943242A (en) * | 1995-11-17 | 1999-08-24 | Pact Gmbh | Dynamically reconfigurable data processing system |
| US6421084B1 (en) * | 1998-03-02 | 2002-07-16 | Compaq Computer Corporation | Method for interpolating a full color image from a single sensor using multiple threshold-based gradients |
| US6173386B1 (en) * | 1998-12-14 | 2001-01-09 | Cisco Technology, Inc. | Parallel processor with debug capability |
| DE60025435T2 (de) * | 1999-09-13 | 2006-09-21 | Nippon Telegraph And Telephone Corp. | Parallelverarbeitungsvorrichtung und -verfahren |
| US6487651B1 (en) * | 1999-10-26 | 2002-11-26 | Assabet Ventures | MIMD arrangement of SIMD machines |
-
2002
- 2002-04-29 AT AT02726365T patent/ATE386982T1/de not_active IP Right Cessation
- 2002-04-29 JP JP2002590651A patent/JP4335537B2/ja not_active Expired - Fee Related
- 2002-04-29 CN CNB028015428A patent/CN1295634C/zh not_active Expired - Fee Related
- 2002-04-29 EP EP02726365A patent/EP1393198B1/en not_active Expired - Lifetime
- 2002-04-29 KR KR10-2003-7000362A patent/KR20030029103A/ko not_active Application Discontinuation
- 2002-04-29 DE DE60225133T patent/DE60225133T2/de not_active Expired - Lifetime
- 2002-04-29 WO PCT/IB2002/001559 patent/WO2002093905A2/en active IP Right Grant
- 2002-05-10 US US10/143,646 patent/US7274390B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| ATE386982T1 (de) | 2008-03-15 |
| US7274390B2 (en) | 2007-09-25 |
| DE60225133T2 (de) | 2009-02-12 |
| CN1295634C (zh) | 2007-01-17 |
| KR20030029103A (ko) | 2003-04-11 |
| CN1537284A (zh) | 2004-10-13 |
| EP1393198B1 (en) | 2008-02-20 |
| US20020186311A1 (en) | 2002-12-12 |
| WO2002093905A2 (en) | 2002-11-21 |
| WO2002093905A3 (en) | 2003-11-20 |
| DE60225133D1 (de) | 2008-04-03 |
| JP2004520767A (ja) | 2004-07-08 |
| EP1393198A2 (en) | 2004-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2323409A2 (en) | Image sensor with charge binning | |
| US20090027530A1 (en) | Solid-state image pick-up device | |
| JP4335537B2 (ja) | 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム | |
| CN107728361B (zh) | 具有摄像功能的显示面板及电子设备 | |
| US11181671B2 (en) | Image sensor and electronic camera | |
| KR101293385B1 (ko) | Ｃｍｏｓ 이미지 센서 및 이를 포함하는 디지털 카메라 | |
| US20040017493A1 (en) | Resolution conversion method and pixel data processing circuit for single-plate-type color-image sensor | |
| JP4700338B2 (ja) | ダイナミックレンジを向上させたサブサンプリングモードを提供する固体撮像素子及びその駆動方法。 | |
| JPH1051602A (ja) | リニアセンサ | |
| CN216852142U (zh) | 像素阵列和图像传感器 | |
| JP4226554B2 (ja) | 並列データ処理のための装置およびその装置を備えるカメラシステム | |
| JP3475084B2 (ja) | 撮像装置 | |
| CN116419080A (zh) | 像素阵列、图像传感器及其控制方法 | |
| JPH03187584A (ja) | 固体撮像装置 | |
| JP2982171B2 (ja) | 撮像装置 | |
| CN115776617A (zh) | 像素结构、图像传感器、设备及图像处理方法、控制方法 | |
| JPS59288A (ja) | 固体カラ−撮像装置 | |
| JP2001008112A (ja) | 固体撮像装置 | |
| JPH02266672A (ja) | 撮像装置 | |
| JPH06113212A (ja) | 固体撮像装置 | |
| JP2004146955A (ja) | 固体撮像素子及びその駆動方法 | |
| JP2007228264A (ja) | 出力２分岐型固体撮像素子及びその駆動方法並びに撮像装置 | |
| JPH02135996A (ja) | 色信号処理回路 | |
| JPH01188179A (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041118 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080703 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081001 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081008 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20081226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090528 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090625 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |