JP6205654B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

高速かつ高解像度のイメージ・センサの開発がさらに進むにつれて、現代のカメラはこれまで以上に多目的で強力となっている。たとえば、シネマ・カメラは、イメージ・センサを使用することが可能であり、高速度撮影用の写真シーケンス（すなわち、ワンショットでの複数の画像フレーム）を生成し、さらに各写真（または画像フレーム）が大容量の画素を含む。このような技術分野が、本発明の実施形態が対応する一般的な領域である。

本発明は、カメラ・システムのような画像信号処理装置を支援するシステム及び方法を対象とする。この画像信号処理装置は、画像データ・インタフェースを介してイメージ・センサから１つ以上の画像データを受信する処理デバイスを含む。処理デバイスは、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）・デバイスである。この処理デバイスは、次の（ａ）〜（ｄ）の動作が可能である。（ａ）受信した１つ以上の画像データを画像信号プロセッサへ転送する、（ｂ）画像信号プロセッサが受信した１つ以上の画像データを圧縮する、（ｃ）圧縮した画像データを第一ストレージ媒体に保存する。さらに、処理デバイスは、データ通信インタフェースを介して第二ストレージ媒体へ受信した１つ以上の画像データをエクスポートできる。

本発明の新規の特徴は、添付の特許請求の範囲に詳細に記載される。本発明の原理を利用する例示的な実施形態を記載する以下の発明を実施するための形態、及び添付の図面を参照することにより、本発明の特徴及び利点をより良く理解きるであろう。

本発明による、カメラ・システムの実施形態を示す図である。 本発明による、パラレルで画像データを格納するカメラ・システムの実施形態を示す図である。 本発明による、パラレルで画像データを格納する画像信号処理システムにおけるインタフェースの実施形態を示す図である。 本発明による、パラレルで画像データを格納するカメラ・システムの他の実施形態を示す図である。 本発明による、パラレルで画像データを格納する画像信号処理システムにおけるインタフェースの他の実施形態を示す図である。 本発明による、パラレルで画像データを格納するカメラ・システムの他の実施形態を示す図である。 本発明による、パラレルで画像データを格納する実施形態の動作を説明するフローチャートである。

本発明は、同様の構成要素を示す参照のような添付の図面の図において、限定するものとしてではなく実施例として図示される。本開示において、「１つ」または「いくつか」の実施形態（複数を含む）への参照が同一の実施形態に限定されず、このような参照は、少なくとも１つを意味することに留意すべきである。

以下、本発明について説明する。本発明において、処理デバイスの実施例としてフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）・デバイスを使用する。処理デバイスはこれに限らず、他の種類の処理デバイスを制限なく使用可能であることは、当業者に明らかであろう。

（カメラ・システムの１例）
図１には、本発明による、カメラ・システムの実施形態が示されている。図１において、カメラ・システム１００は、レンズ１０１、イメージ・センサ１０２、及び画像信号プロセッサ（ＩＳＰ）１０３等、さまざまな構成要素を備える。たとえば、イメージ・センサ１０２は、ＣＣＤ／ＣＭＯＳデバイス１０９を含み得る。あるいは、イメージ・センサ１０２は、Ｎ型金属酸化膜半導体（ＮＭＯＳ）デバイス及びその他の混成形または変形に基づき得る。

イメージ・センサ１０２は、集光装置（例えば、レンズ１０１）により集光された光信号を電気信号（例えば、アナログ信号）に変換できる。そして、Ａ／Ｄ変換器１１２は、ＩＳＰ１０３により処理されることが可能であるデジタル信号にアナログ信号を変換できる。また、ＩＳＰ１０３は、データ・ストレージとして（たとえば、キャッシング及びバッファリングのために）ＲＡＭ１０５及びＲＯＭ１０６を使用できる。

図１に示すように、ＩＳＰ１０３は、ＲＡＷデータ・フォーマットでイメージ・センサ１０２により生成される画像データをイメージ・センサ１０２から受信できる。たとえば、ＩＳＰ１０３は、低電圧差動信号（ＬＶＤＳ）インタフェースまたはサブＬＶＤＳインタフェースの少なくとも一方のような、マルチパス高速差動信号トランスポート・インタフェースを介して画像データを受信できる。

ある実施形態において、イメージ・センサ１０２は、カメラ・システム１００が対応しきれない可能性のある大容量のＲＡＷ画像データをリアルタイムに生成し得る。しかし、カメラ・システム１００のデータ処理能力及びストレージ能力は限定されている。従って、その限界に対応するため、ＩＳＰ１０３は、画像データをストレージ媒体１０４（たとえば、メモリ・カード）に格納する前に、ＲＡＷ画像データを圧縮する必要があり得る。

（パラレルでの画像データの格納）
図２には、本発明による、パラレルで画像データを格納するカメラ・システムの実施形態の例が示されている。図２において、カメラ・システム２００は、レンズ２０１、イメージ・センサ２０２、及び画像信号プロセッサ（ＩＳＰ）２０４等、さまざまな構成要素を備える。たとえば、イメージ・センサ２０２は、ＣＣＤ／ＣＭＯＳデバイス２０９を含み得る。あるいは、イメージ・センサ２０２は、Ｎ型金属酸化膜半導体（ＮＭＯＳ）デバイス及びその他の混成形または変形に基づき得る。

イメージ・センサ２０２は、集光装置（たとえば、レンズ２０１）により集光された光信号を電気信号（たとえば、アナログ信号）に変換できる。そして、Ａ／Ｄ変換器２１２は、アナログ信号をＩＳＰ２０４により処理されることが可能なデジタル信号に変換できる。

図２において、カメラ・システム２００は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）・デバイス２０３のような処理デバイスを含む。ＦＰＧＡデバイス２０３は、イメージ・センサ２０２で生成される（たとえば、画像データ・フロー中の）デジタル信号を受信できる。また、ＦＰＧＡデバイス２０３は、イメージ・センサ２０２及びＩＳＰ２０４間の中間データ処理タスクを実行できる。そして、ＩＳＰ２０４は、データ・ストレージとしてＲＡＭ２０７及びＲＯＭ２０８を（たとえば、キャッシング及びバッファリングのために）使用できる。

ある実施形態において、ＦＰＧＡデバイス２０４は、たとえば、データ・ファンアウト・モジュール２１１を含み得る。データ・ファンアウト・モジュール２１１は、ＦＰＧＡデバイス２０４上の異なるモジュール（またはユニット）を介して、カメラ・システム２００内または外側の異なる構成要素をターゲットにする複数の経路沿いに受信したデジタル画像信号を同時に転送できる。また、データ・ファンアウト・モジュール２１１は、異なる時間にカメラ・システム２００の内または外側の異なる構成要素方向へ受信したデジタル画像信号を転送できる。

図２において、ＦＰＧＡデバイス２０４は、Ｉ／Ｏモジュール２１３を使用して、受信したデジタル画像信号をＩＳＰ２０４へ送信できる。ＩＳＰ２０４は、受信したＲＡＷ画像データを圧縮し、圧縮した画像データをストレージ媒体２０６（たとえば、メモリ・カード）に保存できる。

また、ＦＰＧＡデバイス２０４は、シリアライゼーション／デシリアライゼーション（Ｓｅｒｄｅｓ）・モジュール２１２を備え、ソリッド・ステート・ディスク（ＳＳＤ）等の高速ストレージ媒体２０５に受信したデジタル信号を格納できる。高速ストレージ媒体２０５に格納されたＲＡＷ画像データは、ストレージ媒体２０６に圧縮して保存された画像データより多くの情報を持つことができる。このような情報は、専門的な画像の写真処理を補助し、後期段階で処理する画像の取り扱いを改良するときに有益となり得る。

図３には、本発明による、パラレルで画像データを格納する画像信号処理システムにおけるインタフェースの実施形態の例が示されている。図３において、画像信号処理システム３００は、ＦＰＧＡデバイス３０１を利用してＲＡＷ画像データ３１０を処理及び格納できる。ＦＰＧＡデバイス３０１は、画像データ・インタフェース３１１を介してイメージ・センサ３０９からＲＡＷ画像データ３１０を受信できる。

たとえば、画像データ・インタフェース３１１は、シリアル・スケーラブル低電圧信号伝送（ＳＬＶＳ）、シリアル・モバイル・インダストリ・プロセッサ・インタフェース（ＭＩＰＩ）・カメラ・シリアル・インタフェース（ＣＳＩ）、パラレル・サブＬＶＤＳ、パラレル低電圧相補型金属酸化膜半導体（ＬＶＣＭＯＳ）、高速ＹＵＶソース、または他の画像データ通信プロトコルに基づき得る。

本発明の実施形態によれば、画像データ・インタフェース３１１は、パラレル方式（たとえば、×２，×３，×４，×８，×１２，×１６以上のような構成オプションを備える）で、ＦＰＧＡデバイス３０１へＲＡＷ画像データ３１０を通過させることができる。

また、ＦＰＧＡデバイス３０１は、メモリ３０５（たとえば、フラッシュ・メモリ）に格納されたインストラクションのような、さまざまな情報を使用して開始され構成（または再構成）され得る。たとえば、ＦＰＧＡデバイス３０１は、イメージ・センサ３０９の種類に応じて、画像データ・インタフェース３１１を支援するように構成（または適用）され得る。この場合、画像データ・インタフェース３１１は、上記の画像データ通信プロトコルの任意の１つと関連する。

図３に示されるように、ＦＰＧＡデバイス３０１は、データ・ファンアウト・モジュール３０６を含み得る。データ・ファンアウト・モジュール３０６は、シリアライゼーション／デシリアライゼーション（Ｓｅｒｄｅｓ）・モジュール３０７及びＩ／Ｏモジュール３０８へ受信したＲＡＷデジタル画像データ３１０を同時に転送できる。また、データ・ファンアウト・モジュール３０６は、異なる時間にＳｅｒｄｅｓモジュール３０７及びＩ／Ｏモジュール３０８へ受信したＲＡＷデジタル画像データ３１０を転送できる。また、データ・ファンアウト・モジュール３０６は、同時に、または異なる時間にＦＰＧＡデバイス３０１上の他のターゲットまたはモジュールへ、受信したＲＡＷデジタル画像データ３１０を転送できる。

ＦＰＧＡデバイス３０１は、画像インタフェース３１２を介して、Ｉ／Ｏモジュール３０８を使用して、ＩＳＰ３０２へ受信したデジタル画像信号を送信できる。画像インタフェース３１２は、画像データ・インタフェース３１１と同様の構成を有し得る。この場合、ＩＳＰ３０２は、受信したＲＡＷ画像データを圧縮でき、圧縮した画像データ３１４をストレージ媒体３０４に保存できる。

また、ＦＰＧＡデバイス３０１は、Ｓｅｒｄｅｓモジュール３０７を備え、データ通信プロトコル３１３を使用して、ソリッド・ステート・ディスク（ＳＳＤ）等の高速ストレージ媒体３０３に受信したデジタル信号を格納できる。たとえば、データ通信プロトコル３１３は、高速シリアル・インタフェース・プロトコルであり得る。高速シリアル・インタフェース・プロトコルは、シリアルＡＴＡ（ＳＡＴＡ）インタフェースまたはペリフェラル・コンポーネント・インターコネクト・エクスプレス（ＰＣＩｅ）・プロトコルの少なくとも一方であり得る。

本発明による実施形態において、Ｓｅｒｄｅｓモジュール３０７は、画像データ・インタフェース３１１を支援する構成からデータ通信プロトコル３１３を支援する別の構成へ、受信したＲＡＷ画像データを実時間で変換できる。たとえば、Ｓｅｒｄｅｓモジュール３０７は、パラレルで受信したＲＡＷ画像データを変換し、シリアル方式で動作し得るデータ通信プロトコル３１３をサポートできる。

また、図３に示されるように、ＩＳＰ３０２は、制御インタフェース３１６を介して直接に、またはＦＰＧＡ３０１を介して間接に（制御インタフェース３１５を使用して）イメージ・センサ３０９を再構成できる。この場合、ＦＰＧＡ３０１は、イメージ・センサ３０９上での構成変更に対応するために、Ｉ／Ｏピン割り当て及び他の構成を動的に変更できる。

図４には、本発明による、パラレルで画像データを格納するカメラ・システムの他の実施形態が示されている。図４において、カメラ・システム４００は、レンズ４０１及びイメージ・センサ４０２等、種々の構成要素を含み得る。たとえば、イメージ・センサ４０２は、ＣＣＤ／ＣＭＯＳデバイス４０９を含み得る。あるいは、イメージ・センサ４０２は、Ｎ型金属酸化膜半導体（ＮＭＯＳ）デバイス及びその他の混成形または変形に基づき得る。

イメージ・センサ４０２は、集光装置（たとえば、レンズ４０１）により集光された光信号をアナログ信号のような電気信号に変換できる。この場合、Ａ／Ｄ変換器４１０はアナログ信号をデジタル信号に変換できる。

本発明の実施形態において、カメラ・システム４００は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）・デバイス４０３のような処理デバイスを含む。このＦＰＧＡデバイス４０３は、データ・ファンアウト・モジュール４１１を含み得る。データ・ファンアウト・モジュール４１１は、シリアライゼーション／デシリアライゼーション（Ｓｅｒｄｅｓ）・モジュール４１２及び画像信号処理モジュール４０４のような、ＦＰＧＡデバイス４０３上のモジュール（またはユニット）へ受信したデジタル画像信号を同時に転送できる。あるいは、データ・ファンアウト・モジュール４１１は、受信したＲＡＷデジタル画像データ３１０を異なる時間に異なるモジュールへ転送できる。

図４に示されるように、ＦＰＧＡデバイス４０３は、Ｓｅｒｄｅｓモジュール４１２を備え、データ通信プロトコルを使用して、ソリッド・ステート・ディスク（ＳＳＤ）等の高速ストレージ媒体４０５に受信したデジタル信号を格納できる。

また、ＦＰＧＡデバイス４０３は、ＦＰＧＡデバイス４０３上の画像信号処理モジュール４０４へ直接に受信したＲＡＷ画像データを転送できる。像信号処理モジュール４０４は、画像信号プロセッサ（ＩＳＰ）の機能を備える。この場合、ＦＰＧＡデバイス４０３上の画像信号処理モジュール４０４は、受信したＲＡＷ画像データを圧縮でき、圧縮した画像データをストレージ媒体４０６（たとえば、メモリ・カード）に保存できる。

図５には、本発明による、パラレルで画像データを格納する画像信号処理システムにおけるインタフェースの他の実施形態が示されている。図５において、画像信号処理システム５００は、ＦＰＧＡデバイス５０１を利用してＲＡＷ画像データ５１０を処理し格納できる。

たとえば、画像データ・インタフェース５１１は、シリアル・スケーラブル低電圧信号伝送（ＳＬＶＳ）、シリアル・モバイル・インダストリ・プロセッサ・インタフェース（ＭＩＰＩ）・カメラ・シリアル・インタフェース（ＣＳＩ）、パラレル・サブＬＶＤＳ、パラレル低電圧相補型金属酸化膜半導体（ＬＶＣＭＯＳ）、高速ＹＵＶソース、または他の画像データ通信プロトコルに基づき得る。

また、画像データ・インタフェース５１１は、パラレル方式（たとえば、×２，×３，×４，×８，×１２，×１６以上のような構成オプション）で、ＦＰＧＡデバイス５０１へＲＡＷ画像データ５１０を通過させることができる。

本発明の種々の実施形態によれば、ＦＰＧＡデバイス５０１は、メモリ５０５（たとえば、フラッシュ・メモリ）に格納されたさまざまな情報（たとえば、インストラクション）を使用して開始され構成（または再構成）され得る。たとえば、ＦＰＧＡデバイス５０１は、イメージ・センサ５０９の種類に応じて、画像データ・インタフェース５１１と関連した異なる画像データ通信プロトコルをサポートできる。

図５に示されるように、ＦＰＧＡデバイス５０１は、データ・ファンアウト・モジュール５０６を含み得る。データ・ファンアウト・モジュール５０６は、受信したＲＡＷデジタル画像データ５１０をＦＰＧＡデバイス５０１上の異なるモジュールへ同時に転送できる。あるいは、データ・ファンアウト・モジュール５０６は、受信したＲＡＷデジタル画像データ５１０をＳｅｒｄｅｓモジュール５０７及びＩ／Ｏモジュール５０８へ異なる時間に転送できる。また、データ・ファンアウト・モジュール５０６は、受信したＲＡＷデジタル画像データ５１０を、同時にまたは異なる時間に、ＦＰＧＡデバイス５０１上の他のターゲットまたはモジュールへ転送できる。

データ・ファンアウト・モジュール５０６は、画像信号処理（ＩＳＰ）モジュール５０８へ受信したＲＡＷ画像データ５１０を転送できる。この場合、ＩＳＰモジュール５０８は、受信したＲＡＷ画像データを圧縮でき、ストレージ媒体５０４（たとえば、メモリ・カード）に圧縮した画像データ５０９を保存できる。

また、データ・ファンアウト・モジュール５０６は、Ｓｅｒｄｅｓモジュール５０７へ受信したＲＡＷ画像を転送できる。この場合、Ｓｅｒｄｅｓモジュール５０７は、データ通信インタフェース５１２を使用して、ソリッド・ステート・ディスク（ＳＳＤ）等の高速ストレージ媒体５０３にＲＡＷ画像データを保存できる。データ通信プロトコル５１２は、高速シリアル・インタフェース・プロトコルであり得る。高速シリアル・インタフェース・プロトコルは、たとえば、シリアルＡＴＡ（ＳＡＴＡ）インタフェースまたはペリフェラル・コンポーネント・インターコネクト・エクスプレス（ＰＣＩｅ）・プロトコルの少なくとも一方であり得る。

本発明による実施形態において、Ｓｅｒｄｅｓモジュール５０７は、画像データ・インタフェース５１１を支援する構成から、データ通信プロトコル５１２を支援する別の構成へ、受信したＲＡＷ画像データを実時間で変換できる。たとえば、Ｓｅｒｄｅｓモジュール５０７は、パラレルで受信したＲＡＷ画像データを変換し、シリアル方式である可能性があるデータ通信プロトコル５１２をサポートできる。

図５に示されるように、ＦＰＧＡ５０１は、制御インタフェース５１３を介してイメージ・センサ５０２をリアルタイムで再構成できる。また、ＦＰＧＡ５０１は、イメージ・センサ５０２上でのこのような変更に対応するために、Ｉ／Ｏピン割り当て及び他の構成を動的に変更できる。

図６には、本発明による、パラレルで画像データを格納するカメラ・システムの他の実施形態が示されている。図６において、カメラ・システム６００は、レンズ６０１及びイメージ・センサ６０２のような、さまざまな構成要素を含み得る。たとえば、イメージ・センサ６０２は、ＣＣＤ／ＣＭＯＳデバイス６０９を含み得る。あるいは、イメージ・センサ６０２は、Ｎ型金属酸化膜半導体（ＮＭＯＳ）及びその他の混成形または変形に基づき得る。

イメージ・センサ６０２は、集光装置（たとえば、レンズ６０１）により集光された光信号をアナログ信号のような電気信号に変換できる。この場合、Ａ／Ｄ変換器６１０は、アナログ信号をデジタル信号に変換できる。

図６に示されるように、カメラ・システム６００は、統合型プロセッサ６０３のような処理デバイスを含む。この場合、統合型プロセッサ６０３は、データ・ストレージとして（たとえば、キャッシング及びバッファリングのために）ＲＡＭ６０７及びＲＯＭ６０８を使用する。また、統合型プロセッサ６０３は、データ・ファンアウト・ユニット６１１、シリアライゼーション／デシリアライゼーション（Ｓｅｒｄｅｓ）・ユニット６１２、画像信号プロセッシング・ユニット６０４、及びグラフィック・プロセッシング・ユニット６０５のような、異なるＡＳＩＣユニットを備えることができる。

データ・ファンアウト・ユニット６１１は、たとえば、統合型プロセッサ６０３上の異なるユニットを介して、複数の経路沿いに、受信したデジタル画像信号を同時に転送できる。あるいは、データ・ファンアウト・ユニット６１１は、Ｓｅｒｄｅｓユニット６１２及び画像信号プロセッシング・ユニット６０４へ、受信したＲＡＷデジタル画像データを異なる時間に転送できる。

図６に示されるように、Ｓｅｒｄｅｓユニット６１２は、データ通信プロトコルを介して、ソリッド・ステート・ディスク（ＳＳＤ）等の高速ストレージ媒体２０５に受信したデジタル信号を格納できる。画像信号プロセッシング・ユニット６０４は、受信したＲＡＷ画像データを圧縮でき、ストレージ媒体６０６（たとえば、メモリ・カード）に圧縮した画像データを保存できる。

また、グラフィック・プロセッシング・ユニット６０５は、データ・ファンアウト・ユニット６１１または画像信号プロセッシング・ユニット６０４の少なくとも一方からＲＡＷ及び処理された画像データを受信でき、さまざまなグラフィック処理タスクを実行できる。また、グラフィック・プロセッシング・ユニット６０５は、ストレージ媒体６０６または高速ストレージ媒体６０５に処理されたグラフィック情報を保存でき、カメラ・システム６００の内側または外側の他の構成部品へグラフィック情報を提供できる。

図７には、本発明による、パラレルで画像データを格納する実施形態の動作を説明するフローチャートが示されている。図７において、ステップ７０１において、処理デバイスは、イメージ・センサから１つ以上の画像データを受信できる。次に、ステップ７０２において、処理デバイスは、受信した１つ以上の画像データを画像信号プロセッサへ転送できる。そして、画像信号プロセッサは、第一ストレージ媒体に画像データを保存する前に、受信した１つ以上の画像データを圧縮する。次に、ステップ７０３において、処理デバイスは、受信した１つ以上の画像データを第二ストレージ媒体へエクスポートできる。

本発明の多くの機能は、ハードウェア、ソフトウェア、ファームウェア、もしくはそれらの組み合わせを使用して、または支援を受けて実行され得る。従って、本発明の機能は、（たとえば、１つ以上のプロセッサを含む）処理システムを使用することにより実現可能となる。例示したプロセッサは、制限されることなく、１つ以上の汎用マイクロプロセッサ（たとえば、シングルまたはマルチコア・プロセッサ）、特定用途向け集積回路、特定用途向けインストラクション・セット・プロセッサ、グラフィックス・プロセッシング・ユニット、フィジックス・プロセッシング・ユニット、デジタル・シグナル・プロセッシング・ユニット、コプロセッサ、ネットワーク・プロセッシング・ユニット、オーディオ・プロセッシング・ユニット、エンクリプション・プロセッシング・ユニット等を含み得る。

本発明に関わる任意の機能は、ストレージ媒体（メディア）またはコンピュータ可読媒体（メディア）であるコンピュータ・プログラム製品の使用または支援を受けて実行されるように実装され得る。本発明に関わる任意の機能は、処理システムをプログラムするために使用され得、コンピュータ・プログラム製品にはインストラクションが格納されている。ストレージ媒体は、限定されないが、フロッピー（登録商標）・ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスクを含む任意の種類のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ・メモリ・デバイス、磁気もしくは光カード、ナノシステム（分子メモリＩＣを含む）、またはインストラクションまたはデータの少なくとも一方の格納に適した任意の種類の媒体もしくはデバイスを含み得る。

本発明の機能は、機械可読媒体（メディア）の任意の１つに格納される。そして、本発明の機能は、処理システムのハードウェアを制御するために、及び処理システムが本発明の結果を利用して他の機構と相互作用できるようにソフトウェアまたはファームウェアの少なくとも一方に組み込まれ得る。このようなソフトウェアまたはファームウェアは、限定されないが、アプリケーション・コード、デバイス・ドライバ、オペレーティング・システム、実行環境。またはコンテナを含み得る。

また本発明に関わる機能は、特定用途向け集積回路（ＡＳＩＣ）及びフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）・デバイス等のハードウェア・コンポーネントを使用してハードウェアに実装され得る。本発明に関わる機能を実行するためのハードウェア・ステート・マシンの手段は、関連技術の当業者には明らかであろう。

また、本発明は、本明細書の開示に従ってプログラムされた、１つ以上のプロセッサ、メモリ、またはコンピュータ可読ストレージ媒体の少なくとも一方を含む、１つ以上の従来の汎用もしくは専用デジタル・コンピュータ、コンピューティング・デバイス、機械、またはマイクロプロセッサを使用して、簡便に実現され得る。適切なソフトウェア・コーディングは、ソフトウェア技術の当業者に明らかであるように、本明細書の開示に基づき熟練したプログラマにより容易に実現可能である。

本発明に関わる種々の実施形態を上述しているが、それらは制限ではなく、実施例として提示されていることを理解するべきである。本発明の要旨及び範囲から逸脱することなくその中で形態及び詳細にさまざまな変更を行うことが可能であることは、関連技術の当業者に明らかであろう。

本発明は、その特定の機能及び関連の性能を説明するファンクショナル・ビルディング・ブロックの支援を受けて上述されている。これらのファンクショナル・ビルディング・ブロックの境界は、多くの場合に説明の便宜のために本明細書において任意に定義されている。代替の境界は、その特定の機能及び関連が適切に実行される限り定義されることが可能である。従って、任意のこのような代替の境界は、本発明の範囲及び要旨内にある。

本発明の上述の記載は、図解及び説明のために提供されている。開示された形態を正確に包括すること、またはこれに本発明を限定することを意図しない。本発明の広さ及び範囲は、上述の例示的な実施形態のいずれかにより限定されるべきではない。多くの変更及び変形は、専門の当業者には明らかであろう。この変更及び変形は、開示された特徴の任意の関連する組み合わせを有する。本実施形態は、本発明の原理及びその実際の適用を最も良く説明するために選択され記載された。従って、当業者は、本発明が、十分に考えられた特定の用途に適し、種々の実施形態及びさまざまな変更を有することを理解できる。本発明の範囲は、以下の特許請求の範囲及びそれらの均等物により定義されることが意図されている。
［項目１］
イメージ・センサから１つ以上の画像データを受信すること、
処理デバイスを介して上記受信した１つ以上の画像データを画像信号プロセッサへ転送すること、
上記画像信号プロセッサは、上記受信した１つ以上の画像データを圧縮して上記圧縮した画像データを第一ストレージ媒体に保存すること、
上記受信した１つ以上の画像データを第二ストレージ媒体へエクスポートすること、
を備える、
ことを特徴とする、画像信号処理方法。
［項目２］
上記処理デバイスは、データ・ファンアウト・モジュールを備え、
上記データ・ファンアウト・モジュールは、上記処理デバイス上の異なるモジュールへ上記受信した１つ以上の画像データを転送すること、をさらに備える、
ことを特徴とする、項目１に記載の画像処理方法。
［項目３］
上記処理デバイス上の入出力（Ｉ／Ｏ）モジュールを介して、上記受信した１つ以上の画像データを上記画像信号プロセッサへ転送すること、
上記処理デバイス上のシリアライザ／デシリアライザ（Ｓｅｒｄｅｓ）・モジュールを介して、高速ストレージ媒体である上記第二ストレージ媒体へ上記受信した１つ以上の画像データをエクスポートすること、をさらに備える、
ことを特徴とする、項目２に記載の画像処理方法。
［項目４］
画像データ・インタフェースを使用して上記イメージ・センサから上記１つ以上の画像データを受信すること、をさらに備え
上記画像データ・インタフェースは、画像データ通信プロトコル群から選択されるプロトコルに基づく、
ことを特徴とする、項目１に記載の画像処理方法。
［項目５］
データ通信インタフェースを使用して上記受信した１つ以上の画像データを上記第二ストレージ媒体へエクスポートすること、をさらに備え、
上記データ通信インタフェースは、高速シリアル・インタフェース・プロトコル群から選択されるプロトコルに基づく、
ことを特徴とする、項目１に記載の画像処理方法。
［項目６］
上記イメージ・センサ用の画像データ・インタフェースを支援する第一構成から、高速データ・ストレージ用のデータ通信インタフェースを支援する第二構成へ、上記受信した１つ以上の画像データを変換すること、をさらに備える、
ことを特徴とする、項目１に記載の画像処理方法。
［項目７］
上記画像信号プロセッサを介し、制御インタフェースを使用して上記イメージ・センサを再構成すること、をさらに備える、
ことを特徴とする、項目１に記載の画像処理方法。
［項目８］
上記処理デバイスは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）・デバイスである、
ことを特徴とする、項目１に記載の画像処理方法。
［項目９］
入出力（Ｉ／Ｏ）ピンは、上記ＦＰＧＡデバイスに割り当てられ、上記イメージ・センサ用の構成を支援すること、をさらに備える、
ことを特徴とする、項目８に記載の画像処理方法。
［項目１０］
上記画像信号プロセッサ（ＩＳＰ）は、上記処理デバイス中の画像信号処理モジュールである、
ことを特徴とする、項目１に記載の画像処理方法。
［項目１１］
上記処理デバイスは、グラフィック・プロセッシング・ユニット（ＧＰＵ）を含む、統合型プロセッサである、
ことを特徴とする、項目１に記載の画像処理方法。
［項目１２］
複数の画像フレームを含む、画像データ・フロー中の上記１つ以上の画像データを受信する、ことをさらに備える、
ことを特徴とする、項目１に記載の画像処理方法。
［項目１３］
高解像度シネマ・カメラは、上記処理デバイスを備え、
上記処理デバイスにより受信した上記１つ以上の画像データは、ＲＡＷ画像データ・フォーマット中にある、
ことを特徴とする、項目１に記載の画像処理方法。
［項目１４］
上記第一ストレージ媒体は、メモリ・カードを含み、
上記第二ストレージ媒体は、ソリッド・ステート・ディスク（ＳＳＤ）を含む、
ことを特徴とする、項目１に記載の画像処理方法。
［項目１５］
処理デバイスを備え、
上記処理デバイスは、
イメージ・センサから１つ以上の画像データを受信し、
画像信号プロセッサへ上記受信した１つ以上の画像データを転送し、
上記画像信号プロセッサは、上記受信した１つ以上の画像データを圧縮し、第一ストレージ媒体に上記圧縮した画像データを保存し、上記受信した１つ以上の画像データを第二ストレージ媒体へエクスポートする、
ことを特徴とする、画像信号処理装置。
［項目１６］
上記処理デバイスは、データ・ファンアウト・モジュールをさらに備え、
上記データ・ファンアウト・モジュールは、上記処理デバイス上の異なるモジュールへ上記受信した１つ以上の画像データを転送する
ことを特徴とする、項目１５に記載の画像処理装置。
［項目１７］
上記処理デバイスは、入出力（Ｉ／Ｏ）モジュールとシリアライザ／デシリアライザ（Ｓｅｒｄｅｓ）・モジュールを含み、
上記入出力（Ｉ／Ｏ）モジュールは、上記画像信号プロセッサへ上記受信した１つ以上の画像データを転送し、
上記シリアライザ／デシリアライザ（Ｓｅｒｄｅｓ）・モジュールは、上記第二ストレージ媒体へ上記受信した１つ以上の画像データをエクスポートし、
上記第二ストレージ媒体は、高速ストレージ媒体である、
ことを特徴とする、項目１６に記載の画像処理装置。
［項目１８］
上記イメージ・センサから上記１つ以上の画像データを受信する画像データ・インタフェース、をさらに備え、
上記画像データ・インタフェースは、画像データ通信プロトコル群から選択されるプロトコルに基づく、
ことを特徴とする、項目１５に記載の画像処理装置。
［項目１９］
上記第二ストレージ媒体へ上記受信した１つ以上の画像データをエクスポートするデータ通信・インタフェースをさらに備え、
上記データ通信インタフェースは、高速シリアル・インタフェース・プロトコル群から選択されるプロトコルに基づく、
ことを特徴とする、項目１５に記載の画像処理装置。
［項目２０］
上記処理デバイスは、上記イメージ・センサ用の画像データ・インタフェースを支援する第一構成から、高速データ・ストレージ用のデータ通信インタフェースを支援する第二構成へ、上記受信した１つ以上の画像データを変換する、
ことを特徴とする、項目１５に記載の画像処理装置。
［項目２１］
上記画像信号プロセッサは、制御インタフェースを使用して、上記イメージ・センサを再構成する、
ことを特徴とする、項目１５に記載の画像処理装置。
［項目２２］
上記処理デバイスは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）・デバイスである、
ことを特徴とする、項目１に記載の画像処理方法。
［項目２３］
上記ＦＰＧＡデバイスは、入出力（Ｉ／Ｏ）ピン割り当てを使用して上記イメージ・センサ用の構成を支援する、
ことを特徴とする、項目８に記載の画像処理方法。
［項目２４］
上記画像信号プロセッサ（ＩＳＰ）は、上記処理デバイスの画像信号処理モジュールである、
ことを特徴とする、項目１に記載の画像処理方法。
［項目２５］
上記処理デバイスは、グラフィック・プロセッシング・ユニット（ＧＰＵ）を含む統合型プロセッサである、
ことを特徴とする、項目１に記載の画像処理方法。
［項目２６］
上記処理デバイスは、複数の画像フレームを含む画像データ・フロー中の上記１つ以上の画像データを受信する、
ことを特徴とする、項目１に記載の画像処理方法。
［項目２７］
上記処理デバイスは、高解像度シネマ・カメラの部分であり、
上記処理デバイスにより受信した上記１つ以上の画像データは、ＲＡＷ画像データ・フォーマット中にある、
ことを特徴とする、項目１に記載の画像処理方法。
［項目２８］
上記第一ストレージ媒体は、メモリ・カードを含み、
上記第二ストレージ媒体は、ソリッド・ステート・ディスク（ＳＳＤ）を含む、
ことを特徴とする、項目１に記載の画像処理方法。
［項目２９］
インストラクションが格納される非一時的なコンピュータ可読媒体において、
上記インストラクションは、プロセッサにより実行され、
上記実行は、
イメージ・センサから１つ以上の画像データを受信すること、
処理デバイスを介して、上記受信した１つ以上の画像データを画像信号プロセッサへ転送すること、
上記画像信号プロセッサが上記受信した１つ以上の画像データを圧縮し第一ストレージ媒体に上記圧縮した画像データを保存して上記受信した１つ以上の画像データを第二ストレージ媒体へエクスポートすること、備える、
ことを特徴とする、コンピュータ可読媒体。
［項目３０］
レンズへ連結され、１つ以上の画像データを生成するイメージ・センサ、
上記イメージ・センサから１つ以上の画像データを受信し、上記受信した１つ以上の画像データを画像信号プロセッサへ転送し、上記画像信号プロセッサが上記受信した１つ以上の画像データを圧縮し、上記圧縮した画像データを第一ストレージ媒体に保存し、上記受信した１つ以上の画像データを第二ストレージ媒体へエクスポートする処理デバイス、を備える、
ことを特徴とする、カメラ・システム。

Claims (22)

1. フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）デバイスにより、イメージ・センサの種類に応じて、入出力（Ｉ／Ｏ）ピン割り当てを変更するステップと、
   前記ＦＰＧＡデバイスにより、前記イメージ・センサから１つ以上の画像データが受信されるステップと、
   前記ＦＰＧＡデバイスを介して前記受信された１つ以上の画像データが画像信号プロセッサへ転送されるステップと、
   前記画像信号プロセッサにより、前記受信された１つ以上の画像データを圧縮して前記圧縮した画像データが第一ストレージ媒体に保存されるステップと、
   前記受信された１つ以上の画像データが第二ストレージ媒体へエクスポートされるステップと、
   を備える、画像処理方法。
2. 前記変更するステップは、前記ＦＰＧＡデバイスにより、前記イメージ・センサの種類に応じて、入出力（Ｉ／Ｏ）ピン割り当てを動的に変更するステップを含む、請求項１に記載の画像処理方法。
3. 前記ＦＰＧＡデバイスは、データ・ファンアウト・モジュールを備え、
   前記データ・ファンアウト・モジュールは、前記ＦＰＧＡデバイスのモジュールへ前記受信された１つ以上の画像データが転送されるステップと、をさらに備える、請求項１に記載の画像処理方法。
4. 前記ＦＰＧＡデバイスの入出力（Ｉ／Ｏ）モジュールを介して、前記受信された１つ以上の画像データが前記画像信号プロセッサへ転送されるステップと、
   前記ＦＰＧＡデバイスのシリアライザ／デシリアライザ（Ｓｅｒｄｅｓ）・モジュールを介して、ストレージ媒体である前記第二ストレージ媒体へ前記受信された１つ以上の画像データがエクスポートされるステップと、をさらに備える、請求項３に記載の画像処理方法。
5. 前記イメージ・センサ用の画像データ・インタフェースを支援する第一構成から、データ・ストレージ用のデータ通信インタフェースを支援する第二構成へ、前記受信された１つ以上の画像データが変換されるステップと、をさらに備える、請求項１に記載の画像処理方法。
6. 前記画像信号プロセッサを介し、制御インタフェースを使用して前記イメージ・センサを再構成するステップと、をさらに備える、請求項１に記載の画像処理方法。
7. 前記画像信号プロセッサは、前記ＦＰＧＡデバイス中の画像信号処理モジュールである、請求項１に記載の画像処理方法。
8. 前記ＦＰＧＡデバイスは、グラフィック・プロセッシング・ユニット（ＧＰＵ）を含む、請求項１に記載の画像処理方法。
9. 複数の画像フレームを含んだ、画像データ・フロー中の前記１つ以上の画像データが受信される、ステップと、をさらに備える、請求項１に記載の画像処理方法。
10. カメラは、前記ＦＰＧＡデバイスを備え、
    前記ＦＰＧＡデバイスにより受信した前記１つ以上の画像データは、ＲＡＷ画像データ・フォーマット中にある、請求項１から９の何れか１項に記載の画像処理方法。
11. 前記第一ストレージ媒体は、メモリ・カードを含み、
    前記第二ストレージ媒体は、ソリッド・ステート・ディスク（ＳＳＤ）を含む、請求項１から請求項１０の何れか１項に記載の画像処理方法。
12. フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）デバイスを備え、
    前記ＦＰＧＡデバイスは、
    イメージ・センサの種類に応じて、入出力（Ｉ／Ｏ）ピン割り当てを変更し、
    前記イメージ・センサから１つ以上の画像データを受信し、
    画像信号プロセッサへ前記受信した１つ以上の画像データを転送し、
    前記画像信号プロセッサは、前記受信した１つ以上の画像データを圧縮し、第一ストレージ媒体に前記圧縮した画像データを保存し、前記受信した１つ以上の画像データを第二ストレージ媒体へエクスポートする、画像処理装置。
13. 前記ＦＰＧＡデバイスは、前記イメージ・センサの種類に応じて、入出力（Ｉ／Ｏ）ピン割り当てを動的に変更する、請求項１２に記載の画像処理装置。
14. 前記ＦＰＧＡデバイスは、データ・ファンアウト・モジュールをさらに備え、
    前記データ・ファンアウト・モジュールは、前記ＦＰＧＡデバイスのモジュールへ前記受信した１つ以上の画像データを転送する、請求項１２に記載の画像処理装置。
15. 前記ＦＰＧＡデバイスは、入出力（Ｉ／Ｏ）モジュールとシリアライザ／デシリアライザ（Ｓｅｒｄｅｓ）・モジュールを含み、
    前記入出力（Ｉ／Ｏ）モジュールは、前記画像信号プロセッサへ前記受信した１つ以上の画像データを転送し、
    前記シリアライザ／デシリアライザ（Ｓｅｒｄｅｓ）・モジュールは、前記第二ストレージ媒体へ前記受信した１つ以上の画像データをエクスポートする、
    請求項１４に記載の画像処理装置。
16. 前記ＦＰＧＡデバイスは、前記イメージ・センサ用の画像データ・インタフェースを支援する第一構成から、データ・ストレージ用のデータ通信インタフェースを支援する第二構成へ、前記受信した１つ以上の画像データを変換する、請求項１２に記載の画像処理装置。
17. 前記画像信号プロセッサは、制御インタフェースを使用して、前記イメージ・センサを再構成する、請求項１２に記載の画像処理装置。
18. 前記画像信号プロセッサは、前記ＦＰＧＡデバイスの画像信号処理モジュールである、請求項１２から請求項１７の何れか１項に記載の画像処理装置。
19. 前記ＦＰＧＡデバイスは、グラフィック・プロセッシング・ユニット（ＧＰＵ）を含むプロセッサである、請求項１２に記載の画像処理装置。
20. 前記ＦＰＧＡデバイスは、複数の画像フレームを含んだ画像データ・フロー中の前記１つ以上の画像データを受信する、請求項１２に記載の画像処理装置。
21. 前記ＦＰＧＡデバイスは、カメラの一部であり、
    前記ＦＰＧＡデバイスにより受信した前記１つ以上の画像データは、ＲＡＷ画像データ・フォーマット中にある、請求項１２から請求項２０の何れか１項に記載の画像処理装置。
22. 前記第一ストレージ媒体は、メモリ・カードを含み、
    前記第二ストレージ媒体は、ソリッド・ステート・ディスク（ＳＳＤ）を含む、請求項１２から請求項２１の何れか１項に記載の画像処理装置。

Images