JP2004534490A - デジタル画像から変換された画像を計算するための方法およびシステム - Google Patents
デジタル画像から変換された画像を計算するための方法およびシステム Download PDFInfo
- Publication number
- JP2004534490A JP2004534490A JP2003512926A JP2003512926A JP2004534490A JP 2004534490 A JP2004534490 A JP 2004534490A JP 2003512926 A JP2003512926 A JP 2003512926A JP 2003512926 A JP2003512926 A JP 2003512926A JP 2004534490 A JP2004534490 A JP 2004534490A
- Authority
- JP
- Japan
- Prior art keywords
- digital
- transformed
- image
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Facsimiles In General (AREA)
Abstract
Description
【0001】
本発明は、デジタル画像および幾何学的変換に関係する書式付き情報から変換画像を計算する方法およびシステムに関する。
【背景技術】
【0002】
【発明の開示】
【発明が解決しようとする課題】
【0003】
本発明は、デジタル画像および幾何学的変換に関係する書式付き情報、特に機器連鎖の歪みおよび/または色収差に関係する書式付き情報から変換された画像を計算する方法に関する。この方法は、幾何学的変換の近似から変換された画像を計算する段階を含む。したがって、計算に要するメモリリソース、メモリ帯域幅、計算パワー、したがって消費電力は低減される。また、このことから、変換された画像に、後で使用するにあたって目に見える、あるいはやっかいな欠陥がない。
【課題を解決するための手段】
【0004】
デジタル画像は、これ以降デジタルピクセルと呼ぶピクセルで構成される。変換された画像は、これ以降、変換されたピクセルと呼ぶピクセルで構成される。変換されたピクセルは、変換された位置および変換された値により特徴付けられる。本発明によれば、この方法は、変換されたピクセルの値を計算する段階を含むのが好ましく、その計算のために、
− デジタル画像内で、書式付き情報から、変換された位置毎に、1ブロック分のデジタルピクセルを選択するプロセスであるプロセス(a)、
− 書式付き情報から、変換された位置毎に、前記1ブロック分のデジタルピクセル内のデジタル位置を計算するプロセスであるプロセス(b)、
− 前記変換された位置について、変換されたピクセルの値を前記1ブロック分のデジタルピクセルのデジタルピクセルの値および前記デジタル位置の関数として計算するプロセスであるプロセス(c)を含む一般的アルゴリズムを使用する。
【0005】
書式付き情報には、パラメータが含まれる。パラメータを使用することにより、前記幾何学的変換に関係する少なくとも1つの関数を選択することができる。1つまたは複数の関数を使用することにより、変換された位置からデジタルピクセルのブロックおよびデジタル位置を計算することができる。
【0006】
本発明によれば、一般的アルゴリズムは、
− これ以降初期変換ピクセルと呼ぶ変換されたピクセルの選択、
− 初期デジタルピクセルおよび初期デジタル位置のブロックを取得するために、初期変換ピクセルの一般的アルゴリズムのプロセス(a)、(b)、および(c)の適用という手順で使用されることが好ましい。
【0007】
初期変換ピクセル以外の変換された各ピクセルに対して、
− 初期デジタルブロックおよび/またはそれぞれの初期変換位置から、デジタル画像内の1ブロック分のデジタルピクセルを選択するプロセスであるプロセス(d)、
− 初期デジタルブロックおよび/またはそれぞれの初期変換位置から、デジタルピクセルのブロック内のデジタル位置を計算するプロセスであるプロセス(e)、
− 変換されたピクセルの値をデジタルピクセルのブロックのデジタルピクセルの値およびデジタル位置の関数として計算するプロセスであるプロセス(f)を含む最適化されたアルゴリズムが適用される。
【0008】
技術的特徴の組み合わせから、初期デジタル点について、複雑な計算を必要とする書式付き情報を使用し、幾何学的変換の適切な近似を維持しながら、他の点に単純なアルゴリズムを適用することにより総計算時間を短縮することができる。
【0009】
この方法は、ハードウェアおよび/またはソフトウェア処理手段とともに使用される。本発明によれば、もっぱら、最適化されたアルゴリズムは整数データまたは固定小数点データを使用するのが好ましい。技術的特徴の組み合わせから、プロセス(a)および(b)が浮動小数点計算を実行するとしても、(a)および(b)は(c)および(d)に比べてあまり頻繁に実行されず、また浮動小数点演算が使用される場合でも少しエミュレートするだけでよいため、浮動小数点プロセッサまたは演算子なしで、一般的アルゴリズムおよび最適化されたアルゴリズムを実行することができる。技術的特徴の組み合わせから、例えば、消費電流を最小限に抑えて、できるだけ高速に動作させる一方で、アルゴリズムを写真機器に埋め込むことができる。
【0010】
本発明によれば、この方法はさらに、デジタル位置を量子化して量子化されたデジタル位置を取得する段階を含むことが好ましい。技術的特徴の組み合わせから、段階(c)および(f)を限られた数の入力とともに使用することで、係数を表形式で表すことができ、したがって、使用するキャッシュメモリを大幅に低減することができ、さらに主記憶の帯域幅も縮小できる。
【0011】
本発明により、この方法は、さらに、複数ブロック分の係数を計算する段階を含むのが好ましい。プロセス(c)および(f)は、
− 量子化されたデジタル位置を使用して1ブロック分の係数を選択し、
− 係数のブロックおよびデジタルピクセルのブロックから変換されたピクセルの値を計算することにより実行される。
【0012】
技術的特徴の組み合わせから、係数のブロックの計算は、コンパイル前に実行することができる。
【0013】
本発明の他の態様によれば、変換されたピクセルの値の計算のプロセス(c)および(f)はさらに、幾何学的変換以外の変換、特に画像スミアリングの減衰に適用することもできる。そのことから、消費エネルギーを減らし時間を短縮しながら複数の画像変換を適用することが可能である。
【0014】
デジタル画像は、複数のチャンネルを持つセンサから得られる。チャネルを組み合わせることにより色平面を出力することができる。好ましくはこの場合でも、本発明により、変換されたピクセルの値の計算のプロセス(c)および(f)を使用すると、チャネルを組み合わせて色平面を取得することができる。技術的特徴の組み合わせから、3色平面RGBの場合に、一般的アルゴリズムおよび/または最適化されたアルゴリズムを使用する計算時間および消費電力は、3つ程度に分けられることがわかる。さらに、技術的な特徴の組み合わせから、精度も比較的よい。さらに、技術的特徴の組み合わせから、チャンネル結合機能が含まれている機器の場合、特にデジタル写真機器の場合、幾何学的変換の処理を追加するのに余分なコストはほとんどかからない。
【0015】
デジタル画像は色平面からなる。この場合本発明によれば、異なる幾何学的変換を各色平面に適用し、色収差を補正するような方法であることが好ましい。
【0016】
本発明によれば、この方法はさらに、幾何学的変換をデジタル画像に応じて変わる他の幾何学的変換、特にズーム効果と組み合わせる段階を含むのが好ましい。技術的特徴の組み合わせから、幾何学的変換と同時に他の幾何学的変換、特にズーム効果をデジタル画像に適用するのに時間およびエネルギーの余分なコストはほとんどかからない可能性がある。さらに、技術的特徴の組み合わせから、幾何学的変換を他の幾何学的変換を受けたデジタル画像に適用することが可能である。
【0017】
書式付き情報は、デジタル画像に依存する可変特性、特にデジタル画像のサイズに依存することがある。この場合、本発明により、この方法はさらに、デジタル画像の可変特性の値を決定する段階を含むのが好ましい。プロセス(a)および(b)では、可変特性についてこのようにして得られる値に依存する書式付き情報を使用する。技術的特徴の組み合わせから、可変特性に依存する書式付き情報の方法を採用することは、可変特性に依存しない書式付き情報の方法を採用することに帰着する。
【0018】
本発明によれば、書式付き情報は機器連鎖の歪みの欠陥および/または色収差に関係しているのが好ましい。パラメータは、測定フィールドに関係する。
【0019】
変換された画像は、幾何学的変換をデジタル画像に適用することにより得られた画像と比較した場合の差を示すことがある。この場合、本発明によれば、この方法はさらに、
− 閾値を選択する段階、
− 差が閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点を選択する段階を含むのが好ましい。
【0020】
技術的特徴の組み合わせから、あるレベルの画像品質に到達するまでの計算時間は最短である。
【0021】
変換された画像は、幾何学的変換をデジタル画像に適用することにより得られた画像と比較した場合の差を示すことがある。この場合、本発明によれば、この方法はさらに、
− 閾値を選択する段階、
− 差が閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点および/または量子化されたデジタル位置の量子化を選択する段階を含むのが好ましい。
【0022】
技術的特徴の組み合わせから、あるレベルの画像品質に到達するまで計算する時間は最短である。
【0023】
本発明によれば、この方法はさらに、プロセス(a)および/または(d)によって選択されたデジタルピクセルのブロックが指定された平均個数の共通デジタルピクセルを有するように、変換された位置をソートする段階を含むのが好ましい。技術的特徴の組み合わせから、サイズの小さな、またはレジスタ数が少ないキャッシュメモリであっても、プロセス(a)および/または(d)の連続反復に必要なピクセル値の大部分を十分に収められる。さらに、技術的な特徴の組み合わせから、メモリ帯域幅を大幅に減らすことができる。また、技術的特徴の組み合わせから、メモリ内に完全なデジタル画像を保持する必要もない。また、技術的特徴の組み合わせから、メモリ内に完全な変換された画像を保持する必要もない。さらに、技術的な特徴の組み合わせから、コストおよび消費電力が低減される。
システム
本発明は、デジタル画像および幾何学的変換に関係する書式付き情報、特に機器連鎖の歪みおよび/または色収差に関係する書式付き情報から変換された画像を計算するシステムに関する。このシステムは、幾何学的変換の近似から変換された画像を計算する計算手段を備える。
【0024】
デジタル画像は、これ以降デジタルピクセルと呼ぶピクセルで構成される。変換された画像は、これ以降、変換されたピクセルと呼ぶピクセルで構成される。変換されたピクセルは、変換された位置および変換された値により特徴付けられる。本発明によれば、このシステムは、変換されたピクセルの値を計算する計算手段を備えるのが好ましく、その計算のために、
− デジタル画像内で、書式付き情報から、変換された位置毎に、1ブロック分のデジタルピクセルを選択するプロセスであるプロセス(a)、
− 書式付き情報から、変換された位置毎に、デジタルピクセルのブロック内のデジタル位置を計算するプロセスであるプロセス(b)、
− 前記変換された位置について、変換されたピクセルの値を前記1ブロック分のデジタルピクセルのデジタルピクセルの値およびデジタル位置の関数として計算するプロセスであるプロセス(c)を含む一般的アルゴリズムを備えるデータ処理手段を使用する。
【0025】
書式付き情報には、パラメータが含まれる。パラメータを使用することにより、幾何学的変換に関係する少なくとも1つの関数を選択することができる。1つまたは複数の関数を使用することにより、変換された位置からデジタルピクセルのブロックおよびデジタル位置を計算することができる。
【0026】
本発明によれば、計算手段は、
− これ以降初期変換ピクセルと呼ぶ変換されたピクセルの選択、
− 初期デジタルピクセルおよび初期デジタル位置のブロックを取得するために、初期変換ピクセルの一般的アルゴリズムのプロセス(a)、(b)、および(c)の適用という方法で一般的アルゴリズムを使用するのが好ましい。
【0027】
計算手段は、初期変換ピクセル以外の変換された各ピクセルに対して、
− 初期デジタルブロックおよび/またはそれぞれの初期変換位置から、デジタル画像内の1ブロック分のデジタルピクセルを選択するプロセスであるプロセス(d)、
− 初期デジタルブロックおよび/またはそれぞれの初期変換位置から、デジタルピクセルのブロック内のデジタル位置を計算するプロセスであるプロセス(e)、
− 変換されたピクセルの値をデジタルピクセルのブロックのデジタルピクセルの値およびデジタル位置の関数として計算するプロセスであるプロセス(f)を含む最適化されたアルゴリズムを適用する。
【0028】
一般的アルゴリズムまたは最適化されたアルゴリズムは、ハードウェアおよび/またはソフトウェア処理手段により実行される。好都合な他の実施形態によれば、最適化されたアルゴリズムはもっぱら、整数データまたは固定小数点データを使用する。
【0029】
本発明によれば、このシステムはさらに、デジタル位置を量子化して量子化されたデジタル位置を取得するデータ処理手段を備えることが好ましい。
【0030】
本発明により、このシステムは、さらに、複数ブロック分の係数を計算する計算手段を備えるのが好ましい。プロセス(c)および(f)は、計算手段が
− 量子化されたデジタル位置を使用して1ブロック分の係数を選択し、
− 係数のブロックおよびデジタルピクセルのブロックから変換されたピクセルの値を計算することにより実行される。
【0031】
変換されたピクセルの値の計算のプロセス(c)および(f)はさらに、幾何学的変換以外の変換、特に画像スミアリングの減衰に適用することもできる。
【0032】
センサから得られるデジタル画像は、複数のチャンネルを持つことができる。チャネルを組み合わせることにより色平面を出力することができる。本発明によれば、変換されたピクセルの値の計算のプロセス(c)および(f)は、チャネルを組み合わせて色平面を取得することができるようなプロセスであるのが好ましい。
【0033】
本発明によれば、デジタル画像は色平面で構成されるのが好ましい。システムは、データ処理手段が異なる幾何学的変換を各色平面に適用し、色収差を補正することができるようなシステムである。
【0034】
本発明によれば、このシステムは、データ処理手段により、幾何学的変換をデジタル画像に応じて変わる他の幾何学的変換、特にズーム効果と組み合わせることができるようなシステムであるのが好ましい。
【0035】
書式付き情報は、デジタル画像に依存する可変特性、特にデジタル画像のサイズに依存することがある。この場合、本発明により、システムはさらに、注目しているデジタル画像の可変特性の値を決定するデータ処理手段を備えるのが好ましい。プロセス(a)および(b)を実行する計算手段では、可変特性についてこのようにして得られる値に依存する書式付き情報を使用する。
【0036】
本発明によれば、書式付き情報は機器連鎖の歪みの欠陥および/または色収差に関係しているのが好ましい。パラメータは、測定フィールドに関係する。
【0037】
変換された画像は、幾何学的変換をデジタル画像に適用することにより得られた画像と比較した場合の差を示すことがある。この場合、本発明によれば、システムはさらに、差が選択した閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点を使用することが可能なデータ処理手段を備えるのが好ましい。
【0038】
変換された画像は、幾何学的変換をデジタル画像に適用することにより得られた画像と比較した場合の違いを示すことがある。この場合、本発明によれば、システムはさらに、差が選択した閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点および/または量子化されたデジタル位置の量子化を使用することが可能なデータ処理手段を備えるのが好ましい。
【0039】
本発明によれば、このシステムはさらに、プロセス(a)および/または(d)によって選択されたデジタルピクセルのブロックが指定された平均個数の共通デジタルピクセルを有するように、変換された位置をソートするデータ処理手段を備えるのが好ましい。
【発明を実施するため最良の形態】
【0040】
本発明の他の特徴および利点は、指示され、また非制限的な例で示される本発明の他の実施形態の説明を読むと明らかになる。
【0041】
機器
特に図10を参照して、機器P25の概念について説明する。本発明の意味の範囲内において、機器P25は特に、
− 使い捨て写真機器、デジタル写真機器、反射機器、スキャナ、ファクス機、内視鏡、カムコーダー、監視カメラ、電話、パーソナルデジタルアシスタント、またはコンピュータに組み込まれているまたは接続されているカメラ、熱画像カメラ、または反響機器などの画像取込機器または画像取込機器、
− スクリーン、プロジェクタ、TVセット、仮想現実ゴーグル、またはプリンタなどの画像復元機器、
− 乱視などの視覚に異常のある人間、
− エミュレートできることが望まれ、例えば、Leicaブランドの機器によって生成されるのと類似の表示の画像を出力する機器、
− スミアリングを加えるエッジ効果を持つ、ズームソフトウェアなどの画像処理用デバイス、
− 複数の機器P25と同等の仮想機器、
スキャナ/ファクス/プリンタ、写真現像ミニラボ、または電子会議機器などのさらに複雑な機器P25は、1つの機器P25または複数の機器P25とみなすことができる。
【0042】
機器連鎖
特に図10を参照して、機器連鎖P3の概念について説明する。機器連鎖P3は、一組の機器P25として定義される。機器連鎖P3の概念は、さらに、オーダーの概念も含むことができる。
【0043】
以下の例は、機器連鎖P3を構成するものである。
【0044】
− 単一機器P25、
− 画像取込機器および画像復元機器、
− 例えば写真現像ミニラボの写真機器、スキャナ、またはプリンタ、
− 例えば写真現像ミニラボのデジタル写真機器またはプリンタ、
− 例えばコンピュータのスキャナ、画面、またはプリンタ、
− 画面またはプロジェクタ、および人間の目、
− エミュレートできることが望まれる1つの機器および他の機器、
− 写真機器およびスキャナ、
− 画像取込機器および画像処理用ソフトウェア、
− 画像処理用ソフトウェアおよび画像復元機器、
− 前記の例の組み合わせ、
− 他の機器セットP25。
【0045】
欠陥
特に図10を参照して、欠陥P5の概念について説明する。機器P25の欠陥P25は、光学系および/またはセンサおよび/または電子ユニットおよび/または機器P25に組み込まれているソフトウェアの特性に関係する欠陥として定義され、欠陥P5の例として、幾何学的歪み、スミアリング、口径食、色収差、演色、フラッシュ一様性、センサノイズ、粒、非点収差、および球面収差などがある。
【0046】
デジタル画像
特に図1を参照して、デジタル画像INUMの概念について説明する。デジタル画像INUMは、機器P25によってキャプチャまたは修正または復元される画像として定義される。デジタル画像INUMは、機器連鎖P3の機器P25から得られる。デジタル画像INUMは、機器連鎖P3の機器P25を出力先とすることができる。静止画像の時系列からなるビデオ画像などのアニメーション画像の場合、デジタル画像INUMは画像列の静止画像として定義される。
【0047】
書式付き情報
特に図10を参照して、書式付き情報IFの概念について説明する。書式付き情報は、幾何学的変換に関係するデータとして定義され、例えば、機器連鎖P3の1つまたは複数の機器P25の欠陥P5に関係するデータがそのようなデータであり、これを使って、機器P25の欠陥P5を考慮することにより、変換された画像ITRを計算することができる。欠陥P5としては、特に幾何学的歪みおよび/または色収差欠陥が考えられる。書式付き情報IFは、基準の測定および/またはキャプチャまたは復元、および/またはシミュレーションに基づくさまざまな方法を使用して出力することができる。
【0048】
書式付き情報IFを出力するために、例えば、Vision IQという名称で本出願と同日に出願され「Method and system for producing formatted information related to geometric distortions」という表題の国際特許出願で説明されている方法を使用することが可能である。その出願では、機器連鎖P3の機器P25に関係する書式付き情報IFを出力する方法を説明している。機器連鎖P3は、特に、少なくとも1つの画像取込機器および/または少なくとも1つの画像復元機器で構成される。この方法は、連鎖の少なくとも1つの機器の幾何学的歪みに関係する書式付き情報IFを出力する段階を含む。
【0049】
機器P25では、媒体上の画像をキャプチャまたは復元できる。機器P25は、画像に応じて、少なくとも1つの固定特性および/または1つの可変特性を含む。固定特性および/または可変特性は、1つまたは複数の特性、特に焦点距離および/または焦点合わせ、および関連する特性の値と関連付けることができる。この方法は、測定フィールドから、機器の幾何学的歪みに関係する測定書式付き情報を出力する段階を含む。書式付き情報IFは、測定書式付き情報を含む。
【0050】
書式付き情報IFを出力するために、例えば、Vision IQという名称での本出願と同日に出願され「Method and system for reducing update frequency of image processing means」という表題の国際特許出願で説明されている方法を使用することが可能である。その出願では、画像処理手段、特にソフトウェアおよび/またはコンポーネントの更新頻度を減らす方法を説明している。画像処理手段を使用すると、機器連鎖から得られる、または機器連鎖を送り先とするデジタル画像の品質を修正することができる。機器連鎖は、少なくとも1つの画像取込機器および/または少なくとも1つの画像復元機器で構成される。画像処理手段では、機器連鎖P3の少なくとも1つの機器P25の欠陥に関係する書式付き情報を使用する。書式付き情報IFは、少なくとも1つの変数に依存する。書式付き情報により、変数の一部と識別子の一部との対応関係を定めることが可能である。識別子を使って、識別子および画像を考慮して識別子に対応する変数の値を決定することが可能である。技術的特徴の組み合わせから、特に物理的重要性および/または変数の内容が画像処理手段を分配した後でしかわからない場合に、変数の値を決定することが可能である。さらに、技術的特徴の組み合わせから、補正ソフトウェアの2回の更新を時間間隔をおいて行うことができる。さらに、技術的特徴の組み合わせから、機器および/または画像処理手段を作成するさまざまな経済的活動組織は自社製品を他の経済的活動組織とは無関係に更新することができるが、これは、後者が自社製品の特性を根本から変える場合あるいは自社製品の更新をクライアントに強制できない場合であってもそうである。また、技術的特徴の組み合わせから、新しい機能を限られた数の経済的活動組織および先駆者ユーザーから始めて徐々に配備してゆくことができる。
【0051】
書式付き情報IFを出力するために、例えば、Vision IQという名称での本出願と同日に出願され「Method and system for providing formatted information in a standard format to image−processing means」という表題の国際特許出願で説明されている方法を使用することが可能である。その出願では、標準形式の書式付き情報IFを画像処理手段、特にソフトウェアおよび/またはコンポーネントに供給する方法について説明している。書式付き情報IFは、機器連鎖P3の欠陥に関係している。機器連鎖P3は、特に、少なくとも1つの画像取込機器および/または1つの画像復元機器を含む。画像処理手段では、書式付き情報IFを使用して、前記機器連鎖P3から得られる、または機器連鎖P3を送り先とする少なくとも1つの画像の品質を修正する。書式付き情報IFは、画像取込機器の欠陥P5を特徴付けるデータ、特に歪み特性、および/または画像回復機器の欠陥を特徴付けるデータ、特に歪み特性を含む。
【0052】
本方法は、前記標準形式の少なくとも1つのフィールドに書式付き情報IFを書き込む段階を含む。フィールドは、フィールド名で指定する。フィールドには、少なくとも1つのフィールド値が格納される。
【0053】
書式付き情報IFを検索するために、例えば、Vision IQという名称で本出願と同日に出願され「Method and system for modifying the quality of at least one image derived from or addressed to an appliance chain」という表題の国際特許出願で説明されている方法を使用することが可能である。その出願では、指定機器連鎖から引き出す、または指定機器連鎖を送り先とする少なくとも1つの画像の品質を修正する方法を説明している。指定された機器連鎖は、特に、少なくとも1つの画像取込機器および/または少なくとも1つの画像復元機器で構成される。複数の経済活動組織が市場に漸次導入している画像取込機器および/または画像復元機器は中間の機器群に属している。この機器群の機器P25は、書式付き情報によって特徴付けられる欠陥P5を示している。注目している画像については、この方法は以下の段階を含む。
【0054】
− 機器群の機器に関係する書式付き情報の情報源のディレクトリをコンパイルする段階、
− このようにしてコンパイルされた書式付き情報の間の指定された機器連鎖に関係する特定の書式付き情報を自動的に検索する段階、
− このようにして得られた特定の書式付き情報を考慮しながら、画像処理ソフトウェアおよび/または画像処理コンポーネントを使用して自動的にデジタル画像INUMを処理する段階。
【0055】
可変特性
可変特性の概念について説明する。本発明によれば、可変特性は測定可能なファクタとして定義され、これは同じ機器P25によってキャプチャ、修正、または復元された、機器P25によってキャプチャ、修正、または復元された画像の欠陥P5に影響を及ぼすデジタル画像INUM毎に異なり、特に、これは、
− 所定のデジタル画像INUMについて固定されている、大域的変数、例えば、ユーザーの調整に関係するまたは機器P25の自動機能に関係する画像のキャプチャまたは復元のときの機器P25の特性、
− 所定のデジタル画像INUM内で可変である、局所的変数、例えば、必要ならばデジタル画像INUMのゾーンに応じて異なるローカル処理を適用することができる、画像内の座標、x、y、またはρ、θである。
【0056】
一方の機器P25から他方へ変えられるが、一方のデジタル画像INUMから同じ機器P25によりキャプチャ、修正、または復元された他方の画像まで固定されている、測定可能ファクタは一般に、可変特性とみなされない。例えば、焦点距離が固定されている機器P25の焦点距離である。
【0057】
書式付き情報IFは、少なくとも1つの可変特性に依存する。
【0058】
可変特性により、特に以下のことが理解できる。
【0059】
− 光学系の焦点距離、
− 画像に適用される再寸法設定(デジタルズーム係数:画像の一部の拡大、および/またはサンプリングでは:画像のピクセル数の削減)、
− ガンマ補正など非線形明度補正、
− 機器P25により適用されるスミアリング修正のレベルなど、輪郭を際立たせること、
− センサおよび電子ユニットの雑音、
− 光学系の口径、
− 焦点距離、
− フィルム上のフレームの数、
− 露光不足または露光過多、
− フィルムまたはセンサの感度、
− プリンタで使用される用紙の種類、
− 画像内のセンサの中心の位置、
− センサに相対的な画像の回転、
− 画面に相対的なプロジェクタの位置、
− 使用されるホワイトバランス、
− フラッシュおよび/またはその動力の起動、
− 露光時間、
− センサ利得、
− 圧縮、
− コントラスト、
− 動作モードなど、機器P25のユーザーによって適用される他の調整、
− 機器P25の他の自動調整。
【0060】
可変特性値
可変特性値VCVの概念について説明する。可変特性値VCVは、指定デジタル画像INUMのキャプチャ、修正、または復元のときの可変特性の値として定義される。
【0061】
パラメータ化可能モデル
本発明の意味の範囲内で、パラメータ化可能モデルは、1つまたは複数の機器P25の1つまたは複数の欠陥P5に関係する可変特性に依存する数学的モデルとして定義される。機器の欠陥P25に関係する書式付き情報IFは、可変特性に依存するパラメータ化可能モデルのパラメータの形式とすることができる。
【0062】
変換された画像の計算
図1を参照して、本発明の方法およびシステムの簡略化した実施例について説明する。
【0063】
デジタル画像INUMは、画像INUMの表面上に規則正しく分布するピクセルPXnum.1からPXnum.nとして定義された一組の画像要素を含む。図1では、これらのピクセルの形状は正方形であるが、円形など他の形状でもよく、これは画像取込および復元を行う機器で画像を伝送するように設計されている表面のスタイルに依存する。さらに、図1では、ピクセルは、連結されているものとして示されているが、実際には、一般的にピクセル間にある程度の間隔が存在する。
【0064】
変換された画像ITRはさらに、変換されたピクセルPXTR.1からPXTR.nとして定義された一組のピクセルを含む。それぞれの変換されたピクセルは、変換された位置pxtrおよび変換された値vxtrにより特徴付けられる。
【0065】
変換された画像は、変換を画像に適用することによって得られる補正または修正画像である。この変換は、幾何学的変換であってよいが、実行に際して、使用される機器の欠陥または画像に取り込まれる特性を考慮する書式付き情報を計算に取り入れる。
【0066】
書式付き情報は、限られた数の変換されたピクセルに関係付けられること、および/または画像に依存する可変特性(焦点距離、焦点合わせ、口径など)の値VCVを組み込むことができることに注意されたい。この場合、例えば、可変特性を備えていない機器の書式付き情報などの単純な書式付き情報に帰着するように補間により実行される補助段階が存在してもよく、したがって、可変焦点距離を持つ機器のケースは固定焦点距離を持つ機器のケースに帰着する。
【0067】
関数x’,y’=f(x,y,t)、tを可変特性とする例では、書式付き情報は、限られた数の値(xi,yi,ti,f(xi,yi,ti))で構成することができる。そこで、x、y、tの他の値について近似値を計算する必要がある。同じ形式により、tをベクトルとし、複数の可変特性を同時に含めることができる。歪みの場合、書式付き情報に、必要ならば、各点が従う変位を示すベクトル、または予備較正段階の間に使用される測定点を表す離散要素の集合、あるいはこの離散集合の近似に対応する関数で構成し、書式付き情報の量を減らすことができる。
【0068】
書式付き情報に、予備段階で使用され設計された機器に関係するデータだけでなく、撮影時に機器の調整に関する詳細(焦点距離、焦点合わせ、口径、速度、フラッシュなど)を供給することができるExifまたはその他の形式でまとめられた情報もすべて含めることができる。
【0069】
例えば、デジタル画像INUMは、四角形の画像のキャプチャを表す。図1では、四角形のトレースに対応するピクセルは黒色で示されている。キャプチャ機器の歪みのため、図1に示されている画像INUMのように、四角形は変形している。本発明によれば、とりわけ、目的の最終精度に応じて近似を取り込む計算手段CAPPを使用することにより、位置pxtrを持つ変換されたピクセルの値vxtrを得、変換された画像ITR上で、ピクセルの位置および値が実際に近似の範囲に合わせて補正された四角形を得ることができる。
【0070】
アルゴリズムCAPPを適用すると、歪みの場合に、変形された画像は完全なあるいは準完全な画像になることに注意されたい。また同じアルゴリズムを使用して、変形された画像を、必要ならば違う方法で変形された他の画像に変形し、知られている種類の画像(魚眼レンズ効果、逆歪みなど)によく似た画像を出力することができる。また同じアルゴリズムにより、変形された画像を(図1のように直線という意味で)完全とはいえないが観察者の目には最適に見える画像に帰着させることができ、人間の目の知覚の幾何学的欠陥を必要に応じて補償することができる。
【0071】
図2aは、本発明による改良された方法およびシステムの実施例を示す図である。この方法およびシステムの説明で使用しているピクセルのみが、デジタル画像と変換された画像に示されている。変換された画像では、値を求めなければならないピクセルPXTR.iが示されている。デジタル画像内で、変換された画像内の変換されたピクセルpxtr.iの位置に位置pxnum.iが対応しており、これは、歪みの場合、例えば、pxtr.iまで下げて戻すためにpxnum.iに加える必要のある変位ベクトルを含む書式付き情報(IF)から得られる。
【0072】
本発明は、図3で説明され示されているさまざまな段階を含む。
【0073】
まず、変換された画像内の変換されたピクセルPXTR.iの位置pxtr.iが識別される(段階ET1)。それ以降の段階(ET2)の過程で、画像ITR内の位置に関する情報が得られれば、画像取込および/または復元を行う機器の特性を伝達する書式付き情報IFを使用して、変換されたピクセルPXTR.iに対応する点の位置pxnum.iを囲む、デジタル画像INUMのピクセルブロックBPNUM.iの位置を推論する。図2aの例によれば、1つのピクセルブロックは5×5個のピクセルを含む。
【0074】
次に(段階ET3)、変換された情報を使用することにより、ピクセルPXTR.iの変換された位置pxtr.iに関して、ピクセルPXTR.iに対応するデジタルピクセルブロックの点のデジタル位置pxnum.iを計算する。図2aから明らかなように、この点は必ずしも、ピクセルブロックBPNUM.iのピクセルの中心の位置に対応するわけではない。したがって、ピクセルPXTR.1の変換された値がデジタルピクセルの値に対応していないことはわかるであろう。
【0075】
次の段階(ET4)の過程で、ブロックBPNUM.i内の点pxnum.iの位置に関する情報が得られれば、ブロックBPNUM.iに置かれ、点pxnum.iを中心とする仮想上のピクセルの値が計算される。この仮想上のピクセルPXFICは、ブロック内の点pxnum.iを囲むピクセルの値を考慮する必要のある、したがってブロック内のこの点の位置も考慮する必要のある値を持つ。単純な方法で、この点を囲むピクセルの値を平均を取ることができる。
【0076】
さらに、各ピクセルの値に、点の位置pxnum.iに相対的なそのピクセルの距離の関数となっている係数を割り当てることによりブロックのピクセル値の平均を取ることもできる。これは、ピクセルブロック全体について以下の総和を計算することと同じである。
【0077】
Σvxnum.j×Cj(デジタル位置pxnum.i)
ただし、vxnum.j=ブロック内のピクセルの値であり、
Cj=点の位置pxnum.iの関数としてのピクセルの係数である。
【0078】
1ブロックの各ピクセルの係数は、点の位置pxnum.iの関数として、さまざまな方法で計算することができる。第1の方法は、解析的な式を使用し、例えば近似曲面の順序、計算機の精度、およびブロック内の位置pxnum.iの関数としてブロックの各ピクセルの係数を計算する方法である。
【0079】
それよりも単純な方法は、位置pxnum.iの量子化の手法を用いてブロック内の点の可能な位置の個数を制限する方法である。このような場合、係数のテーブルをブロック内の1点の可能な位置毎に構成するものとする。ブロック内の位置の異なる量子化された値について、複数の係数系列を各系列においてブロックのピクセル毎の係数値とともに計算する。
【0080】
その後、前述の段階ET4で、ブロック内の点のその位置pxnum.iを量子化し、ブロックのピクセル毎に1つの有用な係数を使用して係数系列にアクセスできるようにする。この係数系列に同じピクセルの値の系列を掛けるだけで十分である。
【0081】
図4は、このようなプロセスの概略図である。ある点の位置pxnum.iは、aからnまでの限られた数の値を取りうる説明されている値として量子化される。
【0082】
点の位置の説明されている値毎に、係数のテーブルCaからCnがある。値「a」については、例えば、テーブルQU1により、係数a1からanまでのテーブルにアクセスすることができる。例えば、値「a」を使用することで、テーブルCaにアクセスすることができる。テーブルCaには、ピクセルブロックBPNUM.iに含まれるピクセルの数と同じ係数a1からanが含まれる。これらの係数はそれぞれ、各ピクセルの値に重みを割り当てるようにしてブロック内の点の位置pxnum.iの関数として計算されている。ブロック内の位置pxnum.iの点から最も遠い距離にあるピクセルの重みは小さく、最も近い距離にあるピクセルの重みは大きいことは容易に理解されるであろう。
【0083】
係数のテーブルCaおよびブロックBPNUM.iのピクセル値の集合を使用して、次の計算
Σ(vxnum.j×Cj)
を実行し、仮想上のピクセルPXFICの値を求めると、変換された画像ITRの変換されたピクセルpxtr.iに割り当てられるのがこの値である。
【0084】
実施例では、変換されたピクセルの位置から書式付き情報を使用して得られる点pxnum.iの位置は、整数部(または第1のアドレス番号)と小数部(または第2のアドレス番号)により表すことができると考えることが可能である。例えば、前述のアドレスpxnum.iの量子化を小数部に一意に関連付けることが可能である。
【0085】
整数部は画像INUM内のピクセルブロックBPNUM.iのアドレス、あるいはより正確には、ブロックのピクセルPXnum.1などの、このブロックの定義されているピクセルのアドレスとすることができる。
【0086】
小数部で、ブロック内の点のアドレスを指定する。このアドレスについては、オプションの数を数値で表し、アドレスを限られた数のビットのみで表すことを決定することができ、したがって、係数のテーブルCaからCnの数は制限される。例えば、ブロック内のアドレスが3ビットで表される場合、係数の8個のテーブルCaからCnを用意する必要がある。
【0087】
そのため、段階ET2およびET3で浮動小数点演算による計算を実行する場合でも、これらの段階は傾向として段階ET4に比べ実行頻度が低く、浮動小数点演算が使用されるとしてもエミュレートする演算は少ないことが考えられるので、浮動小数点プロセッサまたは演算子なしで本発明の方法を実行することが可能であり、前記アルゴリズムを例えば、写真機器に埋め込み、しかも消費電流を最小限に抑え、できる限り高速動作させることができる。この場合、本発明によるシステムは、浮動小数点プロセッサまたは演算子を使用しないハードウェアおよび/またはソフトウェア処理手段を備える。
【0088】
しかし、いわゆる固定小数点プロセッサまたは演算子(例:Texas Instruments信号処理用プロセッサTMS320C54xx)ではなく、いわゆる浮動小数点プロセッサまたは演算子(例:Intel Pentiumプロセッサ)を使用することが可能である。
【0089】
前記の方法を変換された画像のすべてのピクセルに適用し、デジタルピクセルの値からその値を知ることができる。
【0090】
この方法の例では、例えば、デジタルピクセルの正方形のブロックをとった。しかし、図2b、2c、および2dに示されているように、このブロックは他の形状(円形、六角形など)にすることもできる。
【0091】
そこで、処理を高速化する、本発明の方法およびシステムの改良について説明する。変換されたピクセル毎に、書式付き情報を使用してデジタル画像内の点の位置を計算するのに要する時間を短縮できることを前提とする。
【0092】
図5aは、変換された画像を計算するための方法の他の実施形態の実施例を示す組織図である。
【0093】
まず(段階ET0)で、変換された画像内の一定数のピクセルを選択し、それらを初期変換ピクセルと定義する。例えば、4つのピクセルPXINIT.1から4を選択する。
【0094】
前述の方法を変換されたピクセル毎に適用する。これは、図5aが図3のと同じ段階ET1からET4を示しているからである。段階ET1からET4が初期変換ピクセルPXINIT.1から4に適用された後、システムは自分自身にクエリを送り(段階ET5)、すべての初期変換ピクセルが処理されたかどうかを調べ、処理されていなければ、段階ET1からET4のプロセスを別の初期変換ピクセルについて繰り返す。すべての初期変換ピクセルの処理が完了したら、システムは方法の次の段階ET6に進むことができる状態にある。段階ET5の終わりの状況が図5bに示されており、それと同時に、
− 変換された画像ITR内の、4つの変換されたピクセルPXINIT.1から4、
− デジタル画像INUM内の、点pninit.1から4を含む初期デジタルピクセルの4つのブロックBPINIT.1から4も示されている。画像INUM内のブロックBPINIT.1から4の位置は知られている(方法の段階ET2を参照)。それぞれのブロック内の点pninit.1から4の位置も知られている(方法の段階ET3を参照)。
【0095】
そこで、変換された画像の任意の変換されたピクセルPXTR.iの値を計算する必要がある。図5cでは、このピクセルPXTR.iは、初期変換ピクセルと初期変換ピクセルの間に配置されているが、そうする必要があるわけではない。
【0096】
したがって、段階ET6の過程で、ピクセルPXTR.iが選択され、変換された画像内のその位置pxtrが取得される。
【0097】
段階ET7の過程で、初期変換ピクセルPXINIT.1から4に相対的なピクセルPXTR.iの相対位置が計算される。例えば、これらすべてのピクセルの位置(px.1、px.2など)の情報が与えられれば初期変換ピクセルの間の距離11から14だけでなくピクセルPXTR.iから初期変換ピクセルPXINIT.1〜4までの距離d1.1、d1.2、d2.1、...d4.2が計算される。そこで、ピクセルPXTR.iの位置は、初期変換ピクセルに関する相対位置および/または初期変換ピクセルを隔てる距離に関する相対位置として表される。こうして、この相対位置を距離のパーセンテージで表すことが可能になる。また、この位置を、
(d1.1)(d2.1)(px.4)+(1−d1.1)(d2.1)(px.3)+
(d1.1)(1−d2.1)(px.2)+(1−d1.1)(1−d2.1)(px.1)
またはさらに高次の他の関係式などの種類の双線形関係式で表すことも可能になる。
【0098】
段階ET8の過程で、デジタル画像への変換されたピクセルPXTR.iの数学的投影から得られる点を含むデジタルピクセルブロックBPNUM.iは、すでに計算されている比例関係に基づいて配置される。
【0099】
段階ET9の過程で、同じ比例規則を使用して、デジタル画像への変換されたピクセルPXTR.iの数学的投影から得られる点のブロックBPNUM.iにおける位置pxnum.iを決定する。
【0100】
この段階で、画像の点の集合に適用される比例規則を使用すると、書式付き情報を使用する場合に比べて計算時間が短くて済む。
【0101】
前述のように、点pxnum.iの位置を量子化し、限られた数のビット上に表現することが可能である。初期変換ピクセルの値を計算するときに採用したのと同じ量子化基底を使用することが可能であり、したがって、デジタルピクセルブロックに適用するのと同じ係数のテーブルを使用して、ピクセルPXFICの値およびしたがって変換されたピクセルPXTR.iの値を取得することができる(段階ET10)。
【0102】
ただし、
− 初期変換ピクセルは正則行列内に配置することができること、およびプロセッサの並列実行命令、特にIntelのMMX、SSE、またはSSE2命令またはAMDの3DNow命令を有効利用するため行列の間隔を2のべき乗にすること、
− 双線形補間を使用して、ピクセルブロックを配置し(段階ET8)、点をこの配置済みのピクセルブロックに配置することが可能であること(段階ET9)に注意されたい。
【0103】
本発明の他の実施形態によれば、ピクセル値の計算の方法を複数の段階に分けて実行することで、ブロックサイズを縮小し、計算器により実行される加算および/または乗算の最終的な回数を減らすことを条件とすることができる。当業者が数学的分離可能補間演算子と呼ぶものを表す係数Cjのいくつかの値に関して、一般的なアルゴリズムおよび/または最適化されたアルゴリズムを、最初に水平幾何学的変換について、さらに再び垂直幾何学的変換について中間結果に適用し、そうして理論的には、ブロックを処理するために必要な乗算および/または加算の回数を2で除算することができる。
【0104】
なお以下に注意されたい。
【0105】
− 変換されたピクセルおよびデジタルピクセルの位置の量子化により、定数と限られた次元の係数のテーブルを構成し、使用するキャッシュメモリの量および主記憶内の帯域幅を大幅に減らすことができる。これは、段階ET3およびET10の計算がピクセルブロックのデジタル位置のみに依存するため可能である。
【0106】
− システム内で係数のテーブルを1回かつ1回に限り構成することができること。もちろん、異なるサイズのデジタルピクセルブロックに対応する、異なるサイズの複数の種類の係数テーブルを用意することが可能である。例えば、量子化精度を修正して、処理演算の近似度を修正する、したがって、得られた変換された画像の品質を修正することが可能である。さらに、場合によっては、異なる種類の目立つ欠陥(歪み、口径食、スミアリングなど)の選択を補償するために、同じサイズであるが、例えばデジタルピクセルブロック内の点の同じ位置に関して異なる種類のテーブルに異なる値の係数が含まれる複数の係数テーブルを格納することも可能である。
【0107】
− 係数のテーブルに都合のよい次元は4×4であるが、そうである必要はないこと。
【0108】
− 係数は双三次補間の係数であってもよく、段階ET3およびET10の計算は、スカラー積の形式で実行できること。
【0109】
説明したように、限られた数のビットに関するピクセル位置の量子化の結果得られる処理演算の近似から、数学的変換により完全に得られる画像と比較した場合の差を示す可能性のある変換された画像が出力される。これらの条件に従い、この方法で、閾値を選択する段階を用意することによりこの近似を制限することを決定できる。この段階は、その際に、量子化が指定された閾値を下回らないと決定することにより、特に、量子化された閾値の選択に関係し、ピクセルブロック内でこの閾値以上の点の複数のデジタル位置が得られる。したがって、変換された画像の指定された品質に合わせて計算時間を最適化することができる。
【0110】
図8は、メモリのサイクル時間、したがって処理時間を短縮する本発明の改良を示している。2つの隣接する変換されたピクセルの値を計算する場合、共通ピクセルを有する2つのデジタルピクセルブロックを使用することになる、つまり、これら共通のピクセルの値は2回読み取られる(この例によれば)ことになるということは容易に理解できる。本発明の改良の目的は、この二重読み取りを回避することである。そのため、変換されたピクセルの位置がある順序で処理されるようにソートされることが前提条件となる。例えば、左から右へ各線を追跡することにより、変換された画像の変換されたピクセルを、線毎に、また、各線内では、ピクセル毎に処理することを決定できる。図8では、例えば、ピクセルPXTR.1が最初に処理され、続いてピクセルPXTR.2が処理され、というように処理が続く。
【0111】
前述の方法によるピクセルPXTR.1が処理されると、その後、
− デジタルピクセルブロックBPNUM1が選択され、
− このピクセルブロック内で点の位置が設定され、
− 変換されたピクセルPXTR.1の値がこの点の位置およびブロックのピクセル値の関数として計算される。
【0112】
本発明の方法およびシステムの改良によれば、BPNUM.1ピクセルの値は一時メモリに保持される。実用的な目的のため、これらのピクセルの値を、例えばキャッシュメモリに格納することができる。
【0113】
ピクセルPXTR.2が処理されると、それに続いて、例えば、上の説明で使用したブロックBPNUM.1に共通のピクセルを有するデジタルピクセルブロックBPNUM.2が選択される。これらのピクセルの値は一時メモリに保持されるため、システムは、ブロックBPNUM.1に共通でないBPNUM.2のピクセルの値のみを探索するだけでよく、図8では、これらはブロックBPNUM.2の右列のピクセルである。ピクセルPXTR.2が処理された後、ブロックBPNUM.2のピクセル値は、次の変換されたピクセルPXTR.3の処理の準備のため一時メモリに保持される。
【0114】
本発明の別バージョンによれば、2つの連続して使用されるピクセルブロックに共通のピクセルの値のみを一時メモリに保持するだけでよい。一般に、2つの連続して使用されるピクセルブロックに共通の平均個数のピクセルの値しか一時メモリに格納されない。
【0115】
前述の説明は、歪み補正の範囲で行ったものであるが、本発明はスミアリングの補正または減衰にも適用可能であり、複数の画像変換を実行しても消費エネルギーは少なく実行時間も短い。
【0116】
この同じ説明はさらに、1つまたは複数の機器が歪みなどの欠陥を示すおそれのある機器連鎖の場合にも適用可能である。単純なベクトル総和により歪みの空間内で書式付き情報の組み合わせが伝達されるため、1回のパスで機器連鎖上の欠陥を全部処理することが可能である。
【0117】
さらに、同じ変換で、カラー画像センサに離散RGBおよび/またはCMYK値を埋め込む、画像の口径食を抑制する、拡大またはズーム効果を加える、またはパースを変更する、などの複数の種類の補正を組み合わせることもできる。
【0118】
図6は、それぞれの変換されたピクセルの値の計算のため他の補正を行える係数の補助テーブルを用意できる計算段階(ET4またはET10)の概略を示している。例えば、図6では、補正されたピクセル値は、歪みを補正した後、係数のテーブルCa〜Cnから計算で求めることができる。係数のテーブルCAおよびCNを使用すると、画像スミアリング、口径食などのその他の欠陥を補正することができる。図6に示されているようにテーブルを互いに掛け合わせるか、またはテーブルの係数を組み合わせることができる他の演算を実行することにより、異なる種類の複数の補正を組み合わせることができ、そのため、処理時間の短縮および消費エネルギーの低減が可能になる。このような配置をとることで、一方の補正または他方の補正を任意選択で適用したり、ユーザー側でそのように望んだ場合にすべての補正を適用することができる。
【0119】
前述の方法およびシステムの実施例をカラー画像の処理に応用する方法について説明する。
【0120】
カラー画像は、複数のチャネルから得られ、複数の画像平面または色平面を与えるものであると考えられる。
【0121】
図7に示されているように、カラー画像は、赤色画像INUMR、緑色画像INUMG、および青色画像INUMBで構成されると考えられる。
【0122】
変換されたピクセルの値の計算段階に関する限り、つまり、図3の段階ET3または図5aのET9に関する限り、前述の方法が実行される。それにより、各画像INUMR、INUMG、およびINUMB内のデジタルピクセルブロック(BPNUMR、BPNUMG、BPNUMB)の位置だけでなくこれらのブロック内の、値が計算される変換されたピクセルに対応する点の位置も知られる。さらに、ブロックBPNUMR、BPNUMG、およびBPNUMBの構成要素であるさまざまなピクセルの値も知られている。
【0123】
計算すべき変換されたピクセルに対応する点の位置を使用することで、図7のテーブルC1などの係数のテーブルにアクセスすることができる。前述のように、計算
Σ(vxnum.i×Cj)
は、ブロックのピクセル値に係数のテーブルから得た対応する係数を掛けた積の総和をとることで実行される。この演算は、まず赤色画像のブロックBPNUMRについて、次に緑色画像のブロックBPNUMGについて、そして最後に青色画像のブロックBNUMBについて実行される。このようにして、赤色、緑色、および青色成分の変換されたピクセルの値が得られる。
【0124】
このような方法およびシステムを使用して、色に関する時間および消費エネルギーを節約することができる。したがって、このような処理演算は、デジタル写真機器に組み込むことができる。そこで、幾何学的変換を処理演算に加えることを想定することができる。
【0125】
本発明は、異なる色のピクセルの個数または色チャネル(r、g、b)の数が等しくない色画像の処理に適用することができる。例えば、図9aに示されているような3色画像IMrgbは、赤色ピクセルおよび青色ピクセル毎に2つの緑色ピクセルを含むが、目が緑色の波長に非常に敏感な色センサの場合と一般的に同様である。さらに、画像のソフトウェア処理の観点からは、カラー画像は画像内の基本色と同じ数の画像(または色平面)を含むものと考えられる。例えば、図9aの画像IMrgbは3色平面IMr、IMg、IMbを含むと考えられる。前述の方法およびシステムでは、3つの変換された画像を取得するために、それぞれの色平面は独立に処理される。さらに、これらの変換された画像それぞれの各ピクセルに値を割り当てると都合がよい。図9bは、図9aの3つのカラー画像平面IMr、IMg、およびIMbに対応する3つの変換された画像平面ITRr、ITRg、およびITRbを示している。さまざまな変換された画像平面の各ピクセルの値を計算するために前述の方法を適用し、変換された色ピクセル(例えば、赤色)毎に、対応するデジタルカラー画像(採用している例では平面IMr)のデジタルピクセルブロックを抽出する。
【0126】
さらに、この方法とシステムをカラー画像に適用する際に、3つの色平面の処理を組み合わせて時間を短縮し、節電することができる。
【0127】
特に、変換されたカラー画像平面とデジタルカラー画像平面との間で同じ幾何学的変換を適用することにより、例えば歪みを補償することができる。
【0128】
また、色収差および/または歪みを補正するために、異なる色平面に対し異なる幾何学的変換を適用することもできる。
【0129】
RGB画像(3つのチャネルを使用する)では、3つのピクセルのうちから1つを取り出すことにより変換された色平面を取得することができることに注意されたい。
【0130】
前述の説明では、変換された画像およびデジタル画像は幾何学的変換により相互に対応する。デジタル画像および特に、例えば、画像取込条件(例えば、ズーム効果)に応じて異なる可変幾何学的変換などの第2の幾何学的変換とともに使用される機器の固定され知られている特性から特に得られる第1の指定された幾何学的変換を組み合わせることができ、それにより、時間とエネルギーの余分なコストを減らすとともに、他の幾何学的変換、採用している例ではズーム効果を、第1の幾何学的変換と同時に、デジタル画像に適用することができ、また可変幾何学的変換を第1の幾何学的変換を受けたデジタル画像に適用することができる。
【0131】
第2の幾何学的変換は、特に、
− 回転、
− 90度または180度の回転、
− 平行移動、
− ズーム効果、
− 寸法変更効果、
− パースの変更、
− 基準フレームの変更、
− 投影、
− 座標xおよびyから座標x’およびy’を計算して求める関数によって表される幾何学的変換、
− 恒等変換、
− これらの例の組み合わせ、
− 線形または非線形幾何学的変換とすることができる。
【0132】
さまざまな目的のために2つの幾何学的変換を組み合わせて、
− 第2の幾何学的変換、特にズーム効果を、第1の幾何学的変換と同時に、デジタル画像に適用して、幾何学的変換が歪みに関係している場合に、例えば画像の直線的エッジを得る必要がある寸法変更効果であるにもかかわらず、デジタル画像と同じサイズの変換された画像を取得することができるようにし、
− 連鎖の複数の機器の歪みを組み合わせて1つの段階でそれを補正し、
− 例えば、ズーム効果を適用することによりデジタル写真機器がさまざまなサイズの画像を出力し、幾何学的変換が機器の幾何学的歪みに関係する場合に、幾何学的変換とズーム効果とを組み合わせることにより、歪みを補正することができ、デジタル画像に適用される処理演算の履歴に関係する情報をこの目的のために役立てることができる。
【0133】
この2つの幾何学的変換の組み合わせをさまざまな方法で実行できるが、そのために、
− パラメータに適用される計算を実行し、
− 関数に適用される計算、例えば、ベクトル場の場合にはベクトルの加算、または多項式の場合には多項式の組み合わせを使用し、関数は座標x’およびy’を座標xおよびyから計算する関数とし、
− 段階ET2およびET3のプロセスの繰り返し毎に計算するが、この場合、第2の幾何学的変換を初期変換点に適用するのに要する余分な計算時間は、図5aの方法を適用する最適化されたアルゴリズムを採用することによりかなり短縮することができる。
【0134】
本発明は、画像処理システムだけではなく、写真機器、ビデオカメラ、監視カメラ、webcamタイプのコンピュータカメラなどにも応用することができる。
【0135】
このようにして説明した本発明の実施例は、ソフトウェアまたはハード配線コンポーネントの形で使用することが可能である。
【0136】
図11は、本発明によるシステムの実施例を示す。システムは、計算手段MCを備える。計算手段MCでは、本発明による方法を使用して、デジタル画像INUM、特性変数の値VCV、および幾何学的変換に関係する書式付き情報IF、特に機器連鎖P3の歪みおよび/または色収差に関係する書式付き情報IFから変換された画像ITRを計算する。
【0137】
システムはデータ処理手段MTIを備えることができるが、これは特に、本発明による方法を使用して、
− 量子化されたデジタル位置を取得できるようにデジタル位置を量子化し、かつ/または
− 幾何学的変換とデジタル画像に応じて変化する他の幾何学的変換、特にズーム効果とを組み合わせるために、各色平面に異なる幾何学的変換を適用して色収差を補正し、
− 例えば、デジタル画像INUMを含むファイル内にExif形式で登録されているデータを使用することにより、注目しているデジタル画像に関して可変特性の値VCVを決定し、
− 変換された位置をソートする。
【0138】
本発明のコスト削減への応用
コスト削減は、機器P25または機器連鎖P3のコスト、特に機器または機器連鎖の光学系のコストを引き下げるための方法およびシステムとして定義され、コスト削減は以下の方法で実施する。
【0139】
− レンズの枚数を減らすこと、および/または
− レンズの形状を簡略化すること、および/または
− 機器または機器連鎖に望ましい欠陥よりも大きい欠陥P5を持つ光学系を設計するか、またはカタログからそれと同じものを選択すること、および/または
− 機器または機器連鎖について低コストであり、欠陥P5を加える、材料、コンポーネント、加工作業、または製造方法を使用すること。
【0140】
本発明による方法およびシステムを使用することにより、機器または機器連鎖のコストを引き下げることができる、つまり、デジタル光学系を設計し、機器または機器連鎖の欠陥P5に関係する書式付き情報IFを出力し、この書式付き情報を使用して組み込みであろうと組み込みでなかろうと画像処理手段が機器または機器連鎖から引き出される、または機器または機器連鎖を宛先として送られる画像の品質を修正し、機器または機器連鎖と画像処理手段とを組み合わせることにより、低コストで、目的の品質の画像をキャプチャ、修正、または復元することが可能なようにできる。
【図面の簡単な説明】
【0141】
【図1】本発明の簡略化した実施例の図である。
【図2a】本発明による変換された画像を計算するための方法の改良された実施例の図である。
【図2b】本発明による変換された画像を計算するための方法の改良された実施例の図である。
【図2c】本発明による変換された画像を計算するための方法の改良された実施例の図である。
【図2d】本発明による変換された画像を計算するための方法の改良された実施例の図である。
【図3】図2aの方法の機能の仕方を示す組織図である。
【図4】変換されたピクセルの値の計算の段階を示す図である。
【図5a】本発明による変換された画像を計算するための方法の他の実施形態の組織図である。
【図5b】図5aの説明図である。
【図5c】図5aの説明図である。
【図6】複数の種類の補正を使用できる、変換されたピクセルの値の計算の段階を示す図である。
【図7】カラー画像に適用される本発明の図である。
【図8】隣接するピクセルの計算を行うことができる本発明の改良の図である。
【図9a】GRGBタイプのカラー画像への本発明の応用を説明する図である。
【図9b】GRGBタイプのカラー画像への本発明の応用を説明する図である。
【図10】機器連鎖P3の機器P25の幾何学的歪み欠陥に関係する書式付き情報IFの図である。
【図11】本発明によるシステムの実施例を示す図である。
Claims (30)
- デジタル画像(INUM)および幾何学的変換に関係する書式付き情報(IF)、特に機器連鎖(P3)の歪みおよび/または色収差(P5)に関係する書式付き情報(IF)から変換された画像を計算する方法であって、
前記幾何学的変換の近似(CAPP)から前記変換された画像(ITR)を計算する段階を含む方法。 - 前記デジタル画像は、これ以降デジタルピクセル(PXnum.1からPXnum.m)と呼ばれるピクセルで構成され、前記変換された画像は、これ以降変換されたピクセル(PXTR.1からPXTR.m)と呼ばれるピクセルで構成され、前記変換されたピクセルは、変換された位置(pxtr)および変換された値(vxtr)によって特徴付けられ、
前記変換されたピクセル(PXTR.1からPXTR.m)の値(vxtr)を計算する段階を含み、計算のために、
− 前記デジタル画像内で、前記書式付き情報から、変換された位置(pxtr.i)毎に、1ブロック(BPNUM.1)分のデジタルピクセルを選択する(ET1、ET2)プロセスであるプロセス(a)、
− 前記書式付き情報(IF)から、変換された位置(pxtr)毎に、デジタルピクセルの前記ブロック(BPNUM.i)内のデジタル位置(pxnum.i)を計算する(ET3)プロセスであるプロセス(b)、
− 前記変換された位置について、変換されたピクセルの前記値(vxtr.i)をデジタルピクセルの前記ブロック(BPNUM.i)のデジタルピクセル(pxnum.1)の値および前記デジタル位置(pxnum.i)の関数として計算する(ET4)プロセスであるプロセス(c)を含む一般的アルゴリズムを使用し、
前記書式付き情報はパラメータを含み、前記パラメータにより、前記幾何学的変換に関係する少なくとも1つの関数を選択することができ、前記1つまたは複数の関数により、前記変換された位置からデジタルピクセルの前記ブロックおよび前記デジタル位置を計算することができる請求項1に記載の方法。 - 前記一般的アルゴリズムは、
− これ以降初期変換ピクセルと呼ぶ変換されたピクセル(PXINIT.1からPXINIT.4)を選択し、
− 初期デジタルピクセルおよび初期デジタル位置(pninit.1からpninit.4)のブロック(BPINIT.1からBPINIT.4)を取得するために、前記初期変換ピクセルの前記一般的アルゴリズムのプロセス(a)、(b)、および(c)を適用するという手順で使用され、
− 初期変換ピクセル(PXINIT.1からPXINIT.4)以外の変換された各ピクセル(PXTR.i)に対して、
− 前記初期デジタルブロック(BPINIT.1からBPINIT.4)および/またはそれぞれの初期変換位置(px.1からpx.4)から、前記デジタル画像内の1ブロック(BPNUM.i)分のデジタルピクセルを選択するプロセスであるプロセス(d)、
− 前記初期デジタルブロックおよび/またはそれぞれの初期変換位置(px.1からpx.4)から、デジタルピクセルの前記ブロック(BPNUM.i)内のデジタル位置(pnum.i)を計算するプロセスであるプロセス(e)、
− 変換されたピクセル(PXTR.i)の前記値をデジタルピクセルの前記ブロック(BPNUM.i)のデジタルピクセルの値および前記デジタル位置(pnum.i)の関数として計算するプロセスであるプロセス(f)を含む最適化されたアルゴリズムを適用する請求項2に記載の方法。 - ハードウェアおよび/またはソフトウェア処理手段で使用され、前記最適化されたアルゴリズムはもっぱら整数または固定小数点データを使用する請求項3に記載の方法。
- さらに、量子化されたデジタル位置を得るために前記デジタル位置(QU1)を量子化する段階を含む請求項2から4のいずれか一項に記載の方法。
- さらに、係数のブロック(CaからCnおよびCAからCN)を計算する段階を含み、前記プロセス(c)および(f)は、
− 前記量子化されたデジタル位置(QU1)を使用して1ブロック(CaからCnおよび/またはCAからCN)分の係数を選択し、
− 係数の前記ブロックおよびデジタルピクセルの前記ブロックから変換されたピクセルの前記値を計算することにより実行される請求項5に記載の方法。 - 変換されたピクセルの値を計算する前記プロセス(c)および(f)はさらに、前記幾何学的変換以外の変換、および特に前記画像のスミアリングの減衰に適用することもできる請求項2から6のいずれか一項に記載の方法。
- 前記デジタル画像は、複数のチャネルを有するセンサから得られ、前記チャネルを組み合わせて色平面(IMrからIMb)を出力することができ、変換されたピクセルの値を計算するプロセス(c)および(f)によりさらに、前記チャンネルを組み合わせて前記色平面を取得することができる請求項2から7のいずれか一項に記載の方法。
- 前記デジタル画像は複数の色平面で構成され、色収差を補正するために異なる幾何学的変換が各色平面に適用される請求項2から8のいずれか一項に記載の方法。
- さらに、前記幾何学的変換を前記デジタル画像に応じて変わる他の幾何学的変換、特にズーム効果と組み合わせる段階を含む請求項2から9のいずれか一項に記載の方法。
- 前記書式付き情報はデジタル画像に依存する可変特性、特にデジタル画像のサイズに依存し、さらに、前記のデジタル画像に関して前記可変特性の値を決定する段階を含み、前記プロセス(a)および(b)は前記可変特性についてこうして取得した値に依存する前記書式付き情報を使用し、
可変特性に依存する書式付き情報の方法を採用することは、可変特性に依存しない書式付き情報の方法を採用することに帰着する請求項2から10のいずれか一項に記載の方法。 - 前記書式付き情報は、前記機器連鎖の歪み欠陥および/または色収差に関係し、前記パラメータは、測定フィールドに関係する請求項2から11のいずれか一項に記載の方法。
- 前記変換された画像は、前記幾何学的変換を前記デジタル画像に適用することにより得られる画像と比較した場合の差を示し、さらに、
− 閾値を選択する段階と、
− 前記差が前記閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点を選択する段階を含む請求項3から12のいずれか一項に記載の方法。 - 前記変換された画像は、前記幾何学的変換を前記デジタル画像に適用することにより得られる画像と比較した場合の差を示し、さらに、
− 閾値を選択する段階と、
− 前記差が前記閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点および/または量子化されたデジタル位置の量子化を選択する段階を含む請求項5から13のいずれか一項に記載の方法。 - さらに、前記プロセス(a)および/または(d)によって選択されたデジタルピクセルの前記ブロックが指定された平均個数の共通デジタルピクセルを有するように、前記変換された位置をソートする段階を含む請求項3から14のいずれか一項に記載の方法。
- デジタル画像(INUM)および幾何学的変換に関係する書式付き情報(IF)、特に機器連鎖(P3)の歪みおよび/または色収差(P5)に関係する書式付き情報から変換された画像(ITR)を計算するシステムであって、
前記幾何学的変換の近似(CAPP)から前記変換された画像(ITR)を計算する計算手段(MC)を備えるシステム。 - 前記デジタル画像は、これ以降デジタルピクセル(PXnum.1からPXnum.m)と呼ばれるピクセルで構成され、前記変換された画像は、これ以降変換されたピクセル(PXTR.1からPXTR.m)と呼ばれるピクセルで構成され、前記変換されたピクセルは、変換された位置(pxtr)および変換された値(vxtr)によって特徴付けられ、
前記変換されたピクセルの値(vxtr)を計算する計算手段(MC)を備え、その計算のために、
− 前記デジタル画像内で、前記書式付き情報から、変換された位置(pxtr.i)毎に、1ブロック(pxtr.i)分のデジタルピクセルを選択するプロセスであるプロセス(a)、
− 前記書式付き情報から、変換された位置(pxtr)毎に、デジタルピクセルの前記ブロック(BPNUM.i)内のデジタル位置(pxnum.i)を計算するプロセスであるプロセス(b)、
− 前記変換された位置について、変換されたピクセルの前記値(vxtr.i)をデジタルピクセルの前記ブロックのデジタルピクセル(psnum.1)の値および前記デジタル位置(pxnum.i)の関数として計算するプロセスであるプロセス(c)を含む一般的アルゴリズムを備えるデータ処理手段を使用し、
前記書式付き情報はパラメータを含み、前記パラメータにより、前記幾何学的変換に関係する少なくとも1つの関数を選択することができ、前記1つまたは複数の関数により、前記変換された位置からデジタルピクセルの前記ブロックおよび前記デジタル位置を計算することができる請求項16に記載のシステム。 - 前記一般的アルゴリズムは、
− これ以降初期変換ピクセルと呼ぶ変換されたピクセル(PXINIT.1からPXINIT.4)を選択し、
− 初期デジタルピクセルおよび初期デジタル位置(pninit.1からpninit.4)のブロック(BPINIT.1からBPINIT.4)を取得するために、前記初期変換ピクセルの前記一般的アルゴリズムのプロセス(a)、(b)、および(c)を適用するという手順で使用され、
− 初期変換ピクセル(PXINIT.1からPXINIT.4)以外の変換された各ピクセル(PXTR.i)に対して、
− 前記初期デジタルブロック(BPINIT.1からBPINIT.4)および/またはそれぞれの初期変換位置(px.1からpx.4)から、前記デジタル画像内の1ブロック(BPNUM.i)分のデジタルピクセルを選択するプロセスであるプロセス(d)、
− 前記初期デジタルブロックおよび/またはそれぞれの初期変換位置(px.1からpx.4)から、デジタルピクセルの前記ブロック(BPNUM.i)内のデジタル位置(pnum.i)を計算するプロセスであるプロセス(e)、
− 変換されたピクセル(PXTR.i)の前記値をデジタルピクセルの前記ブロックのデジタルピクセルの値および前記デジタル位置の関数として計算するプロセスであるプロセス(f)を含む最適化されたアルゴリズムを適用する請求項17に記載のシステム。 - 前記一般的アルゴリズムまたは前記最適化されたアルゴリズムは、ハードウェアおよび/またはソフトウェア処理手段により実行され、前記最適化されたアルゴリズムはもっぱら整数データまたは固定小数点データを使用する請求項18に記載のシステム。
- さらに、量子化されたデジタル位置を得るために前記デジタル位置を量子化するデータ処理手段(MC、QU1)を備える請求項17から19のいずれか一項に記載のシステム。
- さらに、係数のブロック(CaからCnおよびCAからCN)を計算する計算手段を備え、前記プロセス(c)および(f)は、
− 前記量子化されたデジタル位置を使用して1ブロック(CaからCnおよび/またはCAからCN)分の係数を選択し、
− 係数の前記ブロックおよびデジタルピクセルの前記ブロックから変換されたピクセルの前記値を計算することにより実行される請求項20に記載のシステム。 - 変換されたピクセルの値を計算する前記プロセス(c)および(f)はさらに、前記幾何学的変換以外の変換、特に前記画像のスミアリングの減衰に適用することもできる請求項17から21のいずれか一項に記載のシステム。
- 前記デジタル画像は、複数のチャネルを有するセンサから得られ、前記チャネルを組み合わせて色平面(IMrからIMb)を出力することができ、変換されたピクセルの値を計算するプロセス(c)および(f)によりさらに、前記チャンネルを組み合わせて前記色平面を取得することができる請求項17から22のいずれか一項に記載のシステム。
- 前記デジタル画像は複数の色平面で構成され、前記データ処理手段は色収差を補正するために異なる幾何学的変換を各色平面に適用することができる請求項17から23のいずれか一項に記載のシステム。
- 前記データ処理手段により、前記幾何学的変換を前記デジタル画像に応じて変わる他の幾何学的変換、特にズーム効果と組み合わせることができる請求項17から24のいずれか一項に記載のシステム。
- 前記書式付き情報はデジタル画像に依存する可変特性、特にデジタル画像のサイズに依存し、さらに、前記のデジタル画像に関して前記可変特性の値を決定するデータ処理手段を備え、前記プロセス(a)および(b)は前記可変特性についてこうして取得した値に依存する前記書式付き情報を使用する請求項17から25のいずれか一項に記載のシステム。
- 前記書式付き情報は、前記機器連鎖の歪み欠陥および/または色収差に関係し、前記パラメータは、測定フィールドに関係する請求項17から26のいずれか一項に記載のシステム。
- 前記変換された画像は前記幾何学的変換を前記デジタル画像に適用することにより得られる画像と比較した場合の差を示し、さらに、前記差が選択した閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点を使用することが可能なデータ処理手段を備える請求項18から27のいずれか一項に記載のシステム。
- 前記変換された画像は前記幾何学的変換を前記デジタル画像に適用することにより得られる画像と比較した場合の差を示し、さらに、前記差が選択した閾値よりも小さくなるように、一般的アルゴリズムおよび/または最適化されたアルゴリズムおよび/または初期変換点および/または量子化されたデジタル位置の量子化を使用することが可能なデータ処理手段を備える請求項20から28のいずれか一項に記載のシステム。
- さらに、前記プロセス(a)および/または(d)によって選択されたデジタルピクセルの前記ブロックが指定された平均個数の共通デジタルピクセルを有するように、前記変換された位置をソートするデータ処理手段を備える請求項18から29のいずれか一項に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0109292A FR2827460B1 (fr) | 2001-07-12 | 2001-07-12 | Procede et systeme pour fournir, selon un format standard, a des logiciels de traitement d'images des informations liees aux caracteristiques des appareils de capture d'image et/ou des moyens de resti |
FR0109291A FR2827459B1 (fr) | 2001-07-12 | 2001-07-12 | Procede et systeme pour fournir a des logiciels de traitement d'image des informations formatees liees aux caracteristiques des appareils de capture d'image et/ou des moyens de restitution d'image |
FR0112664A FR2830401B1 (fr) | 2001-10-02 | 2001-10-02 | Procede et systeme pour corriger les aberrations chromatiques d'une image couleur realisee au moyen d'un systeme optique |
PCT/FR2002/001907 WO2003007238A1 (fr) | 2001-07-12 | 2002-06-05 | Procede et systeme pour calculer une image transformee a partir d'une image numerique |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004534490A true JP2004534490A (ja) | 2004-11-11 |
JP4159986B2 JP4159986B2 (ja) | 2008-10-01 |
Family
ID=27248787
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003512926A Expired - Fee Related JP4159986B2 (ja) | 2001-07-12 | 2002-06-05 | デジタル画像から変換された画像を計算するための方法およびシステム |
JP2003512925A Expired - Fee Related JP4630547B2 (ja) | 2001-07-12 | 2002-06-05 | 幾何学的歪みに関係するフォーマットされた情報を出力する方法およびシステム |
JP2003513230A Expired - Fee Related JP4378168B2 (ja) | 2001-07-12 | 2002-06-05 | 光学系を使用して出力されたカラーイメージの色収差を補正する方法およびシステム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003512925A Expired - Fee Related JP4630547B2 (ja) | 2001-07-12 | 2002-06-05 | 幾何学的歪みに関係するフォーマットされた情報を出力する方法およびシステム |
JP2003513230A Expired - Fee Related JP4378168B2 (ja) | 2001-07-12 | 2002-06-05 | 光学系を使用して出力されたカラーイメージの色収差を補正する方法およびシステム |
Country Status (9)
Country | Link |
---|---|
US (2) | US7532766B2 (ja) |
EP (3) | EP1412918B1 (ja) |
JP (3) | JP4159986B2 (ja) |
KR (1) | KR100940149B1 (ja) |
CN (3) | CN100371950C (ja) |
AT (2) | ATE354837T1 (ja) |
DE (2) | DE60218317T2 (ja) |
ES (2) | ES2282429T3 (ja) |
WO (3) | WO2003007237A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7352915B2 (en) | 2003-01-30 | 2008-04-01 | Sony Corporation | Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method |
JP2011078097A (ja) * | 2009-09-30 | 2011-04-14 | Ricoh Co Ltd | 二重モードの拡張された被写界深度の結像システム |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8675980B2 (en) * | 2001-07-12 | 2014-03-18 | Do Labs | Method and system for reducing update frequency of image-processing means |
JP4159986B2 (ja) | 2001-07-12 | 2008-10-01 | ドゥ ラブズ | デジタル画像から変換された画像を計算するための方法およびシステム |
US7343278B2 (en) * | 2002-10-22 | 2008-03-11 | Artoolworks, Inc. | Tracking a surface in a 3-dimensional scene using natural visual features of the surface |
US7773316B2 (en) * | 2003-01-16 | 2010-08-10 | Tessera International, Inc. | Optics for an extended depth of field |
ATE549855T1 (de) * | 2003-01-16 | 2012-03-15 | Digitaloptics Corp Internat | Verfahren zur herstellung eines optischen systems,welches einen prozessor zur elektronischen bildverbesserung beinhaltet |
US8294999B2 (en) | 2003-01-16 | 2012-10-23 | DigitalOptics Corporation International | Optics for an extended depth of field |
JP4010254B2 (ja) * | 2003-02-06 | 2007-11-21 | ソニー株式会社 | 画像記録再生装置、画像撮影装置及び色収差補正方法 |
US7596286B2 (en) * | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
US7505946B2 (en) * | 2004-03-31 | 2009-03-17 | Microsoft Corporation | High performance content alteration architecture and techniques |
US7583858B2 (en) * | 2004-10-12 | 2009-09-01 | Eastman Kodak Company | Image processing based on direction of gravity |
EP1811890A4 (en) * | 2004-11-01 | 2009-09-09 | Eye Diagnostics Pty Ltd | DEVICE AND METHOD FOR SEARCHING FOR CHANGES IN THE EYE |
FR2881011B1 (fr) | 2005-01-19 | 2007-06-29 | Dxo Labs Sa | Procede de realisation d'un appareil de capture et/ou restitution d'images et appareil obtenu par ce procede |
US7683950B2 (en) * | 2005-04-26 | 2010-03-23 | Eastman Kodak Company | Method and apparatus for correcting a channel dependent color aberration in a digital image |
FR2889321B1 (fr) * | 2005-07-26 | 2008-02-01 | Sagem Comm | Procede de correction automatique de photographies numeriques |
US20070058881A1 (en) * | 2005-09-12 | 2007-03-15 | Nishimura Ken A | Image capture using a fiducial reference pattern |
US8311311B2 (en) | 2005-10-31 | 2012-11-13 | Mitutoyo Corporation | Optical aberration correction for machine vision inspection systems |
US7724942B2 (en) * | 2005-10-31 | 2010-05-25 | Mitutoyo Corporation | Optical aberration correction for machine vision inspection systems |
FR2895103B1 (fr) * | 2005-12-19 | 2008-02-22 | Dxo Labs Sa | Procede et systeme de traitement de donnees numeriques |
JP2007172059A (ja) * | 2005-12-19 | 2007-07-05 | Toshiba Corp | 紙葉類判別装置、および紙葉類処理装置 |
FR2895104A1 (fr) * | 2005-12-19 | 2007-06-22 | Dxo Labs Sa | Procede pour fournir des donnees a un moyen de traitement numerique |
FR2895102B1 (fr) * | 2005-12-19 | 2012-12-07 | Dxo Labs | Procede pour traiter un objet dans une plateforme a processeur(s) et memoire(s) et plateforme utilisant le procede |
US7881563B2 (en) * | 2006-02-15 | 2011-02-01 | Nokia Corporation | Distortion correction of images using hybrid interpolation technique |
US20070239417A1 (en) * | 2006-03-31 | 2007-10-11 | D-Blur Technologies Ltd. | Camera performance simulation |
US7847831B2 (en) * | 2006-08-30 | 2010-12-07 | Panasonic Corporation | Image signal processing apparatus, image coding apparatus and image decoding apparatus, methods thereof, processors thereof, and, imaging processor for TV conference system |
US7792357B2 (en) * | 2007-05-30 | 2010-09-07 | Microsoft Corporation | Chromatic aberration correction |
US7809208B2 (en) * | 2007-05-30 | 2010-10-05 | Microsoft Corporation | Image sharpening with halo suppression |
US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
JP4816704B2 (ja) * | 2008-09-25 | 2011-11-16 | 富士ゼロックス株式会社 | 指示システム、指示プログラム |
JP5153593B2 (ja) * | 2008-12-02 | 2013-02-27 | 株式会社Pfu | 画像処理装置および画像処理方法 |
US8749662B2 (en) * | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
FR2948521B1 (fr) | 2009-07-21 | 2012-01-27 | Dxo Labs | Procede d'estimation d'un defaut d'un systeme de capture d'images et systemes associes |
JP5479225B2 (ja) * | 2010-05-27 | 2014-04-23 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2012007061A1 (en) | 2010-07-16 | 2012-01-19 | Robert Bosch Gmbh | Method for lateral chromatic aberration detection and correction |
WO2012007059A1 (en) | 2010-07-16 | 2012-01-19 | Robert Bosch Gmbh | Method for lateral chromatic aberration detection and correction |
JP5582935B2 (ja) | 2010-09-22 | 2014-09-03 | 富士フイルム株式会社 | 撮像モジュール |
CN103377467B (zh) * | 2012-04-25 | 2017-03-29 | 华晶科技股份有限公司 | 图像补偿的方法 |
CN104619237B (zh) | 2012-07-26 | 2018-03-30 | 德普伊辛迪斯制品公司 | 光不足环境中的ycbcr脉冲调制的照明方案 |
EP2992810B1 (en) | 2012-07-26 | 2021-11-10 | DePuy Synthes Products, Inc. | Continuous video in a light deficient environment |
AU2013295566B2 (en) | 2012-07-26 | 2017-07-27 | DePuy Synthes Products, Inc. | Wide dynamic range using monochromatic sensor |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
KR102143772B1 (ko) | 2012-09-11 | 2020-08-12 | 가부시키가이샤 닛폰 쇼쿠바이 | 폴리아크릴산(염)계 흡수제의 제조 방법 및 그 흡수제 |
CN104619755B (zh) | 2012-09-11 | 2019-03-15 | 株式会社日本触媒 | 聚丙烯酸(盐)系吸水剂的制造方法及其吸水剂 |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
CA2906802A1 (en) | 2013-03-15 | 2014-09-18 | Olive Medical Corporation | Noise aware edge enhancement |
JP6404318B2 (ja) | 2013-03-15 | 2018-10-10 | デピュイ・シンセス・プロダクツ・インコーポレイテッド | レーザーパルスの積算光エネルギー制御 |
AU2014233515B2 (en) | 2013-03-15 | 2018-11-01 | DePuy Synthes Products, Inc. | Super resolution and color motion artifact correction in a pulsed color imaging system |
BR112015022950A2 (pt) | 2013-03-15 | 2017-07-18 | Olive Medical Corp | cancelamento de ruído de padrão fixo abrangente |
CA2906821A1 (en) | 2013-03-15 | 2014-09-18 | Olive Medical Corporation | Scope sensing in a light controlled environment |
US9418400B2 (en) | 2013-06-18 | 2016-08-16 | Nvidia Corporation | Method and system for rendering simulated depth-of-field visual effect |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
DE102013012988A1 (de) * | 2013-08-03 | 2015-02-05 | Carl Zeiss Microscopy Gmbh | Verfahren zur Kalibrierung eines digitalen optischen Abbildungssystems, Verfahren zur Korrektur von Abbildungsfehlern in einem digitalen optischen Abbildungssystem, sowie digitales optisches Abblildungssystem |
CN105848776B (zh) | 2013-12-20 | 2019-09-03 | 株式会社日本触媒 | 聚丙烯酸(盐)系吸水剂及其制造方法 |
WO2015143453A1 (en) | 2014-03-21 | 2015-09-24 | Olive Medical Corporation | Card edge connector for an imaging sensor |
EP3200148B1 (en) * | 2014-10-31 | 2019-08-28 | Huawei Technologies Co., Ltd. | Image processing method and device |
KR102328020B1 (ko) * | 2015-04-03 | 2021-11-17 | 한국전자통신연구원 | 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법 |
JP6774946B2 (ja) | 2015-07-01 | 2020-10-28 | 株式会社日本触媒 | 粒子状吸水剤 |
WO2018002910A1 (en) * | 2016-06-28 | 2018-01-04 | Cognata Ltd. | Realistic 3d virtual world creation and simulation for training automated driving systems |
EP4254035A3 (en) * | 2016-10-12 | 2023-12-06 | Samsung Electronics Co., Ltd. | Method, apparatus, and recording medium for processing image |
JP2021139718A (ja) * | 2020-03-04 | 2021-09-16 | 日本発條株式会社 | 検査システムの点検方法、検査システム、およびコンピュータプログラム。 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60120473A (ja) * | 1983-12-02 | 1985-06-27 | Hitachi Ltd | 衛星画像補正処理方法 |
US5144687A (en) * | 1985-03-02 | 1992-09-01 | Kabushika Kaisha Toshiba | Image processing apparatus including spatial shift variant filter |
FR2661061B1 (fr) | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
GB2256989B (en) * | 1991-06-21 | 1995-02-08 | Sony Broadcast & Communication | Video image capture apparatus |
JP3035416B2 (ja) | 1992-11-18 | 2000-04-24 | キヤノン株式会社 | 撮像装置及び画像再生装置及び映像システム |
US5905530A (en) | 1992-08-24 | 1999-05-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
US5353056A (en) * | 1992-10-27 | 1994-10-04 | Panasonic Technologies, Inc. | System and method for modifying aberration and registration of images |
JPH06205273A (ja) | 1993-01-04 | 1994-07-22 | Sony Corp | 幾何補正内蔵ビデオカメラ |
DE69526635T2 (de) * | 1994-12-29 | 2002-12-05 | Koninklijke Philips Electronics N.V., Eindhoven | Bilderzeugungsgerät und Verfahren zur Verbesserung geometrischer optischer Bildverzerrungen |
JP3950188B2 (ja) * | 1996-02-27 | 2007-07-25 | 株式会社リコー | 画像歪み補正用パラメータ決定方法及び撮像装置 |
US6173087B1 (en) | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
US6222583B1 (en) * | 1997-03-27 | 2001-04-24 | Nippon Telegraph And Telephone Corporation | Device and system for labeling sight images |
EP0878970A3 (en) * | 1997-05-16 | 1999-08-18 | Matsushita Electric Industrial Co., Ltd. | Imager registration error and chromatic aberration measurement system for a video camera |
JPH10319517A (ja) * | 1997-05-21 | 1998-12-04 | Konica Corp | 画像形成装置、及びレンズ付きフィルムユニットの製造方法 |
KR19990027149A (ko) * | 1997-09-29 | 1999-04-15 | 윤종용 | 스캐너의 블록간 화질현차 보상방법 |
US6493028B1 (en) * | 1997-11-26 | 2002-12-10 | Flashpoint Technology, Inc. | Method and system for extending the available image file formats in an image capture device |
DE19812028A1 (de) * | 1998-03-19 | 1999-09-23 | Heidelberger Druckmasch Ag | Verfahren zur Koordinatenumrechnung von Bilddaten mit zufälligem Offset der Bildpunkte |
US6173067B1 (en) * | 1998-04-07 | 2001-01-09 | Hughes Electronics Corporation | System and method for rapid determination of visibility-based terrain properties over broad regions |
US6603885B1 (en) * | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
JP4338155B2 (ja) | 1998-06-12 | 2009-10-07 | キヤノン株式会社 | 画像処理装置及びその方法、コンピュータ可読メモリ |
US6456339B1 (en) * | 1998-07-31 | 2002-09-24 | Massachusetts Institute Of Technology | Super-resolution display |
JP2000125174A (ja) * | 1998-10-12 | 2000-04-28 | Fuji Photo Film Co Ltd | 画像情報における歪曲収差補正方法および装置 |
JP2000125175A (ja) | 1998-10-16 | 2000-04-28 | Olympus Optical Co Ltd | カメラ、画像処理システム、及び記録媒体 |
JP4095184B2 (ja) * | 1998-10-29 | 2008-06-04 | キヤノン株式会社 | 画像処理装置及びその方法 |
US6538691B1 (en) * | 1999-01-21 | 2003-03-25 | Intel Corporation | Software correction of image distortion in digital cameras |
EP1252480A1 (en) * | 1999-11-12 | 2002-10-30 | Go Sensors, L.L.C. | Image metrology methods and apparatus |
US6809837B1 (en) * | 1999-11-29 | 2004-10-26 | Xerox Corporation | On-line model prediction and calibration system for a dynamically varying color reproduction device |
US6819333B1 (en) * | 2000-05-12 | 2004-11-16 | Silicon Graphics, Inc. | System and method for displaying an image using display distortion correction |
US6816625B2 (en) * | 2000-08-16 | 2004-11-09 | Lewis Jr Clarence A | Distortion free image capture system and method |
JP3429280B2 (ja) * | 2000-09-05 | 2003-07-22 | 理化学研究所 | 画像のレンズ歪みの補正方法 |
TW508538B (en) * | 2001-06-14 | 2002-11-01 | Ulead Systems Inc | Special effect method of lens using converting mask |
JP4159986B2 (ja) | 2001-07-12 | 2008-10-01 | ドゥ ラブズ | デジタル画像から変換された画像を計算するための方法およびシステム |
US7085430B2 (en) * | 2001-11-23 | 2006-08-01 | Imaging Dynamics Company Ltd. | Correcting geometric distortion in a digitally captured image |
-
2002
- 2002-06-05 JP JP2003512926A patent/JP4159986B2/ja not_active Expired - Fee Related
- 2002-06-05 EP EP02743348A patent/EP1412918B1/fr not_active Expired - Lifetime
- 2002-06-05 US US10/482,419 patent/US7532766B2/en not_active Expired - Lifetime
- 2002-06-05 US US10/483,252 patent/US7356198B2/en not_active Expired - Lifetime
- 2002-06-05 ES ES02743348T patent/ES2282429T3/es not_active Expired - Lifetime
- 2002-06-05 CN CNB028139550A patent/CN100371950C/zh not_active Expired - Fee Related
- 2002-06-05 EP EP02748934.3A patent/EP1421777B1/fr not_active Expired - Lifetime
- 2002-06-05 WO PCT/FR2002/001906 patent/WO2003007237A1/fr active IP Right Grant
- 2002-06-05 AT AT02743348T patent/ATE354837T1/de not_active IP Right Cessation
- 2002-06-05 AT AT02747503T patent/ATE426868T1/de not_active IP Right Cessation
- 2002-06-05 WO PCT/FR2002/001913 patent/WO2003007592A1/fr active Application Filing
- 2002-06-05 JP JP2003512925A patent/JP4630547B2/ja not_active Expired - Fee Related
- 2002-06-05 DE DE60218317T patent/DE60218317T2/de not_active Expired - Lifetime
- 2002-06-05 EP EP02747503A patent/EP1523730B1/fr not_active Expired - Lifetime
- 2002-06-05 CN CNB028139585A patent/CN100346633C/zh not_active Expired - Fee Related
- 2002-06-05 CN CNB028139593A patent/CN100345158C/zh not_active Expired - Fee Related
- 2002-06-05 JP JP2003513230A patent/JP4378168B2/ja not_active Expired - Fee Related
- 2002-06-05 DE DE60231752T patent/DE60231752D1/de not_active Expired - Lifetime
- 2002-06-05 KR KR1020047000416A patent/KR100940149B1/ko not_active IP Right Cessation
- 2002-06-05 WO PCT/FR2002/001907 patent/WO2003007238A1/fr active Application Filing
- 2002-06-05 ES ES02747503T patent/ES2324817T3/es not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7352915B2 (en) | 2003-01-30 | 2008-04-01 | Sony Corporation | Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method |
US7418155B2 (en) | 2003-01-30 | 2008-08-26 | Sony Corporation | Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method |
US7424172B2 (en) | 2003-01-30 | 2008-09-09 | Sony Corporation | Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method |
JP2011078097A (ja) * | 2009-09-30 | 2011-04-14 | Ricoh Co Ltd | 二重モードの拡張された被写界深度の結像システム |
Also Published As
Publication number | Publication date |
---|---|
EP1421777B1 (fr) | 2017-04-19 |
CN100346633C (zh) | 2007-10-31 |
JP2004534489A (ja) | 2004-11-11 |
DE60231752D1 (de) | 2009-05-07 |
JP4378168B2 (ja) | 2009-12-02 |
DE60218317T2 (de) | 2008-01-03 |
CN100345158C (zh) | 2007-10-24 |
ES2324817T3 (es) | 2009-08-17 |
CN100371950C (zh) | 2008-02-27 |
JP4159986B2 (ja) | 2008-10-01 |
CN1526231A (zh) | 2004-09-01 |
KR100940149B1 (ko) | 2010-02-03 |
EP1523730A1 (fr) | 2005-04-20 |
DE60218317D1 (de) | 2007-04-05 |
ATE354837T1 (de) | 2007-03-15 |
CN1526118A (zh) | 2004-09-01 |
US20040247195A1 (en) | 2004-12-09 |
EP1421777A1 (fr) | 2004-05-26 |
US7356198B2 (en) | 2008-04-08 |
WO2003007237A1 (fr) | 2003-01-23 |
WO2003007238A1 (fr) | 2003-01-23 |
US7532766B2 (en) | 2009-05-12 |
CN1531711A (zh) | 2004-09-22 |
JP2004535033A (ja) | 2004-11-18 |
JP4630547B2 (ja) | 2011-02-09 |
ES2282429T3 (es) | 2007-10-16 |
EP1412918A1 (fr) | 2004-04-28 |
EP1412918B1 (fr) | 2007-02-21 |
EP1523730B1 (fr) | 2009-03-25 |
US20040240750A1 (en) | 2004-12-02 |
WO2003007592A1 (fr) | 2003-01-23 |
ATE426868T1 (de) | 2009-04-15 |
KR20040043156A (ko) | 2004-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4159986B2 (ja) | デジタル画像から変換された画像を計算するための方法およびシステム | |
JP4367757B2 (ja) | 連鎖の1つの機器の欠陥に関係する、特にスミアリングに関係する書式付き情報出力する方法とシステム | |
JP2005535010A (ja) | 光学異常の電子補正のためのシステムおよび方法 | |
US7046400B2 (en) | Adjusting the color, brightness, and tone scale of rendered digital images | |
JPH10322711A (ja) | カラーセンサの空間的不均一性の補正システム | |
CN110533618B (zh) | 一种镜头畸变矫正的方法和照相装置 | |
Gong et al. | 3D color homography model for photo-realistic color transfer re-coding | |
JP4176369B2 (ja) | 光バランスの変化を最小としつつディジタル画像を光フォールオフについて補償する方法 | |
JP2023026343A (ja) | 画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080304 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080311 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080404 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080411 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080428 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4159986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |