JP7364726B2 - 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム - Google Patents
物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム Download PDFInfo
- Publication number
- JP7364726B2 JP7364726B2 JP2022053192A JP2022053192A JP7364726B2 JP 7364726 B2 JP7364726 B2 JP 7364726B2 JP 2022053192 A JP2022053192 A JP 2022053192A JP 2022053192 A JP2022053192 A JP 2022053192A JP 7364726 B2 JP7364726 B2 JP 7364726B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing device
- imaging system
- image
- data record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 201
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000003384 imaging method Methods 0.000 claims description 323
- 238000012545 processing Methods 0.000 claims description 301
- 238000012634 optical imaging Methods 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000012986 modification Methods 0.000 claims description 15
- 230000004048 modification Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000013178 mathematical model Methods 0.000 description 25
- 230000002093 peripheral effect Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000002366 time-of-flight method Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000013475 authorization Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Silver Salt Photography Or Processing Solution Therefor (AREA)
Description
-それによって物体に関するデータが生成された第一のカメラに関する第一のカメラデータ。
-それによって物体に関するデータが生成された第一のレンズに関する第一のレンズデータ。
-それによって物体に関するデータが生成された第一の絞りユニットに関する第一の絞りユニットデータ。
-それによって物体に関するデータが生成された第一の合焦ユニットに関する第一の合焦ユニットデータ。
-それによって物体に関するデータが生成された第一の焦点距離設定ユニットに関する第一の焦点距離設定ユニットデータ。
-空間内の第一のイメージングシステムの位置及び場所に関する第一の情報。言い換えれば、例えば3次元空間内の第一のイメージングシステムの位置とアラインメントに関する情報が提供される。
-第一のイメージングシステムの解像度に関する第一の情報。言い換えれば、それによって物体に関するデータが生成された解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代わりに、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上記の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又は代替案として、第一の情報がユーザが希望する、例えば第一のデータ処理装置に入力できる目標解像度を有するようになされる。目標解像度は例えば、上述の解像度の1つであり得る。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二のカメラに関する第二のカメラデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二のレンズに関する第二のレンズデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二の絞りユニットに関する第二の絞りユニットデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二の合焦ユニットに関する第二の合焦ユニットデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二の焦点距離設定ユニットに関する第二の焦点距離設定ユニットデータ。
-空間内の第二のイメージングシステムの位置及び場所に関する第二の情報。言い換えれば、例えば3次元空間内の第二のイメージングシステムの位置とアラインメントに関する第二の情報が提供される。
-第二のイメージングシステムの解像度に関する第二の情報。言い換えれば、それによって物体に関するデータが表示ユニット上で表現されることになる解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代わりに、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上記の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又は代替案として、第二の情報がユーザが希望する、特に第一のデータ処理装置に手作業で入力できる目標解像度を有するようになされる。目標解像度は例えば、上述の解像度の1つであり得る。
(i)それによって本発明による方法のユーザを明確に識別することが可能となるユーザ識別データ。例えば、ユーザ識別データは、本発明による方法又は本発明による方法の一部を実行するための使用許可を含む。使用許可は例えば、ユーザが本発明による方法を実行するための支払いを行った、近い将来行う、本発明による方法を実行するための信用供与を受けた、又は本発明による方法を実行するためのライセンスを取得した場合に常に存在し得る。
(ii)それによって物体に関するデータの明確な識別が可能となる識別データ。このようにして、例えば3次元表現11に関係する物体に関する2次元入力画像10及び/又はデータを明確に識別することが可能となる。
(iii)少なくとも、それによって物体に関するデータが生成された第一のイメージングシステム6の第一のイメージングパラメータ、及び/又は少なくとも、その特性によって物体の画像が物体に関するデータに基づいて表示ユニット2上で表現されることになる第二のイメージングシステム7の第二のイメージングパラメータ。
-それによって物体に関するデータが生成されたカメラ1000に関する第一のカメラデータ13A。
-それによって物体に関するデータが生成されたレンズ1002に関する第一のレンズデータ14A。
-それによって物体に関するデータが生成された絞りユニット1016に関する第一の絞りユニットデータ15A。
-それによって物体に関するデータが生成された、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第一の合焦ユニットに関する第一の合焦ユニットデータ16A。
-それによって物体に関するデータが生成された、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第一の焦点距離設定ユニットに関する第一の焦点距離設定ユニットデータ17A。
-カメラ1000の形態の第一のイメージングシステム6の空間内の位置と場所に関する第一の情報18A。言い換えれば、例えば3次元空間内の第一のイメージングシステム6の位置とアラインメントに関する第一の情報18Aが提供される。
-第一のイメージングシステム6の解像度に関する第一の情報19A。言い換えれば、それによって物体に関するデータが生成された解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代替案として、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上述の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又はその代替案として、ユーザは所望の目標解像度を入力し得る。
-その特性により物体に関するデータが表示ユニット2上で表現されることになるカメラ1000に関する第二のカメラデータ13B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになるレンズ1002に関する第二のレンズデータ14B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになる絞りユニット1016に関する第二の絞りユニットデータ15B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになる、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第二の合焦ユニットに関する第二の合焦ユニットデータ16B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになる、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第二の焦点距離設定ユニットに関する第二の焦点距離設定ユニットデータ17B。
-カメラ1000の形態の第二のイメージングシステム7の空間内の位置と場所に関する第二の情報18B。言い換えれば、例えば3次元空間内の第二のイメージングシステム7の位置とアラインメントに関する第二の情報18Bが提供される。
-第二のイメージングシステム7の解像度に関する第二の情報19B。言い換えれば、それによって物体に関するデータが生成された解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代替案として、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上述の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又はその代替案として、ユーザは所望の目標解像度を入力し得る。
2 表示ユニット
3 第一のデータ処理装置
4 第二のデータ処理装置
5 データメモリ
6 第一のイメージングシステム
7 第二のイメージングシステム
8 第一のプロセッサ
9 第二のプロセッサ
10 入力画像
11 3次元表現
12A 第一のメタデータ
12B 第二のメタデータ
13A 第一のカメラデータ
13B 第二のカメラデータ
14A 第一のレンズデータ
14B 第二のレンズデータ
15A 第一の絞りユニットデータ
15B 第二の絞りユニットデータ
16A 第一の合焦ユニットデータ
16B 第二の合焦ユニットデータ
17A 第一の焦点距離設定ユニットデータ
17B 第二の焦点距離設定ユニットデータ
18A 位置と場所に関する第一の情報
18B 位置と場所に関する第二の情報
19A 第一のイメージングシステムの解像度に関する第一の情報
19B 第二のイメージングシステムの解像度に関する第二の情報
1000 カメラ
1001 ハウジング
1002 レンズ
1003 画像捕捉ユニット
1004 第一のレンズユニット
1005 第二のレンズユニット
1006 プロセッサ
1007 モニタ
1008 SLAMモジュール
1009 通信機器
1016 絞りユニット
1017 XDデータインタフェース
O 物体
OA 光軸
D 直径
D1 第一の直径
D2 第二の直径
D3 第三の直径
S1~S8 方法ステップ
S10~S18 方法ステップ
S3A~S3B 方法ステップ
S5A~S5C 方法ステップ
V ボクセル
Claims (24)
- 物体(O)の画像を形成する方法であって、以下の方法ステップ;
-第一のデータ処理装置(3)により前記物体(O)に関するデータを提供するステップと、
-前記第一のデータ処理装置(3)によって少なくとも第一のデータレコードを提供するステップであって、前記第一のデータレコードは第一のデータを有し、これは以下:(i)少なくとも、それによって前記物体(O)に関する前記データが生成された第一のイメージングシステム(6)の第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)、及び/又は(ii)少なくとも、その特性によって前記物体(O)の画像が前記物体(O)に関する前記データに基づいて表示ユニット(2)で表現されることになる第二のイメージングシステム(7)の第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)、を含むステップと、
-前記第一のデータレコードを前記第一のデータ処理装置(3)から第二のデータ処理装置(4)にロードするステップと、
-第二のデータレコードをデータメモリ(5)から前記第二のデータ処理装置(4)に、前記第二のデータ処理装置(4)にロードされた前記第一のデータレコードに依存してロードするステップであって、前記第二のデータレコードは第二のデータを有し、これは以下:(i)前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して結像エラーを修正するための修正データ、及び/又は(ii)前記第二のイメージングシステム(7)の前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)に依存して前記物体に関する前記データを修正するための修正データ、を含むステップと、
-処理データレコードを前記第二のデータレコードに基づいて生成するか、又は前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するステップと、
-前記物体(O)の2次元出力画像を、前記処理データレコードを使用して前記物体に関する前記データを処理することによって形成するステップであって、前記2次元出力画像は事前に決定可能な数の出力画像ピクセルを有するステップと
を有する方法。 - -前記第二のデータレコードは前記第二のデータ処理装置(4)から前記第一のデータ処理装置(3)にロードされ、
-前記第一のデータ処理装置(3)は、前記処理データレコードを生成するため、又は前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するために使用される、
請求項1に記載の方法。 - 前記第一のデータ処理装置(3)は前記物体(O)の前記2次元出力画像を形成するために使用される、請求項1又は2に記載の方法。
- 前記第二のデータ処理装置(4)は、前記処理データレコードを生成するため、又は前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するために使用される、請求項1に記載の方法。
- 以下の方法ステップ:
(i)前記処理データレコードは前記第二のデータ処理装置(4)から前記第一のデータ処理装置(3)にロードされ、前記第一のデータ処理装置(3)は、前記物体(O)の前記2次元出力画像を形成するために使用されるステップと、
(ii)前記第二のデータ処理装置(4)は、前記物体(O)の前記2次元出力画像を生成するために使用され、前記2次元出力画像は前記第二のデータ処理装置(4)から前記第一のデータ処理装置(3)にロードされるステップ
のうちの1つを有する、請求項4に記載の方法。 - -前記物体(O)に関する前記データは、前記物体(O)の少なくとも1つの2次元入力画像(10)を含み、
-前記物体(O)の前記2次元入力画像(10)は所定の数の入力画像ピクセル(Pop)を有し、
-前記物体(O)の前記2次元出力画像を形成するステップ中に、前記物体(O)の前記2次元入力画像(10)の前記所定の数の入力画像ピクセル(Pop)のうちの少なくとも1つの入力画像ピクセル(Pop)は前記処理データレコードを使用することによって処理され、前記物体(O)の前記2次元入力画像(10)の前記入力画像ピクセル(Pop)のピクセル値は前記処理データレコードのデータで修正される、
請求項1~5のいずれか1項に記載の方法。 - -前記物体(O)に関する前記データは少なくとも1つの3次元表現(11)に関し、
-前記物体(O)に関する前記データは、第一の次元(D1)の第一のデータコンテンツ(Vijk)、第二の次元(D2)の第二のデータコンテンツ(Vijk)、及び第三の次元(D3)の第三のデータコンテンツ(Vijk)を含み、
-前記物体(O)の前記2次元出力画像を形成するステップ中に、前記第一のデータコンテンツ(Vijk)、前記第二のデータコンテンツ(Vijk)、及び/又は前記第三のデータコンテンツ(Vijk)は、前記処理データレコードを使用することによって処理され、前記第一のデータコンテンツ(Vijk)、前記第二のデータコンテンツ(Vijk)、及び/又は前記第三のデータコンテンツ(Vijk)は前記処理データレコードのデータで修正される、
請求項1~6のいずれか1項に記載の方法。 - 第一の光イメージングシステム(1000)は前記第一のイメージングシステム(6)として使用される、請求項1~7のいずれか1項に記載の方法。
- 前記第一のイメージングシステム(6)の以下のパラメータ:
(i)前記第一のイメージングシステム(6)の第一のメタデータ(12A)、
(ii)それによって前記物体(O)に関する前記データが生成された第一のカメラ(1000)に関する第一のカメラデータ(13A)、
(iii)それによって前記物体(O)に関する前記データが生成された第一のレンズ(1002)に関する第一のレンズデータ(14A)、
(iv)それによって前記物体(O)に関する前記データが生成された第一の絞りユニット(1016)に関する第一の絞りユニットデータ(15A)、
(v)それによって前記物体(O)に関する前記データが生成された第一の合焦ユニット(1004、1005)に関する第一の合焦ユニットデータ(16A)、
(vi)それによって前記物体(O)に関する前記データが生成された第一の焦点距離設定ユニット(1004、1005)に関する第一の焦点距離設定ユニットデータ(17A)、
(vii)空間内の前記第一のイメージングシステム(6)の位置と場所に関する第一の情報(18A)、
(viii)前記第一のイメージングシステムの解像度に関する、及び/又は所望の目標解像度に関する第一の情報(19A)
のうちの少なくとも1つが前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)として使用される、請求項1~8のいずれか1項に記載の方法 - 第二の光イメージングシステムは前記第二のイメージングシステム(7)として使用される、請求項1~9のいずれか1項に記載の方法。
- 前記第二のイメージングシステムの以下のパラメータ:
(i)前記第二の光イメージングシステム(7)の第二のメタデータ(12B)、
(ii)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二のカメラ(1000)に関する第二のカメラデータ(13B)、
(iii)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二のレンズ(1002)に関する第二のレンズデータ(14B)、
(iv)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二の絞りユニット(1016)に関する第二の絞りユニットデータ(15B)、
(v)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二の合焦ユニット(1004、1005)に関する第二の合焦ユニットデータ(16B)、
(vi)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二の焦点距離設定ユニット(1004、1005)に関する第二の焦点距離設定ユニットデータ(17B)、
(vii)空間内の前記第二のイメージングシステム(7)の位置と場所に関する第二の情報(18B)、
(viii)前記第一のイメージングシステムの解像度に関する、及び/又は所望の目標解像度に関する第二の情報(19B)
のうちの少なくとも1つが前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)として使用される、請求項1~10のいずれか1項に記載の方法。 - 以下の方法ステップ:
(i)前記第一のイメージングシステム(6)の歪みを修正するためのデータが修正データとして使用されるステップと、
(ii)前記第一のイメージングシステム(6)のビネッティングを修正するためのデータが修正データとして使用されるステップと、
(iii)前記第一のイメージングシステム(6)の歪みを補正するためのデータが修正データとして使用されるステップと、
(iv)前記第一のイメージングシステム(6)のビネッティングを補正するためのデータが修正データとして使用されるステップと
のうちの少なくとも1つを含む、請求項1~11のいずれか1項に記載の方法。 - 以下の方法ステップ:
(i)仮想カメラが第二のイメージングシステム(7)として使用され、前記物体(O)の画像は、前記仮想カメラで、前記物体(O)に関する前記データに基づく数学的計算により、前記第二のイメージングパラメータにより選択された特性を有するカメラが前記物体(O)の画像を実際に形成したかのような方法で形成されるステップと、
(ii)前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する数学的マッピングルールが前記第二のデータレコードとして使用されるステップと、
(iii)前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する多項式が前記第二のデータレコードとして使用されるステップと、
(iv)前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明するフーリエ展開式が前記第二のデータレコードとして使用されるステップと
のうちの少なくとも1つを含む、請求項1~12のいずれか1項に記載の方法。 - 前記第一のデータ処理装置(3)から前記第二のデータ処理装置(4)にロードされる前記第一のデータレコードは、前記物体(O)に関する前記データの識別データ及び/又はユーザ識別データを有する、請求項1~13のいずれか1項に記載の方法。
- 以下の方法ステップ:
-前記識別データ及び/又は前記ユーザ識別データに基づいて、前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)を使って、前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)で前記第二のデータレコードを使用するための使用許可があるか否かをチェックし、前記使用許可がある場合のみ前記処理データレコードを生成するステップ
が実行される、請求項14に記載の方法。 - 以下の方法ステップ:
(i)前記識別データ及び/又は前記ユーザ識別データは再び前記第一のデータ処理装置(3)から前記第二のデータ処理装置(4)にロードされるステップと、
(ii)前記識別データ及び/又は前記ユーザ識別データに基づいて、前記第二のデータ処理装置(4)を使って、前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)で前記第二のデータレコードを使用するための使用許可があるか否かをチェックし、前記使用許可がある場合のみ前記処理データレコードを生成するステップと
が実行される、請求項14に記載の方法。 - -前記第二のデータレコードの前記第二のデータは、前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して前記物体(O)の前記2次元出力画像に結像エラーを組み込むために前記物体(O)の前記形成された前記2次元出力画像を修正するための修正データを含み、
-形成又は検出された後に、前記処理データレコードは前記修正データに基づく処理データを有し、
-以下の方法ステップ:前記物体(O)の前記2次元出力画像を、前記物体(O)の前記2次元出力画像の前記事前に決定可能な数の出力画像ピクセルのうちの少なくとも1つの出力画像ピクセルを前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)で、前記処理データを使って修正し、前記物体(O)の前記2次元出力画像の前記出力画像ピクセルのピクセル値が前記処理データで修正されるステップを含む、
請求項1~16のいずれか1項に記載の方法。 - 物体(O)の画像を形成する方法であって、以下の方法ステップ:
-第一のデータ処理装置(3)により前記物体(O)に関するデータを提供するステップと、
-前記第一のデータ処理装置(3)によって少なくとも第一のデータレコードを提供するステップであって、前記第一のデータレコードは第一のデータを有し、これは以下:(i)少なくとも、それによって前記物体(O)に関する前記データが生成された第一のイメージングシステム(6)の第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)、及び/又は(ii)少なくとも、その特性によって前記物体(O)の画像が前記物体(O)に関する前記データに基づいて表示ユニット(2)で表現されることになる第二のイメージングシステム(7)の第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)、を含むステップと、
-前記第一のデータレコードを前記第一のデータ処理装置(3)から第二のデータ処理装置(4)にロードするステップと、
-前記第二のデータ処理装置(4)にロードされた前記第一のデータに依存してライセンスデータレコードを生成するステップと、
-前記ライセンスデータレコードを前記第二のデータ処理装置(4)から前記第一のデータ処理装置(3)にロードするステップと、
-第二のデータレコードをデータメモリ(5)から前記第一のデータ処理装置(3)に、前記第二のデータ処理装置(4)にロードされた前記第一のデータレコードに依存してロードするステップであって、前記第二のデータレコードは第二のデータを有し、これは以下:(i)前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して結像エラーを修正するための修正データ、及び/又は(ii)前記第二のイメージングシステム(7)の前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)に依存して前記物体(O)に関する前記データを修正するための修正データ、を含むステップと、
-前記ライセンスデータレコードを使用することにより前記第二のデータレコードを復号化するステップと、
-前記第一のデータ処理装置(3)で処理データレコードを前記第二のデータレコードに基づいて生成するか、前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するステップと、
-前記物体(O)の2次元出力画像を、前記処理データレコードを使用して前記物体(O)に関する前記データを処理することによって形成するステップであって、前記2次元出力画像は事前に決定可能な数の出力画像ピクセルを有するステップと
を有する方法。 - 画像形成システム(1)のプロセッサ(8、9)にロードすることができ、前記プロセッサ(8、9)にロードされると、その実行中に前記画像形成システム(1)を、請求項1~18のいずれか1項に記載の方法が実行されるような方法で制御するプログラムコードを有するコンピュータプログラム。
- 物体(O)の画像を形成する画像形成システム(1)であって、
-表示ユニット(2)と、
-第一のイメージングシステム(6)と、
-第二のイメージングシステム(7)と、
-前記物体(O)に関するデータを提供するため、及び第一のデータレコードを提供するための第一のデータ処理装置(3)であって、前記第一のデータレコードは第一のデータを有し、これは以下:(i)少なくとも、それによって前記物体(O)に関する前記データが生成された第一のイメージングシステム(6)の第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)、及び/又は(ii)少なくとも、その特性によって前記物体(O)の画像が前記物体(O)に関する前記データに基づいて表示ユニット(2)で表現されることになる第二のイメージングシステム(7)の第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)、を含む第一のデータ処理装置(3)と、
-データ交換のために前記第一のデータ処理装置(3)に接続される第二のデータ処理装置(4)と、
-データメモリ(5)であって、その中に第二のデータレコードが保存され、前記第二のデータレコードは第二のデータを有し、これは以下:(i)前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して結像エラーを修正するための修正データ、及び/又は(ii)前記第二のイメージングシステム(7)の前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)に依存して前記物体(O)に関する前記データを修正するための修正データ、を含むデータメモリ(5)と、
-請求項19に記載のコンピュータプログラムがロードされる少なくとも1つのプロセッサ(8、9)と、
を有する画像形成システム(1)。 - (i)前記第一のイメージングシステム(6)は第一の光イメージングシステムとして形成され、及び/又は
(ii)前記第二のイメージングシステム(7)は第二の光イメージングシステムとして形成される、
請求項20に記載の画像形成システム(1)。 - 前記第一のイメージングシステム(6)は以下の特徴:
(i)第一のカメラ(1000)、
(ii)第一のレンズ(1002)、
(iii)第一の絞りユニット(1016)、
(iv)第一の合焦ユニット(1004、1005)、
(v)第一の焦点距離設定ユニット(1004、1005)
のうちの少なくとも1つを有する、請求項20又は21に記載の画像形成システム(1)。 - 前記第二のイメージングシステム(7)は以下の特徴:
(i)第二のカメラ(1000)、
(ii)第二のレンズ(1002)、
(iii)第二の絞りユニット(1016)、
(iv)第二の合焦ユニット(1004、1005)、
(v)第二の焦点距離設定ユニット(1004、1005)
のうちの少なくとも1つを有する、請求項20~22のいずれか1項に記載の画像形成システム(1)。 - 以下の特徴:
(i)前記第二のイメージングシステム(7)は、前記物体(O)の画像を、前記物体(O)に関する前記データに基づく数学的計算により、前記第二のイメージングパラメータにより選択された特性を有するカメラが前記物体(O)の画像を実際に形成したかのような方法で形成するための仮想カメラである、
(ii)前記第二のデータレコードは、前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する数学的マッピングルールとして形成される、
(iii)前記第二のデータレコードは、前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する多項式として形成される、
(iv)前記第二のデータレコードは、前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明するフーリエ展開式として形成される
のうちの少なくとも1つを有する、請求項20に記載の画像形成システム(1)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21166594.8 | 2021-04-01 | ||
EP21166594.8A EP4068198B1 (de) | 2021-04-01 | 2021-04-01 | Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022159118A JP2022159118A (ja) | 2022-10-17 |
JP7364726B2 true JP7364726B2 (ja) | 2023-10-18 |
Family
ID=75362433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022053192A Active JP7364726B2 (ja) | 2021-04-01 | 2022-03-29 | 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム |
Country Status (10)
Country | Link |
---|---|
US (1) | US20220398803A1 (ja) |
EP (1) | EP4068198B1 (ja) |
JP (1) | JP7364726B2 (ja) |
KR (1) | KR20220136935A (ja) |
CN (1) | CN115209044A (ja) |
AU (1) | AU2022202187B2 (ja) |
CA (1) | CA3154316A1 (ja) |
ES (1) | ES2975590T3 (ja) |
NZ (1) | NZ786795A (ja) |
PL (1) | PL4068198T3 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045815A (ja) | 2014-08-26 | 2016-04-04 | 泰章 岩井 | 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 |
WO2020021121A1 (de) | 2018-07-27 | 2020-01-30 | Carl Zeiss Ag | Verfahren und datenverarbeitungssystem zur synthese von bildern |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10238596A1 (de) * | 2002-08-22 | 2004-03-04 | Siemens Ag | Verteiltes System und Verfahren zur Darstellung und Bearbeitung medizinisch relevanter Datenobjekte |
JP4769661B2 (ja) * | 2006-08-11 | 2011-09-07 | 株式会社リコー | 画像処理装置 |
CN110675348B (zh) * | 2019-09-30 | 2022-06-21 | 杭州栖金科技有限公司 | 增强现实图像显示方法、装置及图像处理设备 |
-
2021
- 2021-04-01 EP EP21166594.8A patent/EP4068198B1/de active Active
- 2021-04-01 ES ES21166594T patent/ES2975590T3/es active Active
- 2021-04-01 PL PL21166594.8T patent/PL4068198T3/pl unknown
-
2022
- 2022-03-29 JP JP2022053192A patent/JP7364726B2/ja active Active
- 2022-03-30 CA CA3154316A patent/CA3154316A1/en active Pending
- 2022-03-31 NZ NZ786795A patent/NZ786795A/en unknown
- 2022-03-31 AU AU2022202187A patent/AU2022202187B2/en active Active
- 2022-03-31 KR KR1020220040101A patent/KR20220136935A/ko not_active Application Discontinuation
- 2022-04-01 US US17/711,969 patent/US20220398803A1/en active Pending
- 2022-04-01 CN CN202210348631.7A patent/CN115209044A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045815A (ja) | 2014-08-26 | 2016-04-04 | 泰章 岩井 | 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 |
WO2020021121A1 (de) | 2018-07-27 | 2020-01-30 | Carl Zeiss Ag | Verfahren und datenverarbeitungssystem zur synthese von bildern |
Also Published As
Publication number | Publication date |
---|---|
JP2022159118A (ja) | 2022-10-17 |
NZ786795A (en) | 2024-02-23 |
EP4068198A1 (de) | 2022-10-05 |
CN115209044A (zh) | 2022-10-18 |
AU2022202187A1 (en) | 2022-10-20 |
CA3154316A1 (en) | 2022-10-01 |
PL4068198T3 (pl) | 2024-05-27 |
ES2975590T3 (es) | 2024-07-09 |
EP4068198C0 (de) | 2023-12-27 |
EP4068198B1 (de) | 2023-12-27 |
KR20220136935A (ko) | 2022-10-11 |
AU2022202187B2 (en) | 2023-03-16 |
US20220398803A1 (en) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11455746B2 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
CN106815869B (zh) | 鱼眼相机的光心确定方法及装置 | |
CN113327291B (zh) | 一种基于连续拍摄对远距离目标物3d建模的标定方法 | |
JP2013211827A (ja) | 画像処理方法および装置、プログラム。 | |
US10255664B2 (en) | Image processing device and method | |
JP6674643B2 (ja) | 画像処理装置及び画像処理方法 | |
Hach et al. | Cinematic bokeh rendering for real scenes | |
WO2016175043A1 (ja) | 画像処理装置及び画像処理方法 | |
JP6674644B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7364726B2 (ja) | 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム | |
Lian et al. | Image systems simulation for 360 camera rigs | |
JP6684454B2 (ja) | 画像処理装置及び画像処理方法 | |
CN117456124B (zh) | 一种基于背靠背双目鱼眼相机的稠密slam的方法 | |
JP7304985B2 (ja) | 光学画像表現をシミュレートする方法 | |
JP6300358B2 (ja) | 表示画像生成装置及びそのプログラム | |
JPWO2020164671A5 (ja) | ||
JP2006163545A (ja) | 3次元データ処理プログラム、3次元データ処理システム及び3次元データ処理方法 | |
JP2006190129A (ja) | 画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7364726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |