JP2013141192A - 被写界深度拡張システム及び被写界深度拡張方法 - Google Patents
被写界深度拡張システム及び被写界深度拡張方法 Download PDFInfo
- Publication number
- JP2013141192A JP2013141192A JP2012057628A JP2012057628A JP2013141192A JP 2013141192 A JP2013141192 A JP 2013141192A JP 2012057628 A JP2012057628 A JP 2012057628A JP 2012057628 A JP2012057628 A JP 2012057628A JP 2013141192 A JP2013141192 A JP 2013141192A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- captured image
- lens system
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 深度拡張レンズ系の光学系の焦点距離制御と撮像手段のゲイン変調とを同期して行って被撮像手段により長時間露光により一枚の第1の撮像画像と、第1のゲイン変調とは逆の増減方向のゲイン変調を行って一枚の第2の撮像画像とを撮像し、第1の撮像画像及び第2の撮像画像から距離画像を構築するとともに、第1の撮像画像及び第2の撮像画像と距離画像から被写界深度拡張画像を再構築する。
【選択図】 図1
Description
{(ymax−ymin)(x−xmin)}/(xmax−xmin)+ymin
としても良い。但し、ymax,yminはそれぞれのピント走査の最も遠い位置と近い位置であり、xmax,xminはそれぞれymax,yminにおける(ν2−ν1)/(ν2+ν1)の値である。或いは、関数fとして、(ν2−ν1)/(ν2+ν1)の値とピント位置に対応したルックアップテーブルを最初に実測で求めておいても良い。
図5は、本発明の実施例1の被写界深度拡張方法を実施するための被写界深度拡張システムの構成説明図であり、撮像部10と、拡張対象レンズ系20と、両者の間に介挿された深度拡張レンズ系30を備えている。撮像部10及び深度拡張レンズ系30はタイミング制御回路40に接続され、このタイミング制御回路40は、PC或いはCPUからなる制御部50の指令により制御される。
Hj=Σh(xi,xj)(但し、i=1〜Nまでの和)
として表わす。ここで、h(xi,xj)は、xiをピント位置、xjを物***置とした場合のぼけ回復関数である。
HA=h(A,A)+h(B,A)+h(C,A)
HB=h(A,B)+h(B,B)+h(C,B)
HC=h(A,C)+h(B,C)+h(C,C)
として、テーブル化される。
(付記1)
被写界深度拡張の対象となる拡張対象レンズ系と、
撮像手段と、
前記撮像画像のゲインを変調するゲイン変調手段と、
前記拡張対象レンズ系側に配置した第1のレンズ系と前記撮像手段側に配置した第2のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第1のレンズ系の焦点距離に位置し、且つ、像側主点が前記第2のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、
前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第1の撮像画像として撮像するとともに、前記第1のゲイン変調とは逆向きのゲイン変調を行って一枚の第2の撮像画像を撮像する撮像制御部と、
前記第1の撮像画像及び前記第2の撮像画像から距離画像を構築するとともに、前記第1の撮像画像及び前記第2の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部と
を備えることを特徴とする被写界深度拡張システム。
(付記2)
前記光学系が、液体レンズを備えていることを特徴とする付記1に記載の被写界深度拡張システム。
(付記3)
前記撮像手段を2つ備えるとともに、前記2つの撮像手段がそれぞれ個別の前記ゲイン変調手段に接続されており、前記深度拡張レンズ系と前記撮像手段との間にビーム分割手段を配置したことを特徴とする付記1または付記2に記載の被写界深度拡張システム。
(付記4)
被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、
前記拡張対象レンズ系側に配置した第1のレンズ系と前記撮像手段側に配置した第2のレンズ系を有する深度拡張レンズ系を配置するとともに、
物体側主点が前記第1のレンズ系の焦点距離の位置で、且つ、像側主点が前記第2のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、
前記撮像手段により前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第1の撮像画像として撮像するとともに、前記第1のゲイン変調とは逆向きのゲイン変調を行って一枚の第2の撮像画像を撮像する工程と、
前記第1の撮像画像及び前記第2の撮像画像から距離画像を構築するとともに、前記第1の撮像画像及び前記第2の撮像画像と距離画像から被写界深度拡張画像を再構築する工程と
を有する被写界深度拡張方法。
(付記5)
前記第1の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第1のゲイン変調を用いて撮像する工程であり、
前記第2の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第2のゲイン変調で撮像する工程であることを特徴とする付記4に記載の被写界深度拡張方法。
(付記6)
前記距離画像を構築する工程が、前記第1の撮像画像と前記第2の撮像画像から画素毎にピント評価値を求め、前記2つの撮像画像の同一画素におけるピント評価値の差分をピント評価値の和で正規化した値を基に、画像内にある物体の距離を算出する工程であることを特徴とする付記4または付記5に記載の被写界深度拡張方法。
(付記7)
前記被写界深度拡張画像を再構築する工程が、前記第1の撮像画像と前記第2の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、単一のボケ回復関数であることを特徴とする付記4乃至付記6のいずれか1に記載の被写界深度拡張方法。
(付記8)
前記被写界深度拡張画像を再構築する工程が、前記第1の撮像画像と前記第2の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、前記距離画像をもとに被写体の物体距離に対応した距離依存性を有するボケ回復関数であることを特徴とする付記4乃至付記6のいずれか1に記載の被写界深度拡張方法。
(付記9)
前記撮像手段として、第1の撮像手段と第2の撮像手段の2つの撮像手段を配置するとともに、前記第1の撮像手段を第1のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第1のゲイン変調を行うと同時に、前記第2の撮像手段に第2のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第2のゲイン変調を行い、1度の撮像工程において前記第1の撮像画像と前記第2の撮像画像を同時に取得することを特徴とする付記4乃至付記8のいずれか1に記載の被写界深度拡張方法。
11 ビームスプリッタ
121,122 イメージセンサ
20 拡張対象レンズ系
30 深度拡張レンズ系
31 第1のレンズ系
32 第2のレンズ系
33 液体レンズ
34 水層
35 油層
40 タイミング制御回路
411,412 ゲイン変調回路
42 液体レンズ駆動回路
50 制御部
Claims (7)
- 被写界深度拡張の対象となる拡張対象レンズ系と、
撮像手段と、
前記撮像画像のゲインを変調するゲイン変調手段と、
前記拡張対象レンズ系側に配置した第1のレンズ系と前記撮像手段側に配置した第2のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第1のレンズ系の焦点距離に位置し、且つ、像側主点が前記第2のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、
前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第1の撮像画像として撮像するとともに、前記第1のゲイン変調とは逆の増減方向のゲイン変調を行って一枚の第2の撮像画像を撮像する撮像制御部と、
前記第1の撮像画像及び前記第2の撮像画像から距離画像を構築するとともに、前記第1の撮像画像及び前記第2の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部と
を備えることを特徴とする被写界深度拡張システム。 - 前記撮像手段を2つ備えるとともに、前記2つの撮像手段がそれぞれ個別の前記ゲイン変調手段に接続されており、前記深度拡張レンズ系と前記撮像手段との間にビーム分割手段を配置したことを特徴とする請求項1に記載の被写界深度拡張システム。
- 被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、
前記拡張対象レンズ系側に配置した第1のレンズ系と前記撮像手段側に配置した第2のレンズ系を有する深度拡張レンズ系を配置するとともに、
物体側主点が前記第1のレンズ系の焦点距離の位置で、且つ、像側主点が前記第2のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、
前記撮像手段により前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第1の撮像画像として撮像するとともに、前記第1のゲイン変調とは逆の増減方向のゲイン変調を行って一枚の第2の撮像画像を撮像する工程と、
前記第1の撮像画像及び前記第2の撮像画像から距離画像を構築するとともに、前記第1の撮像画像及び前記第2の撮像画像と距離画像から被写界深度拡張画像を再構築する工程と
を有する被写界深度拡張方法。 - 前記第1の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第1のゲイン変調を用いて撮像する工程であり、
前記第2の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第2のゲイン変調で撮像する工程であることを特徴とする請求項3に記載の被写界深度拡張方法。 - 前記被写界深度拡張画像を再構築する工程が、前記第1の撮像画像と前記第2の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、単一のボケ回復関数であることを特徴とする請求項3または請求項4に記載の被写界深度拡張方法。 - 前記被写界深度拡張画像を再構築する工程が、前記第1の撮像画像と前記第2の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、前記距離画像をもとに被写体の物体距離に対応した距離依存性を有するボケ回復関数であることを特徴とする請求項3または請求項4に記載の被写界深度拡張方法。 - 前記撮像手段として、第1の撮像手段と第2の撮像手段の2つの撮像手段を配置するとともに、前記第1の撮像手段を第1のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第1のゲイン変調を行うと同時に、前記第2の撮像手段に第2のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第2のゲイン変調を行い、1度の撮像工程において前記第1の撮像画像と前記第2の撮像画像を同時に取得することを特徴とする請求項3乃至請求項6のいずれか1項に記載の被写界深度拡張方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012057628A JP5900049B2 (ja) | 2011-12-07 | 2012-03-14 | 被写界深度拡張システム及び被写界深度拡張方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011267852 | 2011-12-07 | ||
JP2011267852 | 2011-12-07 | ||
JP2012057628A JP5900049B2 (ja) | 2011-12-07 | 2012-03-14 | 被写界深度拡張システム及び被写界深度拡張方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013141192A true JP2013141192A (ja) | 2013-07-18 |
JP5900049B2 JP5900049B2 (ja) | 2016-04-06 |
Family
ID=49038247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012057628A Expired - Fee Related JP5900049B2 (ja) | 2011-12-07 | 2012-03-14 | 被写界深度拡張システム及び被写界深度拡張方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5900049B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015104136A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社ミツトヨ | 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法 |
CN108088424A (zh) * | 2016-11-23 | 2018-05-29 | 株式会社三丰 | 机器视觉检查***和用于获得具有扩展景深的图像的方法 |
WO2023223371A1 (ja) * | 2022-05-16 | 2023-11-23 | 三菱電機株式会社 | 焦点距離可変レンズ装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10290389A (ja) * | 1997-04-16 | 1998-10-27 | Toyota Motor Corp | マルチフォーカス画像作成方法及び画像作成装置 |
JP2010039448A (ja) * | 2008-08-08 | 2010-02-18 | Canon Inc | 画像撮影装置およびその距離演算方法と合焦画像取得方法 |
WO2011070757A1 (ja) * | 2009-12-07 | 2011-06-16 | パナソニック株式会社 | 撮像装置および撮像方法 |
-
2012
- 2012-03-14 JP JP2012057628A patent/JP5900049B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10290389A (ja) * | 1997-04-16 | 1998-10-27 | Toyota Motor Corp | マルチフォーカス画像作成方法及び画像作成装置 |
JP2010039448A (ja) * | 2008-08-08 | 2010-02-18 | Canon Inc | 画像撮影装置およびその距離演算方法と合焦画像取得方法 |
WO2011070757A1 (ja) * | 2009-12-07 | 2011-06-16 | パナソニック株式会社 | 撮像装置および撮像方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015104136A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社ミツトヨ | 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法 |
CN108088424A (zh) * | 2016-11-23 | 2018-05-29 | 株式会社三丰 | 机器视觉检查***和用于获得具有扩展景深的图像的方法 |
WO2023223371A1 (ja) * | 2022-05-16 | 2023-11-23 | 三菱電機株式会社 | 焦点距離可変レンズ装置 |
JP7483175B2 (ja) | 2022-05-16 | 2024-05-14 | 三菱電機株式会社 | 焦点距離可変レンズ装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5900049B2 (ja) | 2016-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5173665B2 (ja) | 画像撮影装置およびその距離演算方法と合焦画像取得方法 | |
JP5868183B2 (ja) | 撮像装置及び撮像方法 | |
CN107113370B (zh) | 图像记录设备及记录图像方法 | |
JP5830348B2 (ja) | 撮像装置 | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
KR101265358B1 (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
JP6838994B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
US10755429B2 (en) | Apparatus and method for capturing images using lighting from different lighting angles | |
CN109255810B (zh) | 图像处理装置及图像处理方法 | |
WO2012063449A1 (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
JP2015231220A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
JPWO2012066774A1 (ja) | 撮像装置及び距離計測方法 | |
US20190355101A1 (en) | Image refocusing | |
JP2009181024A (ja) | 合焦装置、光学機器 | |
JP5900049B2 (ja) | 被写界深度拡張システム及び被写界深度拡張方法 | |
JP2020009180A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP4752733B2 (ja) | 撮像装置および撮像方法、並びに撮像装置の設計方法 | |
US10326951B2 (en) | Image processing apparatus, image processing method, image capturing apparatus and image processing program | |
US10339665B2 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
JP2013162369A (ja) | 撮像装置 | |
JP2012142729A (ja) | カメラ | |
KR102061087B1 (ko) | 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램 | |
JP2017163412A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5900049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |