JP6501732B2 - データ処理装置、撮像装置、およびデータ処理装置の制御方法 - Google Patents
データ処理装置、撮像装置、およびデータ処理装置の制御方法 Download PDFInfo
- Publication number
- JP6501732B2 JP6501732B2 JP2016146320A JP2016146320A JP6501732B2 JP 6501732 B2 JP6501732 B2 JP 6501732B2 JP 2016146320 A JP2016146320 A JP 2016146320A JP 2016146320 A JP2016146320 A JP 2016146320A JP 6501732 B2 JP6501732 B2 JP 6501732B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- distance
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
前記第二の画像データの画素のうち、対応する前記第三の画像データの画素が示す信頼度が基準よりも低い対象画素に対して、前記第二の画像データの画素を用いて補正処理を行う画像処理手段と、
前記補正処理が行われた第二の画像データを出力する出力手段と、
を有し、
前記対象画素への補正処理に用いる前記第二の画像データの画素は、該対象画素に対応する前記第一の画像データの画素と類似度の高い前記第一の画像データの画素に対応する画素であり、
前記画像処理手段は、前記補正処理が行われる前後の2つの第二の画像データを比較す
ることで前記第三の画像データを更新することを特徴とするデータ処理装置である。
前記第二の画像データの画素のうち、対応する前記第三の画像データの画素が示す信頼度が基準よりも低い対象画素に対して、前記第二の画像データの画素を用いて補正処理を行う画像処理ステップと、
前記補正処理が行われた第二の画像データを出力する出力ステップと、を含み、
前記対象画素への補正処理に用いる前記第二の画像データの画素は、該対象画素に対応する前記第一の画像データの画素と類似度の高い前記第一の画像データの画素に対応する画素であり、
前記画像処理ステップでは、前記補正処理が行われる前後の2つの第二の画像データを比較することで前記第三の画像データを更新することを特徴とするデータ処理装置の制御方法である。
図1は、本発明の実施形態1に係る撮像装置の構成を模式的に示している。撮像装置1は、撮像光学系10、撮像素子11、制御部12、データ処理装置13、記憶部14、入力部15、表示部16を有している。図2Aは、撮影処理から撮影画像の出力・記録処理までを表すフローチャートである。図2Aのフローチャートも参照しつつ、撮像装置1の各構成について説明する。
出力されるデジタル画像データはメモリ131に蓄積され、表示部16への表示、記憶部14への記録(保存)、距離情報の算出、距離画像データの生成)などに使用される。
ータなどの記憶部14への記録処理や、これらのデータの表示部16への表示処理が含まれる。
ータ算出部133は、図4Dに示すように、エラー領域を正しく抽出する信頼度情報を得る処理を行う。より具体的には、信頼度データ算出部133は、エラー領域において低信頼度(図4Dでは黒で表示)、それ以外の領域では高信頼度(図4Dでは白で表示)である信頼度情報を取得可能な処理を行う。
Sは類似度(値が小さいほど類似度が高く、値が大きいほど類似度が低い)、Iは撮影画像の輝度値を表し、pは信頼度算出対象画素の位置、qは信頼度算出対象画素pの周辺画素の位置である。
て画素値が類似する画素(同じオブジェクトの画素)の距離値のみを用いて統計量Tが算出される。
の求め方は異なる場合があるが、例えば以下の変換式を採用することができる。
最終的に得られた信頼度を表す。Thは、信頼度Cが高い場合には1、信頼度Cが低い場合には0に設定される。例えば、信頼度Cが0以上1以下の数値範囲をとる場合、信頼度Cが0.5以上のときにThは1に設定され、Cが0.5未満の場合にThは0に設定されるようにする。なお、Cが0と1の2値の値しかとらない場合には、Th(C)はCと置換してもよい(すなわちTh(C)=Cとしてよい)。
上記の式8の第一項と式9の形は非常に類似している。式9が補正後の距離情報であるので、式8(および式4)によって定義される統計量Tは補正後の距離情報と補正前の距離情報との差の絶対値と考えることができる。したがって、実施形態1における信頼度算出処理は、図7に示すような処理によっても実現可能である。すなわち、まず類似度取得部1331が、撮影画像中での着目画素pとその周辺画素qとの類似度Sを算出する(式1)。距離マップ補正部134が、算出された類似度Sに基づく重みW(例えば、Gσs(|p−q|)×Gσr(S))を用いて距離画像における周辺画素qの距離値Dを用いて着目画素pの距離値得の補正を行う(式9)。そして、統計量取得部1333が、着目画素pにおける補正前の距離値Dと補正後の距離値D’の差の絶対値を、統計量Tとして算出する(式8に相当)。最後に、変換部1334が、統計量Tを信頼度Cに変換する(式6または式7)。
実施形態1では、撮影画像データと距離画像データを使用し、信頼度情報データの生成、距離情報の補正を行っていた。それに対して、本実施形態では、撮影画像データと距離画像データ以外を用いて、信頼度情報の生成及び補正処理が行えることを示す。図8は、本実施形態のデータ処理装置を表す。フローチャートは実施形態1のフローチャートと同
じである。本実施形態の画像処理方法を、実施形態1と異なる点を中心に説明する。
実施形態1では、図4Cに示すように、オブジェクト境界部のエラーが徐々に変化していた。本実施形態では、図9のように、オブジェクト境界部の一方のオブジェクトにおける距離値が、他方のオブジェクトにおける距離値と略同一となるようなエラーを含む画像(第二画像)を対象として、信頼度の算出および情報の補正を行う。本実施形態では、オブジェクト境界において、後景オブジェクトの距離値が前景オブジェクトの距離値として算出されるようなエラーを含む距離画像を対象とする。なお、距離画像がどのようなエラーを有するかは、距離画像の算出方法によって決定される。
上述した本発明のデータ処理装置及び方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器(携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む)にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記画像処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。
1331 類似度取得部
1332 信頼度取得部
Claims (11)
- 第一の画像データ、前記第一の画像データとは画素値の示す情報が異なる第二の画像データ、および前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す第三の画像データを取得する取得手段と、
前記第二の画像データの画素のうち、対応する前記第三の画像データの画素が示す信頼度が基準よりも低い対象画素に対して、前記第二の画像データの画素を用いて補正処理を行う画像処理手段と、
前記補正処理が行われた第二の画像データを出力する出力手段と、
を有し、
前記対象画素への補正処理に用いる前記第二の画像データの画素は、該対象画素に対応する前記第一の画像データの画素と類似度の高い前記第一の画像データの画素に対応する画素であり、
前記画像処理手段は、前記補正処理が行われる前後の2つの第二の画像データを比較することで前記第三の画像データを更新することを特徴とするデータ処理装置。 - 前記画像処理手段は、前記対象画素について、対応する前記第一の画像データおよび前記第三の画像データの画素値に応じて周辺の前記第二の画像データの画素値を重み付け加算して前記補正処理を行うことを特徴とする請求項1に記載のデータ処理装置。
- 前記出力手段は、前記第二の画像データへの前記補正処理と、前記補正処理が行われた第二の画像データを用いた前記第三の画像データの更新処理とを所定の回数繰り返し行った後の前記第二の画像データを出力することを特徴とする請求項1または2に記載のデータ処理装置。
- 前記画像処理手段は、前記所定の回数を、前記第三の画像データに基づいて決定することを特徴とする請求項3に記載のデータ処理装置。
- 前記画像処理手段は、前記更新を繰り返し実行し、繰り返し回数が多いほど前記基準を小さく設定することを特徴とする請求項1乃至4に記載のデータ処理装置。
- 前記第三の画像データは二値化されたデータであることを特徴とする請求項1乃至5の
いずれか1項に記載のデータ処理装置。 - 前記第一の画像データが、画素値として輝度または色情報を有する画像データであり、前記第二の画像データが、画素値として距離情報を有する画像データであることを特徴とする請求項1から6のいずれか1項に記載のデータ処理装置。
- 前記第一の画像データが、画素値として輝度または色情報を有する画像データであり、前記第二の画像データが、画素値として動き情報を有する画像データであることを特徴とする請求項1から6のいずれか1項に記載のデータ処理装置。
- 前記第一の画像データが、画素値として距離情報を有する画像データであり、
前記第二の画像データが、画素値として動き情報を有する画像データであることを特徴とする請求項1から6のいずれか1項に記載のデータ処理装置。 - 撮像素子と、
請求項1から9のいずれか1項に記載のデータ処理装置と、
を有することを特徴とする撮像装置。 - 第一の画像データ、前記第一の画像データとは画素値の示す情報が異なる第二の画像データ、および前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す第三の画像データを取得する取得ステップと、
前記第二の画像データの画素のうち、対応する前記第三の画像データの画素が示す信頼度が基準よりも低い対象画素に対して、前記第二の画像データの画素を用いて補正処理を行う画像処理ステップと、
前記補正処理が行われた第二の画像データを出力する出力ステップと、を含み、
前記対象画素への補正処理に用いる前記第二の画像データの画素は、該対象画素に対応する前記第一の画像データの画素と類似度の高い前記第一の画像データの画素に対応する画素であり、
前記画像処理ステップでは、前記補正処理が行われる前後の2つの第二の画像データを比較することで前記第三の画像データを更新することを特徴とするデータ処理装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146320A JP6501732B2 (ja) | 2016-07-26 | 2016-07-26 | データ処理装置、撮像装置、およびデータ処理装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146320A JP6501732B2 (ja) | 2016-07-26 | 2016-07-26 | データ処理装置、撮像装置、およびデータ処理装置の制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014218646A Division JP5980294B2 (ja) | 2014-10-27 | 2014-10-27 | データ処理装置、撮像装置、およびデータ処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019053674A Division JP6808770B2 (ja) | 2019-03-20 | 2019-03-20 | データ処理装置、撮像装置、およびデータ処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016194956A JP2016194956A (ja) | 2016-11-17 |
JP2016194956A5 JP2016194956A5 (ja) | 2017-12-14 |
JP6501732B2 true JP6501732B2 (ja) | 2019-04-17 |
Family
ID=57322907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016146320A Active JP6501732B2 (ja) | 2016-07-26 | 2016-07-26 | データ処理装置、撮像装置、およびデータ処理装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6501732B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5747797B2 (ja) * | 2011-11-29 | 2015-07-15 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9495806B2 (en) * | 2012-03-29 | 2016-11-15 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
-
2016
- 2016-07-26 JP JP2016146320A patent/JP6501732B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016194956A (ja) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
KR101364421B1 (ko) | 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP6362068B2 (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
JP5927265B2 (ja) | 画像処理装置及びプログラム | |
CN114945943A (zh) | 基于虹膜大小估计深度 | |
JP2017103756A (ja) | 画像データ処理装置及び方法 | |
JP6501732B2 (ja) | データ処理装置、撮像装置、およびデータ処理装置の制御方法 | |
JP6808770B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
US10565712B2 (en) | Image processing apparatus and method for controlling the same | |
JP2017130106A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
JP6637242B2 (ja) | 画像処理装置、撮像装置、プログラム、および画像処理方法 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 | |
JP6570706B2 (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP2017108267A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP6548409B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2020047223A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2019022024A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2018191261A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181005 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6501732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |