JP7497216B2 - 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 - Google Patents
画像処理装置及び方法、撮像装置、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP7497216B2 JP7497216B2 JP2020094912A JP2020094912A JP7497216B2 JP 7497216 B2 JP7497216 B2 JP 7497216B2 JP 2020094912 A JP2020094912 A JP 2020094912A JP 2020094912 A JP2020094912 A JP 2020094912A JP 7497216 B2 JP7497216 B2 JP 7497216B2
- Authority
- JP
- Japan
- Prior art keywords
- raw data
- exposure time
- exposure
- data corresponding
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 35
- 238000003384 imaging method Methods 0.000 title claims description 28
- 238000000034 method Methods 0.000 title description 22
- 238000013139 quantization Methods 0.000 claims description 64
- 238000012935 Averaging Methods 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 10
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
図1は、本発明の画像処理装置の第1の実施形態であるデジタルカメラ100の機能構成を示すブロック図である。デジタルカメラ100は、撮像部101、分離部102、RAW符号化部103、記録処理部104、記録媒体105、メモリI/F(メモリインターフェース)106、メモリ107を備えて構成される。
C0=R-B 式6
C1=(G0+G1)/2-(R+B)/2 式7
C2=G0-G1 式8
なお、ここでは4つのチャネルへ変換する構成例を示しているが、チャネル数や変換方法は上記以外の方法であってもよい。
hpf(z)=(-z-1+2-z1)/2 式10
levが1よりも大きい場合には、低周波数サブバンド(LL)に対して階層的にサブバンド分割が実行される。なお、ここでは離散ウェーブレット変換は、式9、式10に示されるように、5タップのlpfと3タップのhpfで構成されているが、これとは異なるタップ数及び異なる係数のフィルタ構成であってもよい。
ここで、
L_Qp:長時間露光RAWデータの量子化パラメータ
S_Qp:短時間露光RAWデータの量子化パラメータ
α:傾き
β:切片
である。
Q1<Q3 式13
Q2<Q4 式14
まず、短時間露光RAWデータにおける量子化パラメータは、視覚特性を考慮して、暗部ほど量子化パラメータが小さくなるように設定する(Q0<Q1<Q2)。これに対し、長時間露光RAWデータでは、短時間露光RAWデータの暗部に対応する領域では短時間露光RAWデータと同じQ0となるように、中位から明部に対応する領域では短時間露光RAWデータよりも量子化パラメータが大きくなるように(Q1<Q3、Q2<Q4)設定する。
次に、本発明の第2の実施形態について説明する。第2の実施形態では、分離部102におけるRAWデータの分離方法が第1の実施形態と異なる。なお、第2の実施形態のデジタルカメラの構成は、第1の実施形態と同一であるため、重複する説明は省略し、相違点について説明する。
次に、本発明の第3の実施形態について説明する。第3の実施形態では、分離部102におけるRAWデータの分離方法が、第1の実施形態及び第2の実施形態と異なる。なお、本実施形態のデジタルカメラの構成は、第1の実施形態及び第2の実施形態と同一であるため、重複する説明は省略し、相違点について説明する。
次に、本発明の第4の実施形態について説明する。第4の実施形態では、撮像部101に、第1乃至第3の実施形態とは異なる画素配列、具体的には図12に示す画素配列を適用する。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
Claims (16)
- 画素ごとに異なる露光時間で撮影可能な撮像素子から得られた、第1の露光時間に対応するRAWデータと、前記第1の露光時間よりも長い第2の露光時間に対応するRAWデータとから、複数のRAWデータを生成する生成手段と、
前記生成手段により生成された複数のRAWデータを符号化する符号化手段と、
を備え、
前記生成手段は、前記第1の露光時間と前記第2の露光時間のうちの一方に対応するRAWデータにゲインをかけたRAWデータと、前記第1の露光時間と前記第2の露光時間のうちの他方に対応するRAWデータとの差分から差分RAWデータを生成し、
前記符号化手段は、前記差分RAWデータと、前記第1の露光時間と前記第2の露光時間のうちの他方に対応するRAWデータとを符号化することを特徴とする画像処理装置。 - 前記生成手段は、露光時間ごとのベイヤー配列構造のRAWデータを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記第1の露光時間に対応するRAWデータにゲインをかけたRAWデータと、前記第2の露光時間に対応するRAWデータとの差分から差分RAWデータを生成し、
前記符号化手段は、前記差分RAWデータと、前記第2の露光時間に対応するRAWデータとを符号化することを特徴とする請求項1または2に記載の画像処理装置。 - 前記生成手段は、前記第1の露光時間の同一色成分の複数の画素データを加算することにより、前記第1の露光時間に対応する1つのRAWデータを生成し、前記第2の露光時間の同一色成分の複数の画素データを加算することにより、前記第2の露光時間に対応する1つのRAWデータを生成し、前記第1の露光時間と前記第2の露光時間のうちの一方に対応する前記生成した1つのRAWデータにゲインをかけたRAWデータと、前記第1の露光時間と前記第2の露光時間のうちの他方に対応する前記生成した1つのRAWデータとの差分から差分RAWデータを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、複数の画素データの加算平均を算出することにより、前記第1の露光時間に対応する1つのRAWデータ及び前記第2の露光時間に対応する1つのRAWデータを生成することを特徴とする請求項4に記載の画像処理装置。
- 前記ゲインは、露光時間に応じて決定されることを特徴とする請求項1に記載の画像処理装置。
- 前記ゲインは、前記第1の露光時間の画素と前記第2の露光時間の画素のヒストグラムに応じて決定されることを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記第1の露光時間と前記第2の露光時間のうちの一方に対応するRAWデータにゲインを乗算してかつ所定のオフセットを加算したRAWデータと、前記第1の露光時間と前記第2の露光時間のうちの他方に対応するRAWデータとの差分から差分RAWデータを生成する、ことを特徴とする請求項1に記載の画像処理装置。
- 前記撮像素子の画素ごとの露光時間を制御する制御手段を有し、
前記生成手段は、前記画素ごとの露光時間が異なる場合は、前記複数のRAWデータを生成し、前記画素ごとの露光時間が同一の場合は、1つのRAWデータを生成することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 - 前記生成手段は、前記画素ごとの露光時間が同一の場合は、近傍の同一色の画像データの平均値を算出することにより、1つのRAWデータを生成することを特徴とする請求項9に記載の画像処理装置。
- 前記符号化手段は、前記第1の露光時間と前記第2の露光時間のうちの一方に対応するRAWデータの量子化パラメータを基準として、前記第1の露光時間と前記第2の露光時間のうちの他方に対応するRAWデータの量子化パラメータを決定することを特徴とする請求項1に記載の画像処理装置。
- 前記符号化手段は、前記第1の露光時間に対応するRAWデータの量子化パラメータを基準として、前記第2の露光時間に対応するRAWデータの量子化パラメータを決定することを特徴とする請求項11に記載の画像処理装置。
- 画素ごとに露光時間を制御可能な撮像素子と、
請求項1乃至12のいずれか1項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。 - 画素ごとに異なる露光時間で撮影可能な撮像素子から得られた、第1の露光時間に対応するRAWデータと、前記第1の露光時間よりも長い第2の露光時間に対応するRAWデータとから、複数のRAWデータを生成する生成工程と、
前記生成工程において生成された複数のRAWデータを符号化する符号化工程と、
を有し、
前記生成工程では、前記第1の露光時間と前記第2の露光時間のうちの一方に対応するRAWデータにゲインをかけたRAWデータと、前記第1の露光時間と前記第2の露光時間のうちの他方に対応するRAWデータとの差分から差分RAWデータを生成し、
前記符号化工程では、前記差分RAWデータと、前記第1の露光時間と前記第2の露光時間のうちの他方に対応するRAWデータとを符号化することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020094912A JP7497216B2 (ja) | 2020-05-29 | 2020-05-29 | 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 |
US17/327,538 US11483497B2 (en) | 2020-05-29 | 2021-05-21 | Encoding apparatus and method, image capture apparatus, and storage medium |
EP21175208.4A EP3917138A1 (en) | 2020-05-29 | 2021-05-21 | Encoding apparatus and method, image capture apparatus, and storage medium |
CN202110569607.1A CN113747152A (zh) | 2020-05-29 | 2021-05-25 | 编码装置和方法、图像捕获装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020094912A JP7497216B2 (ja) | 2020-05-29 | 2020-05-29 | 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021190869A JP2021190869A (ja) | 2021-12-13 |
JP7497216B2 true JP7497216B2 (ja) | 2024-06-10 |
Family
ID=78847642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020094912A Active JP7497216B2 (ja) | 2020-05-29 | 2020-05-29 | 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7497216B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006311240A (ja) | 2005-04-28 | 2006-11-09 | Olympus Corp | 撮像装置 |
WO2010116731A1 (ja) | 2009-04-08 | 2010-10-14 | パナソニック株式会社 | 撮像装置、再生装置、撮像方法及び再生方法 |
JP2013066140A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 撮像装置、および信号処理方法、並びにプログラム |
WO2013100039A1 (ja) | 2011-12-27 | 2013-07-04 | 富士フイルム株式会社 | カラー撮像素子及び撮像装置 |
JP2016201733A (ja) | 2015-04-13 | 2016-12-01 | ソニー株式会社 | 撮像装置、撮像方法、並びにプログラム |
JP2018006869A (ja) | 2016-06-28 | 2018-01-11 | キヤノン株式会社 | 画像伝送システム及びその制御方法及び撮像装置 |
JP2018160777A (ja) | 2017-03-22 | 2018-10-11 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
-
2020
- 2020-05-29 JP JP2020094912A patent/JP7497216B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006311240A (ja) | 2005-04-28 | 2006-11-09 | Olympus Corp | 撮像装置 |
WO2010116731A1 (ja) | 2009-04-08 | 2010-10-14 | パナソニック株式会社 | 撮像装置、再生装置、撮像方法及び再生方法 |
JP2013066140A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 撮像装置、および信号処理方法、並びにプログラム |
WO2013100039A1 (ja) | 2011-12-27 | 2013-07-04 | 富士フイルム株式会社 | カラー撮像素子及び撮像装置 |
JP2016201733A (ja) | 2015-04-13 | 2016-12-01 | ソニー株式会社 | 撮像装置、撮像方法、並びにプログラム |
JP2018006869A (ja) | 2016-06-28 | 2018-01-11 | キヤノン株式会社 | 画像伝送システム及びその制御方法及び撮像装置 |
JP2018160777A (ja) | 2017-03-22 | 2018-10-11 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2021190869A (ja) | 2021-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7893967B1 (en) | Digital video camera with binning or skipping correction | |
JP5519083B2 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
JPH05505084A (ja) | シングル・センサ画像システム用のカラー内挿処理を伴う画像圧縮 | |
JP2005354610A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2010144124A1 (en) | Interpolation for four-channel color filter array | |
US10776956B2 (en) | Image coding apparatus, image decoding apparatus, image coding method, image decoding method, and non-transitory computer-readable storage medium | |
JP7504629B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
US11483497B2 (en) | Encoding apparatus and method, image capture apparatus, and storage medium | |
JP2017216630A (ja) | 画像符号化装置及びその制御方法 | |
US20190387228A1 (en) | Image encoding apparatus, image decoding apparatus, control methods thereof, and non-transitory computer-readable storage medium | |
CN104041021B (zh) | 图像处理装置及方法以及摄像装置 | |
JP5092536B2 (ja) | 画像処理装置及びそのプログラム | |
JP6014349B2 (ja) | 撮像装置、制御方法、及びプログラム | |
US10142604B2 (en) | Imaging apparatus and control method thereof | |
JP7497216B2 (ja) | 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 | |
JP6793511B2 (ja) | 画像処理装置 | |
US8223231B2 (en) | Imaging apparatus and image processing program | |
KR20220090559A (ko) | 이미지 프로세서 | |
JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP4946417B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
JP2007180893A (ja) | 画像処理装置および撮像装置 | |
JP2013093745A (ja) | 画像圧縮装置、撮像装置、および画像圧縮方法 | |
US10951891B2 (en) | Coding apparatus capable of recording raw image, control method therefor, and storage medium storing control program therefor | |
US20220256127A1 (en) | Image encoding apparatus, method for controlling the same, and non-transitory computer-readable storage medium | |
JP4478981B2 (ja) | 色雑音低減手法およびカラー撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7497216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |