JP5836109B2 - 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP5836109B2 JP5836109B2 JP2011284171A JP2011284171A JP5836109B2 JP 5836109 B2 JP5836109 B2 JP 5836109B2 JP 2011284171 A JP2011284171 A JP 2011284171A JP 2011284171 A JP2011284171 A JP 2011284171A JP 5836109 B2 JP5836109 B2 JP 5836109B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- boundary
- data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 279
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 137
- 230000008569 process Effects 0.000 claims description 118
- 238000005070 sampling Methods 0.000 claims description 47
- 239000002131 composite material Substances 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 32
- 239000000203 mixture Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 43
- 238000007906 compression Methods 0.000 description 29
- 230000006835 compression Effects 0.000 description 27
- 230000006837 decompression Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 230000004044 response Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011946 reduction process Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図1に示すデジタルカメラ1は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであっても良い。
レンズ102は、図示しない被写体からの光束をカメラ本体200内の撮像素子204に集光するための光学系である。このレンズ102は、フォーカスレンズ及びズームレンズ等の複数のレンズを有していても良い。
Flashメモリ110は、レンズ102の収差情報等のレンズ情報や交換式レンズ100の動作を実行するために必要なプログラム等を記憶している。
基本画像処理部2181は、画像の表示や記録のために必要な基本的な画像処理を画像データに対して施す。この基本的な画像処理とは、例えば、オプティカルブラック減算処理、ホワイトバランス補正処理、カラーマトリクス演算処理、ガンマ変換処理、色補正処理、エッジ強調処理、ノイズ低減処理が含まれる。
オプティカルブラック減算処理は、画像データの暗電流成分(オプティカルブラック)を減算して除去する処理である。ホワイトバランス補正処理は、画像データの色バランスを補正するためのゲインを乗じる処理である。カラーマトリクス演算処理は、画像データに対してホワイトバランス補正の結果に応じたカラーマトリクス演算を行うことによって、画像データを特定の色空間上にマッピングする処理である。ガンマ変換処理は、画像データの階調特性を所定の特性に変換する処理である。色補正処理は、色再現を適切なものとするために、YC形式に変換した画像データのうちのCデータに彩度補正係数、色相補正係数を乗じる処理である。エッジ強調処理は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じて画像データのうちのYデータに加算することによって、画像データにおけるエッジ(輪郭)成分を強調する処理である。ノイズ低減処理は、画像データにおけるノイズ成分を除去する処理である。
また、カラーフィルタの色配列によっては、基本画像処理としてさらに同時化処理が必要な場合もある。同時化処理は、ベイヤ配列に対応した画像データ等の、1つの画素が1つの色成分に対応している画像データを、1つの画素が複数の色成分に対応している画像データに変換する処理である。
インデックス画像の生成処理は、記録媒体228に記録されている画像を示す部分画像(インデックス画像)を貼り合わせる処理である。モザイク画像の生成処理は、モザイク画像の生成対象の画像を複数のコマの部分画像データに分割し、分割したあるコマの部分画像データを別のコマの部分画像データに置き換えるように画像を貼り合わせる処理である。ランダムタイルの生成処理は、複数の部分画像データをランダムに貼り合わせる処理である。これらの処理の詳細については後述する。
再生処理において、マイクロコンピュータ230は、ユーザによる画像ファイル(静止画像ファイル又は動画像ファイル)の選択を待つ。そして、画像ファイルが選択された場合に、マイクロコンピュータ230は、選択された画像ファイルを画像圧縮伸張部224によりデコードする。そして、マイクロコンピュータ230は、選択された画像ファイルからデコードされた画像データを画像サンプリング部223に入力する。画像サンプリング部223は、画像データをアップサンプリングし、アップサンプリングした画像データを表示ドライバ220に入力する。表示ドライバ220は、入力された画像データを映像信号に変換し、この映像信号に対応した画像を表示部222に表示させる。その後、ユーザによって再生終了の指示がなされた場合、例えば再生ボタンが再び押された場合に、マイクロコンピュータ230は、処理をステップS102に戻す。
カメラ設定処理において、マイクロコンピュータ230は、ユーザからのカメラ設定の変更の指示を待つ。そして、何らかのカメラ設定の変更の指示がなされた場合に、マイクロコンピュータ230は、その指示に従ってカメラ設定を変更する。このカメラ設定処理においては、例えば静止画撮影時や動画撮影時の画像の記録モードの設定、画質の設定等が変更される。また、カメラ設定処理において、特殊効果画像処理を実行するか否か、及び特殊効果画像処理を実行する際の特殊効果画像処理モードとしてモザイクモードやランダムタイルモード等の各種のモードを設定することが可能である。ここで、モザイクモードは、モザイク画像を生成する特殊効果画像処理モードである。ランダムタイルモードは、ランダムタイル画像を生成する特殊効果画像処理モードである。なお、特殊効果画像処理モードとして、モザイクモード及びランダムタイルモード以外のモードがあっても良い。
AE処理において、マイクロコンピュータ230は、AE処理部214によって被写体輝度を算出させる。その後、マイクロコンピュータ230は、AE処理部214によって算出された被写体輝度に応じて静止画撮影の実行時におけるISO感度、絞り値、シャッタ速を決定する。なお、AE処理において、画像データにおける特定の部位の輝度が適正となるようにISO感度、絞り値、シャッタ速を決定するようにしても良い。
AF処理において、マイクロコンピュータ230は、AF処理部216によって合焦評価値を取得させる。そして、マイクロコンピュータ230は、AF処理部216で取得された合焦評価値により、画像データにおけるコントラストを評価しつつ、レンズ102のフォーカスレンズを微少量ずつ駆動させるようにマイクロコンピュータ108に指示する。その後、マイクロコンピュータ230は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにマイクロコンピュータ108に指示する。このようなAF処理は、所謂コントラスト方式のAF処理である。AF処理として位相差AF処理を用いるようにしても良い。なお、AF処理において、画像データにおける特定の部位において合焦するようにフォーカスレンズを駆動させるようにしても良い。
図4は、配置パターンの例を示している。図4(a)は、16コマの部分画像を同時に配置する場合の例を示している。また、図4(b)は、64コマの部分画像を同時に配置する場合の例を示している。図4(a)及び図4(b)に付されている番号は、記録媒体228に記録されている画像データを用いてリサイズ等により作成される部分画像の貼り付け位置(後述のpの値に対応)を示している。ここで、図4(a)及び図4(b)の例では、部分画像間に間隔を設けるようにしているが、この間隔は必ずしも設ける必要はない。図4で示した配置パターンは例であって、必ずしも図4で示した配置パターンとする必要はない。例えば、インデックス画像として同時に配置する部分画像のコマ数は、必ずしも16コマ又は64コマとしなくとも良い。
まず、座標(1,1)を左上端の画素位置と定義した場合、部分画像データの貼り付け位置のX座標は、左端の貼り付け位置の座標が奇数(1+2i(iは0以上の整数))となり、右端の貼り付け位置の座標が偶数(2j(jは1以上の整数))となるように補正する。例えば、図12の例では、補正前の部分画像データの左端の画素の貼り付け位置の座標が4であり、右端の画素の貼り付け位置の座標が14である。したがって、左端の画素の貼り付け位置の座標が奇数となるように、部分画像データを左方向に1画素だけ拡大する。これにより、左端の画素の貼り付け位置の座標が3(1+2×1)となる。図12の例において、左端の画素の座標が5となるように部分画像データを右方向に1画素だけ縮小しても良い。また、補正前の部分画像データの左端の画素の貼り付け位置の座標が偶数であり、右端の画素の貼り付け位置の座標が奇数である場合には、部分画像データの拡大や縮小を行わずに単に貼り付け位置の座標をずらすだけで良い。
効果の説明の理解を容易にするためにまず、ダウンサンプリング形式について説明する。画像データに対してマトリクス演算を施してYCデータを生成した場合、図13(a)で示すような各画素がY、Cb、Crの情報を有するYCデータ(YC444形式)が得られる。YC444形式の場合、図13(a)に示すように、Yデータの位置とCbデータ及びCrデータの位置とが完全に一致する。
以下、本発明の変形例について説明する。
まず、前述の例では、YCデータを例としているが、別の色空間のデータであっても本実施形態の手法を適用することができる。例えば、HD規格では、RGBの画像データを、輝度(Y)と色差(Pb、Pr)に変換している。この場合にも、YCデータと同様のダウンサンプリングが行われるので、本実施形態の技術は有効である。
Claims (12)
- 背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成する画像合成部と、
前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定する境界位置決定部と、
前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施す画像サンプリング部と、
を具備し、
前記境界位置決定部は、前記画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正することを特徴とする画像処理装置。 - 前記境界位置決定部は、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理が施された前記合成画像データに対し、前記合成画像データの輝度成分のデータ数と前記合成画像データの色差成分のデータ数とを同じにする復元処理を行った場合に、前記サンプリング処理の前の画像データと前記復元処理の後の画像データとの間で色差成分の差異が小さくなるように、前記境界の位置を補正することを特徴とする請求項1に記載の画像処理装置。
- 前記境界位置決定部は、前記サンプリング処理の方式が、前記合成画像データの水平方向の色差成分を、前記合成画像データの水平方向の輝度成分のデータ数の1/n(nは2以上の整数)に減らす方式であって、前記境界が垂直方向に沿った直線状の境界である場合に、前記部分画像データの水平方向でn画素間隔の組が作られるように前記境界の位置を補正することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記境界位置決定部は、前記背景画像データにおける左端原点を1とした場合に、前記部分画像データにおける左端の前記境界の位置を、1+n×i(iは0以上の整数)の座標とするように補正することを特徴とする請求項3に記載の画像処理装置。
- 前記境界位置決定部は、前記背景画像データにおける左端原点を1とした場合に、前記部分画像データにおける右端の前記境界の位置を、n×j(jは1以上の整数)の座標とするように補正することを特徴とする請求項3に記載の画像処理装置。
- 前記境界位置決定部は、前記サンプリング処理の方式が、前記合成画像データの垂直方向の色差成分を、前記合成画像データの垂直方向の輝度成分のデータ数の1/m(mは2以上の整数)に減らす方式であって、前記境界が水平方向に沿った直線状の境界である場合に、前記部分画像データの垂直方向でm画素間隔の組が作られるように前記境界の位置を補正することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 前記境界位置決定部は、前記背景画像データにおける上端原点を1とした場合に、前記部分画像データにおける上端の前記境界の位置を、1+m×i(iは0以上の整数)の座標とするように補正することを特徴とする請求項6に記載の画像処理装置。
- 前記境界位置決定部は、前記背景画像データにおける上端原点を1とした場合に、前記部分画像データにおける下端の前記境界の位置を、m×j(jは1以上の整数)の座標とするように補正することを特徴とする請求項6に記載の画像処理装置。
- 前記画像合成部は、複数の前記部分画像データを前記背景画像データに合成することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
- 請求項1乃至9の何れか1項に記載の画像処理装置を備えた撮像装置。
- 画像合成部が、背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成し、
境界位置決定部が、前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定し、
前記境界位置決定部が、画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正し、
前記画像サンプリング部が、前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施す、
ことを特徴とする画像処理方法。 - 画像合成部に、背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成させる手順と、
境界位置決定部に、前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定させる手順と、
前記境界位置決定部に、画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正させる手順と、
前記画像サンプリング部に、前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施させる手順と、
をコンピュータに実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011284171A JP5836109B2 (ja) | 2011-12-26 | 2011-12-26 | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011284171A JP5836109B2 (ja) | 2011-12-26 | 2011-12-26 | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013135322A JP2013135322A (ja) | 2013-07-08 |
JP5836109B2 true JP5836109B2 (ja) | 2015-12-24 |
Family
ID=48911746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011284171A Active JP5836109B2 (ja) | 2011-12-26 | 2011-12-26 | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5836109B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3511903A4 (en) * | 2016-09-12 | 2019-10-02 | Panasonic Intellectual Property Management Co., Ltd. | DEVICE FOR PRODUCING A THREE-DIMENSIONAL MODEL AND METHOD FOR GENERATING A THREE-DIMENSIONAL MODEL |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3392474B2 (ja) * | 1992-10-02 | 2003-03-31 | 株式会社東芝 | 切貼り編集を含む画像の処理装置 |
JP2011054080A (ja) * | 2009-09-04 | 2011-03-17 | Sony Corp | 画像処理装置および方法、並びにプログラム |
-
2011
- 2011-12-26 JP JP2011284171A patent/JP5836109B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013135322A (ja) | 2013-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5186021B2 (ja) | 撮像装置、画像処理装置、及び撮像方法 | |
JP2009053748A (ja) | 画像処理装置、画像処理プログラムおよびカメラ | |
US9684988B2 (en) | Imaging device, image processing method, and recording medium | |
JP2007281546A (ja) | 撮像装置,及び撮像方法 | |
JP5132495B2 (ja) | 撮像装置、および、画像処理方法 | |
US9402037B2 (en) | Imaging apparatus, image processing apparatus, and image processing method for generating random special effects | |
TW201120810A (en) | Image processing apparatus, image processing method, and storage medium | |
JP6137800B2 (ja) | 画像処理装置、画像処理方法、及び、画像処理プログラム | |
JP2014017579A (ja) | 撮影装置、画像処理方法、及び、画像処理プログラム | |
JP5185085B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP6929711B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP5836109B2 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
US9171358B2 (en) | Image editing device and image editing method | |
JP6091311B2 (ja) | 撮像装置 | |
JP2004287794A (ja) | 画像処理装置 | |
JP2010283504A (ja) | 撮像装置、撮像方法、および、撮像プログラム | |
JP2006319524A (ja) | 撮像装置 | |
JP2005229280A (ja) | 画像処理装置および方法並びにプログラム | |
JP5185027B2 (ja) | 画像表示装置、撮像装置、画像表示方法、および、撮像方法 | |
JP5191941B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム | |
JP4133179B2 (ja) | 画像信号処理装置 | |
JP5878063B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP5653665B2 (ja) | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム | |
JP5094686B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP6120664B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141010 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5836109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |