JP6048046B2 - 画像合成装置及び画像合成方法 - Google Patents
画像合成装置及び画像合成方法 Download PDFInfo
- Publication number
- JP6048046B2 JP6048046B2 JP2012219562A JP2012219562A JP6048046B2 JP 6048046 B2 JP6048046 B2 JP 6048046B2 JP 2012219562 A JP2012219562 A JP 2012219562A JP 2012219562 A JP2012219562 A JP 2012219562A JP 6048046 B2 JP6048046 B2 JP 6048046B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- target pixel
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 70
- 239000000203 mixture Substances 0.000 title claims description 61
- 238000006243 chemical reaction Methods 0.000 claims description 91
- 230000015654 memory Effects 0.000 claims description 61
- 230000002093 peripheral effect Effects 0.000 claims description 40
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 26
- 230000015572 biosynthetic process Effects 0.000 description 22
- 238000003786 synthesis reaction Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Storing Facsimile Image Data (AREA)
Description
図1を参照し、第1実施形態の撮像装置10の構成について説明する。
図1に示す撮像装置10は、例えばデジタルカメラであり、撮像部11、画像処理装置12、メモリ13、外部記憶媒体15、表示部16を有している。
画像処理装置12は、プリプロセス処理部21、画像合成部22、画像処理部23、コーデック処理部24、中央処理装置(CPU)26、調停回路27、記憶媒体用インターフェース回路28、表示用インターフェース回路29を有し、これら各回路が共有バス31によって互いに接続されている。この共有バス31は、アドレスバス、コントロールバス及びデータバスを有している。
図2に示すように、画像処理部23は、補間処理部41、ガンマ変換部42、輪郭強調部43、フォーマット変換部44を有する。
例えば、図3に示す第1ベイヤ信号51に第2ベイヤ信号52を合成する処理について説明する。説明の便宜上、第1ベイヤ信号51を、1フレームに縦12、横12の格子状の画素が配置された画像データを想定する。また、第2ベイヤ信号52を、縦6、横6の格子状の画素が配置された画像データ(例えばCG画像)を想定する。
次いで、画像合成部22は、第2注目画素63が有色又は透明(無色)であるかを判定する(ステップ106)。画像合成部22は、例えば、特定の画素値(全てのビット値が「1」、又は全てのピット値が「0」等)を透明として判定する。また、例えば、第2ベイヤ信号52の各画素値に透明であるか否かを示すビット値(α値:有色であれば「1」、透明であれば「0」)を設定し、画像合成部22がこのビット値に基づいて判定してもよい。
(1)画像処理装置12は、撮像部11から入力される第1ベイヤ信号51に合成する第2ベイヤ信号52が、ベイヤ形式でメモリ13に格納されている。画像合成部22は、CPU26から入力される合成位置情報CIに基づいて第1ベイヤ信号51と第2ベイヤ信号52とを合成し第3ベイヤ信号として出力する。補間処理部41は、第3ベイヤ信号に対しデモザイキング処理を実行する。このような構成では、デモザイキング処理を施す前の第1及び第2ベイヤ信号51,52を用いて合成処理が実行できる。
また、従来のように、デモザイキング処理後の信号を合成処理に用いる構成では、例えば本実施形態の第1ベイヤ信号51に相当する信号をYCbCr信号に変換してメモリに格納する処理が必要となる。また、本実施形態の第1及び第2ベイヤ信号51,52に相当する信号(何れも、YCbCr信号等)を共にメモリから読み出す処理が必要となる。
図5は、第2実施形態のブロック図である。第1実施形態では、第1ベイヤ信号51の第1注目画素62に対応する色(R,G,B)と第2ベイヤ信号52の第2注目画素63に対応する色とが一致する場合の合成処理について例示した。これに対し、第2実施形態では、画素の色が一致しない場合の合成処理について例示する。なお、第2実施形態において、上記第1実施形態と同じ構成については同じ符号を付して詳細な説明を省略する。
(a)R画素の第1注目画素62に、R画素の第2注目画素63を合成(図7の矢印64、第1実施形態)
(b)R画素の第1注目画素62に、B画素の第2注目画素63を合成(図7の矢印65a,65b、図8〜図11参照)
(c)R画素の第1注目画素62に、R画素が配置されたラインのG画素の第2注目画素63を合成(図7の矢印66a,66b、図12〜図15参照)
(d)R画素の第1注目画素62に、B画素が配置されたラインのG画素の第2注目画素63を合成(図16〜図19参照)
以下に、上記(b)〜(d)の順に説明する。なお、(a)の場合(色が一致する場合、図7における部分画素データ81)については、第1実施形態と同様の処理となるため説明を省略する。また、図8〜図19の各画素に示される文字は画素値を示す。また、図8〜図19の第1及び第2ベイヤ信号51,52の各々の中央画素は第1及び第2注目画素62,63を示している。
画像処理装置12aは、(b)の場合には図7に示すように第2ベイヤ信号52を変換処理部71にて変換(矢印65a)し、変換後の第2ベイヤ信号52aを第1ベイヤ信号51の部分画素データ82に合成する処理(矢印65b)を実行する。
r11=(R00+R02+R20+R22)/4
つまり、変換後の第2注目画素63の画素値に、第2注目画素63と隣り合う周辺画素のうち第1注目画素62の色と同色(ベイヤ配列上の同色)となる周辺画素の画素値の平均値を設定する。
b11=(B00+B02+B20+B22)/4
なお、図10及び図11に示す第1注目画素62(画素値G11)と第2注目画素63(画素値G11)が同色の場合には、第2注目画素63の画素値G11がそのまま変換後の画素値として設定される。
画像処理装置12aは、(c)の場合には図7に示すように第2ベイヤ信号52を変換処理部71にて変換(矢印66a)し、変換後の第2ベイヤ信号52bを第1ベイヤ信号51に合成する(矢印66b)処理を実行する。
r11=(R10+R12)/2
b11=(B10+B12)/2
g11=(G01+G10+G12+G21)/4
なお、図15に示す第1注目画素62がBラインのG画素(画素値G11)、第2注目画素63がB画素(画素値B11)の場合は、図14の場合と同様であるため説明を省略する。
このようにして、画素値変換部75は、(c)の場合においても第2注目画素63の画素値に第1注目画素62の画素の色に応じた周辺画素の画素値の平均値を設定する。
図16は、(d)の場合において第1注目画素62がR画素、第2注目画素63がG画素(B画素が配置されたラインのG画素)の場合を示している。第2注目画素63に設定する画素値r11は、第2注目画素63の周辺画素の画素値(上のR01,下のR21)を用いて以下の演算式で表される。
r11=(R01+R21)/2
b11=(B01+B21)/2
g11=(G01+G10+G12+G21)/4
なお、図19に示す第1注目画素62がG画素(B画素が配置されたラインのG画素)、第2注目画素63がR画素(画素値R11)の場合は、図18の場合と同様であるため説明を省略する。
このようにして、画素値変換部75は、(d)の場合においても第2注目画素63の画素値に第1注目画素62の画素の色に応じた周辺画素の画素値の平均値を設定する。
(1)画像処理装置12aの変換処理部71は、第1及び第2注目画素62,63の各々に対応するカラーフィルタの色が異なる場合に、第2注目画素63の周辺画素のうち第1注目画素62に対応する色と同色となる周辺画素の画素値に基づいて第2注目画素63の画素値を算出する処理を実行する。この結果、第1及び第2注目画素62,63の色が異なる場合の第1及び第2ベイヤ信号51,52の合成処理が可能となる。つまり、メモリ13に対するアクセス頻度を抑えることが可能なベイヤ形式の画像合成処理を、画素位置の制限を受けることなく処理できる。
図20は、第3実施形態のブロック図である。第3実施形態は、第2実施形態の構成に逆ガンマ変換部77を付加した構成となっている。ここで、撮像部11が出力するデータは入射光の光量に比例した値となる。従って、第1ベイヤ信号51は線形的な値となる。一方で、メモリ13に格納される第2ベイヤ信号52を含む画像データは、ガンマ変換部42によりガンマ補正が施された非線形的なデータである場合が多い。
(1)逆ガンマ変換部77は、メモリ13から第2ベイヤ信号52を入力し逆ガンマ補正を施し変換処理部71に出力する処理を実行する。これにより、例えば、第3ベイヤ信号を表示部16に表示した場合に、第1ベイヤ信号51に相当する部分と第2ベイヤ信号52に相当する部分との間にデバイス特性によって生じる輝度の差等が低減できる。
例えば、上記第2、第3実施形態では、変換処理部71は、第2注目画素63の画素値を対応する周辺画素の全ての画素値を使って求めた。これに対し、任意の画素値を用いて算出するようにしてもよい。
また、変換処理部71は、第2注目画素63と隣り合う画素を演算に用いたが、これに限定されず、近接する他の画素を用いてもよい。この場合、メモリ13からバッファ部74に入力する部分画像(第2注目画素63を中央とした画像)の画素数を適宜変更する。
また、画像合成部22は、A/D変換回路11bから出力されるベイヤ信号を第1ベイヤ信号として用いてもよい。この場合、プリプロセス処理部21を省略した構成とすることができる。
(付記1)
画像入力装置から入力される第1画像信号と、メモリに格納される第2画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第1画像信号の第1注目画素と前記第2画像信号の第2注目画素との間で、前記第1注目画素に対応する色と、前記第2画像信号の第2注目画素に対応する色とが異なる場合に、前記第2注目画素の周辺画素のうち前記第1注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第2注目画素の画素値を設定する変換処理部と、
前記合成位置情報に基づいて、前記第1注目画素の画素値に前記変換処理部により設定された前記第第2注目画素の画素値を合成し第3画像信号を生成する画像合成部と、
を備えたことを特徴とする画像合成装置。
(付記2)
前記変換処理部は、前記第2注目画素と隣り合う画素を前記周辺画素として設定し、前記周辺画素の画素値の平均値を算出して前記第2注目画素の画素値として設定する、
ことを特徴とする付記1に記載の画像合成装置。
(付記3)
前記変換処理部は、
前記制御部により値が設定されるレジスタ部と、
前記レジスタ部に設定された値に基づいて制御を行う制御処理部と、
前記制御処理部の制御に基づいて前記メモリから前記第2注目画素を含む前記第2画像信号の部分画像を入力するバッファ部と、
前記制御処理部から入力される前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第2注目画素の画素値を算出して設定する画素値変換部と、
を備えたことを特徴とする付記1又は2に記載の画像合成装置。
(付記4)
前記レジスタ部は、前記第1及び第2画像信号の画素のタイプと前記合成位置情報とを含む値が前記制御部により設定され、
前記画素値変換部は、複数の演算回路を有し、前記レジスタ部に設定された前記第1及び第2画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第1及び第2画像信号の重畳される態様を検出し、検出結果に応じた演算回路を選択することを特徴とする付記1〜3のいずれか1つに記載の画像合成装置。
(付記5)
前記メモリから前記第2画像信号を入力し、前記第2画像信号に対して逆ガンマ補正を施して前記変換処理部に出力する逆ガンマ変換部を備えたことを特徴とする付記1〜4のいずれか1つに記載の画像合成装置。
(付記6)
画像入力装置から入力される第1画像信号と、メモリに格納される第2画像信号とを合成する画素位置の情報を含む合成位置情報を指示し、
前記合成位置情報に基づいて、前記第1画像信号の第1注目画素に合成すべき前記第2画像信号の第2注目画素に対して、前記第1注目画素に対応する色と、前記第2注目画素に対応する色とが異なる場合に、前記第2注目画素の周辺画素のうち前記第1注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第2注目画素の画素値を設定し、
前記合成位置情報に基づいて、前記第1画像信号の第1注目画素の画素値に前記設定された第2注目画素の画素値を合成して第3画像信号を生成する、
ことを特徴とする画像合成方法。
(付記7)
前記第2画像信号は、有色の画素値が設定された画素の周囲に、透明の画素値が設定された画素が設けられたことを特徴とする付記1〜付記5のいずれかに記載の画像合成装置。
(付記8)
画像入力装置から入力される第1画像信号と、メモリに格納される第2画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第1画像信号の第1注目画素と前記第2画像信号の第2注目画素との間で、前記第1注目画素に対応する色と、前記第2画像信号の第2注目画素に対応する色とが異なる場合に、前記第2注目画素の周辺画素のうち前記第1注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第2注目画素の画素値を設定する変換処理部と、
前記合成位置情報に基づいて、前記第1注目画素の画素値に前記変換処理部により設定された前記第第2注目画素の画素値を合成し第3画像信号を生成する画像合成部と、
を備えたことを特徴とする画像合成回路。
12 画像処理装置(画像合成装置)
13 メモリ
22 画像合成部
23 画像処理部
41 補間処理部
26 CPU(制御部)
51 第1ベイヤ信号(第1画像信号)
52 第2ベイヤ信号(第2画像信号)
62 第1注目画素
63 第2注目画素
71 変換処理部
72 レジスタ部
73 制御処理部
74 バッファ部
75 画素値変換部
CI 合成位置情報
R1〜R3 レジスタ
Claims (3)
- 画像入力装置から入力される第1画像信号と、前記第1画像信号とは相関がなくメモリに格納される第2画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第1画像信号の第1注目画素と前記第2画像信号の第2注目画素との間で、前記第1注目画素に対応する色と、前記第2画像信号の第2注目画素に対応する色とが異なる場合に、前記第2注目画素の周辺画素のうち前記第1注目画素に対応する色と同色となる前記周辺画素の画素値の平均値を算出して前記第2注目画素の画素値に設定する変換処理部と、
前記合成位置情報に基づいて、前記第1注目画素の画素値に前記変換処理部により設定された前記第2注目画素の画素値を合成し第3画像信号を生成する画像合成部と、
を備え、
前記変換処理部は、
前記制御部により値が設定されるレジスタ部と、
前記レジスタ部に設定された値に基づいて制御を行う制御処理部と、
前記制御処理部の制御に基づいて前記メモリから前記第2注目画素を含む前記第2画像信号の部分画像を入力するバッファ部と、
前記制御処理部から入力される前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第2注目画素の画素値を算出して設定する画素値変換部と、
を備え、
前記レジスタ部には、前記第1及び第2画像信号の画素のタイプと前記合成位置情報とを含む値が前記制御部により設定され、
前記画素値変換部は、複数の演算回路を有し、前記レジスタ部に設定された前記第1及び第2画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第1及び第2画像信号の重畳される態様を検出し、前記検出した結果に応じた演算回路を選択することを特徴とする画像合成装置。 - 前記メモリから前記第2画像信号を入力し、前記第2画像信号に対して逆ガンマ補正を施して前記変換処理部に出力する逆ガンマ変換部を備えたことを特徴とする請求項1に記載の画像合成装置。
- 画像入力装置から入力される第1画像信号と、前記第1画像信号とは相関がなくメモリに格納される第2画像信号とを合成する画素位置の情報を含む合成位置情報を指示し、
前記合成位置情報に基づいて、前記第1画像信号の第1注目画素に合成すべき前記第2画像信号の第2注目画素に対して、前記第1注目画素に対応する色と、前記第2注目画素に対応する色とが異なる場合に、前記第2注目画素の周辺画素のうち前記第1注目画素に対応する色と同色となる前記周辺画素の画素値の平均値を算出して前記第2注目画素の画素値に設定し、
前記合成位置情報に基づいて、前記第1画像信号の第1注目画素に前記設定された第2注目画素を合成して第3画像信号を生成し、
前記第2注目画素の画素値を設定する際に、
指示した前記合成位置情報をレジスタ部に設定し、
前記レジスタ部に設定された値に基づいて制御を行い、
当該制御に基づいて前記メモリから前記第2注目画素を含む前記第2画像信号の部分画像をバッファ部に入力し、
前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第2注目画素の画素値を算出して設定し、
前記レジスタ部には、前記第1及び第2画像信号の画素のタイプと前記合成位置情報とを含む値が設定され、
前記第2注目画素の画素値を算出して設定する際に、複数の演算回路を用意し、前記レジスタ部に設定された前記第1及び第2画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第1及び第2画像信号の重畳される態様を検出し、前記検出した結果に応じた演算回路を選択することを特徴とする画像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012219562A JP6048046B2 (ja) | 2012-10-01 | 2012-10-01 | 画像合成装置及び画像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012219562A JP6048046B2 (ja) | 2012-10-01 | 2012-10-01 | 画像合成装置及び画像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014072846A JP2014072846A (ja) | 2014-04-21 |
JP6048046B2 true JP6048046B2 (ja) | 2016-12-21 |
Family
ID=50747632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012219562A Active JP6048046B2 (ja) | 2012-10-01 | 2012-10-01 | 画像合成装置及び画像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6048046B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6924723B2 (ja) * | 2018-06-12 | 2021-08-25 | マクセルフロンティア株式会社 | 画像処理装置及び撮像装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3800192B2 (ja) * | 2002-05-21 | 2006-07-26 | カシオ計算機株式会社 | 撮像装置、画像合成方法及び画像合成プログラム |
JP2006157568A (ja) * | 2004-11-30 | 2006-06-15 | Konica Minolta Holdings Inc | 撮像装置およびプログラム |
JP2011199786A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 画像処理装置及び画像処理方法並びにプログラム |
-
2012
- 2012-10-01 JP JP2012219562A patent/JP6048046B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014072846A (ja) | 2014-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5962328B2 (ja) | データ転送装置、データ転送方法、及び半導体装置 | |
JP4971442B2 (ja) | ピクセルデータ変換のための画像処理装置及び方法 | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
US20120050309A1 (en) | Display control apparatus and display control method | |
JP5948508B2 (ja) | ビデオプロセッサ、ビデオプロセッサの作動方法 | |
US20060187354A1 (en) | Video composition circuit | |
JP6948810B2 (ja) | 画像処理システム | |
US8565542B2 (en) | Data processing apparatus and data processing method | |
US8482438B2 (en) | Data processing device and data processing method | |
JP6048046B2 (ja) | 画像合成装置及び画像合成方法 | |
JP4215014B2 (ja) | 画像処理装置および画像処理プログラム | |
WO2017187508A1 (ja) | 表示処理装置および撮像装置 | |
JP5988696B2 (ja) | 画像圧縮回路、画像圧縮方法、半導体装置、およびスマートフォン | |
JP2001209789A (ja) | グラフィックアクセラレータおよび描画方法 | |
CN113242413B (zh) | 抗锯齿的rccb滤镜阵列插值计算方法及*** | |
US20130021371A1 (en) | Image display apparatus and image display method | |
US8966145B2 (en) | Data conversion apparatus and method | |
JP2012099993A (ja) | 画像処理装置および画像処理装置の動作方法 | |
US11763417B2 (en) | Semiconductor device and image processing system for processing regions of interest images | |
US20120144150A1 (en) | Data processing apparatus | |
US10475158B2 (en) | Image processing device | |
JP2009260788A (ja) | 撮像装置 | |
JP2006050584A (ja) | 画像処理装置 | |
JP2018067893A (ja) | 画像処理装置及び画像処理方法 | |
JP2010263540A (ja) | 画像処理装置、撮像装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150701 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20151215 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6048046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |