JP2014027403A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2014027403A JP2014027403A JP2012164854A JP2012164854A JP2014027403A JP 2014027403 A JP2014027403 A JP 2014027403A JP 2012164854 A JP2012164854 A JP 2012164854A JP 2012164854 A JP2012164854 A JP 2012164854A JP 2014027403 A JP2014027403 A JP 2014027403A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- contour
- pixel data
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 34
- 230000008707 rearrangement Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003705 background correction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Picture Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】強調すべき箇所に対する十分な輪郭強調とともに、平滑さを残すべき箇所に対する無用な強調を抑制させ、鮮明かつ自然な画像が得られる画像処理装置を提供すること。
【解決手段】実施形態によれば、画像処理装置は、垂直輪郭抽出部である空間BPF41、水平輪郭抽出部である空間BPF42、エッジ強度判定部43、及びダイナミック調整部であるダイナミック係数生成部44及び乗算器45、46を有する。垂直輪郭抽出部は、被写体像の垂直方向における輪郭成分を抽出し、垂直輪郭信号52とする。水平輪郭抽出部は、被写体像の水平方向における輪郭成分を抽出し、水平輪郭信号53とする。エッジ強度判定部43は、複数の画素からなる画素ブロックに含まれるエッジの強度を判定し、エッジ強度信号54を出力する。ダイナミック調整部は、エッジ強度信号54に応じて垂直輪郭信号52及び水平輪郭信号53のダイナミック調整を実施する。
【選択図】図4
【解決手段】実施形態によれば、画像処理装置は、垂直輪郭抽出部である空間BPF41、水平輪郭抽出部である空間BPF42、エッジ強度判定部43、及びダイナミック調整部であるダイナミック係数生成部44及び乗算器45、46を有する。垂直輪郭抽出部は、被写体像の垂直方向における輪郭成分を抽出し、垂直輪郭信号52とする。水平輪郭抽出部は、被写体像の水平方向における輪郭成分を抽出し、水平輪郭信号53とする。エッジ強度判定部43は、複数の画素からなる画素ブロックに含まれるエッジの強度を判定し、エッジ強度信号54を出力する。ダイナミック調整部は、エッジ強度信号54に応じて垂直輪郭信号52及び水平輪郭信号53のダイナミック調整を実施する。
【選択図】図4
Description
本発明の実施形態は、画像処理装置に関する。
従来、デジタル信号処理による被写体像の輪郭強調処理として、例えば、バンドパスフィルタ(BPF)で抽出された所定帯域の輪郭成分に所定の処理を施して輪郭強調信号とし、この輪郭強調信号を画像信号に加算する手法が知られている。鋭敏な輪郭を得ようとした場合に、輪郭強調の度合いを強めることにより、被写体の輪郭のみならず、肌や壁面などの平坦な部分に存在する細かな濃淡までもが強調され、不自然なざらつきを生じさせてしまうことがある。
本発明の一つの実施形態は、強調すべき箇所に対する十分な輪郭強調とともに、平滑さを残すべき箇所に対する無用な強調を抑制させ、鮮明かつ自然な画像が得られる画像処理装置を提供することを目的とする。
本発明の一つの実施形態によれば、画像処理装置は、垂直輪郭抽出部、水平輪郭抽出部、エッジ強度判定部、ダイナミック係数生成部及びダイナミック係数乗算部を有する。垂直輪郭抽出部は、被写体像の撮像により取得された画像信号から、被写体像の垂直方向における輪郭成分を抽出し、垂直輪郭信号とする。水平輪郭抽出部は、画像信号から、被写体像の水平方向における輪郭成分を抽出し、水平輪郭信号とする。エッジ強度判定部は、画素ブロックに含まれるエッジの強度の判定により、エッジ強度信号を出力する。画素ブロックは、複数の画素からなる。ダイナミック係数生成部は、ダイナミック係数を生成する。ダイナミック係数は、画像信号のアナログゲイン及びデジタルゲインの少なくとも一方に連動し、かつエッジ強度信号に応じている。ダイナミック係数乗算部は、垂直輪郭信号及び水平輪郭信号へダイナミック係数を乗算する。エッジ強度判定部は、並べ替え回路を有する。並べ替え回路は、画素ブロックのうち中央画素と同色用の画素からの画素データを信号レベルに応じて並べ替える。中央画素は、画素ブロックの中央に位置する。エッジ強度判定部は、第1の画素データと第2の画素データとの差分をエッジ強度信号として出力する。第1の画素データ及び第2の画素データは、並べ替え回路での並べ替えによって特定される。並べ替え回路は、中央画素からの画素データを除外して並べ替えを実施する。並べ替え回路は、信号レベルが最上位から2番目である画素データを第1の画素データと特定する。並べ替え回路は、信号レベルが最下位から2番目である画素データを第2の画素データと特定する。
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
(実施形態)
図1は、実施形態にかかる画像処理装置であるデジタルシグナルプロセッサ(digital signal processor;DSP)の概略構成を示すブロック図である。図2は、図1に示すDSPを備えるデジタルカメラの概略構成を示すブロック図である。
図1は、実施形態にかかる画像処理装置であるデジタルシグナルプロセッサ(digital signal processor;DSP)の概略構成を示すブロック図である。図2は、図1に示すDSPを備えるデジタルカメラの概略構成を示すブロック図である。
デジタルカメラ1は、カメラモジュール2及び後段処理部3を有する。カメラモジュール2は、撮像光学系4及び固体撮像装置5を有する。後段処理部3は、DSP6、記憶部7及び表示部8を有する。カメラモジュール2は、デジタルカメラ1以外に、例えばカメラ付き携帯端末等の電子機器に適用される。
撮像光学系4は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置5は、被写体像を撮像する。DSP6は、固体撮像装置5での撮像により得られた画像信号の信号処理を実施する。記憶部7は、DSP6での信号処理を経た画像を格納する。記憶部7は、ユーザの操作等に応じて、表示部8へ画像信号を出力する。表示部8は、DSP6あるいは記憶部7から入力される画像信号に応じて、画像を表示する。表示部8は、例えば、液晶ディスプレイである。
図3は、固体撮像装置の概略構成を示すブロック図である。固体撮像装置5は、例えば、CMOS(complementary metal oxide semiconductor)イメージセンサである。固体撮像装置5は、CMOSイメージセンサの他、CCD(charge coupled device)であっても良い。固体撮像装置5は、撮像素子10、アナログデジタル変換器(ADC)11、信号処理回路12及びインタフェース(I/F)13を有する。
撮像素子10は、撮像光学系4により取り込まれた光をフォトダイオードにより信号電荷に変換する。撮像素子10は、R(赤)、G(緑)及びB(青)の信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ADC11は、撮像素子10からの画像信号をアナログ方式からデジタル方式へ変換する。
信号処理回路12は、ADC11から入力されたデジタル画像信号に対し、種々の信号処理を実施する。I/F13は、信号処理回路12での信号処理を経た画像信号を出力する。I/F13は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。
図1に示すラインメモリ20は、カメラモジュール2から後段処理部3へ入力されたデジタル画像信号を一時的に貯える。キズ補正部21及びノイズキャンセル部22は、ラインメモリ20を共用する。キズ補正部21は、ラインメモリ20からのデジタル画像信号に対してキズ補正を実施する。キズ補正部21は、固体撮像装置5において正常に機能していない画素によるデジタル画像信号の欠損部分(キズ)を補正する。ノイズキャンセル部22は、ノイズを低減させるためのノイズキャンセル処理を実施する。シェーディング補正部28は、被写体像のシェーディング補正のためのシェーディング補正係数を算出する。
デジタルアンプ(AMP)回路23は、後述するAWB/AE演算部27で算出された係数と、シェーディング補正部28で算出されたシェーディング補正係数とを基にしてデジタルAMP係数を算出する。また、デジタルAMP回路23は、キズ補正部21及びノイズキャンセル部22での処理を経たデジタル画像信号に、デジタルAMP係数を乗算する。
ラインメモリ24は、デジタルAMP係数が乗算されたデジタル画像信号を一時的に貯える。画素補間部25は、ラインメモリ24からベイヤー配列の順序で伝達されてくるデジタル画像信号の補間処理(デモザイク処理)により、RGBの信号(感度信号)を生成する。
カラーマトリクス部26は、RGBの感度信号に対して、色再現性を得るためのカラーマトリクス演算処理(色再現性処理)を実施する。AWB/AE演算部27は、自動ホワイトバランス(auto white balance;AWB)調整、自動露出(auto exposure;AE)調整のための各係数を、RGBの感度信号から算出する。
ガンマ補正部30は、RGBの感度信号に対して、画像の階調を補正するためのガンマ補正を実施する。YUV変換部31は、RGBの感度信号から輝度(Y)信号35及び色差(UV)信号36を生成することにより、画像信号をRGB形式からYUV形式(例えば、YUV422など)へ変換する。YUV変換部31は、色成分ごとの感度信号を、Y信号35及びUV信号36に変換する。ラインメモリ32は、YUV変換部31からのY信号35及びUV信号36を一時的に貯える。
輪郭強調信号生成部34は、ラインメモリ24から読み出されるRAW画像データ37から輪郭強調信号38を生成する。RAW画像データ37は、固体撮像装置5(図3参照)における被写体像の撮像により取得されてから、輪郭強調信号生成部34へ至るまでの各部における信号処理を経た画像信号とする。
輪郭強調部33は、ラインメモリ32から読み出されたY信号35について、輪郭強調処理を実施する。輪郭強調部33は、輪郭強調処理として、輪郭強調信号生成部34から入力される輪郭強調信号38をY信号35に加算する。輪郭強調部33は、輪郭強調処理において、例えば、固体撮像装置5による撮像条件及び各画素の位置に基づいて算出した補正係数を用いる。
DSP6は、輪郭強調部33での輪郭強調処理を経たY信号39とラインメモリ32からのUV信号36とを出力する。なお、本実施形態で説明するDSP6の構成は一例であって、適宜変形しても良い。DSP6は、例えば、本実施形態で示す要素とは別の要素の追加、省略可能な要素の省略等があっても良い。
図4は、輪郭強調信号生成部の構成を示すブロック図である。輪郭強調信号生成部34は、ラインメモリ40、空間BPF41及び42、エッジ強度判定部43、ダイナミック係数生成部44、乗算器45、46、47及び48、コアリング部49及び50、及び加算器51を有する。
ラインメモリ40は、ラインメモリ24(図1参照)から輪郭強調信号生成部34へ入力されたRAW画像データ37を保持する。ラインメモリ40は、例えば4ライン分のデジタル画像信号を保持する。本実施形態では、輪郭強調信号生成部34は、ラインメモリ40が保持する4ラインと、ラインメモリ40へ入力される直前の1ラインとのうち、5×5画素からなる画素ブロックごとに輪郭強調信号38を生成する。
画素ブロックは、いずれも同色用の画素である中央画素p5と、8個の周辺画素p1、p2、p3、p4、p6、p7、p8及びp9を含む。中央画素p5は、画素ブロックの中央に位置する。周辺画素p1、p2、p3、p4、p6、p7、p8及びp9は、中央画素p5に対して1画素を隔てた周辺に位置する。輪郭強調信号生成部34は、かかる同色用の9画素p1〜p9の画素データを使用して、中央画素p5へ適用する輪郭強調信号を生成する。
空間BPF41は、9画素p1〜p9の画素データから、被写体像の垂直方向における輪郭成分を抽出する。空間BPF41は、抽出した輪郭成分を、垂直輪郭信号52として出力する。空間BPF41は、垂直輪郭抽出部として機能する。
空間BPF42は、9画素p1〜p9の画素データから、被写体像の水平方向における輪郭成分を抽出する。空間BPF42は、抽出した輪郭成分を、水平輪郭信号53として出力する。空間BPF42は、水平輪郭抽出部として機能する。
エッジ強度判定部43は、画素ブロックに含まれるエッジの強度を判定する。ここでエッジとは、明るさが不連続になっている部分とする。エッジの強度とは、被写体像における明るさの変化の鋭敏さを評したものとする。エッジ強度判定部43は、かかる判定結果をエッジ強度信号54として出力する。ダイナミック係数生成部44は、画像信号のアナログゲイン(AG)及びデジタルゲイン(DG)に連動する係数F(AG+DG)を算出する。
ダイナミック係数生成部44は、エッジ強度信号54に対して、係数F(AG+DG)を使用するゲイン及びオフセットの調整を施すことにより、ダイナミック係数55を生成する。ダイナミック係数55は、AG及びDGに連動し、かつエッジ強度信号54に応じた係数である。
ダイナミック係数生成部44は、エッジ強度信号54に対して、係数F(AG+DG)の使用によりゲイン及びオフセットの少なくとも一方を調整するものであれば良い。ダイナミック係数55は、AG及びDGの少なくとも一方に連動するものであれば良い。ダイナミック係数生成部44は、AG及びDGに対しダイナミック係数55をどのように相関させるか、任意に設定可能であるものとする。例えば、ダイナミック係数生成部44は、AG及びDGが高くなるにしたがいダイナミック係数55を増大および減少のいずれとして連動させるかを、固体撮像装置5の特性に鑑みて設定することとしても良い。
乗算器45は、空間BPF41からの垂直輪郭信号52に、ダイナミック係数生成部44からのダイナミック係数55を乗算する。乗算器46は、空間BPF42からの水平輪郭信号53に、ダイナミック係数生成部44からのダイナミック係数55を乗算する。乗算器45及び46は、ダイナミック係数乗算部として機能する。
ダイナミック係数生成部44と、乗算器45及び46とは、エッジ強度信号54に応じたダイナミック係数55により垂直輪郭信号52及び水平輪郭信号53のダイナミック調整を実施する。ダイナミック係数生成部44と、乗算器45及び46とは、ダイナミック調整部として機能する。
乗算器47は、乗算器45でのダイナミック係数55の乗算を経た垂直輪郭信号52に、垂直ゲインVGを乗算する。垂直ゲインVGは、垂直方向における輪郭成分に対して設定されたゲインとする。
乗算器48は、乗算器46でのダイナミック係数55の乗算を経た水平輪郭信号53に、水平ゲインHGを乗算する。水平ゲインHGは、水平方向における輪郭成分に対して設定されたゲインとする。
コアリング部49は、乗算器47での垂直ゲインVGの乗算を経た垂直輪郭信号52に対するコアリング処理を実施する。コアリング部49は、コアリング処理として、垂直輪郭信号52のうち、閾値とする所定のコアリングレベルより振幅が小さい成分について、信号レベルを一律にゼロとする。また、コアリング部49は、垂直輪郭信号52のうち、かかるコアリングレベルより振幅が大きい成分について、信号レベルからコアリングレベルを減算する。コアリング部49は、コアリング処理により、垂直方向における輪郭成分のうちのノイズ成分を取り除き、ノイズの強調を抑制させる。
コアリング部50は、乗算器48での水平ゲインHGの乗算を経た水平輪郭信号53に対するコアリング処理を実施する。コアリング部50は、コアリング処理として、水平輪郭信号53のうち、閾値とする所定のコアリングレベルより振幅が小さい成分について、信号レベルを一律にゼロとする。また、コアリング部50は、水平輪郭信号53のうち、かかるコアリングレベルより振幅が大きい成分について、信号レベルからコアリングレベルを減算する。コアリング部50は、コアリング処理により、水平方向における輪郭成分のうちのノイズ成分を取り除き、ノイズの強調を抑制させる。
加算器51は、コアリング部49でのコアリング処理を経た垂直輪郭信号52と、コアリング部50でのコアリング処理を経た水平輪郭信号53とを足し合わせる。輪郭強調信号生成部34は、加算器51での加算結果を、輪郭強調信号38として出力する。
図5は、エッジ強度判定部の構成を示すブロック図である。エッジ強度判定部43は、並べ替え回路56及び差分器57を有する。ラインメモリ40内のRAW画像データ37は、9画素p1〜p9の画素データd1〜d9を含む。
並べ替え回路56は、画素データd1〜d9のうち、周辺画素p1、p2、p3、p4、p6、p7、p8及びp9の画素データd1、d2、d3、d4、d6、d7、d8及びd9を対象として、信号レベルに応じた並べ替えを実施する。並べ替え回路56は、かかる並べ替えを、中央画素p5の画素データd5を除外して実施する。
並べ替え回路56は、第1の画素データDD1及び第2の画素データDD2を出力する。第1の画素データDD1は、画素データd1、d2、d3、d4、d6、d7、d8及びd9のうち、例えば、信号レベルが最上位から2番目と特定された画素データとする。第2の画素データDD2は、例えば、画素データd1、d2、d3、d4、d6、d7、d8及びd9のうち、例えば、信号レベルが最下位から2番目と特定された画素データとする。
差分器57は、並べ替え回路56での並べ替えによって特定された第1の画素データDD1と第2の画素データDD2との差分を求める。エッジ強度判定部43は、差分器57で求めた差分を、エッジ強度信号54として出力する。
図6は、輪郭に対する輪郭強調について説明する図である。輪郭強調前の画像信号S1は、被写体像の輪郭に対応する、信号レベルの段差を含む。かかる画像信号S1に対して得られる輪郭強調信号S2は、画像信号S1における信号レベルの段差の前後に合わせて、信号レベルを増大させてなるオーバーシュートと、信号レベルを減少させてなるアンダーシュートとが付与される。
画像信号S1に輪郭強調信号S2を加算して得られる輪郭強調後の画像信号S3は、オーバーシュートに相当する信号レベルの加算とアンダーシュートに相当する信号レベルの減算とにより、輪郭における信号レベルの段差が強調される。
図7は、輪郭のほかに、細かな濃淡が存在する平坦な部分を含む場合における輪郭強調について説明する図である。輪郭強調前の画像信号S1は、輪郭に対応する段差に続く期間Hにおいて、被写体の平坦な部分の細かな濃淡に対応して信号レベルが小幅に変化しているものとする。細かな濃淡とは、例えば壁面、肌、布等の質感によって表れる細かな凹凸のように、物の輪郭に比べて目立たないようなコントラストの変化とする。
このような画像信号S1の場合に、輪郭と平坦な部分との双方に対して同様の処理によって輪郭強調信号S2を生成したとすると、輪郭と細かな濃淡とに対して、信号レベルを同等の比率で変化させたオーバーシュート及びアンダーシュートが付与されることとなる。画像信号S1に輪郭強調信号S2を加算して得られる輪郭強調後の画像信号S3は、輪郭のみならず、平坦な部分の細かな濃淡までもが強調される。この場合、輪郭強調信号S2が、輪郭強調すべき箇所のみならず、平滑さを残すべき箇所の濃淡まで強調させてしまい、平坦な部分に不自然なざらつきを生じさせることになる。
図8は、本実施形態の輪郭強調信号生成部により生成された輪郭強調信号の適用について説明する図である。輪郭強調信号生成部34は、エッジ強度信号54に応じて垂直輪郭信号52及び水平輪郭信号53のダイナミック調整を実施することで、エッジの強度に応じて信号レベルが調整された輪郭強調信号S2を生成可能とする。
図7に示す場合と同様の画像信号S1について、輪郭強調信号生成部34は、信号レベルが大幅に変化する輪郭に対しては、信号レベルの段差を十分に増幅可能なオーバーシュート及びアンダーシュートを輪郭強調信号S2に付与する。また、輪郭強調信号生成部34は、信号レベルの変化が小幅な濃淡に対しては、輪郭強調信号S2の信号レベルを例えばゼロとする。
画像信号S1に輪郭強調信号S2を加算して得られる輪郭強調後の画像信号S3は、輪郭については信号レベルの変動が増幅され、かつ平坦な部分については信号レベルの変動が元の画像信号S1の場合と同等に抑えられる。これにより、DSP6は、輪郭強調信号生成部34を適用することで、強調すべき箇所に対する十分な輪郭強調とともに、平滑さを残すべき箇所に対する無用な強調を抑制させ、鮮明かつ自然な画像を得ることができる。
エッジ強度判定部43は、エッジ強度信号54の生成に使用する画素データとして、信号レベルの最上位及び最下位の画素データを除外する。エッジ強度判定部43は、信号レベルが画素単位で最大あるいは最小となる要素、例えばキズやドット柄等の情報を除外して、エッジ強度信号54を生成する。輪郭強調信号生成部34は、輪郭とは異なるこのような要素を輪郭であるものとする誤認識を回避した上で、垂直輪郭信号52及び水平輪郭信号53のダイナミック調整を実施可能とする。
例えば、輪郭には該当しない線形状の先端部分が画素ブロックの範囲に存在する場合、周辺画素p1、p2、p3、p4、p6、p7、p8及びp9の画素データd1、d2、d3、d4、d6、d7、d8及びd9のいずれか1つと、中央画素p5の画素データd5とが、信号レベルの上位1位及び2位となることがある。このような部分については、通常の輪郭と同様の扱いによって輪郭強調を行った場合に、不自然さを増大させることがある。
エッジ強度判定部43は、エッジ強度信号54の生成に使用する画素データの対象から、予め中央画素p5の画素データd5を除外して、エッジ強度信号54を生成する。輪郭強調信号生成部34は、このような要素を輪郭であるものとする誤認識を回避した上で、垂直輪郭信号52及び水平輪郭信号53のダイナミック調整を実施可能とする。これらの措置により、DSP6は、不自然さが軽減された画像を得ることができる。
エッジ強度判定部43は、5×5画素からなる画素ブロックに含まれるエッジの強度を判定するものに限られない。エッジ強度判定部43は、少なくとも、複数の画素からなる画素ブロックからエッジの強度を判定するものであれば良い。エッジ強度判定部43は、同色用の9画素(3×3画素)の画素データを基にエッジ強度信号54を生成するものに限られない。エッジ強度判定部43は、さらに多くの画素データ、例えば、同色用の25画素(5×5画素)の画素データ、あるいは49画素(7×7画素)の画素データを基にエッジ強度信号54を生成するものとしても良い。
エッジ強度判定部43は、第1の画素データとして、信号レベルが最上位から3番目以下である画素データを適用しても良い。エッジ強度判定部43は、第2の画素データとして、信号レベルが最下位から3番目以上である画素データを適用しても良い。信号レベルが最上位からm番目である画素データを第1の画素データ、信号レベルが最下位からn番目である画素データを第2の画素データとして、m及びnは、少なくとも一方が2以上の整数であれば良いものとする。m及びnは、互いに同じである他、異なる値としても良い。
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
6 DSP、33 輪郭強調部、34 輪郭強調信号生成部、37 RAW画像データ、38 輪郭強調信号、41、42 空間BPF、43 エッジ強度判定部、44 ダイナミック係数生成部、45、46 乗算器、52 垂直輪郭信号、53 水平輪郭信号、54 エッジ強度信号、55 ダイナミック係数、56 並べ替え回路、57 差分器、DD1 第1の画素データ、DD2 第2の画素データ。
Claims (5)
- 被写体像の撮像により取得された画像信号から、前記被写体像の垂直方向における輪郭成分を抽出し、垂直輪郭信号とする垂直輪郭抽出部と、
前記画像信号から、前記被写体像の水平方向における輪郭成分を抽出し、水平輪郭信号とする水平輪郭抽出部と、
複数の画素からなる画素ブロックに含まれるエッジの強度の判定により、エッジ強度信号を出力するエッジ強度判定部と、
前記画像信号のアナログゲイン及びデジタルゲインの少なくとも一方に連動し、かつ前記エッジ強度信号に応じたダイナミック係数を生成するダイナミック係数生成部と、
前記垂直輪郭信号及び前記水平輪郭信号へ前記ダイナミック係数を乗算するダイナミック係数乗算部と、を有し、
前記エッジ強度判定部は、前記画素ブロックのうち、前記画素ブロックの中央に位置する中央画素と同色用の画素の画素データを信号レベルに応じて並べ替える並べ替え回路を有し、前記並べ替え回路での並べ替えによって特定された第1の画素データと第2の画素データとの差分を前記エッジ強度信号として出力し、
前記並べ替え回路は、前記中央画素の画素データを除外して前記並べ替えを実施し、信号レベルが最上位から2番目の前記画素データを前記第1の画素データ、信号レベルが最下位から2番目の前記画素データを前記第2の画素データと特定することを特徴とする画像処理装置。 - 被写体像の撮像により取得された画像信号から、前記被写体像の垂直方向における輪郭成分を抽出し、垂直輪郭信号とする垂直輪郭抽出部と、
前記画像信号から、前記被写体像の水平方向における輪郭成分を抽出し、水平輪郭信号とする水平輪郭抽出部と、
複数の画素からなる画素ブロックに含まれるエッジの強度の判定により、エッジ強度信号を出力するエッジ強度判定部と、
前記エッジ強度信号に応じて前記垂直輪郭信号及び前記水平輪郭信号のダイナミック調整を実施するダイナミック調整部と、を有することを特徴とする画像処理装置。 - 前記ダイナミック調整部は、
前記画像信号のアナログゲイン及びデジタルゲインの少なくとも一方に連動し、かつ前記エッジ強度信号に応じたダイナミック係数を生成するダイナミック係数生成部と、
前記垂直輪郭信号及び前記水平輪郭信号へ前記ダイナミック係数を乗算するダイナミック係数乗算部と、を有することを特徴とする請求項2に記載の画像処理装置。 - 前記エッジ強度判定部は、前記画素ブロックのうち、前記画素ブロックの中央に位置する中央画素と同色用の画素の画素データを読み込み、信号レベルが最上位からm番目(mは2以上の整数)である第1の画素データと、信号レベルが最下位からn番目(nは2以上の整数)である第2の画素データとの差分を前記エッジ強度信号として出力することを特徴とする請求項3に記載の画像処理装置。
- 前記エッジ強度判定部は、読み込んだ前記画素データを信号レベルに応じて並べ替え、前記第1の画素データと前記第2の画素データとを特定する並べ替え回路を有し、
前記並べ替え回路は、前記中央画素からの画素データを除外して並べ替えを実施することを特徴とする請求項4に記載の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012164854A JP2014027403A (ja) | 2012-07-25 | 2012-07-25 | 画像処理装置 |
US13/780,209 US20140028879A1 (en) | 2012-07-25 | 2013-02-28 | Image processing device, image processing method, and solid-state imaging device |
KR1020130021779A KR20140013891A (ko) | 2012-07-25 | 2013-02-28 | 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치 |
CN201310070569.0A CN103581537A (zh) | 2012-07-25 | 2013-03-06 | 图像处理装置、图像处理方法及固体拍摄装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012164854A JP2014027403A (ja) | 2012-07-25 | 2012-07-25 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014027403A true JP2014027403A (ja) | 2014-02-06 |
Family
ID=49994540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012164854A Pending JP2014027403A (ja) | 2012-07-25 | 2012-07-25 | 画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140028879A1 (ja) |
JP (1) | JP2014027403A (ja) |
KR (1) | KR20140013891A (ja) |
CN (1) | CN103581537A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016072901A (ja) * | 2014-09-30 | 2016-05-09 | 株式会社メガチップス | 画像処理装置及び画像処理方法 |
JP2017138927A (ja) * | 2016-02-05 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9836762B1 (en) * | 2013-12-11 | 2017-12-05 | American Megatrends, Inc. | Automatic assignment of media content items to digital signage device based on comparison between demographic information collected at digital signage device and media content metadata |
US10204360B1 (en) | 2013-12-12 | 2019-02-12 | American Megatrends, Inc. | Systems and methods for processing payments to trigger release of digital advertising campaigns for display on digital signage devices |
US9842353B1 (en) * | 2013-12-17 | 2017-12-12 | American Megatrends, Inc. | Techniques of claiming all available timeslots in media content management and deployment system |
KR102211592B1 (ko) * | 2014-03-19 | 2021-02-04 | 삼성전자주식회사 | 전자 장치 및 이의 영상 처리 방법 |
JP6558935B2 (ja) * | 2015-04-24 | 2019-08-14 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005176060A (ja) * | 2003-12-12 | 2005-06-30 | Sony Corp | 信号処理装置、画像表示装置および信号処理方法 |
JP2007318260A (ja) * | 2006-05-23 | 2007-12-06 | Sharp Corp | 画像処理装置 |
JP2008021219A (ja) * | 2006-07-14 | 2008-01-31 | Sanyo Electric Co Ltd | 画像処理装置及び方法 |
JP2008258909A (ja) * | 2007-04-04 | 2008-10-23 | Toshiba Corp | 信号処理回路 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1838084A3 (en) * | 1998-06-23 | 2007-12-26 | Sharp Kabushiki Kaisha | Image processing apparatus, image processing method and medium on which image processing program is recorded |
JP2005130297A (ja) * | 2003-10-24 | 2005-05-19 | Olympus Corp | 信号処理システム、信号処理方法、信号処理プログラム |
WO2007052184A2 (en) * | 2005-11-02 | 2007-05-10 | Koninklijke Philips Electronics N. V. | Image processing system and method for silhouette rendering and display of images during interventional procedures |
US8644600B2 (en) * | 2007-06-05 | 2014-02-04 | Microsoft Corporation | Learning object cutout from a single example |
KR101253213B1 (ko) * | 2008-01-08 | 2013-04-23 | 삼성전자주식회사 | 모바일 단말기의 영상 표시 제어 방법 및 장치 |
-
2012
- 2012-07-25 JP JP2012164854A patent/JP2014027403A/ja active Pending
-
2013
- 2013-02-28 US US13/780,209 patent/US20140028879A1/en not_active Abandoned
- 2013-02-28 KR KR1020130021779A patent/KR20140013891A/ko not_active Application Discontinuation
- 2013-03-06 CN CN201310070569.0A patent/CN103581537A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005176060A (ja) * | 2003-12-12 | 2005-06-30 | Sony Corp | 信号処理装置、画像表示装置および信号処理方法 |
JP2007318260A (ja) * | 2006-05-23 | 2007-12-06 | Sharp Corp | 画像処理装置 |
JP2008021219A (ja) * | 2006-07-14 | 2008-01-31 | Sanyo Electric Co Ltd | 画像処理装置及び方法 |
JP2008258909A (ja) * | 2007-04-04 | 2008-10-23 | Toshiba Corp | 信号処理回路 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016072901A (ja) * | 2014-09-30 | 2016-05-09 | 株式会社メガチップス | 画像処理装置及び画像処理方法 |
JP2017138927A (ja) * | 2016-02-05 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20140013891A (ko) | 2014-02-05 |
CN103581537A (zh) | 2014-02-12 |
US20140028879A1 (en) | 2014-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5157753B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
JP2014027403A (ja) | 画像処理装置 | |
US8102445B2 (en) | Solid-state image-capturing apparatus, camera, and method of processing signal | |
US9367902B2 (en) | Image processing device, endoscope apparatus, isolated point noise correction method, and information storage device | |
JP5343726B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP5701640B2 (ja) | 画像処理装置 | |
WO2015119271A1 (ja) | 画像処理装置、撮像装置、画像処理方法、コンピュータにより処理可能な一時的でない記憶媒体 | |
JP2009303139A (ja) | 固体撮像装置 | |
JP2003304549A (ja) | カメラ及び画像信号処理システム | |
US8559747B2 (en) | Image processing apparatus, image processing method, and camera module | |
JP5743918B2 (ja) | 画像処理装置 | |
JP2006319460A (ja) | 輝度信号処理装置 | |
JP2011151739A (ja) | 画像処理装置 | |
JP2006238060A (ja) | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ | |
JP2015139082A (ja) | 画像処理装置、画像処理方法、プログラム、および電子機器 | |
JP2010147800A (ja) | 画像処理装置 | |
JP2006279812A (ja) | 輝度信号処理装置 | |
JP2006332732A (ja) | 色むらノイズ抑制装置 | |
JP4714096B2 (ja) | 撮像装置 | |
JP2010193112A (ja) | 画像処理装置およびディジタルスチルカメラ | |
JP2009152881A (ja) | 画像信号処理回路、画像信号処理装置及び画像信号処理方法 | |
JP2006238135A (ja) | 画像処理装置及び画像処理プログラム | |
JP2006080767A (ja) | 信号処理装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150526 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151006 |