JP2016091376A - Image processor and control method thereof, program and recording medium - Google Patents
Image processor and control method thereof, program and recording medium Download PDFInfo
- Publication number
- JP2016091376A JP2016091376A JP2014226405A JP2014226405A JP2016091376A JP 2016091376 A JP2016091376 A JP 2016091376A JP 2014226405 A JP2014226405 A JP 2014226405A JP 2014226405 A JP2014226405 A JP 2014226405A JP 2016091376 A JP2016091376 A JP 2016091376A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image processing
- processing apparatus
- image
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置およびその制御方法、プログラムならびに記録媒体に関し、特に画像に所定のエフェクトを付加する技術に関する。 The present invention relates to an image processing apparatus, a control method thereof, a program, and a recording medium, and more particularly to a technique for adding a predetermined effect to an image.
従来、デジタルカメラ等で撮影する際に物理的なフィルタを撮影光学系の前面に装着すれば、例えば特定の色彩を強調したり画像の特定の部分に流れの効果を出すなど通常の撮影では得られないエフェクトを付加した画像を得ることができる。しかし、フィルタの付け替えが必要であり、フィルタを使用した状態では通常の撮影は行えないという制約がある。このような課題に対して、特許文献1は、画像処理によってエフェクトを付加する技術を開示している。 Conventionally, if a physical filter is attached to the front of the photographic optical system when shooting with a digital camera or the like, it can be obtained in normal shooting, for example, by emphasizing a specific color or producing a flow effect on a specific part of an image. It is possible to obtain an image with an effect that cannot be obtained. However, it is necessary to replace the filter, and there is a restriction that normal photographing cannot be performed in a state where the filter is used. For such a problem, Patent Document 1 discloses a technique for adding an effect by image processing.
上述の従来技術によれば、輝点から光線を伸ばした効果が得られるクロスフィルタと呼ばれる物理的なフィルタを使用せずに、画像処理によって当該フィルタを使用して撮影した場合と同様のエフェクトを付加した画像を生成することができる。 According to the above-described conventional technology, the same effect as that obtained by using the filter by image processing is used without using a physical filter called a cross filter that can obtain the effect of extending light rays from a bright spot. An added image can be generated.
しかしながら、当該従来技術は十字や放射状などの予め用意されたパターンのエフェクトを、検出した輝点に付加する技術であるため、付加されるエフェクトによって得られる光線の位置や伸びる方向は固定的なものになる。このため、従来の画像処理によりエフェクトを付加する技術では、雲の隙間から差し込む薄明光線や窓から差し込む光のように、被写体および画角に依存して光線の位置や伸びる方向が一定とならないエフェクトを付加する場合、光の差し込む方向が不自然になる場合がある。 However, since the related art is a technique for adding an effect of a pattern prepared in advance, such as a cross or a radial pattern, to the detected bright spot, the position of the light beam obtained by the added effect and the extending direction are fixed. become. For this reason, with conventional technology that adds effects through image processing, the effect of the position and direction of light rays not depending on the subject and the angle of view, such as twilight rays inserted through the gaps between clouds and light inserted through windows, is not constant. In some cases, the light insertion direction may become unnatural.
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、適切な光線を付加した画像を生成することが可能な画像処理装置およびその制御方法、プログラムならびに記録媒体を提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and provides an image processing apparatus capable of generating an image to which appropriate light is added, a control method thereof, a program, and a recording medium. With the goal.
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像を取得する取得手段と、画像から画像を撮像した際の光源の位置を推定する推定手段と、画像から所定の輝度値より高い輝度値を有する領域を高輝度領域として検出する検出手段と、推定手段により推定された光源の位置と検出手段により検出された高輝度領域の位置に応じて、光源の光線を付加する領域を設定する設定手段とを有することを特徴とする。 In order to solve this problem, for example, an image processing apparatus of the present invention has the following configuration. That is, an acquisition unit that acquires an image, an estimation unit that estimates a position of a light source when an image is captured from an image, and a detection unit that detects an area having a luminance value higher than a predetermined luminance value from the image as a high luminance area And a setting means for setting a region to which the light beam of the light source is added according to the position of the light source estimated by the estimating means and the position of the high luminance region detected by the detecting means.
本発明によれば、適切な光線を付加した画像を生成することが可能になる。 According to the present invention, it is possible to generate an image with appropriate light rays added thereto.
(実施形態1)
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮像した画像にエフェクト(光の効果)を付加することが可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう画像処理装置は、デジタルカメラに限らず、撮影を行わずに、取得した画像に対してエフェクトを付加することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
(Embodiment 1)
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following, an example in which the present invention is applied to a digital camera capable of adding an effect (light effect) to a captured image will be described as an example of an image processing apparatus. However, the image processing apparatus referred to in the present invention is not limited to a digital camera, and can be applied to any electronic device that can add an effect to an acquired image without shooting. These electronic devices may include, for example, a mobile phone, a game machine, a tablet terminal, a personal computer, a clock-type or glasses-type information terminal.
(デジタルカメラ100の構成)
図1は、本実施形態の画像処理装置の一例としてデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
(Configuration of digital camera 100)
FIG. 1 is a block diagram illustrating a functional configuration example of a
撮影光学系101は、ズームレンズ、フォーカスレンズを含むレンズ群を含み、被写体の光学像を形成する。制御部50は、ズームおよびフォーカスの各状態を取得し制御することができる。シャッター102は絞り機能を備え、制御部50の指示に応じた絞りおよび時間により、撮像部103の不図示の撮像素子を露光する。
The photographing
撮像部103は、光電変換素子を有する画素が複数、2次元的に配列された構成を有する撮像素子を含む。撮像素子は、撮影光学系101およびシャッター102を介して結像された被写体光学像を各画素で光電変換してアナログ信号を出力する。撮像素子は、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子であってよい。撮像素子は例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、R(赤)、G(緑)、B(青)の何れかのカラーフィルタが設けられている。
The
A/D変換部104は、撮像部から入力したアナログ信号をA/D変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号(画像データ)を画像処理部105に出力する。
The A /
画像処理部105は、A/D変換部104あるいはメモリ制御部107から画像データを取得する。そして、当該画像データに対し、ホワイトバランスなどの色変換処理、γ処理など各種画像処理を行い、ベイヤーRGBデータあるいは輝度・色差信号(Y、R−Y、B−Y)の画像データを出力する。画像処理部105から出力された画像データは、メモリ制御部107を介して画像メモリ106に書き込まれる。また、画像処理部105は、取得した画像データに対して所定の演算処理を行って演算結果を制御部50に出力する。制御部50は入力した演算結果に基づいて露光制御、測距制御を行い、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理やAE(自動露出)処理などが実現される。画像処理部105は、さらに取得した画像データを解析して光源を推定し、推定した光源に基づきAWB(オートホワイトバランス)処理を行う。さらに、後述する光線付加処理を行って、画像内の光をより印象的にするための光線のエフェクトを付加する(単に光線を付加するともいう)。
The
画像メモリ106は、半導体メモリ等から構成される記憶媒体であり、撮像部103から出力された画像データや、表示部109に表示するための画像データを格納する。メモリ制御部107は画像メモリ106を制御して画像データの書き込みおよび読み出しを制御する。
The
D/A変換部108は、画像メモリ106に格納されている画像表示用のデジタルデータをアナログ信号に変換して表示部109に供給する。表示部109は、例えばLCD等の表示装置に、D/A変換部108から入力した表示用のアナログ信号を表示する。
The D /
コーデック部110は、画像メモリ106に記録された画像データをMPEGなどの規格に準拠した圧縮形式で圧縮符号化処理を行う。
The
記録媒体112はメモリカードやハードディスク等で構成される脱着可能な記録媒体である。記録I/F111は、記録媒体112とのインタフェースであり記録媒体112における画像データの書き込みや読み出しを制御する。
The
操作部120は、デジタルカメラ100を操作するためのボタン、ダイヤルあるいはタッチパネル等であり、ユーザによる各種の操作指示を検出すると制御部50に検出した操作あるいは操作内容を出力する。制御部50は、操作部120から入力した操作等に応じてデジタルカメラ100の各部を制御する。
The
電源スイッチ121は、デジタルカメラ100の電源の入切りを制御するためのスイッチである。電源部123は、デジタルカメラ100に電力を供給する電源装置であり、バッテリーあるいは電池を含む。電源制御部122は、電源部123における電池等の装着の有無、装着された電池等の種類および電池等の残量の検出を行ってその検出結果を制御部50に出力する。
The
不揮発性メモリ124は、例えばEEPROM等を含む電気的に消去・記録が可能な記録媒体であり、撮影された画像データやデジタルカメラ100の撮影に用いられる各種設定に関する情報等、電源を切った後も保持する必要のある情報を記憶する。システムタイマ125は各種制御に用いる時間や内蔵された時計の時間を計測する。
The
制御部50は、例えばCPUあるいはMPUであり、不揮発性メモリ124に格納されたプログラムをシステムメモリ126の作業エリアに展開し、実行することにより、デジタルカメラ100のシステム全体を制御する。システムメモリ126は、制御部50のデータを一時記憶する揮発性の記憶媒体であり、不揮発性メモリ124から読み出されたプログラムのほか、制御部50の動作用の定数、変数等が展開される。
The
(画像処理部105の構成)
次に、図2を参照して、画像処理部105の構成を説明する。画像処理部105は、光源位置推定部201、高輝度領域検出部202、光線付加領域設定部203および光線付加部204を有し、各部による動作を順に行って後述する光線付加処理の一連の動作を実現する。例えば、窓から差し込む光に対して光線を付加する場合、明るい窓の領域と室内の床上の明るい領域との間が窓から差し込む光の方向であり、この明るい2つの領域間に光線が現れるように光線を付加することが望ましい。このため、画像処理部105では、まず、光源位置推定部201により取得した画像データにおける光源位置を推定するとともに、高輝度領域検出部202により画像内の高輝度領域を算出する。これらの算出結果を用いて光線付加領域設定部203により光線を付加する位置(領域ともいう)を設定し、光線付加部204により設定した位置に対して光線を付加する。
(Configuration of the image processing unit 105)
Next, the configuration of the
(実施形態1に係る光線付加処理に係る一連の動作)
さらに、図3を参照して、光線付加処理に係る一連の動作をより詳細に説明する。また、光線を付加する領域を決定する方法を説明するために図4を適宜参照する。
(A series of operations related to light beam addition processing according to the first embodiment)
Furthermore, with reference to FIG. 3, a series of operations related to the light beam addition processing will be described in more detail. In addition, FIG. 4 will be referred to as appropriate in order to explain a method for determining a region to which a light beam is added.
なお、本処理は、例えば操作部120の不図示のレリーズボタンを押下することによって撮影が行われて撮像部103から出力された画像データを画像処理部105が取得した時点から開始される。
Note that this processing is started from the time when the
S301において光源位置推定部201は、取得した画像データに基づいて光源位置を推定する。光源位置を推定する方法は、公知の技術を用いることができるため詳細な説明は省略するが、例えば物体の陰影情報に基づいて光源位置を推定することができる。
In S301, the light source
S302において高輝度領域検出部202は、取得した画像データから高輝度領域を検出する。例えば、高輝度領域検出部202は、画像データに含まれる各画素の輝度値が、所定の閾値T1以上であるかを判定することにより高輝度領域を検出する。閾値T1は、例えば画像全体の平均輝度値と画像内の画素の最大輝度値との中間値を用いるものとするが、他の方法により算出した閾値であってもよい。高輝度領域検出部202は、各画素のうち輝度値がT1以上である画素を抽出する。抽出した各画素が隣接する場合は、隣接する画素を同一の領域として扱うことによって高輝度領域を形成させ、画像内で2つ以上の高輝度領域を検出する。図4(a)には、例えば3つの高輝度領域が検出された場合の高輝度領域を示している。図4(a)において、401は推定した光源位置を示しており、402〜404はそれぞれ3つの異なる高輝度領域を示している。
In S302, the high brightness
S303において光線付加領域設定部203は、S302で検出された各高輝度領域に対して、それぞれの重心座標を算出する。図4(b)において重心座標405〜重心座標407は、S302において検出されたそれぞれの高輝度領域に対応する重心座標を示している。
In S303, the light ray addition
S304において光線付加領域設定部203は、S302において検出された各高輝度領域のうちの2つの高輝度領域間が、光線を付加する対象であるかを判定する。具体的には、光線付加領域設定部203は、S303で算出した高輝度領域の重心座標の中から2つを選び、選んだ2つの重心座標とS301で推定した光源位置とが直線上に並ぶ場合に、その2つの高輝度領域間は光線を付加する対象であるとして判定する。即ち、光線を付加する対象となる領域は2つの高輝度領域の間の領域であり、その2つの高輝度領域が撮影した画像の画角内に含まれる場合に光線を付加する対象とする。
In S304, the light beam addition
より詳細には、まず、光線付加領域設定部203は、選択した2つの高輝度領域の重心座標と推定した光源位置とが直線上に並ぶか否かを判定する。薄明光線などの光線は、光源から放射される光の散乱によって生じるため、光線を付加する対象となる領域は光源からの光の放射方向に沿った方向に存在し得る。このため、2つの高輝度領域の重心座標と光源位置とが直線上に並んでいない場合に、当該2つの高輝度領域間に光線を付加してしまうと、光源からの光の放射方向とは異なる方向に光線を付加してしまうこととなり、違和感のある画像が生成されてしまう。そこで、光線付加領域設定部203は、2つの高輝度領域の重心座標と光源位置とが直線上に並んでいないと判定した場合は、当該2つの高輝度領域間は光線を付加する対象でないと判定する。
More specifically, first, the light beam addition
但し、2つの高輝度領域の重心座標と光源位置とが一直線に並ばないが、直線上から多少のずれを持って位置する場合には、光線付加領域設定部203は、2つの高輝度領域間を光線を付加する対象と判定する。例えば、図4(b)に示すように、光線付加領域設定部203は、高輝度領域402および高輝度領域403の重心座標405および重心座標406を通る直線Lと、光源位置401との距離dを算出する。そして、この距離dが所定の閾値T2以下であれば直線上に並んでいると判定して、2つの高輝度領域間を光線を付加する対象領域とする。なお、2つの高輝度領域の重心座標と光源位置とが直線上に並んでいても、2つの重心座標の間に光源位置がある場合には、その2つの高輝度領域間は光線を付加する対象領域としない。
However, when the barycentric coordinates and the light source positions of the two high-brightness areas are not aligned with each other, but the light-added
光線付加領域設定部203は、2つの高輝度領域間が光線を付加する対象であるか否かの判定を全ての2つの高輝度領域の組に対して行う。光線付加領域設定部203は、光線を付加する対象となる高輝度領域があると判定したときは処理をS305に進め、光線を付加する対象となる高輝度領域がない場合は光線を付加する処理を行わない。
The light ray addition
S305において光線付加領域設定部203は、各高輝度領域を始点領域または終点領域のいずれかに分類する。光線付加領域設定部203は、S304で光線を付加する対象と判定した2つの高輝度領域について、光源位置に近い重心座標を含む高輝度領域を光線を付加する始点領域、光源位置から遠い重心座標を含む高輝度領域を光線を付加する終点領域とする。
In S305, the light ray addition
S306において光線付加領域設定部203は、S305の処理において定めた始点領域と終点領域の間を光線を付加する領域として設定する。即ち、始点領域と終点領域の重心座標を通る直線上の一部を含むような領域を、光線を付加する領域として設定する。より具体的には、光線付加領域設定部203は、図4(c)に示すように、始点領域と終点領域にそれぞれ外接する2つの接線408および接線409を算出する。そして、始点領域、終点領域およびこれらの領域に外接する2つの接線で囲まれる領域を光線を付加する領域として設定する。
In S306, the light ray addition
S307において光線付加部204は、S306において設定した領域に光線を付加する。例えば、光線を付加する領域の各画素のRGB値を(Rin,Gin,Bin)、付加する光線成分のRGB値を(Reff、Geff、Beff)とすると、光線を付加した後の各画素のRGB値(Rout、Gout、Bout)は下記のように各RGB値を加算したもので表される。
Rout = Rin + Reff
Gout = Gin + Geff
Bout = Bin + Beff
このとき、付加する光線成分のRGB比率は、公知の光源色推定方法によって算出した光源色のRGB比率を用いることができるため詳細な算出方法は省略するが、例えば画像内の輝度の高い画素およびその近傍の画素の画素値の差から鏡面反射成分を構成するRGBの比率を算出し、当該比率を光源色として算出すればよい。
In S307, the light
Rout = Rin + Reff
Gout = Gin + Geff
Bout = Bin + Beff
At this time, as the RGB ratio of the added light component, the RGB ratio of the light source color calculated by a known light source color estimation method can be used, and a detailed calculation method is omitted. The ratio of RGB constituting the specular reflection component may be calculated from the difference between the pixel values of neighboring pixels, and the ratio may be calculated as the light source color.
また、付加する光線成分の強度(光線成分のRGB値)は適宜設定することができる。例えば、終点領域とその周辺領域とに着目すると、終点領域と周辺領域とは同じ被写体であるものの、光源からの光が当たっているか否かによって輝度などの画素値に差分が生じている場合が想定できる。そこで、終点領域と周辺領域との輝度の差分を光線成分の強度と捉えて当該強度を設定しても良い。 Further, the intensity of the added light component (RGB value of the light component) can be set as appropriate. For example, when focusing on the end point region and its peripheral region, the end point region and the peripheral region are the same subject, but there may be a difference in pixel values such as luminance depending on whether or not the light from the light source is hit. Can be assumed. Therefore, the intensity may be set by regarding the difference in luminance between the end point area and the peripheral area as the intensity of the light component.
なお、本実施形態では、S305で定めた始点領域と終点領域の組の間の領域に光線を付加する場合について説明したが、複数の終点領域を1つの終点領域として光線を付加しても良い。例えば、S305の処理により、始点領域と終点領域の組が複数定められている場合であって、これらの組の始点領域が同一の高輝度領域である場合には、これらの複数の終点領域を1つの終点領域として扱ったうえで光線を付加しても良い。 In the present embodiment, the case where a light beam is added to the region between the set of the start point region and the end point region determined in S305 has been described, but a plurality of end point regions may be added as one end point region. . For example, when a plurality of sets of start point areas and end point areas are determined by the processing of S305 and the start point areas of these sets are the same high-luminance area, the plurality of end point areas are A light beam may be added after being treated as one end point region.
画像処理部105は、S307の処理を終えると光線付加処理に係る一連の動作を終了する。
When finishing the processing of S307, the
なお、本実施形態では、S307で光線を付加する際に、始点領域から終点領域に向かって強度が一定の光線を付加する例について説明した。しかし、付加する光線の強度についてはこの例に限定されず、例えば、始点領域および終点領域に輝度の差分がある場合には、始点領域から終点領域への輝度の変化量に応じた光線の強度を設定してもよい。このようにすれば組となる高輝度領域間に輝度差がある場合により自然な光線を付加することができる。 In the present embodiment, an example in which a light beam having a constant intensity is added from the start point region to the end point region when the light beam is added in S307 has been described. However, the intensity of the added light beam is not limited to this example. For example, when there is a difference in luminance between the start point region and the end point region, the intensity of the light beam according to the amount of change in luminance from the start point region to the end point region. May be set. In this way, a more natural light beam can be added when there is a luminance difference between the pair of high luminance regions.
以上説明したように本実施形態では、推定した光源の位置と画像中の高輝度領域の位置に応じて光線を付加する領域を設定するようにした。より具体的には、光源の位置と異なる2つの高輝度領域が所定の関係、即ち2つの高輝度領域の重心座標と光源位置とが略直線上に並ぶ関係にある場合に光線を付加するようにした。このようにすることで、雲の隙間から差し込む薄明光線や窓から差し込む光のように、被写体および画角に依存して光線の位置や伸びる方向が一定とならない光線を適切に付加することができる。従って、適切な光線を付加した画像を生成することが可能になる。 As described above, in this embodiment, an area to which light is added is set according to the estimated position of the light source and the position of the high luminance area in the image. More specifically, a light beam is added when two high-intensity areas different from the position of the light source have a predetermined relationship, that is, when the barycentric coordinates of the two high-intensity areas and the light source position are aligned in a substantially straight line. I made it. This makes it possible to appropriately add a light beam whose position and extending direction are not constant depending on the subject and the angle of view, such as a light beam inserted through a gap between clouds or light inserted from a window. . Therefore, it is possible to generate an image with appropriate light rays added.
(実施形態2)
次に実施形態2について説明する。実施形態1では、2次元空間上で光線を付加する位置を決定する処理について説明したが、実施形態2では、3次元空間上で光線を付加する位置を決定する点が異なる。本実施形態の画像処理部501は、実施形態1と異なり距離情報(奥行情報)を算出および利用可能な構成であり、その他の構成は実施形態1と同一である。このため、同一の構成およびステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 2)
Next, Embodiment 2 will be described. In the first embodiment, the processing for determining the position to add a light beam in the two-dimensional space has been described. However, the second embodiment is different in that the position to add a light beam in the three-dimensional space is determined. Unlike the first embodiment, the
(画像処理部501の構成)
図5を参照して、本実施形態に係る画像処理部501の構成について説明する。画像処理部501は、実施形態1に係る画像処理部105の構成に加えて、距離情報取得部502および本実施形態に係る光線付加領域設定部503を有する。
(Configuration of Image Processing Unit 501)
With reference to FIG. 5, the configuration of the
距離情報取得部502は、取得した画像に対応する距離情報を例えば公知の測距センサから取得し取得した距離情報を画像データとともに出力する。光線付加領域設定部503は、高輝度領域検出部202により検出された高輝度領域のうち光線を付加する対象となる高輝度領域を判定し、光線を付加する領域を設定する。このとき、光線付加領域設定部503は、距離情報取得部502により取得された距離情報を用いて光線を付加する領域を設定する。
The distance
(実施形態2に係る光線付加処理に係る一連の動作)
次に、本実施形態に係る光線付加処理の一連の動作について図6を参照して説明する。
(A series of operations related to light beam addition processing according to the second embodiment)
Next, a series of operations of the light beam addition processing according to the present embodiment will be described with reference to FIG.
まず、光源位置推定部201は、実施形態1におけるS301と同様に取得した画像に対して光源位置の推定を行う。
First, the light source
S601において距離情報取得部502は、取得した画像の距離情報を取得する。距離情報は、例えば測距センサから出力されるデジタルカメラ100からの距離情報であって、撮影画像の画素単位で取得することができる。そして、高輝度領域検出部202は、実施形態1におけるS302と同様に、取得した画像の中から高輝度領域を検出し、S303およびS304において光線付加領域設定部503は、高輝度領域の重心座標を算出する。光線付加領域設定部503は、光線を付加する対象となる高輝度領域があると判定したときはS602に処理を進め、光線を付加する対象となる高輝度領域がないと判定した場合は一連の処理を終了する。
In step S601, the distance
S602において光線付加領域設定部503は、2つの高輝度領域の間を遮る被写体が存在するかを判定する。光線付加領域設定部503は、まず2つの高輝度領域の各重心座標を結ぶ直線を算出する。そして、算出した直線とS601で取得した距離情報とを用いて、求めた直線とデジタルカメラ100との間に被写体が存在するか否かを判定する。光線付加領域設定部503は、算出した直線とデジタルカメラ100との間に被写体が存在しない場合には、2つの高輝度領域の間を光線を付加する対象領域とする。しかし、求めた直線とデジタルカメラ100との間に被写体が存在すると判定した場合、2つの高輝度領域の間は光線を付加する対象領域ではないものとして光線を付加する処理を行わない。
In step S602, the light beam addition
さらに、光線付加領域設定部503および光線付加部204は、さらに実施形態1に示したS305〜S307に示した処理を行って光線付加処理に係る一連の動作を終了する。
Furthermore, the light beam addition
なお、本実施形態では、S304において光線付加領域設定部503が実施形態1と同様に2つの高輝度領域間と光源位置とが直線上に並ぶか否かを2次元空間上で判定しているが、距離情報を用いて3次元空間において直線上に並ぶか否かを判定しても良い。
In this embodiment, the light beam addition
以上説明したように本実施形態では、取得した画像に対応する距離情報を取得して当該距離情報を用いて高輝度領域間に付加する光線を遮る被写体の存在を判定し、光線を遮る被写体が存在する場合には光線を付加しないようにした。このようにすることで、光線を付加する領域より手前に被写体が存在する場合に、当該被写体上に光線を付加するような不自然な光線の付加を防ぎ、より自然な光線の付加を実現することができる。 As described above, in the present embodiment, the distance information corresponding to the acquired image is acquired, the presence of the subject that blocks the light beam added between the high luminance regions is determined using the distance information, and the subject that blocks the light beam is determined. When present, no light was added. In this way, when a subject is present in front of a region to which a light beam is to be added, an unnatural light beam that adds a light beam on the subject is prevented, and a more natural light beam can be added. be able to.
(実施形態3)
さらに実施形態3について説明する。実施形態1および実施形態2では、光線を付加する始点領域と終点領域が取得した画像の画角内に含まれている場合の処理について説明した。これに対して、本実施形態では、取得した画像の画角内に光線を付加する始点領域のみ存在する場合に光線を付加する処理について説明する。本実施形態の光線付加処理は、上述した実施形態と光線を付加する領域の設定方法が異なるが、その他の処理およびデジタルカメラ100の構成は実施形態2と同一である。このため、同一の構成およびステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 3)
Further, Embodiment 3 will be described. In the first embodiment and the second embodiment, the processing in the case where the start point region and the end point region to which light rays are added is included within the angle of view of the acquired image has been described. On the other hand, in the present embodiment, a process for adding a light beam when only the start point region to which the light beam is added exists within the angle of view of the acquired image will be described. The light beam addition processing of the present embodiment is different from the above-described embodiment in the method of setting a region to which light is added, but the other processing and the configuration of the
本実施形態に係る光線付加処理の一連の動作について、図7を参照して説明する。 A series of operations of the light beam addition processing according to the present embodiment will be described with reference to FIG.
まず、画像処理部501を構成する光源位置推定部201、距離情報取得部502、高輝度領域検出部202は、実施形態2において説明したS301〜S303の各処理を行う。但し、本実施形態におけるS302の処理では、検出する高輝度領域は1つ以上でよい。
First, the light source
次に、S701において光線付加領域設定部503は、各高輝度領域が光線を付加する始点領域であるか否かを判定する。具体的には、光線付加領域設定部503はS601で取得した距離情報に基づいて、S302で算出した各高輝度領域が光線を付加する始点領域であるか否かを判定する。光線付加領域設定部503は、まず、撮影した画角内に光線を付加する始点領域のみ存在する状況を抽出するために、S303で算出した高輝度領域の重心座標と推定した光源位置とを結んだ直線を算出する。そして、当該直線上に他の高輝度領域の重心座標が存在しないような高輝度領域を選択する。次に、光線付加領域設定部503は、算出した直線上の延長上にあり、かつ、高輝度領域の重心座標から、光源位置と反対方向に画像の端まで伸びる直線を算出する。さらに、光線付加領域設定部503は、S601で取得した距離情報に基づいて、算出した直線とデジタルカメラ100との間に被写体が存在するか否かを判定する。光線付加領域設定部503は、被写体が存在しないと判定した場合、判定の対象である高輝度領域を光線を付加する始点領域として決定する。一方、被写体が存在すると判定した場合、当該高輝度領域を光線を付加する対象としない。
In step S <b> 701, the light ray addition
S702において光線付加領域設定部503は、S701で判定された始点領域から光源位置の方向とは反対の方向に光線を付加する領域を設定する。より具体的には、光線付加領域設定部503は、始点領域から光源位置とは反対方向の画像端までの間に光線を付加する領域を設定する。例えば、光源位置から始点領域に外接する2本の直線を算出し、求めた2本の直線・始点領域・画像の端で囲まれる領域を、光線を付加する領域として設定する。このとき、視点領域に外接する2本の直線の角度は光線の位置等に基づいて適宜設定してよい。光線を付加する領域は例示であり、始点領域の重心を通る直線上の一部を含む領域であって、始点領域から光源位置の方向と反対の方向の領域に光源を付加するものであればよい。
In S702, the light ray addition
さらにS307において光線付加部204は、S702において設定された光線を付加する領域に対して、実施形態1と同様の方法により光線を付加する。
In S307, the light
なお、本実施形態では、始点領域のみを有する高輝度領域に対する処理を説明したが、実施形態2において説明した組となる高輝度領域間の領域に光線を付加する処理と併用してもよい。このようにすれば組となる高輝度領域および始点領域のいずれをも用いて光線を付加することができる。 In the present embodiment, the processing for the high luminance region having only the start point region has been described. However, the processing may be used in combination with the processing for adding a light ray to the region between the high luminance regions which is the set described in the second embodiment. In this way, it is possible to add a light beam using both the high luminance region and the starting point region that form a pair.
以上説明したように本実施形態では、光源と1つの高輝度領域のみが直線上に並ぶ場合に、当該高輝度領域を始点領域として始点領域から画像端まで差し込む光線を付加するようにした。このようにすることで、組となる高輝度領域(即ち終点領域)が画角内に含まれていない場合であっても光線を付加することができ、適切な光線を付加した画像を生成することが可能になる。 As described above, in the present embodiment, when only the light source and one high-luminance area are arranged on a straight line, a light beam inserted from the start point area to the image end is added with the high-luminance area as the start point area. In this way, even when the pair of high-luminance areas (that is, end point areas) are not included in the angle of view, a light beam can be added, and an image with an appropriate light beam added is generated. It becomes possible.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
105…画像処理部、201…光源位置推定部、202…高輝度領域検出部、203…光線付加領域設定部、204…光線付加部
DESCRIPTION OF
Claims (16)
前記画像から前記画像を撮像した際の光源の位置を推定する推定手段と、
前記画像から所定の輝度値より高い輝度値を有する領域を高輝度領域として検出する検出手段と、
前記推定手段により推定された前記光源の位置と前記検出手段により検出された前記高輝度領域の位置に応じて、前記光源からの光線を付加する領域を設定する設定手段と、
を有することを特徴とする画像処理装置。 An acquisition means for acquiring an image;
Estimating means for estimating a position of a light source when the image is captured from the image;
Detecting means for detecting a region having a luminance value higher than a predetermined luminance value from the image as a high luminance region;
Setting means for setting a region to which light from the light source is added according to the position of the light source estimated by the estimating unit and the position of the high-intensity region detected by the detecting unit;
An image processing apparatus comprising:
前記設定手段は、前記光源の位置、前記第1の高輝度領域の位置および前記第2の高輝度領域の位置が略直線上に存在する場合に、前記第1の高輝度領域および前記第2の高輝度領域に対応した前記光線を付加する領域を設定し、前記光源の位置、前記第1の高輝度領域の位置および前記第2の高輝度領域の位置が略直線上に存在しない場合は、前記光線を付加する領域を設定しない、
ことを特徴とする請求項1に記載の画像処理装置。 The detection means detects a first high-brightness region and a second high-brightness region that are different from each other,
When the position of the light source, the position of the first high-brightness region, and the position of the second high-brightness region exist on a substantially straight line, the setting means includes the first high-brightness region and the second high-brightness region. A region to which the light beam corresponding to the high luminance region is set, and the position of the light source, the position of the first high luminance region, and the position of the second high luminance region do not exist on a substantially straight line , Do not set the area to add the light beam,
The image processing apparatus according to claim 1.
ことを特徴とする請求項2に記載の画像処理装置。 The setting means sets a region including a part on the substantially straight line as a region to which the light beam is added.
The image processing apparatus according to claim 2.
ことを特徴とする請求項2または3に記載の画像処理装置。 The setting means is surrounded by two different tangents circumscribing each of the first high luminance region and the second high luminance region, and the first high luminance region and the second high luminance region. Set the region to be added as the region to which the light beam is added,
The image processing apparatus according to claim 2, wherein the image processing apparatus is an image processing apparatus.
前記設定手段は、前記光源の位置と前記第1の高輝度領域の位置に基づいて定められる略直線上に他の高輝度領域が存在しない場合に、前記第1の高輝度領域に対応した前記光線を付加する領域を設定し、前記光源の位置と前記第1の高輝度領域の位置に基づいて定められる略直線上に他の高輝度領域が存在する場合は前記光線を付加する領域を設定しない、
ことを特徴とする請求項1に記載の画像処理装置。 The detecting means detects one or more high-intensity regions including a first high-intensity region;
The setting means corresponds to the first high luminance region when there is no other high luminance region on a substantially straight line determined based on the position of the light source and the position of the first high luminance region. A region to which a light beam is added is set, and if another high-brightness region exists on a substantially straight line determined based on the position of the light source and the position of the first high-brightness region, the region to which the light beam is added is set. do not do,
The image processing apparatus according to claim 1.
ことを特徴とする請求項5に記載の画像処理装置。 The setting means is an area including a part on the substantially straight line, and sets an area in a direction opposite to the position of the light source from the position of the first high-luminance area as an area to which the light beam is added.
The image processing apparatus according to claim 5.
ことを特徴とする請求項5または6に記載の画像処理装置。 The setting means includes two different tangent lines circumscribing the first high-luminance region, extending from the position of the first high-luminance region in a direction opposite to the position of the light source, and the first high-luminance region. And an area surrounded by the edge of the image is set as an area to which the light ray is added.
The image processing apparatus according to claim 5, wherein the image processing apparatus is an image processing apparatus.
前記設定手段は、前記光源の位置および前記高輝度領域の位置により前記光線を付加する領域を設定できる場合であっても、前記距離情報取得手段により取得された前記距離情報を用いることにより、前記画像に含まれる被写体の位置と前記略直線上の一部の位置とに応じて、前記光線を付加する領域を設定しない、
ことを特徴とする請求項2から7のいずれか1項に記載の画像処理装置。 Further comprising distance information acquisition means for acquiring distance information from the imaging device corresponding to the image;
Even if the setting unit can set the region to which the light beam is added according to the position of the light source and the position of the high luminance region, by using the distance information acquired by the distance information acquiring unit, According to the position of the subject included in the image and a part of the position on the substantially straight line, do not set the region to which the light beam is added
The image processing apparatus according to claim 2, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項8に記載の画像処理装置。 The setting means sets a position to add a light beam in a three-dimensional space using the distance information acquired by the distance information acquisition means.
The image processing apparatus according to claim 8.
前記付加手段は、前記領域における画素値に所定の画素値を前記光線として加算する、
ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 And further comprising an adding means for adding the light beam to the region set by the setting means,
The adding means adds a predetermined pixel value to the pixel value in the region as the light ray,
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項10に記載の画像処理装置。 The adding means calculates a light source color of the light source from the image, and adds the predetermined pixel value obtained by using the light source color as the light beam,
The image processing apparatus according to claim 10.
ことを特徴とする請求項10または11に記載の画像処理装置。 The adding means changes the predetermined pixel value in the region set by the setting means according to a distance from a position of the light source.
The image processing apparatus according to claim 10, wherein the image processing apparatus is an image processing apparatus.
請求項1から12のいずれか1項に記載の画像処理装置と、
を有することを特徴とする撮像装置。 Imaging means for capturing the image;
The image processing apparatus according to any one of claims 1 to 12,
An imaging device comprising:
推定手段が、前記画像から前記画像を撮像した際の光源の位置を推定する推定工程と、
検出手段が、前記画像から所定の輝度値より高い輝度値を有する領域を高輝度領域として検出する検出工程と、
設定手段が、前記推定手段により推定された前記光源の位置と前記検出手段により検出された前記高輝度領域の位置に応じて、前記光源からの光線を付加する領域を設定する設定工程と、
を有することを特徴とする画像処理装置の制御方法。 An acquisition step in which the acquisition means acquires an image;
An estimating step for estimating a position of a light source when the image is captured from the image;
A detecting step for detecting, as a high luminance region, a region having a luminance value higher than a predetermined luminance value from the image;
A setting step for setting a region to which light from the light source is added according to the position of the light source estimated by the estimating unit and the position of the high-luminance region detected by the detecting unit;
A control method for an image processing apparatus, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014226405A JP2016091376A (en) | 2014-11-06 | 2014-11-06 | Image processor and control method thereof, program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014226405A JP2016091376A (en) | 2014-11-06 | 2014-11-06 | Image processor and control method thereof, program and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016091376A true JP2016091376A (en) | 2016-05-23 |
Family
ID=56019660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014226405A Pending JP2016091376A (en) | 2014-11-06 | 2014-11-06 | Image processor and control method thereof, program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016091376A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020153630A1 (en) * | 2019-01-24 | 2020-07-30 | 삼성전자 주식회사 | Image processing method and electronic device for supporting same |
WO2022114789A1 (en) * | 2020-11-25 | 2022-06-02 | 삼성전자 주식회사 | Electronic device and method for obtaining light quantity |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092724A (en) * | 2003-09-19 | 2005-04-07 | Noritsu Koki Co Ltd | Bright line rendering method and program |
JP2011053737A (en) * | 2009-08-31 | 2011-03-17 | Namco Bandai Games Inc | Program, information storage medium and image generation device |
WO2013179931A1 (en) * | 2012-05-28 | 2013-12-05 | ソニー株式会社 | Image processing device, image processing method, and program |
-
2014
- 2014-11-06 JP JP2014226405A patent/JP2016091376A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092724A (en) * | 2003-09-19 | 2005-04-07 | Noritsu Koki Co Ltd | Bright line rendering method and program |
JP2011053737A (en) * | 2009-08-31 | 2011-03-17 | Namco Bandai Games Inc | Program, information storage medium and image generation device |
WO2013179931A1 (en) * | 2012-05-28 | 2013-12-05 | ソニー株式会社 | Image processing device, image processing method, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020153630A1 (en) * | 2019-01-24 | 2020-07-30 | 삼성전자 주식회사 | Image processing method and electronic device for supporting same |
WO2022114789A1 (en) * | 2020-11-25 | 2022-06-02 | 삼성전자 주식회사 | Electronic device and method for obtaining light quantity |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10397486B2 (en) | Image capture apparatus and method executed by image capture apparatus | |
US8139136B2 (en) | Image pickup apparatus, control method of image pickup apparatus and image pickup apparatus having function to detect specific subject | |
WO2016047072A1 (en) | Image processing apparatus and control method thereof | |
JP6641181B2 (en) | Image processing apparatus and imaging apparatus, control method thereof, and program | |
JP6412386B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
JP7292905B2 (en) | Image processing device, image processing method, and imaging device | |
JP2016086246A (en) | Image processing apparatus and method, and imaging device | |
CN110324529B (en) | Image processing apparatus and control method thereof | |
JP6718253B2 (en) | Image processing apparatus and image processing method | |
JP2017138927A (en) | Image processing device, imaging apparatus, control method and program thereof | |
JP2017147568A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP5956844B2 (en) | Image processing apparatus and control method thereof | |
JP2016091376A (en) | Image processor and control method thereof, program and recording medium | |
JP6808482B2 (en) | Image processing equipment, image processing methods, and programs | |
CN116266877A (en) | Image processing apparatus and method, image capturing apparatus, and computer readable medium | |
JP5359930B2 (en) | Imaging apparatus, display method, and program | |
JP6541416B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND STORAGE MEDIUM | |
CN108111831B (en) | Photographing method, imaging apparatus, computer-readable storage medium, and computer device | |
JP2020010168A (en) | Image processing apparatus | |
JP6666735B2 (en) | Image processing apparatus, imaging apparatus, control method for image processing apparatus, and program | |
JP6433177B2 (en) | Image processing apparatus and image processing method | |
JP6616674B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP6675461B2 (en) | Image processing apparatus, control method therefor, and program | |
JP7446080B2 (en) | Image processing device, imaging device, control method, program and imaging system | |
JP6701299B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190524 |