JP5652126B2 - Image processing apparatus and method, and program - Google Patents
Image processing apparatus and method, and program Download PDFInfo
- Publication number
- JP5652126B2 JP5652126B2 JP2010241067A JP2010241067A JP5652126B2 JP 5652126 B2 JP5652126 B2 JP 5652126B2 JP 2010241067 A JP2010241067 A JP 2010241067A JP 2010241067 A JP2010241067 A JP 2010241067A JP 5652126 B2 JP5652126 B2 JP 5652126B2
- Authority
- JP
- Japan
- Prior art keywords
- sky
- image
- color
- correction information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある空の状態を表現できる画像処理を実現可能な技術に関する。 The present invention relates to an image processing apparatus and method, and a program, and in particular, a technique capable of realizing image processing that can express a more natural and realistic sky state, which is image processing that matches the purpose of a user's imaging action. About.
従来、電子表示装置が鑑賞用の画像を表示したり、カーナビゲーション装置が地図等の情報確認用の画像を表示する、といった表示技術の分野が存在する。このような表示技術の分野においては、時間変化や天候変化に応じた演出表示が行われている（特許文献１乃至４参照）。
一方、ユーザがカメラを用いて撮像画像を撮像する、といった撮像技術の分野も存在する。このような撮像技術の分野でも、デジタルカメラの登場により、撮像画像の表示が可能になり、さらに近年では、画像処理が施された撮像画像を表示することも可能になっている。
2. Description of the Related Art Conventionally, there is a field of display technology in which an electronic display device displays an image for viewing and a car navigation device displays an image for information confirmation such as a map. In the field of such display technology, effect display according to time change and weather change is performed (see
On the other hand, there is a field of imaging technology in which a user captures a captured image using a camera. Also in the field of such imaging technology, with the advent of digital cameras, it is possible to display captured images, and more recently, it is also possible to display captured images that have been subjected to image processing.
しかしながら、撮像技術の分野では、一般的には、ユーザがデジタルカメラを用いて撮像するという撮像行為の方が、その撮像行為の結果として得られる撮像画像をユーザが確認する行為よりも主要な行為となる。ここで、撮像行為とは、ユーザの主観的な目的を伴う行為であり、当該目的が達成した画像を創り出すという能動的行為である。このため、ユーザが創造したともいえる撮像画像のデータに対しては、撮像行為という能動的行為の目的に合致した画像処理を施すことが要求される。
一方で、表示技術の分野においては、表示対象の画像は、ユーザとは別の他人が創造した画像であることが多い。そして、このような他人が創造した画像を鑑賞したり確認する行為が、ユーザの主要な行為となる。即ち、表示技術の分野とは、撮像行為等の能動的行為よりも、一方的に提示された画像をユーザが鑑賞又は確認するという受動的な行為が主要な行為であるとして、発達してきた分野である。
よって、表示技術の分野の技術、例えば特許文献１乃至４に記載の技術をそのまま撮像技術の分野に適用しても、ユーザの撮像行為の目的に合致した画像処理を撮像画像のデータに施すことは困難である。
However, in the field of imaging technology, in general, an imaging action in which a user takes an image using a digital camera is more important than an action in which the user confirms a captured image obtained as a result of the imaging action. It becomes. Here, the imaging action is an action accompanied by a user's subjective purpose, and is an active action of creating an image that achieves the purpose. For this reason, it is required that image data that can be said to be created by the user be subjected to image processing that matches the purpose of an active action called an imaging action.
On the other hand, in the field of display technology, an image to be displayed is often an image created by another person other than the user. The act of appreciating or confirming an image created by another person is the main act of the user. In other words, the field of display technology has been developed as a main act is a passive act in which a user views or confirms a unilaterally presented image rather than an active act such as an imaging act. It is.
Therefore, even if the technology in the field of display technology, for example, the technology described in
例えば、ユーザが、デジタルカメラを用いて、所定場所から見える空の景観の画像を、撮像画像として撮像する場合を考える。ただし、ユーザの撮像行為の目的は、当該所定場所から見える空であって、かつ、所望の状態（所望の色等）になっている空の景観の画像を得ることであるとする。
ここで、同一の所定場所であっても、時が違えば、空の状態は異なる。例えば、一日の間であっても異なる時刻では、具体的には例えば明け方と夕暮れとでは、空の状態、特に空の色は大きく異なる。
そこで、ユーザは、その撮像行為の目的を達成すべく、所定場所まで赴き、空が所望の状態になっていると想定される時刻になるまで待機して、空の景観の画像を撮像する。
しかしながら、この場合に得られる撮像画像は、必ずしも所望の状態の空が写っている画像、即ち撮像行為の目的が達成されている画像とは限らない。
For example, consider a case where a user captures an image of an empty landscape seen from a predetermined location as a captured image using a digital camera. However, it is assumed that the purpose of the user's imaging action is to obtain an image of an empty landscape that is visible from the predetermined location and is in a desired state (desired color or the like).
Here, even if it is the same predetermined place, if the time is different, the empty state is different. For example, at different times even during the day, specifically, for example, at dawn and dusk, the sky condition, particularly the sky color, is greatly different.
Therefore, in order to achieve the purpose of the imaging action, the user goes to a predetermined place, waits until the time when the sky is assumed to be in a desired state, and takes an image of the sky landscape.
However, the captured image obtained in this case is not necessarily an image in which a sky in a desired state is reflected, that is, an image in which the purpose of the imaging action is achieved.
というのも、空の状態は、天気等の各種条件によって異なり、これらの各種条件が時や場所を隔てて同一になる確率は非常に低いからである。
例えば、連続する２日間の其々の同一時刻であっても、２日間の天気が異なれば、具体的には例えば前の日が快晴であったのに対して次の日が曇りや雨であったならば、空の状態、特に空の色は大きく異なる。さらに、たとえ２日間で天気が変化しなくても、例えば晴れが続いたとしても、其々の同一時刻における各種条件、例えば、気圧、温度、湿度、水蒸気、塵、エアロゾル等が異なってくるため、空の状態、特に空の色も異なってくる。
さらにまた、例えば、同日同時刻であっても、異なる場所では、具体的には例えばユーザの居所と、そこから遠隔の所定場所（撮像場所）とでは、気候、水蒸気、塵、煤煙等の各種条件が異なってくるために、空の状態、特に空の色も異なってくる。
This is because the state of the sky varies depending on various conditions such as weather, and the probability that these various conditions are the same across time and place is very low.
For example, even if it is the same time for two consecutive days, if the weather for the two days is different, specifically the previous day was clear while the next day was cloudy or rainy. If so, the sky conditions, especially the sky color, are very different. Furthermore, even if the weather does not change in two days, even if the weather continues, for example, various conditions at the same time, such as atmospheric pressure, temperature, humidity, water vapor, dust, aerosol, etc., will differ. The sky condition, especially the sky color, will also be different.
Furthermore, for example, even at the same time on the same day, in different places, specifically, for example, the user's whereabouts and a remote place (imaging place) such as climate, water vapor, dust, smoke, etc. Because the conditions are different, the sky condition, especially the sky color, will also be different.
このように、ユーザにとって、単にデジタルカメラを用いて撮像操作（レリーズ釦の押下操作等）をしただけでは、空が所望の状態（所望の色等）になっている画像、即ち、当該ユーザの撮像行為の目的が達成された画像を得ることは困難である。
そこで、デジタルカメラが、撮像画像のデータに対して画像処理を施して、撮像行為の目的が達成された画像のデータに変換することが要求される。
In this way, for a user, simply by performing an imaging operation (such as pressing a release button) using a digital camera, an image in which the sky is in a desired state (desired color, etc.), that is, the user's It is difficult to obtain an image in which the purpose of the imaging action is achieved.
Therefore, it is required that the digital camera performs image processing on the captured image data and converts the captured image data into image data that achieves the purpose of the imaging action.
しかしながら、特許文献１乃至４に記載の技術を単に適用しても、このような要求に応えることは困難である。
即ち、特許文献１乃至４に記載の技術とは、時間変化や天候変化に応じて、表示する絵柄や画像を自動的に選択して表示する第１技術か、或いは、色や輝度等の表示用調整データを予め設定しておき、現在の季節、日時、天候等に応じて画像全体を補正する第２技術である。
前者の第１技術では、選択して表示する絵柄や画像は予め用意しておく必要があるところ、所定場所から見える景観の画像を予め用意しておくことは現実的でない。後者の第２の技術では、空の色だけでなく、画像全体の色や輝度が一律に補正されてしまうため、不自然で現実味に欠ける補正しかできない。
However, simply applying the techniques described in
That is, the techniques described in
In the former first technique, it is necessary to prepare in advance a pattern or image to be selected and displayed. However, it is not realistic to prepare a landscape image that can be seen from a predetermined place. In the latter second technique, not only the sky color but also the color and brightness of the entire image are uniformly corrected, so that only unnatural and unrealistic correction can be performed.
なお、従来、３次元CG(Computer Graphics)や建築用の景観シミュレーションソフトウェアの中には、色々な視点から眺めた建築物の景観をレンダリングしたり、樹木等周囲の景観や季節変化による日陰等をシミュレーションできるものが存在する。
しかしながら、これらのシミュレーションソフトウェアにより得られる画像は、実世界を撮像した結果得られる撮像画像（写真画像）と比較すると、仮想的かつ人工的な画像であることが明らかであり、不自然で現実味に欠けるものであった。
さらにまた、これらのシミュレーションソフトウェアは、そもそも設計データや３次元形状モデル等実世界とは別なものに基づいて、シミュレーション描画することが前提とされている。このため、これらのシミュレーションソフトウェアを、実世界の景観等を撮像した結果得られる撮像画像の加工用としてそのまま適用することは非常に困難である。
Conventionally, in 3D CG (Computer Graphics) and architectural landscape simulation software, the landscape of buildings viewed from various viewpoints, the surrounding landscape such as trees, and the shade due to seasonal changes, etc. There is something that can be simulated.
However, it is clear that the images obtained by these simulation software are virtual and artificial images compared to captured images (photo images) obtained as a result of imaging the real world, which is unnatural and realistic. It was lacking.
Furthermore, it is assumed that these simulation softwares perform simulation drawing based on things different from the real world, such as design data and a three-dimensional shape model. For this reason, it is very difficult to apply these simulation software as they are for processing a captured image obtained as a result of imaging a real world landscape or the like.
以上まとめると、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工したいという要望が挙げられている。しかしながら、特許文献１乃至４を含む従来の技術では、当該要望に十分に応えることはできない。このため、当該要望に十分に応えることが可能な技術の実現が求められている。
In summary, there is a demand for processing a captured image so as to be a more natural and realistic image that matches the purpose of the user's imaging action. However, the conventional techniques including
本発明は、このような状況に鑑みてなされたものであり、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある空の状態を表現できる画像処理を実現することを目的とする。 The present invention has been made in view of such a situation, and realizes image processing that matches the purpose of a user's imaging action and can express a more natural and realistic sky state. With the goal.
本発明の一態様によると、空の像を含む原画像のデータを取得する原画像取得手段と、前記原画像取得手段により取得された前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段と、前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段と、前記原画像取得手段により取得された前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段と、を備え、前記補正情報生成手段は、前記基本色及び前記高度に基づいて、前記空領域の各部分の補正後の色を設定し、前記補正後の色をそれぞれ有する前記各部分から構成される前記空領域を含む画像のデータを、前記補正情報として生成し、前記補正手段は、前記原画像のデータと、前記補正情報生成手段により前記補正情報として生成された前記画像のデータとを合成することによって、前記原画像のデータに対して、前記空領域の色が補正後の色に変換された画像のデータを生成する、ことを特徴とする画像処理装置。 According to one aspect of the present invention, an original image acquisition unit that acquires original image data including an aerial image, and an area that includes the sky image in the original image data acquired by the original image acquisition unit includes: A sky area specifying means for specifying as a sky area, and setting a basic color of the sky area specified by the sky area specifying means as a basic color, and obtaining sky altitude in each part of the sky area, Based on the basic color and the altitude, correction information generating means for generating correction information for converting the sky state in each part of the sky region, and the original image acquired by the original image acquiring means Bei data by correcting, based on the correction information generated by the correction information generating means, and correcting means for generating data of an image that contains an empty image state is converted, the The correction information generation means sets the corrected color of each part of the sky region based on the basic color and the altitude, and the sky composed of the parts each having the corrected color. Image data including a region is generated as the correction information, and the correction unit combines the original image data and the image data generated as the correction information by the correction information generation unit. An image processing apparatus that generates image data in which the color of the sky region is converted to a corrected color for the original image data .
本発明の別の態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。 According to another aspect of the present invention, an image processing method and a program corresponding to the above-described image processing apparatus according to one aspect of the present invention are provided.
本発明によれば、撮像画像内の空の状態を、撮像時の空の状態とは異なり、かつ、他の自然な空の状態へと変換できるようにすることができる。 According to the present invention, an empty state in a captured image can be converted to another natural empty state that is different from the empty state at the time of imaging.
以下、図面に基づいて、本発明の画像処理装置の実施形態として、第１実施形態と第２実施形態について、その順番で個別に説明する。 Hereinafter, as an embodiment of an image processing apparatus of the present invention, a first embodiment and a second embodiment will be described individually in that order based on the drawings.
〔第１実施形態〕
図１は、本発明の画像処理装置の第１実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
[First Embodiment]
FIG. 1 is a block diagram showing a hardware configuration of an
撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、計時部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、傾き検出部２２と、GPS（Global Positioning System）部２３と、ドライブ２４と、を備えている。
The
CPU１１はROM１２に記録されているプログラムに従って、又は、記憶部２０からRAM１３にロードされたプログラムに従って、各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
例えば本実施形態では、後述する図２の原画像取得部４１乃至合成部４４の各機能を実現するプログラムが、ROM１２や記憶部２０に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、図２の原画像取得部４１乃至合成部４４の各機能を実現することができる。
For example, in the present embodiment, programs for realizing the functions of the original
計時部１４は、計時動作を行い、現在時刻等をCPU１１に通知する。
The
CPU１１、ROM１２、RAM１３、及び計時部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、傾き検出部２２、GPS部２３、及びドライブ２４が接続されている。
The
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured with a lens that collects light, such as a focus lens and a zoom lens, in order to capture an image of the subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１７からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。
The image sensor includes a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) a subject image at regular time intervals to accumulate image signals, and sequentially supplies the accumulated image signals to the AFE as analog signals.
The AFE executes various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by various signal processing and output as an output signal of the
Hereinafter, the output signal of the
操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、DRAM（Dynamic Random Access Memory）等で構成され、撮像部１７から出力された撮像画像のデータを一時記憶する。また、記憶部２０は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
The
The
The
The
傾き検出部２２は、加速度センサ等で構成され、撮像装置１の傾きの度合いとして、撮像装置１の仰俯角や、光軸周りの撮像装置１の回転角等を検出する。ここで、撮像装置１の仰俯角とは、撮像部１７の光学レンズ部の光軸が水平面となす角度をいう。
The
GPS部２３は、複数のGPS衛星との距離を算出することで、撮像装置１の現在位置を測定する。
The
ドライブ２４には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２４によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
A removable medium 31 formed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the
図２は、図１の撮像装置１の機能的構成のうち、画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
ここで、画像合成処理とは、空の像を含む原画像のデータと、空画像のデータとを合成するまでの一連の処理をいう。空画像とは、原画像内において、空の像を含む領域（以下、「空領域」と呼ぶ）の色が変化し、空領域以外の領域が例えば透明になっている画像をいう。
FIG. 2 is a functional block diagram illustrating an example of a functional configuration that realizes an execution function of an image composition process among the functional configurations of the
Here, the image composition process refers to a series of processes until the original image data including the sky image and the sky image data are combined. The sky image refers to an image in which the color of an area including a sky image (hereinafter referred to as “sky area”) in the original image changes and the area other than the sky area is, for example, transparent.
CPU１１は、このような画像合成処理を実行すべく、原画像取得部４１と、空領域特定部４２と、空画像生成部４３と、合成部４４と、表示制御部４５と、を備えている。
The
このように、本実施形態では、原画像取得部４１乃至表示制御部４５の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、原画像取得部４１乃至表示制御部４５の機能の少なくとも一部を、CPU１１以外の他の構成要素に移譲させることも当然可能である。
As described above, in the present embodiment, each of the original
However, this is merely an example, and it is naturally possible to transfer at least part of the functions of the original
また、本実施形態では、記憶部２０の一領域として、空色記憶部５１が設けられている。
なお、空色記憶部５１が記憶部２０の一領域として設けられていることは例示にすぎず、その他例えばリムーバブルメディア３１の一領域として設けられるようにしてもよい。また、空色記憶部５１は、撮像装置１に設けられている必要は特になく、例えば通信部２１を介して接続される他の装置内に設けられていてもよい。
In the present embodiment, a sky
The provision of the sky
原画像取得部４１は、本実施形態では撮像部１７から出力される撮像画像のデータを、原画像のデータとして取得して、空領域特定部４２及び合成部４４に供給する。
In this embodiment, the original
なお、原画像のデータは、本実施形態では撮像部１７から出力される撮像画像のデータが採用されているが、本実施形態の例に特に限定されず、空領域を特定可能な画像のデータであれば足り、その供給元は問わない。
例えば、原画像取得部４１は、リムーバブルメディア３１から読み出される画像のデータや、通信部２１を介するインターネット等から供給される画像のデータを、原画像のデータとして取得することもできる。なお、この場合、撮像時における撮像装置（撮像装置１とは限らない）の傾きの度合いも併せて取得可能であるものとする。
In this embodiment, the original image data is captured image data output from the
For example, the original
空領域特定部４２は、原画像取得部４１から供給された原画像のデータに基づいて、当該原画像内の空領域を特定する。
The sky
ここで、空領域を特定する手法は、特に限定されないが、本実施形態では、次のような手法が採用されているものとする。
即ち、空領域特定部４２は、撮像部１７から撮像画像（原画像）のデータが出力された時（以下、「撮像時」と呼ぶ）における、撮像装置１の傾きの度合いを傾き検出部２２から取得する。
Here, the method for specifying the sky region is not particularly limited, but in the present embodiment, the following method is adopted.
That is, the sky
次に、空領域特定部４２は、撮像時の撮像装置１の傾きの度合いのうち、光軸周りの撮像装置１の回転角に基づいて、原画像が正しく垂直に立つように、当該原画像のデータを補正する。
ここで、原画像が正しく垂直に立つとは、撮像時点の地上の３次元実空間における垂直方向に相当する原画像内の方向が、当該原画像の縦方向（画素の上下の配列方向）に一致することをいう。
Next, based on the rotation angle of the
Here, when the original image stands correctly vertically, the direction in the original image corresponding to the vertical direction in the three-dimensional real space on the ground at the time of imaging is the vertical direction of the original image (the vertical arrangement direction of the pixels). It means to match.
次に、空領域特定部４２は、正しく垂直に立つように補正された原画像のデータについて、当該原画像の最上端から下方向に向けて（縦方向に）、色の特性が所定範囲に属する領域（以下、「色領域」と呼ぶ）を探索する。
ここで、色領域のサイズ（解像度）は、特に限定されないが、本実施形態では、例えば、ｋを１以上の整数値として、横方向にｋ個の画素が配置され、縦方向にｋ個の画素が配置されるサイズ（ｋ×ｋのサイズ）とされている。
また、色の特性の所定範囲としては、本実施形態では、空の色として認定し得る範囲として予め定められた色の範囲（彩度、明度、色相の範囲）が採用される。このため、撮像部１７から出力された撮像画像のデータが、ＲＧＢ色空間で表現されている場合、ＨＳＶ色空間（彩度、明度、色相をパラメータとする色空間）のデータに変換された後、上述の色領域の探索が行われる。
Next, with respect to the original image data corrected so as to stand upright correctly, the sky
Here, the size (resolution) of the color region is not particularly limited, but in the present embodiment, for example, k is an integer value of 1 or more, k pixels are arranged in the horizontal direction, and k pieces are arranged in the vertical direction. The pixel is arranged in a size (k × k size).
In addition, in the present embodiment, a predetermined color range (saturation, lightness, hue range) is adopted as a predetermined range of color characteristics in this embodiment. For this reason, when the data of the captured image output from the
空領域特定部４２は、最初の色領域を検出すると、当該色領域を空領域の最上端領域として、所定条件が満たされる範囲内で、当該最上端領域と連続する領域を拡張していくことにより、空領域を特定する。ここで、所定条件としては、本実施形態では、隣接画素同士の色の特性が、上述した所定範囲内（空の色として認定し得る、彩度、明度、色相の範囲内）であり、かつ、所定の閾値以上の変化がない、という条件が採用されているものとする。
When the sky
次に、空領域特定部４２は、撮像時の撮像装置１の傾きの度合いのうち仰俯角に基づいて、空領域の最上端と最下端の各高度、即ち高度範囲を算出する。
Next, the sky
このような空領域を特定する手法が適用された空領域特定部４２によって、空領域が特定されてその高度範囲が算出されると、当該空領域の座標と高度範囲が空画像生成部４３に通知される。
When the sky region is specified and the altitude range is calculated by the sky
空画像生成部４３は、空領域特定部４２から通知された空領域の座標位置及び高度範囲を用いて、原画像と同一解像度の画像であって、当該空領域に属する各画素の色を、ユーザの指定に基づいて変化させた画像のデータを、空画像のデータとして生成する。
この場合、本実施形態では、空画像における空領域以外の色は、透明として取り扱われるものとする。そして、本実施形態では、透明の画素は、データ上、所定の画素値が与えられずに、「画素値がない」というフラグが立てられることにより、表現されるものとする。
The sky
In this case, in this embodiment, colors other than the sky area in the sky image are treated as transparent. In this embodiment, a transparent pixel is expressed by setting a flag of “no pixel value” without giving a predetermined pixel value in the data.
このような空画像のデータの生成手法は、特に限定されないが、本実施形態では、次のような手法が採用されているものとする。 Such a method of generating the data of the sky image is not particularly limited, but in the present embodiment, the following method is adopted.
先ず、本手法では、様々な地域において、異なる時間帯毎に、また、同一時間帯でも異なる天候毎に、実際の空の色が観測されており、これらの観測結果を示す情報が空色記憶部５１に記憶されていることが前提となる。
具体的には例えば、地域、時間帯、及び天候がパラメータとして採用され、これらの３つのパラメータにより特定される状態で実際に観測された空の色が、当該３つのパラメータの組み合わせにより特定されるパターンについての、空の基本色として設定される。
例えば、「日本国の東京都のＡ区」という地域において、「夕方」という時間帯に、「晴れ」という天候であったという状態で実際に観測された空の色が、「日本国の東京都のＡ区」、「夕方」、及び「晴れ」という組み合わせのパターンについての、空の基本色として設定される。
ここで、パラメータとして採用される「時間帯」は、本例の「夕方」のように１日のスパンで区分することも可能であるが、特に本例に限定されず、日本国でみられる春夏秋冬のように長期のスパンで区分することも当然可能である。
本手法では、地域、時間帯、及び天候の組み合わせによって特定されるパターン毎に、実際の観測に基づいて設定された空の基本色を示す情報（以下、「基本色情報」と呼ぶ）が、空色記憶部５１に記憶されていることが前提となる。
First, in this method, the actual sky color is observed in various regions at different time zones and at different weather even in the same time zone, and information indicating these observation results is stored in the sky blue storage unit. 51 is assumed to be stored.
Specifically, for example, the region, time zone, and weather are adopted as parameters, and the sky color actually observed in a state specified by these three parameters is specified by a combination of the three parameters. Set as the basic sky color for the pattern.
For example, in an area called “A-ku in Tokyo, Japan”, the color of the sky actually observed in the time of “evening” in the state of “sunny” is “Tokyo, Japan”. It is set as the basic color of the sky for the combination pattern of “A-ku of the city”, “Evening”, and “Sunny”.
Here, the “time zone” adopted as a parameter can be divided by a span of one day as in the “evening” in this example, but is not limited to this example, and is found in Japan. Naturally, it is possible to classify by a long span as in spring, summer, autumn and winter.
In this method, for each pattern specified by a combination of region, time zone, and weather, information indicating the basic color of the sky set based on actual observation (hereinafter referred to as “basic color information”) It is assumed that it is stored in the sky
さらに、空の高度に応じた色の補正内容を示す情報（以下、「高度補正情報」と呼ぶ）が、空色記憶部５１に記憶されていることが前提となる。
具体的には、明度、彩度、色相の補正データが高度補正情報として空色記憶部５１に記憶されていることが前提となる。
即ち、同一パターンであっても、空の色は、その高度によって異なってくる。そこで、高度に応じて空の色を補正するための情報が、高度補正情報として空色記憶部５１に記憶されていることが前提となる。
Further, it is assumed that information indicating the color correction content according to the sky altitude (hereinafter referred to as “altitude correction information”) is stored in the sky
Specifically, it is assumed that correction data for lightness, saturation, and hue is stored in the sky
That is, even in the same pattern, the sky color varies depending on the altitude. Therefore, it is assumed that information for correcting the sky color according to the altitude is stored in the sky
また、本手法では、ユーザが、操作部１８を操作することで、地域、日時、及び天候の組み合わせから特定されるパターンのうち、所望のパターンを指定できることも前提となる。
この場合のパターンの指定手法は、撮像装置１側で各種パターンを一意に特定できる手法であれば足り、特に限定されない。
例えば、ユーザが、地域、時間帯、及び天候の各々を独立して１つずつ入力した場合、入力された地域、入力された時間帯、及び入力された天候の組み合わせから特定されるパターンが指定されたことになる。
また例えば、撮像画像の撮像時の状態で特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、入力された値等が変換されたパターンが指定されたことになる。
さらに例えば、複数のパターンが予めユーザに提示される場合（図１の表示部１９に表示される場合）、ユーザは、提示された複数のパターンの中から所望の１つを選択すると、その選択されたパターンが指定されたことになる。
In this method, it is also assumed that the user can specify a desired pattern among the patterns specified from the combination of region, date, and weather by operating the
The pattern designating method in this case is not particularly limited as long as it is a method capable of uniquely specifying various patterns on the
For example, when the user inputs each region, time zone, and weather independently one by one, the pattern specified from the combination of the input region, the input time zone, and the input weather is specified. It will be done.
In addition, for example, when a user inputs a changed value or the like only for a parameter desired to be changed among regions, time zones, and weathers, using a pattern specified in a state at the time of capturing a captured image as a basic pattern, A pattern obtained by converting an input value or the like with respect to the basic pattern is designated.
Further, for example, when a plurality of patterns are presented to the user in advance (when displayed on the
このような前提の下、空画像生成部４３は、ユーザによりパターンが指定されると、当該パターンについての空の基本色を空色記憶部５１から認識し、当該空の基本色を、空領域の色として仮設定する。
また、空画像生成部４３は、空領域特定部４２から通知された空領域の高度範囲に基づいて、空領域を構成する各画素の高度をそれぞれ算出する。
次に、空画像生成部４３は、空領域を構成する各画素のそれぞれを、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）として設定して、注目画素の色を次のようにして設定する。即ち、空画像生成部４３は、注目画素の高度に応じた補正内容を空色記憶部５１から認識し、当該補正内容に基づいて仮設定した色（空の基本色）を補正し、補正後の色を注目画素の色として設定する。
また、空画像生成部４３は、空領域以外の領域を構成する各画素の色については、透明を設定する。
Under such a premise, when the user designates a pattern, the sky
The sky
Next, the sky
Further, the sky
このようにしてユーザにより設定されたパターンについての空の基本色が各画素の高度に応じてそれぞれ補正された色が、空領域を構成する各画素の色としてそれぞれ設定される。また、それ以外の領域を構成する画素が透明に設定される。
即ち、このような色の設定がなされた画像のデータが、空画像のデータとして生成される。
In this way, colors obtained by correcting the basic sky color for the pattern set by the user in accordance with the altitude of each pixel are set as the colors of the respective pixels constituting the sky region. Further, the pixels constituting the other area are set to be transparent.
That is, image data with such color settings is generated as empty image data.
合成部４４は、原画像取得部４１により取得された原画像のデータと、空画像生成部４３により生成された空画像のデータとを合成することによって、合成画像のデータを生成する。
具体的には例えば、空領域については透明度が０％（非透明）にされ、それ以外については透明度が１００％（透明）にされた状態で、空画像が原画像の上に重畳されるように、合成画像のデータが生成される。
ここで、空領域の透明度は、０％（非透明）にする必要は特になく、例えば３０％などの半透明にしてもよい。これにより、原画像の色を合成画像に反映させることができる。
具体的には例えば、地域、時間帯、及び天候の３つのパラメータのうち、地域を変更する場合には透明度を０％にして全く違う空に変更するが、地域を変更せずに時間帯や天候だけを変更する場合には透明度を７０％などの半透明にし、時間帯や天候に応じた若干の色変化を表現するようにしてもよい。
また例えば、時間帯を変更する場合には、昼間の青く明るい空に対して夕方の赤みや暗さを表現するために、主に色相や明度の補正度合いを強くし、天候を変更する場合には、例えば晴天の鮮やかさに対して曇天の濁りを表現するために、主に彩度の補正度合いを強くするようにしてもよい。
つまり、地域、時間帯、天候のうちどの内容を変更するかに応じて、色相、彩度、明度のうちどの内容の補正度合いを強くするかを決定するようにしてもよい。
The synthesizing
Specifically, for example, the sky image is superimposed on the original image while the transparency is set to 0% (non-transparent) for the sky region and the transparency is set to 100% (transparent) for the other regions. Then, composite image data is generated.
Here, the transparency of the sky region is not particularly required to be 0% (non-transparent), and may be translucent such as 30%. Thereby, the color of the original image can be reflected in the composite image.
Specifically, for example, among the three parameters of region, time zone, and weather, when changing the region, the transparency is set to 0% and the sky is completely different, but without changing the region, the time zone and When only the weather is changed, the transparency may be made semi-transparent such as 70% to express a slight color change according to the time zone and the weather.
Also, for example, when changing the time zone, in order to express the redness and darkness of the evening against the blue and bright sky in the daytime, mainly when the degree of correction of the hue and lightness is increased and the weather is changed For example, in order to express the cloudiness of the cloudy sky with respect to the vividness of the clear sky, the saturation correction degree may be mainly increased.
That is, it may be determined which of the hue, the saturation, and the brightness is to be increased according to which content is changed among the region, the time zone, and the weather.
合成部４４は、合成画像のデータを、表示制御部４５に供給する。
すると、表示制御部４５は、合成部４４から供給されたデータが表現する合成画像、即ち、原画像に対して空領域の色が変化した画像を表示部１９に表示させる。
The combining
Then, the
また、合成部４４は、ユーザの操作部１８に対する保存の指定操作があった場合、当該合成画像のデータを、例えばリムーバブルメディア３１に保存する。
Further, when there is a save designation operation on the
次に、図３を参照して、以上説明した図２の機能的構成を有する撮像装置１が実行する画像合成処理について説明する。
図３は、図２の機能的構成を有する撮像装置１が実行する画像合成処理の流れの一例を示すフローチャートである。
Next, with reference to FIG. 3, the image composition process executed by the
FIG. 3 is a flowchart showing an example of the flow of image composition processing executed by the
画像合成処理は、例えば、撮像画像が撮像された後に、ユーザが、当該撮像画像の空の色を変更する指示操作を操作部１８に対して行った場合、その操作を契機として開始される。なお、撮像画像の記録指示操作（シャッタ釦の全押操作等）を、空の色を変更する指示操作として兼用することも可能である。
For example, when the user performs an instruction operation for changing the sky color of the captured image on the
ステップＳ１において、原画像取得部４１は、原画像のデータを取得する。
In step S1, the original
ステップＳ２において、空領域特定部４２は、ステップＳ１の処理で取得された原画像のデータを用いて、当該原画像から空領域を特定する処理を実行する。
このようなステップＳ２の処理を、以下、図３の同ステップの記載にあわせて「空領域特定処理」と呼ぶ。空領域特定処理の詳細については、図４のフローチャートを参照して後述する。
空領域特定処理の結果として、空領域の座標位置及び高度範囲が空画像生成部４３に通知されると、処理はステップＳ３に進む。
In step S <b> 2, the sky
Such processing in step S2 is hereinafter referred to as “empty region specifying processing” in accordance with the description of the same step in FIG. Details of the empty area specifying process will be described later with reference to the flowchart of FIG.
As a result of the sky region specifying process, when the sky
ステップＳ３において、空画像生成部４３は、地域、時間帯、及び天候により特定される複数のパターンのうち、ユーザにより指定されたパターンを認識する。
即ち、上述したように、ユーザは、操作部１８を操作することで、所望のパターンを指定することができる。例えば、撮像画像の撮像時の状態で特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、変更を所望するパラメータが入力値等に変換されたパターンが指定されたことになる。
そこで、空画像生成部４３は、このようなユーザによる操作部１８の操作内容を解釈し、その解釈結果に基づいて、ユーザにより指定されたパターンを認識する。
In step S <b> 3, the sky
That is, as described above, the user can designate a desired pattern by operating the
Therefore, the sky
ステップＳ４において、空画像生成部４３は、ユーザにより指定されたパターンの空の基本色を空色記憶部５１から認識し、空領域の高度に応じて当該基本色を画素単位で補正し、補正後の色を空領域の色として設定することによって、空画像のデータを生成する。
このようなステップＳ４の処理を、以下、図３の同ステップの記載にあわせて「空画像生成処理」と呼ぶ。空画像生成処理の詳細については、図５のフローチャートを参照して後述する。
空画像生成処理の結果、空画像のデータが得られて合成部４４に供給されると、処理はステップＳ５に進む。
In step S4, the sky
Such processing in step S4 is hereinafter referred to as “empty image generation processing” in accordance with the description of the same step in FIG. Details of the sky image generation processing will be described later with reference to the flowchart of FIG.
As a result of the sky image generation processing, when sky image data is obtained and supplied to the
ステップＳ５において、合成部４４は、ステップＳ１の処理で取得された原画像のデータと、ステップＳ４の処理で生成された空画像のデータとを合成することにより、合成画像のデータを生成する。
In step S5, the synthesizing
ステップＳ６において、表示制御部４５は、ステップＳ５の処理で生成されたデータにより表現される合成画像を、表示部１９に表示させる。
これにより、画像合成処理は終了する。
In step S6, the
Thereby, the image composition process is completed.
次に、図４を参照して、図３の画像合成処理のうち、ステップＳ２の空領域特定処理の詳細な流れについて説明する。
図４は、空領域特定処理の詳細な流れを説明するフローチャートである。
Next, with reference to FIG. 4, the detailed flow of the sky region specifying process in step S <b> 2 in the image composition process in FIG. 3 will be described.
FIG. 4 is a flowchart for explaining the detailed flow of the empty area specifying process.
ステップＳ２１において、空領域特定部４２は、撮像時における傾き検出部２２の検出結果のうち、光軸周りの撮像装置１の回転角に基づいて、原画像が正しく垂直に立つように、当該原画像のデータを補正する。
In step S <b> 21, the sky
ステップＳ２２において、空領域特定部４２は、ステップＳ２１の処理で補正した原画像のデータについて、当該原画像の最上端から下方向に向けて、色領域を探索する。
In step S22, the sky
ステップＳ２３において、空領域特定部４２は、ステップＳ２２の処理で探索された色領域を起点として、空領域を特定する。
即ち、空領域特定部４２は、探索された色領域を空領域の最上端領域として、所定条件が満たされる範囲内で、当該最上端領域から連続する領域を拡張していくことにより、空領域を特定する。
In step S23, the sky
That is, the sky
ステップＳ２４において、空領域特定部４２は、撮像時における傾き検出部２２の検出結果のうち、撮像装置１の仰俯角に基づいて、ステップＳ２３の処理で特定された空領域の高度範囲を算出する。
In step S24, the sky
これにより、空領域特定処理は終了する。即ち、図３のステップＳ２の処理が終了して、処理はステップＳ３に進む。
すると、上述したように、ステップＳ３の処理で、ユーザにより指定されたパターン（地域、時間帯、天候）が認識され、ステップＳ４の空画像生成処理で、当該パターンに応じた色の空領域を含む空画像のデータが生成される。
Thereby, the empty area specifying process ends. That is, the process of step S2 in FIG. 3 ends, and the process proceeds to step S3.
Then, as described above, the pattern (region, time zone, weather) designated by the user is recognized in the process of step S3, and the sky area of the color corresponding to the pattern is selected in the sky image generation process of step S4. Including empty image data is generated.
そこで、以下、図５を参照して、このようなステップＳ４の空画像生成処理の詳細な流れについて説明する。
図５は、図３の画像合成処理のうち、ステップＳ４の空画像生成処理の詳細な流れを説明するフローチャートである。
Therefore, with reference to FIG. 5, the detailed flow of the sky image generation process in step S4 will be described below.
FIG. 5 is a flowchart for explaining the detailed flow of the blank image generation process in step S4 in the image composition process of FIG.
ステップＳ３１において、空画像生成部４３は、図３のステップＳ３の処理で認識されたパターン（地域、時間帯、天候）、即ち、ユーザにより指定されたパターンについての空の基本色を、空色記憶部５１に記憶された基本色情報から認識する。
In step S31, the sky
ステップＳ３２において、空画像生成部４３は、図３のステップＳ２の空領域特定処理により特定された空領域を構成する各画素の中から、色を決定すべき１つの画素を注目画素として設定する。
In step S <b> 32, the sky
ステップＳ３３において、空画像生成部４３は、注目画素の高度を算出する。具体的には、空画像生成部４３は、図３のステップＳ２の空領域特定処理により特定された空領域の高度範囲のうち最下部の高度を、基準高度として設定する。また、空画像生成部４３は、空領域のうち最下部の画素と注目画素との高度差を算出する。
In step S33, the sky
ここで、高度差の算出の手法としては、より正確性を求める場合には三角関数を用いる手法を採用してもよいが、処理時間等の考慮が必要な場合には、例えば次のような比例計算を用いる手法を採用すればよい。
即ち、空領域の高度範囲がそれほど大きくない場合には、空領域内の２点間の距離の垂直成分と当該２点間の高度差は近似的に比例すると考えてよい。
このように考えた場合、空画像生成部４３は、空領域の最下部を起点として、起点から注目画素までの距離の垂直成分の、起点から空領域の最上部までの距離の垂直成分に対する比率を求める。
次に、空画像生成部４３は、当該比率と、空領域の最下部から最上部までの高度差とを乗算し、その結果得られる角度を、高度差として求める。
そして、空画像生成部４３は、基準高度に対して高度差を加えることにより、注目画素の高度を算出する。
Here, as a method of calculating the altitude difference, a method using a trigonometric function may be adopted when more accuracy is required. However, when processing time or the like needs to be considered, for example, the following A method using proportional calculation may be employed.
That is, when the altitude range of the sky region is not so large, the vertical component of the distance between two points in the sky region and the altitude difference between the two points may be considered to be approximately proportional.
When considered in this way, the sky
Next, the sky
Then, the sky
ステップＳ３４において、空画像生成部４３は、ステップＳ３３の処理で算出した高度に応じた補正内容を、空色記憶部５１に記憶された高度補正情報に基づいて求める。
なお、この高度補正情報は、上記全てのパターンで共通のものを用いてもよいが、空の基本色と同様に、ユーザにより指定されたパターンに応じて選択するようにしてもよい。
In step S <b> 34, the sky
The altitude correction information may be the same for all the patterns described above, but may be selected according to the pattern specified by the user, as with the basic sky color.
ステップＳ３５において、空画像生成部４３は、ステップＳ３４の処理で求めた補正内容に応じて、ステップＳ３１の処理で認識した空の基本色を補正する。
In step S35, the sky
ステップＳ３６において、空画像生成部４３は、ステップＳ３５の処理による補正後の色を、注目画素の色として設定する。
In step S36, the sky
ステップＳ３７において、空画像生成部４３は、空領域の全画素について色を設定したか否かを判定する。
空領域を構成する各画素の中に、未だ注目画素に設定されていない画素が存在する場合、当該画素の色は未だ設定されていないので、ステップＳ３７においてＹＥＳであると判定されて、処理はステップＳ３２に戻され、それ以降の処理が繰り返される。即ち、空領域を構成する各画素のそれぞれが注目画素に設定される毎に、ステップＳ３３乃至Ｓ３６の処理が繰り返し実行されて、注目画素となった画素の色がその都度設定される。
このように、ステップＳ３２乃至Ｓ３７のループ処理が繰り返し実行されることによって、空領域を構成する画素毎に、高度に応じて空の基本色が補正された色がそれぞれ設定される。これにより、空領域の色は、一律に同一色になるのではなく、空の基本色をベースにしつつも画素単位で微妙に変化する（高度に応じた変化をしていく）ので、自然な空の色に近付くことになる。
その後、空領域を構成する各画素のうち、最後に注目画素に設定された画素についてのステップＳ３６の処理が終了すると、即ち、空領域の全画素について色が設定されると、ステップＳ３７においてＹＥＳであると判定されて、処理はステップＳ３８に進む。
In step S37, the sky
If there is a pixel that has not yet been set as the pixel of interest among the pixels that make up the sky region, the color of the pixel has not yet been set, so it is determined as YES in step S37, and the process is The process returns to step S32, and the subsequent processing is repeated. That is, every time each pixel constituting the sky region is set as the target pixel, the processing of steps S33 to S36 is repeatedly executed, and the color of the pixel that has become the target pixel is set each time.
In this way, by repeatedly executing the loop processing of steps S32 to S37, a color in which the sky basic color is corrected according to the altitude is set for each pixel constituting the sky region. As a result, the color of the sky area is not uniformly the same color, but it is subtly changed on a pixel-by-pixel basis (based on the altitude), so it is natural. It approaches the color of the sky.
Thereafter, when the processing of step S36 for the pixel set as the target pixel at the end among the pixels constituting the sky region is completed, that is, when colors are set for all the pixels in the sky region, YES is determined in step S37. The process proceeds to step S38.
ステップＳ３８において、空画像生成部４３は、原画像と同一解像度であって、空領域を構成する各画素については、ステップＳ３２乃至Ｓ３７のループ処理でそれぞれ設定された色を有し、それ以外の領域は透明となっている画像のデータを、空画像のデータとして生成する。
In step S38, the sky
これにより、空画像生成処理は終了する。即ち、図３のステップＳ４の処理は終了し、処理はステップＳ５に進む。
ステップＳ５の処理で、原画像と空画像とが合成された合成画像のデータが生成され、ステップＳ６の処理で、当該合成画像が表示される。
Thereby, the sky image generation process ends. That is, the process of step S4 in FIG. 3 ends, and the process proceeds to step S5.
In step S5, composite image data is generated by combining the original image and the sky image, and in step S6, the composite image is displayed.
以上、空領域の透明度を０％（非透明）にする空画像生成処理について説明した。しかしながら、空領域の透明度は、０％にする必要は特になく、半透明（０％を超えた任意の％）であってもよい。この場合の空画像生成処理は、基本的に上述の図５のフローチャートに従った処理になる。ただし、ステップ３８において、上述の処理の代わりに、次のような処理が実行される。
まず、空画像生成部４３は、地域、時間帯、天候のうちどの内容を変更するかに応じて、色相、彩度、明度の各々の補正度合いを取得する。
次に、空画像生成部４３は、原画像のデータを色相、彩度、明度の３つの成分に分割し、色相成分原画像、彩度成分原画像、及び明度成分原画像の各データを生成する。
空画像生成部４３は、空画像のデータについても同様にして、色相成分空画像、彩度成分空画像、明度成分空画像の各データを生成する。
そして、空画像生成部４３は、色相成分空画像の透明度を、色相の補正度合に対応する値に設定し、透明度が設定された色相成分空画像と色相成分原画像との各データを合成することによって、色相成分合成画像のデータを生成する。
同様にして、空画像生成部４３は、彩度成分合成画像と明度成分合成画像との各データも生成する。
最後に、空画像生成部４３は、これら生成された色相成分合成画像、彩度成分合成画像、明度成分合成画像の各データを合成することによって、合成画像のデータを生成する。
The sky image generation process for setting the transparency of the sky region to 0% (non-transparent) has been described above. However, the transparency of the sky region is not particularly required to be 0%, and may be translucent (any% exceeding 0%). The sky image generation process in this case is basically a process according to the flowchart of FIG. However, in step 38, the following processing is executed instead of the above processing.
First, the sky
Next, the sky
The sky
Then, the sky
Similarly, the sky
Finally, the sky
以上説明したように、本発明の第１実施形態に係る撮像装置１は、原画像取得部４１と、空領域特定部４２と、空画像生成部４３と、合成部４４と、を備えている。
原画像取得部４１は、空の像を含む原画像のデータを取得する。
空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。
空画像生成部４３は、空領域の基本となる基本色を設定し、空領域の各画素が示す空の高度をそれぞれ求め、基本色及び高度に基づいて、空領域の各画素が示す空の色をそれぞれ変換するための補正情報として、空画像のデータを生成する。即ち、空画像生成部４３は、基本色及び高度に基づいて、空領域の各部分の補正後の色を設定し、補正後の色をそれぞれ有する各部分から構成される空領域を含む空画像のデータを、補正情報として生成する。
合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
As described above, the
The original
The sky
The sky
The combining
ここで、ユーザが、撮像装置１を用いて、所定場所（例えば日本国の東京都Ａ区）から見える空の景観の画像を、撮像画像として撮像する場合を考える。ただし、ユーザの撮像行為の目的は、当該所定場所（例えば日本国の東京都Ａ区）から見える空であって、かつ、所望の色になっている空の景観の画像を得ることであるとする。
この場合、空画像生成部４３は、基本色として適切な色を設定することで、空領域の各画素が示す空の色として、ユーザの所望の色を設定することが可能になる。このようにして、ユーザの撮像行為の目的に合致した画像処理が実現される。
さらに、空領域に対しては、基本色等の同一色が一律に設定されるわけではなく、各画素の高度に応じて基本色が画素単位で補正された色（補正後の色）がそれぞれ設定されるので、空領域の色は、より自然で現実味のある空の色に変換されることになる。このようにして、より自然で現実味のある空の色を表現できる画像処理が実現可能になる。
Here, consider a case where the user uses the
In this case, the sky
Furthermore, the same color such as the basic color is not uniformly set for the sky area, and the color (the color after correction) in which the basic color is corrected in units of pixels according to the altitude of each pixel. Since it is set, the color of the sky region is converted to a more natural and realistic sky color. In this way, it is possible to realize image processing that can express a more natural and realistic sky color.
さらに、本発明の第１実施形態の撮像装置１においては、地域、時間帯、及び天候をパラメータとして、複数のパラメータにより特定されるパターン毎に、基本色の候補となる色（空の基本色）がそれぞれ予め対応付けられている。
そして、ユーザは、操作部１８を操作することによって、複数のパターンのうち、所定のパターンを指定することができる。
この場合のパターンの指定手法は、結果としてパターンを指定できたのと等価になっていれば足り、特に限定されない。
上述したように、例えば、ユーザが、地域、時間帯、及び天候の各々を独立して１つずつ入力した場合、入力された地域、入力された時間帯、及び入力された天候から特定されるパターンが指定されたことになる。
また例えば、撮像画像の撮像時に特定されるパターンを基礎パターンとして、ユーザが、地域、時間帯、及び天候のうち変更を所望するパラメータのみについて、変更後の値等を入力した場合、基礎パターンに対して、パラメータが入力値等に変換されたパターンが指定されたことになる。
さらに例えば、複数のパターンが予めユーザに提示される場合（図１の表示部１９に表示される場合）、ユーザは、提示された複数のパターンの中から所望の１つを選択すると、その選択されたパターンが指定されたことになる。
これにより、空画像生成部４３は、指定された所定のパターンに対応する色を、基本色として設定することができるので、ユーザの撮像行為の目的により合致した画像処理が実現可能になる。
Furthermore, in the
Then, the user can designate a predetermined pattern among the plurality of patterns by operating the
The pattern designation method in this case is not particularly limited as long as it is equivalent to the pattern designation method as a result.
As described above, for example, when the user inputs each of the region, the time zone, and the weather independently, one is specified from the input region, the input time zone, and the input weather. A pattern is specified.
In addition, for example, when a pattern specified at the time of capturing a captured image is used as a basic pattern, and the user inputs a changed value or the like only for a parameter desired to be changed among regions, time zones, and weathers, the basic pattern is On the other hand, a pattern in which a parameter is converted into an input value or the like is designated.
Further, for example, when a plurality of patterns are presented to the user in advance (when displayed on the
Thereby, the sky
以上の、本発明の第１実施形態の撮像装置１が奏することが可能な効果を、具体的に説明すると、次のようになる。
The effects that can be achieved by the
例えば、ユーザにとって、地域、時間帯、及び天候から特定されるパターンとして所望のパターンで撮像したのと等価な景観の画像を容易に得ることが可能になる。
即ち、ユーザは、地域、時間帯、及び天候の各パラメータを全く独立に選択して組み合わせることによって、各種各様のパターンを指定することができる。
従って、撮像画像に写る空の色として、撮像地点とは全く別の地域の空の色や、撮像時点とは全く別の時間帯の空の色を反映させることが容易に可能になる。
さらに、パラメータとしての時間帯は、１日単位のスパンのみならず、月単位や年単位のスパンで設定することが可能である。これにより、四季の移り変わり等の長期のスパンでの、空の色の変化を撮像画像に反映させることが容易に可能になる。
このように、ユーザは、撮像画像に写る空の色を、撮像後の任意の時点で、任意の色に変換することができる。従って、ユーザは、景観を撮像する場合、撮像時点の空の状態を何ら考慮する必要がなくなる。
これにより、最終的にデータとして記録される画像について、作画表現の幅や範囲を広げ、ユーザにとって失敗と認識される率を大幅に低減することが可能になる。また、ユーザは、レタッチソフトで修正加工する手間も必要としない。
For example, it is possible for the user to easily obtain an image of a landscape equivalent to an image captured in a desired pattern as a pattern specified from the region, time zone, and weather.
That is, the user can designate various patterns by selecting and combining the parameters of the region, the time zone, and the weather completely independently.
Accordingly, it is possible to easily reflect a sky color in a region completely different from the imaging point or a sky color in a time zone completely different from the imaging time point as the sky color reflected in the captured image.
Furthermore, the time zone as a parameter can be set not only with a span in a day unit but also with a span in a month unit or a year unit. As a result, it is possible to easily reflect the change in the sky color in the captured image over a long span such as the transition of the four seasons.
Thus, the user can convert the sky color that appears in the captured image into an arbitrary color at an arbitrary time point after the imaging. Therefore, when the user captures a landscape, the user does not need to consider the sky state at the time of imaging.
As a result, it is possible to widen the range and range of drawing expression for an image that is finally recorded as data, and to greatly reduce the rate at which the user recognizes failure. In addition, the user does not need the trouble of performing correction processing with retouching software.
また、本発明の第１実施形態の撮像装置１により、上述した画像合成処理が実行された結果として得られる合成画像のうち、空領域の色は、原画像の空の色が補正された色になっている。さらに、空領域全体で一律に同一色となるように補正されるのではなく、画素単位で、空の高度角（仰俯角）に応じた色にそれぞれ補正される。これにより、補正後の空領域の色は、より自然で現実味のある空の色になる。
即ち、他の被写体と比べて、空という被写体は、田舎や都会、海辺や山裾等の場所の違いによらず、屋外であればどんな場所にでも存在し、撮像画像に写る可能性が高く、かつ写る面積も広い。従って、空の状態によって撮像画像の雰囲気が大きく変化することも多々あるため、空は被写体としての影響力が強い。
本発明の第１実施形態の撮像装置１は、この空の状態のうち、特に影響力の強い空の色を、撮像時とは異なる色であるが、違和感の無い自然な空の色へと自由に変更することが可能となる。
In the synthesized image obtained as a result of executing the above-described image synthesis processing by the
In other words, compared to other subjects, the sky subject can be present anywhere in the outdoors, regardless of the location of the countryside, city, seaside, mountain skirt, etc. Also, the area that can be seen is large. Therefore, the atmosphere of the captured image often changes greatly depending on the sky state, so the sky has a strong influence as a subject.
The
以上、本発明の画像処理装置の第１実施形態としての撮像装置１について説明した。
次に、本発明の画像処理装置の第２実施形態としての撮像装置１について説明する。
Heretofore, the
Next, an
〔第２実施形態〕
本発明の第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と基本的に同様のハードウェア構成を取ることができる。
従って、図１は、第２実施形態に係る撮像装置１のハードウェアの構成を示すブロック図でもある。第２実施形態に係る撮像装置１は、第１実施形態と同様に、例えばデジタルカメラにより構成することができる。
[Second Embodiment]
The
Therefore, FIG. 1 is also a block diagram illustrating a hardware configuration of the
図６は、本発明の第２実施形態に係る撮像装置１の機能的構成のうち、画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
FIG. 6 is a functional block diagram illustrating an example of a functional configuration that realizes an execution function of an image composition process among the functional configurations of the
図２と図６とを比較するに、第２実施形態に係る撮像装置１のCPU１１内の機能的構成は、第１実施形態に係る機能的構成と基本的に同様である。
ただし、空画像生成部４３に適用されている空画像のデータの生成手法が、第１実施形態と第２実施形態とでは異なる。即ち、第１実施形態では、実際の観測に基づく空の基本色に基づいて空画像のデータを生成する手法が採用されていた。これに対して、第２実施形態では、シミュレーションに基づいて空画像のデータを生成する手法が採用されている。
2 and 6 are compared, the functional configuration in the
However, the method for generating the data of the sky image applied to the sky
このような空画像のデータの生成手法の違いにより、記憶部２０内の構成が、第１実施形態と第２実施形態とでは異なる。即ち、第１実施形態では、実際の観測に基づく空の基本色を示す基本色情報が複数のパターン毎に記憶される空色記憶部５１が、記憶部２０に設けられていた。これに対して、第２実施形態では、シミュレーションに用いる情報が記憶される気象状態記憶部６１が、記憶部２０に設けられている。
即ち、気象状態記憶部６１は、空の色を発現させる原因となる太陽や大気の状態を示す情報（以下、「気象状態情報」と呼ぶ）を複数のパターン毎に記憶している。ここで、パターンは、第１実施形態と同様に、地域、時間帯、及び天候の各パラメータの組み合わせにより特定される。
Due to the difference in the generation method of the sky image data, the configuration in the
That is, the weather
このように、第２実施形態では、空画像生成部４３は、気象状態記憶部６１にパターン毎に記憶されている気象状態情報から、所定パターンの太陽や大気の状態を認識する。
次に、空画像生成部４３は、認識された状態を用いて、所定のシミュレーションを実行する。具体的には、空画像生成部４３は、認識された状態に基づいてパラメータを設定し、当該パラメータを用いた大気光散乱シミュレーションを実行する。
そして、空画像生成部４３は、当該シミュレーションの結果に基づいて、空領域の各部分の色を設定し、その後、第１実施形態と同様の手法により、空画像のデータを生成する。
As described above, in the second embodiment, the sky
Next, the sky
Then, the sky
さらに、以下、第２実施形態に係る空画像生成部４３に適用可能な、空領域の各部分の色の設定手法の一例について説明する。
Furthermore, an example of a color setting method for each part of the sky region that can be applied to the sky
上述したように、本設定手法では、大気光散乱シミュレーションが実行される。空（天空）の色は、大気光散乱が一因となって決定されるからである。このような大気光散乱は、主にレイリー散乱とミー散乱の２種類に大別される。 As described above, in this setting method, atmospheric light scattering simulation is executed. This is because the color of the sky (sky) is determined due to atmospheric light scattering. Such atmospheric light scattering is mainly classified into two types, Rayleigh scattering and Mie scattering.
レイリー散乱とは、光の波長より小さい空気分子による散乱であり、光の波長の４乗に反比例し、波長によって散乱確率が大きく異なるという特徴を有する散乱である。
そこで先ず、光の波長毎に、多数の光子が、撮像装置１から空領域の各方向に向けて放出されたという仮想の下、空画像生成部４３は、次のようなシミュレーションを実行する。
即ち、空画像生成部４３は、上述の仮想の下に、光子がレイリー散乱を起こしながら大気圏の外に出るまでのシミュレーションを実行する。空画像生成部４３は、シミュレーションの実行中に、光子の軌跡を追い、当該光子が大気圏を出た位置と方向によって、当該光子が撮像装置１に伝達するエネルギーを決定する。
空画像生成部４３は、放出された全光子について、このようなエネルギーの決定を行い、光子の波長毎、また、撮像装置１から放出された方向毎に、各光子のエネルギーの和を取ることにより、各波長の各方向における分光強度を求める。
このようにして、レイリー散乱についての分光強度が、光の波長毎、また、空領域の方向毎に求められる。
なお、このシミュレーションの詳細は、非特許文献１にも記載されている。
Rayleigh scattering is scattering by air molecules smaller than the wavelength of light, and is characterized by being inversely proportional to the fourth power of the wavelength of light and having a scattering probability that varies greatly depending on the wavelength.
Therefore, first, the sky
That is, the aerial
The sky
In this way, the spectral intensity for Rayleigh scattering is determined for each wavelength of light and for each direction of the sky region.
Details of this simulation are also described in
一方、ミー散乱とは、光の波長と同程度の塵や雲などのエアロゾル微粒子による散乱であり、光の波長にはあまり依存しないが、その日の天候によって散乱確率が大きく異なるという特徴を有する散乱である。
そこで、空画像生成部４３は、エアロゾルなどの大気の状態を気象状態記憶部６１から認識し、当該大気の状態をパラメータにして、レイリー散乱についてのシミュレーションと同様のシミュレーションを実行する。
これにより、ミー散乱についての分光強度が、光の波長毎、また、空領域の方向毎に求められる。
On the other hand, Mie scattering is scattering by aerosol fine particles such as dust and clouds that have the same wavelength as the light. It does not depend much on the wavelength of light, but has a characteristic that the scattering probability varies greatly depending on the weather of the day. It is.
Therefore, the aerial
Thereby, the spectral intensity about Mie scattering is calculated | required for every wavelength of light, and for every direction of an empty area | region.
空画像生成部４３は、光の波長毎、空領域の方向毎に、レイリー散乱についての分光強度とミー散乱についての分光強度の和を算出することにより、光の波長毎、空領域の方向毎の分光強度を求める。
そして、空画像生成部４３は、各方向の波長毎の分光強度に基づいて、空領域の各部分の色をそれぞれ設定する。
The sky
Then, the sky
以上、第２実施形態に係る空画像生成部４３に適用可能な、空領域の各部分の色の設定手法の一例について説明した。
なお、第２実施形態に係る空画像生成部４３に適用可能な、空領域の各部分の色の設定手法は、上述の例に特に限定されず、各種各様の手法を採用することが可能である。
The example of the color setting method for each part of the sky region that can be applied to the sky
Note that the color setting method of each part of the sky region that can be applied to the sky
以上説明した図６の機能的構成を有する撮像装置１、即ち第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と同様に、図３のフローチャートの流れに従って、画像合成処理を実行する。
ただし、上述したように、空画像のデータを生成する手法が、第１実施形態と第２実施形態とでは異なる。このため、ステップＳ４の空画像生成処理も、第１実施形態と第２実施形態とでは異なる。
そこで、以下、図７を参照して、第２実施形態に係る撮像装置１が実行する空画像生成処理について説明する。
The
However, as described above, the method for generating the data of the sky image is different between the first embodiment and the second embodiment. For this reason, the sky image generation processing in step S4 is also different between the first embodiment and the second embodiment.
Therefore, hereinafter, a sky image generation process executed by the
図７は、図３の画像合成処理のうち、第２実施形態に係るステップＳ４の空画像生成処理の詳細な流れを説明するフローチャートである。 FIG. 7 is a flowchart for explaining the detailed flow of the sky image generation process in step S4 according to the second embodiment in the image composition process of FIG.
ステップＳ５１において、空画像生成部４３は、図３のステップＳ３の処理で認識されたパターン（地域、時間帯、天候）、即ち、ユーザにより指定されたパターンについての太陽と大気の状態を、気象状態記憶部６１に記憶された気象状態情報から認識する。
In step S51, the sky
ステップＳ５２において、空画像生成部４３は、ステップＳ５１の処理で認識した太陽と大気の状態に基づいて大気光散乱シミュレーションを実行する。
In step S52, the sky
ステップＳ５３において、空画像生成部４３は、図３のステップＳ２の空領域特定処理で特定された空領域の各部分の色を設定する。
In step S53, the sky
ステップＳ５４において、空画像生成部４３は、原画像と同一解像度であって、空領域を構成する各画素については、ステップＳ５３の処理でそれぞれ設定された色を有し、それ以外の領域は透明となっている画像のデータを、空画像のデータとして生成する。
In step S54, the sky
これにより、第２実施形態に係る空画像生成処理は終了する。即ち、図３のステップＳ４の処理は終了し、処理はステップＳ５に進む。
ステップＳ５の処理で、撮像画像と空画像とが合成された合成画像のデータが生成され、ステップＳ６の処理で、当該合成画像が表示される。
Thereby, the sky image generation process according to the second embodiment ends. That is, the process of step S4 in FIG. 3 ends, and the process proceeds to step S5.
In step S5, composite image data obtained by combining the captured image and the sky image is generated. In step S6, the composite image is displayed.
以上説明したように、本発明の第２実施形態に係る撮像装置１は、原画像取得部４１と、空領域特定部４２と、空画像生成部４３と、合成部４４と、を備えている。
原画像取得部４１は、空の像を含む原画像のデータを取得する。
空領域特定部４２は、原画像のデータについて、空の像を含む領域を空領域として特定する。
空画像生成部４３は、地域、時間帯、及び天候の３つのパラメータから特定される各種パターンのうち、ユーザにより指定されたパターンについての、太陽と大気の状態を認識する。次に、空画像生成部４３は、これらの太陽と大気の状態に基づいて大気光散乱シミュレーションを実行し、その実行結果に基づいて、空領域特定処理の各部分の色を設定する。そして、空画像生成部４３は、原画像と同一解像度であって、空領域については、ステップＳ５３の処理で設定された色として、それ以外の領域については透明とする空画像のデータを、補正情報として生成する。
合成部４４は、原画像のデータと、空画像生成部４３により補正情報として生成された画像のデータとを合成することによって、原画像のデータに対して、空領域の色が補正後の色に変換された合成画像のデータを生成する。
As described above, the
The original
The sky
The sky
The combining
これにより、第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と同様の効果を奏することができるとともに、さらに、次のような効果を奏することが可能になる。
即ち、上述の第２実施形態の説明では、空画像生成部４３は、気象状態記憶部６１にパターン毎に記憶されている太陽や大気の気象状態情報を用いて空の色をシミュレートしていたが、オプションとして、ユーザが太陽や大気の気象状態を変更できるようにすれば、ある地域において現実にはあり得ない気象状態を設定して、空の色をシミュレートすることも可能になる。
この場合、その地域の気象状態としては現実にあり得ないとしても、空の色としては、あくまでも自然法則に則ってシミュレートされているわけであるから、現実に起こり得る自然な画像となるはずである。
このようにして、第２実施形態に係る撮像装置１は、ユーザの画像創作の可能性を、さらに広げることが可能となる。
Thereby, the
That is, in the description of the second embodiment described above, the sky
In this case, even if the weather condition in the area is not possible in reality, the sky color is only simulated according to the laws of nature, so it should be a natural image that can actually occur. It is.
In this way, the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
即ち、本発明の画像処理装置は、上述の第１及び第２の実施形態に限定されず、原画像内の空の状態を、撮像時点の実際の空の状態とは異なり、かつ、他の自然な空の状態へと変換する画像処理を実行可能であれば足り、各種各様の実施形態を取ることができる。 That is, the image processing apparatus of the present invention is not limited to the first and second embodiments described above, and the empty state in the original image is different from the actual empty state at the time of imaging, and other It is only necessary to be able to execute image processing for conversion to a natural sky state, and various embodiments can be taken.
換言すると、第１実施形態に係る撮像装置１は、空の状態として空の色を採用し、次のような画像処理を実行する画像処理装置の一例である。即ち、第１実施形態に係る撮像装置１は、撮像時点の空の色とは異なる空の色を基本色として決定し、原画像内より検出される空領域内の各部分（各画素）の色を、その高度（仰俯角）に応じて基本色が補正された色に変換する、といった第１画像処理を実行する。
In other words, the
第１実施形態に係る撮像装置１は、第１画像処理を実現するに際し、地域、時間帯、及び天候といった３つのパラメータの組み合わせ（パターン）に基づいて、基本色や、高度（仰俯角）に応じた補正内容を決定した。しかしながら、基本色や、高度（仰俯角）に応じた補正内容を決定するために用いるパラメータは、特に第１実施形態の例に限定されず、任意の数の任意の種類のパラメータを採用することができる。
例えば、本発明の画像処理装置は、地域（撮像地域等）と時間帯の少なくとも一方をパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
例えば、本発明の画像処理装置は、ユーザが任意に指定した天候を少なくともパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
例えば、本発明の画像処理装置は、ユーザが任意に指定した色を少なくともパラメータとして用いて、基本色や、高度（仰俯角）に応じた補正内容を決定してもよい。
When the first image processing is realized, the
For example, the image processing apparatus of the present invention may determine the content of correction according to the basic color or altitude (elevation angle) using at least one of a region (such as an imaging region) and a time zone as a parameter.
For example, the image processing apparatus of the present invention may determine the correction content according to the basic color and altitude (elevation angle) using at least the weather arbitrarily designated by the user as a parameter.
For example, the image processing apparatus of the present invention may determine the correction content according to the basic color and the altitude (elevation angle) using at least a color arbitrarily designated by the user as a parameter.
また、第１実施形態に係る撮像装置１は、次のような第２画像処理を実行する画像処理装置の一例であると把握することもできる。即ち、第１実施形態に係る撮像装置１は、原画像内の空の状態を、撮像時点のパターン（地域、時間帯、天候）とは異なるパターンに対応する空の状態に変換する、といった第２画像処理を実行する。
ここで、撮像時点のパターン（地域、時間帯、天候）とは異なるパターンは、例えば、撮像時点の地域、撮像時点の時間帯、及び撮像時点の天候のうち、任意の数の任意のパラメータを変更させることで実現可能である。
即ち、第１実施形態では、このような第２画像処理は、空の状態を示す情報として、パターン（地域、時間帯、及び天候）毎の空の基本色を示す基本色情報や、高度（仰俯角）に応じた色の補正内容を示す高度補正情報が予め保持されることにより実現された。ここで、高度補正情報としては、例えば、明度、彩度、色相の補正データが採用される。
The
Here, the pattern different from the pattern (region, time zone, weather) at the time of imaging is, for example, an arbitrary number of arbitrary parameters among the region at the time of imaging, the time zone at the time of imaging, and the weather at the time of imaging. It can be realized by changing.
That is, in the first embodiment, such second image processing is performed by using basic color information indicating the basic color of the sky for each pattern (region, time zone, and weather) as information indicating the sky state, and altitude ( This is realized by preliminarily storing altitude correction information indicating the color correction content according to the elevation angle. Here, as the altitude correction information, for example, correction data of lightness, saturation, and hue is adopted.
このような第２画像処理の実現形態は、上述の第１実施形態の例に特に限定されず、適宜変化させてもよい。
例えば、次のようにして実現される第２画像処理を実行する画像処理装置が、第２実施形態の撮像装置１であると把握することもできる。即ち、第２実施形態では、「撮像時点のパターン（地域、時間帯、及び天候）とは異なるパターンに対応する空の状態」が、当該パターンの大気状態等に基づく太陽光の散乱をシミュレーションすることにより求められる。当該シミュレーションの結果に基づいて、第２画像処理が実現される。
また例えば、各地域毎に属性や特徴が予め保持されていれば、本発明の画像処理装置は、ユーザにより指定されたパターンにより特定される地域の属性や特徴に基づいて、第２画像処理を実行することができる。ここで、地域の属性や特徴としては、海洋性、大陸性、海岸に近い、都市か田舎か、工場地帯、田畑、森林等を採用することができる。
また例えば、地域と時間帯の組み合わせ毎に、気象要素、エアロゾルの種類や成分や量、特にエアロゾル粒子の大きさ（これにより回折角度や波長等が異なる）、又はミー散乱の係数等を予め設定しておくことができる。この場合、本発明の画像処理装置は、これらの設定内容に基づいて、第２画像処理を実行することができる。
また例えば、シミュレーションに基づいて第２画像処理が実行される場合には、そのシミュレーションの種類やパラメータ等は、第２実施形態の例に特に限定されない。例えば、本発明の画像処理装置は、地域や時間に応じた気象要素若しくはエアロゾル粒子の大きさ等に基づいて、光の屈折若しくは反射、吸収、回折、散乱等の角度又は角度毎の強度といった要素を、シミュレーションを実行して求めてもよい。なお、これらの要素は、シミュレーションによらず、所定のアルゴリズムにより算出されてもよい。
The implementation form of such second image processing is not particularly limited to the example of the first embodiment described above, and may be changed as appropriate.
For example, it can be understood that the image processing apparatus that executes the second image processing realized as follows is the
Also, for example, if attributes and features are stored in advance for each region, the image processing apparatus of the present invention performs the second image processing based on the attributes and features of the region specified by the pattern specified by the user. Can be executed. Here, as the attributes and characteristics of the region, maritime, continental, coastal, urban or countryside, factory zone, field, forest, etc. can be adopted.
For example, for each combination of region and time zone, meteorological factors, aerosol types, components and amounts, in particular aerosol particle size (difference in diffraction angle and wavelength, etc.) or Mie scattering coefficient are set in advance. Can be kept. In this case, the image processing apparatus of the present invention can execute the second image processing based on these setting contents.
For example, when the second image processing is executed based on a simulation, the type and parameters of the simulation are not particularly limited to the example of the second embodiment. For example, the image processing apparatus according to the present invention is based on a weather element or an aerosol particle size according to a region or time, and an element such as an angle such as light refraction or reflection, absorption, diffraction, scattering, or intensity for each angle. May be obtained by executing a simulation. Note that these elements may be calculated by a predetermined algorithm without using a simulation.
ここで、第２画像処理において、変換される空の状態は、第１及び第２実施形態では、空の色とされたが、特にこれに限定されない。
例えば、本発明の画像処理装置は、雲の状態等を変換する第２画像処理を実行してもよい。
具体的には例えば、パターン（例えば、地域、時間帯、天候等から特定されるパターン）毎に、雲の画像のデータを予め関連付けておくことができる。これにより、本発明の画像処理装置は、原画像内の雲の状態を、撮像時点のパターンとは異なるパターンに対応する雲の状態に変換する、といった第２画像処理を容易に実行することができる。
さらにまた、本発明の画像処理装置は、原画像内より検出された空領域内を、更に、雲が存在する部分を雲部分とし、雲が存在しない部分を空部分として、それぞれ区分することで、空の色及び雲の状態の両状態を変換する第２画像処理を実行することができる。
Here, in the second image processing, the sky state to be converted is the sky color in the first and second embodiments, but is not particularly limited thereto.
For example, the image processing apparatus of the present invention may execute the second image processing for converting a cloud state or the like.
Specifically, for example, cloud image data can be associated in advance for each pattern (for example, a pattern specified from a region, a time zone, weather, or the like). Thereby, the image processing apparatus of the present invention can easily execute the second image processing such as converting the cloud state in the original image into a cloud state corresponding to a pattern different from the pattern at the time of imaging. it can.
Furthermore, the image processing apparatus of the present invention classifies the sky area detected from the original image into a cloud part as a cloud part and a cloud part as a sky part. Second image processing for converting both the sky color and the cloud state can be executed.
また、例えば、状態の変換対象は、第１及び第２実施形態では、空領域のみとされたが、特にこれに限定されない。例えば、実際には、空の色が変化すれば、それに応じて、地上に反映される色も変化する。よって、本発明の画像処理装置は、地上の色も空の色に応じて補正してもよい。 Further, for example, the state conversion target is only the empty area in the first and second embodiments, but is not particularly limited thereto. For example, when the sky color actually changes, the color reflected on the ground changes accordingly. Therefore, the image processing apparatus according to the present invention may correct the ground color according to the sky color.
また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。 For example, in the above-described embodiment, the image processing apparatus to which the present invention is applied has been described as an example configured as an imaging apparatus such as a digital camera. However, the present invention is not particularly limited to an imaging apparatus, and is applicable to any electronic device that can execute the above-described image processing regardless of whether or not an imaging function is provided (data of a captured image may be acquired from another apparatus). can do. Specifically, for example, the present invention can be applied to a personal computer, a video camera, a portable navigation device, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１４・・・計時部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・傾き検出部、２３・・・GPS部、２４・・・ドライブ、４１・・・原画像取得部、４２・・・空領域特定部、４３・・・空画像生成部、４４・・・合成部、４５・・・表示制御部、５１・・・空色記憶部、６１・・・気象状態記憶部
DESCRIPTION OF
Claims (11)
前記原画像取得手段により取得された前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段と、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段と、
前記原画像取得手段により取得された前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段と、
を備え、
前記補正情報生成手段は、前記基本色及び前記高度に基づいて、前記空領域の各部分の補正後の色を設定し、前記補正後の色をそれぞれ有する前記各部分から構成される前記空領域を含む画像のデータを、前記補正情報として生成し、
前記補正手段は、前記原画像のデータと、前記補正情報生成手段により前記補正情報として生成された前記画像のデータとを合成することによって、前記原画像のデータに対して、前記空領域の色が補正後の色に変換された画像のデータを生成する、
ことを特徴とする画像処理装置。 Original image acquisition means for acquiring data of the original image including the sky image;
For the original image data acquired by the original image acquisition means, an empty area specifying means for specifying an area including the sky image as an empty area;
The basic color of the sky area specified by the sky area specifying means is set as a basic color, and the sky altitude in each part of the sky area is obtained, respectively, based on the basic color and the altitude, Correction information generating means for generating correction information for converting the empty state in each part of the empty region,
The image data including the sky image whose state is converted is generated by correcting the data of the original image acquired by the original image acquisition unit based on the correction information generated by the correction information generation unit. Correction means to
With
The correction information generation means sets the corrected color of each part of the sky area based on the basic color and the altitude, and the sky area composed of each part having the corrected color. Generating image data including the correction information,
The correction unit combines the data of the original image and the data of the image generated as the correction information by the correction information generation unit, so that the color of the sky area is combined with the data of the original image. Generates image data converted to the corrected color,
An image processing apparatus.
前記補正手段は、前記原画像のデータと、前記補正情報生成手段により生成された前記画像のデータとを前記補正度合いで指定される割合で合成することによって、前記原画像のデータに対して、前記空領域の色が指定された補正度合いで補正された画像のデータを生成する、
ことを特徴とする請求項１に記載の画像処理装置。 The correction information generating means generates, as the correction information, data of an image including the sky area having each of the corrected colors, and information specifying a correction degree of the color of the data of the original image,
The correcting means combines the original image data and the image data generated by the correction information generating means at a ratio specified by the correction degree, thereby to the original image data, Generating image data in which the color of the sky region is corrected at a specified correction degree;
The image processing apparatus according to claim 1 .
前記原画像取得手段により取得された前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段と、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段と、
前記原画像取得手段により取得された前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段と、
を備え、
地域、時間帯、及び天候を少なくともパラメータとして、複数のパラメータの組み合わせにより特定されるパターン毎に、前記基本色の候補となる色がそれぞれ予め対応付けられており、
複数の前記パターンのうち、所定のパターンを指定する指定手段をさらに備え、
前記補正情報生成手段は、前記指定手段により指定された前記所定のパターンに対応する色を、前記基本色として設定する、
ことを特徴とする画像処理装置。 Original image acquisition means for acquiring data of the original image including the sky image;
For the original image data acquired by the original image acquisition means, an empty area specifying means for specifying an area including the sky image as an empty area;
The basic color of the sky area specified by the sky area specifying means is set as a basic color, and the sky altitude in each part of the sky area is obtained, respectively, based on the basic color and the altitude, Correction information generating means for generating correction information for converting the empty state in each part of the empty region,
The image data including the sky image whose state is converted is generated by correcting the data of the original image acquired by the original image acquisition unit based on the correction information generated by the correction information generation unit. Correction means for
With
With at least the region, time zone, and weather as parameters, for each pattern specified by a combination of a plurality of parameters, each color that is a candidate for the basic color is associated in advance,
A designating unit for designating a predetermined pattern among the plurality of patterns;
The correction information generation means sets a color corresponding to the predetermined pattern designated by the designation means as the basic color;
An image processing apparatus.
前記補正情報生成手段は、前記指定手段により指定された前記所定のパターンに対応する各色成分毎の補正度合いを、更に前記補正情報として生成する、
ことを特徴とする請求項３に記載の画像処理装置。 For each pattern specified by a combination of a plurality of parameters, with the region, time zone, and weather as at least parameters, the correction degree for each color component of hue, saturation, and brightness is associated with each other in advance.
The correction information generation means further generates a correction degree for each color component corresponding to the predetermined pattern designated by the designation means as the correction information.
The image processing apparatus according to claim 3 .
前記補正手段は、前記補正情報で指定される補正度合いで前記原画像のデータの色を補正する、
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The correction information includes information specifying a degree of correcting the color of the original image data,
The correction means corrects the color of the data of the original image with a correction degree specified by the correction information;
The image processing apparatus according to claim 1 , wherein the image processing apparatus is an image processing apparatus.
前記補正手段は、前記原画像のデータにおける前記補正情報で指定される色成分を補正する、
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The correction information includes information that specifies which color component is corrected among hue, saturation, and brightness,
The correction means corrects a color component specified by the correction information in the data of the original image;
The image processing apparatus according to claim 1 , wherein the image processing apparatus is an image processing apparatus.
前記補正手段は、前記補正情報で指定される補正度合いで前記原画像のデータの色相、彩度、明度の各色成分を補正する、
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The correction information includes information for specifying a correction degree for each color component of hue, saturation, and brightness,
The correction unit corrects each color component of hue, saturation, and brightness of the data of the original image with a correction degree specified by the correction information.
The image processing apparatus according to claim 1 , wherein the image processing apparatus is an image processing apparatus.
前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定ステップと、
前記空領域特定ステップの処理により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成ステップと、
前記原画像のデータを、前記補正情報生成ステップの処理により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正ステップと、
を含み、
前記補正情報生成ステップは、前記基本色及び前記高度に基づいて、前記空領域の各部分の補正後の色を設定し、前記補正後の色をそれぞれ有する前記各部分から構成される前記空領域を含む画像のデータを、前記補正情報として生成し、
前記補正ステップは、前記原画像のデータと、前記補正情報生成ステップにより前記補正情報として生成された前記画像のデータとを合成することによって、前記原画像のデータに対して、前記空領域の色が補正後の色に変換された画像のデータを生成する、
ことを特徴とする画像処理方法。 In an image processing method executed by an image processing apparatus that executes image processing on data of an original image including a sky image,
For the original image data, a sky region specifying step for specifying a region including the sky image as a sky region;
The basic color of the sky region specified by the processing of the sky region specifying step is set as a basic color, and sky altitudes in each part of the sky region are obtained, respectively, based on the basic color and the altitude A correction information generating step for generating correction information for converting the empty state in each of the portions of the empty area, and
A correction step for generating image data including a sky image whose state has been converted by correcting the original image data based on the correction information generated by the processing of the correction information generation step;
Including
The correction information generation step sets the color after correction of each part of the sky area based on the basic color and the altitude, and the sky area composed of each part having the corrected color. Generating image data including the correction information,
The correction step combines the data of the original image and the data of the image generated as the correction information by the correction information generation step, so that the color of the sky region is added to the data of the original image. Generates image data converted to the corrected color,
An image processing method.
前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段、
前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段、
として機能させ、
前記補正情報生成手段は、前記基本色及び前記高度に基づいて、前記空領域の各部分の補正後の色を設定し、前記補正後の色をそれぞれ有する前記各部分から構成される前記空領域を含む画像のデータを、前記補正情報として生成し、
前記補正手段は、前記原画像のデータと、前記補正情報生成手段により前記補正情報として生成された前記画像のデータとを合成することによって、前記原画像のデータに対して、前記空領域の色が補正後の色に変換された画像のデータを生成する、
ことを特徴とするプログラム。 A computer that controls image processing on the original image data including the sky image;
For the original image data, a sky region specifying means for specifying a region including the sky image as a sky region,
The basic color of the sky area specified by the sky area specifying means is set as a basic color, and the sky altitude in each part of the sky area is obtained, respectively, based on the basic color and the altitude, Correction information generating means for generating correction information for converting the empty state in each part of the sky region,
Correction means for generating data of an image including a sky image whose state has been converted by correcting the data of the original image based on the correction information generated by the correction information generation means;
Function as
The correction information generation means sets the corrected color of each part of the sky area based on the basic color and the altitude, and the sky area composed of each part having the corrected color. Generating image data including the correction information,
The correction unit combines the data of the original image and the data of the image generated as the correction information by the correction information generation unit, so that the color of the sky area is combined with the data of the original image. Generates image data converted to the corrected color,
A program characterized by that .
前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定ステップと、
前記空領域特定ステップの処理により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成ステップと、
前記原画像のデータを、前記補正情報生成ステップの処理により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正ステップと、
を含み、
地域、時間帯、及び天候を少なくともパラメータとして、複数のパラメータの組み合わせにより特定されるパターン毎に、前記基本色の候補となる色がそれぞれ予め対応付けられており、
複数の前記パターンのうち、所定のパターンを指定する指定ステップをさらに備え、
前記補正情報生成ステップは、前記指定ステップにより指定された前記所定のパターンに対応する色を、前記基本色として設定する、
ことを特徴とする画像処理方法。 In an image processing method executed by an image processing apparatus that executes image processing on data of an original image including a sky image,
For the original image data, a sky region specifying step for specifying a region including the sky image as a sky region;
The basic color of the sky region specified by the processing of the sky region specifying step is set as a basic color, and sky altitudes in each part of the sky region are obtained, respectively, based on the basic color and the altitude A correction information generating step for generating correction information for converting the empty state in each of the portions of the empty area, and
A correction step for generating image data including a sky image whose state has been converted by correcting the original image data based on the correction information generated by the processing of the correction information generation step;
Including
With at least the region, time zone, and weather as parameters, for each pattern specified by a combination of a plurality of parameters, each color that is a candidate for the basic color is associated in advance,
A designating step of designating a predetermined pattern among the plurality of patterns;
The correction information generation step sets a color corresponding to the predetermined pattern designated by the designation step as the basic color;
An image processing method.
前記原画像のデータについて、前記空の像を含む領域を空領域として特定する空領域特定手段、
前記空領域特定手段により特定された前記空領域の基本となる色を、基本色として設定し、前記空領域の各部分における空の高度をそれぞれ求め、前記基本色及び前記高度に基づいて、前記空領域の前記各部分における空の状態をそれぞれ変換するための補正情報を生成する補正情報生成手段、
前記原画像のデータを、前記補正情報生成手段により生成された前記補正情報に基づいて補正することによって、状態が変換した空の像を含む画像のデータを生成する補正手段、
として機能させ、
地域、時間帯、及び天候を少なくともパラメータとして、複数のパラメータの組み合わせにより特定されるパターン毎に、前記基本色の候補となる色がそれぞれ予め対応付けられており、
複数の前記パターンのうち、所定のパターンを指定する指定手段をさらに備え、
前記補正情報生成手段は、前記指定手段により指定された前記所定のパターンに対応する色を、前記基本色として設定する、
ことを特徴とするプログラム。 A computer that controls image processing on the original image data including the sky image;
For the original image data, a sky region specifying means for specifying a region including the sky image as a sky region,
The basic color of the sky area specified by the sky area specifying means is set as a basic color, and the sky altitude in each part of the sky area is obtained, respectively, based on the basic color and the altitude, Correction information generating means for generating correction information for converting the empty state in each part of the sky region,
Correction means for generating data of an image including a sky image whose state has been converted by correcting the data of the original image based on the correction information generated by the correction information generation means;
Function as
With at least the region, time zone, and weather as parameters, for each pattern specified by a combination of a plurality of parameters, each color that is a candidate for the basic color is associated in advance,
A designating unit for designating a predetermined pattern among the plurality of patterns;
The correction information generation means sets a color corresponding to the predetermined pattern designated by the designation means as the basic color;
A program characterized by that .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010241067A JP5652126B2 (en) | 2010-10-27 | 2010-10-27 | Image processing apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010241067A JP5652126B2 (en) | 2010-10-27 | 2010-10-27 | Image processing apparatus and method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012093977A JP2012093977A (en) | 2012-05-17 |
| JP5652126B2 true JP5652126B2 (en) | 2015-01-14 |
Family
ID=46387230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010241067A Expired - Fee Related JP5652126B2 (en) | 2010-10-27 | 2010-10-27 | Image processing apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5652126B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6494817B2 (en) * | 2018-01-24 | 2019-04-03 | キヤノン株式会社 | Image processing apparatus, image processing method, and program. |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10028A (en) * | 1853-09-20 | Improvement in razor-strops | ||
| JP3918257B2 (en) * | 1997-11-13 | 2007-05-23 | セイコーエプソン株式会社 | Image processing apparatus, image processing method, and medium storing image processing program |
| US6512846B1 (en) * | 1999-11-29 | 2003-01-28 | Eastman Kodak Company | Determining orientation of images containing blue sky |
| JP2003087815A (en) * | 2001-09-06 | 2003-03-20 | Canon Inc | Image processing apparatus, image processing system, image processing method, storage medium and program |
| JP3957508B2 (en) * | 2001-12-27 | 2007-08-15 | 富士通株式会社 | Constellation display device |
| JP4274383B2 (en) * | 2002-09-12 | 2009-06-03 | パナソニック株式会社 | Image processing device |
| JP2006157450A (en) * | 2004-11-29 | 2006-06-15 | Sony Corp | Imaging apparatus and image processing method |
-
2010
- 2010-10-27 JP JP2010241067A patent/JP5652126B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012093977A (en) | 2012-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112040092B (en) | Real-time virtual scene LED shooting system and method | |
| US20200195847A1 (en) | Image processing method, and unmanned aerial vehicle and system | |
| CN110148204B (en) | Method and system for representing virtual objects in a view of a real environment | |
| US11893701B2 (en) | Method for simulating natural perception in virtual and augmented reality scenes | |
| WO2006137826A2 (en) | System and method for creating a high resolution material image | |
| JPH04358291A (en) | Color image changing method | |
| WO2006020356A2 (en) | Diurnal variation of geo-specific terrain temperatures in real-time infrared sensor simulation | |
| CN114125310B (en) | Photographing method, terminal device and cloud server | |
| JP5813422B2 (en) | Forest land stereoscopic image generation method | |
| CN101422035A (en) | Image high-resolution upgrading device, image high-resolution upgrading method, image high-resolution upgrading program and image high-resolution upgrading system | |
| JP2023056056A (en) | Data generation method, learning method and estimation method | |
| WO2006135376A2 (en) | System and method for infrared sensor simulation | |
| CN115641401A (en) | Construction method and related device of three-dimensional live-action model | |
| JP4144960B2 (en) | Imaging apparatus, image composition apparatus and method | |
| CN104299213A (en) | Method for synthesizing high-dynamic image based on detail features of low-dynamic images | |
| CN108564654B (en) | Picture entering mode of three-dimensional large scene | |
| Nakamae et al. | Rendering of landscapes for environmental assessment | |
| JP2008041107A (en) | Imaging apparatus and image synthesizer | |
| JP5652126B2 (en) | Image processing apparatus and method, and program | |
| JP5440366B2 (en) | Image processing apparatus and method, and program | |
| KR101004350B1 (en) | Fabricating method and apparatus for shaded relief map | |
| KR101873681B1 (en) | System and method for virtual viewing based aerial photography information | |
| JP5621524B2 (en) | Image processing apparatus and method, and program | |
| Doumit | The effect of Neutral Density Filters on drones orthomosaics classifications for land-use mapping | |
| Yoo et al. | Real time light source estimation using a fish-eye lens with nd filters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141103 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5652126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |