JP2008227951A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2008227951A JP2008227951A JP2007063892A JP2007063892A JP2008227951A JP 2008227951 A JP2008227951 A JP 2008227951A JP 2007063892 A JP2007063892 A JP 2007063892A JP 2007063892 A JP2007063892 A JP 2007063892A JP 2008227951 A JP2008227951 A JP 2008227951A
- Authority
- JP
- Japan
- Prior art keywords
- color
- white balance
- matrix
- underwater
- path length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 87
- 239000011159 matrix material Substances 0.000 claims abstract description 158
- 230000003287 optical effect Effects 0.000 claims abstract description 66
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 28
- 239000003086 colorant Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 6
- 238000005259 measurement Methods 0.000 claims 1
- 238000011084 recovery Methods 0.000 abstract description 9
- 238000000034 method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 22
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 241000283216 Phocidae Species 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000005457 Black-body radiation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 240000007320 Pinus strobus Species 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000009189 diving Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000252233 Cyprinus carpio Species 0.000 description 1
- 241000283118 Halichoerus grypus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、ホワイトバランスを調整可能な画像処理装置に関し、特に水中撮影に適したホワイトバランス調整と水中特有の色の消失を復元する技術に関する。 The present invention relates to an image processing apparatus capable of adjusting white balance, and more particularly, to a technique for white balance adjustment suitable for underwater photography and a technique for restoring disappearance of colors peculiar to underwater.
近年のデジタルカメラや家庭用小型ビデオカメラの普及に伴って、スノーケリングやスクーバダイビングの際に、水中にカメラを持ち込んで、水中撮影を楽しむ人が増えてきた。 With the spread of digital cameras and small home video cameras in recent years, an increasing number of people bring their cameras underwater and enjoy underwater shooting during snorkeling and scuba diving.
しかしながら、水中で撮影を行うと、そのままでは青みの強い不自然な色合いの画像が得られる。その理由は、水中に降り注ぐ自然光は、水深に応じて色温度が高くなるためである。 However, when photographing underwater, an image with an unnatural hue with strong bluishness can be obtained as it is. The reason for this is that the natural temperature falling into the water has a higher color temperature depending on the water depth.
例えば、5m程度の水深でも、水中を通過した自然光は、色温度が10000K(ケルビン)にも達する。また、被写体とカメラの間の距離が長い場合、水中を通過する距離も長くなるため、撮影画像はより青みが強くなる。 For example, even at a water depth of about 5 m, the natural light that has passed through the water reaches a color temperature of 10,000 K (Kelvin). Further, when the distance between the subject and the camera is long, the distance passing through the water is also long, so that the photographed image becomes more bluish.
このような青みの強い撮影画像は、水中での撮影だけでなく、水面付近から水中を撮影するスノーケリングを行う際にも問題となる。例えば、3m程度の水深の魚や珊瑚等を水面付近から撮影する場合、太陽光は3mの水中を通過して被写体で反射し、さらに3mの水中を通過してカメラに入射することになり、往復で6mの水中を通過することになるためである。 Such a captured image with a strong bluish color becomes a problem not only when shooting underwater, but also when performing snorkeling for shooting underwater from near the water surface. For example, when shooting a fish or a carp with a depth of about 3 m from the vicinity of the water surface, the sunlight passes through the water of 3 m and is reflected by the subject, and further passes through the water of 3 m and enters the camera. This is because it will pass through 6m of water.
一方、人間は、光に対する順応能力が高く、目が慣れてしまうため、撮影画像と目視との色合いのギャップが大きくなる。 On the other hand, since humans have high adaptability to light and become accustomed to eyes, a gap in hue between a captured image and visual observation becomes large.
現在市販されているデジタルカメラやビデオカメラは、水中のような特殊な光源下での撮影を前提としていないため、水中撮影時にはオートホワイトバランスも正常に機能しない。このため、撮影者は、オレンジやマゼンダ系の光学フィルタをレンズに装着して撮影を行い、正常なホワイトバランスを得ようとしている。ところが、フィルタは、水中での交換が容易ではなく、水深によって刻々と変わる水中光には対応できない。 Since digital cameras and video cameras that are currently on the market do not assume shooting under special light sources such as underwater, auto white balance does not function properly during underwater shooting. For this reason, a photographer attempts to obtain a normal white balance by shooting with an orange or magenta optical filter attached to the lens. However, the filter is not easy to exchange in water and cannot handle underwater light that changes every moment depending on the water depth.
高級カメラの一部には、マニュアルでホワイトバランスを調整できるものがある(特許文献1参照)。このようなカメラを用いれば、調整の手間はかかるものの、正常なホワイトバランスを得ることができる。あるいは、カメラ側の機能としてホワイトバランスを調整できない場合でも、撮影後にフォトレタッチソフトやRAW現像ソフト、ビデオ編集装置(ソフト)などを用いてホワイトバランスを調整することも可能である。
ホワイトバランスの調整によって、無彩色の被写体の画像を無彩色に調整することはできるが、これだけでは正常な色再現は望めない。なせならば、水中に降り注ぐ光のスペクトルは、地上とは大きく異なり、演色性が極端に低いためである。これは、長波長の光が減少するために起きる現象で、ダイバーの間では「水中での色の消失」と呼ばれて理解されている。つまり、正常なホワイトバランスを得た場合でも、色が薄くなったり(彩度が低下したり)、赤系統の色が暗くなったり(明度が低下したり)、色相が変化してしまう。 By adjusting the white balance, an image of an achromatic subject can be adjusted to an achromatic color, but normal color reproduction cannot be expected with this alone. If so, the spectrum of light falling into the water is very different from that of the ground, and the color rendering properties are extremely low. This is a phenomenon caused by a decrease in long-wavelength light and is understood by divers as “disappearance of color in water”. That is, even when a normal white balance is obtained, the color becomes light (saturation decreases), the red color becomes dark (lightness decreases), and the hue changes.
このため、水中にビデオライトやストロボなどの光源を持ち込む撮影者もいるが、光源を水中に持ち込むことには数多くのデメリットが存在する。 For this reason, some photographers bring light sources such as video lights and strobes into the water, but there are many disadvantages to bringing light sources into the water.
まずは、撮影機材の大きさや重量が増して、水中での行動が制限されたり、不自由になる可能性がある。また、方向性の強い光を照射するため、影が強く現れる。さらに、画角の広い撮影を行う場合、通常は広角レンズを用いるが、このような場合、光源の光を広範囲に照射し、かつ被写体距離も長く設定するため、光源から被写体、そして被写体からカメラまでの距離が長くなり、やはり色の変化が生じてしまう。より具体的には、光源に近い場所と遠い場所とで輝度差が大きくなり、広い範囲で適正露出を得ることが困難になる。また、光源としてストロボを用いると、充電に時間がかかるため、撮影間隔が長くなるという問題もある。 First of all, the size and weight of the photographic equipment may increase, which may limit or become inconvenient in water. In addition, a shadow appears strongly because it emits light with strong directionality. Furthermore, when shooting with a wide angle of view, a wide-angle lens is usually used. In such a case, the light from the light source is radiated over a wide range and the subject distance is set to be long. The distance to the time becomes longer, and the color change still occurs. More specifically, the difference in luminance between a place close to the light source and a place far away from the light source increases, making it difficult to obtain appropriate exposure over a wide range. In addition, when a strobe is used as a light source, it takes a long time to charge, so there is a problem that the photographing interval becomes long.
以上の理由により、光源を持ち込んでの水中撮影は、撮影距離の短いマクロ撮影に限定されるのが実情である。 For the above reasons, underwater photography with a light source is actually limited to macro photography with a short photography distance.
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、水中撮影時に精度の高い色復元処理を簡易な手法で実現可能な画像処理装置を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing apparatus capable of realizing a highly accurate color restoration process during underwater shooting with a simple technique.
本発明の一態様によれば、被写体光の水中光路長を算出する水中光路長算出手段と、算出された水中光路長に基づいて色復元情報を生成する色復元情報生成手段と、前記色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正手段と、を備えることを特徴とする画像処理装置が提供される。 According to an aspect of the present invention, an underwater optical path length calculation unit that calculates an underwater optical path length of subject light, a color restoration information generation unit that generates color restoration information based on the calculated underwater optical path length, and the color restoration There is provided an image processing apparatus comprising: a pixel value correcting unit that corrects an input pixel value based on information and a white balance gain.
また、本発明の一態様によれば、被写体光の水中光路長を算出する水中光路長算出手段と、算出された水中光路長に基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、前記色復元マトリックスとホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置が提供される。 Further, according to one aspect of the present invention, an underwater optical path length calculating unit that calculates an underwater optical path length of subject light, a color recovery matrix generating unit that generates a color recovery matrix based on the calculated underwater optical path length, There is provided an image processing apparatus comprising matrix multiplication means for correcting an input pixel value based on a color restoration matrix and a white balance gain.
また、本発明の一態様によれば、水中撮影時の被写体周辺のホワイトバランスゲインを設定するホワイトバランス設定手段と、設定された前記ホワイトバランスゲインに基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、前記色復元マトリックスと前記ホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置が提供される。 According to another aspect of the invention, a white balance setting unit that sets a white balance gain around a subject during underwater shooting, and a color restoration matrix generation that generates a color restoration matrix based on the set white balance gain. There is provided an image processing apparatus comprising: means; and matrix multiplication means for correcting an input pixel value based on the color restoration matrix and the white balance gain.
本発明によれば、水中撮影時に精度の高い色復元処理を簡易な手法で行うことができる。 According to the present invention, highly accurate color restoration processing can be performed by a simple method during underwater photography.
以下、図面を参照しながら、本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は本発明の第1の実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、例えばデジタルカメラに内蔵される。
(First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to the first embodiment of the present invention. This image processing apparatus is built in, for example, a digital camera.
図1の画像処理装置は、イメージセンサ1と、A/D変換器2と、OB(Optical Black)減算器3と、デモザイク処理部4と、ホワイトバランスゲイン乗算器5と、水中光路長算出部6と、色復元マトリックス生成部7と、色復元マトリックス乗算器8と、水陸切換器9と、マトリックス乗算器10と、ガンマ処理部11と、映像記録部12とを備えている。
1 includes an
イメージセンサ1で撮像された撮像信号は、A/D変換器2でデジタルのピクセル値に変換される。デモザイク処理部4は、各画素にすべての色情報を持たせる処理を行う。このデモザイク処理が必要になる理由は、一般的なイメージセンサ1の画素配列はG画素を他の色画素よりも多く配置したベイヤー配列になっているためであり、デモザイク処理部4では、色補間処理を行って、各画素にRGBの色情報を持たせる処理を行う。
An image signal captured by the
ホワイトバランスゲイン乗算器5は、所定の手法により設定したホワイトバランスゲインを用いて、デモザイク処理後のピクセル値に対してホワイトバランス調整を行う。ホワイトバランスゲインの設定方法については後述する。
The white
水中光路長算出部6は、水面に降り注いだ光がイメージセンサ1に到達するまでの光路長(以下、水中光路長)を算出する。この算出方法についても後述する。
The underwater optical path
色復元マトリックス生成部7は、水中光路長算出部6で算出された水中光路長に基づいて、水中で失われた色を復元するための色復元マトリックスを生成する。
Based on the underwater optical path length calculated by the underwater optical path
色復元マトリックス乗算器8は、ホワイトバランスゲイン乗算器5で乗算した結果に、色復元マトリックスを乗じる処理を行う。
The color restoration matrix multiplier 8 performs processing for multiplying the result obtained by the white
水陸切換器9は、水中と陸上のどちらで撮影を行うのかを切り替える。マトリックス乗算器10は、色復元マトリックス乗算器8の乗算結果に色空間変換マトリックスを乗じる処理を行う。
The land /
ガンマ処理部11は、マトリックス乗算器10の乗算結果に対してガンマ補正を行う。ガンマ補正後のピクセル値は、JPEG等の形式にて映像記録部12に記録される。
The
図1に破線で示す水中光路長算出部6、色復元マトリックス生成部7、色復元マトリックス乗算器8および水中切換器9が本実施形態の主要部である。すなわち、本実施形態は、従来のデジタルカメラの構成に、図1の破線部の構成を追加することで実現可能である。
The underwater optical path
図2は図1の主要部であるホワイトバランスゲインの乗算後のピクセル値からマトリックスの乗算結果を得るまでの処理手順を詳細に示すフローチャートである。まず、ホワイトバランスゲインを設定する(ステップS1)。ここで、ホワイトバランスゲインとは、イメージセンサ1がRGBの原色を扱う場合には、イメージセンサ1のRGB値に対するRとBのゲインを指す。
FIG. 2 is a flowchart showing in detail a processing procedure from obtaining the matrix multiplication result from the pixel value after multiplication of the white balance gain, which is the main part of FIG. First, a white balance gain is set (step S1). Here, the white balance gain indicates the gains of R and B with respect to the RGB values of the
ホワイトバランスゲインの設定方法には複数通りが考えられる。以下、ホワイトバランスを設定するための第1〜第5の方法について説明する。なお、下記以外の方法でホワイトバランスを設定してもよい。 There are several ways to set the white balance gain. Hereinafter, first to fifth methods for setting the white balance will be described. Note that white balance may be set by a method other than the following.
第1の方法は、無彩色のグレーの色見本を水中で撮影して得られる映像により、ホワイトバランスを設定するものである。より具体的には、水中の目的とする撮影場所付近でグレーの色見本を予め撮影しておき、後にソフトウェアにより、その色見本の映像がグレーになるようにホワイトバランスを調整し、その調整により得られたホワイトバランスゲインを他の映像にも適用する。これにより、かなり正確なホワイトバランスを得ることができる。 In the first method, white balance is set by an image obtained by photographing an achromatic gray color sample in water. More specifically, a gray color sample is shot in advance near the target shooting location in water, and the white balance is adjusted by the software so that the image of the color sample becomes gray. The obtained white balance gain is also applied to other images. Thereby, a fairly accurate white balance can be obtained.
ところが、ただでさえ行動が制限される水中に、グレーの色見本を持ち込んで撮影を行うのは撮影者にとって大変な手間になる。そこで、例えば図3に示すように、ダイビング用のフィン14にグレーのシール15を貼り付けておき、本来の撮影を行う際にそのシール15も撮影しておく。
However, it is very troublesome for the photographer to bring a gray color sample and take a picture in the water where the behavior is restricted. Therefore, for example, as shown in FIG. 3, a
水中では、浮力が働いて、体を比較的自由に動かせるため、フィンのシール15もそれほど無理なく撮影可能であり、撮影者はグレーの色見本を携帯する必要がなくなる。
Underwater, the buoyancy works and the body can move relatively freely, so the
撮影者の手間を省くさらなる方法として、図4に示すようにシール15の脇に例えばバーコード状のパターンを貼り付けておき、シール15の撮影の際にバーコード15aのパターンも合わせて撮影し、カメラ内部で撮影された映像からバーコード15aの位置を検出し、それらの中心にあるシール15をグレーにバランスするゲインを算出することで、自動的にホワイトバランスゲインを設定し、その設定前後に撮影した他の映像に対して、設定したホワイトバランスゲインを適用することが考えられる。これにより、後に、撮影者自身でホワイトバランスの調整を行わなくて済み、手間が省けて使い勝手がよくなる。もちろん、カメラに組み込む以外に、撮影後に行う画像処理ソフトウェアにおいても同様に、バーコード15aの位置を検出し、シール15をグレーにバランスするホワイトバランスゲインを算出するように構成すれば、利便性を上げることができる。
As a further method for saving the photographer, as shown in FIG. 4, for example, a barcode pattern is pasted on the side of the
シール15は、図3のようなグレー単色のもの以外に、図4に示すように、色々な色パターンを含んでいてもよい。
The
第2の方法は、ホワイトバランスを測定可能な環境光センサをカメラに取り付けるものである。この方法では、環境光センサにより、カメラ周辺の水中光を直接測定してホワイトバランスゲインを設定する。このため、このままでは、被写体とカメラの間の光路長を加味してホワイトバランスを測定することはできない。そこで、例えば、カメラにより被写体までの距離を検出し、検出された距離によりホワイトバランスの調整を行うことで、ホワイトバランスの精度向上が図れる。 The second method is to attach an ambient light sensor capable of measuring white balance to the camera. In this method, the ambient light sensor directly measures the underwater light around the camera and sets the white balance gain. For this reason, the white balance cannot be measured with the optical path length between the subject and the camera taken into account. Therefore, for example, by detecting the distance to the subject using a camera and adjusting the white balance based on the detected distance, the accuracy of white balance can be improved.
第3の方法は、いわゆるオートバランスである。この方法は、本実施形態による画像処理装置をカメラに適用する場合と撮影後に行う画像処理ソフトウェアに適用する場合のいずれにおいても有効である。 The third method is so-called auto balance. This method is effective both when the image processing apparatus according to the present embodiment is applied to a camera and when it is applied to image processing software performed after photographing.
先に本発明者が出願した発明(特開2007-13415号公報)を用いれば、物体に降り注ぐ光源色をかなり正確に特定できる。実際に、多くの水中映像において良好な結果を得ており、最も期待される方法の一つである。 If the invention previously filed by the present inventor (Japanese Patent Laid-Open No. 2007-13415) is used, the color of the light source that falls on the object can be identified fairly accurately. In fact, it has obtained good results in many underwater images and is one of the most promising methods.
ただし、陸上と水中の両方の映像を処理できるようにする場合、誤判定を防止するために、映像処理前に水中か陸上の切替を行うのが望ましい。陸上では、水中のような青い光源はまずありえないし、仮にあったとしても青を白くバランスせずにその場の雰囲気を残すために、青く再現する方が望ましい場合があり、水中と陸上ではホワイトバランスの算出方法や、検出したホワイトバランスゲイン値を人間の色順応に合わせて制限する際のリミットを変える必要があるためである。 However, when both land and underwater images can be processed, it is desirable to switch between underwater and land before image processing in order to prevent erroneous determination. On land, blue light sources such as underwater are unlikely at all, and even if they exist, it may be desirable to reproduce blue in order to leave the atmosphere in place without balancing blue to white. This is because it is necessary to change the balance calculation method and the limit for limiting the detected white balance gain value according to human chromatic adaptation.
陸上と水中の切替をカメラに設ける場合には、切替スイッチを設けてもよいし、メニュー画面で切替ができるようにしてもよい。切替スイッチを設けたカメラを水中ハウジングに収納して水中撮影を行う場合には、例えば図5および図6に示すように、カメラには水中切り替えスイッチ16を設けておき、水中ハウジングには、その切り替えスイッチが押下されるような突起17を設けておくのが望ましい。図5は水中ハウジングを展開した状態を示しており、突起17は、ハウジングの内部が出っ張っている。図6は、水中ハウジングにカメラを収納して閉じた状態を示している。ハウジングの突起17に押されて、カメラの水中切り替えスイッチ16が押下される。
When switching between land and water is provided in the camera, a changeover switch may be provided, or switching may be performed on a menu screen. When a camera provided with a changeover switch is housed in an underwater housing for underwater photography, the camera is provided with an
第4の方法は、ユーザがホワイトバランスを設定するものである。この場合、ユーザは、カメラのスイッチやメニュー画面により、あるいはソフトウェアのユーザーインタフェースにより、ホワイトバランスを設定する。多くのカメラでは、光源の種類(電球、蛍光灯、晴れ、曇り、日陰等)を指定したり、色温度を指定することにより、ホワイトバランスの設定が可能であるが、これらの指定は水中では役に立たない。水中では、色度座標が黒体放射線(や昼光線)から大きくずれる上に、水中経路長によって色度座標が広い範囲に分布するため、「水中」というプリセットを用意しても正常なホワイトバランス調整は行えない可能性が高い。 In the fourth method, the user sets the white balance. In this case, the user sets the white balance through a camera switch or menu screen, or through a software user interface. Many cameras allow you to set the white balance by specifying the type of light source (bulb, fluorescent light, clear, cloudy, shade, etc.) or by specifying the color temperature. Useless. Underwater, the chromaticity coordinates deviate significantly from blackbody radiation (and daylight), and the chromaticity coordinates are distributed over a wide range depending on the underwater path length. There is a high possibility that adjustments cannot be made.
そこで、水中経路長をパラメータとして与えて、ユーザがホワイトバランスを設定できるようにすると便利である。多くのカメラやRAW現像処理ソフトウェアが搭載している色温度の指定に倣って、水中光路長を指定すれば、その光路長によって決まる水中透過光の色度座標についてホワイトバランスの設定を行うような設計が可能となる。 Therefore, it is convenient to allow the user to set the white balance by giving the underwater path length as a parameter. If the underwater optical path length is specified following the specification of the color temperature installed in many cameras and RAW development processing software, the white balance is set for the chromaticity coordinates of the transmitted light in water determined by the optical path length. Design becomes possible.
第5の方法は、カメラやカメラを収納する水中ハウジングに水深計を取り付けて、水深計で測定した水深をカメラに伝達する配線を設けるものである。カメラでは、水深を例えば1〜1.5倍した値を水中光路長としてホワイトバランスを設定する。なぜならば、太陽高度が高く水面に対して直角に太陽光が降り注ぐ赤道付近の晴れの日は、水深と水中光路長は、ほぼ一致するが、くもりの日や太陽高度が低い地域では、水面から斜めに光が降り注ぐために、水中光路長は、実際の水深よりも大きくなる傾向があるからである。冬にスポーツダイバーがダイビングを行えるほぼ北限の関東地方周辺では、実際の水深と水中光路長は1.5倍ほど異なることもある。このため、1〜1.5倍する必要がある。この倍率の設定をカメラのメニューによって行わせても良いし、緯度を入力させて、カメラ内部の時計から季節を算出し、その結果から自動的に設定するようにしても良い。 In the fifth method, a depth meter is attached to a camera or an underwater housing that houses the camera, and wiring for transmitting the depth measured by the depth meter to the camera is provided. In the camera, the white balance is set with a value obtained by multiplying the water depth by, for example, 1 to 1.5 as an underwater optical path length. This is because, on a clear day near the equator where the sun is high and the sunlight falls at a right angle to the water surface, the water depth and the underwater light path length are almost the same, but in cloudy days and areas where the sun altitude is low, This is because the underwater optical path length tends to be larger than the actual water depth because the light falls obliquely. Around the northern Kanto region where sports divers can dive in winter, the actual water depth and underwater light path length may differ by a factor of 1.5. For this reason, it is necessary to multiply 1 to 1.5 times. The magnification may be set from the camera menu, or the latitude may be input, the season may be calculated from the clock inside the camera, and the result may be automatically set.
この第5の方法は、正確なホワイトバランスを設定できない上に、機構が複雑でコストがかかるため、実用性はあまりないかもしれない。ただし、映像の付属情報として水深データを記録することが可能であり、事後的に水深データを活用できるという利点がある。例えば、静止画像の付属情報を記録したEXIF情報には、規格上、水深を記録するタグが現時点では定義されていないが、メーカーが独自の情報を記録するメーカーノートタグ(MakerNote Tag)等に水深データを記録しておけば、事後的に、各画像が水深何mで撮影されたものかを正確に特定でき、非常に便利である。したがって、将来的には、EXIF情報の一部として水深データを記録できるような規格変更も考えられる。 This fifth method may not be practical because it cannot set an accurate white balance, and the mechanism is complicated and costly. However, it is possible to record the water depth data as ancillary information of the video, and there is an advantage that the water depth data can be utilized afterwards. For example, in the EXIF information that records the attached information of still images, the tag that records the water depth is not defined by the standard at the present time, but the maker note tag (MakerNote Tag) that the manufacturer records unique information If the data is recorded, it is very convenient because it is possible to accurately specify how many meters the depth of each image was taken after the fact. Therefore, in the future, it is possible to change the standard so that water depth data can be recorded as part of EXIF information.
以上に説明した第1〜第5の方法のいずれかにより、ホワイトバランスゲインが設定されると、次に、水陸切換器9は、水中と陸上のどちらで撮影を行うのかを選択する(図2のステップS2)。上述したように、水陸切換器9は、例えばカメラに設けられる専用のスイッチで実現してもよいし、カメラのメニュー画面によるソフト的な選択で実現してもよい。
When the white balance gain is set by any one of the first to fifth methods described above, the land-and-
ステップS2で水中撮影が選択された場合、水中光路長算出部6により水中光路長を算出する(ステップS3)。以下に、水中光路長算出部6の処理内容を詳述する。
If underwater shooting is selected in step S2, the underwater optical path
ここで、カメラがRGBの3色のイメージセンサ1を有するものとする。イメージセンサーの色特性を示すために、CIE(国際照明委員会)の標準的な色表現方法であるCIE1931XYZから、カメラが撮像する3つの色コンポーネント(これは通常RGBの3色である)に変換するためのカラーマトリックスをCとする。この場合、Cは、3×3マトリックスであり、カメラのカラーフィルタやイメージセンサ1、ローパスフィルタ等の特性によって決まる。
Here, it is assumed that the camera has an
なお、CIE1931XYZは、RGBの代わりに、XYZの3値を用いて実在色のすべてを表記可能な色の表現方法である。 Note that CIE 1931XYZ is a color expression method that can represent all the existing colors using three values of XYZ instead of RGB.
ここで、ある光源色をCIE1931XYZで標記した場合の値を(WP_X,WP_Y,WP_Z)とすると、以下の(1)式の右辺におけるC*(WP_X,WP_Y,WP_Z)は、そのカメラでの線形RAW値(OB減算処理後の値)になる。 Here, if a value when a certain light source color is represented by CIE1931XYZ is (WP_X, WP_Y, WP_Z), C * (WP_X, WP_Y, WP_Z) on the right side of the following equation (1) is linear in the camera. RAW value (value after OB subtraction processing).
ホワイトバランスゲインWBR,WBBは、光源色がグレーになるように設定するものであり、C*(WP_X,WP_Y,WP_Z)のR成分をWBRで、G成分を1で、B成分をWBBでそれぞれ重み付けすると、グレー色に調整される。この重み付けを、(1)式の右辺では3×3マトリックスで表現している。
グレー色に調整するということは、やはりCIEのD65を撮影した場合の線形RAW値と一致することになり、(1)式の右辺は、左辺のC*D65標準光源のXYZ値と一致することになる。 The adjustment to the gray color also matches the linear RAW value when the CIE D65 is photographed, and the right side of the equation (1) matches the XYZ value of the C * D65 standard light source on the left side. become.
ところで、D65は、CIEが定めた標準光源の一つであり、地上に降り注ぐ光の平均値である。D65は、現在、白点として最も広く使用されており、デジタルカメラの標準的な色空間であるsRGBやアドビ(登録商標)RGBも白点をD65と定めている。なお、他の光源を標準光源として用いてもよい。理想的には、所定の色温度を持つ完全放射体または地上に降り注ぐ光の平均値から算出された昼光を標準光源として用いるのが望ましい。 By the way, D65 is one of the standard light sources defined by the CIE, and is an average value of light falling on the ground. D65 is currently most widely used as a white point, and sRGB and Adobe (registered trademark) RGB, which are standard color spaces of digital cameras, also define the white point as D65. Other light sources may be used as the standard light source. Ideally, it is desirable to use as a standard light source daylight calculated from a complete radiator having a predetermined color temperature or an average value of light falling on the ground.
sRGBやアドビRGBで、R=G=Bのとき、例えばRGB=(118,118,118)のとき、この値は無彩色であり、正常に校正されたモニタではD65として表示される。 When R = G = B in sRGB or Adobe RGB, for example, when RGB = (118, 118, 118), this value is achromatic, and is displayed as D65 on a normally calibrated monitor.
上述した(1)式により、(WP_X,WP_Y,WP_Z)を算出することができる。ところが、XYZの3軸による表記では、光の強さを含んでしまう。光の強さは色とは無関係であり、色だけを表記する場合には、X+Y+Z=1となる面(等エネルギー面)で色を表記したものがCIE1931xy座標である。 (WP_X, WP_Y, WP_Z) can be calculated by the above-described equation (1). However, the three-axis notation of XYZ includes the light intensity. The intensity of light is independent of the color, and when only the color is described, the CIE 1931 xy coordinate is expressed by the color on the plane (equal energy plane) where X + Y + Z = 1.
ここでは、光源の強さではなく、その色(色度座標)のみを問題にしているため、光源色をXYZの3軸ではなく、等エネルギー面の2軸(xy)で表記した色度座標wp_xy=(WP_X/(WP_X+WP_Y+WP_Z),WP_Y/(WP_X+WP_Y+WP_Z))を計算する。この色度座標wp_xyが光源色に相当する。 Here, not the intensity of the light source but only its color (chromaticity coordinates) is a problem. Therefore, the chromaticity coordinates in which the light source color is expressed by two axes (xy) of the equal energy plane instead of the three axes of XYZ. wp_xy = (WP_X / (WP_X + WP_Y + WP_Z), WP_Y / (WP_X + WP_Y + WP_Z)) is calculated. This chromaticity coordinate wp_xy corresponds to the light source color.
上記の手順で光源色が算出されると、次に以下の手順で水中光路長を算出する。図7は水中透過光のCIE1931xy色座標を示す図である。図7の逆U字状曲線cb1は、単色光の色座標曲線であり、この逆U字状曲線の内部に実際の色が存在する。図7の曲線cb2は黒体放射の色座標曲線である。 When the light source color is calculated by the above procedure, the underwater optical path length is calculated by the following procedure. FIG. 7 is a diagram showing CIE1931xy color coordinates of transmitted light in water. An inverted U-shaped curve cb1 in FIG. 7 is a color coordinate curve of monochromatic light, and an actual color exists inside the inverted U-shaped curve. A curve cb2 in FIG. 7 is a color coordinate curve of black body radiation.
この曲線cb2は、物体の温度を上げたときに発光する光をプロットしており、図7の左側が温度が高く、右側が温度が低い。図7において、5000Kと表示している場所が5000度のときの色座標である。また、地上に降り注ぐ昼光も、ほぼこの黒体放射線に近似しており、晴れの日の昼に地上に降り注ぐ光の色座標は、約5000K程度である。 This curve cb2 plots the light emitted when the temperature of the object is raised, with the temperature on the left side of FIG. 7 being high and the temperature on the right side being low. In FIG. 7, it is a color coordinate when the place displayed as 5000K is 5000 degrees. Also, the daylight that falls on the ground is almost similar to this blackbody radiation, and the color coordinates of the light that falls on the ground at noon on a sunny day are about 5000K.
図7の曲線cb3は、水面に5000Kの光が降り注いでいる場合に、水中光路長によって水中光の色座標が変化する様子を示している。すなわち、曲線cb3は、水中光路長ごとの色座標曲線である。 A curve cb3 in FIG. 7 shows how the color coordinates of the underwater light change depending on the underwater optical path length when 5000 K of light is poured on the water surface. That is, the curve cb3 is a color coordinate curve for each underwater optical path length.
上述した(1)式により計算された光源色wp_xyを図7にプロットし、そのプロット位置から曲線cb3に向けて垂線を下ろして、曲線cb3と交わった位置により、水中光路長を求めることができる。 The light source color wp_xy calculated by the above equation (1) is plotted in FIG. 7, and a perpendicular line is drawn from the plotted position toward the curve cb3, and the underwater optical path length can be obtained from the position where the curve cb3 intersects. .
上記の手法により水中光路長を算出できることは、本発明者が種々の実験により見出したものである。 The inventor has found that the underwater optical path length can be calculated by the above-described method through various experiments.
上記の手法で図2のステップS3にて水中光路長が算出されると、次に、色復元マトリックス生成部7により、色復元マトリックスの生成を行う(ステップS4)。ここでは、水中光路長に応じた色復元マトリックスを選択できるように、予めテーブルを用意しておく。
When the underwater optical path length is calculated in step S3 of FIG. 2 by the above method, the color restoration
図8はテーブルの一例を示す図である。図8のテーブルには、テーブル番号と、水中光路長と、3×3マトリックスとが対応づけて記憶されている。このテーブルは、例えば、基準チャートを水中に持ち込んで、水深ごとに撮影を行って画像サンプルを取得し、カラーマッチングを行って3×3マトリックスを生成する。また、各画像に対応したホワイトバランスにより、上述した(1)式を用いて水中光路長を計算し、得られた結果を基に、図8のテーブルを予め生成しておく。 FIG. 8 shows an example of the table. The table of FIG. 8 stores a table number, an underwater optical path length, and a 3 × 3 matrix in association with each other. In this table, for example, a reference chart is brought into water, photographing is performed at each water depth to obtain an image sample, and color matching is performed to generate a 3 × 3 matrix. Further, the underwater optical path length is calculated using the above-described equation (1) based on the white balance corresponding to each image, and the table of FIG. 8 is generated in advance based on the obtained result.
図2のステップS4では、ステップS3で算出された水中光路長に応じた3×3マトリックスを図8のテーブルから抽出し、抽出したものを色復元マトリックスとして利用する。 In step S4 of FIG. 2, a 3 × 3 matrix corresponding to the underwater optical path length calculated in step S3 is extracted from the table of FIG. 8, and the extracted one is used as a color restoration matrix.
図8のテーブルには、水中光路長が100cm刻みでしか登録されていないが、もっと細かい単位で3×3マトリックスを用意しておいてもよいし、あるいは、図8のステップS3で計算された水中光路長が図8のテーブルに登録された水中光路長の中間の値の場合には、線形補間等の補間処理を行うことにより、新たな3×3マトリックスを生成してもよい。 In the table of FIG. 8, the underwater optical path length is registered only in increments of 100 cm, but a 3 × 3 matrix may be prepared in finer units, or calculated in step S3 of FIG. When the underwater optical path length is an intermediate value of the underwater optical path length registered in the table of FIG. 8, a new 3 × 3 matrix may be generated by performing interpolation processing such as linear interpolation.
上述した説明では、算出した水中光路長をパラメータとして色復元マトリックスを選択する例を示したが、水中光路長算出部6と色復元マトリックス生成部7の処理を一つにまとめて、水中光路長を算出することなく、色復元マトリックスを生成してもよい。この場合は、ホワイトバランスゲインと色復元マトリックスとを対応づけたテーブルを用意しておき、ホワイトバランスゲインをパラメータとして、対応する色復元マトリックスを抽出する。
In the above description, an example in which the color restoration matrix is selected using the calculated underwater optical path length as a parameter has been described. However, the processing of the underwater optical path
図9はこの種のテーブルの一例を示す図である。図9のテーブルには、ホワイトバランスゲインGainR,GainBと3×3マトリックスとが対応づけて登録されている。このテーブルは、例えば基準チャートを水中に持ち込んで、水深ごとに撮影して画像サンプルを取得し、カラーマッチングを行った結果の3×3マトリックスと、そのときのホワイトバランスゲインとを対応づけて作成される。 FIG. 9 is a diagram showing an example of this type of table. In the table of FIG. 9, white balance gains GainR and GainB and a 3 × 3 matrix are registered in association with each other. This table is created, for example, by bringing a reference chart into the water, taking images at each water depth to obtain image samples, and matching the 3 × 3 matrix resulting from color matching and the white balance gain at that time Is done.
図9のテーブルを用いて最終的な色復元マトリックスを得るには、例えば図10の処理を行う。まず、3×3の色復元マトリックスの各要素Matrix[j](j=0〜9)をゼロに初期化する(ステップS11)。次に、マトリックスの種類を表す変数iをゼロに初期化する(ステップS12)。i=0であれば、図9の一番上の段のホワイトバランスゲインとマトリックスが選択され、i=3であれば、一番下の段のホワイトバランスゲインとマトリックスが選択される。 In order to obtain a final color restoration matrix using the table of FIG. 9, for example, the processing of FIG. 10 is performed. First, each element Matrix [j] (j = 0 to 9) of the 3 × 3 color restoration matrix is initialized to zero (step S11). Next, a variable i representing the type of matrix is initialized to zero (step S12). If i = 0, the white balance gain and matrix at the top level in FIG. 9 are selected, and if i = 3, the white balance gain and matrix at the bottom level are selected.
次に、ホワイトバランスゲインWBR,WBBの逆数と、3×3マトリックスの値とGainRまたはGainBとの積の逆数との差分dR,dBを算出する(ステップS13)。 Next, the difference dR, dB between the reciprocal of the white balance gains WBR, WBB and the reciprocal of the product of the 3 × 3 matrix value and GainR or GainB is calculated (step S13).
次に、差分dRまたはdBがゼロか否かを判定し(ステップS14)、ゼロでなければ、dRとdBから重みFact[i]を算出する(ステップS15)。一方、ステップS14の判定がNOの場合には、WBR,WBBがテーブルに記録されているゲイン値と一致していることを示すので、重みFact[i]を非常に大きな固定値(1.0E+99)に設定する(ステップS16)。 Next, it is determined whether or not the difference dR or dB is zero (step S14). If it is not zero, the weight Fact [i] is calculated from dR and dB (step S15). On the other hand, if the determination in step S14 is NO, it indicates that WBR and WBB match the gain values recorded in the table, so that the weight Fact [i] is a very large fixed value (1.0E + 99). ) (Step S16).
ステップS15,S16の処理が終わると、次に、色復元マトリックスの各要素Matrix[j]=Matrix[j]+Fact[i]*Table[i].Matrix[j]を算出する(ステップS17)。次に、重みの総計値FactSum=FactSum+Fact[i]を算出する(ステップS18)。 When the processing of steps S15 and S16 is completed, each element Matrix [j] = Matrix [j] + Fact [i] * Table [i]. Matrix [j] is calculated (step S17). Next, the total weight value FactSum = FactSum + Fact [i] is calculated (step S18).
次に、図9のテーブルの最後の段まで処理を行ったか否かを判定し(ステップS19)、処理を行うべきマトリックスがまだ残っていれば、変数iをインクリメントして(ステップS20)、ステップS13以降の処理を繰り返す。 Next, it is determined whether or not processing has been performed up to the last stage of the table of FIG. 9 (step S19). If there is still a matrix to be processed, the variable i is incremented (step S20), and step The processes after S13 are repeated.
すべての行の処理が終わった場合には、3×3マトリックスの各要素を重みFact[i]で加重平均した値を要素とする色復元マトリックスを生成する(ステップS21)。 When all the rows have been processed, a color restoration matrix having a value obtained by weighting and averaging each element of the 3 × 3 matrix with the weight Fact [i] is generated (step S21).
上述した処理手順にて、図8または図9のテーブルを用いて色復元マトリックスが生成されると、次に、色復元マトリックス乗算器8は、ホワイトバランスゲイン乗算器5の乗算結果と、生成した色復元マトリックスとを乗じる処理を行う(図2のステップS5)。
When the color restoration matrix is generated using the table of FIG. 8 or 9 in the above-described processing procedure, the color
図2のステップS3〜S5の処理は、水中撮影を行う場合のみ行われる。ステップS5の処理が終わると、水中撮影と陸上撮影のどちらを行う場合も、マトリックス乗算器10によるマトリックス乗算処理を行う(ステップS6)。この処理では、イメージセンサ1で撮像したRGB値をsRGBなどの色空間に変換するための色空間変換マトリックスを用いて乗算処理を行って、ピクセル値を算出する。
The processes in steps S3 to S5 in FIG. 2 are performed only when underwater shooting is performed. When the processing in step S5 is completed, matrix multiplication processing by the
例えば、水中撮影を行う場合のステップS6で得られるピクセル値は、以下の(2)式で表される。
マトリックス乗算後のピクセル値=色空間変換マトリックス×(色復元マトリックス×ホワイトバランスゲイン乗算器5の乗算結果) …(2)
For example, the pixel value obtained in step S6 when performing underwater photography is expressed by the following equation (2).
Pixel value after matrix multiplication = color space conversion matrix × (color restoration matrix × white
一方、陸上撮影を行う場合のステップS6で得られるピクセル値は、以下の(3)式で表される。
マトリックス乗算後のピクセル値=色空間変換マトリックス×ホワイトバランスゲイン乗算器5の乗算結果 …(3)
On the other hand, the pixel value obtained in step S6 when performing land photography is expressed by the following equation (3).
Pixel value after matrix multiplication = color space conversion matrix × multiplication result of white balance gain multiplier 5 (3)
図2のステップS6の処理により得られたピクセル値は、図1に示すように、ガンマ処理部11によりガンマ補正された後に映像記録部12に記録される。
The pixel value obtained by the process of step S6 in FIG. 2 is recorded in the
このように、第1の実施形態では、水中撮影時に、水中光路長またはホワイトバランスゲインに応じた色復元マトリックスを生成し、生成した色復元マトリックス、色空間変換マトリックスおよびホワイトバランスゲインを用いてピクセル値を算出するため、陸上同様に青みの少ない自然な画像が得られる。 As described above, in the first embodiment, during underwater shooting, a color restoration matrix corresponding to the underwater optical path length or the white balance gain is generated, and the generated color restoration matrix, the color space conversion matrix, and the white balance gain are used to generate pixels. Since the value is calculated, a natural image with less bluish color can be obtained as on land.
本実施形態では、水深や水中光路長がわかれば比較的簡易な処理で正確な色復元処理を行えるため、カメラに組み込むことも容易で、また撮影後に画像処理ソフトウェアにて実現することも容易に行える。 In this embodiment, if the water depth and the underwater optical path length are known, accurate color restoration processing can be performed with relatively simple processing. Therefore, it can be easily incorporated into a camera, and can also be easily realized with image processing software after shooting. Yes.
また、水深がわからなくても、水中で色見本を撮影した結果を利用してホワイトバランスゲインを取得することによっても、正確な色復元処理を行える。 Even if the depth of water is not known, accurate color restoration processing can be performed by acquiring the white balance gain using the result of photographing a color sample underwater.
このように、本実施形態によれば、水中撮影時の色復元処理を自動化することができ、撮影者の手間を煩わすことなく、水中の被写体の本来の色を復元することができる。 Thus, according to the present embodiment, the color restoration process during underwater photography can be automated, and the original color of the underwater subject can be restored without bothering the photographer.
(第2の実施形態)
第1の実施形態では、水中撮影時のピクセル値を計算するために、上述した(2)式による演算処理を行った。行列演算には、結合法則が成立するため、この(2)式は、以下の(4)式と同じである。
マトリックス乗算後のピクセル値=(色空間変換マトリックス×色復元マトリックス)×ホワイトバランスゲイン乗算器5の乗算結果 …(4)
(Second Embodiment)
In the first embodiment, in order to calculate the pixel value at the time of underwater shooting, the arithmetic processing according to the above-described equation (2) is performed. Since the combination rule is established for the matrix operation, the equation (2) is the same as the following equation (4).
Pixel value after matrix multiplication = (color space conversion matrix × color restoration matrix) × multiplication result of white balance gain multiplier 5 (4)
この(4)式では、あらかじめ、色空間変換マトリックスと色復元マトリックスの乗算処理(以下、マトリックス合成処理)を行った後に、マトリックス合成処理により得られたマトリックスとホワイトバランスゲイン乗算器5の乗算結果のピクセル値との乗算処理を行う。以下に説明する第2の実施形態は、上記の(4)式に基づいてピクセル値を算出するものである。
In this equation (4), the multiplication result of the matrix obtained by the matrix synthesis process and the white
図11は本発明の第2の実施形態による画像処理装置の概略構成を示すブロック図である。図11では、図1と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。 FIG. 11 is a block diagram showing a schematic configuration of an image processing apparatus according to the second embodiment of the present invention. In FIG. 11, the same reference numerals are given to the components common to FIG. 1, and the differences will be mainly described below.
図11の画像処理装置は、図1になかったものとして、マトリックス合成部21を備えている。このマトリックス合成部21は、色復元マトリックス生成部7で生成された色復元マトリックスと色空間変換マトリックスとを乗算する。
The image processing apparatus of FIG. 11 includes a
また、図11のマトリックス乗算器10は、マトリックス合成部21の乗算結果とホワイトバランスゲイン乗算器5で乗算されたピクセル値とを乗算して、最終的なピクセル値を算出する。
Further, the
図11に破線で示す水中光路長算出部6、色復元マトリックス生成部7、マトリックス合成部21および水中切換器9が本実施形態の主要部である。
The underwater optical path
この第2の実施形態においても、演算順序が異なるだけで、演算処理の内容自体は第1の実施形態と同様であるため、第1の実施形態と同様に、水中撮影時の高精度の色復元処理が可能となる。 Also in the second embodiment, the calculation process itself is the same as in the first embodiment except that the calculation order is different. Therefore, as in the first embodiment, high-precision color during underwater shooting Restoration processing is possible.
(第3の実施形態)
第1および第2の実施形態では、ホワイトバランスゲイン乗算器5とマトリックス乗算器10を別個に設けたが、これらの乗算器を一つにまとめることも可能である。
(Third embodiment)
In the first and second embodiments, the white
ピクセル値を3次のベクトル(例えばR値、G値、B値)で表し、マトリックスを3×3とすると、ホワイトバランスゲイン乗算器5は、以下の(5)式に示すマトリックスを演算することに等しい。
したがって、ホワイトバランスゲイン乗算器5とマトリックス乗算器10を一つにまとめて、演算結果を一つのマトリックスで表現することができる。
Therefore, the white
上述した第2の実施形態では、(4)式に基づいてマトリックス乗算後のピクセル値を算出する旨を説明したが、(4)式は以下の(6)式のようにも書き直せる。
マトリックス乗算後のピクセル値=(色空間変換マトリックス×色復元マトリックス)×(ホワイトバランスマトリックス×デモザイク処理後のピクセル値) …(6)
In the second embodiment described above, the pixel value after matrix multiplication is calculated based on the equation (4). However, the equation (4) can also be rewritten as the following equation (6).
Pixel value after matrix multiplication = (color space conversion matrix × color restoration matrix) × (white balance matrix × pixel value after demosaic processing) (6)
行列演算には、結合法則が成立するため、この(6)式は、(7)式のように書き直すことも可能である。
マトリックス乗算後のピクセル値=(色空間変換マトリックス×色復元マトリックス×ホワイトバランスマトリックス)×デモザイク処理後のピクセル値 …(7)
Since the combination rule is established in the matrix operation, the equation (6) can be rewritten as the equation (7).
Pixel value after matrix multiplication = (color space conversion matrix × color restoration matrix × white balance matrix) × pixel value after demosaic processing (7)
以上の背景から、以下に説明する第3の実施形態では、ホワイトバランスゲイン乗算器5とマトリックス乗算器10を一つにまとめて、上記(7)式に基づく演算を行うことを特徴とする。
From the above background, the third embodiment described below is characterized in that the white
図12は本発明の第3の実施形態に係る画像処理装置の概略構成を示すブロック図である。図12では、図1や図11と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。 FIG. 12 is a block diagram showing a schematic configuration of an image processing apparatus according to the third embodiment of the present invention. In FIG. 12, the same reference numerals are given to the components common to those in FIG. 1 and FIG. 11, and the differences will be mainly described below.
図12の画像処理装置は、図1や図11になかった構成として、ホワイトバランスマトリックス合成部22、第1のマトリックス合成部23および第2のマトリックス合成部24を有する。また、図1や図11にはホワイトバランスゲイン乗算器5が存在したが、図12では省略されている。
The image processing apparatus in FIG. 12 includes a white balance
図12に破線で示す水中光路長算出部6、色復元マトリックス生成部7、ホワイトバランスマトリックス生成部22、第1のマトリックス合成部23、水中切換器9および第2のマトリックス合成部24が本実施形態の主要部である。
The underwater optical path
ホワイトバランスマトリックス生成部22は、ホワイトバランスゲインを含む3×3マトリックスを生成する。
The white balance
第1のマトリックス合成部23は、色復元マトリックスとホワイトバランスマトリックスとの乗算を行う。また、第2のマトリックス合成部24は、第1のマトリックス合成部23の演算結果であるマトリックスと色空間変換マトリックスとの乗算を行う。これにより、第2のマトリックス合成部24からは、上記(7)式の括弧内の演算結果が出力される。
The first matrix synthesis unit 23 performs multiplication of the color restoration matrix and the white balance matrix. The second
次に、マトリックス乗算器10は、デモザイク処理後のピクセル値と第2のマトリックス合成部24の出力結果であるマトリックスとの乗算を行って、上記(7)式の演算が完了する。
Next, the
この第3の実施形態においても、マトリックスの演算順序が異なるだけで、演算処理の内容自体は第1および第2の実施形態と同様であるため、第1および第2の実施形態と同様に、水中撮影時の高精度の色復元処理が可能となる。 Also in the third embodiment, the calculation process itself is the same as in the first and second embodiments except that the calculation order of the matrix is different. Therefore, as in the first and second embodiments, High-accuracy color restoration processing during underwater photography is possible.
(第4の実施形態)
第1〜第3の実施形態では、カメラ内に組み込むことが可能な画像処理装置について説明したが、以下に説明する第4の実施形態は、イメージセンサ1から出力されたRAWデータの現像処理を行うRAW現像ソフトウェアに組み込めることが可能な画像処理装置であることを特徴とする。
(Fourth embodiment)
In the first to third embodiments, the image processing apparatus that can be incorporated in the camera has been described. However, in the fourth embodiment described below, development processing of RAW data output from the
図13は本発明の第4の実施形態による画像処理装置の概略構成を示すブロック図である。図13の画像処理装置は、図1の画像処理装置と基本構成は同じであるが、ソフトウェアの形態でRAW現像ソフトウェアに組み込まれるため、イメージセンサ1やA/D変換器2は省略されている。その代わりに、RAWデータを取り込むための画像入力部31を備えている。
FIG. 13 is a block diagram showing a schematic configuration of an image processing apparatus according to the fourth embodiment of the present invention. The basic configuration of the image processing apparatus of FIG. 13 is the same as that of the image processing apparatus of FIG. 1, but the
図13の代わりに、図11または図12と基本構成を同じにしてもよく、その場合はそれぞれ図14または図15のブロック図に示す構成となる。 Instead of FIG. 13, the basic configuration may be the same as that of FIG. 11 or FIG. 12, and in that case, the configuration is shown in the block diagram of FIG. 14 or FIG.
一方、入力データがRAWデータではなく、JPEGなどの既に色空間変換がされた後のデータの場合には、図16のようなブロック構成になる。図16の画像処理装置は、図13になかった構成として逆ガンマ処理部32を有し、図13のOB減算部3、デモザイク処理部4およびマトリックス乗算器10は省略されている。
On the other hand, if the input data is not RAW data but data that has already undergone color space conversion, such as JPEG, the block configuration is as shown in FIG. The image processing apparatus of FIG. 16 has an inverse
逆ガンマ処理部32は、例えばJPEG形式にて記録された画像データのガンマ特性と逆特性の非線形変換を行って、光量とピクセル値とが比例関係になるような処理を行う。すなわち、逆ガンマ処理部32は、ガンマ処理部11とは逆の処理を行う。
The inverse
式で表すと、逆ガンマ処理部32は例えば以下の(8)式の処理を行い、ガンマ処理部11は(9)式の処理を行う。
出力=power(入力/255,2.2)×255 …(8)
出力=power(入力/255,1/2.2)×255 …(9)
In terms of an expression, the inverse
Output = power (input / 255, 2.2) × 255 (8)
Output = power (input / 255, 1 / 2.2) × 255 (9)
このように、本発明は、RAW現像や画像処理を行うソフトウェアに組み込むことも可能であり、水中撮影後にPCを用いて簡易に高精度のホワイトバランス調整を行える。 As described above, the present invention can be incorporated in software for performing RAW development and image processing, and can perform white balance adjustment with high accuracy simply using a PC after underwater photography.
上述した第1〜第3の実施形態では、カメラに組み込む例について説明したが、図1、図11および図12に示した構成の少なくとも一部はハードウェアで構成してもよいし、ソフトウェアで構成してもよい。また、図1等の破線で示した以外の構成については本発明の本質的な部分ではないため、種々に構成を変更してもよい。 In the above-described first to third embodiments, examples of incorporation into the camera have been described. However, at least a part of the configuration illustrated in FIGS. 1, 11, and 12 may be configured by hardware or software. It may be configured. Further, the configuration other than that indicated by the broken line in FIG. 1 and the like is not an essential part of the present invention, and the configuration may be variously changed.
また、上述した各実施形態では、原色系のイメージセンサ1を用いる例を説明したが、補色系のイメージセンサを用いる場合にも本発明は適用可能である。
In each of the above-described embodiments, the example using the primary
上述した第1〜第4の実施形態では、色復元マトリックス乗算器8とマトリックス乗算器10とを用いてマトリックス演算を行って水中色の復元処理を行う例を説明したが、マトリックス演算以外の色変換情報を用いて水中色の復元処理を行ってもよい。このような色変換情報を求める式のパラメータとして水中光路長を含めれば、別個に水中光路長との演算処理を行う必要がなくなり、色復元処理を簡略化できる。
In the first to fourth embodiments described above, the example in which the matrix calculation is performed using the color
この場合、色復元マトリックス生成部7の代わりに、水中光路長に基づいて色復元情報を生成する色復元情報生成部を設け、かつ、マトリックス乗算器10の代わりに、色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正部を設けることになる。
In this case, a color restoration information generation unit that generates color restoration information based on the underwater optical path length is provided instead of the color restoration
色変換情報の一例としては、色と色とを対応づけるカラーマッピングを使用することが考えられる。このようなカラーマッピングでは、水中光路長ごとに色変換マップを設けるか、色変換の式の中に直接的に水中光路長の乗算を含む場合には、一種類の色変換マップを設けるだけで済み、メモリ容量を削減できる。 As an example of color conversion information, it is conceivable to use color mapping that associates colors with each other. In such color mapping, a color conversion map is provided for each underwater optical path length, or when the underwater optical path length multiplication is directly included in the color conversion formula, only one type of color conversion map is provided. The memory capacity can be reduced.
1 イメージセンサ
2 A/D変換器
3 OB減算器
4 デモザイク処理部
5 ホワイトバランスゲイン乗算器
6 水中光路長算出部
7 色復元マトリックス生成部
8 色復元マトリックス乗算器
9 水陸切換器
10 マトリックス乗算器
11 ガンマ処理部
12 映像記録部
21 マトリックス合成部
22 ホワイトバランスマトリックス生成部
23 第1のマトリックス合成部
24 第2のマトリックス合成部
31 画像入力部
32 逆ガンマ処理部
DESCRIPTION OF
Claims (14)
算出された水中光路長に基づいて色復元情報を生成する色復元情報生成手段と、
前記色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正手段と、を備えることを特徴とする画像処理装置。 An underwater optical path length calculating means for calculating an underwater optical path length of subject light;
Color restoration information generating means for generating color restoration information based on the calculated underwater optical path length;
An image processing apparatus comprising: a pixel value correcting unit that corrects an input pixel value based on the color restoration information and a white balance gain.
算出された水中光路長に基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、
前記色復元マトリックスとホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置。 An underwater optical path length calculating means for calculating an underwater optical path length of subject light;
Color restoration matrix generating means for generating a color restoration matrix based on the calculated underwater optical path length;
An image processing apparatus comprising: a matrix multiplication unit that corrects an input pixel value based on the color restoration matrix and a white balance gain.
設定された前記ホワイトバランスゲインに基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、
前記色復元マトリックスと前記ホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置。 A white balance setting means for setting a white balance gain around the subject when shooting underwater;
Color restoration matrix generation means for generating a color restoration matrix based on the set white balance gain;
An image processing apparatus comprising: a matrix multiplication unit that corrects an input pixel value based on the color restoration matrix and the white balance gain.
設定された前記ホワイトバランスゲインに基づいて、被写体の光源色を算出する光源色算出手段と、を備え、
前記水中光路長算出手段は、前記光源色算出手段にて算出された光源色に基づいて、被写体光の水中光路長を算出することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。 A white balance setting means for setting a white balance gain around the subject when shooting underwater;
Light source color calculation means for calculating the light source color of the subject based on the set white balance gain,
4. The image according to claim 1, wherein the underwater optical path length calculating unit calculates an underwater optical path length of subject light based on the light source color calculated by the light source color calculating unit. 5. Processing equipment.
前記ホワイトバランス設定手段は、前記水陸選択手段の選択結果に応じて、前記撮像装置で撮像されて入力されたピクセル値に対して画像処理を行って、水中撮影に対応した前記ホワイトバランスゲイン、または陸上撮影に対応した前記ホワイトバランスゲインを設定することを特徴とする請求項4乃至7のいずれかに記載の画像処理装置。 Equipped with a land-and-land selection means for selecting whether the imaging by the imaging device was performed underwater or on land,
The white balance setting unit performs image processing on a pixel value captured and input by the imaging device according to a selection result of the land and land selection unit, and the white balance gain corresponding to underwater shooting, or 8. The image processing apparatus according to claim 4, wherein the white balance gain corresponding to land photography is set.
前記ホワイトバランス設定手段は、入力された前記情報に基づいて、前記ホワイトバランスゲインを設定することを特徴とする請求項4乃至7のいずれかに記載の画像処理装置。 Underwater optical path length information input means for inputting information on the underwater optical path length or water depth,
The image processing apparatus according to claim 4, wherein the white balance setting unit sets the white balance gain based on the input information.
前記水中光路長算出手段は、前記水深測定手段にて測定された水深に基づいて、被写体光の水中光路長を算出することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。 Equipped with water depth measuring means for measuring water depth,
4. The image processing apparatus according to claim 1, wherein the underwater optical path length calculation unit calculates an underwater optical path length of subject light based on the water depth measured by the water depth measurement unit. 5. .
前記マトリックス乗算手段は、前記RAWデータに応じたピクセル値と、前記色復元マトリックスと、前記ホワイトバランスゲインと、色空間変換マトリックスとを乗じることにより、前記RAWデータに対応するピクセル値を算出することを特徴とする請求項1乃至12のいずれかに記載の画像処理装置。 The input pixel value is RAW data;
The matrix multiplication unit calculates a pixel value corresponding to the RAW data by multiplying a pixel value corresponding to the RAW data, the color restoration matrix, the white balance gain, and a color space conversion matrix. The image processing apparatus according to claim 1, wherein:
前記マトリックス乗算手段は、前記画像データに応じたピクセル値と、前記色復元マトリックスと、前記ホワイトバランスゲインと、色空間変換マトリックスとを乗じることにより、前記画像データに対応するピクセル値を算出することを特徴とする請求項1乃至12のいずれかに記載の画像処理装置。 The input pixel value is obtained by gamma-converting image data having a predetermined image file format so as to be proportional to the input light amount,
The matrix multiplying unit calculates a pixel value corresponding to the image data by multiplying a pixel value corresponding to the image data, the color restoration matrix, the white balance gain, and a color space conversion matrix. The image processing apparatus according to claim 1, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007063892A JP4860512B2 (en) | 2007-03-13 | 2007-03-13 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007063892A JP4860512B2 (en) | 2007-03-13 | 2007-03-13 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008227951A true JP2008227951A (en) | 2008-09-25 |
JP4860512B2 JP4860512B2 (en) | 2012-01-25 |
Family
ID=39846020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007063892A Active JP4860512B2 (en) | 2007-03-13 | 2007-03-13 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4860512B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074951A (en) * | 2010-09-29 | 2012-04-12 | Olympus Imaging Corp | Image pickup device and image processing method |
JP2012124877A (en) * | 2010-02-04 | 2012-06-28 | Canon Inc | Image processing device |
JP2012165145A (en) * | 2011-02-04 | 2012-08-30 | Canon Inc | Device and method for image processing |
JP2017502596A (en) * | 2014-09-17 | 2017-01-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | White balance adjustment method and imaging system |
CN112488948A (en) * | 2020-12-03 | 2021-03-12 | 大连海事大学 | Underwater image restoration method based on black pixel point estimation backscattering |
CN115619628A (en) * | 2022-12-05 | 2023-01-17 | 荣耀终端有限公司 | Image processing method and terminal device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107256536B (en) * | 2017-06-05 | 2021-01-05 | 河海大学 | Underwater image restoration method based on color constancy and group sparsity |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06351025A (en) * | 1993-06-04 | 1994-12-22 | Nikon Corp | Electronic still camera |
JP2004023347A (en) * | 2002-06-14 | 2004-01-22 | Canon Inc | Apparatus, system and method of image processing, storage medium and program |
JP2004146928A (en) * | 2002-10-22 | 2004-05-20 | Fuji Photo Film Co Ltd | Underwater camera |
JP2005231488A (en) * | 2004-02-19 | 2005-09-02 | Seiko Epson Corp | Diving mask, control method for display device for diving mask, control program and recording medium |
-
2007
- 2007-03-13 JP JP2007063892A patent/JP4860512B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06351025A (en) * | 1993-06-04 | 1994-12-22 | Nikon Corp | Electronic still camera |
JP2004023347A (en) * | 2002-06-14 | 2004-01-22 | Canon Inc | Apparatus, system and method of image processing, storage medium and program |
JP2004146928A (en) * | 2002-10-22 | 2004-05-20 | Fuji Photo Film Co Ltd | Underwater camera |
JP2005231488A (en) * | 2004-02-19 | 2005-09-02 | Seiko Epson Corp | Diving mask, control method for display device for diving mask, control program and recording medium |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012124877A (en) * | 2010-02-04 | 2012-06-28 | Canon Inc | Image processing device |
US8913154B2 (en) | 2010-02-04 | 2014-12-16 | Canon Kabushiki Kaisha | Image processing apparatus |
JP2012074951A (en) * | 2010-09-29 | 2012-04-12 | Olympus Imaging Corp | Image pickup device and image processing method |
US8860798B2 (en) | 2010-09-29 | 2014-10-14 | Olympus Imaging Corp. | Image-capturing device and image processing method |
JP2012165145A (en) * | 2011-02-04 | 2012-08-30 | Canon Inc | Device and method for image processing |
JP2017502596A (en) * | 2014-09-17 | 2017-01-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | White balance adjustment method and imaging system |
US9743059B2 (en) | 2014-09-17 | 2017-08-22 | SZ DJI Technology Co., Ltd. | Automatic white balancing system and method |
US9743058B2 (en) | 2014-09-17 | 2017-08-22 | SZ DJI Technology Co., Ltd. | Automatic white balancing system and method |
CN112488948A (en) * | 2020-12-03 | 2021-03-12 | 大连海事大学 | Underwater image restoration method based on black pixel point estimation backscattering |
CN112488948B (en) * | 2020-12-03 | 2023-05-16 | 大连海事大学 | Underwater image restoration method based on black pixel point estimation back scattering |
CN115619628A (en) * | 2022-12-05 | 2023-01-17 | 荣耀终端有限公司 | Image processing method and terminal device |
CN115619628B (en) * | 2022-12-05 | 2023-05-23 | 荣耀终端有限公司 | Image processing method and terminal equipment |
Also Published As
Publication number | Publication date |
---|---|
JP4860512B2 (en) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4860512B2 (en) | Image processing device | |
US20050275911A1 (en) | Image processing method and device enabling faithful reproduction of appearance and further preferred color reproduction of appearance, image output device and digital camera using the same, and image processing program for executing the image processing method and recording medium on which the program is recorded | |
JP5253000B2 (en) | Imaging device | |
JP5195430B2 (en) | Image processing method, image processing program, image processing apparatus, camera | |
JP2003284084A (en) | Image processing apparatus and method, and manufacturing method of image processing apparatus | |
US9077944B2 (en) | Image pickup device, image processing method, and storage medium | |
JP5407600B2 (en) | Image processing apparatus, image processing method, and electronic camera | |
US8369654B2 (en) | Developing apparatus, developing method and computer program for developing processing for an undeveloped image | |
US8786728B2 (en) | Image processing apparatus, image processing method, and storage medium storing image processing program | |
KR20120025414A (en) | Image processing apparatus, image processing method, and recording medium | |
JP6974156B2 (en) | Image color conversion device, image color conversion program, image color conversion method | |
JP5136209B2 (en) | Development processing apparatus for undeveloped image data, development processing method, and computer program for development processing | |
JP7156302B2 (en) | Image processing device, image processing method, program | |
US8654210B2 (en) | Adaptive color imaging | |
JP4396332B2 (en) | Digital camera | |
JP2005117524A (en) | Image processing system | |
JP2009055077A (en) | Imaging apparatus | |
JP5031442B2 (en) | Color processing method and apparatus | |
JP4622510B2 (en) | Imaging apparatus, image processing method, and program | |
JP4298595B2 (en) | Imaging apparatus and signal processing method thereof | |
JP5109804B2 (en) | Development processing apparatus for undeveloped image data, development processing method, and computer program for development processing | |
JP2007142978A (en) | Image processing method and imaging apparatus | |
JP2015162870A (en) | digital camera and image processing program | |
JPWO2005041588A1 (en) | Electronic device with photographing function having color correction function, and color correction method of image data | |
JP2006042168A (en) | Imaging apparatus, and method for calculating white balance control value |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111004 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4860512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |