JP2017143454A - Image processing apparatus, imaging device, lens device and image processing program - Google Patents
Image processing apparatus, imaging device, lens device and image processing program Download PDFInfo
- Publication number
- JP2017143454A JP2017143454A JP2016024322A JP2016024322A JP2017143454A JP 2017143454 A JP2017143454 A JP 2017143454A JP 2016024322 A JP2016024322 A JP 2016024322A JP 2016024322 A JP2016024322 A JP 2016024322A JP 2017143454 A JP2017143454 A JP 2017143454A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- illumination
- image
- illuminance
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stroboscope Apparatuses (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、照明された被写体を撮像することで得られた撮影画像に対して画像処理を行う技術に関する。 The present invention relates to a technique for performing image processing on a captured image obtained by imaging an illuminated subject.
撮像を行う場合に、デジタルカメラ等の撮像装置や交換レンズ等のレンズ装置に外付けまたは内蔵された照明装置を用いて被写体を照明する場合が多い。特許文献１および特許文献２には、近接撮影（マクロ撮影）に適したレンズ装置として、鏡筒部における被写体側の前端部に環状に配置された複数の白色ＬＥＤを内蔵したものが開示されている。 When taking an image, the subject is often illuminated using an illuminating device externally or built in an imaging device such as a digital camera or a lens device such as an interchangeable lens. Patent Literature 1 and Patent Literature 2 disclose a lens device suitable for close-up photography (macro photography) that includes a plurality of white LEDs arranged in a ring shape at the front end portion on the subject side in the lens barrel. Yes.
しかしながら、照明装置からの照明光の照度分布が不均一である（つまりは照度むらがある）と、明るさにむらがある撮影画像が取得される。特に特許文献１，２に開示されたレンズ装置のように複数のＬＥＤを有する場合には、該複数のＬＥＤの輝度が互いに異なることにより照度むらが発生する。さらに、近接撮影において照度むらがあると、撮影画像において明るさのむらが目立つ。 However, when the illuminance distribution of the illumination light from the illuminating device is non-uniform (that is, there is uneven illuminance), a captured image with uneven brightness is acquired. In particular, when a plurality of LEDs are provided as in the lens devices disclosed in Patent Documents 1 and 2, unevenness in illuminance occurs due to the brightness of the LEDs being different from each other. Further, if there is uneven illuminance in close-up photography, uneven brightness is noticeable in the captured image.
本発明は、照明装置の照明光に照度むらがあっても、撮影画像における明るさむらを低減することができるようにした画像処理装置、撮像装置およびレンズ装置等を提供する。 The present invention provides an image processing device, an imaging device, a lens device, and the like that can reduce uneven brightness in a captured image even if the illumination light of the illumination device has uneven illumination.
本発明の一側面としての画像処理装置は、照明装置からの照明光によって照明された被写体の撮像により生成された入力画像を取得する画像取得手段と、照明光の照度分布に関する情報である照明情報を取得する照明情報取得手段と、照明情報を用いて入力画像に対する画像処理を行う処理手段とを有することを特徴とする。 An image processing apparatus according to one aspect of the present invention includes an image acquisition unit that acquires an input image generated by imaging a subject illuminated by illumination light from an illumination device, and illumination information that is information related to an illuminance distribution of the illumination light Illumination information acquisition means for acquiring the image and processing means for performing image processing on the input image using the illumination information.
また、被写体の撮像を行う撮像手段と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。 In addition, an image pickup apparatus having an image pickup unit for picking up an image of the subject and the image processing apparatus constitutes another aspect of the present invention.
また、本発明の他の一側面としてのレンズ装置は、被写体の撮像を行って入力画像を生成する撮像手段と上記画像処理装置とを有する撮像装置に対して取り外し可能かつ通信可能に装着される。該レンズ装置は、該レンズ装置のうち被写体側の端部に設けられた照明装置と、照明情報を記憶した記憶手段と、照明情報を撮像装置に送信する送信手段とを有することを特徴とする。 A lens apparatus according to another aspect of the present invention is detachably and communicably attached to an imaging apparatus having an imaging unit that captures an image of a subject and generates an input image and the image processing apparatus. . The lens device includes an illumination device provided at an end on the subject side of the lens device, a storage unit that stores illumination information, and a transmission unit that transmits the illumination information to the imaging device. .
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、照明装置からの照明光によって照明された被写体の撮像により生成された入力画像を取得させ、照明光の照度分布に関する情報である照明情報を取得させ、照明情報を用いて入力画像に対する画像処理を行わせることを特徴とする。 Furthermore, an image processing program according to another aspect of the present invention causes a computer to acquire an input image generated by imaging a subject illuminated by illumination light from an illumination device, and includes information on an illuminance distribution of illumination light. Certain illumination information is acquired, and image processing is performed on an input image using the illumination information.
本発明によれば、照明装置の照明光に照度むらがあっても、入力画像に対して照度分布に関する照明情報を用いた画像処理を行えるようにすることで、明るさむらが低減された高画質画像を生成することができる。 According to the present invention, it is possible to perform image processing using illumination information related to an illuminance distribution on an input image even when the illumination light of the illumination device has illuminance unevenness, thereby reducing brightness unevenness. An image quality image can be generated.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１には、本発明の実施例１であるカメラシステムの構成を示している。カメラシステムは、デジタルカメラやビデオカメラ等の撮像装置であるカメラ１と、該カメラ１に取り外し可能に装着されるレンズ装置としての交換レンズ２とにより構成されている。図２には、交換レンズ２を前側（被写体側）の斜めから見たときの外観を示している。 FIG. 1 shows the configuration of a camera system that is Embodiment 1 of the present invention. The camera system includes a camera 1 that is an imaging device such as a digital camera or a video camera, and an interchangeable lens 2 as a lens device that is detachably attached to the camera 1. FIG. 2 shows an external appearance of the interchangeable lens 2 when viewed from the front side (subject side) obliquely.
カメラ１と交換レンズ２は、それぞれに設けられたカメラマウント１ａとレンズマウント２ａが結合することにより機械的に接続され、さらにカメラマウント１ａとレンズマウント２ａに設けられた不図示の通信端子を介して相互に通信可能に接続される。 The camera 1 and the interchangeable lens 2 are mechanically connected by coupling a camera mount 1a and a lens mount 2a provided to each other, and further via a communication terminal (not shown) provided on the camera mount 1a and the lens mount 2a. So that they can communicate with each other.
カメラ１は、交換レンズ２内の撮影光学系により形成された被写体像を撮像（光電変換）するＣＭＯＳセンサまたはＣＣＤセンサ等により構成される撮像素子１ｂと、該撮像素子１ｂからの出力を用いて撮影画像を生成する画像処理部（処理手段）１ｆとを有する。また、カメラ１は、該カメラ１内の動作を制御するカメラＣＰＵ１ｃを有する。カメラＣＰＵ１ｃと画像処理部１ｆとにより画像処理装置が構成される。 The camera 1 uses an imaging element 1b configured by a CMOS sensor or a CCD sensor that captures (photoelectric conversion) a subject image formed by a photographing optical system in the interchangeable lens 2, and an output from the imaging element 1b. And an image processing unit (processing unit) 1 f that generates a captured image. The camera 1 also has a camera CPU 1 c that controls the operation in the camera 1. The camera CPU 1c and the image processing unit 1f constitute an image processing apparatus.
交換レンズ２内の撮影光学系は、光軸方向に移動して焦点調節を行うフォーカスレンズおよび光量を調節する絞り等を有する。なお、本実施例における交換レンズ２は、近接撮影に適した撮影光学系を有するマクロ撮影用交換レンズである。この交換レンズ２は、例えば、３０ｍｍ〜７０ｍｍ程度の焦点距離を有し、発光部から１０ｍｍ〜５０ｍｍ程度の撮影距離で使用される。 The photographing optical system in the interchangeable lens 2 includes a focus lens that moves in the optical axis direction to adjust the focus, a diaphragm that adjusts the amount of light, and the like. The interchangeable lens 2 in this embodiment is a macro photographing interchangeable lens having a photographing optical system suitable for close-up photographing. The interchangeable lens 2 has a focal length of about 30 mm to 70 mm, for example, and is used at an imaging distance of about 10 mm to 50 mm from the light emitting unit.
カメラＣＰＵ１ｃは、カメラ１に設けられた不図示の操作スイッチがユーザにより操作されることに応じて、該操作に応じた指令を交換レンズ２に送信したり、ＡＦおよびＡＦ等の撮影準備動作や記録用画像を取得するための撮影動作を制御したりする。ＡＦ（オートフォーカス）において、カメラＣＰＵ１ｃは、撮像素子１ｂからの出力を用いてデフォーカス量を演算し、該デフォーカス量に応じたフォーカスレンズの駆動量の情報をフォーカス駆動情報として交換レンズ２に設けられたレンズＣＰＵ２ｂに送信する。また、ＡＥ（自動露出）において、カメラＣＰＵ１ｃは、撮像素子１ｂからの出力を用いて被写体輝度を計測し、該被写体輝度に応じた絞りの駆動量の情報を絞り駆動情報としてレンズＣＰＵ２ｂに送信する。この際、被写体輝度が所定値より低い場合には、カメラＣＰＵ１ｃは、後述する複数のレンズＬＥＤ２ｉを発光させるための発光制御情報をレンズＣＰＵ２ｂに送信する。 In response to an operation switch (not shown) provided on the camera 1 being operated by the user, the camera CPU 1c transmits a command corresponding to the operation to the interchangeable lens 2, or performs shooting preparation operations such as AF and AF, It controls the shooting operation for acquiring the image for recording. In AF (autofocus), the camera CPU 1c calculates the defocus amount using the output from the image sensor 1b, and the information on the drive amount of the focus lens according to the defocus amount is sent to the interchangeable lens 2 as focus drive information. It transmits to provided lens CPU2b. In AE (automatic exposure), the camera CPU 1c measures the subject luminance using the output from the image sensor 1b, and transmits information on the driving amount of the diaphragm according to the subject luminance to the lens CPU 2b as aperture driving information. . At this time, if the subject luminance is lower than the predetermined value, the camera CPU 1c transmits light emission control information for causing a plurality of lens LEDs 2i described later to emit light to the lens CPU 2b.
一方、レンズＣＰＵ２ｃは、交換レンズ２がカメラ１に装着されることに応じて、交換レンズ２に設けられたレンズ記憶部（記憶手段）２ｅに記憶されているレンズ情報をカメラＣＰＵ１ｃに送信する。レンズ情報は、撮影光学系の焦点距離、開放／最小絞り値、周辺光量に関する情報およびフォーカス敏感度に関する情報等を含む。さらに、レンズ情報には、複数のレンズＬＥＤ２ｉが発光した状態での撮影範囲内での照度分布に関する情報であるＬＥＤ照明情報（これについては後に詳しく説明する）も含まれる。レンズ情報を受け取ったカメラＣＰＵ１ｃは、該レンズ情報をカメラ１内に設けられたカメラ記憶部１ｅに記憶させる。 On the other hand, when the interchangeable lens 2 is attached to the camera 1, the lens CPU 2c transmits lens information stored in a lens storage unit (storage means) 2e provided in the interchangeable lens 2 to the camera CPU 1c. The lens information includes a focal length of the photographing optical system, an open / minimum aperture value, information on the peripheral light amount, information on the focus sensitivity, and the like. Further, the lens information includes LED illumination information (which will be described in detail later), which is information relating to the illuminance distribution within the photographing range in a state where the plurality of lenses LED2i emit light. Upon receiving the lens information, the camera CPU 1 c stores the lens information in the camera storage unit 1 e provided in the camera 1.
また、交換レンズ２には、フォーカス駆動回路および絞り駆動回路等が実装された基板２ｆと、フォーカスレンズを駆動するステッピングモータや振動型モータ等のフォーカスアクチュエータ２ｋとが設けられている。フォーカス駆動回路は、カメラＣＰＵ１ｃから受信したフォーカス駆動情報に応じてフォーカスアクチュエータ２ｋを駆動することで、フォーカスレンズを移動させる。これにより、ＡＦが行われる。絞り駆動回路は、カメラＣＰＵ１ｃから受信した絞り駆動情報に応じてステッピングモータ等の絞りアクチュエータを駆動することで、絞りを動作させる。これにより、適切な絞り値が設定される。 In addition, the interchangeable lens 2 is provided with a substrate 2f on which a focus drive circuit, a diaphragm drive circuit, and the like are mounted, and a focus actuator 2k such as a stepping motor or a vibration type motor that drives the focus lens. The focus drive circuit moves the focus lens by driving the focus actuator 2k according to the focus drive information received from the camera CPU 1c. Thereby, AF is performed. The aperture drive circuit operates the aperture by driving an aperture actuator such as a stepping motor in accordance with the aperture drive information received from the camera CPU 1c. Thereby, an appropriate aperture value is set.
さらに、交換レンズ２の鏡筒部の前端部（被写体側の端部）のうち撮影光学系を囲む周囲部分には、その周方向に離間した位置に発光部としてのレンズＬＥＤ２ｉが複数（例えば２つ）設けられている。レンズＬＥＤ２ｉは、白色単色光を発光するＬＥＤ（ＲＧＢの３つの発光素子を含むものであってもよい）により構成され、レンズＣＰＵ２ｂに接続されている。 Further, a plurality of lens LEDs 2i (for example, 2) as a light emitting unit are disposed in a peripheral portion surrounding the photographing optical system in the front end portion (end portion on the subject side) of the lens barrel portion of the interchangeable lens 2 at positions spaced apart in the circumferential direction. One) is provided. The lens LED 2i is configured by an LED that emits white monochromatic light (may include three light emitting elements of RGB), and is connected to the lens CPU 2b.
レンズＬＥＤ２ｉの前側には、図２にも示すように撮影光学系の前面の周囲を囲むように周方向に環状に延びる拡散板２ｊが設けられている。拡散板２ｊの裏側には、各レンズＬＥＤ２ｉから発せられた照明光を拡散板２ｊの裏面における広い範囲に入射させるように周方向に導く光ガイド部材２ｈが設けられている。複数のレンズＬＥＤ２ｉから発せられた照明光は、これらレンズＬＥＤ２ｉのそれぞれに設けられた光ガイド部材２ｈを介して拡散板２ｊのほぼ全周の裏面に入射し、該拡散板２ｊより拡散されて被写体に向けて照射される。複数のレンズＬＥＤ２ｉ、光ガイド部材２ｈおよび拡散板２ｊにより照明装置ＩＡが構成される。 On the front side of the lens LED 2i, as shown in FIG. 2, a diffusing plate 2j extending annularly in the circumferential direction is provided so as to surround the periphery of the front surface of the photographing optical system. On the back side of the diffusion plate 2j, there is provided a light guide member 2h that guides the illumination light emitted from each lens LED 2i in the circumferential direction so as to enter a wide range on the back surface of the diffusion plate 2j. Illumination light emitted from the plurality of lenses LED2i is incident on the back surface of the diffusing plate 2j through the light guide member 2h provided in each of the lenses LED2i, and is diffused by the diffusing plate 2j to be diffused by the subject. Irradiated towards. The illumination device IA is configured by the plurality of lenses LED2i, the light guide member 2h, and the diffusion plate 2j.
本実施例の交換レンズ２は、焦点調節が行われてもレンズ全長が変化しない、つまりは照明装置ＩＡが光軸方向に移動しない構成を有する。このため、焦点調節が行われても照明装置ＩＡから被写体までの距離が一定に維持される。 The interchangeable lens 2 of the present embodiment has a configuration in which the entire lens length does not change even when focus adjustment is performed, that is, the illumination device IA does not move in the optical axis direction. For this reason, even if focus adjustment is performed, the distance from the illumination device IA to the subject is maintained constant.
交換レンズ２の外周面には、レンズＬＥＤ２ｉの点灯（発光）／消灯（非発光）を切り替えるためにユーザにより操作される照明スイッチ２ｇが設けられている。照明スイッチ２ｇは、レンズＣＰＵ２ｂに接続されている。レンズＣＰＵ２ｂは、照明スイッチ２ｇのオン操作およびオフ操作に応じて複数のレンズＬＥＤ２ｉの点灯と消灯を制御する。また、レンズＣＰＵ２ｂは、照明スイッチ２ｇの操作に応じて、複数のレンズＬＥＤ２ｉを互いに同じ輝度で発光させるように制御する。 On the outer peripheral surface of the interchangeable lens 2, there is provided an illumination switch 2g operated by a user in order to switch the lens LED 2i between lighting (light emission) / light extinction (non-light emission). The illumination switch 2g is connected to the lens CPU 2b. The lens CPU 2b controls lighting and extinguishing of the plurality of lens LEDs 2i according to the on / off operation of the illumination switch 2g. The lens CPU 2b controls the plurality of lens LEDs 2i to emit light with the same luminance in accordance with the operation of the illumination switch 2g.
なお、レンズＣＰＵ２ｂに、照明スイッチ２ｇの操作に応じて、点灯した複数のレンズＬＥＤ２ｉの明るさをまとめて又は個々に変化させることも可能である。さらに、レンズＣＰＵ２ｂに、照明スイッチ２ｇの操作に応じて、照明スイッチ２ｇの操作に応じて複数のレンズＬＥＤ２ｉのうち点灯させるレンズＬＥＤ２ｉを選択させることも可能である。 It is also possible to change the brightness of the plurality of lit lens LEDs 2i collectively or individually according to the operation of the illumination switch 2g. Further, it is possible to cause the lens CPU 2b to select the lens LED 2i to be lit among the plurality of lens LEDs 2i in accordance with the operation of the illumination switch 2g in accordance with the operation of the illumination switch 2g.
ただし、複数のレンズＬＥＤ２ｉは、レンズＬＥＤ２ｉごとの個体差（印加電圧に対する輝度特性や固有の照度分布）を有する場合がある。この場合、上述したようにレンズＣＰＵ２ｂが複数のレンズＬＥＤ２ｉを互いに同じ輝度で発光させるように制御（印加電圧を設定）しても、同一撮影距離の被写体面を均一に照明することが難しい。つまり、図４に示すように、照明装置ＩＡ（拡散板２ｊ）からの照明光の照度分布に応じて、同一撮影距離の被写体面において明るさむらが発生する。 However, the plurality of lenses LED2i may have individual differences (brightness characteristics with respect to applied voltage and inherent illuminance distribution) for each lens LED2i. In this case, as described above, it is difficult to uniformly illuminate the subject surface at the same shooting distance even if the lens CPU 2b controls the plurality of lens LEDs 2i to emit light with the same luminance (set the applied voltage). That is, as shown in FIG. 4, uneven brightness occurs on the subject surface at the same shooting distance in accordance with the illuminance distribution of the illumination light from the illumination device IA (the diffuser 2j).
このため、本実施例では、撮影距離ごとの被写体面における照明装置ＩＡからの照明光の照度分布を測定し、該照度分布に関する情報であるＬＥＤ照明情報を作成してレンズ記憶部２ｅに記憶させる。なお、ＬＥＤ照明情報の作成とレンズ記憶部２ｅへの記憶（格納）は、交換レンズ２の製造工程において行われる。以下、その具体的な手順について説明する。 For this reason, in this embodiment, the illuminance distribution of the illumination light from the illumination device IA on the subject surface for each shooting distance is measured, and LED illumination information that is information related to the illuminance distribution is created and stored in the lens storage unit 2e. . The LED illumination information is created and stored (stored) in the lens storage unit 2e in the manufacturing process of the interchangeable lens 2. The specific procedure will be described below.
図３に示すように、測定用カメラ１１に交換レンズ２を装着し、測定用カメラ１１に測定装置としてのパーソナルコンピュータ１２を接続する。次に、交換レンズ２の複数のレンズＬＥＤ２ｉを全て発光させた状態で、測定用カメラ１１に、撮影範囲内の反射輝度が一定である反射板３を撮像させる。該撮像により得られた測定用画像は、図４に示すように、照明光の照度むらに対応した明るさむらのある画像となる。図４では、照明装置ＩＡ（拡散板２ｊ）に対向するリング状の領域４ａが最も明るく、その内側の領域４ｂがやや暗く、領域４ｃよりも外側の領域４ｃは外側ほど暗くなっている。 As shown in FIG. 3, the interchangeable lens 2 is attached to the measurement camera 11, and a personal computer 12 as a measurement device is connected to the measurement camera 11. Next, in a state where all the plurality of lens LEDs 2 i of the interchangeable lens 2 are caused to emit light, the measuring camera 11 is caused to image the reflecting plate 3 having a constant reflected luminance within the photographing range. As shown in FIG. 4, the measurement image obtained by the imaging is an image with uneven brightness corresponding to uneven illumination intensity of illumination light. In FIG. 4, the ring-shaped region 4a facing the illumination device IA (diffuser plate 2j) is brightest, the inner region 4b is slightly darker, and the region 4c outside the region 4c is darker toward the outer side.
パーソナルコンピュータ１２は、これにインストールされているコンピュータプログラムとしての測定プログラムに従って動作して、測定用画像を図５に示すように複数のブロックに分け、図６に示すようにブロックごとの明るさのデータを取得する。なお、図６は、図４に示した測定用画像の周辺部（隅部）を拡大して示している。 The personal computer 12 operates according to a measurement program as a computer program installed therein, and divides the measurement image into a plurality of blocks as shown in FIG. 5, and the brightness of each block as shown in FIG. Get the data. FIG. 6 shows an enlarged peripheral portion (corner portion) of the measurement image shown in FIG.
ブロックごとの明るさは、例えば、該ブロック内の複数の画素の画素値の平均値とすればよい。また、ブロック内の代表画素の画素値としてもよいし、最高輝度を有するブロックの明るさに対する差分値としてもよい。こうして、全てのブロックのそれぞれにおける明るさ、つまりは照明光の照度のデータをこれらブロックの位置（座標）と対応付けたマップデータをＬＥＤ照明情報（以下、照度マップという）として作成し、レンズ記憶部２ｅに記憶させる。 The brightness for each block may be, for example, an average value of pixel values of a plurality of pixels in the block. Moreover, it is good also as a pixel value of the representative pixel in a block, and good also as a difference value with respect to the brightness of the block which has the highest brightness | luminance. In this way, map data in which the brightness in each block, that is, the illuminance data of the illumination light is associated with the positions (coordinates) of these blocks is created as LED illumination information (hereinafter referred to as illuminance map), and stored in the lens. Store in unit 2e.
なお、照明光の照度分布と被写体面での明るさ分布とは互いに対応する関係にあるので、照明光の照度分布に関する照明情報を、被写体面での明るさ分布に関する照明情報と言い換えてもよい。 Since the illumination light illuminance distribution and the brightness distribution on the subject surface are in a mutually corresponding relationship, the illumination information related to the illumination light illuminance distribution may be rephrased as illumination information related to the brightness distribution on the subject surface. .
また、照明装置ＩＡからの照明光の配光特性は該照明光が照射される距離に応じて変化するため、照明光の照度分布および明るさ分布も被写体面までの距離である撮影距離によって変化する。したがって、本実施例では、代表的な複数の撮影距離のそれぞれに対する照度マップを上述した手順で作成し、これら撮影距離に応じて異なる複数の照度マップをレンズ記憶部２ｅに記憶させる。 Further, since the light distribution characteristic of the illumination light from the illumination device IA changes according to the distance irradiated with the illumination light, the illuminance distribution and the brightness distribution of the illumination light also change depending on the photographing distance that is the distance to the subject surface. To do. Therefore, in this embodiment, an illuminance map for each of a plurality of representative shooting distances is created in the above-described procedure, and a plurality of illuminance maps that differ according to these shooting distances are stored in the lens storage unit 2e.
次に、レンズ記憶部２ｅに撮影距離ごとの照度マップが記憶された交換レンズ２が装着されたカメラ１により撮像を行う場合のカメラＣＰＵ１ｃおよび画像処理部１ｆの動作について、図９のフローチャートを用いて説明する。カメラＣＰＵ１ｃおよび画像処理部１ｆは、コンピュータプログラムである画像処理プログラムに従って動作する。 Next, the operation of the camera CPU 1c and the image processing unit 1f in the case of performing imaging with the camera 1 attached with the interchangeable lens 2 in which the illuminance map for each shooting distance is stored in the lens storage unit 2e will be described with reference to the flowchart of FIG. I will explain. The camera CPU 1c and the image processing unit 1f operate according to an image processing program that is a computer program.
ステップＳ１で交換レンズ２の装着を検出したカメラＣＰＵ（照明情報取得手段）１ｃは、ステップＳ２において、レンズＣＰＵ（送信手段）２ｂからレンズ記憶部２ｅに記憶された複数の撮影距離に対する照度マップを受信し、これをカメラ記憶部１ｅに記憶させる。 The camera CPU (illumination information acquisition means) 1c that has detected the mounting of the interchangeable lens 2 in step S1 obtains an illuminance map for a plurality of shooting distances stored in the lens storage unit 2e from the lens CPU (transmission means) 2b in step S2. This is received and stored in the camera storage unit 1e.
次にステップＳ３では、カメラＣＰＵ１ｃは、レンズＣＰＵ２ｂから複数のレンズＬＥＤ２ｈの点灯が選択されているか否かを示す情報を取得する。点灯が選択されている場合はステップＳ４に進み、点灯が選択されていない場合はステップＳ７に進む。 Next, in step S3, the camera CPU 1c acquires information indicating whether or not lighting of the plurality of lens LEDs 2h is selected from the lens CPU 2b. If lighting is selected, the process proceeds to step S4, and if lighting is not selected, the process proceeds to step S7.
ステップＳ４では、カメラＣＰＵ１ｃは、レンズＣＰＵ２ｂから現在の撮影距離の情報を受信する。レンズＣＰＵ２ｂは、撮影光学系の焦点距離やフォーカスレンズの位置等に基づいて撮影距離を演算した結果をカメラＣＰＵ１ｃに送信する。ただし、カメラＣＰＵ１ｃが、レンズＣＰＵ２ｂから受信した撮影光学系の焦点距離やフォーカスレンズの位置等に基づいて撮影距離を演算してもよい。 In step S4, the camera CPU 1c receives information on the current shooting distance from the lens CPU 2b. The lens CPU 2b transmits the result of calculating the shooting distance based on the focal length of the shooting optical system, the position of the focus lens, and the like to the camera CPU 1c. However, the camera CPU 1c may calculate the shooting distance based on the focal length of the shooting optical system received from the lens CPU 2b, the position of the focus lens, and the like.
次にステップＳ５では、カメラＣＰＵ１ｃは、撮影準備動作から撮影動作までの撮像を行う。画像処理部（画像取得手段）１ｆは、撮像素子１ｂからの出力に対して所定の処理を行うことでＲＡＷ画像である撮影画像（入力画像）を生成、すなわち取得する。 Next, in step S5, the camera CPU 1c performs imaging from the shooting preparation operation to the shooting operation. The image processing unit (image acquisition unit) 1f generates, that is, acquires, a captured image (input image) that is a RAW image by performing predetermined processing on the output from the image sensor 1b.
次にステップＳ６では、画像処理部１ｆは、ステップＳ４でカメラＣＰＵ１ｃが取得した撮影距離に対応する照度マップをカメラ記憶部１ｅから読み出す。そして、この照度マップを用いてステップＳ５で取得した撮影画像に対して画像処理を行う。ここでの画像処理は、照度マップに第１の照度領域と該第１の照度領域より照度が低い第２の照度領域とがあるとき、撮影画像における第２の照度領域に対応する画像領域の画素値を増加させる（つまりは該画像領域の輝度を高くする）処理である。 In step S6, the image processing unit 1f reads an illuminance map corresponding to the shooting distance acquired by the camera CPU 1c in step S4 from the camera storage unit 1e. Then, image processing is performed on the captured image acquired in step S5 using the illuminance map. In this image processing, when the illuminance map includes a first illuminance area and a second illuminance area whose illuminance is lower than the first illuminance area, an image area corresponding to the second illuminance area in the captured image is displayed. This is a process of increasing the pixel value (that is, increasing the luminance of the image area).
図７には、ＲＡＷ画像である撮影画像を示す。この撮影画像は、被写体の本来の明るさに対して図４に示したような照明光の照度むらが重畳することで、図７に示すように明るさむらがある画像となる。特に平面的な被写体を撮像した場合に、明るさむらが目立つ。画像処理部１ｆは、上記画像処理として、１６進数にて補正値００から補正値ＦＦまでの複数段階で輝度を補正する処理を行う。 FIG. 7 shows a captured image that is a RAW image. This captured image is an image with uneven brightness as shown in FIG. 7 by superimposing the uneven brightness of illumination light as shown in FIG. 4 on the original brightness of the subject. In particular, uneven brightness is noticeable when a planar subject is imaged. As the image processing, the image processing unit 1f performs processing for correcting the luminance in a plurality of stages from the correction value 00 to the correction value FF in hexadecimal.
撮影画像の各画素の色は、Ｒ，Ｇ，Ｂの３色の組合せで表現される。Ｒ，Ｇ，Ｂはそれぞれ００からＦＦの輝度を有し、Ｒ，Ｇ，Ｂがすべて００である場合は黒色に、すべてＦＦである場合は白色となる。 The color of each pixel of the captured image is expressed by a combination of three colors R, G, and B. R, G, and B each have a luminance of 00 to FF, and when R, G, and B are all 00, they are black, and when they are all FF, they are white.
画像処理部１ｆは、照度マップに基づいて撮影画像の輝度を画像領域ごとに補正するための補正値を算出する。例えば、照度マップのうち最も低照度のブロック（図４中の４ｃ）に対応する画像領域では補正値が最も大きくなり、照度マップのうち最も高低照度のブロック（図４中の４ａ）に対応する画像領域では補正値が最も小さく（例えば０に）なるように補正値を算出する。例えば、撮影画像においてグレー色を示す画素の画素値（１６進数）Ｒ＝８８、Ｇ＝８８、Ｂ＝８８を明るいグレー色を示すようにＲ＝９９、Ｇ＝９９、Ｂ＝９９に補正する補正値Ｒ＝＋１０、Ｇ＝＋１０、Ｂ＝＋１０を算出する。 The image processing unit 1f calculates a correction value for correcting the luminance of the captured image for each image region based on the illuminance map. For example, the correction value is the largest in the image region corresponding to the lowest illumination block (4c in FIG. 4) in the illumination map, and corresponds to the highest and lowest illumination block (4a in FIG. 4) in the illumination map. In the image area, the correction value is calculated so that the correction value is the smallest (for example, 0). For example, the pixel values (hexadecimal) R = 88, G = 88, and B = 88 of the pixel that indicates the gray color in the captured image are corrected to R = 99, G = 99, and B = 99 to indicate the bright gray color. Correction values R = + 10, G = + 10, and B = + 10 are calculated.
また、図６に示すように、照度マップにおける隣り合う２つのブロック６ａ，６ｂの照度差が大きい場合がある。このような場合には、撮影画像のうちこれら２つのブロックに対応する２つの画像領域については、該２つの画像領域の境界部で急激な輝度差が生じないように該２つの画像領域で画素値を平均化する処理を行うことが望ましい。 In addition, as shown in FIG. 6, the illuminance difference between two adjacent blocks 6a and 6b in the illuminance map may be large. In such a case, for two image areas corresponding to these two blocks in the photographed image, the pixels in the two image areas do not cause a sharp luminance difference at the boundary between the two image areas. It is desirable to perform a process of averaging the values.
このようにして画像処理を行った画像処理部１ｆは、ステップＳ８において、図８に示した画像処理（輝度補正処理）後の補正画像（出力画像）を出力して、半導体メモリや光ディスク等の外部メモリ１ｇに保存する。また、補正画像を図１に示したＬＣＤ等の表示部１ｄに表示してもよい。図７に示す補正画像は、照明光の照度むらによって暗くなった画像領域の輝度が高められ、全体として均一な輝度を有する画像となる。 In step S8, the image processing unit 1f that has performed the image processing in this way outputs a corrected image (output image) after the image processing (luminance correction processing) shown in FIG. Save in the external memory 1g. Further, the corrected image may be displayed on the display unit 1d such as an LCD shown in FIG. The corrected image shown in FIG. 7 is an image having a uniform brightness as a whole, with the brightness of the image area darkened by the illuminance unevenness of the illumination light being increased.
実施例１では、画像処理装置（カメラＣＰＵ１ｃおよび画像処理部１ｆ）がカメラ１に内蔵され、交換レンズ２から照度マップを取得する場合について説明した。しかし、カメラＣＰＵ１ｃは、照度マップをカメラ１に対して着脱可能な記録媒体やインターネット、ＬＡＮ等のネットワークから取得してもよい。 In the first embodiment, the case where the image processing apparatus (camera CPU 1c and image processing unit 1f) is built in the camera 1 and an illuminance map is acquired from the interchangeable lens 2 has been described. However, the camera CPU 1c may acquire the illuminance map from a recording medium that can be attached to and detached from the camera 1, a network such as the Internet, and a LAN.
また、実施例１では、交換レンズ２の製造工程において照明光の照度分布を測定し、作成した照度マップをレンズ記憶部２ｅに格納する場合について説明した。しかし、交換レンズ２を用いた撮像を行う際に照明光の照度分布を測定し、照度マップを作成してもよい。例えば、交換レンズ２を用いた撮影を行う前に照明装置ＩＡが点灯していない状態で撮影を行い、次に所定の出力で照明装置ＩＡを点灯させて撮影を行い、これらの撮影結果の差分を用いて照度分布を取得してもよい。 In the first embodiment, the case where the illuminance distribution of the illumination light is measured in the manufacturing process of the interchangeable lens 2 and the created illuminance map is stored in the lens storage unit 2e has been described. However, an illuminance map may be created by measuring the illuminance distribution of illumination light when performing imaging using the interchangeable lens 2. For example, before shooting using the interchangeable lens 2, shooting is performed in a state where the illumination device IA is not turned on, and then shooting is performed with the illumination device IA turned on with a predetermined output, and the difference between these shooting results The illuminance distribution may be acquired using.
また、実施例１では、レンズ交換型のカメラ１について説明したが、撮影光学系を一体に有するレンズ一体型カメラにおいても、実施例１で説明した照度マップを用いた画像処理（輝度補正処理）を行うことができる。この場合、照度マップは、カメラ記憶部１ｅに格納すればよい。 In the first embodiment, the lens interchangeable camera 1 has been described. However, in the lens-integrated camera integrally including the photographing optical system, image processing (luminance correction processing) using the illuminance map described in the first embodiment. It can be performed. In this case, the illuminance map may be stored in the camera storage unit 1e.
また、実施例１では、交換レンズ２の前端部に照明装置ＩＡが内蔵されている場合について説明した。しかし、実施例１で説明した照度マップを用いた画像処理（輝度補正処理）は、そのような場合に限らず行うことができる。例えば、カメラや交換レンズに外付けされる照明装置を用いる場合や、カメラおよび交換レンズとは離れて配置された１つ又は複数の照明装置を用いる場合に該画像処理を行うことができる。 In the first embodiment, the case where the illumination device IA is built in the front end portion of the interchangeable lens 2 has been described. However, the image processing (luminance correction processing) using the illuminance map described in the first embodiment can be performed without being limited to such a case. For example, the image processing can be performed when an illumination device externally attached to the camera or the interchangeable lens is used, or when one or a plurality of illumination devices arranged away from the camera and the interchangeable lens are used.
さらに、画像処理装置を、カメラや交換レンズとは別のパーソナルコンピュータにより構成してもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
Furthermore, the image processing apparatus may be configured by a personal computer separate from the camera and the interchangeable lens.
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上述の実施例においては、撮影画像における第２の照度領域に対応する画像領域の画素値を増加させる（つまりは該画像領域の輝度を高くする）画像処理を行う場合について説明したが、本発明の実施例はこのような画像処理に限定されるものではない。 In the above-described embodiment, a case has been described in which image processing is performed in which the pixel value of the image area corresponding to the second illuminance area in the captured image is increased (that is, the luminance of the image area is increased). The embodiment is not limited to such image processing.
例えば、照度マップに第１の照度領域と該第１の照度領域より照度が低い第２の照度領域とがあるとする。このとき、撮影画像における第１の照度領域に対応する画像領域の画素値を低下させる（つまりは該画像領域の輝度を低くする）画像処理を行ってもよい。このような画像処理であっても、上述の撮影画像における明るさむらを低減することが可能となる。つまり、本発明の実施例では、照明情報取得手段が取得する照明情報を用いて、入力画像（撮影画像）に対して、各照度領域間の画素値（画像領域の輝度）が均一になるような画像処理を行えばよい。 For example, it is assumed that the illuminance map includes a first illuminance area and a second illuminance area having an illuminance lower than that of the first illuminance area. At this time, image processing for reducing the pixel value of the image area corresponding to the first illuminance area in the captured image (that is, lowering the luminance of the image area) may be performed. Even with such image processing, it is possible to reduce uneven brightness in the above-described captured image. That is, in the embodiment of the present invention, the pixel values between the illuminance regions (luminance of the image region) are made uniform with respect to the input image (captured image) using the illumination information acquired by the illumination information acquisition unit. Image processing may be performed.
上述した実施例において、照明装置は、複数のレンズＬＥＤ２ｉ、光ガイド部材２ｈおよび拡散板２ｊにより構成されているが、照明装置はこのような構成のものに限定されない。例えば、照明装置がリング形状のキセノン管、蛍光管、ハロゲンランプ、有機ＥＬを備える場合であっても、水銀ランプや白色ＬＥＤ等を円環状に複数配置した構成であってもよい。そして、これらの構成の照明装置をレンズ前面に設けた構成であってもよい。さらに、照明装置はリング形状に発光する構成に限定されるものではない。照明装置がこのような構成であっても、照度分布を取得することで上述の撮影画像における明るさむらを低減することが可能となる。 In the embodiment described above, the illumination device is configured by the plurality of lenses LED 2i, the light guide member 2h, and the diffusion plate 2j, but the illumination device is not limited to such a configuration. For example, even when the lighting device includes a ring-shaped xenon tube, a fluorescent tube, a halogen lamp, and an organic EL, a configuration in which a plurality of mercury lamps, white LEDs, and the like are arranged in an annular shape may be used. And the structure which provided the illuminating device of these structures in the lens front surface may be sufficient. Furthermore, the illumination device is not limited to a configuration that emits light in a ring shape. Even if the illumination device has such a configuration, it is possible to reduce the uneven brightness in the captured image described above by acquiring the illuminance distribution.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
１ カメラ
１ｃ カメラＣＰＵ
１ｆ 画像処理部
２ 交換レンズ
２ｅ レンズ記憶部
1 Camera 1c Camera CPU
1f Image processing unit 2 Interchangeable lens 2e Lens storage unit
Claims (12)
前記照明光の照度分布に関する情報である照明情報を取得する照明情報取得手段と、
前記照明情報を用いて前記入力画像に対する画像処理を行う処理手段とを有することを特徴とする画像処理装置。 Image acquisition means for acquiring an input image generated by imaging a subject illuminated by illumination light from an illumination device;
Illumination information acquisition means for acquiring illumination information that is information relating to the illuminance distribution of the illumination light;
An image processing apparatus comprising: processing means for performing image processing on the input image using the illumination information.
前記照明情報は、前記複数の発光部が発光した状態での前記照度分布に関する情報であることを特徴とする請求項１に記載の画像処理装置。 The lighting device has a plurality of light emitting units,
The image processing apparatus according to claim 1, wherein the illumination information is information relating to the illuminance distribution in a state where the plurality of light emitting units emit light.
前記撮像手段からの出力を用いて生成された入力画像に対して請求項１から５のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。 Imaging means for imaging a subject;
An image processing apparatus comprising: the image processing apparatus according to claim 1 for an input image generated using an output from the image capturing unit.
前記照明情報取得手段は、前記記憶手段から前記照明情報を通信により取得することを特徴とする請求項７に記載の撮像装置。 The lens device is detachably and communicably attached to the imaging device, and has storage means for storing the illumination information.
The imaging apparatus according to claim 7, wherein the illumination information acquisition unit acquires the illumination information from the storage unit by communication.
該レンズ装置のうち被写体側の端部に設けられた前記照明装置と、
前記照明情報を記憶した記憶手段と、
前記照明情報を前記撮像装置に送信する送信手段とを有することを特徴とするレンズ装置。 A lens apparatus that is detachably and communicably mounted to an imaging apparatus having imaging means for imaging an object to generate an input image and the image processing apparatus according to any one of claims 1 to 5. Because
The illumination device provided at the subject-side end of the lens device;
Storage means for storing the illumination information;
A lens apparatus comprising: a transmission unit configured to transmit the illumination information to the imaging apparatus.
前記コンピュータに、
照明装置からの照明光によって照明された被写体の撮像により生成された入力画像を取得させ、
前記照明光の照度分布に関する情報である照明情報を取得させ、
前記照明情報を用いて前記入力画像に対する画像処理を行わせることを特徴とする画像処理プログラム。 A computer program for operating a computer,
In the computer,
Obtaining an input image generated by imaging a subject illuminated by illumination light from a lighting device;
Illumination information that is information related to the illuminance distribution of the illumination light is acquired,
An image processing program for performing image processing on the input image using the illumination information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016024322A JP2017143454A (en) | 2016-02-12 | 2016-02-12 | Image processing apparatus, imaging device, lens device and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016024322A JP2017143454A (en) | 2016-02-12 | 2016-02-12 | Image processing apparatus, imaging device, lens device and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017143454A true JP2017143454A (en) | 2017-08-17 |
Family
ID=59627982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016024322A Pending JP2017143454A (en) | 2016-02-12 | 2016-02-12 | Image processing apparatus, imaging device, lens device and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017143454A (en) |
-
2016
- 2016-02-12 JP JP2016024322A patent/JP2017143454A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101786953B1 (en) | Light emitting device and camera system including the same | |
| WO2010031252A1 (en) | Method for correcting lightness of electrical display screen | |
| US20090008530A1 (en) | Optical Device | |
| JP2006317947A (en) | Photographic light system, imaging device and method for providing different types of photographic light using single multifunctional light module | |
| US8427570B2 (en) | Focus position control apparatus and camera | |
| EP3544271B1 (en) | Mobile terminal-based flash assembly and control system and control method thereof | |
| JP2014137482A (en) | Photographing device and photographing illumination device | |
| JP2012204953A (en) | Imaging system, illumination device, and camera | |
| JP5644618B2 (en) | projector | |
| JP2007127768A (en) | Imaging apparatus | |
| JP2011069893A (en) | Illuminator and camera system | |
| JP7187192B2 (en) | Controllers, accessories, imaging devices and imaging systems | |
| JP2019200140A (en) | Imaging apparatus, accessory, processing device, processing method, and program | |
| JP7380771B2 (en) | Projection control device, projection device, projection control method and program | |
| JP2006222637A (en) | Imaging apparatus | |
| JP2006135381A (en) | Calibration method and calibration apparatus | |
| JP2017143454A (en) | Image processing apparatus, imaging device, lens device and image processing program | |
| KR20090059043A (en) | Photographing apparatus and photographing method | |
| US7321725B2 (en) | Light-amount control device for photographing | |
| JP2013101362A (en) | Camera system | |
| JP2020076815A (en) | Image display device | |
| JP6910763B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| JP2007171518A (en) | Imaging apparatus, method for controlling the same and control program | |
| KR20140123864A (en) | Infrared camera system with infrared LED | |
| JP7142140B2 (en) | PROJECTION DEVICE, CONTROL METHOD AND CONTROL PROGRAM THEREOF |