JP6995554B2

JP6995554B2 - Imaging device and imaging method

Info

Publication number: JP6995554B2
Application number: JP2017192999A
Authority: JP
Inventors: 悠一野元
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-10-02
Filing date: 2017-10-02
Publication date: 2022-01-14
Anticipated expiration: 2037-10-02
Also published as: JP2019068306A

Description

仮想的にストロボ照射の影響を付与した画像を生成する技術に関する。 It relates to a technique for generating an image with the influence of strobe irradiation virtually .

従来、ストロボ撮影においてストロボの位置や向き、光量が適切で無い場合、撮影を行ったときに意図通りに照明が当たった画像を得られないことがある。ストロボ光の当たり具合を確認するためにはストロボを発光させる必要があるが、ストロボの設定を変えながら常にストロボ光の当たり具合を確認したくても、ストロボをプリ発光し続けるのは難しい。 Conventionally, if the position and orientation of the strobe and the amount of light are not appropriate in strobe photography, it may not be possible to obtain an image that is illuminated as intended when the image is taken. It is necessary to make the strobe emit light in order to check the hitting condition of the strobe light, but it is difficult to keep the strobe light emitting even if you want to constantly check the hitting condition of the strobe light while changing the strobe setting.

また、撮影場所の環境に依っては何度もストロボ撮影を繰り返すのがはばかられる場合がある。これに対し、特許文献１では複数のストロボを用いた多灯撮影において、事前にそれぞれのストロボのみを用いて光量を変えながら複数枚ストロボ撮影した画像を用意しておき、異なるストロボで撮影した撮影画像を重み付け合成する。これにより複数のストロボから光が当たった時のシミュレーション画像を生成することができる。 Also, depending on the environment of the shooting location, it may be difficult to repeat strobe shooting many times. On the other hand, in Patent Document 1, in multi-flash photography using a plurality of strobes, images taken by a plurality of strobes while changing the amount of light using only each strobe are prepared in advance, and the images taken by different strobes are taken. Weighting and compositing images. This makes it possible to generate a simulation image when light is applied from a plurality of strobes.

特開２００２－２７３１６号公報Japanese Unexamined Patent Publication No. 2002-27316

しかしながら、上記特許文献１では、ストロボを用いて事前に撮影しておく必要がある。また、その事前撮影に手間がかかるうえ、ストロボを何度も発光させるため電力も消費してしまう。さらに、実際の撮影時にストロボの向きが変わった場合や、被写体が少しでも動いた場合には、シミュレーション画像を正しく生成できないという問題がある。 However, in Patent Document 1, it is necessary to take a picture in advance using a strobe. In addition, it takes time and effort to take the pre-shooting, and the strobe is made to emit light many times, which consumes power. Further, if the direction of the strobe changes during actual shooting or if the subject moves even a little, there is a problem that the simulation image cannot be generated correctly.

そこで本発明は、上記の問題点に鑑み、ストロボを仮想光源とするリライティング処理
を行うことにより、ストロボの効果を確認することを可能とする技術を提供する。 Therefore, in view of the above problems, the present invention provides a technique capable of confirming the effect of the strobe by performing a rewriting process using the strobe as a virtual light source.

本発明の撮像装置は、被写体を撮像する撮像手段と、ストロボの情報を取得する取得手段と、前記取得手段により取得された前記ストロボの情報に基づき、前記撮像手段が撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施した仮想発光画像を生成する画像処理手段と、前記画像処理手段によって生成された仮想発光画像を表示する表示制御手段と、を備えることを特徴とする。The image pickup apparatus of the present invention is an image obtained by an image pickup means for taking an image of a subject, an acquisition means for acquiring information on a strobe, and an image taken by the image pickup means based on the information on the strobe acquired by the acquisition means. An image processing means for generating a virtual light emitting image that has been subjected to image processing to give the influence of light irradiation from a virtual strobe to the object, and a display control means for displaying the virtual light emitting image generated by the image processing means. , It is characterized by having.

本発明によれば、ストロボを仮想光源とするリライティング処理を行うことにより、ストロボの効果を確認することが可能となる。 According to the present invention, it is possible to confirm the effect of the strobe by performing the rewriting process using the strobe as a virtual light source.

本発明の第１実施形態の撮像装置１００の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image pickup apparatus 100 of 1st Embodiment of this invention. 第１実施形態における仮想光源の照射による反射を説明する図である。It is a figure explaining the reflection by the irradiation of the virtual light source in 1st Embodiment. 第１実施形態における動作を説明するフローチャートである。It is a flowchart explaining the operation in 1st Embodiment. 第１実施形態における撮像装置と被写体とストロボの位置関係の例を示す図である。It is a figure which shows the example of the positional relationship between the image pickup apparatus, a subject, and a strobe in 1st Embodiment. 本発明の第２実施形態の撮像装置５００の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image pickup apparatus 500 of 2nd Embodiment of this invention. 第２実施形態における動作を説明するフローチャートである。It is a flowchart explaining the operation in 2nd Embodiment. 第２実施形態における撮像装置と被写体とストロボの位置関係の例を示す図である。It is a figure which shows the example of the positional relationship between the image pickup apparatus, a subject, and a strobe in the 2nd Embodiment. 本発明の第３実施形態の撮像装置８００の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image pickup apparatus 800 of 3rd Embodiment of this invention. 第３実施形態における動作を説明するフローチャートである。It is a flowchart explaining the operation in 3rd Embodiment. 第３実施形態における撮像装置の表示部に表示される画像の例を示す図である。It is a figure which shows the example of the image displayed on the display part of the image pickup apparatus in 3rd Embodiment.

（第１の実施形態）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、本発明をデジタルカメラに適用した実施形態を用いて説明するが、デジタルカメラは一例であって、本発明は他の撮像装置においても適用することができる。 (First Embodiment)
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Although the present invention will be described using an embodiment in which the present invention is applied to a digital camera, the digital camera is an example, and the present invention can also be applied to other imaging devices.

第１の実施形態は、カメラに内蔵されたストロボを用いたストロボ撮影において、仮想的なストロボからの光照射の影響を付与する画像処理（リライティング処理）を施してライブビュー画像を生成して表示する形態を述べる。 In the first embodiment, in strobe photography using a strobe built in the camera, a live view image is generated and displayed by performing image processing (rewriting processing) that gives the influence of light irradiation from a virtual strobe. The form to be used is described.

まず、図１を参照して、第１実施形態における撮像装置１００の構成について説明する。 First, the configuration of the image pickup apparatus 100 in the first embodiment will be described with reference to FIG. 1.

撮像装置１００は、レンズ光学系部品１０１と撮像素子１０２とＡ／Ｄ変換部１０３と画像信号処理部１０４と一時記憶メモリ１０５と被写体検出部１０６と距離分布生成部１０７とリライティング処理部１０８とストロボ光量取得部１０９とＣＰＵ１１１と表示部１１０とストロボ１１２とバス１１３によって構成されている。 The image pickup device 100 includes a lens optical system component 101, an image pickup element 102, an A / D conversion unit 103, an image signal processing unit 104, a temporary storage memory 105, a subject detection unit 106, a distance distribution generation unit 107, a rewriting processing unit 108, and a strobe. It is composed of a light amount acquisition unit 109, a CPU 111, a display unit 110, a strobe 112, and a bus 113.

ここで、Ａ／Ｄ変換部１０３、画像信号処理部１０４、一時記憶メモリ１０５、被写体検出部１０６、距離分布生成部１０７、リライティング処理部１０８、ストロボ光量取得部１０９、ＣＰＵ１１１、表示部１１０は、バス１１３を介して接続されている。 Here, the A / D conversion unit 103, the image signal processing unit 104, the temporary storage memory 105, the subject detection unit 106, the distance distribution generation unit 107, the rewriting processing unit 108, the strobe light amount acquisition unit 109, the CPU 111, and the display unit 110 are It is connected via bus 113.

レンズ光学系部品１０１は、ズームレンズやフォーカシングレンズ、絞りなどによって構成される。 The lens optical system component 101 is composed of a zoom lens, a focusing lens, a diaphragm, and the like.

撮像素子１０２は、レンズ光学系部品１０１にて結像された被写体像を光電変換して画像信号を生成し、生成した画像信号を出力する。また、撮像素子１０２は光電変換部に光を効率的に集光するためのマイクロレンズを備える。 The image pickup element 102 photoelectrically converts the subject image formed by the lens optical system component 101 to generate an image signal, and outputs the generated image signal. Further, the image pickup device 102 is provided with a microlens in the photoelectric conversion unit for efficiently condensing light.

通常の撮像素子は１つのマイクロレンズに対して１つのフォトダイオードを有しているが、本実施形態の撮像素子１０２は１つのマイクロレンズに対してフォトダイオードが２つ配置された構造を有している。このように２つのフォトダイオードが１つのマイクロレンズを共有する構造にすることで瞳分割像（左視点画像、右視点画像）を取得することができる。 A normal image pickup device has one photodiode for one microlens, but the image pickup device 102 of the present embodiment has a structure in which two photodiodes are arranged for one microlens. ing. By making the structure in which the two photodiodes share one microlens in this way, it is possible to acquire a pupil split image (left viewpoint image, right viewpoint image).

Ａ／Ｄ変換部１０３は、撮像素子１０２が出力する画像信号をアナログ信号からデジタル信号に変換する。 The A / D conversion unit 103 converts the image signal output by the image sensor 102 from an analog signal to a digital signal.

画像信号処理部１０４は、Ａ／Ｄ変換部１０３によりデジタル信号に変換された画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの各種信号処理を行う。 The image signal processing unit 104 performs various signal processing such as white balance adjustment, interpolation, contour enhancement, gamma correction, and gradation conversion on the image signal converted into a digital signal by the A / D conversion unit 103.

一時記憶メモリ１０５は、画像信号処理部１０４で信号処理された画像やリライティング処理部１０８で生成されるリライティング画像、後述する各処理の中間データ等を一時的に記憶する。 The temporary storage memory 105 temporarily stores an image signal-processed by the image signal processing unit 104, a rewriting image generated by the rewriting processing unit 108, intermediate data of each processing described later, and the like.

被写体検出部１０６は、画像信号処理部１０４で処理した画像を一時記憶メモリ１０５から読み出し、画像中の人物や動物等の被写体から主要被写体の検出を行う。 The subject detection unit 106 reads out the image processed by the image signal processing unit 104 from the temporary storage memory 105, and detects the main subject from the subject such as a person or an animal in the image.

距離分布生成部１０７は、撮像素子１０２で取得した瞳分割画像（左視点画像、右視点画像）を用いて、ステレオマッチング処理により２つの画像の位相差を算出する。ステレオマッチング処理による位相差検出は、特開２００９－１６５１１５に記載されており、詳細の説明は省略する。算出された位相差を用いて、撮像素子１０２から被写体までの距離の分布情報である距離分布を生成する。 The distance distribution generation unit 107 calculates the phase difference between the two images by stereo matching processing using the pupil division image (left viewpoint image, right viewpoint image) acquired by the image sensor 102. The phase difference detection by the stereo matching process is described in Japanese Patent Application Laid-Open No. 2009-165115, and detailed description thereof will be omitted. Using the calculated phase difference, a distance distribution, which is distribution information of the distance from the image sensor 102 to the subject, is generated.

リライティング処理部１０８は、画像処理手段として機能し、画像信号処理部１０４で信号処理された画像に対して仮想的に配置した光源からの光照射の影響を付加するリライティング処理を行う。 The rewriting processing unit 108 functions as an image processing means, and performs rewriting processing that adds the influence of light irradiation from a light source virtually arranged to the image signal-processed by the image signal processing unit 104.

ストロボ光量取得部１０９は、ＣＰＵ１１１で設定しているストロボ１１２の光量を取得する。 The strobe light amount acquisition unit 109 acquires the light amount of the strobe 112 set by the CPU 111.

表示部１１０は、表示手段として機能し、画像信号処理部１０４やリライティング処理部１０８によって処理された画像を一時記憶メモリ１０５から読み出して表示する。 The display unit 110 functions as a display means, and reads out an image processed by the image signal processing unit 104 or the rewriting processing unit 108 from the temporary storage memory 105 and displays it.

ＣＰＵ１１１は、上記で説明した各種処理の制御を行っている。 The CPU 111 controls various processes described above.

ストロボ１１２は、内蔵ストロボなどの光源装置であり、撮像装置１００に固定して設けられている。ストロボ１１２は、照射角内において光度（単位時間当たりに通過する光量の単位立体角内の密度）が均一な点光源であるとする。 The strobe 112 is a light source device such as a built-in strobe, and is fixedly provided to the image pickup device 100. It is assumed that the strobe 112 is a point light source having a uniform luminous intensity (density within a unit solid angle of the amount of light passing per unit time) within the irradiation angle.

次に、リライティング処理部１０８で行うリライティング処理について説明する。 Next, the rewriting process performed by the rewriting process unit 108 will be described.

まず、リライティング処理部１０８は、距離分布生成部１０７が生成した被写体までの距離情報を用いて法線マップを算出する。被写体距離情報から法線マップを生成する方法について、図２を用いて説明する。 First, the rewriting processing unit 108 calculates a normal map using the distance information to the subject generated by the distance distribution generation unit 107. A method of generating a normal map from subject distance information will be described with reference to FIG.

図２は、カメラ撮影座標と被写体の関係を示す図である。 FIG. 2 is a diagram showing the relationship between the camera shooting coordinates and the subject.

図２において、２０１は被写体を示し、２０２は設置した仮想光源の位置を示している。例えば、図２に示すようにある被写体２０１に対して、撮影画像の水平方向の差分ΔＨに対する距離Ｄの差分ΔＤから勾配情報を算出し、そこから被写体の単位法線ベクトルＮを算出することが可能である。これと同様に撮影画像の各画素に対応して法線情報を法線マップとして生成することが出来る。 In FIG. 2, 201 indicates a subject and 202 indicates the position of an installed virtual light source. For example, for a subject 201 as shown in FIG. 2, gradient information can be calculated from the difference ΔD of the distance D with respect to the horizontal difference ΔH of the captured image, and the unit normal vector N of the subject can be calculated from the difference ΔD. It is possible. Similarly, normal information can be generated as a normal map corresponding to each pixel of the captured image.

次に被写体中の各画素における仮想光源による光の照度を算出する。ここでは、一例として仮想光源は光度（単位時間当たりに通過する光量の単位立体角内の密度）があらゆる方向において均一である点光源であるとする。 Next, the illuminance of the light from the virtual light source in each pixel in the subject is calculated. Here, as an example, it is assumed that the virtual light source is a point light source in which the luminous intensity (density within the unit solid angle of the amount of light passing per unit time) is uniform in all directions.

撮像装置１００で撮影された撮影画像の水平画素位置Ｈ１（垂直画素位置は説明の簡略化のため省略）において、法線マップから取得した被写体単位法線ベクトルＮ１と、仮想光源２０２と被写体２０１の距離Ｋ１、仮想光源２０２から被写体２０１の水平画素位置Ｈ１までの単位方向ベクトルＬ１、仮想光源の光量αに基づき照度を算出する。 At the horizontal pixel position H1 (vertical pixel position is omitted for simplification of explanation) of the captured image captured by the image pickup apparatus 100, the subject unit normal vector N1 acquired from the normal map, the virtual light source 202, and the subject 201. The illuminance is calculated based on the distance K1, the unit direction vector L1 from the virtual light source 202 to the horizontal pixel position H1 of the subject 201, and the light amount α of the virtual light source.

具体的には、光量αに比例し、距離Ｋ１の二乗に反比例し、仮想光源による光の被写体への入射角を考慮して被写体単位法線ベクトルＮ１と光源方向単位ベクトルＬ１の内積に比例するように、被写体２０１の水平画素位置Ｈ１の照度を算出する。同様に被写体中の各画素における照度を算出できる。 Specifically, it is proportional to the amount of light α, inversely proportional to the square of the distance K1, and proportional to the inner product of the subject unit normal vector N1 and the light source direction unit vector L1 in consideration of the incident angle of the light by the virtual light source on the subject. As described above, the illuminance of the horizontal pixel position H1 of the subject 201 is calculated. Similarly, the illuminance at each pixel in the subject can be calculated.

算出した照度と予め取得しておいた仮想光源の色を制御するパラメータから設置した仮想光源が被写体に拡散反射して撮像装置１００の光学系に入射する成分を算出し、仮想光源による被写体反射成分を元の撮影画像のＲＧＢデータに加算することにより、仮想光源の影響を付加した画像信号（発光画像）を生成する。 From the calculated illuminance and the parameters that control the color of the virtual light source acquired in advance, the component that the virtual light source installed is diffusely reflected on the subject and incident on the optical system of the image pickup apparatus 100 is calculated, and the subject reflection component by the virtual light source is calculated. Is added to the RGB data of the original captured image to generate an image signal (emission image) to which the influence of the virtual light source is added.

以上が、リライティング処理部１０８で行うリライティング処理である。 The above is the rewriting process performed by the rewriting process unit 108.

次に、図３を用いて、撮像装置１００で被写体画像を取得し、リライティング処理を行った画像をライブビュー表示するフローを説明する。 Next, with reference to FIG. 3, a flow of acquiring a subject image by the image pickup apparatus 100 and displaying the relighted image in a live view will be described.

ステップＳ３０１において、レンズ光学系部品１０１と撮像素子１０２で被写体をキャプチャし、Ａ／Ｄ変換部１０３と画像信号処理部１０４で各種信号処理を行った後、入力画像として一時記憶メモリ１０５に記憶する。 In step S301, the subject is captured by the lens optical system component 101 and the image pickup element 102, various signal processing is performed by the A / D conversion unit 103 and the image signal processing unit 104, and then stored in the temporary storage memory 105 as an input image. ..

ステップＳ３０２において、ＣＰＵ１１１で、ストロボ１１３が撮影時に発光する設定になっているかを判定する。ストロボの設定情報を参照し、ストロボを発光する設定になっている場合はステップＳ３０３へ進む。またストロボが非発光の設定になっている場合はステップＳ３０８へ進む。 In step S302, the CPU 111 determines whether the strobe 113 is set to emit light at the time of shooting. Refer to the strobe setting information, and if the strobe is set to emit light, proceed to step S303. If the strobe is set to non-light emission, the process proceeds to step S308.

ステップＳ３０３において、被写体検出部１０６で、入力画像に対して主要な被写体の検出を行う。被写体検出部１０６は、画像中から人物の顔などの画像パターンをテンプレートマッチングによって検出する。なお、被写体検出部１０６は１フレーム前の画像との比較により動き量や変化量の大きい領域を検出するようにしてもよい。 In step S303, the subject detection unit 106 detects a main subject with respect to the input image. The subject detection unit 106 detects an image pattern such as a person's face from the image by template matching. The subject detection unit 106 may detect a region having a large amount of movement or change by comparing with the image one frame before.

ステップＳ３０４において、距離分布生成部１０７で、入力画像に関する距離情報である距離分布を生成する。 In step S304, the distance distribution generation unit 107 generates a distance distribution which is distance information regarding the input image.

ステップＳ３０５において、ストロボ光量取得部１０９で、ストロボ１１２を発光させる際の光量情報を取得する。 In step S305, the strobe light amount acquisition unit 109 acquires the light amount information when the strobe 112 is made to emit light.

ステップＳ３０６において、リライティング処理部１０８で、ステップＳ３０４で生成した距離分布とステップＳ３０５で取得したストロボ光量を用いて、ステップＳ３０３で検出した被写体に対してリライティング処理を行う。 In step S306, the rewriting processing unit 108 performs rewriting processing on the subject detected in step S303 by using the distance distribution generated in step S304 and the amount of strobe light acquired in step S305.

ここで、図４を参照して、リライティング処理部１０８でリライティング処理を行うための照度の求め方を説明する。図４は、撮像装置１００と被写体４０１とストロボ１１２の位置関係を示した図である。 Here, with reference to FIG. 4, a method of obtaining the illuminance for performing the rewriting process by the rewriting process unit 108 will be described. FIG. 4 is a diagram showing the positional relationship between the image pickup apparatus 100, the subject 401, and the strobe 112.

ストロボ１１２は撮像装置１００の内蔵ストロボであり、ストロボ１１２と被写体４０１との距離は、撮像装置１００と被写体４０１との距離と等価である。つまり、仮想光源をストロボ１１２と同じ位置、光量で設置した場合、撮像装置１００でキャプチャされた入力画像の水平画素位置Ｈ４（垂直画素位置は説明の簡略化のため省略）における仮想光源の寄与する照度は、光量α４に比例し、距離Ｋ４の二乗に反比例し、被写体法線ベクトルＮ４と光源方向ベクトルＬ４の内積に比例するように算出することができる。 The strobe 112 is a built-in strobe of the image pickup device 100, and the distance between the strobe 112 and the subject 401 is equivalent to the distance between the image pickup device 100 and the subject 401. That is, when the virtual light source is installed at the same position and the amount of light as the strobe 112, the virtual light source contributes at the horizontal pixel position H4 (the vertical pixel position is omitted for simplification of explanation) of the input image captured by the image pickup apparatus 100. The illuminance can be calculated to be proportional to the amount of light α4, inversely proportional to the square of the distance K4, and proportional to the inner product of the subject normal vector N4 and the light source direction vector L4.

ここで、α４はステップＳ３０５において取得した光量、Ｋ４はストロボ１１２と水平画素位置Ｈ４との距離、Ｌ４は水平画素位置Ｈ４への仮想光源の３次元方向ベクトル、Ｎ４は水平画素位置Ｈ４における被写体の３次元法線ベクトルである。 Here, α4 is the amount of light acquired in step S305, K4 is the distance between the strobe 112 and the horizontal pixel position H4, L4 is the three-dimensional direction vector of the virtual light source to the horizontal pixel position H4, and N4 is the subject at the horizontal pixel position H4. It is a three-dimensional normal vector.

このように、被写体の各画素位置で算出した照度に基づき被写体に対するリライティング処理を行い、入力画像にリライティング処理を施したリライティング画像を生成する。 In this way, the subject is rewritten based on the illuminance calculated at each pixel position of the subject, and the input image is rewritten to generate a rewritten image.

再び図３を参照して、ステップＳ３０７において、表示部１１０は、ステップＳ３０６で生成したリライティング画像（発光画像）をライブビュー表示する。 With reference to FIG. 3 again, in step S307, the display unit 110 displays the rewriting image (emission image) generated in step S306 in a live view.

Ｓ３０８において、表示部１１０は入力画像をライブビュー表示する。ステップＳ３０２でストロボは非発光の設定と判定されているので、リライティング処理は行わずに、ステップＳ３０１でキャプチャした入力画像をそのまま表示部１１０に表示する。 In S308, the display unit 110 displays the input image in a live view. Since the strobe is determined to be non-light emitting in step S302, the input image captured in step S301 is displayed as it is on the display unit 110 without performing the rewriting process.

本実施形態の撮像装置によれば、内蔵ストロボを仮想光源としてリライティング処理を行うことで、ストロボを発光させる撮影前にストロボが当たった被写体の様子を仮想的にライブビューで確認することができる。 According to the image pickup apparatus of the present embodiment, by performing the rewriting process using the built-in strobe as a virtual light source, it is possible to virtually confirm the state of the subject hit by the strobe before shooting to make the strobe emit light in a live view.

（第２の実施形態）
本発明の実施形態２では、撮像装置と空間的に離れた位置に設けられたストロボを用いたストロボ撮影において、ライブビューでストロボを仮想光源とするリライティング処理を行う。 (Second embodiment)
In the second embodiment of the present invention, in a strobe shooting using a strobe provided at a position spatially separated from the image pickup apparatus, a rewriting process using the strobe as a virtual light source is performed in a live view.

まず、図５を参照して、実施形態２における撮像装置５００の構成について説明する。なお以下の説明において、実施形態１の構成と同一の構成であるものについては説明を省略する。 First, the configuration of the image pickup apparatus 500 according to the second embodiment will be described with reference to FIG. In the following description, the description of the configuration having the same configuration as that of the first embodiment will be omitted.

撮像装置５００は、実施形態１のストロボを内蔵していた撮像装置１００に対し、ストロボ１１２の代わりにストロボ方向取得部５０１とストロボ位置取得部５０２とＩ／Ｆ５０３を有する。 The image pickup apparatus 500 has a strobe direction acquisition unit 501, a strobe position acquisition unit 502, and an I / F 503 instead of the strobe 112 with respect to the image pickup apparatus 100 having a built-in strobe of the first embodiment.

ストロボ位置取得部５０１は、外部ストロボ５０３の位置を取得し、外部ストロボ５０３と被写体との相対的な位置関係を算出する。 The strobe position acquisition unit 501 acquires the position of the external strobe 503 and calculates the relative positional relationship between the external strobe 503 and the subject.

ストロボ光量取得部１０９は、撮像装置１００とは異なり、Ｉ／Ｆ５０２を介して外部ストロボ５０３の光量を取得する。 Unlike the image pickup apparatus 100, the strobe light amount acquisition unit 109 acquires the light amount of the external strobe 503 via the I / F 502.

Ｉ／Ｆ５０２は、外部ストロボ５０３と通信してストロボの各種設定情報を受信し、外部ストロボ５０３の発光タイミングを制御するためのインターフェースである。 The I / F 502 is an interface for communicating with the external strobe 503, receiving various setting information of the strobe, and controlling the light emission timing of the external strobe 503.

外部ストロボ５０３は、撮像装置５００と空間的に離れて設置され、Ｉ／Ｆ５０２を介して外部ストロボ５０３の設定値を撮像装置５００へ送信し、撮像装置５００の撮影タイミングと同期して発光する光源装置である。外部ストロボ５０３は、ストロボ１１２と同様に、一例として照射角内において光度（単位時間当たりに通過する光量の単位立体角内の密度）が均一な点光源である。 The external strobe 503 is installed spatially separated from the image pickup device 500, transmits the set value of the external strobe 503 to the image pickup device 500 via the I / F 502, and emits light in synchronization with the shooting timing of the image pickup device 500. It is a device. Similar to the strobe 112, the external strobe 503 is, for example, a point light source having a uniform luminous intensity (density within a unit solid angle of the amount of light passing per unit time) within the irradiation angle.

次に、図６を用いて、撮像装置５００で被写体画像を取得し、リライティング処理を行った画像をライブビュー表示するフローを説明する。 Next, with reference to FIG. 6, a flow of acquiring a subject image with the image pickup apparatus 500 and displaying the relighted image in a live view will be described.

なお、実施形態１と同様の処理内容に関しては説明を省略し、差分となる処理についてのみ説明を行う。ステップＳ３０１からステップＳ３０５まで、およびステップＳ３０７、ステップＳ３０８の処理は実施形態１と同様である。 The description of the processing content similar to that of the first embodiment will be omitted, and only the differential processing will be described. The processes from step S301 to step S305, and steps S307 and S308 are the same as those in the first embodiment.

ステップＳ６０２において、ストロボ位置取得部５０１で、外部ストロボ５０３の位置を取得する。これについては図７を用いて説明する。図７は撮像装置５００と被写体７０１と外部ストロボ５０３の位置関係を示した図である。例えば、事前に被写体７０１と外部ストロボ５０３が同時に収まる画角で撮影し、距離分布から被写体７０１の位置（Ｈｘ，Ｈｙ）と外部ストロボ５０３の位置（Ｓｘ，Ｓｙ）を求めておくことで、外部ストロボ５０３から被写体７０１の水平画素位置Ｈｘへの方向ベクトルＬ７を算出できる。また外部ストロボ側にもカメラが付いている構成であれば、外部ストロボで撮影した画像からストロボと被写体との距離を算出し撮像装置に送信することもできる。また、超音波通信やＧＰＳ等のセンサによって撮像装置とストロボの位置関係を取得する構成でも良い。 In step S602, the strobe position acquisition unit 501 acquires the position of the external strobe 503. This will be described with reference to FIG. FIG. 7 is a diagram showing the positional relationship between the image pickup apparatus 500, the subject 701, and the external strobe 503. For example, by taking a picture in advance at an angle of view in which the subject 701 and the external strobe 503 fit at the same time, and obtaining the position of the subject 701 (Hx, Hy) and the position of the external strobe 503 (Sx, Sy) from the distance distribution, the outside can be obtained. The direction vector L7 from the strobe 503 to the horizontal pixel position Hx of the subject 701 can be calculated. Further, if the camera is also attached to the external strobe side, the distance between the strobe and the subject can be calculated from the image taken by the external strobe and transmitted to the image pickup apparatus. Further, the positional relationship between the image pickup device and the strobe may be acquired by a sensor such as ultrasonic communication or GPS.

ステップＳ３０６において、リライティング処理部１０８で、ステップＳ３０４で生成した距離分布とステップＳ３０５で取得したストロボ光量とステップＳ６０１で取得したストロボ位置を用いて、ステップＳ３０３で検出した被写体に対してリライティング処理を行う。 In step S306, the rewriting processing unit 108 performs rewriting processing on the subject detected in step S303 by using the distance distribution generated in step S304, the strobe light amount acquired in step S305, and the strobe position acquired in step S601. ..

仮想光源を外部ストロボ５０３と同じ位置、光量で設置した場合の、撮像装置５００でキャプチャされた入力画像の水平画素位置Ｈｘ（垂直画素位置は説明の簡略化のため省略）における仮想光源の寄与する照度は、光量α７に比例し、距離Ｋ７の二乗に反比例し、被写体法線ベクトルＮ７と光源方向ベクトルＬ７の内積に比例するように算出できる。 When the virtual light source is installed at the same position and the amount of light as the external strobe 503, the virtual light source contributes at the horizontal pixel position Hx (vertical pixel position is omitted for simplification of explanation) of the input image captured by the image pickup apparatus 500. The illuminance can be calculated to be proportional to the amount of light α7, inversely proportional to the square of the distance K7, and proportional to the inner product of the subject normal vector N7 and the light source direction vector L7.

ここで、α７はステップＳ３０５において取得した光量、Ｎ７は水平画素位置Ｈｘにおける被写体の３次元法線ベクトル、Ｋ７は仮想光源と被写体の水平画素位置Ｈｘとの距離である。距離Ｋ７は被写体７０１の位置（Ｈｘ，Ｈｙ）と外部ストロボ５０３の位置（Ｓｘ，Ｓｙ）から算出できる。 Here, α7 is the amount of light acquired in step S305, N7 is the three-dimensional normal vector of the subject at the horizontal pixel position Hx, and K7 is the distance between the virtual light source and the horizontal pixel position Hx of the subject. The distance K7 can be calculated from the position of the subject 701 (Hx, Hy) and the position of the external strobe 503 (Sx, Sy).

本実施形態の撮像装置によれば、外部ストロボを仮想光源としてリライティング処理を行うことで、ストロボを発光させる撮影前にストロボが当たった被写体の様子を仮想的にライブビューで確認することができる。 According to the image pickup apparatus of the present embodiment, by performing the rewriting process using an external strobe as a virtual light source, it is possible to virtually confirm the state of the subject hit by the strobe before shooting to make the strobe emit light in a live view.

（第３の実施形態）
本発明の実施形態３では、ストロボを複数使用する撮影において、リライティング処理に適用するストロボをユーザが選択し、ライブビューで選択されたストロボを仮想光源とするリライティング処理を行う。 (Third embodiment)
In the third embodiment of the present invention, in shooting using a plurality of strobes, the user selects a strobe to be applied to the rewriting process, and the rewriting process is performed using the strobe selected in the live view as a virtual light source.

まず、図８を参照して、実施形態３における撮像装置８００の構成について説明する。実施形態１または２の構成と同一の構成であるものに関しては説明を省略する。 First, the configuration of the image pickup apparatus 800 according to the third embodiment will be described with reference to FIG. The description of the configuration having the same configuration as that of the first or second embodiment will be omitted.

撮像装置８００は、実施形態２における撮像装置５００が１つの外部ストロボ５０３と通信するのに対し、２つの外部ストロボと通信を行う。 The image pickup device 800 communicates with two external strobes while the image pickup device 500 in the second embodiment communicates with one external strobe 503.

表示部１１０は、タッチパネル式の表示装置であり、ユーザからのタッチ操作を受け付ける。 The display unit 110 is a touch panel type display device and receives a touch operation from the user.

第一の外部ストロボ８０１は外部ストロボ５０３と同様の構成である。また第二の外部ストロボ８０２は外部ストロボ５０３と同様の構成である。本実施形態では、何れの外部ストロボも同一であるが、それぞれ異なる特性を有するものであってもよい。 The first external strobe 801 has the same configuration as the external strobe 503. The second external strobe 802 has the same configuration as the external strobe 503. In the present embodiment, all the external strobes are the same, but they may have different characteristics.

次に、図９を用いて、撮像装置８００で被写体画像を取得し、リライティング処理するストロボをユーザが選択して、リライティング処理を行った画像をライブビュー表示するフローを説明する。なお、実施形態１または実施形態２と同様の処理内容に関しては説明を省略し、差分となる処理についてのみ説明を行う。 Next, with reference to FIG. 9, a flow of acquiring a subject image with the image pickup apparatus 800, selecting a strobe to be rewritten by the user, and displaying the rewritten image in a live view will be described. It should be noted that the description of the processing content similar to that of the first embodiment or the second embodiment will be omitted, and only the differential processing will be described.

ステップＳ３０１からステップＳ３０４までの処理は実施形態１と同様である。 The processes from step S301 to step S304 are the same as those in the first embodiment.

ステップＳ３０５において、第一の外部ストロボ８０１および第二の外部ストロボ８０２の光量の情報を取得する。 In step S305, information on the amount of light of the first external strobe 801 and the second external strobe 802 is acquired.

ステップＳ６０１において、第一の外部ストロボ８０１および第二の外部ストロボ８０２の位置の情報を取得する。 In step S601, information on the positions of the first external strobe 801 and the second external strobe 802 is acquired.

ステップＳ９０１において、表示部１１０で、撮像装置８００と被写体と第一の外部ストロボ８０１と第二の外部ストロボ８０２の位置関係を示す画像を表示する。これについては図１０を用いて説明する。 In step S901, the display unit 110 displays an image showing the positional relationship between the image pickup apparatus 800, the subject, the first external strobe 801 and the second external strobe 802. This will be described with reference to FIG.

図１０は、表示部１１０においてライブビュー画像に重畳されて表示される、撮像装置と被写体とストロボの位置関係画像を示す図である。図１０において、１００１は被写体、１００２は撮像装置８００のアイコン、１００３は被写体１００１のアイコン、１００４は第一の外部ストロボ８０１のアイコン、１００５は第二の第二の外部ストロボ８０２のアイコンを示している。１００２から１００５のアイコンは、ステップＳ３０４で生成した距離分布とステップＳ６０１で取得したストロボ位置から算出した、撮像装置８００と被写体１００１と第一の外部ストロボ８０１と第二の外部ストロボ８０２の間の相対位置に応じて配置される。 FIG. 10 is a diagram showing a positional relationship image between the image pickup device, the subject, and the strobe, which is superimposed and displayed on the live view image on the display unit 110. In FIG. 10, 1001 is a subject, 1002 is an icon of an image pickup device 800, 1003 is an icon of a subject 1001, 1004 is an icon of a first external strobe 801 and 1005 is an icon of a second external strobe 802. There is. The icons 1002 to 1005 are relative to the image pickup apparatus 800, the subject 1001, the first external strobe 801 and the second external strobe 802, calculated from the distance distribution generated in step S304 and the strobe position acquired in step S601. Arranged according to the position.

ステップＳ９０２において、表示部１１０で、ストロボの選択手段として機能し、ユーザがストロボのアイコンをタッチすることによりリライティング処理を行うストロボを選択する。 In step S902, the display unit 110 functions as a strobe selection means, and the user selects a strobe to be rewritten by touching the strobe icon.

ステップＳ９０２において、ＣＰＵ１１１で、リライティング処理を行う設定になっているストロボがあるかを判定する。ユーザは、ステップＳ９０１において表示部１１０に表示された位置関係画像を見て、表示部１１０でストロボのアイコンをタッチすることによりリライティング処理を行うストロボを選択することができる。ユーザが操作した状態に応じて、リライティング処理を行う設定になっているストロボがある場合、ステップＳ３０６へ進む。リライティング処理を行う設定になっているストロボが無い場合は、ステップＳ３０８へ進む。 In step S902, the CPU 111 determines whether or not there is a strobe that is set to perform the rewriting process. The user can select the strobe to be rewritten by looking at the positional relationship image displayed on the display unit 110 in step S901 and touching the strobe icon on the display unit 110. If there is a strobe that is set to perform rewriting processing according to the state operated by the user, the process proceeds to step S306. If there is no strobe set to perform the rewriting process, the process proceeds to step S308.

ステップＳ３０６において、リライティング処理部１０８で、リライティング処理を行う設定になっているストロボについて実施例２と同様にリライティング処理を行い、リライティング画像を生成する。 In step S306, the rewriting processing unit 108 performs the rewriting processing on the strobe that is set to perform the rewriting processing in the same manner as in the second embodiment, and generates a rewriting image.

例えば、第一の外部ストロボ８０１および第二の外部ストロボ８０２とも発光する設定であっても、第一の外部ストロボ８０１のみを発光させた時の効果をリライティング処理してライブビュー表示したい場合がある。その場合、ステップＳ９０２においてユーザが第一の外部ストロボ８０１のアイコン１００４をタッチ操作してリライティング処理を行う設定にする。さらに第二の外部ストロボ８０２のアイコン１００５をタッチ操作してリライティング処理を行わない設定にする。これらの操作により、第一の外部ストロボ８０１のみを仮想光源としたリライティング処理を行い、所望のリライティング画像を生成することが出来る。 For example, even if both the first external strobe 801 and the second external strobe 802 are set to emit light, there is a case where it is desired to rewrite the effect when only the first external strobe 801 is emitted and display the live view. .. In that case, in step S902, the user touches the icon 1004 of the first external strobe 801 to perform the rewriting process. Further, the icon 1005 of the second external strobe 802 is touch-operated to set the setting so that the rewriting process is not performed. By these operations, the rewriting process using only the first external strobe 801 as a virtual light source can be performed, and a desired rewriting image can be generated.

本実施形態の撮像装置によれば、複数のストロボからリライティング処理を適用したいストロボをユーザが選択することで、選択結果に応じて選択されたストロボのみの光が当たった被写体の様子を撮影前に仮想的にライブビューで確認することができる。 According to the image pickup apparatus of the present embodiment, the user selects a strobe to which the rewriting process is to be applied from a plurality of strobes, and the state of the subject exposed to the light of only the strobe selected according to the selection result is captured before shooting. You can virtually check it in the live view.

以上、本発明の実施形態について説明したが、図１、図５、図８に示した撮像装置の構成は一例であり、各実施形態の動作を実行できるのであれば、図１、図５、図８に示した構成に限定されるものではない。 Although the embodiment of the present invention has been described above, the configuration of the image pickup apparatus shown in FIGS. 1, 5, and 8 is an example, and if the operation of each embodiment can be executed, FIGS. 1, 5, and 5. The configuration is not limited to the configuration shown in FIG.

また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Further, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。 Further, when a software program that realizes the functions of the above-described embodiment is supplied to a system or device having a computer capable of executing the program directly from a recording medium or by using wired / wireless communication, and the program is executed. Is also included in the present invention.

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself supplied and installed on the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。 In that case, as long as it has the function of the program, the form of the program such as the object code, the program executed by the interpreter, the script data supplied to the OS, etc. does not matter.

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。 The recording medium for supplying the program may be, for example, a hard disk, a magnetic recording medium such as a magnetic tape, an optical / optical magnetic storage medium, or a non-volatile semiconductor memory.

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 Further, as a method of supplying the program, a method is conceivable in which the computer program forming the present invention is stored in the server on the computer network, and the connected client computer downloads and programs the computer program.

１００撮像装置
１０２撮像素子
１０４画像信号処理部
１０５一時記憶メモリ
１０６被写体検出部
１０７距離分布生成部
１０８リライティング処理部
１０９ストロボ光量取得部
１１０表示部
１１２ストロボ 100 Image sensor 102 Image sensor 104 Image signal processing unit 105 Temporary storage memory 106 Subject detection unit 107 Distance distribution generation unit 108 Rewriting processing unit 109 Strobe light intensity acquisition unit 110 Display unit 112 Strobe

Claims

被写体を撮像する撮像手段と、
ストロボの情報を取得する取得手段と、
前記取得手段により取得された前記ストロボの情報に基づき、前記撮像手段が撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施した仮想発光画像を生成する画像処理手段と、
前記画像処理手段によって生成された仮想発光画像を表示する表示制御手段と、を備えることを特徴とする撮像装置。 An imaging means that captures the subject,
An acquisition method for acquiring strobe information,
Based on the information of the strobe acquired by the acquisition means, a virtual light emitting image subjected to image processing for imparting the influence of light irradiation from the virtual strobe to the image acquired by the imaging means is obtained. Image processing means to generate and
An image pickup apparatus comprising: a display control means for displaying a virtual light emitting image generated by the image processing means.

前記ストロボの情報は、前記ストロボの光量に関する情報を含むことを特徴とする請求項１に記載の撮像装置。 The image pickup apparatus according to claim 1, wherein the information on the strobe includes information on the amount of light of the strobe.

前記仮想発光画像の生成は、前記ストロボの発光前に行われることを特徴とする請求項１または２に記載の撮像装置。 The image pickup apparatus according to claim 1 or 2, wherein the generation of the virtual light emitting image is performed before the light emission of the strobe.

前記表示制御手段は、前記仮想発光画像をライブビューとして表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 3, wherein the display control means displays the virtual light emitting image as a live view.

前記ストロボは、前記撮像装置に固定されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 4, wherein the strobe is fixed to the imaging device.

前記ストロボは、前記撮像装置とは別の装置であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 4, wherein the strobe is a device different from the imaging device.

前記ストロボは、前記撮像装置と空間的に離れて設置されることを特徴とする請求項６に記載の撮像装置。 The imaging device according to claim 6, wherein the strobe is installed spatially separated from the imaging device.

前記取得手段は、前記被写体と前記ストロボの相対的な位置関係を示す情報を取得することを特徴とする請求項７に記載の撮像装置。 The imaging device according to claim 7, wherein the acquisition means acquires information indicating a relative positional relationship between the subject and the strobe.

前記表示制御手段は、前記取得手段により取得された前記相対的な位置関係を示す情報に基づき、前記被写体と前記ストロボの相対的な位置関係を示すための表示を行うことを特徴とする請求項８に記載の撮像装置。 The display control means is characterized in that it displays to show the relative positional relationship between the subject and the strobe based on the information indicating the relative positional relationship acquired by the acquisition means. 8. The imaging device according to 8.

前記取得手段は、複数の前記ストロボの情報を取得することが可能であり、
複数の前記ストロボのうち少なくとも１つを選択させる選択手段をさらに備え、
前記画像処理手段は、前記選択手段による選択結果に応じて前記仮想発光画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 The acquisition means can acquire information on a plurality of the strobes.
Further provided with a selection means for selecting at least one of the plurality of strobes.
The image pickup apparatus according to any one of claims 1 to 4, wherein the image processing means generates the virtual light emitting image according to the selection result by the selection means.

前記取得手段は、前記被写体と複数の前記ストロボの相対的な位置関係を示す情報を取得することを特徴とする請求項１０に記載の撮像装置。 The imaging device according to claim 10, wherein the acquisition means acquires information indicating a relative positional relationship between the subject and the plurality of strobes.

前記表示制御手段は、前記取得手段により取得された前記相対的な位置関係を示す情報に基づき、前記被写体と複数の前記ストロボの相対的な位置関係を示すための表示を行うことを特徴とする請求項１１に記載の撮像装置。 The display control means is characterized in that it displays to show the relative positional relationship between the subject and the plurality of strobes based on the information indicating the relative positional relationship acquired by the acquisition means. The imaging device according to claim 11.

前記選択手段は、前記被写体と複数の前記ストロボの相対的な位置関係を示すための表示画面上で、複数の前記ストロボのうち少なくとも１つを選択させることを特徴とする請求項１２に記載の撮像装置。 12. The 12th aspect of the present invention, wherein the selection means selects at least one of the plurality of the strobes on a display screen for showing the relative positional relationship between the subject and the plurality of the strobes. Imaging device.

被写体を撮像する撮像工程と、
ストロボの情報を取得する取得工程と、
前記取得工程で取得された前記ストロボの情報に基づき、前記撮像工程で撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施した仮想発光画像を生成する画像処理工程と、
前記画像処理工程で生成された仮想発光画像を表示する表示工程と、を備えることを特徴とする撮像方法。 The imaging process for imaging the subject and
The acquisition process to acquire strobe information and
Based on the information of the strobe acquired in the acquisition step, a virtual light emitting image subjected to image processing for imparting the influence of light irradiation from the virtual strobe to the image obtained by imaging in the imaging step is obtained. The image processing process to generate and
An imaging method comprising: a display step of displaying a virtual light emitting image generated in the image processing step.

コンピュータを、請求項１乃至１３のいずれか１項に記載の撮像装置の各手段として機能させる、コンピュータが実行可能なプログラム。 A computer-executable program that causes a computer to function as each means of the image pickup apparatus according to any one of claims 1 to 13.