JP6995554B2 - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP6995554B2 JP6995554B2 JP2017192999A JP2017192999A JP6995554B2 JP 6995554 B2 JP6995554 B2 JP 6995554B2 JP 2017192999 A JP2017192999 A JP 2017192999A JP 2017192999 A JP2017192999 A JP 2017192999A JP 6995554 B2 JP6995554 B2 JP 6995554B2
- Authority
- JP
- Japan
- Prior art keywords
- strobe
- image
- subject
- imaging device
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Description
仮想的にストロボ照射の影響を付与した画像を生成する技術に関する。 It relates to a technique for generating an image with the influence of strobe irradiation virtually .
従来、ストロボ撮影においてストロボの位置や向き、光量が適切で無い場合、撮影を行ったときに意図通りに照明が当たった画像を得られないことがある。ストロボ光の当たり具合を確認するためにはストロボを発光させる必要があるが、ストロボの設定を変えながら常にストロボ光の当たり具合を確認したくても、ストロボをプリ発光し続けるのは難しい。 Conventionally, if the position and orientation of the strobe and the amount of light are not appropriate in strobe photography, it may not be possible to obtain an image that is illuminated as intended when the image is taken. It is necessary to make the strobe emit light in order to check the hitting condition of the strobe light, but it is difficult to keep the strobe light emitting even if you want to constantly check the hitting condition of the strobe light while changing the strobe setting.
また、撮影場所の環境に依っては何度もストロボ撮影を繰り返すのがはばかられる場合がある。これに対し、特許文献1では複数のストロボを用いた多灯撮影において、事前にそれぞれのストロボのみを用いて光量を変えながら複数枚ストロボ撮影した画像を用意しておき、異なるストロボで撮影した撮影画像を重み付け合成する。これにより複数のストロボから光が当たった時のシミュレーション画像を生成することができる。 Also, depending on the environment of the shooting location, it may be difficult to repeat strobe shooting many times. On the other hand, in Patent Document 1, in multi-flash photography using a plurality of strobes, images taken by a plurality of strobes while changing the amount of light using only each strobe are prepared in advance, and the images taken by different strobes are taken. Weighting and compositing images. This makes it possible to generate a simulation image when light is applied from a plurality of strobes.
しかしながら、上記特許文献1では、ストロボを用いて事前に撮影しておく必要がある。また、その事前撮影に手間がかかるうえ、ストロボを何度も発光させるため電力も消費してしまう。さらに、実際の撮影時にストロボの向きが変わった場合や、被写体が少しでも動いた場合には、シミュレーション画像を正しく生成できないという問題がある。 However, in Patent Document 1, it is necessary to take a picture in advance using a strobe. In addition, it takes time and effort to take the pre-shooting, and the strobe is made to emit light many times, which consumes power. Further, if the direction of the strobe changes during actual shooting or if the subject moves even a little, there is a problem that the simulation image cannot be generated correctly.
そこで本発明は、上記の問題点に鑑み、ストロボを仮想光源とするリライティング処理
を行うことにより、ストロボの効果を確認することを可能とする技術を提供する。
Therefore, in view of the above problems, the present invention provides a technique capable of confirming the effect of the strobe by performing a rewriting process using the strobe as a virtual light source.
本発明の撮像装置は、被写体を撮像する撮像手段と、ストロボの情報を取得する取得手段と、前記取得手段により取得された前記ストロボの情報に基づき、前記撮像手段が撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施した仮想発光画像を生成する画像処理手段と、前記画像処理手段によって生成された仮想発光画像を表示する表示制御手段と、を備えることを特徴とする。The image pickup apparatus of the present invention is an image obtained by an image pickup means for taking an image of a subject, an acquisition means for acquiring information on a strobe, and an image taken by the image pickup means based on the information on the strobe acquired by the acquisition means. An image processing means for generating a virtual light emitting image that has been subjected to image processing to give the influence of light irradiation from a virtual strobe to the object, and a display control means for displaying the virtual light emitting image generated by the image processing means. , It is characterized by having.
本発明によれば、ストロボを仮想光源とするリライティング処理を行うことにより、ストロボの効果を確認することが可能となる。 According to the present invention, it is possible to confirm the effect of the strobe by performing the rewriting process using the strobe as a virtual light source.
(第1の実施形態)
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、本発明をデジタルカメラに適用した実施形態を用いて説明するが、デジタルカメラは一例であって、本発明は他の撮像装置においても適用することができる。
(First Embodiment)
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Although the present invention will be described using an embodiment in which the present invention is applied to a digital camera, the digital camera is an example, and the present invention can also be applied to other imaging devices.
第1の実施形態は、カメラに内蔵されたストロボを用いたストロボ撮影において、仮想的なストロボからの光照射の影響を付与する画像処理(リライティング処理)を施してライブビュー画像を生成して表示する形態を述べる。 In the first embodiment, in strobe photography using a strobe built in the camera, a live view image is generated and displayed by performing image processing (rewriting processing) that gives the influence of light irradiation from a virtual strobe. The form to be used is described.
まず、図1を参照して、第1実施形態における撮像装置100の構成について説明する。
First, the configuration of the
撮像装置100は、レンズ光学系部品101と撮像素子102とA/D変換部103と画像信号処理部104と一時記憶メモリ105と被写体検出部106と距離分布生成部107とリライティング処理部108とストロボ光量取得部109とCPU111と表示部110とストロボ112とバス113によって構成されている。
The
ここで、A/D変換部103、画像信号処理部104、一時記憶メモリ105、被写体検出部106、距離分布生成部107、リライティング処理部108、ストロボ光量取得部109、CPU111、表示部110は、バス113を介して接続されている。
Here, the A /
レンズ光学系部品101は、ズームレンズやフォーカシングレンズ、絞りなどによって構成される。
The lens
撮像素子102は、レンズ光学系部品101にて結像された被写体像を光電変換して画像信号を生成し、生成した画像信号を出力する。また、撮像素子102は光電変換部に光を効率的に集光するためのマイクロレンズを備える。
The
通常の撮像素子は1つのマイクロレンズに対して1つのフォトダイオードを有しているが、本実施形態の撮像素子102は1つのマイクロレンズに対してフォトダイオードが2つ配置された構造を有している。このように2つのフォトダイオードが1つのマイクロレンズを共有する構造にすることで瞳分割像(左視点画像、右視点画像)を取得することができる。
A normal image pickup device has one photodiode for one microlens, but the
A/D変換部103は、撮像素子102が出力する画像信号をアナログ信号からデジタル信号に変換する。
The A /
画像信号処理部104は、A/D変換部103によりデジタル信号に変換された画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの各種信号処理を行う。
The image
一時記憶メモリ105は、画像信号処理部104で信号処理された画像やリライティング処理部108で生成されるリライティング画像、後述する各処理の中間データ等を一時的に記憶する。
The
被写体検出部106は、画像信号処理部104で処理した画像を一時記憶メモリ105から読み出し、画像中の人物や動物等の被写体から主要被写体の検出を行う。
The
距離分布生成部107は、撮像素子102で取得した瞳分割画像(左視点画像、右視点画像)を用いて、ステレオマッチング処理により2つの画像の位相差を算出する。ステレオマッチング処理による位相差検出は、特開2009-165115に記載されており、詳細の説明は省略する。算出された位相差を用いて、撮像素子102から被写体までの距離の分布情報である距離分布を生成する。
The distance
リライティング処理部108は、画像処理手段として機能し、画像信号処理部104で信号処理された画像に対して仮想的に配置した光源からの光照射の影響を付加するリライティング処理を行う。
The
ストロボ光量取得部109は、CPU111で設定しているストロボ112の光量を取得する。
The strobe light
表示部110は、表示手段として機能し、画像信号処理部104やリライティング処理部108によって処理された画像を一時記憶メモリ105から読み出して表示する。
The
CPU111は、上記で説明した各種処理の制御を行っている。
The
ストロボ112は、内蔵ストロボなどの光源装置であり、撮像装置100に固定して設けられている。ストロボ112は、照射角内において光度(単位時間当たりに通過する光量の単位立体角内の密度)が均一な点光源であるとする。
The
次に、リライティング処理部108で行うリライティング処理について説明する。
Next, the rewriting process performed by the
まず、リライティング処理部108は、距離分布生成部107が生成した被写体までの距離情報を用いて法線マップを算出する。被写体距離情報から法線マップを生成する方法について、図2を用いて説明する。
First, the
図2は、カメラ撮影座標と被写体の関係を示す図である。 FIG. 2 is a diagram showing the relationship between the camera shooting coordinates and the subject.
図2において、201は被写体を示し、202は設置した仮想光源の位置を示している。例えば、図2に示すようにある被写体201に対して、撮影画像の水平方向の差分ΔHに対する距離Dの差分ΔDから勾配情報を算出し、そこから被写体の単位法線ベクトルNを算出することが可能である。これと同様に撮影画像の各画素に対応して法線情報を法線マップとして生成することが出来る。
In FIG. 2, 201 indicates a subject and 202 indicates the position of an installed virtual light source. For example, for a
次に被写体中の各画素における仮想光源による光の照度を算出する。ここでは、一例として仮想光源は光度(単位時間当たりに通過する光量の単位立体角内の密度)があらゆる方向において均一である点光源であるとする。 Next, the illuminance of the light from the virtual light source in each pixel in the subject is calculated. Here, as an example, it is assumed that the virtual light source is a point light source in which the luminous intensity (density within the unit solid angle of the amount of light passing per unit time) is uniform in all directions.
撮像装置100で撮影された撮影画像の水平画素位置H1(垂直画素位置は説明の簡略化のため省略)において、法線マップから取得した被写体単位法線ベクトルN1と、仮想光源202と被写体201の距離K1、仮想光源202から被写体201の水平画素位置H1までの単位方向ベクトルL1、仮想光源の光量αに基づき照度を算出する。
At the horizontal pixel position H1 (vertical pixel position is omitted for simplification of explanation) of the captured image captured by the
具体的には、光量αに比例し、距離K1の二乗に反比例し、仮想光源による光の被写体への入射角を考慮して被写体単位法線ベクトルN1と光源方向単位ベクトルL1の内積に比例するように、被写体201の水平画素位置H1の照度を算出する。同様に被写体中の各画素における照度を算出できる。 Specifically, it is proportional to the amount of light α, inversely proportional to the square of the distance K1, and proportional to the inner product of the subject unit normal vector N1 and the light source direction unit vector L1 in consideration of the incident angle of the light by the virtual light source on the subject. As described above, the illuminance of the horizontal pixel position H1 of the subject 201 is calculated. Similarly, the illuminance at each pixel in the subject can be calculated.
算出した照度と予め取得しておいた仮想光源の色を制御するパラメータから設置した仮想光源が被写体に拡散反射して撮像装置100の光学系に入射する成分を算出し、仮想光源による被写体反射成分を元の撮影画像のRGBデータに加算することにより、仮想光源の影響を付加した画像信号(発光画像)を生成する。
From the calculated illuminance and the parameters that control the color of the virtual light source acquired in advance, the component that the virtual light source installed is diffusely reflected on the subject and incident on the optical system of the
以上が、リライティング処理部108で行うリライティング処理である。
The above is the rewriting process performed by the
次に、図3を用いて、撮像装置100で被写体画像を取得し、リライティング処理を行った画像をライブビュー表示するフローを説明する。
Next, with reference to FIG. 3, a flow of acquiring a subject image by the
ステップS301において、レンズ光学系部品101と撮像素子102で被写体をキャプチャし、A/D変換部103と画像信号処理部104で各種信号処理を行った後、入力画像として一時記憶メモリ105に記憶する。
In step S301, the subject is captured by the lens
ステップS302において、CPU111で、ストロボ113が撮影時に発光する設定になっているかを判定する。ストロボの設定情報を参照し、ストロボを発光する設定になっている場合はステップS303へ進む。またストロボが非発光の設定になっている場合はステップS308へ進む。
In step S302, the
ステップS303において、被写体検出部106で、入力画像に対して主要な被写体の検出を行う。被写体検出部106は、画像中から人物の顔などの画像パターンをテンプレートマッチングによって検出する。なお、被写体検出部106は1フレーム前の画像との比較により動き量や変化量の大きい領域を検出するようにしてもよい。
In step S303, the
ステップS304において、距離分布生成部107で、入力画像に関する距離情報である距離分布を生成する。
In step S304, the distance
ステップS305において、ストロボ光量取得部109で、ストロボ112を発光させる際の光量情報を取得する。
In step S305, the strobe light
ステップS306において、リライティング処理部108で、ステップS304で生成した距離分布とステップS305で取得したストロボ光量を用いて、ステップS303で検出した被写体に対してリライティング処理を行う。
In step S306, the rewriting
ここで、図4を参照して、リライティング処理部108でリライティング処理を行うための照度の求め方を説明する。図4は、撮像装置100と被写体401とストロボ112の位置関係を示した図である。
Here, with reference to FIG. 4, a method of obtaining the illuminance for performing the rewriting process by the
ストロボ112は撮像装置100の内蔵ストロボであり、ストロボ112と被写体401との距離は、撮像装置100と被写体401との距離と等価である。つまり、仮想光源をストロボ112と同じ位置、光量で設置した場合、撮像装置100でキャプチャされた入力画像の水平画素位置H4(垂直画素位置は説明の簡略化のため省略)における仮想光源の寄与する照度は、光量α4に比例し、距離K4の二乗に反比例し、被写体法線ベクトルN4と光源方向ベクトルL4の内積に比例するように算出することができる。
The
ここで、α4はステップS305において取得した光量、K4はストロボ112と水平画素位置H4との距離、L4は水平画素位置H4への仮想光源の3次元方向ベクトル、N4は水平画素位置H4における被写体の3次元法線ベクトルである。
Here, α4 is the amount of light acquired in step S305, K4 is the distance between the
このように、被写体の各画素位置で算出した照度に基づき被写体に対するリライティング処理を行い、入力画像にリライティング処理を施したリライティング画像を生成する。 In this way, the subject is rewritten based on the illuminance calculated at each pixel position of the subject, and the input image is rewritten to generate a rewritten image.
再び図3を参照して、ステップS307において、表示部110は、ステップS306で生成したリライティング画像(発光画像)をライブビュー表示する。
With reference to FIG. 3 again, in step S307, the
S308において、表示部110は入力画像をライブビュー表示する。ステップS302でストロボは非発光の設定と判定されているので、リライティング処理は行わずに、ステップS301でキャプチャした入力画像をそのまま表示部110に表示する。
In S308, the
本実施形態の撮像装置によれば、内蔵ストロボを仮想光源としてリライティング処理を行うことで、ストロボを発光させる撮影前にストロボが当たった被写体の様子を仮想的にライブビューで確認することができる。 According to the image pickup apparatus of the present embodiment, by performing the rewriting process using the built-in strobe as a virtual light source, it is possible to virtually confirm the state of the subject hit by the strobe before shooting to make the strobe emit light in a live view.
(第2の実施形態)
本発明の実施形態2では、撮像装置と空間的に離れた位置に設けられたストロボを用いたストロボ撮影において、ライブビューでストロボを仮想光源とするリライティング処理を行う。
(Second embodiment)
In the second embodiment of the present invention, in a strobe shooting using a strobe provided at a position spatially separated from the image pickup apparatus, a rewriting process using the strobe as a virtual light source is performed in a live view.
まず、図5を参照して、実施形態2における撮像装置500の構成について説明する。なお以下の説明において、実施形態1の構成と同一の構成であるものについては説明を省略する。
First, the configuration of the
撮像装置500は、実施形態1のストロボを内蔵していた撮像装置100に対し、ストロボ112の代わりにストロボ方向取得部501とストロボ位置取得部502とI/F503を有する。
The
ストロボ位置取得部501は、外部ストロボ503の位置を取得し、外部ストロボ503と被写体との相対的な位置関係を算出する。
The strobe
ストロボ光量取得部109は、撮像装置100とは異なり、I/F502を介して外部ストロボ503の光量を取得する。
Unlike the
I/F502は、外部ストロボ503と通信してストロボの各種設定情報を受信し、外部ストロボ503の発光タイミングを制御するためのインターフェースである。
The I /
外部ストロボ503は、撮像装置500と空間的に離れて設置され、I/F502を介して外部ストロボ503の設定値を撮像装置500へ送信し、撮像装置500の撮影タイミングと同期して発光する光源装置である。外部ストロボ503は、ストロボ112と同様に、一例として照射角内において光度(単位時間当たりに通過する光量の単位立体角内の密度)が均一な点光源である。
The
次に、図6を用いて、撮像装置500で被写体画像を取得し、リライティング処理を行った画像をライブビュー表示するフローを説明する。
Next, with reference to FIG. 6, a flow of acquiring a subject image with the
なお、実施形態1と同様の処理内容に関しては説明を省略し、差分となる処理についてのみ説明を行う。ステップS301からステップS305まで、およびステップS307、ステップS308の処理は実施形態1と同様である。 The description of the processing content similar to that of the first embodiment will be omitted, and only the differential processing will be described. The processes from step S301 to step S305, and steps S307 and S308 are the same as those in the first embodiment.
ステップS602において、ストロボ位置取得部501で、外部ストロボ503の位置を取得する。これについては図7を用いて説明する。図7は撮像装置500と被写体701と外部ストロボ503の位置関係を示した図である。例えば、事前に被写体701と外部ストロボ503が同時に収まる画角で撮影し、距離分布から被写体701の位置(Hx,Hy)と外部ストロボ503の位置(Sx,Sy)を求めておくことで、外部ストロボ503から被写体701の水平画素位置Hxへの方向ベクトルL7を算出できる。また外部ストロボ側にもカメラが付いている構成であれば、外部ストロボで撮影した画像からストロボと被写体との距離を算出し撮像装置に送信することもできる。また、超音波通信やGPS等のセンサによって撮像装置とストロボの位置関係を取得する構成でも良い。
In step S602, the strobe
ステップS306において、リライティング処理部108で、ステップS304で生成した距離分布とステップS305で取得したストロボ光量とステップS601で取得したストロボ位置を用いて、ステップS303で検出した被写体に対してリライティング処理を行う。
In step S306, the rewriting
仮想光源を外部ストロボ503と同じ位置、光量で設置した場合の、撮像装置500でキャプチャされた入力画像の水平画素位置Hx(垂直画素位置は説明の簡略化のため省略)における仮想光源の寄与する照度は、光量α7に比例し、距離K7の二乗に反比例し、被写体法線ベクトルN7と光源方向ベクトルL7の内積に比例するように算出できる。
When the virtual light source is installed at the same position and the amount of light as the
ここで、α7はステップS305において取得した光量、N7は水平画素位置Hxにおける被写体の3次元法線ベクトル、K7は仮想光源と被写体の水平画素位置Hxとの距離である。距離K7は被写体701の位置(Hx,Hy)と外部ストロボ503の位置(Sx,Sy)から算出できる。 Here, α7 is the amount of light acquired in step S305, N7 is the three-dimensional normal vector of the subject at the horizontal pixel position Hx, and K7 is the distance between the virtual light source and the horizontal pixel position Hx of the subject. The distance K7 can be calculated from the position of the subject 701 (Hx, Hy) and the position of the external strobe 503 (Sx, Sy).
このように、被写体の各画素位置で算出した照度に基づき被写体に対するリライティング処理を行い、入力画像にリライティング処理を施したリライティング画像を生成する。 In this way, the subject is rewritten based on the illuminance calculated at each pixel position of the subject, and the input image is rewritten to generate a rewritten image.
本実施形態の撮像装置によれば、外部ストロボを仮想光源としてリライティング処理を行うことで、ストロボを発光させる撮影前にストロボが当たった被写体の様子を仮想的にライブビューで確認することができる。 According to the image pickup apparatus of the present embodiment, by performing the rewriting process using an external strobe as a virtual light source, it is possible to virtually confirm the state of the subject hit by the strobe before shooting to make the strobe emit light in a live view.
(第3の実施形態)
本発明の実施形態3では、ストロボを複数使用する撮影において、リライティング処理に適用するストロボをユーザが選択し、ライブビューで選択されたストロボを仮想光源とするリライティング処理を行う。
(Third embodiment)
In the third embodiment of the present invention, in shooting using a plurality of strobes, the user selects a strobe to be applied to the rewriting process, and the rewriting process is performed using the strobe selected in the live view as a virtual light source.
まず、図8を参照して、実施形態3における撮像装置800の構成について説明する。実施形態1または2の構成と同一の構成であるものに関しては説明を省略する。
First, the configuration of the
撮像装置800は、実施形態2における撮像装置500が1つの外部ストロボ503と通信するのに対し、2つの外部ストロボと通信を行う。
The
表示部110は、タッチパネル式の表示装置であり、ユーザからのタッチ操作を受け付ける。
The
第一の外部ストロボ801は外部ストロボ503と同様の構成である。また第二の外部ストロボ802は外部ストロボ503と同様の構成である。本実施形態では、何れの外部ストロボも同一であるが、それぞれ異なる特性を有するものであってもよい。
The first
次に、図9を用いて、撮像装置800で被写体画像を取得し、リライティング処理するストロボをユーザが選択して、リライティング処理を行った画像をライブビュー表示するフローを説明する。なお、実施形態1または実施形態2と同様の処理内容に関しては説明を省略し、差分となる処理についてのみ説明を行う。
Next, with reference to FIG. 9, a flow of acquiring a subject image with the
ステップS301からステップS304までの処理は実施形態1と同様である。 The processes from step S301 to step S304 are the same as those in the first embodiment.
ステップS305において、第一の外部ストロボ801および第二の外部ストロボ802の光量の情報を取得する。
In step S305, information on the amount of light of the first
ステップS601において、第一の外部ストロボ801および第二の外部ストロボ802の位置の情報を取得する。
In step S601, information on the positions of the first
ステップS901において、表示部110で、撮像装置800と被写体と第一の外部ストロボ801と第二の外部ストロボ802の位置関係を示す画像を表示する。これについては図10を用いて説明する。
In step S901, the
図10は、表示部110においてライブビュー画像に重畳されて表示される、撮像装置と被写体とストロボの位置関係画像を示す図である。図10において、1001は被写体、1002は撮像装置800のアイコン、1003は被写体1001のアイコン、1004は第一の外部ストロボ801のアイコン、1005は第二の第二の外部ストロボ802のアイコンを示している。1002から1005のアイコンは、ステップS304で生成した距離分布とステップS601で取得したストロボ位置から算出した、撮像装置800と被写体1001と第一の外部ストロボ801と第二の外部ストロボ802の間の相対位置に応じて配置される。
FIG. 10 is a diagram showing a positional relationship image between the image pickup device, the subject, and the strobe, which is superimposed and displayed on the live view image on the
ステップS902において、表示部110で、ストロボの選択手段として機能し、ユーザがストロボのアイコンをタッチすることによりリライティング処理を行うストロボを選択する。
In step S902, the
ステップS902において、CPU111で、リライティング処理を行う設定になっているストロボがあるかを判定する。ユーザは、ステップS901において表示部110に表示された位置関係画像を見て、表示部110でストロボのアイコンをタッチすることによりリライティング処理を行うストロボを選択することができる。ユーザが操作した状態に応じて、リライティング処理を行う設定になっているストロボがある場合、ステップS306へ進む。リライティング処理を行う設定になっているストロボが無い場合は、ステップS308へ進む。
In step S902, the
ステップS306において、リライティング処理部108で、リライティング処理を行う設定になっているストロボについて実施例2と同様にリライティング処理を行い、リライティング画像を生成する。
In step S306, the rewriting
例えば、第一の外部ストロボ801および第二の外部ストロボ802とも発光する設定であっても、第一の外部ストロボ801のみを発光させた時の効果をリライティング処理してライブビュー表示したい場合がある。その場合、ステップS902においてユーザが第一の外部ストロボ801のアイコン1004をタッチ操作してリライティング処理を行う設定にする。さらに第二の外部ストロボ802のアイコン1005をタッチ操作してリライティング処理を行わない設定にする。これらの操作により、第一の外部ストロボ801のみを仮想光源としたリライティング処理を行い、所望のリライティング画像を生成することが出来る。
For example, even if both the first
本実施形態の撮像装置によれば、複数のストロボからリライティング処理を適用したいストロボをユーザが選択することで、選択結果に応じて選択されたストロボのみの光が当たった被写体の様子を撮影前に仮想的にライブビューで確認することができる。 According to the image pickup apparatus of the present embodiment, the user selects a strobe to which the rewriting process is to be applied from a plurality of strobes, and the state of the subject exposed to the light of only the strobe selected according to the selection result is captured before shooting. You can virtually check it in the live view.
以上、本発明の実施形態について説明したが、図1、図5、図8に示した撮像装置の構成は一例であり、各実施形態の動作を実行できるのであれば、図1、図5、図8に示した構成に限定されるものではない。 Although the embodiment of the present invention has been described above, the configuration of the image pickup apparatus shown in FIGS. 1, 5, and 8 is an example, and if the operation of each embodiment can be executed, FIGS. 1, 5, and 5. The configuration is not limited to the configuration shown in FIG.
また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Further, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。 Further, when a software program that realizes the functions of the above-described embodiment is supplied to a system or device having a computer capable of executing the program directly from a recording medium or by using wired / wireless communication, and the program is executed. Is also included in the present invention.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself supplied and installed on the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。 In that case, as long as it has the function of the program, the form of the program such as the object code, the program executed by the interpreter, the script data supplied to the OS, etc. does not matter.
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。 The recording medium for supplying the program may be, for example, a hard disk, a magnetic recording medium such as a magnetic tape, an optical / optical magnetic storage medium, or a non-volatile semiconductor memory.
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 Further, as a method of supplying the program, a method is conceivable in which the computer program forming the present invention is stored in the server on the computer network, and the connected client computer downloads and programs the computer program.
100 撮像装置
102 撮像素子
104 画像信号処理部
105 一時記憶メモリ
106 被写体検出部
107 距離分布生成部
108 リライティング処理部
109 ストロボ光量取得部
110 表示部
112 ストロボ
100
Claims (15)
ストロボの情報を取得する取得手段と、
前記取得手段により取得された前記ストロボの情報に基づき、前記撮像手段が撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施した仮想発光画像を生成する画像処理手段と、
前記画像処理手段によって生成された仮想発光画像を表示する表示制御手段と、を備えることを特徴とする撮像装置。 An imaging means that captures the subject,
An acquisition method for acquiring strobe information,
Based on the information of the strobe acquired by the acquisition means, a virtual light emitting image subjected to image processing for imparting the influence of light irradiation from the virtual strobe to the image acquired by the imaging means is obtained. Image processing means to generate and
An image pickup apparatus comprising: a display control means for displaying a virtual light emitting image generated by the image processing means.
複数の前記ストロボのうち少なくとも1つを選択させる選択手段をさらに備え、
前記画像処理手段は、前記選択手段による選択結果に応じて前記仮想発光画像を生成することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 The acquisition means can acquire information on a plurality of the strobes.
Further provided with a selection means for selecting at least one of the plurality of strobes.
The image pickup apparatus according to any one of claims 1 to 4, wherein the image processing means generates the virtual light emitting image according to the selection result by the selection means.
ストロボの情報を取得する取得工程と、
前記取得工程で取得された前記ストロボの情報に基づき、前記撮像工程で撮像して得られた画像に対して仮想的なストロボからの光照射の影響を付与する画像処理を施した仮想発光画像を生成する画像処理工程と、
前記画像処理工程で生成された仮想発光画像を表示する表示工程と、を備えることを特徴とする撮像方法。 The imaging process for imaging the subject and
The acquisition process to acquire strobe information and
Based on the information of the strobe acquired in the acquisition step, a virtual light emitting image subjected to image processing for imparting the influence of light irradiation from the virtual strobe to the image obtained by imaging in the imaging step is obtained. The image processing process to generate and
An imaging method comprising: a display step of displaying a virtual light emitting image generated in the image processing step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017192999A JP6995554B2 (en) | 2017-10-02 | 2017-10-02 | Imaging device and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017192999A JP6995554B2 (en) | 2017-10-02 | 2017-10-02 | Imaging device and imaging method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019068306A JP2019068306A (en) | 2019-04-25 |
JP2019068306A5 JP2019068306A5 (en) | 2020-11-12 |
JP6995554B2 true JP6995554B2 (en) | 2022-01-14 |
Family
ID=66339924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017192999A Active JP6995554B2 (en) | 2017-10-02 | 2017-10-02 | Imaging device and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6995554B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7409014B2 (en) * | 2019-10-31 | 2024-01-09 | 富士フイルムビジネスイノベーション株式会社 | display device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013242441A (en) | 2012-05-21 | 2013-12-05 | Nikon Corp | Imaging apparatus and method for deciding illumination light quantity |
JP2017153045A (en) | 2016-02-26 | 2017-08-31 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and control method and program for the same |
-
2017
- 2017-10-02 JP JP2017192999A patent/JP6995554B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013242441A (en) | 2012-05-21 | 2013-12-05 | Nikon Corp | Imaging apparatus and method for deciding illumination light quantity |
JP2017153045A (en) | 2016-02-26 | 2017-08-31 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and control method and program for the same |
Also Published As
Publication number | Publication date |
---|---|
JP2019068306A (en) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102338576B1 (en) | Electronic device which stores depth information associating with image in accordance with Property of depth information acquired using image and the controlling method thereof | |
JP6653369B2 (en) | Augmented reality system and color compensation method thereof | |
KR102057488B1 (en) | 3D 360 Degree Virtual Reality Camera Exposure Control | |
JP5108093B2 (en) | Imaging apparatus and imaging method | |
JP6625745B2 (en) | Image processing device | |
KR20190012465A (en) | Electronic device for acquiring image using plurality of cameras and method for processing image using the same | |
JP7387434B2 (en) | Image generation method and image generation device | |
KR102370376B1 (en) | Method and apparatus for processing image and recordimg medium thereof | |
KR20210113100A (en) | Super-resolution depth map generation for multi-camera or other environments | |
JP6525740B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD FOR INFORMATION PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, AND PROGRAM | |
JP2017138927A (en) | Image processing device, imaging apparatus, control method and program thereof | |
JP6995554B2 (en) | Imaging device and imaging method | |
JP6155547B2 (en) | Projection apparatus, projection method, and program | |
US10491833B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable recording medium | |
KR101822169B1 (en) | Electronic device for providing panorama image and control method thereof | |
JP6917796B2 (en) | Image processing equipment, imaging equipment, image processing methods, and programs | |
JP6210772B2 (en) | Information processing apparatus, imaging apparatus, control method, and program | |
JP6106969B2 (en) | Projection device, pointer device, and projection system | |
JP2016178600A (en) | Image processing apparatus, image processing method and program | |
KR20230149615A (en) | Method and apparatus for light estimation | |
JP2021127998A (en) | Distance information acquisition device and distance information acquisition method | |
JP7011694B2 (en) | Image processing equipment and its control method, program | |
JP6620979B2 (en) | Portable terminal, projection system, control method and program for projection system | |
JP2020191546A (en) | Image processing apparatus, image processing method, and program | |
US20240112446A1 (en) | Image processing device, image processing method, projector device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6995554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |