JP2010177741A - Image capturing apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image capturing apparatus that facilitates recognition or the like of a focused imaging object and the like. <P>SOLUTION: The image capturing apparatus includes: an imaging unit for imaging an imaging object; a focus adjustment unit for adjusting focus; a map image generation unit for generating a map image for showing a depth position representing the position of the imaging object in the depth direction, and a focus position representing the position of the focus; and a display unit for displaying the generated map image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像装置等に関係する。   The present invention relates to an imaging device and the like.

近年、デジタルカメラなどの電子カメラでは、撮像素子の画素数が増加しており、電子ビューファインダー（ＥＶＦ:Electronic View Finder）やカメラ付属の表示パネルでは、ピントが合っているかの詳細な確認が難しくなってきている。即ち、撮像素子の画素数に比べて画素数が少ない表示パネルに対して画像を表示する場合、撮像画像の全体を縮小したり、一部のみを表示する場合が多いが、いずれの場合も簡易的な確認のみが可能であるに過ぎない。   In recent years, electronic cameras such as digital cameras have increased the number of pixels of the image sensor, and it is difficult to confirm in detail whether an electronic viewfinder (EVF: Electronic View Finder) or a display panel attached to the camera is in focus. It has become to. In other words, when an image is displayed on a display panel having a smaller number of pixels than the number of pixels of the image sensor, the entire captured image is often reduced or only a part is displayed. Only a specific confirmation is possible.

例えば縮小された画像の場合、重度のフォーカスの調整ミスや、典型的なピンボケについては容易に確認できるものの、このようなケースは、最近ではオートフォーカス機能の向上に伴って少なくなってきている。   For example, in the case of a reduced image, although a serious focus adjustment error and typical defocusing can be easily confirmed, such cases have recently been reduced as the autofocus function is improved.

むしろ問題となるのは、マニュアルフォーカスでの比較的軽度のフォーカス調整ミスや、オートフォーカスによる意図しない撮像対象物への合焦である。後者は例えば、人物が二人並んで撮影される際、そのどちらにもフォーカスが合わずに、人物の間の遠景に合焦してしまうようなケースが該当する。なお、合焦とはフォーカスが合うことをいう。   Rather, what is a problem is a relatively slight focus adjustment error in manual focus or focusing on an unintended imaging target by autofocus. The latter corresponds to a case where, for example, when two people are photographed side by side, neither of them is focused and a distant view between the people is focused. Note that focusing means focusing.

カメラに付属する、比較的制約された表示装置（表示パネル、ＥＶＦ）であっても合焦状態を確認する手法が提案されている。一例として特許文献１には、撮像対象シーン中で合焦している被写体を簡単に視認可能にするための手法が開示されている。   There has been proposed a method for confirming an in-focus state even with a relatively restricted display device (display panel, EVF) attached to a camera. As an example, Patent Document 1 discloses a technique for easily visualizing a focused subject in an imaging target scene.

この特許文献１に記載の手法では、合焦している物体の輪郭をＥＶＦ内で強調表示し、更に合焦していない物体の合焦位置からの外れ度合いに応じて彩度を変化させて表示する。これにより操作者は、合焦している物体がどの物体なのかや、合焦位置から外れている物体がどれで、どの程度外れているのかを、把握することが可能となる。   In the method described in Patent Document 1, the outline of the focused object is highlighted in the EVF, and the saturation is changed in accordance with the degree of deviation from the focused position of the unfocused object. indicate. Thus, the operator can grasp which object is in focus, which object is out of focus position, and how much is out of focus.

特開２００８−１３５８１２号公報JP 2008-135812 A

しかしながら特許文献１では、合焦状態を示す情報を表示画像に重畳する手法を採用しているため、操作者に対しては加工された画像が表示されてしまうという問題がある。即ち、輪郭や彩度が加工された、通常とは異なる画像を参照して、合焦状態を正しく把握することは、非熟練者にとっては負担が大きい。また、彩度の差から合焦位置の外れ具合を把握するという操作も、非熟練者にとって容易とは言えない。   However, since Patent Document 1 employs a method of superimposing information indicating the in-focus state on the display image, there is a problem that the processed image is displayed to the operator. That is, it is burdensome for an unskilled person to correctly grasp the in-focus state by referring to an image different from the normal one in which the contour and saturation are processed. Also, it is not easy for an unskilled person to grasp the degree of out-of-focus position from the difference in saturation.

本発明の幾つかの態様によれば、合焦している撮像対象物の把握等を容易化できる撮像装置等を提供できる。   According to some aspects of the present invention, it is possible to provide an imaging device or the like that can facilitate grasping of an imaging object that is in focus.

本発明の一態様は、撮像対象物を撮像する撮像部と、フォーカスの調整を行うフォーカス調整部と、撮像対象物の奥行き方向での位置を表す奥行き位置と、前記フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を生成するマップ画像生成部と、生成された前記マップ画像を表示する表示部とを含む撮像装置に関係する。   One embodiment of the present invention includes an imaging unit that captures an imaging target, a focus adjustment unit that performs focus adjustment, a depth position that represents a position of the imaging target in the depth direction, and a focus position that represents the focus position. The present invention relates to an imaging apparatus including a map image generation unit that generates a map image for indicating the above and a display unit that displays the generated map image.

本発明の一態様では、撮像部により撮像対象物が撮像されると共にフォーカス調整が行われる。そして撮像対象物の奥行き位置やフォーカス位置を示すためのマップ画像が生成されて、表示部に表示される。これにより操作者（ユーザ）は、合焦している撮像対象物を容易に把握することが可能になり、これまでにない撮像装置を提供できる。   In one embodiment of the present invention, the imaging target is imaged and the focus adjustment is performed by the imaging unit. Then, a map image for indicating the depth position and focus position of the imaging target is generated and displayed on the display unit. Thereby, the operator (user) can easily grasp the imaging object in focus, and can provide an imaging apparatus that has never existed.

また本発明の一態様では、撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部を含み、前記マップ画像生成部は、前記距離データに基づき前記撮像対象物の前記奥行き位置が特定される前記マップ画像を生成してもよい。   In one aspect of the present invention, the image processing apparatus further includes a distance data acquisition unit that acquires distance data representing a distance from an imaging device to the imaging object, and the map image generation unit is configured to generate the imaging object based on the distance data. The map image in which the depth position is specified may be generated.

このようにすれば、取得された距離データを有効活用して、撮像対象物の奥行き位置を特定して、マップ画像を生成できる。   In this way, it is possible to generate the map image by specifying the depth position of the imaging target object by effectively utilizing the acquired distance data.

また本発明の一態様では、前記距離データ取得部は、デプス・フロム・デフォーカス（Depth from Defocus）、シェイプ・フロム・フォーカスShape from Focus）、シェイプ・フロム・ステレオ（Shape from Stereo）、又はシェイプ・フロム・フォトメトリック（Shape from Photometric）の処理により、前記距離データを取得してもよい。   In one embodiment of the present invention, the distance data acquisition unit includes a depth from defocus, a shape from focus, a shape from stereo, or a shape. -You may acquire the said distance data by the process of From photometric (Shape from Photometric).

このようにすればフォーカス調整等に必要な処理を有効活用し、距離データを取得して、マップ画像を生成できる。   In this way, a map image can be generated by effectively utilizing processing necessary for focus adjustment and acquiring distance data.

また本発明の一態様では、前記マップ画像生成部は、前記マップ画像として、撮像対象シーンを真上から見下ろした画像又は斜め上から見下ろした画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate, as the map image, an image in which the imaging target scene is looked down from directly above or an image that is looked down obliquely from above.

このようにすれば、操作者は、撮像対象シーンを別の視点から見たマップ画像を見ながら、撮像対象物の奥行き位置とフォーカス位置との位置関係を把握できるようになる。   In this way, the operator can grasp the positional relationship between the depth position of the imaging target object and the focus position while viewing the map image obtained by viewing the imaging target scene from another viewpoint.

また本発明の一態様では、前記マップ画像生成部は、奥行き位置が異なる撮像対象物を表すマークが、奥行き方向に沿って並んで表示される前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image in which marks representing imaging objects with different depth positions are displayed side by side along the depth direction.

このようにすれば、マップ画像をコンパクトな表示領域で表示することが可能になる。   In this way, the map image can be displayed in a compact display area.

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス位置を表す図形が表示された前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image on which a graphic representing the focus position is displayed.

このようにすれば、マップ画像に表示された図形を見ることで、フォーカス位置を把握できるようになる。   In this way, the focus position can be grasped by viewing the graphic displayed on the map image.

また本発明の一態様では、前記マップ画像生成部は、線分、矢印、三角形、円、楕円、又は矩形が前記フォーカス位置を表す前記図形として表示された前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image in which a line segment, an arrow, a triangle, a circle, an ellipse, or a rectangle is displayed as the graphic representing the focus position.

このようにフォーカス位置を表す図形としては種々の図形を採用できる。   As described above, various figures can be adopted as the figure representing the focus position.

また本発明の一態様では、前記マップ画像生成部は、撮像画角の境界線が表示された前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image on which a boundary line of an imaging angle of view is displayed.

このようにすれば、撮像対象物の奥行き位置やフォーカス位置に加えて、撮像範囲についても容易に把握できるようになる。   In this way, the imaging range can be easily grasped in addition to the depth position and focus position of the imaging object.

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス調整部によるフォーカス調整に連動して、前記フォーカス位置を表す図形の位置が変化する前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image in which the position of the graphic representing the focus position changes in conjunction with the focus adjustment by the focus adjustment unit.

このようにすれば、フォーカス調整により、どの撮像対象物に合焦したのかを容易に把握できるようになる。   In this way, it is possible to easily grasp which imaging object is focused by the focus adjustment.

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス位置に対応した被写界深度範囲が表示された前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image in which a depth of field range corresponding to the focus position is displayed.

このようにすれば、実用上ピントが合っていると考えられる被写界深度範囲を容易に把握できる。   In this way, it is possible to easily grasp the depth of field range that is considered to be in focus in practice.

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス調整部によるフォーカス調整に連動して、前記被写界深度範囲の位置が変化する前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image in which the position of the depth of field range changes in conjunction with the focus adjustment by the focus adjustment unit.

このようにすれば、フォーカス調整により、どの範囲が被写界深度範囲になるのかを認識できるようになる。   In this way, it becomes possible to recognize which range is the depth of field range by focus adjustment.

また本発明の一態様では、前記表示部はタッチパネルディスプレイにより構成され、前記マップ画像生成部は、前記撮像対象物を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示される前記マップ画像を生成し、前記フォーカス調整部は、前記タッチパネルディスプレイの前記マークをタッチする操作が行われた場合に、タッチされた前記マークの前記奥行き位置にフォーカスを合わせるフォーカス調整を行ってもよい。   In the aspect of the invention, the display unit is configured by a touch panel display, and the map image generation unit displays a mark representing the imaging target at a map position corresponding to the depth position of the imaging target. The focus adjustment unit may perform a focus adjustment to focus on the depth position of the touched mark when an operation of touching the mark on the touch panel display is performed. Good.

このようにすれば、フォーカスを合わせたい位置をタッチパネルディスプレイにより指示できるようになり、フォーカス位置の指定に要する時間の短縮等を図れる。   In this way, it becomes possible to instruct the position to be focused on the touch panel display, and the time required for designating the focus position can be reduced.

また本発明の一態様では、前記マップ画像生成部は、前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may generate the map image in which a mark representing the type of the imaging target is displayed at a map position corresponding to the depth position of the imaging target. Also good.

このようにすれば、マップ画像上のマークを見ることで、撮像対象物の種類を確認することが可能になる。   In this way, it is possible to confirm the type of the imaging object by looking at the mark on the map image.

また本発明の一態様では、前記マップ画像生成部は、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成してもよい。   In the aspect of the invention, the map image generation unit may display a mark representing at least one of the size, color, and texture of the imaging object at a map position corresponding to the depth position of the imaging object. The map image may be generated.

このようにすれば、撮像対象物のサイズ、色又はテクスチャを表すマークにより、撮像対象物を把握できる。   In this way, the imaging object can be grasped by the mark representing the size, color or texture of the imaging object.

また本発明の一態様では、前記表示部は、撮像装置により撮像された通常撮像画像に対して前記マップ画像が重畳表示された画像、前記通常撮像画像に対して前記マップ画像がスーパーインポーズされた画像、又は前記通常撮像画像と前記マップ画像とが並んだ画像を表示してもよい。   In the aspect of the invention, the display unit may superimpose the map image on the normal captured image captured by the imaging device, and the map image may be superimposed on the normal captured image. Alternatively, an image in which the normal captured image and the map image are arranged may be displayed.

このようにすれば、通常撮像画像とマップ画像の両方を見ながら、撮像指示等の操作を行えるようになる。   In this way, an operation such as an imaging instruction can be performed while viewing both the normal captured image and the map image.

また本発明の一態様では、前記表示部は、前記通常撮像画像のうち合焦している撮像対象物に対して前記マップ画像が重ならないように生成された画像を表示してもよい。   Moreover, in one aspect of the present invention, the display unit may display an image generated so that the map image does not overlap with an imaging object in focus among the normal captured images.

このようにすれば、合焦している撮像対象物を確認する際に、マップ画像の存在がその確認の邪魔になってしまう事態を防止できる。   In this way, it is possible to prevent the presence of the map image from interfering with the confirmation when the focused imaging object is confirmed.

また本発明の一態様では、撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部と、取得された前記距離データに基づいて撮像対象シーンの領域分割処理を行う領域分割部と、前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行う撮像対象物認識部を含んでもよい。   In one embodiment of the present invention, a distance data acquisition unit that acquires distance data representing a distance from an imaging device to the imaging target object, and an area that performs area division processing of the imaging target scene based on the acquired distance data An imaging object recognition unit that performs recognition processing of the imaging object in each divided region divided by the region dividing unit may be included.

このようにすれば、取得された距離データを利用して領域分割を行い、各分割領域での撮像対象物を認識しているため、撮像対象シーン内の撮像対象物を、効率的な処理で認識できるようになる。   In this way, area division is performed using the acquired distance data, and the imaging object in each divided area is recognized, so that the imaging object in the imaging target scene can be efficiently processed. Become able to recognize.

また本発明の一態様では、前記距離データ取得部は、前記撮像部により撮像された複数の距離データ取得用画像に基づいて前記距離データを取得し、前記領域分割部は、前記複数の距離データ取得用画像の代表となる代表距離データ取得用画像と、取得された前記距離データとに基づいて、前記領域分割処理を行ってもよい。   In the aspect of the invention, the distance data acquisition unit may acquire the distance data based on a plurality of distance data acquisition images captured by the imaging unit, and the area division unit may include the plurality of distance data. The region dividing process may be performed based on the representative distance data acquisition image that is representative of the acquisition image and the acquired distance data.

このようにすれば、複数の距離データ取得用画像に基づいて距離データを取得した場合にも、領域分割処理については代表距離データ取得用画像に基づき行われるため、距離データ取得用画像を保存する記憶部の記憶容量の節約等が可能になる。   In this way, even when the distance data is acquired based on a plurality of distance data acquisition images, the region division processing is performed based on the representative distance data acquisition image, so the distance data acquisition image is stored. The storage capacity of the storage unit can be saved.

また本発明の一態様では、前記撮像対象物の認識処理を行う撮像対象物認識部を含み、前記マップ画像生成部は、前記撮像対象物の種類の認識に成功した場合には、前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成し、前記撮像対象物の種類の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成してもよい。   Moreover, in one aspect of the present invention, the imaging object recognition unit that performs recognition processing of the imaging object is included, and the map image generation unit is configured to detect the imaging object when the type of the imaging object is successfully recognized. When the mark representing the type of object generates the map image displayed at the map position corresponding to the depth position of the imaging object, and when the type of the imaging object is not successfully recognized, The map image may be generated in which a mark representing at least one of the size, color, and texture of the imaging object is displayed at a map position corresponding to the depth position of the imaging object.

このようにすれば、全ての撮像対象物を認識できなくても、認識できなかった撮像対象物を把握するための手がかりを、その撮像対象物のサイズや色やテクスチャにより提示できるようになる。   In this way, even if all the imaging objects cannot be recognized, a clue for grasping the imaging object that could not be recognized can be presented by the size, color, and texture of the imaging object.

また本発明の一態様では、撮像対象シーンの領域分割処理を行う領域分割部を含み、前記撮像対象物認識部は、前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行い、各分割領域において前記撮像対象物の種類の認識に成功した場合には、認識された前記撮像対象物の種類を各分割領域に関連づける処理を行い、前記撮像対象物の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを、対応する各分割領域に関連づける処理を行ってもよい。   In one aspect of the present invention, the image capturing object recognition unit includes an area dividing unit that performs an area dividing process on the imaging target scene. When the recognition of the type of the imaging object is successful in each divided area, the process of associating the recognized type of the imaging object with each divided area is performed, and the imaging object is successfully recognized. If not, processing for associating at least one of the size, color, and texture of the imaging target object with each corresponding divided area may be performed.

このようにすれば、撮像対象物の種類の認識に成功した分割領域には、撮像対象物の種類を表すマークを表示し、撮像対象物の種類の認識に成功しなかった分割領域には、撮像対象物のサイズ、色又はテクスチャを表すマークを表示できるようになる。   In this way, a mark indicating the type of the imaging object is displayed in the divided area that has successfully recognized the type of the imaging object, and in the divided area that has not been successfully recognized the type of the imaging object, Marks representing the size, color or texture of the imaging object can be displayed.

また本発明の一態様では、前記撮像対象物認識部は、所定サイズよりも小さいと判断された撮像対象物又は撮像装置からの距離が所定距離よりも遠いと判断された撮像対象物を非表示にする設定を行ってもよい。   In one aspect of the present invention, the imaging object recognition unit does not display an imaging object that is determined to be smaller than a predetermined size or an imaging object that is determined to have a distance from the imaging device that is greater than a predetermined distance. You may set it to.

このようにすれば、小さい撮像対象物や距離が遠い撮像対象物については表示されないようになるため、不要な表示物がマップ画像に表示されてしまう事態を防止できる。   In this way, since a small imaging object or a far imaging object is not displayed, it is possible to prevent an unnecessary display object from being displayed on the map image.

本実施形態の撮像装置の構成例。1 is a configuration example of an imaging apparatus according to an embodiment. 撮像対象シーンの例。An example of a scene to be imaged. 本実施形態により生成されるマップ画像の例。The example of the map image produced | generated by this embodiment. マニュアルフォーカスモードでの本実施形態の処理を説明するためのフローチャート。6 is a flowchart for explaining processing of the present embodiment in a manual focus mode. オートフォーカスモードでの本実施形態の処理を説明するためのフローチャート。6 is a flowchart for explaining processing of the present embodiment in an autofocus mode. マップ画像生成の第１の変形例。The 1st modification of map image generation. マップ画像生成の第２の変形例。The 2nd modification of map image generation. マップ画像生成の第３の変形例。The 3rd modification of map image generation. マップ画像生成の第４の変形例。The 4th modification of map image generation. 図１０（Ａ）、図１０（Ｂ）はマップ画像の表示例。10A and 10B are display examples of map images. 図１１（Ａ）、図１１（Ｂ）はフォーカス調整に連動してフォーカス位置や被写界深度範囲の位置を変化させる手法の説明図。FIG. 11A and FIG. 11B are explanatory diagrams of a method for changing the focus position and the position of the depth of field range in conjunction with the focus adjustment. 図１２（Ａ）、図１２（Ｂ）は表示部がタッチパネルディスプレイで構成される場合の本実施形態の手法の説明図。FIG. 12A and FIG. 12B are explanatory diagrams of the method of this embodiment when the display unit is configured by a touch panel display. 図１３（Ａ）、図１３（Ｂ）は距離データの取得手法の説明図。13A and 13B are explanatory diagrams of a distance data acquisition method. 本実施形態の詳細な処理例の説明図。Explanatory drawing of the detailed process example of this embodiment. 撮像対象物認識の詳細な処理を説明するためのフローチャート。The flowchart for demonstrating the detailed process of imaging target object recognition. 本実施形態の変形例の説明図。Explanatory drawing of the modification of this embodiment. 本実施形態の変形例の処理を説明するためのフローチャート。The flowchart for demonstrating the process of the modification of this embodiment.

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。   Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.

１．構成例
本実施形態では、合焦している撮像対象物や、合焦していない撮像対象物及びその合焦状態からのずれ具合などを容易に把握し、フォーカス位置を操作可能な撮像装置を提供することを目的としている。 1. Configuration Example In this embodiment, an imaging apparatus that can easily grasp an imaging object that is in focus, an imaging object that is not in focus, a deviation from the in-focus state, and the like, and can operate a focus position. It is intended to provide.

このために本実施形態では、後述する図２の撮像対象シーン（撮像画像）から、図３に示すようなマップ画像を生成して表示する。このマップ画像（マップデータ）は、例えば撮像対象シーンに対応する俯瞰画像であり、撮像対象物の奥行き方向の位置である奥行き位置やフォーカス位置を示すための画像である。そしてフォーカス位置やフォーカス範囲（被写界深度範囲）は、光学系のフォーカス調整と連動しており、一方を操作して変更すると、その変更が他方にも反映される。   Therefore, in the present embodiment, a map image as shown in FIG. 3 is generated and displayed from an imaging target scene (captured image) in FIG. This map image (map data) is, for example, a bird's-eye view image corresponding to an imaging target scene, and is an image for indicating a depth position and a focus position that are positions in the depth direction of the imaging target. The focus position and focus range (depth of field range) are linked with the focus adjustment of the optical system, and if one is changed, the change is reflected on the other.

ここでは奥行き方向での位置関係を俯瞰できることが重要なので、マップ画像は、後述する図３のように真上から見下ろした画像でもよいし、図６に示すように斜め上から見下ろした画像でもよいし、下から見上げた画像でもよい。或いは図７に示すように奥行き情報を１次元に並べた画像でもよい。   Here, since it is important to have a bird's-eye view of the positional relationship in the depth direction, the map image may be an image looking down from directly above as shown in FIG. 3 to be described later, or may be an image looking down from above as shown in FIG. Alternatively, an image looking up from below may be used. Alternatively, an image in which depth information is arranged one-dimensionally as shown in FIG. 7 may be used.

このようなマップ画像の生成及び表示を可能にする本実施形態の撮像装置の構成例を図１に示す。図１の撮像装置は、撮像部２０、フォーカス調整部３０、画像処理部１００、表示部７０を含む。更に光学系１０、操作部４０、制御部５０、記憶部６０を含むことができる。なおこれらの一部の構成要素を省略したり、他の構成要素（例えば外部インターフェース部）を追加するなどの種々の変形実施が可能である。   FIG. 1 shows a configuration example of the imaging apparatus of the present embodiment that enables generation and display of such a map image. 1 includes an imaging unit 20, a focus adjustment unit 30, an image processing unit 100, and a display unit 70. Furthermore, the optical system 10, the operation unit 40, the control unit 50, and the storage unit 60 can be included. Various modifications may be made such as omitting some of these components or adding other components (for example, an external interface unit).

図１では、撮像装置（電子機器）として例えばデジタルカメラやビデオカメラなどの電子カメラを想定している。但し本実施形態は電子カメラには限定されず、例えば携帯型情報端末、携帯電話機、携帯型ゲーム機等に用いられる種々の撮像装置に適用できる。   In FIG. 1, an electronic camera such as a digital camera or a video camera is assumed as an imaging apparatus (electronic device). However, the present embodiment is not limited to an electronic camera, and can be applied to various imaging devices used for portable information terminals, mobile phones, portable game machines, and the like.

光学系１０は、画像を撮像（撮影）するための例えば複数のレンズで構成され、フォーカスレンズを含む。フォーカスレンズはフォーカス調整のためのレンズであり、例えば光軸方向に沿って移動可能な構成になっている。なお光学系１０にズームレンズ等を設けてもよい。   The optical system 10 is composed of, for example, a plurality of lenses for capturing (photographing) an image, and includes a focus lens. The focus lens is a lens for focus adjustment, and is configured to be movable along the optical axis direction, for example. Note that a zoom lens or the like may be provided in the optical system 10.

撮像部２０は撮像対象物（被写体）を撮像するものであり、例えばＣＣＤ、ＣＯＭＳセンサなどの撮像素子を含む。この撮像素子は光学系１０によって結合した画像を撮像するための素子（光電変換素子）である。また撮像部２０は、撮像素子から出力されたアナログの画像信号をデジタルの画像信号（輝度情報）に変換するアナログフロントエンド回路（Ａ／Ｄ変換回路）を含むことができる。   The imaging unit 20 captures an imaging target (subject) and includes an imaging device such as a CCD or a COMS sensor. This image pickup element is an element (photoelectric conversion element) for picking up an image combined by the optical system 10. The imaging unit 20 can include an analog front end circuit (A / D conversion circuit) that converts an analog image signal output from the imaging element into a digital image signal (luminance information).

フォーカス調整部３０はフォーカスの調整を行うためのものであり、例えば光学系１０でのフォーカスを調整する。具体的には光学系１０のフォーカスレンズのレンズ位置を光軸方向に沿って移動させることで、フォーカス調整を実現する。   The focus adjustment unit 30 is for adjusting the focus. For example, the focus adjustment unit 30 adjusts the focus in the optical system 10. Specifically, the focus adjustment is realized by moving the lens position of the focus lens of the optical system 10 along the optical axis direction.

画像処理部１００（画像処理装置、画像処理エンジン）は、撮像部２０からの画像信号に対して種々の画像処理を行うものであり、例えば専用のＡＳＩＣ或いはＤＳＰ等の各種プロセッサにより実現できる。   The image processing unit 100 (image processing apparatus, image processing engine) performs various image processing on the image signal from the imaging unit 20, and can be realized by various processors such as a dedicated ASIC or DSP, for example.

操作部４０は、操作者（ユーザ）が撮像装置の各種設定を行ったり、各種情報を入力するためのものであり、各種のボタン、スイッチ、ダイヤルなどにより実現できる。なお表示部７０がタッチパネルディスプレイにより構成される場合には、表示部７０も操作部として機能することになる。   The operation unit 40 is for an operator (user) to make various settings of the imaging apparatus and input various information, and can be realized by various buttons, switches, dials, and the like. When the display unit 70 is configured by a touch panel display, the display unit 70 also functions as an operation unit.

制御部５０は、撮像装置の全体の制御等を行うものであり、ＣＰＵ等の各種プロセッサ或いは専用のＡＳＩＣにより実現できる。例えば制御部５０は記憶部６０に記憶された制御用プログラムに基づいて各種制御処理を実行する。   The control unit 50 performs overall control of the imaging apparatus and can be realized by various processors such as a CPU or a dedicated ASIC. For example, the control unit 50 executes various control processes based on the control program stored in the storage unit 60.

記憶部６０は、画像処理部１００や制御部５０のワーク領域として機能したり、撮像により得られた画像データを記憶（保存）するためのものであり、ＲＡＭやＨＤＤ（ハードディスクドライブ）などにより実現できる。   The storage unit 60 functions as a work area for the image processing unit 100 and the control unit 50, and stores (saves) image data obtained by imaging, and is realized by a RAM, an HDD (hard disk drive), or the like. it can.

表示部７０は、例えば液晶パネルや有機ＥＬパネル等の電気光学パネル、ＥＶＦ（電子ビューファインダー）などにより実現されるものであり、スルー画像やＧＵＩ（Graphical User Interface）画面などの各種画像を表示する。   The display unit 70 is realized by, for example, an electro-optical panel such as a liquid crystal panel or an organic EL panel, an EVF (electronic viewfinder), and the like, and displays various images such as a through image and a GUI (Graphical User Interface) screen. .

画像処理部１００は、距離データ取得部１０２、領域分割部１０４、撮像対象物認識部１０６、マップ画像生成部１０８、画像出力部１１０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。   The image processing unit 100 includes a distance data acquisition unit 102, an area division unit 104, an imaging target object recognition unit 106, a map image generation unit 108, and an image output unit 110. Various modifications may be made such as omitting some of these components or adding other components.

距離データ取得部１０２は、撮像装置から撮像対象物までの距離（例えば各画素毎の距離）を表す距離データを取得（生成）する。この距離データは、例えば撮像画像の各画素に対して撮像対象物までの距離情報（奥行き情報）が対応づけられたデータである。この距離データは、輝度値の代わりに撮像対象物までの距離が画素値として保持された画像と言うことができ、距離画像、奥行き画像、デプスマップなどと呼ばれる場合がある。   The distance data acquisition unit 102 acquires (generates) distance data representing a distance (for example, a distance for each pixel) from the imaging device to the imaging target. This distance data is data in which distance information (depth information) to the imaging target is associated with each pixel of the captured image, for example. This distance data can be said to be an image in which the distance to the imaging object is held as a pixel value instead of the luminance value, and may be called a distance image, a depth image, a depth map, or the like.

本実施形態では距離データ取得部１０２は、後に詳述するように、デプス・フロム・デフォーカス（Depth from Defocus）、シェイプ・フロム・フォーカスShape from Focus）、シェイプ・フロム・ステレオ（Shape from Stereo）、或いはシェイプ・フロム・フォトメトリック（Shape from Photometric）の処理により、距離データを取得する。   In the present embodiment, the distance data acquisition unit 102, as will be described in detail later, is a depth from defocus, a shape from focus, and a shape from stereo. Alternatively, the distance data is acquired by processing of Shape from Photometric.

領域分割部１０４は撮像対象シーン（撮像画像）の領域分割処理を行う。例えば距離データ取得部１０２により取得された距離データに基づいて領域分割処理を行う。具体的には距離データ取得部１０２は、撮像部２０により撮像された複数の距離データ取得用画像に基づいて距離データを取得する。すると領域分割部１０４は、複数の距離データ取得用画像の代表となる代表距離データ取得用画像と、距離データ取得部１０２により取得された距離データとに基づいて、領域分割処理を行う。ここで代表距離データ取得用画像は、複数の距離データ取得用画像のいずれかであってもよいし、複数の距離データ取得用画像から生成される画像であってもよい。   The area dividing unit 104 performs an area dividing process on the imaging target scene (captured image). For example, the region division processing is performed based on the distance data acquired by the distance data acquisition unit 102. Specifically, the distance data acquisition unit 102 acquires distance data based on a plurality of distance data acquisition images captured by the imaging unit 20. Then, the region division unit 104 performs region division processing based on the representative distance data acquisition image that is representative of the plurality of distance data acquisition images and the distance data acquired by the distance data acquisition unit 102. Here, the representative distance data acquisition image may be any of a plurality of distance data acquisition images, or may be an image generated from a plurality of distance data acquisition images.

撮像対象物認識部１０６は撮像対象物の認識処理を行う。例えば領域分割部１０４により分割された各分割領域において撮像対象物の認識処理を行う。即ち各分割領域毎に撮像対象物を認識する。   The imaging object recognition unit 106 performs recognition processing of the imaging object. For example, the recognition processing of the imaging target is performed in each divided region divided by the region dividing unit 104. That is, the imaging object is recognized for each divided area.

マップ画像生成部１０８は、マップ画像を生成する。このマップ画像は、撮像対象物の奥行き方向での位置（奥行き方向での撮像装置との位置関係）を表す奥行き位置と、フォーカスの位置を表すフォーカス位置とを示すための画像である。別の言い方をすれば、マップ画像（マップデータ）は、撮像対象シーンにおける撮像対象物の奥行き方向の位置等を可視化した画像（表示用のデータ）である。このマップ画像は、例えば距離データと撮像対象物の認識結果に基づき生成される。具体的には距離データ取得部１０２により距離データが取得されると、マップ画像生成部１０８は、取得された距離データにより撮像対象物の奥行き位置が特定されたマップ画像を生成する。   The map image generation unit 108 generates a map image. This map image is an image for indicating a depth position representing the position of the imaging target in the depth direction (positional relationship with the imaging device in the depth direction) and a focus position representing the focus position. In other words, the map image (map data) is an image (display data) in which the position of the imaging target in the imaging target scene in the depth direction is visualized. This map image is generated based on the distance data and the recognition result of the imaging object, for example. Specifically, when the distance data is acquired by the distance data acquisition unit 102, the map image generation unit 108 generates a map image in which the depth position of the imaging target is specified by the acquired distance data.

画像出力部１１０は、画像処理部１００による画像処理により得られたマップ画像等を表示部７０に出力する。そして表示部７０は、生成されたマップ画像等を表示する。   The image output unit 110 outputs a map image or the like obtained by image processing by the image processing unit 100 to the display unit 70. The display unit 70 displays the generated map image and the like.

図２は撮像対象シーンの例であり、撮像対象物である人物、木、車、家が映し出されている。本実施形態では、このような撮像対象シーンに対応して、図３に示すようなマップ画像を生成して表示する。   FIG. 2 shows an example of an imaging target scene, in which a person, a tree, a car, and a house, which are imaging objects, are shown. In the present embodiment, a map image as shown in FIG. 3 is generated and displayed corresponding to such a scene to be imaged.

図３のマップ画像では、下側が撮像装置に近く、上側が撮像装置から遠くなるように奥行き方向の位置を対応させている。そして左右方向はそのまま撮像対象シーンの左右方向に対応する。このマップ画像は、撮像対象シーンを真上から見下ろした画像である。またマップ画像では、左右方向及び奥行き方向のみを考慮し、高さ方向は考慮しない。従って、撮像対象シーンにおける撮像対象物の左右方向と奥行き方向の位置が決まれば、マップ画像上の位置が決まる。   In the map image of FIG. 3, the positions in the depth direction are associated such that the lower side is close to the imaging device and the upper side is far from the imaging device. The left-right direction corresponds to the left-right direction of the imaging target scene as it is. This map image is an image obtained by looking down at the scene to be imaged from directly above. In the map image, only the left and right direction and the depth direction are considered, and the height direction is not considered. Accordingly, if the positions of the imaging target in the imaging target scene in the left-right direction and the depth direction are determined, the position on the map image is determined.

なお、奥行き方向は無限遠まで存在する可能性があるが、これらは数学的に変換することで、マップ画像内に納まるようにする。具体的には、対数変換を行ったり、ある奥行き位置よりも遠い場所については同じ値にクランプする。   Note that the depth direction may exist up to infinity, but these are mathematically converted so as to fit in the map image. Specifically, logarithmic conversion is performed, or a place farther than a certain depth position is clamped to the same value.

例えば図２の撮像対象シーンにおいて、奥行き方向の位置は、人物が最も手前側であり、その次に木、車、家の順で奥側に位置している。   For example, in the scene to be imaged in FIG. 2, the position in the depth direction is the person on the front side, and then the back side in the order of trees, cars, and houses.

そこで図３のマップ画像では、この奥行き方向の位置関係を操作者が容易に把握できるように、撮像対象物の奥行き位置に対応するマップ位置に、撮像対象物を象徴するマークを表示している。   Therefore, in the map image of FIG. 3, a mark symbolizing the imaging object is displayed at a map position corresponding to the depth position of the imaging object so that the operator can easily grasp the positional relationship in the depth direction. .

例えば図２の撮像対象シーンに対応して、この撮像対象シーンに含まれる人物（顔）、木、車、家を象徴するマーク（シンボル、アイコン）ＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４を表示（描画）する。即ちマークＭＫ１が奥行き方向において最も手前側に見え、マークＭＫ４が最も奥側に見えるように、マークＭＫ１〜ＭＫ４を表示する。   For example, corresponding to the imaging target scene of FIG. 2, marks (symbols, icons) MK1, MK2, MK3, and MK4 symbolizing a person (face), a tree, a car, and a house included in the imaging target scene are displayed (drawn). To do. That is, the marks MK1 to MK4 are displayed so that the mark MK1 can be seen on the front side in the depth direction and the mark MK4 can be seen on the back side.

また図３のマップ画像では、現在のフォーカスの位置に対応したマップ位置にフォーカス位置を表す図形が表示される。具体的には図３では、フォーカス位置を表す図形として線分ＦＰＬを表示（重畳表示）している。なおフォーカス位置を表す図形は線分に限定されず、矢印、三角形、円、楕円、或いは矩形などの位置を表現し得る種々の図形を採用できる。   In the map image of FIG. 3, a graphic representing the focus position is displayed at a map position corresponding to the current focus position. Specifically, in FIG. 3, the line segment FPL is displayed (superimposed display) as a graphic representing the focus position. The figure representing the focus position is not limited to a line segment, and various figures that can represent positions such as arrows, triangles, circles, ellipses, or rectangles can be employed.

また図３のマップ画像では、フォーカス位置に対応した被写界深度範囲ＤＦＲも表示（重畳表示）される。この被写界深度範囲ＤＦＲは、被写界深度に相当する幅を持った帯状の範囲であり、この帯状の範囲内ではピントが合い、帯状の範囲外ではピンぼけになる。   In the map image of FIG. 3, the depth-of-field range DFR corresponding to the focus position is also displayed (superimposed display). The depth-of-field range DFR is a band-shaped range having a width corresponding to the depth of field, and is in focus within the band-shaped range, and is out-of-focus outside the band-shaped range.

なお、被写界深度内の撮像対象物を強調表示するようにして、被写界深度範囲を表現してもよい。強調表示の方法としては、色を変えたり、輪郭を変えたり、アニメーションさせたり、矢印でポイントする方法が考えられる。   Note that the depth of field range may be expressed by highlighting the imaging target within the depth of field. As a highlighting method, a method of changing a color, changing an outline, animating, or pointing with an arrow can be considered.

更に図３のマップ画像では、撮像画角の境界線ＬＡ１、ＬＡ２が表示される。即ち、光学系１０の画角を表す境界線をマップデータに重畳表示する。このような境界線ＬＡ１、ＬＡ２を表示すれば、操作者は、境界線ＬＡ１、ＬＡ２の外側は撮像されないことを認識できる。   Further, in the map image of FIG. 3, boundary lines LA1 and LA2 of the imaging field angle are displayed. That is, the boundary line representing the angle of view of the optical system 10 is superimposed on the map data. If such boundary lines LA1 and LA2 are displayed, the operator can recognize that the outside of the boundary lines LA1 and LA2 is not imaged.

なお撮像装置の画角は、光学系１０や撮像部２０の撮像素子の設計データから算出できる。或いは、撮像装置の画角を予め実際に測定しておいてもよい。   Note that the angle of view of the imaging device can be calculated from design data of the imaging elements of the optical system 10 and the imaging unit 20. Alternatively, the angle of view of the imaging device may be actually measured in advance.

次に、本実施形態の処理について図４のフローチャートを用いて説明する。図４はマニュアルフォーカスモードの場合の処理フローである。   Next, the process of this embodiment is demonstrated using the flowchart of FIG. FIG. 4 is a processing flow in the manual focus mode.

操作者は、操作部４０により所定の操作を行い、フォーカス調整モードをマニュアルフォーカスモードに切り替える（ステップＳ１）。例えば設定ボタンを押したり、設定スイッチや設定ダイアルを切り替えたり、それらを模したＧＵＩによる指示を行うことで、マニュアルフォーカスモードに切り替える。   The operator performs a predetermined operation using the operation unit 40 and switches the focus adjustment mode to the manual focus mode (step S1). For example, the manual focus mode is switched by pressing a setting button, switching a setting switch or setting dial, or giving an instruction using a GUI imitating them.

次に、操作者は、操作部４０により所定の操作を行って、フォーカス調整動作の開始を指示する（ステップＳ２）。例えばシャッターボタンの半押しを行ったり、ボタン、スイッチ、ダイアルによる指示を行ったり、それらを模したＧＵＩによる指示を行うことで、フォーカス調整動作の開始を指示する。これにより撮像装置は、フォーカス調整が可能な状態に移行する。   Next, the operator performs a predetermined operation using the operation unit 40 and instructs the start of the focus adjustment operation (step S2). For example, the start of the focus adjustment operation is instructed by half-pressing the shutter button, instructing by a button, switch, or dial, or by instructing by a GUI imitating them. As a result, the imaging apparatus shifts to a state where focus adjustment is possible.

次に、撮像装置は第１の対象変化検出用画像を撮像する（ステップＳ３）。この時点では撮像対象物には合焦していない可能性が高いが、対象変化検出用画像は撮像画像内の対象の変化（撮像対象物や画面の変化）を検出するための画像であるため、細部まで合焦している必要はない。そしてここで撮像された第１の対象変化検出用画像は記憶部６０に記憶される。   Next, the imaging device captures a first target change detection image (step S3). At this time, there is a high possibility that the object to be imaged is not in focus, but the object change detection image is an image for detecting a change in the object in the imaged image (a change in the object to be imaged or the screen). It ’s not necessary to focus on the details. The first target change detection image captured here is stored in the storage unit 60.

次に、フォーカス調整が可能な状態に移行した撮像装置は、距離データ取得用画像を撮像する（ステップＳ４）。そして距離データ取得部１０２が、距離データを取得する（ステップＳ５）。撮像された距離データ取得用画像や、取得された距離データは、記憶部６０に記憶される。   Next, the imaging device that has shifted to a state in which focus adjustment is possible captures a distance data acquisition image (step S4). The distance data acquisition unit 102 acquires distance data (step S5). The captured distance data acquisition image and the acquired distance data are stored in the storage unit 60.

次に、領域分割部１０４が、取得された距離データに基づいて撮像対象シーンを領域分割する（ステップＳ６）。そして撮像対象物認識部１０６が、分割領域毎に撮像対象物の認識処理を行う（ステップＳ７）。   Next, the region dividing unit 104 divides the imaging target scene into regions based on the acquired distance data (step S6). And the imaging target object recognition part 106 performs the recognition process of the imaging target object for every division area (step S7).

次に、マップ画像生成部１０８が、取得された距離データと撮像対象物の認識結果に基づいて、マップ画像を生成する（ステップＳ８）。例えば所定サイズの背景のみの画像であるマップ画像の初期値データを作成した後、図３に示すようなマップ画像を生成する。そして生成されたマップ画像を表示部７０に表示する（ステップＳ９）。なおステップＳ４〜Ｓ９の処理の詳細については後述する。   Next, the map image generation unit 108 generates a map image based on the acquired distance data and the recognition result of the imaging target (step S8). For example, after creating initial value data of a map image that is an image of only a background of a predetermined size, a map image as shown in FIG. 3 is generated. Then, the generated map image is displayed on the display unit 70 (step S9). Details of the processes in steps S4 to S9 will be described later.

次に、第２の対象変化検出用画像を撮像する（ステップＳ１０）。ここで撮像された第２の対象変化検出用画像は一時的に記憶部６０に記憶される。そして対象変化検出処理を行い、撮像の対象に変化があったか否かを判定する（ステップＳ１１、Ｓ１２）。   Next, a second target change detection image is captured (step S10). The second target change detection image captured here is temporarily stored in the storage unit 60. Then, a target change detection process is performed to determine whether or not there has been a change in the imaging target (steps S11 and S12).

具体的には、ステップＳ３で得られた第１の対象変化検出用画像とステップＳ１０で得られた第２の対象変化検出用画像の類似度を求める。この場合の類似度の計算には正規化相互相関を用いる。そして正規化相互相関値が、所定値以上である場合には、対象に変化が無いと判定する。一方、所定値未満である場合には、対象に変化があると判定する。そして判定後に、第１の対象変化検出用画像を第２の対象変化検出用画像に対して上書きする。   Specifically, the similarity between the first target change detection image obtained in step S3 and the second target change detection image obtained in step S10 is obtained. In this case, normalized cross-correlation is used for calculating the similarity. If the normalized cross-correlation value is equal to or greater than a predetermined value, it is determined that there is no change in the target. On the other hand, when it is less than the predetermined value, it is determined that there is a change in the target. After the determination, the first target change detection image is overwritten on the second target change detection image.

なお、フォーカス位置が変更された場合、対象の変化とは関係無く対象変化検出用画像が変化する可能性があるので、フォーカス位置変更後の最初の対象変化検出処理では、常に対象に変化が無いと判定する。   Note that if the focus position is changed, the target change detection image may change regardless of the change in the target. Therefore, in the first target change detection process after changing the focus position, the target is always unchanged. Is determined.

ステップＳ１２で、対象に変化ありと判定された場合には、ステップＳ４に戻り、距離データ取得用画像の撮像からやり直す。一方、対象に変化が無いと判定された場合には、操作者が操作部４０により撮像指示を行ったか否かを判断する（ステップＳ１３）。そして撮像指示が行われた場合には、画像の撮像に移行する（ステップＳ１６）。   If it is determined in step S12 that there is a change in the target, the process returns to step S4 and starts again from the imaging of the distance data acquisition image. On the other hand, if it is determined that there is no change in the target, it is determined whether or not the operator has issued an imaging instruction using the operation unit 40 (step S13). When the imaging instruction is given, the process proceeds to imaging (step S16).

撮像指示が行われなかった場合には、操作者が操作部４０によりフォーカス位置の変更指示を行ったか否かを判断する（ステップＳ１４）。そしてフォーカス位置の変更指示が行われた場合には、フォーカス位置の変更を行う（ステップＳ１５）。   If the imaging instruction has not been issued, it is determined whether or not the operator has given an instruction to change the focus position using the operation unit 40 (step S14). If an instruction to change the focus position is given, the focus position is changed (step S15).

例えば撮像装置のフォーカス調整機構がマニュアルフォーカスモードである場合、操作者による操作部４０の操作に応じて、フォーカス調整部３０が光学系１０のフォーカス位置を変更する。そしてフォーカス位置の変更後にステップＳ９に移行し、マップ画像の表示からやり直す。このようにマップ画像は、変更後のフォーカス位置に応じて更新される。一方、ステップＳ１４において、フォーカス位置の変更指示が行われなかった場合には、ステップＳ１０に移行して、第２の対象変化検出用画像の撮像からやり直す。   For example, when the focus adjustment mechanism of the imaging apparatus is in the manual focus mode, the focus adjustment unit 30 changes the focus position of the optical system 10 according to the operation of the operation unit 40 by the operator. Then, after the focus position is changed, the process proceeds to step S9, and the map image is displayed again. Thus, the map image is updated according to the changed focus position. On the other hand, if the focus position change instruction is not issued in step S14, the process proceeds to step S10, and the second target change detection image is captured again.

なおフォーカス調整の操作としては、レンズのフォーカスリングの操作や、ボタン、スイッチ、ダイアルによる指示や、それらを模したＧＵＩによる指示が考えられる。   As the focus adjustment operation, an operation of a lens focus ring, an instruction by a button, a switch, or a dial, or an instruction by a GUI imitating them can be considered.

ステップＳ１３で撮像指示があったと判断された場合には、対象シーンが撮像される（ステップＳ１６）。この場合の撮像は、静止画撮影であってもよいし、動画撮影であってもよい。また撮像画像に対して、ノイズ低減、階調補正、色補正、コントラスト強調、高画素化等の画像処理を行ってもよい。   If it is determined in step S13 that an imaging instruction has been given, the target scene is imaged (step S16). Imaging in this case may be still image shooting or moving image shooting. Further, image processing such as noise reduction, gradation correction, color correction, contrast enhancement, and high pixel count may be performed on the captured image.

撮像された画像は記憶部６０、或いは図示しない外部記憶装置に保存される（ステップＳ１７）。なお記憶部６０は、その一部又は全部が着脱可能な記憶メディアで構成されていてもよい。また外部記憶装置へのデータ転送は、有線又は無線で行ってもよい。   The captured image is stored in the storage unit 60 or an external storage device (not shown) (step S17). In addition, the memory | storage part 60 may be comprised with the storage medium in which one part or all part is removable. Data transfer to the external storage device may be performed by wire or wirelessly.

画像保存後に、必要であればステップＳ２に移行して、フォーカス調整動作の開始指示を再度行ってもよい。或いは、ステップＳ９に移行して、生成済みのマップ画像を再度表示し、フォーカス位置の変更と撮像を行ってもよい。操作者が撮像終了と判断した時点で一連の処理は完了する。   After the image is stored, if necessary, the process may move to step S2 to instruct the start of the focus adjustment operation again. Alternatively, the process may proceed to step S9, and the generated map image may be displayed again to change the focus position and perform imaging. A series of processes is completed when the operator determines that the imaging is finished.

以上の本実施形態の手法によれば、奥行き方向の位置関係を平面方向の位置関係に置き換えたマップ画像が表示されるため、位置関係についての操作者の視認性が向上する。従って操作者は、撮像対象シーンにおける撮像対象物の奥行き方向の位置とフォーカス位置との間の位置関係を容易に把握して、操作可能になる。   According to the method of the present embodiment described above, the map image in which the positional relationship in the depth direction is replaced with the positional relationship in the planar direction is displayed, so that the visibility of the operator regarding the positional relationship is improved. Therefore, the operator can easily grasp and operate the positional relationship between the position in the depth direction of the imaging target in the imaging target scene and the focus position.

２．オートフォーカスモード
次に、図５のフローチャートを用いてオートフォーカスモードでの本実施形態の処理について説明する。なお図４と同様の処理ステップについては適宜説明を省略する。 2. Autofocus Mode Next, processing of the present embodiment in the autofocus mode will be described using the flowchart of FIG. Note that description of processing steps similar to those in FIG. 4 will be omitted as appropriate.

操作者は、操作部４０により所定の操作を行って、フォーカス調整モードをオートフォーカスモードに切り替える（ステップＳ２１）。例えば設定ボタンを押したり、設定スイッチや設定ダイアルを切り替えたり、それらを模したＧＵＩによる指示を行うことで、オートフォーカスモードに切り替える。   The operator performs a predetermined operation with the operation unit 40 to switch the focus adjustment mode to the autofocus mode (step S21). For example, the mode is switched to the autofocus mode by pressing a setting button, switching a setting switch or a setting dial, or giving an instruction using a GUI imitating them.

次に、ステップＳ２２〜Ｓ３２では図４のステップＳ２〜Ｓ１２と同様の処理・操作が行われる。そしてステップＳ３３で、操作部４０により撮像指示が行われると、画像の撮像に移行する（ステップＳ３６）。   Next, in steps S22 to S32, the same processes and operations as in steps S2 to S12 of FIG. 4 are performed. In step S33, when an imaging instruction is given by the operation unit 40, the process proceeds to imaging (step S36).

一方、撮像指示が行われなかった場合には、フォーカス位置の変更に移行する。即ち、撮像装置のフォーカス調整機構がオートフォーカスモードである場合には、フォーカス位置が適切かどうかを判定する（ステップＳ３４）。そして適切ではないと判定された場合には、フォーカス調整部３０は光学系１０のフォーカス位置を適切な位置に変更する（ステップＳ３５）。そしてフォーカス位置の変更後に、ステップＳ２９に移行してマップ画像の表示からやり直す。このようにマップ画像は、変更後のフォーカス位置に応じて更新される。   On the other hand, when the imaging instruction is not performed, the process shifts to changing the focus position. That is, when the focus adjustment mechanism of the imaging apparatus is in the auto focus mode, it is determined whether or not the focus position is appropriate (step S34). If it is determined that it is not appropriate, the focus adjustment unit 30 changes the focus position of the optical system 10 to an appropriate position (step S35). Then, after the focus position is changed, the process proceeds to step S29 and the display of the map image is started again. Thus, the map image is updated according to the changed focus position.

以上の本実施形態の手法によれば、奥行き方向の位置関係を平面方向の位置関係に置き換えたマップ画像が表示されるため、位置関係についての操作者の視認性が向上する。そして操作者は、オートフォーカスモードにおいて、操作者の意図する撮像対象物にフォーカスが合っているか否かを容易に把握することが可能となる。   According to the method of the present embodiment described above, the map image in which the positional relationship in the depth direction is replaced with the positional relationship in the planar direction is displayed, so that the visibility of the operator regarding the positional relationship is improved. In the autofocus mode, the operator can easily grasp whether or not the imaging object intended by the operator is in focus.

３．マップ画像
次に、マップ画像生成の種々の変形例について説明する。 3. Map Image Next, various modifications of map image generation will be described.

図６にマップ画像生成の第１の変形例を示す。図３では、マップ画像として、撮像対象シーンを真上から見下ろした画像を生成しているが、図６では、撮像対象シーンを斜め上から見下ろした画像を生成している。   FIG. 6 shows a first modification of map image generation. In FIG. 3, an image of the imaging target scene looking down from directly above is generated as a map image. However, in FIG. 6, an image of the imaging target scene looking down from diagonally above is generated.

図６のマップ画像において、上下方向は撮像対象シーンの奥行き方向に相当し、下側が撮像装置に近く、上側が撮像装置から遠くなる。左右方向はそのまま撮像対象シーンの左右方向に対応するが、奥行きが遠くなるに従って左右方向の幅を狭め、透視法に類似した遠近感を得られるようにする。   In the map image of FIG. 6, the vertical direction corresponds to the depth direction of the scene to be imaged, the lower side is closer to the imaging device, and the upper side is farther from the imaging device. The left-right direction directly corresponds to the left-right direction of the scene to be imaged, but the width in the left-right direction is narrowed as the depth increases, so that a perspective similar to perspective can be obtained.

そして図６のマップ画像では、図３と同様に、認識された撮像対象物を表すマーク（シンボルマーク）ＭＫ１〜ＭＫ４が表示される。また被写界深度範囲ＤＦＲや撮像画角の境界線ＬＡ１、ＬＡ２が表示される。なおマークＭＫ１〜ＭＫ４の代わりに、代表距離データ取得画像の領域を表示位置と整合するようスケール変換して表示してもよい。この場合、撮像対象物の認識処理を省略してもよい。   In the map image of FIG. 6, as in FIG. 3, marks (symbol marks) MK <b> 1 to MK <b> 4 representing the recognized imaging objects are displayed. In addition, the depth-of-field range DFR and the boundary lines LA1 and LA2 of the imaging field angle are displayed. Note that instead of the marks MK1 to MK4, the area of the representative distance data acquisition image may be scale-converted and displayed so as to match the display position. In this case, the recognition process for the imaging object may be omitted.

図６の斜視図のマップ画像によれば、図３の平面図のマップ画像に比べて、操作者が立体感を得やすく、撮像対象シーンの状態に近いマップ画像の表示が可能になる。これにより奥行き方向の位置関係の視認性を向上できる。   According to the map image of the perspective view of FIG. 6, the operator can easily obtain a three-dimensional feeling compared to the map image of the plan view of FIG. 3, and the map image close to the state of the imaging target scene can be displayed. Thereby, the visibility of the positional relationship in the depth direction can be improved.

図７にマップ画像生成の第２の変形例を示す。図７は１次元マップ画像の例であり、このマップ画像では、奥行き位置が異なる撮像対象物に対応するマークが、奥行き方向に沿って並んで表示される。即ち図３の撮像対象シーンにおいて、人物、木、車、家の奥行き位置は異なっているが、図７のマップ画像では、これらの人物、木、車、家に対応するマークＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４が、奥行き方向に沿って、奥行きの順に１次元的に配置されて表示される。このマップ画像では、図３、図６とは異なり、マップ画像の奥行き情報のみを反映し、左右方向の情報は無視する。   FIG. 7 shows a second modification of map image generation. FIG. 7 shows an example of a one-dimensional map image. In this map image, marks corresponding to imaging objects having different depth positions are displayed side by side along the depth direction. That is, in the imaging target scene of FIG. 3, the depth positions of the person, tree, car, and house are different, but in the map image of FIG. 7, marks MK1, MK2, and MK3 corresponding to these person, tree, car, and house. , MK4 are displayed one-dimensionally in the order of depth along the depth direction. In this map image, unlike FIGS. 3 and 6, only the depth information of the map image is reflected, and the information in the horizontal direction is ignored.

図７の１次元的なマップ画像によれば、左右方向の位置関係を図示する必要がないため、左右方向を圧縮して表示することが可能になる。従って、撮像対象物の奥行き位置とフォーカス位置との間の位置関係を容易に把握できるマップ画像を、コンパクトに表示できる。   According to the one-dimensional map image of FIG. 7, since it is not necessary to illustrate the positional relationship in the left-right direction, the left-right direction can be compressed and displayed. Therefore, a map image that can easily grasp the positional relationship between the depth position of the imaging object and the focus position can be displayed in a compact manner.

図８にマップ画像生成の第３の変形例を示す。図３では、全ての撮像対象物についての認識（種類の認識）に成功しているが、図８では、木や家の撮像対象物については認識が成功していない。このように撮像対象物を認識できなかった場合に、認識できなかった撮像対象物に相当するマップ画像上の位置に、撮像対象物のサイズ、色、及びテクスチャの少なくとも１つを表すマーク（図形）を表示する。なおテクスチャは、撮像対象物の表面の模様・質感・素材感等を表現するための画像である。   FIG. 8 shows a third modification of map image generation. In FIG. 3, recognition (recognition of types) has succeeded for all imaging objects, but in FIG. 8, recognition has not succeeded for imaging objects of trees and houses. When the imaging object cannot be recognized in this way, a mark (graphic figure) representing at least one of the size, color, and texture of the imaging object at a position on the map image corresponding to the imaging object that could not be recognized. ) Is displayed. Note that the texture is an image for expressing the pattern, texture, texture, etc. of the surface of the imaging object.

即ち人物と車は認識できたが、木と家は認識できなかった場合、図８に示すように人物と車に関しては人物や車を象徴するマークＭＫ１、ＭＫ３を描画し、木と家に関しては木や家のサイズ、色、テクスチャを反映させた図形のマークＭＫ２、ＭＫ４を表示する。この場合の撮像対象物のサイズ、色、テクスチャは、撮像対象物の認識時に取得した値等を使用する。   That is, if the person and the car can be recognized but the tree and the house cannot be recognized, the marks MK1 and MK3 symbolizing the person and the car are drawn for the person and the car as shown in FIG. Graphic marks MK2 and MK4 reflecting the size, color, and texture of trees and houses are displayed. In this case, for the size, color, and texture of the imaging target, values acquired at the time of recognition of the imaging target are used.

例えば、図８では撮像対象物である木や家のサイズに比例したサイズで、内部をその平均色で塗り潰した楕円の図形のマークが表示されている。なお木や家の画像をテクスチャとして抽出し、そのテクスチャを図形の塗りつぶしパターンとして用いてもよい。即ち木や家の画像をテクスチャとして、木や家のマップ位置の領域にマッピングする。   For example, in FIG. 8, an oval graphic mark is displayed with a size proportional to the size of a tree or a house that is an imaging object, and the interior is filled with the average color. Note that an image of a tree or house may be extracted as a texture, and the texture may be used as a pattern fill pattern. That is, an image of a tree or house is used as a texture and mapped to a map position area of the tree or house.

図９にマップ画像の生成の第４の変形例を示す。図３では、フォーカス位置を示す図形として線分ＦＰＬを用いているが、図９では、フォーカス位置を示す図形として矢印ＦＰＡを用いている。また被写界深度範囲についても三角形ＤＦＲ１、ＤＦＲ２を用いてその範囲が示されている。このようにフォーカス位置を示す図形や被写界振動範囲は、例えば線分、矢印、三角形、円、楕円、或いは矩形などの種々の図形を用いて表現することができる。   FIG. 9 shows a fourth modification of map image generation. In FIG. 3, the line segment FPL is used as a figure indicating the focus position, but in FIG. 9, an arrow FPA is used as the figure indicating the focus position. The depth of field range is also shown using triangles DFR1 and DFR2. As described above, the figure indicating the focus position and the field vibration range can be expressed using various figures such as a line segment, an arrow, a triangle, a circle, an ellipse, or a rectangle.

また、撮像対象物を認識できた場合でも、撮像対象物が大きい場合には、その大きさに比例したサイズの図形のマークを撮像対象物を象徴するマークと共に描画してもよい。例えば図９では、木や家については認識できているが、木や家を象徴するマークと共に木や家の大きさに比例したサイズの楕円図形のマークが描画されている。   Even when the imaging object can be recognized, if the imaging object is large, a graphic mark having a size proportional to the size may be drawn together with a mark symbolizing the imaging object. For example, in FIG. 9, a tree or a house can be recognized, but an ellipse-shaped mark having a size proportional to the size of the tree or the house is drawn together with a mark symbolizing the tree or the house.

図１０（Ａ）、図１０（Ｂ）にマップ画像の表示例を示す。表示部７０にはマップ画像だけを表示してもよいが、操作者の使いやすさの向上のためには、通常の撮像画像とマップ画像の両方を表示部７０に表示することが望ましい。   FIG. 10A and FIG. 10B show display examples of map images. Although only the map image may be displayed on the display unit 70, it is desirable to display both the normal captured image and the map image on the display unit 70 in order to improve the usability for the operator.

例えば図１０（Ａ）では、撮像装置により撮像された通常撮像画像ＩＭＮに対して、マップ画像ＩＭＰが重畳表示された画像が、表示部７０に表示されている。例えば通常撮像画像ＩＭＮに対してマップ画像ＩＭＰをαブレンド処理等により合成して表示部７０に表示する。即ち半透明のマップ画像ＩＭＰを通常撮像画像ＩＭＮに重畳表示する。   For example, in FIG. 10A, an image in which the map image IMP is superimposed and displayed on the normal captured image IMN captured by the imaging device is displayed on the display unit 70. For example, the map image IMP is combined with the normal captured image IMN by α blend processing or the like and displayed on the display unit 70. That is, the translucent map image IMP is superimposed and displayed on the normal captured image IMN.

また図１０（Ｂ）では、通常撮像画像ＩＭＮに対してマップ画像がスーパーインポーズ（入れ込み表示）された画像が、表示部７０に表示されている。即ち表示部７０の画面の一部の領域がマップ画像の表示領域に設定され、その表示領域にマップ画像が表示される。なお、通常撮像画像とマップ画像とが並んだ画像を表示部７０に表示してもよい。例えば画面左側に通常撮像画像を表示し画面右側にマップ画像を表示したり、画面上側に通常撮像画像を表示し画面下側にマップ画像を表示する。   In FIG. 10B, an image in which a map image is superimposed on the normal captured image IMN is displayed on the display unit 70. That is, a partial area of the screen of the display unit 70 is set as a map image display area, and the map image is displayed in the display area. Note that an image in which a normal captured image and a map image are arranged may be displayed on the display unit 70. For example, a normal captured image is displayed on the left side of the screen and a map image is displayed on the right side of the screen, or a normal captured image is displayed on the upper side of the screen and a map image is displayed on the lower side of the screen.

なお、このように通常撮像画像とマップ画像を表示する場合には、通常撮像画像のうち合焦している撮像対象物に対して、マップ画像が重ならないようにすることが望ましい。   In addition, when displaying a normal captured image and a map image in this way, it is desirable that the map image does not overlap with the imaging object that is in focus in the normal captured image.

例えば図１０（Ａ）、図１０（Ｂ）では、通常撮像画像ＩＭＮのうち人物に対して合焦していると判断されているため、人物の撮像対象物に対してマップ画像ＩＭＰが重ならないように表示画像が生成される。即ち図１０（Ａ）において、例えば家に対して合焦していると判断された場合には、マップ画像ＩＭＰの重畳表示やスーパーインポーズの位置が、家の領域に重ならない位置に変更される。   For example, in FIGS. 10A and 10B, since it is determined that the person is focused on the normal captured image IMN, the map image IMP does not overlap with the person's imaging target. Thus, a display image is generated. That is, in FIG. 10A, for example, when it is determined that the house is in focus, the superimposed display of the map image IMP and the position of the superimpose are changed to positions that do not overlap the house area. The

このようにすれば、操作者が、合焦している撮像対象物を確認する際に、マップ画像の存在がその確認の邪魔になってしまう事態を防止できる。   In this way, when the operator confirms the imaging object that is in focus, it is possible to prevent a situation in which the presence of the map image interferes with the confirmation.

以上のようにマップ画像生成の種々の変形例を説明したが、本実施形態のマップ画像の生成手法はこれらに限定されず、これらの変形例を組み合わせたりするなどの種々の変形実施が可能である。   As described above, various modifications of map image generation have been described, but the map image generation method of the present embodiment is not limited to these, and various modifications such as a combination of these modifications are possible. is there.

４．フォーカス連動
本実施形態では、フォーカス調整部３０のフォーカス調整に連動させてマップ画像の表示態様を変化させている。即ちフォーカス調整部３０によるフォーカス調整に連動して、フォーカス位置を表す図形の位置や被写界深度範囲の位置が変化するマップ画像を生成する。 4). In the present embodiment, the display mode of the map image is changed in conjunction with the focus adjustment of the focus adjustment unit 30. That is, in conjunction with the focus adjustment by the focus adjustment unit 30, a map image is generated in which the position of the graphic representing the focus position and the position of the depth of field range change.

例えば図１１（Ａ）では、フォーカス位置は、線分ＦＰＬの描画位置になっており、操作者には、マークＭＫ２で象徴される木に対してフォーカスが合っていることが知らされる。一方、操作者は、木ではなく人物にフォーカスを合わせることを所望している。この場合に操作者は、図４のマニュアルフォーカスモードのステップＳ１４に示すように、フォーカス位置の変更を指示する。するとステップＳ１５に示すようにフォーカス調整部３０がフォーカスを調整する。   For example, in FIG. 11A, the focus position is the drawing position of the line segment FPL, and the operator is informed that the tree is symbolized by the mark MK2. On the other hand, the operator desires to focus on a person rather than a tree. In this case, the operator gives an instruction to change the focus position as shown in step S14 of the manual focus mode in FIG. Then, as shown in step S15, the focus adjustment unit 30 adjusts the focus.

これにより図１１（Ｂ）に示すように、フォーカス調整に連動して、フォーカス位置を示す線分ＦＰＬ（図形）の位置が変化する。また被写界深度範囲ＤＦＲの位置も変化する。   As a result, as shown in FIG. 11B, the position of the line segment FPL (figure) indicating the focus position changes in conjunction with the focus adjustment. The position of the depth of field range DFR also changes.

また、図５のオートフォーカスモードでは、オートフォーカスにより、操作者の意図に反して図１１（Ａ）のように木に対してフォーカスが合ってしまう場合がある。この場合にも、例えば操作者がオートフォーカスモードからマニュアルフォーカスモードに切り替えて、フォーカス位置変更の指示を行うことで、図１１（Ｂ）に示すように人物に対してフォーカスを合わせることが可能になる。   Further, in the autofocus mode of FIG. 5, the autofocus may cause the tree to be focused as shown in FIG. 11A against the operator's intention. Also in this case, for example, when the operator switches from the auto focus mode to the manual focus mode and gives an instruction to change the focus position, the person can be focused as shown in FIG. Become.

図１２（Ａ）、図１２（Ｂ）に、表示部７０がタッチパネルディスプレイで構成される場合の例を示す。   FIGS. 12A and 12B show an example in which the display unit 70 is configured with a touch panel display.

図１２（Ａ）では、フォーカス位置を表す図形ＦＰＬにより、木に対してフォーカスが合っていることが操作者に知らされる。すると、人物にフォーカスを合わせることを所望する操作者は、図１２（Ａ）に示すように、タッチパネルディスプレイの人物のマークＭＫ１にタッチする操作を行う。するとフォーカス調整部３０は、タッチされたマークＭＫ１の奥行き位置にフォーカスを合わせるフォーカス調整を行う。これによりマップ画像は図１２（Ｂ）に示すように変化し、人物に対してフォーカスが合ったことが操作者に知らされる。   In FIG. 12A, the operator is informed that the tree is in focus by the figure FPL representing the focus position. Then, the operator who desires to focus on the person performs an operation of touching the person mark MK1 on the touch panel display as shown in FIG. Then, the focus adjustment unit 30 performs focus adjustment for focusing on the depth position of the touched mark MK1. As a result, the map image changes as shown in FIG. 12B, and the operator is notified that the person is in focus.

例えばオートフォーカスモードでは、図１２（Ａ）に示すように操作者が意図しない撮像対象物にフォーカスが合ってしまう場合がある。このような場合にも、図１２（Ａ）、図１２（Ｂ）の手法によれば、操作者は、自身が所望する撮像対象物に対応するマークにタッチするという簡単な操作を行うだけで、フォーカス調整が行われて、その撮像対象物にフォーカスが合うようになる。従って、フォーカスを合わせたい位置や対象を直接指示可能になり、フォーカス位置の指定に要する時間を短縮できるため、操作者にとって好適なユーザインターフェースを提供できる。   For example, in the autofocus mode, as shown in FIG. 12 (A), there may be a case where an imaging object unintended by the operator is focused. Even in such a case, according to the method of FIGS. 12A and 12B, the operator only needs to perform a simple operation of touching a mark corresponding to the imaging object desired by the operator. Then, the focus adjustment is performed, and the imaging object is brought into focus. Therefore, it is possible to directly specify the position and target to be focused, and the time required for specifying the focus position can be shortened, so that a user interface suitable for the operator can be provided.

５．処理の詳細例
以下、距離データ取得、領域分割、撮像対象物認識等の各処理の詳細例について説明する。 5). Detailed Examples of Processing Hereinafter, detailed examples of each processing such as distance data acquisition, region division, and imaging object recognition will be described.

５．１ 距離データ取得
まず距離データ取得処理の詳細について説明する。本実施形態では、撮像装置で撮像される画素毎に撮像対象までの距離を保持するデータである距離データを取得するために、例えばデプス・フロム・デフォーカス処理（Depth from Defocus：以下、ＤＦＤを採用する。 5.1 Distance Data Acquisition First, details of the distance data acquisition process will be described. In the present embodiment, for example, depth from defocus processing (hereinafter referred to as DFD) is performed in order to acquire distance data, which is data for holding a distance to an imaging target for each pixel imaged by the imaging device. adopt.

ＤＦＤは、合焦距離が異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係に基づいて距離を求める手法である。具体的には、同一シーンをフォーカス位置を変えながら複数回撮像し、得られた画像データと光学系の点拡がり関数Point Spread Function：以下、ＰＳＦの情報を組み合わせで解析することで、画像の画素毎の距離情報を取得する。   DFD is a method for obtaining a relative blur amount from a plurality of images having different in-focus distances and obtaining a distance based on a correlation between the blur amount and the distance. Specifically, the same scene is imaged a plurality of times while changing the focus position, and the obtained image data and the point spread function of the optical system are analyzed in combination with the information of the PSF. Get distance information for each.

例えば図１３（Ａ）において撮像対象物ＯＢまでの距離ａ０は、ＯＢが合焦する位置ｂ０が既知であれば、レンズの焦点距離ｆから、１／ａ０＋１／ｂ０＝１／ｆの式により求めることができる。ＤＦＤでは、撮像面上に投影された象のぼけ具合から、合焦位置ｂ０を求め、求められたｂ０を上式に代入することで撮像対象物ＯＢまでの距離ａ０（距離データ）を求める。   For example, in FIG. 13A, the distance a0 to the imaging object OB is obtained from the focal length f of the lens by the expression 1 / a0 + 1 / b0 = 1 / f if the position b0 where the OB is focused is known. be able to. In DFD, an in-focus position b0 is obtained from the degree of blur of the elephant projected on the imaging surface, and a distance a0 (distance data) to the imaging object OB is obtained by substituting the obtained b0 into the above equation.

例えば撮像面が距離ｂ１にある場合には、撮像対象物ＯＢ上の点は、この撮像面において錯乱円に拡散し、象Ｉ１を形成する。そして距離ｂ０−ｂ１に比例する錯乱円直径ｄ１をパラメータとする点拡がり関数ＰＳＦのモデルを仮定し、観測された象Ｉ１の画像から、錯乱円直径ｄ１を推定する。具体的には、異なる距離ｂ２における象Ｉ２の画像も撮像する。そして画像の周波数領域上におけるＩ１とＩ２との比を求め、図１３（Ａ）の幾何学的関係から錯乱円直径ｄ１、ｄ２を求めて、距離ａ０を求める。このＤＦＤの詳細な処理については、USP 4,965,840（特許文献２）に開示されている。   For example, when the imaging surface is at the distance b1, the points on the imaging object OB diffuse into a circle of confusion on this imaging surface to form an elephant I1. Then, assuming a model of the point spread function PSF with the confusion circle diameter d1 proportional to the distance b0-b1 as a parameter, the confusion circle diameter d1 is estimated from the observed image of the elephant I1. Specifically, an image of the elephant I2 at a different distance b2 is also taken. Then, the ratio between I1 and I2 on the frequency domain of the image is obtained, and the circles of confusion circle diameters d1 and d2 are obtained from the geometrical relationship of FIG. 13A to obtain the distance a0. Detailed processing of this DFD is disclosed in USP 4,965,840 (Patent Document 2).

なお、本実施形態の距離データの取得手法はＤＦＤに限定されない。例えば距離データ取得の他の手法としては、シェイプ・フロム・フォーカス処理（Shape from Focus：以下、ＳＦＳが考えられる。   Note that the distance data acquisition method of the present embodiment is not limited to DFD. For example, as another method for acquiring distance data, Shape from Focus (hereinafter referred to as SFS) can be considered.

ＳＦＳは、最もよく合焦したときのフォーカス位置から距離を求める手法である。例えば山登り法と呼ばれる処理を画像の全画素に対して実施することで、画素毎の距離情報を取得する。具体的には、フォーカス位置を変えながら同一シーンを複数回撮像し、合焦評価値（コントラスト評価値）が最も高くなるフォーカス位置を画素毎に検出し、その結果から画素毎の撮像対象物までの距離を算出する。例えば図１３（Ｂ）において、レンズ位置をＬ（ｔ−１）からＬ（ｔ）に変化させた時に、合焦評価値の差分ｈ（ｔ）−ｈ（ｔ−１）が増加したか否かを検出する。そしてこれを繰り返すことによって、合焦評価値が極大となるレンズ位置を検索することで、合焦評価値が最も高くなるフォーカス位置を画素毎に検出する。なおＳＦＳの山登り法の詳細については特開２００７−１３９８９３号公報（特許文献３）に開示されている。   SFS is a method for obtaining a distance from a focus position when the focus is best achieved. For example, distance information for each pixel is acquired by performing a process called a hill-climbing method on all the pixels of the image. Specifically, the same scene is imaged multiple times while changing the focus position, the focus position where the focus evaluation value (contrast evaluation value) is the highest is detected for each pixel, and from that result to the imaging object for each pixel The distance is calculated. For example, in FIG. 13B, when the lens position is changed from L (t-1) to L (t), whether or not the focus evaluation value difference h (t) -h (t-1) has increased. To detect. By repeating this, the lens position where the focus evaluation value is maximized is searched, and the focus position where the focus evaluation value is the highest is detected for each pixel. The details of the SFS hill climbing method are disclosed in Japanese Patent Application Laid-Open No. 2007-139893 (Patent Document 3).

以上のＤＦＤやＳＦＳは、一般的なデジタルカメラに搭載されている光学系とフォーカス調整機構を用いて実現可能であり、距離データの取得なのために特別な装置の追加を必要としないという利点がある。   The above DFD and SFS can be realized by using an optical system and a focus adjustment mechanism mounted on a general digital camera, and there is an advantage that no special device is required for acquiring distance data. is there.

なお距離データを取得するための他の手法としては、シェイプ・フロム・ステレオ（Shape from Stereo）や、シェイプ・フロム・フォトメトリック（Shape from Photometric）や、シェイプ・フロム・モーション（Shape from Motion）が考えられる。   Other methods for obtaining distance data include Shape from Stereo, Shape from Photometric, and Shape from Motion. Conceivable.

シェイプ・フロム・ステレオでは、２つの撮像系で撮像した２枚の画像を用いて、両眼視差を求める。そして求められた両眼視差から、撮像対象物の各画素での撮像装置からの距離（奥行き値）を求める。即ち、視点が異なる２つの撮像装置で対象シーンを撮像し、得られた２つの画像の対応点を見つけることで両眼視差を求めて、距離を測定する。このシェイプ・フロム・ステレオでは、少なくとももう一台の撮像装置が必要になる。   In the shape from stereo, binocular parallax is obtained using two images taken by two imaging systems. Then, from the obtained binocular parallax, the distance (depth value) from the imaging device at each pixel of the imaging object is obtained. That is, the target scene is imaged by two imaging devices having different viewpoints, and binocular parallax is obtained by finding corresponding points of the obtained two images, and the distance is measured. In this shape-from-stereo, at least another imaging device is required.

シェイプ・フロム・フォトメトリックは、画像における陰影情報や撮像対象物の反射特性や光源情報に基づいて、撮像対象物までの距離を求める手法である。具体的には複数の方向（例えば３方向以上）から照明を撮像対象物に照射し、得られた複数の画像（例えば３以上の画像）に基づいて物体表面の法線方向を法線マップとして取得し、この法線マップに基づいて距離データ（距離画像）を取得する。このシェイプ・フロム・フォトメトリックでは、制御可能な照明装置ストロボ等が必要になる。   Shape from photometric is a technique for obtaining a distance to an imaging object based on shading information in the image, reflection characteristics of the imaging object, and light source information. Specifically, the object to be imaged is illuminated from a plurality of directions (for example, three or more directions), and the normal direction of the object surface is set as a normal map based on the obtained plurality of images (for example, three or more images). Obtain distance data (distance image) based on this normal map. This shape from photometric requires a controllable lighting device strobe or the like.

またシェイプ・フロム・モーションは、運動視差を利用して撮像対象物までの距離を求める手法である。具体的には、時間的に連続する複数の画像における所定の特徴点の運動軌跡を用いて、撮像対象物までの距離を求める手法であり、撮像装置を動かす機構が必要になる。   Shape from motion is a technique for obtaining a distance to an imaging object using motion parallax. Specifically, this is a method for obtaining a distance to an imaging target using motion trajectories of predetermined feature points in a plurality of temporally continuous images, and a mechanism for moving the imaging device is required.

これらのシェイプ・フロム・ステレオ、シェイプ・フロム・フォトメトリック、シェイプ・フロム・モーションでは、距離データの取得のための撮像に対して、付加的な装置の追加が必要であるという不利点がある。   These shape-from-stereo, shape-from-photometric, and shape-from-motion have the disadvantage that additional equipment is required for imaging to acquire distance data.

なお撮像画像を用いない距離計測方法としては、マイクロ波を用いた距離計測手法や音波を用いた距離計測手法等が知られており、本実施形態では、これらの手法を用いて距離データを取得してもよい。   Note that distance measurement methods using microwaves and distance measurement methods using sound waves are known as distance measurement methods that do not use captured images. In this embodiment, distance data is acquired using these methods. May be.

５．２ 領域分割、撮像対象物認識
次に、前述した図４のステップＳ４〜Ｓ９や図５のステップＳ２４〜Ｓ２９の処理の詳細例について、図１４、図１５を用いて説明する。 5.2 Region Division and Imaging Object Recognition Next, detailed examples of the processing in steps S4 to S9 in FIG. 4 and steps S24 to S29 in FIG. 5 will be described with reference to FIGS.

本実施形態の撮像装置は、フォーカス調整が可能な状態に移行すると、図１４のＡ１に示すように複数の距離データ取得用画像を撮像する。具体的には、フォーカス調整部３０によりフォーカス位置（フォーカスレンズの位置）を変更しながら、複数の距離データ取得用画像を撮像する。例えば図１３（Ａ）のＤＦＤでは、フォーカス位置を変更しながら少なくとも２枚の距離データ取得用画像を撮像する。また図１３（Ｂ）のＳＦＳでは、各画素についてその合焦位置を得るのに必要な枚数の距離データ取得用画像を撮像する。   When the imaging apparatus according to the present embodiment shifts to a state in which focus adjustment is possible, the imaging apparatus captures a plurality of distance data acquisition images as indicated by A1 in FIG. Specifically, a plurality of distance data acquisition images are captured while changing the focus position (the position of the focus lens) by the focus adjustment unit 30. For example, in the DFD of FIG. 13A, at least two distance data acquisition images are captured while changing the focus position. In the SFS of FIG. 13B, the number of distance data acquisition images required to obtain the in-focus position for each pixel is captured.

なお本実施形態では、例えば撮像対象シーンにおける全画素での距離データ（奥行き情報）を求める。但し、複数サンプル毎に間引いた画素についての距離データを求めたり、撮像対象物までの距離を求めるのに必要な最低限の個数の代表画素についての距離データを求めてもよい。   In the present embodiment, for example, distance data (depth information) at all pixels in the imaging target scene is obtained. However, distance data for pixels thinned out for each of a plurality of samples may be obtained, or distance data for a minimum number of representative pixels necessary for obtaining the distance to the imaging target may be obtained.

撮像された複数の距離データ取得用画像や、ＤＦＤ、ＳＦＳ等で取得された距離データは、例えば記憶部６０に記憶されて保存される。この場合に、複数の距離データ取得用画像のうちの代表となる１枚の代表距離データ取得用画像だけを残して保存し、その他の距離データ取得用画像については削除してもよい。このようにすることで記憶部６０の記憶容量を節約できる。或いは、代表距離データ取得用画像は、複数の距離データ取得用画像の中で部分領域毎にコントラスト（合焦評価値）が最も高い画像から、画素値をコピーすることで生成してもよい。即ち全ての画素が合焦状態になる全焦点画像を、代表距離データ取得用画像として生成する。   A plurality of captured distance data acquisition images and distance data acquired by DFD, SFS, and the like are stored and stored in the storage unit 60, for example. In this case, only one representative distance data acquisition image as a representative of the plurality of distance data acquisition images may be stored and deleted, and the other distance data acquisition images may be deleted. By doing so, the storage capacity of the storage unit 60 can be saved. Alternatively, the representative distance data acquisition image may be generated by copying the pixel value from an image having the highest contrast (focus evaluation value) for each partial region among the plurality of distance data acquisition images. That is, an omnifocal image in which all pixels are in focus is generated as a representative distance data acquisition image.

次に、ＤＦＤ、ＳＦＳ等で取得された距離データを用いて、撮像対象シーンの領域分割を行う。撮像装置から撮像対象物までの距離を考えると、同一撮像対象物内では、距離の変化は相対的に小さく、異なる撮像対象物同士の境界では、距離の変化が相対的に大きくなる。従って、距離データにおいて距離情報が大きく変化する部位を抽出すれば、撮像対象シーン中の撮像対象物の境界、即ち領域の輪郭を得ることができる。これを画像中の全ての部位に対して行えば、画像を撮像対象物毎に領域分割することができる。   Next, using the distance data acquired by DFD, SFS or the like, the area of the imaging target scene is divided. Considering the distance from the imaging device to the imaging object, the change in distance is relatively small within the same imaging object, and the change in distance is relatively large at the boundary between different imaging objects. Therefore, if a part where the distance information greatly changes in the distance data is extracted, the boundary of the imaging target in the imaging target scene, that is, the outline of the region can be obtained. If this is performed for all parts in the image, the image can be divided into regions for each imaging target.

具体的には本実施形態では図１４のＡ２に示すように、代表距離データ取得用画像と距離データに基づいて領域分割処理を行う。即ち代表距離データ取得用画像を、距離データに基づき領域分割することで、撮像対象シーンの領域分割結果を得る。   Specifically, in this embodiment, as shown by A2 in FIG. 14, the region division processing is performed based on the representative distance data acquisition image and the distance data. In other words, by dividing the representative distance data acquisition image into regions based on the distance data, the region division result of the imaging target scene is obtained.

次に図１４のＡ３に示すように、代表距離データ取得用画像の分割領域毎に撮像対象物の認識処理を行う。   Next, as shown in A3 of FIG. 14, the imaging target object recognition process is performed for each divided region of the representative distance data acquisition image.

なお本実施形態では、各分割領域をそれぞれ異なる撮像対象物であるとして扱うが、場合によっては、領域の統合を前処理として行ってもよい。この場合に、複数の領域を統合した領域を撮像対象物に対応させる。   In the present embodiment, each divided region is treated as a different imaging object, but in some cases, integration of regions may be performed as preprocessing. In this case, a region obtained by integrating a plurality of regions is made to correspond to the imaging object.

最後に図１４のＡ４に示すように、撮像対象物の認識結果と取得された距離データに基づいて、マップ画像を生成する。   Finally, as shown at A4 in FIG. 14, a map image is generated based on the recognition result of the imaging object and the acquired distance data.

図１５に撮像対象物認識処理の詳細なフローチャートを示す。   FIG. 15 shows a detailed flowchart of the imaging object recognition process.

まず撮像対象物の種類を認識する（ステップＳ４１）。ここで、撮像対象物の種類の認識とは、分割領域が特定対象物のいずれのクラスに合致するのか、或いはいずれのクラスとも合致しないのかを判別する処理である。そして合致するクラスが得られた場合には、撮像対象物の種類を認識できたと判定し、合致するクラスが得られなかった場合には、撮像対象物の種類を認識できなかったと判定する。   First, the type of imaging object is recognized (step S41). Here, the recognition of the type of the imaging object is a process of determining which class of the specific object matches or does not match any class. When a matching class is obtained, it is determined that the type of the imaging object can be recognized. When a matching class is not obtained, it is determined that the type of the imaging object cannot be recognized.

特定対象としては、例えば人物、車両、動物、植物、建築物等を想定できる。例えば人物の顔を認識する処理については特開２００１−２１６５１５号公報（特許文献４）に開示されている。本実施形態では、例えばこの認識処理を用いて、代表距離データ取得用画像から人物の顔領域を認識する。そして顔領域と奥行き位置が同一（略同一）になるような一連の領域を人物領域として認識する。   As the specific object, for example, a person, a vehicle, an animal, a plant, a building, or the like can be assumed. For example, a process for recognizing a person's face is disclosed in Japanese Patent Laid-Open No. 2001-216515 (Patent Document 4). In the present embodiment, for example, using this recognition process, the face area of a person is recognized from the representative distance data acquisition image. A series of areas whose depth positions are the same (substantially the same) as the face area are recognized as person areas.

また例えば特開平７−５５４４４号公報には、車両側面のシルエット像から車種を判別する手法が開示されている。本実施形態では、距離データに基づく領域分割により、分割領域の形状が得られているから、これをシルエット像として用いれば、車両を認識することが可能になる。   Further, for example, Japanese Patent Application Laid-Open No. 7-55444 discloses a method for discriminating a vehicle type from a silhouette image on the side of a vehicle. In this embodiment, since the shape of the divided region is obtained by region division based on the distance data, the vehicle can be recognized by using this as a silhouette image.

そして本実施形態では、撮像対象物の認識に成功した場合には、撮像対象物の種類を分割領域に関連づける処理を行う（ステップＳ４２、Ｓ４３）。具体的には撮像対象物の種類を分割領域に関連づけて記憶部６０に記憶する。一方、撮像対象物の認識に成功しなかった場合には、各分割領域毎に、撮像対象物のサイズ、色、テクスチャを認識する（ステップＳ４４）。   In the present embodiment, when the imaging object is successfully recognized, a process of associating the type of the imaging object with the divided area is performed (steps S42 and S43). Specifically, the type of the imaging object is associated with the divided area and stored in the storage unit 60. On the other hand, if the imaging object is not successfully recognized, the size, color, and texture of the imaging object are recognized for each divided region (step S44).

そして、撮像対象物の大きさが所定サイズよりも大きく、且つ、撮像装置からの距離が所定距離よりも近いと判断された場合には、認識されたサイズ、色、テクスチャの少なくとも１つを分割領域に関連づける処理を行う（ステップＳ４５、Ｓ４６、Ｓ４７）。具体的には撮像対象物のサイズ、色、テクスチャの少なくとも１つを分割領域に関連づけて、記憶部６０に記憶する。   When it is determined that the size of the imaging target is larger than the predetermined size and the distance from the imaging device is closer than the predetermined distance, at least one of the recognized size, color, and texture is divided. Processing associated with the area is performed (steps S45, S46, S47). Specifically, at least one of the size, color, and texture of the imaging target is associated with the divided area and stored in the storage unit 60.

撮像対象物の大きさが所定サイズよりも小さいと判断された場合、又は撮像装置からの距離が所定距離よりも遠いと判断された場合には、非表示フラグが撮像対象物に対応する分割領域に関連づけて記憶される（ステップＳ４８）。即ち所定サイズよりも小さいと判断された撮像対象物や、撮像装置からの距離が所定距離よりも遠いと判断された撮像対象物を、非表示にする設定を行われる。   When it is determined that the size of the imaging object is smaller than the predetermined size, or when it is determined that the distance from the imaging device is longer than the predetermined distance, the non-display flag corresponds to the divided area corresponding to the imaging object. (Step S48). That is, a setting is made to hide the imaging object that is determined to be smaller than the predetermined size or the imaging object that is determined to have a distance from the imaging device that is greater than the predetermined distance.

以上のようにして本実施形態では、図８に示すようなマップ画像が生成される。このマップ画像では、撮像対象物の種類の認識に成功した場合には、その撮像対象物の種類を表すマークＭＫ１、ＭＫ３が、その撮像対象物の奥行き位置に対応するマップ位置に表示される。一方、撮像対象物の種類の認識に成功しなかった場合には、その撮像対象物の大きさ、色及びテクスチャの少なくとも１つを表すマークＭＫ２、ＭＫ４が、その撮像対象物の奥行き位置に対応するマップ位置に表示される。   As described above, in the present embodiment, a map image as shown in FIG. 8 is generated. In this map image, when the type of the imaging object is successfully recognized, marks MK1 and MK3 representing the type of the imaging object are displayed at the map position corresponding to the depth position of the imaging object. On the other hand, if the type of the imaging object is not successfully recognized, the marks MK2 and MK4 representing at least one of the size, color, and texture of the imaging object correspond to the depth position of the imaging object. Is displayed at the map position.

即ち撮像対象シーンの全ての撮像対象物の種類を認識することは困難である。この点、本実施形態では、その種類が認識された撮像対象物については、その種類を表すマークが表示される一方で、その種類が認識できなかった撮像対象物については、サイズ、色又はテクスチャを反映させたマークが表示される。   That is, it is difficult to recognize all types of imaging objects in the imaging target scene. In this regard, in the present embodiment, for an imaging object whose type is recognized, a mark indicating the type is displayed, whereas for an imaging object whose type cannot be recognized, the size, color, or texture is displayed. A mark that reflects is displayed.

従って本実施形態によれば、全ての撮像対象物を認識できなかった場合にも、その撮像対象物を把握するための手がかり（サイズ、色、テクスチャ）を操作者に提示できる。これにより、撮像対象シーン内の様々な撮像対象物について、その奥行き位置とフォーカス位置との位置関係を操作者に示すことが可能になり、これまでにないインターフェース環境を提供できる。   Therefore, according to this embodiment, even when all the imaging objects cannot be recognized, the operator can be provided with clues (size, color, texture) for grasping the imaging object. Thereby, it becomes possible to show the positional relationship between the depth position and the focus position of various imaging objects in the imaging target scene to the operator, and an unprecedented interface environment can be provided.

６．変形例
次に、本実施形態の変形例として、２台以上の撮像装置（カメラ）を用いて俯瞰画像であるマップ画像を生成する手法について説明する。 6). Modified Example Next, as a modified example of the present embodiment, a method of generating a map image that is an overhead image using two or more imaging devices (cameras) will be described.

例えば図１６では、操作者が操作している撮像装置ＣＭＡ以外に、マップ画像生成用の別の撮像装置ＣＭＢが用意されている。この撮像装置ＣＭＢは、撮像装置ＣＭＡとは異なる方向から撮像対象シーンを撮像可能な位置・向きに設置されている。このような撮像装置ＣＭＢとしては、他者のデジタルカメラや、建造物に固定されたカメラや、航空機等に搭載されたカメラや、人工衛星に搭載されたカメラを想定できる。   For example, in FIG. 16, in addition to the imaging device CMA operated by the operator, another imaging device CMB for generating map images is prepared. The imaging device CMB is installed at a position / orientation at which an imaging target scene can be imaged from a direction different from that of the imaging device CMA. As such an imaging device CMB, a digital camera of another person, a camera fixed to a building, a camera mounted on an aircraft, or a camera mounted on an artificial satellite can be assumed.

図１７に本変形例の処理のフローチャートを示す。操作者は、操作部４０により、例えばマニュアルフォーカスモードを選択した後、フォーカス調整動作の開始を指示する（ステップＳ５１、Ｓ５２）。すると、撮像装置ＣＭＡは、第１の対象変化検出用画像を撮像した後、撮像装置ＣＭＢに対して、俯瞰画像の撮像要求を送信する（ステップＳ５３、Ｓ５４、Ｓ５４）。ここで俯瞰画像は、撮像対象シーンを操作者の視点よりも高い位置から俯瞰的に観察し、撮像された画像である。但し、上方からの撮像が適切でない場合は、側方や下方からの撮像でもよい。   FIG. 17 shows a flowchart of the process of this modification. The operator uses the operation unit 40 to select the manual focus mode, for example, and then instructs the start of the focus adjustment operation (steps S51 and S52). Then, after imaging the first target change detection image, the imaging device CMA transmits a bird's-eye view imaging request to the imaging device CMB (steps S53, S54, and S54). Here, the bird's-eye view image is an image obtained by observing the imaging target scene from a position higher than the viewpoint of the operator and taking a picture. However, when imaging from above is not appropriate, imaging from the side or from below may be used.

撮像装置ＣＭＢは撮像装置ＣＭＡから俯瞰画像の撮像要求を受信すると、俯瞰画像の撮像を行う（ステップＳ５５、Ｓ５６）。そして撮像装置ＣＭＢは撮像装置ＣＭＡに対して撮像した俯瞰画像を送信する（ステップＳ５７）。   When the imaging device CMB receives the overhead image capturing request from the imaging device CMA, the imaging device CMB captures the overhead image (steps S55 and S56). Then, the imaging device CMB transmits the overhead image captured to the imaging device CMA (step S57).

撮像装置ＣＭＡは撮像装置ＣＭＢから送信された俯瞰画像を受信する（ステップＳ５８）。そしてマップ画像として俯瞰画像を表示部７０に表示する（ステップＳ５９）。その後のステップＳ６０〜Ｓ６８の処理は図４のステップＳ１０〜Ｓ１８と同様である。   The imaging device CMA receives the overhead view image transmitted from the imaging device CMB (step S58). Then, a bird's-eye view image is displayed on the display unit 70 as a map image (step S59). Subsequent steps S60 to S68 are the same as steps S10 to S18 in FIG.

なお、俯瞰画像の表示に先だって、撮像装置ＣＭＡの画角又は撮像範囲に相当するように、俯瞰画像の一部を切り出してもよい。   Prior to the display of the overhead image, a part of the overhead image may be cut out so as to correspond to the angle of view or the imaging range of the imaging device CMA.

本変形例によれば、奥行き情報の確認に実写画像を用いることで、距離データ算出時の誤差を除外することが可能になる。従って、表示される奥行き情報の信頼性を向上できる。   According to the present modification, it is possible to exclude an error when calculating distance data by using a real image for confirmation of depth information. Therefore, the reliability of the displayed depth information can be improved.

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。   Although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without departing from the novel matters and effects of the present invention. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term described together with a different term having a broader meaning or the same meaning at least once in the specification or the drawings can be replaced with the different term anywhere in the specification or the drawings. Further, the configuration and operation of imaging are not limited to those described in the present embodiment, and various modifications can be made.

ＭＫ１〜ＭＫ４ マーク、ＦＰＬ、ＦＰＬ フォーカス位置を表す線分（図形）、
ＤＦＲ 被写界深度範囲、ＬＡ１、ＬＡ２ 撮像画角の境界線、
１０ 光学系、２０ 撮像部、３０ フォーカス調整部、４０ 操作部、５０ 制御部、
６０ 記憶部、７０ 表示部、１００ 画像処理部、１０２ 距離データ取得部、
１０４ 領域分割部、１０６ 撮像対象物認識部、１０８ マップ画像生成部、
１１０ 画像出力部 MK1 to MK4 mark, FPL, FPL Line segment (figure) representing focus position,
DFR depth of field range, LA1, LA2
10 optical system, 20 imaging unit, 30 focus adjustment unit, 40 operation unit, 50 control unit,
60 storage unit, 70 display unit, 100 image processing unit, 102 distance data acquisition unit,
104 area dividing unit, 106 imaging object recognition unit, 108 map image generation unit,
110 Image output unit

Claims (21)

撮像対象物を撮像する撮像部と、
フォーカスの調整を行うフォーカス調整部と、
撮像対象物の奥行き方向での位置を表す奥行き位置と、前記フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を生成するマップ画像生成部と、
生成された前記マップ画像を表示する表示部と、
を含むことを特徴とする撮像装置。 An imaging unit for imaging an imaging object;
A focus adjustment unit for adjusting the focus;
A map image generating unit that generates a map image for indicating a depth position representing a position of the imaging target in the depth direction and a focus position representing the focus position;
A display unit for displaying the generated map image;
An imaging apparatus comprising: 請求項１において、
撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部を含み、
前記マップ画像生成部は、
前記距離データに基づき前記撮像対象物の前記奥行き位置が特定される前記マップ画像を生成することを特徴とする撮像装置。 In claim 1,
A distance data acquisition unit that acquires distance data representing a distance from the imaging device to the imaging object;
The map image generation unit
An image pickup apparatus that generates the map image in which the depth position of the object to be imaged is specified based on the distance data. 請求項２において、
前記距離データ取得部は、
デプス・フロム・デフォーカス（Depth from Defocus）、シェイプ・フロム・フォーカスShape from Focus）、シェイプ・フロム・ステレオ（Shape from Stereo）、又はシェイプ・フロム・フォトメトリック（Shape from Photometric）の処理により、前記距離データを取得することを特徴とする撮像装置。 In claim 2,
The distance data acquisition unit
By processing from Depth from Defocus, Shape from Focus, Shape from Stereo, or Shape from Photometric, An imaging device characterized by acquiring distance data. 請求項1乃至３のいずれかにおいて、
前記マップ画像生成部は、
前記マップ画像として、撮像対象シーンを真上から見下ろした画像又は斜め上から見下ろした画像を生成することを特徴とする撮像装置。 In any of claims 1 to 3,
The map image generation unit
An image pickup apparatus that generates, as the map image, an image in which an imaging target scene is looked down from directly above or an image that is looked down obliquely from above. 請求項1乃至３のいずれかにおいて、
前記マップ画像生成部は、
奥行き位置が異なる撮像対象物を表すマークが、奥行き方向に沿って並んで表示される前記マップ画像を生成することを特徴とする撮像装置。 In any of claims 1 to 3,
The map image generation unit
An imaging apparatus that generates the map image in which marks representing imaging objects having different depth positions are displayed side by side along a depth direction. 請求項1乃至５のいずれかにおいて、
前記マップ画像生成部は、
前記フォーカス位置を表す図形が表示された前記マップ画像を生成することを特徴とする撮像装置。 In any of claims 1 to 5,
The map image generation unit
An image pickup apparatus that generates the map image on which a graphic representing the focus position is displayed. 請求項６において、
前記マップ画像生成部は、
線分、矢印、三角形、円、楕円、又は矩形が前記フォーカス位置を表す前記図形として表示された前記マップ画像を生成することを特徴とする撮像装置。 In claim 6,
The map image generation unit
An image pickup apparatus that generates the map image in which a line segment, an arrow, a triangle, a circle, an ellipse, or a rectangle is displayed as the graphic representing the focus position. 請求項1乃至７のいずれかにおいて、
前記マップ画像生成部は、
撮像画角の境界線が表示された前記マップ画像を生成することを特徴とする撮像装置。 In any of claims 1 to 7,
The map image generation unit
An imaging apparatus that generates the map image on which a boundary line of an imaging angle of view is displayed. 請求項1乃至８のいずれかにおいて、
前記マップ画像生成部は、
前記フォーカス調整部によるフォーカス調整に連動して、前記フォーカス位置を表す図形の位置が変化する前記マップ画像を生成することを特徴とする撮像装置。 In any one of claims 1 to 8,
The map image generation unit
An image pickup apparatus that generates the map image in which a position of a graphic representing the focus position changes in conjunction with focus adjustment by the focus adjustment unit. 請求項1乃至９のいずれかにおいて、
前記マップ画像生成部は、
前記フォーカス位置に対応した被写界深度範囲が表示された前記マップ画像を生成することを特徴とする撮像装置。 In any one of Claims 1 thru | or 9,
The map image generation unit
An image pickup apparatus that generates the map image in which a depth-of-field range corresponding to the focus position is displayed. 請求項１０において、
前記マップ画像生成部は、
前記フォーカス調整部によるフォーカス調整に連動して、前記被写界深度範囲の位置が変化する前記マップ画像を生成することを特徴とする撮像装置。 In claim 10,
The map image generation unit
An image pickup apparatus that generates the map image in which a position of the depth of field range changes in conjunction with focus adjustment by the focus adjustment unit. 請求項１乃至１１のいずれかにおいて、
前記表示部はタッチパネルディスプレイにより構成され、
前記マップ画像生成部は、
前記撮像対象物を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示される前記マップ画像を生成し、
前記フォーカス調整部は、
前記タッチパネルディスプレイの前記マークをタッチする操作が行われた場合に、タッチされた前記マークの前記奥行き位置にフォーカスを合わせるフォーカス調整を行うことを特徴とする撮像装置 In any one of Claims 1 thru | or 11,
The display unit includes a touch panel display,
The map image generation unit
Generating a map image in which a mark representing the imaging object is displayed at a map position corresponding to the depth position of the imaging object;
The focus adjustment unit
An imaging apparatus that performs focus adjustment to focus on the depth position of the touched mark when an operation of touching the mark on the touch panel display is performed. 請求項1乃至１２のいずれかにおいて、
前記マップ画像生成部は、
前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成することを特徴とする撮像装置。 In any of claims 1 to 12,
The map image generation unit
An imaging apparatus, wherein the map image in which a mark representing a type of the imaging object is displayed at a map position corresponding to the depth position of the imaging object is generated. 請求項1乃至１３のいずれかにおいて、
前記マップ画像生成部は、
前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成することを特徴とする撮像装置。 In any one of claims 1 to 13,
The map image generation unit
An imaging apparatus, wherein a mark representing at least one of a size, a color, and a texture of the imaging object is displayed at a map position corresponding to the depth position of the imaging object. 請求項1乃至１４いずれかにおいて、
前記表示部は、
撮像装置により撮像された通常撮像画像に対して前記マップ画像が重畳表示された画像、前記通常撮像画像に対して前記マップ画像がスーパーインポーズされた画像、又は前記通常撮像画像と前記マップ画像とが並んだ画像を表示することを特徴とする撮像装置。 In any one of claims 1 to 14,
The display unit
An image in which the map image is superimposed and displayed on a normal captured image captured by the imaging device, an image in which the map image is superimposed on the normal captured image, or the normal captured image and the map image An image pickup apparatus that displays an image in which are arranged. 請求項１５において、
前記表示部は、
前記通常撮像画像のうち合焦している撮像対象物に対して前記マップ画像が重ならないように生成された画像を表示することを特徴とする撮像装置。 In claim 15,
The display unit
An image pickup apparatus that displays an image generated so that the map image does not overlap with an image pickup target object that is in focus among the normal image pickup images. 請求項１において、
撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部と、
取得された前記距離データに基づいて撮像対象シーンの領域分割処理を行う領域分割部と、
前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行う撮像対象物認識部を含むことを特徴とする撮像装置。 In claim 1,
A distance data acquisition unit that acquires distance data representing a distance from the imaging device to the imaging object;
An area dividing unit that performs an area dividing process of an imaging target scene based on the acquired distance data;
An imaging apparatus comprising: an imaging object recognition unit that performs recognition processing of the imaging object in each divided region divided by the region dividing unit. 請求項１７において、
前記距離データ取得部は、
前記撮像部により撮像された複数の距離データ取得用画像に基づいて前記距離データを取得し、
前記領域分割部は、
前記複数の距離データ取得用画像の代表となる代表距離データ取得用画像と、取得された前記距離データとに基づいて、前記領域分割処理を行うことを特徴とする撮像装置。 In claim 17,
The distance data acquisition unit
Acquiring the distance data based on a plurality of distance data acquisition images imaged by the imaging unit;
The area dividing unit includes:
An image pickup apparatus that performs the region division processing based on a representative distance data acquisition image that is representative of the plurality of distance data acquisition images and the acquired distance data. 請求項１において、
前記撮像対象物の認識処理を行う撮像対象物認識部を含み、
前記マップ画像生成部は、
前記撮像対象物の種類の認識に成功した場合には、前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成し、前記撮像対象物の種類の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成することを特徴とする撮像装置。 In claim 1,
An imaging object recognition unit that performs recognition processing of the imaging object;
The map image generation unit
When the type of the imaging object is successfully recognized, the map image in which a mark representing the type of the imaging object is displayed at a map position corresponding to the depth position of the imaging object is generated, If the type of the imaging object is not successfully recognized, a mark representing at least one of the size, color, and texture of the imaging object is located at a map position corresponding to the depth position of the imaging object. An image pickup apparatus that generates the displayed map image. 請求項１９において、
撮像対象シーンの領域分割処理を行う領域分割部を含み、
前記撮像対象物認識部は、
前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行い、各分割領域において前記撮像対象物の種類の認識に成功した場合には、認識された前記撮像対象物の種類を各分割領域に関連づける処理を行い、前記撮像対象物の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを、対応する各分割領域に関連づける処理を行うことを特徴とする撮像装置。 In claim 19,
Including an area dividing unit that performs area dividing processing of the imaging target scene;
The imaging object recognition unit
When the imaging object is recognized in each divided area divided by the area dividing unit and the type of the imaging object is successfully recognized in each divided area, the type of the recognized imaging object If the imaging object is not successfully recognized, the process of associating at least one of the size, color, and texture of the imaging object with the corresponding divided area is performed. An imaging device characterized in that it performs. 請求項１９又は２０において、
前記撮像対象物認識部は、
所定サイズよりも小さいと判断された撮像対象物又は撮像装置からの距離が所定距離よりも遠いと判断された撮像対象物を非表示にする設定を行うことを特徴とする撮像装置。 In claim 19 or 20,
The imaging object recognition unit
An imaging apparatus comprising: setting to hide an imaging object determined to be smaller than a predetermined size or an imaging object determined to have a distance from the imaging apparatus greater than a predetermined distance.

Images