JP4909063B2

JP4909063B2 - Imaging apparatus and image recording method

Info

Publication number: JP4909063B2
Application number: JP2006356090A
Authority: JP
Inventors: 光太郎北島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-12-28
Filing date: 2006-12-28
Publication date: 2012-04-04
Anticipated expiration: 2026-12-28
Also published as: JP2008167282A

Description

本発明は、被写体までの距離を表わす距離画像と少なくとも被写体の輝度情報を含む主画像とを同時に撮影し、各画像を符号化して記録する際に、距離画像の情報量を削減する画像記録技術に関するものである。 The present invention is an image recording technique for reducing the amount of information of a distance image when a distance image representing a distance to a subject and a main image including at least luminance information of the subject are simultaneously photographed and each image is encoded and recorded. It is about.

従来、一眼レフカメラ等では特定の距離の被写体のみに焦点を合わせ、それ以外の部分にボケ味を加えることで、立体感のある画像を生成することが可能である。一方、焦点深度の深い撮像系を用いたカメラで撮影する場合には、画像全体に焦点が合ってしまい、一眼レフカメラのような立体感のある画像を生成することは困難であった。 Conventionally, with a single-lens reflex camera or the like, it is possible to generate a stereoscopic image by focusing only on a subject at a specific distance and adding blur to other portions. On the other hand, when shooting with a camera using an imaging system with a deep depth of focus, the entire image is in focus, and it has been difficult to generate a stereoscopic image like a single-lens reflex camera.

そこで、このように焦点深度の深い撮像系を用いて撮影した画像に対して電気的若しくはソフトウェアによる画像処理を施すことによってボケ味を表現する技術がある。 Therefore, there is a technique for expressing the blur by performing image processing by an electric or software on an image captured using an imaging system having a deep focal depth.

このボケ味を表現する技術の一例として、画像の距離情報を利用して画像の前景と背景を分離し、背景部分のみにローパスフィルタ処理等を施すことで、レンズのボケ味の効果を出す画像処理技術がある（例えば、特許文献１参照）。 As an example of the technique for expressing the blur, an image that produces a lens blur effect by separating the foreground and the background of the image using the distance information of the image and applying a low-pass filter process or the like to only the background portion. There is a processing technique (see, for example, Patent Document 1).

上記のような従来の技術について図１６を参照して説明する。 The conventional technique as described above will be described with reference to FIG.

図１６（ａ）はカメラによって撮影された輝度及び色情報から構成される画像を示している。また、カメラは画像全体を細かく分割した領域ごとの被写体の距離情報を取得可能であり、図１６では撮影画像の６４領域（８×８領域）における距離情報が取得可能である。この距離情報に基づき、図１６（ａ）の画像を２つの領域に分割する。 FIG. 16A shows an image composed of luminance and color information photographed by the camera. Further, the camera can acquire distance information of the subject for each area obtained by finely dividing the entire image, and in FIG. 16, distance information in 64 areas (8 × 8 areas) of the captured image can be acquired. Based on this distance information, the image of FIG. 16A is divided into two regions.

図１６（ｂ）及び図１６（ｃ）は距離情報に基づき分割した２つの領域の画像を示している。図１６（ｂ）はカメラから比較的近距離にある被写体領域を示しており、反対に図１６（ｃ）はカメラから遠距離にある被写体領域を示している。２つの領域に分割した後、近距離にある画像領域の図１６（ｂ）に対しては輪郭強調フィルタ処理を施す一方、遠距離にある画像領域の図１６（ｃ）に対しては、ローパスフィルタ処理を施す。 FIGS. 16B and 16C show images of two regions divided based on distance information. FIG. 16 (b) shows a subject area that is relatively close to the camera, and FIG. 16 (c) shows a subject area that is far from the camera. After the image is divided into two regions, contour enhancement filter processing is performed on the image region shown in FIG. 16B at a short distance while low pass is applied to the image region shown in FIG. 16C at a long distance. Apply filtering.

上記各フィルタ処理後の画像（図１６（ｂ）及び（ｃ））を合成したものが、図１６（ｄ）の画像である。図１６（ｄ）では、近距離にある人物の領域が輪郭強調され、遠距離にある領域の背景にローパスフィルタ処理が施されているため、レンズによるボケ味の効果を表現した画像となっている。 The image of FIG. 16D is obtained by synthesizing the images after the filter processing (FIGS. 16B and 16C). In FIG. 16D, since the region of a person at a short distance is contour-enhanced and low-pass filter processing is performed on the background of the region at a long distance, the image expresses the effect of blurring by the lens. Yes.

このように、撮影画像に対して距離情報を用いることで特定の距離範囲にある各被写体領域を切り出し、切り出した被写体領域ごとに様々な画像処理を施すことが可能となる。 As described above, by using the distance information with respect to the photographed image, it is possible to cut out each subject area within a specific distance range and perform various image processing for each cut out subject area.

上述した距離情報を用いた処理（被写体切り出し処理等）を、距離情報の取得時以外（例えば再生時等）に行う場合は、撮影画像と距離情報を関連付けて記録しておくことが必要となる。撮影画像と距離情報とを関連付けて記録する方法として、輝度及び色差（以下、主画像）と共に、主画像の水平／垂直の２次元の各位置に対応した距離情報からなる画像（以下、距離画像）を圧縮して記録する技術がある（例えば、特許文献２参照）。このような手法を用いることで、主画像の再生時にも距離情報を利用した特殊効果処理が可能となる。
特開２００６−０６７５２１号公報特開２００２−０５８０３１号公報 When the above-described processing using the distance information (subject cutout processing or the like) is performed at a time other than when the distance information is acquired (for example, during reproduction), it is necessary to record the captured image and the distance information in association with each other. . As a method of recording a captured image and distance information in association with each other, an image including distance information corresponding to each horizontal / vertical two-dimensional position of the main image (hereinafter referred to as distance image) together with luminance and color difference (hereinafter referred to as main image). ) Is compressed and recorded (for example, see Patent Document 2). By using such a method, special effect processing using distance information can be performed even when the main image is reproduced.
JP 2006-067521 A JP 2002-058031 A

上記特許文献２では、主画像の輝度情報と距離画像との相関を利用して、距離画像を効率的に圧縮符号化するが、記録する画像が動画像である場合には効率的に圧縮しても主画像と距離画像の両方を記録すると情報量が非常に増加してしまうという問題がある。 In the above-mentioned Patent Document 2, the distance image is efficiently compression-encoded using the correlation between the luminance information of the main image and the distance image. However, when the image to be recorded is a moving image, the distance image is efficiently compressed. However, if both the main image and the distance image are recorded, the amount of information is greatly increased.

本発明は、上記課題に鑑みてなされ、その目的は、距離画像の記録時の情報量を削減し、距離画像の記録効率や伝送効率を向上できる技術を実現することである。 The present invention has been made in view of the above problems, and an object thereof is to realize a technique capable of reducing the amount of information when recording a distance image and improving the recording efficiency and transmission efficiency of the distance image.

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、前記距離画像から得られる前記被写体までの距離情報を用いて前記距離画像の階調数を決定する決定手段と、前記決定手段により決定された階調数となるように前記距離画像の階調数を削減する削減手段と、前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有する。 In order to solve the above problems and achieve the object, an imaging apparatus of the present invention acquires a distance image representing a distance to a subject and a main image obtained by imaging the subject, and encodes each image. an imaging device for recording Te, and determining means for determining the number of gradations of the range image using the distance information to the subject obtained from the distance image, so that the number of gradations determined by the determination unit has a reducing means for reducing the gradation number of said distance image, and a recording means for recording by encoding the distance image gradation number is reduced by the reduction means.

また、本発明の撮像装置は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、前記主画像の符号化に係る圧縮率に応じて前記距離画像の階調数を決定する決定手段と、前記決定手段により決定された階調数となるように前記距離画像の階調数を削減する削減手段と、前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有する。 Further, the imaging apparatus of the present invention obtains a distance image representing a distance to a subject and a main image obtained by imaging the subject, and encodes and records each image in the imaging device. Determining means for determining the number of gradations of the distance image in accordance with a compression rate relating to encoding; and reduction means for reducing the number of gradations of the distance image so as to be the number of gradations determined by the determining means; Recording means for encoding and recording the distance image in which the number of gradations has been reduced by the reduction means.

また、本発明の画像記録方法は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置における画像記録方法であって、前記距離画像から得られる前記被写体までの距離情報を用いて前記距離画像の階調数を決定する決定ステップと、決定された前記階調数となるように前記距離画像の階調数を削減する削減ステップと、前記階調数が削減された前記距離画像を符号化して記録媒体に記録する記録ステップと、を有する。 The image recording method of the present invention is an image recording method in an imaging apparatus that acquires a distance image representing a distance to a subject and a main image obtained by imaging the subject and encodes and records each image. A determining step of determining the number of gradations of the distance image using distance information to the subject obtained from the distance image, and the number of gradations of the distance image so as to be the determined number of gradations And a recording step of encoding the distance image with the reduced number of gradations and recording it on a recording medium.

また、本発明の画像記録方法は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置における画像記録方法であって、前記主画像の符号化に係る圧縮率に応じて前記距離画像の階調数を決定する決定ステップと、決定された階調数となるように前記距離画像の階調数を削減する削減ステップと、前記階調数が削減された前記距離画像を符号化して記録する記録ステップと、を有する。 The image recording method of the present invention is an image recording method in an imaging apparatus that acquires a distance image representing a distance to a subject and a main image obtained by imaging the subject and encodes and records each image. A determining step of determining the number of gradations of the distance image according to a compression rate relating to the encoding of the main image, and reducing the number of gradations of the distance image so as to be the determined number of gradations And a recording step of encoding and recording the distance image with the reduced number of gradations.

本発明によれば、距離画像の距離頻度分布や圧縮率に応じて距離画像の記録時の情報量を削減するので、距離画像の記録効率若しくは伝送効率を向上できる。 According to the present invention, since the amount of information at the time of recording a distance image is reduced according to the distance frequency distribution and compression ratio of the distance image, the recording efficiency or transmission efficiency of the distance image can be improved.

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。 The embodiment described below is an example as means for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment.

［第１の実施形態］
先ず、本発明に係る第１の実施形態として、距離画像の距離頻度分布情報に従って距離画像の情報量を削減する構成について説明する。 [First Embodiment]
First, a configuration for reducing the information amount of a distance image according to distance frequency distribution information of the distance image will be described as a first embodiment according to the present invention.

図１は、第１の実施形態として、被写体像を動画像として撮影し記録媒体に記録する撮像装置の構成を示すブロック図である。 FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus that captures a subject image as a moving image and records it on a recording medium as a first embodiment.

図１において、１００は被写体からの光束が入射されるフォーカスレンズやズームレンズ等からなるレンズ光学系である。１０１は輝度信号及び色差信号からなる主画像と、被写体までの距離を表す距離画像とを同時に撮像可能なＣＭＯＳ等の撮像素子である。この撮像素子１０１は、例えばＬＥＤから被写体へ光を照射し、その反射光をＣＭＯＳセンサが受光するまでの時間を画素毎に計測することで距離を求める。１０２は撮像素子１０１から取得した主画像（輝度信号、色差信号）に対して所定の信号処理を施す主画像信号処理部である。１０３は所定の信号処理が施された画像信号を圧縮符号化する符号化部である。１０４は記録媒体１０５に対するインターフェース、１０５は光ディスクやハードディスク等の記録媒体である。 In FIG. 1, reference numeral 100 denotes a lens optical system including a focus lens, a zoom lens, and the like on which a light beam from a subject is incident. Reference numeral 101 denotes an image sensor such as a CMOS that can simultaneously capture a main image composed of a luminance signal and a color difference signal and a distance image representing a distance to a subject. For example, the image sensor 101 irradiates a subject with light from an LED and measures the time until the CMOS sensor receives the reflected light for each pixel to obtain a distance. A main image signal processing unit 102 performs predetermined signal processing on a main image (luminance signal, color difference signal) acquired from the image sensor 101. Reference numeral 103 denotes an encoding unit that compresses and encodes an image signal subjected to predetermined signal processing. Reference numeral 104 denotes an interface to the recording medium 105, and reference numeral 105 denotes a recording medium such as an optical disk or a hard disk.

１１０は距離画像に対して所定の信号処理を施す距離画像信号処理部、１１１は距離画像の距離頻度分布を解析する頻度解析部、１１２は後述するように距離画像の階調数を削減する情報量削減部である。 110 is a distance image signal processing unit that performs predetermined signal processing on the distance image, 111 is a frequency analysis unit that analyzes the distance frequency distribution of the distance image, and 112 is information that reduces the number of gradations of the distance image as will be described later. It is a volume reduction department.

次に、上記のように構成された撮像装置の動作について説明する。 Next, the operation of the imaging apparatus configured as described above will be described.

光学系１００を介して入射された光束は撮像素子１０１に結像される。撮像素子１０１はカラーフィルタを備えており、カラーフィルタを透過した光を光電変換することで、主画像信号を生成する。また、被写体との距離を測定し主画像の２次元位置に対応した被写体距離情報を示す距離画像を生成する。 The light beam incident through the optical system 100 is imaged on the image sensor 101. The image sensor 101 includes a color filter, and generates a main image signal by photoelectrically converting light transmitted through the color filter. In addition, the distance to the subject is measured, and a distance image indicating subject distance information corresponding to the two-dimensional position of the main image is generated.

図２（ａ）は主画像、図２（ｂ）は距離画像を夫々例示している。 FIG. 2A illustrates a main image, and FIG. 2B illustrates a distance image.

主画像は、撮像素子１０１に入力された輝度及び色の各信号を含む画像である。 The main image is an image including luminance and color signals input to the image sensor 101.

また、距離画像は主画像（図２（ａ））の２次元位置に対応した被写体距離を示す画像である。 The distance image is an image showing the subject distance corresponding to the two-dimensional position of the main image (FIG. 2A).

図２（ｂ）では距離画像は２５６階調で表現されるものとする。即ち、被写体の２５６段階の距離情報から構成されている。この場合、距離画像は撮像装置に近い被写体ほど白に近づき、撮像装置から遠いほど黒に近く表現される。図２（ｂ）の距離画像の例では主画像（図２（ａ））において２０１で示した人物の領域が近距離にあり、２０２で示した背景の領域が遠距離にあることを夫々示している。 In FIG. 2B, the distance image is expressed with 256 gradations. That is, it is composed of 256-step distance information of the subject. In this case, the distance image is expressed closer to white as the subject is closer to the imaging device, and closer to black as it is farther from the imaging device. In the example of the distance image in FIG. 2B, the person area indicated by 201 in the main image (FIG. 2A) is at a short distance, and the background area indicated by 202 is at a long distance. ing.

図１に戻り、撮像素子１０１から出力される主画像は主画像信号処理部１０２、距離画像は距離画像信号処理部１１０に夫々出力される。 Returning to FIG. 1, the main image output from the image sensor 101 is output to the main image signal processing unit 102, and the distance image is output to the distance image signal processing unit 110.

主画像信号処理部１０２は、主画像に対してノイズ除去や、輪郭強調、γ補正等の各種画像処理を施し、画像処理後の主画像信号を符号化部１０３に出力する。 The main image signal processing unit 102 performs various image processing such as noise removal, contour enhancement, and γ correction on the main image, and outputs the main image signal after image processing to the encoding unit 103.

一方、距離画像信号処理部１１０は、距離画像信号に対してノイズ除去等の画像処理を施し、画像処理後の距離画像信号を頻度解析部１１１へ出力する。頻度解析部１１１は、距離画像の頻度分布を解析し、距離画像の情報を削減するための情報を算出する。本例では、削減する情報として距離画像の階調数を削減するものとし、その階調数削減のための情報を算出するものとする。 On the other hand, the distance image signal processing unit 110 performs image processing such as noise removal on the distance image signal, and outputs the distance image signal after the image processing to the frequency analysis unit 111. The frequency analysis unit 111 analyzes the frequency distribution of the distance image and calculates information for reducing the distance image information. In this example, the number of gradations of the distance image is reduced as information to be reduced, and information for reducing the number of gradations is calculated.

次に、頻度解析部１１１の処理について図３を参照して詳細に説明する。 Next, the processing of the frequency analysis unit 111 will be described in detail with reference to FIG.

図３は頻度解析部１１１による階調数情報を算出する処理を示すフローチャートである。 FIG. 3 is a flowchart showing processing for calculating the number-of-tones information by the frequency analysis unit 111.

図３において、ステップＳ３０１では距離画像の距離頻度分布情報を生成する。図４は図２（ｂ）に示した距離画像の距離頻度分布を例示している。図４の横軸は距離を示しており、右側に行くほど撮像装置からの距離が遠くなることを示している。縦軸は頻度を示している。また、曲線Ｌ４００は図２（ｂ）の距離画像に対応した距離頻度分布を示している。 In FIG. 3, distance frequency distribution information of the distance image is generated in step S301. FIG. 4 illustrates the distance frequency distribution of the distance image shown in FIG. The horizontal axis in FIG. 4 indicates the distance, and indicates that the distance from the imaging device increases as it goes to the right. The vertical axis shows the frequency. A curve L400 indicates a distance frequency distribution corresponding to the distance image in FIG.

ステップＳ３０２では、距離頻度分布から極大点を検出する。図４では極大点はＰ４０１及びＰ４０２で示された点である。 In step S302, a local maximum point is detected from the distance frequency distribution. In FIG. 4, the maximum points are points indicated by P401 and P402.

ステップＳ３０３では、最終的に記録する距離画像の階調数及び階調の分割点を決定する。ここでは、求める距離画像の階調数は、極大点の数と同じとする。つまり、図４では極大点の数が２点であったため、距離画像の階調数は２階調とする。また、分割点とは距離画像を指定された階調数に分割するための点であり、ここでは距離頻度分布の極大点の間に位置する極小点を分割点とする。つまり、図４では分割点は２つの極大点Ｐ４０１，Ｐ４０２の間に存在する極小点Ｐ４１０とする。これにより、極小点Ｐ４１０の距離位置を閾値として、近距離にある被写体と遠距離にある被写体に分割することが可能となる。 In step S303, the number of gradations and the gradation dividing points of the distance image to be finally recorded are determined. Here, the number of gradations of the distance image to be obtained is the same as the number of maximum points. That is, in FIG. 4, since the number of local maximum points is 2, the number of gradations of the distance image is 2 gradations. The division point is a point for dividing the distance image into a specified number of gradations, and here, the minimum point located between the maximum points of the distance frequency distribution is set as the division point. That is, in FIG. 4, the dividing point is a local minimum point P410 existing between two local maximum points P401 and P402. Thus, it is possible to divide the subject at a short distance and the subject at a long distance using the distance position of the local minimum point P410 as a threshold value.

ステップＳ３０４では、距離画像信号及び距離画像の階調数と分割点の各情報を図１の情報量削減部１１２に出力し、距離画像の階調数を削減して記録媒体１０５に記録する。 In step S304, the distance image signal, the number of gradations of the distance image, and each information of the division points are output to the information amount reduction unit 112 in FIG. 1, and the number of gradations of the distance image is reduced and recorded on the recording medium 105.

図１に戻り、Ｓ３０４での情報量削減部１１２の階調数削減処理について説明する。 Returning to FIG. 1, the gradation number reduction processing of the information amount reduction unit 112 in S304 will be described.

情報量削減部１１２は、頻度解析部１１１から出力された距離画像及び距離画像の階調数と分割点の各情報を元に距離画像の階調数を削減する。図４では、削減後の階調数が２であり、分割点はＰ４１０である。そこで、分割点Ｐ４１０の位置を基準に図２（ｂ）で示された２５６階調の距離画像を近距離と遠距離の２つの階調に削減する（即ち、２値化する）。図５は階調数が削減された距離画像を例示している。図５では人物に対応する領域５０１と背景に対応する領域５０２とに２値化された距離画像を示している。このようにして階調数を削減した距離画像を符号化部１０３へ出力する。 The information amount reduction unit 112 reduces the number of gradations of the distance image based on the distance image output from the frequency analysis unit 111 and the information on the number of gradations and the division points of the distance image. In FIG. 4, the number of gradations after reduction is 2, and the dividing point is P410. Therefore, the distance image of 256 gradations shown in FIG. 2B is reduced to two gradations of short distance and far distance (that is, binarized) based on the position of the dividing point P410. FIG. 5 illustrates a distance image with a reduced number of gradations. FIG. 5 shows binarized distance images in an area 501 corresponding to a person and an area 502 corresponding to a background. Thus, the distance image with the reduced number of gradations is output to the encoding unit 103.

符号化部１０３では、主画像をＭＰＥＧ２、Ｈ．２６４（ＡＶＣ）等の所定の符号化形式に従って圧縮符号化する。また、距離画像も主画像と同じ符号化形式に従って圧縮符号化し、主画像と多重化してインターフェース１０４に出力する。ここで、距離画像を主画像とは異なる符号化方式（例えばＪＰＥＧ）に従って圧縮符号化しても良い。或いは、２値化された距離画像等は非圧縮の符号化データにして主画像と多重化しても良い。インターフェース１０４は多重化された主画像及び距離画像を記録媒体１０５に記録する。 The encoding unit 103 converts the main image into MPEG2, H.264. Compression encoding is performed according to a predetermined encoding format such as H.264 (AVC). The distance image is also compression-encoded according to the same encoding format as the main image, multiplexed with the main image, and output to the interface 104. Here, the distance image may be compression-encoded according to an encoding method (for example, JPEG) different from that of the main image. Alternatively, the binarized distance image or the like may be multiplexed with the main image as non-compressed encoded data. The interface 104 records the multiplexed main image and distance image on the recording medium 105.

以上説明したように、本実施形態によれば、距離画像の距離頻度分布に基づき距離画像の階調数を削減するので、距離画像の記録効率や伝送効率を向上することができる。 As described above, according to the present embodiment, the number of gradations of the distance image is reduced based on the distance frequency distribution of the distance image, so that the recording efficiency and transmission efficiency of the distance image can be improved.

本実施形態では、主画像に対応した詳細な距離情報は失われるものの、主画像の領域がどの距離領域に属するのか（例えば前景なのか背景なのか）という情報は保持される。このため、記録若しくは出力された画像データに対して距離画像を用いて、距離ごとの領域に分割し、分割したエリアの背景部分だけにローパスフィルタを施す等の処理が容易となる。 In the present embodiment, detailed distance information corresponding to the main image is lost, but information indicating which distance area the main image area belongs to (for example, foreground or background) is retained. For this reason, it is easy to perform processing such as dividing a region for each distance using a distance image with respect to recorded or output image data, and applying a low-pass filter only to the background portion of the divided area.

上記実施形態では、距離画像の頻度の極大点が２点の場合について説明したが、極大点が３点以上の場合も同様に階調数の削減を行うことができる。 In the above embodiment, the case where there are two maximum points of the frequency of the distance image has been described, but the number of gradations can be similarly reduced when there are three or more maximum points.

極大点が３点の場合の例について図６から図８を参照して説明する。 An example in which the maximum points are three points will be described with reference to FIGS.

図６（ａ），（ｂ）は図２と同様に撮像素子１０１で撮影された主画像及び距離画像を夫々例示している。図６（ｂ）の距離画像に対して、上記と同様に頻度解析部１１１で頻度の解析を行う。図７は図６（ｂ）の距離画像の距離頻度分布を示している。 6A and 6B illustrate a main image and a distance image captured by the image sensor 101, respectively, as in FIG. The frequency analysis unit 111 performs frequency analysis on the distance image in FIG. 6B in the same manner as described above. FIG. 7 shows the distance frequency distribution of the distance image of FIG.

図７において、Ｐ７０１，Ｐ７０２，Ｐ７０３は極大点を夫々示している。図７では極大点が３点であるため、階調数を削減して、最終的に記録する距離画像の階調数は３階調とする。そして、極大点の間にある極小点Ｐ７１０，Ｐ７１１を分割点とする。図８は、これらの分割点Ｐ７１０及びＰ７１０に基づき距離画像（図６（ｂ））を３階調に分割した例を示している。図８では、階調数が削減された結果、人物８０１、乗り物８０２、背景８０３の３つの距離領域に分離された距離画像を示している。そして、各領域が１つの階調に対応している。このように、距離画像の階調数を削減することで、詳細な距離情報は失われるが、８０１〜８０３の各領域の距離の相関は保持される。そのため、各被写体領域を抜き出し、領域ごとに異なるフィルタ処理を施す等の制御が可能となる。 In FIG. 7, P701, P702, and P703 indicate local maximum points, respectively. In FIG. 7, since the maximum point is three points, the number of gradations is reduced and the number of gradations of the distance image to be finally recorded is three gradations. Then, the minimum points P710 and P711 between the maximum points are set as the dividing points. FIG. 8 shows an example in which the distance image (FIG. 6B) is divided into three gradations based on these division points P710 and P710. FIG. 8 shows a distance image that is separated into three distance areas of a person 801, a vehicle 802, and a background 803 as a result of the reduction in the number of gradations. Each area corresponds to one gradation. Thus, by reducing the number of gradations of the distance image, detailed distance information is lost, but the correlation of the distances of the respective regions 801 to 803 is maintained. Therefore, it is possible to perform control such as extracting each subject area and performing different filter processing for each area.

また、上記実施形態では距離頻度分布における全ての極大点を検出していたが、特徴の大きな極大点のみを検出してもよい。 In the above embodiment, all local maximum points in the distance frequency distribution are detected. However, only local maximum points having large features may be detected.

この特徴の大きな極大点のみを検出する場合について図９を参照して説明する。 A case of detecting only a maximum point having a large feature will be described with reference to FIG.

図９において、Ｌ９００はある距離画像の距離頻度分布を示したものであり、極大点はＰ９０１，Ｐ９０２，Ｐ９０３の３点である。また、Ｐ９１０，Ｐ９１１は極小点を示している。このとき、極大点と近傍の極小点の差が所定の閾値を超えるものだけを極大点として検出する。例えば、極大点Ｐ９０２に関して近傍の極小点Ｐ９１０との差分ｄ１を算出する。この差分ｄ１が所定閾値よりも小さい場合はＰ９０２を極大点としてカウントせずに、Ｐ９０１及びＰ９０３のみを極大点として用いる。これによりノイズにより極大点が生じた場合等小さな極大点を極大点として検出してしまい、階調数が必要以上に増加することを防ぐことが可能となる。 In FIG. 9, L900 indicates the distance frequency distribution of a certain distance image, and the maximum points are three points P901, P902, and P903. P910 and P911 indicate local minimum points. At this time, only a point where the difference between the local maximum point and the local minimum point exceeds a predetermined threshold is detected as the local maximum point. For example, the difference d1 between the local maximum point P902 and the local minimum point P910 is calculated. When the difference d1 is smaller than the predetermined threshold, only P901 and P903 are used as the maximum points without counting P902 as the maximum point. As a result, it is possible to prevent a small maximum point from being detected as a maximum point, such as when a maximum point occurs due to noise, and to prevent the number of gradations from increasing more than necessary.

また、上記実施形態では撮像素子１０１によって主画像及び距離画像を撮像する例について説明したが、撮像手段によらず、例えば、外部装置から主画像及び距離画像を入力として受ける形態であってもよい。 In the above embodiment, the example in which the main image and the distance image are captured by the image sensor 101 has been described. However, for example, the main image and the distance image may be received as an input from an external device without depending on the imaging unit. .

また、上記例では、撮像素子１０１によって距離画像を生成する例について説明したが、距離画像の生成方法はどのような手段を用いてもかまわない。例えば、赤外線センサや超音波センサ等距離測定のセンサを別途備えている構成であってもかまわない。また、ＡＦセンサの情報を用いて主画像の２次元位置に対応した距離情報を取得する等、どのような手段を用いてもかまわない。 In the above example, the example in which the distance image is generated by the image sensor 101 has been described. However, any method may be used as the distance image generation method. For example, a configuration in which a distance measurement sensor such as an infrared sensor or an ultrasonic sensor is separately provided may be used. In addition, any means may be used such as acquiring distance information corresponding to the two-dimensional position of the main image using information of the AF sensor.

また、距離画像の階調数として２５６階調の場合を例に説明したが、これに限定するものではなく、どのような階調数であってもかまわない。また、上記例では符号化部１０３が階調数を削減した距離画像を符号化し出力する例を説明したが、距離画像を圧縮せずに主画像に多重化する等どのような形態をとってもかまわない。 Further, although the case where the number of gradations of the distance image is 256 gradations has been described as an example, the present invention is not limited to this, and any number of gradations may be used. In the above example, the encoding unit 103 described an example of encoding and outputting a distance image with a reduced number of gradations. However, the encoding unit 103 may take any form such as multiplexing the distance image into the main image without compression. Absent.

また、上記実施形態では、主画像及び距離画像を記録媒体１０５に記録する場合を例に説明したが、記録媒体に記録する場合に限定するものではない。例えば、主画像及び距離画像を記録媒体に記録するのではなく、ネットワークを介して伝送する実施形態であってもよい。 In the above embodiment, the case where the main image and the distance image are recorded on the recording medium 105 has been described as an example. However, the present invention is not limited to the case where the main image and the distance image are recorded on the recording medium. For example, the main image and the distance image may be transmitted via a network instead of being recorded on a recording medium.

［第２の実施形態］
次に、第２の実施形態として、撮像装置の撮影情報に従って距離画像の情報量を削減する構成について説明する。 [Second Embodiment]
Next, a configuration for reducing the information amount of the distance image according to the shooting information of the imaging device will be described as a second embodiment.

図１０は、第２の実施形態として、被写体像を撮影し記録媒体に記録する撮像装置の構成を示すブロック図である。 FIG. 10 is a block diagram illustrating a configuration of an imaging apparatus that captures a subject image and records it on a recording medium as the second embodiment.

図１０において、１００から１０５及び１１０，１１２の各ブロックは図１と同様の機能を有するものであるので説明は省略する。第２の実施形態では、距離画像信号処理部１１０と情報量削減部１１２の間に情報量決定部１０１１が設けられている。１０２０は装置全体を制御するシステム制御部である。 10, blocks 100 to 105, 110, and 112 have the same functions as those in FIG. In the second embodiment, an information amount determination unit 1011 is provided between the distance image signal processing unit 110 and the information amount reduction unit 112. A system control unit 1020 controls the entire apparatus.

撮影を開始すると、主画像及び距離画像を生成し、主画像は主画像信号処理部１０２、距離画像は距離画像信号処理部１１０において、第１の実施形態と同様の画像処理を行う。 When shooting is started, a main image and a distance image are generated, and the main image is processed in the main image signal processing unit 102 and the distance image is processed in the distance image signal processing unit 110 as in the first embodiment.

また、システム制御部１０２０は撮影処理及び符号化処理等の装置全体の制御を行っているが、ここでは撮影処理の制御に限定して説明する。 In addition, the system control unit 1020 performs overall control of the apparatus such as shooting processing and encoding processing, but here, description will be limited to control of shooting processing.

システム制御部１０２０は、図示しない操作部へのユーザからの入力に応じて、或いはオートでいずれかの撮影モードを制御している。撮影モードとは、ポートレートモードや風景モード等、撮影する被写体やシーンに応じて適切な露出やカラーバランス等を制御するモードを意味している。 The system control unit 1020 controls any shooting mode in response to an input from a user to an operation unit (not shown) or automatically. The shooting mode means a mode for controlling appropriate exposure, color balance and the like according to the subject to be shot and the scene, such as a portrait mode and a landscape mode.

システム制御部１０２０は撮影モードに応じた制御情報を光学系１００や主画像信号処理部１０２へ出力している。また、システム制御部１０２０は撮影モード情報を情報量決定部１０１１へ出力する。 The system control unit 1020 outputs control information corresponding to the shooting mode to the optical system 100 and the main image signal processing unit 102. Further, the system control unit 1020 outputs the shooting mode information to the information amount determination unit 1011.

情報量決定部１０１１は、距離画像信号処理部１１０から出力された距離画像とシステム制御部１０２０から出力された撮影モード情報とに基づき、最終的に記録する距離画像の階調数を決定する。 The information amount determination unit 1011 determines the number of gradations of the distance image to be finally recorded based on the distance image output from the distance image signal processing unit 110 and the shooting mode information output from the system control unit 1020.

図１１は情報量決定部１０１１による階調数決定処理を示すフローチャートである。 FIG. 11 is a flowchart showing the tone number determination process by the information amount determination unit 1011.

図１１において、ステップＳ１１０１ではシステム制御部１０２０から撮影モード情報を取得する。 In FIG. 11, in step S <b> 1101, shooting mode information is acquired from the system control unit 1020.

ステップＳ１１０２では、取得した撮影モードがポートレートモードであるかチェックする。ポートレートモードである場合にはステップＳ１１０４に移行する。また、ポートレートモードでない場合にはステップＳ１１０３に移行する。ステップＳ１１０３では撮影モードが風景モードであるか判定し、風景モードである場合はステップＳ１１０５、風景モードでない場合はステップＳ１１０６へ移行する。 In step S1102, it is checked whether the acquired shooting mode is a portrait mode. If it is the portrait mode, the process proceeds to step S1104. If it is not the portrait mode, the process proceeds to step S1103. In step S1103, it is determined whether the shooting mode is the landscape mode. If it is the landscape mode, the process proceeds to step S1105. If not, the process proceeds to step S1106.

ステップＳ１１０４は、撮影モードがポートレートモードの場合の処理である。ポートレートモードは人物を主な被写体として撮影するモードである。ポートレートモードの場合は、階調数削減後の階調数を２階調とする。２階調に削減する理由について説明する。 Step S1104 is processing when the photographing mode is the portrait mode. The portrait mode is a mode for photographing a person as a main subject. In the portrait mode, the number of gradations after the reduction of the number of gradations is set to two gradations. The reason for reducing to two gradations will be described.

ポートレートモードでは人物を中心として撮影されるため、被写体は人物と背景から構成される（図１２（ａ））。そのため、ポートレートモードでの撮影画像に対して背景部分だけにローパスフィルタをかけてボケ味を出す等の特殊処理を行う場合には、主被写体である人物と背景の２つの領域が区別できれば十分であるため、距離情報の階調数を２階調としている。 In the portrait mode, the subject is photographed with a person as the center, so the subject is composed of a person and a background (FIG. 12A). For this reason, when performing special processing such as blurring by applying a low-pass filter only to the background portion of a photographed image in portrait mode, it is sufficient if the two areas of the main subject person and the background can be distinguished. Therefore, the number of gradations of the distance information is 2 gradations.

一方、ステップＳ１１０５は撮影モードが風景モードの場合の処理である。風景モードは被写体として風景を撮影する撮影モードである。風景モードで撮影される画像の例を図１２（ｂ）に示す。風景モードでは、距離情報が遠方を中心として広い範囲で分布していると考えられる。そのため、距離画像の階調数は削減せずに、元の２５６階調のままとする。 On the other hand, step S1105 is processing when the shooting mode is the landscape mode. The landscape mode is a shooting mode for shooting a landscape as a subject. An example of an image photographed in the landscape mode is shown in FIG. In the landscape mode, it is considered that the distance information is distributed in a wide range centering on a distant place. Therefore, the number of gradations of the distance image is not reduced, and the original 256 gradations are maintained.

ステップＳ１１０６は、ポートレートモードでも風景モードでもない場合の処理である。このような撮影モードの例として、標準撮影モードやパーティモードがある。これらのモードで撮影されるシーンとして、例えば図１２（ｃ）に示すような被写体として複数の人物が写っているような場合がある。この場合、複数の人物領域に対応した距離情報が保存できるように、ポートレートモード（２階調）と風景モード（２５６階調）の階調数の中間階調とする。本実施形態では一例として削減後の階調数を８とした場合について説明する。 Step S1106 is processing when neither the portrait mode nor the landscape mode is selected. Examples of such shooting modes include a standard shooting mode and a party mode. As a scene photographed in these modes, for example, there may be a case where a plurality of persons are photographed as a subject as shown in FIG. In this case, an intermediate gray level between the portrait mode (2 gray levels) and the landscape mode (256 gray levels) is set so that distance information corresponding to a plurality of person areas can be saved. In the present embodiment, a case where the number of gradations after reduction is 8 will be described as an example.

ステップＳ１１０４，Ｓ１１０５，Ｓ１１０６で夫々削減後の階調数が決定されると、ステップＳ１１０７では、階調数に従って距離画像を分割する点を検出する。分割点の検出は前述の実施形態と同様に距離画像から距離頻度分布情報を生成することで行う。例えば、ポートレートモードで撮影した図１２（ａ）の画像の場合は距離画像を２階調に削減する。即ち、距離頻度分布の中から最も特徴的な極大点２点を検出し、その極大点の間にある極小点で２つの階調に分割する。また、図１２（ｃ）の場合も同様に８階調に分割するため８つの極大点を検出する。このとき極大点の数が８点に満たない場合は、距離が等間隔になる点で分割してもよい。 When the number of gradations after reduction is determined in steps S1104, S1105, and S1106, in step S1107, a point at which the distance image is divided according to the number of gradations is detected. The division point is detected by generating the distance frequency distribution information from the distance image as in the above-described embodiment. For example, in the case of the image of FIG. 12A photographed in the portrait mode, the distance image is reduced to two gradations. That is, the two most characteristic local maximum points are detected from the distance frequency distribution, and are divided into two gradations at the local minimum point between the local maximum points. Further, in the case of FIG. 12C as well, eight local maximum points are detected in order to divide into eight gradations. At this time, if the number of local maximum points is less than 8, the distance may be divided at equal intervals.

ステップＳ１１０８では、距離画像信号及び距離画像の階調数と分割点の各情報を図１０の情報量削減部１１２に出力し、距離画像の階調数を削減して記録媒体１０５に記録する。 In step S1108, the distance image signal and the information on the number of gradations and the division points of the distance image are output to the information amount reduction unit 112 in FIG. 10, and the number of gradations of the distance image is reduced and recorded on the recording medium 105.

図１０に戻り、Ｓ１１０８での情報量削減部１１２の階調数を削減する処理、及び符号化部１０３で圧縮符号化し、記録媒体１０５に記録するまでの処理は前述した実施形態と同様であるため詳細な説明は省略する。 Returning to FIG. 10, the processing until the number of gradations is reduced by the information amount reduction unit 112 in S1108 and the processing from compression encoding by the encoding unit 103 to recording on the recording medium 105 are the same as those in the above-described embodiment. Therefore, detailed description is omitted.

以上説明したように、本実施形態によれば、撮影モード等の撮影情報に応じて距離画像の階調数を削減するので、距離情報の利用目的に適応した距離画像の階調数削減を行え、距離画像の記録効率や伝送効率を向上できる。 As described above, according to the present embodiment, the number of gradations of the distance image is reduced according to the photographing information such as the photographing mode, so that the number of gradations of the distance image adapted to the purpose of using the distance information can be reduced. The distance image recording efficiency and transmission efficiency can be improved.

尚、上記実施形態では、ポートレートモードと風景モードとそれ以外のモードに場合分けして距離画像の階調数を決定したが、撮影モードはこれらに限定されるものではない。例えば、クロマキー処理をするモードのように人物と背景を分離するようなモードがある場合には背景と人物の２階調に削減する等の制御を行う等、モードに応じて階調数を決定するものであればどのような形態でもかまわない。 In the above-described embodiment, the number of gradations of the distance image is determined for each of the portrait mode, the landscape mode, and the other modes, but the shooting mode is not limited to these. For example, if there is a mode that separates the person and the background, such as a mode that performs chroma key processing, the number of gradations is determined according to the mode, such as controlling to reduce the gradation of the background and the person to two gradations. Any form can be used.

また、ポートレートモードの時は２階調にする場合を説明したが、撮影モードと階調数をこれらに限定するものではなく、ポートレートモードの場合に例えば３階調にしても構わない。また、ポートレートモード、風景モードいずれでもない場合は階調数を８とした場合について説明したが、これも８階調に限定するものではなくポートレートモードと、風景モードの中間の階調数であればどのようなものでもかまわない。 In the portrait mode, two gradations have been described. However, the shooting mode and the number of gradations are not limited to these, and in the portrait mode, for example, three gradations may be used. Further, the case where the number of gradations is set to 8 when neither the portrait mode nor the landscape mode is described has been described, but this is not limited to 8 gradations, and the number of gradations between the portrait mode and the landscape mode is not limited. Anything can be used.

また、上記実施形態では風景モードの時には距離画像の階調数を削減せずに残す場合を説明したが、風景シーンの場合は被写体距離が遠方のみに集中することも考えられる。このように被写体距離が遠方のみに集中すると近景領域と背景領域等に被写体を分離することは困難となる。そのため、距離情報を後で利用しない場合も考えられるため、階調数を０、即ち距離画像を記録しない処理を行ってもかまわない。 In the above-described embodiment, a case has been described in which the number of gradations of the distance image is left without being reduced in the landscape mode. However, in the case of a landscape scene, the subject distance may be concentrated only in a distant place. As described above, when the subject distance is concentrated only in the far distance, it is difficult to separate the subject into the foreground area and the background area. For this reason, since the distance information may not be used later, the number of gradations may be set to 0, that is, the process of not recording the distance image may be performed.

また、上記実施形態では、撮影情報の例として撮影モードを利用する場合について説明したが、撮影情報を撮影モードに限定するものではない。その他の撮影情報として、例えばズーム情報を利用してもよい。以下に、ズーム情報を利用した場合について説明する。図１３はズーム情報と最終的に記録する距離画像の階調数の関係を示したグラフである。図１３に示すように、ズームの状態が望遠側に近づくほど最終的に記録する距離画像の階調数を少なくし、ズームの状態が広角側に近づくほど最終的に記録する距離画像の階調数を多くする。このように制御する理由について説明する。 In the above embodiment, the case where the shooting mode is used as an example of the shooting information has been described. However, the shooting information is not limited to the shooting mode. For example, zoom information may be used as other shooting information. The case where zoom information is used will be described below. FIG. 13 is a graph showing the relationship between the zoom information and the number of gradations of the distance image to be finally recorded. As shown in FIG. 13, the number of gradations of the distance image that is finally recorded decreases as the zoom state approaches the telephoto side, and the gradation of the distance image that is finally recorded as the zoom state approaches the wide-angle side. Increase the number. The reason for controlling in this way will be described.

ズームが望遠側に近づくほど、図１２（ａ）の画像のように単一の被写体と背景から構成されるシーンが多くなる傾向がある。そこで、このようなシーンは前述のように距離情報を背景と主被写体の２つの距離情報、即ち２階調程度の階調数とする。一方、ズームが広角側になると、図１２（ｂ）のように風景や様々な被写体が写るシーンが多くなる傾向がある。そのため、様々な被写体の距離に応じた距離情報を残す必要がある。そこで、ズームが広角側に近づくに従って、最終的に記録する距離画像の階調数を多くする。 The closer the zoom is to the telephoto side, the more the scene composed of a single subject and the background tends to increase as in the image of FIG. Therefore, in such a scene, as described above, the distance information is two distance information of the background and the main subject, that is, the number of gradations of about two gradations. On the other hand, when the zoom is on the wide-angle side, there is a tendency to increase the number of scenes in which landscapes and various subjects are captured as shown in FIG. Therefore, it is necessary to leave distance information corresponding to the distances of various subjects. Therefore, as the zoom approaches the wide angle side, the number of gradations of the distance image to be finally recorded is increased.

［第３の実施形態］
次に、第３の実施形態として、主画像の圧縮率に従って距離画像の情報量を削減する構成について説明する。 [Third Embodiment]
Next, a configuration for reducing the information amount of the distance image according to the compression rate of the main image will be described as a third embodiment.

図１４は、第３の実施形態として、被写体像を撮影し記録媒体に記録する撮像装置の構成を示すブロック図である。 FIG. 14 is a block diagram illustrating a configuration of an imaging apparatus that captures a subject image and records it on a recording medium as a third embodiment.

図１４において、１００から１０５及び１１０の各ブロックは図１と同様の機能を有するものであるので説明は省略する。第３の実施形態では、距離画像信号処理部１１０の後段に、情報量決定部１４１１及び情報量削減部１４１２が設けられている。１４２０は装置全体を制御するシステム制御部である。 In FIG. 14, blocks 100 to 105 and 110 have the same functions as those in FIG. In the third embodiment, an information amount determination unit 1411 and an information amount reduction unit 1412 are provided in the subsequent stage of the distance image signal processing unit 110. A system control unit 1420 controls the entire apparatus.

また、システム制御部１０２０は撮影処理及び符号化処理等の装置全体の制御を行っているが、ここでは符号化処理の制御に限定して説明する。 In addition, the system control unit 1020 performs overall control of the apparatus such as shooting processing and encoding processing, but here, description is limited to control of encoding processing.

システム制御部１４２０は図示しない操作部へのユーザからの入力に応じて符号化モードを制御している。ここで符号化モードとは、主画像の圧縮率を制御するモードである。 The system control unit 1420 controls the encoding mode in accordance with a user input to an operation unit (not shown). Here, the encoding mode is a mode for controlling the compression ratio of the main image.

符号化モードとしては記録時間重視の高圧縮率モード、画質重視の低圧縮率モード、標準モードの３種類があるものとする。この符号化モードは図示しない操作部へのユーザ入力によって設定される。圧縮率のモードに従って、システム制御部１４２０は符号化部１０３の符号化処理を制御する。また、この圧縮率情報は情報量決定部１４１１へ出力される。 Assume that there are three types of encoding modes: a high compression rate mode that emphasizes recording time, a low compression rate mode that emphasizes image quality, and a standard mode. This encoding mode is set by a user input to an operation unit (not shown). The system control unit 1420 controls the encoding process of the encoding unit 103 according to the compression rate mode. The compression rate information is output to the information amount determination unit 1411.

情報量決定部１４１１は、距離画像信号処理部１１０から出力された距離画像と圧縮率情報に基づき、最終的に記録する距離画像の階調数及び解像度を決定する。 The information amount determination unit 1411 determines the number of gradations and resolution of the distance image to be finally recorded based on the distance image output from the distance image signal processing unit 110 and the compression rate information.

図１５は情報量決定部１４１１による階調数及び解像度決定処理を示すフローチャートである。 FIG. 15 is a flowchart showing the gradation number and resolution determination processing by the information amount determination unit 1411.

図１５において、ステップＳ１５０１では、システム制御部１４２０から主画像の符号化時の圧縮率を取得する。 In FIG. 15, in step S1501, the compression rate at the time of encoding the main image is acquired from the system control unit 1420.

ステップＳ１５０２では、システム制御部１４２０から取得した圧縮率が高圧縮率モードであるか判定し、高圧縮率モードである場合にはステップＳ１５０４、高圧縮率モードでない場合にはステップＳ１５０３に夫々移行する。 In step S1502, it is determined whether the compression rate acquired from the system control unit 1420 is the high compression rate mode. If the compression rate mode is the high compression rate mode, the process proceeds to step S1504. If not, the process proceeds to step S1503. .

ステップＳ１５０３では、圧縮率モードが低圧縮率モードであるか判定し、低圧縮率モードである場合はステップＳ１５０５、低圧縮率モードでない場合はステップＳ１５０６に夫々移行する。 In step S1503, it is determined whether the compression ratio mode is the low compression ratio mode. If the compression ratio mode is the low compression ratio mode, the process proceeds to step S1505. If not, the process proceeds to step S1506.

ステップＳ１５０４では、高圧縮率モード時の距離画像の情報削減量を決定する。高圧縮率モードは主画像を高圧縮率で符号化し、発生する符号量を抑えて記録時間を長くするモードである。そのため距離画像に対しても多くの情報量を割り当てるのは望ましくない。そこで最終的に記録する距離画像の階調数を２階調とし、また、距離画像の解像度を低く設定する。 In step S1504, the information reduction amount of the distance image in the high compression rate mode is determined. The high compression rate mode is a mode in which a main image is encoded at a high compression rate, and a recording time is lengthened by suppressing a generated code amount. Therefore, it is not desirable to allocate a large amount of information to the distance image. Therefore, the number of gradations of the distance image to be finally recorded is set to two gradations, and the resolution of the distance image is set low.

一方、ステップＳ１５０５では、低圧縮率モード時の距離画像の情報削減量を決定する。低圧縮率モードでは主画像を低圧縮率で符号化し、発生する符号量が増えてでも画質を優先して符号化するモードである。そのため距離画像に対しても後で利用することを考えると情報量を削減せずに残した方が望ましい。そこで距離画像の階調数及び解像度は削減しない設定とする。 On the other hand, in step S1505, the information reduction amount of the distance image in the low compression rate mode is determined. The low compression rate mode is a mode in which the main image is encoded at a low compression rate and the image quality is preferentially encoded even when the amount of generated code increases. Therefore, considering that the distance image is used later, it is desirable to leave the information amount without reducing it. Therefore, the number of gradations and resolution of the distance image are set not to be reduced.

ステップＳ１５０６では、標準の圧縮率のため、最終的に記録する距離画像の階調数は８階調、解像度は中程度に設定する。 In step S1506, because of the standard compression rate, the number of gradations of the distance image to be finally recorded is set to 8 gradations and the resolution is set to medium.

ステップＳ１５０４，Ｓ１５０５，Ｓ１５０６において夫々削減後の階調数及び解像度が決定された後、ステップＳ１５０７では、階調数に従って距離画像を分割する点を検出する。分割点の検出は前述の各実施形態と同様に距離画像から頻度分布情報を生成することで行う。 After the number of gradations and resolution after reduction are determined in steps S1504, S1505, and S1506, respectively, in step S1507, a point at which the distance image is divided is detected according to the number of gradations. The division point is detected by generating frequency distribution information from the distance image in the same manner as in the above embodiments.

ステップＳ１５０８では、距離画像信号及び距離画像の階調数、分割点及び解像度の各情報を図１４の情報量削減部１４１２に出力し、距離画像の階調数を削減して記録媒体１０５に記録する。 In step S1508, the distance image signal and the number of gradations of the distance image, each piece of division point, and resolution information are output to the information amount reduction unit 1412 in FIG. 14, and the number of gradations of the distance image is reduced and recorded on the recording medium 105. To do.

図１４に戻り、Ｓ１５０８での情報量削減部１４１２の階調数を削減する処理は前述した実施形態と同様である。情報量削減部１４１２では、更に情報量決定部１４１１の情報に基づき距離画像の解像度を変更する。即ち、圧縮率が高くなるに従って距離画像の解像度を低くし、圧縮率が低くなるに従って距離画像の解像度を高くする。解像度を削減することで、さらに距離画像の情報量を削減することが可能となる。階調数の削減及び解像度の変換が行われると、距離画像信号を符号化部１０３に出力する。符号化部１０３で符号化し、記録媒体１０５に記録するまでの処理は前述した実施形態と同様であるため詳細な説明は省略する。 Returning to FIG. 14, the process of reducing the number of gradations in the information amount reduction unit 1412 in S <b> 1508 is the same as in the above-described embodiment. The information amount reduction unit 1412 further changes the resolution of the distance image based on the information of the information amount determination unit 1411. That is, the resolution of the distance image is lowered as the compression rate is increased, and the resolution of the distance image is increased as the compression rate is lowered. By reducing the resolution, it is possible to further reduce the information amount of the distance image. When the number of gradations is reduced and the resolution is converted, the distance image signal is output to the encoding unit 103. Since the processing from the encoding by the encoding unit 103 to the recording on the recording medium 105 is the same as that in the above-described embodiment, detailed description thereof is omitted.

以上説明したように、本実施形態によれば、主画像の圧縮率に応じて距離画像の階調数及び解像度を削減するので、主画像と距離画像の双方に適応した情報量の削減ができ、記録効率や伝送効率を向上できる。 As described above, according to the present embodiment, the number of gradations and the resolution of the distance image are reduced according to the compression ratio of the main image, so that the amount of information adapted to both the main image and the distance image can be reduced. Recording efficiency and transmission efficiency can be improved.

また、本実施形態では、高圧縮率の場合は距離画像の情報量削減後の階調数を２とし、低圧縮率の場合の階調数を２５６としたがこれは一例であり、この階調数に限定されるものではない。即ち、圧縮率が高くなるに従って、階調数を少なくするように制御するものであればどのような階調数でもかまわない。 In this embodiment, the number of gradations after the reduction of the information amount of the distance image is set to 2 in the case of a high compression rate, and the number of gradations in the case of a low compression rate is set to 256. However, this is an example. It is not limited to the logarithm. In other words, any number of gradations may be used as long as the number of gradations is controlled to decrease as the compression rate increases.

また、本実施形態では圧縮率が３段階の場合について説明したが、圧縮率が３段階以上で制御可能な場合や、連続的に変化する形態であってもかまわない。 Further, in the present embodiment, the case where the compression rate is in three stages has been described. However, the compression rate may be controlled in three or more stages, or may be a form that continuously changes.

また、本実施形態では、距離画像の階調数と解像度を削減する場合について説明したが、階調数と解像度のいずれか一方のみを削減してもかまわない。 In this embodiment, the case of reducing the number of gradations and the resolution of the distance image has been described. However, only one of the number of gradations and the resolution may be reduced.

［他の実施形態］
本発明の目的は次のような方法によっても達成される。即ち、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。 [Other Embodiments]
The object of the present invention can also be achieved by the following method. That is, a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded is supplied to the system or apparatus. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but the present invention includes the following cases. That is, based on the instruction of the program code, an operating system (OS) or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

更に、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。 Furthermore, the following cases are also included in the present invention. That is, the program code read from the storage medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, a CPU or the like provided in the function expansion card or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。 When the present invention is applied to the above storage medium, the storage medium stores program codes corresponding to the procedure described above.

本発明に係る第１の実施形態の撮像装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention. 第１の実施形態の撮像装置により撮影された主画像（ａ）及び距離画像（ｂ）を示す図である。It is a figure which shows the main image (a) and distance image (b) which were image | photographed with the imaging device of 1st Embodiment. 第１の実施形態の情報量決定部による処理を示すフローチャートである。It is a flowchart which shows the process by the information amount determination part of 1st Embodiment. 第１の実施形態による距離画像の距離頻度分布を示す図である。It is a figure which shows the distance frequency distribution of the distance image by 1st Embodiment. 第１の実施形態による階調数削減後の距離画像を示す図である。It is a figure which shows the distance image after the number of gradation reduction by 1st Embodiment. 第１の実施形態の撮像装置により撮影された主画像（ａ）及び距離画像（ｂ）を示す図である。It is a figure which shows the main image (a) and distance image (b) which were image | photographed with the imaging device of 1st Embodiment. 第１の実施形態による距離画像の距離頻度分布を示す図である。It is a figure which shows the distance frequency distribution of the distance image by 1st Embodiment. 第１の実施形態による階調数削減後の距離画像を示す図である。It is a figure which shows the distance image after the number of gradation reduction by 1st Embodiment. 第１の実施形態による距離画像の距離頻度分布を示す図である。It is a figure which shows the distance frequency distribution of the distance image by 1st Embodiment. 本発明に係る第２の実施形態の撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device of 2nd Embodiment which concerns on this invention. 第２の実施形態の情報量決定部による処理を示すフローチャートである。It is a flowchart which shows the process by the information amount determination part of 2nd Embodiment. 第２の実施形態の撮像装置により撮影された画像を示す図である。It is a figure which shows the image image | photographed with the imaging device of 2nd Embodiment. 第２の実施形態によるズーム倍率と距離画像の階調数との関係を示す図である。It is a figure which shows the relationship between the zoom magnification by the 2nd Embodiment, and the number of gradations of a distance image. 本発明に係る第３の実施形態の撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device of 3rd Embodiment which concerns on this invention. 第３の実施形態の情報量決定部による処理を示すフローチャートである。It is a flowchart which shows the process by the information amount determination part of 3rd Embodiment. 従来技術による画像処理を説明する図である。It is a figure explaining the image processing by a prior art.

符号の説明Explanation of symbols

１００光学系
１０１撮像素子
１０２主画像信号処理部
１０３符号化部
１０４インターフェース
１０５記録媒体
１１０距離画像信号処理部
１１１頻度解析部
１１２，１４１２情報量削減部
１０１１，１４１１情報量決定部
１０２０，１４２０システム制御部 DESCRIPTION OF SYMBOLS 100 Optical system 101 Image pick-up element 102 Main image signal processing part 103 Encoding part 104 Interface 105 Recording medium 110 Distance image signal processing part 111 Frequency analysis part 112,1412 Information amount reduction part 1011,1411 Information amount determination part 1020,1420 System control Part

Claims

被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、
前記距離画像から得られる前記被写体までの距離情報を用いて前記距離画像の階調数を決定する決定手段と、
前記決定手段により決定された階調数となるように前記距離画像の階調数を削減する削減手段と、
前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有することを特徴とする撮像装置。 In an imaging apparatus for acquiring a distance image representing a distance to a subject and a main image obtained by imaging the subject, and encoding and recording each image,
Determining means for determining the number of gradations of the distance image using distance information to the subject obtained from the distance image;
Reduction means for reducing the number of gradations of the distance image so as to be the number of gradations determined by the determination means;
An image pickup apparatus comprising: a recording unit that encodes and records the distance image in which the number of gradations is reduced by the reduction unit.

被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、
前記主画像の符号化に係る圧縮率に応じて前記距離画像の階調数を決定する決定手段と、
前記決定手段により決定された階調数となるように前記距離画像の階調数を削減する削減手段と、
前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有することを特徴とする撮像装置。 In an imaging apparatus for acquiring a distance image representing a distance to a subject and a main image obtained by imaging the subject, and encoding and recording each image,
Determining means for determining the number of gradations of the distance image according to a compression rate relating to encoding of the main image;
Reduction means for reducing the number of gradations of the distance image so as to be the number of gradations determined by the determination means;
An image pickup apparatus comprising: a recording unit that encodes and records the distance image in which the number of gradations is reduced by the reduction unit.

前記主画像と前記距離画像とを同時に撮像する撮像手段を更に有することを特徴とする請求項１又は２に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising an imaging unit that simultaneously captures the main image and the distance image.

前記削減手段は、前記距離画像における被写体距離の頻度分布情報を前記距離情報として用いて前記距離画像の階調数を削減することを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the reduction unit reduces the number of gradations of the distance image using frequency distribution information of the subject distance in the distance image as the distance information.

前記削減手段は、前記被写体距離の頻度分布情報から極大点を検出し、当該極大点の数に応じて前記距離画像の階調数を削減することを特徴とする請求項４に記載の撮像装置。 The imaging apparatus according to claim 4, wherein the reduction unit detects a local maximum point from the frequency distribution information of the subject distance, and reduces the number of gradations of the distance image according to the number of local maximum points. .

前記削減手段は、前記被写体距離の頻度分布情報の極大点の数が少ないほど前記距離画像の階調削減量を多くし、極大点の数が多いほど前記距離画像の階調削減量を少なくすることを特徴とする請求項５に記載の撮像装置。 The reduction means increases the gradation reduction amount of the distance image as the number of maximum points of the frequency distribution information of the subject distance decreases, and decreases the gradation reduction amount of the distance image as the number of maximum points increases. The imaging apparatus according to claim 5.

前記削減手段は、前記距離画像における被写体距離の頻度分布情報と前記主画像の撮影条件とを前記距離情報として用いて前記距離画像の階調数を削減することを特徴とする請求項１に記載の撮像装置。 2. The reduction unit according to claim 1, wherein the reduction unit uses the frequency distribution information of the subject distance in the distance image and the photographing condition of the main image as the distance information to reduce the number of gradations of the distance image. Imaging device.

前記撮影条件とは撮影モードであることを特徴とする請求項７に記載の撮像装置。 The imaging apparatus according to claim 7, wherein the photographing condition is a photographing mode.

前記削減手段は、前記撮影モードが近景と遠景の被写体によって構成されるシーンを撮影するモードの場合は、他のモード時に比べて前記距離画像の階調削減量を多くすることを特徴とする請求項８に記載の撮像装置。 The reduction means increases the gradation reduction amount of the distance image when the shooting mode is a mode for shooting a scene composed of a foreground object and a distant subject, as compared to other modes. Item 9. The imaging device according to Item 8.

前記削減手段は、前記撮影モードが遠景の被写体を中心に構成されるシーンを撮影するモードの場合は、他のモード時に比べて前記距離画像の階調削減量を少なくすることを特徴とする請求項８又は９に記載の撮像装置。 The reduction means, when the shooting mode is a mode for shooting a scene composed mainly of a distant subject, reduces the amount of gradation reduction of the distance image as compared to other modes. Item 10. The imaging device according to Item 8 or 9.

前記記録手段は、前記撮影モードが遠景の被写体を中心に構成されるシーンを撮影するモードの場合は、前記距離画像を記録しないことを特徴とする請求項８又は９に記載の撮像装置。 10. The image pickup apparatus according to claim 8, wherein the recording unit does not record the distance image when the shooting mode is a mode for shooting a scene composed mainly of a distant subject.

前記撮影条件とはズーム情報であることを特徴とする請求項７に記載の撮像装置。 The imaging apparatus according to claim 7, wherein the photographing condition is zoom information.

前記削減手段は、ズームの状態が望遠側になるに従って前記距離画像の階調削減量を多くし、ズームの状態が広角側になるに従って前記距離画像の階調削減量を少なくすることを特徴とする請求項１２に記載の撮像装置。 The reducing means increases the gradation reduction amount of the distance image as the zoom state becomes the telephoto side, and decreases the gradation reduction amount of the distance image as the zoom state becomes the wide angle side. The imaging device according to claim 12.

前記削減手段は、前記主画像の圧縮率が高くなるほど前記距離画像の階調削減量を多くし、前記圧縮率が低くなるほど前記距離画像の階調削減量を少なくすることを特徴とする請求項２に記載の撮像装置。 The reduction means increases the gradation reduction amount of the distance image as the compression ratio of the main image increases, and decreases the gradation reduction amount of the distance image as the compression ratio decreases. 2. The imaging device according to 2.

前記決定手段は、前記主画像の符号化に係る圧縮率に応じて前記距離画像の解像度をさらに決定し、
前記削減手段は、前記決定手段により決定された解像度となるように前記距離画像の解像度を削減することを特徴とする請求項２に記載の撮像装置。 The determining means further determines the resolution of the distance image according to a compression rate related to the encoding of the main image,
It said reducing means includes an imaging device according to claim 2, characterized in that to reduce the resolution of the range image so that the determined resolution by the decision means.

被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置における画像記録方法であって、
前記距離画像から得られる前記被写体までの距離情報を用いて前記距離画像の階調数を決定する決定ステップと、
決定された前記階調数となるように前記距離画像の階調数を削減する削減ステップと、
前記階調数が削減された前記距離画像を符号化して記録媒体に記録する記録ステップと、を有することを特徴とする画像記録方法。 An image recording method in an imaging apparatus for acquiring a distance image representing a distance to a subject and a main image obtained by imaging the subject, and encoding and recording each image,
A determination step of determining the number of gradations of the distance image using distance information to the subject obtained from the distance image;
A reduction step of reducing the number of gradations of the distance image so as to be the determined number of gradations ;
And a recording step of encoding and recording the distance image with the reduced number of gradations on a recording medium.

被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置における画像記録方法であって、
前記主画像の符号化に係る圧縮率に応じて前記距離画像の階調数を決定する決定ステップと、
決定された階調数となるように前記距離画像の階調数を削減する削減ステップと、
前記階調数が削減された前記距離画像を符号化して記録する記録ステップと、を有することを特徴とする画像記録方法。 An image recording method in an imaging apparatus for acquiring a distance image representing a distance to a subject and a main image obtained by imaging the subject, and encoding and recording each image,
A determination step of determining the number of gradations of the distance image according to a compression rate relating to encoding of the main image;
A reduction step of reducing the number of gradations of the distance image so as to be the determined number of gradations;
And a recording step of encoding and recording the distance image in which the number of gradations is reduced.

被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置のプロセッサを、
前記距離画像から得られる前記被写体までの距離情報を用いて前記距離画像の階調数を決定する決定手段と、
前記決定手段により決定された階調数となるように前記距離画像の階調数を削減する削減手段と、
前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段として機能させることを特徴とするプログラム。 A processor of an imaging apparatus that acquires a distance image representing a distance to a subject and a main image obtained by imaging the subject and encodes and records each image,
Determining means for determining the number of gradations of the distance image using distance information to the subject obtained from the distance image;
Reduction means for reducing the number of gradations of the distance image so as to be the number of gradations determined by the determination means;
A program that functions as a recording unit that encodes and records the distance image in which the number of gradations is reduced by the reduction unit.

被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置のプロセッサを、
前記主画像の符号化に係る圧縮率に応じて前記距離画像の階調数を決定する決定手段と、
前記決定手段により決定された階調数となるように前記距離画像の階調数を削減する削減手段と、
前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段として機能させることを特徴とするプログラム。 A processor of an imaging apparatus that acquires a distance image representing a distance to a subject and a main image obtained by imaging the subject and encodes and records each image,
Determining means for determining the number of gradations of the distance image according to a compression rate relating to encoding of the main image;
Reduction means for reducing the number of gradations of the distance image so as to be the number of gradations determined by the determination means;
A program that functions as a recording unit that encodes and records the distance image in which the number of gradations is reduced by the reduction unit.