JP4942106B2 - Depth data output device and depth data receiver - Google Patents

Depth data output device and depth data receiver Download PDF

Info

Publication number
JP4942106B2
JP4942106B2 JP2007168484A JP2007168484A JP4942106B2 JP 4942106 B2 JP4942106 B2 JP 4942106B2 JP 2007168484 A JP2007168484 A JP 2007168484A JP 2007168484 A JP2007168484 A JP 2007168484A JP 4942106 B2 JP4942106 B2 JP 4942106B2
Authority
JP
Japan
Prior art keywords
depth data
subject
depth
display
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007168484A
Other languages
Japanese (ja)
Other versions
JP2009010557A (en
Inventor
孝憲 妹尾
健詞 山本
隆太朗 大井
智之 三科
誠人 奥井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2007168484A priority Critical patent/JP4942106B2/en
Publication of JP2009010557A publication Critical patent/JP2009010557A/en
Application granted granted Critical
Publication of JP4942106B2 publication Critical patent/JP4942106B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a depth data output device and a depth data receiver, capable of obtaining a depth value (depth data) that is easily handled when creating a natural arbitrary viewpoint video image from a plurality of camera video images. <P>SOLUTION: The depth data output device 1 outputs depth data defined by distances from lenses of a plurality of cameras photographing an object to the object and is provided with a parallax data calculating means 3 for calculating parallax data, a storing means 5 for storing a focal length, a distance calculating means 7 for calculating an object distance, a coefficient selecting means 9 for selecting a coefficient to be multiplied to an image scale factor, and a depth data calculating means 11 for calculating depth data. <P>COPYRIGHT: (C)2009,JPO&amp;INPIT

Description

本発明は、複数のカメラで撮影したカメラ映像から、任意視点映像を作成する際に必要な、被写体を撮影した複数のカメラのレンズから被写体までの距離（以下、被写体距離と言う）によって規定される表示映像に見かけの奥行を与える為の奥行データを出力する奥行データ出力装置及び奥行データ受信装置に関する。   The present invention is defined by the distance (hereinafter referred to as subject distance) from the lens of the plurality of cameras that photographed the subject to the subject, which is necessary when creating an arbitrary viewpoint image from the camera images photographed by the plurality of cameras. The present invention relates to a depth data output device and a depth data receiving device that output depth data for giving an apparent depth to a displayed video.

従来、映像を解析する事により、遠景、中景、近景などの被写体を識別し、それぞれに奥行値（奥行データ）を与える方法が特許文献１に開示されている。この方法では、被写体像の奥行値は相対的な値であり、且つ、注目する被写体に合わせて、非線形に奥行値を与えることとしている。   Conventionally, Patent Document 1 discloses a method of identifying a subject such as a distant view, a middle view, and a close view by analyzing a video and giving a depth value (depth data) to each subject. In this method, the depth value of the subject image is a relative value, and the depth value is given nonlinearly in accordance with the subject of interest.

この特許文献１に開示されている方法を、図１６を参照してさらに詳細に説明する。
この図１６に示される映像１１０は、通常のカメラで撮影された平面画像であり、開示されている方法では、送信側の送信装置（図示せず）にて、この映像１１０を解析する事により、遠景の山や、近景の人物を抽出し、それぞれに奥行値を適宜与える。そして、この方法では、与えられた奥行値を、デプスマップ１３０として、２Ｄ画像１２０と共に、受信装置（図示せず）に送る。 The method disclosed in Patent Document 1 will be described in more detail with reference to FIG.
The video 110 shown in FIG. 16 is a planar image taken with a normal camera. In the disclosed method, the video 110 is analyzed by a transmission device (not shown) on the transmission side. Then, a distant view mountain and a close view person are extracted, and a depth value is appropriately given to each. In this method, the given depth value is sent as a depth map 130 together with the 2D image 120 to a receiving device (not shown).

そうすると、受信装置では、与えられたデプスマップ１３０の値に従い視差量に変換し、２Ｄ画像１２０の被写体像位置を左右相反する方向にずらした２枚の視差画像を生成し、両眼視差の原理に基づく立体映像をディスプレイ（図示せず）に表示する。こうすることで、このディスプレイを見る観察者は、立体映像のズレ量である視差量に応じて、大きな視差量の被写体の再生像を近くに、小さな視差量の被写体の再生像を遠くに感じることができる。この立体映像のズレ量を、希望する視点位置に応じて変えることで、任意視点から立体映像又は平面映像を見る事が出来る。   Then, the receiving apparatus converts the parallax amount according to the given value of the depth map 130, generates two parallax images in which the subject image position of the 2D image 120 is shifted in the opposite direction, and the principle of binocular parallax. Is displayed on a display (not shown). By doing this, an observer who sees the display feels a reproduced image of a subject with a large amount of parallax close and a distant image of a subject with a small amount of parallax according to the amount of parallax that is a shift amount of a stereoscopic image. be able to. By changing the amount of shift of the stereoscopic video according to the desired viewpoint position, the stereoscopic video or the planar video can be viewed from an arbitrary viewpoint.

なお、受信装置にて、デプスマップ１３０として送られた奥行値を、視差量に変換する際には、遠方の被写体の視差量が小さく、近景の被写体の視差量が大きくなる様に行われる。この際に、送信側の送信装置は、重要と思われる被写体像の奥行値がより詳細に与えられる様に、奥行値の分解能を非線形に変えられる態様（非線形関数として扱うこと）を取っており、その非線形関数の情報や、分解能を表すスケール情報等と共に受信装置に送っている。   Note that when the depth value sent as the depth map 130 is converted into a parallax amount by the receiving device, the parallax amount of a distant subject is small and the parallax amount of a near-field subject is large. At this time, the transmitting device on the transmitting side takes a mode (treating it as a non-linear function) in which the resolution of the depth value can be changed nonlinearly so that the depth value of the subject image considered to be important is given in more detail. The non-linear function information, the scale information indicating the resolution, and the like are sent to the receiving apparatus.

この奥行値の分解能（以下、奥行分解能と略す）を表すスケール情報の例を、図１７に示す。この図１７において、図１７（ａ）は、奥行分解能を線形尺度で与えた例であり、被写体像の奥行値は、映像のどの位置でも同じ分解能で与えられる。図１７（ｂ）は、奥行分解能を対数尺度で与えた例であり、近くの被写体の大きな奥行値は細かな分解能で与えられ、遠くの被写体の小さな奥行値はより粗い分解能で与えられる。そして、スケール情報は、通常、その映像の中で最も遠い被写体と最も近くの被写体像の奥行値の差が、ディスプレイで表せる奥行値の最大値以内になる様に与えられる。   An example of scale information representing the resolution of the depth value (hereinafter abbreviated as depth resolution) is shown in FIG. In FIG. 17, FIG. 17A is an example in which the depth resolution is given by a linear scale, and the depth value of the subject image is given at the same resolution at any position in the video. FIG. 17B is an example in which the depth resolution is given on a logarithmic scale. A large depth value of a near subject is given with a fine resolution, and a small depth value of a far subject is given with a coarser resolution. The scale information is usually given so that the difference between the depth values of the farthest subject and the nearest subject image in the video is within the maximum depth value that can be represented on the display.

しかし、特許文献１に開示された方法では、複数のカメラで撮影したカメラ映像を、自由に切り替えたり、中間のカメラ位置からのカメラ映像を合成して表示したりするような、自由視点テレビに応用する場合、カメラ映像を切り替えると、カメラに写る被写体の範囲によって、同じ被写体における被写体像の奥行値が変化し、不自然に見えることが生じる。さらに、２台のカメラで撮影したカメラ映像から、奥行値に応じて被写体像の位置をずらして、これらのカメラの中間位置における映像を合成する場合には、２台のカメラ間で同じ被写体における被写体像の奥行値が異なると、合成された映像の奥行を正しく表示できない現象が生じる。   However, in the method disclosed in Patent Document 1, a free-viewpoint television in which camera images taken by a plurality of cameras are freely switched or a camera image from an intermediate camera position is synthesized and displayed. In application, when the camera video is switched, the depth value of the subject image in the same subject changes depending on the range of the subject captured by the camera, and it may appear unnatural. Furthermore, when the image of the subject image is shifted from the camera images taken by the two cameras in accordance with the depth value and the images at the intermediate positions of these cameras are combined, the same subject between the two cameras If the depth values of the subject images are different, a phenomenon that the depth of the synthesized video cannot be displayed correctly occurs.

この現象を解決するための従来方法が特許文献２に開示されている。この特許文献２に開示されている方法では、複数のカメラを使う場合は、２台のカメラで撮影したカメラ映像間のマッチング探索を行って、両者で同じ被写体の被写体像の位置（映像中の位置）のずれ量である視差量を求めて奥行値としている。この場合の視差量は、隣り合う２台のカメラ間隔Ｌと、カメラから被写体までの被写体距離Ｄによって決まる。   A conventional method for solving this phenomenon is disclosed in Patent Document 2. In the method disclosed in Patent Document 2, when a plurality of cameras are used, a matching search between camera images taken by two cameras is performed, and the positions of subject images of the same subject (both in the images) The amount of parallax, which is a shift amount of (position), is obtained as a depth value. The amount of parallax in this case is determined by the distance L between two adjacent cameras and the subject distance D from the camera to the subject.

しかし、この視差量は、カメラ間隔Ｌに応じて変化するので、異なるカメラ間隔で撮影されたカメラ映像を同じ立体ディスプレイに表示する場合には、表示される映像の奥行感が変化し、映像がミニチュアに見える矮小効果が発生したり、表示される映像が平板のように感じられたりする書割効果が発生し、映像の奥行が不自然に見える現象が生じる。   However, since the amount of parallax changes according to the camera interval L, when displaying camera images taken at different camera intervals on the same stereoscopic display, the sense of depth of the displayed image changes, and the image is A dwarf effect that looks like a miniature occurs, or a cracking effect that makes the displayed image feel like a flat plate occurs, resulting in a phenomenon in which the depth of the image looks unnatural.

この現象を解決するための別の従来方法が特許文献３に開示されている。この特許文献３に開示されている方法では、距離を測定する為の光を被写体に照射し、被写体から反射して返って来る光の遅延時間を計測して、被写体までの絶対距離を求め、奥行値とするものである。なお、遅延時間の計測には、時間的に変化する光の位相遅れを測るものや、パルス状のレーザ光が被写体に反射して返って来るまでの時間を計るものなどがある。この場合、奥行値は被写体までの絶対距離であるので、カメラ映像を切り替えても被写体像の奥行値は変わらず、切り替えたカメラ映像の表示が自然なものになる。
特開２００４−０７１１０２号公報 特開２００１−６１１６４号公報 特開２００５−１６４３４９号公報 Another conventional method for solving this phenomenon is disclosed in Patent Document 3. In the method disclosed in Patent Document 3, the subject is irradiated with light for measuring the distance, the delay time of the light reflected and returned from the subject is measured, and the absolute distance to the subject is obtained. Depth value. Note that the delay time may be measured by measuring the phase delay of light that changes with time, or by measuring the time until the pulsed laser light is reflected back to the subject. In this case, since the depth value is an absolute distance to the subject, the depth value of the subject image does not change even when the camera image is switched, and the display of the switched camera image becomes natural.
JP 2004-071102 A JP 2001-61164 A JP 2005-164349 A

しかしながら、特許文献３でいう奥行値は、被写体までの絶対距離であるので、近くの被写体ほど映像としては大きく写るのに、当該奥行値は小さな値となり、近くの被写体像の奥行を詳しく表示する為には、奥行値の分解能を大きくしなければならず、奥行値の分解能が非常に大きくなるという問題がある。例えば、カメラ映像に空などの無限遠の被写体を含む事が頻繁にあるが、その奥行値は無限大になり、扱い難いと言う問題がある。   However, since the depth value in Patent Document 3 is an absolute distance to the subject, the closer the subject is, the larger the image is, but the smaller the depth value is, and the depth of the nearby subject image is displayed in detail. Therefore, the resolution of the depth value has to be increased, and there is a problem that the resolution of the depth value becomes very large. For example, a camera image often includes an object at infinity such as the sky, but the depth value becomes infinite and is difficult to handle.

そこで、本発明は、前記した問題を解決するもので、複数のカメラ映像から自然な任意視点映像を作成する際に、取り扱い容易な奥行値（奥行データ）を得ることができる奥行データ出力装置及び奥行データ受信装置を提供することを目的とする。   Therefore, the present invention solves the above-described problem, and when creating a natural arbitrary viewpoint image from a plurality of camera images, a depth data output device capable of obtaining a depth value (depth data) that is easy to handle and An object is to provide a depth data receiving apparatus.

前記課題を解決するため、請求項１に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、記憶手段と、視差データ算出手段と、距離算出手段と、奥行データ算出手段と、を備える構成とした。   In order to solve the above problem, the depth data output device according to claim 1 is a depth data output device that outputs depth data defined by the distance from the lens of a plurality of cameras that photographed the subject to the subject, The storage unit, the parallax data calculation unit, the distance calculation unit, and the depth data calculation unit are provided.

かかる構成によれば、奥行データ出力装置は、視差データ算出手段によって、カメラで撮影した少なくとも２つの映像データに基づいて、２つの映像データのズレ量である視差データを算出する。続いて、奥行データ出力装置は、距離算出手段によって、視差データ算出手段で算出した視差データから、カメラのレンズから被写体までの距離である被写体距離を算出する。そして、奥行データ出力装置は、奥行データ算出手段によって、距離算出手段で算出された被写体距離をＤとし、記憶手段に記憶されているレンズの焦点距離をｆとして、被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、この像倍率ｆ／Ｄに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、奥行データを算出する。 According to such a configuration, the depth data output device calculates parallax data, which is a shift amount between the two video data, based on at least two video data captured by the camera by the parallax data calculation unit. Subsequently, the depth data output device calculates a subject distance, which is a distance from the lens of the camera to the subject, from the parallax data calculated by the parallax data calculating unit by the distance calculating unit. Then, the depth data output device uses the depth data calculation means to set the subject distance calculated by the distance calculation means as D, and let the focal length of the lens stored in the storage means be f, Depth data is calculated by multiplying the image magnification f / D by a value that changes according to the format of the display that outputs the depth data and preset conditions .

請求項２に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、距離画像撮影手段と、記憶手段と、奥行データ算出手段と、を備える構成とした。   The depth data output device according to claim 2 is a depth data output device that outputs depth data defined by the distance from the lens of a plurality of cameras that photographed the subject to the subject, and a distance image photographing means, a storage Means and depth data calculation means.

かかる構成によれば、奥行データ出力装置は、距離画像撮影手段によって、カメラから被写体までの距離を距離画像として得る。続いて、奥行データ出力装置は、奥行データ算出手段によって、記憶手段に記憶されているレンズの焦点距離をｆとし、距離画像撮影手段で撮影された距離画像から得られたカメラのレンズから被写体までの被写体距離をＤとして、被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、この像倍率ｆ／Ｄに、奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、奥行データを算出する。 According to such a configuration, the depth data output device obtains the distance from the camera to the subject as a distance image by the distance image photographing means. Subsequently, the depth data output device sets the focal length of the lens stored in the storage unit to f by the depth data calculation unit, and from the camera lens to the subject obtained from the distance image captured by the distance image capturing unit. When the subject distance is D and the image magnification between the subject and the captured subject image is f / D, the image magnification f / D depends on the format of the display that outputs the depth data and preset conditions. Depth data is calculated by multiplying the value that changes .

請求項３に記載の奥行データ出力装置は、請求項１又は２に記載の奥行データ出力装置において、前記奥行データ算出手段で使用される前記所定の値を、予め設定した条件に基づいて選択する係数選択手段を備える構成とした。 The depth data output device according to claim 3 is the depth data output device according to claim 1 or 2, wherein the predetermined value used by the depth data calculation means is selected based on a preset condition. The coefficient selecting means is provided.

かかる構成によれば、奥行データ出力装置は、係数選択手段によって、表示する際のディスプレイが奥行を持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記値にＤｆ／（Ｄ−ｆ）を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記値に１を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂがあらかじめ与えられている場合の条件のとき、前記値に前記Ｂを選択し、表示する際のディスプレイが映像に奥行を持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合の条件のとき、前記値にｆを選択し、表示する際のディスプレイが未定である場合の条件のとき、前記値に１／ｆを選択する。 According to this configuration, the depth data output device is a stereoscopic video display having a depth when displayed by the coefficient selection means, the video data is planar video data, the subject distance D and the focal length When the comparison result of comparing with f is a condition in which D >> f is not satisfied, Df / (D−f) is selected as the value , and the display at the time of display is a multi-view stereoscopic video display including two eyes, When the average distance B between human eyes is not determined, 1 is selected as the value , and the display at the time of display is a multi-view stereoscopic image display including two eyes. average when the distance B is conditions if given in advance, selects the B to the value, a display for displaying are stereoscopic image display with a depth to the image, the image data A plane image data, when said object distance D between the focal length f and the comparison result of the comparison is a condition in the case of D»f, select f to the value, if the display for displaying an undetermined For the above condition, 1 / f is selected as the value .

請求項４に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、被写体抽出手段と、記憶手段と、奥行データ算出手段と、を備える構成とした。   5. The depth data output device according to claim 4, wherein the depth data output device outputs depth data defined by the distance from the lens of a plurality of cameras that photographed the subject to the subject, the subject extracting means, and the storage means And depth data calculation means.

かかる構成によれば、奥行データ出力装置は、被写体抽出手段によって、立体映像カメラで撮影された立体映像データの各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する。そして、奥行データ出力装置は、奥行データ算出手段によって、被写体抽出手段で被写体像が抽出されるまでに前記レンズ又は前記受光面の位置が移動した移動距離から得られた像倍率ｆ／（Ｄ−ｆ）に、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、奥行データを算出する。 According to this configuration, the depth data output device extracts pixels including a frequency component higher than a preset threshold in each layer video of the stereoscopic video data captured by the stereoscopic video camera by the subject extraction unit. A region of similar color pixels including a predetermined number or more of pixels is extracted as a subject image. Then, the depth data output device has an image magnification f / (D− obtained from a moving distance that the position of the lens or the light receiving surface has moved before the subject image is extracted by the subject extraction unit by the depth data calculation unit. Depth data is calculated by multiplying f) by a value that varies depending on the format of the display that outputs the depth data and preset conditions .

請求項５に記載の奥行データ出力装置は、請求項４に記載の奥行データ出力装置において、前記奥行データ算出手段で使用する前記所定の値を、予め設定した条件に基づいて選択する係数選択手段を備える構成とした。 The depth data output device according to claim 5 is the depth data output device according to claim 4, wherein the predetermined value used by the depth data calculation means is selected based on a preset condition. It was set as the structure provided with.

かかる構成によれば、奥行データ出力装置は、係数選択手段によって、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記値に１を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂがあらかじめ与えられている場合の条件のとき、前記値に前記Ｂを選択し、表示する際のディスプレイが映像に奥行を持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記値に前記ｆを選択し、表示する際のディスプレイが未定である場合の条件のとき、前記値に１／ｆを選択する。 According to such a configuration, the depth data output device is a multi-view stereoscopic image display including two eyes when displayed by the coefficient selection means, and the condition when the average distance B between the human eyes is undetermined At this time, when the value is 1 and the display when displaying is a multi-view stereoscopic video display including two eyes, and the average distance B between human eyes is given in advance, When selecting the value B, the display when displaying is a stereoscopic video display having a depth in the video, and when the video data is stereoscopic video data, the value f is selected, 1 / f is selected for the value when the display is not yet determined.

請求項６に記載の奥行データ受信装置は、請求項１から５のいずれか一項に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示する表示映像に奥行があるように見せるためのパラメータを出力する奥行データ受信装置であって、前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、記憶手段と、奥行データ取得手段と、奥行算出手段と、を備える構成とした。     The depth data receiving device according to claim 6 receives the depth data output from the depth data output device according to any one of claims 1 to 5 and displays video data obtained by photographing the subject with the camera. A depth data receiving device that outputs a parameter for making the display video to be displayed appear to have a depth when the depth data is accompanied by a flag having a value corresponding to the display at the time of display. The depth data has a type corresponding to the flag, and includes a storage unit, a depth data acquisition unit, and a depth calculation unit.

かかる構成によれば、奥行データ受信装置は、奥行データ取得手段によって、奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する。そして、奥行データ受信装置は、記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべき所定の値を選択する。奥行算出手段によって、前記奥行データの種類に応じて変わる値を、判定された前記奥行データに掛けることで、パラメータを奥行きとして算出する。例えば、この奥行データは、放送波やネットワークを介して、受信することで、取得する。 According to this configuration, the depth data receiving device receives the depth data by the depth data acquisition unit, and determines the type of the received depth data from the flag attached to the depth data. Then, the depth data receiving apparatus selects a predetermined value to be applied to the received depth data using the focal length or the average distance stored in the storage unit. The depth is calculated by multiplying the determined depth data by a value that changes according to the type of the depth data by the depth calculation means. For example, this depth data is acquired by receiving via a broadcast wave or a network.

請求項７に記載の奥行データ受信装置は、請求項３または請求項５に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示する表示映像に奥行があるように見せるためのパラメータを出力する奥行データ受信装置であって、前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、記憶手段と、奥行データ取得手段と、係数選択手段と、奥行算出手段と、を備え、ことを特徴する。   The depth data receiving device according to claim 7 receives the depth data output from the depth data output device according to claim 3 or 5 and displays video data obtained by photographing the subject with the camera. A depth data receiving device that outputs a parameter for making a display video to be displayed appear to have a depth, and the depth data is accompanied by a flag having a value corresponding to a display at the time of display. The depth data has a type corresponding to the flag, and includes storage means, depth data acquisition means, coefficient selection means, and depth calculation means.

かかる構成によれば、奥行データ受信装置は、奥行データ取得手段によって、奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する。さらに、奥行データ受信装置は、係数選択手段によって、前記ディスプレイの種類を判定して、前記記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべき値を選択する。すなわち、奥行データ受信装置は、係数選択手段によって、表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記フラグの値に従って算出した前記カメラから前記被写体までの距離である被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記値に１を選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが送信側で未定の場合の条件のとき、前記値に前記記憶手段から読み出された前記平均距離Ｂを選択し、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、前記平均距離Ｂが送信側にあらかじめ与えられている場合の条件のとき、前記値に１を選択し、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記値に１を選択し、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合、前記値に１を選択し、表示する際のディスプレイが送信側で未定である場合の条件のとき、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、前記値にそれぞれｆＢ若しくはｆ２を選択する。そして、奥行データ受信装置は、奥行算出手段によって、奥行データに所定の値を掛けることで、パラメータを奥行きとして算出する。 According to this configuration, the depth data receiving device receives the depth data by the depth data acquisition unit, and determines the type of the received depth data from the flag attached to the depth data. Further, the depth data receiving apparatus determines the type of the display by the coefficient selection means, and selects a value to be applied to the received depth data using the focal length or the average distance stored in the storage means. . That is, the depth data receiving device is a stereoscopic video display having a depth when displayed by the coefficient selection means, the video data is planar video data, and the subject is calculated from the camera calculated according to the flag value. If the comparison result of comparing the subject distance D, which is the distance to the focal length f, and the focal length f is not D >> f, 1 is selected as the value , and the display when the display includes two eyes When the average distance B between human eyes is not determined on the transmission side, the stereoscopic distance display is a condition for selecting and displaying the average distance B read from the storage means as the value . display is multi-view stereoscopic image display comprising a binocular, when the conditions when the average distance B is given in advance to the transmitting side selects one to the value A stereoscopic image display displays when displaying has a depth to the image, when the conditions for the image data is stereoscopic image data, select 1 to the value, a display depth to images when displaying When the comparison result of comparing the subject distance D and the focal length f is D >> f, the value is selected as 1 and displayed. When the display is undecided on the transmission side, the value is fB or the value depending on whether the connected display is a multi-view stereoscopic display including two eyes or a stereoscopic video display having a depth, respectively. Select f2. Then, the depth data receiving apparatus calculates the parameter as the depth by multiplying the depth data by a predetermined value by the depth calculation means.

請求項１に記載の奥行データ出力装置によれば、視差データから得た被写体距離Ｄと、焦点距離ｆとで示す像倍率ｆ／Ｄに所定の値を掛けて、奥行データを算出するので、遠くの被写体が小さく写る場合は小さな奥行データとなり、近くの被写体が大きく写る場合は、大きな奥行データとなる。このため、奥行データ出力装置は、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。 According to the depth data output device of the first aspect, the depth data is calculated by multiplying the image magnification f / D indicated by the subject distance D obtained from the parallax data and the focal length f by a predetermined value . When a far object is small, the depth data is small, and when a near object is large, the depth data is large. Therefore, the depth data output device can obtain commonly used depth data that matches the size of the subject image in the video, and is used when creating a natural arbitrary viewpoint video from a plurality of camera videos. Can do.

請求項２に記載の奥行データ出力装置によれば、距離画像から得た被写体距離Ｄと、焦点距離ｆとで示す像倍率ｆ／Ｄに所定の値を掛けて、奥行データを算出するので、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。 According to the depth data output device of the second aspect, the depth data is calculated by multiplying the image magnification f / D indicated by the subject distance D obtained from the distance image and the focal length f by a predetermined value . Depth data that can be used in common that matches the size of the subject image in the video can be obtained, and can be used when creating a natural arbitrary viewpoint video from a plurality of camera videos.

請求項３、５に記載の奥行データ出力装置によれば、所定の値に、カメラから被写体までの被写体距離Ｄとレンズの焦点距離ｆと人間の両眼間の平均距離Ｂとから得られる値を用いることで、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、最適な奥行データを得ることができ、任意視点映像を適切に作成することができる。 According to the depth data output apparatus according to claims 3 and 5, the predetermined value is obtained from the subject distance D from the camera to the subject, the focal length f of the lens, and the average distance B between the human eyes. By using, optimal depth data can be obtained in any combination of video data type and display type, and an arbitrary viewpoint video can be created appropriately.

請求項４に記載の奥行データ出力装置によれば、レンズ又は受光面の位置を移動させながら被写体を撮影可能な立体映像カメラを用いることで、立体映像カメラで撮影された映像データの各レーヤ映像から被写体像を抽出し、この被写体像が抽出されるまでにレンズ又は受光面の位置が移動した移動距離から求めた像倍率ｆ／（Ｄ−ｆ）に所定の値を掛けて、奥行データを算出しており、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。 According to the depth data output device of claim 4, each layer image of the video data photographed by the stereoscopic video camera is used by using the stereoscopic video camera capable of photographing the subject while moving the position of the lens or the light receiving surface. The object image is extracted from the image, and the depth data is obtained by multiplying the image magnification f / (D−f) obtained from the movement distance by which the position of the lens or the light receiving surface is moved until the object image is extracted by a predetermined value. The depth data that has been calculated and can be used in common with the size of the subject image in the video can be obtained, and can be used when creating a natural arbitrary viewpoint video from a plurality of camera videos.

請求項６に記載の奥行データ受信装置によれば、取得した奥行データの種類とディスプレイの種類から、奥行データに掛ける所定の値を決めて、任意視点映像の奥行を算出しており、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、適切な奥行を得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。   According to the depth data receiving device according to claim 6, the depth of the arbitrary viewpoint video is calculated by determining a predetermined value to be applied to the depth data from the type of the acquired depth data and the type of the display. Appropriate depth can be obtained in any combination of display type and display type, and can be used when creating a natural arbitrary viewpoint video from a plurality of camera videos.

請求項７に記載の奥行データ受信装置によれば、レンズの焦点距離ｆと人間の両眼間の平均距離Ｂとから得られる値を用いることで、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、適切な奥行を得ることができる。   According to the depth data receiving apparatus of the seventh aspect, by using a value obtained from the focal length f of the lens and the average distance B between the human eyes, the type of video data and the type of display can be freely set. In combination, an appropriate depth can be obtained.

以下、本発明の実施の形態について、図面を参照しながら説明する。
［第１実施形態］
本発明の第１実施形態に係る任意視点映像（自由視点映像）の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図１に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
A configuration of an arbitrary viewpoint video system including a depth data output device that outputs depth data of an arbitrary viewpoint video (free viewpoint video) according to the first embodiment of the present invention will be described with reference to FIG.

この任意視点映像システムＳは、複数のカメラ１０、２０、・・・と、送信機３０と、受信機４０とを備えている。各カメラ１０、２０、・・・で撮影された映像データは、送信機３０に送られ、それぞれの映像データと奥行データとが多重化されて、受信機４０に送られる。   The arbitrary viewpoint video system S includes a plurality of cameras 10, 20,..., A transmitter 30, and a receiver 40. The video data captured by each camera 10, 20,... Is sent to the transmitter 30, and the respective video data and depth data are multiplexed and sent to the receiver 40.

映像データは、通常、カメラ１０、２０、・・・のレンズ後方に設置された画素ごとに赤緑青色のフィルタを持ったイメージセンサ（図示せず）によって取得されたものである。ただし、このイメージセンサで取得された赤緑青色の画素値をそのまま受信機４０に送ると、各色８ビットのデータとしても、１画素当たり２４ビットが必要で効率が悪いので、この映像データを、人の目の感度が高い輝度値と感度の低い色差値に変換している。
そして、送信機３０において、変換した色差値は、その画素数を輝度値の画素数に対して２分の１や４分の１に間引いて、当該映像データのデータ量を減らして送る。なお、この間引きは、各カメラ１０、２０で行ってもよいし、送信機３０で行ってもよい。 The video data is usually acquired by an image sensor (not shown) having a red, green, and blue filter for each pixel installed behind the lenses of the cameras 10, 20,. However, if the red, green, and blue pixel values acquired by this image sensor are sent to the receiver 40 as they are, even if each color is 8 bits of data, 24 bits per pixel are required and the efficiency is low. It is converted into a luminance value with high human eye sensitivity and a color difference value with low sensitivity.
Then, in the transmitter 30, the converted color difference value is sent out by reducing the number of pixels to 1/2 or 1/4 of the number of pixels of the luminance value to reduce the data amount of the video data. This thinning may be performed by the cameras 10 and 20 or by the transmitter 30.

奥行データは、複数のカメラ１０、２０、・・・で撮影した複数の映像データから、この映像データに映っている被写体の再生像を、任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定するものである。なお、この任意視点映像の作成は、受信機４０で行われることとしている。ちなみに、この奥行データに受信側で所定の係数あるいは値を掛けたものが、映像の奥行きとなるが、この奥行きは、映像を表示するディスプレイによって異なり、多眼立体映像ディスプレイの場合は、表示映像のズレ量である視差量を表し、映像自身が奥行きを持つ立体映像ディスプレイの場合は、その映像の奥行量を表す。いずれも立体映像の奥行きを表す量なので、一括して表示映像の奥行きまたは奥行値と称す。 Depth data is a subject for creating an arbitrary viewpoint video in which a reproduction image of a subject reflected in the video data is displayed from an arbitrary viewpoint from a plurality of video data photographed by a plurality of cameras 10, 20,. It defines the depth of the image. The creation of the arbitrary viewpoint video is performed by the receiver 40. By the way, this depth data multiplied by a predetermined coefficient or value on the receiving side is the depth of the video, but this depth varies depending on the display that displays the video. In the case of a stereoscopic video display having a depth of the video itself, it represents the depth of the video. Since both are quantities representing the depth of a stereoscopic image, they are collectively referred to as the depth or depth value of a display image.

ここで、図５（ａ）を参照して、カメラ１０で、撮影した映像と奥行データとの関係について説明する。
図５（ａ）に示すように、カメラ１０のレンズ１２から任意の被写体距離Ｄにある被写体「猫」（以下、符号５０と付す）は、レンズ１２から当該レンズ１２の焦点距離ｆだけ離れた位置にできる被写体像６０として、カメラ１０によって撮影される。 Here, with reference to Fig.5 (a), the relationship between the image | video and depth data which were image | photographed with the camera 10 is demonstrated.
As shown in FIG. 5A, the subject “cat” (hereinafter denoted by reference numeral 50) at an arbitrary subject distance D from the lens 12 of the camera 10 is separated from the lens 12 by the focal length f of the lens 12. The image is taken by the camera 10 as a subject image 60 that can be positioned.

このとき、被写体５０の大きさ（サイズ）をＡとし、被写体像６０の大きさ（サイズ）をａとすると、この比である像倍率は、カメラ１０のレンズ１２から被写体５０までの被写体距離Ｄとレンズ１２の焦点距離ｆの比として、
ａ／Ａ＝ｆ／Ｄ ・・・（１）
となる。 At this time, if the size (size) of the subject 50 is A and the size (size) of the subject image 60 is a, the image magnification that is this ratio is the subject distance D from the lens 12 of the camera 10 to the subject 50. And the focal length f of the lens 12
a / A = f / D (1)
It becomes.

これより、被写体像６０は、被写体５０までの被写体距離Ｄに反比例して小さくなる事が分かる。   From this, it can be seen that the subject image 60 becomes smaller in inverse proportion to the subject distance D to the subject 50.

しかし、図５（ａ）をさらに詳細に見ると、レンズ１２の後方の位置ｆで撮影される被写体像６０は、完全には焦点が合っておらず、サイズａで形成され若干ぼけた像になっている。そして、完全に焦点が合った被写体像７０は、レンズ１２の後方の位置ｄに若干大きなサイズｂで形成される。図５（ａ）より、この被写体像７０の位置ｄは、
ｄ＝Ｄｆ／（Ｄ−ｆ） ・・・（２）
となり、被写体５０までの被写体距離Ｄによって異なることとなる。 However, when FIG. 5A is seen in more detail, the subject image 60 photographed at the position f behind the lens 12 is not completely focused, and is a slightly blurred image formed with the size a. It has become. Then, the subject image 70 that is completely focused is formed with a slightly large size b at a position d behind the lens 12. From FIG. 5A, the position d of the subject image 70 is
d = Df / (D−f) (2)
Thus, the distance varies depending on the subject distance D to the subject 50.

そして、位置ｄの被写体像７０は、当該位置ｄが被写体５０までの被写体距離Ｄによって異なるが、被写体５０の各部分の被写体距離Ｄはすべて異なっている為に、ひとつの被写体であっても、その部分はすべて異なる位置ｄに結像し、立体映像が形成されることになる。このように、焦点が合っている被写体像７０までの距離ｄは、焦点距離ｆとは異なる位置に形成される。そのため、奥行データは、像倍率ｆ／Ｄに後記する所定の値を掛けた値として示される。すなわち、奥行データは、所定の係数あるいは値として、Ｄｆ／（Ｄ−ｆ）、１／ｆ、ｆ、１、Ｂ（両眼間の平均距離）のいずれかを像倍率ｆ／Ｄに掛けた値である。 The subject image 70 at the position d is different depending on the subject distance D to the subject 50. However, since the subject distance D of each part of the subject 50 is different, even if it is one subject, All of these portions are imaged at different positions d, and a stereoscopic image is formed. Thus, the distance d to the subject image 70 in focus is formed at a position different from the focal distance f. Therefore, the depth data is indicated as a value obtained by multiplying the image magnification f / D by a predetermined value described later. That is, the depth data is obtained by multiplying the image magnification f / D by one of Df / (D−f), 1 / f, f, 1, and B (average distance between both eyes) as a predetermined coefficient or value . Value.

カメラ１０、２０、・・・は、様々な被写体を撮影する一般的なものであり、この実施形態では、被写体として「猫」を撮影している。そして、カメラ１０、２０、・・・が有しているレンズ１２、２２を介して、この被写体「猫」が反転（上下が逆）した状態で撮影されている。   The cameras 10, 20,... Are general ones that photograph various subjects. In this embodiment, “cat” is photographed as a subject. Then, the subject “cat” is photographed in an inverted state (upside down) through the lenses 12 and 22 of the cameras 10, 20,.

送信機３０は、カメラ１０、２０、・・・で撮影された映像データを符号化した符号化映像データと奥行データとを多重化した多重化データを、複数の受信機４０に送信するもので、奥行データ出力装置１と、映像データ符号化器２と、多重化器４とを備えている。   The transmitter 30 transmits multiplexed data obtained by multiplexing encoded video data obtained by encoding video data captured by the cameras 10, 20,... And depth data to a plurality of receivers 40. A depth data output device 1, a video data encoder 2, and a multiplexer 4.

映像データ符号化器２は、映像データをＭＰＥＧ−２等の符号化方式で符号化して、多重化器４に出力するものである。
多重化器４は、映像データ符号化器２で符号化された符号化映像データと、奥行データ出力装置１から出力された奥行データとを多重化し、多重化した多重化データを放送波又はネットワークデータとして出力するものである。なお、これら映像データ符号化器２及び多重化器４は、既存のもので構成されている。 The video data encoder 2 encodes video data by an encoding method such as MPEG-2 and outputs the encoded data to the multiplexer 4.
The multiplexer 4 multiplexes the encoded video data encoded by the video data encoder 2 and the depth data output from the depth data output device 1, and the multiplexed data is broadcast waves or a network. Output as data. The video data encoder 2 and the multiplexer 4 are composed of existing ones.

奥行データ出力装置１は、被写体を複数のカメラ１０、２０、・・・で撮影した複数の映像データ（この実施形態では、平面映像データとも言う）が入力され、これらの映像データから、被写体の再生像を任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定する奥行データを出力するもので、視差データ算出手段３と、記憶手段５と、距離算出手段７と、係数選択手段９と、奥行データ算出手段１１とを備えている。   The depth data output device 1 receives a plurality of pieces of video data (also referred to as plane video data in this embodiment) obtained by photographing a subject with a plurality of cameras 10, 20,. Depth data that defines the depth of the subject image when creating an arbitrary viewpoint video for displaying a reproduced image from an arbitrary viewpoint, and outputs parallax data calculation means 3, storage means 5, distance calculation means 7, and coefficient Selection means 9 and depth data calculation means 11 are provided.

視差データ算出手段３は、カメラ１０、２０、・・・から入力された映像データの中の少なくとも２つの平面映像データと、記憶手段５に記憶されているカメラの設置間隔とに基づいて、視差データ（視差量）を算出するものである。   The parallax data calculation means 3 is based on at least two pieces of plane video data among the video data input from the cameras 10, 20,... And the camera installation interval stored in the storage means 5. Data (parallax amount) is calculated.

なお、２つの平面映像データは、隣り合う２台のカメラから入力されたものを使うことを前提にしている。ただし、２つの映像データは、映像データを撮影したカメラが複数台ある場合（特に、カメラ間の距離が近い場合）で、あるカメラから別のカメラまでのカメラ設置間隔が判明している場合、隣り合う２台のカメラで撮影されたものでなくてもよい。また、視差データの算出の仕方については、後ほど、図２を参照して説明する。   Note that it is assumed that the two planar video data are input from two adjacent cameras. However, if there are multiple cameras that captured the video data (especially when the distance between the cameras is short) and the camera installation interval from one camera to another is known, It may not be taken by two adjacent cameras. Further, the method of calculating the parallax data will be described later with reference to FIG.

記憶手段５は、カメラ１０、２０、・・・ごとのカメラ間隔（後記するＬ）と、カメラ１０、２０、・・・が有しているレンズの焦点距離とを記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。このレンズの焦点距離をｆとする。   The storage means 5 stores the camera interval (L to be described later) for each camera 10, 20,... And the focal length of the lens of the camera 10, 20,. It is constituted by a recording medium such as a general memory. Let the focal length of this lens be f.

距離算出手段７は、視差データ算出手段３で算出された視差データから、カメラ１０、２０、・・・から被写体までの距離を算出するものである。このカメラ１０、２０、・・・から被写体までの被写体距離をＤとする。この距離の算出の仕方については、後ほど、図２を参照して説明する。   The distance calculation means 7 calculates the distance from the cameras 10, 20,... To the subject from the parallax data calculated by the parallax data calculation means 3. A subject distance from the camera 10, 20,... A method of calculating this distance will be described later with reference to FIG.

係数選択手段９は、入力された情報と距離算出手段７で算出された被写体距離Ｄとに基づいて、奥行データ算出手段１１で奥行データを算出する際に用いる所定の値を選択するものである。この所定の値は、映像データがどのように撮影されたのか（平面映像データ又は立体映像データ）と、記憶手段５に記憶されているレンズの焦点距離ｆと距離算出手段７で算出されたＤとを比較した比較結果と、表示する際のディスプレイの形式と、視聴する人間の両眼間の平均距離とに基づいて選択されている。 The coefficient selecting unit 9 selects a predetermined value used when the depth data calculating unit 11 calculates the depth data based on the input information and the subject distance D calculated by the distance calculating unit 7. . This predetermined value includes how the video data was captured (planar video data or stereoscopic video data), the focal length f of the lens stored in the storage means 5, and the D calculated by the distance calculation means 7. Are selected on the basis of the comparison result, the display format at the time of display, and the average distance between the eyes of the human being viewed.

入力された情報は、複数の映像データを撮影する際に、平面映像データとして撮影したか、立体映像データとして撮影したかを指定すると共に、任意視点映像を表示する際のディスプレイの形式と視聴する人間の両眼間の平均距離（日本人であれば、予め求められた値となり、外国人であればそれに応じた値）を当該装置１の使用者によって指定したものである。比較結果は、被写体距離Ｄと焦点距離ｆとの差が非常に大きい場合（Ｄ≫ｆ）とそうでない場合とに場合分けされる。この「非常に大きい」とする場合の基準は、被写体距離Ｄが焦点距離ｆの例えば２０倍以上である。   The input information specifies whether the video was shot as flat video data or stereoscopic video data when shooting a plurality of video data, and is viewed as a display format when displaying an arbitrary viewpoint video. An average distance between both eyes of a human (a value obtained in advance for a Japanese person and a value corresponding to that for a foreigner) is designated by the user of the apparatus 1. The comparison results are divided into cases where the difference between the subject distance D and the focal length f is very large (D >> f) and not. The reference for this “very large” is that the subject distance D is, for example, 20 times or more the focal length f.

そして、この係数選択手段９は、ディスプレイが映像に奥行きを持つ立体映像ディスプレイである場合で、比較結果がＤ≫ｆの場合、所定の値として、ｆを選択する。また、この係数選択手段９は、ディスプレイが映像に奥行きを持つ立体映像ディスプレイで、比較結果がＤ≫ｆでない場合、所定の値として、Ｄｆ／（Ｄ−ｆ）を選択する。さらに、この係数選択手段９は、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離があらかじめ与えられている場合、所定の値として、人間の両眼間の平均距離Ｂを選択する。さらに、この係数選択手段９は、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離が未定の場合、所定の値として、１を選択する。さらに、この係数選択手段９は、ディスプレイが未定である場合、所定の値として、１／ｆを選択する。この様に所定の値を選択すると、送信される奥行データは、映像データの種類とディスプレイの種類のそれぞれの組み合わせに適したデータ形式となり、受信機で容易に所望の奥行きを得る事ができる。 The coefficient selecting means 9 selects f as a predetermined value when the display is a stereoscopic video display having a depth in the video and the comparison result is D >> f. Further, the coefficient selecting means 9 selects Df / (D−f) as a predetermined value when the display is a stereoscopic video display having a depth in the video and the comparison result is not D >> f. Further, the coefficient selecting means 9 uses the average distance B between the human eyes as a predetermined value when the display is a multi-view stereoscopic video display and the average distance between the human eyes is given in advance. select. Further, the coefficient selection means 9 selects 1 as a predetermined value when the display is a multi-view stereoscopic video display and the average distance between both eyes of a human is undetermined. Further, the coefficient selection means 9 selects 1 / f as a predetermined value when the display is undecided. When a predetermined value is selected in this way, the transmitted depth data has a data format suitable for each combination of video data type and display type, and a desired depth can be easily obtained by the receiver.

なお、係数選択手段９は、これらの所定の値のすべての中から選択する必要がなく、表示する際のディスプレイや、人間の両眼間の平均距離Ｂが既知か未知等によって、予め選択する所定の値を限定しておけばよい。また、所定の係数あるいは値は、この係数選択手段９で選択した係数あるいは値を用いることなく、固定の係数あるいは値としてもよい。 The coefficient selection means 9 does not need to select from all of these predetermined values , and selects in advance according to the display at the time of display, the average distance B between both eyes of the human being known or unknown, etc. What is necessary is just to limit a predetermined value . The predetermined coefficient or value may be a fixed coefficient or value without using the coefficient or value selected by the coefficient selecting means 9.

奥行データ算出手段１１は、被写体距離Ｄと焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／Ｄを求め、この像倍率ｆ／Ｄに係数選択手段９で選択された前記所定の値を掛けることで、奥行データを算出して、多重化器４に出力するものである。 The depth data calculation unit 11 obtains an image magnification f / D between the subject and the photographed subject image from the subject distance D and the focal length f, and the image magnification f / D is selected by the coefficient selection unit 9. By multiplying a predetermined value , depth data is calculated and output to the multiplexer 4.

なお、奥行データ算出手段１１では、奥行データを算出する際に、当該奥行データの種類を表すフラグ（例えば、このフラグを“Ｆ”で表し、２ｂｉｔ（Ｆ＝０〜３）とする）を、当該奥行データに付随させている。例えば、“Ｆ＝０”は、任意視点映像を表示する際のディスプレイが立体映像ディスプレイ用の奥行データを表し、“Ｆ＝１”は、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼間距離が既知の場合の奥行データを表している。また、“Ｆ＝２”は、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼間距離が未知の場合の奥行データを表し、“Ｆ＝３”は、任意視点映像を表示する際のディスプレイが未知の場合の奥行データを表している。   When the depth data calculation means 11 calculates the depth data, a flag indicating the type of the depth data (for example, this flag is represented by “F” and 2 bits (F = 0 to 3)) is set. It is attached to the depth data. For example, “F = 0” represents depth data for a stereoscopic video display when a display for displaying an arbitrary viewpoint video is displayed, and “F = 1” is a multi-view stereoscopic video for displaying an arbitrary viewpoint video. The depth data when the distance between both eyes is known on the display is shown. “F = 2” represents depth data when a display for displaying an arbitrary viewpoint video is a multi-view stereoscopic video display and the distance between both eyes is unknown, and “F = 3” represents an arbitrary viewpoint video. Depth data when the display at the time of display is unknown is shown.

さらに、奥行データ算出手段１１では、さらにもう１ビットのフラグ（例えば、このフラグを“Ｇ”で表し、１ｂｉｔ（Ｇ＝０，１）とする）を奥行データに付随させることが可能である。そして、この追加したフラグＧにより、被写体距離Ｄと焦点距離ｆとを比較した比較結果を表すこととする。この場合、“Ｆ＝０、Ｇ＝０”は、Ｄ≫ｆでない場合の奥行データを表し、“Ｆ＝０、Ｇ＝１”は、Ｄ≫ｆの場合の奥行データを表している。   Further, the depth data calculation means 11 can add another 1-bit flag (for example, this flag is represented by “G” and 1 bit (G = 0, 1)) to the depth data. The added flag G represents a comparison result comparing the subject distance D and the focal length f. In this case, “F = 0, G = 0” represents depth data when D >> f is not satisfied, and “F = 0, G = 1” represents depth data when D >> f.

受信機４０は、送信機３０から送信された多重化データを受信して、符号化映像データと奥行データとに分離し、符号化映像データを復号後、奥行データに基づいた任意視点映像を出力するものである。なお、この受信機４０の構成の詳細な説明は、後記する。   The receiver 40 receives the multiplexed data transmitted from the transmitter 30, separates into encoded video data and depth data, decodes the encoded video data, and outputs an arbitrary viewpoint video based on the depth data To do. A detailed description of the configuration of the receiver 40 will be given later.

ここで、図２を参照して、視差データの算出を説明する。２台のカメラ１０、２０のカメラ間隔をＬとし、焦点距離をｆとし、カメラ１０、２０、・・・から被写体までの被写体距離をＤとし、被写体の大きさをＡとし、被写体像６０、６１の大きさをａとし、カメラ１０から被写体５０までの水平方向の距離をｘとすると、カメラ２０から被写体５０までの水平方向の距離がＬ−ｘとなる。   Here, calculation of parallax data will be described with reference to FIG. The distance between the two cameras 10 and 20 is L, the focal length is f, the subject distance from the cameras 10, 20,... To the subject is D, the subject size is A, the subject image 60, When the size of 61 is a and the horizontal distance from the camera 10 to the subject 50 is x, the horizontal distance from the camera 20 to the subject 50 is L−x.

そして、カメラ１０の中心線（光軸）から被写体像６０までの距離は、ｘ・ｆ／Ｄとなり、２０の中心線（光軸）から被写体像６０までの距離は、（Ｌ−ｘ）ｆ／Ｄとなる。従って、２台のカメラ映像間で、猫の写っている位置の違いは、Δ＝ｘ・ｆ／Ｄ＋（Ｌ−ｘ）ｆ／Ｄ＝ｆ・Ｌ／Ｄとなるが、これが視差データΔである。又、被写体５０の大きさＡと、被写体像６０、６１の大きさａの比は、図２より、ａ／Ａ＝ｆ／Ｄとなり、これが像倍率である。図１の視差データ算出手段３では、カメラ１０及び、カメラ２０の画像を比較し、同じ被写体（猫）の映像の位置のズレ量を測定して、視差データΔを得る。   The distance from the center line (optical axis) of the camera 10 to the subject image 60 is x · f / D, and the distance from the center line (optical axis) 20 to the subject image 60 is (L−x) f. / D. Therefore, the difference in the position where the cat is reflected between the two camera images is Δ = x · f / D + (L−x) f / D = f · L / D. This is the parallax data Δ. is there. The ratio of the size A of the subject 50 and the size a of the subject images 60 and 61 is a / A = f / D from FIG. 2, which is the image magnification. In the parallax data calculation means 3 in FIG. 1, the images of the camera 10 and the camera 20 are compared, and the shift amount of the video position of the same subject (cat) is measured to obtain the parallax data Δ.

次に距離算出手段７では、記憶手段５から得たカメラの焦点距離ｆとカメラ間隔Ｌと、前記視差データΔから、Ｄ＝ｆ・Ｌ／Δを計算し、被写体距離Ｄを得る。次に奥行データ算出手段１１は、カメラの焦点距離ｆと被写体距離Ｄから、映像の像倍率ｆ／Ｄを求めた後、係数選択手段の指示に従って、所定の係数あるいは値としてＤ・ｆ／（Ｄ−ｆ）又は、１、人の両眼の間隔Ｂ、焦点距離ｆ、１／ｆのいずれかを掛けたものを奥行データとして多重化器４に出力する。 Next, the distance calculation means 7 calculates D = f · L / Δ from the focal length f and camera interval L of the camera obtained from the storage means 5 and the parallax data Δ, and obtains the subject distance D. Next, after obtaining the image magnification f / D of the image from the focal length f of the camera and the subject distance D, the depth data calculating unit 11 determines D · f / (as a predetermined coefficient or value according to the instruction of the coefficient selecting unit. D−f) or 1, multiplied by any one of the distance B between the human eyes and the focal length f, 1 / f is output to the multiplexer 4 as depth data.

ここで、図３に示すフローチャートを参照して、奥行データ出力装置１の動作について説明する（適宜、図１参照）。
奥行データ出力装置１は、視差データ算出手段３によって、カメラ１０、２０、・・・から入力された映像データの少なくとも２つの映像データに基づいて視差データを算出する（ステップＳ１）。 Here, the operation of the depth data output apparatus 1 will be described with reference to the flowchart shown in FIG. 3 (see FIG. 1 as appropriate).
The depth data output device 1 calculates parallax data based on at least two pieces of video data input from the cameras 10, 20,... By the parallax data calculation unit 3 (step S1).

続いて、奥行データ出力装置１は、距離算出手段７によって、視差データ算出手段３で算出された視差データから、カメラ１０、２０から被写体までの距離（被写体距離）を算出する（ステップＳ２）。そして、奥行データ出力装置１は、係数選択手段９によって、距離算出手段７で算出した被写体距離と記憶手段５に記憶されている焦点距離とを比較した比較結果と、入力された情報とに基づいて、所定の係数あるいは値を選択する（ステップＳ３）。 Subsequently, the depth data output device 1 calculates the distance (subject distance) from the cameras 10 and 20 to the subject from the parallax data calculated by the parallax data calculation unit 3 by the distance calculation unit 7 (step S2). Then, the depth data output device 1 uses the coefficient selection unit 9 to compare the subject distance calculated by the distance calculation unit 7 with the focal length stored in the storage unit 5 and the input information. Then, a predetermined coefficient or value is selected (step S3).

そして、奥行データ出力装置１は、奥行データ算出手段１１によって、距離算出手段７で算出した被写体距離と記憶手段５に記憶されている焦点距離とから像倍率を求め、この像倍率に係数選択手段９で選択された所定の係数あるいは値を掛けることで奥行データを算出し、多重化器４に出力する（ステップＳ４）。 Then, the depth data output device 1 obtains the image magnification from the subject distance calculated by the distance calculation means 7 and the focal length stored in the storage means 5 by the depth data calculation means 11, and a coefficient selection means for this image magnification. Depth data is calculated by multiplying the predetermined coefficient or value selected in 9 and output to the multiplexer 4 (step S4).

［第２実施形態］
次に、本発明の第２実施形態に係る任意視点映像（自由視点映像）の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図４に基づいて説明する。 [Second Embodiment]
Next, a configuration of an arbitrary viewpoint video system including a depth data output device that outputs depth data of an arbitrary viewpoint video (free viewpoint video) according to the second embodiment of the present invention will be described with reference to FIG.

図４に示すように、任意視点映像システムＳＡは、カメラ１０、２０、・・・と、距離画像撮影カメラ（距離画像撮影手段）１３と、送信機３０Ａと、受信機４０とを備えて構成されている。なお、図１に示した任意視点映像システムＳと同様の構成については、同一の符号を付してその説明を省略する。   As shown in FIG. 4, the arbitrary viewpoint video system SA includes cameras 10, 20,..., A distance image capturing camera (distance image capturing means) 13, a transmitter 30 </ b> A, and a receiver 40. Has been. In addition, about the structure similar to the arbitrary viewpoint video system S shown in FIG. 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

距離画像撮影カメラ１３は、カメラ１０、２０、・・・から被写体までの被写体距離を距離画像から得るものである。この距離画像は、白黒のグレースケールで表された画像（遠くものほど黒く、近くのものほど白くなる画像）である。   The distance image capturing camera 13 obtains the subject distance from the cameras 10, 20,... To the subject from the distance image. This distance image is an image expressed in black and white gray scale (an image that becomes darker as it goes farther and becomes whiter as it gets closer).

この被写体までの被写体距離Ｄ（図２参照）は、背景技術の特許文献３に述べた方法と同じ方法により、距離画像撮影カメラ１３に組み込まれたレーザ光線照射手段（図示せず）によるレーザ光線などで測定することが可能である。しかし、その測定値をそのまま用いたのでは、被写体像のサイズと奥行データが不釣合いとなることは背景技術の特許文献３で述べたとおりであり、奥行データ算出手段１１Ａで、第１実施形態と同様の処理を行い、奥行データを得る。   The subject distance D to the subject (see FIG. 2) is determined by a laser beam emitted by a laser beam irradiation means (not shown) incorporated in the distance image capturing camera 13 by the same method as described in Patent Document 3 of the background art. It is possible to measure with. However, if the measured values are used as they are, the size of the subject image and the depth data are unbalanced, as described in Patent Document 3 of the background art, and the depth data calculation means 11A is used in the first embodiment. The same processing is performed to obtain depth data.

送信機３０Ａは、カメラ１０、２０、・・・で撮影された映像データを符号化した符号化映像データと、距離画像撮影カメラ１３で撮影された距離画像から得られた奥行データとを多重化した多重化データを、複数の受信機４０に送信するもので、奥行データ出力装置１Ａと、映像データ符号化器２と、多重化器４とを備えている。   The transmitter 30A multiplexes encoded video data obtained by encoding video data captured by the cameras 10, 20,... And depth data obtained from the distance image captured by the distance image capturing camera 13. The multiplexed data is transmitted to a plurality of receivers 40, and includes a depth data output device 1A, a video data encoder 2, and a multiplexer 4.

奥行データ出力装置１Ａは、距離画像撮影カメラ１３で得た距離画像が入力され、この距離画像から、被写体の再生像を任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定する奥行データを出力するもので、記憶手段５Ａと、奥行データ算出手段１１Ａと、係数選択手段９とを備えている。   The depth data output device 1A receives the distance image obtained by the distance image capturing camera 13, and defines the depth of the subject image when creating an arbitrary viewpoint video for displaying a reproduced image of the subject from an arbitrary viewpoint from the distance image. Depth data to be output, and includes storage means 5A, depth data calculation means 11A, and coefficient selection means 9.

記憶手段５Ａは、カメラ１０、２０、・・・が有しているレンズの焦点距離を記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。このレンズの焦点距離をｆとする。   The storage means 5A stores the focal lengths of the lenses of the cameras 10, 20,..., And is configured by a recording medium such as a general memory. Let the focal length of this lens be f.

奥行データ算出手段１１Ａは、距離画像撮影カメラ１３で撮影された距離画像から得た被写体距離Ｄと記憶手段５Ａに記憶されている焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／Ｄを求め、この像倍率ｆ／Ｄに係数選択手段９で選択された所定の係数あるいは値を掛けることで、奥行データを算出して、多重化器４に出力するものである。どの係数あるいは値を選択するかは、第１実施形態と同一の条件で選択する。 The depth data calculation unit 11A calculates the image magnification between the subject and the photographed subject image from the subject distance D obtained from the distance image photographed by the distance image photographing camera 13 and the focal length f stored in the storage unit 5A. Determining f / D and multiplying the image magnification f / D by a predetermined coefficient or value selected by the coefficient selecting means 9, the depth data is calculated and output to the multiplexer 4. Which coefficient or value is selected is selected under the same conditions as in the first embodiment.

なお、この奥行データ出力装置１Ａは、図３に示した奥行データ出力装置１の動作とほぼ同じ動作をすることから、フローチャートを省略すると共に、奥行データ出力装置１の動作と異なる動作についてのみ説明する。   Since the depth data output device 1A operates substantially the same as the operation of the depth data output device 1 shown in FIG. 3, the flowchart is omitted and only operations different from the operations of the depth data output device 1 are described. To do.

奥行データ出力装置１Ａは、奥行データ算出手段１１Ａによって、距離画像撮影カメラ１３で撮影された距離画像から被写体距離Ｄを求める。ここでは、被写体距離Ｄは、距離画像撮影カメラ１３に組み込まれたレーザ光線照射手段による測定結果から求められたものである。この様にして求めた距離値を輝度値とみなして図示したものが図１４の距離画像（距離データ）である。そして、奥行データ出力装置１Ａは、この被写体距離Ｄと焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／Ｄを求め、この像倍率ｆ／Ｄに係数選択手段９で選択された所定の係数あるいは値を掛けることで、奥行データを算出して、多重化器４に出力する。 The depth data output device 1A obtains the subject distance D from the distance image photographed by the distance image photographing camera 13 by the depth data calculation means 11A. Here, the subject distance D is obtained from the measurement result by the laser beam irradiation means incorporated in the distance image capturing camera 13. The distance image (distance data) shown in FIG. 14 is illustrated by regarding the distance value thus obtained as a luminance value. Then, the depth data output device 1A obtains the image magnification f / D between the subject and the photographed subject image from the subject distance D and the focal length f, and the coefficient selection means 9 selects the image magnification f / D. By multiplying the predetermined coefficient or value , the depth data is calculated and output to the multiplexer 4.

［第３実施形態］   [Third Embodiment]

先ず、第３実施形態の説明に入る前に、図５を参照して、カメラ１０で、平面映像を撮影する場合について補足説明をする。
この場合のレンズ１２から被写体５０までの被写体距離Ｄと、レンズ１２から被写体像７０までの距離ｄとの関係を図５（ｂ）のグラフに示す。この例では、レンズ１２の焦点距離は、ｆ＝５０ｍｍとしたが、無限遠から０．５ｍまでの間の被写体５０の像は、レンズ１２から５０ｍｍ離れた位置から５６ｍｍまでの間に射影されており、非常にコンパクトな立体映像である事が分かる。 First, before entering the description of the third embodiment, with reference to FIG. 5, a supplementary explanation will be given for the case where a planar image is captured with the camera 10.
The graph of FIG. 5B shows the relationship between the subject distance D from the lens 12 to the subject 50 and the distance d from the lens 12 to the subject image 70 in this case. In this example, the focal length of the lens 12 is f = 50 mm, but the image of the subject 50 between infinity and 0.5 m is projected from a position 50 mm away from the lens 12 to 56 mm. You can see that this is a very compact 3D image.

一方、被写体像７０のサイズｂは、
ｂ＝Ａｆ／（Ｄ−ｆ） ・・・（３）
となるので、この被写体像７０のサイズｂと位置ｄ（ここで仮に像の奥行と呼ぶ）は、被写体５０の実際のサイズＡと実際の被写体距離Ｄを、同じ倍率ｆ／（Ｄ−ｆ）倍したものである事が分かる。この関係を図５（ｃ）に示す。 On the other hand, the size b of the subject image 70 is
b = Af / (D−f) (3)
Therefore, the size b and position d of the subject image 70 (referred to herein as the depth of the image) are the same magnification f / (D−f) as the actual size A of the subject 50 and the actual subject distance D. You can see that it is doubled. This relationship is shown in FIG.

この図５（ｃ）において、像の奥行比や像のサイズ比は、被写体５０までの実際の距離が、Ｄ＝１ｍの時の値を１として表示している。通常、被写体５０までの被写体距離Ｄはレンズ１２の焦点距離ｆより十分大きいので、グラフに示すように、被写体像７０の大きさと位置ｄとは被写体５０までの被写体距離Ｄにほぼ反比例して小さくなるが、これは、人の目で自然界を見た時に網膜に映る映像と同じ傾向を示している。従って、この被写体像７０を後述する体積表示ディスプレイやホログラフィックディスプレイに表示すると、自然な立体映像に見える。   In FIG. 5C, the depth ratio of the image and the size ratio of the image are displayed assuming that the value when the actual distance to the subject 50 is D = 1 m is 1. Usually, the subject distance D to the subject 50 is sufficiently larger than the focal length f of the lens 12, so that the size and the position d of the subject image 70 are small in inverse proportion to the subject distance D to the subject 50, as shown in the graph. However, this shows the same tendency as the image that appears in the retina when the natural world is seen with the human eye. Accordingly, when this subject image 70 is displayed on a volume display or holographic display described later, it appears as a natural stereoscopic image.

この場合の像倍率ｆ／（Ｄ−ｆ）は、従来例で述べた技術を用いて被写体５０までの被写体距離Ｄが計測されれば、ｆ／（Ｄ−ｆ）の値を求める事によって得られるので、被写体５０の実際のサイズを測定したり、被写体像７０のサイズを測定したりする必要はない。   The image magnification f / (D−f) in this case is obtained by obtaining the value of f / (D−f) if the subject distance D to the subject 50 is measured using the technique described in the conventional example. Therefore, it is not necessary to measure the actual size of the subject 50 or the size of the subject image 70.

また、後記するように、被写体像７０の位置ｄを２台のカメラ１０、２０の視差量Δから求める場合は、当該視差量Δは、カメラ間隔をＬとすると、Δ＝Ｌｆ／Ｄであるので、被写体５０までの実際の被写体距離Ｄは、Ｄ＝Ｌｆ／Δとして求まり、これより先と同様にして（３）式より像倍率が得られる。   As will be described later, when the position d of the subject image 70 is obtained from the parallax amount Δ between the two cameras 10 and 20, the parallax amount Δ is Δ = Lf / D, where the camera interval is L. Therefore, the actual subject distance D to the subject 50 is obtained as D = Lf / Δ, and the image magnification is obtained from the equation (3) in the same manner as before.

従って、この被写体像７０を立体映像として表示する場合には、このレンズ１２の後方に形成される立体映像のサイズ比ｆ／（Ｄ−ｆ）を用いて被写体５０までの被写体距離Ｄを被写体像７０の位置ｄ＝Ｄｆ／（Ｄ−ｆ）に変換すれば、表示する立体映像のサイズに比例した奥行きが得られる。   Therefore, when the subject image 70 is displayed as a stereoscopic image, the subject distance D to the subject 50 is determined as the subject image using the size ratio f / (D−f) of the stereoscopic image formed behind the lens 12. If the position is converted to 70, d = Df / (D−f), a depth proportional to the size of the stereoscopic image to be displayed can be obtained.

この立体映像を表示するディスプレイ（図示せず）のサイズが変わった場合には、撮影時の映像サイズと表示する立体映像サイズとのサイズ比に、前記立体映像の位置ｄを掛ければ、映像サイズに応じた奥行となり、自然な立体映像が得られる。   When the size of a display (not shown) for displaying the stereoscopic video changes, the video size can be obtained by multiplying the size ratio between the video size at the time of shooting and the stereoscopic video size to be displayed by the position d of the stereoscopic video. Depending on the depth, a natural 3D image can be obtained.

しかも、この像の位置ｄは、被写体までの被写体距離Ｄとカメラの焦点距離ｆのみから得られるので、任意視点映像（自由視点映像）を生成するために用いられる同じ焦点距離ｆのカメラ間では、カメラを切り替えても立体映像のサイズや奥行は変化せず、自然に切り替えられる。又、この像の位置ｄはカメラ間隔Ｌに依存しないので、表示すべき立体映像が決まれば、その立体映像だけで一意的に決まる。なお、平行配置のカメラ間では、被写体の距離はカメラの光軸上で測るので、全てのカメラに対して、被写体距離Ｄは同じになる。従って、カメラのレンズの後方に出来る被写体像の光軸上の位置ｄも同じになる。   Moreover, since the position d of this image can be obtained only from the subject distance D to the subject and the focal length f of the camera, between the cameras having the same focal length f used to generate an arbitrary viewpoint video (free viewpoint video). Even if the camera is switched, the size and depth of the 3D image do not change and can be switched naturally. Further, since the position d of this image does not depend on the camera interval L, if the stereoscopic video to be displayed is determined, it is uniquely determined only by the stereoscopic video. In addition, since the distance of the subject is measured on the optical axis of the camera between the cameras arranged in parallel, the subject distance D is the same for all the cameras. Accordingly, the position d on the optical axis of the subject image formed behind the camera lens is also the same.

しかし、被写体像７０の位置ｄを直接、奥行データに用いると、（２）式や図４（ａ）に示すように、常にレンズの焦点距離ｆをオフセット値として当該奥行データが持つので、奥行データのダイナミックレンジの大半がこのオフセットの為に使われ、効率の悪いことが生じる。そこで、このオフセット値ｆを、被写体像７０の位置ｄから引いた値を被写体像７０の奥行データδとして用いることにする。すなわち、
δ＝ｄ−ｆ＝Ｄｆ／（Ｄ−ｆ）−ｆ＝ｆ２／（Ｄ−ｆ） ・・・（４）
となる。
これにより、奥行データのダイナミックレンジをフルに使う事ができ、効率がよい。 However, when the position d of the subject image 70 is directly used for the depth data, as shown in the equation (2) and FIG. 4A, the depth data always has the focal length f of the lens as an offset value. Most of the dynamic range of data is used for this offset, resulting in inefficiencies. Therefore, a value obtained by subtracting the offset value f from the position d of the subject image 70 is used as the depth data δ of the subject image 70. That is,
δ = d−f = Df / (D−f) −f = f 2 / (D−f) (4)
It becomes.
As a result, the dynamic range of the depth data can be fully used, which is efficient.

この（４）式の値は、カメラが平面映像を映す場合には、（１）式で与えられる像倍率ｆ／Ｄに、Ｄｆ／（Ｄ−ｆ）を掛ける事により、容易に得られるので、立体映像を撮影出来ない通常のカメラで撮影した映像データ（平面映像データ）にも、正しい奥行データを与えることができる。
ちなみに、（１）式の像倍率ｆ／Ｄに、直接、被写体５０からの被写体距離Ｄを掛けたのでは、その値は被写体５０からの被写体距離Ｄに拘わらず、常にｆとなり、立体映像にならない。 Since the value of the equation (4) can be easily obtained by multiplying the image magnification f / D given by the equation (1) by Df / (D−f) when the camera displays a plane image. Also, correct depth data can be given to video data (planar video data) taken by a normal camera that cannot shoot a stereoscopic video.
Incidentally, if the image magnification f / D of the equation (1) is directly multiplied by the subject distance D from the subject 50, the value is always f regardless of the subject distance D from the subject 50, so that the stereoscopic image is displayed. Don't be.

次に、本発明の第３実施形態に係る任意視点映像（自由視点映像）の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図６に基づいて説明する。
図６に示すように、任意視点映像システムＳＢは、受光面移動カメラ１０Ｂ、２０Ｂ、・・・と、送信機３０Ｂと、受信機４０とを備えて構成されている。なお、図１に示した任意視点映像システムＳと同様の構成については、同一の符号を付してその説明を省略する。 Next, a configuration of an arbitrary viewpoint video system including a depth data output device that outputs depth data of an arbitrary viewpoint video (free viewpoint video) according to a third embodiment of the present invention will be described with reference to FIG.
As shown in FIG. 6, the arbitrary viewpoint video system SB includes a light receiving surface moving camera 10B, 20B,..., A transmitter 30B, and a receiver 40. In addition, about the structure similar to the arbitrary viewpoint video system S shown in FIG. 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

受光面移動カメラ１０Ｂ、２０Ｂ、・・・は、被写体を撮影する際にフレーム画像（レーヤ映像）ごとに、受光面１０ｂ、２０ｂの位置が移動可能に構成されたものである。この受光面１０ｂ、２０ｂは、レンズに対向したまま前後に移動する。従来の１フレームの画像を撮影する時間内に、受講面位置をずらせながら多数枚の映像を撮影する。この各映像をレーヤ映像と称す。この様にすると、１フレームの映像が多数枚のレーヤ映像で構成され、各フレームで被写体像の焦点の合っている部分が異なるので、これを重ねて見ると立体映像になる。なお、この受光面１０ｂ、２０ｂがレンズの焦点距離ｆの位置から移動した距離δが奥行データとなる。この実施形態では、受光面１０ｂ、２０ｂが移動する構成としているが、レンズが同様に移動する機構を備えたレンズ移動カメラ（図示せず）でもよい。又、移動しない透明な受光面（図示せず）を多数重ねたもので、被写体像の焦点が合った部分が写っているレーヤの焦点距離ｆの位置からの距離でもよい。   The light receiving surface moving cameras 10B, 20B,... Are configured so that the positions of the light receiving surfaces 10b, 20b can be moved for each frame image (layer image) when photographing a subject. The light receiving surfaces 10b and 20b move back and forth while facing the lens. A large number of videos are taken while shifting the position of the attendance surface within the time for taking a conventional image of one frame. Each of these images is referred to as a layer image. In this way, one frame of video is composed of a large number of layered videos, and the in-focus portions of the subject image are different in each frame. The distance δ obtained by moving the light receiving surfaces 10b and 20b from the position of the focal length f of the lens is the depth data. In this embodiment, the light receiving surfaces 10b and 20b move. However, a lens moving camera (not shown) provided with a mechanism for moving the lens similarly may be used. Alternatively, the distance may be a distance from the position of the focal length f of the layer in which a large number of transparent light-receiving surfaces (not shown) that do not move are overlapped and the portion where the subject image is in focus is shown.

送信機３０Ｂは、受光面移動カメラ１０Ｂ、２０Ｂ、・・・で撮影された映像データを符号化した符号化映像データと、受光面移動カメラ１０Ｂ、２０Ｂ、・・・で得られた奥行データとを多重化した多重化データを、複数の受信機４０に送信するもので、奥行データ出力装置１Ｂと、映像データ符号化器２と、多重化器４とを備えている。   The transmitter 30B includes encoded video data obtained by encoding video data captured by the light receiving surface moving cameras 10B, 20B,..., Depth data obtained by the light receiving surface moving cameras 10B, 20B,. Is transmitted to a plurality of receivers 40, and includes a depth data output device 1B, a video data encoder 2, and a multiplexer 4.

奥行データ出力装置１Ｂは、受光面移動カメラ１０Ｂ、２０Ｂ、・・・で撮影された映像データが入力され、被写体の再生像を任意視点から表示する任意視点映像を作成する際に、表示映像に奥行がある様に見せる為のパラメータである奥行き（以下、被写体像の奥行きと言う）を規定する奥行データを出力するもので、記憶手段５と、係数選択手段９Ｂと、被写体抽出手段１５と、奥行データ算出手段１１Ｂとを備えている。   The depth data output device 1B receives video data captured by the light-receiving surface moving cameras 10B, 20B,... And generates an arbitrary viewpoint video that displays a reproduced image of the subject from an arbitrary viewpoint. Depth data that defines the depth (hereinafter referred to as the depth of the subject image), which is a parameter for making the depth appear, and outputs storage data 5, coefficient selection means 9B, subject extraction means 15, Depth data calculation means 11B.

被写体抽出手段１５は、受光面移動カメラ１０Ｂ、２０Ｂで撮影された映像データに含まれる各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出するものである。   The subject extraction means 15 extracts pixels including a frequency component higher than a preset threshold in each layer image included in the video data captured by the light receiving surface moving cameras 10B and 20B, and includes a predetermined number or more of these pixels. A similar color pixel region is extracted as a subject image.

閾値は、受光面を前後に移動した時の同じ画素位置での周波数成分であり、最も高い周波数成分を持つレーヤが選ばれる。所定数以上とは、１画素以上である。同系色の画素とは、画素値が例えば、０〜２５５の範囲にある場合、±１０の画素値を持つ画素である。   The threshold value is a frequency component at the same pixel position when the light receiving surface is moved back and forth, and a layer having the highest frequency component is selected. The predetermined number or more means one pixel or more. A similar color pixel is a pixel having a pixel value of ± 10 when the pixel value is in the range of 0 to 255, for example.

奥行データ算出手段１１Ｂは、被写体抽出手段１５で被写体像が抽出されるまでに受光面１０ｂ、２０ｂの位置が移動した移動距離から、被写体距離Ｄを得て、被写体と撮影された被写体像の像倍率ｆ（Ｄ−ｆ）を算出し、この像倍率ｆ（Ｄ−ｆ）に係数選択手段９で選択された係数あるいは値を掛けることで、奥行データを算出するものである。 The depth data calculation unit 11B obtains the subject distance D from the moving distance that the positions of the light receiving surfaces 10b and 20b have moved until the subject image is extracted by the subject extraction unit 15, and captures the subject and the captured subject image. Depth data is calculated by calculating the magnification f (D−f) and multiplying the image magnification f (D−f) by the coefficient or value selected by the coefficient selection means 9.

係数選択手段９Ｂは、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離が未定の場合、所定の係数あるいは値として、１を選択し、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離があらかじめ与えられている場合、所定の係数あるいは値として、人間の両眼間の平均距離Ｂを選択する。また、係数選択手段９Ｂは、ディスプレイが映像に奥行きを持つ立体映像ディスプレイである場合で、映像データが立体映像データである場合、所定の係数あるいは値として、ｆを選択し、表示するディスプレイが未定の場合、所定の係数あるいは値として１／ｆを選択する。 The coefficient selecting means 9B selects 1 as a predetermined coefficient or value when the display is a multi-view stereoscopic video display and the average distance between human eyes is not yet determined, and the display is a multi-view stereoscopic display. When the average distance between the human eyes is given in advance, the average distance B between the human eyes is selected as a predetermined coefficient or value . The coefficient selection means 9B selects f as a predetermined coefficient or value when the display is a stereoscopic video display having a depth in the video and the video data is stereoscopic video data, and the display to be displayed is undetermined. In this case, 1 / f is selected as a predetermined coefficient or value .

ここで、この第３実施形態の任意視点映像システムＳＢにおいて、奥行データ出力装置１Ｂで奥行データを出力する場合について、図７に基づいて説明する。図７では、被写体８０が、そこから被写体距離Ｄ離れた位置の焦点距離ｆのレンズ１２により射影され、レンズ１２の後方の位置ｄに、被写体像８１を形成する。   Here, in the arbitrary viewpoint video system SB of the third embodiment, a case where depth data is output by the depth data output device 1B will be described with reference to FIG. In FIG. 7, a subject 80 is projected by the lens 12 having a focal length f at a position away from the subject distance D, and a subject image 81 is formed at a position d behind the lens 12.

この任意視点映像システムＳＢの受光面移動カメラ１０Ｂ、２０Ｂ、・・・の受光面１０ｂ、２０ｂ、・・・の位置を前後に動かす事や、この受光面１０ｂ、２０ｂそれぞれについて、透明なイメージセンサを多数重ねた立体的なイメージセンサを構成した場合で、このレンズ１２の後方にできる焦点の合った立体映像を３次元的に撮影できる場合には、撮影される被写体の像倍率は、（３）式より、ｆ／（Ｄ−ｆ）で与えられる。   .. Of the arbitrary viewpoint video system SB moving the light receiving surfaces 10b, 20b,... Of the light receiving surface moving cameras 10B, 20B,. When a three-dimensional image sensor in which a large number of images are stacked and a three-dimensional image that is focused on the back of the lens 12 can be photographed three-dimensionally, the image magnification of the photographed subject is (3 ) Is given by f / (D−f).

このため、これに受光面移動カメラ１０Ｂ、２０Ｂの焦点距離ｆを掛ける事により、奥行データδ＝ｆ２／（Ｄ−ｆ）を容易に得る事ができる。また、この場合には、被写体８０が撮影された受光面１０ｂの位置ｄが分かっているので、この位置ｄからカメラの焦点距離ｆを引くことで、δ＝ｄ−ｆとしてその値を直接求める事ができ、レーザ等で被写体距離を計測する必要がなくなり、好都合である。 Therefore, the depth data δ = f 2 / (D−f) can be easily obtained by multiplying this by the focal length f of the light receiving surface moving cameras 10B and 20B. In this case, since the position d of the light receiving surface 10b where the subject 80 is photographed is known, the value is directly obtained as δ = df by subtracting the focal length f of the camera from this position d. This eliminates the need to measure the subject distance with a laser or the like, which is convenient.

なお、この奥行データ出力装置１Ｂは、図３に示した奥行データ出力装置１の動作とほぼ同じ動作をすることから、フローチャートを省略すると共に、奥行データ出力装置１の動作と異なる動作についてのみ説明する。   Since the depth data output device 1B operates almost the same as the operation of the depth data output device 1 shown in FIG. 3, the flowchart is omitted and only operations different from the operations of the depth data output device 1 are described. To do.

奥行データ出力装置１Ｂは、被写体抽出手段１５によって、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する。この被写体像を抽出するまでに受光面１０ｂ、２０ｂが移動距離から被写体距離Ｄを求める。そして、奥行データ出力装置１Ｂは、被写体距離Ｄと焦点距離ｆとから、被写体と撮影された被写体像との像倍率ｆ／（Ｄ−ｆ）を求め、この像倍率ｆ／（Ｄ−ｆ）に係数選択手段９で選択された所定の係数あるいは値を掛けることで、奥行データを算出して、多重化器４に出力する。 In the depth data output device 1B, the subject extraction unit 15 extracts pixels including a frequency component higher than a preset threshold value, and extracts a region of pixels of similar colors including a predetermined number or more of pixels as a subject image. Until the subject image is extracted, the light receiving surfaces 10b and 20b obtain the subject distance D from the movement distance. Then, the depth data output device 1B obtains an image magnification f / (D−f) between the subject and the photographed subject image from the subject distance D and the focal length f, and this image magnification f / (D−f). Is multiplied by a predetermined coefficient or value selected by the coefficient selection means 9 to calculate depth data and output it to the multiplexer 4.

次に、第１実施形態から第３実施形態までに共通する受信機４０の構成について、図８を参照して説明する。
この図８に示すように、受信機４０は、送信機３０、３０Ａ、３０Ｂから送信された多重化データを受信して、多眼立体映像又は映像自身が奥行きを持つ立体映像を出力するもので、受信分離手段１７と、映像データ復号手段１９と、映像作成手段２１と、奥行データ受信装置１Ｃと、を備えている。 Next, the configuration of the receiver 40 common to the first to third embodiments will be described with reference to FIG.
As shown in FIG. 8, the receiver 40 receives multiplexed data transmitted from the transmitters 30, 30A, 30B, and outputs a multi-view stereoscopic video or a stereoscopic video in which the video itself has a depth. , Receiving separation means 17, video data decoding means 19, video creation means 21, and depth data receiving apparatus 1 </ b> C.

奥行データ受信装置１Ｃは、奥行データを受信して、前記映像データを表示する際に、表示映像に奥行きがある様に見せる為のパラメータである奥行きを被写体の再生像の奥行きとして出力するもので、奥行データ取得手段２３と、記憶手段５Ｃと、係数選択手段９Ｃと、奥行算出手段２５とを備えている。なお、図１、３、５に示した任意視点映像システムＳ、ＳＡ、ＳＢと同様の構成については同一の符号を付し、その説明を省略する。なお、このパラメータの具体的なものは、後記する図１２の“奥行データ”に“受信側係数”を掛けたものとなる。   The depth data receiving device 1C receives the depth data and outputs the depth, which is a parameter for making the display image appear to be deep, as the depth of the reproduced image of the subject when displaying the video data. , Depth data acquisition means 23, storage means 5 C, coefficient selection means 9 C, and depth calculation means 25. In addition, the same code | symbol is attached | subjected about the structure similar to the arbitrary viewpoint video systems S, SA, and SB shown in FIG.1, 3,5, and the description is abbreviate | omitted. The specific parameter is obtained by multiplying “depth data” in FIG. 12 to be described later by “reception side coefficient”.

なお、この受信機４０は、多重化データに奥行データが多重化されている場合に対応しており、この受信機４０は、受信した奥行データの種類と、接続されたディスプレイの種類を判定することで、視差量Δ又は、前記した立体映像の位置ｄ（ｄ＝Ｄｆ／（Ｄ−ｆ））を算出して、これを用いた多眼立体映像ディスプレイ又は映像自身が奥行きを持つ立体映像ディスプレイに表示映像を出力することができる。   The receiver 40 corresponds to a case where depth data is multiplexed with multiplexed data, and the receiver 40 determines the type of received depth data and the type of connected display. Thus, the parallax amount Δ or the above-described stereoscopic video position d (d = Df / (D−f)) is calculated, and a multi-view stereoscopic video display using this or a stereoscopic video display having the depth itself. Display video can be output to

また、この受信機４０には、図示を省略したが、出力する多眼立体映像又は映像が奥行を持った立体映像に対応したディスプレイ（後記する電子ホログラフィディスプレイ５３、両眼視差型の立体映像ディスプレイ、２視差以上の多眼立体ディスプレイ、３次元ディスプレイ）が接続されている。   Although not shown in the figure, the receiver 40 is a display corresponding to a multi-view stereoscopic image to be output or a stereoscopic image having a depth (an electronic holography display 53 described later, a binocular parallax-type stereoscopic image display). 2 or more parallax display, 3D display).

なお、これらのディスプレイは既存のもの（当業者にとっては一般的なもの）でよいので、詳細な説明を省略するが、電子ホログラフィディスプレイ５３とは、被写体から出た光を方向も含めてそのまま表示するディスプレイであり、例えば、外の景色からの光が窓のガラス面を通過するときの光を干渉縞として撮影・再生するものである。この再生光は、撮影時と同じ方向と色で再生されるものなので、この電子ホログラフィディスプレイ５３では、ガラス窓から外をみたのと同じ景色が再現される。さらに、この再生光は、第３の実施形態で示した様な映像自身が奥行きを持つ立体映像から出た光の干渉縞として計算で求める事が出来る。   Since these displays may be existing ones (general for those skilled in the art), detailed description is omitted, but the electronic holographic display 53 displays the light emitted from the subject including the direction as it is. For example, the display captures and reproduces, as interference fringes, light when light from outside scenery passes through the glass surface of the window. Since this reproduction light is reproduced in the same direction and color as at the time of shooting, the electronic holographic display 53 reproduces the same scenery as when looking out from the glass window. Furthermore, this reproduction light can be obtained by calculation as interference fringes of light emitted from a stereoscopic image in which the image itself has a depth as shown in the third embodiment.

また、両眼視差型の立体映像ディスプレイとは、左右の目に少し被写体像の位置のずれた映像を見せるディスプレイで、その映像のズレ量を人間は奥行きと感じ、立体に見えるものである。さらに、２視差以上の多眼立体ディスプレイとは、このずれた映像のズレ量を変えながら多数表示するものである。そして、３次元ディスプレイとは、液晶ディスプレイの様な透明な表示板を多数重ねて奥行きのある立体ディスプレイを構成し、それぞれの表示板に請求項４で述べた立体映像カメラで撮影した各レーヤ映像を表示したものである。   The binocular parallax-type stereoscopic video display is a display that shows a video in which the position of the subject image is slightly shifted between the left and right eyes. Furthermore, a multi-view stereoscopic display with two or more parallaxes is a display that displays a large number of images while changing the shift amount of the shifted video. The three-dimensional display is a three-dimensional display having a depth by stacking a large number of transparent display boards such as a liquid crystal display, and each layer picture taken by the three-dimensional video camera described in claim 4 on each display board. Is displayed.

受信分離手段１７は、受信した多重化データを符号化映像データと、奥行データとに分離し、符号化映像データを映像データ復号手段１９に、奥行データを奥行データ受信装置１Ｃに出力するものである。   The reception separating means 17 separates the received multiplexed data into encoded video data and depth data, and outputs the encoded video data to the video data decoding means 19 and the depth data to the depth data receiving apparatus 1C. is there.

映像データ復号手段１９は、受信分離手段１７で分離された符号化映像データを復号するものである。この映像データ復号手段１９は、復号した映像データを映像作成手段２１に出力する。   The video data decoding unit 19 decodes the encoded video data separated by the reception separation unit 17. The video data decoding unit 19 outputs the decoded video data to the video creation unit 21.

映像作成手段２１は、映像データ復号手段１９から出力された映像データと、奥行データ受信装置１Ｃから得た奥行きとに基づいて、多眼立体映像又は映像が奥行きを持つ立体映像を作成するものである。   The video creation unit 21 creates a multi-view stereoscopic video or a stereoscopic video having a depth based on the video data output from the video data decoding unit 19 and the depth obtained from the depth data receiving device 1C. is there.

奥行データ取得手段２３は、受信分離手段１７で多重化データから分離された奥行データを取得し、当該奥行データに付随している、表示するディスプレイの種類を指定するフラグ（前記した“Ｆ”）に従って当該奥行データの種類を判定し、奥行算出手段２５に出力すると共に、被写体距離Ｄを記憶手段５Ｃに記憶されているカメラの焦点距離ｆを用いて算出し、係数選択手段９Ｃに出力するものである。   The depth data acquisition means 23 acquires the depth data separated from the multiplexed data by the reception separation means 17, and a flag ("F" described above) that designates the type of display to be displayed attached to the depth data. The type of the depth data is determined according to the above, and the depth data is output to the depth calculation means 25, and the subject distance D is calculated using the focal length f of the camera stored in the storage means 5C and output to the coefficient selection means 9C. It is.

奥行データ取得手段２３では、奥行データをＺとすると、例えば、フラグ“Ｆ”が“Ｆ＝０”の場合、任意視点映像を表示する際のディスプレイが立体映像ディスプレイであり、被写体距離ＤをＤ≒ｆ２／Ｚとして得る。また、フラグ“Ｆ”が“Ｆ＝１”の場合、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼の間隔Ｂが既知であり、被写体距離ＤをＤ＝ｆＢ／Ｚとして得、フラグ“Ｆ”が“Ｆ＝２”の場合、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼の間隔Ｂが未知であり、被写体距離ＤをＤ＝ｆ／Ｚとして得、フラグ“Ｆ”が“Ｆ＝３”の場合、任意視点映像を表示する際のディスプレイが未知であり、被写体距離ＤをＤ＝１／Ｚとして得る。 In the depth data acquisition means 23, when the depth data is Z, for example, when the flag “F” is “F = 0”, the display for displaying the arbitrary viewpoint video is a stereoscopic video display, and the subject distance D is set to D ≈f 2 / Z When the flag “F” is “F = 1”, the display for displaying the arbitrary viewpoint video is a multi-view stereoscopic video display, the binocular distance B is known, and the subject distance D is set to D = fB / Z. When the flag “F” is “F = 2”, the display for displaying the arbitrary viewpoint video is a multi-view stereoscopic video display, the binocular distance B is unknown, and the subject distance D is set to D = f / When the flag “F” is “F = 3”, the display for displaying the arbitrary viewpoint video is unknown, and the subject distance D is obtained as D = 1 / Z.

さらに、奥行データ取得手段２３は、奥行データにもう１ビットのフラグ（例えば、このフラグを“Ｇ”で表し、１ｂｉｔ（Ｇ＝０，１）とする）が付随されている場合には、そして、このフラグＧにより、“Ｆ＝０、Ｇ＝０”は、Ｄ≫ｆでない場合の奥行データを表し、被写体距離ＤをＤ＝ｆ２／Ｚ＋ｆとして得、“Ｆ＝０、Ｇ＝１”は、Ｄ≫ｆの場合の奥行データを表し、被写体距離ＤをＤ＝ｆ２／Ｚとして得る。 Further, the depth data acquisition means 23, when the depth data is accompanied by another 1-bit flag (for example, this flag is represented by “G” and 1 bit (G = 0, 1)), and With this flag G, “F = 0, G = 0” represents the depth data when D >> f is not satisfied, and the subject distance D is obtained as D = f 2 / Z + f. “F = 0, G = 1” Represents depth data in the case of D >> f, and the subject distance D is obtained as D = f 2 / Z.

記憶手段５Ｃは、送信側で被写体を撮影した際のカメラについて、当該カメラのレンズの焦点距離ｆと、人間の両眼の平均距離Ｂとを記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。   The storage unit 5C stores the focal length f of the lens of the camera and the average distance B of the human eyes for the camera when the subject is photographed on the transmission side. It is constituted by a recording medium.

係数選択手段９Ｃは、奥行データ取得手段２３で判定した奥行データの種類（フラグの値、被写体距離Ｄ）と記憶手段５Ｃに記憶されている焦点距離ｆとに基づいて、所定の係数あるいは値を選択して、奥行算出手段２５に出力するものである。 The coefficient selecting unit 9C calculates a predetermined coefficient or value based on the depth data type (flag value, subject distance D) determined by the depth data acquiring unit 23 and the focal length f stored in the storage unit 5C. This is selected and output to the depth calculation means 25.

この係数選択手段９Ｃは、表示する際のディスプレイ（接続されているディスプレイ）が奥行きを持つ立体映像ディスプレイであり、映像データが平面映像データであり、被写体距離Ｄと焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合、所定の係数あるいは値に１を選択する。また、この係数選択手段９Ｃは、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが送信側で未定の場合、所定の係数あるいは値に記憶手段５Ｃから読み出した平均距離Ｂを選択する。 The coefficient selection means 9C is a stereoscopic video display having a depth display (connected display) for display, the video data is planar video data, and a comparison comparing the subject distance D and the focal length f. If the result is not D >> f, 1 is selected as the predetermined coefficient or value . The coefficient selecting means 9C is a multi-view stereoscopic video display including two eyes when displayed, and when the average distance B between human eyes is undetermined on the transmission side, a predetermined coefficient or value is set. The average distance B read from the storage means 5C is selected.

さらに、この係数選択手段９Ｃは、表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、平均距離Ｂが送信側にあらかじめ与えられている場合、所定の係数あるいは値に１を選択する。さらに、この係数選択手段９Ｃは、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、映像データが立体映像データである場合、所定の係数あるいは値に１を選択する。さらにまた、この係数選択手段９Ｃは、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、被写体距離Ｄと焦点距離ｆとを比較した比較結果がＤ≫ｆの場合、所定の係数あるいは値に１を選択する。そして、この係数選択手段９Ｃは、表示する際のディスプレイが送信側で未定である場合、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、所定の係数あるいは値にそれぞれｆＢ若しくはｆ２を選択する。 Further, the coefficient selecting means 9C selects a predetermined coefficient or value of 1 when the display when displaying is a multi-view stereoscopic video display including two eyes and the average distance B is given in advance to the transmission side. To do. Further, the coefficient selecting means 9C selects 1 as a predetermined coefficient or value when the display at the time of display is a stereoscopic video display having a depth in the video and the video data is stereoscopic video data. Furthermore, the coefficient selecting means 9C is a stereoscopic video display in which the display at the time of display is a depth image, the video data is plane video data, and a comparison result comparing the subject distance D and the focal length f. If D >> f, 1 is selected as the predetermined coefficient or value . Then, the coefficient selecting means 9C determines whether the display to be displayed is undecided on the transmission side, according to whether the connected display is a multi-view stereoscopic display including two eyes or a stereoscopic display having a depth. Thus, fB or f2 is selected as a predetermined coefficient or value , respectively.

奥行算出手段２５は、奥行データ取得手段２３で取得された奥行データに、係数選択手段９Ｃで選択された所定の係数あるいは値を掛けることで、表示する際のディスプレイに対応させた被写体の再生像の奥行きを出力する The depth calculation means 25 multiplies the depth data acquired by the depth data acquisition means 23 by the predetermined coefficient or value selected by the coefficient selection means 9C, thereby reproducing the reproduced image of the subject corresponding to the display at the time of display. Output depth

次に、図９に示すフローチャートを参照して、奥行データ受信装置１Ｃの動作について説明する（適宜、図８参照）。
奥行データ受信装置１Ｃは、奥行データ取得手段２３によって、取得された奥行データの種類が直接奥行きとして使える形（所定の係数あるいは値に１を選択する場合）か、所定の係数あるいは値（１以外の所定の係数あるいは値）を掛ける必要があるかを判定する（ステップＳ１１）。続いて、奥行データ受信装置１Ｃは、係数選択手段９Ｃによって、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかを判定する（ステップＳ１２）。 Next, the operation of the depth data receiving apparatus 1C will be described with reference to the flowchart shown in FIG. 9 (see FIG. 8 as appropriate).
The depth data receiving apparatus 1 </ b> C uses the depth data acquisition unit 23 so that the type of depth data acquired can be used directly as a depth (when a predetermined coefficient or value is selected as 1), or a predetermined coefficient or value (other than 1). It determines whether it is necessary to apply a predetermined coefficient or value) of the (step S11). Subsequently, the depth data receiving apparatus 1C determines whether the connected display is a multi-view stereoscopic display including two eyes or a stereoscopic video display having a depth by the coefficient selection unit 9C (step S12).

そして、奥行データ受信装置１Ｃは、係数選択手段９Ｃによって、奥行データ取得手段２３で判定された奥行データの種類と、判定されたディスプレイの種類に応じて、記憶手段５Ｃに記憶されている焦点距離ｆと人間の両眼間の平均距離Ｂと用いて、所定の係数あるいは値を選択する（ステップＳ１３）。そして、奥行データ受信装置１Ｃは、奥行算出手段２５によって、奥行データ取得手段２３で取得された奥行きデータと係数選択手段９Ｃで選択された所定の係数あるいは値を掛けることで奥行きを算出して、出力する（ステップＳ１４）。 Then, the depth data receiving apparatus 1 </ b> C has the focal length stored in the storage unit 5 </ b> C according to the type of depth data determined by the depth data acquisition unit 23 and the determined type of display by the coefficient selection unit 9 </ b> C. A predetermined coefficient or value is selected using f and the average distance B between the human eyes (step S13). Then, the depth data receiving apparatus 1C calculates the depth by the depth calculation unit 25 by multiplying the depth data acquired by the depth data acquisition unit 23 and the predetermined coefficient or value selected by the coefficient selection unit 9C, Output (step S14).

また、この第３実施形態の任意視点映像システムＳＢで撮影された映像データが、多重化データとして送信されるまでの処理について、図１０を参照して説明する（適宜、図６参照）。
この任意視点映像システムＳＢの受光面移動カメラ１０Ｂで撮影された近景の被写体９０と遠景の被写体１００を含む映像データは、近景の被写体像９１が大きく、遠景の被写体像１０１が小さく撮影される。そして、この映像データは、送信機３０Ｂに送られ、その中で被写体９０及び１００の色や形を表す画像データと、奥行データとに変換される。 In addition, processing until video data captured by the arbitrary viewpoint video system SB of the third embodiment is transmitted as multiplexed data will be described with reference to FIG. 10 (see FIG. 6 as appropriate).
In the video data including the foreground subject 90 and the foreground subject 100 photographed by the light receiving surface moving camera 10B of the arbitrary viewpoint video system SB, the foreground subject image 91 is photographed large and the foreground subject image 101 is photographed small. This video data is then sent to the transmitter 30B, where it is converted into image data representing the color and shape of the subjects 90 and 100, and depth data.

なお、この図１０には示していないが、他の受光面移動カメラで撮影された映像データも同様の処理が行われ、全ての映像データが受信機４０（図１参照）に送られて、受信機側で視聴者が希望する視点からの映像（任意視点映像）を抽出してディスプレイ（図示せず）に表示することができる。   Although not shown in FIG. 10, the same processing is performed on video data captured by other light-receiving surface moving cameras, and all video data is sent to the receiver 40 (see FIG. 1). On the receiver side, a video from a viewpoint desired by the viewer (arbitrary viewpoint video) can be extracted and displayed on a display (not shown).

また、任意視点映像システムＳＢでは、図示していないが、ネットワークに接続して受信機４０から送信されたリクエスト信号（視聴者が視聴を希望する任意視点映像を指定した信号）を受信する受信手段を備えている場合で、且つ、このリクエスト信号に基づいて、任意視点映像を作成する任意視点映像作成手段を備えている場合には、送信機３０Ｂにて、リクエスト信号に基づいた任意視点映像を作成し、受信機４０に送ることで、受信機側の視聴者は、視聴者が希望した自由な視点からの任意視点映像を享受することができる。   In the arbitrary viewpoint video system SB, although not shown, receiving means for receiving a request signal (a signal designating an arbitrary viewpoint video that the viewer desires to view) connected to the network and transmitted from the receiver 40 is received. And an arbitrary viewpoint video creating means for creating an arbitrary viewpoint video based on the request signal, the transmitter 30B transmits the arbitrary viewpoint video based on the request signal. By creating and sending it to the receiver 40, the viewer on the receiver side can enjoy an arbitrary viewpoint video from a free viewpoint desired by the viewer.

さらに、この第３実施形態の任意視点映像システムＳＢで送信された多重化データが立体映像として表示されるまでの処理について、図１１を参照して説明する（適宜、図８参照）。
受信機４０では、図１１に示すように、画像データとその奥行データを受け取った受信機４０に電子ホログラフィディスプレイ５３が接続されている。この電子ホログラフィディスプレイ５３は、液晶表示素子等で構成されたものである。 Further, processing until the multiplexed data transmitted by the arbitrary viewpoint video system SB of the third embodiment is displayed as a stereoscopic video will be described with reference to FIG. 11 (see FIG. 8 as appropriate).
In the receiver 40, as shown in FIG. 11, an electronic holographic display 53 is connected to the receiver 40 that has received the image data and its depth data. The electronic holographic display 53 is composed of a liquid crystal display element or the like.

また、受信機４０は、映像作成手段２１によって、受け取った画像データ（映像データ）と奥行データとから立体映像５１を再構成（作成）する。そして、受信機４０は、映像作成手段２１によって、この立体映像５１から光が出たとして、その前面の適当な位置に置いたホログラム面５２に届いた時の光の振幅｜Ｍ｜と位相φとを計算して、｜Ｍ｜ｃｏｓφで表されるホログラムパターンを求めている。なお、ホログラム面５２は、映像作成手段２１の具体的な構成における一部分である。また、この映像作成手段２１で作成されたものが立体映像５１である。   Further, the receiver 40 reconstructs (creates) the stereoscopic video 51 from the received image data (video data) and depth data by the video creation means 21. Then, the receiver 40 assumes that light is emitted from the stereoscopic image 51 by the image creating means 21, and the light amplitude | M | and phase φ when reaching the hologram surface 52 placed at an appropriate position on the front surface thereof. To obtain a hologram pattern represented by | M | cosφ. The hologram surface 52 is a part of the specific configuration of the image creating unit 21. Also, a stereoscopic video 51 is created by the video creation means 21.

このホログラムパターンは、立体映像５１にレーザ光を当てて反射して来る光に、同じレーザ光を重ねて照射した時に出来る干渉縞と同じものであるので、これを電子ホログラフィディスプレイ５３に表示し、参照光として同じレーザ光を当てると、レーザ光が干渉縞により回折され、電子ホログラフィディスプレイ５３から多方向の回折光が出てくることになる。   Since this hologram pattern is the same as the interference fringes formed when the same laser beam is applied to the light reflected by applying the laser beam to the stereoscopic image 51, this is displayed on the electronic holography display 53, When the same laser light is applied as the reference light, the laser light is diffracted by the interference fringes, and multi-directional diffracted light comes out from the electronic holography display 53.

そして、この多方向の回折光の強さ及び方向は、元の立体映像５１の表面から出た光と同じになるので、この光を視聴者が見ると、電子ホログラフィディスプレイ５３の背面側に立体映像５１がある様に見える。なお、参照光が単色であると、再生される映像も単色であるが、赤緑青色のレーザ光を当てた時の干渉縞を計算し、これを電子ホログラフィディスプレイ５３に表示して、赤緑青色の参照光を当てれば、カラーの立体映像も再生することができる。   Since the intensity and direction of the multidirectional diffracted light is the same as the light emitted from the surface of the original stereoscopic image 51, when the viewer sees this light, the three-dimensional diffracted light is stereoscopically displayed on the back side of the electronic holographic display 53. It looks like there is video 51. If the reference light is a single color, the reproduced image is also a single color. However, the interference fringes when the red, green, and blue laser light is applied are calculated and displayed on the electronic holography display 53. If a blue reference light is applied, a color stereoscopic image can also be reproduced.

ここで再構成される立体映像５１は、受信する画像データが、画素毎にその色や明るさの値を持ち、奥行データが対応する画素毎にその奥行値を持っているので、これらの値をそのまま使って容易に立体映像を再構築できる。   The three-dimensional video 51 reconstructed here has the values of color and brightness for each pixel and the depth data for each pixel corresponding to the depth data. 3D images can be easily reconstructed using

また、奥行データδ＝ｄ−ｆ＝ｆ２／（Ｄ−ｆ）が、映像データを撮影した受光面移動カメラ１０Ｂと異なる位置から計測された場合には、奥行が計測された位置とカメラ位置の距離Ｃを用いて、奥行データの各画素位置を、δＣ／ｆ＝ｆＣ／（Ｄ−ｆ）ずつずらせば、撮影された映像データの画素に対応した奥行データが得られる。 Further, when the depth data δ = df−f 2 / (D−f) is measured from a position different from that of the light-receiving surface moving camera 10B that captured the video data, the position where the depth is measured and the camera position The depth data corresponding to the pixels of the captured video data can be obtained by shifting each pixel position of the depth data by δC / f = fC / (D−f) using the distance C.

この場合に、受信機４０において、新たな奥行データが重なる画素位置では、値の大きい奥行データを採用すれば、手前の被写体の奥行データとなる。新たな奥行データが得られなかった画素位置は、前景に隠れていた背景であるので、近傍の値の小さい奥行データを用いればよい。この操作は、送信側で行ってもよいし、受信側で行ってもよい。   In this case, in the receiver 40, at the pixel position where the new depth data overlaps, if the depth data having a large value is adopted, the depth data of the subject in front is obtained. Since the pixel position for which new depth data was not obtained is the background hidden in the foreground, depth data having a small value in the vicinity may be used. This operation may be performed on the transmission side or the reception side.

また、受信機４０において、この立体映像５１を２枚の視差画像に変換して、両眼視差型の立体映像ディスプレイ（図示せず）に表示する場合は、人間の両眼間の平均距離Ｂ（以下、単に両眼の間隔Ｂともいう）があらかじめ求められている場合は、送信側で像倍率ｆ／（Ｄ−ｆ）に両眼の間隔ＢをかけたものｆＢ／（Ｄ−ｆ）を奥行データとして送り、受信側では、この奥行データをそのまま視差量Δとして両眼視差型の立体映像ディスプレイに表示する。   In the receiver 40, when the stereoscopic video 51 is converted into two parallax images and displayed on a binocular parallax type stereoscopic video display (not shown), the average distance B between the human eyes. In the case where (hereinafter also simply referred to as “binocular distance B”) is obtained in advance, the image magnification f / (D−f) multiplied by the binocular distance B on the transmission side fB / (D−f) Is transmitted as depth data, and on the receiving side, the depth data is directly displayed as a parallax amount Δ on a binocular parallax type stereoscopic video display.

さらに、送信機３０Ｂにおいて、両眼の間隔Ｂが未定の場合は、像倍率ｆ／（Ｄ−ｆ）をそのまま奥行データとして送り、受信機４０において、両眼の間隔Ｂを得て、この奥行データにその値を掛けたものｆＢ／（Ｄ−ｆ）を視差量Δとして両眼視差型の立体映像ディスプレイに表示する。   Further, in the transmitter 30B, when the binocular interval B is undetermined, the image magnification f / (D−f) is sent as the depth data as it is, and the receiver 40 obtains the binocular interval B to obtain this depth. Data obtained by multiplying the value fB / (D−f) is displayed on a binocular parallax type stereoscopic video display as a parallax amount Δ.

そして、受信機４０において、映像作成手段２１によって、この視差量Δだけ、画像データの各画素位置をずらせて視差画像を作成すれば、両眼視差型の立体映像ディスプレイに、容易に両眼視差型の立体映像を表示することができる。   Then, in the receiver 40, if the parallax image is created by shifting the pixel positions of the image data by the parallax amount Δ by the video creation unit 21, the binocular parallax can be easily displayed on the binocular parallax type stereoscopic video display. 3D images can be displayed.

さらに、受信機４０において、２視差以上の多眼立体ディスプレイ（図示せず）に表示する場合は、映像作成手段２１によって、同様にして得られた視差量Δずつ、隣り合う視差画像の画素位置をずらせながら表示すれば、多眼の立体映像を容易に得ることができる。   Further, when the receiver 40 displays on a multi-view stereoscopic display (not shown) having two or more parallaxes, the pixel positions of the adjacent parallax images by the parallax amount Δ similarly obtained by the video creation unit 21. If the images are displayed while shifting, multi-view stereoscopic images can be easily obtained.

また、受信機４０において、液晶パネルを多数枚積層したような３次元ディスプレイ（図示せず）が接続されている場合には、送信機３０Ｂにおいて、像倍率ｆ／（Ｄ−ｆ）に、記憶されているレンズの焦点距離ｆを掛けたものを奥行データδとして送る。そして、受信機４０において、送られてくる画像データの画素値をその奥行データδで指定される液晶パネル上に表示する事により、特別な変換なしに立体映像を表示することができる。   Further, in the receiver 40, when a three-dimensional display (not shown) in which a large number of liquid crystal panels are stacked is connected, the image magnification f / (D−f) is stored in the transmitter 30B. Multiplied by the focal length f of the lens being sent is sent as depth data δ. Then, the receiver 40 displays the pixel value of the transmitted image data on the liquid crystal panel specified by the depth data δ, so that a stereoscopic image can be displayed without special conversion.

さらにまた、この様にして表示される立体映像は、元の被写体の実サイズの空間を表示したものではないが、この立体映像を撮影時のレンズの焦点距離ｆだけ離れた位置から観察者が見れば、実空間を見た時と同じ網膜像が観察者の目に写るので、実空間を見たのと同じ立体感を得ることができる。なお、立体映像が拡大表示される場合は、当該立体映像を見る距離も同じ比率で拡大すればよい。   Furthermore, the stereoscopic image displayed in this way is not a display of the actual size space of the original subject, but the observer can view the stereoscopic image from a position separated by the focal length f of the lens at the time of shooting. When viewed, the same retinal image as when viewed in real space is seen by the observer, so that the same stereoscopic effect as in real space can be obtained. Note that when a stereoscopic video is enlarged and displayed, the distance to view the stereoscopic video may be enlarged at the same ratio.

ここで、係数選択手段９Ｃで選択される所定の係数あるいは値について、様々なバリエーション（一部重複した説明も含む）と、それらの場合の効果について纏めて説明する。
第１実施形態及び第２実施形態では、ディスプレイが映像自身に奥行きを持つ立体映像ディスプレイの場合は、被写体像の像倍率ｆ／Ｄに、所定の値として、Ｄｆ／（Ｄ−ｆ）を掛けて奥行データとしたか、被写体までの被写体距離Ｄがレンズの焦点距離ｆより十分大きい場合には、所定の値はほぼレンズの焦点距離ｆに近くなるので、この様な場合には、Ｄｆ／（Ｄ−ｆ）を掛ける代わりに、レンズの焦点距離ｆのみを掛けたものを奥行データとしている。このため、この場合は、接続されているディスプレイが立体映像ディスプレイである事を確認して、奥行データをそのまま奥行きとして出力する。これにより、奥行を求める操作が簡略化され、高速に奥行を求める事が可能になる。 Here, various variations (including partially duplicated descriptions) of the predetermined coefficient or value selected by the coefficient selection means 9C and effects in those cases will be described together.
In the first and second embodiments, when the display is a stereoscopic video display having a depth in the video itself, the image magnification f / D of the subject image is multiplied by Df / (D−f) as a predetermined value. If the subject distance D to the subject is sufficiently larger than the focal length f of the lens, the predetermined value is almost close to the focal length f of the lens. In such a case, Df / Instead of multiplying (D−f), the depth data is obtained by multiplying only the focal length f of the lens. For this reason, in this case, it is confirmed that the connected display is a stereoscopic video display, and the depth data is directly output as the depth. Thereby, the operation for obtaining the depth is simplified, and the depth can be obtained at high speed.

また、送信側でディスプレイが多眼立体ディスプレイであることが分かっており、人の両眼の間隔Ｂがあらかじめ知られている場合は、奥行データには、所定の値としてＢが掛かっているので、この場合は、奥行データ受信装置１Ｃは、接続されているディスプレイが多眼立体映像ディスプレイである事を確認して、奥行データをそのまま奥行きとして出力する。これにより、受信側での処理が更に容易になる。
これにより、奥行きは、直接視差量を表すので、この値だけ画素位置をずらせて２眼を含む多眼立体ディスプレイに表示すれば、容易に立体映像が得られ、受信側で特別な処理を不要にすることができる。 In addition, when it is known that the display is a multi-view stereoscopic display on the transmission side, and the distance B between human eyes is known in advance, the depth data is multiplied by B as a predetermined value. In this case, the depth data receiving apparatus 1C confirms that the connected display is a multi-view stereoscopic video display, and outputs the depth data as it is as the depth. This further facilitates processing on the receiving side.
As a result, the depth directly represents the amount of parallax, so if the pixel position is shifted by this value and displayed on a multi-view stereoscopic display including two eyes, a stereoscopic image can be easily obtained, and no special processing is required on the receiving side. Can be.

さらに、送信側でディスプレイが多眼立体ディスプレイであることが分かっており、人の両眼の間隔Ｂが未定の場合は、奥行データには、所定の値として１が掛かっているので、この場合は、奥行データ受信装置１Ｃは、接続されている多眼立体映像ディスプレイの両眼の間隔Ｂを得て、奥行データにＢを掛けて奥行として出力する。   Further, when it is known that the display is a multi-view stereoscopic display on the transmission side and the distance B between human eyes is undetermined, the depth data is multiplied by 1 as a predetermined value. The depth data receiving device 1C obtains the distance B between both eyes of the connected multi-view stereoscopic video display, multiplies the depth data by B, and outputs it as the depth.

さらに、送信側でディスプレイの種類が未定の場合は、奥行データには、所定の値として１／ｆが掛かっているので、この場合は、奥行データ受信装置１Ｃは、接続されているディスプレイが多眼立体映像ディスプレイか、映像が奥行きを持つ立体映像ディスプレイかを判定して、多眼立体映像ディスプレイの場合は、記憶手段５Ｃに記憶されている焦点距離ｆと両眼の間隔Ｂを得て、ｆＢを奥行データに掛けて奥行きとして出力する。接続されているディスプレイが像に奥行きを持つ立体映像ディスプレイの場合は、ｆ２を奥行データに掛けて奥行きとして出力する。 Further, when the display type is undecided on the transmission side, the depth data is multiplied by 1 / f as a predetermined value. In this case, the depth data receiving apparatus 1C has many connected displays. It is determined whether the display is an ocular stereoscopic video display or a stereoscopic video display having a depth, and in the case of a multi-view stereoscopic video display, the focal length f and the binocular interval B stored in the storage means 5C are obtained, Multiply fB by depth data and output as depth. If display is connected to the stereoscopic image display with a depth to the image, and outputs as the depth multiplied by f 2 to the depth data.

これらの所定の係数あるいは値を掛ける処理は、受信機４０において、受信した奥行データの種類と接続されたディスプレイの種類に応じて、正しい視差量又は立体映像の奥行きを出力することができる。 The process of multiplying these predetermined coefficients or values enables the receiver 40 to output the correct amount of parallax or the depth of the stereoscopic video according to the type of received depth data and the type of display connected.

なお、受信機４０で表示するディスプレイが平面映像ディスプレイの場合は、送られてくる奥行データから、像倍率ｆ／Ｄ又はｆ／（Ｄ−ｆ）を得て、これに映像を表示すべき視点位置と送られてくるカメラ映像の視点位置間の距離Ｃを掛けた値ｆＣ／ＤもしくはｆＣ／（Ｄ−ｆ）ずつ被写体像をずらせて表示すれば、所望の視点位置からの映像を表示出来る。   In the case where the display displayed by the receiver 40 is a flat image display, an image magnification f / D or f / (D−f) is obtained from the transmitted depth data, and the viewpoint on which the image is to be displayed is obtained. If the subject image is shifted and displayed by a value fC / D or fC / (D−f) multiplied by the distance C between the position and the viewpoint position of the transmitted camera image, the image from the desired viewpoint position can be displayed. .

なお、第１実施形態では、視差量Δ＝ｆＬ／Ｄから被写体の被写体距離Ｄを求めて、像倍率ｆ／Ｄを出し、これに所定の係数あるいは値を掛けて奥行データを出力したが、ディスプレイが平面ディスプレイ又は多眼立体映像ディスプレイの場合は、視差量Δ＝ｆＬ／Ｄから直接像倍率ｆ／Ｄを求めて、所定の係数あるいは値を掛けてもよい。 In the first embodiment, the subject distance D of the subject is obtained from the parallax amount Δ = fL / D, the image magnification f / D is obtained, and the depth data is output by multiplying this by a predetermined coefficient or value . When the display is a flat display or a multi-view stereoscopic video display, the image magnification f / D may be obtained directly from the parallax amount Δ = fL / D and multiplied by a predetermined coefficient or value .

すなわち、本発明の奥行データを用いれば、どのような立体映像ディスプレイに対しても容易に幾何学的に正しい立体映像を表示できる。   That is, if the depth data of the present invention is used, a geometrically correct stereoscopic image can be easily displayed on any stereoscopic image display.

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、奥行データ出力装置１、１Ａ、１Ｂを送信機３０、３０Ａ、３０Ｂに包含し、奥行データ受信装置１Ｃを受信機４０に包含するものとしているが、両者を合わせて構成してもよい。
また、奥行データ出力装置１、１Ａ、１Ｂ及び、奥行データ受信装置１Ｃの各構成による処理をコンピュータ言語で実現可能に記述した奥行データ出力プログラムとして構成することも可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the depth data output devices 1, 1A, and 1B are included in the transmitters 30, 30A, and 30B, and the depth data reception device 1C is included in the receiver 40. May be.
Further, it is also possible to configure a depth data output program in which processing by each configuration of the depth data output devices 1, 1A, 1B and the depth data reception device 1C is described so as to be realized in a computer language.

ここで、奥行データと係数選択手段で選択される所定の係数あるいは値との関係について、図１２を参照して説明する。この図１２において、距離測定の「視差量計測」が第１実施形態に対応しており、「距離カメラ」が第２実施形態に対応しており、「受光面位置」が第３実施形態に対応している。
そして、「送信側係数」が送信機３０、３０Ａ、３０Ｂで選択される所定の係数あるいは値を、「受信側係数」が受信機４０で選択される所定の係数あるいは値を示している。 Here, the relationship between the depth data and the predetermined coefficient or value selected by the coefficient selection means will be described with reference to FIG. In FIG. 12, “parallax amount measurement” of distance measurement corresponds to the first embodiment, “distance camera” corresponds to the second embodiment, and “light receiving surface position” corresponds to the third embodiment. It corresponds.
“Transmission side coefficient” indicates a predetermined coefficient or value selected by the transmitters 30, 30 A, and 30 B, and “Reception side coefficient” indicates a predetermined coefficient or value selected by the receiver 40.

この図１２に示したように、奥行データ出力装置１、１Ａ、１Ｂから奥行データを出力する際の所定の係数あるいは値と、奥行データ受信装置１Ｃで任意視点映像を表示する際に用いる奥行値に、当該奥行データを加工する際の所定の係数あるいは値との関係が明確になっている。 As shown in FIG. 12, a predetermined coefficient or value when the depth data is output from the depth data output device 1, 1A, 1B, and a depth value used when the arbitrary viewpoint video is displayed by the depth data receiving device 1C. In addition, the relationship with a predetermined coefficient or value when processing the depth data is clear.

さらに、図１３〜図１５を参照して、視差データの例と、距離画像の例と、２眼式立体映像ディスプレイ（図示せず）に表示する映像（右目用映像、左目用映像）の例とを示す。
図１３に示したように、視差データは、２つの映像データ（カメラ１画像、カメラ２画像）を視差データ算出手段３に入力することで得られたものである。 Furthermore, referring to FIGS. 13 to 15, examples of parallax data, examples of distance images, and examples of videos (right-eye video and left-eye video) displayed on a binocular stereoscopic video display (not shown) It shows.
As shown in FIG. 13, the parallax data is obtained by inputting two pieces of video data (camera 1 image and camera 2 image) to the parallax data calculation means 3.

また、図１４に示したように、距離画像（距離データ）は、距離画像撮影カメラ１３から直接出力したものである。なお、距離画像撮影カメラ１３は、光を被写体に照射する発光器１３ａと、被写体で反射した反射光を受光する受光器１３ｂと、発光器１３ａが照射した光が反射光として受光されるまでの時間から被写体までの距離を距離画像として出力する距離計測器１３ｃとから構成されている。   Further, as shown in FIG. 14, the distance image (distance data) is directly output from the distance image capturing camera 13. The distance image capturing camera 13 includes a light emitter 13a that irradiates a subject with light, a light receiver 13b that receives reflected light reflected by the subject, and a process until light emitted by the light emitter 13a is received as reflected light. The distance measuring device 13c outputs the distance from the time to the subject as a distance image.

さらに、図１５に示したように、映像データと奥行データとを映像作成手段２１に入力することで、２眼式立体映像ディスプレイに出力する右目用映像、左目用映像が得られる。   Further, as shown in FIG. 15, by inputting the video data and the depth data to the video creation means 21, a right-eye video and a left-eye video to be output to the two-lens stereoscopic video display are obtained.

本発明の第１実施形態に係る任意視点映像システムの概略的な構成図である。1 is a schematic configuration diagram of an arbitrary viewpoint video system according to a first embodiment of the present invention. 被写体までの光軸上で測った距離と、光軸に対して直角方向にずれた被写体のズレ量と被写体のサイズと、レンズでその焦点距離位置に投影される被写体像のサイズと、被写体像の光軸からのズレ量との関係を説明するための図である。The distance measured on the optical axis to the subject, the amount of deviation of the subject and the size of the subject shifted in the direction perpendicular to the optical axis, the size of the subject image projected on the focal length position by the lens, and the subject image It is a figure for demonstrating the relationship with the deviation | shift amount from the optical axis. 図１に示した奥行データ出力装置の動作を示したフローチャートである。It is the flowchart which showed the operation | movement of the depth data output apparatus shown in FIG. 本発明の第２実施形態に係る任意視点映像システムの概略的な構成図である。It is a schematic block diagram of the arbitrary viewpoint video system which concerns on 2nd Embodiment of this invention. カメラにより撮影される映像の像倍率と映像の位置の関係及び被写体像の像倍率と、その映像の奥行の比率を説明するためのグラフである。It is a graph for demonstrating the relationship between the image magnification of the image | video image | photographed with a camera, the position of an image | video, the image magnification of a to-be-photographed image, and the depth of the image | video. 本発明の第３実施形態に係る任意視点映像システムの概略的な構成図である。It is a schematic block diagram of the arbitrary viewpoint video system which concerns on 3rd Embodiment of this invention. 本発明の第３実施形態に係る任意視点映像システムにおいて、被写体と、この被写体からレンズの後方の位置に形成された被写体像とを示した図である。It is the figure which showed the to-be-photographed object and the to-be-photographed object image formed in the back position of a lens from this to-be-photographed object in the arbitrary viewpoint video system which concerns on 3rd Embodiment of this invention. 第１実施形態から第３実施形態まで共通する受信機の構成について説明するための図である。It is a figure for demonstrating the structure of the receiver common to 1st Embodiment to 3rd Embodiment. 第１実施形態ないし第３実施形態の奥行データを判定して奥行きを出力する奥行データ受信装置の動作を示したフローチャートである。It is the flowchart which showed operation | movement of the depth data receiver which determines the depth data of 1st Embodiment thru | or 3rd Embodiment, and outputs depth. 第３実施形態の任意視点映像システムで撮影された映像データが、多重化データとして送信されるまでを説明するための図である。It is a figure for demonstrating until the video data image | photographed with the arbitrary viewpoint video system of 3rd Embodiment is transmitted as multiplexed data. 第３実施形態の任意視点映像システムで送信された多重化データが立体映像として表示されるまでを説明するための図である。It is a figure for demonstrating until the multiplexed data transmitted with the arbitrary viewpoint video system of 3rd Embodiment are displayed as a stereo image. 奥行データと係数選択手段で選択される所定の係数あるいは値との関係について示した図である。It is the figure shown about the relationship between depth data and the predetermined coefficient or value selected by a coefficient selection means. 視差データについて例示した図である。It is the figure illustrated about parallax data. 距離画像について例示した図である。It is the figure illustrated about the distance image. ２眼式立体映像ディスプレイに出力する映像を例示した図である。It is the figure which illustrated the image outputted to a twin-lens type stereoscopic video display. 特許文献に開示されている従来の方法を説明するための図である。It is a figure for demonstrating the conventional method currently disclosed by patent document. 従来の奥行表示尺度の例である。It is an example of the conventional depth display scale.

符号の説明Explanation of symbols

１、１Ａ、１Ｂ 奥行データ出力装置
１Ｃ 奥行データ受信装置
２ 映像データ符号化器
３ 視差データ算出手段
４ 多重化器
５、５Ａ、５Ｂ、５Ｃ 記憶手段
７ 距離算出手段
９、９Ｂ、９Ｃ 係数選択手段
１０、２０ カメラ
１０Ｂ、２０Ｂ 受光面移動カメラ
１０ｂ、２０ｂ 受光面
１１、１１Ａ、１１Ｂ 奥行データ算出手段
１２、２２ レンズ
１３ 距離画像撮影カメラ（距離画像撮影手段）
１５ 被写体抽出手段
１７ 受信分離手段
１９ 映像データ復号手段
２１ 映像作成手段
２３ 奥行データ取得手段
２５ 奥行算出手段
３０、３０Ａ、３０Ｂ 送信機
４０ 受信機
５０、８０ 被写体
６０、６１、７０、８１ 被写体像
５２ 仮想のホログラム面
５３ 電子ホログラフィディスプレイ
９０ 近景の被写体
９１ 近景の被写体像
１００ 遠景の被写体
１０１ 遠景の被写体像 DESCRIPTION OF SYMBOLS 1, 1A, 1B Depth data output device 1C Depth data receiver 2 Video data encoder 3 Disparity data calculation means 4 Multiplexer 5, 5A, 5B, 5C Storage means 7 Distance calculation means 9, 9B, 9C Coefficient selection means DESCRIPTION OF SYMBOLS 10,20 Camera 10B, 20B Light-receiving surface moving camera 10b, 20b Light-receiving surface 11, 11A, 11B Depth data calculation means 12, 22 Lens 13 Distance image photographing camera (distance image photographing means)
15 Subject extraction means 17 Reception separation means 19 Video data decoding means 21 Video creation means 23 Depth data acquisition means 25 Depth calculation means 30, 30A, 30B Transmitter 40 Receiver 50, 80 Subject 60, 61, 70, 81 Subject image 52 Virtual holographic screen 53 Electronic holographic display 90 Foreground subject 91 Foreground subject image 100 Foreground subject 101 Foreground subject image

Claims (7)

被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラ間の設置間隔を予め記憶していると共に、前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
前記カメラで撮影した少なくとも２つの映像データに基づいて、２つの映像データのズレ量である視差データを算出する視差データ算出手段と、
この視差データ算出手段で算出した視差データから、前記カメラのレンズから前記被写体までの距離である被写体距離を算出する距離算出手段と、
この距離算出手段で算出された被写体距離をＤとし、前記記憶手段に記憶されているレンズの焦点距離をｆとして、前記被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、この像倍率ｆ／Ｄに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。 A depth data output device that outputs depth data defined by the distance from the lens of a plurality of cameras that photographed the subject to the subject,
Storage means for storing the installation interval between the cameras in advance, and storing in advance the focal length of the lens of the camera;
Parallax data calculating means for calculating parallax data, which is a shift amount between the two video data, based on at least two video data captured by the camera;
Distance calculation means for calculating a subject distance, which is a distance from the lens of the camera to the subject, from the parallax data calculated by the parallax data calculation means;
When the subject distance calculated by the distance calculating unit is D, the focal length of the lens stored in the storage unit is f, and the image magnification between the subject and the captured subject image is f / D. Depth data calculating means for calculating the depth data by multiplying the image magnification f / D by a value that changes in accordance with the format of the display that outputs the depth data and preset conditions ;
A depth data output device comprising: 被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラのレンズから前記被写体までの距離を距離画像として得る距離画像撮影手段と、
前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
この記憶手段に記憶されているレンズの焦点距離をｆとし、前記距離画像撮影手段で撮影された距離画像から得られた前記カメラのレンズから前記被写体までの距離である被写体距離をＤとして、前記被写体と撮影された被写体像との像倍率をｆ／Ｄとした場合に、
この像倍率ｆ／Ｄに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。 A depth data output device that outputs depth data defined by the distance from the lens of a plurality of cameras that photographed the subject to the subject,
Distance image photographing means for obtaining a distance image from the camera lens to the subject;
Storage means for storing in advance the focal length of the lens of the camera;
The focal length of the lens stored in the storage means is defined as f, and the subject distance that is the distance from the camera lens to the subject obtained from the distance image captured by the distance image capturing means is defined as D. When the image magnification between the subject and the photographed subject image is f / D,
Depth data calculating means for calculating the depth data by multiplying the image magnification f / D by a value that changes in accordance with the format of the display that outputs the depth data and preset conditions ;
A depth data output device comprising: 前記奥行データ算出手段で使用される前記値を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記値にＤｆ／（Ｄ−ｆ）を選択し、
表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記値に１を選択し、
表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが予め与えられている場合の条件のとき、前記値に前記Ｂを選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合の条件のとき、前記値にｆを選択し、
表示する際のディスプレイが未定である場合の条件のとき、前記値に１／ｆを選択することを特徴とする請求項１又は２に記載の奥行データ出力装置。 Coefficient selection means for selecting the value used in the depth data calculation means based on a preset condition, the coefficient selection means,
When the display is a stereoscopic video display having a depth, the video data is planar video data, and the comparison result of comparing the subject distance D and the focal distance f is not D >> f. , Select Df / (D−f) as the value ,
When the display is a multi-view stereoscopic video display including two eyes, and the condition is that the average distance B between human eyes is undecided, 1 is selected as the value ,
When the display is a multi-view stereoscopic video display including two eyes and the average distance B between human eyes is given in advance, B is selected as the value ,
Conditions when the display is a stereoscopic video display having a depth in the video, the video data is planar video data, and the comparison result comparing the subject distance D and the focal length f is D >> f Then select f as the value ,
3. The depth data output device according to claim 1, wherein 1 / f is selected as the value when the display is undecided when displaying. 被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラは、カメラのレンズ又は受光面の位置を移動させながら、被写体を当該カメラで複数回撮影する立体映像カメラであって、撮影した複数の立体映像データの各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する被写体抽出手段と、
前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
この記憶手段に記憶されているレンズの焦点距離をｆとし、前記被写体抽出手段で被写体像が抽出されるまでに前記レンズ又は前記受光面の位置が移動した移動距離から、前記カメラから前記被写体までの距離である被写体距離Ｄを得て、前記被写体と撮影された前記被写体像との像倍率ｆ／（Ｄ−ｆ）を算出し、この像倍率ｆ／（Ｄ−ｆ）に前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。 A depth data output device that outputs depth data defined by the distance from the lens of a plurality of cameras that photographed the subject to the subject,
The camera is a stereoscopic video camera that captures a subject a plurality of times with the camera while moving the position of the lens or the light receiving surface of the camera, and a preset threshold value in each layer video of the captured stereoscopic video data Subject extraction means for extracting a pixel including a higher frequency component and extracting a region of pixels of similar colors including a predetermined number or more of the pixels as a subject image;
Storage means for storing in advance the focal length of the lens of the camera;
The focal length of the lens stored in the storage means is defined as f, and the distance from the camera or the subject to the subject is determined based on the moving distance that the position of the lens or the light receiving surface has moved until the subject image is extracted by the subject extraction means. Is obtained, and an image magnification f / (D−f) between the subject and the photographed subject image is calculated, and the depth data is added to the image magnification f / (D−f). Depth data calculation means for calculating the depth data by multiplying a value that changes in accordance with the format of the display to be output and preset conditions ,
A depth data output device comprising: 前記奥行データ算出手段で使用される前記値を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが未定の場合の条件のとき、前記値に１を選択し、
表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが予め与えられている場合の条件のとき、前記値に前記Ｂを選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記値に前記ｆを選択し、
表示する際のディスプレイが未定である場合の条件のとき、前記値に１／ｆを選択することを特徴とする請求項４に記載の奥行データ出力装置。 Coefficient selection means for selecting the value used in the depth data calculation means based on a preset condition, the coefficient selection means,
When the display is a multi-view stereoscopic video display including two eyes, and the condition is that the average distance B between human eyes is undecided, 1 is selected as the value ,
When the display is a multi-view stereoscopic video display including two eyes and the average distance B between human eyes is given in advance, B is selected as the value ,
When the display is a stereoscopic video display having a depth in the video and the video data is stereoscopic video data, the value is selected as f,
5. The depth data output device according to claim 4, wherein 1 / f is selected as the value when the display is undecided when displaying. 請求項１から請求項５のいずれか一項に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
前記奥行データの種類に応じて変わる値を、判定された前記奥行データに掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、
を備えることを特徴とする奥行データ受信装置。 When the depth data output from the depth data output device according to any one of claims 1 to 5 is received and video data obtained by photographing a subject with the camera is displayed, the display video has a depth. Depth data receiver that outputs parameters to show
The depth data is accompanied by a flag having a value corresponding to the display at the time of display, the depth data has a type corresponding to the flag,
Storage means for storing in advance the focal length of the lens of the camera and the average distance between the human eyes;
Depth data acquisition means for receiving the depth data and determining the type of the received depth data from a flag attached to the depth data;
Depth calculation means for calculating the parameter as depth by multiplying the determined depth data by a value that changes according to the type of the depth data ;
A depth data receiving apparatus comprising: 請求項３または請求項５に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
前記ディスプレイの種類を判定して、前記記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべき値を選択する係数選択手段と、
前記奥行データに前記値を掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、を備え、
前記係数選択手段は、前記フラグから判定した奥行データの種類に応じ、
表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記フラグの値に従って算出した前記カメラから前記被写体までの距離である被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆでない場合の条件のとき、前記値に１を選択し、
表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Ｂが送信側で未定の場合の条件のとき、前記値に前記記憶手段から読み出された前記平均距離Ｂを選択し、
表示する際のディスプレイが２眼を含む多眼立体映像ディスプレイであり、前記平均距離Ｂが送信側に予め与えられている場合の条件のとき、前記値に１を選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記値に１を選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Ｄと前記焦点距離ｆとを比較した比較結果がＤ≫ｆの場合の条件のとき、前記値に１を選択し、
表示する際のディスプレイが送信側で未定である場合の条件のとき、接続されているディスプレイが２眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、前記値にそれぞれｆＢ若しくはｆ２を選択することを特徴とする奥行データ受信装置。 When receiving the depth data output from the depth data output device according to claim 3 or 5 and displaying the video data obtained by photographing the subject with the camera, the display video is displayed so that the depth is present. A depth data receiving device that outputs parameters,
The depth data is accompanied by a flag having a value corresponding to the display at the time of display, the depth data has a type corresponding to the flag,
Storage means for storing in advance the focal length of the lens of the camera and the average distance between the human eyes;
Depth data acquisition means for receiving the depth data and determining the type of the received depth data from a flag attached to the depth data;
Coefficient selection means for determining the type of the display and selecting a value to be multiplied to the received depth data using the focal length or the average distance stored in the storage means;
Depth calculation means for calculating the parameter as depth by multiplying the depth data by the value , and
The coefficient selection means, according to the type of depth data determined from the flag,
The display at the time of display is a stereoscopic video display having a depth, the video data is planar video data, and the subject distance D and the focal length f which are distances from the camera to the subject calculated according to the value of the flag When the comparison result is a condition in which D >> f is not satisfied, 1 is selected as the value ,
When the display is a multi-view stereoscopic video display including two eyes and the average distance B between the human eyes is not determined on the transmission side, the value is read from the storage unit. Select the average distance B,
When the display is a multi-view stereoscopic video display including two eyes and the average distance B is given in advance to the transmission side, 1 is selected as the value ,
When the display is a stereoscopic video display having a depth in the video, and the video data is stereoscopic video data, the value is selected as 1,
Conditions when the display is a stereoscopic video display having a depth in the video, the video data is planar video data, and the comparison result comparing the subject distance D and the focal length f is D >> f Then select 1 for the value ,
When the display is undecided on the transmission side, the above value is set depending on whether the connected display is a multi-view stereoscopic display including two eyes or a stereoscopic video display having a depth. depth data receiver and selects the fB or f 2, respectively.
JP2007168484A 2007-06-27 2007-06-27 Depth data output device and depth data receiver Expired - Fee Related JP4942106B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007168484A JP4942106B2 (en) 2007-06-27 2007-06-27 Depth data output device and depth data receiver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007168484A JP4942106B2 (en) 2007-06-27 2007-06-27 Depth data output device and depth data receiver

Publications (2)

Publication Number Publication Date
JP2009010557A JP2009010557A (en) 2009-01-15
JP4942106B2 true JP4942106B2 (en) 2012-05-30

Family

ID=40325217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007168484A Expired - Fee Related JP4942106B2 (en) 2007-06-27 2007-06-27 Depth data output device and depth data receiver

Country Status (1)

Country Link
JP (1) JP4942106B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7463754B2 (en) 2020-02-14 2024-04-09 住友ゴム工業株式会社 racket

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4631096B2 (en) * 2008-10-20 2011-02-16 本田技研工業株式会社 Vehicle periphery monitoring device
JP5258049B2 (en) * 2009-02-27 2013-08-07 独立行政法人情報通信研究機構 Multi-view image generation apparatus, multi-view image generation method, and multi-view image generation program
JP5252642B2 (en) * 2009-04-13 2013-07-31 独立行政法人情報通信研究機構 Depth estimation apparatus, depth estimation method, and depth estimation program
JP5407968B2 (en) 2009-06-29 2014-02-05 ソニー株式会社 Stereoscopic image data transmitting apparatus and stereoscopic image data receiving apparatus
JP5402715B2 (en) 2009-06-29 2014-01-29 ソニー株式会社 Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
JP5429034B2 (en) 2009-06-29 2014-02-26 ソニー株式会社 Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
JP5407957B2 (en) 2009-06-29 2014-02-05 ソニー株式会社 Stereoscopic image data transmitting apparatus and stereoscopic image data receiving apparatus
JP5425554B2 (en) * 2009-07-27 2014-02-26 富士フイルム株式会社 Stereo imaging device and stereo imaging method
JP2011010255A (en) * 2009-10-29 2011-01-13 Sony Corp Three-dimensional image data transmitting method, and three-dimensional image data receiving apparatus and method
KR101177408B1 (en) 2010-09-16 2012-08-27 광운대학교 산학협력단 A multi-view interactive holographic device and system for reconstructing holographic images adaptable at the view-point of a user
WO2012132267A1 (en) * 2011-03-31 2012-10-04 パナソニック株式会社 Omnidirectional stereo image output device
JP6039178B2 (en) * 2011-09-15 2016-12-07 シャープ株式会社 Image encoding apparatus, image decoding apparatus, method and program thereof
KR101888956B1 (en) * 2012-05-31 2018-08-17 엘지이노텍 주식회사 Camera module and auto-focusing method thereof
JP2016149772A (en) * 2016-03-01 2016-08-18 京セラ株式会社 Electronic apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242469A (en) * 1995-03-06 1996-09-17 Nippon Telegr & Teleph Corp <Ntt> Image pickup camera
JP2002152776A (en) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> Method and device for encoding and decoding distance image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7463754B2 (en) 2020-02-14 2024-04-09 住友ゴム工業株式会社 racket

Also Published As

Publication number Publication date
JP2009010557A (en) 2009-01-15

Similar Documents

Publication Publication Date Title
JP4942106B2 (en) Depth data output device and depth data receiver
KR101185870B1 (en) Apparatus and method for processing 3 dimensional picture
Meesters et al. A survey of perceptual evaluations and requirements of three-dimensional TV
ES2676055T3 (en) Effective image receiver for multiple views
EP1836859B1 (en) Automatic conversion from monoscopic video to stereoscopic video
JP4762994B2 (en) Parallax map
US20050207486A1 (en) Three dimensional acquisition and visualization system for personal electronic devices
US20130147843A1 (en) Image coding device, integrated circuit thereof, and image coding method
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
KR20110124473A (en) 3-dimensional image generation apparatus and method for multi-view image
JP5450330B2 (en) Image processing apparatus and method, and stereoscopic image display apparatus
TWI651960B (en) Method and encoder/decoder of encoding/decoding a video data signal and related video data signal, video data carrier and computer program product
WO2012042998A1 (en) Image processing device, image processing method, program, and recording medium
JP2010226500A (en) Device and method for displaying stereoscopic image
Berretty et al. Real-time rendering for multiview autostereoscopic displays
KR20080075079A (en) System and method for capturing visual data
JP3733359B2 (en) Disparity estimation method, image transmission method, image display method, multi-view image transmission method, multi-view image restoration method, and disparity estimation apparatus
KR20050083352A (en) The apparatus and method for acquisition and displays a panoramic and three-dimensional image using the stereo-camera in a mobile communication terminal.
KR102112491B1 (en) Method for description of object points of the object space and connection for its implementation
KR101192121B1 (en) Method and apparatus for generating anaglyph image using binocular disparity and depth information
TWI572899B (en) Augmented reality imaging method and system
JP2012134885A (en) Image processing system and image processing method
KR101994472B1 (en) Method, apparatus and recording medium for generating mask and both-eye images for three-dimensional image
KR100897305B1 (en) Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof
EP3267682A1 (en) Multiview video encoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees