JP2020178239A - All-sky video processing device and program - Google Patents

All-sky video processing device and program Download PDF

Info

Publication number
JP2020178239A
JP2020178239A JP2019079317A JP2019079317A JP2020178239A JP 2020178239 A JP2020178239 A JP 2020178239A JP 2019079317 A JP2019079317 A JP 2019079317A JP 2019079317 A JP2019079317 A JP 2019079317A JP 2020178239 A JP2020178239 A JP 2020178239A
Authority
JP
Japan
Prior art keywords
image
sky
subject
cut
sky image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019079317A
Other languages
Japanese (ja)
Other versions
JP7336871B2 (en
Inventor
裕之 川喜田
Hiroyuki Kawakita
裕之 川喜田
数馬 吉野
Kazuma Yoshino
数馬 吉野
小出　大一
Daiichi Koide
大一 小出
健介 久富
Kensuke Hisatomi
健介 久富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2019079317A priority Critical patent/JP7336871B2/en
Publication of JP2020178239A publication Critical patent/JP2020178239A/en
Application granted granted Critical
Publication of JP7336871B2 publication Critical patent/JP7336871B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To provide an all-sky video processing device or the like that facilitates video editing and processing, and can present a pseudo XR 3D video by a simple method.SOLUTION: An integrated unit 10 of an all-sky video processing device 4 integrates videos I1 to In to generate an all-sky video Z1, and a cutout unit 11 cuts outs a portion of a subject from the videos I1 to In, and generate cutout videos K1 to Kn. A mapping unit 12 maps the cutout video K in the direction of the subject in the all-sky video Z1 and generates an all-sky video Z2. An alpha value setting unit 13 sets 255 to an alpha value of the portion of the all-sky video Z2 to which the cutout video K is mapped, and sets 0 to the alpha value of the other portion. A radius setting unit 14 changes the radius of the all-sky video Z3 by setting distance data d to the radius of the all-sky video Z3, and generates an all-sky video Z4.SELECTED DRAWING: Figure 3

Description

本発明は、人が知覚する現実環境をコンピュータにより拡張する技術において、被写体の切り出し映像を全天周映像にマッピングする全天周映像処理装置及びプログラムに関する。 The present invention relates to an all-sky image processing device and a program for mapping a cut-out image of a subject to an all-sky image in a technique for extending a real environment perceived by a person by a computer.

従来、人が知覚する現実環境をコンピュータにより拡張する技術として、ＡＲ（Augmented Reality：拡張現実）、ＭＲ（Mixed Reality : 複合現実）、ＶＲ（Virtual Reality：仮想現実）等が知られており、盛んに研究開発が行われている。以下、ＡＲ、ＭＲ、ＶＲ等を総称して、ＸＲ（X Reality:クロス・リアリティ）という。 Conventionally, AR (Augmented Reality), MR (Mixed Reality), VR (Virtual Reality), etc. are known and prosperous as technologies for expanding the real environment perceived by humans by a computer. Research and development is being carried out in. Hereinafter, AR, MR, VR, etc. are collectively referred to as XR (X Reality).

ＸＲに用いるカメラとして、例えば、全方位撮影可能な３６０度カメラ（例えば特許文献１，２を参照。）、ユーザに装備されるウェアラブル３６０度カメラ（例えば非特許文献１を参照。）等が知られている。これらのカメラにより撮影された全天周映像を用いて、ＸＲの体験サービスを提供することができる。 As the camera used for the XR, for example, a 360-degree camera capable of omnidirectional shooting (see, for example, Patent Documents 1 and 2), a wearable 360-degree camera equipped to the user (see, for example, Non-Patent Document 1) and the like are known. Has been done. It is possible to provide an XR experience service by using all-sky images taken by these cameras.

ＸＲに提示する物体を、視点に応じた映像としてＡＲグラスまたはＶＲゴーグル上に表示するためには、当該物体は、３次元構造（３次元座標及び色を持つ点群または面の構造）を有することが望ましい。以下、ＡＲグラス、ＶＲゴーグル等を総称して、ＨＭＤ（Head Mounted Display：頭部装着ディスプレイ）という。 In order to display an object presented to XR on AR glasses or VR goggles as an image according to a viewpoint, the object has a three-dimensional structure (point cloud or surface structure having three-dimensional coordinates and colors). Is desirable. Hereinafter, AR glasses, VR goggles, etc. are collectively referred to as HMD (Head Mounted Display).

特開２０１１−１８２００３号公報Japanese Unexamined Patent Publication No. 2011-182003 特開２０１１−１６０４４２号公報Japanese Unexamined Patent Publication No. 2011-160442

FITT360-The First 360°Neckband Wearable Camera、［online］、Kickstarter、［平成３１年３月１８日検索］、インターネット＜https://www.kickstarter.com/projects/467094941/fitt360-the-first-360-neckband-wearable-camera?lang=ja＞FITT360-The First 360 ° Neckband Wearable Camera, [online], Kickstarter, [Search March 18, 2019], Internet <https://www.kickstarter.com/projects/467094941/fitt360-the-first-360 -neckband-wearable-camera?lang=ja ＞

しかしながら、３次元構造の映像を表現するための３次元カメラ、すなわち屋外または大規模な撮影範囲にも対応し、かつ３次元構造の映像を取得可能な３次元カメラは存在しない。また、３次元構造の映像を生成したとしても、これを編集及び加工することは困難である。 However, there is no three-dimensional camera for expressing an image having a three-dimensional structure, that is, a three-dimensional camera capable of acquiring an image having a three-dimensional structure while supporting an outdoor or large-scale shooting range. Moreover, even if an image having a three-dimensional structure is generated, it is difficult to edit and process the image.

このため、３次元構造の映像の代わりに２次元構造の映像を取得し、これをＨＭＤに投影することで、３次元空間の映像を表現することは、従来から引き続き重要となる。 Therefore, it has been important to express the image of the three-dimensional space by acquiring the image of the two-dimensional structure instead of the image of the three-dimensional structure and projecting the image on the HMD.

例えば、カメラにより撮影された２次元構造の映像から被写体の映像を切り出し、この切り出し映像を全天周映像にマッピングし、切り出し映像の投影位置を自在に変更することができれば、ＨＭＤに表現される映像は、ＸＲを実現する際に一層効果的となる。つまり、ＨＭＤを用いて、２次元構造の映像を３次元的に提示することで、一層効果的な３次元空間の映像を表現することが可能となる。 For example, if the image of the subject can be cut out from the image of the two-dimensional structure taken by the camera, the cut-out image can be mapped to the all-sky image, and the projection position of the cut-out image can be freely changed, it is expressed in the HMD. The image becomes more effective in realizing XR. That is, by presenting an image having a two-dimensional structure three-dimensionally using an HMD, it is possible to express a more effective image in a three-dimensional space.

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像の編集及び加工が容易となり、かつ簡易な手法でＸＲの３次元映像を疑似的に提示可能な全天周映像処理装置及びプログラムを提供することにある。 Therefore, the present invention has been made to solve the above problems, and an object of the present invention is to make it easy to edit and process an image, and to present a three-dimensional image of XR in a pseudo manner by a simple method. The purpose is to provide a peripheral image processing device and a program.

前記課題を解決するために、請求項１の全天周映像処理装置は、被写体を含む全天周映像を生成する全天周映像処理装置において、複数の撮影装置により撮影された前記被写体を含む複数の映像を入力し、前記複数の映像を統合し、アルファチャンネル付き全天周映像を第一全天周映像として生成する統合部と、前記映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、前記統合部により生成された前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、第三全天周映像を生成するアルファ値設定部と、前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定し、前記設定された距離に基づいて前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、を備えたことを特徴とする。 In order to solve the above problem, the all-sky image processing device according to claim 1 includes the subject photographed by a plurality of photographing devices in the all-sky image processing device that generates an all-sky image including the subject. An integrated unit that inputs a plurality of images, integrates the plurality of images, and generates an all-sky image with an alpha channel as a first all-sky image, and a cut-out image is generated by cutting out a part of the subject from the image. The cutout image generated by the cutout section was mapped to the cutout portion and the first all-sky image generated by the integrated section, and the cutout image was pasted on the first all-sky image. For the mapping unit that generates the second all-sky image and the second all-sky image generated by the mapping unit, a non-transparent value is set for the alpha value of each pixel of the cutout image portion, and the above A transmission value is set for the alpha value of the part excluding the cutout image, and the radius of the alpha value setting unit that generates the third all-sky image and the radius of the third all-sky image generated by the alpha value setting unit. A radius setting unit that sets a distance between the photographing device and the subject and generates a fourth all-sky image in which the projection position of the cutout image is changed based on the set distance. It is characterized by that.

また、請求項２の全天周映像処理装置は、被写体を含む全天周映像を生成する全天周映像処理装置において、単眼カメラの撮影装置により撮影された前記被写体を含むアルファチャンネル付き全天周映像を第一全天周映像として入力し、前記第一全天周映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、第三全天周映像を生成するアルファ値設定部と、前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定し、前記設定された距離に基づいて前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、を備えたことを特徴とする。 Further, the all-sky image processing device according to claim 2 is an all-sky image processing device that generates an all-sky image including a subject, and is an all-sky with an alpha channel including the subject photographed by a photographing device of a monocular camera. The peripheral image is input as the first all-sky image, the part of the subject is cut out from the first all-sky image, and the cut-out image is generated, and the first all-sky image is formed by the cut-out part. A mapping unit that maps the generated cut-out image and generates a second all-sky image in which the cut-out image is pasted on the first all-sky image, and the second all-sky image generated by the mapping unit. For the peripheral image, a non-transparent value is set for the alpha value of each pixel of the cut-out image portion, and a transparent value is set for the alpha value of the portion other than the cut-out image to generate the third all-sky image. The distance between the photographing device and the subject is set in the radius of the alpha value setting unit and the third all-sky image generated by the alpha value setting unit, and the distance is set based on the set distance. It is characterized by having a radius setting unit for generating a fourth all-sky image in which the projection position of the cut-out image is changed.

また、請求項３の全天周映像処理装置は、請求項１または２に記載の全天周映像処理装置において、前記アルファ値設定部は、前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分の各画素のアルファ値に透過の値を設定し、前記切り出し映像を除く部分の各画素の画素値に０を設定し、前記第三全天周映像を生成する、ことを特徴とする。 Further, the all-sky image processing device according to claim 3 is the all-sky image processing device according to claim 1 or 2, and the alpha value setting unit is the cut-out image of the second all-sky image. A non-transparent value is set for the alpha value of each pixel of the portion, a transparent value is set for the alpha value of each pixel of the portion excluding the cutout image, and 0 is set for the pixel value of each pixel of the portion excluding the cutout image. Is set to generate the third all-sky image.

また、請求項４の全天周映像処理装置は、請求項１に記載の全天周映像処理装置において、前記マッピング部が、前記複数の撮影装置のうち予め設定された基準カメラの前記撮影装置のカメラパラメータに含まれる水平角度及び垂直角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする。 Further, the all-sky image processing apparatus according to claim 4 is the all-sky image processing apparatus according to claim 1, wherein the mapping unit is the imaging device of a reference camera preset among the plurality of imaging devices. The direction of the subject is specified by using the horizontal angle and the vertical angle included in the camera parameters of the above, and the cutout image is mapped to the direction of the subject in the first all-sky image, and the second all-sky image is used. Is characterized in that.

また、請求項５の全天周映像処理装置は、請求項２に記載の全天周映像処理装置において、前記マッピング部が、予め設定された水平角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする。 Further, in the all-sky video processing apparatus according to claim 5, in the all-sky video processing apparatus according to claim 2, the mapping unit specifies the direction of the subject by using a preset horizontal angle. It is characterized in that the cutout image is mapped in the direction of the subject in the first all-sky image to generate the second all-sky image.

さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の全天周映像処理装置として機能させることを特徴とする。 Further, the program of claim 6 is characterized in that the computer functions as the all-sky video processing apparatus according to any one of claims 1 to 5.

以上のように、本発明によれば、被写体の切り出し映像を全天周映像にマッピングし、切り出し映像の投影位置を変更するようにした。これにより、映像の編集及び加工が容易となり、かつ簡易な手法でＸＲの３次元映像を疑似的に提示することができる。 As described above, according to the present invention, the cut-out image of the subject is mapped to the all-sky image, and the projection position of the cut-out image is changed. This facilitates the editing and processing of the image, and the three-dimensional image of the XR can be presented in a pseudo manner by a simple method.

本発明の実施形態による全天周映像処理装置を含む全天周映像処理システムの全体構成例を示す概略図である。It is the schematic which shows the whole structure example of the all-sky image processing system including the all-sky image processing apparatus by embodiment of this invention. 撮影側の装置構成例を説明する図である。It is a figure explaining the apparatus configuration example on the photographing side. 全天周映像処理装置の構成例を示すブロック図である。It is a block diagram which shows the configuration example of the all-sky image processing apparatus. 全天周映像処理装置の処理例を示すフローチャートである。It is a flowchart which shows the processing example of the all-sky image processing apparatus. 全天周映像処理装置が入力する映像Ｉの例を示す概略図である。It is the schematic which shows the example of the image I input by the all-sky image processing apparatus. 切り出し映像Ｋの例を示す概略図である。It is the schematic which shows the example of the cut-out image K. 単眼カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。It is a figure explaining the mapping example (step S405) in the case of a monocular camera. 多視点カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。It is a figure explaining the mapping example (step S405) in the case of a multi-view camera. 全天周映像Ｚ３の例を示す概略図である。It is the schematic which shows the example of the all-sky image Z3. 半径設定処理例（ステップＳ４０７）を説明する図である。It is a figure explaining the radius setting processing example (step S407). 全天周映像Ｚ４の例を示す概略図である。It is the schematic which shows the example of the all-sky image Z4.

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、透明度を示すアルファチャンネルを有する全天周映像（アルファチャンネル付き全天周映像）に、被写体の切り出し映像をマッピングし、全天周映像のアルファチャンネルの値（アルファ値）を設定し、全天周映像の半径を設定することで、切り出し映像の投影位置を変更することを特徴とする。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. In the present invention, a clipped image of a subject is mapped to an all-sky image having an alpha channel indicating transparency (an all-sky image with an alpha channel), and an alpha channel value (alpha value) of the all-sky image is set. It is characterized in that the projection position of the cut-out image is changed by setting the radius of the all-sky image.

これにより、全天周映像に対し、被写体の切り出し映像の投影位置すなわち視聴者からの距離を変更することができる。映像の編集及び加工は、２次元映像である全天周映像及び切り出し映像に対して行えばよいから、編集及び加工作業は容易となる。 As a result, the projection position of the cut-out image of the subject, that is, the distance from the viewer can be changed with respect to the all-sky image. Since the editing and processing of the image may be performed on the all-sky image and the cut-out image which are two-dimensional images, the editing and processing work becomes easy.

また、マッピング処理、アルファ値設定処理及び半径設定処理を行うことで、ＨＭＤに用いる全天周映像を得ることができるから、簡易な手法で、ＸＲの３次元映像を疑似的に提示することができる。 Further, since the all-sky image used for the HMD can be obtained by performing the mapping process, the alpha value setting process, and the radius setting process, it is possible to pseudo-present the three-dimensional image of the XR by a simple method. it can.

〔全天周映像処理システム〕
まず、ＸＲの３次元映像を疑似的に提示する全天周映像処理システムについて説明する。図１は、本発明の実施形態による全天周映像処理装置を含む全天周映像処理システムの全体構成例を示す概略図である。全天周映像には、半天周等の映像が含まれるものとする。以下、アルファチャンネル付き全天周映像を、単に全天周映像という。アルファチャンネルは透明度を示すチャンネルであり、画素毎に有している。 [All-sky video processing system]
First, an all-sky video processing system that pseudo-presents a three-dimensional image of XR will be described. FIG. 1 is a schematic view showing an overall configuration example of an all-sky video processing system including an all-sky video processing device according to an embodiment of the present invention. It is assumed that the full-sky image includes an image such as a half-sky image. Hereinafter, the all-sky video with an alpha channel is simply referred to as an all-sky video. The alpha channel is a channel indicating transparency, and is possessed for each pixel.

この全天周映像処理システム１は、ｎ台の撮影装置２−１〜２−ｎ、ｎ台の測距装置３−１〜３−ｎ、全天周映像処理装置４及びＨＭＤ５を備えて構成される。ｎは、１以上の整数である。以下、ｎ台の撮影装置２−１〜２−ｎを総称して、撮影装置２といい、ｎ台の測距装置３−１〜３−ｎを総称して、測距装置３という。 The all-sky image processing system 1 includes n imaging devices 2-1 to 2-n, n distance measuring devices 3-1 to 3 to n, an all-sky image processing device 4, and an HMD 5. Will be done. n is an integer of 1 or more. Hereinafter, the n imaging devices 2-1 to 2-n are collectively referred to as an imaging device 2, and the n imaging devices 3 to 1-3-n are collectively referred to as a ranging device 3.

撮影装置２は、被写体及びその周囲等を撮影するカメラであり、映像Ｉを全天周映像処理装置４へ出力する。つまり、撮影装置２−１〜２−ｎは、それぞれの位置からの撮影にて取得した映像Ｉ1〜Ｉnを全天周映像処理装置４へ出力する。 The photographing device 2 is a camera that photographs the subject and its surroundings, and outputs the image I to the all-sky image processing device 4. In other words, imaging device 2-1 to 2-n outputs the video I 1 ~I n acquired in imaging from each position to the full Tenshu image processing apparatus 4.

測距装置３は、当該測距装置３と被写体との間の距離を測定するセンサーであり、測定した距離を距離データｄとして全天周映像処理装置４へ出力する。つまり、測距装置３−１〜３−ｎは、それぞれの位置からの測定にて取得した距離データｄ1〜ｄnを全天周映像処理装置４へ出力する。 The distance measuring device 3 is a sensor that measures the distance between the distance measuring device 3 and the subject, and outputs the measured distance as distance data d to the all-sky image processing device 4. That is, the distance measuring devices 3-1 to 3- n output the distance data d 1 to d n acquired by the measurement from each position to the all-sky image processing device 4.

測距装置３−１〜３−ｎは、それぞれ撮影装置２−１〜２−ｎに対応する。距離データｄ1〜ｄnは、撮影装置２−１〜２−ｎと被写体との間の距離に相当する。測距装置３−１〜３−ｎは、当該測距装置３−１〜３−ｎと被写体との間の距離が撮影装置２−１〜２−ｎと被写体との間の距離に一致するように、撮影装置２−１〜２−ｎ付近に設置される。 The distance measuring devices 3-1 to 3 to n correspond to the photographing devices 2-1 to 2 to n, respectively. The distance data d 1 to d n correspond to the distance between the photographing device 2-1 to 2-n and the subject. In the distance measuring device 3-1 to 3 to n, the distance between the distance measuring device 3-1 to 3 to n and the subject corresponds to the distance between the photographing device 2-1 to 2 to n and the subject. As described above, it is installed in the vicinity of the photographing apparatus 2-1 to 2-n.

図１に示す撮影側の装置である撮影装置２−１〜２−ｎ及び測距装置３−１〜３−ｎからなる構成は、後述する図２（４）に相当する。 The configuration including the photographing device 2-1-2-n and the distance measuring device 3-1 to 3-n, which are the devices on the photographing side shown in FIG. 1, corresponds to FIG. 2 (4) described later.

図２は、撮影側の装置構成例を説明する図である。撮影側の装置は、撮影装置２及び測距装置３からなる。 FIG. 2 is a diagram illustrating an example of a device configuration on the photographing side. The device on the photographing side includes a photographing device 2 and a distance measuring device 3.

図２（１）に示す撮影側の装置は、１台の単眼カメラである撮影装置２及び１台の測距装置３により構成される。 The imaging device shown in FIG. 2 (1) is composed of an imaging device 2 which is a monocular camera and a ranging device 3.

図２（２）に示す撮影側の装置は、２台のステレオカメラである撮影装置２−１，２−２により構成される。この例では、測距装置３が存在しない。 The imaging device shown in FIG. 2 (2) is composed of imaging devices 2-1 and 2-2, which are two stereo cameras. In this example, the ranging device 3 does not exist.

図２（３）に示す撮影側の装置は、４台の多視点カメラである撮影装置２−１〜２−４により構成される。この例では、測距装置３が存在しない。 The imaging device shown in FIG. 2 (3) is composed of imaging devices 2-1 to 2-4, which are four multi-viewpoint cameras. In this example, the ranging device 3 does not exist.

図２（４）に示す撮影側の装置は、４台の多視点カメラである撮影装置２−１〜２−４、及び４台の測距装置３−１〜３−４により構成される。 The imaging device shown in FIG. 2 (4) is composed of four multi-view camera imaging devices 2-1 to 2-4 and four ranging devices 3-1 to 3-4.

図１に戻って、全天周映像処理装置４は、撮影装置２−１〜２−ｎから映像Ｉ1〜Ｉnを入力すると共に、測距装置３−１〜３−ｎから距離データｄ1〜ｄnを入力する。そして、全天周映像処理装置４は、映像Ｉ1〜Ｉnを統合（スティッチング）して全天周映像Ｚ１を生成し、映像Ｉ1〜Ｉnから被写体を切り出して切り出し映像Ｋ1〜Ｋnを生成する。以下、ｎ個の切り出し映像Ｋ1〜Ｋnを総称して、切り出し映像Ｋという。 Returning to FIG. 1, the total Tenshu image processing apparatus 4 inputs the video I 1 ~I n from the imaging device 2-1 to 2-n, the distance data d from the distance measuring apparatus 3-1 to 3-n Enter 1 to d n . The total Tenshu image processing unit 4, integrated video I 1 ~I n generates (stitching) to whole sky periphery image Z1, the image K 1 cut by cutting the object from the image I 1 ~I n ~ Generate K n . Hereinafter, n cut-out images K 1 to K n are collectively referred to as cut-out images K.

全天周映像処理装置４は、全天周映像Ｚ１に切り出し映像Ｋをマッピングして全天周映像Ｚ２を生成し、全天周映像Ｚ２に含まれる切り出し映像Ｋの部分のアルファ値及び他の部分のアルファ値をそれぞれ設定して全天周映像Ｚ３を生成する。全天周映像Ｚ３は、例えば被写体の切り出し映像Ｋのみを含む映像となる。 The all-sky image processing device 4 maps the cut-out image K to the all-sky image Z1 to generate the all-sky image Z2, and the alpha value of the part of the cut-out image K included in the all-sky image Z2 and other The alpha value of each part is set to generate the all-sky video Z3. The all-sky image Z3 is, for example, an image including only the cut-out image K of the subject.

全天周映像処理装置４は、全天周映像Ｚ３の半径に距離データｄを設定して全天周映像Ｚ４を生成する。全天周映像処理装置４は、全天周映像Ｚ４をＨＭＤ５に出力する。全天周映像Ｚ４も、例えば被写体の切り出し映像Ｋのみを含む映像である。全天周映像処理装置４の詳細については後述する。 The all-sky image processing device 4 sets the distance data d in the radius of the all-sky image Z3 and generates the all-sky image Z4. The all-sky image processing device 4 outputs the all-sky image Z4 to the HMD 5. The all-sky image Z4 is also an image including only the cut-out image K of the subject, for example. Details of the all-sky video processing device 4 will be described later.

ＨＭＤ５は、全天周映像処理装置４から全天周映像Ｚ４を入力し、ＨＭＤ５のセンサー情報に基づいてユーザの視線方向を特定し、全天周映像Ｚ４から視線方向の映像を切り出し、切り出した映像を表示する。 The HMD5 inputs the all-sky image Z4 from the all-sky image processing device 4, identifies the user's line-of-sight direction based on the sensor information of the HMD5, cuts out the image in the line-of-sight direction from the all-sky image Z4, and cuts out the image. Display the image.

ここで、ＨＭＤ５が、実物の光線がそのまま網膜に届く光学シースルー型ＡＲゴーグルの場合、ＨＭＤ５は、全天周映像Ｚ４から切り出した視線方向の映像のみを表示する。後述のように、全天周映像Ｚ４に含まれる被写体の部分が非透過であり、それ以外の部分が透過である場合、ＨＭＤ５により、実際の背景に対して被写体のみが表示される。 Here, when the HMD5 is an optical see-through type AR goggles in which the actual light rays reach the retina as they are, the HMD5 displays only the image in the line-of-sight direction cut out from the all-sky image Z4. As will be described later, when the portion of the subject included in the all-sky image Z4 is non-transparent and the other portion is transparent, the HMD 5 displays only the subject with respect to the actual background.

また、ＨＭＤ５が、ゴーグルの前にカメラを備えており、当該カメラの撮影により得られた背景映像を用いるビデオシースルー型ＡＲゴーグルの場合、ＨＭＤ５は、背景映像に視線方向の映像を合成し、合成映像を表示する。後述のように、全天周映像Ｚ４に含まれる被写体の部分が非透過であり、それ以外の部分が透過である場合、背景映像に被写体のみが合成された合成映像が表示される。 Further, in the case of the video see-through type AR goggles in which the HMD5 is equipped with a camera in front of the goggles and uses the background image obtained by shooting with the camera, the HMD5 synthesizes the image in the line-of-sight direction with the background image and synthesizes the image. Display the image. As will be described later, when the part of the subject included in the all-sky image Z4 is non-transparent and the other part is transparent, a composite image in which only the subject is combined with the background image is displayed.

このように、全天周映像処理装置４による全天周映像Ｚ４の生成処理、及びＨＭＤ５による映像表示処理を繰り返すことで、映像Ｉ1〜Ｉnに対応した３次元映像を動画として疑似的に表示することができる。 Thus, the total Tenshu generation process of all Tenshu video Z4 by the video processor 4, and HMD5 by repeating the image display processing by, imitates 3D image corresponding to the video I 1 ~I n as a moving picture Can be displayed.

〔全天周映像処理装置４〕
次に、図１に示した全天周映像処理装置４について説明する。図３は、全天周映像処理装置４の構成例を示すブロック図であり、図４は、全天周映像処理装置４の処理例を示すフローチャートである。 [All-sky video processing device 4]
Next, the all-sky image processing apparatus 4 shown in FIG. 1 will be described. FIG. 3 is a block diagram showing a configuration example of the all-sky video processing device 4, and FIG. 4 is a flowchart showing a processing example of the all-sky video processing device 4.

この全天周映像処理装置４は、統合部１０、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４を備えている。 The all-sky image processing device 4 includes an integration unit 10, a cutting unit 11, a mapping unit 12, an alpha value setting unit 13, and a radius setting unit 14.

全天周映像処理装置４は、撮影装置２−１〜２−ｎから映像Ｉ1〜Ｉnを入力すると共に（ステップＳ４０１）、測距装置３−１〜３−ｎから距離データｄ1〜ｄnを入力する（ステップＳ４０２）。 All Tenshu image processing apparatus 4, the imaging device 2-1 to 2-n and inputs the image I 1 ~I n (step S401), the distance data d 1 ~ distance measuring apparatus 3-1 to 3-n Enter d n (step S402).

統合部１０は、映像Ｉ1〜Ｉnを統合して全天周映像Ｚ１を生成する（ステップＳ４０３）。そして、統合部１０は、全天周映像Ｚ１をマッピング部１２に出力する。 Integrating unit 10 integrates the image I 1 ~I n generates the whole sky periphery image Z1 (Step S403). Then, the integration unit 10 outputs the all-sky video Z1 to the mapping unit 12.

具体的には、統合部１０は、映像Ｉ1〜Ｉnから、予め設定された基準カメラの撮影装置２に対応する映像Ｉを特定し、特定した映像Ｉを基準にして映像Ｉ1〜Ｉnを統合し、映像Ｉを基準位置とした全天周映像Ｚ１を生成する。基準カメラの撮影装置２は、撮影装置２−１〜２−ｎのうち、ユーザにより予め設定されたカメラである。 Specifically, integrating unit 10, from the image I 1 ~I n, specifies an image I corresponding to the imaging device 2 of the reference camera which is set in advance, the image I 1 on the basis of the identified video I ~I n are integrated to generate an all-sky video Z1 with video I as a reference position. The photographing device 2 of the reference camera is a camera preset by the user among the photographing devices 2-1 to 2-n.

尚、撮影装置２が図２（１）に示した単眼カメラである場合には、統合部１０による統合処理は不要である。単眼カメラにより、全天周映像Ｚ１（例えば半天周映像）が取得される。 When the photographing device 2 is the monocular camera shown in FIG. 2 (1), the integration process by the integration unit 10 is unnecessary. An all-sky image Z1 (for example, a half-sky image) is acquired by the monocular camera.

図５は、全天周映像処理装置４が入力する映像Ｉの例を示す概略図であり、撮影装置２が図２（１）に示した単眼カメラである場合を示している。全天周映像処理装置４は、単眼カメラである撮影装置２から、映像Ｉ−１，Ｉ−２，Ｉ−３，Ｉ−４をこの順番に入力する。 FIG. 5 is a schematic view showing an example of an image I input by the all-sky image processing device 4, and shows a case where the photographing device 2 is the monocular camera shown in FIG. 2 (1). The all-sky image processing device 4 inputs images I-1, I-2, I-3, and I-4 in this order from the photographing device 2 which is a monocular camera.

これらの映像Ｉ−１，Ｉ−２，Ｉ−３，Ｉ−４は、被写体である人間が遠い位置から撮影装置２へ向かって近づいている時系列の映像である。 These images I-1, I-2, I-3, and I-4 are time-series images in which a human being as a subject is approaching the photographing device 2 from a distant position.

図３及び図４に戻って、切り出し部１１は、映像Ｉ1〜Ｉnから被写体の部分を切り出し、切り出し映像Ｋ1〜Ｋnを生成する（ステップＳ４０４）。そして、切り出し部１１は、切り出し映像Ｋ1〜Ｋnをマッピング部１２に出力する。 Referring back to FIG. 3 and FIG. 4, cut-out portion 11 cuts out a portion of the subject from the image I 1 ~I n, it generates a cut image K 1 ~K n (step S404). Then, the cutting unit 11 outputs the cutout images K 1 to K n to the mapping unit 12.

例えば被写体が人物である場合、切り出し部１１は、人物認識処理により、映像Ｉから人物を切り出す。また、例えば被写体が一般物である場合、切り出し部１１は、テンプレートマッチング処理により、映像Ｉから予め設定された物を切り出す。人物認識処理及びテンプレートマッチング処理は既知であるため、詳細な説明については省略する。 For example, when the subject is a person, the cutting unit 11 cuts out the person from the image I by the person recognition process. Further, for example, when the subject is a general object, the cutting unit 11 cuts out a preset object from the image I by the template matching process. Since the person recognition process and the template matching process are known, detailed description thereof will be omitted.

図６は、切り出し映像Ｋの例を示す概略図であり、撮影装置２が図２（１）に示した単眼カメラである場合を示している。 FIG. 6 is a schematic view showing an example of the cut-out image K, and shows a case where the photographing device 2 is the monocular camera shown in FIG. 2 (1).

切り出し映像Ｋ−１は、図５に示した映像Ｉ−１から人物の被写体が切り出された映像であり、切り出し映像Ｋ−２は、図５に示した映像Ｉ−２から人物の被写体が切り出された映像である。 The cut-out image K-1 is an image in which a person's subject is cut out from the image I-1 shown in FIG. 5, and the cut-out image K-2 is an image in which the person's subject is cut out from the image I-2 shown in FIG. It is a video that was taken.

切り出し映像Ｋ−３は、図５に示した映像Ｉ−３から人物の被写体が切り出された映像であり、切り出し映像Ｋ−４は、図５に示した映像Ｉ−４から人物の被写体が切り出された映像である。 The cut-out image K-3 is an image in which a person's subject is cut out from the image I-3 shown in FIG. 5, and the cut-out image K-4 is an image in which the person's subject is cut out from the image I-4 shown in FIG. It is a video that was taken.

切り出し映像Ｋ−１，Ｋ−２，Ｋ−３，Ｋ−４は、被写体である人間が遠い位置から撮影装置２へ向かって近づいている映像Ｉ−１，Ｉ−２，Ｉ−３，Ｉ−４から切り出された時系列の映像である。 The cut-out images K-1, K-2, K-3, and K-4 are images I-1, I-2, I-3, and I, in which a human being as a subject is approaching the photographing device 2 from a distant position. It is a time-series image cut out from -4.

尚、図４の処理例では、統合部１０が映像Ｉ1〜Ｉnを統合して全天周映像Ｚ１を生成した後、切り出し部１１が映像Ｉ1〜Ｉnから切り出し映像Ｋ1〜Ｋnを生成するようにした。これに対し、切り出し部１１が映像Ｉ1〜Ｉnから切り出し映像Ｋ1〜Ｋnを生成した後、統合部１０が映像Ｉ1〜Ｉnを統合して全天周映像Ｚ１を生成するようにしてもよい。 In the processing example of FIG. 4, after the integration unit 10 generates the image I 1 ~I n whole sky periphery image Z1 integrates video K 1 cutout cutout portion 11 from the image I 1 ~I n ~K Changed to generate n . In contrast, after the cutting unit 11 generates the image K 1 ~K n cut out from the image I 1 ~I n, so that integrated unit 10 generates a whole sky periphery image Z1 integrates image I 1 ~I n It may be.

図３及び図４に戻って、マッピング部１２は、統合部１０から全天周映像Ｚ１を入力すると共に、切り出し部１１から切り出し映像Ｋ1〜Ｋnを入力する。 Returning to FIGS. 3 and 4, the mapping unit 12 inputs the all-sky image Z1 from the integration unit 10 and inputs the cutout images K 1 to K n from the cutout unit 11.

マッピング部１２は、切り出し映像Ｋ1〜Ｋnのうち、予め設定された基準カメラの撮影装置２に対応する切り出し映像Ｋを特定し、全天周映像Ｚ１内の所定位置に切り出し映像Ｋをマッピングし、全天周映像Ｚ２を生成する（ステップＳ４０５）。そして、マッピング部１２は、全天周映像Ｚ２をアルファ値設定部１３に出力する。予め設定された基準カメラの撮影装置２に対応する切り出し映像Ｋとは、基準カメラの撮影装置２により取得された映像Ｉから切り出された映像である。 The mapping unit 12 identifies the cut-out image K corresponding to the preset image pickup device 2 of the reference camera from the cut-out images K 1 to K n , and maps the cut-out image K to a predetermined position in the all-sky image Z1. Then, the all-sky video Z2 is generated (step S405). Then, the mapping unit 12 outputs the all-sky video Z2 to the alpha value setting unit 13. The cut-out image K corresponding to the preset image capturing device 2 of the reference camera is an image clipped from the image I acquired by the photographing device 2 of the reference camera.

これにより、切り出し映像Ｋが全天周映像Ｚ１の所定位置に貼り付けられ、後述する半径設定部１４にて後述する全天周映像Ｚ３の半径が設定されるから、切り出し映像Ｋの被写体は、実空間のサイズに調整される。 As a result, the cutout image K is pasted at a predetermined position of the all-sky image Z1, and the radius of the all-sky image Z3 described later is set by the radius setting unit 14 described later. Therefore, the subject of the cutout image K is Adjusted to the size of the real space.

図７は、単眼カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。撮影装置２が単眼カメラである場合、マッピング部１２は、例えば予め設定された水平角度を用いて、全天周映像Ｚ１の中心から見た被写体の方向を特定する。予め設定された水平角度は、ユーザにより指定される。 FIG. 7 is a diagram illustrating a mapping example (step S405) in the case of a monocular camera. When the photographing device 2 is a monocular camera, the mapping unit 12 specifies the direction of the subject as seen from the center of the all-sky image Z1 by using, for example, a preset horizontal angle. The preset horizontal angle is specified by the user.

そして、マッピング部１２は、全天周映像Ｚ１の中心から見た被写体の方向の位置に切り出し映像Ｋをマッピングすることで、全天周映像Ｚ１に切り出し映像Ｋを貼り付け、全天周映像Ｚ２を生成する。 Then, the mapping unit 12 maps the cut-out image K to a position in the direction of the subject as seen from the center of the all-sky image Z1 to attach the cut-out image K to the all-sky image Z1 and attach the cut-out image K to the all-sky image Z2. To generate.

図８は、多視点カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。撮影装置２が多視点カメラである場合、マッピング部１２は、予め設定された基準カメラの撮影装置２（本例の場合は撮影装置２−２）のカメラパラメータに含まれる水平角度及び垂直角度を用いて、全天周映像Ｚ１の中心から見た被写体の方向を特定する。カメラパラメータは、撮影装置２が設置されることにより、一義的に決定される。 FIG. 8 is a diagram illustrating a mapping example (step S405) in the case of a multi-view camera. When the photographing device 2 is a multi-view camera, the mapping unit 12 sets the horizontal angle and the vertical angle included in the camera parameters of the photographing device 2 (in this example, the photographing device 2-2) of the preset reference camera. It is used to specify the direction of the subject as seen from the center of the all-sky image Z1. The camera parameters are uniquely determined by installing the photographing device 2.

そして、マッピング部１２は、全天周映像Ｚ１の中心から見た被写体の方向の位置に切り出し映像Ｋをマッピングすることで、全天周映像Ｚ１に切り出し映像Ｋを貼り付け、全天周映像Ｚ２を生成する。 Then, the mapping unit 12 maps the cut-out image K to a position in the direction of the subject as seen from the center of the all-sky image Z1 to attach the cut-out image K to the all-sky image Z1 and attach the cut-out image K to the all-sky image Z2. To generate.

図３及び図４に戻って、アルファ値設定部１３は、マッピング部１２から全天周映像Ｚ２を入力する。そして、アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされた部分（貼り付けられた部分）の各画素のアルファ値に２５５を設定する。また、アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされていない部分（切り出し映像Ｋを除く部分）の各画素のアルファ値に０を設定する。 Returning to FIGS. 3 and 4, the alpha value setting unit 13 inputs the all-sky video Z2 from the mapping unit 12. Then, the alpha value setting unit 13 sets 255 for the alpha value of each pixel of the portion (pasted portion) to which the cut-out image K is mapped in the all-sky image Z2. Further, the alpha value setting unit 13 sets 0 to the alpha value of each pixel of the portion of the all-sky video Z2 where the cutout video K is not mapped (the portion excluding the cutout video K).

アルファ値に２５５を設定することは、非透過の値に設定することを意味し、当該部分は、画素値が反映された非透過の映像となり、ＨＭＤ５において表示されることとなる。また、アルファ値に０を設定することは、透過の値に設定することを意味し、当該部分は、画素値が反映されない透過の映像となり、ＨＭＤ５において表示されることはない。 Setting the alpha value to 255 means setting it to a non-transparent value, and the portion becomes a non-transparent image reflecting the pixel value and is displayed on the HMD 5. Further, setting 0 to the alpha value means setting to a transparent value, and the portion thereof becomes a transparent image in which the pixel value is not reflected and is not displayed in the HMD5.

これにより、切り出し映像Ｋの部分の画素は、全天周映像Ｚ２内で非透過となるように設定され、切り出し映像Ｋ以外の部分の画素は、全天周映像Ｚ２内で透過となるように設定される。 As a result, the pixels of the portion of the cutout image K are set to be non-transparent in the all-sky image Z2, and the pixels of the portion other than the cutout image K are set to be transparent in the all-sky image Z2. Set.

アルファ値設定部１３は、切り出し映像Ｋの部分の各画素値を反映し、それ以外の部分の画素値を反映しない全天周映像Ｚ３を生成する（ステップＳ４０６）。そして、アルファ値設定部１３は、全天周映像Ｚ３を半径設定部１４に出力する。 The alpha value setting unit 13 generates an all-sky image Z3 that reflects each pixel value of the cutout image K portion and does not reflect the pixel values of the other portions (step S406). Then, the alpha value setting unit 13 outputs the all-sky video Z3 to the radius setting unit 14.

尚、アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされた部分の各画素のアルファ値に１２８を設定するようにしてもよい。この場合、切り出し映像Ｋの部分は、全天周映像Ｚ２内で半透明となる。 The alpha value setting unit 13 may set 128 to the alpha value of each pixel of the portion of the all-sky video Z2 to which the cutout video K is mapped. In this case, the portion of the cut-out image K becomes translucent in the all-sky image Z2.

図９は、全天周映像Ｚ３の例を示す概略図である。この全天周映像Ｚ３−４は、図５に示した映像Ｉ−４及び図６に示した切り出し映像Ｋ−４に対応する映像である。 FIG. 9 is a schematic view showing an example of the all-sky image Z3. The all-sky image Z3-4 is an image corresponding to the image I-4 shown in FIG. 5 and the cut-out image K-4 shown in FIG.

切り出し映像Ｋ−４の部分のアルファ値に２５５が設定されることで、当該部分は非透過となり、それ以外の部分のアルファ値に０が設定されることで、当該部分は透過となる。つまり、全天周映像Ｚ３−４において、切り出し映像Ｋ−４の部分は非透過となり、その他の部分は透過となる。 By setting the alpha value of the portion of the cut-out video K-4 to 255, the portion becomes non-transparent, and by setting the alpha value of the other portion to 0, the portion becomes transparent. That is, in the all-sky image Z3-4, the portion of the cut-out image K-4 is non-transparent, and the other portion is transparent.

したがって、全天周映像Ｚ３−４は、切り出し映像Ｋ−４の部分については図示しない全天周映像Ｚ２の画素値がそのまま反映された映像となり、切り出し映像Ｋ−４以外の部分についてはその画素値が反映されない映像となる。 Therefore, the all-sky image Z3-4 is an image in which the pixel value of the all-sky image Z2 (not shown) is reflected as it is for the part of the cut-out image K-4, and the pixels of the part other than the cut-out image K-4. The image will not reflect the value.

図３及び図４に戻って、半径設定部１４は、アルファ値設定部１３から全天周映像Ｚ３を入力すると共に、測距装置３−１〜３−ｎから距離データｄ1〜ｄnを入力する。そして、半径設定部１４は、距離データｄ1〜ｄnのうち、予め設定された基準カメラの撮影装置２に対応する距離データｄを特定する。予め設定された基準カメラの撮影装置２に対応する距離データｄとは、基準カメラの撮影装置２に対応する測距装置３により取得された距離データである。 Returning to FIGS. 3 and 4, the radius setting unit 14 inputs the all-sky image Z3 from the alpha value setting unit 13, and also inputs the distance data d 1 to d n from the distance measuring devices 3-1 to 3 to n . input. Then, the radius setting unit 14 specifies the distance data d corresponding to the preset image pickup device 2 of the reference camera among the distance data d 1 to d n . The distance data d corresponding to the preset image pickup device 2 of the reference camera is the distance data acquired by the distance measuring device 3 corresponding to the image pickup device 2 of the reference camera.

半径設定部１４は、全天周映像Ｚ３の半径に距離データｄを設定することで、全天周映像Ｚ３の半径を変更し、全天周映像Ｚ４を生成する（ステップＳ４０７）。そして、半径設定部１４は、全天周映像Ｚ４を出力する（ステップＳ４０８）。全天周映像Ｚ４は、例えば圧縮符号化され、符号化信号としてインターネットを介して、または放送波として送信される。 The radius setting unit 14 changes the radius of the all-sky image Z3 by setting the distance data d to the radius of the all-sky image Z3, and generates the all-sky image Z4 (step S407). Then, the radius setting unit 14 outputs the all-sky video Z4 (step S408). The all-sky video Z4 is, for example, compressed and coded, and is transmitted as a coded signal via the Internet or as a broadcast wave.

これにより、全天周映像Ｚ３の半径の変更に伴い、全天周映像Ｚ３に含まれる被写体のサイズも変更される。半径が短くなればなるほど、被写体のサイズは小さくなり、半径が大きくなればなるほど、被写体のサイズは大きくなる。 As a result, as the radius of the all-sky image Z3 is changed, the size of the subject included in the all-sky image Z3 is also changed. The shorter the radius, the smaller the size of the subject, and the larger the radius, the larger the size of the subject.

つまり、マッピング部１２により、ステップＳ４０５にて切り出し映像Ｋが全天周映像Ｚ１にマッピングされる。そして、半径設定部１４により、ステップＳ４０７にて全天周映像Ｚ３の半径に距離データｄが設定される。これにより、全天周映像Ｚ３に含まれる被写体に対し、そのサイズを直接変更する処理を行う必要がない。 That is, the mapping unit 12 maps the cut-out image K to the all-sky image Z1 in step S405. Then, the radius setting unit 14 sets the distance data d to the radius of the all-sky image Z3 in step S407. As a result, it is not necessary to directly change the size of the subject included in the all-sky image Z3.

したがって、全天周映像Ｚ３の半径を変更することで、被写体のサイズも変更されるから、簡易な処理にて、実空間内で適切な被写体のサイズが反映された全天周映像Ｚ４を得ることができる。 Therefore, since the size of the subject is also changed by changing the radius of the all-sky image Z3, the all-sky image Z4 that reflects the appropriate size of the subject in the real space can be obtained by a simple process. be able to.

尚、全天周映像Ｚ３の半径を変形するために用いる距離データｄは、予め設定された基準カメラの撮影装置２に対応する測距装置３から被写体の代表点までの距離であってもよいし、被写体の複数点までの距離の平均または中央値であってもよい。 The distance data d used to change the radius of the all-sky image Z3 may be the distance from the distance measuring device 3 corresponding to the imaging device 2 of the preset reference camera to the representative point of the subject. However, it may be the average or median of the distances to a plurality of points of the subject.

このように、距離データｄは、例えば被写体の代表点までの距離であればよく、または、平均等の簡易な処理にて求めた距離であればよいから、処理時間を大幅に短縮することができる。 As described above, the distance data d may be, for example, the distance to the representative point of the subject, or the distance obtained by simple processing such as averaging, so that the processing time can be significantly shortened. it can.

また、図２（２）及び図２（３）に示した構成例のように、撮影側の装置に測距装置３を含まない場合には、例えば２台の撮影装置２−１，２−２により取得された映像Ｉ1，Ｉ2に基づいたステレオマッチングの手法により、距離データｄを求めるようにしてもよい。 Further, as in the configuration example shown in FIGS. 2 (2) and 2 (3), when the imaging device 3 is not included in the imaging device, for example, two imaging devices 2-1 and 2- The distance data d may be obtained by a stereo matching method based on the images I 1 and I 2 acquired in 2.

図１０は、半径設定処理例（ステップＳ４０７）を説明する図であり、図１１は、全天周映像Ｚ４の例を示す概略図である。図１１に示す全天周映像Ｚ４は、図５に示した映像Ｉ−４、図６に示した切り出し映像Ｋ−４及び図９に示した全天周映像Ｚ３−４に対応する映像である。 FIG. 10 is a diagram for explaining a radius setting processing example (step S407), and FIG. 11 is a schematic diagram showing an example of the all-sky image Z4. The all-sky image Z4 shown in FIG. 11 is an image corresponding to the image I-4 shown in FIG. 5, the cut-out image K-4 shown in FIG. 6, and the all-sky image Z3-4 shown in FIG. ..

図１０に示すように、全天周映像Ｚ３の半径に距離データｄが設定されることで、全天周映像Ｚ３の半径が変更され（図１０の例では、半径が短くなり）、被写体の切り出し映像Ｋのサイズを小さくした全天周映像Ｚ４が生成される。 As shown in FIG. 10, by setting the distance data d to the radius of the all-sky image Z3, the radius of the all-sky image Z3 is changed (in the example of FIG. 10, the radius becomes short), and the subject An all-sky video Z4 with a reduced size of the cut-out video K is generated.

同様に、図９に示した全天周映像Ｚ３−４に対し、図１１に示すように、被写体である人物のサイズを小さくした全天周映像Ｚ４−４が生成される。 Similarly, as shown in FIG. 11, the all-sky image Z4-4 in which the size of the person who is the subject is reduced is generated with respect to the all-sky image Z3-4 shown in FIG.

以上のように、本発明の実施形態の全天周映像処理装置４によれば、統合部１０は、映像Ｉ1〜Ｉnを統合して全天周映像Ｚ１を生成し、切り出し部１１は、映像Ｉ1〜Ｉnから被写体の部分を切り出して切り出し映像Ｋ1〜Ｋnを生成する。 As described above, according to the total Tenshu image processing apparatus 4 of the embodiments of the present invention, integrating unit 10 integrates the image I 1 ~I n generates a whole-sky division image Z1, cutout portion 11 to generate video K 1 ~K n excised by cutting out part of the subject from the image I 1 ~I n.

マッピング部１２は、切り出し映像Ｋ1〜Ｋnのうち、基準となる切り出し映像Ｋを特定し、全天周映像Ｚ１内で被写体の方向を特定し、その方向に切り出し映像Ｋをマッピングして全天周映像Ｚ２を生成する。 The mapping unit 12 specifies a reference cutout image K from the cutout images K 1 to K n , specifies the direction of the subject in the all-sky image Z1, maps the cutout image K in that direction, and performs all of them. Generates the sky image Z2.

例えば、単眼カメラを用いた場合、マッピング部１２は、予め設定された水平角度を用いて被写体の方向を特定する。また、多視点カメラを用いた場合、マッピング部１２は、基準となるカメラパラメータに含まれる水平角度及び垂直角度を用いて被写体の方向を特定する。 For example, when a monocular camera is used, the mapping unit 12 specifies the direction of the subject using a preset horizontal angle. When a multi-view camera is used, the mapping unit 12 specifies the direction of the subject using the horizontal angle and the vertical angle included in the reference camera parameters.

アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされた部分のアルファ値に２５５を設定し、その他の部分のアルファ値に０を設定し、全天周映像Ｚ３を生成する。これにより、全天周映像Ｚ３の切り出し映像Ｋの部分は、非透過となって画素値が反映された映像となり、その他の部分は、透過となって画素値が反映されない映像となる。 The alpha value setting unit 13 sets the alpha value of the portion of the all-sky video Z2 to which the cutout video K is mapped to 255, sets the alpha value of the other portion to 0, and sets the all-sky video Z3. Generate. As a result, the portion of the cut-out image K of the all-sky image Z3 becomes a non-transparent image in which the pixel value is reflected, and the other part becomes a transparent image in which the pixel value is not reflected.

半径設定部１４は、距離データｄ1〜ｄnのうち、基準となる距離データｄを特定し、全天周映像Ｚ３の半径に距離データｄを設定することで、全天周映像Ｚ３の半径を変更し、全天周映像Ｚ４を生成する。これにより、被写体は、全天周映像Ｚ３の半径に対応したサイズとなる。 The radius setting unit 14 specifies the reference distance data d from the distance data d 1 to d n , and sets the distance data d to the radius of the all-sky image Z3, so that the radius of the all-sky image Z3 is set. Is changed to generate the all-sky video Z4. As a result, the subject has a size corresponding to the radius of the all-sky image Z3.

このように、被写体の切り出し映像Ｋを全天周映像Ｚ１にマッピングし、全天周映像のアルファ値を設定し、全天周映像Ｚ３の半径を設定することで、切り出し映像Ｋの投影位置を変更した全天周映像Ｚ４を生成するようにした。 In this way, by mapping the cut-out image K of the subject to the all-sky image Z1, setting the alpha value of the all-sky image, and setting the radius of the all-sky image Z3, the projection position of the cut-out image K can be set. The modified all-sky image Z4 is generated.

これにより、映像の編集及び加工は、２次元映像である全天周映像Ｚ４及び切り出し映像Ｋに対して行えばよいから、３次元映像に比べて、編集及び加工が容易となり、現存のルールを用いることができる。 As a result, the editing and processing of the image may be performed on the all-sky image Z4 and the cut-out image K, which are two-dimensional images, so that the editing and processing become easier than the three-dimensional image, and the existing rules can be adopted. Can be used.

また、マッピング処理、アルファ値設定処理及び半径設定処理を行うことで、ＨＭＤ５に用いる全天周映像Ｚ４を得ることができるから、簡易な手法でＸＲの３次元映像を疑似的に提示することができる。つまり、ＨＭＤ５を用いるユーザの視点位置を原点として、全天周映像Ｚ４の半径に従い、被写体を擬似的に３次元映像のように提示することができる。 Further, since the all-sky image Z4 used for the HMD 5 can be obtained by performing the mapping process, the alpha value setting process, and the radius setting process, it is possible to pseudo-present the three-dimensional image of the XR by a simple method. it can. That is, the subject can be presented as if it were a three-dimensional image in a pseudo manner according to the radius of the all-sky image Z4 with the viewpoint position of the user using the HMD 5 as the origin.

また、切り出し部１１は、２次元映像である映像Ｉから被写体の部分を切り出すようにしたから、現行の枠のある映像でなく、枠のない映像を得ることができ、ＨＭＤ５において、より実在感のある映像を提示することができる。 Further, since the cutout unit 11 cuts out the part of the subject from the two-dimensional image I, it is possible to obtain an image without a frame instead of the current image with a frame, and the HMD 5 has a more realistic feeling. It is possible to present a certain image.

また、ＨＭＤ５により、全天周映像Ｚ４が右目用及び左目用の映像に変換されて表示されるため、両眼視差のある映像を提示することができる。ＨＭＤ５により、視点の移動に伴った見え方にて、被写体を変化させることができる。 Further, since the all-sky image Z4 is converted into an image for the right eye and an image for the left eye and displayed by the HMD 5, it is possible to present an image having binocular parallax. With the HMD5, the subject can be changed according to the appearance as the viewpoint moves.

また、ＶＲのバーチャル空間またはバーチャルチャット等において、測定した物体の距離を全天周映像Ｚ４の半径に反映することで、所定の奥行きの位置に物体が提示される。これにより、手前にある物体が背後にある物体を隠して見えないようにするオクルージョン（見え隠れ）を加味した映像提示が可能となる。 Further, in the virtual space of VR, virtual chat, etc., the object is presented at a predetermined depth position by reflecting the measured distance of the object in the radius of the all-sky image Z4. This makes it possible to present an image with occlusion (visible and hidden) that hides the object in the foreground and hides the object in the foreground.

ＨＭＤ５がＡＲグラスの場合、例えば市販されている両眼視差を利用することで、ユーザから数ｍ程度の奥行きの移動を表現することができる。 When the HMD5 is an AR glass, for example, by using a commercially available binocular parallax, it is possible to express a movement with a depth of about several meters from the user.

奥行きの分解能としては、１０ｍまでの距離を１ｍｍ単位で表す場合は１０，０００通りを表す必要があり、符号化のためには１４ビットのビット長が必要となる。ビットレートは、映像Ｉのフレーム速度が９０ｆｐｓの場合、１４×９０＝１，２６０ｂｐｓとなり、映像Ｉのビットレートと比較すれば、拡張による増加分は非常に小さくなる。 As the resolution of the depth, when the distance up to 10 m is expressed in 1 mm units, it is necessary to express 10,000 ways, and a bit length of 14 bits is required for coding. When the frame speed of the video I is 90 fps, the bit rate is 14 × 90 = 1,260 bps, and the increase due to the expansion is very small as compared with the bit rate of the video I.

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば前記実施形態では、撮影側の装置の構成例として図２（１）〜（４）を挙げて説明した。これらの構成は例示であり、本発明は他の構成例にも適用がある。 Although the present invention has been described above with reference to embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the technical idea. For example, in the above-described embodiment, FIGS. 2 (1) to 2 (4) have been described as a configuration example of the apparatus on the photographing side. These configurations are examples, and the present invention is applicable to other configuration examples.

また、前記実施形態では、図３に示した通り、全天周映像処理装置４は、統合部１０、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４を備えるようにした。 Further, in the above-described embodiment, as shown in FIG. 3, the all-sky image processing device 4 includes an integration unit 10, a cutting unit 11, a mapping unit 12, an alpha value setting unit 13, and a radius setting unit 14. ..

これに対し、撮影装置２が単眼カメラである場合、全天周映像処理装置４は、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４を備える。この場合、切り出し部１１は、単眼カメラの撮影装置２から全天周映像Ｚ１を入力し、全天周映像Ｚ１から被写体の部分を切り出し、切り出し映像Ｋを生成する。マッピング部１２は、単眼カメラの撮影装置２から全天周映像Ｚ１を入力し、全天周映像Ｚ１に、切り出し部１１により生成された切り出し映像Ｋをマッピングする。 On the other hand, when the photographing device 2 is a monocular camera, the all-sky image processing device 4 includes a cutting unit 11, a mapping unit 12, an alpha value setting unit 13, and a radius setting unit 14. In this case, the cutting unit 11 inputs the all-sky image Z1 from the photographing device 2 of the monocular camera, cuts out a part of the subject from the all-sky image Z1, and generates the cut-out image K. The mapping unit 12 inputs the all-sky image Z1 from the photographing device 2 of the monocular camera, and maps the cut-out image K generated by the cut-out unit 11 to the all-sky image Z1.

また、前記実施形態では、全天周映像処理装置４のアルファ値設定部１３は、全天周映像Ｚ２について、切り出し映像Ｋの部分のアルファ値に２５５を設定することで、当該部分を非透過に設定するようにした。また、アルファ値設定部１３は、切り出し映像Ｋを除く部分のアルファ値に０を設定することで、当該部分を透過に設定するようにした。 Further, in the above-described embodiment, the alpha value setting unit 13 of the all-sky video processing device 4 sets the alpha value of the cutout video K portion to 255 for the all-sky video Z2 to make the portion non-transparent. I set it to. Further, the alpha value setting unit 13 sets the alpha value of the portion excluding the cutout video K to 0 so that the portion is set to be transparent.

これに対し、アルファ値設定部１３は、全天周映像Ｚ２について、さらに、切り出し映像Ｋを除く部分の各画素の画素値（ＲＧＢの値）に０を設定するようにしてもよい。これにより、全天周映像処理装置４が、後段の半径設定部１４により生成された全天周映像Ｚ４を圧縮符号化して送信する際に、符号化効率を向上させることができ、送信データ量を少なくすることができる。 On the other hand, the alpha value setting unit 13 may further set 0 for the pixel value (RGB value) of each pixel of the portion excluding the cutout image K for the all-sky image Z2. As a result, when the all-sky video processing device 4 compresses and encodes the all-sky video Z4 generated by the radius setting unit 14 in the subsequent stage and transmits it, the coding efficiency can be improved, and the amount of transmission data can be improved. Can be reduced.

尚、本発明の実施形態による全天周映像処理装置４のハードウェア構成としては、通常のコンピュータを使用することができる。全天周映像処理装置４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。 As the hardware configuration of the all-sky video processing device 4 according to the embodiment of the present invention, a normal computer can be used. The all-sky video processing device 4 is composed of a computer provided with a volatile storage medium such as a CPU and RAM, a non-volatile storage medium such as a ROM, and an interface.

全天周映像処理装置４に備えた統合部１０、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。 Each function of the integrated unit 10, the cutting unit 11, the mapping unit 12, the alpha value setting unit 13, and the radius setting unit 14 provided in the all-sky video processing device 4 causes the CPU to execute a program describing these functions. It is realized by each.

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。 These programs are stored in the storage medium, read by the CPU, and executed. In addition, these programs can be stored and distributed in storage media such as magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROM, DVD, etc.), semiconductor memories, etc., and can be distributed via a network. You can also send and receive.

１ 全天周映像処理システム
２ 撮影装置
３ 測距装置
４ 全天周映像処理装置
５ ＨＭＤ（Head Mounted Display：頭部装着ディスプレイ）
１０ 統合部
１１ 切り出し部
１２ マッピング部
１３ アルファ値設定部
１４ 半径設定部
Ｉ 映像
Ｋ 切り出し映像
Ｚ１，Ｚ２，Ｚ３，Ｚ４ 全天周映像
ｄ 距離データ 1 All-sky image processing system 2 Imaging device 3 Distance measuring device 4 All-sky image processing device 5 HMD (Head Mounted Display)
10 Integration part 11 Cutout part 12 Mapping part 13 Alpha value setting part 14 Radius setting part I Video K Cutout video Z1, Z2, Z3, Z4 All-sky video d Distance data

Claims (6)

被写体を含む全天周映像を生成する全天周映像処理装置において、
複数の撮影装置により撮影された前記被写体を含む複数の映像を入力し、前記複数の映像を統合し、アルファチャンネル付き全天周映像を第一全天周映像として生成する統合部と、
前記映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、
前記統合部により生成された前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、
前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、第三全天周映像を生成するアルファ値設定部と、
前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定し、前記設定された距離に基づいて前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、
を備えたことを特徴とする全天周映像処理装置。 In an all-sky image processing device that generates an all-sky image including a subject
An integrated unit that inputs a plurality of images including the subject taken by a plurality of photographing devices, integrates the plurality of images, and generates an all-sky image with an alpha channel as a first all-sky image.
A cutout portion that cuts out the part of the subject from the video and generates a cutout video,
The first all-sky image generated by the integrated unit is mapped to the cut-out image generated by the cut-out unit, and the cut-out image is pasted on the first all-sky image. The mapping part that generates the image and
For the second all-sky image generated by the mapping unit, a non-transparent value is set for the alpha value of each pixel of the cut-out image portion, and a transparent value is set for the alpha value of the portion other than the cut-out image. Alpha value setting unit that sets and generates the third all-sky image,
The distance between the photographing device and the subject is set in the radius of the third all-sky image generated by the alpha value setting unit, and the projection position of the cutout image is set based on the set distance. The radius setting part that generates the changed fourth all-sky image, and
An all-sky video processing device characterized by being equipped with. 被写体を含む全天周映像を生成する全天周映像処理装置において、
単眼カメラの撮影装置により撮影された前記被写体を含むアルファチャンネル付き全天周映像を第一全天周映像として入力し、前記第一全天周映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、
前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、
前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、第三全天周映像を生成するアルファ値設定部と、
前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定し、前記設定された距離に基づいて前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、
を備えたことを特徴とする全天周映像処理装置。 In an all-sky image processing device that generates an all-sky image including a subject
An all-sky image with an alpha channel including the subject taken by a shooting device of a monocular camera is input as a first all-sky image, and a part of the subject is cut out from the first all-sky image to generate a cut-out image. Cut out part and
A mapping unit that maps the cutout image generated by the cutout portion to the first all-sky image and generates a second all-sky image in which the cutout image is pasted on the first all-sky image. ,
For the second all-sky image generated by the mapping unit, a non-transparent value is set for the alpha value of each pixel of the cut-out image portion, and a transparent value is set for the alpha value of the portion other than the cut-out image. Alpha value setting unit that sets and generates the third all-sky image,
The distance between the photographing device and the subject is set in the radius of the third all-sky image generated by the alpha value setting unit, and the projection position of the cutout image is set based on the set distance. The radius setting part that generates the changed fourth all-sky image, and
An all-sky video processing device characterized by being equipped with. 請求項１または２に記載の全天周映像処理装置において、
前記アルファ値設定部は、
前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分の各画素のアルファ値に透過の値を設定し、前記切り出し映像を除く部分の各画素の画素値に０を設定し、前記第三全天周映像を生成する、ことを特徴とする全天周映像処理装置。 In the all-sky video processing apparatus according to claim 1 or 2.
The alpha value setting unit
For the second all-sky image, a non-transparent value is set for the alpha value of each pixel of the cutout image portion, and a transparent value is set for the alpha value of each pixel of the portion other than the cutout image. An all-sky image processing device characterized in that a pixel value of each pixel of a portion excluding a cut-out image is set to 0 to generate the third all-sky image. 請求項１に記載の全天周映像処理装置において、
前記マッピング部は、
前記複数の撮影装置のうち予め設定された基準カメラの前記撮影装置のカメラパラメータに含まれる水平角度及び垂直角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする全天周映像処理装置。 In the all-sky video processing apparatus according to claim 1,
The mapping unit
The direction of the subject is specified by using the horizontal angle and the vertical angle included in the camera parameters of the photographing device of the reference camera set in advance among the plurality of photographing devices, and the subject in the first all-sky image. An all-sky image processing device characterized in that the cut-out image is mapped in the direction of the above and the second all-sky image is generated. 請求項２に記載の全天周映像処理装置において、
前記マッピング部は、
予め設定された水平角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする全天周映像処理装置。 In the all-sky video processing apparatus according to claim 2.
The mapping unit
Using a preset horizontal angle, the direction of the subject is specified, the cutout image is mapped to the direction of the subject in the first all-sky image, and the second all-sky image is generated. An all-sky video processing device characterized by. コンピュータを、請求項１から５までのいずれか一項に記載の全天周映像処理装置として機能させるためのプログラム。 A program for causing a computer to function as the all-sky video processing device according to any one of claims 1 to 5.
JP2019079317A 2019-04-18 2019-04-18 All-dome video processing device and program Active JP7336871B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019079317A JP7336871B2 (en) 2019-04-18 2019-04-18 All-dome video processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019079317A JP7336871B2 (en) 2019-04-18 2019-04-18 All-dome video processing device and program

Publications (2)

Publication Number Publication Date
JP2020178239A true JP2020178239A (en) 2020-10-29
JP7336871B2 JP7336871B2 (en) 2023-09-01

Family

ID=72936067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019079317A Active JP7336871B2 (en) 2019-04-18 2019-04-18 All-dome video processing device and program

Country Status (1)

Country Link
JP (1) JP7336871B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187797A (en) * 2014-03-27 2015-10-29 シャープ株式会社 Image data generation device and image data reproduction device
JP2016082328A (en) * 2014-10-14 2016-05-16 日本放送協会 Image composition device and program for the same
US20190058836A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. Apparatus for composing objects using depth map and method for the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187797A (en) * 2014-03-27 2015-10-29 シャープ株式会社 Image data generation device and image data reproduction device
JP2016082328A (en) * 2014-10-14 2016-05-16 日本放送協会 Image composition device and program for the same
US20190058836A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. Apparatus for composing objects using depth map and method for the same

Also Published As

Publication number Publication date
JP7336871B2 (en) 2023-09-01

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
US20180268519A1 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
AU2018326807B2 (en) Generating a new frame using rendered content and non-rendered content from a previous perspective
CN103747236A (en) 3D (three-dimensional) video processing system and method by combining human eye tracking
JP2022183177A (en) Head-mounted display device
US11922602B2 (en) Virtual, augmented, and mixed reality systems and methods
CN107209949B (en) Method and system for generating magnified 3D images
JP2014010805A (en) Image processing device, image processing method and image processing program
JP6166985B2 (en) Image generating apparatus and image generating program
US20230251710A1 (en) Virtual, augmented, and mixed reality systems and methods
US11818325B2 (en) Blended mode three dimensional display systems and methods
JP7336871B2 (en) All-dome video processing device and program
US20220232201A1 (en) Image generation system and method
KR102174465B1 (en) Method for rendering virtual reality contents based on focus angle
KR20240057994A (en) Method and apparatus for generating stereoscopic display contents
KR20150061236A (en) Method for providing movement parallax of partial image in multiview stereoscopic display and apparatus using thereof

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7336871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150