JP7442168B2 - Video processing system - Google Patents
Video processing system Download PDFInfo
- Publication number
- JP7442168B2 JP7442168B2 JP2019184434A JP2019184434A JP7442168B2 JP 7442168 B2 JP7442168 B2 JP 7442168B2 JP 2019184434 A JP2019184434 A JP 2019184434A JP 2019184434 A JP2019184434 A JP 2019184434A JP 7442168 B2 JP7442168 B2 JP 7442168B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- recognition information
- image
- video processing
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 59
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 239000000779 smoke Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009172 bursting Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、映像処理システム、特に、ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムに関する。 The present invention relates to a video processing system, and particularly to a video processing system that includes a three-dimensional object placed in a real environment that can be perceived by a user.
近年、ユーザが知覚可能な現実環境に存在する対象物にコンピュータグラフィックスによる映像を重ね合わせて、対象物と映像との調和を楽しむ、現実環境が拡張された拡張現実を提供する映像処理技術が提案されている。 In recent years, video processing technology has been developed that provides augmented reality in which the user can enjoy the harmony between the object and the image by superimposing computer graphics images on objects existing in the real environment that the user can perceive. Proposed.
特許文献１には、カメラによって撮影される現実環境の画像に仮想オブジェクトが配置された拡張現実空間をディスプレイに表示するとともに、この拡張現実空間を複数の端末間で共有することができる拡張現実プログラムが開示されている。 Patent Document 1 discloses an augmented reality program that displays on a display an augmented reality space in which virtual objects are arranged in an image of a real environment captured by a camera, and that can share this augmented reality space between multiple terminals. is disclosed.
ところで、この種の映像処理技術において、現実環境に存在する対象物の物理的な存在感を損なわしめることなく、対象物の有する特徴を活用できるような映像を対象物に重ね合わせることができれば、ユーザが対象物について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザの興趣が向上する。 By the way, in this type of image processing technology, if it is possible to superimpose an image onto an object that makes use of the characteristics of the object without impairing the physical presence of the object in the real environment, The user's interest is improved by providing advanced augmented reality that utilizes the real environment that the user perceives about the object.
本発明は、上記事情に鑑みてなされたものであり、ユーザの興趣を向上させることができる映像処理システムを提供することを課題とするものである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a video processing system that can improve user interest.
上記課題を達成するための、本発明に係る映像処理システムは、ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムであって、立体形状の対象物に対応する映像が関連づけられて対象物に配置される映像認識情報と、映像認識情報を認識して映像を対象物に重ね合わせる映像処理プログラムと、を備えるものである。 A video processing system according to the present invention for achieving the above object is a video processing system that includes a three-dimensional object placed in a real environment that can be perceived by a user, and that corresponds to the three-dimensional object. The apparatus includes image recognition information that is associated with an image and placed on the object, and an image processing program that recognizes the image recognition information and superimposes the image on the object.
これによれば、映像処理システムは、立体形状の対象物に対応する映像が関連づけられた映像認識情報を認識すると、現実環境に配置される対象物についてユーザが知覚する物理的な存在感を損なわしめることがない状態で、立体形状であるという対象物の有する特徴を活用できる映像が対象物に重ね合わせられる。 According to this, when a video processing system recognizes video recognition information associated with a video corresponding to a three-dimensional object, it impairs the sense of physical presence that the user perceives of the object placed in the real environment. An image that can take advantage of the object's three-dimensional shape is superimposed on the object without any close-up.
したがって、ユーザが対象物について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザの興趣が向上することが期待される。 Therefore, since advanced augmented reality that utilizes the real environment that the user perceives about objects is provided, it is expected that the user's interest will be improved.
さらに、映像処理システムの映像処理プログラムは、映像認識情報を認識した際に対象物に認識映像を重ね合わせるものであり、映像は、対象物の映像認識情報を透過させる視覚効果を伴う映像であってもよい。 Furthermore, the image processing program of the image processing system superimposes the recognized image on the object when the image recognition information is recognized, and the image is an image with a visual effect that allows the image recognition information of the object to pass through. It's okay.
しかも、映像処理システムは、映像認識情報を認識する認識手段を備え、映像処理プログラムは、対象物に映像を重ね合わせる際に認識手段と映像認識情報との間の距離に応じて対象物の映像認識情報を透過させる程度を変更するものである。 Moreover, the video processing system includes a recognition means for recognizing video recognition information, and the video processing program determines whether the image of the object is displayed according to the distance between the recognition means and the video recognition information when superimposing the image on the object. This changes the degree to which recognition information is transmitted.
映像処理システムの映像処理プログラムは、対象物に映像を重ね合わせる際に対象物にオブジェクトを配置するものであってもよい。 The video processing program of the video processing system may place an object on the target object when superimposing a video on the target object.
一方、映像処理システムは、映像認識情報が配置された対象物を複数備え、映像処理プログラムは、複数の対象物が現実環境において隣接して配置される際に複数の対象物にそれぞれ配置された映像認識情報を認識して映像を複数の対象物に重ね合わせるものである。 On the other hand, a video processing system includes a plurality of objects on which video recognition information is placed, and a video processing program is configured to perform a video processing system that includes a plurality of objects on which video recognition information is placed, and a video processing program that is configured to provide information on images that are placed on each of the plurality of objects when the plurality of objects are placed adjacent to each other in a real environment. It recognizes image recognition information and superimposes images on multiple objects.
さらに、映像処理システムの映像処理プログラムは、複数の対象物に映像を重ね合わせる際に複数の対象物のうちいずれか一の対象物にオブジェクトを配置し、オブジェクトが配置された一の対象物に近接して配置される他の対象物にオブジェクトを移動させるものである。 Furthermore, when superimposing images on multiple objects, the image processing program of the image processing system places an object on any one of the multiple objects, and places the object on one of the objects on which the object is placed. It moves an object to another target placed nearby.
この発明によれば、ユーザが対象物について知覚する現実環境よりも高度な拡張現実がもたらされることから、ユーザの興趣が向上することが期待される。 According to the present invention, an augmented reality that is more advanced than the real environment that the user perceives regarding the object is provided, so it is expected that the user's interest will be improved.
次に、図１～図８に基づいて、本発明の実施の形態に係る映像処理システムについて説明する。 Next, a video processing system according to an embodiment of the present invention will be described based on FIGS. 1 to 8.
図１は、本実施の形態に係る映像処理システムの概略を説明する図である。図示のように、映像処理システム１は、対象物である複数、本実施の形態では２体のＡＲボックス１０－１、１０－２、このＡＲボックス１０－１、１０－２をモニターする認識手段であるカメラ４０が内蔵されてカメラ４０でモニターしたＡＲボックス１０－１、１０－２が表示されるディスプレイ４１を有する携帯型情報端末であるスマートフォン２０を備える。 FIG. 1 is a diagram illustrating an outline of a video processing system according to this embodiment. As shown in the figure, the video processing system 1 includes a plurality of target objects, two AR boxes 10-1 and 10-2 in this embodiment, and a recognition means for monitoring the AR boxes 10-1 and 10-2. The smartphone 20 is a portable information terminal having a built-in camera 40 and a display 41 on which the AR boxes 10-1 and 10-2 monitored by the camera 40 are displayed.
図２は、ＡＲボックス１０－１、１０－２の概略を説明する図である。図示のように、ＡＲボックス１０－１、１０－２は、ユーザＵが知覚可能な現実環境に配置される立体形状、本実施の形態では立方体状であって、ＡＲボックス１０－１、１０－２にはそれぞれ、異なる図案として描画された映像認識情報Ｄ１、Ｄ２が配置される。 FIG. 2 is a diagram schematically explaining the AR boxes 10-1 and 10-2. As shown in the figure, the AR boxes 10-1 and 10-2 have a three-dimensional shape, in this embodiment, a cube shape, arranged in a real environment that can be perceived by the user U. 2, video recognition information D1 and D2 drawn as different designs are arranged, respectively.
これら映像認識情報Ｄ１、Ｄ２には、本実施の形態では、立体形状のＡＲボックス１０－１、１０－２に対応する映像が関連づけられており、スマートフォン２０のカメラ４０が各ＡＲボックス１０－１、１０－２をモニターすると、後述する映像処理プログラムでの処理によって映像認識情報Ｄ１、Ｄ２を認識して、ＡＲボックス１０－１、１０－２に映像を重ね合わせてスマートフォン２０のディスプレイ４１に表示する。 In this embodiment, these video recognition information D1 and D2 are associated with videos corresponding to the three-dimensional AR boxes 10-1 and 10-2, and the camera 40 of the smartphone 20 is connected to each AR box 10-1. , 10-2, the video recognition information D1 and D2 are recognized through processing by a video processing program to be described later, and the video is superimposed on the AR boxes 10-1 and 10-2 and displayed on the display 41 of the smartphone 20. do.
図３は、スマートフォン２０の構成の概略を説明するブロック図である。図示のように、スマートフォン２０は、制御部３０、カメラ４０及びディスプレイ４１を主要構成として備える。 FIG. 3 is a block diagram illustrating the outline of the configuration of the smartphone 20. As illustrated, the smartphone 20 includes a control unit 30, a camera 40, and a display 41 as main components.
制御部３０は、本実施の形態では、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３５を備え、これらが互いにバス３６を介して電気的に接続される。 In this embodiment, the control unit 30 includes a processor 31, a memory 32, a storage 33, a transmitting/receiving unit 34, and an input/output unit 35, which are electrically connected to each other via a bus 36.
プロセッサ３１は、制御部３０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。 The processor 31 is an arithmetic device that controls the operation of the control unit 30, controls the transmission and reception of data between each element, and performs processing necessary for executing an application program.
このプロセッサ３１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開されたアプリケーションプログラムを実行して各処理を行う。 In this embodiment, the processor 31 is, for example, a CPU (Central Processing Unit), and executes an application program stored in a storage 33 and developed in a memory 32 to perform various processes.
メモリ３２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。 The memory 32 includes a main storage device made up of a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device made up of a nonvolatile storage device such as a flash memory or an HDD (Hard Disc Drive). .
このメモリ３２は、プロセッサ３１の作業領域として使用される一方、制御部３０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。 The memory 32 is used as a work area for the processor 31, and also stores a BIOS (Basic Input/Output System) executed when the control unit 30 is started, various setting information, and the like.
ストレージ３３は、プログラムや各種の処理に用いられる情報等が格納されている。このストレージ３３の構成については、後述する。 The storage 33 stores programs, information used for various processes, and the like. The configuration of this storage 33 will be described later.
送受信部３４は、制御部３０をインターネット網等のネットワークに接続する。この送受信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。 The transmitter/receiver 34 connects the controller 30 to a network such as the Internet. The transmitter/receiver 34 may include a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
入出力部３５は、入出力機器が接続されるインターフェースであって、本実施の形態では、カメラ４０及びディスプレイ４１が接続される。 The input/output unit 35 is an interface to which input/output devices are connected, and in this embodiment, a camera 40 and a display 41 are connected.
バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。 The bus 36 transmits, for example, address signals, data signals, and various control signals between the connected processor 31, memory 32, storage 33, transmitting/receiving section 34, and input/output section 35.
カメラ４０は、本実施の形態では、ＡＲボックス１０－１、１０－２をモニターしてＡＲボックス１０－１、１０－２を映像あるいは画像として取得する。 In this embodiment, the camera 40 monitors the AR boxes 10-1 and 10-2 and acquires the AR boxes 10-1 and 10-2 as videos or images.
ディスプレイ４１は、カメラ４０でモニターしたＡＲボックス１０－１、１０－２が表示され、本実施の形態では、表示面への接触によって情報の入力を受け付けるいわゆるタッチパネルであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。 The display 41 displays the AR boxes 10-1 and 10-2 monitored by the camera 40, and in this embodiment is a so-called touch panel that accepts information input by touching the display surface, and is a resistive type or static type. It is implemented using various technologies such as capacitive methods.
図４は、ストレージ３３の構成の概略を説明するブロック図である。図示のように、ストレージ３３は、ストレージ３３の提供する記憶領域として実現される記憶部５０、及び映像処理プログラム５１を備える。 FIG. 4 is a block diagram illustrating the outline of the configuration of the storage 33. As illustrated, the storage 33 includes a storage unit 50 implemented as a storage area provided by the storage 33, and a video processing program 51.
記憶部５０には、本実施の形態では、映像認識情報Ｄ１、Ｄ２に関連づけられてＡＲボックス１０－１、１０－２に重ね合わせられる映像が格納されるとともに、ＡＲボックス１０－１、１０－２に重ね合わせられる後述のオブジェクトが格納される。 In the present embodiment, the storage unit 50 stores images that are associated with the image recognition information D1 and D2 and are superimposed on the AR boxes 10-1 and 10-2. Objects to be described later that are superimposed on 2 are stored.
映像処理プログラム５１は、本実施の形態では、入力モジュール５１ａ、距離検知モジュール５１ｂ及び映像処理モジュール５１ｃを備える。 In this embodiment, the video processing program 51 includes an input module 51a, a distance detection module 51b, and a video processing module 51c.
入力モジュール５１ａは、カメラ４０がモニターして取得したＡＲボックス１０－１、１０－２の映像あるいは画像、及びカメラ４０を介して映像処理プログラム５１が認識した映像認識情報Ｄ１、Ｄ２が入力されるモジュールである。 The input module 51a receives the video or images of the AR boxes 10-1 and 10-2 monitored and acquired by the camera 40, and the video recognition information D1 and D2 recognized by the video processing program 51 via the camera 40. It is a module.
距離検知モジュール５１ｂは、本実施の形態では、カメラ４０とＡＲボックス１０－１、１０－２に配置された映像認識情報Ｄ１、Ｄ２との距離を検知するモジュールである。 In this embodiment, the distance detection module 51b is a module that detects the distance between the camera 40 and the video recognition information D1 and D2 arranged in the AR boxes 10-1 and 10-2.
映像処理モジュール５１ｃは、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ１、Ｄ２との距離に基づいて、入力モジュール５１ａに入力されたＡＲボックス１０－１、１０－２の映像あるいは画像に映像認識情報Ｄ１、Ｄ２に関連づけられた映像を重ね合わせるとともに、後述のオブジェクトをＡＲボックス１０－１、１０－２の映像あるいは画像に重ね合わせるモジュールである。 The video processing module 51c processes the video or image of the AR boxes 10-1, 10-2 input to the input module 51a based on the distance between the camera 40 and the video recognition information D1, D2 detected by the distance detection module 51b. This is a module that superimposes videos associated with the video recognition information D1 and D2, and also superimposes objects to be described later on the videos or images of the AR boxes 10-1 and 10-2.
図５～図８は、映像処理モジュール５１ｃの処理の概略を説明するブロック図である。 5 to 8 are block diagrams illustrating the outline of processing by the video processing module 51c.
図５で示すように、映像処理モジュール５１ｃは、カメラ４０が現実環境に配置されるＡＲボックス１０－1をモニターして、ＡＲボックス１０－１に配置された映像認識情報Ｄ１を認識すると、ＡＲボックス１０－１を認識したことを示す認識映像、例えば本実施の形態では、煙玉が破裂してＡＲボックス１０－1が煙幕に包まれるような視覚効果を伴う映像Ｍ１をＡＲボックス１０－１に重ね合わせる。 As shown in FIG. 5, the video processing module 51c monitors the AR box 10-1 where the camera 40 is placed in the real environment and recognizes the video recognition information D1 placed on the AR box 10-1. A recognition image indicating that the box 10-1 has been recognized, for example, in this embodiment, an image M1 with a visual effect such as a smoke bomb bursting and surrounding the AR box 10-1 in a smoke screen is displayed on the AR box 10-1. superimpose on
さらに、映像処理モジュール５１ｃは、図６で示すように、ＡＲボックス１０－１に、ＡＲボックス１０－１の映像認識情報Ｄ１を透過させる視覚効果を伴う映像Ｍ２を重ね合わせ、映像Ｍ２をＡＲボックス１０－１に重ね合わせる際に、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ１との間の距離に応じて、ＡＲボックス１０－１の映像認識情報Ｄ１を透過させる程度を変更する映像処理を行う。 Furthermore, as shown in FIG. 6, the video processing module 51c superimposes the video M2 with a visual effect that transmits the video recognition information D1 of the AR box 10-1 on the AR box 10-1, and transfers the video M2 to the AR box 10-1. 10-1, the degree to which the video recognition information D1 of the AR box 10-1 is transmitted is changed according to the distance between the camera 40 detected by the distance detection module 51b and the video recognition information D1. Perform processing.
具体的には、図６（ａ）で示すように、映像処理プログラム５１がＡＲボックス１０－1を認識した際におけるカメラ４０と映像認識情報Ｄ１との間の距離（例えば１７ｃｍ）に基づいて、図案として描画された映像認識情報Ｄ１を透過させて例えばＡＲボックス１０－１の内部に四角い窓が配置された部屋が存在するかのような視覚効果を伴う映像Ｍ２を、ＡＲボックス１０－１に重ね合わせる。 Specifically, as shown in FIG. 6A, based on the distance (for example, 17 cm) between the camera 40 and the video recognition information D1 when the video processing program 51 recognizes the AR box 10-1, For example, an image M2 with a visual effect as if there is a room with square windows inside the AR box 10-1 is transmitted through the image recognition information D1 drawn as a pattern to the AR box 10-1. Overlap.
さらに、映像処理プログラム５１は、本実施の形態では、映像認識情報Ｄ１を透過するオブジェクトＯをＡＲボックス１０－１に配置する。 Further, in this embodiment, the video processing program 51 places an object O through which the video recognition information D1 is transmitted in the AR box 10-1.
映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度と映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度とは、透過度を１００％とした場合において、一方が上昇すると他方が下降するという相関的な関係が成立する。 The transparency of video M2 and object O through video recognition information D1 and the transparency of video recognition information D1 through video M2 and object O are, when the transparency is 100%, when one increases, the other increases. A correlative relationship of falling is established.
本実施の形態では、カメラ４０と映像認識情報Ｄ１との間の距離が３０ｃｍの場合において、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が例えば３０％であり、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が例えば７０％である。 In the present embodiment, when the distance between the camera 40 and the video recognition information D1 is 30 cm, the transparency of the video M2 and the object O through the video recognition information D1 is, for example, 30%, and the video recognition information D1 For example, the degree of transparency through which the image M2 and the object O are transmitted is 70%.
次に、カメラ４０と映像認識情報Ｄ１との間の距離を近接させる（例えば２０ｃｍ）と、図６（ｂ）で示すように、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が上昇する一方で、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が下降する。 Next, when the distance between the camera 40 and the video recognition information D1 is made closer (for example, 20 cm), the transparency of the video M2 and the object O through the video recognition information D1 increases as shown in FIG. 6(b). While increasing, the degree of transparency of the image recognition information D1 through the image M2 and the object O decreases.
本実施の形態では、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が３０％から例えば５５％に上昇し、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が７０％から例えば４５％に下降する。 In this embodiment, the degree of transparency through which the image recognition information D1 passes through the image M2 and the object O increases from 30% to, for example, 55%, and the degree of transparency through which the image recognition information D1 passes through the image M2 and the object O increases from 30% to 55%. For example, the percentage decreases from 45% to 45%.
カメラ４０と映像認識情報Ｄ１との間の距離を更に近接させる（例えば１０ｃｍ）と、図６（ｃ）で示すように、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が５５％から例えば１００％に上昇し、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が４５％から例えば０％に下降する。 When the distance between the camera 40 and the video recognition information D1 is made closer (for example, 10 cm), the transparency of the video M2 and the object O through the video recognition information D1 is 55%, as shown in FIG. 6(c). The degree of transparency of the image recognition information D1 through the image M2 and the object O decreases from 45% to, for example, 0%.
なお、上述したカメラ４０と映像認識情報Ｄ１との間の距離と、透過率は任意に変更可能である。 Note that the distance between the camera 40 and the video recognition information D1 and the transmittance described above can be changed arbitrarily.
図７で示すように、映像処理モジュール５１ｃは、ＡＲボックス１０－1に隣接して現実環境に配置されたＡＲボックス１０－２をカメラ４０がモニターして、ＡＲボックス１０－２に配置された映像認識情報Ｄ２を認識すると、ＡＲボックス１０－２を認識したことを示す認識映像、例えば本実施の形態では、煙玉が破裂してＡＲボックス１０－２が煙幕に包まれるような視覚効果を伴う映像Ｍ３をＡＲボックス１０－２に重ね合わせる。 As shown in FIG. 7, the video processing module 51c is placed in the AR box 10-2 by the camera 40 monitoring the AR box 10-2 placed in the real environment adjacent to the AR box 10-1. When the video recognition information D2 is recognized, a recognized video indicating that the AR box 10-2 has been recognized, for example, in this embodiment, a visual effect such as a smoke bomb bursting and the AR box 10-2 being covered in a smoke screen is displayed. The accompanying video M3 is superimposed on the AR box 10-2.
さらに、映像処理モジュール５１ｃは、図８で示すように、ＡＲボックス１０－２に、ＡＲボックス１０－２の映像認識情報Ｄ２を透過させる視覚効果を伴う映像Ｍ４を重ね合わせ、映像Ｍ４をＡＲボックス１０－２に重ね合わせる際に、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ２との間の距離に応じて、ＡＲボックス１０－２の映像認識情報Ｄ２を透過させる程度を変更する映像処理を行う。 Furthermore, as shown in FIG. 8, the video processing module 51c superimposes the video M4 with a visual effect that transmits the video recognition information D2 of the AR box 10-2 on the AR box 10-2, and transfers the video M4 to the AR box 10-2. 10-2, the degree to which the video recognition information D2 of the AR box 10-2 is transmitted is changed according to the distance between the camera 40 detected by the distance detection module 51b and the video recognition information D2. Perform processing.
具体的には、図８（ａ）で示すように、映像処理プログラム５１がＡＲボックス１０－２を認識した際におけるカメラ４０と映像認識情報Ｄ２との間の距離（例えば１７ｃｍ）に基づいて、図案として描画された映像認識情報Ｄ２を透過させて例えばＡＲボックス１０－２の内部に上辺が弧を描く窓が配置された部屋が存在するかのような視覚効果を伴う映像Ｍ４を、ＡＲボックス１０－２に重ね合わせる。 Specifically, as shown in FIG. 8A, based on the distance (for example, 17 cm) between the camera 40 and the video recognition information D2 when the video processing program 51 recognizes the AR box 10-2, By transmitting the image recognition information D2 drawn as a pattern, for example, an image M4 with a visual effect as if there is a room in which a window with an arcuate upper side is arranged inside the AR box 10-2 is displayed on the AR box. Superimpose it on 10-2.
本実施の形態では、カメラ４０と映像認識情報Ｄ２との間の距離が１７ｃｍの場合において、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が例えば３０％であり、映像認識情報Ｄ２が映像Ｍ４を透過する透過度が例えば７０％である。 In this embodiment, when the distance between the camera 40 and the video recognition information D2 is 17 cm, the transparency of the video M4 through the video recognition information D2 is, for example, 30%, and the video recognition information D2 is For example, the transmittance is 70%.
次に、カメラ４０と映像認識情報Ｄ２との間の距離を近接させる（例えば１２ｃｍ）と、図８（ｂ）で示すように、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が上昇する一方で、映像認識情報Ｄ１が映像Ｍ４を透過する透過度が下降する。 Next, when the distance between the camera 40 and the video recognition information D2 is made closer (for example, 12 cm), as shown in FIG. 8(b), the transparency of the video M4 through the video recognition information D2 increases. Then, the degree of transmission of the video recognition information D1 through the video M4 decreases.
本実施の形態では、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が３０％から例えば５５％に上昇し、映像認識情報Ｄ２が映像Ｍ４を透過する透過度が７０％から例えば４５％に下降する。 In this embodiment, the degree of transparency through which the image M4 passes through the image recognition information D2 increases from 30% to, for example, 55%, and the degree of transparency through which the image recognition information D2 passes through the image M4 decreases from 70% to, for example, 45%. do.
このとき、左右方向において互いに隣接して現実環境に配置されたＡＲボックス１０－１とＡＲボックス１０－２とを近接させると、ＡＲボックス１０－１に配置されたオブジェクトＯがＡＲボックス１０－２に移動する。 At this time, when the AR box 10-1 and the AR box 10-2, which are placed adjacent to each other in the left and right direction in the real environment, are brought close to each other, the object O placed in the AR box 10-1 is moved to the AR box 10-2. Move to.
カメラ４０と映像認識情報Ｄ１との間の距離を更に近接させる（例えば８ｃｍ）と、図８（ｃ）で示すように、映像Ｍ４が映像認識情報Ｄ１を透過する透過度が５５％から例えば１００％に上昇し、映像認識情報Ｄ１が映像Ｍ４を透過する透過度が４５％から例えば０％に下降する。 When the distance between the camera 40 and the video recognition information D1 is further reduced (e.g., 8 cm), the transparency of the video M4 through the video recognition information D1 increases from 55% to, for example, 100%, as shown in FIG. 8(c). %, and the transparency of the image recognition information D1 through the image M4 decreases from 45% to, for example, 0%.
このとき、オブジェクトＯが映像認識情報Ｄ１を透過する透過度も１００％である一方、映像認識情報Ｄ１がオブジェクトＯを透過する透過度は０％である。 At this time, the degree of transparency through which the image recognition information D1 passes through the object O is also 100%, while the degree of transparency through which the image recognition information D1 passes through the object O is 0%.
次に、本実施の形態に係る映像処理システム１の作動概略について説明する。 Next, an outline of the operation of the video processing system 1 according to the present embodiment will be explained.
まず、カメラ４０が現実環境に配置されるＡＲボックス１０－１をモニターして映像認識情報Ｄ１を認識すると、図５で示したように、映像Ｍ１がＡＲボックス１０－１に重ね合わせられてディスプレイ４１に表示される。 First, when the camera 40 monitors the AR box 10-1 placed in the real environment and recognizes the video recognition information D1, the video M1 is superimposed on the AR box 10-1 and displayed as shown in FIG. 41.
このときのカメラ４０と映像認識情報Ｄ１との間の距離に基づいて、図６（ａ）で示したように、ＡＲボックス１０－１の映像認識情報Ｄ１を透過する映像Ｍ２がＡＲボックス１０－１に重ね合わせられるとともに、映像認識情報Ｄ１を透過するオブジェクトＯがＡＲボックス１０－１に配置されて、ディスプレイ４１に表示される。 Based on the distance between the camera 40 and the video recognition information D1 at this time, as shown in FIG. 6(a), the video M2 that passes through the video recognition information D1 of the AR box 10-1 is An object O that is superimposed on AR box 10-1 and transmits video recognition information D1 is placed in AR box 10-1 and displayed on display 41.
カメラ４０とＡＲボックス１０－１との距離を近接させてカメラ４０と映像認識情報Ｄ１との間の距離を近接させると、図６（ｂ）、（ｃ）で示したように、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が上昇する一方で、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が下降する映像処理が実行され、ディスプレイ４１に表示される。 When the distance between the camera 40 and the AR box 10-1 is shortened and the distance between the camera 40 and the video recognition information D1 is shortened, as shown in FIGS. 6(b) and 6(c), the video M2 and Video processing is performed in which the transparency of the object O through the video recognition information D1 increases, while the transparency of the video recognition information D1 through the video M2 and the object O decreases, and is displayed on the display 41.
この状態において、ＡＲボックス１０－１に隣接して現実環境に配置されたＡＲボックス１０－２をモニターして映像認識情報Ｄ２を認識すると、図７で示したように、映像Ｍ３がＡＲボックス１０－２に重ね合わせられてディスプレイ４１に表示される。 In this state, when the AR box 10-2 placed in the real environment adjacent to the AR box 10-1 is monitored to recognize the video recognition information D2, as shown in FIG. -2 and displayed on the display 41.
このときのカメラ４０と映像認識情報Ｄ２との間の距離に基づいて、図８（ａ）で示したように、ＡＲボックス１０－２の映像認識情報Ｄ２を透過する映像Ｍ４がＡＲボックス１０－２に重ね合わせられて、ディスプレイ４１に表示される。 Based on the distance between the camera 40 and the video recognition information D2 at this time, as shown in FIG. 8(a), the video M4 that passes through the video recognition information D2 of the AR box 10-2 is 2 and displayed on the display 41.
カメラ４０とＡＲボックス１０－２との距離を近接させてカメラ４０と映像認識情報Ｄ２との間の距離を近接させると、図８（ｂ）、（ｃ）で示したように、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が上昇する一方で、映像認識情報Ｄ２が映像Ｍ４を透過する透過度が下降する映像処理が実行され、ディスプレイ４１に表示される。 When the distance between the camera 40 and the AR box 10-2 is shortened, and the distance between the camera 40 and the video recognition information D2 is shortened, the video M4 becomes as shown in FIGS. 8(b) and 8(c). A video process is performed in which the transparency of the video recognition information D2 increases, while the transparency of the video recognition information D2 through the video M4 decreases, and is displayed on the display 41.
このとき、左右方向において互いに隣接して現実環境に配置されたＡＲボックス１０－１とＡＲボックス１０－２とを近接させると、ＡＲボックス１０－１に配置されたオブジェクトＯがＡＲボックス１０－２に移動する。 At this time, when the AR box 10-1 and the AR box 10-2, which are placed adjacent to each other in the left and right direction in the real environment, are brought close to each other, the object O placed in the AR box 10-1 is moved to the AR box 10-2. Move to.
このように、本実施の形態によれば、立方体状のＡＲボックス１０－１、１０－２に対応する映像Ｍ２、Ｍ４が関連づけられた映像認識情報Ｄ１、Ｄ２を認識して、現実環境に配置されるＡＲボックス１０－１、１０－２についてユーザＵが知覚する物理的な存在感を損なわしめることがない状態で、立方体状であるというＡＲボックス１０－１、１０－２の有する特徴を活用できる映像Ｍ２、Ｍ４がＡＲボックス１０－１、１０－２に重ね合わせられる。 As described above, according to the present embodiment, the video recognition information D1 and D2 associated with the videos M2 and M4 corresponding to the cubic AR boxes 10-1 and 10-2 are recognized and placed in the real environment. Utilizes the characteristic of the AR boxes 10-1 and 10-2 that they are cubic, without impairing the physical presence that the user U perceives about the AR boxes 10-1 and 10-2. The resulting images M2 and M4 are superimposed on the AR boxes 10-1 and 10-2.
したがって、ユーザＵがＡＲボックス１０－１、１０－２について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザＵの興趣が向上する。 Therefore, a highly advanced augmented reality that utilizes the real environment that the user U perceives about the AR boxes 10-1 and 10-2 is provided, which improves the user's U interest.
しかも、本実施の形態では、映像Ｍ２、Ｍ４をＡＲボックス１０－１、１０－２に重ね合わせる際に、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ１、Ｄ２との間の距離に応じて、ＡＲボックス１０－１、１０－２の映像認識情報Ｄ１、Ｄ２を透過させる程度を変更する映像処理を行う。 Moreover, in this embodiment, when superimposing videos M2 and M4 on AR boxes 10-1 and 10-2, the distance between camera 40 and video recognition information D1 and D2 detected by distance detection module 51b is Accordingly, video processing is performed to change the degree to which the video recognition information D1 and D2 of the AR boxes 10-1 and 10-2 are transmitted.
したがって、ユーザＵの興趣が更に向上することが期待される。 Therefore, it is expected that user U's interest will further increase.
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記実施の形態では、映像Ｍ２、Ｍ４がＡＲボックス１０－１、１０－２の内部に窓が配置された部屋が存在するかのような視覚効果を伴う映像である場合を説明したが、例えば宇宙空間や空中、あるいは水中といった任意の空間であってもよい。 Note that the present invention is not limited to the embodiments described above, and various changes can be made without departing from the spirit of the invention. In the above embodiment, a case has been described in which the images M2 and M4 are images with a visual effect as if there is a room with windows arranged inside the AR boxes 10-1 and 10-2, but for example, It may be any space such as outer space, the air, or underwater.
上記実施の形態では、ＡＲボックス１０－１、１０－２が左右方向において互いに隣接して現実環境に配置される場合を説明したが、例えば、上下方向において互いに隣接して現実環境に配置されるものであってもよく、上方のＡＲボックスから下方のＡＲボックスに、あるいは下方のＡＲボックスから上方のＡＲボックスにオブジェクトＯが移動するものであってもよい。 In the above embodiment, a case has been described in which the AR boxes 10-1 and 10-2 are arranged adjacent to each other in the left-right direction in the real environment. The object O may be moved from an upper AR box to a lower AR box, or from a lower AR box to an upper AR box.
１ 映像処理システム
１０－１、１０－２ ＡＲボックス（対象物）
２０ スマートフォン
３０ 制御部
４０ カメラ（認識手段）
４１ ディスプレイ
５１ 映像処理プログラム
５１ｂ 距離検知モジュール
５１ｃ 映像処理モジュール
Ｄ１、Ｄ２ 映像認識情報
Ｍ１、Ｍ３ 映像（認識映像）
Ｍ２、Ｍ４ 映像
Ｏ オブジェクト
Ｕ ユーザ
1 Video processing system 10-1, 10-2 AR box (object)
20 Smartphone 30 Control unit 40 Camera (recognition means)
41 Display 51 Video processing program 51b Distance detection module 51c Video processing modules D1, D2 Video recognition information M1, M3 Video (recognized video)
M2, M4 Video O Object U User
Claims (6)
立体形状の前記対象物に対応する映像が関連づけられて前記対象物に配置される映像認識情報と、
該映像認識情報を認識して前記映像を前記対象物に重ね合わせる映像処理プログラムと、
を備え、
前記映像は、前記対象物の前記映像認識情報を透過させる視覚効果を伴う映像である、
映像処理システム。 An image processing system comprising a three-dimensional object placed in a real environment that can be perceived by a user,
image recognition information in which an image corresponding to the three-dimensional object is associated and placed on the object;
a video processing program that recognizes the video recognition information and superimposes the video on the object;
Equipped with
The image is an image with a visual effect that allows the image recognition information of the object to pass through.
Video processing system.
前記映像認識情報を認識した際に前記対象物に認識映像を重ね合わせる、
請求項１に記載の映像処理システム。 The video processing program is
superimposing a recognized image on the object when the image recognition information is recognized;
The video processing system according to claim 1.
前記映像処理プログラムは、
前記対象物に前記映像を重ね合わせる際に前記認識手段と前記映像認識情報との間の距離に応じて前記対象物の前記映像認識情報を透過させる程度を変更する、
請求項１または２に記載の映像処理システム。 comprising recognition means for recognizing the video recognition information,
The video processing program is
changing the degree to which the image recognition information of the object is transmitted according to the distance between the recognition means and the image recognition information when superimposing the image on the object;
The video processing system according to claim 1 or 2 .
前記対象物に前記映像を重ね合わせる際に前記対象物にオブジェクトを配置する、
請求項１～３のいずれか１項に記載の映像処理システム。 The video processing program is
placing an object on the object when superimposing the image on the object;
The video processing system according to any one of claims 1 to 3 .
前記映像処理プログラムは、
複数の前記対象物が前記現実環境において隣接して配置される際に複数の前記対象物にそれぞれ配置された前記映像認識情報を認識して前記映像を複数の前記対象物に重ね合わせる、
請求項１～４のいずれか１項に記載の映像処理システム。 comprising a plurality of the objects on which the image recognition information is arranged,
The video processing program is
superimposing the images on the plurality of objects by recognizing the image recognition information placed on each of the plurality of objects when the plurality of objects are arranged adjacent to each other in the real environment;
The video processing system according to any one of claims 1 to 4 .
複数の前記対象物に前記映像を重ね合わせる際に複数の前記対象物のうちいずれか一の前記対象物にオブジェクトを配置し、
該オブジェクトが配置された一の前記対象物に近接して配置される他の前記対象物に前記オブジェクトを移動させる、
請求項５に記載の映像処理システム。 The video processing program is
placing an object on any one of the plurality of objects when superimposing the image on the plurality of objects;
moving the object to another object placed close to the one object on which the object is placed;
The video processing system according to claim 5 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019184434A JP7442168B2 (en) | 2019-10-07 | 2019-10-07 | Video processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019184434A JP7442168B2 (en) | 2019-10-07 | 2019-10-07 | Video processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021060789A JP2021060789A (en) | 2021-04-15 |
| JP7442168B2 true JP7442168B2 (en) | 2024-03-04 |
Family
ID=75380254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019184434A Active JP7442168B2 (en) | 2019-10-07 | 2019-10-07 | Video processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7442168B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008065807A (en) | 2006-08-11 | 2008-03-21 | Canon Inc | Marker arrangement information measurement unit and method |
| JP2010026818A (en) | 2008-07-18 | 2010-02-04 | Geisha Tokyo Entertainment Inc | Image processing program, image processor, and image processing method |
| JP2012088782A (en) | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | Image processing program, image processing device, image processing system, and image processing method |
| JP2014021735A (en) | 2012-07-18 | 2014-02-03 | Bandai Co Ltd | Portable terminal device, terminal program, augment reality and clothing |
| JP2015143976A (en) | 2013-12-25 | 2015-08-06 | キヤノンマーケティングジャパン株式会社 | Information processing device, method for controlling the same, and program |
| JP2016093362A (en) | 2014-11-14 | 2016-05-26 | 株式会社コロプラ | Control program of virtual camera within game space, and game system |
| JP2016093363A (en) | 2014-11-14 | 2016-05-26 | 株式会社コロプラ | Control program of virtual camera within game space, and game system |
| WO2019181153A1 (en) | 2018-03-20 | 2019-09-26 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
-
2019
- 2019-10-07 JP JP2019184434A patent/JP7442168B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008065807A (en) | 2006-08-11 | 2008-03-21 | Canon Inc | Marker arrangement information measurement unit and method |
| JP2010026818A (en) | 2008-07-18 | 2010-02-04 | Geisha Tokyo Entertainment Inc | Image processing program, image processor, and image processing method |
| JP2012088782A (en) | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | Image processing program, image processing device, image processing system, and image processing method |
| JP2014021735A (en) | 2012-07-18 | 2014-02-03 | Bandai Co Ltd | Portable terminal device, terminal program, augment reality and clothing |
| JP2015143976A (en) | 2013-12-25 | 2015-08-06 | キヤノンマーケティングジャパン株式会社 | Information processing device, method for controlling the same, and program |
| JP2016093362A (en) | 2014-11-14 | 2016-05-26 | 株式会社コロプラ | Control program of virtual camera within game space, and game system |
| JP2016093363A (en) | 2014-11-14 | 2016-05-26 | 株式会社コロプラ | Control program of virtual camera within game space, and game system |
| WO2019181153A1 (en) | 2018-03-20 | 2019-09-26 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021060789A (en) | 2021-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6826029B2 (en) | Methods, devices and computer programs for displaying images | |
| US9055190B2 (en) | Arrangement of multiple audiovisual streams | |
| US10255481B2 (en) | Display device and operating method thereof with adjustments display | |
| US10950205B2 (en) | Electronic device, augmented reality device for providing augmented reality service, and method of operating same | |
| CN111414225B (en) | Three-dimensional model remote display method, first terminal, electronic device and storage medium | |
| CN108474950B (en) | HMD device and control method thereof | |
| CN105511618A (en) | 3D input device, head-mounted device and 3D input method | |
| US20180088890A1 (en) | Outside-facing display for head-mounted displays | |
| US9535250B2 (en) | Head mounted display device and method for controlling the same | |
| US20180374236A1 (en) | Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium | |
| EP3619685B1 (en) | Head mounted display and method | |
| CN113874828A (en) | Electronic device, method, and computer-readable medium for providing screen sharing service through external electronic device | |
| US20150187326A1 (en) | Method for Displaying a Content Through Either a Head Mounted Display Device or a Display Device, Corresponding Head Mounted Display Device and Computer Program Product | |
| EP3229482A1 (en) | Master device, slave device, and control method therefor | |
| CN105511620A (en) | Chinese three-dimensional input device, head-wearing device and Chinese three-dimensional input method | |
| JP6121496B2 (en) | Program to control the head mounted display system | |
| CN105278662A (en) | Interactive control method and apparatus for electronic whiteboard system and system | |
| EP3508951B1 (en) | Electronic device for controlling image display based on scroll input | |
| KR102590132B1 (en) | Display device and controlling method thereof | |
| KR101520944B1 (en) | Vehicle for providing realistic education service based on movable three-dimensional multi-display | |
| WO2019185716A1 (en) | Presenting images on a display device | |
| JP7442168B2 (en) | Video processing system | |
| CN106126148B (en) | Display control method and electronic equipment | |
| KR102640871B1 (en) | Electronic apparatus for providing image data by using augmented reality and control method thereof | |
| GB2525304B (en) | Interactive information display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230919 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7442168 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |