JP6730461B2 - Information processing system and information processing apparatus - Google Patents

Information processing system and information processing apparatus Download PDF

Info

Publication number
JP6730461B2
JP6730461B2 JP2018563240A JP2018563240A JP6730461B2 JP 6730461 B2 JP6730461 B2 JP 6730461B2 JP 2018563240 A JP2018563240 A JP 2018563240A JP 2018563240 A JP2018563240 A JP 2018563240A JP 6730461 B2 JP6730461 B2 JP 6730461B2
Authority
JP
Japan
Prior art keywords
image
combined
unit
information processing
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018563240A
Other languages
Japanese (ja)
Other versions
JPWO2018135246A1 (en
Inventor
直之 中尾
直之 中尾
聡之 大宮
聡之 大宮
義勝 金丸
義勝 金丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2018135246A1 publication Critical patent/JPWO2018135246A1/en
Application granted granted Critical
Publication of JP6730461B2 publication Critical patent/JP6730461B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像を合成して表示する技術に関する。 The present invention relates to a technique of combining images and displaying them.

特許文献１には、撮像場所に応じた画像を撮像画像に合成して表示する技術が開示されている。これにより、例えば撮像場所が観光地である場合、その観光地において有名な建築物などの画像が撮像画像に合成されて表示される。 Patent Document 1 discloses a technique of combining an image corresponding to a shooting location with a captured image and displaying the synthesized image. As a result, for example, when the imaging place is a tourist spot, an image of a building or the like famous in the tourist spot is combined with the captured image and displayed.

特開２００３−２７４３９６号公報JP, 2003-274396, A

本発明は、ユーザが合成された画像を見て従来よりもさらに面白味を感じられるようにすることを目的とする。 It is an object of the present invention to allow a user to see a composited image and feel more interesting than before.

本発明は、画像を認識する画像認識部と、前記画像認識部による認識結果に応じて異なる第１合成画像を前記画像に合成し、当該画像に合成された前記第１合成画像に対する所定の位置に第２合成画像を合成する画像合成部とを備えることを特徴とする情報処理システムを提供する。 According to the present invention, an image recognition unit that recognizes an image and a first composite image that differs depending on a recognition result by the image recognition unit are combined with the image, and a predetermined position with respect to the first composite image that is combined with the image. And an image combining unit that combines the second combined image with each other.

前記画像合成部は、前記画像認識部による認識結果に応じて外観、大きさ、位置、動き又は数の少なくともいずれかが異なる前記第１合成画像を前記画像に合成するようにしてもよい。 The image synthesizing unit may synthesize the first synthetic image that differs in at least one of appearance, size, position, movement, or number depending on the recognition result by the image recognizing unit.

前記画像合成部は、前記画像認識部による認識結果に応じて異なる前記第２合成画像を前記画像に合成するようにしてもよい。 The image combining unit may combine the different second combined image with the image according to the recognition result by the image recognition unit.

前記画像合成部は、前記画像認識部による認識結果に応じて外観、大きさ、位置、動き又は数の少なくともいずれかが異なる前記第２合成画像を前記画像に合成するようにしてもよい。 The image synthesizing unit may synthesize the second synthetic image that differs in at least one of appearance, size, position, movement, or number according to the recognition result by the image recognizing unit, with the image.

前記画像合成部は、人間の頭部を含む撮像画像から当該頭部に相当する部分画像を抽出し、当該部分画像を前記第２合成画像として前記画像に合成するようにしてもよい。 The image composition unit may extract a partial image corresponding to the head from a captured image including a human head, and combine the partial image with the image as the second combined image.

前記画像合成部は、前記画像認識部による認識結果に応じて前記人間の顔の向き又は当該顔の表情が異なる前記第２合成画像を前記画像に合成するようにしてもよい。 The image combining unit may combine the second combined image in which the orientation of the human face or the facial expression is different according to the recognition result by the image recognition unit, with the image.

前記画像合成部は、合成する前記第１合成画像に応じて異なる前記第２合成画像を前記画像に合成するようにしてもよい。 The image combining unit may combine the second combined image, which is different depending on the first combined image to be combined, with the image.

前記画像認識部によって前記画像に含まれる物体が属するカテゴリが認識された場合には、前記画像合成部は、前記画像における所定の位置に、前記カテゴリに応じた前記第１合成画像を合成するようにしてもよい。 When the category to which the object included in the image belongs is recognized by the image recognition unit, the image combination unit combines the first combined image according to the category at a predetermined position in the image. You may

前記画像認識部によって前記画像に含まれる物体の位置が認識された場合には、前記画像合成部は、前記物体に対する所定の位置に、前記物体に応じた前記第１合成画像を合成するようにしてもよい。 When the position of the object included in the image is recognized by the image recognition unit, the image combining unit is configured to combine the first combined image corresponding to the object at a predetermined position with respect to the object. May be.

また、本発明は、画像の認識結果に応じて異なる第１合成画像を前記画像に合成するよう表示装置に指示し、当該画像に合成された当該第１合成画像に対する所定の位置に第２合成画像を合成するよう前記表示装置に指示する画像合成指示部を備えることを特徴とする情報処理装置を提供する。 In addition, the present invention instructs the display device to synthesize a different first composite image on the image according to the recognition result of the image, and the second composite image at a predetermined position with respect to the first composite image synthesized on the image. There is provided an information processing device comprising an image composition instruction unit for instructing the display device to combine images.

本発明によれば、ユーザが合成された画像を見て従来よりもさらに面白味を感じることが可能となる。 According to the present invention, it becomes possible for a user to look at a combined image and feel more interesting than before.

本発明の一実施形態に係る情報処理システムの構成を例示する図である。It is a figure which illustrates the structure of the information processing system which concerns on one Embodiment of this invention. 表示装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of a display apparatus. 情報処理装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of an information processing apparatus. 情報処理装置に記憶されている合成画像決定テーブルの一例を示す図である。It is a figure which shows an example of the synthetic image determination table memorize|stored in the information processing apparatus. 情報処理システムの機能構成の一例を示すブロック図である。It is a block diagram showing an example of functional composition of an information processing system. 情報処理システムの動作手順の一例を示すフローチャートである。It is a flowchart which shows an example of the operation procedure of an information processing system. 表示装置における表示の一例を説明するための図である。It is a figure for explaining an example of a display in a display. 表示装置における表示の一例を説明するための図である。It is a figure for explaining an example of a display in a display.

１…情報処理システム、１０…情報処理装置、１１…画像認識部、１２…第１合成画像決定部、１３…画像合成指示部、２０…表示装置、２１…撮像部、２２…第２合成画像取得部、２３…画像データ生成部、２４…表示部、９０…ネットワーク、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…補助記憶装置、１０５…通信ＩＦ、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…カメラ、２０７…ＵＩ装置。 DESCRIPTION OF SYMBOLS 1... Information processing system, 10... Information processing apparatus, 11... Image recognition part, 12... 1st synthetic|combination image determination part, 13... Image synthesis instruction|indication part, 20... Display device, 21... Imaging part, 22... 2nd synthetic image Acquisition unit, 23... Image data generation unit, 24... Display unit, 90... Network, 101... CPU, 102... RAM, 103... ROM, 104... Auxiliary storage device, 105... Communication IF, 201... CPU, 202... ROM, 203... RAM, 204... Auxiliary storage device, 205... Communication IF, 206... Camera, 207... UI device.

以下、図面を参照して、本発明の一実施形態について説明する。
［構成］
図１は、本発明の一実施形態に係る情報処理システム１の構成を例示する図である。情報処理システム１は、画像の認識を行う情報処理装置１０と、画像の撮像及び表示を行う表示装置２０と、これら情報処理装置１０及び表示装置２０を通信可能に接続するネットワーク９０とを備えている。ネットワーク９０は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいてもよい。なお、図１には、情報処理装置１０及び表示装置２０を１つずつ示しているが、これらはそれぞれ複数であってもよい。An embodiment of the present invention will be described below with reference to the drawings.
[Constitution]
FIG. 1 is a diagram illustrating a configuration of an information processing system 1 according to an embodiment of the present invention. The information processing system 1 includes an information processing device 10 that recognizes an image, a display device 20 that captures and displays an image, and a network 90 that communicatively connects the information processing device 10 and the display device 20. There is. The network 90 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), or a combination thereof, and may include a wired section or a wireless section. In addition, although one information processing device 10 and one display device 20 are shown in FIG. 1, each of them may be plural.

情報処理装置１０は表示装置２０による撮像画像を取得し、その撮像画像に対して画像認識を行う。情報処理装置１０は、表示装置２０に対して、画像認識結果に応じて異なる第１合成画像を上記撮像画像に合成し、さらにその第１合成画像に対する所定の位置に第２合成画像を合成するよう指示する。例えば、表示装置２０により風景が撮像された場合（後述する図７（Ａ））、その風景に応じた第１合成画像Ｇ１として、人間が走る姿を模した動画のキャラクタ画像が合成される（図７（Ｂ））。この第１合成画像Ｇ１における所定の位置、ここでは第１合成画像Ｇ１が表す人間の頭部に相当する領域Ｇ２は、ブランクになっている。ユーザが表示装置２０を用いて自身の顔を撮像すると（図７（Ｃ））、第１合成画像Ｇ１の領域Ｇ２に対して、撮像された顔の画像が第２合成画像Ｇ３として合成される（図７（Ｄ））。このようにすると、表示装置２０に表示されている風景画像に対し、ユーザ自身の顔を持つ人間のキャラクタ画像が走っている様子が動画として合成されることになり、ユーザはこれらの画像の組み合わせや動きの面白さを見て楽しむことができる。 The information processing device 10 acquires a captured image by the display device 20 and performs image recognition on the captured image. The information processing device 10 synthesizes, on the display device 20, a first composite image that differs depending on the image recognition result, to the captured image, and further synthesizes a second composite image at a predetermined position with respect to the first composite image. Instruct. For example, when a landscape is captured by the display device 20 (FIG. 7A described later), a moving image character image simulating a human running is synthesized as the first synthesized image G1 corresponding to the landscape ( FIG. 7B). A predetermined position in the first combined image G1, that is, a region G2 corresponding to the human head represented by the first combined image G1 here is blank. When the user images his or her face using the display device 20 (FIG. 7C), the image of the imaged face is combined as the second combined image G3 in the area G2 of the first combined image G1. (FIG. 7(D)). By doing so, a state in which a human character image having the user's own face is running is combined as a moving image with the landscape image displayed on the display device 20, and the user can combine these images. You can enjoy watching the fun and movement.

図２は、表示装置２０のハードウェア構成を例示する図である。表示装置２０は、例えばスマートホン又はタブレット或いはパーソナルコンピュータなどの通信可能なコンピュータである。表示装置２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、カメラ２０６、ＵＩ装置２０７を有する。ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＯＭ２０２は、例えば表示装置２０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、表示装置２０において用いられるプログラム及びデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより表示装置２０はコンピュータ装置として機能し、後述する図５に示される機能が実現される。通信ＩＦ２０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。無線の場合、通信ＩＦ２０５は、例えばＬＴＥ（Long Term Evolution）又はＷｉ−Ｆｉ（登録商標）等の通信規格で動作するアンテナ及び通信回路を備えている。カメラ２０６はレンズ及び光学素子を含み、撮像した画像を示す画像データを生成する。カメラ２０６は、表示装置２０の表側に設けられたインカメラと、表示装置２０の裏側に設けられたアウトカメラとを含む。インカメラは主にユーザ自身を撮像するときに用いられ、アウトカメラは主にユーザ自身以外の風景等を撮像するときに用いられる。ＵＩ装置２０７は、例えばキー及びタッチセンサなどの操作子が設けられた操作部と、例えば液晶パネル及び液晶駆動回路などの表示部と、例えばスピーカ又はイヤホン用端子などの音声出力部とを含む。なお、表示装置２０は、図２に例示した構成以外に、例えばＧＰＳ（Global Positioning System）ユニットなどの他の構成を含んでいてもよい。 FIG. 2 is a diagram illustrating a hardware configuration of the display device 20. The display device 20 is a communicable computer such as a smartphone, a tablet, or a personal computer. The display device 20 includes a CPU 201 (Central Processing Unit), a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an auxiliary storage device 204, a communication IF 205, a camera 206, and a UI device 207. The CPU 201 is a processor that performs various calculations. The ROM 202 is a non-volatile memory that stores programs and data used for starting the display device 20, for example. The RAM 203 is a volatile memory that functions as a work area when the CPU 201 executes a program. The auxiliary storage device 204 is a non-volatile storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores programs and data used in the display device 20. When the CPU 201 executes this program, the display device 20 functions as a computer device, and the function shown in FIG. 5 described later is realized. The communication IF 205 is an interface for performing communication via the network 90 according to a predetermined communication standard. This communication standard may be a wireless communication standard or a wired communication standard. In the case of wireless communication, the communication IF 205 includes an antenna and a communication circuit that operate according to a communication standard such as LTE (Long Term Evolution) or Wi-Fi (registered trademark). The camera 206 includes a lens and an optical element, and generates image data showing a captured image. The camera 206 includes an in-camera provided on the front side of the display device 20 and an out-camera provided on the back side of the display device 20. The in-camera is mainly used when capturing an image of the user himself, and the out-camera is mainly used when capturing an image of a landscape or the like other than the user himself. The UI device 207 includes an operation unit provided with operators such as keys and a touch sensor, a display unit such as a liquid crystal panel and a liquid crystal drive circuit, and an audio output unit such as a speaker or an earphone terminal. The display device 20 may include other configurations such as a GPS (Global Positioning System) unit in addition to the configuration illustrated in FIG. 2.

図３は、情報処理装置１０のハードウェア構成を例示する図である。情報処理装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、及び通信ＩＦ１０５を有するコンピュータ装置である。ＣＰＵ１０１は、各種の演算を行うプロセッサである。ＲＯＭ１０２は、例えば情報処理装置１０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。補助記憶装置１０４は、例えばＨＤＤ又はＳＳＤなどの不揮発性の記憶装置であり、情報処理装置１０において用いられるプログラム及びデータを記憶する。ＣＰＵ１０１がこのプログラムを実行することにより、後述する図５に示される機能が実現される。通信ＩＦ１０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。情報処理装置１０は、図３に例示した構成以外に、例えばＵＩ装置などの他の構成を含んでいてもよい。 FIG. 3 is a diagram illustrating a hardware configuration of the information processing device 10. The information processing device 10 is a computer device having a CPU 101, a ROM 102, a RAM 103, an auxiliary storage device 104, and a communication IF 105. The CPU 101 is a processor that performs various calculations. The ROM 102 is a non-volatile memory that stores, for example, a program and data used to start up the information processing device 10. The RAM 103 is a volatile memory that functions as a work area when the CPU 101 executes a program. The auxiliary storage device 104 is a non-volatile storage device such as an HDD or an SSD, and stores programs and data used in the information processing device 10. The functions shown in FIG. 5 described later are realized by the CPU 101 executing this program. The communication IF 105 is an interface for performing communication via the network 90 according to a predetermined communication standard. The information processing device 10 may include other configurations such as a UI device other than the configuration illustrated in FIG.

補助記憶装置１０４には、画像認識を行う画像認識エンジン及び、前述した第１合成画像を表示装置２０において表示するための第１合成画像データ群のほか、表示装置２０においてどの第１合成画像を表示するかを決定するための合成画像決定テーブルが記憶されている。 The auxiliary storage device 104 stores an image recognition engine for performing image recognition, a first composite image data group for displaying the above-described first composite image on the display device 20, and which first composite image on the display device 20. A composite image determination table for determining whether to display is stored.

図４は合成画像決定テーブルを例示する図である。合成画像決定テーブルには、画像認識の認識種別と、画像認識結果と、第１合成画像を識別するための第１合成画像ＩＤと、第１合成画像の表示位置とが対応付けられている。
認識種別には、カテゴリ分類と物体検出とがある。カテゴリ分類は、一般物体認識とも呼ばれており、画像中の物体が属するカテゴリ又は固有名詞を認識するに留まり、その物体が画像中のどこにあるかまでは特定しないというものである。カテゴリ分類は、例えば画像の特徴抽出を行ってベクトル量子化ヒストグラムを算出し、その算出結果を予め用意されたカテゴリ又は固有名詞別のヒストグラムに当てはめることで実現される。FIG. 4 is a diagram showing an example of the composite image determination table. In the composite image determination table, the recognition type of image recognition, the image recognition result, the first composite image ID for identifying the first composite image, and the display position of the first composite image are associated with each other.
The recognition types include category classification and object detection. The category classification is also called general object recognition, and is only for recognizing the category or proper noun to which an object in an image belongs, and not specifying where the object is in the image. The category classification is realized by, for example, performing feature extraction of an image to calculate a vector quantization histogram, and applying the calculation result to a prepared histogram for each category or proper noun.

一方、物体検出は、特定物体認識とも呼ばれており、画像中の物体のカテゴリ又は固有名詞を特定するほか、その物体が画像中のどこにあるか（さらにはその物体の形状や他の物体との境界）まで特定するものである。物体検出は、例えば画像の局所的な特徴抽出を行い、その抽出結果に対して統計学習手法を用いることで実現される。情報処理装置１０は表示装置２０の撮像画像に対して画像認識を試み、その認識の結果、カテゴリ分類が可能な場合もあるし、カテゴリ分類のみならず物体検出も可能な場合もあるし、そのいずれもができない場合もある。 On the other hand, object detection is also called specific object recognition, which identifies the category or proper noun of an object in an image, and where the object is in the image (and the shape of that object and other objects). Boundaries). Object detection is realized, for example, by performing local feature extraction of an image and using a statistical learning method for the extraction result. The information processing apparatus 10 attempts image recognition on the captured image of the display device 20, and as a result of the recognition, it may be possible to perform category classification, and in some cases not only category classification but also object detection may be possible. In some cases neither can be done.

図４では、情報処理装置１０の画像認識の結果、画像中の物体について例えば「橋」というカテゴリ分類ができた場合に、分類したカテゴリ又は固有名詞に応じた第１合成画像ＩＤ「Ｃ００１」の第１合成画像がその画像中の絶対座標Ｘ１，Ｙ１に表示されるように規定されている。ここでいう絶対座標とは、表示装置２０の表示領域において予め規定されたＸＹ座標軸に従う座標である。つまり、この例の場合、第１合成画像は、画像中の「橋」という物体の位置に関係なく、表示装置２０の表示領域において絶対座標で指定された位置（例えば表示領域の中心部分）に合成される。 In FIG. 4, as a result of the image recognition of the information processing apparatus 10, when the object in the image can be classified into a category such as “bridge”, the first composite image ID “C001” corresponding to the classified category or proper noun It is specified that the first composite image is displayed at absolute coordinates X1, Y1 in the image. The absolute coordinates mentioned here are the coordinates along the XY coordinate axes defined in advance in the display area of the display device 20. That is, in the case of this example, the first composite image is displayed at the position (for example, the central portion of the display area) specified by the absolute coordinates in the display area of the display device 20, regardless of the position of the object “bridge” in the image. Is synthesized.

また、情報処理装置１０の画像認識の結果、画像中の物体について例えば「建物」というカテゴリ及び「時計台」という固有名詞とその画像中の位置について物体検出ができた場合には、その物体（カテゴリ又は固有名詞）に応じた第１合成画像ＩＤ「Ｃ０２０」の第１合成画像が相対座標ｘ１，ｙ１に表示されるように規定されている。ここでいう相対座標とは、検出された「時計台」という物体を基準として規定されたｘｙ座標軸（例えば物体の重心を原点としてその物体のサイズに応じた単位の目盛を持つｘｙ座標軸）に従う座標である。この例の場合、第１合成画像は、画像中の「時計台」という物体の位置に対して相対座標で指定された位置に合成されるから、画像中の「時計台」という物体の位置に応じて第１合成画像の表示位置は異なることになる。例えば、図７に示すように、第１合成画像Ｇ１は「時計台」という物体に対して、その屋根部分の重力方向上方の位置に常に表示される。 In addition, as a result of the image recognition of the information processing device 10, when the object in the image is detected, for example, in the category “building”, the proper noun “clock tower”, and the position in the image, the object ( It is specified that the first composite image of the first composite image ID “C020” corresponding to the category or proper noun) is displayed at the relative coordinates x1, y1. The relative coordinates referred to here are coordinates that follow an xy coordinate axis (for example, an xy coordinate axis having a unit scale corresponding to the size of the object with the center of gravity of the object as the origin) as a reference for the detected object "clock tower". Is. In the case of this example, since the first composite image is composed at the position specified by the relative coordinates with respect to the position of the object "clock tower" in the image, the first composite image is displayed at the position of the object "clock tower" in the image. Accordingly, the display position of the first combined image will be different. For example, as shown in FIG. 7, the first composite image G1 is always displayed at a position above the roof portion of the object "clock tower" in the gravity direction.

なお、補助記憶装置１０４に記憶されている各第１合成画像データにおいては、第１合成画像に対する第２合成画像の表示位置を指定するデータが含まれている。例えば第１合成画像Ｇ１として、人間が走る姿を模した動画のキャラクタ画像が合成される場合（図７（Ｂ））、この第１合成画像Ｇ１において人間の頭部に相当する領域Ｇ２の位置を所定の位置として指定するデータが、この第１合成画像データに含まれている。 It should be noted that each of the first composite image data stored in the auxiliary storage device 104 includes data that specifies the display position of the second composite image with respect to the first composite image. For example, when a moving character image simulating a running person is combined as the first combined image G1 (FIG. 7B), the position of the region G2 corresponding to the human head in the first combined image G1. Data designating as a predetermined position is included in the first composite image data.

図５は、情報処理システム１の機能構成を示すブロック図である。図５に示すように、表示装置２０においては、画像を撮像する撮像部２１と、第２合成画像を取得する第２合成画像取得部２２と、撮像部２１により撮像された画像に対して第１合成画像及び第２合成画像を合成した画像データを生成する画像データ生成部２３と、画像データ生成部２３により生成された画像データに応じた画像を表示する表示部２４とが実現される。情報処理装置１０においては、撮像部２１により撮像された画像を認識する画像認識部１１と、画像認識部１１による認識結果に応じて異なる第１合成画像を決定する第１合成画像決定部１２と、第１合成画像決定部１２により決定された第１合成画像を撮像部２１により撮像された画像に合成し、当該画像に合成された第１合成画像に対する所定の位置に第２合成画像を合成するよう表示装置２０に指示する画像合成指示部１３とが実現される。 FIG. 5 is a block diagram showing a functional configuration of the information processing system 1. As shown in FIG. 5, in the display device 20, an image capturing unit 21 that captures an image, a second composite image capturing unit 22 that captures a second composite image, and a second image with respect to the image captured by the image capturing unit 21. An image data generation unit 23 that generates image data in which the first combined image and the second combined image are generated, and a display unit 24 that displays an image according to the image data generated by the image data generation unit 23 are realized. In the information processing device 10, an image recognition unit 11 that recognizes an image captured by the imaging unit 21, and a first composite image determination unit 12 that determines a different first composite image according to the recognition result by the image recognition unit 11. , The first combined image determined by the first combined image determining unit 12 is combined with the image captured by the image capturing unit 21, and the second combined image is combined at a predetermined position with respect to the first combined image combined with the image. The image compositing instruction unit 13 for instructing the display device 20 to perform is realized.

撮像部２１及び第２合成画像取得部２２は表示装置２０のカメラ２０６によって実現され、画像データ生成部２３は表示装置２０のＣＰＵ２０１によって実現され、表示部２４は表示装置２０のＵＩ装置２０７によって実現される。画像認識部１１は情報処理装置１０のＣＰＵ１０１によって実現され、第１合成画像決定部１２は情報処理装置１０のＣＰＵ１０１及び補助記憶装置１０４によって実現され、画像合成指示部１３は情報処理装置１０のＣＰＵ１０１及び通信ＩＦ１０５によって実現される。画像データ生成部２３と画像合成指示部１３とによって、本発明に係る情報処理システム１が備える画像合成部３０が実現される。この画像合成部３０は、画像認識部１１による認識結果に応じて異なる第１合成画像を、撮像部２１により撮像された画像に合成する。 The imaging unit 21 and the second composite image acquisition unit 22 are realized by the camera 206 of the display device 20, the image data generation unit 23 is realized by the CPU 201 of the display device 20, and the display unit 24 is realized by the UI device 207 of the display device 20. To be done. The image recognition unit 11 is realized by the CPU 101 of the information processing device 10, the first combined image determination unit 12 is realized by the CPU 101 of the information processing device 10 and the auxiliary storage device 104, and the image combination instruction unit 13 is formed by the CPU 101 of the information processing device 10. And the communication IF 105. The image data generation unit 23 and the image synthesis instruction unit 13 implement the image synthesis unit 30 included in the information processing system 1 according to the present invention. The image synthesizing unit 30 synthesizes the first synthetic image, which differs depending on the recognition result of the image recognizing unit 11, with the image captured by the image capturing unit 21.

［動作］
図６〜図８を参照して、情報処理システム１の表示制御の例について説明する。まず、ユーザは表示装置２０の撮像部２１（アウトカメラ）を起動して、自身が所望する物体の撮像を開始する（ステップＳ１１）。撮像部２１による撮像結果は、表示装置２０の表示領域にリアルタイムに表示され、撮像部２１の撮像方向が変わるとこの表示領域上の画像も変更される。例えばユーザが時計台の風景が撮像されるような向きに表示装置２０を構えてユーザが所定の操作を行うと、図７（Ａ）に示すように、その撮像画像が表示装置２０の表示領域に表示される。この撮像画像を示す撮像画像データは、ユーザの操作があったときに又はその操作時点から連続的に或いはその操作時点から定期的に通信ＩＦ２０５から情報処理装置１０に送信される（ステップＳ１２）。このとき、表示装置２０は撮像画像データを適宜圧縮してデータサイズを小さくすることが望ましい。[motion]
An example of display control of the information processing system 1 will be described with reference to FIGS. 6 to 8. First, the user activates the imaging unit 21 (out-camera) of the display device 20 to start imaging an object desired by the user (step S11). The imaging result by the imaging unit 21 is displayed in real time on the display area of the display device 20, and when the imaging direction of the imaging unit 21 changes, the image on this display area is also changed. For example, when the user holds the display device 20 in such a direction as to capture the scenery of the clock tower and the user performs a predetermined operation, the captured image is displayed in the display area of the display device 20, as shown in FIG. 7A. Displayed in. The captured image data representing the captured image is transmitted from the communication IF 205 to the information processing device 10 when a user operation is performed or continuously from the operation time point or periodically from the operation time point (step S12). At this time, it is desirable that the display device 20 appropriately compress the captured image data to reduce the data size.

情報処理装置１０の画像認識部１１は、撮像画像データに対して画像認識エンジンを適用して画像認識を試みる（ステップＳ１３）。画像認識に成功すると、第１合成画像決定部１２は、その認識結果に基づいて、表示装置２０において撮像画像に合成する第１合成画像を決定する（ステップＳ１４）。ここで、画像認識部１１がカテゴリの分類に成功した場合には、第１合成画像決定部１２は、図４に例示したテーブルにおいてその物体のカテゴリに対応する第１合成画像ＩＤを特定し、その第１合成画像ＩＤの第１合成画像データを補助記憶装置１０４から読み出す。画像合成指示部１３は、読み出された第１合成画像データを、図４に例示したテーブルにおいてそのカテゴリに対応する絶対座標とともに、画像合成指示として表示装置２０に送信する（ステップＳ１５）。このとき、前述したように、第１合成画像データにおいては、第１合成画像に対する第２合成画像の表示位置を指定するデータが含まれている。 The image recognition unit 11 of the information processing device 10 attempts image recognition by applying an image recognition engine to the captured image data (step S13). When the image recognition is successful, the first combined image determination unit 12 determines the first combined image to be combined with the captured image on the display device 20 based on the recognition result (step S14). Here, when the image recognition unit 11 succeeds in classifying the category, the first combined image determination unit 12 identifies the first combined image ID corresponding to the category of the object in the table illustrated in FIG. The first combined image data having the first combined image ID is read from the auxiliary storage device 104. The image compositing instruction unit 13 transmits the read first composite image data to the display device 20 as an image compositing instruction together with the absolute coordinates corresponding to the category in the table illustrated in FIG. 4 (step S15). At this time, as described above, the first composite image data includes data that specifies the display position of the second composite image with respect to the first composite image.

また、物体検出に成功した場合には、第１合成画像決定部１２は、図４に例示したテーブルにおいてその物体のカテゴリ又は固有名詞に対応する第１合成画像ＩＤを特定し、その第１合成画像ＩＤの第１合成画像データを補助記憶装置１０４から読み出す。画像合成指示部１３は、読み出された第１合成画像データを、表示装置２０の表示領域における物体の座標、及び図４に例示したテーブルにおいてそのカテゴリ又は固有名詞に対応する相対座標とともに、画像合成指示として表示装置２０に送信する（ステップＳ１５）。このときも前述したように、第１合成画像データにおいては、第１合成画像に対する第２合成画像の表示位置を指定するデータが含まれている。 Further, when the object detection is successful, the first combined image determination unit 12 identifies the first combined image ID corresponding to the category or proper noun of the object in the table illustrated in FIG. The first combined image data of the image ID is read from the auxiliary storage device 104. The image combination instruction unit 13 displays the read first combined image data together with the coordinates of the object in the display area of the display device 20 and the relative coordinates corresponding to the category or proper noun in the table illustrated in FIG. It is transmitted to the display device 20 as a combination instruction (step S15). At this time also, as described above, the first composite image data includes data that specifies the display position of the second composite image with respect to the first composite image.

表示装置２０の画像データ生成部２３は、上記の第１合成画像データ等を取得すると（ステップＳ１６）、表示部２４の撮像画像において座標（絶対座標又は相対座標）により指定された位置に第１合成画像を表示する。例えばユーザが時計台の風景を撮像した場合には、図７（Ｂ）に示すように、時計台の屋根部分の上方に人間が走る姿を模した動画の第１合成画像Ｇ１が表示される。 When the image data generation unit 23 of the display device 20 acquires the above-described first combined image data and the like (step S16), the image data generation unit 23 first moves the image at the position designated by the coordinates (absolute coordinates or relative coordinates) in the captured image of the display unit 24. Display a composite image. For example, when the user captures an image of the scenery of the clock tower, as shown in FIG. 7B, a first composite image G1 of a moving image simulating a human running is displayed above the roof portion of the clock tower. ..

そして、画像データ生成部２３は、ユーザに対して第２合成画像の撮像を案内する（ステップＳ１７）。この案内は、例えば「自分の顔を撮ってください」というメッセージを表示し、表示装置２０の表示領域上で顔の撮像位置を指定する、というような方法で実現すればよい。 Then, the image data generation unit 23 guides the user to capture the second combined image (step S17). This guidance may be realized by, for example, displaying a message “Please take a picture of your face” and designating the imaging position of the face on the display area of the display device 20.

この案内に従い、ユーザが撮像部２１（インカメラ）で自分の顔を撮像する。この場合、例えば図７（Ｃ）に示すように、ユーザの顔を含む上半身が表示装置２０の表示領域に表示される。画像データ生成部２３は、この画像からユーザの頭部に相当する部分画像を画像認識技術等により抽出し、これを第２合成画像として取得する（ステップＳ１８）。そして、画像データ生成部２３は、第１合成画像及び第２合成画像を撮像画像に合成した画像データを生成し（ステップＳ１９）、この画像データに応じた画像を表示する（ステップＳ２０）。これにより例えば図７（Ｄ）に示すように、人間が走る姿を模した第１合成画像における頭部の位置にユーザの顔を示す第２合成画像が配置され、これらが時計台の屋根部分の上方に表示されることになる。 According to this guidance, the user takes an image of his/her face with the imaging unit 21 (in camera). In this case, for example, as shown in FIG. 7C, the upper body including the user's face is displayed in the display area of the display device 20. The image data generation unit 23 extracts a partial image corresponding to the user's head from this image by an image recognition technique or the like, and acquires this as a second combined image (step S18). Then, the image data generation unit 23 generates image data in which the first combined image and the second combined image are combined with the captured image (step S19), and displays an image corresponding to this image data (step S20). As a result, for example, as shown in FIG. 7D, the second composite image showing the user's face is arranged at the position of the head in the first composite image simulating the running of a human, and these are the roof portion of the clock tower. Will be displayed above.

図８は、上記とは別の表示例を示した図である。例えば、表示装置２０により、Ａ社からユーザに特典を与えるためのポイントカードが物体として撮像された場合（図８（Ａ））、その物体に応じた第１合成画像Ｇ４として、人間が躍る姿を模した動画のキャラクタ画像（図４における第１合成画像ＩＤ：Ｃ０２２）が合成され、さらに別の第１合成画像Ｇ６として、その人間と一緒に踊るアニメのキャラクタ画像（図４における第１合成画像ＩＤ：Ｃ０２３）が合成される（図８（Ｂ））。第１合成画像Ｇ４において、人間の頭部に相当する領域Ｇ５はブランクになっている。ユーザが表示装置２０を用いて自身の顔を撮像すると（図８（Ｃ））、第１合成画像Ｇ４の領域Ｇ５に対して、ユーザの顔の画像が第２合成画像Ｇ７として合成される（図８（Ｄ））。このようにすると、表示装置２０に表示されているポイントカードの中で、ユーザ自身の顔を持つ人間のキャラクタ画像がアニメのキャラクタ画像とともに躍っている姿が合成されることになり、ユーザはこれらの画像の組み合わせ、配置或いは動きなどを見て楽しむことができる。 FIG. 8 is a diagram showing another display example different from the above. For example, when a point card for giving a privilege to a user is imaged as an object by the display device 20 (FIG. 8A), a figure of a person jumping as a first composite image G4 corresponding to the object. A character image of a moving image (first composite image ID: C022 in FIG. 4) imitating the above is combined, and as another first composite image G6, an animation character image dancing with the person (first composite image in FIG. 4). The image ID: C023) is combined (FIG. 8B). In the first combined image G4, the area G5 corresponding to the human head is blank. When the user images his/her face using the display device 20 (FIG. 8C), the image of the user's face is combined as the second combined image G7 in the area G5 of the first combined image G4 ( FIG. 8D). In this way, in the point card displayed on the display device 20, the figure of the human character having the user's own face and the character image of the anime jumping is synthesized, and the user is You can enjoy watching the combination, arrangement or movement of the images.

以上説明した実施形態によれば、表示装置２０に表示されている撮像画像に対し、例えばユーザ自身の顔（第２合成画像）を持つ人間のキャラクタ画像（第１合成画像）が走っている動画が合成されることになり、ユーザはこれらの画像の組み合わせ、配置或いは動きなどを見て、従来にはない面白味を感じることができる。この第１合成画像は、表示装置２０に表示されている撮像画像の認識結果に応じて異なるから、ユーザは様々な物体を撮像することで、どのような第１合成画像が合成されるかという期待感を感じ、また、その期待に対する結果を楽しむことができる。また、第２合成画像としてユーザ自身の顔の画像を用いているから、ユーザ自身が撮像画像の仮想空間にあたかも存在しているかのような感覚を楽しむことが可能となる。また、ユーザは、撮像画像に対して第１合成画像が合成されている様子を見てから、第２合成画像として自身の顔を撮像するから、合成される自身の顔の向き又は表情を撮像画像及び第１合成画像の雰囲気に合うように、例えば横を向いたりコミカルな表情又は必死な表情にしたりすることが可能となる。これもまたユーザにとっての面白味の１つとなる。 According to the embodiment described above, a moving image in which, for example, a human character image (first composite image) having the face of the user (second composite image) is running with respect to the captured image displayed on the display device 20. Will be combined, and the user can feel the unprecedented fun by seeing the combination, arrangement or movement of these images. Since the first composite image differs depending on the recognition result of the captured image displayed on the display device 20, what kind of the first composite image is composited by the user capturing various objects. You can feel the expectations and enjoy the results of those expectations. Further, since the image of the face of the user himself/herself is used as the second composite image, it is possible to enjoy the feeling that the user himself/herself exists in the virtual space of the captured image. In addition, the user takes a picture of the first composite image with respect to the captured image and then captures his/her own face as the second composite image, and thus captures the orientation or facial expression of his/her own face to be composited. For example, it is possible to turn sideways or have a comical expression or a desperate expression so as to match the atmosphere of the image and the first combined image. This is also one of the interesting things for the user.

［変形例］
［変形例１］
上述した実施形態は次のような変形が可能である。また、以下の変形例を互いに組み合わせて実施してもよい。
画像合成部３０は、画像認識部１１による認識結果に応じて外観が異なる第１合成画像を合成することに限らず、例えば大きさ、位置、動き又は数の少なくともいずれかが異なる第１合成画像を合成するようにしてもよい。また、第１合成画像は動画に限らず静止画であってもよい。
また、画像合成部３０は、画像認識部１１による認識結果に加え、ユーザの属性又は表示装置２０の位置に応じて異なる第１合成画像を合成するようにしてもよい。
また、画像合成部３０は、画像認識部１１による認識結果に応じて異なる第１合成画像を合成すればよく、例えば建物を撮像したときに、その建物が設置された地面の平面を認識し、その平面上に第１構成画像を合成してもよい。
このように第１合成画像の様々な要素が画像認識結果に応じて異なるほうが、ユーザにとっての面白味が増す。[Modification]
[Modification 1]
The above-described embodiment can be modified as follows. In addition, the following modified examples may be implemented in combination with each other.
The image combining unit 30 is not limited to combining the first combined images having different appearances according to the recognition result by the image recognition unit 11, and, for example, the first combined image having different size, position, movement, or number. May be combined. Further, the first combined image is not limited to a moving image and may be a still image.
In addition to the recognition result by the image recognizing unit 11, the image combining unit 30 may combine different first combined images depending on the attribute of the user or the position of the display device 20.
Further, the image synthesizing unit 30 may synthesize different first synthetic images according to the recognition result by the image recognizing unit 11. For example, when a building is imaged, the image synthesizing unit 30 recognizes the plane of the ground on which the building is installed, The first constituent image may be combined on the plane.
As described above, it is more interesting for the user that the various elements of the first composite image differ depending on the image recognition result.

［変形例２］
実施形態では、画像合成部３０は、画像認識部１１による認識結果に関わらず、ユーザによって撮像された顔の画像を常に第２合成画像としていたが、画像認識部１１による認識結果に応じて異なる第２合成画像を合成するようにしてもよい。例えば事前にユーザが、様々に異なる表情又は向きの顔を自分で撮像して表示装置２０の補助記憶装置２０４に記憶させておき、さらに、その顔の表情又は向きから連想するユーザの様子（例えば楽しい、悲しい、笑い顔、泣き顔、知らんぷり、無表情など）を意味するタグを付与しておく。このタグの付与は、ユーザ自身が行ってもよいし、画像認識技術を用いて表示装置２０又は情報処理装置１０が行ってもよい。画像合成部３０は、画像認識部１１による認識結果に対応するタグが付与された顔の画像を第２合成画像とする。この場合、画像認識部１１による認識結果とユーザの様子を類型化したものとが対応付けられて補助記憶装置２０４に記憶されており、画像合成部３０は、画像認識部１１による認識結果に対応するタグを特定し、そのタグが付与された顔の画像データを補助記憶装置２０４から読み出す。さらに、このような顔の表情の異同に限らず、画像合成部３０は、画像認識部１１による認識結果に応じて外観、大きさ、位置、動き又は数の少なくともいずれかが異なる第２合成画像を合成してもよい。なお、第２合成画像は撮像画像に限らず、例えばアバター又はアニメの画像など、どのような画像であってもよい。このように第２合成画像の様々な要素が画像認識結果に応じて異なるほうが、ユーザにとっての面白味が増す。[Modification 2]
In the embodiment, the image synthesizing unit 30 always uses the image of the face captured by the user as the second synthetic image regardless of the recognition result by the image recognizing unit 11, but it differs depending on the recognition result by the image recognizing unit 11. The second combined image may be combined. For example, the state of the user in which the user images the face with various different facial expressions or orientations in advance and stores it in the auxiliary storage device 204 of the display device 20, and associates it with the facial expression or orientation of the face (for example, Tags that mean fun, sad, laughing face, crying face, acquaintance, expressionlessness, etc.) are added. The tag may be added by the user himself or by the display device 20 or the information processing device 10 using an image recognition technique. The image synthesizing unit 30 sets the face image to which the tag corresponding to the recognition result by the image recognizing unit 11 is added as the second synthetic image. In this case, the recognition result by the image recognition unit 11 and the typified user state are stored in the auxiliary storage device 204 in association with each other, and the image synthesis unit 30 corresponds to the recognition result by the image recognition unit 11. The tag to be used is specified, and the image data of the face to which the tag is added is read from the auxiliary storage device 204. Further, the image synthesizing unit 30 is not limited to such different facial expressions, and the image synthesizing unit 30 changes the appearance, the size, the position, the movement, or the number of images according to the recognition result by the image recognizing unit 11. May be synthesized. The second composite image is not limited to the captured image, and may be any image such as an avatar or an animation image. As described above, it is more interesting for the user that the various elements of the second composite image differ depending on the image recognition result.

［変形例３］
画像合成部３０は、第１合成画像に応じて異なる第２合成画像を合成するようにしてもよい。例えば、表示装置２０により風景が撮像された場合、その風景に応じた第１合成画像Ｇ１が合成される。画像合成部３０は、この第１合成画像Ｇ１に応じて例えば複数の第２合成画像の候補をユーザに提示し、ユーザがそのうちのいずれかを選択すると、その第２合成画像を合成する。
また、複数の第２合成画像を選択的に第１合成画像に組み合わせる例として、例えば撮像された建築物を徐々に登っていく動きと位置変化をするような、人間の体を模した動画の第１合成画像に対し、その建築物の低層においては楽しそうな表情の顔の第２合成画像を組み合わせ、高層に進むにつれて苦しそうな表情の顔の第２合成画像を組み合わせるようにしてもよい。つまり、第１合成画像の動き又は位置の変化に応じて、第２合成画像を変化させてもよい。
このように第２合成画像の様々な要素が第１合成画像に応じて異なるほうが、ユーザにとっての面白味が増す。[Modification 3]
The image combining unit 30 may combine different second combined images according to the first combined image. For example, when a landscape is captured by the display device 20, the first combined image G1 corresponding to the landscape is combined. The image composition unit 30 presents, for example, a plurality of candidates for the second composite image to the user according to the first composite image G1, and when the user selects any one of them, the second composite image is composed.
In addition, as an example of selectively combining a plurality of second composite images with the first composite image, for example, a moving image simulating a human body, such as a movement and a position change that gradually climbs up a captured building, is performed. You may make it combine the 1st synthetic image with the 2nd synthetic image of the face of the expression which seems to be pleasant in the low rise of the building, and may combine the 2nd synthetic image of the face which seems to be painful as it goes to a higher floor. .. That is, the second composite image may be changed according to the movement or position change of the first composite image.
As described above, it is more interesting for the user that various elements of the second composite image are different according to the first composite image.

［変形例４］
第１合成画像データを情報処理装置１０が記憶するのではなく、表示装置２０が記憶しておき、情報処理装置１０はどの第１合成画像データを用いるかを第１合成画像ＩＤで表示装置２０に指示するだけでもよい。このようにすれば情報処理装置１０及び表示装置２０間の通信データ量を削減することができる。[Modification 4]
The information processing apparatus 10 does not store the first composite image data, but the display apparatus 20 stores the information, and the information processing apparatus 10 uses the first composite image ID to indicate which first composite image data to use. You can just instruct. By doing so, the amount of communication data between the information processing device 10 and the display device 20 can be reduced.

［変形例５］
第１合成画像及び第２合成画像が合成される画像は、撮像部２１によってリアルタイムに撮像された画像に限らず、例えば過去に撮像部２１によって撮像された画像が補助記憶装置２０４に記憶されており、その中から選ばれたものであってもよいし、表示装置２０が他の装置から取得したものであってもよい。このようにすれば、ユーザにとって、第１合成画像及び第２合成画像が合成される対象となる画像の選択の余地が広がる。[Modification 5]
The image in which the first combined image and the second combined image are combined is not limited to the image captured by the image capturing unit 21 in real time. For example, an image captured by the image capturing unit 21 in the past is stored in the auxiliary storage device 204. However, the display device 20 may be selected from those, or the display device 20 may be obtained from another device. In this way, the user has more room to select the image to be combined with the first combined image and the second combined image.

［変形例６］
第１合成画像又は第２合成画像を広告として利用してもよい。
例えば第１合成画像として、或るキャラクタがそのメーカのペットボトル（広告宣伝対象物）を持っている画像とか、そのキャラクタの服の真ん中にそのペットボトル（広告宣伝対象物）の絵が記載されている画像というような例が考えられる。
また、表示装置２０を或る飲料メーカのペットボトル（広告宣伝対象物）にかざすと、そのペットボトルの或る位置において第１合成画像として飲料メーカのキャラクタ画像が表示され、さらにそのキャラクタ画像に対して第２合成画像としてユーザの顔が配置されてもよい。
また、例えば或る街の大規模交差点に表示装置２０をかざすと、その交差点に設置されたスクリーンパネルの領域に或る第１合成画像を合成し、その第１合成画像上に広告宣伝対象物の動画の第２合成画像として再生するようにしてもよい。このようにすれば、あたかも、その街で広告が再生されているように見える。
これら第１合成画像及び第２合成画像の組み合わせは、ユーザの属性又は表示装置２０の位置によって変更してもよいし、広告主の支払う単価などにより変更してもよい。
このようにすれば、本発明を広告に利用することが可能となる。[Modification 6]
The first composite image or the second composite image may be used as an advertisement.
For example, as the first composite image, an image in which a certain character has a plastic bottle (advertisement object) of the manufacturer, or a picture of the plastic bottle (advertisement object) in the middle of the character's clothes is described. An example of such an image is considered.
When the display device 20 is held over a plastic bottle (advertisement object) of a beverage maker, a character image of the beverage maker is displayed as a first composite image at a certain position of the plastic bottle, and the character image is further displayed. On the other hand, the user's face may be arranged as the second combined image.
Further, for example, when the display device 20 is held over a large-scale intersection in a certain city, a certain first composite image is combined in the area of the screen panel installed at the intersection, and the advertisement target object is displayed on the first composite image. Alternatively, the moving image may be reproduced as a second composite image. In this way, it looks as if the ad is being played in the city.
The combination of the first composite image and the second composite image may be changed depending on the attribute of the user or the position of the display device 20, or may be changed according to the unit price paid by the advertiser.
In this way, the present invention can be used for advertisement.

［その他の変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。[Other modifications]
The block diagrams used in the description of the above embodiments show blocks of functional units. These functional blocks (components) are realized by an arbitrary combination of hardware and/or software. Further, the means for realizing each functional block is not particularly limited. That is, each functional block may be implemented by one device that is physically and/or logically coupled, or may directly and/or indirectly connect two or more devices that are physically and/or logically separated. Physically (for example, by wire and/or wirelessly), and may be realized by a plurality of these devices.

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。 Each aspect/embodiment described in this specification is LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA. (Registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-WideBand), It may be applied to a system using Bluetooth (registered trademark), another suitable system, and/or a next-generation system extended based on these.

本明細書で説明した実施形態の処理手順は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。本明細書で説明した実施形態又は変形例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。 As long as there is no contradiction, the processing procedures of the embodiments described in this specification may be interchanged in order. For example, the methods described herein present elements of the various steps in a sample order, and are not limited to the specific order presented. The embodiments or modified examples described in this specification may be used alone, in combination, or may be switched according to execution. Further, the notification of the predetermined information (for example, the notification of “being X”) is not limited to the explicit notification, and is performed implicitly (for example, the notification of the predetermined information is not performed). Good.

本明細書で利用する「システム」及び「ネットワーク」という用語は、互換的に利用される。 The terms "system" and "network" used herein are used interchangeably.

本明細書で利用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。 The terms "determining" and "determining" as used herein may encompass a wide variety of actions. “Judgment” and “decision” are, for example, judgment, calculating, computing, processing, deriving, investigating, looking up (eg, table). , Searching in a database or another data structure), ascertaining ascertaining is regarded as “judging” or “deciding”. In addition, "decision" and "decision" include receiving (eg, receiving information), transmitting (eg, transmitting information), input (input), output (output), and access. (Accessing) (for example, accessing data in a memory) may be regarded as “judging” and “deciding”. In addition, "judgment" and "decision" are considered to be "judgment" and "decision" when things such as resolving, selecting, choosing, establishing, establishing, and comparing are done. May be included. That is, the “judgment” and “decision” may include considering some action as “judgment” and “decision”.

本明細書で利用する「に基づいて」「に応じて」という記載は、別段に明記されていない限り、「のみに基づいて」「のみに応じて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。「応じて」も同様である。また、「含む（including）」、「含んでいる（comprising）」、及びそれらの変形が、本明細書或いは特許請求の範囲で利用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において利用されている用語「又は（or）」は、排他的論理和ではないことが意図される。また、本開示の全体において、例えば、英語でのa, an, 及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。 As used herein, the references "based on" and "according to" do not mean "based only on," "based only on," unless expressly specified otherwise. In other words, the phrase "based on" means both "based only on" and "based at least on." The same applies to "according to". Also, to the extent that “including”, “comprising”, and variations thereof are utilized in the present specification or claims, these terms will be the same as the term “comprising”. Is intended to be comprehensive. Furthermore, the term "or" as used in the specification or claims is intended to be exclusive or. Also, throughout the disclosure, where articles are added by translation, for example, a, an, and the in English, it must be clearly indicated from context that these articles are not. For example, multiple items shall be included.

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を利用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。Software, whether called software, firmware, middleware, microcode, hardware description language, or any other name, instructions, instruction sets, code, code segments, program code, programs, subprograms, software modules , Application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc. should be construed broadly.
Moreover, software, instructions, etc. may be transmitted and received via a transmission medium. For example, software may utilize wired technologies such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and/or wireless technologies such as infrared, wireless and microwave to websites, servers, or other When transmitted from a remote source, these wireline and/or wireless technologies are included within the definition of transmission medium.

「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で利用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を利用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを利用することにより、互いに「接続」又は「結合」されると考えることができる。 The terms "connected," "coupled," or any variation thereof, mean any direct or indirect connection or coupling between two or more elements, and It may include the presence of one or more intermediate elements between two elements that are “connected” or “coupled”. The connections or connections between the elements may be physical, logical, or a combination thereof. As used herein, two elements are radio frequency by utilizing one or more wires, cables and/or printed electrical connections, and as some non-limiting and non-exhaustive examples. Utilizing electromagnetic energy, such as electromagnetic energy having wavelengths in the region, the microwave region and the light (both visible and invisible) region, can be considered to be "connected" or "coupled" to each other.

本発明に係る情報処理装置は、実施形態で説明したようにそれぞれの機能の全てを一体に備えた装置によっても実現可能であるし、それぞれの装置の機能を、さらに複数の装置に分散して実装したシステムであってもよい。 The information processing apparatus according to the present invention can be realized also by an apparatus having all of the respective functions integrally as described in the embodiment, and the functions of each apparatus can be further distributed to a plurality of apparatuses. It may be a mounted system.

本発明は、表示装置１が行う情報処理方法、或いは、表示装置１としてコンピュータを機能させるためのプログラムといった形態でも実施が可能である。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。このプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか又は他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。 The present invention can be implemented in the form of an information processing method performed by the display device 1 or a program for causing a computer to function as the display device 1. Such a program may be provided in the form of being recorded on a recording medium such as an optical disk, or may be provided in such a form that it is downloaded to a computer via a network such as the Internet and the program is installed and usable. It is possible. This program, whether called software, firmware, middleware, microcode, hardware description language or any other name, is an instruction, instruction set, code, code segment, program code, program, subprogram, software. It should be broadly construed to mean a module, application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, and so on.

Claims (11)

画像を認識する画像認識部と、
前記画像認識部による認識結果に応じて異なる第１合成画像を前記画像に合成し、当該画像に合成された前記第１合成画像に対する所定の位置に第２合成画像を合成する画像合成部とを備え、
前記画像認識部によって前記画像に含まれる物体が属するカテゴリが認識された場合には、前記画像合成部は、前記画像における所定の位置に、前記カテゴリに応じた前記第１合成画像を合成する
ことを特徴とする情報処理システム。 An image recognition unit that recognizes images,
An image combining unit that combines a different first combined image according to the recognition result by the image recognition unit with the image, and combines a second combined image at a predetermined position with respect to the first combined image combined with the image. Prepare ,
When the category to which the object included in the image belongs is recognized by the image recognition unit, the image combination unit combines the first combined image according to the category at a predetermined position in the image.
Information processing system comprising a call. 画像を認識する画像認識部と、An image recognition unit that recognizes images,
前記画像認識部による認識結果に応じて異なる第１合成画像を前記画像に合成し、当該画像に合成された前記第１合成画像に対する所定の位置に第２合成画像を合成する画像合成部とを備え、An image combining unit that combines a different first combined image according to the recognition result by the image recognition unit with the image, and combines a second combined image at a predetermined position with respect to the first combined image combined with the image. Prepare,
前記画像認識部によって前記画像に含まれる物体の位置が認識された場合には、前記画像合成部は、前記物体に対する所定の位置に、前記物体に応じた前記第１合成画像を合成するWhen the position of the object included in the image is recognized by the image recognition unit, the image combining unit combines the first combined image corresponding to the object at a predetermined position with respect to the object.
ことを特徴とする情報処理システム。An information processing system characterized by the above. 前記画像合成部は、前記画像認識部による認識結果に応じて外観、大きさ、位置、動き又は数の少なくともいずれかが異なる前記第１合成画像を前記画像に合成する
ことを特徴とする請求項１又は２に記載の情報処理システム。 The image synthesizing unit synthesizes the first synthetic image that differs in at least one of appearance, size, position, movement, or number depending on the recognition result by the image recognizing unit, with the image. The information processing system according to 1 or 2 . 前記画像合成部は、前記画像認識部による認識結果に応じて異なる前記第２合成画像を前記画像に合成する
ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 3, wherein the image composition unit composes the second composite image, which differs depending on a recognition result by the image recognition unit, with the image. 前記画像合成部は、前記画像認識部による認識結果に応じて外観、大きさ、位置、動き又は数の少なくともいずれかが異なる前記第２合成画像を前記画像に合成する
ことを特徴とする請求項４記載の情報処理システム。 The image synthesizing unit synthesizes the second synthetic image that differs in at least one of appearance, size, position, movement, or number according to the recognition result by the image recognizing unit, with the image. 4. The information processing system according to 4 . 前記画像合成部は、人間の頭部を含む撮像画像から当該頭部に相当する部分画像を抽出し、当該部分画像を前記第２合成画像として前記画像に合成する
ことを特徴とする請求項５記載の情報処理システム。 The image synthesizing unit extracts a partial image corresponding to the head portion from the captured image including a human head, according to claim, characterized in that synthesizing the partial image on the image as the second synthesized image 5 Information processing system described. 前記画像合成部は、前記画像認識部による認識結果に応じて前記人間の顔の向き又は当該顔の表情が異なる前記第２合成画像を前記画像に合成する
ことを特徴とする請求項６記載の情報処理システム。 The image synthesizing unit, according to claim 6, wherein the synthesis of orientation or the second composite image expression of the face is different face of the person in accordance with the recognition result of the image recognition unit in the image Information processing system. 前記画像合成部は、合成する前記第１合成画像に応じて異なる前記第２合成画像を前記画像に合成する
ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 3, wherein the image composition unit composes the second composite image, which is different according to the first composite image to be composited, with the image. 前記画像認識部によって前記画像に含まれる物体の位置が認識された場合には、前記画像合成部は、前記物体に対する所定の位置に、前記物体に応じた前記第１合成画像を合成する
ことを特徴とする請求項１に記載の情報処理システム。 When the position of the object included in the image is recognized by the image recognition unit, the image combining unit combines the first combined image according to the object at a predetermined position with respect to the object. The information processing system according to claim 1, which is characterized in that. 画像の認識結果に応じて異なる第１合成画像を前記画像に合成するよう表示装置に指示し、当該画像に合成された当該第１合成画像に対する所定の位置に第２合成画像を合成するよう前記表示装置に指示する画像合成指示部を備え、
前記画像に含まれる物体が属するカテゴリが認識された場合には、前記画像合成指示部は、前記画像における所定の位置に、前記カテゴリに応じた前記第１合成画像を合成するよう前記表示装置に指示する
ことを特徴とする情報処理装置。 The display device is instructed to combine a different first combined image with the image depending on the recognition result of the image, and the second combined image is combined at a predetermined position with respect to the first combined image combined with the image. An image synthesis instruction unit for instructing the display device is provided ,
When the category to which the object included in the image belongs is recognized, the image combination instruction unit causes the display device to combine the first combined image corresponding to the category at a predetermined position in the image. Instruct
The information processing apparatus according to claim and this. 画像の認識結果に応じて異なる第１合成画像を前記画像に合成するよう表示装置に指示し、当該画像に合成された当該第１合成画像に対する所定の位置に第２合成画像を合成するよう前記表示装置に指示する画像合成指示部を備え、The display device is instructed to combine a different first combined image with the image depending on the recognition result of the image, and the second combined image is combined at a predetermined position with respect to the first combined image combined with the image. An image synthesis instruction unit for instructing the display device is provided,
前記画像に含まれる物体の位置が認識された場合には、前記画像合成指示部は、前記物体に対する所定の位置に、前記物体に応じた前記第１合成画像を合成するよう前記表示装置に指示するWhen the position of the object included in the image is recognized, the image combination instruction unit instructs the display device to combine the first combined image corresponding to the object at a predetermined position with respect to the object. Do
ことを特徴とする情報処理装置。An information processing device characterized by the above.
JP2018563240A 2017-01-23 2017-12-25 Information processing system and information processing apparatus Active JP6730461B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017009643 2017-01-23
JP2017009643 2017-01-23
PCT/JP2017/046428 WO2018135246A1 (en) 2017-01-23 2017-12-25 Information processing system and information processing device

Publications (2)

Publication Number Publication Date
JPWO2018135246A1 JPWO2018135246A1 (en) 2019-11-07
JP6730461B2 true JP6730461B2 (en) 2020-07-29

Family

ID=62908455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018563240A Active JP6730461B2 (en) 2017-01-23 2017-12-25 Information processing system and information processing apparatus

Country Status (5)

Country Link
US (1) US11010947B2 (en)
EP (1) EP3557865A4 (en)
JP (1) JP6730461B2 (en)
CN (1) CN110214445A (en)
WO (1) WO2018135246A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230252687A1 (en) * 2022-02-10 2023-08-10 Qualcomm Incorporated Systems and methods for facial attribute manipulation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7245451B2 (en) * 2018-08-06 2023-03-24 住友電気工業株式会社 OBJECT DETECTION METHOD, OBJECT DETECTION DEVICE AND COMPUTER PROGRAM
JP7198438B2 (en) * 2018-08-06 2023-01-04 住友電気工業株式会社 OBJECT DETECTION METHOD, OBJECT DETECTION DEVICE AND COMPUTER PROGRAM
KR102641424B1 (en) * 2019-08-09 2024-02-28 삼성전자주식회사 A computing apparatus and a method of operating the computing apparatus
US20210390752A1 (en) * 2020-06-12 2021-12-16 Disney Enterprises, Inc. Real-time animation motion capture

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157606A (en) * 2000-11-17 2002-05-31 Canon Inc Image display controller, composite reality presentation system, image display control method, and medium providing processing program
JP3853678B2 (en) 2002-03-14 2006-12-06 富士写真フイルム株式会社 Image processing apparatus, image processing system, and image processing program
JP4181923B2 (en) * 2003-05-29 2008-11-19 キヤノン株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4671192B2 (en) * 2006-05-02 2011-04-13 株式会社ソニー・コンピュータエンタテインメント Image processing apparatus and image processing method
JP5058842B2 (en) * 2008-02-15 2012-10-24 オリンパス株式会社 Virtual landscape display device
JP5131257B2 (en) * 2009-08-27 2013-01-30 カシオ計算機株式会社 Display control apparatus and display control program
JP5423379B2 (en) * 2009-08-31 2014-02-19 ソニー株式会社 Image processing apparatus, image processing method, and program
JP5024465B2 (en) * 2010-03-26 2012-09-12 株式会社ニコン Image processing apparatus, electronic camera, image processing program
JP2012065263A (en) 2010-09-17 2012-03-29 Olympus Imaging Corp Imaging apparatus
CN102656604B (en) * 2010-10-15 2014-10-22 株式会社摩如富 Image processing device, image processing method and image processing program
KR101764372B1 (en) 2011-04-19 2017-08-03 삼성전자주식회사 Apparatus and method for compositing image in a portable terminal
JP2014085796A (en) 2012-10-23 2014-05-12 Sony Corp Information processing device and program
US9381426B1 (en) * 2013-03-15 2016-07-05 University Of Central Florida Research Foundation, Inc. Semi-automated digital puppetry control
KR102124617B1 (en) 2013-09-03 2020-06-19 삼성전자주식회사 Method for composing image and an electronic device thereof
KR102138521B1 (en) * 2013-12-12 2020-07-28 엘지전자 주식회사 Mobile terminal and method for controlling the same
JP6637650B2 (en) * 2014-10-31 2020-01-29 ティフォン インコーポレーテッドＴｙｆｆｏｎ Ｉｎｃ． Game program, computer control method, information processing device, image output device, image output method, and image output program
CN106161939B (en) * 2016-07-27 2021-08-24 北京字节跳动网络技术有限公司 Photo shooting method and terminal
CN106210526A (en) * 2016-07-29 2016-12-07 维沃移动通信有限公司 A kind of image pickup method and mobile terminal
CN106303293B (en) * 2016-08-15 2019-07-30 Oppo广东移动通信有限公司 Method for processing video frequency, device and mobile terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230252687A1 (en) * 2022-02-10 2023-08-10 Qualcomm Incorporated Systems and methods for facial attribute manipulation

Also Published As

Publication number Publication date
US20200126279A1 (en) 2020-04-23
JPWO2018135246A1 (en) 2019-11-07
CN110214445A (en) 2019-09-06
EP3557865A4 (en) 2020-01-08
WO2018135246A1 (en) 2018-07-26
EP3557865A1 (en) 2019-10-23
US11010947B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
JP6750046B2 (en) Information processing apparatus and information processing method
JP6730461B2 (en) Information processing system and information processing apparatus
WO2020177582A1 (en) Video synthesis method, model training method, device and storage medium
US11789582B2 (en) Content collection navigation queue
CN108525305B (en) Image processing method, image processing device, storage medium and electronic equipment
CN110716645A (en) Augmented reality data presentation method and device, electronic equipment and storage medium
CN108885639A (en) Properties collection navigation and automatic forwarding
CN112560605B (en) Interaction method, device, terminal, server and storage medium
US11836764B2 (en) Media collection navigation with opt-out interstitial
US20190155484A1 (en) Method and apparatus for controlling wallpaper, electronic device and storage medium
EP3090411A1 (en) Augmented reality content adapted to space geometry
WO2021098338A1 (en) Model training method, media information synthesizing method, and related apparatus
CN108090968B (en) Method and device for realizing augmented reality AR and computer readable storage medium
WO2018139203A1 (en) Information processing device, information processing method, and program
CN113487709A (en) Special effect display method and device, computer equipment and storage medium
US20210385554A1 (en) Information processing device, information processing method, and information processing program
CN111625101B (en) Display control method and device
JP6857537B2 (en) Information processing device
JP2016131342A (en) Device, method, and program for model railroad appreciation, dedicated display monitor, and scene image data for synthesis
WO2017149778A1 (en) Mirror, image display method, and program
US20240073402A1 (en) Multi-perspective augmented reality experience
CN114979789B (en) Video display method and device and readable storage medium
CN116943191A (en) Man-machine interaction method, device, equipment and medium based on story scene
KR20230160153A (en) Electronic apparatus and method for controlling thereof
KR20180080697A (en) Method and apparatus interactive cinemagram

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250