JP7026839B1 - リアルタイムデータ処理装置 - Google Patents

リアルタイムデータ処理装置 Download PDF

Info

Publication number
JP7026839B1
JP7026839B1 JP2021101804A JP2021101804A JP7026839B1 JP 7026839 B1 JP7026839 B1 JP 7026839B1 JP 2021101804 A JP2021101804 A JP 2021101804A JP 2021101804 A JP2021101804 A JP 2021101804A JP 7026839 B1 JP7026839 B1 JP 7026839B1
Authority
JP
Japan
Prior art keywords
input
data
unit
format
data input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021101804A
Other languages
English (en)
Other versions
JP2023000791A (ja
Inventor
智 岩下
典孝 小布施
昭道 日比
直人 重政
奨 富田
圭史 永作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2021101804A priority Critical patent/JP7026839B1/ja
Application filed by Dentsu Inc filed Critical Dentsu Inc
Priority to AU2021427874A priority patent/AU2021427874B2/en
Priority to PCT/JP2021/036544 priority patent/WO2022264440A1/ja
Priority to US17/996,416 priority patent/US20240212233A1/en
Priority to CN202180020772.XA priority patent/CN115918063A/zh
Priority to EP21927045.1A priority patent/EP4142282A4/en
Priority to KR1020227031689A priority patent/KR102658480B1/ko
Priority to TW110139447A priority patent/TWI824324B/zh
Application granted granted Critical
Publication of JP7026839B1 publication Critical patent/JP7026839B1/ja
Publication of JP2023000791A publication Critical patent/JP2023000791A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Debugging And Monitoring (AREA)
  • Image Processing (AREA)
  • Electric Clocks (AREA)

Abstract

Figure 0007026839000001
【課題】リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成するリアルタイムデータ処理装置、方法及びプログラムを提供する。
【解決手段】リアルタイムデータ処理装置１において、データ処理部６は、カメラ映像がラスター形式の映像データとしてインカメラ部２から入力され、手書き入力がベクター形式の描画データとしてタッチパネル部３から入力されると、ラスター形式の反転映像データとベクター形式の反転描画データを生成し、タッチパネル部３の描画エリアにベクター形式の描画データを表示するとともに、プレビューエリアにラスター形式の反転映像データとベクター形式の反転描画データを重畳表示する。また、ベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成し、ラスター形式の映像データとラスター形式の描画データをレンダリング処理して、保存用の合成データを生成する。
【選択図】図１

Description

本発明は、映像データ（インカメラ映像）と描画データ（手書き入力）を重畳表示できるリアルタイムプレビュー機能を備えたリアルタイムデータ処理装置に関する。
従来、カメラ映像と手書き入力を重畳表示する方法が提案されている（例えば、特許文献１参照）。従来の方法では、ネットワークを介してライブ放送を行うライブストリーミング方法において、カメラからの映像データの上に放送者により描かれた描画が重ね合わされた映像データ（合成映像データ）が生成される。
特開２００５－５１７０３号公報（段落０２０３－段落０２１０、図１２－図１３）
従来の方法では、データ形式について何ら特定されていないが、一般に、２つのデータを合成する場合には、同じデータ形式が用いられる。カメラからの映像データのデータ形式としては、ラスター形式が用いられるのが一般的である。したがって、従来の方法では、放送者により描かれた描画データのデータ形式として、ラスター形式が用いられるのが一般的であると考えられる。従来の方法では、低コストで高い表現性の放送を実現することを目的としていることからも、あえて異なるデータ形式を用いる意義は見い出せない。また、視聴者用にネットワークに出力する合成映像データを効率的に生成するうえでも、従来の方法では、描画データのデータ形式として、映像データと同じラスター形式が用いられると考えられる。
ところで、従来の方法では、合成映像データをリアルタイムプレビューする技術については、何ら提案されておらず、リアルタイムプレビューのための処理負荷を軽減する技術についても、何ら提案されていない。合成映像データのリアルタイムプレビューを行う場合に、描画データをラスター形式で表示処理しようとすると、その処理が重いため、比較的、処理能力の低い装置（例えば、ＰＣより処理能力の低いタブレット装置など）では、リアルタイム処理するのが困難となる場合がある。処理能力の低い装置でもリアルタイム処理を可能にするには、データの解像度を下げる必要があるが、そうすると、視聴者用にネットワークに出力するデータの解像度が不十分になるという問題がある。
本発明は、上記の課題に鑑みてなされたもので、リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成することのできるリアルタイムデータ処理装置を提供することを目的とする。
本発明のリアルタイムデータ処理装置は、装置を使用しているユーザ自身の映像を撮影するインカメラ部と、前記インカメラ部で撮影される映像を前記ユーザに表示することが可能であり、かつ、前記ユーザによる手書き入力を受け付けることが可能であるタッチパネル部と、前記ユーザの声が入力されるマイク部と、を備えるリアルタイムデータ処理装置であって、前記タッチパネル部には、前記手書き入力を受け付けるためのエリアである描画エリアと、前記インカメラ部で撮影される映像を表示するためのエリアであるプレビューエリアとが設けられており、前記リアルタイムデータ処理装置は、前記インカメラ部で撮影される前記映像が、ラスター形式の映像データとして入力される映像データ入力部と、前記映像データ入力部から入力される前記ラスター形式の映像データを反転して、ラスター形式の反転映像データを生成する映像反転処理部と、前記タッチパネル部から入力される前記手書き入力が、ベクター形式の描画データとして入力される描画データ入力部と、前記描画データ入力部から入力される前記ベクター形式の描画データを反転して、ベクター形式の反転描画データを生成する描画反転処理部と、前記マイク部から入力される前記ユーザの声が、音声データとして入力される音声データ入力部と、前記タッチパネル部の描画エリアに、前記描画データ入力部から入力される前記ベクター形式の描画データを表示するとともに、前記タッチパネル部のプレビューエリアに、前記映像反転処理部で生成される前記ラスター形式の反転映像データと前記描画反転処理部で生成される前記ベクター形式の反転描画データを重畳表示し、かつ、前記音声データ入力部から入力される前記音声データを出力する、リアルタイムプレビュー処理部と、前記描画データ入力部から入力される前記ベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成するエンコード処理部と、前記映像データ入力部から入力される前記ラスター形式の映像データと、前記エンコード処理部で生成される前記ラスター形式の描画データと、前記音声データ入力部から入力される前記音声データとをレンダリング処理して、保存用の合成データを生成するレンダリング処理部と、を備えている。
この構成によれば、リアルタイムプレビューにおいて、タッチパネル部のプレビューエリアに、ラスター形式の反転映像データとベクター形式の反転描画データを用いた重畳表示が行われる。手書き入力の表示用にベクター形式のデータが用いられるので、ラスター形式を用いる場合に比べて、表示処理の負荷を軽くすることができる。したがって、ラスター形式を用いる場合に処理負荷を軽減するために、解像度を低くする等の処理が必要とされていたが、そのような処理は必要とされない。
また、プレビューエリアに表示される映像データ（反転映像データ）にあわせて描画データが反転されている（反転描画データが用いられる）ので、プレビューエリアの表示にユーザが不整合感を感じるのを抑制できる。
さらに、このとき、タッチパネル部の描画エリアに、ベクター形式の描画データ（反転していない描画データ）を用いた表示が行われるので、ユーザは違和感を感じることなく自分の手書き入力を容易に確認することができる。
そして、ベクター形式の描画データから生成されたラスター形式の描画データを用いて、保存用の合成データが生成される。これにより、リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成することができる。
また、本発明のリアルタイムデータ処理装置では、前記リアルタイムプレビュー処理部は、前記映像反転処理部で生成される前記ラスター形式の反転映像データを下層レイヤーに配置し、前記描画反転処理部で生成される前記ベクター形式の反転描画データを上層レイヤーに配置することにより、前記プレビューエリアにおける重畳表示を行ってもよい。
この構成によれば、プレビューエリアにおける重畳表示において、ラスター形式の反転映像データが下層レイヤーに配置され、ベクター形式の反転描画データが上層レイヤーに配置される。このような多層レイヤーを用いた重畳表示を行うことにより、プレビューエリアにおける重畳表示の処理負荷を軽減することができる。
本発明の方法は、装置を使用しているユーザ自身の映像を撮影するインカメラ部と、前記インカメラ部で撮影される映像を前記ユーザに表示することが可能であり、かつ、前記ユーザによる手書き入力を受け付けることが可能であるタッチパネル部と、前記ユーザの声が入力されるマイク部と、を備えるリアルタイムデータ処理装置で実行される方法であって、前記タッチパネル部には、前記手書き入力を受け付けるためのエリアである描画エリアと、前記インカメラ部で撮影される映像を表示するためのエリアであるプレビューエリアとが設けられており、前記方法は、前記インカメラ部で撮影される前記映像が、ラスター形式の映像データとして入力される映像データ入力ステップと、前記タッチパネル部から入力される前記手書き入力が、ベクター形式の描画データとして入力される描画データ入力ステップと、前記マイク部から入力される前記ユーザの声が、音声データとして入力される音声データ入力ステップと、前記映像データ入力ステップで入力される前記ラスター形式の映像データを反転して、ラスター形式の反転映像データを生成する映像反転処理ステップと、前記描画データ入力ステップで入力される前記ベクター形式の描画データを反転して、ベクター形式の反転描画データを生成する描画反転処理ステップと、前記タッチパネル部の描画エリアに、前記描画データ入力ステップで入力される前記ベクター形式の描画データを表示するとともに、前記タッチパネル部のプレビューエリアに、前記映像反転処理ステップで生成される前記ラスター形式の反転映像データと前記描画反転処理ステップで生成される前記ベクター形式の反転描画データを重畳表示し、かつ、前記音声データ入力ステップで入力される前記音声データを出力する、リアルタイムプレビュー処理ステップと、前記描画データ入力ステップで入力される前記ベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成するエンコード処理ステップと、前記映像データ入力ステップで入力される前記ラスター形式の映像データと、前記エンコード処理ステップで生成される前記ラスター形式の描画データと、前記音声データ入力ステップで入力される前記音声データとをレンダリング処理して、保存用の合成データを生成するレンダリング処理ステップと、を含んでいる。
この方法によっても、上記のように、リアルタイムプレビューにおいて、タッチパネル部のプレビューエリアに、ラスター形式の反転映像データとベクター形式の反転描画データを用いた重畳表示が行われる。手書き入力の表示用にベクター形式のデータが用いられるので、ラスター形式を用いる場合に比べて、表示処理の負荷を軽くすることができる。したがって、ラスター形式を用いる場合に処理負荷を軽減するために、解像度を低くする等の処理が必要とされていたが、そのような処理は必要とされない。
また、プレビューエリアに表示される映像データ（反転映像データ）にあわせて描画データが反転されている（反転描画データが用いられる）ので、プレビューエリアの表示にユーザが不整合感を感じるのを抑制できる。
さらに、このとき、タッチパネル部の描画エリアに、ベクター形式の描画データ（反転していない描画データ）を用いた表示が行われるので、ユーザは違和感を感じることなく自分の手書き入力を容易に確認することができる。
そして、ベクター形式の描画データから生成されたラスター形式の描画データを用いて、保存用の合成データが生成される。これにより、リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成することができる。
本発明のプログラムは、装置を使用しているユーザ自身の映像を撮影するインカメラ部と、前記インカメラ部で撮影される映像を前記ユーザに表示することが可能であり、かつ、前記ユーザによる手書き入力を受け付けることが可能であるタッチパネル部と、前記ユーザの声が入力されるマイク部と、を備えるリアルタイムデータ処理装置で実行されるプログラムであって、前記タッチパネル部には、前記手書き入力を受け付けるためのエリアである描画エリアと、前記インカメラ部で撮影される映像を表示するためのエリアであるプレビューエリアとが設けられており、前記プログラムは、前記リアルタイムデータ処理装置に、前記インカメラ部で撮影される前記映像が、ラスター形式の映像データとして入力される映像データ入力処理と、前記タッチパネル部から入力される前記手書き入力が、ベクター形式の描画データとして入力される描画データ入力処理と、前記マイク部から入力される前記ユーザの声が、音声データとして入力される音声データ入力処理と、前記映像データ入力処理で入力される前記ラスター形式の映像データを反転して、ラスター形式の反転映像データを生成する映像反転処理と、前記描画データ入力処理で入力される前記ベクター形式の描画データを反転して、ベクター形式の反転描画データを生成する描画反転処理と、前記タッチパネル部の描画エリアに、前記描画データ入力処理で入力される前記ベクター形式の描画データを表示するとともに、前記タッチパネル部のプレビューエリアに、前記映像反転処理で生成される前記ラスター形式の反転映像データと前記描画反転処理で生成される前記ベクター形式の反転描画データを重畳表示し、かつ、前記音声データ入力処理で入力される前記音声データを出力する、リアルタイムプレビュー処理と、前記描画データ入力処理で入力される前記ベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成するエンコード処理と、前記映像データ入力処理で入力される前記ラスター形式の映像データと、前記エンコード処理で生成される前記ラスター形式の描画データと、前記音声データ入力処理で入力される前記音声データとをレンダリング処理して、保存用の合成データを生成するレンダリング処理と、を実行させる。
このプログラムによっても、上記のように、リアルタイムプレビューにおいて、タッチパネル部のプレビューエリアに、ラスター形式の反転映像データとベクター形式の反転描画データを用いた重畳表示が行われる。手書き入力の表示用にベクター形式のデータが用いられるので、ラスター形式を用いる場合に比べて、表示処理の負荷を軽くすることができる。したがって、ラスター形式を用いる場合に処理負荷を軽減するために、解像度を低くする等の処理が必要とされていたが、そのような処理は必要とされない。
また、プレビューエリアに表示される映像データ（反転映像データ）にあわせて描画データが反転されている（反転描画データが用いられる）ので、プレビューエリアの表示にユーザが不整合感を感じるのを抑制できる。
さらに、このとき、タッチパネル部の描画エリアに、ベクター形式の描画データ（反転していない描画データ）を用いた表示が行われるので、ユーザは違和感を感じることなく自分の手書き入力を容易に確認することができる。
そして、ベクター形式の描画データから生成されたラスター形式の描画データを用いて、保存用の合成データが生成される。これにより、リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成することができる。
本発明によれば、リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成することができる。
本発明の実施の形態におけるリアルタイムデータ処理装置のブロック図である。 リアルタイムデータ処理装置で実行される処理の説明図である。 リアルタイムプレビュー処理の表示例を示す図である。 リアルタイムデータ処理装置で実行される処理の流れを示すフロー図である。
以下、本発明の実施の形態のリアルタイムデータ処理装置について、図面を用いて説明する。本実施の形態では、カメラ映像と描画をリアルタイムで合成するアプリケーションを提供するサービス（例えば、スポーツ選手や著名人等とファンをつなぐ、カメラ映像と筆跡の合成をリアルタイムプレビューでき、動画ファイル化できるアプリケーションを提供するサービス等）に用いられるリアルタイムデータ処理装置（例えば、タブレットデバイス等）の場合を例示する。
本発明の実施の形態のリアルタイムデータ処理装置の構成を、図面を参照して説明する。図１は、本実施の形態のリアルタイムデータ処理装置の構成を示すブロック図である。図１に示すように、リアルタイムデータ処理装置１は、インカメラ部２と、タッチパネル部３と、マイク部４と、記憶部５と、データ処理部６を備えている。
インカメラ部２は、例えば、埋め込み型のカメラなどで構成されている。インカメラ部２は、リアルタイムデータ処理装置１のタッチパネル部３の上部に配置されており、リアルタイムデータ処理装置１を使用しているユーザ自身の映像を撮影する機能を備えている。インカメラ部２は、外付け型のカメラで構成されてもよい。
タッチパネル部３は、例えば、タッチパネルディスプレイなどで構成されている。タッチパネル部３は、インカメラ部２で撮影される映像をユーザに表示する機能と、ユーザによる手書き入力を受け付ける機能を備えている。タッチパネル部３は、いわゆる表示部と入力部の両方の機能を備えているともいえる。リアルタイムデータ処理装置１がリアルタイムプレビューモードとされているときに、タッチパネル部３には、手書き入力を受け付けるためのエリアである描画エリアＡ１と、インカメラ部２で撮影される映像を表示するためのエリアであるプレビューエリアＡ２とが設けられる（図３参照）。
マイク部４は、例えば、デバイス内蔵型のマイクなどで構成されている。マイク部４から、リアルタイムデータ処理装置１を使用しているユーザの声などが入力（音声入力）される。
記憶部５は、例えば、ＨＤＤやメモリなどで構成されている。記憶部５には、種々のデータを保存することができる。また、記憶部５には、リアルタイムデータ処理装置１に種々の処理を実行させるプログラムが保存されている。記憶部５に記憶されているプログラムを実行することにより、以下に説明するリアルタイムプレビュー処理が実行される。
データ処理部６は、例えば、ＣＰＵやＭＰＵなどで構成されており、種々のデータ処理を行う機能を備えている。より具体的には、データ処理部６は、機能ブロックとして、映像データ入力部６０、描画データ入力部６１、音声データ入力部６２、映像反転処理部６３、描画反転処理部６４、リアルタイムプレビュー処理部６５、エンコード処理部６６、レンダリング処理部６７を備えている。
映像データ入力部６０には、インカメラ部２で撮影される映像が、ラスター形式の映像データとして入力される。映像反転処理部６３は、映像データ入力部６０から入力されるラスター形式の映像データを反転して、ラスター形式の反転映像データを生成する機能を備えている。描画データ入力部６１には、タッチパネル部３から入力される手書き入力が、ベクター形式の描画データとして入力される。描画反転処理部６４は、描画データ入力部６１から入力されるベクター形式の描画データを反転して、ベクター形式の反転描画データを生成する機能を備えている。音声データ入力部６２には、マイク部４から入力されるユーザの声が、音声データとして入力される。
リアルタイムプレビュー処理部６５は、リアルタイムデータ処理装置１がリアルタイムプレビューモードとされているときに、タッチパネル部３の描画エリアＡ１に、描画データ入力部６１から入力されるベクター形式の描画データを表示（正対表示）するとともに、タッチパネル部３のプレビューエリアＡ２に、映像反転処理部６３で生成されるラスター形式の反転映像データと描画反転処理部６４で生成されるベクター形式の反転描画データを重畳表示し、かつ、音声データ入力部６２から入力される音声データを出力する機能を備えている。
リアルタイムデータ処理装置１がリアルタイムプレビューモードとされているとき、リアルタイムプレビュー処理部６５は、映像反転処理部６３で生成されるラスター形式の反転映像データを下層レイヤーに配置し、描画反転処理部６４で生成されるベクター形式の反転描画データを上層レイヤーに配置することにより、プレビューエリアＡ２における重畳表示を行う。
エンコード処理部６６は、描画データ入力部６１から入力されるベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成する機能を備えている。レンダリング処理部６７は、映像データ入力部６０から入力されるラスター形式の映像データと、エンコード処理部６６で生成されるラスター形式の描画データと、音声データ入力部６２から入力される音声データとをレンダリング処理して、保存用の合成データを生成する機能を備えている。レンダリング処理によって生成された合成データは、記憶部５に保存される。
以上のように構成されたリアルタイムデータ処理装置１について、図面を参照してその動作を説明する。図２は、リアルタイムデータ処理装置１で実行される処理の説明図であり、図３は、リアルタイムプレビュー処理の表示例を示す図である。図４は、リアルタイムデータ処理装置１で実行される処理の流れを示すフロー図である。
図２および図４に示すように、本実施の形態のリアルタイムデータ処理装置１では、インカメラ部２で撮影される映像が、ラスター形式の映像データとして入力されるとともに（Ｓ１）、タッチパネル部３から入力される手書き入力が、ベクター形式の描画データとして入力され（Ｓ２）、さらに、マイク部４から入力されるユーザの声が、音声データとして入力される（Ｓ３）。
つぎに、上記ステップＳ１で入力されるラスター形式の映像データが反転されて、ラスター形式の反転映像データが生成される（Ｓ４）。また、上記ステップＳ２で入力されるベクター形式の描画データが反転されて、ベクター形式の反転描画データが生成される（Ｓ５）。
そして、図３に示すように、タッチパネル部３のプレビューエリアＡ２に、上記ステップＳ４で生成されるラスター形式の反転映像データ（反転されたカメラ映像ＶＲ）と上記ステップＳ５で生成されるベクター形式の反転描画データ（反転された手書き入力ＷＲ）が重畳表示されるとともに（Ｓ６）、タッチパネル部３の描画エリアＡ１に、上記ステップＳ２で入力されるベクター形式の描画データ（反転されていない手書き入力Ｗ）が表示され（Ｓ７）、かつ、上記ステップＳ３で入力される音声データが出力される（Ｓ８）。
上記ステップＳ６で、プレビューエリアＡ２における重畳表示が行われるときには、上記ステップＳ４で生成されるラスター形式の反転映像データ（反転されたカメラ映像ＶＲ）が下層レイヤーに配置され、上記ステップＳ５で生成される前記ベクター形式の反転描画データ（反転された手書き入力ＷＲ）が上層レイヤーに配置される。
つづいて、上記ステップＳ２で入力されるベクター形式の描画データがエンコード処理されて、ラスター形式の描画データが生成される（Ｓ９）。そして、上記ステップＳ１で入力されるラスター形式の映像データと、上記ステップＳ９で生成されるラスター形式の描画データと、上記ステップＳ３で入力される音声データとがレンダリング処理ｓれて、保存用の合成データが生成される（Ｓ１０）、生成された合成データが記憶部５に記憶される（Ｓ１１）。
このような本実施の形態のリアルタイムデータ処理装置１によれば、リアルタイムプレビューにおいて、タッチパネル部３のプレビューエリアＡ２に、ラスター形式の反転映像データ（反転されたカメラ映像ＶＲ）とベクター形式の反転描画データ（反転された手書き入力ＷＲ）を用いた重畳表示が行われる。手書き入力の表示用にベクター形式のデータが用いられるので、ラスター形式を用いる場合に比べて、表示処理の負荷を軽くすることができる。したがって、ラスター形式を用いる場合に処理負荷を軽減するために、解像度を低くする等の処理が必要とされていたが、そのような処理は必要とされない。
また、プレビューエリアＡ２に表示される映像データ（反転映像データ（反転されたカメラ映像ＶＲ））にあわせて描画データが反転されている（反転描画データ（反転された手書き入力ＷＲ）が用いられる）ので、プレビューエリアＡ２の表示にユーザが不整合感を感じるのを抑制できる。
さらに、このとき、タッチパネル部３の描画エリアＡ１に、ベクター形式の描画データ（反転していない描画データＷ）を用いた表示が行われるので、ユーザは違和感を感じることなく自分の手書き入力を容易に確認することができる。
そして、ベクター形式の描画データから生成されたラスター形式の描画データを用いて、保存用の合成データが生成される。これにより、リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成することができる。
また、本実施の形態では、プレビューエリアＡ２における重畳表示において、ラスター形式の反転映像データ（反転されたカメラ映像ＶＲ）が下層レイヤーに配置され、ベクター形式の反転描画データ（反転された手書き入力ＷＲ）が上層レイヤーに配置される。このような多層レイヤーを用いた重畳表示を行うことにより、プレビューエリアＡ２における重畳表示の処理負荷を軽減することができる。
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
以上のように、本発明にかかるリアルタイムデータ処理装置は、リアルタイムプレビューの処理負荷を軽減するとともに、高解像度の合成データを生成することができるという効果を有し、カメラ映像と描画をリアルタイムで合成するアプリケーションを提供するサービス等に用いられ、有用である。
１ リアルタイムデータ処理装置
２ インカメラ部
３ タッチパネル部
４ マイク部
５ 記憶部
６ データ処理部
６０ 映像データ入力部
６１ 描画データ入力部
６２ 音声データ入力部
６３ 映像反転処理部
６４ 描画反転処理部
６５ リアルタイムプレビュー処理部
６６ エンコード処理部
６７ レンダリング処理部
Ａ１ 描画エリア
Ａ２ プレビューエリア

Claims (4)

  1. 装置を使用しているユーザ自身の映像を撮影するインカメラ部と、
    前記インカメラ部で撮影される映像を前記ユーザに表示することが可能であり、かつ、前記ユーザによる手書き入力を受け付けることが可能であるタッチパネル部と、
    前記ユーザの声が入力されるマイク部と、
    を備えるリアルタイムデータ処理装置であって、
    前記タッチパネル部には、前記手書き入力を受け付けるためのエリアである描画エリアと、前記インカメラ部で撮影される映像を表示するためのエリアであるプレビューエリアとが設けられており、
    前記リアルタイムデータ処理装置は、
    前記インカメラ部で撮影される前記映像が、ラスター形式の映像データとして入力される映像データ入力部と、
    前記映像データ入力部から入力される前記ラスター形式の映像データを反転して、ラスター形式の反転映像データを生成する映像反転処理部と、
    前記タッチパネル部から入力される前記手書き入力が、ベクター形式の描画データとして入力される描画データ入力部と、
    前記描画データ入力部から入力される前記ベクター形式の描画データを反転して、ベクター形式の反転描画データを生成する描画反転処理部と、
    前記マイク部から入力される前記ユーザの声が、音声データとして入力される音声データ入力部と、
    前記タッチパネル部の描画エリアに、前記描画データ入力部から入力される前記ベクター形式の描画データを表示するとともに、前記タッチパネル部のプレビューエリアに、前記映像反転処理部で生成される前記ラスター形式の反転映像データと前記描画反転処理部で生成される前記ベクター形式の反転描画データを重畳表示し、かつ、前記音声データ入力部から入力される前記音声データを出力する、リアルタイムプレビュー処理部と、
    前記描画データ入力部から入力される前記ベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成するエンコード処理部と、
    前記映像データ入力部から入力される前記ラスター形式の映像データと、前記エンコード処理部で生成される前記ラスター形式の描画データと、前記音声データ入力部から入力される前記音声データとをレンダリング処理して、保存用の合成データを生成するレンダリング処理部と、
    を備え、
    前記描画エリアは、前記手書き入力を受け付けるためのエリアであり、かつ、前記ベクター形式の描画データを表示するためのエリアである、ことを特徴とするリアルタイムデータ処理装置。
  2. 前記リアルタイムプレビュー処理部は、
    前記映像反転処理部で生成される前記ラスター形式の反転映像データを下層レイヤーに配置し、前記描画反転処理部で生成される前記ベクター形式の反転描画データを上層レイヤーに配置することにより、前記プレビューエリアにおける重畳表示を行う、請求項１に記載のリアルタイムデータ処理装置。
  3. 装置を使用しているユーザ自身の映像を撮影するインカメラ部と、
    前記インカメラ部で撮影される映像を前記ユーザに表示することが可能であり、かつ、前記ユーザによる手書き入力を受け付けることが可能であるタッチパネル部と、
    前記ユーザの声が入力されるマイク部と、
    を備えるリアルタイムデータ処理装置で実行される方法であって、
    前記タッチパネル部には、前記手書き入力を受け付けるためのエリアである描画エリアと、前記インカメラ部で撮影される映像を表示するためのエリアであるプレビューエリアとが設けられており、
    前記方法は、
    前記インカメラ部で撮影される前記映像が、ラスター形式の映像データとして入力される映像データ入力ステップと、
    前記タッチパネル部から入力される前記手書き入力が、ベクター形式の描画データとして入力される描画データ入力ステップと、
    前記マイク部から入力される前記ユーザの声が、音声データとして入力される音声データ入力ステップと、
    前記映像データ入力ステップで入力される前記ラスター形式の映像データを反転して、ラスター形式の反転映像データを生成する映像反転処理ステップと、
    前記描画データ入力ステップで入力される前記ベクター形式の描画データを反転して、ベクター形式の反転描画データを生成する描画反転処理ステップと、
    前記タッチパネル部の描画エリアに、前記描画データ入力ステップで入力される前記ベクター形式の描画データを表示するとともに、前記タッチパネル部のプレビューエリアに、前記映像反転処理ステップで生成される前記ラスター形式の反転映像データと前記描画反転処理ステップで生成される前記ベクター形式の反転描画データを重畳表示し、かつ、前記音声データ入力ステップで入力される前記音声データを出力する、リアルタイムプレビュー処理ステップと、
    前記描画データ入力ステップで入力される前記ベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成するエンコード処理ステップと、
    前記映像データ入力ステップで入力される前記ラスター形式の映像データと、前記エンコード処理ステップで生成される前記ラスター形式の描画データと、前記音声データ入力ステップで入力される前記音声データとをレンダリング処理して、保存用の合成データを生成するレンダリング処理ステップと、
    を含み、
    前記描画エリアは、前記手書き入力を受け付けるためのエリアであり、かつ、前記ベクター形式の描画データを表示するためのエリアである、ことを特徴とする方法。
  4. 装置を使用しているユーザ自身の映像を撮影するインカメラ部と、
    前記インカメラ部で撮影される映像を前記ユーザに表示することが可能であり、かつ、前記ユーザによる手書き入力を受け付けることが可能であるタッチパネル部と、
    前記ユーザの声が入力されるマイク部と、
    を備えるリアルタイムデータ処理装置で実行されるプログラムであって、
    前記タッチパネル部には、前記手書き入力を受け付けるためのエリアである描画エリアと、前記インカメラ部で撮影される映像を表示するためのエリアであるプレビューエリアとが設けられており、
    前記プログラムは、前記リアルタイムデータ処理装置に、
    前記インカメラ部で撮影される前記映像が、ラスター形式の映像データとして入力される映像データ入力処理と、
    前記タッチパネル部から入力される前記手書き入力が、ベクター形式の描画データとして入力される描画データ入力処理と、
    前記マイク部から入力される前記ユーザの声が、音声データとして入力される音声データ入力処理と、
    前記映像データ入力処理で入力される前記ラスター形式の映像データを反転して、ラスター形式の反転映像データを生成する映像反転処理と、
    前記描画データ入力処理で入力される前記ベクター形式の描画データを反転して、ベクター形式の反転描画データを生成する描画反転処理と、
    前記タッチパネル部の描画エリアに、前記描画データ入力処理で入力される前記ベクター形式の描画データを表示するとともに、前記タッチパネル部のプレビューエリアに、前記映像反転処理で生成される前記ラスター形式の反転映像データと前記描画反転処理で生成される前記ベクター形式の反転描画データを重畳表示し、かつ、前記音声データ入力処理で入力される前記音声データを出力する、リアルタイムプレビュー処理と、
    前記描画データ入力処理で入力される前記ベクター形式の描画データをエンコード処理して、ラスター形式の描画データを生成するエンコード処理と、
    前記映像データ入力処理で入力される前記ラスター形式の映像データと、前記エンコード処理で生成される前記ラスター形式の描画データと、前記音声データ入力処理で入力される前記音声データとをレンダリング処理して、保存用の合成データを生成するレンダリング処理と、
    を実行させ、
    前記描画エリアは、前記手書き入力を受け付けるためのエリアであり、かつ、前記ベクター形式の描画データを表示するためのエリアである、ことを特徴とするプログラム。
JP2021101804A 2021-06-18 2021-06-18 リアルタイムデータ処理装置 Active JP7026839B1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2021101804A JP7026839B1 (ja) 2021-06-18 2021-06-18 リアルタイムデータ処理装置
PCT/JP2021/036544 WO2022264440A1 (ja) 2021-06-18 2021-10-04 リアルタイムデータ処理装置
US17/996,416 US20240212233A1 (en) 2021-06-18 2021-10-04 Real-time data processing device
CN202180020772.XA CN115918063A (zh) 2021-06-18 2021-10-04 实时数据处理装置
AU2021427874A AU2021427874B2 (en) 2021-06-18 2021-10-04 Real-time data processing device
EP21927045.1A EP4142282A4 (en) 2021-06-18 2021-10-04 REAL-TIME DATA PROCESSING DEVICE
KR1020227031689A KR102658480B1 (ko) 2021-06-18 2021-10-04 실시간 데이터 처리 장치
TW110139447A TWI824324B (zh) 2021-06-18 2021-10-25 即時資料處理裝置、方法及程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021101804A JP7026839B1 (ja) 2021-06-18 2021-06-18 リアルタイムデータ処理装置

Publications (2)

Publication Number Publication Date
JP7026839B1 true JP7026839B1 (ja) 2022-02-28
JP2023000791A JP2023000791A (ja) 2023-01-04

Family

ID=81175168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021101804A Active JP7026839B1 (ja) 2021-06-18 2021-06-18 リアルタイムデータ処理装置

Country Status (8)

Country Link
US (1) US20240212233A1 (ja)
EP (1) EP4142282A4 (ja)
JP (1) JP7026839B1 (ja)
KR (1) KR102658480B1 (ja)
CN (1) CN115918063A (ja)
AU (1) AU2021427874B2 (ja)
TW (1) TWI824324B (ja)
WO (1) WO2022264440A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051703A (ja) 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP2015027055A (ja) 2013-07-29 2015-02-05 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体
JP2017090478A (ja) 2015-11-02 2017-05-25 株式会社フォトロン 手書き情報処理装置
JP2017175419A (ja) 2016-03-24 2017-09-28 富士通株式会社 描画処理装置、方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101436A (en) * 1990-05-11 1992-03-31 Optigraphics Corporation Hybrid image editor
JP3050474B2 (ja) * 1993-12-01 2000-06-12 シャープ株式会社 モニタ画面一体型ビデオカメラ
WO2007034822A1 (ja) * 2005-09-26 2007-03-29 Digital Media Professionals Inc. 画像生成装置
US7636097B1 (en) * 2006-02-15 2009-12-22 Adobe Systems Incorporated Methods and apparatus for tracing image data
CN103797812B (zh) * 2012-07-20 2018-10-12 松下知识产权经营株式会社 带评论运动图像生成装置及带评论运动图像生成方法
TW201502851A (zh) * 2013-07-05 2015-01-16 Think Cloud Digital Technology Co Ltd 電子簽章方法
US9881224B2 (en) * 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
NO20161728A1 (en) * 2016-11-01 2018-05-02 Bja Holding As Written text transformer
CN112613283B (zh) * 2020-12-16 2021-07-23 江苏中威科技软件***有限公司 基于ofd版式文件叠加签批分层查看的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051703A (ja) 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP2015027055A (ja) 2013-07-29 2015-02-05 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体
JP2017090478A (ja) 2015-11-02 2017-05-25 株式会社フォトロン 手書き情報処理装置
JP2017175419A (ja) 2016-03-24 2017-09-28 富士通株式会社 描画処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
CN115918063A (zh) 2023-04-04
WO2022264440A1 (ja) 2022-12-22
TWI824324B (zh) 2023-12-01
AU2021427874B2 (en) 2023-05-04
EP4142282A1 (en) 2023-03-01
US20240212233A1 (en) 2024-06-27
AU2021427874A1 (en) 2023-01-19
KR102658480B1 (ko) 2024-04-18
KR20220169473A (ko) 2022-12-27
JP2023000791A (ja) 2023-01-04
EP4142282A4 (en) 2024-05-29
TW202301265A (zh) 2023-01-01

Similar Documents

Publication Publication Date Title
JP4377886B2 (ja) 画像通信中の画像合成方法及び装置
KR100889367B1 (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
JP2004023373A5 (ja)
WO2022111730A1 (zh) 图像处理方法、装置及电子设备
KR20100056049A (ko) 이미지 합성 방법 및 장치
CN105847672A (zh) 虚拟现实头盔抓拍方法及***
JP2004179881A5 (ja)
JP2008216343A (ja) 画像表示装置、プログラム、及び、記憶媒体
JP2000187478A (ja) 画像処理装置及び画像処理方法
KR20060118838A (ko) 영상데이터에 특정효과 표시방법
CN110913118B (zh) 视频处理方法、装置及存储介质
JP4649640B2 (ja) 画像処理方法、画像処理装置、及びコンテンツ作成システム
CN107580228B (zh) 一种监控视频处理方法、装置及设备
JP2004056488A (ja) 画像処理方法、画像処理装置および画像通信装置
CN112565603B (zh) 图像处理方法、装置及电子设备
JP2010152518A (ja) 画像処理装置及び画像処理方法
JP7026839B1 (ja) リアルタイムデータ処理装置
CN112558854A (zh) 多画面分屏模式定制方法、装置和计算机设备
JP2005079913A (ja) コンテンツ作成システム、講義ビデオ作成システム、テレビ会議システム
CN111034187A (zh) 动态图像的生成方法、装置、可移动平台和存储介质
JP2007201816A (ja) 映像表示システム及び映像受信装置
JP2007019956A (ja) 画像合成装置及び画像合成方法
JP2004088719A (ja) 画像捕獲方法及びその装置
KR20180092469A (ko) 3d카메라와 웹 실시간 통신을 이용한 실시간 프레젠테이션 방송 방법
KR20060121506A (ko) 이동 단말에서 영상 표시 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220215

R150 Certificate of patent or registration of utility model

Ref document number: 7026839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150