JP7101331B2 - 管理装置及び管理システム - Google Patents

管理装置及び管理システム Download PDF

Info

Publication number
JP7101331B2
JP7101331B2 JP2016227147A JP2016227147A JP7101331B2 JP 7101331 B2 JP7101331 B2 JP 7101331B2 JP 2016227147 A JP2016227147 A JP 2016227147A JP 2016227147 A JP2016227147 A JP 2016227147A JP 7101331 B2 JP7101331 B2 JP 7101331B2
Authority
JP
Japan
Prior art keywords
image
output screen
data
display
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016227147A
Other languages
English (en)
Other versions
JP2018084924A (ja
Inventor
隆裕 城
友敬 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncorporation
Original Assignee
Suncorporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suncorporation filed Critical Suncorporation
Priority to JP2016227147A priority Critical patent/JP7101331B2/ja
Publication of JP2018084924A publication Critical patent/JP2018084924A/ja
Application granted granted Critical
Publication of JP7101331B2 publication Critical patent/JP7101331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Pinball Game Machines (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本明細書によって開示される技術は、管理装置及び管理システムに関する。
特許文献1には、遊技店に設置されたホールコンピュータと、ホールコンピュータと通信可能な分析センタとを備える遊技店分析システムが開示されている。このシステムでは、ホールコンピュータは、遊技店内から遊技情報を収集し、収集された遊技情報を分析センタに供給する。分析センタは、ホールコンピュータから取得された遊技情報を記憶し、遊技情報に基づいて、ユーザの遊技傾向の分析、遊技店全体の遊技結果の算出等、各種分析を実行する。
特開2002-73876号公報
特許文献1の遊技店分析システムでは、分析センタは、遊技情報に基づいて算出された分析結果を平面的な表やグラフで表した出力画面を出力する。出力画面を見た管理者等は、表やグラフによって分析結果を把握する。しかしながら、管理者等は、平面的な表やグラフを含む出力画面を見たとしても、遊技店内の状況を直感的に把握することが難しい場合がある。
本明細書では、出力画面を見た者が、所定の空間内の状況を容易に直感的に把握し得る管理装置及び管理システムを開示する。
本明細書で開示する一つの管理装置は、所定の空間内に設けられる複数個の画像撮影装置のそれぞれから、当該画像撮影装置が現在撮影している所定の空間内の対象物の撮影画像を表わす対象物撮影画像データを取得する管理取得部と、複数個の画像撮影装置のそれぞれから取得される対象物撮影画像データに基づいて、対象物の3D画像を表わす3D対象物データを生成する第1データ生成部と、3D対象物データと、WebGL規格に従った表示プログラムとを利用して、対象物の3D画像を含む出力画面を表わす出力画面データを生成する第2データ生成部と、出力画面データに従って、表示装置に出力画面を表示させるための出力処理を実行する出力部と、を備える。
上記の「所定の空間」は、例えば、遊技店、商店、映画館、公園等を含む。上記の「対象物」は、例えば、店の利用者、店のスタッフ、商品等を含む。上記の「管理装置」は、1つの装置であっても、複数の装置の組み合わせであってもよい。例えば、管理装置は、遊技店内に設けられるコンピュータであってもよい。また、管理装置は、遊技店外に設けられるサーバであってもよい。また、管理装置は、上記のコンピュータとサーバとの組合せであってもよい。その場合、コンピュータが上記管理装置の一部の機能を発揮し、サーバが他の一部の機能を発揮すればよい。上記の「表示装置」は、例えば、管理装置の管理表示部であってもよい。また、上記の「表示装置」は、管理装置の管理表示部とは別個のデジタルサイネージ端末、据置型PCの表示部等であってもよい。
上記の管理装置は、複数個の画像撮影装置のそれぞれから取得される対象物撮影画像データに基づいて、3D対象物画像データを生成する。そして、管理装置は、3D対象物データと表示プログラムとを利用して、対象物の3D画像を含む出力画面を表わす出力画面データを生成し、出力画面データに従って、表示装置に出力画面を表示させる。出力画面は、3D画像を含むため、所定の空間内の状況を立体的に表示することができる。従って、出力画面が平面的な画像のみを含み、3D画像を含まない従来の構成と比べて、出力画面を見た者が所定の空間内の状況を容易に直感的に把握し得る。
管理装置は、所定の空間内の対象物の背景の3D画像を表わす3D背景データを予め記憶する記憶装置をさらに備えていてもよい。第2データ生成部は、3D対象物データと、記憶装置内の3D背景データと、表示プログラムと、を利用して、対象物の3D画像と背景の3D画像とを含む出力画面を表わす出力画面データを生成してもよい。
この構成によると、管理装置は、対象物の3D画像のみならず、背景の3D画像を含む出力画面を表示装置に表示させる。これにより、出力画面を見た者は所定の空間内の背景の状況も容易に直感的に把握し得る。
3D背景データは、(a)背景に含まれる要素を特定するために予め定められたモデルデータに基づいて生成された第1種の3D画像を表わす第1種の3D背景データと、(b)複数個の画像撮影装置のそれぞれが予め撮影した背景の撮影画像を表わす背景撮影画像データに基づいて生成された第2種の3D画像を表わす第2種の3D背景データと、のうちの少なくとも一方に基づいて生成されたデータであってもよい。
管理装置は、表示装置である管理表示部をさらに備えてもよい。出力処理は、出力画面データに従って、管理表示部に、対象物の3D画像を第1の視点から見た第1の画像を含む第1の出力画面を表示させることと、第1の出力画面が管理表示部に表示されている間に、視点を切り換えるための第1種の切替指示が管理装置に与えられる場合に、出力画面データに従って、管理表示部に、対象物の3D画像を第1の視点とは異なる第2の視点から見た第2の画像を含む第2の出力画面を表示させることと、を含んでもよい。
この構成によると、管理装置の利用者は、複数の視点から見た対象物の3D画像を見ることができる。
本明細書は、上記のいずれかの管理装置と、管理装置とは別体に構成されている端末装置と、を備える管理システムを開示する。出力処理は、出力画面データを端末装置に供給することを含む。端末装置は、端末表示部と、管理装置から出力画面データを取得する端末取得部と、出力画面データに従って、端末表示部に出力画面を表示させる、表示制御部と、を備える。
この構成によると、端末装置の利用者は、端末装置において出力画面を見ることができる。
本明細書は、上記のいずれかの管理装置と、管理装置とは別体に構成されている端末装置と、を備える管理システムを開示する。管理装置は、さらに、3D対象物データと、表示プログラムと、を端末装置に供給する供給部を備える。端末装置は、端末表示部と、管理装置から取得された3D対象物データと、表示プログラムとを利用して、出力画面データを生成する端末側生成部と、出力画面データに従って、端末表示部に出力画面を表示させる、表示制御部と、を備える。
この構成によると、端末装置が予め表示プログラムを記憶していない場合であっても、端末装置は、管理装置から取得される表示プログラムを利用して、閲覧画面データを生成することができる。端末装置の利用者は、端末装置において出力画面を見ることができる。
表示制御部は、出力画面データに従って、端末表示部に、対象物の3D画像を第1の視点から見た第1の画像を含む第1の出力画面を表示させ、第1の出力画面が端末表示部に表示されている間に、視点を切り換えるための第2種の切替指示が端末装置に与えられると、出力画面データに従って、端末表示部に、対象物の3D画像を第1の視点とは異なる第2の視点から見た第2の画像を含む第2の出力画面を表示させてもよい。
この構成によると、端末装置の利用者は、複数の視点から見た対象物の3D画像を見ることができる。
なお、上記の管理装置又は管理システムを実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを記憶するコンピュータ読取可能機能媒体も、新規で有用である。また、上記の管理装置又は管理システムを実現するための制御方法、コンピュータプログラム、及び、コンピュータプログラムを記憶するコンピュータ読取可能記録媒体も、新規で有用である。また、上記の端末装置を実現するための制御方法、コンピュータプログラム、及び、コンピュータプログラムを記憶するコンピュータ読取可能記録媒体も、新規で有用である。
管理システム2の概要を示す。 管理装置70の構成を示す。 端末装置100の構成を示す。 管理装置70の表示処理のフローチャートを示す。 端末装置100の処理のフローチャートを示す。 管理装置70及び端末装置100の切替処理のフローチャートを示す。 初期出力画面の一例を示す。 切替後出力画面の一例を示す。 切替後出力画面の一例を示す。 切替後出力画面の一例を示す。 切替後出力画面の一例を示す。 切替後出力画面の一例を示す。 遊技情報の一例を示す。 遊技情報の一例を示す。 管理装置70を構成する装置70a,70bを示す。 出力画面の一例を示す。
(第1実施例)
(管理システム2の構成;図1)
図1に示す管理システム2は、パチンコ店等の遊技店10を経営する団体(例えば企業)が遊技店10を管理するための管理システムである。図1に示すように、管理システム2は、遊技店10内に設けられる4個のカメラ50~53と、管理装置70と、端末装置100と、を備える。本実施例では、4個のカメラ50~53と管理装置70とは、有線ケーブル4を介して通信可能に有線接続されている。管理装置70と端末装置100とは、有線ケーブル6を介して通信可能に有線接続されている。なお、各装置50~53,70は、有線接続ではなく、無線接続されていてもよい。遊技店10内には、さらに、複数個の遊技台150と、1個のカウンタ160と、が設けられており、カウンタ160の背後の棚には、遊技媒体と交換可能な複数個の景品165が載置されている。また、遊技店10内には、複数名の遊技台150の利用者200が存在している。なお、図面では、遊技台、利用者、及び、景品の一部のみに参照番号が付されている。各遊技台150は、パチンコ玉を遊技媒体とするパチンコ機と、その周辺機器(例えば、呼出ランプ、アウトメータ、サンド等)を含む装置である。カウンタ160は、遊技媒体を景品165に交換する等の事務処理を行うための設備である。遊技台150とカウンタ160と景品165と利用者200とは、4個のカメラ50~53による撮影の対象である。以下では、遊技台150とカウンタ160と景品165と利用者200とのうち、経時的な動きが大きい景品165と利用者200とを「対象物」と呼び、経時的な動きが小さい遊技台150とカウンタ160とを「背景」と呼ぶ。
(カメラ50~53の構成;図1)
4個のカメラ50~53は、遊技店10内を異なる角度から撮影するための撮影装置である。各カメラ50~53は、遊技店10内の対象物及び背景をリアルタイムで(即ち連続的に)撮影することができる。各カメラ50~53は、撮影された対象物及び背景の撮影画像を表わす撮影画像データを有線ケーブル4を介して管理装置70に供給する。
(管理装置70の構成;図2)
続いて、管理装置70について説明する。管理装置70は、例えば、遊技店10を経営する団体によって設置されている装置であって、遊技店10内の状況を管理するための装置である。管理装置70は、例えばホールコンピュータである。他の例では、管理装置70は、ホールコンピュータを介して4個のカメラ50~53及び端末装置100と通信可能に有線接続されているサーバであってもよい。図3に示すように、管理装置70は、表示部72と、操作部74と、通信インターフェース76と、制御部78と、メモリ80と、を備える。表示部72は、様々な情報を表示するためのディスプレイである。操作部74は、キーボードとマウスを含み、管理装置70の管理者の操作を受け付ける。また、操作部74は、表示部72と一体として構成されるタッチパネルを含んでもよい。通信インターフェース76は、有線ケーブル4,6に接続されている。通信インターフェース76は、有線ケーブル4,6を介して、カメラ50~53及び端末装置100との通信を実行可能である。以下では、インターフェースのことを「I/F」と記載する。
制御部78は、メモリ80に記憶されている各種プログラムに従って、後述の表示処理(図4参照)及び切替処理(図6参照)を含む様々な処理を実行する。メモリ80は、背景画像データ81と3D背景画像データ82とグラフィック生成プログラム84とグラフィック表示プログラム86とを含む各種プログラムを記憶している。
背景画像データ81は、各カメラ50~53によって予め撮影された背景(即ち、遊技台150及びカウンタ160)の撮影画像を表わす画像データである。背景画像データ81は、カメラ50~53のそれぞれから予め取得され、メモリ80に格納される。即ち、背景画像データ81には、カメラ50~53のそれぞれに対応する合計4個の背景画像データが含まれている。
3D背景画像データ82は、遊技店10内の背景(即ち、遊技台150及びカウンタ160)の3D画像を表わす画像データである。3D背景画像データ82は、以下のようにして生成される。即ち、メモリ80は、遊技店10内の背景を構成する構造物(即ち遊技台150及びカウンタ160)のそれぞれの大きさ、配置されている位置等を特定するための数値データ(即ち、モデルデータ)を予め記憶している(図示省略)。3D背景画像データ82は、当該モデルデータに基づいて、グラフィック設計プログラム(例えば、CAD(Computer-Aided Designの略)システム)を利用して予め生成されている。即ち、本実施例では、3D背景画像データ82は、モデルデータに基づいて予め生成された仮想的な3D背景画像を表わすデータを含んでいる。
グラフィック生成プログラム84は、4個のカメラ50~53のそれぞれによって撮影された撮影画像を表わす合計4個の撮影画像データに基づいて、1個の3D画像を表わす3D画像データを生成するための生成プログラム(例えばreprojectImageTo3D等)である。グラフィック生成プログラム84は、任意の手段によって予めメモリ80内にインストールされている。
グラフィック表示プログラム86は、WebGL規格に従った表示プログラムであって、グラフィック生成プログラム84によって生成された3D画像データによって表わされる3D画像を表示させるための表示プログラム(例えば、「three.js」、「Away3D」、「Babylon.js」等)である。WebGL規格とは、ウェブブラウザ上で3D画像を表示させるための標準的な規格である。WebGL規格では、HTMLのcanvas要素が用いられる。グラフィック表示プログラム86は、3D画像を用いて情報を視覚的に容易に把握できるように可視化するためのプログラムと言い換えてもよい。グラフィック表示プログラム86は、任意の手段によって予めメモリ80内にインストールされている。
(端末装置100の構成;図3)
端末装置100は、管理装置70によって生成された出力画面データ(詳しくは後述する)を取得して、出力画面データによって表わされる出力画面を表示するための装置である。本実施例では、端末装置100は、デジタルサイネージ端末(即ちデジタルディスプレイ端末)である。端末装置100は、例えば、遊技店10の入口近傍に配置されている。他の例では、端末装置100は、遊技店10内、遊技店10の駐車場等、遊技店10内外の任意の場所等に配置されていてもよい。変形例では、端末装置100は、据置型PC、携帯型PC、携帯電話等であってもよい。なお、端末装置100が携帯型の装置である場合には、持ち運びの観点から端末装置100は管理装置70と無線接続されているのが好ましい。図3に示すように、端末装置100は、表示部102と、操作部104と、通信I/F106と、制御部108と、メモリ110と、を備える。表示部102は、様々な情報を表示するためのディスプレイである。操作部104は、複数個のキーを有し、端末装置100の利用者の操作を受け付ける。なお、変形例において、端末装置100がPC等である場合には、操作部104は、キーボードとマウスを含んでいてもよい。また、操作部104は、表示部72と一体として構成されるタッチパネルを含んでもよい。通信I/F106は、有線ケーブル6を介して、管理装置70と通信を行うためのI/Fである。
制御部108は、メモリ110に記憶されている各種プログラムに従って、後述の表示処理(図5参照)及び切替処理(図6参照)を含む様々な処理を実行する。メモリ110は、ブラウザプログラムを含む各種プログラムを記憶しているが、グラフィック表示プログラム(図2の符号86参照)を記憶していない。
(管理装置70の表示処理;図4)
続いて、図4を参照して、管理装置70の制御部78が実行する表示処理を説明する。管理装置70の電源がオンされると、制御部78は、図4の処理を開始する。S10では、制御部78は、4個のカメラ50~53のそれぞれから、有線ケーブル4を介して、当該カメラが現在撮影している遊技店10内の撮影画像を表わす撮影画像データを取得することを監視する。撮影画像データは、対象物の画像を表わす対象物撮影画像データと、背景の画像を表わす背景撮影画像データと、を含む。制御部78は、4個のカメラ50~53のそれぞれから撮影画像データを取得する場合(S10でYES)に、S15に進む。この場合、制御部78は、カメラ50~53から合計4個の撮影画像データを取得する。
S15では、制御部78は、S10で取得された各撮影画像データから対象物撮影画像データを抽出する。具体的には、まず、制御部78は、カメラ50による撮影画像データ(即ち対象物撮影画像データ及び背景撮影画像データ)から、カメラ50によるメモリ80内の背景画像データ81を差し引く。これにより、対象物画像(即ち利用者200及び景品165の画像)を表わす対象物撮影画像データが抽出される。同様に、制御部78は、カメラ51~53による撮影画像データについても同様の処理を実行する。これにより、カメラ50~53に由来する4個の対象物撮影画像データが抽出される。
S20では、制御部78は、グラフィック生成プログラム84を利用して、S15で抽出済みの4個の対象物撮影画像データに基づいて、対象物の3D画像を表わす1個の3D対象物画像データを生成する。
S25では、制御部78は、S20で生成済みの3D対象物画像データと、メモリ80内の3D背景画像データ82と、グラフィック表示プログラム86とを利用して、対象物3D画像と背景の3D画像とを含む出力画面を表わす出力画面データを生成する。
S30では、制御部78は、出力画面データに従って、表示部72に出力画面(後述の図7~図12参照)を表示させる。
S35では、制御部78は、有線ケーブル6を介して、出力画面データを端末装置100に供給する。制御部78は、S35を終えると、S10に戻る。
(端末装置100の表示処理;図5)
続いて、図5を参照して、端末装置100の制御部108が実行する表示処理の内容を説明する。端末装置100の電源がオンされると、制御部108は、図5の処理を開始する。S110では、制御部108は、有線ケーブル6を介して、管理装置70から出力画面データを取得することを監視する。制御部108は、管理装置70から出力画面データを取得する場合(S110でYES)に、S112に進む。
S112では、制御部108は、S110で取得済みの出力画面データに従って出力画面を表示部102に表示する。出力画面は、図4のS30の出力画面と同様である。制御部108は、S112を終えると、S110に戻る。
(管理装置70及び端末装置100の切替処理;図6)
続いて、図6を参照して、管理装置70の制御部78と、端末装置100の制御部108と、が実行する切替処理の内容を説明する。以下では、制御部78が切替処理の実行主体である場合について説明し、制御部108が実行主体である場合については、制御部78が実行主体である場合と同様であるため、説明を省略する。図4のS30において出力画面が表示されると、制御部78は、図6の処理を開始する。この場合に、表示されている出力画面は、対象物の3D画像と背景の3D画像とを所定の視点(以下では「初期の視点」と呼ぶ)から見た初期画像を含む初期出力画面である。
S210では、制御部78は、初期画像の視点を切り換えるための切替指示がユーザによって操作部74に与えられることを監視する。切替指示は、例えば、カーソルキーを押下する操作、初期出力画面内の拡大表示したいオブジェクトを指定する操作等である。制御部78は、切替指示が与えられる場合(S210でYES)に、S215に進む。
S215では、制御部78は、出力画面データに従って、表示部72に、対象物の3D画像と背景の3D画像とを初期の視点とは異なる切替後の視点から見た切替後画像を含む切替後出力画面を表示させる。制御部78は、S215を終えると、S210に戻る。
(出力画面例;図7~図12)
続いて、図7~図12を参照して、出力画面の例について説明する。図7は、初期出力画面を示す。図7の初期出力画面は、斜め上の視点から見たビューであり、遊技台150を表わす3D画像151と、カウンタ160を表わす3D画像161と、景品165を表わす3D画像166と、利用者200を表わす3D画像201と、を含む。初期出力画面を見た者は、利用者200が遊技台150で遊技している様子、景品165の増減等を大まかに把握することができる。また、図4~図6の処理が繰り返し実行されることによって、初期出力画面が更新されるので、利用者200の動き、景品165の増減等も随時更新される。これにより、初期出力画面を見た者は、遊技店内の状況を経時的に把握することができる。図7の初期出力画面は、視点切替指示が与えられることによって、図8~図12の切替後出力画面に切り替わる。
図8は、カウンタ160の背後の景品棚(即ち景品165)を正面から見る視点に切り替えた場合の出力画面を示す。図8の出力画面を見た者は、景品165の増減の様子をより容易に把握することができ、引き渡される景品165の傾向も把握し易くなる。
図9は、図7の初期出力画面における遊技店10内の奥側周辺を中心的に見る視点に切り替えた場合の出力画面を示す。図9の出力画面では、図7の初期出力画面において奥の方に示されている遊技台150とカウンタ160と利用者200とが手前に示されている。これにより、図9の出力画面を見た者は、図7の初期出力画面では把握しにくい店内の奥側の遊技台150とカウンタ160と利用者200との様子も容易に把握することができる。
図10は、遊技店10内全体を俯瞰するビューに切り替えた場合の出力画面を示す。図10の出力画面を見た者は、例えば、利用者200が、遊技店10内のどのエリアに集中しているのか等、遊技店10内全体の利用者200の動きを把握することができる。
図11は、複数の利用者200の手元と表情を確認可能なビューに切り替えた場合の出力画面である。図11の出力画面を見た者は、例えば、遊技中の利用者200の手の動き、表情等を観察することによって、不審な動きをしている利用者200を特定することができる。
図12は、不審な動きをしている人物として特定された利用者200の手元をさらに詳細に確認可能なビューに切り替えた場合の出力画面である。図11の出力画面は、特に、不審な動きをしている人物として特定された利用者200の手元の俯瞰図である。図12の出力画面を見た者は、当該人物が実際に不正行為をしていないかを確認することができ、不正行為を発見及び防止することができる。
(作用効果)
本実施例の管理装置70は、4個のカメラ50~53のそれぞれから取得される対象物撮影画像データに基づいて、3D対象物画像データを生成する(図4のS10~S20)。そして、管理装置70は、3D対象物画像データとグラフィック表示プログラム86とを利用して、対象物(即ち利用者200及び景品165)の3D画像を含む出力画面を表わす出力画面データを生成し(S25)、出力画面データに従って、表示装置に出力画面を表示させる(S30)。出力画面は、3D画像を含むため、遊技店10内の状況を立体的に表示することができる。従って、出力画面が平面的な画像等のみを含み、3D画像を含まない従来の構成と比べて、出力画面を見た者が遊技店10内の状況を容易に直感的に把握することができる。
また、本実施例では、管理装置70は、メモリ80に予め記憶済みの3D背景画像データ82を利用して、遊技台150の3D画像と、カウンタ160の画像と、を含む出力画面を表わす出力画面データを生成し(図4のS25)、出力画面を表示する(S30)。これにより、出力画面を見た者は遊技店10内の遊技台150及びカウンタ160の状況も容易に直感的に把握することができる。
また、本実施例では、出力画面内の背景画像は、モデルデータに由来する3D背景画像データ82によって表わされているので、リアルには表現されていない(例えば、背景の細部が省略されて仮想的に表現されている)。一方、出力画面内の対象物画像は、カメラ50~53による撮影画像データに由来する3D対象物画像データによって表わされているので、比較的リアルに表現されている。そのため、出力画面では、リアルに表現されている対象物画像が目立つ。これにより、出力画面を見た者は、対象物画像に注目しやすくなる。
また、本実施例では、初期出力画面が管理装置70に表示されている間に、切替指示が管理装置70に与えられる場合(図6のS210でYES)に、切替後出力画面を表示させる(S215)。これにより、管理装置70の利用者は、複数の視点から見た対象物の3D画像を見ることができる(図7~図12参照)。また、図7~図12の例に示されるように、管理装置70の利用者は、対象物の3D画像を見ながら、対象物の3D画像を見る視点を所望の視点に切り替えたり、対象物の3D画像の中の所望の部分をズームしたりすることができる。
また、本実施例では、端末装置100は、管理装置70から出力画面データを取得し(図5のS110でYES)、出力画面を表示する(S112)。これにより、端末装置100の利用者は、端末装置100において出力画面を見ることができる。
(対応関係)
本実施例と請求項の記載との対応関係を説明しておく。4個のカメラ50~53が、「複数個の画像撮影装置」の一例である。遊技店10が「所定の空間」の一例である。管理装置70の表示部72が、「表示装置」及び「管理表示部」の一例である。初期画像、初期出力画面が、それぞれ、「第1の画像」、「第1の出力画面」の一例である。切替後画像、切替後出力画面が、それぞれ、「第2の画像」、「第2の出力画面」の一例である。管理装置70、端末装置100によって実行される図6のS210の視点切替指示が、それぞれ、「第1種の切替指示」、「第2種の切替指示」の一例である。端末装置100の表示部102が、「端末表示部」の一例である。モデルデータに基づいて生成される3D背景画像データ82が、「第1種の3D背景データ」に基づいて生成されるデータの一例である。
(第2実施例)
第1実施例と異なる点を中心に説明する。本実施例では、管理装置70の表示処理(図4)の内容、及び、端末装置100の表示処理(図5)が第1実施例とは異なる。
本実施例では、図4のS35において、管理装置70の制御部78は、有線ケーブル6を介して、S20で生成済みの3D対象物画像データと、メモリ80内の3D背景画像データ82と、グラフィック表示プログラム86と、を端末装置100に送信する。
本実施例では、図5のS110において、端末装置100の制御部108は、有線ケーブル6を介して、3D対象物画像データと3D背景画像データ82とグラフィック表示プログラム86とを管理装置70から取得することを監視する。制御部108は、3D対象物画像データと3D背景画像データ82とグラフィック表示プログラム86とを管理装置70から取得する場合(S110でYES)に、S111に進む。S111では、制御部108は、管理装置70から取得された3D対象物画像データと3D背景画像データとグラフィック表示プログラムとを用いて、図4のS25と同様の手法で出力画面データを生成する。続くS112では、制御部108は、S111で生成された図出力画面データに従って、表示部102に出力画面を表示させる。
(作用効果)
本実施例の管理システム2では、管理装置70だけではなく、端末装置100も出力画面データを生成している。本実施例でも、第1実施例と同様の効果を発揮することができる。さらに、本実施例では、端末装置100は、管理装置70からグラフィック表示プログラム86を取得するので(図5のS110でYES)、グラフィック表示プログラム86を予め記憶していなくても、出力画面を表示することができる(S112)。
(第3実施例)
第1実施例と異なる点を中心に説明する。本実施例では、管理装置70の表示処理(図4)の内容が第1実施例とは異なる。
本実施例では、図4のS25において、管理装置70の制御部78は、S20で生成済みの3D対象物画像データと、グラフィック表示プログラム86とを利用して、出力画面を表わす出力画面データを生成する。出力画面は、対象物3D画像を含むが、背景3D画像を含まない。本実施例でも、出力画面は、遊技店10内の状況(特に対象物である利用者及び景品)を立体的に表示しているので、出力画面を見た者が遊技店10内の状況を容易に直感的に把握することができる。
また、本実施例の出力画面が背景3D画像を含まないため、出力画面を見た者は、遊技店10内の人物の特徴と、当該人物が存在する位置と、を容易に把握することができる。これにより、例えば、出力画面を見た者は、不審な動きをしている利用者200を特定したり、遊技店10に頻繁に来店する利用者200を見つけて声掛けしたり、遊技店10内の通路を走り回る子どもに注目したりすることができる。
図16は、対象物3D画像である利用者200a~200eの画像を含む出力画面の一例を示す。図16の出力画面では、利用者200a~200eの画像が並べて表示されている。さらに、各利用者200a~200eの性別、年齢、及び遊技している遊技台150の識別番号が各利用者200a~200eの画像に対応付けて表示されている。例えば、制御部78は、公知の顔認識技術によって対象物撮影画像データから利用者の顔を表す顔画像を抽出し、顔画像から特定される特徴点に基づいて、利用者の性別、年齢を取得し、利用者の近傍の遊技台150から有線ケーブル(図示省略)を介して遊技台150の識別番号を取得する。そして、制御部78は、これらの取得された情報を利用者200a~200eに対応付けて表示する。
以上、本明細書で開示する技術の実施例を詳細に説明したが、上記の実施例は例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。
(変形例1)図4のS25の出力画面データは、利用者を表わす画像に対応付けて表示される情報を含んでいてもよい。上述したように、例えば、制御部78は、利用者の顔を表す顔画像から特定される特徴点に基づいて、利用者の性別、年齢等の属性情報を取得する。また、制御部78は、利用者の近傍の遊技台150から有線ケーブルを介して遊技情報(遊技台150の識別番号、遊技の開始時間、成績等)を取得する。そして、制御部78は、属性情報及び遊技情報を含む出力画面データを生成する。この場合、S30の出力画面では、利用者を表わす画像に対応付けて、属性情報及び遊技情報が表示される。図13には、遊技情報として、利用者200を表わす3D画像201に王冠の3D画像300が重ねて表示される例が示されている。利用者200の遊技成績が優れている程、表示される王冠の数が多くなる。また、図14には、遊技情報として、3D画像201の近傍に遊技成績を表わす棒グラフの3D画像400が表示される例が示されている。その他の遊技情報の例として、利用者の表情を遊技成績に応じた表情に加工するための情報、利用者の周りに集まるキャラクターの画像を表わす情報、遊技媒体が入った箱の画像を表わす情報等が挙げられる。なお、属性情報について、属性情報が示す年齢が所定の年齢以下である場合に、注意を喚起するためのマークが表示されてもよい。
さらに、制御部78は、属性情報と遊技情報とを対応付けることによって、利用者ごとに遊技情報の履歴をメモリ80に記憶させることもできる。この場合、S30の出力画面では、利用者を表わす3D画像に対応付けて、履歴が表示されてもよい。
(変形例2)図4のS25の出力画面データは、3D対象物画像データを含まず、上記の遊技情報を含んでいてもよい。そして、S30の出力画面では、3D対象物画像が表示されず、遊技情報が表示されてもよい。この場合、遊技情報は、例えば、成績に応じたキャラクタの画像、成績を表わすグラフ等の態様で表示される。
(変形例3)各実施例の管理システム2は、4個のカメラ50~53を備える。変形例では、カメラの個数は4個に限られず、2個であってもよいし、3個以上であってもよい。カメラの個数が2個以上であれば、管理装置70は、2個以上のカメラのそれぞれに由来する2個以上の対象物撮影画像データに基づいて、3D対象物画像データを生成可能である。従って、変形例でも各実施例と同様の効果を発揮することができる。即ち、「画像撮影装置」の個数は、2個以上であればよい。
(変形例4)「所定の空間」は、遊技店10に限られず、例えば、商店、映画館、公園等、撮影の対象が存在する空間であればどのような空間であってもよい。
(変形例5)各実施例では、背景画像データ81及び3D背景画像データ82が管理装置70のメモリ80に予め記憶されているが、変形例では、これらのデータが記憶されていなくてもよい。本変形例では、管理装置70の制御部78は、図4のS15を省略し、S20において、グラフィック生成プログラム84を利用して、カメラ50~53に由来する4個の撮影画像データに基づいて、対象物の3D画像と背景の3D画像とを表わす3D画像データを生成する。即ち、本変形例では、3D背景画像データと3D画像データとが同時に生成されているといえる。即ち、「記憶装置」は省略可能である。また、本変形例では、遊技台150、カウンタ160、景品165、及び利用者200の全てが、「対象物」の一例であると考えることもできる。
(変形例6)各実施例では、出力画面において、対象物と背景の双方が3D画像として表されている。これに限られず、出力画面では、対象物の3D画像と、背景の2D画像を含んでいてもよい。一般的に言うと、出力画面データは、対象物の3D画像を含む出力画面を表わしていればよい。
(変形例7)3D背景画像データ82は、モデルデータに基づいて予め生成されるデータでなくてもよく、各カメラ50~53によって撮影された背景画像を表わす背景画像データ81と、グラフィック生成プログラム84と、を利用して生成されたデータであってもよい。この場合の3D背景画像データ82が、「第2種の3D背景データ」に基づいて生成されるデータの一例である。また、別の変形例では、3D背景画像データ82のうちの一部が、上記のように背景画像データ81を利用して生成され、他の一部が、各実施例のようにモデルデータを利用して生成されてもよい。
(変形例8)第1実施例では、S35において、管理装置70の制御部78は、有線ケーブル6を介して、出力画面データを端末装置100に供給する。第2実施例では、S35において、制御部78は、有線ケーブル6を介して、S20で生成済みの3D対象物画像データと、メモリ80内の3D背景画像データ82と、グラフィック表示プログラム86と、を端末装置100に送信する。変形例では、管理装置70の制御部78は、出力画面を表示させる対象の端末装置の能力に応じて、出力画面データを送信すること(即ち第1実施例のS35の処理)と、S20で生成済みの3D対象物画像データと、メモリ80内の3D背景画像データ82と、グラフィック表示プログラム86と、を端末装置に送信すること(即ち第2実施例のS35の処理)と、を切り替えて実行してもよい。
(変形例9)各実施例では、視点切替指示が与えられる場合(図6のS210でYES)に、出力画面の視点が切り替わる(S215)。変形例では、例えば、定期的に出力画面の視点が切り替わってもよいし、出力画面の視点が固定されていてもよい。即ち、「第1種の切替指示」が管理装置に与えられなくてもよいし、「第2種の切替指示」が端末装置に与えられなくてもよい。
(変形例10)出力画面は、管理装置70の表示部72のみで表示され、端末装置100の表示部102では表示されなくてもよい。即ち、「端末装置」及び「供給部」は省略可能である。
(変形例11)出力画面は、端末装置100の表示部102のみで表示され、管理装置70の表示部72では表示されなくてもよい。この場合、端末装置100が「表示装置」の一例である。
(変形例12)上記の各実施例では、管理装置70は、表示部72、操作部74、通信I/F76、制御部78、及び、メモリ80をすべて含む1個の装置として構成されている。これに限られず、管理装置70は、上記の各構成要素72~80が、2個以上の装置に分かれて存在するように構成されていてもよい。例えば、管理装置70は、表示部72、操作部74、通信I/F76、及び、制御部78を含む第1の装置と、メモリ80(例えば外部メモリ)を含む第2の装置と、の組合せによって構成されていてもよい。端末装置100についても同様である。
(変形例13)図15に示されるように、管理装置70は、物理的に分離した2個の装置70a,70bで構成されていてもよい。装置70aは、操作部74aと通信I/F76aと制御部78aとメモリ80aとを備える。装置70bは、表示部72と操作部74bと通信I/F76bと制御部78bとメモリ80bとを備える。操作部74a,74bは、操作部74と同様の構成を備える。通信I/F76aは、有線ケーブル4,8に接続されている。通信I/F76aは、有線ケーブル4,8を介して、カメラ50~53及び装置70bとの通信を実行可能である。通信I/F76bは、有線ケーブル6,8に接続されている。通信I/F76bは、有線ケーブル6,8を介して、装置70a及び端末装置100との通信を実行可能である。メモリ80aは、S15,S20で利用される背景画像データ81及びグラフィック生成プログラム84を記憶している。メモリ80bは、S25,S35で利用される3D背景画像データ82及びグラフィック表示プログラム86を記憶している。
制御部78aは、図4の表示処理のうちのS10~S20を実行し、通信I/F76aを介して、3D対象物画像データを装置70bに供給する。制御部78bは、通信I/F76bを介して、装置70aから3D対象物画像データを取得し、S25~S35を実行する。
また、本明細書又は図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書又は図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
2:管理システム
4,6:有線ケーブル
10:遊技店
50~53:カメラ
70:管理装置
72:表示部
74:操作部
76:通信インターフェース
78:制御部
80:メモリ
81:背景画像データ
82:3D背景画像データ
84:グラフィック生成プログラム
86:グラフィック表示プログラム
100:端末装置
102:表示部
104:操作部
106:通信インターフェース
108:制御部
110:メモリ
150:遊技台
151,161,201,300,400:3D画像
160:カウンタ
165:景品
200,200a~200e:利用者

Claims (4)

  1. 理装置と、前記管理装置とは別体に構成されている端末装置と、を備える管理システムであって、
    前記管理装置は、
    所定の空間内に設けられる画像撮影装置から、前記画像撮影装置が現在撮影している前記所定の空間内の対象物の撮影画像を表わす対象物撮影画像データを取得する管理取得部と、
    前記画像撮影装置から取得される前記対象物撮影画像データに基づいて、前記対象物の3D画像を表わす3D対象物データを生成する第1データ生成部と、
    前記3D対象物データと、WebGL規格に従った表示プログラムとを利用して、前記対象物の3D画像を含む出力画面を表わす出力画面データを生成する第2データ生成部と、
    前記出力画面データに従って、表示装置に前記出力画面を表示させるための出力処理を実行する出力部と、
    前記所定の空間内の前記対象物の背景の3D画像を表わす3D背景データを予め記憶する記憶装置と、を備え、
    前記第2データ生成部は、前記3D対象物データと、前記記憶装置内の前記3D背景データと、前記表示プログラムと、を利用して、前記所定の空間における前記対象物と前記対象物の前記背景との位置関係に対応する位置関係で配置される前記対象物の3D画像と前記背景の3D画像とを含む前記出力画面を表わす前記出力画面データを生成し、
    前記3D背景データは、
    (a)前記背景に含まれる要素を特定するために予め定められたモデルデータに基づいて生成された第1種の3D画像を表わす第1種の3D背景データと
    b)前記画像撮影装置が予め撮影した前記背景の撮影画像を表わす背景撮影画像データに基づいて生成された第2種の3D画像を表わす第2種の3D背景データと、
    のうちの少なくとも一方に基づいて生成されたデータであり、
    前記出力処理は、前記出力画面データを前記端末装置に供給することを含み、
    前記端末装置は、
    端末表示部と、
    前記管理装置から前記出力画面データを取得する端末取得部と、
    前記出力画面データに従って、前記端末表示部に前記出力画面を表示させる、表示制御部と、を備え、
    前記表示制御部は、
    前記出力画面データに従って、前記端末表示部に、前記対象物の3D画像を第1の視点から見た第1の画像を含む第1の出力画面を表示させ、
    前記第1の出力画面が前記端末表示部に表示されている間に、視点を切り換えるための第2種の切替指示が前記端末装置に与えられると、前記出力画面データに従って、前記端末表示部に、前記対象物の3D画像を前記第1の視点とは異なる第2の視点から見た第2の画像を含む第2の出力画面を表示させ る、管理システム。
  2. 前記管理装置は、前記表示装置である管理表示部をさらに備え、
    前記出力処理は、
    前記出力画面データに従って、前記管理表示部に、前記対象物の3D画像を第1の視点から見た第1の画像を含む第1の出力画面を表示させることと、
    前記第1の出力画面が前記管理表示部に表示されている間に、視点を切り換えるための第1種の切替指示が前記管理装置に与えられる場合に、前記出力画面データに従って、前記管理表示部に、前記対象物の3D画像を前記第1の視点とは異なる第2の視点から見た第2の画像を含む第2の出力画面を表示させることと、を含む、
    請求項1に記載の管理システム
  3. 前記管理装置は、前記対象物の属性を表す属性情報を取得する属性取得部をさらに備え、
    前記第2データ生成部は、前記属性情報をさらに含む前記出力画面データを生成する、請求項1又は2に記載の管理システム
  4. 理装置と、前記管理装置とは別体に構成されている端末装置と、を備える管理システムであって、
    前記管理装置は、
    所定の空間内に設けられる画像撮影装置から、前記画像撮影装置が現在撮影している前記所定の空間内の対象物の撮影画像を表わす対象物撮影画像データを取得する管理取得部と、
    前記画像撮影装置から取得される前記対象物撮影画像データに基づいて、前記対象物の3D画像を表わす3D対象物データを生成するデータ生成部と、
    前記3D対象物データと、WebGL規格に従った表示プログラムと、を前記端末装置に供給する供給部と、備え、
    前記端末装置は、
    端末表示部と、
    前記管理装置から取得された前記3D対象物データと、前記表示プログラムとを利用して、前記対象物の3D画像を含む出力画像を表す出力画面データを生成する端末側生成部と、
    前記出力画面データに従って、前記端末表示部に前記出力画面を表示させる、表示制御部と、を備え
    前記表示制御部は、
    前記出力画面データに従って、前記端末表示部に、前記対象物の3D画像を第1の視点から見た第1の画像を含む第1の出力画面を表示させ、
    前記第1の出力画面が前記端末表示部に表示されている間に、視点を切り換えるための切替指示が前記端末装置に与えられると、前記出力画面データに従って、前記端末表示部に、前記対象物の3D画像を前記第1の視点とは異なる第2の視点から見た第2の画像を含む第2の出力画面を表示させ る、管理システム。
JP2016227147A 2016-11-22 2016-11-22 管理装置及び管理システム Active JP7101331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016227147A JP7101331B2 (ja) 2016-11-22 2016-11-22 管理装置及び管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016227147A JP7101331B2 (ja) 2016-11-22 2016-11-22 管理装置及び管理システム

Publications (2)

Publication Number Publication Date
JP2018084924A JP2018084924A (ja) 2018-05-31
JP7101331B2 true JP7101331B2 (ja) 2022-07-15

Family

ID=62238292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016227147A Active JP7101331B2 (ja) 2016-11-22 2016-11-22 管理装置及び管理システム

Country Status (1)

Country Link
JP (1) JP7101331B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020152851A1 (ja) * 2019-01-25 2020-07-30 株式会社 テクノミライ デジタルサーチ・セキュリティシステム、方法及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209569A (ja) 1999-01-19 2000-07-28 Oki Electric Ind Co Ltd 遠隔監視装置および遠隔監視方法ならびに遠隔監視システム
JP2002247585A (ja) 2001-02-15 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 動画像送信方法と、動画像受信方法と、動画像送信処理用プログラム及びそのプログラムの記録媒体と、動画像受信処理用プログラム及びそのプログラムの記録媒体
WO2005076621A1 (ja) 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. 監視システムおよびカメラ端末
JP2008066864A (ja) 2006-09-05 2008-03-21 Mitsubishi Electric Corp 監視装置及び監視プログラム
JP2010504711A (ja) 2006-09-26 2010-02-12 ハリス コーポレイション 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法
JP2011108086A (ja) 2009-11-19 2011-06-02 Fuji Xerox Co Ltd メモ情報管理システム、メモ情報処理装置及びプログラム
JP2011151459A (ja) 2010-01-19 2011-08-04 Mitsubishi Electric Corp 合成表示装置
WO2012131816A1 (ja) 2011-03-28 2012-10-04 日本電気株式会社 人物追跡装置、人物追跡方法および人物追跡プログラムを格納した非一時的なコンピュータ可読媒体
JP2015097060A (ja) 2013-11-15 2015-05-21 萬里科技股▲ふん▼有限公司 3d空間中で3d幾何データを仮想現実画像の表現と制御に用いる方法
WO2016038240A1 (en) 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209569A (ja) 1999-01-19 2000-07-28 Oki Electric Ind Co Ltd 遠隔監視装置および遠隔監視方法ならびに遠隔監視システム
JP2002247585A (ja) 2001-02-15 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 動画像送信方法と、動画像受信方法と、動画像送信処理用プログラム及びそのプログラムの記録媒体と、動画像受信処理用プログラム及びそのプログラムの記録媒体
WO2005076621A1 (ja) 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. 監視システムおよびカメラ端末
JP2008066864A (ja) 2006-09-05 2008-03-21 Mitsubishi Electric Corp 監視装置及び監視プログラム
JP2010504711A (ja) 2006-09-26 2010-02-12 ハリス コーポレイション 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法
JP2011108086A (ja) 2009-11-19 2011-06-02 Fuji Xerox Co Ltd メモ情報管理システム、メモ情報処理装置及びプログラム
JP2011151459A (ja) 2010-01-19 2011-08-04 Mitsubishi Electric Corp 合成表示装置
WO2012131816A1 (ja) 2011-03-28 2012-10-04 日本電気株式会社 人物追跡装置、人物追跡方法および人物追跡プログラムを格納した非一時的なコンピュータ可読媒体
JP2015097060A (ja) 2013-11-15 2015-05-21 萬里科技股▲ふん▼有限公司 3d空間中で3d幾何データを仮想現実画像の表現と制御に用いる方法
WO2016038240A1 (en) 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback

Also Published As

Publication number Publication date
JP2018084924A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
US9654734B1 (en) Virtual conference room
US8970623B2 (en) Information processing system, information processing method, information processing device and tangible recoding medium recording information processing program
JP4933164B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記憶媒体
CN104936665B (zh) 合作增强现实
US9064335B2 (en) System, method, device and computer-readable medium recording information processing program for superimposing information
EP3117290B1 (en) Interactive information display
CN107771309A (zh) 三维用户输入
CN108273265A (zh) 虚拟对象的显示方法及装置
EP3383036A2 (en) Information processing device, information processing method, and program
WO2012063560A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体
US20190268587A1 (en) Information processing device, information processing method, and program
WO2020248711A1 (zh) 一种显示设备及内容推荐方法
CN112346572A (zh) 一种虚实融合实现方法、***和电子设备
JP2002247602A (ja) 画像生成装置及びその制御方法並びにそのコンピュータプログラム
CN107079186A (zh) 增强的交互式电视体验
CN109670385A (zh) 一种应用程序中表情更新的方法及装置
CN111862348A (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN107079139A (zh) 没有物理触发的增强现实
CN109840946A (zh) 虚拟对象显示方法及装置
JP2015079433A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN106536004A (zh) 增强的游戏平台
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质
JP7101331B2 (ja) 管理装置及び管理システム
CN105468249B (zh) 智能互动***及其控制方法
CN109144598A (zh) 基于手势的电子面罩人机交互方法与***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R150 Certificate of patent or registration of utility model

Ref document number: 7101331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150