JP2021179933A - 通信端末、通信システム、通信方法、及びプログラム - Google Patents

通信端末、通信システム、通信方法、及びプログラム Download PDF

Info

Publication number
JP2021179933A
JP2021179933A JP2020086311A JP2020086311A JP2021179933A JP 2021179933 A JP2021179933 A JP 2021179933A JP 2020086311 A JP2020086311 A JP 2020086311A JP 2020086311 A JP2020086311 A JP 2020086311A JP 2021179933 A JP2021179933 A JP 2021179933A
Authority
JP
Japan
Prior art keywords
communication terminal
communication
content data
display
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020086311A
Other languages
English (en)
Inventor
達朗 杉岡
Tatsuro Sugioka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020086311A priority Critical patent/JP2021179933A/ja
Publication of JP2021179933A publication Critical patent/JP2021179933A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】通信ネットワークを介して他の通信端末とコンテンツデータを共有する会議において、立体物を複数の方向から記録したコンテンツデータを共有することを容易にする通信端末を提供する。【解決手段】通信端末は、通信ネットワークを介して他の通信端末とコンテンツデータを共有する通信端末であって、立体物を複数の方向から記録した前記コンテンツデータを前記他の通信端末と共有するデータ共有部と、前記コンテンツデータの表示位置の情報を前記他の通信端末と共有する表示位置情報共有部と、前記コンテンツデータと前記表示位置の情報とに基づいて、前記立体物を表示する表示画面を表示する表示制御部と、を有する。【選択図】図5

Description

本発明は、通信端末、通信システム、通信方法、及びプログラムに関する。
インターネット等の通信ネットワークを介して複数の通信端末が、例えば、映像データ、画像データ、文書データ等のコンテンツデータを共有する会議システムが知られている。
例えば、情報処理端末が、共有資料データである第1の画像に共有資料データのアドレス情報を埋め込んだ第2の画像を他の情報処理端末に送信して、他の情報処理端末と共有資料データを共有する会議システムが知られている(例えば、特許文献1参照)。
このような会議システムを利用して、例えば、模型や、試作品等の立体物を複数の方向から撮影したコンテンツデータを共有する会議を行いたいという要求がある。
しかし、特許文献1に示すような従来の技術では、立体物が有する、上下、左右、裏表等の複数の情報を共有するためには、例えば、立体物を撮影するカメラと立体物との間の位置関係を変えながら、キャプチャと共有を繰り返さなければならないという問題がある。
このように、従来の技術では、通信ネットワークを介して他の通信端末とコンテンツデータを共有する会議において、立体物を複数の方向から記録したコンテンツデータを共有することには困難を伴っていた。
本発明の一実施形態は上記の問題点に鑑みてなされたものであって、通信ネットワークを介して他の通信端末とコンテンツデータを共有する会議において、立体物を複数の方向から記録したコンテンツデータを共有することを容易にする通信端末を提供する。
上記課題を解決するため、本発明の一実施形態に係る通信端末は、通信ネットワークを介して他の通信端末とコンテンツデータを共有する通信端末であって、立体物を複数の方向から記録した前記コンテンツデータを前記他の通信端末と共有するデータ共有部と、前記コンテンツデータの表示位置の情報を前記他の通信端末と共有する表示位置情報共有部と、前記コンテンツデータと前記表示位置の情報とに基づいて、前記立体物を表示する表示画面を表示する表示制御部と、を有する。
本発明の一実施形態によれば、通信ネットワークを介して他の通信端末とコンテンツデータを共有する会議において、立体物を複数の方向から記録したコンテンツデータを共有することを容易にする通信端末を提供することができる。
一実施形態に係る通信システムのシステム構成の例を示す図である。 一実施形態に係るコンピュータのハードウェア構成の例を示す図である。 一実施形態に係る通信端末のハードウェア構成の一例を示す図である。 一実施形態に係る通信端末のハードウェア構成の別の一例を示す図である。 第1の実施形態に係る通信端末の機能構成の例を示す図である。 第1の実施形態に係る共有処理の例を示すシーケンス図である。 第1の実施形態に係る表示画面のイメージを示す図である。 第2の実施形態に係る操作権の取得処理の例を示すシーケンス図である。 第2の実施形態に係る表示画面のイメージを示す図である。 第3の実施形態に係る通信端末の機能構成の例を示す図である。 第3の実施形態に係る共有処理の例を示すシーケンス図である。 第3の実施形態に係るモデルデータについて説明するための図である。 第4の実施形態に係る共有処理の例を示すシーケンス図である。 第4の実施形態に係る表示画面のイメージを示す図である。
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
<システム構成>
図1は、一実施形態に係る通信システムのシステム構成の例を示す図である。通信システム100は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク101を介して、互いに通信可能に接続される複数の通信端末110を含む。
通信端末110は、通信ネットワーク101を介して他の通信端末110と、例えば、通話用の映像データ及び音データ、共有用のコンテンツデータ等を送受信するビデオ会議で用いられる。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等とも呼ばれる。また、通信端末110には、例えば、電子黒板110a、ビデオ会議端末110b、情報端末110c等が含まれ得る。
通信端末110は、例えば、通信管理システム120等のサーバを介して、1つ以上の他の通信端末110とビデオ会議を行う。ただし、これに限られず、通信端末110は、通信管理システム120を介さずに、他の通信端末110とビデオ会議を行うものであっても良い。
電子黒板110aは、例えば、通話用の映像データ及び音データ、共有用のコンテンツデータ、及びストロークデータ等を相互に通信する通信端末110であり、IWB(Interactive White Board)とも呼ばれる。通話用の映像データ及び音データには、例えば、カメラで撮影した利用者の映像、及びマイクで収音した利用者の音声等が含まれる。
共有用のコンテンツデータには、複数の通信端末110の間で共有する、例えば、資料データ、映像データ、静止画像データ等が含まれ得る。本実施形態では、共有用のコンテンツデータに、立体物を複数の方向から撮影した映像データ、又は当該映像データを3次元モデル化したモデルデータ(電子データ)等が含まれるものとする。
ストロークデータは、利用者が、電子ペンや人の手等で、電子黒板110aのディスプレイ上に接触して移動させることによって描画された画像(以下、ストローク画像と呼ぶ)を表す電子データ(座標情報、線種情報等)である。例えば、一方の電子黒板110aでストローク画像が描画された場合、このストロークデータが他方の電子黒板110aに送信されることにより、他方の電子黒板110aでも同じストローク画像が描画される。
ビデオ会議端末110bは、例えば、通話用の映像データ及び音データ、共有用のコンテンツデータ等を相互に通信する通信端末110である。また、ビデオ会議端末110bは、例えば、通信機能を有していない電子黒板等を接続して、ストロークデータを送受信する機能を有していても良い。さらに、ビデオ会議端末110bは、PC(Personal Computer)等を接続して、PCから共有用のコンテンツデータを取得する機能を有しても良い。
情報端末110cは、例えば、PC、タブレット端末、スマートフォン等の汎用の情報処理装置である。情報端末110cは、例えば、通信システム100に対応するアプリケーションプログラムを実行することにより、通話用の映像データ及び音データ、共有用のコンテンツデータ、ストロークデータ等を送受信する通信端末110として機能する。
通信管理システム120は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムであり、例えば、通信端末110のログイン認証、通信(セッション)の管理、通信データの中継等を行う。なお、本実施形態では、通信管理システム120はオプションであり、必須ではない。また、通信管理システム120は、既存の通信管理システムを流用することを想定しているので、ここでは、通信管理システム120の詳細な説明は省略する。
上記のような通信システム100において、複数の通信端末110の間で、例えば、模型、試作品等の立体物を複数の方向から撮影した撮影データ(コンテンツデータの一例)を共有して、会議を行いたいという要求がある。
しかし、例えば、特許文献1に示すような従来の技術では、立体物が有する、上下、左右、裏表等の複数の情報を共有するためには、立体物を撮影するカメラと立体物との間の位置関係を変えながら、キャプチャと共有を繰り返さなければならないという問題がある。
また、例えば、立体物を撮影した映像データを共有し、共有した映像データを再生しながら立体物について説明を行う方法も考えられるが、この方法では、説明する側と、説明を受ける側とで見ているポイント(側面等)が一致しない場合がある。
このような問題を解決するため、本実施形態に係る通信端末110は、例えば、立体物を複数の方向から連続的に記録した映像データ(コンテンツデータの一例)と、映像データの再生位置を示す情報(表示位置の情報の一例)とを、他の通信端末110と共有する。また、通信端末110は、上記の映像データと再生位置を示す情報とに基づいて、上記の立体物を表示する表示画面を表示する。
好ましくは、通信端末110は、表示画面に、上記の映像データの再生位置を指定するシークバー(表示要素の一例)を表示し、シークバーで指定された再生位置に基づいて映像データを表示画面に表示する。このとき、シークバーで指定された再生位置を示す情報は、他の通信端末110と共有されているので、他の通信端末110においても、シークバーで指定された再生位置に基づいて、立体物を表示する表示画面を表示することができる。
このように、本実施形態によれば、通信ネットワーク101を介して他の通信端末110とコンテンツデータを共有する会議において、立体物を複数の方向から記録したコンテンツデータを共有することを容易にする通信端末110を提供することができる。
<ハードウェア構成>
続いて、本実施形態に係る各装置のハードウェア構成の例について説明する。
(情報端末、及び通信管理システムのハードウェア構成)
情報端末110c、及び通信管理システム120は、例えば、図2に示すようなコンピュータ200のハードウェア構成を有している。或いは、通信管理システム120は、複数のコンピュータ200によって構成される。
図2は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ200は、例えば、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、HD(Hard Disk)204、HDD(Hard Disk Drive)コントローラ205、ディスプレイ206、外部機器接続I/F(Interface)207、ネットワークI/F208、キーボード209、ポインティングデバイス210、DVD−RW(Digital Versatile Disk ReWritable)ドライブ212、メディアI/F214、及び、バスライン215等を備えている。
これらのうち、CPU201は、コンピュータ200の全体の動作を制御する演算装置である。ROM202は、IPL(Initial Program Loader)等のコンピュータ200の起動に用いられるプログラムを記憶する不揮発性のメモリである。RAM203は、CPU201のワークエリア等として使用される揮発性のメモリである。HD204は、OS(Operating System)やアプリケーション等のプログラムや、各種のデータ等を記憶する大容量の記憶装置である。HDDコントローラ205は、CPU201の制御に従ってHD204に対する各種データの読み出し又は書き込みを制御する。
ディスプレイ206は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F207は、各種の外部機器を接続するためのインタフェースである。ネットワークI/F208は、通信ネットワーク101を利用してデータ通信をするための通信インタフェースである。キーボード209は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス210は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。
DVD−RWドライブ212は、DVD−RW211に対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD−RWドライブ212は、DVD−RW211以外のディスクに対するデータの読み出し又は書き込み(記憶)を制御しても良い。メディアI/F214は、フラッシュメモリ等のメディア213に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン215は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
(通信端末のハードウェア構成)
図3は、一実施形態に係る通信端末のハードウェア構成の一例を示す図である。ここでは、通信端末110の一例であるビデオ会議端末110bのハードウェア構成の例について説明する。
ビデオ会議端末110bは、コンピュータの構成を含み、例えば、CPU301、ROM302、RAM303、フラッシュメモリ304、及びSSD(Solid State Drive)305等を有する。また、ビデオ会議端末110bは、メディアI/F307、操作ボタン308、電源スイッチ309、ネットワークI/F(Interface)311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、及び音入出力I/F316等を有する。さらに、ビデオ会議端末110bは、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319用のアンテナ319a、及びバス310等を有する。なお、カメラ321、マイク314、スピーカ315等は、ビデオ会議端末110bの外部に設けられていても良いし、ビデオ会議端末110bの内部に設けられていても良い。
CPU301は、例えば、ROM302や、フラッシュメモリ304等からプログラムやデータを読出し、処理を実行することで、ビデオ会議端末110bが備える各機能を実現する演算装置である。ROM302は、例えば、IPL等のビデオ会議端末110bの起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM303は、CPU301のワークエリア等として利用される揮発性のメモリである。
フラッシュメモリ304は、例えば、OS、アプリケーションプログラム、及び各種のデータ等を記憶するストレージデバイスである。SSD305は、CPU301の制御に従ってフラッシュメモリ304に対する各種データの読み出し、書き込みを制御する。メディアI/F307は、例えば、メモリカード等のメディア306に対するデータの読み出し又は書き込み(記憶)を制御する。
操作ボタン308は、ビデオ会議端末110bの利用者の入力操作を受け付ける入力装置である。電源スイッチ309は、ビデオ会議端末110bの電源のオン/オフを切り替えるためのスイッチである。ネットワークI/F311は、通信ネットワーク101を利用して通信するための通信インタフェースである。
カメラ312は、CPU301の制御に従って被写体を撮像するための撮像装置である。撮像素子I/F313は、カメラ312による撮像を制御すると共に、撮像したデータを所定の画像データ(映像データ)に変換する。マイク314は、取得した音を電気信号に変換する。スピーカ315は、音信号を音に変換して出力する。音入出力I/F316は、マイク314及びスピーカ315による音の入出力を制御する。
ディスプレイI/F317は、CPU301の制御に従って、ディスプレイ320に画像データを出力する。外部機器接続I/F318は、各種の外部機器を接続するためのインタフェースである。近距離通信回路319は、アンテナ319aを介して、近距離無線通信を行う通信回路である。バス310は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
図4は、一実施形態に係る通信端末のハードウェア構成の別の一例を示す図である。ここでは、通信端末110の別の一例である電子黒板110aのハードウェア構成の例について説明する。
電子黒板110aは、CPU401、ROM402、RAM403、SSD404、ネットワークI/F405、及び、外部機器接続I/F406等を備えている。これらのうち、CPU401は、電子黒板110a全体の動作を制御する演算装置である。ROM402は、IPL等の電子黒板110aの起動に用いられるプログラムを記憶する不揮発性のメモリである。RAM403は、CPU401のワークエリアとして使用される揮発性のメモリである。SSD404は、電子黒板110a用のプログラムや各種データを記憶する大容量の記憶装置である。
ネットワークI/F405は、電子黒板110aを通信ネットワーク101に接続し、通信を行うための通信インタフェースである。外部機器接続I/F406は、各種の外部機器を接続するためのインタフェースである。図4の例では、外部機器には、例えば、USB(Universal Serial Bus)メモリ431、マイク432、スピーカ433、カメラ434等が含まれる。
また、電子黒板110aは、キャプチャデバイス411、GPU(Graphics Processing Unit)412、ディスプレイコントローラ413、接触センサ414、センサコントローラ415、電子ペンコントローラ416、近距離通信回路419、及び近距離通信回路419のアンテナ419a、電源スイッチ417及び選択スイッチ類418等を備えている。
これらのうち、キャプチャデバイス411は、外付けのPC450のディスプレイ等に表示されている表示画面等を、静止画、又は動画としてキャプチャ(取得)する。また、キャプチャデバイス411は、カメラ434で撮影した映像データ等をキャプチャする。
GPU412は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ413は、GPU412からの出力画像をディスプレイ460等へ出力するために画面表示の制御及び管理を行う。接触センサ414は、ディスプレイ460上に電子ペン440やユーザの手H等が接触したことを検知する。センサコントローラ415は、接触センサ414の処理を制御する。
接触センサ414は、例えば、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ460の上側両端部に設置された2つ受発光装置が、ディスプレイ460に平行して複数の赤外線を放射し、ディスプレイ460の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ414は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ415に出力し、センサコントローラ415が、物体の接触位置である座標位置を特定する。電子ペンコントローラ416は、電子ペン440と通信することで、ディスプレイ460へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路419は、アンテナ419aを介して、近距離無線通信を行う通信回路である。
電源スイッチ417は、電子黒板110aの電源のオン/オフを切り換えるためのスイッチである。選択スイッチ類418は、例えば、ディスプレイ460の表示の明暗や色合い等を調整するためのスイッチ群である。
さらに、電子黒板110aは、バスライン420を備えている。バスライン420は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
なお、接触センサ414は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル等を用いても良い。また、接触センサ414は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いても良い。さらに、電子ペンコントローラ416が、電子ペン440のペン先及びペン尻だけでなく、電子ペン440のユーザが握る部分や、その他の電子ペンの部分におけるタッチの有無を判断するようにしても良い。
[第1の実施形態]
<機能構成>
図5は、第1の実施形態に係る通信端末の機能構成の例を示す図である。通信端末110は、例えば、通信部501、会議制御部502、コンテンツデータ取得部503、データ共有部504、表示位置情報共有部505、表示制御部506、及び記憶部507等を有している。
例えば、通信端末110が電子黒板110aである場合、電子黒板110aは、図4のCPU401で所定のプログラムを実行することにより、上記の各機能構成を実現している。また、通信端末110がビデオ会議端末110bである場合、ビデオ会議端末110bは、図3のCPU301で所定のプログラムを実行することにより、上記の各機能構成を実現している。さらに、通信端末110が情報端末110cである場合、情報端末110cは、図2のCPU201で、通信システム100用のアプリケーションプログラムを実行することにより、上記の各機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部はハードウェアによって実現されるものであっても良い。また、ここでは、一例として、通信端末110がビデオ会議端末110bであるものとして以下の説明を行う。
通信部501は、例えば、図3のネットワークI/F311等を用いて、通信端末110を通信ネットワーク101に接続し、他の通信端末110や通信管理システム120等と通信を行う。
会議制御部502は、例えば、利用者の操作や、他の通信端末110から受信した要求情報等に応じて、ビデオ会議(以下、会議と呼ぶ)に関する様々な制御を行う。例えば、会議制御部502は、会議の開始及び終了、通話用の映像データ及び音データの送受信、コンテンツデータの共有、ストロークデータの送受信等を制御する。
コンテンツデータ取得部503は、例えば、図3のカメラ312等を用いて、立体物を複数の方向から撮影した映像データを取得する。なお、立体物を複数の方向から撮影した映像データは、立体物を複数の方向から記録したコンテンツデータの一例である。例えば、立体物を複数の方向から記録したコンテンツデータは、立体物を3次元モデル化したモデルデータ等であっても良い。また、コンテンツデータ取得部503は、例えば、図3の外部機器接続I/F318、ネットワークI/F311等を用いて、カメラ312以外の外部装置からコンテンツデータを取得しても良い。
データ共有部504は、立体物を複数の方向から記録したコンテンツデータを、会議に参加している他の通信端末110と共有する。例えば、データ共有部504は、コンテンツデータ取得部503が取得したコンテンツデータを、会議に参加している他の通信端末110に送信する。また、データ共有部504は、会議に参加している他の通信端末110から受信したコンテンツデータを、記憶部507等に記憶して管理する。
表示位置情報共有部505は、データ共有部504が、会議に参加している他の通信端末110と共有するコンテンツデータの表示位置の情報を、他の通信端末110と共有する。
例えば、表示位置情報共有部505は、データ共有部504が、コンテンツデータ取得部503が取得した映像データを他の通信端末110と共有している場合、映像データの再生位置を示す情報(シーク位置の情報等)を、他の通信端末110に送信する。また、表示位置情報共有部505は、データ共有部504が、他の通信端末110から受信した映像データを共有している場合、他の通信端末110から送信される再生位置を示す情報を受信する。
なお、表示位置情報共有部505は、データ共有部504が、立体物を複数の方向から3次元モデル化したモデルデータを他の通信端末110と共有している場合、立体物を表示する視点の位置を示す情報(座標情報等)を、他の通信端末110と共有する。
表示制御部506は、他の通信端末110と共有するコンテンツデータと表示位置の情報とに基づいて、立体物を表す表示画面を表示する。
例えば、表示制御部506は、データ共有部504が、映像データを他の通信端末110と共有している場合、当該映像データのうち、表示位置の情報が示すシーク位置の画像を表示画面に表示する。また、表示制御部506は、データ共有部504が、立体物を3次元モデル化したモデルデータを他の通信端末110と共有している場合、当該モデルデータを用いて、表示位置の情報が示す視点から見た、モデル化した立体物の画像を表示画面に表示する。
記憶部507は、例えば、CPU301で実行されるプログラム、及びフラッシュメモリ304、RAM303等によって実現され、他の通信端末110と共有するコンテンツデータ、表示位置の情報等を含む様々な情報やデータを記憶する。
なお、図5に示す通信端末110の機能構成は一例である。例えば、図5の例では、会議制御部502が、利用者の操作を受け付けることを想定しているが、通信端末110は、会議制御部502とは別に操作受付部を有していても良い。また、表示位置情報共有部505の機能は、データ共有部504に含まれていても良い。さらに、記憶部507は、通信端末110の外部の記憶装置(例えば、USBメモリ、ストレージサーバ等)によって実現されるものであっても良い。
<処理の流れ>
続いて、本実施形態に係る通信方法の処理の流れについて説明する。
図6は、第1の実施形態に係る共有処理の例を示すシーケンス図である。この図は、例えば、図5に示す機能構成を有する通信端末110−1と通信端末110−2との間でビデオ会議をしているときに、通信端末110−1を利用するユーザAが、立体物を複数の方向から撮影した映像データを共有する場合に実行される共有処理の例を示している。
なお、図6に示す処理の開始時点において、通信端末110−1と通信端末110−2とは、通信ネットワーク101を介して、通話用の映像データ及び音データを送受信するビデオ会議を行っているものとする。なお、通信端末110−1と通信端末110−2とは、通信管理システム120を介して相互に通信を行うものであっても良いし、通信管理システム120を介さずに、相互に通信を行うものであっても良い。
ステップS601において、通信端末110−1と通信端末110−2との間でビデオ会議中に、通信端末110−1を利用するユーザAが、通信端末110−1に対して共有開始操作を行うと、ステップS602以降の処理が実行される。
ステップS602、S603において、通信端末110−1の会議制御部502は、コンテンツデータ取得部503に対して、カメラ312等で撮影した映像データのキャプチャの開始と終了を要求する。このとき、例えば、利用者は、対象となる立体物が複数の方向から撮影されるように、カメラ312、又は立体物を連続的に移動させる。
ここで、キャプチャの開始から終了までの時間は、後述する表示位置の指定を容易にするため、例えば、10秒程度の比較的短い時間を想定している。ただし、これに限られず、キャプチャの開始から終了までの時間は、10秒以上の比較的長い時間であっても良い。
なお、ステップS602、S603の処理は一例である。例えば、コンテンツデータ取得部503は、記憶部507や外部装置等に予め記憶した映像データ等を取得するものであっても良い。
ステップS604、S605において、通信端末110−1の会議制御部502は、データ共有部504を介して、キャプチャした映像データを、会議に参加している他の通信端末110−2に送信する。
ステップS606において、通信端末110−2のデータ共有部504は、通信端末110−1から受信した映像データを記憶部507等に記憶する。
ステップS607、S608において、通信端末110−1のデータ共有部504は、キャプチャした映像データの共有が完了したことを示す共有通知を、会議制御部502、表示制御部506等に通知する。
ステップS609において、通信端末110−1の表示制御部506は、例えば、図7に示すような共有画面を表示する。
図7は、第1の実施形態に係る表示画面のイメージを示す図である。通信端末110−1の表示制御部506は、図6のステップS609において、図7に示すような表示画面710を、例えば、ディスプレイ320等に表示する。図7の例では、表示画面710には、共有画面711、他の通信端末110−2等の利用者の映像712、及び通信端末110−1の利用者の映像713等が表示されている。
共有画面711には、例えば、図6のステップS602、S603でキャプチャした映像データに基づく立体物714の画像と、映像データの再生位置を指定するシークバー715とが表示されている。なお、シークバー715は、映像データの再生位置を指定する表示要素の一例である。
ここで、図6に戻り、シーケンス図の説明を続ける。
ステップS609において、通信端末110−1の表示制御部506が、共有画面711を表示すると、例えば、ステップS621において、ユーザAによる共有終了操作を受け付けるまで、ステップS611〜S616の処理が繰り返し実行される。
ステップS611において、通信端末110−1の会議制御部502が、ユーザAによる再生位置の指定操作を受け付ける。ユーザAは、例えば、図7に示す共有画面711において、シークバー715の位置を左右に移動させること等により、映像データの再生位置を指定する。
ステップS612において、通信端末110−1の会議制御部502は、再生位置の指定操作を受け付けると、受け付けた再生位置の情報を表示制御部506に通知する。これにより、ステップS613において、表示制御部506は、指定された再生位置を共有画面711に表示する。
ステップS614、S615において、通信端末110−1の会議制御部502は、ステップS612の処理と並行して、受け付けた再生位置の情報を、表示位置情報共有部505を介して、会議に参加している他の通信端末110−2に送信する。
ステップS616において、通信端末110−2の表示制御部506は、ステップS606で記憶部507等に記憶した映像データと、ステップS615で受信した再生位置の情報に基づいて、指定された再生位置を表示する共有画面を表示する。これにより、例えば、図7に示すように、通信端末110−2が表示する表示画面720には、通信端末110−1が表示している共有画面711と同様の共有画面721が表示される。ただし、通信端末110−2が表示する共有画面721には、シークバー715が表示されていない。
なお、通信端末110−1と通信端末110−2とが参加している会議に、他の通信端末110−3が参加している場合、通信端末110−1は、会議に参加している他の通信端末110−3にも、共有する映像データ及び再生位置の情報を送信する。これにより、例えば、図7に示すように、通信端末110−3が表示する表示画面730にも、通信端末110−1が表示している共有画面711と同様の共有画面731が表示される。
上記の処理により、通信端末110−1は、1回のキャプチャ操作で、立体物714が有する、例えば、上下、左右、裏表等の複数の情報を共有しながら、会議を行うことができるようになる。また、本実施形態によれば、立体物714について説明する側と、説明を受ける側とで、立体物714の同じ表示位置(例えば、側面等)を見ながら、会議を行うことができるようになる。
[第2の実施形態]
第2の実施形態では、例えば、通信端末110−1側から共有した映像データの再生位置を、会議に参加している他の通信端末110−2側から指定する場合の処理の例について説明する。
図8は、第2の実施形態に係る操作権の取得処理の例を示すシーケンス図である。なお、図8に示す処理の開始時点において、図6のステップS601〜S609、及びステップS611〜S616の処理が、既に実行されているものとする。
ステップS801において、通信端末110−2を利用するユーザBが、操作権の取得操作を行うものとする。例えば、ユーザBは、図9(A)に示すような、通信端末110−2が表示する表示画面720において、メニュー画面901を表示させて、「シーク操作」902を選択することにより、操作権の取得操作を行う。
ステップS802において、通信端末110−2の表示位置情報共有部505は、ユーザBによる操作権の取得操作を受け付けると、通信端末110−1に操作権の取得要求を送信する。
ステップS803において、通信端末110−1の通信部501は、通信端末110−2から受信した操作権の取得要求を、表示位置情報共有部505に通知する。
このとき、通信端末110−1の表示位置情報共有部505が、他の通信端末110−3等からの要求を処理中である場合、ステップS811〜S813の処理が実行される。一方、通信端末110−1の表示位置情報共有部505が、他の通信端末110−3等からの要求を処理中でない場合、ステップS821以降の処理が実行される。
例えば、他の通信端末110−3等からの要求を処理中である場合、通信端末110−1の表示位置情報共有部505は、ステップS811、S812において、操作権の取得を拒否する拒否通知を、要求元の通信端末110−2に送信する。また、ステップS813において、通信端末110−2の表示位置情報共有部505は、拒否通知を受け付けると、通信端末110−2の表示制御部506を用いて、操作権を取得できないことを示す表示画面を表示する。
一方、他の通信端末110−3等からの要求を処理中でない場合、通信端末110−1の表示位置情報共有部505は、ステップS821において、操作権の取得要求を受け付けたことを示す取得要求の受付通知を、表示制御部506に通知する。
ステップS822において、通信端末110−1の表示制御部506は、例えば、図9(B)に示すような問い合わせ画面903を、ディスプレイ320等に表示する。図9(B)の例では、通信端末110−1の表示制御部506が表示する表示画面710には、操作権の取得を許可する「OK」ボタンと、操作権の取得を拒否する「NG」ボタンとを選択可能に表示する問い合わせ画面903が表示されている。
ステップS823において、ユーザAが許可操作(「OK」ボタンを押下)を行うと、ステップS824以降の処理が実行される。一方、ユーザAが拒否操作(「NG」ボタンを押下)を行うと、ステップS811〜S813と同様の処理が実行される。
ステップS824において、通信端末110−1の会議制御部502は、許可操作を受け付けると、表示位置情報共有部505に、許可操作を受け付けたことを示す許可通知を通知する。
ステップS825、S826において、通信端末110−1の表示位置情報共有部505は、通信部501を介して、通信端末110−2に許可通知を送信する。この許可通知には、例えば、現在の表示位置を示す情報等が含まれていても良い。
ステップS827において、通信端末110−2の表示制御部506は、通信端末110−1から送信された許可通知を受け付けると、例えば、図9(C)に示すような共有画面904を含む表示画面720を、ディスプレイ320等に表示する。図9(C)の例では、通信端末110−2の表示制御部506が表示する共有画面904には、映像データの再生位置を指定するシークバー905が表示されている。
ステップS828において、ユーザBが、共有画面904のシークバー905を用いて、再生位置の指定操作を行うと、ステップS829以降の処理が実行される。
ステップS829において、通信端末110−2の表示制御部506は、映像データの指定された再生位置を共有画面904に表示する。
ステップS830において、通信端末110−2は、ユーザBによる指定操作で指定された再生位置の情報を、通信端末110−1に送信する。
ステップS831、S832において、通信端末110−1の表示位置情報共有部505は、通信部501を介して通信端末110−2から受信した再生位置の情報を、表示制御部506に通知する。
ステップS833において、通信端末110−1の表示制御部506は、共有している映像データと、表示位置情報共有部505から通知された再生位置の情報とに基づいて、指定された再生位置を表示する共有画面906を、ディスプレイ320等に表示する。なお、ここで通信端末110−1が表示する共有画面906には、シークバー905が表示されていない。
なお、通信端末110−1と通信端末110−2とが参加している会議に、他の通信端末110−3が参加している場合、通信端末110−2は、会議に参加している他の通信端末110−3にも、共有する映像データ及び再生位置の情報を送信する。これにより、例えば、図9(C)に示すように、通信端末110−3が表示する表示画面730にも、通信端末110−1が表示している共有画面906と同様の共有画面907が表示される。
上記の処理により、通信端末110は、他の通信端末110がコンテンツデータの共有元である場合、他の通信端末から表示位置を指定する権利を取得して、映像データの再生位置を指定することができる。
[第3の実施形態]
第3の実施形態では、複数の通信端末110が共有する、立体物を複数の方向から記録したコンテンツデータが、立体物を3次元モデル化したモデルデータ(電子データ)である場合の例について説明する。
<機能構成>
図10は、第3の実施形態に係る通信端末の機能構成の例を示す図である。図10に示すように、第3の実施形態に係る通信端末110は、図5で説明した第1の実施形態に係る通信端末110の機能構成に加えて、モデル生成部1001を有している。
モデル生成部1001は、例えば、コンテンツデータ取得部503が取得した、立体物を複数の方向から撮影した映像データから、立体物の形状を表す3次元のモデルデータ(電子データ)を生成する。なお、本実施形態では、モデルデータの作成方法については、既存の技術を流用することを想定している。
また、本実施形態では、データ共有部504は、モデル生成部1001が生成した、立体物を3次元モデル化したモデルデータを、他の通信端末110−2と共有する。さらに、本実施形態では、立体物の表示位置の情報として、モデル化した立体物を表示する視点の位置を示す情報(座標情報等)を、他の通信端末110−2と共有する。
なお、第3の実施形態に係る通信端末110の機能構成については、第1の実施形態に係る通信端末110の機能構成と同様で良い。
<処理の流れ>
図11は、第3の実施形態に係る共有処理の例を示すシーケンス図である。この図は、例えば、図10に示す機能構成を有する通信端末110−1と通信端末110−2との間でビデオ会議をしているときに、通信端末110−1を利用するユーザAが、立体物を3次元モデル化したモデルデータを共有する場合に実行される共有処理の例を示している。
なお、図11に示す処理の開始時点において、通信端末110−1と通信端末110−2とは、通信ネットワーク101を介して、通話用の映像データ及び音データを送受信する会議を行っているものとする。また、ここでは、第1の実施形態と同様の処理に対する詳細な説明は省略する。
ステップS1101において、通信端末110−1と通信端末110−2との間でビデオ会議中に、通信端末110−1を利用するユーザAが、通信端末110−1に対して共有開始操作を行うと、ステップS1102、S1103の処理が実行される。
ステップS1102、S1103において、通信端末110−1の会議制御部502は、共有開始操作を受け付けると、コンテンツデータ取得部503に対して、カメラ312等で撮影した映像データのキャプチャの開始と終了を要求する。なお、ステップS1101〜S1103の処理は、第1の実施形態と同様で良い。
ここで、通信システム100のモデル共有設定が有効に設定されている場合、ステップS1111以降の処理が実行される。一方、通信システム100のモデル共有設定が無効に設定されている場合、図6のステップS604以降の処理が実行される。
ステップS1111において、通信端末110−1の会議制御部502は、モデル生成部1001を用いて、ステップS1102、S1103でキャプチャした映像データから、立体物を3次元モデル化したモデルデータを生成する。
図12(A)は、モデルデータのイメージを示している。例えば、立体物がサイコロ1201である場合、一例として、モデル生成部1001は、サイコロ1201の各面をサーフェスモデルで3次元モデル化して、モデルデータ1202を作成しても良い。ただし、これに限られず、モデル生成部1001は、ワイヤーフレームモデル、又はソリッドモデルで、サイコロ1201を3次元モデル化して、モデルデータ1202を作成しても良い。
ステップS1112、S1113において、通信端末110−1の会議制御部502は、データ共有部504を介して、生成したモデルデータを、会議に参加している他の通信端末110−2に送信する。
ステップS1114において、通信端末110−2のデータ共有部504は、通信端末110−1から受信したモデルデータを記憶部507等に記憶する。
ステップS1115、S1116において、通信端末110−1のデータ共有部504は、生成したモデルデータの共有が完了したことを示す共有通知を、会議制御部502、表示制御部506等に通知する。
ステップS1117において、通信端末110−1の表示制御部506は、立体物714を3次元モデル化したモデルデータに基づいて、通信端末110−1が表示する表示画面に、共有画面を表示する。なお、第1の実施形態に係る共有画面711では、シークバー715により、映像データの再生位置を指定していた。一方、第3の実施形態に係る共有画面では、例えば、図12(B)に示すような球面座標系において、モデル化した立体物を表示する視点1211の位置を示す座標情報等によって、立体物の表示位置を指定することができる。
通信端末110−1の表示制御部506が、共有画面を表示すると、例えば、ユーザAによる共有終了操作を受け付けるまで、ステップS1118〜S616の処理が繰り返し実行される。
ステップS1118において、通信端末110−1の会議制御部502が、ユーザAによる再生位置の指定操作を受け付ける。ユーザAは、例えば、共有画面に表示された立体物を、ドラッグ操作等により上下左右に回転させて、立体物の表示位置を指定する。
ステップS1119において、通信端末110−1の会議制御部502は、立体物の表示位置の指定を受け付けると、受け付けた表示位置の座標情報(例えば、立体物を表示する視点の座標情報等)を表示制御部506に通知する。これにより、ステップS1120において、表示制御部506は、指定された表示位置から見た立体物を、共有画面に表示する。
ステップS1121、S1122において、通信端末110−1の会議制御部502は、ステップS1119の処理と並行して、受け付けた表示位置の座標情報を、表示位置情報共有部505を介して、会議に参加している他の通信端末110−2に送信する。
ステップS1123において、通信端末110−2の表示制御部506は、ステップS1113で受信したモデルデータと、ステップS1122で受信した表示位置の座標情報とに基づいて、指定された表示位置から見た立体物を、共有画面に表示する。
このように、立体物を複数の方向から記録したコンテンツデータは、立体物を撮影した映像データに限られず、立体物を3次元モデル化したモデルデータ等であっても良い。
なお、図11に示す処理は一例である。例えば、図11のステップS1102、S1103、S1111において、会議制御部502は、立体物のモデルデータを生成する代わりに、記憶部507や外部装置等から、立体物を予め3次元モデル化したモデルデータを取得しても良い。
[第4の実施形態]
第4の実施形態では、例えば、360度カメラ等の画角が広いカメラで撮影した映像に含まれる立体物を選択して共有する場合の処理の例について説明する。ここで、360度カメラは、上下左右360度の動画を撮影可能なカメラであり、例えば、全天球カメラ、全方位カメラ等とも呼ばれる。
なお、第4の実施形態に係る通信端末110の機能構成は、例えば、図5に示した第1の実施形態に係る通信端末110の機能構成と同様で良い。
<処理の流れ>
図13は、第4の実施形態に係る共有処理の例を示すシーケンス図である。なお、基本的な処理の流れは、図1で説明した第1の実施形態に係る共有処理と同様なので、ここでは、第1の実施形態との相違点を中心に説明する。
ステップS601〜S603において、ユーザAが共有開始操作を行うと、第1の実施形態と同様に、通信端末110−1の会議制御部502は、コンテンツデータ取得部503を用いて、カメラ312で撮影した映像データをキャプチャする。ただし、第4の実施形態では、カメラ312が、例えば、360度カメラ等の画角が広いカメラであるものとする。
ステップS1301において、通信端末110−1の会議制御部502は、キャプチャが完了したことを示すキャプチャ完了通知を、表示制御部506に通知する。
ステップS1302において、通信端末110−1の表示制御部506は、例えば、図14に示すような共有領域の選択画面を表示する。
図14は、第4の実施形態に係る表示画面のイメージを示す図である。図14の例では、通信端末110−1の表示制御部506が表示する表示画面1400には、ステップS602、S603でキャプチャした映像を表示する共有領域の選択画面1401が表示されている。ユーザAは、この共有領域の選択画面1401から、共有の対象となる立体物714等を含む共有領域1402を、例えば、ドラッグアンドドロップ等の操作により選択することができる。
ステップS1303において、ユーザAが、例えば、図14に示すような共有領域の選択画面1401から、共有領域1402を選択する選択操作を行うと、ステップS1307以降の処理が実行される。
ステップS1307、S1308において、通信端末110−1の会議制御部502は、ステップS1303で選択された共有領域1402内の映像データを、データ共有部504を介して、会議に参加している他の通信端末110−2に送信する。
ステップ1309において、通信端末110−2のデータ共有部504は、通信端末110−1から受信した映像データを記憶部507等に記憶する。
ステップS1310、S1311において、通信端末110−1のデータ共有部504は、選択された共有領域1402内の映像データの共有が完了したことを示す共有通知を、会議制御部502、表示制御部506等に通知する。
ステップS1312において、通信端末110−1の表示制御部506は、選択された共有領域1402内の映像データに基づいて、共有画面を表示する。これにより、第1の実施形態と同様に、例えば、図7に示すような共有画面711が表示される。
これにより、ステップS1313において、例えば、図6のステップS611〜S616に示すような表示位置の指定処理を実行することができる。
なお、上記の例では、カメラ312が360度カメラであるものとして説明を行ったが、本実施形態は、360°カメラの映像データに限られず、映像データの撮影範囲の一部を選択的に共有する場合に、広く適用することができる。
以上、本発明の各実施形態によれば、通信ネットワーク101を介して他の通信端末110とコンテンツデータを共有する会議において、立体物を複数の方向から記録したコンテンツデータを共有することを容易にする通信端末110を提供することができる。
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
100 通信システム
101 通信ネットワーク
110 通信端末
503 コンテンツデータ取得部
504 データ共有部
505 表示位置情報共有部
506 表示制御部
710 表示画面
715 シークバー(表示要素の一例)
1211 視点
特開2015−52896号公報

Claims (10)

  1. 通信ネットワークを介して他の通信端末とコンテンツデータを共有する通信端末であって、
    立体物を複数の方向から記録した前記コンテンツデータを前記他の通信端末と共有するデータ共有部と、
    前記コンテンツデータの表示位置の情報を前記他の通信端末と共有する表示位置情報共有部と、
    前記コンテンツデータと前記表示位置の情報とに基づいて、前記立体物を表す表示画面を表示する表示制御部と、
    を有する、通信端末。
  2. 前記コンテンツデータは、前記立体物を複数の方向から撮影した映像データを含み、
    前記表示位置の情報は、前記映像データの再生位置を示す情報を含む、請求項1に記載の通信端末。
  3. 前記コンテンツデータは、前記立体物をモデル化した電子データを含み、
    前記表示位置の情報は、モデル化した前記立体物を表示する視点の位置を示す情報を含む、請求項1に記載の通信端末。
  4. 前記表示制御部は、前記表示画面に前記表示位置を指定するための表示要素を表示し、
    前記表示要素で指定された表示位置から前記立体物を表す前記表示画面を表示する、請求項1乃至3のいずれか一項に記載の通信端末。
  5. 前記表示位置情報共有部は、前記他の通信端末が前記コンテンツデータの共有元である場合、前記他の通信端末から前記表示位置を指定する権利を取得する機能を有し、
    前記表示制御部は、前記表示位置情報共有部が前記表示位置を指定する権利を有している場合、前記表示画面に前記表示要素を表示する、請求項4に記載の通信端末。
  6. 前記立体物を撮影した映像データを取得するコンテンツデータ取得部を有し、
    前記データ共有部は、前記映像データの撮影範囲のうち、選択された領域内の映像データを前記他の通信端末と共有する、請求項1乃至5のいずれか一項に記載の通信端末。
  7. 前記コンテンツデータ取得部は、360度カメラが撮影した前記映像データを取得する、請求項6に記載の通信端末。
  8. 通信ネットワークを介して複数の通信端末がコンテンツデータを共有する通信システムであって、
    前記通信端末は、
    立体物を複数の方向から記録した前記コンテンツデータを他の通信端末と共有するデータ共有部と、
    前記コンテンツデータの表示位置の情報を前記他の通信端末と共有する表示位置情報共有部と、
    前記コンテンツデータと前記表示位置の情報とに基づいて、前記立体物を表す表示画面を表示する表示制御部と、
    を有する、通信システム。
  9. 通信ネットワークを介して他の通信端末とコンテンツデータを共有する通信端末が、
    立体物を複数の方向から記録した前記コンテンツデータを前記他の通信端末と共有する処理と、
    前記コンテンツデータの表示位置の情報を前記他の通信端末と共有する処理と、
    前記コンテンツデータと前記表示位置の情報とに基づいて、前記立体物を表す表示画面を表示する処理と、
    を実行する、通信方法。
  10. 請求項9に記載の通信方法を通信端末に実行させるプログラム。
JP2020086311A 2020-05-15 2020-05-15 通信端末、通信システム、通信方法、及びプログラム Pending JP2021179933A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020086311A JP2021179933A (ja) 2020-05-15 2020-05-15 通信端末、通信システム、通信方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020086311A JP2021179933A (ja) 2020-05-15 2020-05-15 通信端末、通信システム、通信方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2021179933A true JP2021179933A (ja) 2021-11-18

Family

ID=78511655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020086311A Pending JP2021179933A (ja) 2020-05-15 2020-05-15 通信端末、通信システム、通信方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2021179933A (ja)

Similar Documents

Publication Publication Date Title
EP3047356B1 (en) Configuration of a touch screen display for conferencing
JP6292797B2 (ja) 携帯端末及びその動画像通話サービス運用方法
JP6798288B2 (ja) 通信端末、通信システム、映像出力方法、及びプログラム
CN111045511B (zh) 基于手势的操控方法及终端设备
JP6071372B2 (ja) 電子機器及び電子機器の制御方法
KR102072509B1 (ko) 그룹 리코딩 방법, 저장 매체 및 전자 장치
JP2015176371A (ja) 電子機器、触感制御方法及びプログラム
JP6289100B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20180098166A (ko) 가상 감성 터치를 위한 시스템들 및 방법들
JP6720513B2 (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP2015225400A (ja) 通信システム、転送制御装置、通信方法およびプログラム
JP2019159261A (ja) 電子黒板、映像表示方法、プログラム
JP6231702B2 (ja) ビデオ増進された写真ブラウジングのための装置、方法、及びコンピュータ・プログラム製品
CN113508354A (zh) 显示环境的表示
JP2021179933A (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2022027242A (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2016225875A (ja) 移動装置操作端末、移動装置操作方法及び移動装置操作プログラム
US20150215530A1 (en) Universal capture
WO2019104533A1 (zh) 一种视频播放方法及装置
JP2016009315A (ja) 触感制御装置、触感制御方法及びプログラム
JP2022155135A (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
CN110431513B (zh) 媒体内容发送方法、装置及存储介质
JP6776905B2 (ja) 通信端末、通信システム、表示制御方法、及びプログラム
JP6433144B2 (ja) 電子機器、触感制御方法及びプログラム
JP7434825B2 (ja) 中継装置、通信システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618