JP2018515979A - 通信処理方法及び電子装置 - Google Patents

通信処理方法及び電子装置 Download PDF

Info

Publication number
JP2018515979A
JP2018515979A JP2017556135A JP2017556135A JP2018515979A JP 2018515979 A JP2018515979 A JP 2018515979A JP 2017556135 A JP2017556135 A JP 2017556135A JP 2017556135 A JP2017556135 A JP 2017556135A JP 2018515979 A JP2018515979 A JP 2018515979A
Authority
JP
Japan
Prior art keywords
electronic device
communication state
video frame
communication
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017556135A
Other languages
English (en)
Inventor
チェン，シアオボ
シアン，ハン
ワン，シンリアン
リ，ビン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2018515979A publication Critical patent/JP2018515979A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は通信処理方法及び電子装置を開示し、前記方法は、第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行うことと、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることと、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御することと、を含む。【選択図】図１

Description

本発明は情報処理分野の通信管理技術に関し、特に通信処理方法及び電子装置に関する。
技術の発展に伴い、ネットワーク電話（ＶＯＩＰ：Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に基づく現在の音声インタラクション製品において、通話の参加者全員が単に音声通話だけを行うか、それとも単にビデオ通話だけを行い、しかも、基本的にビデオ通話を閉じると共に、今回の通話もまるごと閉じられている。このようなビデオ通話のコミュニケーション方式には以下の二つの欠点がある。第１に、片方により一方的にビデオをシェアすることができない。例えば、双方のうち、片方が相手側をビデオ通話に招待した場合、相手側がビデオ通話に応答さえすれば、自分のカメラが自動的に起動されてビデオフレームを収集し始める。当時、相手側が応答の都合がよくない場合、通常、招待側の招待を直接に拒否し、今回の通話を終了する。だが、このようなケースでは、招待側の意図は、相手側のビデオを同時に見る必要がなく、単に自分のビデオを相手側とシェアすることだけを望んでいる可能性がある。第２に、通話中、ビデオを実施するか否かを制御する主導権がない。例えば、いつ自分のビデオを開閉するかを随時に制御することができず、即ち、自分がビデオを起動する時に、通話の参加者は自分のビデオを見ることができるが、そうではない場合、自分がビデオを終了する時に、通話の参加者は自分のビデオを見ることができない。
そのため、先行技術においては、通話の参加者はビデオフレームをシェアするタイミングを主動的に制御することができず、サーバの処理リソースの使用を低減することができなく、通話双方の滑らかさ（流暢度）を保つことができない。
これを鑑みて、本発明の実施例は、通信処理方法及び電子装置を提供して、少なくとも先行技術における上記の課題を解決することを目的とする。
本発明の実施例は通信処理方法を提供し、第１電子装置に適用し、前記方法は、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行うことと、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることと、
第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御することと、
を含む。
本発明の実施例はさらに、電子装置を提供し、
第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニットと、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニットと、
を含む。
本発明の実施例に提供されている通信処理方法及び電子装置は、ユーザが第１通信状態にある時に、音声データだけをインタラクションすることができ、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられる。このように、音声通信のインタラクションの過程において、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
本発明の実施例における通信処理方法フローを示す図である。 本発明の実施例における接続場面を示す図である。 本発明の実施例におけるビデオフレーム送信のインターフェースを示す図である。 本発明の実施例におけるビデオフレームの送信及び解析フローを示す図である。 本発明の実施例におけるビデオフレームのインタラクションのフローを示す図である。 本発明の実施例におけるビデオフレームのインタラクションを終了するフローを示す図である。 本発明の実施例におけるビデオフレームを二人で共有する操作インターフェースを示す図である。 本発明の実施例におけるビデオフレームを複数の人で共有するフローを示す図である。 本発明の実施例におけるビデオフレームを複数の人で共有する操作インターフェースを示す図である。 本発明の実施例における電子装置の構成を示す第１の図である。 本発明の実施例における電子装置の構成を示す第２の図である。 本発明の実施例における電子装置の構成を示す第３の図である。
下記において、図面及び具体的な実施例を参照して、本発明の実施例をより詳しく説明する。
実施例１
本発明の実施例は通信処理方法を提供し、第１電子装置に適用し、図１に示すように、前記方法はステップ１１〜１３を含む。
ステップ１１において、前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行う。
ステップ１２において、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアする。
ステップ１３において、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御する。
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
好ましくは、ステップ１１を実施する前に、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
上記のステップ１２において、前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持することと、
少なくとも一つのビデオフレームを収集し、前記少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置に送信することと、
を含む。
ここで、前記少なくとも一つのビデオフレームは、少なくとも一つの画像情報を用いて、収集時刻に基づいて組み合わせして得られた少なくとも一つのビデオフレームであってもよい。
ここで、前記収集した少なくとも一つのビデオフレームは、カメラを起動し、カメラを介して周期的に収集したものであってもよい。ここで、前記周期は、カメラの性能によって設定してもよく、例えば、２ｍｓ毎に一回画像情報を収集して、一つのビデオフレームとするように設定してもよい。
好ましくは、本実施例において、第１操作又は第２操作に応答する前に、第１操作又は第２操作の検出も行い、具体的に、下記の通りである。
前記第１操作に応答する前に、前記方法はさらに、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定することを含む。
前記第２操作に応答する前に、前記方法はさらに、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定することを含む。
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。
前記タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルしたことを検出するまで、カメラを介して少なくとも一つのビデオフレームを収集して、少なくとも一つの第２電子装置に送信する。
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
実施例２
本発明の実施例は通信処理方法を提供し、第１電子装置を適用し、図１に示すように、前記方法は、ステップ１１〜１３を含む。
ステップ１１において、前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行う。
ステップ１２において、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアする。
ステップ１３において、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御する。
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
好ましくは、ステップ１１を実施する前に、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
本実施例と実施例１との相違点としては、上記ステップ１２において、前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
少なくとも一つの第２電子装置より送信された少なくとも一つのビデオフレームを受信することと、
少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することと、
を含む。
ここで、前記ビデオフレームを解析することは、第１電子装置がビデオの解析機能によってビデオフレームを解析し、一つ又は複数のビデオフレームに対応されている画像を得ることであってもよい。
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられることができる。このようにすれば、音声通信のインタラクションの時に、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
実施例３
本発明の実施例は通信処理方法を提供し、第１電子装置を適用し、図１に示すように、前記方法は、ステップ１１〜１３を含む。
ステップ１１において、前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行う。
ステップ１２において、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアする。
ステップ１３において、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御する。
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
好ましくは、ステップ１１を実施する前に、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
上記の二つの実施例との相違点としては、本実施例は一つの場面を提供し、該場面において、第１電子装置は、ビデオフレームを収集して送信するだけではなく、ビデオフレームを受信して表示することもできる。具体的に、下記の通りである。
上記ステップ１２において、前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つのビデオフレームを収集し、前記少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置に送信することと、
また、少なくとも一つの第２電子装置より送信された少なくとも一つのビデオフレームを受信し、第２電子装置より送信された少なくとも一つのビデオフレームを解析することと、
を含み、前記第２電子装置より送信されたビデオフレームを解析した後に、前記ビデオフレームをレンダリングして表示することもできる。
好ましくは、本実施例において、前記ビデオフレームを送信することは、
ビデオフレームのシェア要求をシグナリングサーバに送信することと、
前記シグナリングサーバによって前記ビデオフレームのシェア要求を少なくとも一つの第２電子装置に送信することと、
カメラを起動し、少なくとも一つの画像情報を収集し、前記画像情報をコーディングしてビデオフレームを得ることと、
ビデオフレームをデータサーバに送信することと、
前記データサーバより前記ビデオフレームを前記少なくとも一つの第２電子装置に転送することと、
を含み、ここで、前記シグナリングサーバは、ＶＯＩＰシグナリングサーバであってもよく、移動セルラネットワークのシグナリングサーバであってもよく、
前記データサーバは、ＶＯＩＰデータサーバであってもよく、又は移動セルラネットワーク内のデータサーバであってもよい。
好ましくは、本実施例において、ビデオフレーム、又は音声データに、対応するタイムスタンプをそれぞれ追加することによって、送信されたビデオフレーム及び音声データの受信端における同期を保証し、具体的に、音声データを収集した時に、音声データにタイムスタンプを追加し、ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加する。ここで、前記タイムスタンプは音声データ又はビデオフレームを収集した時刻であってもよい。
前記少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することは、
音声データ内の音声とタイムスタンプを解析し、ビデオフレームとそれに対応するタイムスタンプを解析することと、
解析されたタイムスタンプに基づいて、音声データとビデオフレームを出力するように制御することと、
を含む。
本実施例において、前記解析されたタイムスタンプに基づいて、音声データとビデオフレームを出力するように制御する方式は、同じタイムスタンプを有する音声データとビデオフレームとを同時に出力することであってもよい。
好ましくは、本実施例において、第１操作又は第２操作に応答する前に、第１操作又は第２操作の検出も行い、具体的に、下記の通りである。
前記第１操作に応答する前に、前記方法はさらに、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定することを含む。
前記第２操作に応答する前に、前記方法はさらに、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定することを含む。
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。本実施例において、前記第１タッチ操作エリアを押下してトリガーされる機能を「一瞥」操作と設定してもよい。
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルすることを検出するまで、カメラを介して少なくとも一つのビデオフレームを収集する。
さらに、本実施例において、前記少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
ビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信すること、
又は、
前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記ビデオフレームを前記ターゲット第２電子装置に送信すること、
を含む。
言い換えれば、第１電子装置は、複数の電子装置と音声データのインタラクションを行う第１通信状態の後に、第２通信状態に切り替えて、収集された画像を全ての第２電子装置に送信するように選択してもよく、複数の電子装置から一つのターゲット装置を選出して、画像を選出されたターゲット装置に送信してもよい。
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられることができる。このようにすれば、音声通信のインタラクションの時に、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
実施例４
本実施例において、シグナリングサーバとデータサーバがＶＯＩＰシグナリングサーバとＶＯＩＰデータサーバであることを例として、ビデオフレームの伝送操作を説明する。
図４に示すように、リアルタイムビデオの簡単な実現フローチャートを示しており、ここで、ＶＯＩＰシグナリングサーバは、主に通話過程における状態に対して制御と同期を行い、データサーバは、主にビデオ又は音声データに対して転送（透過伝送）を行い、下記、Ｍ１とＭ２という二つの装置の間でリアルタイムビデオを行うフローを説明し、ここで装置Ｍ１が第１電子装置であり、装置Ｍ２が第２電子装置である。
１．Ｍ１はカメラ装置を起動し、ビデオフレームを収集する。
２．ビデオコーデックエンジンは、Ｍ１より収集されたビデオフレームに対してエンコーディング処理を行う。
３．ビデオフレームをエンコーディングしてから、Ｍ１はそれに対してネットワークのパケット化を行い、ＵＤＰ方式でＶＯＩＰデータサーバに送信する。
４．ＶＯＩＰデータサーバは、ビデオフレームを装置Ｍ２に透過伝送する。
５．装置Ｍ２は、ビデオフレームを受信して解凍する。
６．ビデオコーデックエンジンは、ビデオフレームに対してデコーディング処理を行う。
７．装置Ｍ２は、デコーディングされたビデオフレームに対してレンダリングと表示を行う。
好ましくは、本実施例において、二つの電子装置の間の音声データとビデオフレームのインタラクション操作の例示、および１対多の電子装置の間の音声データとビデオフレームのインタラクション操作の例示をそれぞれ提供している。
例示１．二人の間の「一瞥」インタラクションは、リアルタイムビデオ技術に基づく遊び方であり、ここで、一つのボタン（類似な形式に限定されない）を提供し、ボタンを持続的に押下して相手側へのリアルタイムビデオの送信が始まり、ボタンを放すと、相手側へのリアルタイムビデオの送信が完了する。ユーザＡとユーザＢの間の「一瞥」インタラクションのフローを例として、４種類のインタラクションのケースが含まれ、図５に示すように、二人の間の「一瞥」は、リアルタイムビデオ技術に基づくものであり、ここで一つのボタンを提供し、ユーザＡが装置により提供されている表示インターフェースにより提供されている第１タッチ操作エリア、即ち一つのバーチャルボタンを持続的に押下した時に、「一瞥」操作がトリガーされ、言い換えれば、ユーザＢ、即ち第２電子装置にリアルタイム的に収集されたビデオフレームを送信する操作を開始するようにトリガーされる。それに対して、ボタンを放すと、「一瞥」操作が完了し、相手側へのリアルタイムビデオの送信を終了する。具体的に、下記のケースを含む。
ケース１は、一方向のビデオのシェアである。
１）〜２）ユーザＡがボタンを持続的に押下し、ビデオのシェア要求をＶＯＩＰシグナリングサーバに送信し、カメラを起動し、ビデオの収集を開始する。ここで、前記ボタンは、実際の状況に応じて設定されたボタンであってもよい。
３）ユーザＡがビデオのシェアを要求したことをＶＯＩＰシグナリングサーバよりユーザＢに通知する。
４）〜５）ユーザＡが収集されたリアルタイムビデオフレームをＶＯＩＰデータサーバに送信し、そしてＶＯＩＰデータサーバがビデオフレームをユーザＢに透過伝送する。
６）ユーザＢがユーザＡからのリアルタイムビデオフレームを受信してから、３）の通知を受信しているか否かをまずチェックし、受信した場合、ビデオフレームのレンダリングと表示を行う。
ケース２は、双方向のビデオのシェアである。
７）〜８）ケース１の上で、ユーザＢもビデオのシェア要求をＶＯＩＰシグナリングサーバに送信し、カメラを起動してビデオフレームを収集する。
９）ユーザＢが「一瞥」を開始したことをＶＯＩＰシグナリングサーバよりユーザＡに通知する。
１０）〜１１）ユーザＢが収集されたリアルタイムビデオフレームをＶＯＩＰデータサーバに送信し、そしてＶＯＩＰデータサーバがビデオフレームをユーザＡに透過伝送する。
１２）ユーザＡがユーザＢからのリアルタイムビデオフレームを受信してから、９）の通知を受信しているか否かをまずチェックし、受信した場合、ビデオフレームのレンダリングと表示を行う。このようにユーザＡとＢの間のリアルタイムビデオを同時的にシェアするフローが完了する。
ケース３は、片方がビデオのシェアを終了することである。
１３）〜１４）ユーザＡがボタンを放し、ＶＯＩＰシグナリングサーバにビデオのシェア終了要求を送信し、カメラのビデオフレームの収集を停止し、それと同時に、ＶＯＩＰデータサーバにはユーザＡからのビデオフレームをそれ以上受信することがない。
１５）ユーザＡがビデオのシェアを終了したことをＶＯＩＰシグナリングサーバよりユーザＢに通知する。
１６）ユーザＢには、ユーザＡからのビデオフレームをそれ以上受信することがなく、１５）の通知を受信した上で、一方向のビデオのシェアに切り替える。
ケース４は、双方がビデオのシェアを終了することである。
１７）〜１８）ケース３の上で、ユーザＢもボタンを放し、ＶＯＩＰシグナリングサーバにビデオのシェア終了要求を送信し、カメラのビデオフレームの収集を停止し、通常の音声通話のインタラクションに切り替え、それと同時に、ＶＯＩＰデータサーバには、ユーザＢからのビデオフレームをそれ以上受信することがない。
１９）ユーザＢがビデオのシェアを終了したことをＶＯＩＰシグナリングサーバよりユーザＡに通知する。
２０）ユーザＡにはユーザＢからのビデオフレームをそれ以上受信することがなく、１９）の通知を受信した上で、通常の音声通話のインタラクションに切り替える。
二つの電子装置の間で音声データのインタラクションを行う前提で、本実施例より提供されている音声データ及びビデオフレームのインタラクションは、図６〜７に示す通りである。
図６のインターフェース６１は、ユーザＡが第１通信状態にある第１電子装置を介して、ユーザＢの第２電子装置と音声データのインタラクションを行う場面であり、「撮影」ボタン６１１を長押しすることを「ビデオのシェアを要求する」のバーチャルボタンとする。
そしてから、片方のビデオフレーム送信を開始し、ユーザＡの第１電子装置の操作インターフェースがインターフェース６２に入り、インターフェース６２に現在収集されているビデオフレームを表示し、現在通話時間の長さと「リアルタイムシェア中」という文字も表示され、ここで、指のスクリーン上の移動に伴って、バーチャルボタン６１１も移動される。
受信側のユーザＢがユーザＡからのフレームビデオを受信した時に、一つの簡単な着信音が鳴ることが可能であり、ユーザＢの表示インターフェース６３に、送信側より送信されたビデオフレーム画面を全画面表示し、同時に現在通話時間の長さと「相手側が、リアルタイムシェア中」という文字を表示する。受信側のユーザＢは、該当インターフェース６３において、予め設定されているボタン６３１をタッチ操作エリアとし、ボタン６３１を押下することによって、第２電子装置の「ビデオのシェア」機能を起動し、双方向ビデオのシェアに入ることができる。
双方のビデオのシェアとしては、双方向ビデオのシェアに入ってから、双方のインターフェースは、図７内のインターフェース６４とインターフェース６５にそれぞれ示される通りである。インターフェース６４とインターフェース６５において、円形エリア６４１及び円形エリア６５１によって自分自身のカメラで撮影されている内容を表示し、同時に、円形エリアは、指のスクリーン上の移動に伴って移動され、全画面エリアにおいては、相手側のビデオフレーム画面を表示する。この場面において、片方は先にボタンを放すと、放すほうはインターフェース６３に戻ることが可能であり、放していないほうはインターフェース６２に戻る。双方とも放すと、両方ともインターフェース６１に戻る。
例示２
本実施例はさらに、図８に示すような複数人（３人及びそれ以上）の間の「一瞥」インタラクションを提供し、これもリアルタイムビデオ技術に基づく遊び方であり、だが、二人の間の形式と異なり、同一時刻において一人しかビデオのシェアを開始することができず、複数人が同時にビデオのシェア要求を行う場合、ＶＯＩＰシグナリングサーバは判定を行って、ビデオのシェア要求が最初にＶＯＩＰシグナリングサーバに到達したユーザに、ビデオのシェア要求の成功を返信し、その他の人にビデオのシェア要求の失敗を返信し、その他の人がビデオのシェアを成功裏に行いたい場合、現在のビデオをシェアしているユーザが終了するまで待ってから、シェアを成功裏に開始することが可能である（ここで、複数人のビデオのシェアの争いと理解してもよい）。複数のユーザＡ１〜Ａｎの間のビデオのシェアのインタラクションのフローを例として、下記の二つのインタラクションのケースが含まれる。
ケース１はビデオのシェア開始である。
１）ユーザＡ１〜Ａｎのうちの幾つかのユーザは、同時にビデオのシェア要求を複数人ＶＯＩＰシグナリングサーバに送信する。
２）複数人ＶＯＩＰシグナリングサーバは、受信されたビデオのシェア要求の前後順位に基づいて判定を行い、要求が最初に受信されたユーザＡ１にビデオのシェアの成功を返信し、その他のユーザにビデオのシェア要求の失敗を返信する。
３）複数人ＶＯＩＰシグナリングサーバはその他のユーザに、ユーザＡ１が「一瞥」を開始していることを通知する。
４）ユーザＡ１はカメラを起動し、ビデオフレームを収集し始める。
５〜６）ユーザＡ１が収集されたリアルタイムビデオフレームを複数人ＶＯＩＰデータサーバに送信してから、ＶＯＩＰデータサーバはビデオフレームをその他のユーザに透過伝送する。
７）その他のユーザはユーザＡ１からのリアルタイムビデオフレームを受信してから、３)の通知が受信されているか否かをまずチェックし、既に受信されている場合、ビデオフレームのレンダリングと表示を行う。
ケース２はビデオのシェアの終了である。
８〜９）ケース１の上で、ユーザＡ１はボタンを放し、複数人ＶＯＩＰシグナリングサーバにシェア終了要求を送信し、同時にカメラがビデオフレームの収集を停止し、通常の複数人の音声通話状態に切り替えかれ、それと同時に、ＶＯＩＰデータサーバには、ユーザＡ１からのビデオフレームをそれ以上受信することがない。
１０）ＶＯＩＰシグナリングサーバは、ユーザＡ１が「一瞥」を終了したことをその他のユーザに通知する。
１１）その他のユーザには、ユーザＡ１からのビデオフレームをそれ以上受信することがなく、１０）の通知を受信した上で、通常の複数人の音声通話のインタラクションに切り替える。
図９に示すように、各効果図に関する説明は下記順の通りである。
複数人の通話インターフェース９１は複数人のビデオのシェアの入れ口であり、インターフェース９１において、第１タッチ操作エリアをトリガーする操作として、「撮影」９１１ボタンを長押して、即ちビデオのシェア機能を起動し、同時に一つの簡単な着信音が鳴ることも可能である。ビデオのシェア機能を起動することによって、インターフェース９２に入り、インターフェース９２に入ってから「争い」という過程があり、「争い」に成功した場合、インターフェース９２に保持し、そうではない場合、インターフェース９１に戻り、又はインターフェース９３を表示し、その他の人の「一瞥」データを受信する。
インターフェース９２において、即ちビデオのシェア機能に入ってから、自分自身のカメラで撮影されている内容を全画面で表示し、現在通話時間の長さと「リアルタイムシェア中」という文字を表示し、ここで、ボタンは指のスクリーン上の移動に伴って移動され、ボタンを放すと、インターフェース９１に戻る。
インターフェース９３においては、複数がビデオフレームを共有する時に、画像を共有していない装置は、招待側よりビデオフレームを送信してきた時に、一つの簡単な着信音が鳴ることも可能であり、そして招待側より送信してきたビデオフレーム画面を全画面で表示し、同時に現在通話時間の長さと「誰々が、リアルタイムシェア中」と言う文字を表示する。
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
実施例４
本発明の実施例は電子装置を提供し、図１０に示すように、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニット１００１と、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニット１００２と、
を含む。
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
好ましくは、前記第１電子装置は少なくとも一つの第２電子装置と通信接続を確立することが可能であり、例えば、図２に示すように、第１電子装置２１が第２電子装置２２１と第２電子装置２２２への通信接続を確立する。
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
前記電子装置はさらに、少なくとも一つの画像情報を収集するための画像収集ユニット１００３を含む。
それに応じて、前記第２処理ユニット１００２は、具体的に第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、収集された前記少なくとも一つの画像情報を用いて、第１ビデオフレームを生成し、前記第１ビデオフレームを前記少なくとも一つの第２電子装置に送信するように用いられる。
ここで、前記少なくとも一つの画像情報を収集することは、カメラを起動して、カメラが周期的に画像情報を収集することによって、少なくとも一つの画像情報を得ることであってもよい。ここで、前記周期はカメラの性能に基づいて設定することが可能であり、例えば、１０ｍｓ毎に一回の画像情報を収集するように設定してもよい。
又は、前記少なくとも一つの画像情報を収集することは、カメラを起動してピクチャを撮影して、１枚の画像だけを収集することであってもよく、前記画像をビデオフレームとする。
好ましくは、前記電子装置はさらに、タッチ検出ユニット１００４を含み、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定し、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定するように用いられる。
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。ここで、前記タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルすることを検出するまで、カメラを介して少なくとも一つの画像情報を収集し、前記少なくとも一つの画像情報をビデオフレームとする。
図４に示すように、本実施例でビデオフレームを伝送する簡単な実現フローチャートを示しており、ここで、ＶＯＩＰシグナリングサーバは、主に通話過程における状態に対して制御と同期を行い、シグナリングサーバにおいて、通話過程の制御と同期を行うインタラクション方式はＴＣＰを使用することであり、データサーバは、主にビデオ又は音声データに対して転送（透過伝送）を行い、ＵＤＰプロトコルを従ってデータを転送する。
以下において、第１電子装置と第２電子装置という二つの装置の間でリアルタイムビデオを行う過程を説明する。
第１電子装置はカメラ装置を起動し、画像情報を収集し、ビデオコーデックエンジンは、画像情報に対してエンコーディング処理を行い、エンコーディングされたビデオフレームをネットワークのパケット化を行い、ＵＤＰ方式でデータサーバに送信し、前記データサーバはＶＯＩＰデータサーバであってもよい。
ＶＯＩＰデータサーバより第２電子装置に透過伝送する。
第２電子装置は、ビデオフレームを受信して解凍し、ビデオコーデックエンジンは、ビデオフレームに対してデコーディング処理を行い、デコーディングされたビデオフレームに対してレンダリングと表示を行う。
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
実施例５
本発明の実施例は電子装置を提供し、図１１に示すように、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニット１１０１と、
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニット１１０２と、
を含む。
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
本実施例と実施例１との相違点としては、前記電子装置はさらに、前記第２ビデオフレームを解析して少なくとも一つの画像情報を得て、前記少なくとも一つの画像情報をそれぞれ表示するための、解析ユニット１１０３を含む。
前記第２処理ユニット１１０２はさらに、少なくとも一つの第２電子装置から送信してきた第２ビデオフレームを受信するために用いられる。
ここで、前記第２ビデオフレームを解析することは、第１電子装置が画像解析機能によって、ビデオフレームを解析して一つ又は複数の画像情報を得る。
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集されたビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えられることができる。このようにすれば、音声通信のインタラクションの時に、ユーザがビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時のビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
実施例６
本発明の実施例は電子装置を提供し、図１２に示すように、
前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニット１２０１と
第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニット１２０２と、
を含む。
ここで、前記第１電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
前記第２電子装置はスマートフォン、タブレットＰＣ、ノートパソコンなどの装置であってもよい。
なお、本実施例において、第１電子装置と第２電子装置との通信接続の確立方式は、移動セルラネットワークを介して接続を確立してもよく、ＩＰネットワークを介して接続を確立してもよい。
本実施例において、前記第１電子装置が少なくとも一つの第２電子装置と音声データのインタラクションを行う前に、前記第１電子装置はさらに音声収集ユニットを起動して音声の収集を行うことができ、収集された音声を用いてコーディングして音声データを得る。ここで、前記音声収集ユニットはマイクであってもよい。
本実施例は一つの場面を提供し、該場面において、第１電子装置は、ビデオフレームを収集して送信するだけではなく、ビデオフレームを受信して表示することもできる。具体的に、前記電子装置はさらに、少なくとも一つの画像情報を収集するための画像収集ユニット１２０３を含み、それに応じて、前記第２処理ユニット１２０２は、具体的に第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持するように用いられる。収集された前記少なくとも一つの画像情報を用いて第１ビデオフレームを生成し、前記第１ビデオフレームを前記少なくとも一つの第２電子装置に送信する。
また、前記電子装置はさらに、前記第２ビデオフレームを解析して少なくとも一つの画像情報を得て、前記少なくとも一つの画像情報をそれぞれ表示するための解析ユニット１２０５を含む。
前記第２処理ユニット１２０２はさらに、少なくとも一つの第２電子装置から送信してきた第２ビデオフレームを受信するように用いられる。
好ましくは、本実施例において前記ビデオフレームを送信することは、前記第２処理ユニット１２０２はビデオフレームのシェア要求をシグナリングサーバに送信することと、前記シグナリングサーバによって前記ビデオフレームのシェア要求を少なくとも一つの第２電子装置に送信することと、カメラを起動し、少なくとも一つの画像情報を収集し、前記画像情報をエンコーディングを行ってビデオフレームを得ることと、ビデオフレームをデータサーバに送信することと、
前記データサーバより前記ビデオフレームを前記少なくとも一つの第２電子装置に転送することと、
を含み、ここで、前記シグナリングサーバは、ＶＯＩＰシグナリングサーバであってもよく、移動セルラネットワークのシグナリングサーバであってもよく、
前記データサーバは、ＶＯＩＰデータサーバであってもよく、又は移動セルラネットワーク内のデータサーバであってもよい。
ここで、前記少なくとも一つの画像情報を収集することは、カメラを起動して、カメラが周期的に画像情報を収集することによって、少なくとも一つの画像情報を得ることであってもよい。ここで、前記周期はカメラの性能に基づいて設定することが可能であり、例えば、１０ｍｓ毎に一回の画像情報を収集するように設定してもよい。
又は、前記少なくとも一つの画像情報を収集することは、カメラを起動してピクチャを撮影して、１枚の画像だけを収集することであってもよく、前記画像をビデオフレームとする。
前記電子装置はさらに、タッチ検出ユニット１２０４を含み、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定し、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定するように用いられる。
ここで、前記第１タッチ操作エリアは、実際の状況に応じて設定されたタッチ操作を検出するためのタッチポイント、又は、タッチ操作を検出するための予め設定されたエリアであってもよい。ここで、前記タッチポイントは少なくとも、タッチポイントの横座標と縦座標を含むことが可能であり、前記予め設定されたエリアは少なくとも、該エリアの左下角の横縦座標と右上角の横縦座標を含む。
また、前記第１タッチ操作エリアは、図３に示すように第１電子装置上に表示されているバーチャルボタン３１と表現されてもよい。
前記操作時間の長さは、ユーザが前記第１タッチ操作エリアを押下する時間の長さであってもよく、言い換えれば、ユーザが前記第１タッチ操作エリアを押下した場合、カメラを起動するように制御し、ユーザが第１タッチ操作エリアの押下操作をキャンセルすることを検出するまで、カメラを介して少なくとも一つの画像情報を収集し、前記少なくとも一つの画像情報をビデオフレームとする。
さらに、前記第２処理ユニット１２０２は、具体的にビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信するように用いられ、
又は、
前記第２処理ユニット１２０２は、具体的に前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記ビデオフレームを前記ターゲット第２電子装置に送信するように用いられる。
言い換えれば、第１電子装置は、複数の電子装置と音声データのインタラクションを行う第１通信状態の後に、第２通信状態に切り替えて、収集された画像を全ての第２電子装置に送信するように選択してもよく、複数の電子装置から一つのターゲット装置を選出して、画像を選出されたターゲット装置に送信してもよい。
前記電子装置はさらに、音声データを収集し、音声データにタイムスタンプを追加するための音声収集ユニット１２０６を含み、
前記画像収集ユニット１２０３は、具体的に、ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加するように用いられる。
前記第１処理ユニット１２０１は、具体的に音声データ内の音声及びタイムスタンプを解析し、解析されたタイムスタンプによって音声データを出力するように制御するために用いられ、前記解析ユニット１２０５は、具体的に、ビデオフレーム及びそれに対応するタイムスタンプを解析し、解析されたタイムスタンプによってビデオフレームを出力するように制御するために用いられる。
そのため、上記の技術案によって、ユーザが第１通信状態にある時に、音声データだけをインタラクションし、第１操作に応答して、電子装置を第２通信状態に切り替えるように制御し、音声データの伝送のみならず、その上また現在収集された画像ファイルのビデオフレームもシェアし、第２操作に応答して、電子装置は再び第１通信状態に切り替えかれることができる。このようにすれば、音声通信のインタラクションの時に、ユーザが画像ファイルのビデオフレームのインタラクションのタイミングを自在に制御することができ、それによって、通信時の画像ファイルのビデオフレーム及び音声データを持続的に転送するのに使用されるサーバの処理リソースを低減し、通話双方のなめらかさを保つことができる。
本願に提供されている幾つかの実施例において、開示されているデバイスと方法がその他の方式で実現されることが可能であることを理解すべきである。上記で説明したデバイスの実施例は例示的なものに過ぎず、例えば、前記ユニットの分け方が、単なる論理的な機能分けであり、実際、実現する時に他の分け方であってもよく、例えば、複数のユニット又はコンポーネントを別のシステムに結合し、又は集成してもよく、又は幾つかの技術的特徴を省略し、又は実施しなくてもよい。また、明示され、又は説明されている各構成部分の間のカップリング、又は直接のカップリング、又は通信接続は、幾つかのインターフェース、デバイス、又はユニットの間接のカップリング又は通信によって接続してもよく、電気的、機械的、又はその他の形式であってもよい。
上記で分離部品として説明したユニットは、物理的に分離されるものであってもよく、物理的に分離されないものであってもよい。ユニットとしての部品は物理ユニットであってもよく、物理ユニットではないものであってもよい。一箇所に置かれてもよく、複数のネットワークユニットに配布してもよい。実際のニーズに応じて、その中の一部又は全部のユニットを選択して本実施例の技術案の目的を実現してもよい。
また、本発明の各実施例の各機能ユニットは全て一つの処理ユニットに集成してもよく、各ユニットはそれぞれ単独なユニットとしてもよく、二つ又は二つ以上のユニットを一つのユニットに集成してもよく、上記の集成されたユニットはハードウェアの方式で実現してもよく、ハードウェアにソフトウェア機能ユニットを追加する方式で実現してもよい。
当業者は、上記の方法の実施例の全部又は一部のステップを実現するのが、プログラムによって関連するハードウェアに指示して遂行してもよく、上記のプログラムがコンピュータの読み取り可能な記憶媒体に記憶されてもよく、該プログラムを実行する時に、上記方法の実施例を含むステップを実行し、そして、上記の記憶媒体は、移動記憶媒体、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク又はコンパクトディスクなどの各種のプログラムコードが記憶できる媒体を含むことを理解すべきである。
本実施例は、上記装置の実施例に基づいて具体的なハードウェアを提供し、電子装置は、少なくとも、プロセッサ、メモリ、マイク及びカメラを含む。
ここで、前記プロセッサは、前記電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、少なくとも一つの第２電子装置とビデオフレームをシェアし、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように用いられる。
上記に記載されているのは、単なる本発明の具体的な実施形態に過ぎず、本発明はそれに限定されず、当業者が本発明に開示されている範囲内において、容易に想到し得る変形又は置換は、本発明の範囲内に含まれるべきである。そのため、本発明の範囲は、記載されている特許請求の範囲に準じるべきである。

Claims (15)

  1. 通信処理方法であって、第１電子装置に適用され、
    前記第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行うことと、
    第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることと、
    第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御することと、
    を含む、前記通信処理方法。
  2. 前記第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
    第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持することと、
    少なくとも一つのビデオフレームを収集し、前記少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置に送信することと、
    を含む、請求項１に記載の通信処理方法。
  3. 前記第１操作に応答する前に、前記通信処理方法はさらに、第１タッチ操作エリアに対して操作する時間の長さが第１閾値より大きいと検出された場合、第１操作を検出したと確定することを含み、
    前記第２操作に応答する前に、前記通信処理方法はさらに、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定することを含む、
    請求項２に記載の通信処理方法。
  4. 前記少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
    少なくとも一つの第２電子装置より送信された少なくとも一つのビデオフレームを受信することと、
    少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することと、
    を含む、請求項１又は２に記載の通信処理方法。
  5. 前記少なくとも一つの第２電子装置とビデオフレームをシェアすることは、
    少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信すること、
    又は、
    前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記ビデオフレームを前記ターゲット第２電子装置に送信すること、
    を含む、請求項１に記載の通信処理方法。
  6. 音声データを収集した時に、音声データにタイムスタンプを追加することと、
    ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加することと、
    をさらに含む、請求項４に記載の通信処理方法。
  7. 前記少なくとも一つの第２電子装置より送信された前記少なくとも一つのビデオフレームを解析することは、
    音声データ内の音声とタイムスタンプを解析し、ビデオフレームとそれに対応するタイムスタンプを解析することと、
    解析されたタイムスタンプに基づいて、音声データとビデオフレームを出力するように制御することと、
    を含む、請求項６に記載の通信処理方法。
  8. 電子装置であって、
    第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第２操作に応答して、第２通信状態から第１通信状態に切り替えるように制御するように構成される第１処理ユニットと、
    第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアするように構成される第２処理ユニットと、
    を含む、電子装置。
  9. 少なくとも一つの画像情報を収集するように構成される画像収集ユニットをさらに含み、
    前記第２処理ユニットは、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、前記ビデオフレームを前記少なくとも一つの第２電子装置に送信するように構成される、
    請求項８に記載の電子装置。
  10. 第１タッチ操作エリアに対して操作する時間の長さが第１閾値より長いと検出された場合、第１操作を検出したと確定し、前記第１タッチ操作エリアに対するタッチ操作をキャンセルしたと検出された場合、第２操作を検出したと確定するように構成されるタッチ検出ユニット、
    をさらに含む、請求項９に記載の電子装置。
  11. 少なくとも一つの第２電子装置から送信してきた少なくとも一つのビデオフレームを解析するように構成される解析ユニットをさらに含み、
    前記第２処理ユニットは、少なくとも一つの第２電子装置から送信してきた第２ビデオフレームを受信するように構成される、
    請求項９又は１０に記載の電子装置。
  12. 前記第２処理ユニットは、少なくとも一つのビデオフレームを前記少なくとも一つの第２電子装置のうちの全ての第２電子装置に送信するように構成され、
    又は、
    前記第２処理ユニットは、前記少なくとも一つの第２電子装置のうちからターゲット第２電子装置を選出し、前記少なくとも一つのビデオフレームを前記ターゲット第２電子装置に送信するように構成される、
    請求項９に記載の電子装置。
  13. 音声データを収集し、音声データにタイムスタンプを追加するように構成される音声収集ユニットをさらに含み、
    前記画像収集ユニットは、ビデオフレームを収集した時に、収集されたビデオフレームに対応するタイムスタンプを追加するように構成される、
    請求項１１に記載の電子装置。
  14. 前記第１処理ユニットは、音声データ内の音声及びタイムスタンプを解析し、解析されたタイムスタンプによって音声データを出力するように制御するように構成され、
    前記解析ユニットは、ビデオフレーム及びそれに対応するタイムスタンプを解析し、解析されたタイムスタンプによってビデオフレームを出力するように制御するように構成される、
    請求項１３に記載の電子装置。
  15. 電子装置であって、
    プロセッサ、メモリ、マイク及びカメラを含み、
    前記メモリは、実行する時に、少なくとも一つのプロセッサに操作を実行させるための命令セットを記憶するように構成され、
    前記プロセッサは、第１電子装置を第１通信状態にするように制御し、前記第１通信状態において、前記第１電子装置は、少なくとも一つの第２電子装置と音声データのインタラクションを行い、第１操作に応答して、第１通信状態から第２通信状態に切り替えるように制御し、前記第２通信状態において、前記少なくとも一つの第２電子装置との音声データのインタラクションを保持し、かつ少なくとも一つの第２電子装置とビデオフレームをシェアし、第２操作に応答して、前記第２通信状態から第１通信状態に切り替えるように制御するように構成される、
    前記電子装置。
JP2017556135A 2015-08-05 2016-07-21 通信処理方法及び電子装置 Pending JP2018515979A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510474631.1A CN105187758B (zh) 2015-08-05 2015-08-05 一种通信处理方法及电子设备
CN201510474631.1 2015-08-05
PCT/CN2016/090811 WO2017020711A1 (zh) 2015-08-05 2016-07-21 一种通信处理方法及电子设备

Publications (1)

Publication Number Publication Date
JP2018515979A true JP2018515979A (ja) 2018-06-14

Family

ID=54909581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017556135A Pending JP2018515979A (ja) 2015-08-05 2016-07-21 通信処理方法及び電子装置

Country Status (4)

Country Link
JP (1) JP2018515979A (ja)
KR (1) KR102110644B1 (ja)
CN (1) CN105187758B (ja)
WO (1) WO2017020711A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187758B (zh) * 2015-08-05 2019-01-29 腾讯科技（深圳）有限公司 一种通信处理方法及电子设备
CN108712577B (zh) * 2018-08-28 2021-03-12 维沃移动通信有限公司 一种通话模式切换方法及终端设备
CN111212452B (zh) * 2020-01-13 2022-05-17 海能达通信股份有限公司 语音通信的越区切换方法、通信***、终端和存储介质
CN113301289B (zh) * 2020-02-21 2023-04-11 深圳市万普拉斯科技有限公司 通信处理方法、装置、电子设备和存储介质
CN111726561B (zh) * 2020-06-17 2022-07-08 千脉文化传媒(上海)有限公司 异终端同账号的会议方法、***、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0964777A (ja) * 1995-08-24 1997-03-07 Hitachi Ltd 無線映像信号送受信装置
JP2007318283A (ja) * 2006-05-24 2007-12-06 Konica Minolta Holdings Inc パケット通信システム、データ受信機器
CN102026162A (zh) * 2009-09-15 2011-04-20 中兴通讯股份有限公司 一种发起视频辅助语音通话的方法和***
WO2014168030A1 (ja) * 2013-04-11 2014-10-16 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 通信端末及び通信方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103813A (ko) * 2007-05-25 2008-11-28 삼성전자주식회사 이동통신 단말기 및 그의 화상 통화 방법
KR101351037B1 (ko) * 2007-08-01 2014-01-10 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 영상 통화 방법
CN101489309B (zh) * 2008-01-18 2011-03-30 希姆通信息技术（上海）有限公司 实现视频共享业务的方法和双模双待终端
CN101426246A (zh) * 2008-12-04 2009-05-06 中兴通讯股份有限公司 可视电话和语音电话的切换方法和装置
KR101960306B1 (ko) * 2012-07-13 2019-03-20 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
KR20140070134A (ko) * 2012-11-30 2014-06-10 엘지전자 주식회사 이동 단말기 및 그 동작 방법
CN104539871B (zh) * 2014-12-22 2019-03-15 小米科技有限责任公司 多媒体通话方法及装置
CN105187758B (zh) * 2015-08-05 2019-01-29 腾讯科技（深圳）有限公司 一种通信处理方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0964777A (ja) * 1995-08-24 1997-03-07 Hitachi Ltd 無線映像信号送受信装置
JP2007318283A (ja) * 2006-05-24 2007-12-06 Konica Minolta Holdings Inc パケット通信システム、データ受信機器
CN102026162A (zh) * 2009-09-15 2011-04-20 中兴通讯股份有限公司 一种发起视频辅助语音通话的方法和***
WO2014168030A1 (ja) * 2013-04-11 2014-10-16 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 通信端末及び通信方法

Also Published As

Publication number Publication date
KR102110644B1 (ko) 2020-06-26
CN105187758B (zh) 2019-01-29
CN105187758A (zh) 2015-12-23
WO2017020711A1 (zh) 2017-02-09
KR20170140369A (ko) 2017-12-20

Similar Documents

Publication Publication Date Title
CN111818359B (zh) 直播互动视频的处理方法、装置、电子设备及服务器
CN108933965B (zh) 屏幕内容共享方法、装置及存储介质
JP2018515979A (ja) 通信処理方法及び電子装置
CN105144673B (zh) 延迟减少的服务器干预式音频-视频通信
US9485465B2 (en) Picture control method, terminal, and video conferencing apparatus
US20120173622A1 (en) Social screen casting
WO2022135005A1 (zh) 一种基于通话的屏幕共享方法、装置、设备及存储介质
WO2016011742A1 (zh) 通话方法、装置和***
CN111988555B (zh) 一种数据处理方法、装置、设备和机器可读介质
US11444992B2 (en) Method and apparatus for communication processing
CN109788364B (zh) 视频通话互动方法、装置及电子设备
CN116114251A (zh) 视频通话方法及显示设备
WO2022267640A1 (zh) 视频共享方法、电子设备及存储介质
JP7116124B2 (ja) 映像通話の仲介装置、方法及びコンピュータ読み取り可能な記録媒体（Ｖｉｄｅｏ Ｃａｌｌ Ｍｅｄｉａｔｉｎｇ Ａｐｐａｒａｔｕｓ、Ｍｅｔｈｏｄ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｒｅａｄａｂｌｅ Ｒｅｃｏｒｄｉｎｇ Ｍｅｄｉｕｍ Ｔｈｅｒｅｏｆ）
WO2011010563A1 (ja) ビデオ通話システム、主側端末、従側端末、プログラム
CN114915852A (zh) 视频通话交互方法、装置、计算机设备和存储介质
CN104866208B (zh) 信息处理方法和电子设备
CN115240821A (zh) 图像显示方法、装置、计算机设备及存储介质
JP4501171B2 (ja) 画像処理装置
JP2023084986A (ja) 表示制御システム、表示制御方法及びプログラム
KR100668214B1 (ko) 멀티미디어 가상 공간에서의 대리인 형상 지정 방법
JP2015100061A (ja) 遠隔受付システム、遠隔受付方法及びプログラム
CN114449300A (zh) 实时视频流的播放方法及服务器
CN113938336A (zh) 会议控制的方法、装置和电子设备
KR20190065760A (ko) 현장용 투명 디스플레이부와 스마트 컨텐츠표출제어부를 통한 화상 회의 제공 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191115

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191122

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191126

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20191227

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200114

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200407

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200526

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200707

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20200811

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20200811