JP6319970B2 - 画像通信装置およびその制御方法 - Google Patents

画像通信装置およびその制御方法 Download PDF

Info

Publication number
JP6319970B2
JP6319970B2 JP2013170825A JP2013170825A JP6319970B2 JP 6319970 B2 JP6319970 B2 JP 6319970B2 JP 2013170825 A JP2013170825 A JP 2013170825A JP 2013170825 A JP2013170825 A JP 2013170825A JP 6319970 B2 JP6319970 B2 JP 6319970B2
Authority
JP
Japan
Prior art keywords
mode
image
decoding
mirroring
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013170825A
Other languages
English (en)
Other versions
JP2015041822A (ja
JP2015041822A5 (ja
Inventor
利之 中川
利之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013170825A priority Critical patent/JP6319970B2/ja
Priority to US14/331,543 priority patent/US9332308B2/en
Publication of JP2015041822A publication Critical patent/JP2015041822A/ja
Publication of JP2015041822A5 publication Critical patent/JP2015041822A5/ja
Application granted granted Critical
Publication of JP6319970B2 publication Critical patent/JP6319970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43622—Interfacing an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23116—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving data replication, e.g. over plural servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、ネットワークを介して映像を送信する技術に関する。
表示画面をワイヤレスでミラーリングする技術が、Wi-Fi Alliance（登録商標）によりWi-Fi Miracastとして標準化された。ミラーリングとは、送信側の装置の表示画面をネットワークを介して受信側の装置に伝送し、画面を共有する技術である。ミラーリングは、記録済み映像の伝送と異なり、映像に重ねて表示される操作ボタンなどのオンスクリーンディスプレイ情報（以下、OSD情報）も受信装置へ伝送することが可能である。
ミラーリング中に記録済み映像を再生すると、記録済み映像の復号とキャプチャ画像の符号化（以下、再符号化）が必要になる。また、ミラーリング中に録画を行うと、二つの符号化（録画用映像の符号化とキャプチャ画像の符号化）が必要になる。つまり、ミラーリング中の記録済み映像の再生や録画は処理負荷を増大させる。勿論、エンコーダを二つ用意して処理負荷を分散することが可能であるが、その場合、コストが増大する。
また、ミラーリングと記録済み映像のストリーミングは、OSD情報の有無や画面キャプチャの有無などで異なる。そのため、ミラーリングから記録済み映像のストリーミングへのスイッチ、また、逆のスイッチを行う場合、一旦、一方の処理を停止し、その後、他方の処理を開始するユーザ操作が必要になる。
特許文献1や2は、ミラーリングにおける処理負荷やネットワーク負荷を軽減する方法を提案する。しかし、ミラーリング中の記録済み映像の再生や録画における上記処理負荷の増大を防ぐ方法は、これら特許文献には開示されていない。
特開2012-133210号公報 特開2006-236153号公報
本発明は、他の装置に送信する映像のモードのシームレスなスイッチを提供することを目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる画像通信装置は、被写体を撮像した撮影画像を出力する撮像手段と、少なくとも前記撮影画像を表示する表示手段と、前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段と、画像の符号化、および、符号化された画像の復号を行う符号化復号手段と、前記符号化された撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段と、ネットワークを介して他の装置と通信する通信手段と、制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に送信する映像のモードを切り換えるモード制御手段とを有する。
本発明によれば、他の装置に送信する映像のモードのシームレスなスイッチを提供することができ、例えば、ミラーリングとライブストリーミングの間や、ミラーリングと記録画像のストリーミングの間をシームレスに切り換えることができる。
実施例の画像通信システムの構成例を示すブロック図。 送信装置の構成例を示すブロック図。 実施例1におけるモード制御部による制御を説明するフローチャート。 M-Lスイッチを説明するフローチャート。 L-Mスイッチを説明するフローチャート。 実施例2におけるモード制御部による制御を説明するフローチャート。 M-Sスイッチを説明するフローチャート。 S-Mスイッチを説明するフローチャート。 実施例3におけるモード制御部による制御を説明するフローチャート。 実施例4におけるモード制御部による制御を説明するフローチャート。
以下、本発明にかかる実施例の画像通信を図面を参照して詳細に説明する。なお、実施例に示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
［画像通信システム］
図1のブロック図により実施例の画像通信システムの構成例を示す。
送信装置100と受信装置102は、ネットワーク101を介して接続され、互いに通信を行う。ネットワーク101は、例えばホームネットワークとしての無線ローカルエリアネットワーク（以下、WLAN）である。なお、ネットワーク101はWLANに限らず、有線ネットワーク、広域通信網(WAN)、アドホックネットワーク、Bluetooth（登録商標）、ZigBee（登録商標）、UWB (ultra wide band)などのネットワークでもよい。
送信装置100は、受信装置102から受信した画像配信リクエストに従い、画像データの送信の開始、停止、一時停止を行う。送信装置100の具体例としては、カメラ、ビデオカメラ、並びに、カメラが搭載されたスマートフォン、携帯電話、PC、タブレットデバイスなどが挙げられる。しかし、後述するハードウェア構成およびモジュール構成を満たすデバイスであればよく、これらに限定されない。
受信装置102は、送信装置100に画像配信リクエストを送信し、送信装置100から受信した画像データを再生し、ミラーリング時は映像に重ねて表示されるオンスクリーンディスプレイ情報（OSD情報）を再生する。受信装置102のユーザは、OSD情報によって送信装置100を遠隔操作することが可能である。受信装置102の具体例としては、表示画面を有するスマートフォン、携帯電話、PC、タブレットデバイス、テレビ、並びに、画面を投影するプロジェクタなどが挙げられる。
なお、ネットワーク101を介して送信装置100に接続される受信装置102は、一台でもよいし、複数台でもよい。
［送信装置］
図2のブロック図により送信装置100の構成例を示す。
中央処理装置(CPU)201は、メインメモリであるRAM202をワークメモリとして、ROM203などに格納され各種プログラムを実行し、システムバス208を介して、後述する構成を統括的に制御する。
操作部204は、ユーザ指示を入力するためのボタンやモードダイヤルなどを備える。表示制御部209は、表示部210に画像や文字を表示するための表示制御を行う。表示部210は、画像や文字を表示する例えば液晶ディスプレイである。表示部210は、タッチスクリーン機能を有していてもよく、その場合、タッチスクリーンは操作部204の一部として機能する。
撮像部205は、撮像光学系、センサ（撮像素子）、現像処理部を有し、撮像光学系を介した被写体の光情報をセンサによって取得し、センサが出力する撮像信号を現像処理した画像データを出力する。CPU201は、撮像ボタンが押されるなど撮像の開始が指示されると撮像部205に撮像を開始させ、撮像ボタンが再び押されるなど撮像の終了が指示されると撮像部205に撮像を終了させる。撮像制御部206は、撮像部205の撮像光学系のフォーカス、シャッタ、絞り制御する。
ディジタル信号処理部213は、撮像部205が出力する画像データなどにホワイトバランス処理、ガンマ補正処理、ノイズ低減処理などの各種処理を施す。画像処理部212は、撮像部205が出力する画像データやディジタル信号処理部209が出力する画像データに各種画像処理を施す。
符号化復号部(CODEC)214は、ディジタル信号処理部213が出力する画像データや画像処理部212が出力する画像データをMPEG-4 AVC/H.264方式により圧縮符号化し、さらにMPEG-2 TS方式により多重化する。MPEG-2 TSは、符号化された画像や音声などのメディアデータを多重化、伝送するためのコンテナ形式である。以下では、圧縮符号化と多重化を合わせて「符号化」と呼ぶ。
メモリ制御部215は、CODEC214によって符号化された画像データの記憶部207への書き込み、および、記憶部207に格納された符号化された画像データの読み出しを制御する。記憶部207は、例えば、フラッシュメモリやハードディスクなどの記録媒体である。
また、CODEC214は、メモリ制御部215によって記憶部207から読み出された符号化された画像データを逆多重化し復号する。CODEC214によって復号された画像データは、表示制御部209に送られ、表示部210に表示される。以下では、逆多重化と復号を合わせて「復号」と呼ぶ。
キャプチャ部211は、表示部210の表示画像をキャプチャした画像データを生成する。キャプチャ画像には、例えば、映像に重ねて表示される操作ボタンなどのOSD情報も含まれる。
通信制御部216は、通信部217とネットワーク101を介した通信を制御し、例えば、受信装置102へ送信する画像データや制御情報の通信制御を行う。通信制御部216は、ネットワーク101を介して送られてくる遠隔操作情報の受信機能を有する。CPU201は、通信制御部216が受信した遠隔操作情報を操作部204を介して入力されるユーザ指示と同様に扱うことが可能である。通信部217は、ネットワーク101を介した通信を行うネットワークインタフェイスである。
モード制御部218は、ネットワーク101を介して送信する映像のモード（以下、映像モード）を制御する。映像モードには、表示部210が表示中の画像をキャプチャして送信するミラーリングモード、撮像部205が撮像中の画像を送信するライブストリーミングモード、記録済み映像を送信するストリーミングモードがある。どの映像モードを使用するかは、送信装置100の設定やユーザ指示により決定される。
負荷計測部219は、送信装置100の処理負荷を計測する。測定方法としては、例えば、CPU201の使用率を測定したり、CODEC214の使用率を測定するなどが考えられる。また、測定のタイミングは任意であるが、制御イベントの検出タイミングで測定を行うものとする。
OSD要求取得部220は、受信装置102がOSD情報を必要とするか否かを示す情報を取得する。当該情報の取得方法としては、例えば、ネットワーク101を介して、OSD表示に関わる受信装置102の設定情報を取得したり、受信装置102のユーザによるOSD情報の表示操作を検出するなどが考えられる。また、当該情報の取得のタイミングは任意であるが、例えば、制御イベントの検出タイミングで当該情報を取得するものとする。
なお、説明を容易にするため、送信装置100にモード制御部218、負荷計測部219、OSD要求取得部220を設置する例を説明する。しかし、後述するモード制御部218、負荷計測部219、OSD要求取得部220の機能を実現するプログラムをCPU201に実行させてもよい。その場合、モード制御部218、負荷計測部219、OSD要求取得部220はCPU201の処理によって実現される。
また、画像データは情報量が大きいため、ネットワークを介して送受信する画像データは圧縮符号化される。送信装置100は、画像データの転送プロトコルにRTP (real-time transport protocol)を用いる。また、画像データの再生制御プロトコルにRTSP (real time streaming protocol)を用いる。また、CODEC214が多重化方式としてMPEG-2 TSを用いるため、通信部217は、MPEG-2 TSデータのRTPペイロードフォーマットを規定するRFC2250に従い画像データをパケット化する。
なお、RTPは、RFC3550で標準化された、動画像や音声などのマルチメディアデータをネットワークを介してリアルタイムに送受信するためのプロトコルである。RTPの下位層のトランスポートプロトコルとしてUDP、HTTP、HTTPS、TCPを利用することが可能である。また、RTSPは、RFC2326で標準化された、ストリーミングを制御するためのプロトコルである。RTSPの下位層のトランスポートプロトコルにはTCPが用いられる。
［モード制御部］
図3のフローチャートにより実施例1におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
モード制御部218は、制御イベントの検出を待つ(S301)。なお、モード制御部218が検出する制御イベントは、ユーザ指示による録画開始や録画停止の制御、その他である。ユーザ指示は、操作部204を介した入力でもよいし、ネットワーク101を介した遠隔操作でもよい。制御イベントを検出すると、モード制御部218は、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S302)。
ミラーリングモード中と判定した場合、モード制御部218は、検出した制御イベントが録画開始か否かを判定する(S303)。そして、制御イベントが録画開始の場合は映像モードをミラーリングモードからライブストリーミングモードへ切り換え(S304)、制御イベントが録画開始ではない場合は映像モードを切り換えない。
また、ミラーリングモード中ではない（つまり、ライブストリーミングモード中）と判定した場合、モード制御部218は、検出した制御イベントが録画停止か否かを判定する(S305)。そして、制御イベントが録画停止の場合は映像モードをライブストリーミングモードからミラーリングモードへ切り換え(S306)、制御イベントが録画停止ではない場合は映像モードを切り換えない。
例えば、録画の一時停止の場合、RTSPのPAUSEメッセージを利用してライブストリーミングが一時停止される。また、映像モードの切り換えは、通信部217と受信装置102の接続を維持（つまり、RTSPセッション、HTTPセッションまたはHTTPSセッションを維持）したまま行われる。
上記処理の後、モード制御部218は、処理をステップS301に戻す。また、以下では、ミラーリングモードからライブストリーミングモードへの切り換えを「M-Lスイッチ」と呼び、ライブストリーミングモードからミラーリングモードへの切り換えを「L-Mスイッチ」と呼ぶ。
●M-Lスイッチ
図4のフローチャートによりM-Lスイッチ(S304)を行う際のモード制御部218による制御を説明する。
モード制御部218は、通信制御部216を制御して、受信装置102との間で映像フォーマットの変更メッセージを交換する(S401)。例えば、ミラーリングモードの映像の解像度と、ライブストリーミングモードの映像の解像度が異なる場合、RTSPのメッセージSET_PARAMETERやGET_PARAMETERを使用して解像度と変更タイミングを通知すればよい。なお、映像フォーマットの変更は、映像の解像度だけでなく、フレームレート、ビットレート、CODEC214が符号化に使用するプロファイル、レベルなども含む。もし、映像モードの切り換え前後で、映像フォーマットに変更がない場合、ステップS401の処理を省略することができる。
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S402)、キャプチャ部211に表示画面のキャプチャを停止させる(S403)。また、CODEC214にキャプチャ部211が出力する画像データ（キャプチャ画像）の符号化を停止させる(S404)。これらの手続により、ミラーリングが停止される。
次に、モード制御部218は、撮像部205に画像データ（撮影画像）の出力を開始させ(S405)、CODEC214に撮影画像の符号化を開始させる(S406)。以上の手続により、CODEC214の処理はキャプチャ画像の符号化から撮影画像の符号化に移行し、CODEC214がキャプチャ画像と撮影画像の両方の符号化を行うことはない。
次に、モード制御部218は、通信制御部216に符号化された撮影画像の送信を開始させ(S407)、メモリ制御部215に符号化された撮影画像の記憶部207への記録（録画）を開始させる(S408)。これらの手続により、ライブストリーミングと録画が開始される。なお、録画中の画像は表示部210に表示されるが、表示画面のキャプチャは停止しているため、OSD情報が受信装置102に送信されることはない。
次に、モード制御部218は、受信装置102からの遠隔操作の無効化をCPU201に通知する(S409)。なお、OSD情報が受信装置102に送信されないためOSD情報を利用する遠隔操作はできないが、受信装置102のユーザは、受信装置102を操作してライブストリーミングの再生を制御可能である。
●L-Mスイッチ
図5のフローチャートによりL-Mスイッチ(S306)を行う際のモード制御部218による制御を説明する。
モード制御部218は、ステップS401の処理と同様に、受信装置102との間で映像フォーマットの変更メッセージを交換する(S501)。
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S502)、撮像部205に撮影画像の出力を停止させる(S503)。また、CODEC214に撮影画像の符号化を停止させ(S504)、メモリ制御部215に録画を停止させる(S505)。これらの手続により、ライブストリーミングと録画が停止される。
次に、モード制御部218は、キャプチャ部211に表示画面のキャプチャを開始させ(S506)、CODEC214にキャプチャ画像の符号化を開始させる(S507)。以上の手続により、CODEC214の処理は撮影画像の符号化からキャプチャ画像の符号化に移行し、CODEC214が撮影画像とキャプチャ画像の両方の符号化を行うことはない。
次に、モード制御部218は、通信制御部216に符号化されたキャプチャ画像の送信を開始させる(S508)。この手続により、ミラーリングが開始され、受信装置102は画像に重畳されたOSD情報を再生することができる。
次に、モード制御部218は、受信装置102からの遠隔操作の有効化をCPU201に通知する(S509)。この手続により、受信装置102におけるOSD情報を利用した遠隔操作が可能になる。
このように、モード制御部218の制御により、ミラーリング中に録画開始が指示された場合は映像モードをライブストリーミングモードに切り換え、ライブストリーミング中に録画停止が指示された場合は映像モードをミラーリングモードへ切り換える。従って、ミラーリングとライブストリーミングを、ユーザによる切換操作なしに、シームレスに切り換えることができる。また、ミラーリングと録画が同時に動作することがないので、処理負荷の増大を防ぐことができる。
以下、本発明にかかる実施例2の画像通信を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
実施例1では、ユーザによる切換操作なしに、ミラーリングとライブストリーミングをシームレスに切り換える例を説明した。実施例2では、ユーザの切換操作なしに、ミラーリングと記録済み映像のストリーミングを切り換える例を説明する。
図6のフローチャートにより実施例2におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
モード制御部218は、制御イベントの検出を待つ(S601)。なお、モード制御部218が検出する制御イベントは、ユーザ指示による記録済み映像の再生開始または再生停止の制御、時間経過による記録済み映像の再生終了、その他である。ユーザ指示は、操作部204を介した入力でもよいし、ネットワーク101を介した遠隔操作でもよい。制御イベントを検出すると、モード制御部218は、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S602)。
なお、記録済み映像の再生終了を示す制御イベントは、記憶部207に格納された記録画像を読み出すメモリ制御部215を制御するCPU201によって発行される。
ミラーリングモード中と判定した場合、モード制御部218は、検出した制御イベントが再生開始か否かを判定する(S603)。そして、制御イベントが再生開始の場合は映像モードをミラーリングモードからストリーミングモードへ切り換え(S604)、制御イベントが再生開始ではない場合は映像モードを切り換えない。
また、ミラーリングモード中ではない（つまり、ストリーミングモード中）と判定した場合、モード制御部218は、検出した制御イベントが再生停止または再生終了か、それら以外かを判定する(S605)。そして、制御イベントが再生停止または再生終了の場合は映像モードをストリーミングモードからミラーリングモードへ切り換え(S606)、制御イベントが再生停止でも再生終了でもない場合は映像モードを切り換えない。
また、検出した制御イベントが再生の一時停止を示す場合は映像モードの切り換えを行わないようにしてもよい。
上記処理の後、モード制御部218は、処理をステップS601に戻す。また、以下では、ミラーリングモードからストリーミングモードへの切り換えを「M-Sスイッチ」と呼び、ストリーミングモードからミラーリングモードへの切り換えを「S-Mスイッチ」と呼ぶ。
●M-Sスイッチ
図7のフローチャートによりM-Sスイッチ(S604)を行う際のモード制御部218による制御を説明する。
モード制御部218は、ステップS401の処理と同様に、受信装置102との間で映像フォーマットの変更メッセージを交換する(S701)。
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S702)、キャプチャ部211に表示画面のキャプチャを停止させ(S703)、CODEC214にキャプチャ画像の符号化を停止させる(S704)。これらの手続により、ミラーリングが停止される。
次に、モード制御部218は、メモリ制御部215に記憶部207に格納された画像データ（記録画像）の読み出しを開始させ(S705)、CODEC214に記録画像の復号を開始させる(S706)。また、通信制御部216に記録画像の送信を開始させる(S707)。これらの手続により、記録済み映像のストリーミングが開始される。
CODEC214によって復号された記録画像は、表示制御部209に送られ、表示部210に表示されるが、表示画面のキャプチャは停止されているため、キャプチャ画像が取得されることはない。つまり、以上の手続により、CODEC214の処理はキャプチャ画像の符号化から記録画像の復号に移行し、CODEC214がキャプチャ画像と符号化と記録画像の復号の両方を行うことはない。
次に、モード制御部218は、受信装置102からの遠隔操作の無効化をCPU201に通知する(S708)。なお、OSD情報が受信装置102に送信されないためOSD情報を利用する遠隔操作はできないが、受信装置102のユーザは、受信装置102を操作して記録済み映像のストリーミングの再生を制御可能である。
●S-Mスイッチ
図8のフローチャートによりS-Mスイッチ(S606)を行う際のモード制御部218による制御を説明する。
モード制御部218は、ステップS401の処理と同様に、受信装置102との間で映像フォーマットの変更メッセージを交換する(S801)。
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S802)、メモリ制御部215に記録画像の読み出しを停止させ(S803)、CODEC214に記録画像の復号を停止させる(S804)。これらの手続により、記録済み映像のストリーミングが停止される。なお、記録画像の再生が停止されると、表示部210には、撮像部205が出力する撮影画像や操作画面などが表示される。
次に、モード制御部218は、キャプチャ部211に表示画面のキャプチャを開始させ(S805)、CODEC214にキャプチャ画像の符号化を開始させる(S806)。以上の手続により、CODEC214の処理は記録画像の復号からキャプチャ画像の符号化に移行し、CODEC214が記録画像の復号とキャプチャ画像の符号化の両方を行うことはない。
次に、モード制御部218は、通信制御部216に符号化されたキャプチャ画像の送信を開始させる(S807)。この手続により、ミラーリングが開始され、受信装置102は画像に重畳されたOSD情報を再生することができる。
次に、モード制御部218は、受信装置102からの遠隔操作の有効化をCPU201に通知する(S808)。この手続により、受信装置102におけるOSD情報を利用した遠隔操作が可能になる。
このように、モード制御部218の制御により、ミラーリング中に記録済み映像の再生開始が指示された場合は映像モードをストリーミングモードに切り換える。また、記録済み映像のストリーミング中に再生停止が指示された場合、または、再生が終了した場合は映像モードをミラーリングモードへ切り換える。従って、ミラーリングとストリーミングを、ユーザによる切換操作なしに、シームレスに切り換えることができる。また、ミラーリングと記録済み映像の再生が同時に動作することがないので、処理負荷の増大を防ぐことができる。
以下、本発明にかかる実施例3の画像通信を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
実施例1、2では、ユーザの切換操作なしに、映像モードを切り換える例を説明した。実施例3では、処理負荷に応じて映像モードを切り換える例を説明する。
図9のフローチャートにより実施例3におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
モード制御部218は、制御イベントの検出を待つ(S901)。なお、モード制御部218が検出する制御イベントは、実施例2と同様に、ユーザ指示による記録済み映像の再生開始または再生停止の制御、時間経過による記録済み映像の再生終了、その他である。
制御イベントを検出すると、モード制御部218は、負荷測定部219によって送信装置100の処理負荷Lを計測し(S902)、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S903)。
ミラーリングモード中と判定した場合、モード制御部218は、測定された処理負荷Lと所定の閾値thの比較(S904)、検出した制御イベントが再生開始か否かの判定(S905)を行う。なお、閾値thには、任意の値を設定することができるが、送信装置100の処理が滞ることがない最大の負荷レベルを閾値thに設定することが望ましい。
比較の結果が処理負荷が閾値以下（L≦th）を示す場合、または、制御イベントが再生開始ではない場合、モード制御部218は、映像モードを切り換えない、言い替えれば、ミラーリングモードを維持する。
一方、比較の結果が処理負荷が閾値を超える（L＞th）を示し、かつ、制御イベントが再生開始の場合、モード制御部218は、映像モードをミラーリングモードからストリーミングモードへ切り換えるM-Sスイッチを行う(S906)。
つまり、高解像度や高ビットレートの記録画像を送信する場合、ミラーリングすれば画像の再符号化により処理負荷が増大するので、ミラーリングせずに記録済み映像のストリーミングを行う。他方、低解像度や低ビットレートの記録映像を送信する場合は、再符号化しても処理能力に余裕があるので、記録画像を復号してミラーリングすることでOSD情報の送信を可能にする。
また、ミラーリングモード中ではない（つまり、ストリーミングモード中）と判定した場合、モード制御部218は、実施例2のステップS605、S606の処理を行う。つまり、制御イベントが再生停止または再生終了の場合、映像モードをストリーミングモードからミラーリングモードへ切り換えるS-Mスイッチを行う。
なお、ステップS906のM-Sスイッチは図7の処理と同様であり、S-Mスイッチは図8の処理と同様であるから、詳細な説明を省略する。
このように、処理負荷を考慮してM-Sスイッチを行う。従って、ユーザの切換操作なしに映像モードを切り換えるだけでなく、処理能力に余裕がある場合はM-Sスイッチを行わずミラーリングモードを維持して受信装置102にOSD情報を送信することができる。
以下、本発明にかかる実施例4の画像通信を説明する。なお、実施例4において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。
実施例1、2では、ユーザの切換操作なしに、映像モードを切り換える例を説明した。実施例4では、受信装置102がOSD情報を必要とするか否かに応じて映像モードを切り換える例を説明する。
図10のフローチャートにより実施例4におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
モード制御部218は、制御イベントの検出を待つ(S1001)。なお、モード制御部218が検出する制御イベントは、実施例2と同様に、ユーザ指示による記録済み映像の再生開始または再生停止の制御、時間経過による記録済み映像の再生終了、その他である。
制御イベントを検出すると、モード制御部218は、OSD要求取得部220によって受信装置102がOSD情報を必要とするか否かを示す情報を取得する(S1002)。そして、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S1003)。
ミラーリングモード中と判定した場合、モード制御部218は、ステップS1002で取得した情報に基づき受信装置102がOSD情報を必要とするか否かの判定(S1004)を行う。また、検出した制御イベントが再生開始か否かの判定(S1005)を行う。
受信装置102がOSD情報を必要と判定した場合、または、制御イベントが再生開始ではない場合、モード制御部218は、映像モードを切り換えない、言い替えれば、ミラーリングモードを維持する。
一方、受信装置102がOSD情報を必要としないと判定し、かつ、制御イベントが再生開始の場合、モード制御部218は、映像モードをミラーリングモードからストリーミングモードへ切り換えるM-Sスイッチを行う(S1006)。
また、ミラーリングモード中ではない（つまり、ストリーミングモード中）と判定した場合、モード制御部218は、実施例2のステップS605、S606の処理を行う。つまり、制御イベントが再生停止または再生終了の場合、映像モードをストリーミングモードからミラーリングモードへ切り換えるS-Mスイッチを行う。
なお、ステップS1006のM-Sスイッチは図7の処理と同様であり、S-Mスイッチは図8の処理と同様であるから、詳細な説明を省略する。
このように、受信装置102がOSD情報を必要とするか否かに応じてM-Sスイッチを行う。従って、ユーザの切換操作なしに映像モードを切り換えるだけでなく、OSD情報が必要な場合はM-Sスイッチを行わずミラーリングモードを維持して受信装置102にOSD情報を送信することができる。
［変形例］
上記では、映像の符号化復号方式としてMPEG-4 AVC/H.264を用いる例を説明したが、これに限らず、MPEG-2やHEVC/H.265などの映像符号化復号方式を用いることが可能である。
また、上記では、符号化された映像のコンテナ形式としてMPEG-2 TSを用いる例を説明したが、これに限らず、MP4形式やMOV形式などストリーミングに適した他のコンテナ形式を用いることが可能である。
また、上記では、データ転送プロトコルとしてRTPを用いる例を説明したが、RTPに限らず、HTTP、HTTPS、TCPなど、OSI参照モデルにおける同一レイヤまたは別レイヤの他のプロトコルを用いることが可能である。
また、上記では、再生制御プロトコルとしてRTSPを用いる例を説明した。しかし、例えば、SIP (session initiation protocol)やSOAP (simple object access protocol)などの再生制御プロトコルも利用可能である。
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims (13)

  1. 被写体を撮像して撮影画像を生成する撮像手段と、
    少なくとも前記撮影画像を表示する表示手段と、
    前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段と、
    画像の符号化、および、符号化された画像の復号を行う符号化復号手段と、
    前記符号化復号手段によって符号化された前記撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段と、
    ネットワークを介して他の装置と通信する通信手段と、
    制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に画像を送信する際のモードを切り換えるモード制御手段と、を有し、
    前記モードには、前記キャプチャ画像を前記他の装置に送信するミラーリングモード、および、前記記録画像を前記他の装置に送信するストリーミングモードがあり、
    前記モード制御手段は、前記ミラーリングモード中に所定の機能の開始を示す制御イベントを検出すると、前記キャプチャ画像の生成、符号化、送信を停止し、前記記録画像の読み出し、復号、送信を開始して、前記モードを前記ミラーリングモードから前記ストリーミングモードに切り換え、
    前記モード制御手段は、前記ストリーミングモード中に前記所定の機能の停止または終了を示す制御イベントを検出すると、前記記録画像の読み出し、復号、送信を停止し、前記キャプチャ画像の生成、符号化、送信を開始して、前記モードを前記ストリーミングモードから前記ミラーリングモードに切り換え、
    前記ストリーミングモード中に前記所定の機能の一時停止を示す制御イベントを検出した場合は前記モードの切り換えを行わないことを特徴とする画像通信装置。
  2. さらに、前記画像通信装置の処理負荷を計測する計測手段を有し、
    前記モード制御手段は、前記計測された処理負荷が所定の閾値以下の場合、前記ミラーリングモード中に前記所定の機能の開始を示す制御イベントを検出しても、前記モードの切り換えを行わない請求項１に記載された画像通信装置。
  3. 被写体を撮像して撮影画像を生成する撮像手段と、
    少なくとも前記撮影画像を表示する表示手段と、
    前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段と、
    画像の符号化、および、符号化された画像の復号を行う符号化復号手段と、
    前記符号化復号手段によって符号化された前記撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段と、
    ネットワークを介して他の装置と通信する通信手段と、
    制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に画像を送信する際のモードを切り換えるモード制御手段と、
    前記他の装置がオンスクリーンディスプレイ情報を必要とするか否かを示す情報を取得する取得手段と、を有し、
    前記モードには、前記キャプチャ画像を前記他の装置に送信するミラーリングモード、および、前記記録画像を前記他の装置に送信するストリーミングモードがあり、
    前記モード制御手段は、前記ミラーリングモード中に所定の機能の開始を示す制御イベントを検出すると、前記キャプチャ画像の生成、符号化、送信を停止し、前記記録画像の読み出し、復号、送信を開始して、前記モードを前記ミラーリングモードから前記ストリーミングモードに切り換え、
    前記モード制御手段は、前記ストリーミングモード中に前記所定の機能の停止または終了を示す制御イベントを検出すると、前記記録画像の読み出し、復号、送信を停止し、前記キャプチャ画像の生成、符号化、送信を開始して、前記モードを前記ストリーミングモードから前記ミラーリングモードに切り換え、
    前記他の装置が前記オンスクリーンディスプレイ情報を必要とする場合、前記ミラーリングモード中に前記所定の機能の開始を示す制御イベントを検出しても、前記モードの切り換えを行わないことを特徴とする画像通信装置。
  4. 前記所定の機能は、録画機能又は、前記記録画像の再生機能であることを特徴とする請求項１から請求項３の何れか一項に記載された画像通信装置。
  5. 前記表示手段は、前記符号化復号手段によって復号された記録画像を表示する請求項１から請求項４の何れか一項に記載された画像通信装置。
  6. 前記キャプチャ画像には、前記表示手段に表示されるオンスクリーンディスプレイ情報が含まれる請求項１から請求項５の何れか一項に記載された画像通信装置。
  7. 前記制御イベントは、前記画像通信装置の操作手段、又は、前記他の装置からの遠隔操作によって発行される請求項１から請求項６の何れか一項に記載された画像通信装置。
  8. 前記モード制御手段は、前記ミラーリングモードの場合は前記他の装置からの遠隔操作を有効にし、前記ミラーリングモードではないモードの場合は前記他の装置からの遠隔操作を無効にする請求項７に記載された画像通信装置。
  9. 前記モード制御手段は、前記モードの切り換え前後において、前記他の装置に送信する画像のフォーマットが変更される場合、前記他の装置との間でフォーマットの変更メッセージを交換する請求項1から請求項８の何れか一項に記載された画像通信装置。
  10. 被写体を撮像して撮影画像を生成する撮像手段、少なくとも前記撮影画像を表示する表示手段、前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段、画像の符号化、および、符号化された画像の復号を行う符号化復号手段、前記符号化復号手段によって符号化された前記撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段、並びに、ネットワークを介して他の装置と通信する通信手段を有する画像通信装置の制御方法であって、
    制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に画像を送信する際のモードを切り換え、
    前記モードには、前記キャプチャ画像を前記他の装置に送信するミラーリングモード、および、前記記録画像を前記他の装置に送信するストリーミングモードがあり、
    前記ミラーリングモード中に所定の機能の開始を示す制御イベントを検出すると、前記キャプチャ画像の生成、符号化、送信を停止し、前記記録画像の読み出し、復号、送信を開始して、前記モードを前記ミラーリングモードから前記ストリーミングモードに切り換え、
    前記ストリーミングモード中に前記所定の機能の終了を示す制御イベントを検出すると、前記記録画像の読み出し、復号、送信を停止し、前記キャプチャ画像の生成、符号化、送信を開始して、前記モードを前記ストリーミングモードから前記ミラーリングモードに切り換え、
    前記ストリーミングモード中に前記所定の機能の一時停止を示す制御イベントを検出した場合は前記モードの切り換えを行わない制御方法。
  11. 被写体を撮像して撮影画像を生成する撮像手段、少なくとも前記撮影画像を表示する表示手段、前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段、画像の符号化、および、符号化された画像の復号を行う符号化復号手段、前記符号化復号手段によって符号化された前記撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段、ネットワークを介して他の装置と通信する通信手段、並びに、前記他の装置がオンスクリーンディスプレイ情報を必要とするか否かを示す情報を取得する取得手段を有する画像通信装置の制御方法であって、
    制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に画像を送信する際のモードを切り換え、
    前記モードには、前記キャプチャ画像を前記他の装置に送信するミラーリングモード、および、前記記録画像を前記他の装置に送信するストリーミングモードがあり、
    前記ミラーリングモード中に所定の機能の開始を示す制御イベントを検出すると、前記キャプチャ画像の生成、符号化、送信を停止し、前記記録画像の読み出し、復号、送信を開始して、前記モードを前記ミラーリングモードから前記ストリーミングモードに切り換え、
    前記ストリーミングモード中に前記所定の機能の停止または終了を示す制御イベントを検出すると、前記記録画像の読み出し、復号、送信を停止し、前記キャプチャ画像の生成、符号化、送信を開始して、前記モードを前記ストリーミングモードから前記ミラーリングモードに切り換え、
    前記他の装置が前記オンスクリーンディスプレイ情報を必要とする場合、前記ミラーリングモード中に前記所定の機能の開始を示す制御イベントを検出しても、前記モードの切り換えを行わない制御方法。
  12. コンピュータを請求項１から請求項９の何れか一項に記載された画像通信装置のモード制御手段として機能させるためのプログラム。
  13. 請求項１２に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
JP2013170825A 2013-08-20 2013-08-20 画像通信装置およびその制御方法 Active JP6319970B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013170825A JP6319970B2 (ja) 2013-08-20 2013-08-20 画像通信装置およびその制御方法
US14/331,543 US9332308B2 (en) 2013-08-20 2014-07-15 Image communication apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013170825A JP6319970B2 (ja) 2013-08-20 2013-08-20 画像通信装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2015041822A JP2015041822A (ja) 2015-03-02
JP2015041822A5 JP2015041822A5 (ja) 2016-09-15
JP6319970B2 true JP6319970B2 (ja) 2018-05-09

Family

ID=52481617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013170825A Active JP6319970B2 (ja) 2013-08-20 2013-08-20 画像通信装置およびその制御方法

Country Status (2)

Country Link
US (1) US9332308B2 (ja)
JP (1) JP6319970B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566616B2 (ja) 2014-08-19 2019-08-28 キヤノン株式会社 通信装置、その制御方法、およびプログラム
KR102269481B1 (ko) 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
US9967567B2 (en) * 2014-11-03 2018-05-08 Screenovate Technologies Ltd. Method and system for enhancing image quality of compressed video stream
US11968380B2 (en) * 2016-06-29 2024-04-23 Intel Corporation Encoding and decoding video
CN109462772A (zh) * 2018-10-31 2019-03-12 北京金山云网络技术有限公司 一种多媒体数据播放方法、装置及***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4511270B2 (ja) * 2004-07-21 2010-07-28 シャープ株式会社 送信装置、受信装置、及び通信システム
JP4791737B2 (ja) 2005-02-25 2011-10-12 大日本住友製薬株式会社 機能性核酸配列解析方法
JP5553721B2 (ja) * 2010-10-04 2014-07-16 株式会社Ｎｔｔドコモ 表示装置、開示制御装置、開示制御方法、及びプログラム
JP2012133586A (ja) * 2010-12-21 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP5680400B2 (ja) 2010-12-22 2015-03-04 株式会社Ｎｔｔドコモ 表示装置、画面画像転送方法、及びプログラム
WO2013111239A1 (ja) * 2012-01-26 2013-08-01 パナソニック株式会社 携帯端末、テレビ放送受信装置及び機器連携方法
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
US9418209B2 (en) * 2012-10-02 2016-08-16 Google Technology Holdings LLC Systems and methods for manipulating sensitive information in a secure mobile environment
CN103984494A (zh) * 2013-02-07 2014-08-13 上海帛茂信息科技有限公司 用于多种设备间的直觉式用户互动***及方法
TWI543594B (zh) * 2013-03-01 2016-07-21 致伸科技股份有限公司 數位媒體播放系統
US9716737B2 (en) * 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system

Also Published As

Publication number Publication date
JP2015041822A (ja) 2015-03-02
US9332308B2 (en) 2016-05-03
US20150058900A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
KR101917174B1 (ko) 전자 장치 사이의 스트림 전송 방법 및 그 방법을 처리하는 전자 장치
JP6319970B2 (ja) 画像通信装置およびその制御方法
WO2018010662A1 (zh) 视频文件的转码方法，装置及存储介质
JP6566616B2 (ja) 通信装置、その制御方法、およびプログラム
JP5974881B2 (ja) 情報処理装置およびその制御方法
KR20150022532A (ko) 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
RU2624641C2 (ru) Способ и устройство для регулировки качества видео на основе сетевой среды
US10015395B2 (en) Communication system, communication apparatus, communication method and program
JP6466638B2 (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
EP3213506A1 (en) Feeding intra-coded video frame after port reconfiguration in video telephony
TWI526080B (zh) 視訊會議系統
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
JP2010011287A (ja) 映像伝送方法および端末装置
JP6400163B2 (ja) 受信装置、受信方法、送信装置、送信方法、及びプログラム
JP2007324722A (ja) 動画像データ配信装置及び動画像データ通信システム
JP6415387B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP6701406B2 (ja) 通信装置、その制御方法、およびプログラム
JP2018107655A (ja) 監視カメラシステム
JP6558071B2 (ja) 無線通信装置、無線通信プログラム、及び無線通信方法
JP2017085483A (ja) 映像送信装置及び無線指示装置
US9578327B2 (en) Encoding apparatus, encoding method, and non-transitory computer-readable storage medium
JP2017118207A (ja) 無線通信装置およびプログラム
JP2012120011A (ja) 動画像通信装置、デジタルビデオカメラ、記録媒体および半導体集積回路
JP2010268490A (ja) 無線通信装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180403

R151 Written notification of patent or utility model registration

Ref document number: 6319970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151