JP6355263B2 - 受信装置、受信方法、及びプログラム - Google Patents

受信装置、受信方法、及びプログラム Download PDF

Info

Publication number
JP6355263B2
JP6355263B2 JP2015062753A JP2015062753A JP6355263B2 JP 6355263 B2 JP6355263 B2 JP 6355263B2 JP 2015062753 A JP2015062753 A JP 2015062753A JP 2015062753 A JP2015062753 A JP 2015062753A JP 6355263 B2 JP6355263 B2 JP 6355263B2
Authority
JP
Japan
Prior art keywords
audio
unit
resolution
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015062753A
Other languages
English (en)
Other versions
JP2016184781A (ja
Inventor
鈴木 秀樹
秀樹 鈴木
海彦 鈴木
海彦 鈴木
玲子 會田
玲子 會田
緑 青木
緑 青木
村島 伸幸
伸幸 村島
智夫 西垣
智夫 西垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015062753A priority Critical patent/JP6355263B2/ja
Publication of JP2016184781A publication Critical patent/JP2016184781A/ja
Application granted granted Critical
Publication of JP6355263B2 publication Critical patent/JP6355263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、受信装置、受信方法、及びプログラムに関する。
次世代テレビジョン放送サービスとして、4K(3840×2160または4060×2160)超高解像度テレビジョン放送(UHDTV:Ultra High Definition Television、以下、4K放送という)の試験放送が開始されている。さらに、8K(7680×4320)超高解像度テレビジョン放送(以下、8K放送という)に関する研究開発が進められている。
2014年9月9に総務省が発表したロードマップ(非特許文献1参照)では、日本において2015年に4K超高解像度テレビジョン放送(UHDTV:Ultra High Definition Television)の実用放送開始し、2018年に8K超高解像度テレビジョン放送の実用放送開始としている。また、このロードマップでは、4K、8K放送は、衛星による放送、ケーブルテレビ放送網による放送、IPTV等による配信が予定されている。また、このロードマップによれば、2016年から8K放送の実験放送を開始し、衛星による放送は、4K放送と8K放送とを時分割で放送することが提案されている。
4K・8K放送に対応した表示装置の普及には時間がかかる。このため、8K放送の実験放送が始まっても、4K放送のみに対応したテレビの方が8K放送に対応したテレビより低価格で販売されることが考えられる。この結果、8K放送の実験放送が始まっても、4K放送のみに対応したテレビを購入する視聴者が少なくないことが考えられる。
「4K・8Kロードマップに関するフォローアップ会合 中間報告 概要」、平成26年9月9日、[online]、総務省、[平成27年3月3日検索]、インターネット、<URL: http://www.soumu.go.jp/main_content/000312825.pdf>
しかしながら、4K放送のみに対応したテレビでは、8K放送を表示できないため、画面には何も表示されず、音声も無音となり、受信機の不具合であると視聴者に誤解される恐れがある。
本発明は上記の点に鑑みてなされたものであり、受信装置が対応している解像度より高い解像度の放送を受信した場合であっても、視聴者に受信装置が受信している状況を報知することができる受信装置、受信方法、及びプログラムを提供することを目的とする。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様の受信装置は、番組データと、番組に関する情報を含む構成データと、を含む放送波を受信する受信部と、前記受信部によって受信した前記構成データに含まれる映像の解像度を示す情報に基づいて、前記番組データに含まれる映像データの解像度が表示部で表示可能な解像度であるか否かを判別する比較部と、前記比較部によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、主音声とは異なる副音声があるか否かを判別し、前記副音声がある場合に、前記放送波から音声のみをデコードし、デコードした前記音声のうち前記副音声を出力する音声切替部と、前記比較部によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、前記映像データを受信し前記副音声を出力していることを示す情報を報知する報知部と、を備える。
(2)また、本発明の一態様の受信方法は、受信部が、番組データと、番組に関する情報を含む構成データと、を含む放送波を受信する受信手順と、比較部が、前記受信手順によって受信された前記構成データに含まれる映像の解像度を示す情報に基づいて、前記番組データに含まれる映像データの解像度が表示部で表示可能な解像度であるか否かを判別する比較手順と、音声切替部が、前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、主音声とは異なる副音声があるか否かを判別する判別手順と、デコード部が、前記判別手順によって前記副音声があると判別された場合に、前記放送波から音声のみをデコードするデコード手順と、音声切替部が、前記デコード手順によって復調された前記音声のうち前記副音声を出力する音声切替手順と、報知部が、前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、前記映像データを受信し前記副音声を出力していることを示す情報を報知する報知手順と、を含む。
(3)また、本発明の一態様のプログラムは、受信装置のコンピュータに、番組データと、番組に関する情報を含む構成データと、を含む放送波を受信する受信手順と、前記受信手順によって受信された前記構成データに含まれる映像の解像度を示す情報に基づいて、前記番組データに含まれる映像データの解像度が表示部で表示可能な解像度であるか否かを判別する比較手順と、前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、主音声とは異なる副音声があるか否かを判別する判別手順と、前記判別手順によって前記副音声があると判別された場合に、前記放送波から音声のみをデコードするデコード手順と、前記デコード手順によってデコードされた前記音声のうち前記副音声を出力する音声切替手順と、前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、前記映像データを受信し前記副音声を出力していることを示す情報を報知する報知手順と、を実行させる。
本発明によれば、受信装置が対応している解像度より高い解像度の放送を受信した場合であっても、視聴者に受信装置が受信している状況を報知することができる。
実施形態に係るデジタル放送システムの構成を示すブロック図である。 実施形態に係る送信装置の構成を示すブロック図である。 実施形態に係る放送システムに用いるプロトコルスタックの構造の例について説明する図である。 実施形態に係るMPTのデータ構造を示す概略図である。 実施形態に係る映像コンポーネント記述子の例を示す図である。 実施形態に係る映像信号解像度に記述される情報の例を示す図である。 実施形態に係るMH−音声コンポーネント記述子の例を示す図である。 実施形態に係るコンポーネント種別に記述される情報の例を示す図である。 実施形態に係る受信装置の構成を示すブロック図である。 実施形態に係る8K放送受信時のコーションメッセージの表示の例を示す図である。 実施形態に係る表示処理と報知処理の手順を示すフローチャートである。
本実施形態について、図面を参照しながら説明する。なお、以下の説明においては、本発明のデジタル放送の映像再生装置を、単に「受信装置」という。また、受信装置は、表示部を備えている。
図1は、本実施形態に係るデジタル放送システム1の構成を示すブロック図である。図1に示すように、デジタル放送システム1は、受信装置10、送信装置20、及び放送衛星41を含んで構成される。送信装置20は、放送事業者が有する放送設備を構成する。なお、デジタル放送システム1において、受信装置10と、送信装置20との台数は、一般的にそれぞれ複数であるが、以下の説明においては、説明を容易にするため、受信装置10と、送信装置20との台数が、それぞれ1台であるデジタル放送システム1の場合について説明する。
また、以下の説明では、デジタル放送システム1におけるデジタル放送のメディアトランスポート方式として、例えばARIB(Association of Radio Industries and Businesses(一般社団法人 電波産業会)) STD−60規格に記載のMMT(MPEG Media Transport)方式が採用されている場合について説明する。また、本実施形態では、送信される放送波が、番組に応じて4K放送のみであるか8K放送のみである場合を例に説明する。
送信装置20は、例えば、放送局などの放送事業者に備えられた送信装置である。送信装置20は、番組データi1を放送衛星41に送信する。番組データは、少なくとも映像データおよび音声データの一方のデータが含まれる番組のコンテンツデータである。なお、以下の説明においては、番組データが、映像データおよび音声データの両方のデータを含む映像コンテンツであるものとして説明する。なお、番組データに含まれる映像データと音声データとのそれぞれは、予め定めた符号化方式で符号化されたデータである。例えば、映像データは、H.265、いわゆる、HEVC(High Efficiency Video Coding)などの符号化方式で符号化されたデータである。また、例えば、音声データは、ISO/IEC 14496 Part3、いわゆる、MPEG−4オーディオなどの符号化方式で符号化されたデータである。
放送衛星41は、送信装置20から送信された番組データi1を受信し、受信した番組データi1を変調する。放送衛星41は、変調した番組データの電波を地上に向けて送信する。なお、放送衛星41は、人工衛星による放送衛星(BS)、及び通信衛星(CS)のうち、少なくとも1つの衛星である。送信装置20から送信された放送波は、地上波、ケーブルのような有線伝送路、または放送衛星を介して受信装置10に伝送される。図1に示す例では、放送波が放送衛星41を介して伝送される場合を示している。
受信装置10は、放送衛星41を介して放送された番組データを受信する。以下の説明では、受信装置10が、4K放送を表示でき8K放送を表示できないテレビジョン受像機(テレビ、TV)であるものとして説明する。つまり、受信装置10は、送信装置20から送信された放送波を受信し、受信した放送波に含まれる映像コンテンツである番組データの解像度が、受信装置10の解像度より高い場合、音声信号のみをデコードし、放送を受信しているが音声のみを出力していることを示す情報を表示部112(図9参照)に表示する。なお、受信装置10の構成については、後述する。
<送信装置20の構成>
次に、本実施形態に係る送信装置20の構成について説明する。
図2は、本実施形態に係る送信装置20の構成を示すブロック図である。図2に示すように、送信装置20は、番組データ生成部201、構成情報生成部202、多重化部203、暗号化部204、及び送信部205を含んで構成される。
番組データ生成部201は、放送番組を構成する映像を示す映像データと、放送番組を構成する音声を示す音声データを取得する。
番組データ生成部201は、取得した映像データを所定の映像符号化方式で符号化する。所定の映像符号化方式は、例えば、ISO/IEC 23008 HEVC(International Organization for Standardization/International Electronical Commission 23008 Part2 High Efficiency Video Coding、単に、HEVCとも呼ばれる)で規格化された方式である。
また、番組データ生成部201は、取得した音声データを所定の映像符号化方式で符号化する。所定の音声符号化方式は、例えば、ISO/IEC 14496 Part3(単に、MPEG−4オーディオとも呼ばれる。なお、MPEGはMoving Picture Experts Groupを略したものである。)で規定された音声符号化方式である。
番組データ生成部201は、符号化した映像データと音声データとMMT−SI(MMT−System Information)から所定の形式の番組データを生成し、生成した番組データを多重化部203に出力する。また、MMT−SIには、後述する放送事業者が設定するメッセージとテーブルと記述子とを含む。なお、MMT−SIについては後述する。所定の形式の番組データは、例えば、ISO/IEC 23008 Part1 MMT(MPEG Media Transport、単にMMTとも呼ばれる)で規定されたMPU(Media Processing Unit)である。各MPUには、映像や音声の復号処理を行うことができる単位の映像データ、音声データ、及びMMT−SIが含まれる。
構成情報生成部202は、放送番組や放送に伴って提供されるサービスを構成するための情報である構成要素情報を取得する。構成要素情報は、放送番組やサービスの構成要素であるアセット、つまり、映像、音声等のリストや、それらの諸要件を示す情報を含む。
例えば、上記の構成要素情報には、階層伝送方式による放送をする場合等、複数の放送映像を同時に送信する場合においては、各映像の解像度に関する情報や、各映像が表示される優先度に関する情報等も構成要素情報に含まれる。
構成情報生成部202は、取得した構成要素情報から所定の形式の構成情報を生成し、生成した構成情報を多重化部203に出力する。所定の形式の構成データは、例えば、MMT−SI(MMT−System Information)を構成するMPT(MMT Package Table)である。MPTの例については後述する。
多重化部203は、番組データ生成部201が出力した番組データ、及び構成情報生成部202が出力した構成情報を多重化して、所定の形式(例えば、TLV(Type Length Value)パケット)の多重化データを生成する。多重化部203は、生成した多重化データを暗号化部204に出力する。
暗号化部204は、多重化部203が出力した多重化データを所定の暗号化方式(例えば、AES(Advanced Encryption Standard)やMULTI2)を用いて暗号化する。暗号化部204は、暗号化した多重化データを送信部205に出力する。なお、送信部205に出力される多重化データには、映像データ、主音声データ、視覚障害者用音声解説(以下、解説音声ともいう)、構造情報が含まれている。
送信部205は、暗号化部204が出力した多重化データを受信装置10に放送伝送路である放送衛星41を介して送信する。ここで、送信部205は、ベースバンド信号である多重化データで所定の搬送周波数を有する搬送波を変調させて、搬送周波数に対応したチャネル帯域の電波(放送波)をアンテナ(図示せず)により放射する。
<MMTを用いるシステムのプロトコルスタックの構造>
次に、MMTを用いるシステムのプロトコルスタックの構造の例について説明する。
図3は、本実施形態に係る放送システムに用いるプロトコルスタックの構造の例について説明する図である。図3に示すように、放送システムに用いるプロトコルスタックは、TMCC(Transmission and Multiplexing Configuration Control)、時刻情報、符号化された映像データ、符号化された音声データ、符号化された字幕データ、MMT−SI、HTML5規格で記述されたアプリケーション(単にアプリともいう)、EPG(電子番組ガイド)、コンテンツダウンロードデータ等を含んで構成される。放送番組の映像信号及び音声信号の符号はMFU(Media Fragment Unit)/MPUである。そして、MFU/MPUは、MMTPペイロードに乗せて送信装置20によってMMTPパケット化され、IPパケットで送信装置20によって伝送される。データコンテンツの伝送は、データが送信装置20によってMMTPパケット化され、IPパケットで送信装置20によって伝送される。このように構成されたIPパケットは、放送伝送路を用いて放送される場合、TLVパケットの形式で送信装置20によって伝送される。一つのIPパケットあるいは一つのヘッダー圧縮したIPパケットは、一つのTLVパケットで送信装置20によって伝送する(ARIB STD−B32及びSTD−B60参照)。
さらに、放送システムに用いるプロトコルスタックでは、MMT−SI、TLV−SIの2種類の制御情報が設けられている。MMT−SIとは、放送番組の構成などを示す制御情報である。MMT−SIでは、MMTの制御メッセージの形式とし、送信装置20によってMMTPペイロードに乗せられてMMTPパケット化され、送信装置20によってIPパケットで伝送される。TLV−SIとは、IPパケットの多重に関する制御情報であり、選局のための情報やIPアドレスとサービスの対応情報を提供する。
また、TMCCとは、伝送路上の信号の単位(スロット)ごとに変調方式やエラー訂正方式を指定する階層変調方式において、伝送フレームに挿入して伝送するこれらの制御情報である。HEVC(High Efficiency Video Coding)とは、映像信号の符号化の手法である。AAC(Advanced Audio Coding)及びALS(Audio Lossless Coding)とは、音声信号の符号化の手法である。UDP/IP(User Datagram Protocol/Internet Protocol)とは、通信に使われるプロトコルの1つである。TLV(TYPE LENGTH VALUE)とは、データの多重化手法の1つである。TLVは、データの符号化をデータタイプ(Type)、長さ(Length)、値(Value)の3つで構成される。
<番組情報、MMT−SI>
次に、番組情報の例について説明する。
番組情報とは、具体的には、MMT−SI(伝送制御信号)である。MMT−SIには、メッセージ、テーブル、記述子が含まれている。
まずMMT−SIのメッセージについて説明する。
メッセージには、Package Access(PA)メッセージ、M2セクションメッセージ、CAメッセージ、M2短セクションメッセージ、データ伝送メッセージ、及び事業者が設定するメッセージが含まれる。
PAメッセージは、MMT−SIのエントリーポイントとなり、MMT−SIのテーブルを伝送する制御情報である。
M2セクションメッセージは、MPEG−2 Systemsのセクション拡張形式を伝送する制御情報である。
CAメッセージは、限定受信方式に関する情報を伝送する制御情報である。なお、限定受信によって受信される放送とは、放送事業者と視聴者とが視聴契約を結ばないと受信装置10で視聴できない放送である。
M2短セクションメッセージは、MPEG−2 Systemsのセクション短形式を伝送する制御情報である。
データ伝送メッセージは、データ伝送に関するテーブルを伝送する制御情報である。
事業者が設定するメッセージは、放送事業者が設定する制御情報である。
次に、MMT−SIのテーブルのうち、本実施形態で使用するテーブルについて説明する。なお、デジタル放送システム1は、MMT方式に係る全てのテーブルを扱うことができる。テーブルは、MPT(MMTパッケージテーブル、MMT Package Table)、MH−EIT(MH−イベント情報テーブル、MH−Event Information Table)、MH−BIT(MH−ブロードキャスタ情報テーブル、MH−Broadcaster Information Table)、MH−SDT(MH−サービス記述テーブル、MH−Service Description Table)などの各種テーブルを含む。
MH−EITは、番組の名称、放送日時、放送内容の説明など、番組に関する情報を伝送するテーブルである。
MH−BITは、ネットワーク上に存在するブロードキャスタの情報を提示するために用いられるテーブルである。
<MPTのデータ構造>
次に、MPTについて説明する。
図4は、本実施形態に係る放送システムに用いるMPTのデータ構造を示す概略図である。図4に示すように、MPT(MMT_Package_Table())は、MPT記述子領域(MPT_descriptors_byte)を含む。MPT記述子領域(MPT_descriptors_byte)は、MPTの記述子が記述される領域である。番組がマルチビュー番組である場合、MPTの記述子領域には、MH−コンポーネントグループ記述子(MH−Component_Group_Descriptor())が含まれる。これに対して、番組がマルチビュー番組ではない場合、MPTの記述子領域には、MH−コンポーネントグループ記述子が含まれない。
また、MPTは、アセット毎にアセットタイプ(asset_type)を含む。アセットタイプには、アセットの種類を示す符号が記述される。アセットタイプには、例えば、HEVCで符号化された映像データを示すhcv1と、MPEG−4オーディオで符号化された音声データを示すmp4aとが記述される。
<映像コンポーネント記述子のデータ構造の説明>
次に、映像コンポーネント記述子(Video_Component_Descriptor())の例について説明する。
図5は、本実施形態に係る映像コンポーネント記述子の例を示す図である。図5に示すように、映像コンポーネント記述子は、記述子タグ(descriptor_tag)、記述子長(descriptor_length)、映像信号解像度(video_resolution)、映像信号アスペクト比(video_aspect_ratio)、映像スキャンフラグ(video_scan_flag)、映像信号フレームレート(video_frame_rate)、コンポーネントタグ(component_tag)、言語コード(ISO_639_language_code)を含む。
図5に示すように、記述子タグには、各記述子を識別するための情報が記述される。記述子長には、このフィールドより後に続くデータバイト数が記述される。映像信号解像度(video_resolution)は、映像信号の垂直方向の解像度が記述され、図6に従って符号化される。
図6は、本実施形態に係る映像信号解像度に記述される情報の例を示す図である。図6に示すように、映像信号解像度の値が5の場合が、2K放送の空間解像度(1080(1125))を意味し、映像信号解像度の値が6の場合が、4K放送の空間解像度(2160)を意味し、映像信号解像度の値が7の場合が、8K放送の空間解像度(4320)を意味する。
図5に戻って、映像信号アスペクト比(video_aspect_ratio)には、映像信号のアスペクト比が記述される。
映像スキャンフラグ(video_scan_flag)には、映像信号がインターレース信号であるか、プログレッシブ信号であるかを示すフラグが記述される。映像信号フレームレートには、映像信号のフレームレートが記述される。コンポーネントタグ(componet_tag)には、コンポーネントストリームを識別するためのラベルが記述される。
言語コード(ISO_639_language_code)には、コンポーネント(音声、あるいはデータ)の言語及びこの記述子に含まれる文字記述の言語を識別するための情報が記述される。
<MH−音声コンポーネント記述子のデータ構造の説明>
次に、MH−音声コンポーネント記述子(MH−Audio_Component_Descriptor())の例について説明する。
図7は、本実施形態に係るMH−音声コンポーネント記述子の例を示す図である。図7に示すように、MH−音声コンポーネント記述子は、記述子タグ(descriptor_tag)、記述子長(descriptor_length)、コンポーネント内容(stream_content)、コンポーネント種別(component_type)、コンポーネントタグ(component_tag)、ストリーム形式種別(stream_type)、サイマルキャストグループ識別(simulcast_group_tag)、ES多言語フラグ(ES_multi_lingual_flag)、主コンポーネントフラグ(main_component_flag)、音質表示(quality_indicator)、サンプリング周波数(sampling_rate)、言語コード(ISO_639_language_code)等を含んでいる。
図7において、コンポーネント内容は、ストリームの種別を表し、コンポーネント種別(component_type)は、音声コンポーネントの種別が図8に従って符号化される。
図8は、本実施形態に係るコンポーネント種別に記述される情報の例を示す図である。図8に示すように、コンポーネント種別が設定されている値に応じて符号化されている。本実施形態では、受信した放送が8K放送の場合、コンポーネント種別が“0x40”の“視覚障害者用音声解説”を抽出して出力する。
図7に戻って、コンポーネントタグは、コンポーネントストリームを識別するためのラベルである。
ストリーム形式種別には、音声ストリームの形式をISO/IEC 13818−1に規定されるstream_typeで示す情報が記述される。
サイマルキャストグループ識別は、サイマルキャスト(同一内容を異なる符号化方式で伝送)を行なっているコンポーネントに対して同じ番号を与えられる。また、サイマルキャストグループ識別は、サイマルキャストを行なっていないコンポーネントに対しては0xFFに設定される。
ES多言語フラグは、1/0+1/0モードにおいて、ES内で2言語(ES多言語モード)多重が行われている場合に‘1’に設定される。
主コンポーネントフラグには、音声コンポーネントが主音声であるとき‘1’が記述され、1/0+1/0モードの場合、第1音声コンポーネントが主音声であるとき‘1’が記述される。
音質表示には、音質モードを表す情報が記述される。
サンプリング周波数には、サンプリング周波数を示す情報が記述される。
言語コードには、音声コンポーネントの言語を示す情報が記述される。
<受信装置10の構成の説明>
次に、本実施形態に係る受信装置10の構成について説明する。
図9は、本実施形態に係る受信装置10の構成を示すブロック図である。図9に示すように、受信装置10は、受信部101、復調部103、分離部104、制御部105、記憶部106、音声復号部107、音声切替部108、音声再生部109、映像復号部110、映像合成部111、表示部112、及び操作部113を備える。
受信部101は、送信装置20が送信した放送波を、放送衛星41を介して受信する。受信部101は、操作部113が出力した操作結果に基づいて、制御部105が出力した放送チャンネル信号で指定される放送チャンネルに応じた放送チャンネル帯域を特定する。受信部101は、放送波として受信した放送チャンネル帯域の受信信号をベースバンド信号である多重化データに変換する。受信部101は、変換した多重化データを復調部103に出力する。
復調部103は、受信部101が出力した多重化データを送信装置20の変調方式に応じた復調方式によって復調し、復調した多重化データを分離部104に出力する。なお、復調部103は、復調後または復調時に誤り訂正を行う。
分離部104は、復調部103が出力した復調後の多重化データから番組データ及び構成情報に分離する。分離部104は、構成情報を制御部105に出力する。また、分離部104は、番組データから音声データと映像データとMMT−SIとを抽出する。分離部104は、抽出した音声データを音声復号部107に出力し、映像データを映像復号部110に出力する。また、分離部104は、抽出したMMT−SIを制御部105に出力する。
音声復号部107には、分離部104から音声データが入力される。音声データには、主音声と副音声とが含まれている。また、副音声には、視覚障害者用音声解説が含まれる。また、入力された音声データは、所定の音声符号化方式(例えば、MPEG−4 オーディオ)で符号化されたデータである。音声復号部107は、制御部105の比較部1053からのデコード指示に応じて、入力された音声データに対してデコード(復号)を行い、デコードした音声信号を音声切替部108に出力する。なお、音声切替部108に出力される音声信号には、主音声と副音声が含まれている。
音声切替部108は、音声復号部107が出力する音声信号のうち、比較部1053からの切替信号に応じた音声信号を出力する。例えば、視聴者によって出力音声が選択されていない場合かつ4K放送の場合、音声切替部108は、切替信号に応じて主音声に切り替えて、主音声を音声再生部109に出力する。また、視聴者によって出力音声が選択されていない場合かつ8K放送の場合、音声切替部108は、切替信号に応じて視覚障害者用音声解説に切り替えて、視覚障害者用音声解説を音声再生部109に出力する。
音声再生部109は、音声復号部107が出力した音声信号を再生するものであり、例えば、スピーカーを含んで構成される。
映像復号部110には、分離部104から映像データが入力される。入力された映像データは、所定の映像符号化方式(例えば、HEVC、MPEG−2 ビデオ)で符号化されたデータである。映像復号部110は、比較部1053からのデコード指示に応じて、符号化に用いられた符号化方式と対応する復号方式で入力された映像データに対してデコードを行い、デコードした映像データを生成する。映像復号部110は、復号した映像データを映像合成部111に出力する。
例えば、映像復号部110は、4K放送の場合、デコード指示に応じて映像データに対してデコードを行い、デコードした映像データを映像合成部111に出力する。または、映像復号部110は、8K放送の場合、デコード指示に応じて映像データに対してデコードを行わず、例えば黒画像のデータを映像合成部111に出力する。なお、デコードが行われた映像データは、各時刻における映像(フレーム画像)を形成する信号値を示すデータである。
映像合成部111は、制御部105の報知部1054がコーションメッセージを出力した場合、映像復号部110が出力した映像データに、入力されたコーションメッセージの画像を合成し、合成した映像データを表示部112に出力する。映像合成部111は、報知部1054がコーションメッセージを出力していない場合、映像復号部110が出力した映像データを表示部112に出力する。
表示部112は、映像合成部111が出力した映像データに基づく映像を表示する。表示部112は、ディスプレイ、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、等を含んで構成される。
制御部105は、表示解像度取得部1051、放送解像度検出部1052、比較部1053、及び報知部1054を備える。
表示解像度取得部1051は、表示部112によって表示可能な解像度を取得する。なお、表示部112によって表示可能な解像度は、予め記憶部106に記憶されていてもよい。記憶部106に表示可能な解像度が予め記憶されている場合、表示解像度取得部1051は、表示可能な解像度を記憶部106から読み出して取得する。表示解像度取得部1051は、取得した解像度を示す情報を、表示解像度を示す情報として比較部1053に出力する。
放送解像度検出部1052は、分離部104が出力したMMT−SIから映像コンポーネント記述子を抽出する。放送解像度検出部1052は、抽出した映像コンポーネント記述子にパラメータ設定されている映像信号解像度を検出し、検出した映像信号解像度を、放送解像度を示す情報として比較部1053に出力する。
比較部1053は、表示解像度取得部1051が出力した表示解像度を示す情報と、放送解像度検出部1052が出力した放送解像度を示す情報とを取得する。比較部1053は、取得した情報に基づいて、放送解像度と表示解像度とを比較し、比較した比較結果に応じて、デコード指示、切替信号、報知情報生成指示を生成する。比較部1053は、生成したデコード指示を音声復号部107と映像復号部110とに出力する。比較部1053は、生成した切替信号を音声切替部108に出力する。比較部1053は、生成した報知情報生成指示を報知部1054に出力する。
4K放送の場合、比較部1053は、音声データのデコードを行うデコード指示を音声復号部107に出力し、映像データのデコードを行うデコード指示を映像復号部110に出力する。比較部1053は、主音声に切り替える切替信号を音声切替部108に出力する。比較部1053は、コーションメッセージを生成しない報知情報生成指示を報知部1054に出力する。
または、8K放送の場合、比較部1053は、音声データのデコードを行うデコード指示を音声復号部107に出力し、映像データのデコードを行なわないデコード指示を映像復号部110に出力する。比較部1053は、視覚障害者用音声解説に切り替える切替信号を音声切替部108に出力する。比較部1053は、コーションメッセージを生成する報知情報生成指示を報知部1054に出力する。
報知部1054は、比較部1053が出力した報知情報生成指示に応じて記憶部106に記憶されているコーションメッセージを参照してコーションメッセージを生成し、生成したコーションメッセージを示す情報を映像合成部111に出力する。
記憶部106は、コーションメッセージ、図6に示した映像信号解像度の値と意味とを対応付けた情報、図8に示したコンポーネント種別の値と意味とを対応付けた情報等の各種のデータを記憶する。記憶部106は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、ROM(Read Only Memory;読み出し専用メモリ)、RAM(Random Access read/write Memory;読み書き可能なメモリ)、又はそれらの任意の組み合わせを含んで構成される。なお、記憶部106は、表示部112の解像度を示す情報が記憶されていてもよい。
操作部113は、例えば、操作ボタン、リモートコントローラ、携帯端末装置等の電子機器から操作信号を受信する入力インタフェース、等である。操作部113は、視聴者によって操作された操作結果を検出し、検出した操作結果を制御部105に出力する。
図10は、本実施形態に係る8K放送受信時のコーションメッセージの表示の例を示す図である。図10に示すように、8K放送受信時、受信装置10は視覚障害者用音声解説(音声解説)を出力し、表示部112の画面の一部にコーションメッセージの画像g101を表示させ、残りの表示領域には、例えば黒画像g102を表示させる。図10に示す例におけるコーションメッセージの画像g101には、例えば「8K放送受信中です。音声のみを出力しています。」を含む。なお、表示されるコーションメッセージの画像g101は一例であり、これに限られない。表示解像度と放送解像度とが異なるため表示できないことを示すメッセージや視覚障害者用音声解説を再生していることを示すメッセージを含んでいてもよい。
<音声処理、報知処理の説明>
次に、本実施形態に係る音声処理と報知処理とについて説明する。
図11は、本実施形態に係る表示処理と報知処理の手順を示すフローチャートである。なお、図11に示す例では、視聴者によって放送衛星41を介して放送番組のチャンネルが選択された後の処理を説明する。
(ステップS101)受信部101は、送信装置20が送信した放送波のうち、制御部105が出力した放送チャンネル信号で指定される放送チャンネルの放送波を受信する。
(ステップS102)表示解像度取得部1051は、表示部112によって表示可能な解像度を取得する。
(ステップS103)放送解像度検出部1052は、分離部104が出力したMMT−SIから映像コンポーネント記述子を抽出する。続けて、放送解像度検出部1052は、抽出した映像コンポーネント記述子にパラメータ設定されている映像信号解像度の値を抽出する。続けて、放送解像度検出部1052は、抽出した映像信号解像度の値と対応付けられて記憶部106に記憶されている意味を示す情報に基づいて、放送解像度を検出する。
(ステップS104)比較部1053は、表示解像度と放送解像度とを用いて、受信している映像の解像度が表示部112で表示可能であるか否かを判別する。比較部1053は、表示可能な映像であると判別した場合(ステップS104;YES)、ステップS108に処理を進め、表示できない映像であると判別した場合(ステップS104;NO)、ステップS105に処理を進める。なお、表示可能な映像とは、表示解像度が4Kであり、放送解像度が4K以下の映像である。また、表示できない映像とは、表示解像度が4Kであり、放送解像度が4Kより解像度の高い映像であり、例えば8Kの映像である。
(ステップS105)比較部1053は、音声データのデコードを行うデコード指示を音声復号部107に出力し、映像データのデコードを行なわないデコード指示を映像復号部110に出力する。続けて、比較部1053は、視覚障害者用音声解説に切り替える切替信号を音声切替部108に出力する。続けて、比較部1053は、コーションメッセージを生成する報知情報生成指示を報知部1054に出力する。続けて、音声復号部107は、比較部1053からのデコード指示に応じて、入力された音声データに対してデコードを行う。
(ステップS106)音声切替部108は、音声復号部107が出力する音声信号のうち、比較部1053からの切替信号に応じて視覚障害者用音声解説を音声再生部109に出力する。続けて、音声再生部109は、音声復号部107が出力した音声信号を再生する。
(ステップS107)映像合成部111は、報知部1054が出力した報知情報生成指示に応じて、映像復号部110が出力した映像データに、入力されたコーションメッセージの画像を合成し、合成した映像データを、例えば図10のように表示部112に表示させる。なお、この場合の映像データは、例えば黒画像のデータである。映像合成部111は、処理を終了する。
(ステップS108)比較部1053は、音声データのデコードを行うデコード指示を音声復号部107に出力し、映像データのデコードを行うデコード指示を映像復号部110に出力する。続けて、比較部1053は、主音声に切り替える切替信号を音声切替部108に出力する。続けて、比較部1053は、コーションメッセージを生成しない報知情報生成指示を報知部1054に出力する。続けて、音声復号部107は、比較部1053からのデコード指示に応じて、入力された音声データに対してデコードを行う。続けて、映像復号部110は、比較部1053からのデコード指示に応じて、入力された映像データに対してデコードを行う。
(ステップS109)映像合成部111は、報知部1054がコーションメッセージを出力していないため、映像復号部110が出力した映像データを表示部112に表示させる。映像合成部111は、処理を終了する。
以上のように、受信している映像データの解像度が表示部112で表示できない場合、受信装置10は、映像データのデコードを行わずに、音声データのデコードのみを行う。そして、受信装置10は、視覚障害者用音声解説を出力し、表示部112上には、放送を受信しているが表示できないため音声のみ出力していることを示す情報を報知する。仮に、受信装置10が受信、表示できない放送を受信しているとき、表示部112上に何も表示されていないと、視聴者(利用者ともいう)は、受信装置10が故障している誤解される場合がある。本実施形態によれば、視覚障害者用音声解説が出力され、かつ表示部112上に放送を受信しているが表示できないため音声のみ出力していることを示す情報が報知されるため、視聴者は、受信している放送が受信装置10で表示できないことを知ることができ、受信装置10の故障ではないことを知ることができる。また、本実施形態によれば、表示解像度と放送解像度とが一致していない場合、視覚障害者用音声解説に切り替えて出力するので、視聴者は表示部112に映像が表示されていなくても、放送されている内容を視覚障害者用音声解説によって、ある程度把握できる効果を得ることができる。
なお、上述した例では、受信している映像データの解像度が表示部112で表示できない場合、比較部1053は、副音声のうち視覚障害者用音声解説を選択する例を説明したが、これに限られない。映像データの解像度が表示部112で表示できない場合かつ視覚障害者用音声解説が含まれていない場合、比較部1053が選択する音声は、主音声以外の副音声であってもよい。
また、本実施形態では、映像データの解像度が表示部112で表示できない場合、副音声のうち視覚障害者用音声解説が設定されている例を説明したが、これに限られない。例えば、操作部113を視聴者が操作して、表示解像度と放送解像度とが一致していない場合に出力する音声を選択して設定しておくようにしてもよい。
以上のように、本実施形態の受信装置10は、番組データと、番組に関する情報を含む構成データと、を含む放送波を受信する受信部101と、受信部によって受信した構成データに含まれる映像の解像度(放送解像度)を示す情報に基づいて、番組データに含まれる映像データの解像度が表示部で表示可能な解像度(表示解像度)であるか否かを判別する比較部1053と、比較部によって映像データの解像度が表示部で表示できないと判別された場合に、主音声とは異なる副音声(例えば、視覚障害者用音声解説)があるか否かを判別し、副音声がある場合に、放送波から音声のみをデコードし、デコードした音声のうち副音声を出力する音声切替部108と、比較部によって映像データの解像度が表示部で表示できないと判別された場合に、映像データを受信し副音声を出力していることを示す情報を報知する報知部1054と、を備える。
この構成によって、本実施形態によれば、受信している映像データの解像度が表示部112で表示できない場合、視覚障害者用音声解説が出力され、かつ表示部112上に放送を受信しているが表示できないため音声のみ出力していることを示す情報を報知する。すなわち、本実施形態によれば、受信装置10が対応している解像度より高い解像度の放送を受信した場合であっても、視聴者に受信装置が受信している状況を報知することができる。この結果、視聴者は、受信している放送が受信装置10で表示できないことを知ることができ、かつ副音声が出力されているので受信装置10の故障ではないことを知ることができる。また、視聴者は、副音声によって、放送されている番組の内容をある程度知ることができる。
また、本実施形態の受信装置10において、副音声は、解説放送の音声または視覚障害者用音声解説である。
この構成によって、本実施形態によれば、受信している映像データの解像度が表示部112で表示できない場合、視覚障害者用音声解説に切り替えて出力するので、視聴者は表示部112に映像が表示されていなくても、放送されている内容を視覚障害者用音声解説によって、ある程度把握できる。
また、本実施形態の受信装置10において、副音声は、利用者(視聴者)が操作部113を操作して選択した音声である。
この構成によって、本実施形態によれば、受信している映像データの解像度が表示部112で表示できない場合、視聴者によって選択した音声が出力されるので、視聴者は表示部112に映像が表示されていなくても、放送されている内容を視覚障害者用音声解説によって、ある程度把握できる。
また、本実施形態の受信装置10において、表示部112で表示可能な解像度(表示解像度)は、横の解像度が4096または3840ピクセルであり、音声切替部108は、映像データの横の解像度が7680であり、副音声がある場合に副音声に切り替え、報知部1054は、映像データの横の解像度が7680であり、副音声がある場合に映像データを受信していることを示す情報を報知する。
この構成によって、本実施形態によれば、受信装置10の表示部112が表示可能な解像度が4K放送に対応したものであり、8K放送を受信した場合であっても、副音声が再生され、再生されている状態が報知することで、視聴者に受信装置が受信している状況を報知することができる。
上述した実施形態では、受信装置10がテレビジョン受像機(テレビ、TV)の例を説明したが、これに限られない。受信装置10は、主番組データと副番組データを受信して再生できる装置、例えばHDD(ハードディスク)レコーダー、光ディスクレコーダー等であってもよい。また、受信装置10は、表示部112を含んでいなくてもよい。
上述した実施形態では、受信装置10が4K放送を表示可能なテレビジョン受像機(テレビ、TV)の例を説明したが、これに限られない。例えば、受信装置10が2K放送を表示可能なテレビジョン受像機の場合、放送波の映像データの解像度が2Kより高い場合に、表示部112に映像を表示させずコーションメッセージを報知し、副音声を出力するようにしてもよい。また、受信装置10が8K放送を表示可能なテレビジョン受像機の場合、放送波の映像データの解像度が8Kより高い場合に、表示部112に映像を表示させずコーションメッセージを報知し、副音声を出力するようにしてもよい。
なお、上述した実施形態では、各種のデータを伝送するための伝送方式として、MPEG−Hで規定されたMMT(MPEG Media Transport)によるメディアトランスポート方式が用いる場合を例にしたが、その他の伝送方式、例えば、MPEG−2 Systemsで規定された方式が用いられてもよい。また、伝送に係るデータ形式、暗号化方式、符号化方式も、その伝送方式で規定された形式または方式が用いられてもよい。
また、上述した実施形態における受信装置10の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、認識データ伝送装置に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…デジタル放送システム、10…受信装置、20…送信装置、41…放送衛星、101…受信部、103…復調部、104…分離部、105…制御部、106…記憶部、107…音声復号部、108…音声切替部、109…音声再生部、110…映像復号部、111…映像合成部、112…表示部、113…操作部、201…番組データ生成部、202…構成情報生成部、203…多重化部、204…暗号化部、205…送信部

Claims (6)

  1. 番組データと、番組に関する情報を含む構成データと、を含む放送波を受信する受信部と、
    前記受信部によって受信した前記構成データに含まれる映像の解像度を示す情報に基づいて、前記番組データに含まれる映像データの解像度が表示部で表示可能な解像度であるか否かを判別する比較部と、
    前記比較部によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、主音声とは異なる副音声があるか否かを判別し、前記副音声がある場合に、前記放送波から音声のみをデコードし、デコードした前記音声のうち前記副音声を出力する音声切替部と、
    前記比較部によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、前記映像データを受信し前記副音声を出力していることを示す情報を報知する報知部と、
    を備える受信装置。
  2. 前記副音声は、
    解説放送の音声または視覚障害者用音声解説である請求項1に記載の受信装置。
  3. 前記副音声は、
    利用者が操作部を操作して選択した音声である請求項1に記載の受信装置。
  4. 前記表示部で表示可能な解像度は、横の解像度が4096または3840ピクセルであり、
    前記音声切替部は、
    前記映像データの横の解像度が7680であり、前記副音声がある場合に前記副音声に切り替え、
    前記報知部は、
    前記映像データの横の解像度が7680であり、前記副音声がある場合に前記映像データを受信していることを示す情報を報知する請求項1から請求項3のいずれか1項に記載の受信装置。
  5. 受信部が、番組データと、番組に関する情報を含む構成データと、を含む放送波を受信する受信手順と、
    比較部が、前記受信手順によって受信された前記構成データに含まれる映像の解像度を示す情報に基づいて、前記番組データに含まれる映像データの解像度が表示部で表示可能な解像度であるか否かを判別する比較手順と、
    音声切替部が、前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、主音声とは異なる副音声があるか否かを判別する判別手順と、
    デコード部が、前記判別手順によって前記副音声があると判別された場合に、前記放送波から音声のみをデコードするデコード手順と、
    音声切替部が、前記デコード手順によって復調された前記音声のうち前記副音声を出力する音声切替手順と、
    報知部が、前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、前記映像データを受信し前記副音声を出力していることを示す情報を報知する報知手順と、
    を含む受信方法。
  6. 受信装置のコンピュータに、
    番組データと、番組に関する情報を含む構成データと、を含む放送波を受信する受信手順と、
    前記受信手順によって受信された前記構成データに含まれる映像の解像度を示す情報に基づいて、前記番組データに含まれる映像データの解像度が表示部で表示可能な解像度であるか否かを判別する比較手順と、
    前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、主音声とは異なる副音声があるか否かを判別する判別手順と、
    前記判別手順によって前記副音声があると判別された場合に、前記放送波から音声のみをデコードするデコード手順と、
    前記デコード手順によってデコードされた前記音声のうち前記副音声を出力する音声切替手順と、
    前記比較手順によって前記映像データの解像度が前記表示部で表示できないと判別された場合に、前記映像データを受信し前記副音声を出力していることを示す情報を報知する報知手順と、
    を実行させるプログラム。
JP2015062753A 2015-03-25 2015-03-25 受信装置、受信方法、及びプログラム Active JP6355263B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015062753A JP6355263B2 (ja) 2015-03-25 2015-03-25 受信装置、受信方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015062753A JP6355263B2 (ja) 2015-03-25 2015-03-25 受信装置、受信方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016184781A JP2016184781A (ja) 2016-10-20
JP6355263B2 true JP6355263B2 (ja) 2018-07-11

Family

ID=57243296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015062753A Active JP6355263B2 (ja) 2015-03-25 2015-03-25 受信装置、受信方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6355263B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479651B2 (ja) * 2005-12-12 2010-06-09 株式会社日立製作所 映像音声記録装置
JP2007235606A (ja) * 2006-03-01 2007-09-13 Clarion Co Ltd 車載用放送受信装置、放送受信制御装置、放送受信制御方法および制御プログラム
JP2007243389A (ja) * 2006-03-07 2007-09-20 Clarion Co Ltd 車載用放送受信システム、放送受信制御装置、放送受信制御方法および制御プログラム
JP2008054169A (ja) * 2006-08-28 2008-03-06 Orion Denki Kk 外部表示装置に合わせた出力映像の解像度変更手段を備える映像再生装置
JP2011142397A (ja) * 2010-01-05 2011-07-21 Canon Inc 放送受信装置及び方法
JP6255760B2 (ja) * 2013-07-16 2018-01-10 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2016184781A (ja) 2016-10-20

Similar Documents

Publication Publication Date Title
US11343549B2 (en) Reception apparatus, reception method, transmission apparatus, and transmission method
JP6700658B2 (ja) 受信装置、受信方法、及びプログラム
JP6381465B2 (ja) 受信装置、受信方法、及びプログラム
JP2017184206A (ja) 受信装置、送信装置、及びプログラム
JP2017118460A (ja) 受信装置、送信装置、放送システム、及び送受信方法
JP2015005917A (ja) 情報送信装置、情報送信方法、及び情報受信装置
JP6355263B2 (ja) 受信装置、受信方法、及びプログラム
JP6386353B2 (ja) 受信装置、テレビジョン装置、プログラム、記憶媒体、及び受信方法
JP6500956B2 (ja) 受信装置、テレビジョン装置、プログラム、記憶媒体、及び制御方法
JP6448073B2 (ja) 受信装置、テレビジョン装置、記憶媒体、受信方法、及びプログラム
JP6359134B2 (ja) 受信装置、受信方法、プログラム、及び記憶媒体
JP6450968B2 (ja) 受信装置、受信方法、及びプログラム
JP6309061B2 (ja) 放送システム
JP6238086B2 (ja) 受信装置、受信方法、プログラム及び記憶媒体
KR101102386B1 (ko) 디지털 케이블 방송 시스템 및 그를 이용한 지역정보 제공방법
JP2016092698A (ja) 受信装置、放送システム、受信方法及びプログラム
JP6415368B2 (ja) 映像再生装置、映像再生方法、及びプログラム
JP6407063B2 (ja) 受信装置、受信方法、及びプログラム
JP6137754B2 (ja) 受信装置、受信方法及びプログラム
JP7501317B2 (ja) 映像受信装置および映像受信方法
JP6576539B2 (ja) 受信装置、テレビジョン装置、記憶媒体、受信方法、及びプログラム
JP6429402B2 (ja) 受信装置、テレビジョン受信装置、受信方法、プログラムおよび記憶媒体
JP6279140B1 (ja) 受信装置
JP6644470B2 (ja) 受信装置、受信方法、プログラム及び記憶媒体
JP6279063B2 (ja) 受信装置、受信方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R150 Certificate of patent or registration of utility model

Ref document number: 6355263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150