JP5978219B2 - ネットワークサービスのための体感品質管理のための方法および装置 - Google Patents

ネットワークサービスのための体感品質管理のための方法および装置 Download PDF

Info

Publication number
JP5978219B2
JP5978219B2 JP2013535231A JP2013535231A JP5978219B2 JP 5978219 B2 JP5978219 B2 JP 5978219B2 JP 2013535231 A JP2013535231 A JP 2013535231A JP 2013535231 A JP2013535231 A JP 2013535231A JP 5978219 B2 JP5978219 B2 JP 5978219B2
Authority
JP
Japan
Prior art keywords
qoe
network
qos
network service
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013535231A
Other languages
English (en)
Other versions
JP2013545377A (ja
Inventor
リヤオ,ニン
チエン,ジボ
ワン,シエンレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013545377A publication Critical patent/JP2013545377A/ja
Application granted granted Critical
Publication of JP5978219B2 publication Critical patent/JP5978219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5019Ensuring fulfilment of SLA
    • H04L41/5025Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5054Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067Customer-centric QoS measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/76Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • H04L47/762Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions triggered by the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/80Actions related to the user profile or the type of traffic
    • H04L47/805QOS or priority aware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は一般的にネットワーク技術に関し、特に、ネットワークサービスに関するQoE(体感品質)管理のための方法および装置に関する。
制限された帯域幅の制約下で、インターネットおよびエラーを起こしやすい無線ネットワークで堅牢な映像配信を実現するために、MAC層(WinMAXネットワークにおけるARQまたはハイブリッドARQ等)からアプリケーション層(H.264におけるエラー耐性映像符号化等)の範囲で、サービス品質(QoS)提供技術が提案されてきた。通常、これらのQoS提供技術は、パケット損失率、遅延、利用可能な帯域幅等、QoS測定基準により測定可能な特定のQoS性能のレベルを保証することができる限り、映像サービスのエンドユーザの体感を向上させるのに役立つ。
しかし、QoSは、ネットワーク性能の唯一の測定基準であるが、サービスプロバイダの視点から究極の目標とみなされる、エンドユーザにより観察される映像サービスの体感品質(QoE)には相当しない。映像QoEは、ネットワーク性能に左右されるのみならず、特定の映像用途および視聴者の視覚システムにも左右される。例えば、1%のパケット損失率では、知覚された映像品質は、動きの少ない一部の映像コンテンツにとっては依然として良好であるが、一方でこの場合の可視アーテファクトは、動きの多い他の一部の映像コンテンツにとっては厄介である。よってQoS調整は、映像サービスのQoE管理には常に効果的という訳ではない。
更に、映像システムが、特定の用途にとって目標となるQoSのために設計されると、当該システムの性能および採択されたQoS提供技術は固定されてしまう。関心ある映像番組の知覚された品質が満足できるものでなくても、ユーザは、受信した映像サービスの質を管理するために何もすることはできない。目標となるQoSレベルは一般に、一貫して良好な映像QoEを保証するために、最悪のチャネル状態に従って設計され、これはネットワーク資源の浪費となる場合がある。従来技術の技術的課題は、映像サービスに関して説明されているが、当業者は、他のネットワークサービスも同様の不利な点を有することを理解することができる。
最後に、ホームネットワークにおいては、ファイルのダウンロード、テレビ番組のストリーミング、Webブラウジング等、複数の実行用途があってもよい。これらの用途は、リソースを得るために競い合い、独立した技術を採択して、各々のQoSを改善する際には、一層好ましくないネットワークの低下が生じうる場合があり、これは更にエンドユーザのためのQoEの低下さえ招く。ここでもユーザは、QoE劣化について何もすることができない。
上記を考慮して、QoE(体感品質)管理による解決手段が提供され、QoEフィードバックは、QoE提供技術の使用を最適化するために利用され、これによりネットワークリソースの利用効率が改善される。
本発明の一態様によると、ユーザデバイスに提供されたネットワークサービスのためのQoE管理の方法であって、当該方法は、
ユーザがネットワークサービスのQoE期待値を入力するために、ユーザデバイス上にユーザインターフェースを表示するステップと、
ユーザからネットワークサービスのQoE期待値を受信するステップと、
ネットワークQoSパラメータの関数として、ネットワークサービスのQoEの客観的な値を求めるステップと、
QoEの客観的な値がQoE期待値より少ないとき、ネットワークサービスのQoSパラメータを調整するステップを含む。
本発明の他の態様によると、サービス・プロバイダ・ネットワークと、サービス・プロバイダ・ネットワークから提供されるネットワークサービスを受信する、少なくとも一つのユーザデバイスを有するホームネットワークを接続するゲートウエイであって、当該ゲートウエイは、
ネットワークQoSパラメータの関数として、ネットワークサービスのQoEの客観的な値を求めるように構成された、第1のユニットと、
QoEの客観的な値が、ネットワークサービスのエンドユーザにより入力されたQoE期待値より少ないとき、ネットワークサービスのQoSパラメータを調整するように構成された第2のユニットを備える。
本発明の上記および他の態様、特徴、利点は、以下の添付図面に関連して以下の記載により明らかになるであろう。
従来の三層型ホームネットワークの全体構造を示す例示的図面である。 本発明の実施形態によるQoE管理システムの構造を示すブロック図である。 QoEの客観的レベルを発生させる方法の種々のタイプを示す例示的図面である 本発明の実施形態によるセットトップボックス(STB)のUIモジュールの構造を示すブロック図である。 本発明の実施形態によるQoE管理情報表示およびQoEリクエスト入力のためのTVリモートコントローラを示す例示的図面である。 本発明の実施形態によるQoE管理のためのUIを示す例示的図面である。 本発明の実施形態による図4および5の実施例についてのUIモジュール300のワークフローを示すフローチャートである。 本発明の実施形態によるQoEリクエストメッセージのフレーム構造を示す例示的図面である。 本発明の実施形態による調整ユニットのワークフローを示すフローチャートである。
以下に、本発明の実施形態の様々な態様が記載されている。説明のために、十分な理解をさせるために、特定の構成および詳細が記載される。しかし、本発明は、本明細書に特に詳細に記載されることなく、本発明を実施できることは当業者にとっても明らかになるであろう。
図1は、従来の三層型ホームネットワークの全体構造を示す例示的図面である。図1に図示するように、デスクトップ、電話機、テレビセット(STB)、ラップトップ等のホームデバイスは、有線回線または無線インターフェース(例えば、IEEE802.11)を介してホームゲートウエイに接続されている。ホームゲートウエイは、例えば、デジタル加入者線アクセス・マルチプレクサ(DSLAM)を介して、テレビヘッドエンドまたはインターネットに接続可能である。ホームネットワーク上で実行中の、例えばファイルのダウンロード、IPTV、Webブラウジング等の複数のサービスがあるが、これに限定されない。従来、エンドユーザは、これらの受信したネットワークサービスのQoEについて何もすることができなかった。
上記の技術的課題を考慮すると、本発明の実施形態は、ホームネットワークにおけるネットワークサービスのQoE管理方法およびシステムを提案する。当該実施形態の一つの態様によると、エンドユーザがネットワークサービスのQoEを判断するために、ユーザ対話型インターフェースを提供できるQoE管理装置が設けられている。例えば、先行するQoE要件が、前提となるネットワーク技術により満足できない場合、エンドユーザは、ユーザ対話型インターフェースを介して、各ネットワークサービスのための自分が期待するQoE要件を入力し、アプリケーションのための自分のQoE要件を優先させることができる。フレームワークの他の態様によると、QoS調整ユニットが設けられている。QoS調整ユニットは、QoS管理ユニットから期待されるQoE要件を受信することができ、これに基づいてより良好な全体的QoE性能を得るために、前提となるQoS提供モジュールの利用を最適化することができる。
次に、図1に図示されたホームネットワークのためのQoE管理方法およびシステムの実施形態の動作の詳細な記述が、添付図面を参照して提供されている。
図2aは、本発明の実施形態によるQoE管理システムの構造を示すブロック図である。図2aに図示するように、QoE管理システムは、QoE管理ユニット201および調整手段(あるいは「トラブルシュータ」と呼ばれる)ユニット202を備えている。
QoE管理ユニット201は、ホームデバイスのいずれか一つ、あるいはそれ以上のものにユーザ対話型インターフェース203を提供し、これによりユーザは、ネットワークサービスのための自分の期待するQoEレベルを入力することができる。ユーザ対話型インターフェース203は、ホームデバイスのいずれか一つ、あるいはそれ以上のものに、あらゆる適切な手法で表示可能である。そしてホームネットワークを介して、ネットワークサービスの一部または全部に対して、QoE管理ページを提供し、これによりユーザは、各サービスのための自分が期待するQoEレベルを入力することができる。
図2aに示すように、QoE管理ユニット201は、ネットワークを介して、テレビ、VoIP(ボイス・オーバー・インターネットプロトコル)、ファイルのダウンロード、Webブラウジング等、種々のネットワークサービスに各々、対応する複数のQoE評価モジュール1〜Nを備えている。各々のQoE評価モジュールは、ユーザ対話型インターフェースを介してユーザによりにより入力されたネットワークサービスの期待されたQoEレベルを受信し、これを調整ユニット202に送信することができる。
図2aに図示されるように、調整ユニット202は、QoS調整ユニット202aおよびネットワーク状態検出モジュール202bを備えている。ネットワーク状態検知モジュール202bは、パケット損失率、遅延、利用可能な帯域幅等、ネットワークQoS測定基準を測定し、QoS調整ユニット202aにこれらの測定基準を提供する。QoS調整ユニット202aは、QoS測定基準に基づき、ネットワークサービスのQoEの客観的レベルを生成し、QoEの客観的レベルが、受信したQoEの期待されるレベルより低いか否かにより、QoS提供技術に対する調整が必要か否かを判断する。
上記のQoEの客観的レベルは、既知の方法により生成することができる。図2bは、QoEの客観的レベルを生成するVQA(視覚品質評価)方法の種々のタイプを示す例示的図面である。入力により、QoEの客観的レベルを生成する方法は、図2bに示すように、パケット層モデル、ビットストリームレベル・モデル、メディア層モデル、ハイブリッドモデルに分類できる。メディア層モデルは映像信号と連携し、これにより映像品質のコンテンツ依存型の特徴を得ることができるが、映像の喪失部分の明確な認識はない。例えば、H.Rui,C.Li,S.Qiuの「ストリーミングビデオのパケット損失損害の評価」(浙江大学学報、自然科学版A,7(0),131―136,(2006))では、アルゴリズムは、強い空間不連続性が損失の示唆である、という前提を利用して、エラー領域を検出するように設計されている。パケット層モデル、例えば、山岸和久、林孝典により開示された解決手段、「テレビ電話サービスに対する映像品質設計モデル」(情報およびメディア技術4(1):1―9(2009))は、パケット・ネットワーク・プロトコルのヘッダ情報、ネットワークパラメータ(例えば、帯域幅、パケット損失率、遅延等)およびCodec構造情報に基づいている。このモデルは明らかに、映像コンテンツ・アグノスティックであるが、送信エラーの十分な認識がある。A.R.Reibman,V.A.Vaishampayan, Y.Sermadeviによる「パケットネットワークによる映像の品質管理」(IEEE Trans.on Multimedia,6(2),327−334,(2004))は、ビットストリームレベル・モデルの一つの実施例を記載しており、これも同様にビットストリームおよびパケットヘッダに基づいている。よってこれは、パケットヘッダ情報を分析することにより、送信エラーを認識しているのみならず、映像ビットストリームを部分的に復号化することにより、映像コンテンツの特徴およびより詳細な符号化パラメータにアクセスすることもできる。ハイブリッドモデルは、画像信号と、パケットヘッダと、ビットストリーム情報の組み合わせを利用して、映像品質を予測し、予測精度を高めるが、高い計算複雑性という犠牲を伴う。
変形として、調整ユニット202は更に、ユーザ対話型インターフェースにおいて、ネットワークサービスのQoEの客観的レベルをユーザに表示できるQoE管理ユニット201に対し、生成されたQoEの客観的レベルを送信してもよい。QoEの客観的レベルの表示は、ユーザがネットワークサービスのための自分が期待するQoEレベルを入力するのに必要ではない。しかし、QoEに関するより関連する情報は、ユーザ対話型インターフェースを介して、ユーザがネットワークサービスのQoEを管理するのに有益な場合がある。更に、ユーザ対話型インターフェースは、調整ユニット201から受信した診断情報も表示可能であり、これによりユーザは、基礎となるネットワークがユーザのすべてのQoE要件を同時に充たすことができない場合は、サービスのための自分のQoE要件を優先させることができる。
QoE管理ユニット201および調整ユニット202は、クライアントデバイス、ホームゲートウエイ、サーバ等の同一のデバイスに物理的に存在していてもよい。
QoE管理ユニット201および調整ユニット202は、種々のデバイスも物理的に存在してもよい。この場合、一つの実施例として、QoE管理ユニット201は、STB等のクライアントデバイスにも物理的に存在してもよい。上記のごとく、QoE管理ユニット201は、ユーザが各サービスのための自分が期待するQoEレベルを入力するためのQoE管理ページを提供し、調整ユニット202に期待されるQoEレベルを送信することができる。期待されたQoEレベルは、QoS提供技術調整のための既定の誘発しきい値として、調整ユニット202により利用可能である。調整ユニット202は、物理的にホームゲートウエイに存在してもよい。例えば、サービスの上記したQoEの客観的レベルおよびQoEの期待されたレベルにより決定された特定の条件により誘発された場合、調整ユニット202は、前提となるQoS提供技術を調整し、最適化する。調整ユニット202は更に、QoE管理ページに提供するために、QoE管理ユニット201に診断情報を送信してもよく、これにより、エンドユーザが種々のサービスのための自分のQoE要件を選択し、あるいはこれを優先することを容易にする。
上記のごとく、当業者は、ホームゲートウエイに設けられた調整ユニット202が、サービスが外部ネットワークからホームゲートウエイに到達する時点で、サービスQoEを測定してもよく、一方でクライアントデバイスに設けられたQoE管理ユニット201は、エンドユーザが入力したサービスのQoEを測定してもよいことに着目できる。この場合、図1に図示したホームネットワークにおいて、ホームネットワークの問題によるQoEの劣化のみが、QoS提供技術の調整/最適化に関して考慮される。ネットワークによって生じたのではないQoEの劣化、例えばサービスの出所によるものに関しては、ホームゲートウエイは、QoS提供技術を調整しようとは試みないであろう。例えば、テレビ番組に関して測定されたQoEの客観的レベルが、ユーザが要求した期待するQoEレベルより低い場合は、ホームゲートウエイは、より高い映像品質を有する他のテレビ番組を選択するユーザに示唆するために、診断情報を送信し、あるいはホームネットワークにおけるQoS技術を調整する代わりに、より高い圧縮品質を有する他の符号化ストリームのリクエストを、エンドユーザに代わってアプリケーションサーバに送信する。
次に、IPTVサービスのためのQoE管理ユニット201のQoE評価モジュール1の動作を、一例として記載する。(複数の)QoE評価モジュールはこの点において類似することに、当業者は着目することができる。
QoE評価モジュール1(例えば、ITU−T P.NAMSで定義された映像モデル等)は、セットトップボックス(STB)に存在していてもよく、ユーザがテレビ番組の自分が期待するQoEレベルをユーザが入力できるように、テレビスクリーン上にユーザ対話型インターフェース203を提供してもよい。
図3は、本発明の実施形態にかかるQoE評価モジュール1の構造を示すブロック図である。図3に図示するように、QoE評価モジュール1は、テレビスクリーン上にQoE管理ページを提供し、IPTVサービスの期待されるQoEレベルのユーザによる入力を捉える、インタラクション・ユニット301を備えている。QoE評価モジュール1は更に、インタラクション・ユニット301から期待されるQoE入力を受信し、QoEリクエストメッセージを送信し、調整ユニット202に映像サービスのユーザによるQoE要件を伝達する処理ユニット302を備えている。
一例として、図4に図示するように、TVリモートコントローラ400は、映像品質のQoEレベル等、サービスのユーザが期待するQoEレベルを入力することを含め、ユーザがQoE管理機能をアクティブにし、実行するのに使用してもよい。ユーザがQoE評価モジュール1をアクティブにするために、リモートコントローラ400には、パネル上の「QoE」ボタン401が設けられている。「QoE」ボタン401が押下された後は、ユーザ対話型インターフェースは、TVスクリーン上に表示される。一例として、図5に図示するように、ユーザ対話型インターフェースは、QoE管理ページ503aであってもよい。
図5に図示すように、QoE管理ページ503aは、VoIP、テレビ、ファイルのダウンロード、Webブラウジングを含むが、これに限定されないホームネットワークのホームビデオサービスの全部または一部のQoE管理情報をリストアップする。各映像サービスについては、QoE管理情報は、情報の2つのカテゴリー、すなわちQoEレベルと診断情報から構成されていてもよい。ユーザは、リモートコントローラ400の「上向き矢印」ボタン402または「下向き矢印」ボタン403によりカーソルを動かし、関心ある映像サービスを選択することができる。図5は、例示目的でテレビサービスのQoEレベルが選択された場合の一例を図示している。カーソルがQoEレベル項目の下のテレビサービスに移動すると、テレビサービスのための他のQoE管理ページ503bが表示される。QoE管理ページ503bは、調整ユニット202から提供されてもよいテレビサービスのQoEの客観的レベル、およびユーザがテレビサービスの自分が期待するQoEレベルを入力するためのブランクフィールドを提供する。図5に図示したように、QoEの客観的レベルは3.0であり、調整ユニット202から受信した値により変動し得る。
ユーザが、リモートコントローラ400の「上向き矢印」ボタン402または「下向き矢印」ボタン403によりカーソルをQoEの期待されるレベルのブランクフィールドまで動かすと、品質カラーバー501が表示される。品質カラーバー501は、ユーザが選択する各々の期待された品質レベルを表示する種々の色を有する複数の色帯(例えば図5で図示したように、5色)から成る。例えば、品質カラーバー501は、品質劣化の主観的認識の種々のレベルを各々表した、薄緑、ライトブルー、黄、オレンジ、赤の色帯501a,501b,501c,501d,501eから成る。すなわち、品質が低下する順に、「5は、知覚不可能」、「4は、知覚可能であるが、不快感は与えない」、「3は、若干、不快感を与える」、「2は、不快感を与える」、「1は、非常に不快感を与える」である。QoEの客観的レベルの値は、品質カラーバーの値と同じ意味を持つ場合がある。
エンドユーザは、図4に図示するように、リモートコントローラ400の上向き矢印ボタン402または下向き矢印ボタン403を押下して、カラーバンド501a,501b,501c,501d,501eにより品質ブロック502を動かし、対応する品質レベルを選択し、次に「OK」ボタン405を押下して、テレビサービスの自分が期待するQoEレベルの入力を確認することができる。図5に図示するように、品質ブロック502がカラーバンド501bに留まる場合、このカラーバンドにより表される品質レベル上のプロンプト情報(この場合、「4は、知覚可能であるが、不快感は与えない」)が表示され、ユーザによる操作を容易にする。ユーザはコントローラの「リターン」ボタン404を押下することにより、直前のQoE管理ページに戻ることができる。
ユーザがリモートコントローラ400の「上向き矢印」ボタン402または「下向き矢印」ボタン403を介してカーソルを「診断情報」まで動かす際に、他のQoE管理ページ503cが表示される。診断情報は、例えば、ユーザによるQoEリクエストの全てが満足されない場合に、調整ユニット202により生成されてもよい。一つの実施例では、診断情報は、各サービスの占有帯域幅の記述と共に、制限された帯域幅を示してもよく、あるいは推奨された調整と共にパケット損失率を示してもよく、あるいはユーザが高い符号化品質レベルの他の映像番組をユーザが選択しない限り、映像サービスのQoEレベルを満足できないことを示してもよい。調整ユニット202の処理の実施形態については後述する。
ユーザが「OK」ボタン405を押下することにより、映像サービスの期待されるQoEレベルの自らの選択を確認した場合は、ユーザは、QoE管理ページ503aの状態で、「リターン」ボタン404を押下することにより、QoE管理ページを終了させることができる。
上記QoE管理ページは記述例に過ぎず、他の種類のQoE管理ページが設計され、使用されてもよいことに当業者は着目できる。
図6は、図4および図5を参照して記述された、QoE評価モジュール1のワークフローを示すフローチャートである。
図6に図示するように、ステップS601では、テレビ番組は、テレビスクリーンに表示される。
次のステップS602において、QoE評価モジュール1のインタラクション・ユニット301は、リモートコントローラ400の「QoE」ボタン401がユーザにより押下されたことを表す、QoE信号がコントローラ400から受信されたか否かを検出する。結果が「Yes」であるときは、処理はステップS603に進み、ここでインタラクション・ユニット301は、QoE管理ページをテレビスクリーンに表示する。例えば、図5に図示したQoE管理ページ503aは、テレビスクリーンに表示されてもよい。次にインタラクション・ユニット301は、ユーザの入力を待つ。次のステップS604では、インタラクション・ユニット301は、「リターン」信号を受信し、これは、リモートコントローラ400の「リターン」ボタン404がユーザにより押下されたことを示しており、処理はステップS601に戻る。「リターン」信号が受信されない場合は、インタラクション・ユニット301は、ユーザの入力を待ち続ける。
ステップS605において、インタラクション・ユニット301は、リモートコントローラ400から「上向き矢印」信号または「下向き矢印」信号を受信すると、処理は次のステップS606に進み、カーソルがQoE管理ページ503aでどこに動くかを判断する。カーソルがQoEレベルの「テレビ」項目に動くとき、ステップS607で、対応するQoE管理ページはテレビスクリーンに表示される。例えば、図4に図示するQoE管理ページ503bが表示できる。当業者は、カーソルが他のサービスの上にあるときは、503bに類似する対応するQoE管理ページが表示されることに着目することができる。カーソルが「診断情報」まで動くとき、ステップS608において対応するQoE管理ページがテレビスクリーンに表示される。例えば、図4に図示するQoE管理ページ503cが表示できる。以下の処理は、QoE管理ページ503bおよび503cが使用される場合に記述される。
QoE管理ページ503bでは、QoEの客観的レベルがリアルタイムで「QoEの客観的レベル」という項目の下に表示される。
図6に図示するように、インタラクション・ユニット301は、リモートコントローラ400から「上向き矢印」信号または「下向き矢印」信号を受信し、カーソルが「QoEの期待されるレベル」上に動いているか否かを判断する。結果が「Yes」であれば、ステップS610においては、既定の品質劣化レベル501aの「品質ブロック502」と共に「品質カラーバー」501、そして対応する「知覚不可能」という短時間のプロンプト情報が表示される。ステップS607またはS608の後、「リターン」信号がステップS609で受信されると、処理はステップS603に戻り、テレビスクリーンにQoE管理ページを表示する。
次のステップS611では、インタラクション・ユニット301は、「上向き矢印」信号または「下向き矢印」信号が、リモートコントローラ400から受信されたか否かを判断する。結果が「Yes」のときは、ステップS612では、品質ブロック502は、それに応じてカラーバンド501a、501b、501c、501d、501eを介してテレビ画面上を動き、品質ブロック502がカラーバンドの一つに位置している場合は、対応するプロンプト情報が表示される。次のステップS613では、インタラクション・ユニット301が「OK」信号を受信すると、これは、リモートコントローラ400の「OK」ボタン405がユーザにより押下されたことを示しており、インタラクション・ユニット301は、QoEの期待されるレベルの入力をユーザから取得し、スクリーン上のページ503bの「QoEの期待されるレベル」の横に入力値を表示する。QoEレベルの入力は、処理ユニット302に送信され、ここで「サービスID」と共にQoEレベルの入力をTCP(伝送制御プロトコル)パケットにカプセル化し、QoEリクエストメッセージとしてパケットを調整ユニット202に送信することができる。QoEリクエストメッセージのフレーム構造の一例は、図7に図示されている。図7に図示されるように、QoEの期待されるレベルの入力は、MOS値の形式でなされる。他のフレーム構造を用いてもよい。
図6で図示したように、ステップS615では、リモートコントローラ400からの「リターン」信号がインタラクション・ユニット301により受信されるときは、処理はステップS607に戻り、QoE管理ページ503bを表示する。
図8は、調整ユニット202のワークフローを図示するフローチャートである。ステップS801では、ネットワーク状態検出モジュール202bは、調整ユニット202が物理的に実装されるホームゲートウエイにて認識された映像サービスのQoEの客観的レベルを取得する。QoEの客観的レベルは、QoSパラメータを測定し、および/または映像ビットストリームをスキャンすることにより得ることができる。
次のステップS802では、QoE調整モジュール202aは、外部ホームネットワークから提供される映像サービスのQoEの客観的レベルが、ユーザのQoEの期待されるレベルより低いか否かを判断する。ステップS802の結果が「No」であるときは、QoE調整モジュール202aは、高い圧縮品質を有する他の符号化ストリームのリクエストをアプリケーションサーバに送信する。S802の結果が「Yes」であるときは、次のステップS803でQoE調整モジュール202aは、ネットワーク状態検出モジュール201cに対して、ホームネットワークにおける各サービスのための利用可能な帯域幅およびパケット損失率を検出するように指示する。上記「外部ホームネットワークから提供される映像サービスのQoEの客観的レベル」は、上流ネットワーク状況、およびテレビヘッドエンド等の映像サーバの出力における圧縮映像品質に基づいて測定された客観的なQoEを意味する。ステップS802によると、映像がホームネットワークに入る前に映像サービスのQoE劣化が生じたか否かが判断されている。yesであれば、品質劣化の問題は、ホームネットワーク内で処理すべきではない。
ステップS804では、QoE調整モジュール202aは、ステップ803の検出結果に基づき、利用可能な帯域幅は、ホームネットワーク上で実行中のすべてのサービスのQoE要件を充たすのに十分か否かを判断する。ステップS804の結果が「No」であるとき、ステップS805において、QoE調整モジュール202aは、サービスを変更し、実行中アプリケーションサービスのQoE性能と、サービスの期待されるQoEレベルのユーザによる選択または優先順位付けを必要に応じてトレードオフする。S804の結果が「Yes」であるときは、ステップS806において、QoEの客観的レベルがQoEの期待されるレベルに適合しない場合、(すなわち(QoEの客観的レベルがQoEの期待されるレベルにより低いか否かにかかわらず)、クライアントデバイスに設置されたQoE管理ユニット201から送信されたQoEの期待されるレベルにより、QoE調整モジュール202aは、利用可能なQoS提供技術(例えば、適応型変調および符号化、アプリケーション層FEC/ARQハイブリッド、ビデオトランスコーダが存在する場合のイントラマクロブロックによるリフレッシュ)を反復して最適化する。
既存のQoS提供技術は、物理(PHY)層からアプリケーション層まで及び、例えば、PHY層における適応型変調および符号化技術、Wimax無線アクセスネットワークにおけるMAC層ARQ(自動再送信要求)/ハイブリッドARQ、アプリケーション層FEC/ARQハイブリッド、ビデオトランスコーダがホームゲートウエイに存在する場合の、イントラマクロブロックによるリフレッシュのようなエラー耐性映像符号化ツールを含む。これらのQoS提供技術は、交差層最適化の手法で、単独又は組み合わせて用いてもよい。簡単な例では、QoS調整が開始される場合、PHY層では、QoEの客観的レベルが期待されるQoEを充たすまで、システム資源消費の犠牲を伴うが、変調および符号化方式(MCS)のレベルは、徐々に、そして反復して引き上げられ、送信エラーに対するロバスト性を改良する。より向上した交差層QoS最適化では、種々の層における(複数の)QoS技術の最適な組合せの反復したサーチが、QoEの客観的レベルが期待されるQoEを充たすまで行われてもよい。
多くの改変が例示的実施形態に対してなされてもよく、添付した特許請求の範囲に画定される本発明の精神および範囲から逸脱しない限り、他の構成も案出されてもよいことが理解されるべきである。

Claims (7)

  1. ユーザデバイスに提供されたネットワークサービスのためのQoE管理の方法であって、
    ネットワークQoSパラメータに応じて、前記ネットワークサービスのQoEの客観的な値を求めることと、
    前記ユーザデバイス上にユーザインターフェースを表示することであって、前記ユーザインターフェースは、各々が前記ネットワークサービスのQoE期待値として選択するためのQoEのレベルに対応する複数のシンボルおよび前記QoEの客観的な値を提供する、前記表示することと、
    前記ネットワークサービスの前記QoE期待値を受信することと、
    記QoEの客観的な値が前記QoE期待値より少ないとき、少なくとも1つの前記ネットワークサービスのQoSパラメータを調整することと、
    を含む、前記方法。
  2. 前記QoSパラメータは、パケット損失率、利用可能な帯域幅、および遅延の少なくとも一つを有する、請求項1に記載の方法。
  3. 前記ネットワークサービスは、ファイルのダウンロード、ビデオストリーミングおよびWebブラウジングの少なくとも一つを備える、請求項1に記載の方法。
  4. 前記ネットワークサービスの前記QoEの客観的な値がネットワーク内部で評価されるか、ネットワーク外部で評価されるかに基づき、ネットワーク内部または外部の前記ネットワークサービスの前記QoSパラメータを調整することを更に含む、請求項1に記載の方法。
  5. サービス・プロバイダ・ネットワークと、前記サービス・プロバイダ・ネットワークから提供されるネットワークサービスを受信する少なくとも一つのユーザデバイスを有するホームネットワークとを接続する装置であって、
    ネットワークQoSパラメータに応じて、前記ネットワークサービスのQoEの客観的な値を求めるネットワーク検出モジュールと、
    前記少なくとも一つのユーザデバイスに対して前記ネットワークサービスのQoE期待値を入力するためのユーザインターフェースを表示すると共に、ネットワークサービスの前記QoE期待値を受信するQoE評価モジュールであって、前記ユーザインターフェースは、各々がネットワークサービスの前記QoE期待値として選択するためのQoEのレベルに対応する複数のシンボルおよび前記QoEの客観的な値を提供する、前記QoE評価モジュールと、
    記QoEの客観的な値が、前記ネットワークサービスのエンドユーザにより入力されたQoE期待値より少ないとき、少なくとも1つの前記ネットワークサービスの前記QoSパラメータを調整するQoS調整モジュールと、
    を備える、前記装置。
  6. 前記QoE期待値が、前記少なくとも一つのユーザデバイスから送信される、請求項5に記載の装置。
  7. 前記装置はゲートウエイである、請求項5又は6に記載の装置。
JP2013535231A 2010-11-01 2010-11-01 ネットワークサービスのための体感品質管理のための方法および装置 Active JP5978219B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/001732 WO2012058781A1 (en) 2010-11-01 2010-11-01 Method and apparatus for quality of experience management for network services

Publications (2)

Publication Number Publication Date
JP2013545377A JP2013545377A (ja) 2013-12-19
JP5978219B2 true JP5978219B2 (ja) 2016-08-24

Family

ID=46023908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535231A Active JP5978219B2 (ja) 2010-11-01 2010-11-01 ネットワークサービスのための体感品質管理のための方法および装置

Country Status (7)

Country Link
US (1) US9900256B2 (ja)
EP (1) EP2636190B1 (ja)
JP (1) JP5978219B2 (ja)
KR (1) KR101717813B1 (ja)
CN (1) CN103262484A (ja)
BR (1) BR112013007315A2 (ja)
WO (1) WO2012058781A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300551B2 (en) * 2010-11-29 2016-03-29 Nec Corporation Service quality management system and method
JP5688475B2 (ja) 2011-02-10 2015-03-25 エンパイア テクノロジー ディベロップメント エルエルシー 音声サービスについての体感品質の測定
WO2013030868A1 (en) 2011-08-29 2013-03-07 Empire Technology Development Llc Method of outputting estimated qoes on a terminal on an application basis
US20130304934A1 (en) * 2011-09-29 2013-11-14 Avvasi Inc. Methods and systems for controlling quality of a media session
US20150082345A1 (en) * 2011-09-29 2015-03-19 Avvasi Inc. System for generating enhanced advertizements and methods for use therewith
US8880689B2 (en) 2011-12-22 2014-11-04 Empire Technology Development Llc Apparatus, mobile terminal, and method to estimate quality of experience of application
CA2785205C (en) * 2012-02-24 2019-12-31 Sandvine Incorporated Ulc Systems and methods for traffic management
US9203764B2 (en) * 2012-07-11 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Quality of experience enhancement through feedback for adjusting the quality of service in communication networks
WO2014055088A1 (en) * 2012-10-05 2014-04-10 Empire Technology Development Llc Quality of experience data collection
JP6013229B2 (ja) * 2013-02-27 2016-10-25 Kddi株式会社 通信端末、品質管理システムおよびコンピュータプログラム
US20150100622A1 (en) * 2013-10-04 2015-04-09 Comcast Cable Communications, Llc Network Device Mediation
DE102014221975A1 (de) * 2014-10-28 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Regeln einer Dienstgüte zwischen einem lokalen Netzwerk und einem Weitverkehrsnetz
CN105763892B (zh) * 2014-12-15 2018-09-07 ***通信集团公司 一种检测媒体节目播出服务质量的方法及装置
KR102286882B1 (ko) * 2015-03-06 2021-08-06 삼성전자 주식회사 이동 통신 시스템에서 사용자 체감 품질 관리 방법 및 장치
KR102480500B1 (ko) * 2015-09-02 2022-12-22 한국전자통신연구원 사용자 피드백 기반 스케줄링 방법 및 장치
CN105897572A (zh) * 2016-05-12 2016-08-24 深圳市共进电子股份有限公司 家庭网关装置
CN106713461A (zh) * 2016-12-26 2017-05-24 深圳市金立通信设备有限公司 一种媒体资源的处理方法及终端
US10625752B2 (en) * 2017-12-12 2020-04-21 Qualcomm Incorporated System and method for online functional testing for error-correcting code function
US10897424B1 (en) 2019-07-24 2021-01-19 Citrix Systems, Inc. Quality of experience based network analysis
US10574978B1 (en) * 2019-08-21 2020-02-25 Agora Lab, Inc. System and method for diagnosing QOE in real time communication
WO2022103588A1 (en) * 2020-11-12 2022-05-19 Arris Enterprises Llc Optimizing agent for identifying traffic associated with a resource for an optimized service flow
US11323312B1 (en) * 2020-11-25 2022-05-03 Juniper Networks, Inc. Software-defined network monitoring and fault localization
CN115550996B (zh) * 2022-10-12 2023-10-03 广州爱浦路网络技术有限公司 基于指标数据的QoE预测方法及QoS参数更新方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751477B1 (en) 2000-05-17 2004-06-15 Telefonaktiebolaget Lm Ericsson (Publ) Systems and methods for dynamically optimizing the fidelity of a speech signal received from a wireless telephony device and transmitted through a packet-switched network
ATE314783T1 (de) 2001-11-23 2006-01-15 Nokia Corp Verfahren und system zum behandeln von netzwerkstau
US7802008B2 (en) 2002-08-12 2010-09-21 Matsushita Electric Industrial Co., Ltd. Quality of service management in network gateways
FI116498B (fi) 2002-09-23 2005-11-30 Nokia Corp Kaistanleveyden mukauttaminen
JP2004274552A (ja) * 2003-03-11 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> コンピュータ通信システムおよびリソース管理方法とプログラムおよび記録媒体
US7321565B2 (en) 2003-08-29 2008-01-22 Ineoquest Technologies System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks
ATE413044T1 (de) 2004-06-30 2008-11-15 Huawei Tech Co Ltd Verfahren zum periodischen akquirieren einer dienstqualität (qos) eines multimedia-streams
US7693157B2 (en) 2006-04-25 2010-04-06 Microsoft Corporation Quality of service support for A/V streams
US7639619B2 (en) 2006-06-07 2009-12-29 Sharp Laboratories Of America, Inc. System and method for quality of service (QoS) setup of a network segment having an intermediate device
FR2905046B1 (fr) * 2006-08-16 2009-01-09 Ipanema Technologies Sa Procede d'optimisation du transfert d'informations dans un reseau de telecommunication
US8280994B2 (en) * 2006-10-27 2012-10-02 Rockstar Bidco Lp Method and apparatus for designing, updating and operating a network based on quality of experience
US7716321B2 (en) * 2006-11-01 2010-05-11 Sony Corporation Method and system for providing recommendations for internet content providers
CN101272575B (zh) 2007-03-23 2011-12-07 ***通信集团公司 业务支撑能力的测试方法
WO2009049676A1 (en) * 2007-10-17 2009-04-23 Ericsson Hungary Ltd Method and apparatus for use in a network
CN101621351B (zh) 2008-06-30 2013-09-11 华为技术有限公司 一种调节多媒体编码速率的方法、装置及***
EP2154647A1 (en) * 2008-08-11 2010-02-17 Alcatel, Lucent Method and arrangement for user controlled quality of experience assignment between services
US20100131650A1 (en) * 2008-11-26 2010-05-27 Chou Lan Pok Methods and Apparatus to Support Network Policy Managers
JP5252347B2 (ja) 2008-12-08 2013-07-31 株式会社日立製作所 ネットワークシステム及び通信計画サーバ
CN101610493B (zh) * 2009-06-10 2011-07-06 南京邮电大学 下一代网络中基于用户体验质量策略的计费方法
US8332517B2 (en) * 2010-03-31 2012-12-11 Incnetworks, Inc. Method, computer program, and algorithm for computing network service value pricing based on communication service experiences delivered to consumers and merchants over a smart multi-services (SMS) communication network

Also Published As

Publication number Publication date
JP2013545377A (ja) 2013-12-19
US9900256B2 (en) 2018-02-20
BR112013007315A2 (pt) 2016-07-05
EP2636190A1 (en) 2013-09-11
US20130223208A1 (en) 2013-08-29
KR101717813B1 (ko) 2017-03-17
EP2636190A4 (en) 2016-07-13
KR20140001884A (ko) 2014-01-07
EP2636190B1 (en) 2020-07-15
WO2012058781A1 (en) 2012-05-10
CN103262484A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
JP5978219B2 (ja) ネットワークサービスのための体感品質管理のための方法および装置
KR101826916B1 (ko) 하이퍼텍스트 전송 프로토콜을 통한 품질 인식 적응 스트리밍을 위한 방법
JP5356652B2 (ja) 分類されたメディア経験の質
RU2497304C2 (ru) Динамическая модификация свойств видео
US20140181266A1 (en) System, streaming media optimizer and methods for use therewith
US20130304934A1 (en) Methods and systems for controlling quality of a media session
CN114448967B (zh) 用于视频的配置文件阶梯的自适应转码
US20140357993A1 (en) Dynamic adjustment of image compression for high resolution live medical image sharing
EP3506640A1 (en) Content-aware predictive bitrate ladder
CN104394486A (zh) 一种基于云桌面的视频流处理方法及装置
CN114449353B (zh) 用于视频流的基于会话的自适应回放配置文件决策
Floris et al. QoE assessment of multimedia video consumption on tablet devices
Martini et al. QoE control, monitoring, and management strategies
Huang et al. DAVE: Dynamic adaptive video encoding for real-time video streaming applications
CN106717009A (zh) 在移动服务器中的视频压缩的适配
WO2014066975A1 (en) Methods and systems for controlling quality of a media session
JP7494265B2 (ja) アダプティブビットレートアルゴリズムのための動的パラメータ調整
JP5675164B2 (ja) 送信装置、送信方法、並びにプログラム
CN118264808A (zh) 失配视频的质量测量
TWI411307B (zh) Video playback fluency priority link source channel coding system
JP5525005B2 (ja) 分類されたメディア経験の質
Miras On quality aware adaptation of internet video
KR100808982B1 (ko) 클래스화된 미디어 경험 품질
Muntean Adaptive Solutions for Quality Oriented Multimedia Streaming in Heterogeneous Network Environments

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150729

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151021

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160523

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160603

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160725

R150 Certificate of patent or registration of utility model

Ref document number: 5978219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250