JP6475283B2 - カメラネットワークシステムにおける方法及びデバイス - Google Patents

カメラネットワークシステムにおける方法及びデバイス Download PDF

Info

Publication number
JP6475283B2
JP6475283B2 JP2017087038A JP2017087038A JP6475283B2 JP 6475283 B2 JP6475283 B2 JP 6475283B2 JP 2017087038 A JP2017087038 A JP 2017087038A JP 2017087038 A JP2017087038 A JP 2017087038A JP 6475283 B2 JP6475283 B2 JP 6475283B2
Authority
JP
Japan
Prior art keywords
image data
camera
encoded image
scene
collected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017087038A
Other languages
English (en)
Other versions
JP2018011291A (ja
Inventor
ミーケル ランブロ,
ミーケル ランブロ,
Original Assignee
アクシス アーベー
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー, アクシス アーベー filed Critical アクシス アーベー
Publication of JP2018011291A publication Critical patent/JP2018011291A/ja
Application granted granted Critical
Publication of JP6475283B2 publication Critical patent/JP6475283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Description

本発明はネットワークカメラシステムの分野に関する。特に、エンコードされた画像データのノイズレベルの指標を提供する方法、デバイス、及びシステムに関する。
ネットワークカメラシステムは、ネットワークに接続された複数のカメラを含みうる。ネットワーク内のカメラは、画像ストリーム、すなわち、ネットワークを介してサーバーに伝送される画像データの一連のフレームを捕捉しうる。サーバーは、例えば、カメラから画像ストリームを要求し、画像ストリームを受信し、画像ストリームを保存しうる。一般的にカメラは、画像ストリームをネットワークを介してサーバーへ伝送する前にエンコードし、ときには暗号化する。したがって、サーバーはカメラによって捕捉された元の画像データにアクセスすることはなく、その画像のエンコーダされたデータのみにアクセスする。
様々な用途で、画像データ内のノイズレベルの測定値を得ることは興味深い。例えば、画像データ内のノイズレベルは一般的に暗い光条件下で増加するため、画像データ内のノイズレベルは画像内で昼夜を判定するのに使用することができる。
画像のノイズレベルの指標として、信号対ノイズ比(SNR)が使用しうることが知られている。しかしながら、背景ノイズのレベルに対する所望の信号レベルの測定値であるSNRを計算するには、画像データが手元になければならない。したがって、画像データの最初のデコードがない場合には、ネットワークカメラシステムのサーバーで受信したエンコード済みの画像データにSNRを直接適用することはできない。そのため、改良が必要になっている。
上記に鑑み、先行技術の上述の欠点を緩和し、画像データ内のノイズレベルの指標をエンコード済み画像ストリームから直接決定できるようにする方法、デバイス、およびシステムを提供することが、本発明の目的である。
本発明の第1の態様によれば、上記の目的は、
シーンを表わす第1のエンコード済み画像データであって、第1のカメラパラメータを使用して、第1の光条件下で、カメラによって収集される第1のエンコード済み画像データを、ネットワークを介して受信することと、
同一シーンを表わす第2のエンコード済み画像データであって、カメラによって収集される画像データのノイズレベルを高めるように修正されており、これによって、第2のエンコード済み画像データが第2のより暗い光条件下で収集されることをシミュレーションするという点で、第1のカメラパラメータとは異なる第2のカメラパラメータを使用する第1の光条件下で、カメラによって収集される第2のエンコード済み画像データとを、ネットワークを介して受信することと、
第1のエンコード済み画像データの単位時間あたりの受信データ量と、第2のエンコード済み画像データの単位時間あたりの受信データ量との比率を決定することと、
この比率を第1のエンコード済み画像データのノイズレベルの指標として使用することと
を含む、ネットワークカメラシステムのデバイスによって実行される方法によって実現される。
この方法により、同一シーンを表わす第1及び第2のエンコード済み画像データが、このようにしてネットワークを介して受信される。異なるカメラパラメータを使用しているが、第1及び第2のエンコード済み画像データは、同一の光条件下で収集される。特に、第2のエンコード済みデータは、より暗い条件下で第2のエンコード済み画像データをシミュレーションするカメラパラメータを使用して収集される。すなわち、第2のエンコード済み画像データは第1の光条件下で収集されるが、第2のカメラパラメータを選択することにより、第2のエンコード済み画像データは、第2のより暗い光条件下でカメラによって収集される画像のノイズレベルを有する。
より暗い光条件をシミュレーションするため、第1のカメラパラメータを使用するカメラによって収集される画像データ内のノイズレベルと比較して、第2のカメラパラメータを使用するカメラによって収集される画像データ内のノイズレベルがより高くなるように、第2のカメラパラメータは選択される。この点において、収集された画像のノイズレベルは、カメラパラメータの変化と共に直線的には増大しないことは注目に値する。その後、ノイズは飽和し始めるが、これは、本効果に対してカメラパラメータは変えることができるが、ノイズレベルはこれ以上増大しないことを意味している。この配置では、より暗い光条件でのノイズレベルによって定義されるように、第2のエンコード済み画像データは高いノイズレベルに、更には飽和ノイズレベルに対応することが知られている。
本発明の考え方は、第2のエンコード済み画像データを、高いノイズレベル、更には飽和ノイズレベルに対する、言い換えるならば、より暗い光条件下で取得されるノイズレベルに対するベンチマークとして使用することである。したがって、第1のエンコード済み画像データと第2のエンコード済み画像データを(次で更に説明するように)比較することによって、第1のエンコード済み画像データ内でのノイズレベルの指標が得られる。
画像データをエンコードすると、画像データのノイズレベルは、エンコード済み画像データのサイズ、並びにその結果として、ネットワークを介したエンコード済み画像データの伝送に要するビットレートに大きく影響することがさらにわかってきた。画像データのノイズレベルは、エンコード済み画像データのサイズにほぼ比例しうる。これは、コーディング効率が画像データのノイズレベルによって影響されるという事実に起因する。そのため、本方法は、単位時間あたりの受信データ量によって、エンコード済み画像データのノイズレベルを測定する方法を提唱する。特に、第1のエンコード済み画像データの単位時間あたりの受信データ量と第2のエンコード済み画像データの単位時間あたりの受信データ量との比率は、第1のエンコード済み画像データのノイズレベルの指標として使用される。比率が高くなればなるほど、第1のエンコード済み画像データのノイズレベルは高くなる。この比率は一般的に、0〜1の間の数値となる。
その結果、第1のエンコード済み画像データのノイズレベルの指標を得るためには、第1及び第2のエンコード済み画像データをデコードしなければならない。
提唱する方法は、第1及び第2のエンコード済み画像データが暗号化されている状況でも同じように充分に機能することに更に留意されたい。受信した第1及び第2のエンコード済みの暗号化された画像データは、第1のエンコード済み(及び暗号化された)画像データのノイズレベルの指標を得るために、復号化することもデコードすることも必要ない。
エンコード済み画像データは一般的にエンコード済みの画像ストリームを意味する。
シーンが同一であることは、シーンの状況、すなわち「シーン条件」が同じであることを含む。これは、例えば、シーン内の動きのレベルが同じであること、シーン内での照明が同じであること、あるケースではシーンに不明瞭な部分がないが、他のケースではそうでないこと、などを含む。例えば、シーンが道路の場合には、第1及び第2のエンコード済み画像データを収集するときには、交通量は同じでなければならない。シーンが同じであることは更に、第1及び第2のエンコード済み画像データの収集時には、カメラが同一方向に向けられていることを含む。
光条件は、カメラによって撮影されるシーンの光のレベルを意味する。
第1のエンコード済み画像データのノイズレベルは一般的に、エンコード前の画像データのノイズレベルを意味する。
単位時間あたりの受信データ量は、例えば、単位時間あたりのビット数で測定されうる。
比率は様々な方法で決定されうる。例えば、この比率は、第1のエンコード済み画像データと第2のエンコード済み画像データをそれぞれ、ネットワークを介して伝送するのに必要な帯域幅を比較することによって、決定されうる。より具体的には、比率は、ネットワークを介して第1のエンコード済み画像データを転送するのに必要な帯域幅と、ネットワークを介して第2のエンコード済み画像データを伝送するのに必要な帯域幅によって形成されうる。これは、帯域幅の測定値が容易に入手できる点で有利である。第1のエンコード済み画像データと第2のエンコード済み画像データの伝送のための帯域幅は、単位時間あたりの受信データ量の比率を決定するために、測定及び比較されうる。
この比率はまた、第1のエンコード済み画像データと第2のエンコード済み画像データをそれぞれストレージ空間に書き込まれる速度を比較することによっても決定されうる。より具体的には、比率は、第1のエンコード済み画像データがストレージ空間に書き込まれる速度と、第2のエンコード済み画像データがストレージ空間に書き込まれる速度によって形成されうる。これは、ストレージに書き込まれる速度が容易に入手できる点で有利である。ストレージへの第1のエンコード済み画像データの書き込みに要する速度と、ストレージへの第2のエンコード済み画像データの書き込みに要する速度は、単位時間あたりの受信データ量の比率を決定するために、測定及び比較されうる。
この比率を、第1のエンコード済み画像データのノイズレベルの指標として使用するステップは、比率が所定の閾値よりも大きいかどうかをチェックすること、比率が閾値よりも大きい場合には、第1のカメラパラメータを使用して、第1の光条件下でカメラによって収集されるシーンを表わす将来の画像データのノイズレベルを低減するために、措置を講じる必要があると決定することを含む。
上記で更に説明したように、この比率は、第1のエンコード済み画像データの指標となっており、比率が大きくなればなるほど、ノイズレベルは高くなる。比率が所定の閾値(一般的に、0〜1の間の数値になる)よりも大きい場合には、ノイズレベルは高いこと、すなわち、第2のエンコード済み画像データと同様のレベルになることが明らかになる。このような状況に遭遇すると、将来の画像データのノイズレベルを低減するため、措置を講じる必要があると決定されうる。このように、第1のエンコード済み画像データの高いノイズレベルを検出し、将来の画像データのノイズレベルを低減するため適切な動作を取りうる。
第1のエンコード済み画像データの高いノイズレベルは種々の要因によって引き起こされうる。例えば、高いノイズレベルは、シーンに充分な照明がないことに起因することもある。より詳細には、第1のエンコード済み画像データのノイズレベルが(より暗い光条件をシミュレーションする)第2のエンコード済み画像データのノイズレベルに相当する場合には、第1の光条件はシミュレーションされたより暗い光条件に近いと結論しうる。この状況に対処するため、措置を講じる必要があると決定するステップには、カメラが第1のカメラパラメータを使用して、第1の光条件下でシーンの画像データを収集するときに、シーンに追加照明が必要であると決定することが含まれる。このように、本方法は、第1の光条件に関する結論、特に、追加照明がこのシーンに有効であるという結論を導く出すために使用される。
別の実施例では、高いノイズレベルは、カメラが保守を必要としていることの指標になりうる。したがって、措置を講じる必要があると決定するステップは、カメラが保守を必要としていると判断することを含みうる。
例えば、保守にはカメラの冷却システムの保守が含まれる。カメラの冷却システムが正しく働かない場合には、カメラは温まりすぎているため、ノイズの多い画像になる。
保守には、カメラのランプ交換が含まれうる。シーンを照明することになっているランプが不良の場合、シーンが照明不足になり、ノイズの多い画像をもたらす結果となる。
保守には、カメラの筐体やレンズの洗浄や交換が含まれうる。汚れた筐体やレンズは、ノイズの多い画像をもたらしうる。
本方法は更に、シーンに応じて所定の閾値を選択することを含みうる。例えば、所定の閾値は、シーン内の動きのレベルに応じて選択されうる。所定の閾値はまた、シーン内の動きのレベルに応じるように設定されうる。例えば、静的なシーン(閉店時間後の店舗など)は、動きのあるシーンよりも低い閾値を有しうる。更に、動きのレベルが定常的なシーン(高速道路など)は、動きのレベルが変化するシーン(横断歩道など)よりも低い閾値を有する。このように、本方法は、種々のシーン及びシーン内の種々の条件に、例えば、種々のレベルの動きに適合されうる。
第1及び第2のカメラパラメータは、ゲイン、絞り値(aperture)、及び露出時間のうちの少なくとも1つを含みうる。これらは、画像データ内のノイズレベルに影響を及ぼすパラメータである。更に、第2のカメラパラメータは、ゲイン、絞り値、及び露出時間のうちの少なくとも1つを大きくするように修正されている点で、第1のカメラパラメータと異なりうる。このように、第2のパラメータは、ノイズレベルを高め、これによって、より暗い光条件をシミュレーションするように修正されうる。
本発明の第2の態様によれば、上記の目的は、処理能力を有するデバイスによって実行されるとき、第1の態様による方法を実行するためのコンピュータコード命令を有する(非一過性の)コンピュータ可読媒体を備えるコンピュータプログラム製品によって実現される。
本発明の第3の態様によれば、上述の目的は、
シーンを表わす第1のエンコード済み画像データと、第1のカメラパラメータを使用して、第1の光条件下でカメラによって収集される第1のエンコード済み画像データと、同一シーンを表わす第2のエンコード済み画像データであって、カメラによって収集される画像データのノイズレベルを高め、これによって、第2のエンコード済み画像データが第2のより暗い光条件下で収集されることをシミュレーションするように修正されているという点で、第1のカメラパラメータとは異なる第2のカメラパラメータを使用する第1の光条件下で、カメラによって収集される第2のエンコード済み画像データとを、ネットワークを介して受信するように構成された受信機と、
第1のエンコード済み画像データの単位時間あたりの受信データ量と、第2のエンコード済み画像データの単位時間あたりの受信データ量との比率を決定するように構成された処理コンポーネントと、
この比率を第1のエンコード済み画像データのノイズレベルの指標として使用することと
を含むデバイスによって実現される。
処理コンポーネントは更に、比率が所定の閾値よりも大きいかどうかをチェックし、比率が閾値よりも大きい場合には、第1のカメラパラメータを使用して、第1の光条件下でカメラによって収集されるシーンを表わす将来の画像データのノイズレベルを低減するために、措置を講じる必要があると決定するように構成されうる。
処理コンポーネントは、カメラが第1のカメラパラメータを使用して、第1の光条件下でシーンの画像データを収集するときには、このシーンに追加照明が必要であると決定するように構成されうる。
本発明の第4の態様によれば、上述の目的は、
第3の態様によるデバイスと、
このデバイスにネットワークを介して接続されているカメラとを備えるネットワークカメラシステムによって実現され、そのカメラは、
シーンを表わす第1のエンコード済み画像データであって、第1のカメラパラメータを使用して第1の光条件下で収集される第1のエンコード済み画像データを収集し、
シーンを表わす第2のエンコード済み画像データであって、カメラによって収集される画像データのノイズレベルを高めるように修正され、これによって、第2のエンコード済み画像データが第2のより暗い光条件下で収集されることをシミュレーションするという点において、第1のカメラパラメータとは異なる第2のカメラパラメータを使用して、第1の光条件下で収集される第2のエンコード済み画像データを収集し、
ネットワークを介して、第1及び第2のエンコード済み画像データをデバイスに伝送するように構成されている。
第2、第3、及び第4の態様は、一般的に第1の態様と同じ特徴及び利点を有する。更に、本発明は、特段の明確な記述がない限り、特徴の可能なすべての組み合わせに関連することに留意されたい。
上記の、並びに追加的な、本発明の目的、特徴、及び利点は、付随する図面を参照しつつ、本発明の好ましい実施形態の、以下の例示的かつ非限定的な詳細説明を通して、より明確に理解されるであろう。図面では、同じ参照番号が類似要素に対して使用される。
実施形態によるネットワークカメラシステムを示す。 実施形態による方法のフロー図である。 図2の方法の更なる実施形態を示すフロー図である。
これより、本発明の実施形態を示す添付図面を参照して、本発明をより網羅的に説明する。本明細書において開示されるシステム及びデバイスは、動作中のものが説明される。
図1はネットワークカメラシステム100を示す。システム100は、ネットワーク160を介して、デバイス140(一般的にはサーバーとなる)に接続される一又は複数のカメラ120を備える。
各カメラ120は、シーン200の画像を画像ストリーム(すなわち、ビデオシーケンス)の形態で捕捉するように構成されている。そのため、カメラは、シーン200の画像データを生成するため、生のセンサデータを処理する画像コンポーネント122を含む。カメラ120は更に、シーン200の画像データをエンコードして、エンコード済み画像データを生成するように構成されているエンコード124を含む。カメラ120は更に、エンコード済み画像データ、すなわち、エンコード済み画像ストリームを、好ましくは無線ネットワーク160を介してデバイス140まで伝送する送信機を含む。すなわち、カメラ120は、シーン100を表わすエンコード済み画像データを収集し、エンコード済み画像データをネットワーク160を介してデバイス140まで伝送するように構成されている。カメラ120及びそのコンポーネントは従来型のものであるため、更に詳細に説明することはしない。
カメラ120は、カメラパラメータを使用して、シーン200を表わすエンコード済み画像データを収集しうる。カメラパラメータは、例えば、ゲイン、絞り値、及び露出時間のうちの一又は複数を含みうる。これらのカメラパラメータは、エンコード済み画像データのノイズレベルに影響を及ぼしうる。より詳細には、ゲイン/露出時間の値が大きくなると一般的に、画像データのノイズレベルは高くなる。カメラパラメータは直接的に又は間接的に設定されうる。直接的に設定するとは、パラメータ値自体が設定されることを意味する。間接的に設定するとは、パラメータ値が、例えば、既知の技術である自動焦点処理によって間接的に設定されることを意味する。このような自動焦点処理では、パラメータ値は、カメラパラメータの最大値及び最小値を設定することによって修正されうる。
シーン200は、本書ではシーン条件と称される種々の条件に関連付けられうる。特に、シーン200は光条件に関連付けられうる。光条件とは、カメラ120によって撮影されるシーンの光のレベルを意味する。シーン条件の別の例は、シーン内の動きのレベルである。
一般的に、デバイス140(サーバーであってもよいが)は、エンコード済み画像データ、すなわち、エンコード済み画像データのストリームを、ネットワーク160を介してカメラ120から受信するように構成されうる。デバイス140は更に、受信したエンコード済み画像データを処理し、受信したエンコード済み画像データをストレージに書き込むように構成されている。このような目的のために、デバイス140は、受信機142、処理コンポーネント144(プロセッサ)、及びメモリ148を備える。メモリ148は、処理コンポーネント148によって実行されるコンピュータコード命令を保存するための非一過性コンピュータ可読媒体を構成しうる。例えば、メモリ148は、本書に開示した任意の方法を実行するためのコンピュータコード命令を保存しうる。
デバイス140は更に、エンコード済み画像データが書き込まれるストレージ146を備える。別の態様では、ストレージはネットワーク内の別のデバイス、例えば、サーバーやデータベース内に配置されうる。
デバイス140は、ネットワークカメラシステム100の設置を検証するように構成されうる。このような検証を実行するため、デバイス140はカメラネットワークシステム上で幾つかの試験を実行しうる。各試験は、所定のネットワーク及びカメラ構成、すなわち所定のカメラパラメータに対して、画像データストリーミング及び画像データ記録(保存)シミュレーションを実行することを含みうる。
第1の試験は、第1のカメラパラメータを使用して、第1の光条件(例えば、日中)下でシーン200の画像データを収集するカメラ120の1つに指示を出すデバイス140を含みうる。第1のカメラパラメータは、ネットワークカメラシステム100の設置で使用されるパラメータである。第1のカメラパラメータは、工場出荷時のカメラパラメータ、手動設定パラメータ、或いは、第1の光条件下で自動焦点プロセスによって自動的に設定されうるパラメータなど、アルゴリズムによって設定されるパラメータであってもよい。デバイス140は次いで、シーン200のエンコード済み画像データを受信し、これを記録する。すなわち、エンコード済み画像データをストレージ146に書き込む。試験中には、帯域幅使用量やエンコード済み画像データがストレージ146に書き込まれる速度など、種々のパラメータが測定されうる。
第2の試験は、第2のカメラパラメータを使用して、第1の光条件下で同一シーン200の画像データを収集するため、(同一の)カメラ120に指示を出すデバイス140を含みうる。第1及び第2の試験で画像データを収集するとき、カメラ120は同じ方向に向けられている。第2のカメラパラメータは、より暗い光条件(例えば、夜間の条件)をシミュレーションするように変更されうる。デバイス140は次いで、シーン200のエンコード済み画像データを受信し、これを記録する。すなわち、エンコード済み画像データをストレージ146に書き込む。第1の試験と同様に、帯域幅使用量やエンコード済み画像データがストレージ146に書き込まれる速度など、種々のパラメータが測定されうる。
本書に開示の方法は、上述の設置検証プロセスに関連して実行されうる。特に、本書に開示の方法は、例えば、シーン200に追加照明が必要かどうかを検出する目的で、設置検証中に実行される第1及び第2の試験の結果を利用する。本書に開示の方法はまた、設置が依然として最適で劣化していないことを検証するため、一定の間隔で実行されうる。
カメラネットワークシステムの操作は、図1及び図2のフロー図を参照して、以下のように説明される。
ステップS02では、デバイス140は、上述の第1の試験に対応する第1のシミュレーションを実行する。より詳細には、デバイス140は受信機142を介して、カメラ120のうちの1つからシーン200を表わす第1のエンコード済み画像データを受信する。エンコード済み画像ストリームの形態にある第1のエンコード済み画像データは、カメラ120によって収集され、ネットワーク160を介してデバイス140へ送られる。第1のエンコード済み画像データがカメラ120によって収集されるとき、シーン200は第1の光条件下にあるが、カメラ120によって撮影されたようにシーン200内にはあるレベルの光があることを意味する。例えば、第1のエンコード済み画像データは、シーン200が正常な状態にあるときに、すなわち、カメラ120が使用されるように意図されているときに、収集されうる。
第1のエンコード済み画像データは、第1のカメラパラメータを使用するカメラ120によって収集される。第1のカメラパラメータは、カメラ120が第1の光条件下で通常使用するパラメータである。例えば、第1のカメラパラメータは、デフォルト値、例えば、ゲイン、露出時間、絞り値であってもよい。これらの値は、例えば、上述の自動焦点処理又は他の制御プロセス又はユーザーの手動により、直接的に或いは間接的に設定されうる。
ステップS04では、デバイス140は上述の第2の試験に対応する第2のシミュレーションを実行する。より詳細には、デバイス140は受信機142を介して、同一のシーン200を表わす第2のエンコード済み画像データを同一のカメラ120から受信する。エンコード済み画像のストリームの形態にある第2のエンコード済み画像データは、カメラ120によって収集され、ネットワーク160を介してデバイス140に送信される。
第2のエンコード済み画像データはまた、第1のエンコード済み画像データと同様に、シーン200が第1の光条件下にあるときに収集される。これは、例えば、ある時間窓(time window)の範囲内で第1及び第2のエンコード済み画像データを収集することによって実現されるもので、両者が時間的に接近しているときに、或いは、シーン200が同じ第1の光条件下にあるとき(例えば、日中の同じ時刻)に収集されることを意味する。
第1及び第2のエンコード済み画像データが収集されるときには、光条件が同じであるだけでなく、一般的にシーン条件も同じであることが好ましい。このシーン条件には、例えば、第1及び第2のエンコード済み画像データを収集するときには、シーン内の動きのレベル、又は動きのレベルのばらつきも同じであることも含まれる。これはシーン内の動きのレベルでもあるため、画像データのノイズレベルにも影響しうる。
第1のエンコード済み画像データとは対照的に、第2のエンコード済み画像データは第2のカメラパラメータを使用するカメラ120によって収集される。より暗い光条件をシミュレーションするため、第2のカメラパラメータは第1のカメラパラメータに対して修正される。これは、例えば、カメラ120のゲイン、絞り値及び露出時間のうちの少なくとも1つを直接大きくすることによって、或いは自動焦点プロセスのパラメータを修正することによって実現されうる。このようなパラメータの修正は、収集した画像データにノイズを加える。その結果、第2のエンコード済み画像データのサイズは第1のエンコード済み画像データと比べて増大し、その結果、ネットワーク160を介して第2のエンコード済み画像データを伝送するのに必要な帯域幅に影響を及ぼす。これはまた、第1のエンコード済み画像データをストレージに書き込む速度と比べて、第2のエンコード済み画像データをストレージに書き込む速度を増大させる。したがって、第1のエンコード済み画像データと比較した場合、第2のエンコード済み画像データでは、最終的にパラメータの修正は、単位時間あたりの受信データ量を増大させる。
ステップS02及びS04は、それぞれ第1のカメラパラメータと第2のカメラパラメータを使用して、カメラ120にシーン200のエンコード済み画像データを収集し、伝送するように要求するデバイス140によって開始されうる。
ステップS06では、デバイス140の処理コンポーネント144は、第2のエンコード済み画像データの単位時間あたりの受信データ量に対する、第1のエンコード済み画像データの単位時間あたりの受信データ量の比率を決定する。
第1のシミュレーションであるステップS02、及び第2のシミュレーションであるステップS04を実行するとき、処理コンポーネント144は異なるパラメータをモニタしうる。例えば、処理コンポーネントは、帯域幅使用量及び/又はエンコード済み画像データがストレージ146に書き込まれる速度をモニタしうる。このように、処理コンポーネント144は、受信した第1及び第2のエンコード済み画像データの単位時間あたりの受信データ量を推定しうる。これらの値を使用して、処理コンポーネント144は、第2のエンコード済み画像データの単位時間あたりの受信データ量に対する、第1のエンコード済み画像データの単位時間あたりの受信データ量の比率を決定しうる。この比率は、例えば、ネットワークを介して第1のエンコード済み画像データを伝送するときに使用される帯域幅を、ネットワークを介して第2のエンコード済み画像データを伝送するときに使用される帯域幅で割ることによって計算されうる。別の実施例によれば、この比率は、第1のエンコード済み画像データをストレージ空間に書き込むときの速度を、第2のエンコード済み画像データをストレージ空間に書き込むときの速度で割ることによって計算されうる。
上述のように、より暗い光条件をシミュレーションする第2のカメラパラメータのノイズレベルの上昇によって、単位時間あたりの受信データ量は一般的に、第1のエンコード済み画像データと比較すると、第2のエンコード済み画像データでより大きくなる。しかしながら、第1のエンコード済み画像データの単位時間あたりの受信データ量に対して、どれだけ大きくなるかはわからない。これは第1のエンコード済み画像データのノイズレベルに依存するからである。例えば、シーンの照明不足により、第1のエンコード済み画像データが高いノイズレベルを有すると仮定する。上述のように、第1のカメラパラメータの修正により、第2のエンコード済み画像データは高いノイズレベルを有するようになる。しかしながら、既にノイズの多い画像にノイズが付加されることにより、最終のノイズレベルは結局さほど増加せず、ノイズレベルはある時点で飽和する。結論として、単位時間あたりの受信データ量の比率は、第1のエンコード済み画像データのノイズレベルを示すために使用されうる。
そのため、ステップS08では、処理コンポーネント144は、単位時間あたりの受信データ量の比率を第1のエンコード済み画像データのノイズレベルの指標として使用する。一般的に、大きな比率は小さな比率よりもノイズレベルが高いことを示している。
図3は、図2の方法のステップS08の実施形態を示している。一般的に、ステップS08aの処理コンポーネント144は、単位時間あたりの受信データ量の比率が閾値よりも大きいかどうかをチェックする。
閾値はシステム内で事前に定義されているが、シーンに応じて異なる閾値が使用されうる。例えば、静的なシーンでは、閾値は動きを含むシーンよりも小さくなりうる。別の態様では、閾値はユーザーによって設定されうる。実施例として、静的なシーン(閉店後の店舗など)では閾値は0.2に等しくなりうる。動きのレベルが一定のシーン(高速道路のシーンなど)では、閾値は0.2に等しくなりうる。シーン内の動きのレベルが変化する(横断歩道など)場合には、閾値は0.5に等しくなりうる。
単位時間あたりの受信データ量の比率が閾値よりも大きい場合には、処理コンポーネント144は、ステップS08bで、第1のカメラパラメータを使用して第1の光条件下でカメラによって収集される、将来の画像データのノイズレベルを低減するため、講ずるべき措置の決定に進む。一般的にこの比率の大きな値は、第1のエンコード済み画像データのノイズレベルが高いことを示しているため、処理コンポーネント144はこのようにして、ノイズレベルが許容できないほど高いこと、また、将来のノイズレベルを低減するため措置を講ずる必要があると決定する。
第1のエンコード済み画像データの許容できないほど高いノイズレベルは、別の理由によることもありうる。
例えば、第1のエンコード済み画像データの高いノイズレベルは、シーン内の照明不足に起因しうる。したがって、第1のエンコード済み画像データの高いノイズレベルは、シーン200に追加照明が必要なことを示しうる。一実施形態によれば、デバイス処理コンポーネント144はそのため、ステップS08b1で、カメラ120が第1のカメラパラメータを使用して、第1の光条件下でシーン200の画像データを収集するときには、シーン200で追加照明が必要とされていると決定する。
別の実施例によれば、第1のエンコード済み画像データの高いノイズレベルは、カメラ120の誤った条件に起因しうる。このように、第1のエンコード済み画像データの高いノイズレベルは、カメラ120が保守を必要とすることを示しうる。したがって、一実施形態によれば、処理コンポーネント144は、ステップS08b2で、カメラ120が保守を必要としていると判断する。カメラ120の保守には、カメラ120の冷却システムの保守が含まれうる。これは、カメラ120の不良冷却がノイズの多い画像をもたらしうるからである。保守には、カメラ120のランプ交換が含まれうる。シーン200を照明することになっているランプが壊れている場合には、シーン200に照明不足があり、ノイズの多い画像を引き起こしうる。保守の別の実施例は、カメラ120の筐体やレンズの洗浄又は交換である。カメラ120の筐体やレンズの汚れや摩耗は、ノイズの多い画像を引き起こしうる。
当業者は、上述の実施形態を多くの方法で修正し、かつ、上記の実施形態において示されている本発明の利点を依然として使用することが可能であることを、理解するであろう。例えば、第1のエンコード済み画像データの高いノイズレベルは、設置場所の外部条件に照らして、誤ったタイプのカメラ120が設置されていることを示しうる。例えば、冷却システムのないカメラ120が誤って設置された可能性がある。設置場所の温度で動作しない、設置場所の光条件に照らして充分な光を取り込めない、或いは設置場所の湿度条件では動作しないカメラ120が設置されている可能性もある。従って、本発明は、図示した実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ限定されるべきである。加えて、当業者が理解しているように、示された実施形態は組み合わされうる。

Claims (15)

  1. ネットワークカメラシステム内のデバイスによって実行される方法であって、
    シーン(200)を表わす第1のエンコード済み画像データであって、第1のカメラパラメータを使用して、第1の光条件下で、カメラ(120)によって収集される第1のエンコード済み画像データを、ネットワーク(160)を介して受信すること(S02)と、
    同一シーン(200)を表わす第2のエンコード済み画像データであって、前記カメラ(120)によって収集される画像データのノイズレベルを高めるように修正されており、これによって、前記第2のエンコード済み画像データが第2のより暗い光条件下で収集されることをシミュレーションするという点で、前記第1のカメラパラメータとは異なる第2のカメラパラメータを使用する前記第1の光条件下で、前記カメラ(120)によって収集される前記第2のエンコード済み画像データを、前記ネットワーク(160)を介して受信すること(S04)と、
    前記第1のエンコード済み画像データの単位時間あたりの受信データ量と、前記第2のエンコード済み画像データの単位時間あたりの受信データ量との比率を決定すること(S06)と、
    前記比率を前記第1のエンコード済み画像データのノイズレベルの指標として使用すること(S08)と
    を含む方法。
  2. 前記比率は、前記第1のエンコード済み画像データと前記第2のエンコード済み画像データをそれぞれ、前記ネットワークを介して伝送するのに必要な帯域幅を比較することによって決定される、請求項1に記載の方法。
  3. 前記比率は、前記第1のエンコード済み画像データと前記第2のエンコード済み画像データがそれぞれ、ストレージ空間に書き込まれる速度を比較することによって決定される、請求項1又は2に記載の方法。
  4. 前記比率を、前記第1のエンコード済み画像データのノイズレベルの指標として使用するステップ(S08)は、
    前記比率が所定の閾値よりも大きいかどうかをチェックすること(S08a)と、そうである場合には、
    前記第1のカメラパラメータを使用する前記第1の光条件下で、前記カメラによって収集される前記シーンを表わす将来の画像データの前記ノイズレベルを低減するためには、措置を講じる必要があると決定すること(S08b)と
    を含む、請求項1から3のいずれか一項に記載の方法。
  5. 措置を講じる必要があると決定するステップ(S08b)は、
    前記第1の光条件下で、前記カメラが前記シーンの画像データを収集するために前記第1のカメラパラメータを使用するとき、前記シーンに追加照明が必要であることを決定すること(S08b1)を含む、請求項4に記載の方法。
  6. 措置を講じる必要があると決定するステップ(S08b)は、前記カメラが保守を必要とすると決定すること(S08b2)を含む、請求項4に記載の方法。
  7. 前記保守は、前記カメラの冷却システムの保守、前記カメラのランプの交換、或いは、前記カメラの筐体又はレンズの洗浄又は交換を含む、請求項6に記載の方法。
  8. 更に、前記シーン(200)に応じて、所定の閾値を選択することを含む、請求項4から7のいずれか一項に記載の方法。
  9. 前記第1及び第2のカメラパラメータは、ゲイン、絞り値、及び露出時間のうちの少なくとも1つを含む、請求項1から8のいずれか一項に記載の方法。
  10. ゲイン、絞り値、及び露出時間のうちの少なくとも1つを大きくするように修正されている点で、前記第2のカメラパラメータは前記第1のカメラパラメータとは異なる、請求項9に記載の方法。
  11. コンピュータによって実行されると、請求項1から10のいずれか一項にしたがって前記方法を実行するコンピュータコード命令を有するコンピュータ可読媒体。
  12. シーン(200)を表わす第1のエンコード済み画像データと、第1のカメラパラメータを使用して、第1の光条件下でカメラ(120)によって収集される第1のエンコード済み画像データと、同一シーン(200)を表わす第2のエンコード済み画像データであって、前記カメラ(120)によって収集される画像データのノイズレベルを高めるように修正されており、これによって、前記第2のエンコード済み画像データが第2のより暗い光条件下で収集されることシミュレーションするという点で、前記第1のカメラパラメータとは異なる第2のカメラパラメータを使用して、前記第1の光条件下で前記カメラ(120)によって収集される第2のエンコード済み画像データとを、ネットワーク(160)を介して受信するように構成された受信機(142)と、
    前記第1のエンコード済み画像データの単位時間あたりの受信データ量と、前記第2のエンコード済み画像データの単位時間あたりの受信データとの比率を決定するように構成された処理コンポーネント(144)と、
    前記比率を第1のエンコード済み画像データのノイズレベルの指標として使用することと
    を含むデバイス(140)。
  13. 前記処理コンポーネント(144)は更に、
    前記比率が所定の閾値よりも大きいかどうかをチェックし、そうである場合には、
    前記第1のカメラパラメータを使用して、前記第1の光条件下で前記カメラによって収集される前記シーンを表わす将来の画像データのノイズレベルを低減するために、措置を講じる必要があると決定する
    ように構成される、請求項12に記載のデバイス。
  14. 前記処理コンポーネント(144)は、
    前記第1の光条件下で前記シーンの画像データを収集するため、前記カメラが前記第1のカメラパラメータを使用するとき、前記シーンに追加照明が必要であると決定する
    ように構成される、請求項13に記載のデバイス。
  15. 請求項12から14のいずれか一項に記載のデバイス(140)と、
    ネットワーク(160)を介して、前記デバイス(140)に接続されたカメラ(120)であって、
    シーン(200)を表わす第1のエンコード済み画像データであって、第1のカメラパラメータを使用して第1の光条件下で収集される第1のエンコード済み画像データを収集し、
    前記シーン(200)を表わす第2のエンコード済み画像データであって、前記カメラ(120)によって収集される画像データのノイズレベルを高めるように修正されており、これによって、前記第2のエンコード済み画像データが第2のより暗い光条件下で収集されることをシミュレーションするという点で、前記第1のカメラパラメータとは異なる第2のカメラパラメータを使用して、前記第1の光条件下で収集される第2のエンコード済み画像データを収集し、
    前記ネットワーク(160)を介して、前記第1及び第2のエンコード済み画像データを前記デバイス(140)に伝送する
    ように構成されたカメラ(120)と
    を備えるネットワークカメラシステム(100)。
JP2017087038A 2016-05-16 2017-04-26 カメラネットワークシステムにおける方法及びデバイス Active JP6475283B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16169770.1 2016-05-16
EP16169770.1A EP3247102B1 (en) 2016-05-16 2016-05-16 Method and device in a camera network system

Publications (2)

Publication Number Publication Date
JP2018011291A JP2018011291A (ja) 2018-01-18
JP6475283B2 true JP6475283B2 (ja) 2019-02-27

Family

ID=56081242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017087038A Active JP6475283B2 (ja) 2016-05-16 2017-04-26 カメラネットワークシステムにおける方法及びデバイス

Country Status (6)

Country Link
US (1) US10136100B2 (ja)
EP (1) EP3247102B1 (ja)
JP (1) JP6475283B2 (ja)
KR (1) KR101930437B1 (ja)
CN (1) CN107395952B (ja)
TW (1) TWI682667B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256571B1 (ko) * 2018-01-23 2021-05-26 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 소모품을 진단하는 화상형성장치 및 화상형성방법
US20210409613A1 (en) * 2018-12-21 2021-12-30 Sony Group Corporation Information processing device, information processing method, program, and information processing system
US11983853B1 (en) 2019-10-31 2024-05-14 Meta Plattforms, Inc. Techniques for generating training data for machine learning enabled image enhancement

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065255B2 (en) 2002-05-06 2006-06-20 Eastman Kodak Company Method and apparatus for enhancing digital images utilizing non-image data
JP4484724B2 (ja) 2005-02-16 2010-06-16 キヤノン株式会社 撮像装置およびその制御方法
EP2005747A4 (en) * 2006-03-29 2010-04-07 Univ Curtin Tech INSPECTION OF MONITORING CAMERA INSTALLATIONS
US7880746B2 (en) 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US20090172756A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Lighting analysis and recommender system for video telephony
EP2101505A3 (en) 2008-03-11 2012-09-05 Sony Corporation Image processing device, method, and program
US8346008B2 (en) * 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
US8611660B2 (en) 2009-12-17 2013-12-17 Apple Inc. Detecting illumination in images
US8947490B2 (en) * 2010-07-01 2015-02-03 Vibare, Inc. Method and apparatus for video processing for improved video compression
JP2013098644A (ja) 2011-10-28 2013-05-20 Sony Corp ノイズ検出装置、ノイズ検出方法及びプログラム
JP2013101559A (ja) * 2011-11-09 2013-05-23 A1 Communication Corp 監視システム
US8953094B2 (en) 2011-11-10 2015-02-10 Apple Inc. Illumination system
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
EP2709350B1 (en) 2012-09-14 2015-06-03 Axis AB Configuration of image capturing settings
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
CN103279950B (zh) 2013-05-14 2016-03-16 中国科学院光电研究院 一种基于行列噪声标准差的遥感图像信噪比评估方法
EP2804382B1 (en) * 2013-05-15 2015-04-29 Axis AB Reliability determination of camera fault detection tests
JP6299182B2 (ja) * 2013-11-28 2018-03-28 サクサ株式会社 死活監視システム
JP2016021689A (ja) * 2014-07-15 2016-02-04 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US10136100B2 (en) 2018-11-20
JP2018011291A (ja) 2018-01-18
CN107395952A (zh) 2017-11-24
KR101930437B1 (ko) 2018-12-18
TW201742434A (zh) 2017-12-01
CN107395952B (zh) 2019-08-23
US20170332041A1 (en) 2017-11-16
EP3247102B1 (en) 2018-08-01
TWI682667B (zh) 2020-01-11
EP3247102A1 (en) 2017-11-22
KR20170129055A (ko) 2017-11-24

Similar Documents

Publication Publication Date Title
JP6475283B2 (ja) カメラネットワークシステムにおける方法及びデバイス
US20090040303A1 (en) Automatic video quality monitoring for surveillance cameras
CN108229333B (zh) 用于识别运动视频中的事件的方法
CN111506489B (zh) 测试方法、***、设备、服务器及存储介质
US8908046B1 (en) Reliability determination of camera fault detection tests
WO2016183011A1 (en) Techniques for predicting perceptual video quality
JP2012028992A (ja) 自立監視型カメラ装置
JP2016191973A (ja) 情報転送装置、学習システム、情報転送方法及びプログラム
JP6343430B2 (ja) ビデオ検出装置及び欠落ビデオ・フレーム検出方法
US20140071281A1 (en) Intelligent use of scene and test pattern analyses for traffic camera diagnostics
JP2019154027A (ja) ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム
CN112580467A (zh) 视频回归测试方法、装置、计算机设备及存储介质
JP4673178B2 (ja) ストリーミング画像再生品質評価システム
JP2005064679A (ja) 画像特徴量抽出方式および画質評価方式
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
US20210304575A1 (en) Monitoring information recording apparatus, monitoring information recording system, control method for monitoring information recording apparatus, and recording medium
CN111355948B (zh) 执行相机的运行状况检查的方法和相机***
JPWO2019077697A1 (ja) 画像共有支援装置、画像共有システム、及び、画像共有支援方法
KR102018142B1 (ko) 수위감지 알고리즘의 검증 방법
Sotirakopoulos et al. On the Use of Linear Regression for the Assessment of Stability in Noise Monitoring Networks: A Practical Example
EP3072292A1 (en) A method of assessing sensor performance
CN109871795B (zh) 一种自动化的高速公路技术状况评定方法、***及产品
US20190122353A1 (en) Information processing apparatus, image capture system, control method and storage medium
EP2798846B1 (en) Assessing packet loss visibility in video
EP3151189A1 (en) Method for determining a modifiable block

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180823

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180823

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190131

R150 Certificate of patent or registration of utility model

Ref document number: 6475283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250