JP7339786B2 - Information processing device, system, control method for information processing device, and program - Google Patents
Information processing device, system, control method for information processing device, and program Download PDFInfo
- Publication number
- JP7339786B2 JP7339786B2 JP2019116630A JP2019116630A JP7339786B2 JP 7339786 B2 JP7339786 B2 JP 7339786B2 JP 2019116630 A JP2019116630 A JP 2019116630A JP 2019116630 A JP2019116630 A JP 2019116630A JP 7339786 B2 JP7339786 B2 JP 7339786B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image quality
- received
- zoom magnification
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 78
- 238000000034 method Methods 0.000 title claims description 40
- 238000012545 processing Methods 0.000 claims description 106
- 230000006866 deterioration Effects 0.000 claims description 43
- 230000003287 optical effect Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、情報処理装置、システム、情報処理装置の制御方法、及び、プログラムに関する。 The present invention relates to an information processing device, a system, a control method for an information processing device, and a program.
カメラにおいて光学的に拡大する光学ズーム機能を持つものがある。光学的なズーム機能は画像の劣化なくズームが行えるため遠方を監視する必要がある際に用いられる。また、光学ズームを超える場合にはデジタルズームが使われることが一般的である。しかしながら、デジタルズームでは画像の劣化が生ずることがあるため、光学ズームの範囲を超えてデジタルズームを行うと物体の判別が難しくなる場合がある。 Some cameras have an optical zoom function for optical enlargement. The optical zoom function is used when it is necessary to monitor a long distance because it can zoom without image degradation. Digital zoom is generally used when optical zoom is exceeded. However, since digital zooming may cause image deterioration, it may become difficult to distinguish an object if digital zooming is performed beyond the range of optical zooming.
図２（A）はそのような物体判別が難しい画像の一例を示す。図２（A）の画像２００は海上の20km先をズームの限界で撮影した画像の例を示しているが、画像２００に含まれる被写体である物体２０１が岩であるのか、船であるのかを見極めることは困難である。
FIG. 2A shows an example of an image in which such object discrimination is difficult. An
特許文献１は、このようなデジタルズームに伴う問題を解決するために、光学ズームの範囲を超えた場合にも超解像技術を用いて劣化の少ないズームを実現する撮像装置を開示する。当該撮像装置によれば、光学ズームを超えた範囲では画像を重ね合わせることで単なるデジタルズームと比較して劣化の少ないズーム処理が可能となる。
In order to solve such problems associated with digital zooming,
しかしながら、特許文献１で提案されるような超解像を実現するためには、超解像の処理時間を考慮する必要がある。従来技術ではカメラ側で超解像の処理をしていたが、これをネットワークカメラに適用すると処理の負担がかかり、映像自体の配信遅延につながってしまう。また、超解像を実現するためには、スペックの高いCPUや特殊なチップ等が必要となる。常に使う訳ではない機能であるにも関わらず、ネットワークカメラに超解像の機能を搭載することはカメラ単体の高価格化を招くことになり、複数台のカメラを設置することが多いネットワークカメラシステムの場合には、トータルコストにも大きな影響を与えることは避けられない。
However, in order to realize super-resolution as proposed in
そこで本発明は、ネットワークカメラから取得した画像について、ズームによる画像劣化を低減させ、遠方の被写体まで鮮明に表示可能にする技術を提供する。 SUMMARY OF THE INVENTION Accordingly, the present invention provides a technique for reducing image deterioration caused by zooming and enabling a clear display of even a distant subject in an image acquired from a network camera.
上記課題を解決するための本発明は、撮影装置と通信する情報処理装置であって、
前記撮影装置が画像を撮影する際のズーム倍率の制御指示を受け付ける受付手段と、
前記受付手段が受け付けた前記ズーム倍率を前記撮影装置に送信し、前記撮影装置が撮影した画像を受信する通信手段と、
機械学習により習得した画像を高解像度化する方法を用いて、前記通信手段が受信した画像の画質を向上させる処理を行う画像処理手段と、
前記受信した画像について、前記ズーム倍率に起因する劣化の有無を前記ズーム倍率に基づき判定する判定手段と、
表示部における表示を制御する表示制御手段と
を備え、
前記表示制御手段は、
前記判定手段が前記受信した画像が前記ズーム倍率に起因する劣化を有する場合に、前記画像処理手段により画質が向上された前記受信した画像を前記表示部に表示させ、
前記ズーム倍率に起因する劣化を有しない場合に、前記画像処理手段による画質の向上が行われていない前記受信した画像を前記表示部に表示させ、
前記判定手段は、前記受信した画像の画質を更に判定し、
前記受信した画像の画質が所定の画質よりも高いと判定した場合に、前記画像処理手段は前記受信した画像に前記画質を向上させる処理を行う。
The present invention for solving the above problems is an information processing device that communicates with a photographing device,
receiving means for receiving a zoom magnification control instruction when the imaging device captures an image;
communication means for transmitting the zoom magnification received by the reception means to the photographing device and receiving an image photographed by the photographing device;
image processing means for performing processing for improving the image quality of the image received by the communication means using a method for increasing the resolution of the image learned by machine learning;
determination means for determining whether or not the received image is degraded due to the zoom magnification based on the zoom magnification ;
and display control means for controlling display on the display unit,
The display control means is
when the received image has deterioration due to the zoom magnification, the determining means causes the display unit to display the received image whose image quality has been improved by the image processing means;
displaying on the display unit the received image whose image quality has not been improved by the image processing means when there is no deterioration due to the zoom magnification ;
The determination means further determines the image quality of the received image,
When it is determined that the image quality of the received image is higher than the predetermined image quality, the image processing means performs processing for improving the image quality of the received image.
本発明によれば、ネットワークカメラから取得した画像について、ズームによる画像劣化を低減させ、遠方の被写体まで鮮明に表示する技術を提供することできる。 According to the present invention, it is possible to provide a technique for reducing image deterioration due to zooming and clearly displaying even a distant subject in an image acquired from a network camera.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In addition, the following embodiments do not limit the invention according to the scope of claims. Although multiple features are described in the embodiments, not all of these multiple features are essential to the invention, and multiple features may be combined arbitrarily. Furthermore, in the accompanying drawings, the same or similar configurations are denoted by the same reference numerals, and redundant description is omitted.
まず、図１を参照して実施形態に対応するシステム構成を説明する。実施形態に対応する撮影システム１０は、ネットワークカメラ１０１、情報処理装置１０２、がネットワーク１０４によって接続されて構成される。ネットワーク１０４に接続される各装置の数に制限はなく、少なくともネットワークカメラ１０１が複数台存在するのが一般的であるが、図１では簡略化のために、それぞれ１台ずつの構成として説明する。
First, a system configuration corresponding to the embodiment will be described with reference to FIG. A
ネットワーク１０４は、後で述べるカメラ制御信号、圧縮した画像信号を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。なお、ここではネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを仮定し、以下アドレスといった場合にはＩＰアドレスを指すこととする。また、ネットワークカメラ１０１、情報処理装置１０２、共にＩＰアドレスを割り当てられているものとする。
Network 104 may be any digital network, such as the Internet or an intranet, that has a bandwidth sufficient to pass camera control signals and compressed image signals, which will be described later. Note that the TCP/IP (UDP/IP) protocol is assumed here as the network protocol, and the IP address is hereinafter referred to as an address. It is also assumed that IP addresses are assigned to both the
ネットワークカメラ１０１は撮影装置または撮像装置として、例えば、撮影部１１１、PTZ機構１１２、カメラ・PTZ制御部１１３、通信制御部１１４、画像制御部１１５、画像圧縮部１１６、コマンド解釈部１１７及び記憶部１１８を含むように構成される。当該構成に基づき、ネットワークカメラ１０１は、通信制御部１１４が、ネットワーク１０４を介して外部のクライアント装置から受信したコマンドに応じて監視対象となる所定の空間を撮影し、ネットワーク１０４を介して撮影画像を配信するともに、各種カメラ制御を実行する。
The
撮影部１１１は、例えば、静止画像のほかに、１秒間に３０フレーム分の画像を取得して、監視領域の３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。撮影部１１１は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するCMOS等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器を含む。また、デジタル画像信号に対して、所定の現像処理を実行する現像処理部を含む。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの処理を含むことができる。現像処理された画像は画像制御部１１５に出力される。
For example, in addition to still images, the
PTZ機構１１２は、カメラ・PTZ制御部１１３による制御に基づき撮影部１１１による撮影方向（パン・チルト角度）を変更することができる。PTZ機構１１２は例えば、可動雲台を含むように構成されてもよい。カメラ・PTZ制御部１１３は、通信制御部１１４が情報処理装置１０２から受信したコマンドをコマンド解釈部１１７が解釈した後、コマンドで指定された制御内容に応じてカメラPTZ制御部１１３によってパン・チルト・ズーム（ＰＴＺ）が制御される。通信制御部１１４は、ネットワーク１０４を介して情報処理装置１０２と通信するための通信インタフェースである。
The
画像制御部１１５は撮影部１１１による撮影画像（動画および静止画）を取り込む。全体画像の場合は画像全体を、切り出し画像の場合には画像の一部を取り込む。また画像制御部１１５ではデジタルズームによる電子ズーム処理が必要であれば電子ズーム処理を行う。画像制御部１１５で用意された画像は、画像圧縮部１１６によって情報処理装置１０２が要求した形式で圧縮される。
The
画像圧縮部１１６は、画像制御部１１５から入力された画像を圧縮・符号化して、配信用の画像データを生成する。配信用の画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。画像圧縮部１１６は、記憶部１１８から設定値を取得し、圧縮率の変更を行ったり、特定の領域は高画質に圧縮し、その他の領域は低画質に圧縮するような制御を行ったりする。本実施形態では、画像の圧縮形式としてMotion JPEGやH.264圧縮を想定するが、実施形態は当該圧縮形式に限定されるものではない。
The
コマンド解釈部１１７は、通信制御部１１４が情報処理装置１０２から受信したコマンドを解釈して、各ブロックの動作の制御を行う。記憶部１１８は各種設定値およびデータを保持する。記憶部１１８に保存された設定値は必要に応じて情報処理装置１０２にネットワークカメラ１０１の設定を通知するために通信制御部１１４を介して送信される。
The
次に、情報処理装置１０２は、通信部１２１、ＤＬ（Deep Learning）システム１２２、制御部１２３、操作部１２４、表示部１２５を含むように構成される。情報処理装置１０２は、例えばパーソナルコンピュータ（ＰＣ）及びインストールされたアプリケーションにより構成することができ、PC以外にも、携帯電話、スマートフォン、ＰＤＡ、タブレット端末などの任意の情報処理端末、或いは、画像処理装置（画像生成装置、または、画像合成装置と呼ぶこともできる）として実現することもできる。情報処理装置１０２は任意のネットワークカメラ１０１にネットワークカメラ毎に割り当てられているＩＰアドレスを指定して接続することができる。
Next, the
通信部１２１は、ネットワーク１０４を介してネットワークカメラ１０１と通信するための通信インタフェースである。通信部１２１は、ネットワークカメラ１０１から配送されてきた記憶部２１８に保持されていた設定値を受信するとともに、各種カメラ制御の結果や画像を受信する。通信部１２１で受信されたデータは制御部１２３に送られる。
A
制御部１２３では受信した画像を表示部１２５に表示させるように表示制御を行う。また、のちに説明する、解像度が低下している画像を処理して画像の解像度を向上させる画像処理技術である超解像が必要かどうかを判定する。超解像が必要と判定するとディープラーニングシステム（DLシステム）１２２に画像を渡し、超解像された画像を受け取り超解像画像を表示部１２５に表示させる。
The
ディープラーニングシステム１２２は図中では略してDLシステムと表記する場合がある。DLシステム１２２では機械学習の一種でありニューラルネットワークを多層的構造にし、コンピュータ自らがデータに含まれる特徴をとらえ、正確で効率的な識別や生成処理を実現させる技術であるディープラーニングの技術により超解像を行う。なお超解像については後述する。なおここではディープラーニングを用いるがこれに限定するものではなく他の機械学習でも適応可能である。
The
ＤＬシステム１２２は、所定の学習データに基づいて機械学習を行い、機械学習により習得した画像を変換する方法（学習済みモデル）を用いて、本実施形態に対応する超解像画像を生成するための画像処理、特には画質変換処理を行う画像処理部として動作する。DLシステム１２２における機械学習についてはRCANを用いて実現している。RCANに関してはImage Super-Resolution Using Very Deep Residual Channel Attention Networks 8 Jul 2018 Yulun Zhang, Kunpeng Li, Kai Li, Lichen Wang, Bineng Zhong, Yun Fuで詳細が述べられている。ただし機械学習方法についてはRCANに限ったものではない。
The
操作部１２４はユーザからの操作入力や指示入力を受け付けるための操作受付部、あるいは、指示受付部として機能するユーザインタフェースである。操作部１２４は、マウス、キーボード、タッチパネル、ボタン等により構成することができる。ユーザは操作部１２４を操作することにより、制御部１２３に対して、ネットワークカメラ１０１に対するPTZ処理や画質変換処理に関わる設定を行うことができる。制御部１２３は、操作部１２４から受け付けた設定入力に基づいてネットワークカメラ１０１から受信した画像に超解像を行って表示部１２５に出力する。具体的には、受信した画像をそのまま表示部１２５に出力する場合と、ＤＬシステム１２２による超解像の結果得られた画像を表示部１２５に出力する場合とがある。また、操作部１２４は、例えば、表示に関する入力を受け付ける。なお、１台の情報処理装置１０２につき複数台のネットワークカメラ１０１が繋がる場合には、制御部１２３および表示部１２５が複数複製され、それぞれのネットワークカメラ１０１の画像を表示する。
The
表示部１２５は、制御部１２３の制御に従って所定の画面表示を行う表示装置であり、任意のディスプレイ装置により構成することができる。表示部１２５は、情報処理装置１０２と一体的に構成されてもよいし、外部装置としてケーブル等で接続されてもよい。
The
次に、図２（Ｂ）を参照して、発明の実施形態に対応する情報処理装置１０２のハードウェア構成の一例を説明する。図２（Ｂ）は、情報処理装置１０２のハードウェア構成の一例を示すブロック図である。上述した情報処理装置としてのネットワークカメラ１０１の撮影部１１１及びPTZ機構１１２等を除く構成についても、同様或いは同等のハードウェア構成とすることができる。
Next, an example of the hardware configuration of the
図２（Ｂ）において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、それにより制御部１２３として機能することができる。ＣＰＵ２１０は、ＲＡＭ２１２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、ＣＰＵ２１０は、ＤＬシステム１２２として機能し、所定の学習データに基づいて機械学習を行ったり、HD２１５に記録されている画像やネットワークカメラ１０１から受信した画像について本実施形態に対応する画質変換処理（超解像）を実行したりすることができる。なお、ＣＰＵ１２２に代えて、不図示のＧＰＵをＤＬシステム１２２として機能させてもよい。あるいは、ＣＰＵ１２２と不図示のＧＰＵを協働させてＤＬシステム１２２として機能させてもよい。さらには、インタフェース（Ｉ／Ｆ）２１８を介してネットワークカメラ１０１との通信を制御する。なお、後述するフローチャートにおける処理もＣＰＵ２１０が対応する処理プログラムを実行することにより装置全体を制御して実現される。
In FIG. 2B, a CPU 210 executes an application program, an operating system (OS), a control program, and the like stored in a hard disk device (hereinafter referred to as HD) 215, thereby functioning as a
ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。また、ネットワークカメラ１０１から受信した情報を一時的に記憶する。
The ROM 211 internally stores various data such as an application program for executing predetermined processing in addition to the basic I/O program. A RAM 212 temporarily stores various data and functions as a main memory, a work area, and the like for the CPU 210 . Information received from the
外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２１４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。 The external storage drive 213 is an external storage drive for realizing access to a recording medium, and can load programs and the like stored in the medium (recording medium) 214 into this computer system. The media 214 are, for example, floppy (registered trademark) disk (FD), CD-ROM, CD-R, CD-RW, PC card, DVD, Blu-ray (registered trademark), IC memory card, MO, memory A stick or the like can be used.
外部記憶装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム、ネットワークカメラ１０１から受信した画像等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。
The external storage device 215 uses an HD (hard disk) that functions as a large-capacity memory in this embodiment. The HD 215 stores application programs, an OS, control programs, related programs, images received from the
指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当し、操作部１２４として機能することができる。出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対する情報処理装置１０２の応答出力等を出力する。出力装置２１７には、表示部１２５に相当するディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２１９は、情報処理装置１０２内のデータの流れを司る。
The instruction input device 216 corresponds to a keyboard, a pointing device (such as a mouse), a touch panel, or the like, and can function as the
インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たし、通信部１２１として機能することができる。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
An interface (hereinafter referred to as I/F) 218 plays a role of mediating data exchange with an external device and can function as a
本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ２１５からＲＡＭ２１２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ２１１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ２１０で実行することも可能である。さらに、メディア２１４から対応プログラム及び関連データを直接ＲＡＭ２１２にロードして実行させることもできる。 Each time a corresponding program is run to execute processing corresponding to this embodiment, the program may be loaded from the HD 215 in which the program is already installed to the RAM 212 . It is also possible to record the program according to the present embodiment in the ROM 211, configure it to form a part of the memory map, and directly execute it by the CPU 210. FIG. Furthermore, the corresponding program and related data can be loaded directly from the media 214 into the RAM 212 and executed.
次に図３を参照して、本実施形態の情報処理装置１０２のDLシステム１２２で行う超解像について説明する。まず、図３（A）において画像３０１はDLシステム１２２に入力する画像の例である。ここでは400x300の解像度の画像を入力する。この画像を従来手法でデジタル拡大（4倍の1600x1200)したものが画像３０２である。画像３０２を見るとギザギザが有り、画素数は増えたものの解像度は低いことが分かる。画像３０３はDLシステム１２２で超解像（4倍の1600x1200）した結果の例である。画像３０２と比較すると高画質で、実際に最初から1600x1200で撮影した映像に近づいた画像となる。実際の高解像度化に関する技術的な仕組み等は先に述べた論文等に詳しく書かれているため省略する。
Next, super-resolution performed by the
次に図３（B）を参照して本実施形態での情報処理装置１０２のDLシステム１２２で行う超解像について説明する。図３（B）はDLシステム１２２への入力画像と出力画像の例を示している。DLシステム１２２においては、超解像に関して、縦方向横方向それぞれに対して2倍、4倍、8倍の解像度にすることが可能である。図３(B)の画像３０１は図３（A）の画像３０１と同様に400x300の解像度の入力画像である。これに対し画像３０４は２倍の超解像の例である、画像３０１の入力画像に対して縦横２倍の画像３０４を出力することが可能である。画像３０５は４倍の超解像の例である、入力画像３０１に対して縦横4倍の画像３０５を出力することが可能である。画像３０６は８倍の超解像の例である、入力画像３０１に対して縦横８倍の画像３０６を出力することができる。
Next, super-resolution performed by the
これらの超解像はディープラーニングの学習により実現され、それぞれの倍率に最適に高解像度化される。例えば8倍の超解像を行った際には当初より８倍の映像で撮影した場合と比較すると画質的に劣るが、デジタルズームで８倍した時と比較すると格段に高画質の映像を得ることが可能である。実際の高解像度化に関する技術的な仕組みや結果の画質等は先に述べた論文等に詳しく書かれているため省略する。 These super-resolutions are realized by learning deep learning, and the resolution is increased optimally for each magnification. For example, when super-resolution is performed at 8x, the image quality is inferior to when shooting at 8x from the beginning, but compared to 8x with digital zoom, it is possible to obtain a much higher quality image. is possible. Since the technical mechanism and resulting image quality of the actual high resolution are described in detail in the above-mentioned papers, etc., they are omitted here.
図３（A）および図３（B）の結果を得るためにはDLシステム１２２は学習が必要である。そこで図４を参照してDLシステム１２２の学習の例について説明する。なお学習に関しては情報処理装置１０２内で行うのではなく、あらかじめ所定の学習環境で学習を行い、学習結果を踏まえた学習済みモデルをDLシステム１２２に組み込むようにしてもよい。本実施形態に対応するディープラーニングでは、低解像度の画像と高解像度の画像をセットで学習させた後に精度の高い超解像が可能となる。図3（B）では2倍、4倍、8倍の超解像について説明したが、これを実現するためには学習時においても2倍、4倍、8倍のそれぞれについて学習が必要となる。また、画像の変換倍率については、これらに限定されるものではなく、任意の倍率を設定して学習することができる。
The
本実施形態に対応する学習においては、低解像画像と高解像度画像のセットが学習データとなる。本実施形態では、超解像の処理対象となる画像の劣化の度合い（倍率に対応）に応じた異なる学習データに基づき機械学習を行い、学習済みモデルを生成する。図４はそれぞれの倍率について低解像度と高解像度の学習データを説明している。図４(A)は2倍の、図４(B)は4倍の、図4(C)は8倍の学習データである。図４（A）の2倍の学習データの例では、高解像度画像である画像４０１を２分の１に縮小した画像４０２が低解像度画像となる。同様に図４（B）の４倍の学習データの例では、高解像度画像である画像４０１を４分の１に縮小した画像４０３が低解像度画像となる。図４（C）の８倍の学習データの例では、高解像度画像である画像４０１を８分の１に縮小した画像４０４が低解像度画像となる。但し、これらは各倍率における学習データの一例に過ぎず、同様の低解像度画像と高解像度画像のセットの学習データをそれぞれ100万画像用いて学習を行いモデル化を行う。このような学習を行うことで、図３で説明したような入力された低解像度画像を高解像度画像に変換（超解像）して出力することが可能となる。 In learning corresponding to this embodiment, a set of low-resolution images and high-resolution images serves as learning data. In this embodiment, machine learning is performed based on different learning data according to the degree of deterioration (corresponding to magnification) of an image to be processed for super-resolution processing, and a learned model is generated. FIG. 4 illustrates low resolution and high resolution training data for each magnification. FIG. 4(A) is the learning data of 2 times, FIG. 4(B) is the learning data of 4 times, and FIG. 4(C) is the learning data of 8 times. In the example of double learning data in FIG. 4A, an image 402 obtained by reducing an image 401, which is a high-resolution image, to 1/2 becomes a low-resolution image. Similarly, in the example of quadruple learning data shown in FIG. 4B, an image 403 obtained by reducing an image 401, which is a high-resolution image, to 1/4 becomes a low-resolution image. In the example of eight-fold learning data in FIG. 4C, an image 404 obtained by reducing an image 401, which is a high-resolution image, to 1/8 is a low-resolution image. However, these are only examples of learning data at each magnification, and learning is performed using one million images each of learning data of a set of similar low-resolution images and high-resolution images, and modeling is performed. By performing such learning, it becomes possible to convert (super-resolution) an input low-resolution image into a high-resolution image as described in FIG. 3 and output the image.
次に図５を参照して、本実施形態に対応する情報処理装置１０２の表示部１２５の表示画面について説明する。図５（A）は、表示画面の表示形態の一例を示す図である。表示画面５００において、領域５０１は、ネットワークカメラ１０１から受信した画像もしくは当該画像を超解像した画像（超解像画像）を表示する領域である。ここでは領域５０１には遠方の船をネットワークカメラ１０１が撮影した画像が一例として表示されている。表示領域５０１の脇にはチルトバー５０２、パンバー５０３及びズームバー５０４が、表示領域５０１と関連付けて表示されている。チルトバー５０２のつまみを上下に移動することでネットワークカメラ１０１のチルトを制御することができる。また、パンバー５０３のつまみを左右に移動することでネットワークカメラ１０１のパンを制御することができる。ズームバー５０４のつまみ５０４ｂを移動することでネットワークカメラ１０１のズームを制御することができ、つまみ５０４ｂを上に移動することでズームイン、下に移動することでズームアウトが行われる。
Next, a display screen of the
指標５０５は、ズームバー５０４に対して光学ズームラインの位置を示している。ズームバー５０４のつまみ５０４ｂが指標５０５と同じ位置にある場合は、ズームの光学端であることを意味する。光学端とは光学ズームで一番ズームインした状態である。つまみ５０４ｂの位置が指標５０５の位置より上になるとカメラはデジタルズームも併用したズームを行うこととなる。この場合には撮影画像にズーム倍率に起因する劣化（ズーム劣化）が生ずる。チェックボックス５０６は、デジタルズームを行った場合のズーム劣化を解消するために情報処理装置１０２側で超解像（「ズーム劣化時超解像」という）を行うかどうかを指定するためのユーザインタフェースである。
An index 505 indicates the position of the optical zoom line with respect to the zoom bar 504 . When the knob 504b of the zoom bar 504 is at the same position as the index 505, it means that the zoom is at the optical end. The optical end is the most zoomed-in state in optical zoom. When the position of the knob 504b is above the position of the index 505, the camera performs zooming in combination with digital zooming. In this case, deterioration (zoom deterioration) occurs in the photographed image due to the zoom magnification. A check box 506 is a user interface for designating whether or not to perform super-resolution on the
このように表示画面５００においてズームバー５０４の近傍に指標５０５を表示することで、ユーザは超解像が行われるズーム倍率であるかどうかを視覚的、かつ、直感的に把握することが可能となる。このときユーザは、チェックボックス５０６にチェックを入れるかどうかを、つまみ５０４ｂと指標５０５との位置関係に基づいて判断することが可能となる。本実施形態において、現在のズーム倍率が光学ズーム倍率の範囲内であるかどうかの表示は、指標５０５を用いる形態に限定されるものではない。現在ズーム倍率と光学最大ズーム倍率との大小関係が視認可能であれば、他の任意の形態を採用可能である。例えば、現在ズーム倍率が光学最大ズーム倍率を超えた場合、つまみ５０４ｂの表示色を光学ズーム倍率の範囲内における色から異なる色に変更するようにしてもよい。或いは、ズームバー５０４の色を光学ズームの範囲とデジタルズームの範囲とで異なる色で表示するようにしてもよい。
By displaying the indicator 505 in the vicinity of the zoom bar 504 on the
チェックボックス５０６がチェックされズーム劣化時超解像を行う設定において、デジタルズームが併用される場合に超解像の処理が実行され、DLシステム１２２により高解像度された超解像画像が領域５０１に表示される。チェックボックス５０６の設定は、デジタルズームが行われている場合に有効であって、デジタルズームが行われていない場合にはネットワークカメラ１０１から受信した画像がそのまま表示される。図５(A)に示す例では、ズームバー５０４のつまみ５０４ｂが指標５０５よりも下に位置しているため、ネットワークカメラ１０１から受信した超解像がされていない画像５０７がそのまま表示されている。
When the check box 506 is checked and super-resolution is performed when the zoom deteriorates, super-resolution processing is performed when digital zoom is also used, and a super-resolution image that has been increased in resolution by the
図５(B)はチェックボックス５０６がチェックされない状態でデジタルズームの領域までズームした場合の表示画面５００の表示形態を示す。このときズームバー５０４のつまみ５０４ｂが光学端５０５より上になっているため、デジタルズームの領域までズームされている。しかし、ズーム劣化時超解像のチェックボックス５０６にはチェックが入っていないので、デジタルズーム領域のズーム画像に対して超解像が行われない。領域５０１にはこのデジタルズーム画像５１２が表示されている。図５（A）の画像５０７と比較してズームにより物体が大きく表示されているが、デジタルズームによる画像の劣化のため画像がぼけて表示されている。
FIG. 5B shows the display form of the
次に図５(C)はチェックボックス５０６がチェックされている状態でデジタルズームの領域までズームした場合の表示画面５００の表示形態を示す。このときズームバー５０４のつまみ５０４ｂは光学端５０５より上になっているためデジタルズームの領域までズームされている。そして、ズーム劣化時超解像のチェックボックス５０６にはチェックが入っているので、デジタルズーム領域のズーム画像に対して超解像が行われる設定になっている。この設定の場合、制御部１２３はDLシステム１２２に通信部１２１を介して受信した画像を渡し、超解像が行われる。制御部１２３はDLシステム１２２から出力された超解像画像を表示部１２５に出力して表示する。図５（C）はこのときの表示画面５００の一例を示している。領域５０１には図５（A）や図５（B）と比較して高画質化された画像５２１が表示される。
Next, FIG. 5(C) shows the display form of the
図５(D)はズーム劣化時超解像を行った場合の物体画像の遷移の一例を示した図である。画像５３１は、ネットワークカメラ１０１においてデジタルズーム領域までズームした際の画像５１２において、物体が含まれる領域を切り出したものである。画像５３１に対してDLシステム１２２により超解像を行うと画像５３２のように高解像度化され、大きくなった画像を取得できる。図５（D）では物体を切り出した領域のみを示しているが、超解像処理は画像の全体に対して行われる。得られた超解像画像を領域５０１に表示する際には、表示領域５０１の大きさに合わせて画像５３３のように縮小して表示するので、結果として画像５３１よりも鮮明な画像が得られることとなる。本実施形態において領域５０１の大きさは固定であり、ネットワークカメラ１０１の配信サイズと同様の解像度とすることができる。そのため、表示劣化分よりも解像度を上げる処理を行うことで鮮明な画像の表示が可能となっている。
FIG. 5D is a diagram showing an example of a transition of an object image when super-resolution is performed with zoom degradation. An image 531 is obtained by cutting out an area including an object from the image 512 when the
次に図６を参照して情報処理装置１０２がネットワークカメラ１０１から受信するズーム情報について説明する。図６（A）はネットワークカメラ１０１から情報処理装置１０２へ送信するズーム情報としてのパケットデータの一例を示す。パケットデータ６００は４バイトの情報として構成することができ、内容が変更されるたびにネットワークカメラ１０１から情報処理装置１０２に送信される。４バイトのデータにはステータス６０１、最大ズーム倍率６０２、光学最大ズーム倍率６０３、現在ズーム倍率６０４が含まれる。かっこで示す数値は、それぞれ項目について登録されている値である。ステータス６０１は、パケットデータに含まれる情報の種別を表す情報であって、図６（A）では、３の値を有しており、これによりパケットデータ６００がズーム関連の情報を含むことが示される。
Next, zoom information received by the
最大ズーム倍率６０２は、ネットワークカメラ１０１における最大許容ズーム倍率の値が含まれる。本実施形態では最大ズーム倍率を１２８倍としている。光学最大ズーム倍率６０３は、光学ズームで行える最大ズーム倍率の値が含まれる。本実施形態では光学最大ズーム倍率を１６倍としている。これらの情報により、ネットワークカメラ１０１では、１から１６倍までは光学ズームによるズームが行われ、16倍から１２８倍までは光学ズームにプラスしてデジタルズームによりズームが行われることが示される。現在ズーム倍率６０４は現在のズーム倍率を示す値が含まれる。
The
本実施形態では、制御部１２３は最大ズーム倍率６０２、光学最大ズーム倍率６０３及び現在ズーム倍率６０４の各値により画像に劣化が起きているか否かを判定することができる。図６（A）では現在ズーム倍率６０４が１２となっているため、光学最大ズーム倍率の１６よりも小さく、デジタルズームによる劣化が生じていないと判定することができる。
In this embodiment, the
上記の最大ズーム倍率と光学最大ズーム倍率とは、図５に示した表示画面５００と対応している。例えば、ズームバー５０４のつまみ５０４ｂをバーの一番上まで持っていった場合には、最大ズーム倍率に相当する１２８倍のズームをネットワークカメラ１０１に指示することになる。また、指標５０５で示す位置は、光学最大ズーム倍率である１６倍に相当する。
The maximum zoom magnification and the maximum optical zoom magnification described above correspond to the
次に図６（B）を参照して、ズーム倍率に応じた超解像の処理を説明する。図６(B)はデジタルズームが行われている際にネットワークカメラ１０１から情報処理装置１０２が受け取るズーム情報としてのパケットデータ６１０の一例を示す。このとき、現在ズーム倍率６０４に示されるように現在のズーム倍率は38倍となっている。従って、デジタルズームによりズームが行われているものである。なお、他の値は図６（A）と同じである。
Next, with reference to FIG. 6B, super-resolution processing according to the zoom magnification will be described. FIG. 6B shows an example of
このようにしてデジタルズームが行われている場合に、ズーム倍率と、実行する超解像処理との関係を図６（C）を参照して説明する。まず、デジタルズームの倍率の大きさを判定するために新たなパラメータDを導入する。パラメータDの値は、現在ズーム倍率６０４をN、光学最大ズーム倍率６０３をM２としたときにD＝N／M２で算出される。ここでパラメータN及びM2の値は、ネットワークカメラ１０１から送信された最新のパケットデータに含まれていた値を使用する。また、ネットワークカメラ１０１からズーム情報が提供されない実施形態の場合、現在ズーム倍率Nについては、ズームバー５０４により設定された値を使用し、光学最大ズーム倍率６０３は予め情報処理装置１０２側にデフォルト値として与えられてもよい。
The relationship between the zoom magnification and super-resolution processing to be executed when digital zooming is performed in this way will be described with reference to FIG. 6(C). First, a new parameter D is introduced to determine the magnification of the digital zoom. The value of the parameter D is calculated by D=N/M2 where N is the
本実施形態では、表示画面５００のチェックボックス５０６がチェックされている場合、制御部１２３はDの値に応じて何倍の超解像を行うかを判定する。図６（C）に示すようにDが1以下の値である場合には、現在のズーム倍率は光学最大ズーム倍率以下の、光学ズーム倍率の範囲内のものであり、デジタルズームは行われていないため、超解像は行わないと判定する。次に、Dが１より大きく２以下である場合、２倍の超解像を行うと判定する。次に、Dが２より大きく４以下である場合には４倍の超解像を行うと判定する。Dが4より大きい場合には８倍の超解像を行うと判定する。
In this embodiment, when the check box 506 on the
また本実施形態では、制御部１２３は、チェックボックス５０６がチェックされた状態においてDの値が1以上であっても、ネットワークカメラ１０１においてPTZ処理の実行中はDLシステム１２２に超解像を行わせないように制御することができる。超解像処理には時間がかかるため、超解像処理を行うと表示が例えば約１フレーム毎秒（fps）となる。表示が約１fpsの状態では、PTZ処理を行おうとしたときに細かい制御が困難になってしまう。そこで、制御部１２３は、PTZ処理の間はDLシステム１２２に対して超解像の処理を依頼しない、対象画像を提供しない、或いは、DLシステム１２２に対して処理を実行しないように指示する。
In this embodiment, even if the value of D is 1 or more when the check box 506 is checked, the
PTZ処理中であるかどうかについては、図６（D）に示すようなパケットデータ６２０を利用することでネットワークカメラ１０１から情報処理装置１０２に通知することができる。パケットデータ６２０は2バイトのデータとして構成することができ、ステータス６２１には当該パケットデータがPTZ処理に関するデータであることを示す値５が含まれる。そしてPTZフラグ６２２は、値が１であれば、PTZ処理が行われていることを示し、値が０であればPTZ処理が行われていないことを示す。ネットワークカメラ１０１は情報処理装置１０２に対し、PTZ処理を開始するとPTZフラグ６２２の値が１のパケットデータ６２０を送信し、PTZ処理が終了するとPTZフラグ６２２の値が０のパケットデータ６２０を送信する。制御部１２３は、ネットワークカメラ１０１から送信されてきたフラグの値を保持しておき、値が１であるか０であるかに従って超解像をDLシステム１２２に実行させるか否かを判定する。制御部１２３は、ＤＬシステム１２２による超解像処理中にＰＴＺフラグ６２２が１になった場合には、超解像処理をキャンセルすることができる。
Whether or not PTZ processing is being performed can be notified from the
次に図７を参照して、本実施形態に対応する情報処理装置１０２において実行される処理の一例を説明する。図７は情報処理装置１０２の制御部１２３で実行される処理の一例を示すフローチャートである。当該処理は、例えば表示画面５００を起動した際に開始される。処理が開始されるとまずＳ７０１で制御部１２３は通信部１２１からネットワーク１０４を介してネットワークカメラ１０１と接続を行う。次にＳ７０２に進み、制御部１２３はネットワークカメラ１０１に画像を要求する。この例ではＪＰＥＧ画像を要求するが、ＪＰＥＧ画像に限ったものではない。続くＳ７０３では制御部１２３はＳ７０２で要求した画像を受信したか否かを判定する。画像が受信されない場合には受信されるまでＳ７０３が繰り返される。Ｓ７０３で画像を受信したと判定したらＳ７０４に進む。Ｓ７０４では図５の表示画面５００で示したズーム劣化時超解像のチェックボックス５０６がチェックされているか否かを判定する。もし、制御部１２３がチェックボックス５０６がチェックされていないと判定すると、処理はＳ７０８に進み、Ｓ７０３で受信した画像を表示部１２５に表示する。制御部１２３がＳ７０４でチェックボックス５０６がチェックされていると判定すると、処理はＳ７０５に進み、制御部１２３はズーム劣化があるか否かを判定する。ズーム劣化の有無は、図６（Ｃ）を参照して説明したようにデジタルズームの倍率に対応するパラメータDの値が1より大きいか否かで判定する。もし値が１より小さければズーム劣化なしと判定する。
Next, an example of processing executed in the
制御部１２３がズーム劣化がないと判定すると、処理はＳ７０８に進み、制御部１２３は、Ｓ７０３で受信した画像を表示部１２５に表示させる。制御部１２３がＳ７０５でズーム劣化有りと判定すると、処理はＳ７０６に進み、PTZ処理中であるか否かを判定する。ここでは、図６(Ｄ)で示した最後に受信したＰＴＺフラグ６２２の値が１であるのか、それとも０であるのかにより判定する。制御部１２３がＳ７０６でPTZ処理中と判定すると処理はＳ７０８に進み、制御部１２３はＳ７０３で受信した画像を表示部１２５に表示させる。Ｓ７０６でＰＴＺ処理中でないと判定すると、制御部１２３はＳ７０７でDLシステム１２２に画像を渡して超解像を行わせる。このとき実行される超解像は、パラメータＤの値に応じた倍率の超解像が行われる。その後、制御部１２３はＤＬシステム１２２から変換後のデータを受け取ると、処理はＳ７０８に進み制御部１２３は変換後の画像を表示部１２５に表示させる。
If the
Ｓ７０８で表示がされると処理はＳ７０９に進み、制御部１２３はカメラ制御の要求をユーザより受け付けたか否かを判定する。ここでのカメラ制御の要求の有無は、図５の表示画面５００に含まれるチルトバー５０２、パンバー５０３、ズームバー５０４の操作がされたか否かにより判定することができる。カメラ制御の要求が無い場合、処理はＳ７０２に戻り以上の処理が繰り返される。一方、カメラ制御要求があると判断した場合、処理はＳ７１０に進み、ネットワークカメラ１０１に対し、設定された値に応じてパンやチルトやズームの要求を行った後、処理はＳ７０２に戻る。
When the display is made in S708, the process advances to S709, and the
上述のフローチャートの説明では、超解像の実行中のユーザによるPTZ制御指示について記載していない。しかし、超解像化中のPTZ制御指示に対応する場合、超解像前の画像を制御部１２３が保持し、超解像化中にPTZ制御された場合には超解像化を一度キャンセルして、保持した画像を表示部１２５に表示する構成としても良い。
In the explanation of the flowchart above, the PTZ control instruction by the user during execution of super-resolution is not described. However, when responding to a PTZ control instruction during super-resolution, the
以上説明したように、本実施形態では、ネットワークカメラ１０１側のズーム処理により画質が劣化した場合、情報処理装置１０２側で当該画像に対して超解像を行うことで、表示画像の画質の劣化を効果的に防ぐことができる。また、本実施形態では、パラメータＤを導入し、画質劣化の度合い対応する値Ｄの大きさに応じて超解像の倍率を変更することができる。従って、デジタルズーム倍率の大きさに応じて効果的な超解像を実現できる。また、PTZ処理中は、超解像の実行を抑制することで、超解像の処理が重い中でもPTZ操作の使い勝手が悪くなる事を防止している。
As described above, in the present embodiment, when image quality is degraded due to zoom processing on the
［実施形態２］
本実施形態では、実施形態１の構成及び制御を前提とした上で、超解像を行う際にネットワークカメラ１０１からの送信された画像の画質が悪い場合に実行する処理について説明する。図１から図６までの説明は、実施形態１において説明したものと同様である。以下、主に本実施形態に特有の部分について説明する。
[Embodiment 2]
In the present embodiment, on the premise of the configuration and control of the first embodiment, processing to be executed when the quality of an image transmitted from the
図８は、超解像の処理対象となる元画像の画質が異なる場合の超解像結果の画像を説明するための図である。図８(Ａ)は元画像が高画質の場合の超解像の処理結果を説明するための図である。ここでは、元画像８０１はＪＰＥＧ品質１００の画像を想定している。ＪＰＥＧ画像の画質は１～１００の値で表現され、数字が多い方がより高画質である。元画像８０１に対して超解像を行うと画像８０２のように高解像度化されたのち、表示部１２５に表示する際には大きさが調整され、画像８０３のように縮小された画像となる。元画像８０１では被写体である物体を判別しにくかったのに対し、超解像により得られた画像８０３は、被写体が船であることが明確に分かるようになっている。
FIG. 8 is a diagram for explaining an image as a result of super-resolution when the image quality of the original image to be processed by super-resolution is different. FIG. 8A is a diagram for explaining the result of super-resolution processing when the original image has high image quality. Here, the original image 801 is assumed to be a JPEG quality 100 image. The image quality of a JPEG image is represented by a value from 1 to 100, and the higher the number, the higher the image quality. When super-resolution is performed on the original image 801 , the resolution is increased to that of an image 802 , and then the size is adjusted when displayed on the
次に図８（Ｂ）は、元画像が低画質の場合の超解像の処理結果を説明するための図である。同じ画像サイズでも、元画像が低画質の場合には、超解像を行った場合であっても効果的に高解像度化されない場合がある。図８（Ｂ）の元画像８０４は、ＪＰＥＧの品質１０の画像を想定している。元画像８０４にはノイズが乗っている。この元画像８０４を超解像すると、結果として得られる画像は、画像８０５となり、表示部１２５に表示する場合には画像８０６となる。画像８０６では、画像８０３とは異なり被写体を判別することが困難である。このように元々が低画質の画像で超解像されるとノイズがそのまま超解像されてしまい、画質の向上の恩恵が受けられないことになる。また、被写体の判別が難しい画質の低い元画像を超解像変換しても、得られた画像において被写体を判別することは依然として難しいままとなる。
Next, FIG. 8B is a diagram for explaining the result of super-resolution processing when the original image has a low image quality. Even if the image size is the same, if the original image is of low image quality, even if super-resolution is performed, the resolution may not be increased effectively. An original image 804 in FIG. 8B is assumed to be a
そこで本実施形態では、表示画像の画質を判定し、画質が低いと判定される場合には、デジタルズーム領域における画質をネットワークカメラ１０１側で高画質に変更させた上で超解像を行う処理を行う。
Therefore, in the present embodiment, the image quality of the display image is determined, and when the image quality is determined to be low, the image quality in the digital zoom area is changed to high image quality on the
次に、図８（Ｃ）を参照して、ネットワークカメラ１０１から送信される画像の画質設定について説明する。図８(Ｃ)は画質設定のための設定画面の一例を示す。設定画面８１０は、所定の設定ページにおいて画質設定が選択されると表示部１２５に表示される。領域８１１は画質設定の数値を入力することができる。入力可能な数字は、例えば１から１０の範囲とすることができ、数字が大きい方が高画質となり、１０は最高画質となる。例えば、画質１０はＪＰＥＧ品質１００に対応し、画質１はＪＰＥＧ品質１０に対応するものとできる。また、画質１から１０は、画質×１０で圧縮率を表すことができる。ＯＫボタン８１２が操作されると、制御部１２３は領域８１１に設定された数値を確定し、ネットワーク１０４を介してネットワークカメラ１０１に通知して設定する。当該設定値は、ネットワークカメラ１０１において撮影画像の画質についてのデフォルト設定値として記憶部１１８に保持される。
Next, referring to FIG. 8C, image quality settings for images transmitted from the
また、図８(Ｄ)はネットワークカメラ１０１から情報処理装置１０２に送信されるパケットデータの一例を示す。データ８２０は2バイトのデータとして構成され、ステータス８２１には画質を通知するパケットであることを示す８が含まれる。画質８２２には、画質を示す数値が含まれる。画質は図８（Ｃ）で説明したのと同様に１から１０までで示される。
8D shows an example of packet data transmitted from the
画質情報を示すデータ８２０は、画像を取得し始めたタイミングやズームをしたタイミングでネットワークカメラ１０１から情報処理装置１０２に通知される。情報処理装置１０２の制御部１２３は、通知された画質の値を参照し、画質が所定画質よりも低い場合に超解像を行う場合には、画質を高画質、あるいは、少なくとも所定画質以上に変更するようにネットワークカメラ１０１に対して要求を送信する。
Data 820 indicating image quality information is notified from the
次に図９を参照して、本実施形態に対応する情報処理装置１０２において実行される処理の一例を説明する。図９は情報処理装置１０２の制御部１２３で実行される処理の一例を示すフローチャートである。図９のフローチャートは一部の処理を除き、実施形態１で説明した図７のフローチャートと同様の処理を行う。よって、以下では本実施形態に特有の処理について説明する。
Next, an example of processing executed in the
S７０４では、図５の表示画面５００で示したズーム劣化時超解像のチェックボックス５０６がチェックされているか否かを判定するが、制御部１２３はチェックボックス５０６がチェックされていないと判定すると、処理はＳ９０１に進む。S９０１では、ネットワークカメラ１０１に対して、画質をデフォルトの設定値に戻すように指示する。デフォルトの設定値とは、図８（C）との関連で説明したように、設定画面８１０を用いて設定され、記憶部１１８に保持されている値である。これにより、後述するズーム劣化時超解像において一時的に向上された画質が元の画質に戻されることになる。その後、処理はＳ７０８に進む。Ｓ７０８ではＳ７０３で受信した画像を表示部１２５に表示する。なお、Ｓ９０１の処理は、チェックボックス５０６のチェックが外され、ズーム劣化時超解像の設定が解除される度に１回だけ実行すればよい。
In S704, it is determined whether or not the check box 506 for super-resolution at zoom deterioration shown in the
Ｓ７０４でチェックボックス５０６にチェック有りと判定されると、Ｓ７０５において制御部１２３はズーム劣化があるか否かを判定する。ここでズーム劣化があると判定されると処理はＳ９０２に進む。Ｓ９０２において制御部１２３は現在の画質が7以上であるか否かを判定する。画質は図８（Ｄ）を参照して説明したように、ネットワークカメラ１０１から画質情報を示すデータ８２０により通知されるので、この値を参照すればよい。ここで、画質を判定するための閾値を７としているが、画質が７であると圧縮率70％となりある程度の高画質とみなすことができる。但し、閾値を７としたのはあくまで例示であって、閾値はこの画質に限定されるものではない。Ｓ９０２において、制御部１２３が画質が７以上であると判定すると、処理はＳ７０７に進み超解像が行われる。一方、画質が７以上でないと判定されると、処理はＳ９０３に進む。
If it is determined in S704 that the check box 506 is checked, in S705 the
Ｓ９０３において制御部１２３は、ネットワークカメラ１０１に対してデジタルズーム時に高画質化する要求を送信する。ここでの高画質を本実施形態では画質１０とするが、少なくとも閾値の画質以上であれば任意の値とすることができる。その後、処理はＳ７０８に進む。Ｓ７０８では、制御部１２３はＳ７０３で受信した画像を表示部１２５に表示する。このとき表示される画像は、画質６以下のままであるが、次回の表示より画質１０の画像を受信して超解像を行うことができる。
In step S<b>903 , the
このようにして高画質化する設定をネットワークカメラ１０１に対して行うと、次の送信タイミングからデジタルズーム処理の際には高画質（例えば、画質１０）の画像が送信されてくることとなる。また、デジタルズーム時に送信画像を高画質化する設定をした後であっても、チェックボックス５０６のチェックを外せば、Ｓ９０１の処理により送信画像の画質をデフォルトの設定画質に戻すことができる。
If the
このように本実施形態では、ネットワークカメラ１０１から送信される画像が低画質だった場合においても、ユーザからの指示なしで、超解像を利用する際には鮮明な拡大画像を得ることができる。
As described above, in this embodiment, even if the image transmitted from the
［実施形態3］
本実施形態では、実施形態１の構成及び制御を前提とした上で、ネットワークカメラ１０１から受信した画像が高画質な画像と判定される場合に超解像を行うものである。図１から図６までの説明は、実施形態１において説明したものと同様である。以下、主に本実施形態に特有の部分について説明する。
[Embodiment 3]
In this embodiment, on the premise of the configuration and control of the first embodiment, super-resolution is performed when an image received from the
本実施形態のネットワークカメラ１０１は、特定の領域は高画質で、その他の領域は低画質で配信することで効率よくデータ量の削減出来る機能を有する。配信される画像の一例を図１０を参照して説明する。図１０（Ａ）において画像１０００は画角全体を同一の画質で撮影した場合の画像の一例を示している。画像１０００は、ドア１００１から出入りする人を主に監視するために設定したネットワークカメラ１０１により撮影された画像である。図１０（Ｂ）において画像１０１０は、同一の画角において特定の領域を高画質で、その他の領域を低画質で撮影した画像の一例を示している。枠線１０１１は高画質で撮影される特定の領域を示している。説明の便宜上点線で明確に示したが実際の画像には枠線は表示されていなくてもよい。このとき枠線１０１１の枠内領域の画像１０１２は高画質に、枠外領域の画像１０１３は低画質になっている。
The
監視目的において重要な領域を予め指定して画像を生成することで、重要な領域を高画質で、それ以外の領域は低画質で配信することが可能となり、配信する画像のデータ量を削減することが可能となる。このような機能のことを本明細書ではＡＤＳＲ（Area-specific Data Size Reduction：エリア固有データサイズ削減）と呼ぶこととする。 By specifying important areas in advance for monitoring purposes and generating images, it becomes possible to distribute important areas with high image quality and other areas with low image quality, thereby reducing the amount of image data to be distributed. becomes possible. Such a function is called ADSR (Area-specific Data Size Reduction) in this specification.
次に図１１を参照して、本実施形態のネットワークカメラ１０１における画質設定の一例を説明する。本実施形態では、撮影部１１１が監視領域を撮影して得られた画像について、特定の一部の領域（以下、「特定領域」、あるいは、「第１の領域」という）を高画質に、当該特定領域以外のその他の領域（以下、「特定領域外の領域」、あるいは、「第２の領域」という）は低画質で圧縮符号化し、情報処理装置１０２に送信する場合を説明する。ここで特定領域の画像は図１０の画像１０１２に相当し、特定領域外の領域の画像は画像１０１３に相当する。
Next, an example of image quality setting in the
図１１は、処理対象の画像のうちで特定領域内と特定領域外の領域との画質（Ｑ値）を、設定された画質及びデータ量の削減率について示すテーブルの一例である。本実施形態において、ユーザは情報処理装置１０２を利用して、処理対象の画像について設定された特定領域に属する画像の画質を、所定の設定画面を用いて設定することができる。
FIG. 11 is an example of a table showing the image quality (Q value) of the area inside the specific area and the area outside the specific area in the image to be processed, in relation to the set image quality and data amount reduction rate. In this embodiment, the user can use the
本実施形態では、データ量の削減率を高、中、低の３段階で設定することができる。テーブル１１００では、各データ量削減率について、特定領域内の画質（第１の画質）と、特定領域外の画質（第２の画質）とが登録される。画質はＱ値の値として登録され、画質が最高の場合のＱ値を１０、画質が最低の場合のＱ値を５０としている。ここでＱ値とは、画質を示す数値で小さい値ほど高画質・低圧縮であることを表す。 In this embodiment, the data amount reduction rate can be set in three stages: high, medium, and low. In the table 1100, the image quality within the specific area (first image quality) and the image quality outside the specific area (second image quality) are registered for each data amount reduction rate. The image quality is registered as a Q value, with a Q value of 10 for the highest image quality and a Q value of 50 for the lowest image quality. Here, the Q value is a numerical value indicating image quality, and the smaller the value, the higher the image quality and the lower the compression.
テーブル１１００において、特定領域内のＱ値は全て１０に設定される。一方、特定領域外の画質は、データ量削減率に基づいて設定される。具体的には、データ量削減率が高の設定では特定領域外のＱ値は最も低い画質を示す５０に設定される。また、データ量削減率が中、低については、上限値を５０として、それぞれ特定領域内の画質に所定値を加算した値とすることができる。テーブル１１００では、データ量削減率が中の場合は２０、低の場合は１０をそれぞれ加算している。上記において、Ｑ値の割り当てはあくまで一例であって、実施形態はこれに限定されるものではない。 In table 1100, all Q values within a particular region are set to ten. On the other hand, the image quality outside the specific area is set based on the data amount reduction rate. Specifically, when the data amount reduction rate is set to be high, the Q value outside the specific area is set to 50, which indicates the lowest image quality. For medium and low data amount reduction rates, the upper limit value can be set to 50, and a value obtained by adding a predetermined value to the image quality in each specific region can be set. In the table 1100, 20 is added when the data amount reduction rate is medium, and 10 is added when it is low. In the above, the allocation of Q values is merely an example, and embodiments are not limited to this.
次に、図１２を参照して、ＡＤＳＲを利用した配信において配信される画像のデータ構造について説明する。ネットワークカメラ１０１から情報処理装置１０２に対しては、配信の開始に際して、図１２（Ａ）に示すようなデータ１２００が送信される。データ１２００は、ＡＤＳＲの有無を示すフラグ１２０１、ＡＤＳＲ領域、即ち、上記の特定領域の範囲を示す座標値１２０２から１２０５、高画質領域のＱ値１２０６、低画質領域のＱ値１２０７が含まれる。
Next, with reference to FIG. 12, the data structure of an image distributed in distribution using ADSR will be described.
フラグ１２０１の値が１であれば、特定領域を高画質とし、特定領域外の他の領域を低画質とするＡＤＳＲが実施されていることが分かる。フラグ１２０１の値が０であれば、ＡＤＳＲは実施されていないので、画質変換を行わずにそのまま表示することができる。座標値１２０２から１２０５は、画像における高画質の特定領域の位置、大きさを特定するための座標値であって、図１２（Ｂ）に示すような画像１２１０において、領域１２１１は特定領域を示す。領域１２１１の左上の点１２１２の座標と右下の点１２１３の座標とにより、領域１２１１の画像１２１０内における位置及び大きさを特定することができる。画像１２１０に対しては、左上を原点として、水平方向にｘ軸、垂直方向にｙ軸が設定され、１画素を単位として座標値が決定される。
If the value of the
本実施形態では、ｘ軸方向には１４４０画素が配置され、ｙ軸方向には１０８０画素が配置される場合を想定している。また、図４（Ｂ）では、特定領域４１１は、（ｘ、ｙ）＝（５００、２００）の画素と、（ｘ、ｙ）＝（１１００、６００）画素とに基づき特定される場合を示している。図１２（Ｂ）に示す例では、特定領域の大きさは６００×４００画素となる。
In this embodiment, it is assumed that 1440 pixels are arranged in the x-axis direction and 1080 pixels are arranged in the y-axis direction. FIG. 4B shows a case where the specific region 411 is specified based on pixels of (x, y)=(500, 200) and pixels of (x, y)=(1100, 600). ing. In the example shown in FIG. 12B, the size of the specific area is 600×400 pixels.
また、Ｑ値１２０６は、領域１２１１内の画像の画質を示し、Ｑ値１２０７は、画像１２１０のうち領域１２１１外の領域の画質を示している。これらの値は、図１１のテーブル１１００に示したいずれかの組み合わせの中から選択された値となる。
次に図１３を参照して、本実施形態に対応する情報処理装置１０２において実行される処理の一例を説明する。図１３は情報処理装置１０２の制御部１２３で実行される処理の一例を示すフローチャートである。図１３のフローチャートは一部の処理を除き、実施形態１で説明した図７のフローチャートと同様の処理を行う。よって、以下では本実施形態に特有の処理について説明する。
Next, an example of processing executed by the
Ｓ７０２では、制御部１２３はネットワークカメラ１０１にＨ.264画像を要求するが、このコーデックに限ったものではない。また、制御部１２３がＳ７０５においてズーム劣化有りと判定すると処理はＳ１３０１に進む。Ｓ１３０１において制御部１２３は現在の画像に高画質に符号化された特定領域が含まれるか否かを判定する。当該判定は、図１２（Ａ）で説明した、ネットワークカメラ１０１から受信したデータ１２００におけるADSR有無情報１２０１の値１であるか否かに基づくことができる。もし、当該情報の値が１である場合には処理はＳ７０７に進む。このとき、一部領域のみならず画像全体が高画質である場合にも処理はＳ７０７に進む。一方、制御部１２３により高画質の領域が存在しないと判定された場合には、処理はＳ７０８に進む。
In S702, the
図１３のフローチャートでは、ズーム劣化時超解像チェックがあった場合でも、Ｓ１３０１において高画質領域が含まれないと判定されると超解像は実行されないように制御している。これに限らず、例えば、制御部１２３は、受信画像に高画質領域が含まれない場合にチェックボックス５０６をチェックできないようにしてもよい。
In the flowchart of FIG. 13, even if there is a super-resolution check during zoom deterioration, super-resolution is controlled not to be executed if it is determined in S1301 that a high-quality area is not included. Alternatively, for example, the
このように本実施形態では、ネットワークカメラ１０１から受信した画像が高画質である場合、或いは、受信画像に高画質の領域が含まれる場合に超解像を利用することで効果的に鮮明画像を得ることができる。
As described above, in this embodiment, when the image received from the
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various modifications and variations are possible without departing from the spirit and scope of the invention. Accordingly, the claims are appended to make public the scope of the invention.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
１０１：ネットワークカメラ、１０２：情報処理装置、１０４：ネットワーク 101: network camera, 102: information processing device, 104: network
Claims (19)
前記撮影装置が画像を撮影する際のズーム倍率の制御指示を受け付ける受付手段と、
前記受付手段が受け付けた前記ズーム倍率を前記撮影装置に送信し、前記撮影装置が撮影した画像を受信する通信手段と、
機械学習により習得した画像を高解像度化する方法を用いて、前記通信手段が受信した画像の画質を向上させる処理を行う画像処理手段と、
前記受信した画像について、前記ズーム倍率に起因する劣化の有無を前記ズーム倍率に基づき判定する判定手段と、
表示部における表示を制御する表示制御手段と
を備え、
前記表示制御手段は、
前記判定手段が前記受信した画像が前記ズーム倍率に起因する劣化を有する場合に、前記画像処理手段により画質が向上された前記受信した画像を前記表示部に表示させ、
前記ズーム倍率に起因する劣化を有しない場合に、前記画像処理手段による画質の向上が行われていない前記受信した画像を前記表示部に表示させ、
前記判定手段は、前記受信した画像の画質を更に判定し、
前記受信した画像の画質が所定の画質よりも高いと判定した場合に、前記画像処理手段は前記受信した画像に前記画質を向上させる処理を行う
ことを特徴とする情報処理装置。 An information processing device that communicates with an imaging device,
receiving means for receiving a zoom magnification control instruction when the imaging device captures an image;
communication means for transmitting the zoom magnification received by the reception means to the photographing device and receiving an image photographed by the photographing device;
image processing means for performing processing for improving the image quality of the image received by the communication means using a method for increasing the resolution of the image learned by machine learning;
determination means for determining whether or not the received image is degraded due to the zoom magnification based on the zoom magnification ;
and display control means for controlling display on the display unit,
The display control means is
when the received image has deterioration due to the zoom magnification, the determining means causes the display unit to display the received image whose image quality has been improved by the image processing means;
displaying on the display unit the received image whose image quality has not been improved by the image processing means when there is no deterioration due to the zoom magnification ;
The determination means further determines the image quality of the received image,
When determining that the image quality of the received image is higher than a predetermined image quality, the image processing means performs processing for improving the image quality of the received image.
An information processing device characterized by:
前記画像処理手段は、前記受付手段が受け付けた制御指示に応じて前記撮影装置がパン、チルト、またはズームの制御を行っている間は、前記受信した画像の画質を向上させる処理を抑制することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。 The receiving means further receives pan and tilt control instructions for the photographing device,
The image processing means suppresses processing for improving the image quality of the received image while the photographing device is controlling pan, tilt, or zoom in accordance with the control instruction received by the receiving means. 4. The information processing apparatus according to any one of claims 1 to 3 , characterized by:
前記受信した画像の画質が所定の画質よりも低いと判定した場合に、前記通信手段は前記撮影装置が撮影する画像の画質を前記所定の画質以上の画質に向上させる要求を前記撮影装置に送信することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。 The determination means further determines the image quality of the received image,
When the image quality of the received image is determined to be lower than a predetermined image quality, the communication means transmits a request to the image capturing device to improve the image quality of the image captured by the image capturing device to the predetermined image quality or higher. 5. The information processing apparatus according to any one of claims 1 to 4 , characterized in that:
前記受付手段が前記受信した画像が前記ズーム倍率に起因する劣化を有する場合に前記画像処理手段に前記画質を向上させる処理を行わせる設定を受け付けた場合に、前記通信手段は前記要求を前記撮影装置に送信することを特徴とする請求項５または６に記載の情報処理装置。 The receiving means further receives a setting as to whether or not to cause the image processing means to perform processing for improving the image quality when the received image has deterioration due to the zoom magnification,
When the receiving means receives the setting for causing the image processing means to perform the processing for improving the image quality when the received image has deterioration due to the zoom magnification, the communication means sends the request to the photographing. 7. The information processing apparatus according to claim 5 , wherein the information is transmitted to the apparatus.
前記通信手段は、前記撮影装置が撮影する画像の画質を予め設定された画質に戻す要求を前記撮影装置に送信することを特徴とする請求項７に記載の情報処理装置。 When the setting for causing the image processing means to perform the processing for improving the image quality is canceled after the request is transmitted to the photographing device,
8. An information processing apparatus according to claim 7 , wherein said communication means transmits a request for returning the image quality of the image captured by said image capturing device to a preset image quality to said image capturing device.
前記判定手段は、前記通知に基づいて前記受信した画像の画質を判定することを特徴とする請求項５から８のいずれか１項に記載の情報処理装置。 The communication means receives a notification regarding the image quality of the image captured by the imaging device from the imaging device,
9. The information processing apparatus according to any one of claims 5 to 8 , wherein said determination means determines image quality of said received image based on said notification.
前記撮影装置が画像を撮影する際のズーム倍率の制御指示を受け付ける受付手段と、receiving means for receiving a zoom magnification control instruction when the imaging device captures an image;
前記受付手段が受け付けた前記ズーム倍率を前記撮影装置に送信し、前記撮影装置が撮影した画像を受信する通信手段と、communication means for transmitting the zoom magnification received by the reception means to the photographing device and receiving an image photographed by the photographing device;
前記受信した画像について、前記ズーム倍率に起因する劣化の有無及び度合いを前記撮影装置の現在のズーム倍率に応じて判定する判定手段と、determination means for determining presence or absence and degree of deterioration of the received image due to the zoom magnification according to the current zoom magnification of the imaging device;
前記判定手段が判定した前記劣化の度合いに応じた異なる学習データに基づき機械学習により習得した画像を高解像度化する方法を用いて、前記通信手段が受信した画像の画質を向上させる処理を行う画像処理手段と、An image for which processing is performed to improve the image quality of the image received by the communication means by using a method of increasing the resolution of the image acquired by machine learning based on different learning data according to the degree of deterioration determined by the determination means. a processing means;
表示部における表示を制御する表示制御手段とdisplay control means for controlling display on the display unit;
を備え、with
前記表示制御手段は、The display control means is
前記判定手段が前記受信した画像が前記ズーム倍率に起因する劣化を有する場合に、前記画像処理手段により画質が向上された前記受信した画像を前記表示部に表示させ、when the received image has deterioration due to the zoom magnification, the determining means causes the display unit to display the received image whose image quality has been improved by the image processing means;
前記ズーム倍率に起因する劣化を有しない場合に、前記画像処理手段による画質の向上が行われていない前記受信した画像を前記表示部に表示させる、causing the display unit to display the received image whose image quality has not been improved by the image processing means when there is no deterioration due to the zoom magnification;
ことを特徴とする情報処理装置。An information processing device characterized by:
前記判定手段は、前記通知に基づいて前記受信した画像が、前記第１の画質を有する第１の領域と、前記第２の画質を有する第２の領域とを含む前記画像であるかを判定することを特徴とする請求項１２に記載の情報処理装置。 The communication means is configured so that the image captured by the imaging device has a first area having a first image quality and a second area other than the first area having a second image quality lower than the first image quality. receiving notification from the imaging device as to whether or not the image is an image containing a region;
The determining means determines whether the received image is the image including the first area having the first image quality and the second area having the second image quality based on the notification. 13. The information processing apparatus according to claim 12 , wherein:
前記情報処理装置から受け付けた制御指示に応じて画像を撮影し前記情報処理装置に送信する撮影装置と、
を備えることを特徴とするシステム。 an information processing apparatus according to any one of claims 1 to 16 ;
a photographing device that photographs an image in response to a control instruction received from the information processing device and transmits the image to the information processing device;
A system characterized by comprising:
受付手段が、前記撮影装置が画像を撮影する際のズーム倍率の制御指示を受け付ける受付工程と、
通信手段が、前記受付工程において受け付けた前記ズーム倍率を前記撮影装置に送信する送信工程と、
前記通信手段が、前記撮影装置が撮影した画像を受信する受信工程と、
画像処理手段が、機械学習により習得した画像を高解像度化する方法を用いて、前記受信工程において受信した画像の画質を向上させる処理を行う画像処理工程と、
判定手段が、前記受信した画像について、前記ズーム倍率に起因する劣化の有無を前記ズーム倍率に基づき判定する判定工程と、
表示制御手段が、表示部における表示を制御する表示制御工程と
を含み、
前記表示制御工程では、
前記判定工程において前記受信した画像が前記ズーム倍率に起因する劣化を有すると判定された場合に、前記画像処理工程において画質が向上された前記受信した画像を前記表示部に表示させ、
前記判定工程において前記受信した画像が前記ズーム倍率に起因する劣化を有しないと判定された場合に、前記画像処理工程において画質の向上が行われていない前記受信した画像を前記表示部に表示させ、
前記判定工程は、前記受信した画像の画質を更に判定し、
前記受信した画像の画質が所定の画質よりも高いと判定された場合に、前記画像処理工程では前記受信した画像に前記画質を向上させる処理が行われる
ことを特徴とする情報処理装置の制御方法。 A control method for an information processing device that communicates with an imaging device, comprising:
a receiving step in which a receiving means receives a zoom magnification control instruction when the imaging device captures an image;
a transmission step in which the communication means transmits the zoom magnification received in the reception step to the photographing device;
a receiving step in which the communication means receives an image captured by the imaging device;
an image processing step in which the image processing means performs processing for improving the image quality of the image received in the receiving step using a method for increasing the resolution of the image learned by machine learning;
a determination step in which determination means determines whether or not the received image is degraded due to the zoom magnification based on the zoom magnification ;
The display control means includes a display control step of controlling display on the display unit,
In the display control step,
displaying on the display unit the received image whose image quality has been improved in the image processing step when it is determined in the determining step that the received image has deterioration caused by the zoom magnification;
When it is determined in the determination step that the received image does not have deterioration due to the zoom magnification, causing the display unit to display the received image whose image quality has not been improved in the image processing step. ,
The determining step further determines the image quality of the received image,
When the image quality of the received image is determined to be higher than a predetermined image quality, the image processing step performs processing for improving the image quality of the received image.
A control method for an information processing device, characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019116630A JP7339786B2 (en) | 2019-06-24 | 2019-06-24 | Information processing device, system, control method for information processing device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019116630A JP7339786B2 (en) | 2019-06-24 | 2019-06-24 | Information processing device, system, control method for information processing device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021002808A JP2021002808A (en) | 2021-01-07 |
| JP7339786B2 true JP7339786B2 (en) | 2023-09-06 |
Family
ID=73994318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019116630A Active JP7339786B2 (en) | 2019-06-24 | 2019-06-24 | Information processing device, system, control method for information processing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7339786B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022230081A1 (en) * | 2021-04-28 | 2022-11-03 | 三菱電機株式会社 | Video transmission system, video transmission method, and video reception device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006092450A (en) | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | Image processor and image processing method |
| JP2007135133A (en) | 2005-11-14 | 2007-05-31 | Nikon Corp | Imaging apparatus |
| JP2007189503A (en) | 2006-01-13 | 2007-07-26 | Matsushita Electric Ind Co Ltd | Terminal device and program |
| JP2013123185A (en) | 2011-12-12 | 2013-06-20 | Olympus Imaging Corp | Imaging apparatus |
| JP2014216692A (en) | 2013-04-23 | 2014-11-17 | キヤノン株式会社 | Photographing device with high resolution processing |
| JP2017163303A (en) | 2016-03-09 | 2017-09-14 | キヤノン株式会社 | Imaging apparatus and control method therefor |
| WO2018225133A1 (en) | 2017-06-05 | 2018-12-13 | 楽天株式会社 | Image processing device, image processing method and image processing program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5993572B2 (en) * | 2011-12-09 | 2016-09-14 | 株式会社Ｎｔｔドコモ | Radio base station and radio system transition control method |
-
2019
- 2019-06-24 JP JP2019116630A patent/JP7339786B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006092450A (en) | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | Image processor and image processing method |
| JP2007135133A (en) | 2005-11-14 | 2007-05-31 | Nikon Corp | Imaging apparatus |
| JP2007189503A (en) | 2006-01-13 | 2007-07-26 | Matsushita Electric Ind Co Ltd | Terminal device and program |
| JP2013123185A (en) | 2011-12-12 | 2013-06-20 | Olympus Imaging Corp | Imaging apparatus |
| JP2014216692A (en) | 2013-04-23 | 2014-11-17 | キヤノン株式会社 | Photographing device with high resolution processing |
| JP2017163303A (en) | 2016-03-09 | 2017-09-14 | キヤノン株式会社 | Imaging apparatus and control method therefor |
| WO2018225133A1 (en) | 2017-06-05 | 2018-12-13 | 楽天株式会社 | Image processing device, image processing method and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021002808A (en) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10594988B2 (en) | Image capture apparatus, method for setting mask image, and recording medium | |
| CN102385747B (en) | Device and method for generating panoramic image | |
| JP4926601B2 (en) | Video distribution system, client terminal and control method thereof | |
| US11758265B2 (en) | Image processing method and mobile terminal | |
| US9532008B2 (en) | Display control apparatus and display control method | |
| JP5325745B2 (en) | Moving image processing program, apparatus and method, and imaging apparatus equipped with moving image processing apparatus | |
| US8953046B2 (en) | Information processing apparatus for selecting a camera to be used to generate a virtual viewpoint video from images shot by a plurality of cameras | |
| CN108989663B (en) | Control device, imaging system, and control method | |
| US10122941B2 (en) | Image pickup apparatus, method for controlling the image pickup apparatus, and recording medium | |
| JP7249766B2 (en) | Information processing device, system, control method for information processing device, and program | |
| US20160277679A1 (en) | Display control apparatus, image processing apparatus, display control method, and image processing method | |
| JP2006121551A (en) | Image display program | |
| JP7339786B2 (en) | Information processing device, system, control method for information processing device, and program | |
| JP4876058B2 (en) | Color processing apparatus and method | |
| WO2021079592A1 (en) | Information processing device, 3d data generation method, and program | |
| US10771679B2 (en) | Image capturing control apparatus, method of controlling the same and computer readable storage medium | |
| JP6157220B2 (en) | Output device and method | |
| JP2019129466A (en) | Video display device | |
| JP2018033151A (en) | Imaging device, setting method, and program | |
| US20090059015A1 (en) | Information processing device and remote communicating system | |
| CN115065781B (en) | Shooting processing method, device, equipment and computer readable storage medium | |
| JP2020145651A (en) | Information processor, system, information processing method, and program | |
| JP6362090B2 (en) | How to display the preset position of the network camera | |
| JP6086656B2 (en) | Server system, program, and processing method | |
| JP6253681B2 (en) | Imaging apparatus, setting method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230728 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230825 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7339786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |