JP2012034099A - Data transmission device - Google Patents
Data transmission device Download PDFInfo
- Publication number
- JP2012034099A JP2012034099A JP2010170683A JP2010170683A JP2012034099A JP 2012034099 A JP2012034099 A JP 2012034099A JP 2010170683 A JP2010170683 A JP 2010170683A JP 2010170683 A JP2010170683 A JP 2010170683A JP 2012034099 A JP2012034099 A JP 2012034099A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- zoom
- data transmission
- partial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、データ送信装置およびビデオカメラに関し、特に、ネットワークを介して画像データを送信するデータ送信装置およびビデオカメラに関する。 The present invention relates to a data transmission apparatus and a video camera, and more particularly to a data transmission apparatus and a video camera that transmit image data via a network.
カメラの画像についての、注目する部分についてのズーム拡大する技術については、従来から種々開示されている。たとえば、デジタルカメラで撮影された画像についてのズーム処理に関し、特許文献１（特開２００４−２３６３１号公報）には、デジタルカメラにおいて、撮影レンズにより撮影された画像に対してズーム中心位置とズーム倍率を指定してシャッタボタンを押圧することにより、所望の画角で撮影を行なう技術が開示されている。 Various techniques for zooming in on a portion of interest in a camera image have been conventionally disclosed. For example, regarding zoom processing for an image shot with a digital camera, Japanese Patent Application Laid-Open No. 2004-23631 discloses a zoom center position and a zoom magnification with respect to an image shot with a shooting lens in a digital camera. A technique for photographing at a desired angle of view by designating and pressing a shutter button is disclosed.
ところで、監視用途等のカメラの画像をネットワーク配信する場合、ユーザは、ズーム画像だけでなく全体画像をも確認したいと考えられる。そこで、特許文献１によって得られるようなズーム画像に加えて、レンズがとらえた全画角画像も、送信することが考えられる。
By the way, when a camera image for surveillance use or the like is distributed over a network, the user may want to check not only the zoom image but also the entire image. Therefore, in addition to the zoom image obtained by
しかしながら、カメラの画像をネットワーク配信する場合、メガピクセル対応等で画像サイズが大きくなると配信データ量が多く、ネットワークへの負荷が大きくなり、結果的にネットワーク上での画像更新が不安定になったり、カメラ本体の他のネットワーク経由での制御等のレスポンスやさらには同一ネットワーク上にある他のネットワーク機器にも悪影響を与えることがある。また、ネットワーク配信されたデータを記録する場合には、大容量のサーバが必要となる。さらに、カメラの台数が複数になれば、ますますネットワークへの負荷が大きくなる。つまり、単に、全画角画像とズーム画像を送信したのでは、ネットワークへの負荷が大きくなるという問題が生じる。 However, when distributing camera images over the network, if the image size is large, such as for megapixels, the amount of data to be distributed increases and the load on the network increases, resulting in instability of image updates on the network. In addition, there may be adverse effects on responses such as control via other networks of the camera body, and also on other network devices on the same network. In addition, when recording data distributed over a network, a large capacity server is required. In addition, if the number of cameras is increased, the load on the network will increase. That is, simply transmitting a full-angle image and a zoom image causes a problem of increasing the load on the network.
本発明は、かかる実情に鑑み考え出されたものであり、その目的は、データ送信装置による画像データの送信において、ユーザに十分な情報を提供しつつ、ネットワーク上にかける負荷を抑えることである。 The present invention has been conceived in view of such a situation, and an object thereof is to suppress a load on a network while providing sufficient information to a user in transmission of image data by a data transmission apparatus. .
本発明の或る局面に従ったデータ送信装置は、画像をネットワークを介して端末に送信するデータ送信装置であって、第１の画像を記憶する記憶手段と、記憶手段に記憶された第１の画像を縮小した第２の画像を生成する第１の生成手段と、第２の画像を端末に送信する第１送信手段と、第１の画像から部分画像を切り出すための切り出し位置を設定する設定手段と、第１の画像から部分画像を切り出す切り出し手段と、部分画像に基づく所定サイズの第３の画像を生成する第２の生成手段と、第３の画像を端末に送信する第２送信手段とを備え、第２の生成手段は、設定手段によって設定された切り出し位置に対応する部分画像のサイズが所定サイズよりも小さい場合には、該部分画像に拡大処理を施して所定サイズの第３の画像を生成し、設定手段によって設定された切り出し位置に対応する部分画像のサイズが所定サイズよりも大きい場合には、該部分画像に縮小処理を施して所定サイズの第３の画像を生成する。 A data transmission device according to an aspect of the present invention is a data transmission device that transmits an image to a terminal via a network, and includes a storage unit that stores a first image and a first stored in the storage unit. First generation means for generating a second image obtained by reducing the image of the first image, first transmission means for transmitting the second image to the terminal, and a cutout position for cutting out the partial image from the first image is set. Setting means; clipping means for cutting out a partial image from the first image; second generation means for generating a third image of a predetermined size based on the partial image; and second transmission for transmitting the third image to the terminal And when the size of the partial image corresponding to the cut-out position set by the setting unit is smaller than the predetermined size, the second generation unit performs an enlargement process on the partial image and outputs the first image of the predetermined size. Generate 3 images If the size of the corresponding partial image to the set cutout position by setting means is larger than a predetermined size to generate a third image of a predetermined size by performing a reduction process on the partial image.
また、本発明のデータ送信装置では、設定手段は、第２の画像に対して所望の切り出し位置の指定を受け付ける受付手段をさらに備え、受け付けられた該所望の切り出し位置に基づいて第３の画像が第１の画像に含まれるように切り出し位置を設定することが好ましい。 In the data transmission device of the present invention, the setting unit further includes a reception unit that receives designation of a desired cutout position for the second image, and the third image is based on the received desired cutout position. Is preferably set such that the cutout position is included in the first image.
また、本発明のデータ送信装置では、第２の生成手段は、設定手段によって設定された切り出し位置に対応する部分画像のサイズが所定サイズよりも小さい場合には、生成される第３の画像の重心が該部分画像の重心と同じとなるように該部分画像に拡大処理を施し、設定手段によって設定された切り出し位置に対応する部分画像のサイズが所定サイズよりも大きい場合には、生成される第３の画像の重心が該部分画像の重心と同じとなるように該部分画像に縮小処理を施し、設定手段は、第３の画像が第１の画像に含まれるように切り出し位置を補正することが好ましい。 In the data transmission device of the present invention, the second generation unit may generate the third image to be generated when the size of the partial image corresponding to the cutout position set by the setting unit is smaller than a predetermined size. Generated when the partial image is enlarged so that the center of gravity is the same as the center of gravity of the partial image, and the size of the partial image corresponding to the cutout position set by the setting unit is larger than the predetermined size The partial image is reduced so that the centroid of the third image is the same as the centroid of the partial image, and the setting unit corrects the cutout position so that the third image is included in the first image. It is preferable.
また、本発明のデータ送信装置では、受付手段は、端末から切り出し位置の指定が切り出し位置の指定を受け付けることが好ましい。 In the data transmitting apparatus of the present invention, it is preferable that the accepting unit accepts the designation of the cutout position from the terminal.
また、本発明のデータ送信装置は、第１の画像において被写体が存在する領域を特定する特定手段をさらに備え、設定手段は、特定手段によって特定された被写体を含む位置を、切り出し位置の指定として受付けることが好ましい。 The data transmission apparatus of the present invention further includes a specifying unit that specifies a region where the subject exists in the first image, and the setting unit uses the position including the subject specified by the specifying unit as the designation of the cutout position. It is preferable to accept.
本発明の他の局面に従ったデータ送信装置は、ネットワークを介して端末に画像を送信するデータ送信装置であって、第１の画像を記憶する記憶手段と、記憶手段に記憶された第１の画像を縮小した第２の画像を生成する第１の生成手段と、第２の画像を端末に送信する第１送信手段と、第１の画像から部分画像を切り出すための切り出し位置を設定する設定手段と、第１の画像から部分画像を切り出す切り出し手段と、部分画像に基づく所定の解像度の第３の画像を生成する第２の生成手段と、第３の画像を端末に送信する第２送信手段と、第２の生成手段は、設定手段によって設定された切り出し位置に対応する部分画像の解像度を所定の解像度となるように解像度の変換を行なって、第３の画像を生成する。 A data transmission device according to another aspect of the present invention is a data transmission device that transmits an image to a terminal via a network, and includes a storage unit that stores a first image, and a first stored in the storage unit. First generation means for generating a second image obtained by reducing the image of the first image, first transmission means for transmitting the second image to the terminal, and a cutout position for cutting out the partial image from the first image is set. A setting unit; a cutout unit that cuts out a partial image from the first image; a second generation unit that generates a third image having a predetermined resolution based on the partial image; and a second unit that transmits the third image to the terminal. The transmission unit and the second generation unit convert the resolution so that the resolution of the partial image corresponding to the cut-out position set by the setting unit becomes a predetermined resolution, and generate a third image.
また、本発明のデータ送信装置は、被写体を撮像する撮像手段を更に備え、第１の画像は撮像手段によって撮像された画像に基づく画像であることが好ましい。 The data transmission apparatus according to the present invention preferably further includes an imaging unit that images the subject, and the first image is preferably an image based on an image captured by the imaging unit.
上記構成によれば、データ送信装置は、撮像手段が撮影した画像について、その全体を縮小してデータ量を抑えつつ、部分的には詳細な画像を表示させる画像データを送信する。これにより、ユーザに十分な情報を提供しつつ、ネットワーク上にかける負荷を抑えることができる。 According to the above configuration, the data transmission apparatus transmits image data for partially displaying a detailed image while reducing the entire amount of the image captured by the imaging unit to reduce the data amount. Thereby, it is possible to suppress a load on the network while providing sufficient information to the user.
以下、本発明の実施の形態について、図面を参照しつつ説明する。なお、各図において、同じ機能を奏する要素については、同一の参照符号を付し、その説明は繰返さない。 Embodiments of the present invention will be described below with reference to the drawings. In each figure, elements having the same function are denoted by the same reference numerals, and description thereof will not be repeated.
［１．データ送信システム］
図１（Ａ）に、本発明のデータ送信装置の一実施の形態であるネットワークカメラ装置（以下、単に「カメラ装置」と言う）を含む、データ送信システムの概略構成を示す。
[1. Data transmission system]
FIG. 1A shows a schematic configuration of a data transmission system including a network camera device (hereinafter simply referred to as “camera device”) which is an embodiment of the data transmission device of the present invention.
データ送信システムにおいて、カメラ装置１００は、撮像素子１０１が撮影した画像を、ネットワーク３００を介して、ユーザ端末２００に送信する。カメラ装置１００は、たとえば、ネットワーク監視カメラとして実現される。
In the data transmission system, the
［２．カメラ装置］
図１（Ａ）を参照して、カメラ装置１００は、撮像素子１０１と、ビデオメモリ１０２と、画像切出処理部１１１と、ズーム処理部１１２と、リサイズ処理部１１３と、画像全体リサイズ処理部１１４と、コーデック１２１，１２２と、ネットワーク送出部１３０と、受信部１３１と、書込処理部１４０とを含む。
[2. Camera device]
Referring to FIG. 1A, a
カメラ装置１００では、撮像素子１０１の有効な画角全領域で撮影した画像の画像データが、或る一定時間ごとに、ビデオメモリ１０２に取込まれる。
In the
画像全体リサイズ処理部１１４は、ビデオメモリ１０２に取込まれた画像データのサムネイル画像を生成する。
The entire image resizing
一方、画像切出処理部１１１は、ユーザ端末２００における切出し位置を変更する操作に基づいて、ビデオメモリ１０２に取込まれた画像データの一部を切出す。また、ズーム処理部１１２は、ユーザ端末２００におけるズームインまたはズームアウトの操作に基づいて、ビデオメモリ１０２に取込まれた画像データの一部を切出す。リサイズ処理部１１３は、画像切出処理部１１１またはズーム処理部１１２によって切出された画像データを、ユーザ端末２００の後述するズーム画面２１Ａのサイズ（たとえば、ＶＧＡ（Video Graphics Array）サイズ）に合せて、リサイズする。
On the other hand, the image
コーデック１２１は、リサイズ処理部１１３によってリサイズされた画像データを、たとえばＨ．２６４形式にエンコードして、ネットワーク送出部１３０に出力する。コーデック１２２は、画像全体リサイズ処理部１１４によって生成されたサムネイル画像を、たとえばＪＰＥＧ（Joint Photographic Experts Group）形式にエンコードして、ネットワーク送出部１３０へ送信する。
The
ネットワーク送出部１３０は、ネットワーク３００を介して、ユーザ端末２００に、コーデック１２１でエンコードされたデータとコーデック１２２でエンコードされたデータを、たとえばマルチストリーミングで送信する。
The
図１（Ｂ）に、ネットワーク送出部１３０によるデータの送信態様を模式的に示す。図１（Ｂ）において、「１」は、コーデック１２１から出力される画像データを示し、「２」は、コーデック１２２から出力される画像データを示し、横軸は時間の経過を示す。
FIG. 1B schematically shows a data transmission mode by the
撮像素子１０１が撮影した１つの画像についての、コーデック１２１から出力される画像データのデータ量は、コーデック１２２から出力される画像データのデータ量より多い。たとえば、前者のデータ量が後者の１０倍である場合、図１（Ｂ）に示されるように、ネットワーク送出部１３０は、コーデック１２２からの画像データを１単位分送信した後、コーデック１２１からの画像データを１０単位分連続して出力する。ネットワーク送出部１３０は、コーデック１２２からの画像データを連続して送信するデータの単位数を、たとえばこれらの画像データのデータ量の比に基づいて決定する。このような態様で、ネットワーク送出部１３０は、コーデック１２２からの画像データとコーデック１２１からの画像データを交互に送信する。
The amount of image data output from the
書込処理部１４０は、カメラ装置１００本体に対して着脱可能に構成されている記録媒体１４１に対して、情報の読取／書込ができる。書込処理部１４０は、コーデック１２１から出力される画像データおよび／またはコーデック１２２から出力される画像データを、記録媒体１４１に書込むことができる。なお、記録媒体１４１は、カメラ装置１００に対して別体で構成されていてもよいし、内蔵されるなど一体的に構成されてもよい。
The
撮像素子１０１は、監視対象（室内等）を撮影する。撮像素子１０１は撮影した画像の画像データを生成し、ビデオメモリ１０２に出力される。
The
カメラ装置１００は、撮像素子１０１が出力する画像データをビデオメモリ１０２に保持して処理できればよい。この観点から、カメラ装置１００は、図１（Ａ）に示されるように、撮像素子１０１を含んでも良いし、撮像素子１０１を含まず、撮像素子１０１から画像データを受信できるように構成されていてもよい。
The
［３．ユーザ端末の構成］
図２は、ユーザ端末２００のハードウェア構成を模式的に示す図である。
[3. Configuration of user terminal]
FIG. 2 is a diagram schematically illustrating a hardware configuration of the
図２を参照して、ユーザ端末２００は、当該ユーザ端末２００の動作を全体的に制御する制御部２５０、データの送受信を行なうためのアンテナ２４１、アンテナ２４１によるデータの送受信に係る信号を処理する通信制御部２４０、フラッシュメモリ等からなる記憶部２６０、操作部２１０、表示部２２０、表示部２２０における表示内容を制御する表示制御部２２１、音声を出力するスピーカ２３０、および、スピーカ２３０から出力させる音声を制御する音声出力制御部２３１を含む。制御部２５０は、ＣＰＵ（Central Processing Unit）を含む。
Referring to FIG. 2, a
記憶部２６０には、制御部２５０のＣＰＵが実行するプログラムを記憶するプログラム記憶部２６１と、ユーザ端末２００に対する設定内容等の種々のデータを記憶する設定内容記憶部２６２と、プログラム記憶部６１に記憶されるプログラムが実行されるために必要な種々のデータを記憶するデータ記憶部２６３が含まれる。
The
操作部２１０は、タッチパネル等の表示装置と一体的に構成されてもよいし、マウスやキーボード等などの入力装置によって構成されてもよい。表示部２２０は、たとえば液晶ディスプレイなどの表示装置によって構成される。
The
［４．ユーザ端末における表示内容］
図３は、端末２００の表示部２２０に表示される画面の一例を示す図である。
[4. Display contents on user terminal]
FIG. 3 is a diagram illustrating an example of a screen displayed on the
図３を参照して、表示画面２０は、撮像素子１０１が撮影した画像全体のサムネイル画像を表示するサムネイル画面２２と、サムネイル画面２２に表示される画像の一部のズーム画像を表示する表示欄２１とを含む。表示欄２１では、ズーム画面２１Ａに、ズーム画像が表示される。
Referring to FIG. 3,
サムネイル画面２２は、サムネイル画像を表示する表示部２２Ａを含む。表示部２２Ａには、枠２１９が表示されている。枠２１９は、ズーム画面２１Ａに表示されているズーム画像が対応する位置を示す。
The
また、サムネイル画面２２は、表示部２２Ａ内の枠２１９の位置を変更するための上キー２１３、下キー２１４、左キー２１５および右キー２１６を含む。
The
また、ズーム画面２１Ａに表示されるズーム画像のズーム倍率を変更するためのワイドキー２１１およびテレキー２１２を含む。ワイドキー２１１は、ズーム画面２１Ａに表示されるズーム画面をズームアウトさせたいときに操作される。テレキー２１２は、ズーム画面２１Ａに表示されたズーム画像をズームインさせたいときに操作されるキーである。
Further, a
ユーザ端末２００において、表示部２２０がタッチパネルによって構成されているときには、ユーザは各キーを直接押圧することにより、各キーを操作できる。一方、表示部２２０に表示された各キーは、マウス操作によりポインタを合せ、クリック操作することによって、操作されてもよい。表示部２２０がタッチパネルによって構成される場合、上キー２１３、下キー２１４、左キー２１５、右キー２１６、ワイドキー２１１およびテレキー２１２は、操作部２１０を構成する。
In the
［５．画像の切出し］
カメラ装置１００は、撮像素子１０１が撮影した画像の一部を切出して、ズーム画像を生成する。図４（Ａ）および図４（Ｂ）を参照して、上記画像の切出しの位置の変更について説明する。
[5. [Crop image]
The
図４（Ａ）は、図３のサムネイル画面２２の拡大図であり、図４（Ｂ）は、撮像素子１０１によって生成されビデオメモリ１０２に記憶される画像データ全体を模式的に示す図である。
4A is an enlarged view of the
図４（Ａ）を参照して、右キー２１６が操作されると、制御部２５０は、枠２１９Ａから枠２１９Ｂに、つまり右側に、枠の表示位置を移動させる。矢印Ａ１は、枠の移動方向を示す。また、制御部２５０は、右キー２１６が操作されたという情報を、カメラ装置１００に送信する。カメラ装置１００は、当該情報を、受信部１３１で受信する。
4A, when
受信部１３１は、変更後の位置情報を解析し、画像切出処理部１１１に出力する。画像切出処理部１１１は、解析結果に基づいて、ビデオメモリ１０２に記憶された、撮像素子１０１からの画像データ１０（図４（Ｂ）参照）における切出し位置を、枠１１Ａから枠１１Ｂへ変更される。
The receiving
図４（Ａ）から理解されるように、サムネイル画面２２では、枠２１９Ａは、上下左右の、ユーザの好みの位置に移動させることができる。
As can be understood from FIG. 4A, on the
上記のように、ユーザ端末２００における操作に基づいて、カメラ装置１００は、ビデオメモリ１０２に記憶される画像データにおける切り出し位置を変更する。なお、位置の変更は、図４（Ｂ）を参照して説明した右方向の移動に限定されない。図５に示されるように、上下左右のいずれの方向にも変更できる。なお、図５では、撮像素子１０１が生成し、ビデオメモリ１０２に記憶された画像データが画像データ１０で示され、切出される位置が枠１１で示されている。また、切出し位置の変更方向が、両矢印Ａ３，Ａ４として模式的に示されている。
As described above, the
［６．ズームアウト／ズームイン］
本明細書において、ズームアウトとは、被写体画像の撮影倍率を低下させること、つまり撮影画像を縮小することを言い、ズームバックとも言う。また、ズームインとは、被写体画像の撮影倍率を上昇させること、つまり、撮影画像を拡大することを言い、ズームアップとも言う。
[6. Zoom out / Zoom in]
In this specification, “zoom out” means to reduce the photographing magnification of the subject image, that is, to reduce the photographed image, and is also referred to as zoom back. Zooming in means increasing the shooting magnification of the subject image, that is, enlarging the shot image, and is also called zooming up.
（１） ズームアウト
ユーザ端末２００のユーザが、ズーム画面２１Ａに表示されるズーム画面の表示をズームアウトさせるためにワイドキー２１１を操作した場合の、ビデオメモリ１０２に保存された画像データにおける切出位置の変更について説明する。
(1) Zoom out When the user of the
図６（Ａ）は、サムネイル画面２２の表示部２２Ａの表示態様の一例を示す。表示部２２Ａに枠２１９Ｃが表示されているときに、ワイドキー２１１が操作されると、枠２１９Ｃの四隅が矢印Ａ５に示すように広がって、枠２１９Ｃの代わりに枠２１９Ｄが表示されるようになる。枠２１９Ｃと枠２１９Ｄは、相似しており、各辺の長さの比は、予め定められたものとなっている。そして、ワイドキー２１１が操作されたということが、ユーザ端末２００からカメラ装置１００に送信される。
FIG. 6A shows an example of the display mode of the
図６（Ｂ）は、撮像素子１０１によって生成され、ビデオメモリ１０２に記憶される、画像データの全体構成を模式的に示す。
FIG. 6B schematically shows the overall configuration of image data generated by the
受信部１３１がワイドキー２１１が操作されたという情報を受信すると、当該情報は、ズーム処理部１１２へ送信される。
When the receiving
ズーム処理部１１２は、当該情報に応じて、図６（Ｂ）に示すように、画像データ１０におけるズーム画像の元となる切出範囲を、領域１１Ｃから、領域１１Ｄへと変更する。そして、画像データ１０から、変更後の切出範囲の画像データを切出して、リサイズ処理部１１３に送る。
In accordance with the information, the
領域１１Ｃと領域１１Ｄは、いずれも矩形であり、その重心は、Ｐ１で一致している。また、領域１１Ｃと領域１１Ｄの形状は相似しており、その比は、枠２１９Ｃと枠２１９Ｄの相似比と等しくなっている。
The region 11C and the region 11D are both rectangular, and their centroids coincide with each other at P1. The shapes of the region 11C and the region 11D are similar, and the ratio is equal to the similarity ratio between the frame 219C and the
ワイドキー２１１が操作され、上記したようなズームアウトのための処理が実行されると、画像データ１０内の切出しの対象となる範囲は図６（Ｂ）を参照して説明したように広くなる。なお、リサイズ処理部１１３に送られた画像データは、一定の表示サイズへとリサイズされる。これにより、ワイドキー２１１が操作されると、ズーム画面２１Ａに表示される画像は、画角は広くなるが、解像度は低下する。
When the
（２） ズームイン
ユーザ端末２００のユーザが、ズーム画面２１Ａに表示されるズーム画面の表示をズームインさせるためにテレキー２１２を操作した場合の、ビデオメモリ１０２に保存された画像データにおける切出位置の変更について説明する。
(2) Zooming in When the user of the
図７（Ａ）は、サムネイル画面２２の表示部２２Ａの表示態様の一例を示す。表示部２２Ａに枠２１９Ｅが表示されているときに、テレキー２１２が操作されると、枠２１９Ｅ四隅が矢印Ａ６に示すように狭められ、枠２１９Ｅの代わりに枠２１９Ｆが表示される。枠２１９Ｅと枠２１９Ｆは、相似しており、各辺の長さの比は、予め定められたものとなっている。そして、テレキー２１２が操作されたということが、ユーザ端末２００からカメラ装置１００に送信される。
FIG. 7A shows an example of the display mode of the
図７（Ｂ）は、撮像素子１０１によって生成され、ビデオメモリ１０２に記憶される、画像データの全体構成を模式的に示す。
FIG. 7B schematically shows the overall configuration of image data generated by the
受信部１３１がテレキー２１２が操作されたという情報を受信すると、当該情報は、ズーム処理部１１２へ送信される。
When the
ズーム処理部１１２は、当該情報に応じて、図７（Ｂ）に示すように、画像データ１０におけるズーム画像の元となる切出範囲を、領域１１Ｅから、領域１１Ｆへと変更する。そして、画像データ１０から、変更後の切出範囲の画像データを切出して、リサイズ処理部１１３に送る。
In accordance with the information, the
領域１１Ｅと領域１１Ｆは、いずれも矩形であり、その重心は、Ｐ２で一致している。また、領域１１Ｅと領域１１Ｆの形状は相似しており、その比は、枠２１９Ｅと枠２１９Ｆの相似比と等しくなっている。
The
テレキー２１２が操作され、上記したようなズームインのための処理が実行されると、画像データ１０内の切出しの対象となる範囲は図７（Ｂ）を参照して説明したように狭くなる。なお、リサイズ処理部１１３に送られた画像データは、一定の表示サイズへとリサイズされる。これにより、テレキー２１２が操作されると、ズーム画面２１Ａに表示される画像は、画角は狭くなるが、解像度は上昇する。
When the
（３） ズームアウトの際の特別な処理
図６（Ａ）および図６（Ｂ）を参照して説明したように、ユーザ端末２００においてワイドキー２１１が操作されると、画像データ１０内のズーム画像の対象となる領域が、元の領域と形状が相似し、重心が等しくなるように、広げられる。ここで、このように広げられた結果、新たにズーム表示の対象となる領域の一部が、画像データ１０の外に位置した場合の処理について、図８（Ａ）〜図８（Ｄ）を参照して説明する。
(3) Special Processing at Zoom-out As described with reference to FIGS. 6A and 6B, when the
図８（Ａ）のサムネイル画面２２では、画像データ１０におけるズーム画像の対象となる領域の相対的な位置を示す、枠２１９Ｐが表示されている。
On the
この状態で、ワイドキー２１１が操作され、この情報がカメラ装置１００へ送信されると、ズーム処理部１１２は、図８（Ｂ）に示すように、ズーム画像の対象となる領域１１Ｐを領域１１Ｑが広げる。領域１１Ｐと領域１１Ｑは、点Ｐ３を共通の重心として有し、そして、形状が相似する。
In this state, when the
ここで、領域１１Ｑは、その一部（ハッチングを付した部分１１Ｘ）が、画像データ１０の外に位置している。
Here, a part of the
ズーム処理部１１２は、変更後の領域１１Ｑの一部が画像データ１０の外に位置する場合には、変更後の領域を、さらに、図８（Ｃ）において領域１１Ｒとして示すように移動させる。
When a part of the changed
領域１１Ｒは、領域１１Ｑを、当該領域１１Ｑが左側に画像データ１０の外にはみ出した寸法だけ、右側に移動させたものである。領域１１Ｒと画像データ１０の左端は一致している。点Ｐ４は、領域１１Ｒの重心である。領域１１Ｒが領域１１Ｑに対して右側に移動した分だけ、点Ｐ４は、点Ｐ３に対して右側に移動している。
The
ズーム処理部１１２が、ズーム画像の対象となる領域を領域１１Ｒへと変更したことにより、ワイドキー２１１を操作された前後でのサムネイル画面２２の表示部２２Ａにおける枠の表示は、枠２１９Ｐから枠２１９Ｒへと変更される。枠２１９Ｐから枠２１９Ｒは、形状は相似しているが、それらの重心は一致していない。領域１１Ｐと領域１１Ｒの関係と同様に、枠２１９Ｒの重心は、枠２１９Ｐの重心に対して、右側にずれている。
Since the
［７．画像切出処理］
図９は、カメラ装置１００において、表示画面２０のズーム画面において表示させるズーム画像を変更するために実行する処理（画像切出処理）のフローチャートである。
[7. Image cropping process]
FIG. 9 is a flowchart of processing (image cutting processing) executed to change the zoom image displayed on the zoom screen of the
図９を参照して、ステップＳ１０で、受信部１３１において、ユーザ端末２００においてズームインの操作（テレキー２１２に対する操作）がなされたという情報を受信したか否かを判断し、受信したと判断するとステップＳ２０へ処理を進め、受信していないと判断するとステップＳ６０へ処理を進める。
Referring to FIG. 9, in step S <b> 10, in receiving
ステップＳ２０では、現在ズーム画像として表示されている画像が、ズーム処理部１１２が拡大できる最大の倍率で拡大されたものであるか否かを判断し、そうであると判断するとステップＳ４０へ処理を進め、そうではないと判断するとステップＳ３０へ処理を進める。
In step S20, it is determined whether or not the image currently displayed as a zoom image has been enlarged at the maximum magnification that can be enlarged by the
ステップＳ４０では、ズーム処理部１１２は、最小画角画像の画像データを切出して、ステップＳ５０へ処理を進める。最小画角画像とは、リサイズ処理部１１３が拡大できる最大倍率で拡大されてズーム画面２１Ａの表示サイズとなるデータ量の画像である。
In step S40, the
ステップＳ３０では、図７（Ｂ）を参照して説明したように、ズーム処理部１１２は、ビデオメモリ１０２に記憶された画像データにおける、ズーム画像の対象となる領域を、それまでの対象となっている領域から狭めて切出して、ステップＳ５０へ処理を進める。
In step S <b> 30, as described with reference to FIG. 7B, the
ステップＳ５０では、リサイズ処理部１１３が、ステップＳ３０またはステップＳ４０で切出された画像を、ユーザ端末２００のズーム画面２１Ａに表示させるサイズへとリサイズして、ステップＳ１５０へ処理を進める。
In step S50, the resizing
一方、ステップＳ６０では、受信部１３１は、ユーザ端末２００から、ズームアウトのための操作（ワイドキー２１１に対する操作）があったか否かを判断し、あったと判断するとステップＳ７０へ処理を進め、なかったと判断するとステップＳ１３０へ処理を進める。
On the other hand, in step S60, the receiving
ステップＳ７０では、ズーム処理部１１２は、ビデオメモリ１０２に記憶された画像データと現在ズーム画像の対象となっている領域とが、垂直方向および水平方向の双方について画像の端辺に達しているか否かを判断し、達していると判断するとステップＳ１１０へ処理を進め、いずれも達していないと判断するとステップＳ８０へ処理を進める。
In step S70, the
ステップＳ１１０では、ズーム処理部１１２は、ビデオメモリ１０２に記憶された画像から、予め定められた最大画角画像を切出して、ステップＳ１２０へ処理を進める。なお、最大画角画像とは、たとえば、撮像素子１０１によって生成されビデオメモリ１０２に記憶された画像全体とされる。
In step S110, the
ステップＳ８０では、ズーム処理部１１２は、現在ズーム画像の対象となっている、ビデオメモリ１０２に記憶された画像データ中の領域の垂直方向または水平方向のいずれかが上記記憶されている画像と一致しているか否かを判断し、一致していると判断するとステップＳ９０へ処理を進め、いずれも一致していないと判断するとステップＳ１００へ処理を進める。
In step S80, the
ステップＳ９０では、ズーム処理部１１２は、ズーム画像の対象となる、ビデオメモリ１０２に記憶されている画像データにおける領域を拡大し、ステップＳ１２０へ処理を進める。ここで、ステップＳ８０において、ビデオメモリ１０２に記憶された画像データと端部が達していない側については、図６（Ｂ）を参照したように、ワイドキー２１１に対する操作について予め定められた割合だけ拡大させる。一方、ステップＳ８０において、ビデオメモリ１０２に記憶された画像データが端部に達している方向については、その対辺を２倍拡大させて、新たなズーム画像の対象領域とする。
In step S90, the
具体的には、たとえば、図１０に示すように、現在のズーム画像の対象となる領域が、ビデオメモリ１０２に記憶されている画像データの下端に達している場合について説明する。
Specifically, for example, as illustrated in FIG. 10, a case where the current zoom image target area reaches the lower end of the image data stored in the
この場合、領域１１Ｍを図６を参照して説明したように広げようとすると、領域１１Ｎとして示されるように、その一部が、寸法Ｌ１だけ下方に、画像データ１０に対してはみ出してしまう。この事態を回避するため、ステップＳ９０では、画像データ１０と領域１１Ｍが一致する下端、つまり端部に達している辺の対辺である上端側に、ワイドキー２１１の操作に対して想定される距離の２倍（距離２Ｌ）だけ拡大して、新たな、ズーム画像の対象となる領域１１Ｋを定義する。
In this case, if the
図９に戻って、ステップＳ１００では、ズーム処理部１１２は、図６（Ｂ）を参照して説明したように、ズーム画像の対象となる領域を、ビデオメモリ１０２において拡大したものを切出して、ステップＳ１２０へ処理を進める。
Returning to FIG. 9, in step S <b> 100, as described with reference to FIG. 6B, the
ステップＳ１３０では、受信部１３１は、ユーザ端末２００から、図４（Ａ）を参照して説明したように、ズーム画像の対象となるビデオメモリ１０２に記憶された画像における位置を変更する操作がなされた旨の情報を受信したか否かを判断し、受信したと判断するとステップＳ１４０へ処理を進め、そうではないと判断するとステップＳ１５０へ処理を進める。
In step S130, the receiving
ステップＳ１４０では、画像切出処理部１１１は、図４（Ｂ）を参照して説明したように、ビデオメモリ１０２に記憶された画像データにおいて、ズーム画像の対象となる領域を、ユーザ端末２００においてなされた操作に応じて変更した位置から画像を切出して、ステップＳ１２０へ処理を進める。
In step S <b> 140, as described with reference to FIG. 4B, the image
ステップＳ１２０では、リサイズ処理部１１３は、ステップＳ９０，ステップＳ１００，ステップＳ１１０またはステップＳ１４０で切出された画像をリサイズして、ステップＳ１５０へ処理を進める。
In step S120, the resizing
ステップＳ１５０では、ネットワーク送出部１３０は、ステップＳ１２０でリサイズした画像を、ユーザ端末２００のズーム画面２１Ａで表示させるために配信して、画像切出処理を終了する。
In step S150, the
［８．切出位置の指示の変形例］
以上説明した本実施の形態では、図４（Ａ）を参照して説明したように、ユーザ端末２００のユーザが、上キー２１３，下キー２１４，左キー２１５または右キー２１６を操作することによって、ズーム画像の対象となる位置を変更する指示がカメラ装置１００に入力されていた。
[8. Example of cutting position indication]
In the present embodiment described above, as described with reference to FIG. 4A, the user of the
なお、ズーム画像の対象となる位置の変更は、ビデオメモリ１０２に記憶された画像に対する画像処理の結果に応じてなされてもよい。
Note that the position of the zoom image may be changed according to the result of image processing on the image stored in the
（１） パターン認識
図１１に、カメラ装置の変形例の一例の制御ブロック図を示す。当該変形例では、ビデオメモリ１０２に記憶された画像データに対してパターン認識を行ない、その結果、当該画像に所定のパターンの画像が含まれていると判断された場合、当該パターンを含む領域がズーム画像の対象として切出される。
(1) Pattern Recognition FIG. 11 shows a control block diagram of an example of a modification of the camera device. In the modification, when pattern recognition is performed on the image data stored in the
つまり、本変形例では、画像切出処理部１１１は、当該所定のパターンを含む領域の画像を、ズーム画像の対象として切出してリサイズ処理部１１３へ送る。
That is, in this modification, the image
これにより、たとえばパターンとして人間の顔が設定されると、カメラ画像に不審者の顔画像が含まれると、当該不審者の顔を含むズーム画像が、ユーザ端末２００のズーム画面２１Ａに表示される。
Thus, for example, when a human face is set as a pattern, if the camera image includes a suspicious person's face image, a zoom image including the suspicious person's face is displayed on the
（２） 動きベクトル
図１２に、カメラ装置の変形例の他の例の制御ブロック図を示す。当該変形例では、ビデオメモリ１０２に記憶された画像データに対して、動きベクトルの検出を行ない、動きベクトルが検出された位置を含む領域がズーム画像の対象として切出される。
(2) Motion Vector FIG. 12 shows a control block diagram of another example of a modification of the camera device. In this modification, a motion vector is detected for image data stored in the
つまり、本変形例では、画像切出処理部１１１は、動きベクトルが検出された位置を含む領域の画像を、ズーム画像の対象として切出してリサイズ処理部１１３へ送る。
That is, in this modification, the image
これにより、たとえば撮像素子１０１が、不審者が移動する画像を撮影した場合、当該不審者を含むズーム画像が、ユーザ端末２００のズーム画面２１Ａに表示される。
Thereby, for example, when the
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、各実施の形態で説明された技術的思想は、単独で実施されても良いし、可能な限り組み合わされて実施されることも意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims. In addition, the technical ideas described in the embodiments may be implemented singly or in combination as much as possible.
１０ 画像データ、２０ 表示画面、２１Ａ ズーム画面、２２ サムネイル画面、１００ カメラ装置、１０１ 撮像素子、１０２ ビデオメモリ、１１１ 画像切出処理部、１１２ ズーム処理部、１１３ リサイズ処理部、１１４ 画像全体リサイズ処理部、１２１，１２２ コーデック、１３０ ネットワーク送出部、１３１ 受信部、１４０ 書込処理部、１４１ 記録媒体、２００ ユーザ端末、２１０ 操作部、２１１ ワイドキー、２１２ テレキー、２１３ 上キー、２１４ 下キー、２１５ 左キー、２１６ 右キー。 10 image data, 20 display screen, 21A zoom screen, 22 thumbnail screen, 100 camera device, 101 image sensor, 102 video memory, 111 image cutout processing unit, 112 zoom processing unit, 113 resize processing unit, 114 whole image resize processing Part, 121, 122 codec, 130 network sending part, 131 receiving part, 140 write processing part, 141 recording medium, 200 user terminal, 210 operation part, 211 wide key, 212 telekey, 213 up key, 214 down key, 215 Left key, 216 Right key.
Claims (7)
第１の画像を記憶する記憶手段と、
前記記憶手段に記憶された前記第１の画像を縮小した第２の画像を生成する第１の生成手段と、
前記第２の画像を前記端末に送信する第１送信手段と、
前記第１の画像から部分画像を切り出すための切り出し位置を設定する設定手段と、
前記第１の画像から部分画像を切り出す切り出し手段と、
前記部分画像に基づく所定サイズの第３の画像を生成する第２の生成手段と、
前記第３の画像を前記端末に送信する第２送信手段とを備え、
前記第２の生成手段は、前記設定手段によって設定された切り出し位置に対応する部分画像のサイズが前記所定サイズよりも小さい場合には、該部分画像に拡大処理を施して前記所定サイズの第３の画像を生成し、
前記設定手段によって設定された切り出し位置に対応する部分画像のサイズが前記所定サイズよりも大きい場合には、該部分画像に縮小処理を施して前記所定サイズの第３の画像を生成することを特徴とする、データ送信装置。 A data transmission device that transmits an image to a terminal via a network,
Storage means for storing the first image;
First generation means for generating a second image obtained by reducing the first image stored in the storage means;
First transmission means for transmitting the second image to the terminal;
Setting means for setting a cutout position for cutting out the partial image from the first image;
Clipping means for cutting out a partial image from the first image;
Second generation means for generating a third image of a predetermined size based on the partial image;
Second transmission means for transmitting the third image to the terminal,
If the size of the partial image corresponding to the cut-out position set by the setting unit is smaller than the predetermined size, the second generation unit performs an enlargement process on the partial image and outputs the third image of the predetermined size Generate an image of
When the size of the partial image corresponding to the cutout position set by the setting unit is larger than the predetermined size, the partial image is subjected to reduction processing to generate the third image of the predetermined size. A data transmission device.
前記受け付けられた該所望の切り出し位置に基づいて前記第３の画像が前記第１の画像に含まれるように切り出し位置を設定することを特徴とする、請求項１に記載のデータ送信装置。 The setting unit further includes a receiving unit that receives designation of a desired cutout position for the second image,
The data transmission device according to claim 1, wherein the cutout position is set so that the third image is included in the first image based on the received desired cutout position.
前記設定手段は、前記第３の画像が前記第１の画像に含まれるように前記切り出し位置を補正することを特徴とする、請求項１または２に記載のデータ送信装置。 When the size of the partial image corresponding to the cut-out position set by the setting unit is smaller than the predetermined size, the second generation unit determines that the centroid of the generated third image is the centroid of the partial image. If the size of the partial image corresponding to the cut-out position set by the setting means is larger than the predetermined size, the partial image is enlarged so as to be the same as The partial image is reduced so that the center of gravity is the same as the center of gravity of the partial image,
The data transmission apparatus according to claim 1, wherein the setting unit corrects the cutout position so that the third image is included in the first image.
前記設定手段は、前記特定手段によって特定された被写体を含む位置を、前記切り出し位置の指定として受付ける、請求項１乃至４のいずれかに記載のデータ送信装置。 A specifying unit for specifying a region where a subject exists in the first image;
5. The data transmission device according to claim 1, wherein the setting unit receives a position including the subject specified by the specifying unit as designation of the cutout position. 6.
第１の画像を記憶する記憶手段と、
前記記憶手段に記憶された前記第１の画像を縮小した第２の画像を生成する第１の生成手段と、
前記第２の画像を前記端末に送信する第１送信手段と、
前記第１の画像から部分画像を切り出すための切り出し位置を設定する設定手段と、
前記第１の画像から前記部分画像を切り出す切り出し手段と、
前記部分画像に基づく所定の解像度の第３の画像を生成する第２の生成手段と、
前記第３の画像を前記端末に送信する第２送信手段と、
前記第２の生成手段は、前記設定手段によって設定された切り出し位置に対応する部分画像の解像度を前記所定の解像度となるように解像度の変換を行なって、前記第３の画像を生成することを特徴とする、データ送信装置。 A data transmission device that transmits an image to a terminal via a network,
Storage means for storing the first image;
First generation means for generating a second image obtained by reducing the first image stored in the storage means;
First transmission means for transmitting the second image to the terminal;
Setting means for setting a cutout position for cutting out the partial image from the first image;
Clipping means for cutting out the partial image from the first image;
Second generation means for generating a third image having a predetermined resolution based on the partial image;
Second transmitting means for transmitting the third image to the terminal;
The second generation means generates the third image by converting the resolution so that the resolution of the partial image corresponding to the cut-out position set by the setting means becomes the predetermined resolution. A data transmission device as a feature.
前記第１の画像は前記撮像手段によって撮像された画像に基づく画像であることを特徴とする、請求項１乃至６のいずれかに記載のデータ送信装置。 It further comprises imaging means for imaging the subject,
The data transmission apparatus according to claim 1, wherein the first image is an image based on an image captured by the imaging unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010170683A JP2012034099A (en) | 2010-07-29 | 2010-07-29 | Data transmission device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010170683A JP2012034099A (en) | 2010-07-29 | 2010-07-29 | Data transmission device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012034099A true JP2012034099A (en) | 2012-02-16 |
Family
ID=45846997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010170683A Pending JP2012034099A (en) | 2010-07-29 | 2010-07-29 | Data transmission device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012034099A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013197926A (en) * | 2012-03-21 | 2013-09-30 | Fuji Xerox Co Ltd | Reading control apparatus, reading system and program |
| KR101501730B1 (en) * | 2012-12-06 | 2015-03-11 | 김원섭 | Apparatus and Method for providing quality confirmation service on a thumbnail |
| WO2020116213A1 (en) * | 2018-12-06 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | Reception device and transmission device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004120341A (en) * | 2002-09-26 | 2004-04-15 | Riosu Corp:Kk | Video image monitoring system |
| JP2005323044A (en) * | 2004-05-07 | 2005-11-17 | Uniden Corp | Image transmitting apparatus and image receiving apparatus |
| JP2006129152A (en) * | 2004-10-29 | 2006-05-18 | Konica Minolta Holdings Inc | Imaging device and image distribution system |
| JP2006340091A (en) * | 2005-06-02 | 2006-12-14 | Canon Inc | Camera server, viewer, image display system and image distribution method |
-
2010
- 2010-07-29 JP JP2010170683A patent/JP2012034099A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004120341A (en) * | 2002-09-26 | 2004-04-15 | Riosu Corp:Kk | Video image monitoring system |
| JP2005323044A (en) * | 2004-05-07 | 2005-11-17 | Uniden Corp | Image transmitting apparatus and image receiving apparatus |
| JP2006129152A (en) * | 2004-10-29 | 2006-05-18 | Konica Minolta Holdings Inc | Imaging device and image distribution system |
| JP2006340091A (en) * | 2005-06-02 | 2006-12-14 | Canon Inc | Camera server, viewer, image display system and image distribution method |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013197926A (en) * | 2012-03-21 | 2013-09-30 | Fuji Xerox Co Ltd | Reading control apparatus, reading system and program |
| KR101501730B1 (en) * | 2012-12-06 | 2015-03-11 | 김원섭 | Apparatus and Method for providing quality confirmation service on a thumbnail |
| WO2020116213A1 (en) * | 2018-12-06 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | Reception device and transmission device |
| JPWO2020116213A1 (en) * | 2018-12-06 | 2021-10-21 | ソニーセミコンダクタソリューションズ株式会社 | Receiver and transmitter |
| US11606500B2 (en) | 2018-12-06 | 2023-03-14 | Sony Semiconductor Solutions Corporation | Reception apparatus and transmission apparatus |
| JP7414733B2 (en) | 2018-12-06 | 2024-01-16 | ソニーセミコンダクタソリューションズ株式会社 | Receiving device and transmitting device |
| US11924546B2 (en) | 2018-12-06 | 2024-03-05 | Sony Semiconductor Solutions Corporation | Reception apparatus and transmission apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11758265B2 (en) | Image processing method and mobile terminal | |
| CN107750451B (en) | Method and electronic device for stabilizing video | |
| WO2019104705A1 (en) | Image processing method and device | |
| JP6044328B2 (en) | Image processing system, image processing method, and program | |
| KR101899877B1 (en) | Apparatus and method for improving quality of enlarged image | |
| JP5906028B2 (en) | Image processing apparatus and image processing method | |
| US20190391778A1 (en) | Apparatus, system, and method for controlling display, and recording medium | |
| KR20170060414A (en) | Digital photographing apparatus and the operating method for the same | |
| WO2018214707A1 (en) | Method and device for outputting and examining video frame | |
| JP6727989B2 (en) | Image processing apparatus and control method thereof | |
| JP5743016B2 (en) | Apparatus and method for generating images | |
| WO2015142971A1 (en) | Receiver-controlled panoramic view video share | |
| JP6513126B2 (en) | Display control device, control method thereof and program | |
| KR20150071660A (en) | Control apparatus, imaging system, control method, and recording medium | |
| EP2009907A1 (en) | Camera apparatus, and image processing apparatus and image processing method | |
| JP2006340091A (en) | Camera server, viewer, image display system and image distribution method | |
| WO2020000393A1 (en) | Image processing method and apparatus, first electronic device, and image processing system | |
| JP2012034099A (en) | Data transmission device | |
| JP6643008B2 (en) | Image processing apparatus, control method thereof, control program, and storage medium | |
| JP6808424B2 (en) | Image recording device and its control method | |
| JP2020108112A (en) | Electronic apparatus and method for controlling the same | |
| JP6394682B2 (en) | Method and image processing apparatus | |
| US20200211246A1 (en) | Electronic device and control method thereof | |
| JPWO2011039947A1 (en) | IMAGING DEVICE, ITS CONTROL METHOD, IMAGING SYSTEM, AND PROGRAM | |
| JP2020080194A (en) | Image processing system, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130905 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140527 |