JP6559197B2 - Weight output device, weight output method and program - Google Patents

Weight output device, weight output method and program Download PDF

Info

Publication number
JP6559197B2
JP6559197B2 JP2017168648A JP2017168648A JP6559197B2 JP 6559197 B2 JP6559197 B2 JP 6559197B2 JP 2017168648 A JP2017168648 A JP 2017168648A JP 2017168648 A JP2017168648 A JP 2017168648A JP 6559197 B2 JP6559197 B2 JP 6559197B2
Authority
JP
Japan
Prior art keywords
weight
index value
ratio
procedure
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017168648A
Other languages
Japanese (ja)
Other versions
JP2019045304A (en
Inventor
英樹 神谷
英樹 神谷
田中　久子
久子 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT TechnoCross Corp
Original Assignee
NTT TechnoCross Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT TechnoCross Corp filed Critical NTT TechnoCross Corp
Priority to JP2017168648A priority Critical patent/JP6559197B2/en
Priority to PCT/JP2018/008538 priority patent/WO2019044001A1/en
Publication of JP2019045304A publication Critical patent/JP2019045304A/en
Application granted granted Critical
Publication of JP6559197B2 publication Critical patent/JP6559197B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K67/00—Rearing or breeding animals, not otherwise provided for; New or modified breeds of animals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G9/00—Methods of, or apparatus for, the determination of weight, not provided for in groups G01G1/00 - G01G7/00

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Zoology (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、体重出力装置、体重出力方法及びプログラムに関する。   The present invention relates to a weight output device, a weight output method, and a program.

畜産農家では、飼育している家畜の体重を把握することが従来から行われている。これは、例えば、豚等の家畜では、ある体重を超えると食肉としての価値が下がってしまうためである。   In the case of livestock farmers, it has been practiced to grasp the weight of livestock being raised. This is because, for example, in livestock such as pigs, when the weight exceeds a certain weight, the value as meat is reduced.

ところで、畜産農家で飼育されている家畜は数百頭（又は数百匹、数百羽等）を超える場合がある。このため、体重計等を用いる場合、家畜の体重の把握には手間を要する。これに対して、家畜をビデオカメラで撮影し、撮影した画像中における家畜の面積から体重を推定する技術が知られている（例えば特許文献１参照）。   By the way, there are cases where the number of livestock raised by livestock farmers exceeds several hundred (or hundreds, hundreds, etc.). For this reason, when using a weight scale etc., grasping | ascertaining the weight of livestock requires an effort. On the other hand, a technique is known in which livestock is photographed with a video camera and the weight is estimated from the area of the livestock in the photographed image (see, for example, Patent Document 1).

特開平６−３１８１号公報JP-A-6-3181

しかしながら、上記の従来技術では、例えば、撮影中に家畜が動くことにより、推定された体重と真の体重との誤差が大きくなることがあった。   However, in the above-described prior art, for example, an error between the estimated weight and the true weight may increase due to movement of the livestock during photographing.

本発明の実施の形態は、上記の点に鑑みてなされたものであり、誤差の少ない体重を提供することを目的とする。   The embodiment of the present invention has been made in view of the above points, and an object thereof is to provide a weight with less error.

上記目的を達成するため、本発明の実施の形態は、体重の推定対象 を撮影した画像を取得する取得手段と、前記取得手段が取得した前記画像における前記推定対象を示す領域の面積に基づいて、該推定対象の体重を推定する推定手段と、前記取得手段が取得した前記画像における前記領域に基づいて、所定の指標値を算出する算出手段と、前記推定手段が推定した前記体重と、前記算出手段が算出した前記指標値とを関連付けて記憶部に記憶させる記憶手段と、前記記憶部に記憶されている体重のうち、予め決定された最適指標値と所定の範囲内である指標値と関連付けられている体重を特定する特定手段と、前記特定手段が特定した前記体重を出力する出力手段と、を有することを特徴とする。   In order to achieve the above object, an embodiment of the present invention is based on an acquisition unit that acquires an image of a weight estimation target, and an area of a region that indicates the estimation target in the image acquired by the acquisition unit. , An estimation means for estimating the weight of the estimation target, a calculation means for calculating a predetermined index value based on the region in the image acquired by the acquisition means, the weight estimated by the estimation means, Storage means for associating and storing the index value calculated by the calculation means in the storage section, and among the weights stored in the storage section, an optimal index value determined in advance and an index value within a predetermined range; It has a specifying means for specifying the associated weight, and an output means for outputting the weight specified by the specifying means.

本発明の実施の形態によれば、誤差の少ない体重を提供することができる。   According to the embodiment of the present invention, it is possible to provide a weight with less error.

本実施形態に係る体重出力システムの全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the weight output system which concerns on this embodiment. 本実施形態に係る体重出力処理部の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the weight output process part which concerns on this embodiment. 本実施形態に係る体重出力処理の一例を示すフローチャートである。It is a flowchart which shows an example of the weight output process which concerns on this embodiment. 撮影画像における推定対象の面積及び縦横比率の算出の一例を説明するための図である。It is a figure for demonstrating an example of the calculation of the area of an estimation object in a picked-up image, and an aspect ratio. 比率・体重記憶部の一例を示す図である。It is a figure which shows an example of a ratio and weight memory | storage part. 撮影画像における推定対象の面積及び縦横比率の算出の他の例を説明するための図である。It is a figure for demonstrating the other example of calculation of the area and aspect ratio of the estimation object in a picked-up image. 本実施形態に係る体重出力処理の他の例を示すフローチャートである。It is a flowchart which shows the other example of the weight output process which concerns on this embodiment.

以下、本発明の実施の形態について図面を参照しながら説明する。本実施形態では、豚の体重を推定した上で、推定した体重の中から誤差の少ない体重をユーザ等に提供する場合について説明する。ただし、体重を推定する対象（以降、「推定対象」とも表す。）は、豚に限られず、例えば、牛、馬、羊、鶏等の種々の家畜であっても良い。また、体重の推定対象は、家畜だけでなく、例えば、野生の動物であっても良い。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case will be described in which the weight of a pig is estimated and then a weight with less error is provided to the user or the like from the estimated weight. However, the object whose weight is estimated (hereinafter also referred to as “estimation object”) is not limited to pigs, and may be various livestock such as cows, horses, sheep, and chickens. Moreover, the estimation target of weight may be not only domestic animals but also wild animals, for example.

＜全体構成＞
まず、本実施形態に係る体重出力システム１について、図１を参照しながら説明する。図１は、本実施形態に係る体重出力システム１の全体構成の一例を示す図である。 <Overall configuration>
First, a weight output system 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of the overall configuration of a weight output system 1 according to the present embodiment.

図１に示すように、本実施形態に係る体重出力システム１には、体重の推定及び出力を行う体重出力装置１０と、体重の推定対象である豚Ｐを撮影するカメラ装置２０とが含まれる。体重出力装置１０とカメラ装置２０とは、例えば、無線又は有線により通信可能に接続されている。   As shown in FIG. 1, the weight output system 1 according to the present embodiment includes a weight output device 10 that estimates and outputs a weight, and a camera device 20 that photographs a pig P that is a weight estimation target. . The weight output device 10 and the camera device 20 are connected so as to be communicable, for example, wirelessly or by wire.

カメラ装置２０は、豚Ｐを撮影するための撮影エリアＡの真上に設置されている。カメラ装置２０は、撮影エリアＡ内の豚Ｐを真上から撮影することで、撮影画像を生成する。なお、カメラ装置２０は、例えば、１頭の豚Ｐを所定の回数連続して撮影（又は、所定の時間の間、連続して撮影）することで、複数の撮影画像を生成する。   The camera device 20 is installed directly above the shooting area A for shooting the pig P. The camera device 20 generates a photographed image by photographing the pig P in the photographing area A from directly above. The camera device 20 generates a plurality of captured images by, for example, continuously capturing one pig P a predetermined number of times (or continuously capturing for a predetermined time).

体重出力装置１０は、カメラ装置２０が生成した撮影画像から豚Ｐの体重を推定した上で、推定した体重の中から誤差の少ない体重を出力することで、当該体重をユーザに提供するコンピュータである。   The weight output device 10 is a computer that estimates the weight of the pig P from the captured image generated by the camera device 20 and outputs the weight with less error from the estimated weight, thereby providing the weight to the user. is there.

体重出力装置１０には、体重出力処理部１００と、比率・体重記憶部１１０と、最適比率記憶部１２０とが含まれる。体重出力処理部は、体重出力装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）に実行させる処理により実現される。また、比率・体重記憶部１１０及び最適比率記憶部１２０は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等を用いて実現可能である。なお、比率・体重記憶部１１０及び最適比率記憶部１２０の少なくとも一方が、体重出力装置１０とネットワークを介して接続される記憶装置等を用いて実現されていても良い。   The weight output device 10 includes a weight output processing unit 100, a ratio / weight storage unit 110, and an optimum ratio storage unit 120. The weight output processing unit is realized by a process in which one or more programs installed in the weight output device 10 are executed by a CPU (Central Processing Unit). The ratio / weight storage unit 110 and the optimal ratio storage unit 120 can be realized by using, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like. Note that at least one of the ratio / weight storage unit 110 and the optimal ratio storage unit 120 may be realized using a storage device or the like connected to the weight output device 10 via a network.

体重出力装置１０は、体重出力処理部１００により、撮影画像における豚Ｐを示す領域の面積から体重を推定すると共に、当該領域の縦横比率を算出し、これら体重及び縦横比率を関連付けて比率・体重記憶部１１０に記憶させる。そして、体重出力装置１０は、体重出力処理部１００により、最適比率記憶部１２０に記憶されている最適比率を参照して、比率・体重記憶部１１０に記憶されている体重のうち、最適比率に最も近い縦横比率が関連付けられている体重を出力する。   The body weight output device 10 estimates the body weight from the area of the region showing the pig P in the photographed image by the body weight output processing unit 100, calculates the aspect ratio of the region, and associates the body weight and the aspect ratio with the ratio / weight The data is stored in the storage unit 110. Then, the weight output apparatus 10 refers to the optimum ratio stored in the optimum ratio storage unit 120 by the weight output processing unit 100 and sets the optimum ratio among the weights stored in the ratio / weight storage unit 110. Outputs the weight associated with the closest aspect ratio.

これにより、本実施形態に係る体重出力システム１は、最も誤差が少ない体重をユーザ等に提供することができる。   Thereby, the weight output system 1 according to the present embodiment can provide the user with the weight with the least error.

最適比率とは、推定された体重の誤差が最も少なくなる縦横比率のことである。最適比率は、例えば、経験則又は実験によって予め決定される。なお、最適比率は、例えば、動物の種類（例えば、豚や牛、馬等）によっても異なり得るし、同一種類の動物であっても品種（例えば、ヨークシャー種、ランドレース種等）によっても異なり得る。   The optimal ratio is the aspect ratio at which the estimated weight error is minimized. The optimal ratio is predetermined by, for example, an empirical rule or experiment. The optimum ratio may vary depending on, for example, the type of animal (for example, pig, cow, horse, etc.), and may vary depending on the breed (for example, Yorkshire species, Landrace species, etc.) even for the same type of animal. obtain.

なお、図１に示す体重出力システム１の構成は一例であって、他の構成であっても良い。例えば、体重出力装置１０は、複数台のコンピュータで構成されていても良い。また、体重出力装置１０は、複数台のカメラ装置２０と通信可能に接続されていても良い。   The configuration of the weight output system 1 shown in FIG. 1 is an example, and other configurations may be used. For example, the weight output device 10 may be composed of a plurality of computers. The weight output device 10 may be connected to a plurality of camera devices 20 so as to be communicable.

＜機能構成＞
次に、本実施形態に係る体重出力処理部１００の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る体重出力処理部１００の機能構成の一例を示す図である。 <Functional configuration>
Next, a functional configuration of the weight output processing unit 100 according to the present embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a functional configuration of the weight output processing unit 100 according to the present embodiment.

図２に示すように、本実施形態に係る体重出力処理部１００には、取得部１０１と、面積算出部１０２と、比率算出部１０３と、体重推定部１０４と、特定部１０５と、出力部１０６とが含まれる。   As illustrated in FIG. 2, the weight output processing unit 100 according to the present embodiment includes an acquisition unit 101, an area calculation unit 102, a ratio calculation unit 103, a weight estimation unit 104, a specification unit 105, and an output unit. 106.

取得部１０１は、カメラ装置２０が生成した撮影画像を取得する。取得された撮影画像には、当該撮影画像を識別する識別情報（すなわち、画像ＩＤ）が付与される。   The acquisition unit 101 acquires a captured image generated by the camera device 20. Identification information (that is, an image ID) for identifying the captured image is given to the acquired captured image.

面積算出部１０２は、取得部１０１により取得された撮影画像における推定対象（すなわち、豚Ｐ）を示す領域の面積を算出する。   The area calculation unit 102 calculates the area of the region indicating the estimation target (that is, the pig P) in the captured image acquired by the acquisition unit 101.

比率算出部１０３は、取得部１０１により取得された撮影画像における当該領域の縦横比率（指標値の一例）を算出する。当該領域の縦及び横それぞれの長さと、算出された縦横比率とは、画像ＩＤと関連付けて比率・体重記憶部１１０に記憶される。   The ratio calculation unit 103 calculates the aspect ratio (an example of an index value) of the area in the captured image acquired by the acquisition unit 101. The vertical and horizontal lengths of the area and the calculated vertical / horizontal ratio are stored in the ratio / weight storage unit 110 in association with the image ID.

体重推定部１０４は、面積算出部１０２により算出された面積から、推定対象の体重を推定する。推定された体重は、画像ＩＤと関連付けて（すなわち、縦及び横それぞれの長さ並びに縦横比率とも関連付けて）比率・体重記憶部１１０に記憶される。   The weight estimation unit 104 estimates the weight of the estimation target from the area calculated by the area calculation unit 102. The estimated weight is stored in the ratio / weight storage unit 110 in association with the image ID (that is, in association with the vertical and horizontal lengths and the vertical / horizontal ratio).

カメラ装置２０により生成された複数の撮影画像に対して、取得部１０１による撮影画像の取得と、面積算出部１０２による面積の算出と、比率算出部１０３による縦横比率の算出と、体重推定部１０４による体重の推定とがそれぞれ行われる。したがって、１頭の豚Ｐに対して、複数の体重及び縦横比率等が関連付けて比率・体重記憶部１１０に記憶される。   For a plurality of captured images generated by the camera device 20, acquisition of a captured image by the acquisition unit 101, calculation of an area by the area calculation unit 102, calculation of an aspect ratio by the ratio calculation unit 103, and a weight estimation unit 104 The weight is estimated by each. Therefore, a plurality of weights, aspect ratios, and the like are associated with one pig P and stored in the ratio / weight storage unit 110.

特定部１０５は、比率・体重記憶部１１０に記憶されている体重のうち、最適比率記憶部１２０に記憶されている最適比率に最も近い縦横比率が関連付けられている体重を特定する。   The specifying unit 105 specifies the weight associated with the aspect ratio closest to the optimum ratio stored in the optimum ratio storage unit 120 among the weights stored in the ratio / weight storage unit 110.

出力部１０６は、特定部１０５により特定された体重を出力する。これにより、体重推定部１０４により推定された体重のうち、誤差が最も少ない体重が出力される。なお、出力部１０６は、出力先として、例えば、体重出力装置１０のディスプレイ等に体重を出力（表示）しても良いし、ＨＤＤやＳＤＤ等の記憶装置に体重を出力（保存）しても良い。また、出力先として、ネットワークを介して他の装置等に出力（送信）しても良い。   The output unit 106 outputs the weight specified by the specifying unit 105. As a result, the weight with the smallest error among the weights estimated by the weight estimation unit 104 is output. For example, the output unit 106 may output (display) the weight on a display of the weight output device 10 as an output destination, or output (save) the weight on a storage device such as an HDD or an SDD. good. Further, the output destination may be output (transmitted) to another device or the like via a network.

＜体重出力処理＞
以降では、推定対象である豚Ｐの体重を推定した上で、推定した体重のうち、誤差が最も少ない体重を出力する処理について、図３を参照しながら説明する。図３は、本実施形態に係る体重出力処理の一例を示すフローチャートである。 <Weight output process>
Hereinafter, a process of outputting the weight with the smallest error among the estimated weights after estimating the weight of the pig P that is the estimation target will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of the weight output process according to the present embodiment.

ステップＳ１０１：取得部１０１は、カメラ装置２０が生成した撮影画像を取得する。取得された撮影画像には、画像ＩＤが付与される。   Step S101: The acquisition unit 101 acquires a captured image generated by the camera device 20. An image ID is assigned to the acquired captured image.

なお、カメラ装置２０から撮影画像を取得する場合に限られず、取得部１０１は、例えば、ＨＤＤやＳＳＤ等の記憶装置に予め記憶されている撮影画像を取得しても良い。   In addition, it is not restricted to acquiring a picked-up image from the camera apparatus 20, For example, the acquisition part 101 may acquire the picked-up image memorize | stored beforehand in memory | storage devices, such as HDD and SSD.

ステップＳ１０２：面積算出部１０２は、取得部１０１により取得された撮影画像における豚Ｐを示す領域の面積を算出する。   Step S102: The area calculation unit 102 calculates the area of the region indicating the pig P in the captured image acquired by the acquisition unit 101.

例えば、取得部１０１により、図６に示す撮影画像Ｇが取得されたものとする。この場合、面積算出部１０２は、当該撮影画像Ｇにおける豚Ｐを示す領域Ｑの面積を算出する。なお、面積としては、例えば、当該領域Ｑに含まれる画素数とすれば良い。   For example, it is assumed that the captured image G shown in FIG. In this case, the area calculation unit 102 calculates the area of the region Q indicating the pig P in the captured image G. The area may be the number of pixels included in the region Q, for example.

ステップＳ１０３：比率算出部１０３は、取得部１０１により取得された撮影画像における豚Ｐを示す領域の縦横比率を算出する。そして、比率算出部１０３は、当該領域の縦及び横それぞれの長さと、縦横比率とを画像ＩＤと関連付けて比率・体重記憶部１１０に記憶する。   Step S103: The ratio calculation unit 103 calculates the aspect ratio of the area indicating the pig P in the captured image acquired by the acquisition unit 101. Then, the ratio calculation unit 103 stores the vertical and horizontal lengths of the area and the vertical / horizontal ratio in the ratio / weight storage unit 110 in association with the image ID.

例えば、上記と同様に、取得部１０１により、図６に示す撮影画像Ｇが取得されたものとする。この場合、まず、比率算出部１０３は、領域Ｑを含む最小の四角形（矩形）である境界Ｂを特定する。次に、比率算出部１０３は、特定した境界Ｂの横（長辺）の長さに対する縦（短辺）の長さの比率を縦横比率として算出する。そして、比率算出部１０３は、境界Ｂの横（長辺）の長さと、境界Ｂの縦（短辺）の長さと、算出した縦横比率とを画像ＩＤと関連付けて比率・体重記憶部１１０に記憶する。   For example, it is assumed that the captured image G illustrated in FIG. 6 is acquired by the acquisition unit 101 as described above. In this case, first, the ratio calculation unit 103 identifies the boundary B that is the smallest rectangle (rectangle) including the region Q. Next, the ratio calculation unit 103 calculates a ratio of the length of the vertical (short side) to the length of the horizontal (long side) of the specified boundary B as the vertical / horizontal ratio. Then, the ratio calculation unit 103 associates the horizontal (long side) length of the boundary B, the vertical (short side) length of the boundary B, and the calculated vertical / horizontal ratio with the image ID in the ratio / weight storage unit 110. Remember.

なお、図６に示す例では、境界Ｂが四角形（長方形）である場合について説明したが、境界Ｂは、例えば、領域Ｑを含む最小の多角形等であっても良い。この場合、比率算出部１０３は、縦横比率の代わりに、例えば、境界Ｂの長さ（すなわち、多角形の周の長さ）等を算出すれば良い。   In the example illustrated in FIG. 6, the case where the boundary B is a quadrangle (rectangular shape) has been described. However, the boundary B may be, for example, the smallest polygon including the region Q. In this case, the ratio calculation unit 103 may calculate, for example, the length of the boundary B (that is, the circumference of the polygon), for example, instead of the aspect ratio.

ステップＳ１０４：体重推定部１０４は、面積算出部１０２により算出された面積から豚Ｐの体重を推定する。面積から体重を推定する方法は、例えば、特開平６−３１８１号公報に開示されている方法を用いれば良い。   Step S104: The weight estimating unit 104 estimates the weight of the pig P from the area calculated by the area calculating unit 102. As a method for estimating the weight from the area, for example, a method disclosed in JP-A-6-3181 may be used.

そして、体重推定部１０４は、推定した体重を画像ＩＤと関連付けて比率・体重記憶部１１０に記憶する。   The weight estimation unit 104 stores the estimated weight in the ratio / weight storage unit 110 in association with the image ID.

以上のステップＳ１０１〜ステップＳ１０４の処理は、１頭の豚Ｐに対して、所定の回数（又は所定の時間の間）、繰り返し実行される。これにより、複数の撮影画像に対して、それぞれ画像ＩＤが付与され、それぞれの画像ＩＤに対して縦横比率及び体重等が関連付けて比率・体重記憶部１１０に記憶される。   The process of the above step S101-step S104 is repeatedly performed with respect to one pig P predetermined times (or during predetermined time). Thus, an image ID is assigned to each of the plurality of captured images, and the aspect ratio and the weight are associated with each image ID and stored in the ratio / weight storage unit 110.

ここで、上記のステップＳ１０１〜ステップＳ１０４の処理が１００回繰り返し実行された場合における比率・体重記憶部１１０を図５に示す。図５に示すように、この場合、比率・体重記憶部１１０には、画像ＩＤ「００１」〜「１００」に対して、縦の長さと、横の長さと、縦横比率と、体重とがそれぞれ関連付けられている。   Here, FIG. 5 shows the ratio / weight storage unit 110 when the processes in steps S101 to S104 are repeatedly executed 100 times. As shown in FIG. 5, in this case, the ratio / weight storage unit 110 stores the vertical length, the horizontal length, the vertical / horizontal ratio, and the weight for the image IDs “001” to “100”, respectively. Associated.

なお、比率・体重記憶部１１０には、少なくとも縦横比率と体重とが関連付けて記憶されていれば良い。したがって、例えば、比率・体重記憶部１１０には、縦の長さや横の長さ等が記憶されていなくても良い。   The ratio / weight storage unit 110 only needs to store at least the aspect ratio and the weight in association with each other. Accordingly, for example, the ratio / weight storage unit 110 may not store the vertical length, the horizontal length, or the like.

このように、１頭の豚Ｐに対して、上記のステップＳ１０１〜ステップＳ１０４の処理が繰り返し実行されることで、複数の体重（の推定値）と、当該体重に対応する縦横比率とが関連付けられる。   As described above, by repeatedly executing the processes of steps S101 to S104 for one pig P, a plurality of body weights (estimated values thereof) and the aspect ratios corresponding to the body weights are associated with each other. It is done.

ステップＳ１０５：特定部１０５は、比率・体重記憶部１１０に記憶されている体重のうち、最適比率記憶部１２０に記憶されている最適比率に最も近い縦横比率が関連付けられている体重を特定する。   Step S105: The specifying unit 105 specifies the weight associated with the aspect ratio closest to the optimum ratio stored in the optimum ratio storage unit 120 among the weights stored in the ratio / weight storage unit 110.

例えば、最適比率記憶部１２０に記憶されている最適比率が「２．０」である場合、特定部１０５は、図５に示す比率・体重記憶部１１０に記憶されている体重のうち、縦横比率「２．０」に関連付けられている体重「１１３．６」を特定する。このように特定された体重が、誤差が最も少ない体重である。   For example, when the optimum ratio stored in the optimum ratio storage unit 120 is “2.0”, the specifying unit 105 determines the aspect ratio of the weights stored in the ratio / weight storage unit 110 illustrated in FIG. The weight “113.6” associated with “2.0” is specified. The weight thus specified is the weight with the least error.

なお、特定部１０５は、比率・体重記憶部１１０に記憶されている体重のうち、最適比率記憶部１２０に記憶されている最適比率から所定の範囲内（例えば、「１．９」〜「２．１」等）にある縦横比率が関連付けられている体重を特定しても良い。これにより、最適比率の所定の範囲内に複数の縦横比率が含まれる場合、これら複数の縦横比率にそれぞれ対応付けられた複数の体重を特定することができる。   Note that the specifying unit 105 is within a predetermined range from the optimal ratio stored in the optimal ratio storage unit 120 among the weights stored in the ratio / weight storage unit 110 (for example, “1.9” to “2” .1 ”etc.) may be specified. Thereby, when a plurality of aspect ratios are included within a predetermined range of the optimum ratio, a plurality of weights respectively associated with the plurality of aspect ratios can be specified.

また、上記のステップＳ１０３で、縦横比率の代わりに、例えば、境界Ｂの長さ等が算出された場合、最適比率の代わりに、境界Ｂの最適な長さ等が用いられる。   In step S103, for example, when the length of the boundary B is calculated instead of the aspect ratio, the optimal length of the boundary B is used instead of the optimal ratio.

ステップＳ１０６：出力部１０６は、特定部１０５により特定された体重を出力する。これにより、体重推定部１０４により推定された体重のうち、誤差が最も少ない体重が出力される。   Step S106: The output unit 106 outputs the body weight specified by the specifying unit 105. As a result, the weight with the smallest error among the weights estimated by the weight estimation unit 104 is output.

以上により、本実施形態に係る体重出力システム１では、体重の推定対象である豚Ｐを撮影した撮影画像から推定される体重のうち、誤差が最も少ない体重をユーザ等に提示することができる。なお、複数の豚Ｐの体重を推定及び出力する場合は、豚Ｐ毎に、上記のステップＳ１０１〜ステップＳ１０６の処理を行えば良い。   As described above, in the weight output system 1 according to the present embodiment, it is possible to present to the user, etc., the weight with the smallest error among the weights estimated from the captured image obtained by photographing the pig P that is the weight estimation target. In addition, when estimating and outputting the weight of several pigs P, the process of said step S101-step S106 should just be performed for every pig P.

図３に示す体重出力処理では、複数の画像それぞれについてステップＳ１０１〜ステップＳ１０４を繰り返し実行した後、最適比率に最も近い縦横比率が対応付けられている体重を特定した（ステップＳ１０５）が、これに限られない。例えば、複数の画像それぞれについてステップＳ１０１〜ステップＳ１０５を繰り返し実行し、当該繰り返し中に、最適比率と所定の範囲内にある縦横比率があった場合、当該縦横比率に対応付けられている体重を出力するようにしても良い。   In the weight output process shown in FIG. 3, after repeatedly executing Steps S101 to S104 for each of a plurality of images, the weight associated with the aspect ratio closest to the optimum ratio is specified (Step S105). Not limited. For example, step S101 to step S105 are repeatedly executed for each of a plurality of images, and when there is an aspect ratio within the predetermined range within the optimum ratio during the repetition, the weight associated with the aspect ratio is output. You may make it do.

また、上記のステップＳ１０５を繰り返し実行して複数の体重を特定した上で、これら複数の体重について、平均の算出や分散の算出等の統計的な処理を行うことで、最終的な体重を特定しても良い。より具体的には、例えば、上記のステップＳ１０５をＮ回繰り返し実行して、最適比率に近い上位Ｎ件の縦横比率にそれぞれ関連付けられているＮ件の体重を特定する。そして、これらＮ件の体重に対して統計的な処理を行った結果（例えば、Ｎ件の体重の平均値等）を、最終的な体重としても良い。   In addition, the above-described step S105 is repeatedly executed to specify a plurality of weights, and then the final weight is specified by performing statistical processing such as calculating the average and calculating the variance for the plurality of weights. You may do it. More specifically, for example, the above-described step S105 is repeatedly executed N times to identify N weights respectively associated with the top N horizontal and vertical ratios close to the optimal ratio. And the result (for example, the average value of N body weights, etc.) which performed the statistical process with respect to these N body weights is good also as final weight.

本実施形態に係る体重出力システム１では、カメラ装置２０により、撮影エリアＡ内の豚Ｐを真上から撮影する場合について説明したが、これに限られない。カメラ装置２０は、例えば、撮影エリアＡ内の豚Ｐを斜め上方から撮影しても良いし、真横から撮影しても良い。ただし、この場合、最適比率記憶部１２０に記憶される最適比率の値は、撮影方向に応じて異なり得る。   In the weight output system 1 according to the present embodiment, the case has been described in which the camera device 20 images the pig P in the imaging area A from directly above, but is not limited thereto. For example, the camera device 20 may shoot the pig P in the shooting area A from diagonally above or from the side. However, in this case, the value of the optimum ratio stored in the optimum ratio storage unit 120 may vary depending on the shooting direction.

＜推定対象の面積及び縦横比率の算出の他の例＞
ここで、上記のステップＳ１０１において、取得部１０１により取得された撮影画像Ｇに含まれる領域Ｑに対して、所定の画像処理が行われても良い。例えば、図６に示すように、領域Ｑを加工して、豚Ｐの頭部に相当する部分の領域を除去した領域Ｑ´としても良い。この場合、上記のステップＳ１０２では、領域Ｑ´の面積が算出される。 <Other examples of calculation of area and aspect ratio of estimation target>
Here, in step S101 described above, predetermined image processing may be performed on the region Q included in the captured image G acquired by the acquisition unit 101. For example, as shown in FIG. 6, a region Q ′ may be formed by processing a region Q and removing a region corresponding to the head of the pig P. In this case, in the above step S102, the area of the region Q ′ is calculated.

また、この場合、図６に示すように、上記のステップＳ１０３では、領域Ｑ´を含む最小の四角形である境界Ｂ´を特定される。したがって、上記のステップＳ１０３では、境界Ｂ´の縦横比率が算出される。   In this case, as shown in FIG. 6, in step S <b> 103, the boundary B ′ that is the smallest rectangle including the region Q ′ is specified. Therefore, in step S103 described above, the aspect ratio of the boundary B ′ is calculated.

このように、豚Ｐの頭部に相当する部分の領域を除去するような画像処理を行っても良い。又は、頭部のうち耳の部分に相当する領域や尻尾に相当する部分の領域等を除去するような画像処理を行っても良い。このような画像処理を行うことで、より誤差の少ない体重を出力することができる。これは、頭部や耳、尻尾等は、カメラ装置２０で撮影する際に動くため、誤差の発生に影響するためである。   In this way, image processing that removes a region corresponding to the head of the pig P may be performed. Alternatively, image processing may be performed so as to remove the region corresponding to the ear portion, the portion corresponding to the tail portion, or the like of the head. By performing such image processing, a weight with less error can be output. This is because the head, ears, tail, and the like move when shooting with the camera device 20 and affect the generation of errors.

＜体重出力処理の他の例＞
以降では、体重出力処理の他の例について、図７を参照しながら説明する。図７は、本実施形態に係る体重出力処理の他の例を示すフローチャートである。なお、図７のステップＳ２０１〜ステップＳ２０２は、図３のステップＳ１０１〜ステップＳ１０２とそれぞれ同様であるため、その説明を省略する。 <Other examples of weight output processing>
Hereinafter, another example of the weight output process will be described with reference to FIG. FIG. 7 is a flowchart showing another example of the weight output process according to the present embodiment. Note that steps S201 to S202 in FIG. 7 are the same as steps S101 to S102 in FIG.

ステップＳ２０３：特定部１０５は、比率算出部１０３により算出された縦横比率と、最適比率記憶部１２０に記憶されている最適比率とが一致するか否かを判定する。   Step S203: The specifying unit 105 determines whether or not the aspect ratio calculated by the ratio calculation unit 103 matches the optimum ratio stored in the optimum ratio storage unit 120.

比率算出部１０３により算出された縦横比率と、最適比率記憶部１２０に記憶されている最適比率とが一致すると判定された場合、ステップＳ２０４に進む。一方で、比率算出部１０３により算出された縦横比率と、最適比率記憶部１２０に記憶されている最適比率とが一致すると判定されなかった場合、ステップＳ２０１に戻る。これにより、比率算出部１０３により算出された縦横比率が、最適比率と一致するまで、ステップＳ２０１〜ステップＳ２０３が繰り返し実行される。   When it is determined that the aspect ratio calculated by the ratio calculation unit 103 matches the optimum ratio stored in the optimum ratio storage unit 120, the process proceeds to step S204. On the other hand, when it is not determined that the aspect ratio calculated by the ratio calculation unit 103 matches the optimum ratio stored in the optimum ratio storage unit 120, the process returns to step S201. Thereby, step S201-step S203 are repeatedly performed until the aspect ratio calculated by the ratio calculation part 103 corresponds with an optimal ratio.

なお、上記のステップＳ２０３では、比率算出部１０３により算出された縦横比率と、最適比率とが一致するか否かを判定したが、これに限られず、例えば、比率算出部１０３により算出された縦横比率が、最適比率から所定の範囲内である否かを判定しても良い。これにより、最適比率に近い縦横比率が算出された場合に、ステップＳ２０４以降の処理を実行することができる。   In step S203 described above, it is determined whether the vertical / horizontal ratio calculated by the ratio calculation unit 103 matches the optimal ratio. However, the present invention is not limited to this. For example, the vertical / horizontal ratio calculated by the ratio calculation unit 103 is determined. It may be determined whether or not the ratio is within a predetermined range from the optimal ratio. Thereby, when the aspect ratio close to the optimum ratio is calculated, the processing after step S204 can be executed.

ステップＳ２０４：面積算出部１０２は、上記のステップＳ２０３で判定された縦横比率（すなわち、例えば、最適比率と一致する縦横比率）の算出に用いられた撮影画像における豚Ｐを示す領域の面積を算出する。なお、面積の算出は、例えば、上記のステップＳ２０３の前に行われても良い。   Step S204: The area calculation unit 102 calculates the area of the region indicating the pig P in the photographed image used for calculating the aspect ratio determined in step S203 (that is, the aspect ratio that matches the optimal ratio, for example). To do. Note that the calculation of the area may be performed, for example, before the above step S203.

ステップＳ２０５：体重推定部１０４は、図３のステップＳ１０４と同様に、面積算出部１０２により算出された面積から豚Ｐの体重を推定する。   Step S205: The weight estimation unit 104 estimates the weight of the pig P from the area calculated by the area calculation unit 102, as in step S104 of FIG.

ステップＳ２０６：出力部１０６は、体重推定部１０４により推定された体重を出力する。これにより、最適比率と一致する縦横比率が算出された場合（又は、最適比率に近い縦横比率が算出された場合）に、当該縦横比率の算出に用いられた撮影画像から豚Ｐの体重を推定及び出力することができる。したがって、この場合、図３の体重出力処理と異なり、撮影画像毎に、豚Ｐの体重を推定及び記憶しておく必要がなく、より簡易に豚Ｐの体重を得ることができる。   Step S206: The output unit 106 outputs the weight estimated by the weight estimation unit 104. Thereby, when the aspect ratio that matches the optimum ratio is calculated (or when the aspect ratio close to the optimum ratio is calculated), the weight of the pig P is estimated from the captured image used for calculating the aspect ratio. And can output. Therefore, in this case, unlike the weight output process of FIG. 3, there is no need to estimate and store the weight of the pig P for each captured image, and the weight of the pig P can be obtained more easily.

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。   The present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.

１ 体重出力システム
１０ 体重出力装置
２０ カメラ装置
１００ 体重出力処理部
１０１ 取得部
１０２ 面積算出部
１０３ 比率算出部
１０４ 体重推定部
１０５ 特定部
１０６ 出力部
１１０ 比率・体重記憶部
１２０ 最適比率記憶部 DESCRIPTION OF SYMBOLS 1 Weight output system 10 Weight output device 20 Camera apparatus 100 Weight output process part 101 Acquisition part 102 Area calculation part 103 Ratio calculation part 104 Weight estimation part 105 Specification part 106 Output part 110 Ratio / weight storage part 120 Optimal ratio storage part

Claims (7)

体重の推定対象を撮影した画像を取得する取得手段と、
前記取得手段が取得した前記画像における前記推定対象を示す領域の面積に基づいて、該推定対象の体重を推定する推定手段と、
前記取得手段が取得した前記画像における前記領域に基づいて、所定の指標値を算出する算出手段と、
前記推定手段が推定した前記体重と、前記算出手段が算出した前記指標値とを関連付けて記憶部に記憶させる記憶手段と、
前記記憶部に記憶されている体重のうち、予め決定された最適指標値と所定の範囲内である指標値と関連付けられている体重を特定する特定手段と、
前記特定手段が特定した前記体重を出力する出力手段と、
を有することを特徴とする体重出力装置。 An acquisition means for acquiring an image obtained by imaging a weight estimation target;
Estimation means for estimating the weight of the estimation target based on the area of the region indicating the estimation target in the image acquired by the acquisition means;
Calculation means for calculating a predetermined index value based on the region in the image acquired by the acquisition means;
Storage means for associating the weight estimated by the estimation means with the index value calculated by the calculation means in a storage unit;
Among the weights stored in the storage unit, a specifying means for specifying a weight associated with a predetermined optimum index value and an index value within a predetermined range;
Output means for outputting the weight specified by the specifying means;
A weight output apparatus comprising: 前記算出手段は、
前記領域を含む最小の矩形領域の縦横比率を前記指標値として算出する、ことを特徴とする請求項１に記載の体重出力装置。 The calculating means includes
The weight output apparatus according to claim 1, wherein an aspect ratio of a minimum rectangular area including the area is calculated as the index value. 前記特定手段は、
前記記憶部に記憶されている体重のうち、前記最適指標値と最も近い値の指標値と関連付けられている体重を特定する、ことを特徴とする請求項１又は２に記載の体重出力装置。 The specifying means is:
3. The weight output apparatus according to claim 1, wherein among the weights stored in the storage unit, the weight associated with the index value closest to the optimum index value is specified. 前記特定手段は、
前記記憶部に記憶されている体重のうち、前記最適指標値と所定の範囲内である指標値とそれぞれ関連付けられている複数の体重を特定し、特定した複数の体重の統計値を算出し、
前記出力手段は、
前記特定手段が特定した前記統計値を、前記体重として出力する、ことを特徴とする請求項１又は２に記載の体重出力装置。 The specifying means is:
Among the weights stored in the storage unit, identify a plurality of weights respectively associated with the optimum index value and an index value within a predetermined range, calculate a statistical value of the plurality of identified weights,
The output means includes
The weight output apparatus according to claim 1, wherein the statistical value specified by the specifying unit is output as the weight. 前記推定対象は、家畜である、ことを特徴とする請求項１乃至４の何れか一項に記載の体重出力装置。   The weight output apparatus according to claim 1, wherein the estimation target is livestock. 体重の推定対象を撮影した画像を取得する取得手順と、
前記取得手順が取得した前記画像における前記推定対象を示す領域の面積に基づいて、該推定対象の体重を推定する推定手順と、
前記取得手順が取得した前記画像における前記領域に基づいて、所定の指標値を算出する算出手順と、
前記推定手順が推定した前記体重と、前記算出手順が算出した前記指標値とを関連付けて記憶部に記憶させる記憶手順と、
前記記憶部に記憶されている体重のうち、予め決定された最適指標値と所定の範囲内である指標値と関連付けられている体重を特定する特定手順と、
前記特定手順が特定した前記体重を出力する出力手順と、
をコンピュータが実行することを特徴とする体重出力方法。 An acquisition procedure for acquiring an image of a weight estimation target;
An estimation procedure for estimating the weight of the estimation target based on the area of the region indicating the estimation target in the image acquired by the acquisition procedure;
A calculation procedure for calculating a predetermined index value based on the region in the image acquired by the acquisition procedure;
A storage procedure for storing the weight estimated by the estimation procedure and the index value calculated by the calculation procedure in a storage unit;
Among the weights stored in the storage unit, a specific procedure for specifying a weight associated with a predetermined optimum index value and an index value within a predetermined range;
An output procedure for outputting the weight specified by the specifying procedure;
A weight output method characterized in that the computer executes. コンピュータを、請求項１乃至５の何れか一項に記載の体重出力装置における各手段として機能させるためのプログラム。   The program for functioning a computer as each means in the weight output device as described in any one of Claims 1 thru | or 5.
JP2017168648A 2017-09-01 2017-09-01 Weight output device, weight output method and program Active JP6559197B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017168648A JP6559197B2 (en) 2017-09-01 2017-09-01 Weight output device, weight output method and program
PCT/JP2018/008538 WO2019044001A1 (en) 2017-09-01 2018-03-06 Weight output device, weight output method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017168648A JP6559197B2 (en) 2017-09-01 2017-09-01 Weight output device, weight output method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019130938A Division JP2019203901A (en) 2019-07-16 2019-07-16 Body weight output device, body weight output method and program

Publications (2)

Publication Number Publication Date
JP2019045304A JP2019045304A (en) 2019-03-22
JP6559197B2 true JP6559197B2 (en) 2019-08-14

Family

ID=65525266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017168648A Active JP6559197B2 (en) 2017-09-01 2017-09-01 Weight output device, weight output method and program

Country Status (2)

Country Link
JP (1) JP6559197B2 (en)
WO (1) WO2019044001A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166894A1 (en) * 2020-02-18 2021-08-26

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170295B2 (en) * 2019-06-21 2022-11-14 パナソニックＩｐマネジメント株式会社 ANIMAL INFORMATION MANAGEMENT SYSTEM AND ANIMAL INFORMATION MANAGEMENT METHOD
JP7301139B2 (en) * 2019-09-06 2023-06-30 日本ハム株式会社 GROWTH EVALUATION DEVICE, GROWTH EVALUATION METHOD, AND GROWTH EVALUATION PROGRAM
CN110672189A (en) * 2019-09-27 2020-01-10 北京海益同展信息科技有限公司 Weight estimation method, device, system and storage medium
JP2021063774A (en) * 2019-10-17 2021-04-22 株式会社ノア Body weight estimation device
WO2021191975A1 (en) * 2020-03-23 2021-09-30 Ｎｔｔテクノクロス株式会社 Body weight estimation device, body weight estimation method, and program
JPWO2021191976A1 (en) * 2020-03-23 2021-09-30
JP7445612B2 (en) 2021-01-18 2024-03-07 日本ハム株式会社 Pig breeding support device, pig breeding support method, and pig breeding support program
WO2022181132A1 (en) * 2021-02-25 2022-09-01 パナソニックＩｐマネジメント株式会社 Body weight estimation system and body weight estimation method
WO2022181131A1 (en) * 2021-02-25 2022-09-01 パナソニックＩｐマネジメント株式会社 Body weight estimation system and body weight estimation method
JP7083201B1 (en) * 2021-08-25 2022-06-10 株式会社コーンテック Information processing system, information processing method and program
CN114001810A (en) * 2021-11-08 2022-02-01 厦门熵基科技有限公司 Weight calculation method and device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002286421A (en) * 2001-03-28 2002-10-03 Hideo Minagawa Apparatus for measuring weight of animal
WO2010127277A2 (en) * 2009-05-01 2010-11-04 Texas Tech University System Remote contactless stereoscopic mass estimation system
AU2010219406B2 (en) * 2010-05-19 2013-01-24 Plf Agritech Pty Ltd Image analysis for making animal measurements
US8755570B2 (en) * 2011-04-27 2014-06-17 Steve Gomas Apparatus and method for estimation of livestock weight
WO2013099271A1 (en) * 2011-12-28 2013-07-04 山田電器工業株式会社 Dimension measuring method, electronic device with camera, and program for electronic device with camera
US10895491B2 (en) * 2016-06-03 2021-01-19 Optim Corporation Animal weight estimation system, animal weight estimation method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166894A1 (en) * 2020-02-18 2021-08-26
JP7210862B2 (en) 2020-02-18 2023-01-24 国立大学法人 宮崎大学 Weight estimation device and program

Also Published As

Publication number Publication date
WO2019044001A1 (en) 2019-03-07
JP2019045304A (en) 2019-03-22

Similar Documents

Publication Publication Date Title
JP6559197B2 (en) Weight output device, weight output method and program
JP6669243B2 (en) Monitoring device, monitoring method, and monitoring program
US10475211B2 (en) Method, information processing apparatus and non-transitory computer-readable storage medium
NZ738150A (en) System and method for identification of individual animals based on images of the back
JP7108941B2 (en) ANIMAL INFORMATION MANAGEMENT SYSTEM AND ANIMAL INFORMATION MANAGEMENT METHOD
CN109640641B (en) Bait casting system, image processing device and image processing method
JP7481550B2 (en) Body weight estimation device, body weight estimation method, and program
JP2018207252A5 (en)
JP2019203901A (en) Body weight output device, body weight output method and program
KR20230094873A (en) Method and apparatus for broiler data processing
WO2023041904A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
JP2020156393A (en) Behavior detection program, behavior detection method and behavior detection system
JP2018042237A5 (en)
JP2020058277A (en) Detection device, detection method and program
US20220354091A1 (en) Animal information management system and animal information management method
JP2022079489A (en) Determination device, determination method and program
JP7310925B2 (en) Movement speed estimation device, feeding determination device, movement speed estimation method, and movement speed estimation program
WO2021191976A1 (en) Weight estimation device, weight estimation method, and program
CN112785620A (en) Animal identity identification method, device and system
CN110895694A (en) Farrowing monitoring method and device, electronic equipment and computer-readable storage medium
JP7414962B2 (en) Weight estimation device, weight estimation method and program
CN110836715A (en) Moving body weight measurement system and moving body weight measurement method
WO2023195004A1 (en) A system and method for determining the readiness of suckling mammals for weaning
CN114067144A (en) State adjusting method and device, storage medium and electronic equipment
KR20220116749A (en) Poultry weIght estImatIon system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190227

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190716

R150 Certificate of patent or registration of utility model

Ref document number: 6559197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250