CN113222939A - 一种基于拇指甲标定的食物图像体积计算方法 - Google Patents

一种基于拇指甲标定的食物图像体积计算方法 Download PDF

Info

Publication number
CN113222939A
CN113222939A CN202110531536.6A CN202110531536A CN113222939A CN 113222939 A CN113222939 A CN 113222939A CN 202110531536 A CN202110531536 A CN 202110531536A CN 113222939 A CN113222939 A CN 113222939A
Authority
CN
China
Prior art keywords
thumb
image
food
view
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110531536.6A
Other languages
English (en)
Other versions
CN113222939B (zh
Inventor
徐荣华
马文军
纪桂元
宋亚男
黎安民
蒋琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG PROVINCIAL INSTITUTE OF PUBLIC HEALTH
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110531536.6A priority Critical patent/CN113222939B/zh
Publication of CN113222939A publication Critical patent/CN113222939A/zh
Application granted granted Critical
Publication of CN113222939B publication Critical patent/CN113222939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于拇指甲标定的食物图像体积计算方法，拇指甲标定食物体积估算方法主要是通过使用拇指甲、拇指和识别食物的图像进行训练，得到预测食物种类与其外轮廓模型；然后使用该模型测试拍摄的三视图像，得出拇指甲和目标食物的外轮廓信息；再者根据外轮廓信息，求得拇指甲的实际宽度与图像之间的映射关系和目标食物的实际与图像之间的映射关系；最后利用这两个映射关系，估算出目标食物的实际体积。该体积计算方法对拇指甲作为标定物进行验证，提高了算法的合理性和通用性，同时体积估算过程中尽可能拟合食物表面，将不规则物体求体积问题转为规则物体求体积问题，优化对侧视图的最大横截面的使用，算法精度高并减少了空间复杂度。

Description

一种基于拇指甲标定的食物图像体积计算方法
技术领域
本发明涉及一种食物体积计算方法，具体涉及一种基于拇指甲标定的食物图像体积计算方法。
背景技术
食物的重量是最直观的饮食摄入量的衡量标准，但该指标在外就餐时因缺乏测量工具而不容易获得，故在外就餐时对于饮食摄入量的管控成了难点。随着图像采集和识别的技术发展，通过图像估算出体积成为可能。重量由体积和密度构成，密度可以提前通过排水法和称重相结合的方式所得。将密度作为定值，就可以把食物摄入量的重量问题转变为体积估算问题。通过图像的食物体积估算方法，关键点在于如何最大程度使用食物表面信息和处理好目标食物实际与在图像中映射关系。现有估算体积的方法有以下几种：第一种是用手掌作为参照物，使用3D模型拟合三视图的物体截面，从而进行体积估算；第二种是利用3D模型嵌入拟合食物外部形状进行体积计算；第三种是通过基于三角原理和图像特征匹配的双目摄像头进行体积计算；第四种是使用点云拟合表面并建立3D模型再进行体积的计算。但是上述估算体积的方法存在以下问题：
1、用手掌作为参照物计算体积的方法，需要提前度量手掌实际宽度，并且不同的人手掌宽度差异明显，该估算过程繁琐，不具有通用性。
2、3D模型嵌入计算体积的方法，对于表面不规则的食物拟合效果差，缺乏实用性。
3、双目摄像头计算体积的方法，食物表面信息利用十分有限，容易造成体积估算误差大，从而使得计算精度低下。
4、点云为基础的3D建模计算体积的方法，测量仪器昂贵，测量过程耗时长，运算成本高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于拇指甲标定的食物图像体积计算方法，该体积计算方法对拇指甲作为标定物进行验证，提高了算法的合理性和通用性，同时体积估算过程中尽可能拟合食物表面，将不规则物体求体积问题转变为规则物体求体积问题，优化对侧视图的最大横截面的使用，提高了算法的精度并减少了空间复杂度。
本发明解决上述技术问题的技术方案是：
一种基于拇指甲标定的食物图像体积计算方法，其特征在于，包括以下步骤：
(1)获取三视图得出拇指甲以及目标食物的外轮廓信息；
(2)求取拇指甲的实际宽度跟图像的映射关系；
(3)求取目标食物跟图像的映射关系；
(4)求得目标食物的实际体积；
其中，在步骤(1)中，包括以下步骤：
A1、收集拇指甲、拇指以及食物的图像；
A2、将图像作为数据集训练得到物体种类与其外轮廓的识别预测模型；
A3、使用所述识别预测模型测试实际拍摄的三视图，得出拇指甲和目标食物的外轮廓坐标以及矩形识别框的坐标信息；
在步骤(2)中，包括以下步骤：
B1、设置拇指甲的实际宽度参考值wt；
B2、利用拇指的外轮廓信息，求出拇指外轮廓最小外接矩形的中位线，计算拇指的摆放角度；
B3、测算拇指在图像上的摆放角度，结合拇指甲的外轮廓信息，求得拇指甲宽度对应在图像中wx个像素；
B4、根据拇指甲的实际宽度，计算求得实际1厘米在图像上对应α个像素；
在步骤(3)中，包括以下步骤：
C1、利用对目标食物的外轮廓坐标和掩膜信息，进行投影和二值化处理；
C2、对投影图进行切分，当切分过程步长足够小时，每一份切分的投影近似于矩形，其面积等于步长乘以对应分切线与外轮廓交点的距离；
C3、对正视图以步长β个像素均匀切分，得到γ份，每一份投影的像素之和sFi除以αF的平方得到对应的实际真实投影面积，其中所述αF为正视图实际1厘米对应图像像素的个数；每一份实际真实投影面积之和就是目标食物在真实环境下的正视图面积；
C4、对俯视图以步长η个像素均匀切分，得到γ份，每一份投影的像素之和sTi除以η近似等于对应分切线与外轮廓交点的距离dTi，dTi除以αT得到对应的实际真实投影的宽度；
在步骤(4)中，包括以下步骤：
D1、切分正视图以及俯视图的过程，每一份切割的投影近似一个矩形，将矩形组合成片状的长方体；
D2、计算侧视图的总面积Ss；
D3、根据侧视图像经过识别预测模型的实例分割结果，得出目标食物矩形识别框的长和宽；
D4、运用每个长方体截面对该矩形识别框的比例关系，以及目标食物每份切分截面对侧视图投影的形状近似关系，对若干个长方体进一步收敛；对若干个收敛后的长方体的体积进行累计，得出目标食物的实际体积。
优选地，在步骤A1中，通过爬虫技术在网上爬取多种菜品图像，将菜品、拇指以及拇指甲共同作为识别类；其中，使用20种菜品，每种菜品为2000张照片，拇指以及拇指甲样本均为1000张。
优选地，在步骤A2中，首先，使用Mask R-CNN网络结构训练多种食物图像、拇指图像以及拇指甲图像；接下来，经过100次迭代，每次迭代样本量为2000，从而得到食物、拇指以及拇指甲的识别预测模型。
优选地，在步骤A3中，包括以下步骤：
1)拍摄三视图，其中，所述三视图中的目标物包括拇指、拇指甲以及目标食物；
2)对该三张图像处理，判断是否为3通道RGB格式，若不是，则将图片格式转换为3通道RGB格式；
3)通过识别预测模型对三视图进行测试，得到菜品种类带有掩膜的图像，该图像中分别囊括食物和拇指甲的矩形识别框四角坐标以及记录食物、拇指和拇指甲外轮廓在图像中的坐标信息；
4)判断三张视图是否都识别出拇指甲，识别出则进行下一步；
5)设置下标号，其中，俯视图、正视图以及侧视图的下标号分别是T、F以及S，目标食物、拇指以及拇指甲的下标号分别是f、p以及t，矩形框坐标以及外轮廓坐标的下标号分别是r以及o；
6)设目标食物的外轮廓最左端的坐标为(xTfr1，yTfr1)，从最左端开始顺时针顺序获取外轮廓坐标，并集合成坐标列表：
{(xTfo1，yTfo1)，(xTfo2，yTfo2)，(xTfo3，yTfo3)，...，...，(xTfon，yTfon)}；
设拇指甲的外轮廓最左端的坐标为(xTpo1，yTpo1)，从最左端开始顺时针顺序获取外轮廓坐标，并集合成坐标列表：
{(xTpo1，yTfo1)，(xTpo2，yTfo2)，(xTpo3，yTpo3)，...，...，(xTpon，yTpon)}。
优选地，在步骤B1中，包括以下步骤：
1)对拇指甲取样并进行测量、拍摄三视图；
2)对测量数据处理，整理出测量结果；
3)分析测量结果，拇指甲宽度为1.4至1.6厘米的成年人为绝大多数，以拇指甲为标定物是合理的；拇指甲盖宽度在成年人样本中与性别有关，拇指甲盖宽度wt作为标定权重，将性别信息嵌入其中，则设置以下标定值：男：wt＝1.6，女：wt＝1.4，默认：wt＝1.5。
优选地，在步骤B4中，包括以下步骤：
1)利用拇指的外轮廓坐标点集，获得四个端点p1，p2，p3，p4，四个端点分别含有最大x坐标，最大y坐标，最小x坐标，最小y坐标；
2)通过四个端点构造拇指外轮廓的切线；
3)若一条或者多条切线与外轮廓中一条边或者另外一个切点重合，计算取得当前四条切线决定的的矩形面积并记录在矩形面积集合内；
4)顺时针旋转切线直到其中一条切线与拇指外轮廓的一条边或者另外一个切点重合；
5)计算新矩形的面积，并且记录在矩形面积集合内，保存对应矩形信息。
6)重复步骤4)和步骤5)，直到切线旋转角度大于90°；
7)在集合内求得拇指的外接最小矩形；
8)获取当前最小矩形相对于窄边的中位线，求中位线相对于图像底边的夹角(范围为0°-90°)，设拇指甲宽度对应在图像中wx个像素，以正视图视角为例，判断以下三种情况：
若夹角θ为0°时：
wFx＝yFtr1-yFtr3；
若夹角θ为90°时：
wFx＝xFtr1-xFtr2；
若夹角θ为非0°非90°时：
设中位线与拇指甲外轮廓相交于A，B两点，从A点开始到B点，做垂直于中位线的l线，求l线与拇指甲外轮廓的相交点之间的最大距离，设l线与拇指甲外轮廓的相交点为(xFtoi，yFtoi)，(xFtom，yFtom)，两点之间的距离最大，其中i，m为数值序号，则：
Figure BDA0003066588350000061
9)计算三视图中各张图像中实际长度对应图像像素个数的比率，设三视图中各张图像中实际1厘米长度对应图像α个像素宽度，wt为拇指甲实际宽度，以正视图视角为例，其公式为：
Figure BDA0003066588350000062
其它视图依次类推，求得实际1厘米在图像上对应α个像素。
优选地，在步骤C1中，计算目标食物在投影视图上的长度wTf，wFf，wSf，即：
Figure BDA0003066588350000063
Figure BDA0003066588350000064
Figure BDA0003066588350000065
从而求得目标食物分别在俯视图、主视图以及侧视图中的长度wTf，wFf，wSf。优选地，在步骤D3中，目标食物矩形识别框的长wsf为：
wSf＝xsfr1-xSfr2；
目标食物矩形识别框的宽HSf为：
HSf＝ysfr1-ySfr3；
从而求出目标食物矩形识别框的长和宽。
优选地，在步骤D4中，包括以下步骤：
1)求取比例关系，目标食物矩形识别框的长与第i个长方体截面的长对应比例关系kli：
Figure BDA0003066588350000071
目标食物矩形识别框的宽与第i个长方体截面的宽对应比例关系khi：
Figure BDA0003066588350000072
2)根据步骤1)求得的比例关系，将侧视图投影对于各个长方体截面按比例缩放进行内嵌；
3)根据内嵌面积与对应长方体截面面积的比例关系，对各个长方体进行收敛；
4)最后对所有收敛后的长方体进行体积累计，估算出目标食物的最终体积；
5)设第i个未收敛的长方体体积vzi，则有
Figure BDA0003066588350000073
则第i个收敛后的长方体体积vi为：
Figure BDA0003066588350000074
其中
Figure BDA0003066588350000075
为侧视图的投影对于其矩形识别框面积比；
则目标食物的实际体积为
Figure BDA0003066588350000076
最终求得目标食物的实际体积V。
本发明与现有技术相比具有以下的有益效果：
1、本发明的基于拇指甲标定的食物图像体积计算方法，在外就餐时，通过手机拍摄目标食物即可得出食物的实际体积，根据体积、密度以及重量的关系得出目标食物的重量，相比于传统的通过食谱获取食物重量的方法，具有更好的时效性。
2、本发明的基于拇指甲标定的食物图像体积计算方法，能够很好的拟合表面规则以及不规则的目标食物的体积。将拇指甲作为标定物，不仅增加了目标食物体积估算的灵活性，而且对表面规则以及不规则的目标食物均具有良好的测量精度。
3、使用食物在三视图的投影和外轮廓坐标信息，较大程度地缩减了侧视图投影面为食物最大横截面带来的体积估算误差，将拟合不规则问题转变为目标食物切分重构数块片状长方体和每块长方体横截面转变问题，保证了精度的同时减少模型运算复杂度。
附图说明
图1为指甲盖宽度示意图。
图2为步骤(2)的工作流程示意图。
图3为步骤(3)的工作流程示意图。
图4为步骤(4)的工作流程示意图。
图5为在正视角度下拍摄的示意图。
图6-图8为拇指、拇指甲以及目标食物在不同视图中的外轮廓坐标，其中，图6为正视图，图7为侧视图，图8为俯视图。
图9为拇指外轮廓识别框的示意图。
图10为拇指外轮廓最小矩形的示意图。
图11为拇指宽度所占像素个数的示意图。
图12为投影与二值化处理的示意图。
图13为切分部分的像素之和sFi的示意图。
图14为切分线与外轮廓的交点距离dTi的示意图。
图15为长方体重构的示意图。
图16为在侧视图中目标食物的投影像素之和Ss的示意图。
图17为长方体收敛过程示意图。
图18为本发明的基于拇指甲标定的食物图像体积计算方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1-图4，本发明的一种基于拇指甲标定的食物图像体积计算方法，包括以下步骤：
(1)获取三视图得出拇指甲以及目标食物的外轮廓信息；
(2)求取拇指甲的实际宽度跟图像的映射关系；
(3)求取目标食物跟图像的映射关系；
(4)求得目标食物的实际体积；
其中，在步骤(1)中，包括以下步骤：
A1、收集拇指甲、拇指以及食物的图像；
A2、将图像作为数据集训练得到物体种类与其外轮廓的识别预测模型；
A3、使用所述识别预测模型测试实际拍摄的三视图，得出拇指甲和目标食物的外轮廓坐标以及矩形识别框的坐标信息；
在步骤(2)中，包括以下步骤：
B1、设置拇指甲的实际宽度参考值wt；
B2、利用拇指的外轮廓信息，求出拇指外轮廓最小外接矩形的中位线，计算拇指的摆放角度；
B3、测算拇指在图像上的摆放角度，结合拇指甲的外轮廓信息，求得拇指甲宽度对应在图像中wx个像素；
B4、根据拇指甲的实际宽度，计算求得实际1厘米在图像上对应α个像素；参见图12-图14，在步骤(3)中，包括以下步骤：
C1、利用对目标食物的外轮廓坐标和掩膜信息，进行投影和二值化处理；
C2、对投影图进行切分，当切分过程步长足够小时，每一份切分的投影近似于矩形，其面积等于步长乘以对应分切线与外轮廓交点的距离；
C3、对正视图以步长β个像素均匀切分，得到γ份，每一份投影的像素之和sFi除以αF的平方得到对应的实际真实投影面积，其中，所述αF为正视图实际1厘米对应图像像素的个数；每一份实际真实投影面积之和就是目标食物在真实环境下的正视图面积；
C4、对俯视图以步长η个像素均匀切分，得到γ份，每一份投影的像素之和sTi除以η近似等于对应分切线与外轮廓交点的距离dTi，dTi除以αT得到对应的实际真实投影的宽度；
参见图15-图17，在步骤(4)中，包括以下步骤：
D1、切分正视图以及俯视图的过程，每一份切割的投影近似一个矩形，将矩形组合成片状的长方体；
D2、计算侧视图的总面积Ss；
D3、根据侧视图像经过识别预测模型的实例分割结果，得出目标食物矩形识别框的长和宽；
D4、运用每个长方体截面对该矩形识别框的比例关系，以及目标食物每份切分截面对侧视图投影的形状近似关系，对若干个长方体进一步收敛；对若干个收敛后的长方体的体积进行累计，得出目标食物的实际体积。
本实施例中的步骤A1中，通过爬虫技术在网上爬取多种菜品图像，将菜品、拇指以及拇指甲共同作为识别类；其中，使用20种菜品，每种菜品为2000张照片，拇指以及拇指甲样本均为1000张。
本实施例中的步骤A2中，首先，使用Mask R-CNN网络结构训练多种食物图像、拇指图像以及拇指甲图像；接下来，经过100次迭代，每次迭代样本量为2000，从而得到食物、拇指以及拇指甲的识别预测模型。
参见图5-图8，本实施例中的步骤A3中，包括以下步骤：
1)拍摄三视图，其中，所述三视图中的目标物包括拇指、拇指甲以及目标食物；三张图像拍摄是同一摄像头，分辨率一致的情况下拍摄的，在拍摄三视图时，需要相机拍摄角度正对目标物，拇指放置位置应该在食物中心同一水平线线上，为了防止摄像头因对焦导致的图像边缘畸变，拇指放置位置应该在食物较近位置，在拍摄目标物正视图或者侧视图时，相机应该垂直于水平面，拍摄俯视图时，相机应该水平与水平面，同时应该保证拇指甲在拍摄的图像中是完整的，且拇指在图像上尽量竖直的。
2)对该三张图像处理，判断是否为3通道RGB格式，若不是，则将图片格式转换为3通道RGB格式；
3)通过识别预测模型对三视图进行测试，得到菜品种类带有掩膜的图像，该图像中分别囊括食物和拇指甲的矩形识别框四角坐标以及记录食物、拇指和拇指甲外轮廓在图像中的坐标信息；
4)判断三张视图是否都识别出拇指甲，识别出则进行下一步；
5)设置下标号，其中，俯视图、正视图以及侧视图的下标号分别是T(TopView)、F(Front View)以及S(Side View)，目标食物、拇指以及拇指甲的下标号分别是f(food)、p(pollew)以及t(thum-bnail)，矩形框坐标以及外轮廓坐标的下标号分别是r(rectangularcoordinates)以及o(outer contour coordinates)；
参见图8，以俯视图为例，则：
食物矩形识别框左上角坐标为(xTfr1，yTfr1)，
食物矩形识别框右下角坐标为(xTfr1，yrfr1)，
拇指甲盖矩形识别框左上角坐标为(xTtr1，yTtr1)，
拇指甲盖矩形识别框右下角坐标为(xTtr4，yTtr4)；
6)设目标食物的外轮廓最左端的坐标为(xTfo1，yTfo1)，从最左端开始顺时针顺序获取外轮廓坐标，并集合成坐标列表：
{(xTfo1，yTfo1)，(xTfo2，yTfo2)，(xTfo3，yTfo3)，...，...，(xTfon，yTfon)}；
设拇指甲的外轮廓最左端的坐标为(xTpo1，yTpo1)，从最左端开始顺时针顺序获取外轮廓坐标，并集合成坐标列表：
{(xTpo1，yTfo1)，(xTpo2，yTfo2)，(xTpo3，yTpo3)，...，...，(xTpon，yTpon)}。
本实施例中的步骤B1中，包括以下步骤：
1)在真实环境中随机抽取1000个22岁以上的成年人，其中，男人与女人分别500人，收集实际年龄信息并对他们的拇指甲进行测量并拍摄三视图；
2)对测量数据处理，整理出测量结果；
3)分析测量结果，拇指甲宽度为1.4至1.6厘米的成年人为绝大多数，以拇指甲为标定物是合理的；拇指甲盖宽度在成年人样本中与性别有关，拇指甲盖宽度wt作为标定权重，将性别信息嵌入其中，则设置以下标定值：男：wt＝1.6，女：wt＝1.4，默认：wt＝1.5。
优选地，在步骤B4中，包括以下步骤：
1)利用拇指的外轮廓坐标点集，获得四个端点p1，p2，p3，p4，四个端点分别含有最大x坐标，最大y坐标，最小x坐标，最小y坐标；
2)通过四个端点构造拇指外轮廓的切线；
3)若一条或者多条切线与外轮廓中一条边或者另外一个切点重合，计算取得当前四条切线决定的矩形面积并记录在矩形面积集合内；
4)顺时针旋转切线直到其中一条切线与拇指外轮廓的一条边或者另外一个切点重合；
5)计算新矩形的面积，并且记录在矩形面积集合内，保存对应矩形信息。
6)重复步骤4)和步骤5)，直到切线旋转角度大于90°；
7)在集合内求得拇指的外接最小矩形；
8)获取当前最小矩形相对于窄边的中位线，求中位线相对于图像底边的夹角(范围为0°-90°)，设拇指甲宽度对应在图像中wx个像素，以正视图视角为例，判断以下三种情况：
若夹角θ为0°时：
wFx＝yFtr1-yFtr3：
若夹角θ为90°时：
wFx＝xFtr1-xFtr2；
若夹角θ为非0°非90°时：
设中位线与拇指甲外轮廓相交于A，B两点，从A点开始到B点，做垂直于中位线的l线，求l线与拇指甲外轮廓的相交点之间的最大距离，设l线与拇指甲外轮廓的相交点为(xFtoi，yFtoi)，(xFtom，yFtom)，两点之间的距离最大，其中i，m为数值序号，则：
Figure BDA0003066588350000141
9)计算三视图中各张图像中实际长度对应图像像素个数的比率，设三视图中各张图像中实际1厘米长度对应图像α个像素宽度，wt为拇指甲实际宽度，以正视图视角为例，其公式为：
Figure BDA0003066588350000142
其它视图依次类推，求得实际1厘米在图像上对应α个像素。
本实施例中的步骤C1中，计算目标食物在投影视图上的长度wTf，wFf，wSf，即：
Figure BDA0003066588350000143
Figure BDA0003066588350000144
Figure BDA0003066588350000145
从而求得目标食物分别在俯视图、主视图以及侧视图中的长度wTf，wFf，wSf。本实施例中的步骤D3中，目标食物矩形识别框的长wSf为：
wSf＝xSfr1-xSfr2；
目标食物矩形识别框的宽HSf为：
USf＝ySfr1-ysfr3；
从而求出目标食物矩形识别框的长和宽。
本实施例中的步骤D4中，包括以下步骤：
1)求取比例关系，目标食物矩形识别框的长与第i个长方体截面的长对应比例关系klt：
Figure BDA0003066588350000146
目标食物矩形识别框的宽与第i个长方体截面的宽对应比例关系khi：
Figure BDA0003066588350000147
2)根据步骤1)求得的比例关系，将侧视图投影对于各个长方体截面按比例缩放进行内嵌；
3)根据内嵌面积与对应长方体截面面积的比例关系，对各个长方体进行收敛；
4)最后对所有收敛后的长方体进行体积累计，估算出目标食物的最终体积；
5)设第i个未收敛的长方体体积vzi，则有
Figure BDA0003066588350000151
则第i个收敛后的长方体体积vi为：
Figure BDA0003066588350000152
其中
Figure BDA0003066588350000153
为侧视图的投影对于其矩形识别框面积比；
则目标食物的实际体积为
Figure BDA0003066588350000154
最终求得目标食物的实际体积V。
本发明提出了一种以拇指甲盖作为标定的食物体积估计方法是以拇指甲盖作为标定物，使用拇指甲实际宽度与食物图像的映射关系为基础，解决了使用侧视图投影面为最大横截面对体积估算带来的困难，不但使得测量过程更加灵活，同时更好地拟合不规则食物表面的特征，从而更加精确地估算食物体积；
本发明的一种基于拇指甲标定的食物图像体积计算方法，基于拇指甲作为标定物，映射目标食物体积，省去了以往摄像头标定，需要获取摄像头内部参数的方式，仅以图像像素、识别预测模型以及映射关系为支撑，使得测量过程更加灵活，具有通用性；
本发明的一种基于拇指甲标定的食物图像体积计算方法，将拇指甲作为研究对象，通过实际考察和统计分析验证拇指甲作为标定物的合理性和稳定性；
本发明的一种基于拇指甲标定的食物图像体积计算方法，不仅将需要预测的菜品种类作为识别对象，也将拇指、拇指甲放入识别类型之中。将实际拍摄的三视图都通过识别预测模型进行预测，不但预测结果经过三方印证更加精确，而且输出的预测种类，矩形识别框，外轮廓坐标以及掩模信息可作为体积估计的桥梁；
本发明的一种基于拇指甲标定的食物图像体积计算方法，针对不同的拇指摆放姿态情况(竖直，水平，倾斜)，求拇指甲宽度在图像上占用像素个数的处理方法，使用预测出拇指的外轮廓坐标信息，求其外轮廓的最小矩形，并计算出其最小矩形窄边的中位线于图像底边的倾斜角。通过该倾斜角反映拇指摆放状态，当摆放状态为竖直和水平时，分情况使用拇指甲的矩形识别框，求得拇指甲宽度在图像上占用像素个数；而当摆放状态为倾斜时，拇指甲的外轮廓与拇指外轮廓最小矩形中位线的垂线相交，求交点之间最大距离，进而得到拇指甲宽度在图像上占用像素个数；
本发明的一种基于拇指甲标定的食物图像体积计算方法，利用正视图与俯视图的投影，以及像素与实际物体的长度对应关系，映射组合而成一组片状的长方体，将不规则物体求体积问题转变为一组规则长方体体积累计问题；
本发明的一种基于拇指甲标定的食物图像体积计算方法，解决了使用侧视图投影面为最大横截面对体积估算带来的困难，侧视图投影面近似于食物被均匀切分后各横截面的形态特征，将侧视图投影面进行比例缩放内嵌于对应长方体的横截面，对通过正视图和俯视图映射组合而成的一组片状长方体进行收敛，使其更好地拟合不规则食物表面，更提高了侧视图的利用率，使求得的体积更加精确。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于拇指甲标定的食物图像体积计算方法，其特征在于，包括以下步骤：
(1)获取三视图得出拇指甲以及目标食物的外轮廓信息；
(2)求取拇指甲的实际宽度跟图像的映射关系；
(3)求取目标食物跟图像的映射关系；
(4)求得目标食物的实际体积；
其中，在步骤(1)中，包括以下步骤：
A1、收集拇指甲、拇指以及食物的图像；
A2、将图像作为数据集训练得到物体种类与其外轮廓的识别预测模型；
A3、使用所述识别预测模型测试实际拍摄的三视图，得出拇指甲和目标食物的外轮廓坐标以及矩形识别框的坐标信息；
在步骤(2)中，包括以下步骤：
B1、设置拇指甲的实际宽度参考值wt；
B2、利用拇指的外轮廓信息，求出拇指外轮廓最小外接矩形的中位线，计算拇指的摆放角度；
B3、测算拇指在图像上的摆放角度，结合拇指甲的外轮廓信息，求得拇指甲宽度对应在图像中wx个像素；
B4、根据拇指甲的实际宽度，计算求得实际1厘米在图像上对应α个像素；
在步骤(3)中，包括以下步骤：
C1、利用对目标食物的外轮廓坐标和掩膜信息，进行投影和二值化处理；
C2、对投影图进行切分，当切分过程步长足够小时，每一份切分的投影近似于矩形，其面积等于步长乘以对应分切线与外轮廓交点的距离；
C3、对正视图以步长β个像素均匀切分，得到γ份，每一份投影的像素之和sFi除以αF的平方得到对应的实际真实投影面积。其中，所述αF为正视图实际1厘米对应图像像素的个数；每一份实际真实投影面积之和就是目标食物在真实环境下的正视图面积；
C4、对俯视图以步长η个像素均匀切分，得到γ份，每一份投影的像素之和sTi除以η近似等于对应分切线与外轮廓交点的距离dTi，dTi除以αT得到对应的实际真实投影的宽度；
在步骤(4)中，包括以下步骤：
D1、切分正视图以及俯视图的过程，每一份切割的投影近似一个矩形，将矩形组合成片状的长方体；
D2、计算侧视图的总面积Ss；
D3、根据侧视图像经过识别预测模型的实例分割结果，得出目标食物矩形识别框的长和宽；
D4、运用每个长方体截面对该矩形识别框的比例关系，以及目标食物每份切分截面对侧视图投影的形状近似关系，对若干个长方体进一步收敛；对若干个收敛后的长方体的体积进行累计，得出目标食物的实际体积。
2.根据权利要求1所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤A1中，通过爬虫技术在网上爬取多种菜品图像，将菜品、拇指以及拇指甲共同作为识别类；其中，使用20种菜品，每种菜品为2000张照片，拇指以及拇指甲样本均为1000张。
3.根据权利要求2所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤A2中，首先，使用Mask R-CNN结构网络训练多种食物图像、拇指图像以及拇指甲图像；接下来，经过100次迭代，每次迭代样本量为2000，从而得到食物、拇指以及拇指甲的识别预测模型。
4.根据权利要求3所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤A3中，包括以下步骤：
1)拍摄三视图，其中所述三视图中的目标物包括拇指、拇指甲以及目标食物；
2)对该三张图像处理，判断是否为3通道RGB格式，若不是，则将图片格式转换为3通道RGB格式；
3)通过识别预测模型对三视图进行测试，得到菜品种类带有掩膜的图像，该图像中分别囊括食物和拇指甲的矩形识别框四角坐标以及记录食物、拇指和拇指甲外轮廓在图像中的坐标信息；
4)判断三张视图是否都识别出拇指甲，识别出则进行下一步；
5)设置下标号，其中，俯视图、正视图以及侧视图的下标号分别是T、F以及S，目标食物、拇指以及拇指甲的下标号分别是f、p以及t，矩形框坐标以及外轮廓坐标的下标号分别是r以及o；
6)设目标食物的外轮廓最左端的坐标为(xTfr1，yTfr1)，从最左端开始顺时针顺序获取外轮廓坐标，并集合成坐标列表：
{(xTfo1，yTfo1)，(xTfo2，yTfo2)，(xTfo3，yTfo3)，...，...，(xTfon，yTfon)}；
设拇指甲的外轮廓最左端的坐标为(xTpo1，yTpo1)，从最左端开始顺时针顺序获取外轮廓坐标，并集合成坐标列表：
{(xTpo1，yTfo1)，(xTpo2，yTfo2)，(xTpo3，yTpo3)，...，...，(xTpon，yTpon)}。
5.根据权利要求4所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤B1中，包括以下步骤：
1)对拇指甲取样并进行测量、拍摄三视图；
2)对测量数据处理，整理出测量结果；
3)分析测量结果，拇指甲宽度为1.4至1.6厘米的成年人为绝大多数，以拇指甲为标定物是合理的；拇指甲盖宽度在成年人样本中与性别有关，拇指甲盖宽度wt作为标定权重，将性别信息嵌入其中，则设置以下标定值：男：wt＝1.6，女：wt＝1.4，默认：wt＝1.5。
6.根据权利要求5所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤B4中，包括以下步骤：
1)利用拇指的外轮廓坐标点集，获得四个端点p1，p2，p3，p4，四个端点分别含有最大x坐标，最大y坐标，最小x坐标，最小y坐标；
2)通过四个端点构造拇指外轮廓的切线；
3)若一条或者多条切线与外轮廓中一条边或者另外一个切点重合，计算取得当前四条切线决定的矩形面积并记录在矩形面积集合内；
4)顺时针旋转切线直到其中一条切线与拇指外轮廓的一条边或者另外一个切点重合；
5)计算新矩形的面积，并且记录在矩形面积集合内，保存对应矩形信息。
6)重复步骤4)和步骤5)，直到切线旋转角度大于90°；
7)在集合内求得拇指的外接最小矩形；
8)获取当前最小矩形相对于窄边的中位线，求中位线相对于图像底边的夹角(范围为0°-90°)，设拇指甲宽度对应在图像中wx个像素，以正视图视角为例，判断以下三种情况：
若夹角θ为0°时：
wFx＝yFtr1-yFtr3；
若夹角θ为90°时：
wFx＝xFtr1-xFtr2；
若夹角θ为非O°非90°时：
设中位线与拇指甲外轮廓相交于A，B两点，从A点开始到B点，做垂直于中位线的l线，求l线与拇指甲外轮廓的相交点之间的最大距离，设l线与拇指甲外轮廓的相交点为(xFtoi，yFtoi)，(xFtom，yFtom)，两点之间的距离最大，其中i，m为数值序号，则：
Figure FDA0003066588340000051
9)计算三视图中各张图像中实际长度对应图像像素个数的比率，设三视图中各张图像中实际1厘米长度对应图像α个像素宽度，wt为拇指甲实际宽度，以正视图视角为例，其公式为：
Figure FDA0003066588340000052
其它视图依次类推，求得实际1厘米在图像上对应α个像素。
7.根据权利要求6所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤C1中，计算目标食物在投影视图上的长度wTf，wFf，wSf，即：
Figure FDA0003066588340000053
Figure FDA0003066588340000054
Figure FDA0003066588340000055
从而求得目标食物分别在俯视图、主视图以及侧视图中的长度wTf，wFf，wSf。
8.根据权利要求7所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤D3中，目标食物矩形识别框的长wSf为：
wSf＝xSfr1-xSfr2；
目标食物矩形识别框的宽HSf为：
HSf＝ySfr1-ySfr3；
从而求出目标食物矩形识别框的长和宽。
9.根据权利要求8所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤D4中，包括以下步骤：
1)求取比例关系，目标食物矩形识别框的长与第i个长方体截面的长对应比例关系kli：
Figure FDA0003066588340000061
目标食物矩形识别框的宽与第i个长方体截面的宽对应比例关系khi：
Figure FDA0003066588340000062
2)根据步骤1)求得的比例关系，将侧视图投影对于各个长方体截面按比例缩放进行内嵌；
3)根据内嵌面积与对应长方体截面面积的比例关系，对各个长方体进行收敛；
4)最后对所有收敛后的长方体进行体积累计，估算出目标食物的最终体积；
5)设第i个未收敛的长方体体积vzi，则有
Figure FDA0003066588340000063
则第i个收敛后的长方体体积vi为：
Figure FDA0003066588340000064
其中
Figure FDA0003066588340000065
为侧视图的投影对于其矩形识别框的面积比；
则目标食物的实际体积为
Figure FDA0003066588340000066
最终求得目标食物的实际体积V。
CN202110531536.6A 2021-05-14 2021-05-14 一种基于拇指甲标定的食物图像体积计算方法 Active CN113222939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110531536.6A CN113222939B (zh) 2021-05-14 2021-05-14 一种基于拇指甲标定的食物图像体积计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110531536.6A CN113222939B (zh) 2021-05-14 2021-05-14 一种基于拇指甲标定的食物图像体积计算方法

Publications (2)

Publication Number Publication Date
CN113222939A true CN113222939A (zh) 2021-08-06
CN113222939B CN113222939B (zh) 2023-04-07

Family

ID=77092114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110531536.6A Active CN113222939B (zh) 2021-05-14 2021-05-14 一种基于拇指甲标定的食物图像体积计算方法

Country Status (1)

Country Link
CN (1) CN113222939B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117085970A (zh) * 2023-10-18 2023-11-21 北京大学 一种基于ai识别的多品类固废再利用智能***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111383A1 (en) * 2008-09-05 2010-05-06 Purdue Research Foundation Dietary Assessment System and Method
CN103307979A (zh) * 2013-05-27 2013-09-18 四川农业大学 基于计算机视觉的水果体积测量方法
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置
CN108830898A (zh) * 2018-03-30 2018-11-16 北京师范大学 一种基于3d模型嵌套的食物体积估算方法
CN109509535A (zh) * 2018-10-08 2019-03-22 北京健康有益科技有限公司 食物体积的获取方法、食物热量的获取方法、电子设备
CN112150535A (zh) * 2020-08-25 2020-12-29 北京大学 智能手机中声波与图像融合的食物体积测量方法及***
CN112364905A (zh) * 2020-11-02 2021-02-12 北京工商大学 一种基于注意力机制SENet的Fater R-CNN食物分类和GL值识别方法
CN112364568A (zh) * 2020-11-19 2021-02-12 中国石油大学(华东) 一种基于计算机视觉的烤箱食物体积和质量估计算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111383A1 (en) * 2008-09-05 2010-05-06 Purdue Research Foundation Dietary Assessment System and Method
CN103307979A (zh) * 2013-05-27 2013-09-18 四川农业大学 基于计算机视觉的水果体积测量方法
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置
CN108830898A (zh) * 2018-03-30 2018-11-16 北京师范大学 一种基于3d模型嵌套的食物体积估算方法
CN109509535A (zh) * 2018-10-08 2019-03-22 北京健康有益科技有限公司 食物体积的获取方法、食物热量的获取方法、电子设备
CN112150535A (zh) * 2020-08-25 2020-12-29 北京大学 智能手机中声波与图像融合的食物体积测量方法及***
CN112364905A (zh) * 2020-11-02 2021-02-12 北京工商大学 一种基于注意力机制SENet的Fater R-CNN食物分类和GL值识别方法
CN112364568A (zh) * 2020-11-19 2021-02-12 中国石油大学(华东) 一种基于计算机视觉的烤箱食物体积和质量估计算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GREGORIO VILLALOBOS ET AL: "An image procesing approach for calorie intake measurement", 《2012 IEEE INTERNATIONAL SYMPOSIUM ON MEDICAL MEASUREMENTS AND APPLICATIONS PROCEEDINGS》 *
PARISA POULADZADEH ET AL: "Measuring Calorie and Nutrition From Food Image", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
梁炎超等: "基于深度学习的食物卡路里估算方法", 《华东理工大学学报(自然科学版)》 *
洪晓敏 等: "在外就餐的健康影响及营养评价工具研究进展", 《华南预防医学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117085970A (zh) * 2023-10-18 2023-11-21 北京大学 一种基于ai识别的多品类固废再利用智能***
CN117085970B (zh) * 2023-10-18 2023-12-26 北京大学 一种基于ai识别的多品类固废再利用智能***

Also Published As

Publication number Publication date
CN113222939B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN108364280B (zh) 结构裂缝自动化描绘及宽度精准测量方法与设备
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
CN108053433B (zh) 一种基于物理对齐和轮廓匹配的多模态颈动脉mri配准方法
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN108052942B (zh) 一种飞机飞行姿态的视觉图像识别方法
CN104598871B (zh) 一种基于相关回归的面部年龄计算方法
CN110335234B (zh) 一种基于古文物LiDAR点云的三维变化检测方法
CN112967236B (zh) 图像的配准方法、装置、计算机设备和存储介质
CN113177977B (zh) 一种非接触式三维人体尺寸的测量方法
Micusik et al. Descriptor free visual indoor localization with line segments
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN106846484A (zh) 一种基于双视图三维重建的食物体积估计方法
CN103632146B (zh) 一种基于头肩距的人体检测方法
CN114332348B (zh) 一种融合激光雷达与图像数据的轨道三维重建方法
CN111127642A (zh) 一种人脸三维重建方法
CN107256421B (zh) 一种稻麦籽粒快速计数方法
CN113222939B (zh) 一种基于拇指甲标定的食物图像体积计算方法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN106650749B (zh) 一种高分辨率光学影像中直角建筑物的标绘方法
CN110223331B (zh) 一种大脑mr医学图像配准方法
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
CN113744324A (zh) 一种多相似性测度结合的立体匹配方法
Liu et al. Automated binocular vision measurement of food dimensions and volume for dietary evaluation
CN111197976A (zh) 一种顾及弱纹理区域多阶段匹配传播的三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230209

Address after: 510000 Dongfeng East Road 729, Yuexiu District, Guangzhou City, Guangdong Province

Applicant after: GUANGDONG University OF TECHNOLOGY

Applicant after: GUANGDONG PROVINCIAL INSTITUTE OF PUBLIC HEALTH

Address before: 510000 Dongfeng East Road 729, Yuexiu District, Guangzhou City, Guangdong Province

Applicant before: GUANGDONG University OF TECHNOLOGY

GR01 Patent grant
GR01 Patent grant