CN107729824A - 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 - Google Patents
一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 Download PDFInfo
- Publication number
- CN107729824A CN107729824A CN201710896323.7A CN201710896323A CN107729824A CN 107729824 A CN107729824 A CN 107729824A CN 201710896323 A CN201710896323 A CN 201710896323A CN 107729824 A CN107729824 A CN 107729824A
- Authority
- CN
- China
- Prior art keywords
- image
- table top
- dinner party
- chinese meal
- meal dinner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 235000012054 meals Nutrition 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 title claims abstract description 23
- 230000004438 eyesight Effects 0.000 claims abstract description 17
- 238000013461 design Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000013519 translation Methods 0.000 claims abstract description 5
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 10
- 235000013305 food Nutrition 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/14—Travel agencies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Educational Technology (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于中餐宴会台面摆台智能评分的单目视觉定位方法，所述方法包括：1：根据中餐宴会台面设计匹配的黑白标定板；2：建立中餐宴会台面摆台智能评分的单目视觉定位方法的坐标系模型；3：将黑白标定板水平搁置在中餐宴会台面上的空白处，然后采集N张台面摆台图像；4：对拍摄台面摆台图像的相机做标定，得到相机内参数和畸变参数，以及每幅图像的旋转向量和平移向量；5：使用逆透视投影变换算法，将台面摆台图像变换为台面正俯视图，以满足单套餐具识别和定位的需求；6：使用SURF特征点检测算法进行图像全局配准，以满足多套餐具组别之间相对位置计算的需求。该方法可以解决从不同视觉下的台面摆台图像中测算餐具间真实距离的难题。
Description
技术领域
本发明属于旅游与酒店管理专业领域，具体涉及一种应用机器视觉和人工智能理论与方法对中餐宴会台面摆台效果进行智能评分的单目视觉定位方法。
背景技术
旅游与酒店管理，是全球十大热门行业之一。伴随着中国经济发展和人民生活消费重心从“吃住行”向“游养乐”过渡和升级的进程，国内对旅游与酒店管理专业人才的需求也在日益增大。中、西餐宴会台面摆台是旅游与酒店管理专业学生在人才培养过程中必须掌握的基本功，国内大多数职业技术学院都有针对该专业学生开设的宴会台面摆台主题的实习实训课程和技能大赛等。
然而，目前存在的一个突出问题是：学生摆台效果的评判都是依靠实训教师或大赛评委通过目测和工具测量完成的。这种全人工、手动测量的方式存在以下弊病：①费力，工作量大，特别是需要一次评价数十个学生的摆台效果时，教师或评委的测量劳动量是非常繁重的；②费时，测量和打分评价耗费时间长，不能立即得到摆台效果的评分结果，既不适应各类技能大赛现场应当场给出比赛结果的需要，也无法满足现代教学方式中要求课堂上对学生的摆台结果进行点评和反馈提高的要求；③精度低，由于摆台效果评分细则中对距离要求精确到毫米级，而人工测量很难达到这样的精度要求；④稳定性差，且受人的主观性影响严重，同一个学生的摆台结果，不同的教师或评委可能给出不同的评分。
一种可行的解决方案是将图像处理和人工智能技术引入旅游与酒店管理专业的台面摆台效果评判中，彻底改变原来完全依靠人工评判的现状，也克服原有评判方式存在的诸多弊病。要实现中、西餐宴会台面摆台效果的智能评分，除了餐具识别之外，另一个重点和难点问题就是如何根据不同视角下的台面摆台图像测算餐具间的真实距离。现有视觉定位方法主要分为立体视觉定位和单目视觉定位两大类，其中立体视觉定位算法理论复杂，求解计算时间长，难以满足实时性要求。已有学者公开了应用于其它问题中的单目视觉定位方法：发明专利(申请号“CN201210144082”，名称“基于单目视觉的道路边缘检测及粗定位方法”) 针对连续的具有不同边缘特征的道路提供了两种道路边缘检测方法，以及得到道路边缘之后的粗定位方法，用于计算机器人当前位置和道路边缘的垂直距离以及航向角；发明专利(申请号“CN201210268223”，名称“基于单目视觉定位的路面图像采集方法及采集***”)针对需要对路面图像实施快速准确拼接的应用场合，提出了一种基于单目视觉定位的路面图像采集方法和***。上述单目视觉定位方法都是针对不同的具体问题提出的解决方案，不具有通用性，显然也不适合对中、西餐宴会台面摆台效果智能评分时的个性化需求，因而需要发明新的方法解决餐具距离测算问题。
发明内容
本发明的目的在于提供一种用于中餐宴会台面摆台智能评分的单目视觉定位方法，解决从不同视觉下的台面摆台图像中测算餐具间真实距离的难题。
为了达到上述目的，本发明所采用的技术方案是：
一种用于中餐宴会台面摆台智能评分的单目视觉定位方法，其特征在于，所述单目视觉定位方法包括如下步骤：
步骤1：根据中餐宴会台面设计匹配的黑白标定板，设计内容包括标定板的颜色、形状和尺寸；
步骤2：建立中餐宴会台面摆台智能评分的单目视觉定位方法的坐标系模型；
步骤3：将黑白标定板水平搁置在中餐宴会台面上的空白处，然后在台面上方能拍摄到台面全貌的范围内，采集N张台面摆台图像，N的数量大于等于7；
步骤4：对拍摄台面摆台图像的相机做标定，得到相机内参数和畸变参数，以及每幅图像的旋转向量和平移向量；所述标定方法中采用标定板在中餐宴会台面上固定不动，相机多角度旋转拍摄的方式；
步骤5：使用逆透视投影变换算法，将台面摆台图像变换为台面正俯视图，以满足单套餐具识别和定位的需求；
步骤6：使用SURF特征点检测算法进行图像全局配准，以满足多套餐具组别之间相对位置计算的需求。
进一步地，步骤4中，所述标定方法的步骤如下：
步骤401：先提取指定台面摆台图像中的角点坐标，然后计算相应的精确的角点坐标；
步骤402：判断是否对台面摆台图像集中的所有图像循环执行完毕，是则继续下一步，否则跳转至步骤401；
步骤403：为相机参数分配内存；
步骤404：计算标定板上所有角点的实际物理坐标；
步骤405：计算摄像机的内外参数矩阵；
步骤406：在已获得相机内外参数矩阵的前提下，对台面摆台图像集中的所有图像做畸变校正。
进一步地，步骤6中，所述进行图像全局配准的步骤如下：
步骤601：应用SURF算子检测两幅台面摆台图像中的特征点，其中Hessian 矩阵判别式的阈值设置为400；
步骤602：使用一个多维向量来描述一个特征点，并以此方法描述台面摆台图像中所有检测到的特征点；
步骤603：通过按比例提取排名靠前的匹配点来实现最优特征点筛选，并在两幅台面摆台图像中成对绘制最优匹配点；
步骤604：计算单映射矩阵，得到两幅台面摆台图像中的一幅到另一幅的投影矩阵；
步骤605：对两幅台面摆台图像中的一幅进行透视变换后拼接到另一幅图像中，并将拼接后的图像作为多套餐具组别之间相对位置计算的依据。
进一步地，步骤1中，所设计的标定板由黑白两种颜色的正方形格子组成，每个正方形的边长为54毫米；左上角的第1个格子颜色为黑色，然后依次黑白色交替；横向格子数目为7个，纵向格子数目为5个；横向角点数目为6个，纵向角点数目为4个；整个标定板可以布置在一张常规A3幅面的纸张上。
进一步地，步骤2中，所建立的坐标系模型包括4个坐标系，分别为平面世界坐标系、摄像机坐标系、图像坐标系和像素坐标系。
与现有技术相比，本发明的有益效果是：本发明将单目视觉定位方法引入中餐宴会台面摆台智能评分过程中，解决了从不同视觉下的台面摆台图像中测算餐具间真实距离的难题，为机器视觉和人工智能等新技术在该领域的顺利应用扫清了障碍，进而实现了中餐宴会台面摆台效果评分的自动化、快速化、客观化和智能化，彻底变革该细分领域内完全依靠人工评判的现状。所述的单目视觉定位方法具有理论相对简单，求解计算快，实时性好等明显优势，且硬件设备成本低，使用方便，有利于其在旅游与酒店管理专业相关的实习实训课程和技能大赛中推广应用。
附图说明
图1为本发明设计的黑白标定板图像。
图2为应用本发明的对拍摄台面摆台图像相机的标定方法之后，对标定误差进行评估时得到的结果图像。
图3为本发明提供的实施例中的进行全局配准前的图像一。
图4为本发明提供的实施例中的进行全局配准前的图像二。
图5为本发明提供的实施例中的使用SURF算子检测图像一和图像二中的特征点，并进行特征点筛选之后绘制出的最优匹配点图像。
图6为本发明提供的实施例中的根据计算得到的单映射矩阵，对图像二进行透视变化，变换到图像一的坐标系之后的结果图像。
图7为本发明提供的实施例中的待拼接的左右半幅图像，分别为图像一的左半幅和图像二变换后的右半幅图像。
图8为本发明提供的实施例中的拼接完成的图像。
图9为对本发明设计的黑白标定板上部分角点编号示意图。
图10为应用本发明的单目视觉定位方法测算黑白标定板上角点之间物理距离的结果图像。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供一种用于中餐宴会台面摆台智能评分的单目视觉定位方法，包括以下步骤：
步骤1：根据中餐宴会台面设计匹配的黑白标定板，设计内容包括标定板的颜色、形状和尺寸。
所设计的标定板由黑白两种颜色的正方形格子组成，每个正方形的边长为 54毫米；左上角的第1个格子颜色为黑色，然后依次黑白色交替；横向格子数目为7个，纵向格子数目为5个；横向角点数目为6个，纵向角点数目为4个；整个标定板可以布置在一张常规A3幅面的纸张上。
步骤2：建立中餐宴会台面摆台智能评分的单目视觉定位方法的坐标系模型。
所建立的坐标系模型包括4个坐标系，分别为平面世界坐标系、摄像机坐标系、图像坐标系和像素坐标系。
步骤3：将黑白标定板水平搁置在中餐宴会台面上的空白处，然后在台面上方能拍摄到台面全貌的范围内，采集N张台面摆台图像，N的数量大于等于7。
步骤4：对拍摄台面摆台图像的相机做标定，得到相机内参数和畸变参数，以及每幅图像的旋转向量和平移向量。
与常规标定方法中采集图像时转动标定板不同，所述标定方法中采用标定板在中餐宴会台面上固定不动，相机多角度旋转拍摄的方式。
所述标定方法的步骤如下：
步骤401：先提取指定台面摆台图像中的角点坐标，然后计算相应的精确的角点坐标；
步骤402：判断是否对台面摆台图像集中的所有图像循环执行完毕，是则继续下一步，否则跳转至步骤401；
步骤403：为相机参数分配内存；
步骤404：计算标定板上所有角点的实际物理坐标；
步骤405：计算摄像机的内外参数矩阵；
步骤406：在已获得相机内外参数矩阵的前提下，对台面摆台图像集中的所有图像做畸变校正。
步骤5：使用逆透视投影变换算法，将台面摆台图像变换为台面正俯视图，以满足单套餐具识别和定位的需求。
步骤6：使用SURF特征点检测算法进行图像全局配准，以满足多套餐具组别之间相对位置计算的需求。
所述进行图像全局配准的步骤如下：
步骤601：应用SURF算子检测两幅台面摆台图像中的特征点，其中Hessian 矩阵判别式的阈值设置为400；
步骤602：使用一个多维向量来描述一个特征点，并以此方法描述台面摆台图像中所有检测到的特征点；
步骤603：通过按比例提取排名靠前的匹配点来实现最优特征点筛选，并在两幅台面摆台图像中成对绘制最优匹配点；
步骤604：计算单映射矩阵，得到两幅台面摆台图像中的一幅到另一幅的投影矩阵；
步骤605：对两幅台面摆台图像中的一幅进行透视变换后拼接到另一幅图像中，并将拼接后的图像作为多套餐具组别之间相对位置计算的依据。
下面结合具体实施例，对本发明进行说明。参见图1，为本发明设计的黑白标定板图像。
在实施例中，随机选择7幅台面摆台图像，应用本发明提出的标定方法，得到的相机内参数矩阵如下：
得到的畸变参数如下：
[-0.587739 5.89376 0.00335394 0.00884542 -33.5064]
7幅台面摆台图像的旋转矩阵和平移矩阵分别如下：
标定完成后，对标定误差进行评估，误差结果图像如图2所示。由图2可知，每幅图像的标定误差分别为1.34581像素、1.67269像素、1.20996像素、1.15333 像素、1.37866像素、1.06503像素和1.22456像素，总体平均误差为1.13125像素，在相机的分辨率为4928×3264，即大于1600万像素的前提下，这个标定误差是非常小的。
参见图3和图4，分别为实施例中进行全局配准前的图像一和图像二。
参见图5，为实施例中使用SURF算子检测图像一和图像二中的特征点，并进行特征点筛选之后绘制出的最优匹配点图像。由图5可知，大部分最优匹配点集中在黑白标定板上，除此之外，在台面摆台图像的其他位置，也分布着少量最优匹配点。
参见图6，为实施例中根据计算得到的单映射矩阵，对图像二进行透视变化，变换到图像一的坐标系之后的结果图像。由图6可知，图像二的视角已经变换为与图像一的视角相同，图像二中的标定板原来位于台面的右上方，现在位于台面左上方，并且所有餐具组别的序号也调整为与图像一完全一致。
参见图7，为实施例中待拼接的左右半幅图像，分别为图像一的左半幅和图像二变换后的右半幅图像。
参见图8，为实施例中拼接完成后的图像。由图8可以看出，在拼接图像的中间，存在一条明显的拼接痕迹线，这是由于原来图像一和图像二的视角和光照条件不同而形成的对比，可以明显看出左右半幅图像分别来源于不同的图像，但是它们的视角已经调整为完全一致，这为多套餐具组别之间相对位置计算提供了必要的条件。
为了检验本发明所提的一种用于中餐宴会台面摆台智能评分的单目视觉定位方法的应用效果，本应该使用台面上的餐具进行测算，但是由于这需要现场的实物，不方便在文本中展现，所以这里还是选择黑白标定板为检验对象。为了方便描述，需要对黑白标定板上的部分角点进行编号，参见图9，为对部分角点编号的示意图。
参见图10，为应用本发明的单目视觉定位方法测算黑白标定板上角点之间物理距离的结果图像，测算结果和真实距离之间的误差分析如下表所示：
表1黑白标定板上部分角点的测算结果和真实距离之间的误差分析
| 序号 | 测算对象 | 真实距离(mm) | 测算结果(mm) | 误差 |
| 1 | 角点0和1的距离 | 54.0 | 54.6283 | 1.1635％ |
| 2 | 角点1和2的距离 | 54.0 | 53.8597 | 0.26％ |
| 3 | 角点2和3的距离 | 54.0 | 54.2376 | 0.44％ |
| 4 | 角点3和4的距离 | 54.0 | 53.8714 | 0.238％ |
| 5 | 角点4和5的距离 | 54.0 | 53.2312 | 1.424％ |
| 6 | 角点5和6的距离 | 275.3471 | 275.2660 | 0.029％ |
| 7 | 角点0和6的距离 | 54.0 | 54.4909 | 0.9091％ |
| 8 | 角点6和12的距离 | 54.0 | 53.8411 | 0.294％ |
| 9 | 角点12和18的距离 | 54.0 | 54.3467 | 0.642％ |
由表1可知，测算距离和真实距离之间的误差是很小的，以角点5和6之间的距离为例，真实距离为275.3471毫米，测算结果为275.2660毫米，二者之间的误差仅为0.029％，这个精度是很高的，这也验证了本发明所提方法的正确性。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种用于中餐宴会台面摆台智能评分的单目视觉定位方法，其特征在于，所述单目视觉定位方法包括如下步骤：
步骤1：根据中餐宴会台面设计匹配的黑白标定板，设计内容包括标定板的颜色、形状和尺寸；
步骤2：建立中餐宴会台面摆台智能评分的单目视觉定位方法的坐标系模型；
步骤3：将黑白标定板水平搁置在中餐宴会台面上的空白处，然后在台面上方能拍摄到台面全貌的范围内，采集N张台面摆台图像，N的数量大于等于7；
步骤4：对拍摄台面摆台图像的相机做标定，得到相机内参数和畸变参数，以及每幅图像的旋转向量和平移向量；所述标定方法中采用标定板在中餐宴会台面上固定不动，相机多角度旋转拍摄的方式；
步骤5：使用逆透视投影变换算法，将台面摆台图像变换为台面正俯视图，以满足单套餐具识别和定位的需求；
步骤6：使用SURF特征点检测算法进行图像全局配准，以满足多套餐具组别之间相对位置计算的需求。
2.如权利要求1所述的用于中餐宴会台面摆台智能评分的单目视觉定位方法，其特征在于，步骤4中，所述标定方法的步骤如下：
步骤401：先提取指定台面摆台图像中的角点坐标，然后计算相应的精确的角点坐标；
步骤402：判断是否对台面摆台图像集中的所有图像循环执行完毕，是则继续下一步，否则跳转至步骤401；
步骤403：为相机参数分配内存；
步骤404：计算标定板上所有角点的实际物理坐标；
步骤405：计算摄像机的内外参数矩阵；
步骤406：在已获得相机内外参数矩阵的前提下，对台面摆台图像集中的所有图像做畸变校正。
3.如权利要求1所述的用于中餐宴会台面摆台智能评分的单目视觉定位方法，其特征在于，步骤6中，所述进行图像全局配准的步骤如下：
步骤601：应用SURF算子检测两幅台面摆台图像中的特征点，其中Hessian矩阵判别式的阈值设置为400；
步骤602：使用一个多维向量来描述一个特征点，并以此方法描述台面摆台图像中所有检测到的特征点；
步骤603：通过按比例提取排名靠前的匹配点来实现最优特征点筛选，并在两幅台面摆台图像中成对绘制最优匹配点；
步骤604：计算单映射矩阵，得到两幅台面摆台图像中的一幅到另一幅的投影矩阵；
步骤605：对两幅台面摆台图像中的一幅进行透视变换后拼接到另一幅图像中，并将拼接后的图像作为多套餐具组别之间相对位置计算的依据。
4.如权利要求1～3任一项所述的用于中餐宴会台面摆台智能评分的单目视觉定位方法，其特征在于，步骤1中，所设计的标定板由黑白两种颜色的正方形格子组成，每个正方形的边长为54毫米；左上角的第1个格子颜色为黑色，然后依次黑白色交替；横向格子数目为7个，纵向格子数目为5个；横向角点数目为6个，纵向角点数目为4个；整个标定板可以布置在一张常规A3幅面的纸张上。
5.如权利要求1～3任一项所述的用于中餐宴会台面摆台智能评分的单目视觉定位方法，其特征在于，步骤2中，所建立的坐标系模型包括4个坐标系，分别为平面世界坐标系、摄像机坐标系、图像坐标系和像素坐标系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710896323.7A CN107729824B (zh) | 2017-09-28 | 2017-09-28 | 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710896323.7A CN107729824B (zh) | 2017-09-28 | 2017-09-28 | 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107729824A true CN107729824A (zh) | 2018-02-23 |
| CN107729824B CN107729824B (zh) | 2021-07-13 |
Family
ID=61208246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710896323.7A Expired - Fee Related CN107729824B (zh) | 2017-09-28 | 2017-09-28 | 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107729824B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118089A (zh) * | 2018-08-10 | 2019-01-01 | 韩鹏 | 一种中餐宴会摆台图像采集装置及评分*** |
| CN110135270A (zh) * | 2019-04-18 | 2019-08-16 | 上海电力学院 | 一种圆柱体左视图的自动识别评分方法 |
| CN110309725A (zh) * | 2019-06-06 | 2019-10-08 | 上海电力学院 | 一种普通平键轴类断面图的自动识别评分方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697240A (zh) * | 2009-09-29 | 2010-04-21 | 三一重工股份有限公司 | 一种标定定位的方法和装置 |
| KR20110027460A (ko) * | 2009-09-10 | 2011-03-16 | 부산대학교 산학협력단 | 모노 비전 기반의 팔레트 위치 및 자세 측정 방법 |
| CN102682292A (zh) * | 2012-05-10 | 2012-09-19 | 清华大学 | 基于单目视觉的道路边缘检测及粗定位方法 |
| US20130195351A1 (en) * | 2012-01-27 | 2013-08-01 | Sony Corporation | Image processor, image processing method, learning device, learning method and program |
| CN104200315A (zh) * | 2014-08-25 | 2014-12-10 | 王雪华 | 智能餐具以及基于该餐具的个性化用餐信息管理***与方法 |
| CN104504680A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车的逆透视标定方法 |
| CN104537707A (zh) * | 2014-12-08 | 2015-04-22 | 中国人民解放军信息工程大学 | 像方型立体视觉在线移动实时测量*** |
| CN105224908A (zh) * | 2014-07-01 | 2016-01-06 | 北京四维图新科技股份有限公司 | 一种基于正射投影的道路标线采集方法及装置 |
| CN105666274A (zh) * | 2016-02-03 | 2016-06-15 | 华中科技大学 | 一种基于视觉控制的餐盘磨边方法 |
| CN106157304A (zh) * | 2016-07-01 | 2016-11-23 | 成都通甲优博科技有限责任公司 | 一种基于多个相机的全景图拼接方法及*** |
| CN106855999A (zh) * | 2015-12-09 | 2017-06-16 | 宁波芯路通讯科技有限公司 | 汽车环视图像的生成方法及装置 |
-
2017
- 2017-09-28 CN CN201710896323.7A patent/CN107729824B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110027460A (ko) * | 2009-09-10 | 2011-03-16 | 부산대학교 산학협력단 | 모노 비전 기반의 팔레트 위치 및 자세 측정 방법 |
| CN101697240A (zh) * | 2009-09-29 | 2010-04-21 | 三一重工股份有限公司 | 一种标定定位的方法和装置 |
| US20130195351A1 (en) * | 2012-01-27 | 2013-08-01 | Sony Corporation | Image processor, image processing method, learning device, learning method and program |
| CN102682292A (zh) * | 2012-05-10 | 2012-09-19 | 清华大学 | 基于单目视觉的道路边缘检测及粗定位方法 |
| CN105224908A (zh) * | 2014-07-01 | 2016-01-06 | 北京四维图新科技股份有限公司 | 一种基于正射投影的道路标线采集方法及装置 |
| CN104200315A (zh) * | 2014-08-25 | 2014-12-10 | 王雪华 | 智能餐具以及基于该餐具的个性化用餐信息管理***与方法 |
| CN104504680A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车的逆透视标定方法 |
| CN104537707A (zh) * | 2014-12-08 | 2015-04-22 | 中国人民解放军信息工程大学 | 像方型立体视觉在线移动实时测量*** |
| CN106855999A (zh) * | 2015-12-09 | 2017-06-16 | 宁波芯路通讯科技有限公司 | 汽车环视图像的生成方法及装置 |
| CN105666274A (zh) * | 2016-02-03 | 2016-06-15 | 华中科技大学 | 一种基于视觉控制的餐盘磨边方法 |
| CN106157304A (zh) * | 2016-07-01 | 2016-11-23 | 成都通甲优博科技有限责任公司 | 一种基于多个相机的全景图拼接方法及*** |
Non-Patent Citations (4)
| Title |
|---|
| LIN CHENCHEN等: "A Camera Calibration Method for Obstacle Distance Measurement Based on Monocular Vision", 《2014 FOURTH INTERNATIONAL CONFERENCE ON COMMUNICATION SYSTEMS AND NETWORK TECHNOLOGIES》 * |
| Z.ZHANG等: "A flexible new technique for camera calibration", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 程庆 等: "基于单目视觉的目标定位算法研究", 《安徽工程大学学报》 * |
| 赵立双 等: "单目视觉定位中SURF算法参数的优化", 《计算机技术与发展》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118089A (zh) * | 2018-08-10 | 2019-01-01 | 韩鹏 | 一种中餐宴会摆台图像采集装置及评分*** |
| CN109118089B (zh) * | 2018-08-10 | 2022-08-02 | 韩鹏 | 一种中餐宴会摆台图像采集装置及评分*** |
| CN110135270A (zh) * | 2019-04-18 | 2019-08-16 | 上海电力学院 | 一种圆柱体左视图的自动识别评分方法 |
| CN110309725A (zh) * | 2019-06-06 | 2019-10-08 | 上海电力学院 | 一种普通平键轴类断面图的自动识别评分方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107729824B (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106250870B (zh) | 一种联合局部和全局相似性度量学习的行人再识别方法 | |
| CN108760767A (zh) | 基于机器视觉的大尺寸液晶屏缺陷检测方法 | |
| CN104299215B (zh) | 一种特征点标定和匹配的图像拼接方法 | |
| CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| CN101394573B (zh) | 一种基于特征匹配的全景图生成方法及*** | |
| CN108875911A (zh) | 一种泊车位检测方法 | |
| CN107766855A (zh) | 基于机器视觉的棋子定位方法、***、存储介质及机器人 | |
| CN107729824A (zh) | 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 | |
| CN108389157A (zh) | 一种三维全景图像快速拼接方法 | |
| CN103020938B (zh) | 一种基于加权平均法的空域图像缝合方法和*** | |
| CN111127318A (zh) | 一种机场环境下的全景图像拼接方法 | |
| CN105719318A (zh) | 一种教育玩具套件及其基于hsv的魔方颜色识别方法 | |
| CN105865326A (zh) | 实物尺寸测量方法及图像数据库数据采集方法 | |
| CN103019643A (zh) | 一种即插即用的大屏幕投影自动校正与拼接显示方法 | |
| CN110111248A (zh) | 一种基于特征点的图像拼接方法、虚拟现实***、照相机 | |
| CN109191428A (zh) | 基于掩蔽纹理特征的全参考型图像质量评价方法 | |
| CN104637041B (zh) | 一种基于参照特征的宽幅织物图像获取与拼接方法 | |
| CN105976354A (zh) | 基于颜色和梯度的元件定位方法和*** | |
| CN105741375A (zh) | 一种大视场双目视觉的红外图像考勤方法 | |
| CN104504675B (zh) | 一种主动视觉定位方法 | |
| CN103903256B (zh) | 一种基于相对高度深度线索的深度估计方法 | |
| CN110199317A (zh) | 使用手持设备对木板的自动检测、计数和测量 | |
| CN107392929A (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN106910208A (zh) | 一种存在运动目标的场景图像拼接方法 | |
| CN106529556A (zh) | 一种仪表指示灯的视觉检测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Liu Xiaofen Document name: Notification to Make Formalities Rectification |
|
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Liu Xiaofen Document name: Notification that Application Deemed not to be Proposed |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210713 Termination date: 20210928 |