KR20210041055A

KR20210041055A - Multi-view imaging system and method for non-invasive inspection in food processing

Info

Publication number: KR20210041055A
Application number: KR1020217007033A
Authority: KR
Inventors: 스테판 마이어호퍼
Original assignee: 타이 유니언 그룹 퍼블릭 컴퍼니 리미티드
Priority date: 2018-08-16
Filing date: 2018-12-18
Publication date: 2021-04-14
Also published as: PH12021550342A1; MX2021001799A; CN113167740A; WO2020036620A1; JP2021535367A; EP3837533A1; ECSP21013708A; JP7324271B2

Abstract

식품 재료(408)의 검사 및 가공을 위하여 사용되는 인라인 시각 기반(vision-based) 시스템(400) 및 연관된 방법이 개시된다. 시스템은 컨베이어 벨트(402), 투명 플레이트(412) 및 이미징 시스템(422)을 포함하고, 이미징 시스템은 광원(424)과 적어도 하나의 카메라를 포함한다. 이미징 시스템은 투명 플레이트 상의 객체를 통과하고 카메라에 의해 캡처된 광의 다수의 뷰로부터 이미지 데이터를 생성한다. 이미지 데이터는 투과(transmittance) 이미징 데이터, 상호 작용(interactance) 이미징 데이터 및 반사(reflectance) 이미징 데이터 중 하나에 대응하고, 프로세서(428)로 전송된다. 프로세서는 객체 내부의 재료 부분의 구조에 대한 3차원 모델을 생성하여 주변 재료에 대한 그 부분의 경계를 결정하기 위하여 기계 학습을 이용하여 데이터를 처리한다.An inline vision-based system 400 and associated methods used for inspection and processing of food ingredients 408 are disclosed. The system includes a conveyor belt 402, a transparent plate 412 and an imaging system 422, the imaging system including a light source 424 and at least one camera. The imaging system produces image data from multiple views of light that passes through objects on the transparent plate and is captured by the camera. The image data corresponds to one of transmission imaging data, interaction imaging data, and reflection imaging data, and is transmitted to the processor 428. The processor processes the data using machine learning to create a three-dimensional model of the structure of the material part inside the object and determine the boundary of the part with respect to the surrounding material.

Description

식품 가공에 있어서의 비침습적 검사를 위한 다중 뷰 이미징 시스템 및 방법Multi-view imaging system and method for non-invasive inspection in food processing

본 개시 내용은 식품 가공에 있어서의 비침습적 검사에 관한 것으로, 특히, 내부 객체의 3차원 모델을 결정하기 위하여 식품의 이미지 데이터를 처리함으로써 음식 내의 내부 객체를 검출하기 위한 이미징 시스템 및 연관된 방법에 관한 것이디.FIELD OF THE INVENTION The present disclosure relates to non-invasive inspection in food processing, and more particularly, to an imaging system and associated method for detecting internal objects in food by processing image data of food to determine a three-dimensional model of internal objects. It's D.

식품 산업은 좁은 마진 내에서 운영되며 품질 관리 표준이 높아지고 있다. 이와 같이, 식품 가공 산업은 더 높은 품질 관리 표준을 충족하면서 처리 능력을 증가시키기 위하여 자동화 시스템으로 전환되었다. 식품 가공의 양태는 제품의 부가가치를 높이기 위해 2차 제품으로부터의 1차 제품의 분리 및 이물질 제거 등을 포함한다. 그러나 이러한 양태는 1차 및 2차 제품과 이물질 사이의 경계가 현재의 시스템으로 식별하기 어렵기 때문에 자동화하기 어렵다.The food industry operates within narrow margins and quality control standards are rising. As such, the food processing industry has turned to automated systems to increase processing capacity while meeting higher quality control standards. Aspects of food processing include separation of primary products from secondary products and removal of foreign substances to increase the added value of the product. However, this aspect is difficult to automate because the boundary between the primary and secondary products and foreign matter is difficult to identify with current systems.

고체와 액체 계면과 같이 식품 재료 사이에 자연스러운 경계가 있는 경우, 2차 제품으로부터 1차 제품을 분리하는 것은 종종 간단하며, 물리적인 노력을 거의 필요로 하지 않는다. 식품 재료가 서로 연결되어 있거나 고체와 고체 계면이 있는 경우에는 일반적으로 절단과 같은 적극적인 물리적 개입이 필요하다. 이러한 작업을 안내하고 수행하기 위하여는, 자동화된 환경에서 종종 시각 기반(vision-based) 시스템을 통해 실현되는 고체와 고체 계면 사이의 정확한 경계 또는 가장 가능성 있는 경계를 식별하는 것이 유리하다. 재료 사이의 분리가 필요하지 않더라도, 특정 결함 또는 원하지 않는 객체의 존재 여부와 정도를 검출하는 능력은 식품 검사 또는 분류 프로세스에 큰 이점을 줄 수 있다.When there is a natural boundary between the food material, such as a solid and liquid interface, separating the primary product from the secondary product is often straightforward and requires little physical effort. Active physical intervention, such as cutting, is usually required when food ingredients are connected to each other or when there is a solid-to-solid interface. In order to guide and perform these tasks, it is advantageous to identify the exact boundary or the most probable boundary between solid and solid interfaces, which is often realized through vision-based systems in an automated environment. Even if separation between materials is not required, the ability to detect the presence and extent of certain defects or unwanted objects can be of great benefit to food inspection or sorting processes.

예를 들어, 미국 특허 번호 US 5,352,153, US 6,563,904, US 9,551,615, US 6,587,575, US 9,095,147 및 간행물 WO 2017/093539A1와 WO 2008/016309A1에 개시된 바와 같이, 여러 시스템이 어류, 육류, 가금류, 과일, 야채 및 곡물을 포함하는 다양한 산업을 위하여 개발되었다. 종래의 시스템은 일반적으로 가공과 관련된 정보를 얻기 위하여 식품 재료의 신속한 스크리닝(screening)을 위해 종래의 이미징을 적용한다. 그러나, 이러한 접근 방식을 통해 도출된 정보는 일반적으로 재료의 가시적 표면에만 한정된다.For example, as disclosed in U.S. Patent Nos. It was developed for a variety of industries, including grain. Conventional systems generally apply conventional imaging for rapid screening of food ingredients to obtain processing-related information. However, the information derived through this approach is usually limited to the visible surface of the material.

객체의 내부 상세를 제공하기 위하여 대안적인 기술이 제안되었다. 데이터가 표면으로부터 캡처되든 객체 내에서 캡처되든, 정보는 일반적으로 2차원 포맷으로 제공된다. 일부 애플리케이션의 경우, 깊이를 아는 것이 특별한 관련성이 없거나 객체의 기하학적 구조가 일관되어 특정 가정을 할 수 있기 때문에, 이것은 충분할 수 있다. 그러나 3차원의 추가 정보가 특히 중요한 시나리오가 있다. 예를 들어, 3차원 정보는 객체의 정렬에 대한 정확한 정보를 도출하거나, 불규칙한 형상의 객체의 정밀한 분리 또는 제거를 가능하게 하도록 불규칙한 형상의 객체를 기하학적 구조에 따라 가공하는데 유용하다.An alternative technique has been proposed to provide the internal details of the object. Whether data is captured from a surface or within an object, the information is usually presented in a two-dimensional format. For some applications, this may be sufficient because knowing the depth has no particular relevance, or because the geometry of the object is consistent to make certain assumptions. However, there are scenarios where 3D additional information is particularly important. For example, the 3D information is useful for deriving accurate information on the alignment of objects, or processing irregularly shaped objects according to geometric structures to enable precise separation or removal of irregularly shaped objects.

3차원(3D) 표면 데이터의 복구를 목표로 하는 일부 해결 방안은 외부 프로파일에 대한 풍부한 설명으로 제한된다. 다른 것들은 컴퓨터 단층 촬영(computed tomography(CT)) 또는 자기 공명 영상(magnetic resonance imaging(MRI))과 같은 체적 이미징 기술을 기반으로 하며, 스캐닝된 대상의 내부 특징에 관한 데이터를 제공하지만, 이러한 기술적 해결 방안은 다수의 한계를 가진다. 예를 들어, 체적 이미징 기술은 속도가 부족하여, 식품 가공 산업의 좁은 마진을 고려할 때 특히 중요한 제한 사항이다. 다른 한계 중에서도, 속도 부족으로 인해 현재 시스템은 자동화된 식품 가공 및 분류를 위한 인라인 솔루션이 아닌 무작위 품질 관리 검사 도구로서 더 적합하다.Some solutions aimed at the recovery of three-dimensional (3D) surface data are limited to a rich description of the external profile. Others are based on volumetric imaging techniques such as computed tomography (CT) or magnetic resonance imaging (MRI), which provide data on the internal features of the scanned object, but such a technical solution. The solution has a number of limitations. For example, volumetric imaging technology lacks speed, which is a particularly important limitation when considering the narrow margins of the food processing industry. Among other limitations, the lack of speed makes the current system more suitable as a random quality control inspection tool rather than an in-line solution for automated food processing and sorting.

본 개시 내용은 식품 재료 내부 컴포넌트의 기하학적 세부 사항을 캡처할 수 있게 하는 인라인(inline) 형태의 산업적 식품 가공 애플리케이션을 위한 빠른 데이터 획득 및 재구성에 관한 것이다. 이러한 시스템은, 체적 이미징 기술에 의해 제공되는 것과 같은 내부 구조의 전체 표현이 불필요하고, 오히려 개략적인 내부 프로파일의 복구 및 속도가 필수적인 애플리케이션에 특히 유용하다. 특히, 본 명세서에 개시된 시스템 및 방법은 한 재료가 임의의 광 스펙트럼의 부분적 투과를 허용하는 외부층을 형성하고, 특히 관심 대상이 되는 제2 재료 또는 내부 객체가 외부층에 의해 적어도 부분적으로 둘러싸이고 임의의 광 스펙트럼의 상이한 범위의 관통 또는 흡수를 허용하는 2개의 개별 재료의 표면 대 표면 조합에 관한 것이다. 일반적으로, 본 개시 내용의 예시적인 구현예는 광원과 이미지 데이터를 캡처하기 위한 이미징 장치를 포함하는 이미징 시스템의 사용과, 내부 객체의 경계를 결정하기 위한 데이터 재구축을 위한 계산 단계를 포함한다.The present disclosure is directed to fast data acquisition and reconstruction for industrial food processing applications in inline form that enable the capture of geometric details of food ingredient internal components. Such a system is particularly useful for applications where a full representation of the internal structure as provided by volumetric imaging techniques is not required, but rather the recovery and speed of a rough internal profile is essential. In particular, the systems and methods disclosed herein form an outer layer in which one material permits partial transmission of any light spectrum, in particular the second material or inner object of interest is at least partially surrounded by the outer layer. It relates to a surface-to-surface combination of two separate materials that allows penetration or absorption of different ranges of any light spectrum. In general, exemplary implementations of the present disclosure include the use of an imaging system including a light source and an imaging device to capture image data, and a computational step for reconstructing the data to determine the boundaries of an internal object.

객체의 내부 부분의 경계를 결정하기 위하여 객체의 이미지 데이터를 캡처하고 처리하기 위한 시스템의 예시적인 구현예는, 제1 컨베이어; 제1 컨베이어로부터 갭(gap)에 의해 분리된 제2 컨베이어; 갭 내에 위치되고 제1 컨베이어 및 제2 컨베이어 중 적어도 하나에 결합되는 투명 플레이트; 갭 내에 적어도 부분적으로 위치되고, 제1 컨베이어 및 제2 컨베이어 중 적어도 하나에 결합되는 지지 링 - 지지 링은 지지 링에 결합되는 적어도 하나의 카메라를 포함함 - ; 및 지지 링에 결합되는 제1 광원을 포함하고, 작동 동안, 제1 광원은 투명 플레이트를 향하여 지향되는 광을 방출한다.An exemplary implementation of a system for capturing and processing image data of an object to determine a boundary of an inner portion of the object includes: a first conveyor; A second conveyor separated from the first conveyor by a gap; A transparent plate positioned within the gap and coupled to at least one of the first conveyor and the second conveyor; A support ring positioned at least partially within the gap and coupled to at least one of the first conveyor and the second conveyor, the support ring comprising at least one camera coupled to the support ring; And a first light source coupled to the support ring, wherein during operation, the first light source emits light directed toward the transparent plate.

구현예는 다음을 더 포함할 수 있다: 투명 플레이트 상에 위치된 객체 - 작동 동안, 카메라는 제1 광원으로부터 객체를 통과하는 광을 수신함 - ; 객체는 참치 살코기(fillet)이고, 제1 광원은 대략 1260 나노미터, 대략 805 나노미터 또는 대략 770 나노미터 중 하나인 파장의 광을 방출함; 제어 유닛이 카메라와 전자적으로 통신하고, 카메라가 객체를 통과하는 광을 캡처하고 캡처된 광으로부터의 이미지 데이터에 대응하는 신호를 제어 유닛에 전송함; 이미지 데이터는 투과(transmittance) 이미지 데이터, 상호 작용(interactance) 이미지 데이터 또는 반사(reflectance) 이미지 데이터 중 하나임; 그리고, 제어 유닛은 프로세서이고, 프로세서는 카메라로부터 수신된 이미지 데이터에 기초하여 객체의 제1 부분과 제1 부분 내의 객체의 제2 부분 사이의 경계를 검출하기 위하여 기계 학습을 이용함,Implementations may further include: an object placed on a transparent plate-during operation, the camera receives light passing through the object from a first light source; The object is a tuna fillet, and the first light source emits light at a wavelength of one of approximately 1260 nanometers, approximately 805 nanometers or approximately 770 nanometers; The control unit is in electronic communication with the camera, the camera captures light passing through the object and transmits a signal corresponding to the image data from the captured light to the control unit; The image data is one of transmittance image data, interaction image data or reflectance image data; And, the control unit is a processor, and the processor uses machine learning to detect a boundary between the first part of the object and the second part of the object within the first part based on the image data received from the camera,

구현예는 다음을 더 포함할 수 있다: 프로세서는 딥 컨벌루션 신경망(deep convolutional neural network)을 통해 이미지 데이터를 처리함; 딥 컨벌루션 신경망은 이미지 데이터를 수신하고 객체의 제2 부분에 대응하는 이미지 데이터에 기초하여 복수의 실루엣을 출력하고, 프로세서는 실루엣을 복수의 투영(projection)으로 투영하고, 객체의 제2 부분의 3차원 형상을 결정하기 위하여 복수의 투영 사이의 교차 부분(intersection)을 분석함; 지지 링은 지지 링에 결합되는 복수의 카메라를 포함하고, 복수의 카메라의 각각은 제1 광원으로부터, 투과 이미징 데이터, 상호 교차 이미징 데이터 또는 반사 이미징 데이터 중 하나를 캡처함; 그리고, 지지 링은 지지 링에 결합되는 제2 광원을 포함하고, 작동 동안, 제2 광원은 투명 플레이트로 지향되는 광을 방출함.Implementations may further include: the processor processes image data via a deep convolutional neural network; The deep convolutional neural network receives image data and outputs a plurality of silhouettes based on the image data corresponding to the second part of the object, and the processor projects the silhouettes into a plurality of projections, and the third part of the second part of the object. Analyzing the intersection between multiple projections to determine the dimensional shape; The support ring includes a plurality of cameras coupled to the support ring, each of the plurality of cameras capturing one of transmission imaging data, cross-cross imaging data or reflective imaging data from a first light source; And, the support ring includes a second light source coupled to the support ring, and during operation, the second light source emits light directed to the transparent plate.

객체의 내부 부분의 경계를 결정하기 위하여 객체의 이미지 데이터를 캡처하고 분석하기 위한 장치의 대안적이고 예시적인 구현예는, 컨베이어 - 컨베이어는 컨베이어의 제1 부분 및 제2 부분 사이에 공간을 가짐 - ; 공간 내에 위치되고 컨베이어에 결합되는 플레이트; 공간 내에 적어도 부분적으로 위치되고, 컨베이어에 결합되는 지지 링 - 작동 동안, 지지 링은 적어도 제1 위치와 제2 위치 사이에 회전하는 지지 링; 지지 링에 결합되는 적어도 하나의 광원 - 작동 동안, 적어도 하나의 광원은 플레이트 상의 객체를 향하여 지향되는 광을 방출함 - ; 지지 링에 결합되는 이미징 장치 - 이미징 장치는 광이 객체를 통과한 후 적어도 하나의 광원으로부터 광을 수신함 - ; 및 이미징 장치와 전자적으로 통신하고, 지지 링이 제1 위치에 있을 때 이미징 장치로부터의 제1 이미지 데이터 세트를 수신하고 지지 링이 제2 위치에 있을 때 이미징 장치로부터의 제2 이미지 데이터 세트를 수신하는 프로세서 - 작동 동안, 프로세서는 제1 이미지 데이터 세트 및 제2 이미지 데이터 세트로부터 객체의 내부 부분에 대한 3D 모델을 출력함 - 를 포함한다.An alternative and exemplary embodiment of an apparatus for capturing and analyzing image data of an object to determine the boundary of an inner portion of the object is a conveyor, the conveyor having a space between the first and second portions of the conveyor; A plate located in the space and coupled to the conveyor; A support ring located at least partially within the space and coupled to the conveyor, the support ring rotating at least between a first position and a second position during operation; At least one light source coupled to the support ring, during operation, the at least one light source emits light directed towards an object on the plate; An imaging device coupled to the support ring, the imaging device receiving light from at least one light source after the light passes through the object; And in electronic communication with the imaging device, receiving a first set of image data from the imaging device when the support ring is in a first position and receiving a second set of image data from the imaging device when the support ring is in a second position. A processor that during operation, the processor outputs a 3D model of the interior portion of the object from the first image data set and the second image data set.

구현예는 다음을 더 포함할 수 있다: 프로세서는 제1 이미지 데이터 세트 및 제2 이미지 데이터 세트를 복수의 실루엣으로 처리하고 복수의 실루엣을 복수의 투영으로 투영하기 위하여 기계 학습을 활용함 - 3D 모델은 복수의 투영의 각각 사이의 교차 부분에 기초함 - ; 지지 링에 결합되는 제2 광원 - 이미징 장치는 지지 링이 제1 위치 또는 제2 위치에 있을 때 제2 광원으로부터 제3 이미지 데이터 세트를 캡처하고, 프로세서는 3차원 모델의 경계를 명확하게 하기 위하여 제3 이미지 데이터 세트를 활용함 - ; 이미징 장치는 분광기(spectrograph)를 포함함 - 적어도 하나의 광원은 대략 1260 나노미터, 대략 805 나노미터 또는 대략 770 나노미터 중 하나로부터 선택된 파장의 광을 방출함 -.Implementations may further include: The processor processes the first image data set and the second image data set into a plurality of silhouettes and utilizes machine learning to project the plurality of silhouettes into a plurality of projections-3D model. -Is based on the intersection between each of the multiple projections; A second light source coupled to the support ring-the imaging device captures a third set of image data from the second light source when the support ring is in the first position or the second position, and the processor is used to clarify the boundaries of the three-dimensional model. -Using the third image data set; The imaging device comprises a spectrograph-at least one light source emits light of a wavelength selected from one of approximately 1260 nanometers, approximately 805 nanometers or approximately 770 nanometers -.

객체의 내부 부분의 경계를 결정하기 위하여 객체의 이미지 데이터를 캡처하고 분석하기 위한 방법의 예시적인 구현예는, 광원으로부터 광을 방출하는 단계 - 방출하는 단계는 제1 부분 및 제2 부분을 갖는 객체를 통해 광을 지향시키는 단계를 포함하고, 제2 부분은 제1 부분 내에 둘러싸임 - ; 광이 객체를 통과한 후 이미징 장치로 광원으로부터의 광을 캡처하는 단계 - 캡처된 광은 이미징 장치에 의해 수신된 제1 부분 및 제2 부분의 이미지 데이터에 대응함 - ; 이미지 데이터를 프로세서에 전송하는 단계; 및 제1 부분과 제2 부분 사이의 경계를 검출하기 위하여 프로세서를 이용하여 이미지 데이터를 분석하는 단계 - 분석하는 단계는, 제2 부분의 3차원 표현을 생성하기 위하여 기계 학습을 활용하는 단계를 포함함 - 를 포함한다.An exemplary embodiment of a method for capturing and analyzing image data of an object to determine the boundary of an inner portion of the object comprises: emitting light from a light source, wherein the emitting step comprises an object having a first portion and a second portion. Directing light through, the second portion being enclosed within the first portion; Capturing light from the light source with an imaging device after the light passes through the object, the captured light corresponding to image data of the first portion and the second portion received by the imaging device; Transmitting the image data to the processor; And analyzing the image data using a processor to detect a boundary between the first part and the second part-the analyzing step includes utilizing machine learning to generate a three-dimensional representation of the second part. Ham-includes.

구현예는 다음을 더 포함할 수 있다: 광원으로부터 광을 방출하는 단계는, 대략 1260 나노미터, 대략 805 나노미터 또는 대략 770 나노미터 중 하나로부터 선택된 파장의 광을 방출하는 단계를 포함한다; 제2 부분의 3차원 표현을 생성하기 위하여 기계 학습을 활용하는 단계는, 이미지 데이터를 처리하기 위하여, 딥 컨벌루션 신경망을 활용하여 기계 학습하는 단계를 포함한다; 프로세서를 이용하여 이미지 데이터를 분석하는 단계는, 제2 부분의 이미지 데이터에 대응하는 복수의 2차원 실루엣을 출력하기 위하여 기계 학습을 활용하는 단계를 포함한다; 프로세서를 이용하여 이미지 데이터를 분석하는 단계는, 복수의 투영을 생성하기 위하여 기계 학습을 활용하는 단계를 포함하고, 각각의 투영은 복수의 2차원 실루엣의 각각의 하나에 대응한다; 그리고, 분석하는 단계는, 3차원 표현을 생성하기 위하여 기계 학습을 포함하는 단계를 포함하고, 객체의 제2 부분의 3차원 표현을 출력하기 위하여 복수의 투영의 각각 사이의 교차 부분을 분석하는 단계를 더 포함한다.Embodiments may further include: emitting light from the light source comprises emitting light at a wavelength selected from one of approximately 1260 nanometers, approximately 805 nanometers or approximately 770 nanometers; The step of utilizing machine learning to generate a three-dimensional representation of the second part includes machine learning using a deep convolutional neural network to process image data; Analyzing the image data using the processor includes utilizing machine learning to output a plurality of two-dimensional silhouettes corresponding to the image data of the second portion; Analyzing the image data using the processor includes utilizing machine learning to generate a plurality of projections, each projection corresponding to a respective one of the plurality of two-dimensional silhouettes; And, the step of analyzing includes the step of including machine learning to generate a three-dimensional representation, and analyzing the intersection between each of the plurality of projections to output a three-dimensional representation of the second part of the object. It further includes.

구현예를 더 잘 이해하기 위하여, 첨부된 도면을 단지 예로서 참조할 것이다. 도면에서, 동일한 참조 번호는 유사한 요소 또는 동작을 식별한다. 도면에서 요소의 크기와 상대적 위치는 반드시 축척에 따라 도시되지 않는다. 예를 들어, 다양한 요소와 형상 및 각도는 반드시 축척에 맞게 그려지는 것은 아니며, 이러한 요소 중 일부는 도면의 가독성을 높이기 위해 확대되어 배치될 수 있다. 또한, 도시된 요소의 특정 형상은 반드시 특정 요소의 실제 형상을 대한 정보를 전달하기 위한 것은 아니며, 도면에서의 쉬운 인식을 위하여만 선택되었을 수 있다.
도 1은 시스템의 제1 컨베이어와 제2 컨베이어 사이에 갭을 갖는 본 개시 내용에 따른 컨베이어 벨트 시스템의 예시적인 구현예의 사시도이다.
도 2는 투과 이미징 모드를 예시하는 본 개시 내용에 따른 이미징 시스템의 예시적인 구현예의 개략도이다.
도 3은 상호 작용 이미징 모드를 예시하는 본 개시 내용에 따른 이미징 시스템의 예시적인 구현예의 개략도이다.
도 4는 지지 링과, 지지 링에 결합된 복수의 이미징 장치 및 광원을 갖는 본 개시 내용에 따른 이미징 시스템의 예시적인 구현예의 사시도이다.
도 5는 도 4의 이미징 시스템의 제어 유닛의 개략도이다.
도 6은 지지 링과, 지지 링에 결합된 단일 이미징 장치 및 광원을 갖는 본 개시 내용에 따른 이미징 시스템의 대안적이고 예시적인 구현예의 사시도이고, 지지 링은 적어도 제1 위치와 제2 위치 사이에서 회전한다.
도 7은 외부 하우징 내의 이미징 시스템으로의 환경 광을 감소시키기 위한 본 개시 내용에 따른 외부 하우징의 예시적인 구현예의 사시도이다.
도 8은 본 개시 내용에 따른 투영된 실루엣으로부터의 3차원 모델의 재구성에 대한 예시적인 구현예의 개략도이다.
도 9는 객체의 내부 부분의 경계를 결정하기 위하여 객체의 이미지 데이터를 캡처 및 처리하기 위한 본 개시 내용에 따른 방법의 예시적인 구현예의 순서도이다.
도 10은 객체의 내부 부분의 경계를 결정하기 위하여 객체의 이미지 데이터를 캡처 및 처리하기 위한 본 개시 내용에 따른 방법의 대안적이고 예시적인 구현예의 순서도이다.In order to better understand the embodiments, reference will be made to the accompanying drawings by way of example only. In the drawings, the same reference numbers identify similar elements or actions. The sizes and relative positions of elements in the drawings are not necessarily drawn to scale. For example, various elements, shapes, and angles are not necessarily drawn to scale, and some of these elements may be enlarged and arranged to enhance the readability of the drawings. In addition, the specific shape of the illustrated element is not necessarily for conveying information on the actual shape of the specific element, and may be selected only for easy recognition in the drawings.
1 is a perspective view of an exemplary embodiment of a conveyor belt system according to the present disclosure having a gap between a first conveyor and a second conveyor of the system.
2 is a schematic diagram of an exemplary implementation of an imaging system according to the present disclosure illustrating a transmission imaging mode.
3 is a schematic diagram of an exemplary implementation of an imaging system according to the present disclosure illustrating an interactive imaging mode.
4 is a perspective view of an exemplary embodiment of an imaging system according to the present disclosure having a support ring and a plurality of imaging devices and light sources coupled to the support ring.
5 is a schematic diagram of a control unit of the imaging system of FIG. 4;
6 is a perspective view of an alternative exemplary embodiment of an imaging system according to the present disclosure having a support ring, a single imaging device coupled to the support ring and a light source, wherein the support ring rotates between at least a first position and a second position. do.
7 is a perspective view of an exemplary implementation of an outer housing according to the present disclosure for reducing ambient light to an imaging system within the outer housing.
8 is a schematic diagram of an exemplary implementation for reconstruction of a three-dimensional model from a projected silhouette according to the present disclosure.
9 is a flowchart of an exemplary implementation of a method according to the present disclosure for capturing and processing image data of an object to determine the boundary of an inner portion of the object.
10 is a flowchart of an alternative and exemplary implementation of a method according to the present disclosure for capturing and processing image data of an object to determine the boundary of an inner portion of the object.

다음의 설명에서, 다양한 개시된 구현예에 대한 완전한 이해를 제공하기 위하여 소정의 특정 상세 사항이 설명된다. 그러나, 관련 기술 분야에서의 통상의 기술자는 이러한 특정 상세 사항 중 하나 이상 없이 또는 다른 방법, 컴포넌트, 재료 등과 함께 구현예가 실행될 수 있다는 것을 인식할 것이다. 다른 경우에, 이미징 시스템, 식품 가공에 있어서의 비침습적 검사, 기계 학습 및 신경망과 연관된 알려진 구조는 구현예에 대한 설명을 불필요하게 모호하게 하는 것을 방지하기 위하여 자세히 도시되거나 설명되지 않는다.In the following description, certain specific details are set forth in order to provide a thorough understanding of the various disclosed implementations. However, one of ordinary skill in the art will recognize that implementations may be practiced without one or more of these specific details or in conjunction with other methods, components, materials, and the like. In other instances, known structures associated with imaging systems, non-invasive testing in food processing, machine learning, and neural networks have not been shown or described in detail in order to avoid unnecessarily obscuring the description of the implementation.

문맥이 달리 요구하지 않는 한, 이어지는 명세서 및 청구범위 전체에 걸쳐, "포함하다"라는 단어 및 "포함한다" 및 "포함하는"과 같은 이의 변형이 개방적이고, 포괄적인 의미, 즉 "~을 포함하지만, 그에 한정되지 않는" 것으로 해석되어야 한다. 또한, "제1", "제2"라는 단어 및 유사한 순서를 표시하는 단어는 문맥이 명확하게 달리 명시하지 않는 한 상호 교환 가능한 것으로 해석되어야 한다.Unless the context otherwise requires, throughout the specification and claims that follow, the word "comprises" and variations thereof such as "comprises" and "comprising" are in an open and inclusive sense, i.e., "includes However, it should be construed as "not limited thereto." Further, the words "first", "second", and words denoting a similar order are to be construed as interchangeable unless the context clearly dictates otherwise.

본 명세서 전반에 걸쳐 통해 "하나의 구현예" 또는 "일 구현예"에 대한 언급은 그 구현예와 관련하여 설명된 특정 특징, 구조 또는 특성이 적어도 하나의 구현예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 위치에서 "하나의 구현예에서" 또는 "일 구현예에서"라는 문구의 출현은 반드시 모두 동일한 구현을 지칭하는 것은 아니다. 더욱이, 특정 특징, 구조 또는 특성은 하나 이상의 구현예에서 임의의 적절한 방식으로 결합될 수 있다.Reference throughout this specification to “one embodiment” or “an embodiment” means that a particular feature, structure, or characteristic described in connection with that embodiment is included in at least one embodiment. Thus, appearances of the phrases “in one embodiment” or “in an embodiment” in various places throughout this specification are not necessarily all referring to the same implementation. Moreover, certain features, structures or properties may be combined in any suitable manner in one or more embodiments.

본 명세서 및 첨부된 청구 범위에서 사용된 바와 같이, 단수 형태인 "a", "an"및 "the"는 문맥이 명백하게 달리 명시하지 않는 한 복수의 지시 대상을 포함한다. 또한, "또는(or)"이라는 용어는 일반적으로 가장 넓은 의미로, 즉 문맥이 명확하게 달리 명시하지 않는 한 "및/또는"을 의미하는 것으로 사용된다는 점에 유의하여야 한다.As used in this specification and the appended claims, the singular forms “a”, “an” and “the” include plural referents unless the context clearly dictates otherwise. It should also be noted that the term "or" is generally used in its broadest sense, ie, meaning "and/or" unless the context clearly dictates otherwise.

상대적 용어인 "대략(approximately)" 및 "실질적으로(substantially)"는, 값, 양, 수량 또는 치수를 설명하는 데 사용될 때, 문맥이 명백하게 달리 명시하지 않는 한, 일반적으로 명시된 값의 +/-3% 내에 있는 값, 양, 수량 또는 치수를 나타낸다. 본 명세서에 제공된 컴포넌트의 임의의 특정 치수는 단지 본 명세서에 설명된 예시적인 구현예를 참조한 예시를 위한 것이며, 따라서 본 개시 내용은 문맥이 명백하게 달리 명시하지 않는 한, 언급된 치수보다 많거나 적은 양을 포함한다는 것이 추가로 이해되어야 한다.The relative terms “approximately” and “substantially”, when used to describe a value, quantity, quantity, or dimension, are generally +/- of the stated value, unless the context clearly dictates otherwise. Represents a value, quantity, quantity, or dimension within 3%. Any specific dimensions of the components provided herein are for illustrative purposes only, with reference to the exemplary embodiments described herein, and thus the disclosure is intended to be in an amount greater or less than the stated dimensions, unless the context clearly dictates otherwise. It should be further understood that it includes.

본 개시 내용은 가공 및 검사를 위한 식품 재료의 시각적 데이터를 획득할 수 있는 빠르고 비침습적인 이미징 시스템을 위한 솔루션을 제공한다. 특히, 본 개시 내용의 구현예는 상이한 재료층에 의해 둘러싸인 임의의 형상의 객체의 3차원 구조를 캡처한다. 예를 들어, 분석될 객체가 생선 살코기(fillet)인 구현예에서, 본 명세서에 개시된 이미징 시스템 및 방법은 외부 흰 살 층 내에 포함된 어두운 살 부분(예를 들어, 재료의 다른 층)의 3차원 구조를 캡처하고, 어두운 살은 연속하는 살코기 사이에서 변동하는 임의의 3차원 형상을 가진다.The present disclosure provides a solution for a fast, non-invasive imaging system capable of acquiring visual data of food ingredients for processing and inspection. In particular, embodiments of the present disclosure capture a three-dimensional structure of an object of any shape surrounded by different layers of material. For example, in embodiments where the object to be analyzed is a fillet of fish, the imaging systems and methods disclosed herein provide a three-dimensional view of a dark flesh portion (e.g., another layer of material) contained within the outer white flesh layer. Capturing the structure, the dark flesh has an arbitrary three-dimensional shape that fluctuates between successive lean meats.

본 개시 내용의 구현예는 상이한 탁한 재료 및 스펙트럼 대역에 대해 상이한 흡수, 반사, 투과 및 산란의 광학적 특성을 활용할 수 있는 다양한 시스템, 장치 및 관련 방법을 포함한다. 각각의 발생(occurrence)의 상대적인 비율과 양은 재료의 화학적 구성과 물리적 파라미터에 따라 달라질 수 있다. 광이 물질과 상호 작용할 때, 광자의 특정 부분이 정반사(specularity), 확산 또는 후방 산란을 통해 반사된다. 처음 두 가지인 정반사와 확산은 표면의 거칠기에 따라 달라지며, 광의 산란 또는 후방 산란은 재료 내부의 위상 변화 또는 상이한 인터페이스에서의 다중 굴절로 인해 발생한다. 또한, 산란은 재료 전체에 무작위로 분포된 기공 공간 또는 모세관과 같은 이질성과, 상이한 입자들의 크기, 모양 및 미세 구조로 인하여 나타날 수 있다.Embodiments of the present disclosure include various systems, devices, and related methods that can utilize the optical properties of different absorption, reflection, transmission and scattering for different hazy materials and spectral bands. The relative proportion and amount of each occurrence can vary depending on the chemical composition and physical parameters of the material. When light interacts with a material, certain portions of the photons are reflected through specularity, diffusion, or backscatter. The first two, specular and diffuse, depend on the roughness of the surface, and scattering or backscattering of light occurs due to phase shifts inside the material or multiple refractions at different interfaces. In addition, scattering may appear due to heterogeneity such as pore spaces or capillaries randomly distributed throughout the material, and the size, shape, and microstructure of different particles.

반사되지 않은 나머지 광자는 흡수되거나 재료를 통해 투과된다. 흡수 계수가 낮을수록 광자가 흡수되기 전에 광이 더 깊이 재료에 침투할 수 있고 따라서 광이 재료의 반대쪽으로 나갈 확률이 더 높아진다. 따라서, 본 명세서에 설명된 시스템, 장치 및 관련 방법의 다양한 구현예에 따른 비침습적 이미징에 대하여, 산란되는 광과 재료를 통과하는 광 모두 내부 특성에 대한 유용한 정보를 제공할 수 있다. 예를 들어, 산란되는 광 및 물질을 통과하는 광과 같은 이러한 정보는 각각 상호 작용(interactance) 이미지 또는 투과(transmittance) 이미징을 통해 캡처되지만, 반사(reflectance) 이미징은 예시적인 구현예를 참조하여 본 명세서에 설명된 바와 같이 표면으로부터 직접 반사된 광에 주로 초점을 맞춘다.The remaining photons that are not reflected are either absorbed or transmitted through the material. The lower the absorption coefficient, the deeper the light can penetrate the material before the photons are absorbed, and thus the more likely the light will exit the other side of the material. Thus, for non-invasive imaging according to various implementations of the systems, devices, and related methods described herein, both scattered light and light passing through a material can provide useful information about internal properties. For example, such information, such as scattered light and light passing through a material, is captured through interaction images or transmittance imaging, respectively, whereas reflectance imaging is described with reference to exemplary embodiments. It focuses primarily on the light reflected directly from the surface as described in the specification.

광학 특성 및 탁한 재료와의 상호 작용으로부터의 결과는 광의 각각의 파장에 대하여 상이하다. 일부 파장이 빠르게 흡수되는 반면, 다른 파장은 재료 내로 깊게 투과하고 두께에 따라 완전히 또는 부분적으로 투과될 수 있다. 아래에서 더욱 상세히 설명되는 바와 같이, 시스템, 장치 및 관련 방법의 구현예의 일부는 자외선(UV), 가시 광선 및 근적외선(NIR) 광 스펙트럼의 상이한 파장에 대하여 광학 특성 현상을 조사하기 위한 다중 또는 초분광(hyperspectral) 이미징 도구를 포함할 수 있다.The optical properties and results from the interaction with the cloudy material are different for each wavelength of light. Some wavelengths are absorbed quickly, while other wavelengths penetrate deeply into the material and may be completely or partially transmitted depending on the thickness. As described in more detail below, some of the implementations of systems, devices and related methods include multiple or hyperspectral phenomena for investigating optical property phenomena for different wavelengths of the ultraviolet (UV), visible and near infrared (NIR) light spectrum. (hyperspectral) imaging tools may be included.

또한, 본 명세서에 설명된 일부 구현예는 광이 분산되고 각각의 파장의 강도가 본 명세서에 설명된 센서(들)의 다양한 구현예에 의해 캡처되는 회절 격자를 포함하거나 활용할 수 있다. 또한, 본 명세서에 설명된 시스템, 장치 및 관련 방법의 구현예는 2차원으로 저장된 공간 데이터와 3차원의 스펙트럼 데이터를 갖는 3차원 큐브를 구비하거나 포함할 수 있는 연관 데이터를 획득할 수 있다. 개별의 적절한 파장 또는 적절한 파장의 조합의 선택은 가공된 식품 재료에 따라 달라질 수 있으며 사전에 결정될 수 있다. 예를 들어, 적절한 파장의 선택은 스캐닝될 특정 식품에 대한 투과율 및 반사율 정보를 포함하는 데이터베이스와, 특정 파장의 광의 스펙트럼 특성을 가진 데이터베이스를 기반으로 선택될 수 있거나, 또는 처리 전에 시스템은 스캐닝될 특정 객체 또는 식품에 기초하여 적절한 이미징 데이터를 캡처하는 것에 대응하는 파장을 결정하기 위하여 캘리브레이션될 수 있다.In addition, some implementations described herein may include or utilize a diffraction grating in which light is scattered and the intensity of each wavelength is captured by various implementations of the sensor(s) described herein. In addition, implementations of the systems, apparatuses, and related methods described herein may have spatial data stored in two dimensions and a three-dimensional cube having three-dimensional spectral data, or obtain associated data that may include them. The choice of an individual suitable wavelength or combination of suitable wavelengths may depend on the processed food material and may be determined in advance. For example, the selection of the appropriate wavelength may be selected based on a database containing transmittance and reflectance information for a particular food to be scanned, and a database with spectral properties of light of a particular wavelength, or prior to processing, the system may be Based on the object or food, it can be calibrated to determine the wavelength corresponding to capturing the appropriate imaging data.

본 명세서에 설명된 시스템, 장치 및 방법의 다양한 구현예에서, 낮은 흡수 계수 및 최소 산란을 갖지만 가지며 관심 대상인 내부 객체와는 완전히 다른 재료의 외부층(예를 들어, 각각 참치 살코기의 흰 살 및 어두운 살)을 통한 우수한 침투 능력을 갖는 특정 파장이 선택된다. 더욱이, 본 명세서에 설명된 시스템, 장치 및 방법의 다양한 구현예에서, 식품 재료 검사에 알맞은 적합한 파장을 선택하는 것에 더하여, 적합한 조명원이 또한 시스템 설계 변수로서 선택될 수 있다. 예를 들어, 광원은 특정 스펙트럼에 대해 방출되는 광의 강도가 다를 수 있다. 따라서, 최적의 결과를 얻기 위하여 애플리케이션에 적합한 파장을 갖는 광원이 선택될 수 있다. 특정 파장의 할로겐, LED 및 레이저 광을 포함하는 여러 유형의 조명원이 본 명세서에 개시된다.In various embodiments of the systems, devices, and methods described herein, an outer layer of material that has but has a low absorption coefficient and minimal scatter, and is completely different from the inner object of interest (e.g., the white and dark flesh of tuna meat, respectively). A specific wavelength is selected that has good penetration ability through flesh). Moreover, in various implementations of the systems, apparatus and methods described herein, in addition to selecting a suitable wavelength for food ingredient inspection, a suitable illumination source may also be selected as a system design parameter. For example, a light source may have a different intensity of emitted light for a particular spectrum. Thus, a light source having a wavelength suitable for the application can be selected in order to obtain optimal results. Several types of illumination sources are disclosed herein, including halogen, LED, and laser light of specific wavelengths.

검사된 식품 재료의 고품질 이미지 데이터의 획득이 본 개시 내용의 한 양태이다. 전술된 바와 같이, 처리되고 있는 재료가 3차원이지만, 전통적인 이미징 센서는 장면의 깊이를 파악하는 수단이 부족한 경향이 있어, 실제 객체의 복잡성을 인식하는 능력을 제한한다. 객체의 3차원 표현을 구성하기 위하여, 본 명세서에서 설명된 시스템, 장치 및 관련 방법의 다양한 구현예는 다수의 뷰(view)로부터 정보를 전달하는 이미지의 모음을 캡처할 수 있다. 체적 이미징 기술을 통해 획득되는 완전한 3D 표현과 달리, 종래의 이미징 시스템의 3D 표면 재구성 기술은 객체의 표면에 위치된 개별 지점의 3D 좌표, 또는 이 경우에는, 객체의 2개의 재료 사이의 경계의 3D 좌표만 캡처하는 경향이 있다. 따라서, 이러한 방법은 종종 문맥이 명백하게 달리 명시하지 않는 한 본 명세서에서 상호 교환적으로 사용될 수 있는 표면 측정, 거리 감지, 깊이 매핑 또는 표면 스캐닝으로 지칭된다.Acquisition of high quality image data of inspected food ingredients is an aspect of the present disclosure. As mentioned above, although the material being processed is three-dimensional, traditional imaging sensors tend to lack means of determining the depth of the scene, limiting the ability to perceive the complexity of real objects. In order to construct a three-dimensional representation of an object, various implementations of the systems, devices, and related methods described herein can capture a collection of images conveying information from multiple views. Unlike the full 3D representation obtained through volumetric imaging technology, the 3D surface reconstruction technology of conventional imaging systems is the 3D coordinates of individual points located on the surface of the object, or, in this case, 3D of the boundary between the two materials of the object. It tends to capture only the coordinates. Thus, this method is often referred to as surface measurement, distance sensing, depth mapping, or surface scanning, which can be used interchangeably herein unless the context clearly dictates otherwise.

3D 표면 재구성에 관한 하나의 종래 기술은 뷰 사이의 충분한 중첩을 고려하여 이미지 내의 대응하는 특징점을 일치시키는 다중 뷰 스테레오(multi-view stereo(MVS))이다. 그 결과는 표면이 피팅될 수 있는 3D 클라우드(cloud)이다. 이러한 접근 방식은 일반적으로 특징이 풍부한 텍스처(texture)를 필요로 하며, 이 텍스처는 특정 유형의 식품에서는 이용 가능하지 않거나 존재하지 않을 수 있다. 또한, MVS는 수반되는 적은 마진으로 인하여 식품 가공 업계에서 소정의 애플리케이션에 대하여는 효율성이 부족하다.One prior art for 3D surface reconstruction is multi-view stereo (MVS), which matches corresponding feature points in an image, taking into account sufficient overlap between views. The result is a 3D cloud to which the surface can be fitted. This approach generally requires a feature-rich texture, which may or may not be available in certain types of foods. In addition, MVS lacks efficiency for certain applications in the food processing industry due to the small margins involved.

구조 광(structured-light) 3D 표면 재구성 기술은 3차원 정보를 획득하기 위한 다른 기술이다. 구조 광 방법은 객체에 투영되는 공간적으로 가변하는 1D 또는 2D 구조 조명을 사용한다. 평면형 장면에서 조명 패턴은 표면 상으로 동일하게 투영되는 반면, 비평면형 장면에서는 카메라가 보는 패턴은 왜곡될 것이다. 3D 정보는 일반적으로 표면 경계에서 광의 직접 반사에서 획득되는 왜곡된 패턴의 특성에서 추출된다.The structured-light 3D surface reconstruction technique is another technique for obtaining 3D information. The structured light method uses spatially variable 1D or 2D structured illumination projected onto an object. In a planar scene, the light pattern is projected equally onto the surface, whereas in a non-planar scene, the pattern viewed by the camera will be distorted. 3D information is usually extracted from the characteristics of distorted patterns obtained from the direct reflection of light at the surface boundary.

양 접근 방식은 3D 표면에 대한 상세한 설명을 제공할 수 있지만, 이 중 어느 것도 상호 작용 모드 또는 투과 모드를 통해 캡처된 비침습적 이미징 데이터에 대하여는 실용적이지 않을 것이다. 한편, 실루엣으로부터의 형상은 객체의 윤곽에 의존할 것이고, 이로부터 3D 표현이 복구될 수 있다. 아래에서 더욱 상세히 설명되는 바와 같이, 시스템, 장치 및 관련 기술의 다양한 구현예는 각각의 카메라가 보는 실루엣을 3차원 장면으로 다시 투영하여 이의 교차 부분(intersection)으로부터 3D 형상을 추출하도록 동작 가능하다. 오목 영역(concavity)이 일반적으로 실루엣에서는 보이지 않으므로 폐기될 것이기 때문에, 재구성은 단지, 일반적으로 비주얼 헐(visual hull)로 알려진, 진정한 3D 구조의 근사이다. 그러나, 본 명세서에 설명된 다양한 구현예에서, 투과 이미징과 함께 상호 작용 이미징을 이용하여, 객체의 정밀한 3D 형상이 오목 영역을 고려하여 추출될 수 있다.Both approaches can provide detailed descriptions of 3D surfaces, but none of them will be practical for non-invasive imaging data captured via interactive mode or transmission mode. On the other hand, the shape from the silhouette will depend on the contour of the object, from which the 3D representation can be restored. As described in more detail below, various implementations of systems, devices, and related technologies are operable to project the silhouette viewed by each camera back into a three-dimensional scene to extract 3D shapes from its intersection. The reconstruction is just an approximation of a true 3D structure, commonly known as a visual hull, since the concavity is generally not visible in the silhouette and will be discarded. However, in various implementations described herein, using interactive imaging together with transmission imaging, a precise 3D shape of an object can be extracted taking into account the concave area.

아래에서 더욱 상세히 설명되는 바와 같이, 3D 형상 재구성 및 다중 뷰 이미지 데이터의 획득과 연계한 양태는 카메라의 위치 설정이다. 실루엣을 장면 내로 역투영하기 위하여, 카메라가 어디에 위치되었는지와 장면이 이미지 평면 상으로 원래 어떻게 투영되었는지를 판단하는 것이 중요하다. 본 명세서에 설명된 다양한 시스템, 장치 및 관련 방법은 카메라 캘리브레이션으로부터 이 정보를 수신 및/또는 처리하도록 동작할 수 있다. 이러한 정보는 광이 렌즈를 통해 이미징 센서 상으로 어떻게 투영되고 있는지와 이 과정을 통해 발생하는 임의의 왜곡에 관련된 내적인 파라미터와, 현실에서의 카메라의 위치에 관련된 외적인 파리미터를 포함할 수 있다. 본 명세서에 설명된 다양한 시스템, 장치 및 관련 방법은, 시스템의 다중 뷰 이미지 데이터 획득에 기여하는 각각의 카메라 및 위치에 대하여, 위에서 논의된 내적인 파라미터를 포함하여, 캘리브레이션 프로세스를 구현할 수 있고, 바이너리 기점(fiducial) 마커를 사용에 의해 효율적으로 성취될 수 있다.As will be described in more detail below, the aspect associated with 3D shape reconstruction and acquisition of multi-view image data is the positioning of the camera. In order to project the silhouette back into the scene, it is important to determine where the camera is positioned and how the scene was originally projected onto the image plane. The various systems, devices, and related methods described herein may operate to receive and/or process this information from camera calibration. This information may include how the light is projected through the lens onto the imaging sensor, internal parameters related to any distortion that occurs through this process, and external parameters related to the camera's position in reality. The various systems, devices, and related methods described herein can implement a calibration process, including the internal parameters discussed above, for each camera and position contributing to the acquisition of multi-view image data of the system, and This can be accomplished efficiently by using fiducial markers.

일부 구현예에서, 이미지 데이터를 획득할 때, 타겟 객체의 실루엣은 3차원 모델이 생성되기 전에 결정될 수 있다. 예를 들어, 본 개시 내용의 양태는 이미지 데이터에서 어느 것이 식품 재료를 나타내고 있는지 인식한 후, 외부층 및 내부층을 형성하는 상이한 성분들을 구별하는 것을 포함할 수 있다. 예를 들어, 객체가 생선 살코기인 구현예에서, 외부층 또는 제1 부분은 제1 유형의 살(meat)에 대응하고, 내부층 또는 제2 부분은 보통 제1 유형의 살 내에 포함된 제2 유형의 살에 대응한다. 일부 양태에서, 기계 학습, 더욱 구체적으로는 인공 신경망이 이러한 작업을 수행하는데 구현될 수 있다.In some implementations, when obtaining image data, the silhouette of the target object may be determined before the three-dimensional model is generated. For example, aspects of the present disclosure may include recognizing which one represents a food ingredient in the image data, and then distinguishing between the different components forming the outer layer and the inner layer. For example, in embodiments where the object is lean fish, the outer layer or first portion corresponds to a first type of meat, and the inner layer or second portion is usually contained within the first type of flesh. Corresponds to the type of flesh. In some aspects, machine learning, more specifically artificial neural networks, can be implemented to perform these tasks.

예를 들어, 신경망에서, 가중치와 연관된 연결(connection)을 통해 연결된 상이한 층 내에 여러 노드가 있다. 이 가중치는, 일반적으로, 알려진 입력을 고려하여 노드의 어느 출력이 예측되는지를 특정함으로써 여러 번의 반복을 통해 조정되고 학습된다. 관심 대상인 식품 재료 및 내부 결함 또는 객체를 나타내는 라벨링된 이미지의 대규모 데이터 세트를 수집합으로써, 딥 컨벌루션 신경망(deep convolutional neural network)은 특정 객체의 위치 및 정확한 경계를 인식하는 방법을 학습하도록 훈련될 수 있다. 증가하는 훈련 데이터 세트와 신경망 아키텍처의 세심한 설계로, 훨씬 복잡한 작업이 본 명세서에 설명된 다양한 시스템, 장치 및 관련 방법을 이용하여 효율적으로 해결될 수 있다. 더욱이, 일부 구현예에서, 다양한 상이한 모드가 상이한 특정 애플리케이션에 대하여 구현될 수 있다.For example, in a neural network, there are multiple nodes within different layers connected through connections associated with weights. These weights are generally adjusted and learned over multiple iterations by specifying which outputs of the node are predicted, taking into account known inputs. By collecting large data sets of labeled images representing food ingredients and internal defects or objects of interest, deep convolutional neural networks can be trained to learn how to recognize the location and precise boundaries of specific objects. have. With increasing training data sets and meticulous design of neural network architectures, even more complex tasks can be efficiently solved using the various systems, devices and related methods described herein. Moreover, in some implementations, a variety of different modes may be implemented for different specific applications.

본 명세서에 설명된 바와 같이, 본 개시 내용은 검사된 결함 또는 처리된 제품의 3차원 구조의 검출 및 추출을 위하여 컨베이어 벨트 시스템을 포함한다. 연속으로 이동하는 벨트로 인하여, 데이터 획득 및 분석은 매우 효율적인 것이 바람직하다. 일부 구현예에서, 적용 가능한 광 스펙트럼의 파장은 식품 재료 및 애플리케이션의 과제에 기초하여 사전에 결정될 수 있다. 특정 스펙트럼 대역은 초분광(hyperspectral) 이미징이나, 특정 필터 또는 레이저 광의 사용을 통해 획득될 수 있고, 이는 라인 스캔 시스템을 시사한다.As described herein, the present disclosure includes a conveyor belt system for detection and extraction of inspected defects or three-dimensional structures of processed products. Due to the continuously moving belt, it is desirable that the data acquisition and analysis is very efficient. In some embodiments, the wavelength of the applicable light spectrum can be predetermined based on the challenges of the food material and application. Certain spectral bands can be obtained through hyperspectral imaging, or through the use of specific filters or laser light, suggesting a line scan system.

아래에서 더욱 상세히 설명되는 바와 같이, 투과 데이터를 획득하기 위하여, 광원은 이미징 센서의 반대편에 위치되며, 이는 광이 투과되어 식품 재료를 통해 통과되게 하는 투명 매체에 의해 메워지는 컨베이어 벨트 내의 작은 갭(gap)을 필요로 한다. 다른 광원이 상호 작용 이미징 모드를 위하여 이미징 센서 옆에 평행하게 위치된다. 양 이미징 모드는 각각의 모드에 의해 캡처되는 이미지 데이터를 모호하게 하는 것을 방지하기 위하여 고주파수로 교대한다.As will be explained in more detail below, in order to obtain transmission data, a light source is positioned opposite the imaging sensor, which is a small gap in the conveyor belt that is filled by a transparent medium that allows the light to be transmitted and passed through the food material. gap). Another light source is placed parallel next to the imaging sensor for the interactive imaging mode. Both imaging modes alternate at high frequencies to avoid obscuring the image data captured by each mode.

아래에서 더욱 상세히 설명되는 바와 같이, 본 개시 내용에서, (본 명세서에 더욱 상세히 설명되는 바와 같이, 이미징 장치의 컴포넌트일 수 있고, 대안적으로는, 일반적으로 이미징 장치라 하고 일부 실시예에서는 이미징 장치에 결합된 개별 컴포넌트라 할 수 있는) 다수의 광원 및 카메라 센서의 조합이 다수의 뷰로부터 이미지 데이터를 수집하기 위하여 컨베이어 벨트에 또는 그 주위에 장착된다. 대안적으로, 일부 구현예에서, 단일 카메라 센서 또는 이미징 장치가 대신에 사용될 수 있다. 그러나, 이러한 구현예에서, 단일 카메라는 컨베이어 벨트 주위에 광 및 카메라를 재배치하는 것을 허용하는 회전 프레임 상에 위치될 수 있다. 카메라 시스템의 재배치로 인한 감소된 획득 시간 또는 빠른 컨베이어 벨트 속도로, 이미지 데이터는 나선형 정렬로 획득된다. 따라서, 나선형 이미지 데이터는 횡단 경로(transversal path)를 따라 획득 지점 사이에서 보간된다(interpolated). 뷰의 개수는 애플리케이션 및 타겟 객체의 필요한 상세 사항에 따라 달라질 수 있다. 구조는 이미징 장치 주위에 구성되고, 이미징 동안 조명을 제어하고 이에 따라 더 나은 이미지 품질을 성취하도록, 외부로부터 어떠한 광도 차단한다.As described in more detail below, in the present disclosure, (may be a component of an imaging device, as described in more detail herein, alternatively, generally referred to as an imaging device, and in some embodiments, an imaging device A combination of multiple light sources and camera sensors (which can be referred to as individual components coupled to) is mounted on or around a conveyor belt to collect image data from multiple views. Alternatively, in some implementations, a single camera sensor or imaging device may be used instead. However, in this implementation, a single camera may be placed on a rotating frame that allows relocating the light and camera around the conveyor belt. With a fast conveyor belt speed or reduced acquisition time due to relocation of the camera system, image data is acquired in a spiral arrangement. Thus, the helical image data is interpolated between acquisition points along a transversal path. The number of views may vary depending on the application and required details of the target object. The structure is constructed around the imaging device and blocks any light from outside to control the illumination during imaging and thus achieve better image quality.

본 개시 내용은, 일부 구현예에서, 타겟 객체의 위치 및 경계를 검출하도록 훈련된 딥 컨벌루션 신경망을 이용한다. 그러나, 본 개시 내용의 검토에 따라, 딥 컨벌루션 신경망의 적용은 애플리케이션에 의존하고 그에 따라 달라질 수 있으며, 이러한 모델은 이 작업을 달성하기 위하여 사전이 훈련될 수 있다는 것이 이해되어야 한다. 아래에서 더욱 상세히 설명되는 바와 같이, 추출된 실루엣은 타겟 객체의 3차원 형상에 대한 대략적인 근사를 생성하는데 사용된다. 이해되어야 하는 바와 같이, 본 개시 내용의 검토에 따라, 재구성된 모델의 해상도(resolution)는 의도되는 애플리케이션에 대한 필요한 속도 및 상세 사항(detail) 사이의 트레이드 오프(trade-off)이다. 예를 들어, 일부 구현예에서, 더 높은 해상도는 재구성을 위하여 더 많은 수의 이미지와 더 많은 계산 자원을 필요로 하고, 이는 결국 애플리케이션 속도에 영향을 미친다.The present disclosure, in some implementations, utilizes a deep convolutional neural network trained to detect the location and boundary of a target object. However, according to the review of the present disclosure, it should be understood that the application of a deep convolutional neural network is application dependent and may vary accordingly, and this model may be pre-trained to achieve this task. As described in more detail below, the extracted silhouette is used to generate a rough approximation to the three-dimensional shape of the target object. As should be understood, in accordance with the review of this disclosure, the resolution of the reconstructed model is a trade-off between the required speed and details for the intended application. For example, in some implementations, higher resolution requires a larger number of images and more computational resources for reconstruction, which in turn affects the application speed.

다른 구현예에서, 본 명세서에 설명되는 바와 같이, 카메라의 배열 및 개수는 달라질 수 있다. 위치 및 카메라 파라미터는 이미지 데이터를 캡처하기 전에 캘리브레이션될 수 있다. 컨베이어 벨트 상의 식품 재료의 이동 때문에, 카메라의 횡 방향 위치는 수송되는 재료를 참조하여 변경된다. 횡 방향 위치는 내부적으로 유지될 수 있거나, 애플리케이션에 따라 필요한 경우, 재료를 참조하여 설정되거나 컨베이어 벨트 상의 마커를 통해 명시적으로 정의될 수 있다.In other implementations, as described herein, the arrangement and number of cameras may vary. Position and camera parameters can be calibrated prior to capturing image data. Due to the movement of the food material on the conveyor belt, the transverse position of the camera is changed with reference to the material being transported. The transverse position can be maintained internally or, if necessary depending on the application, can be set with reference to the material or explicitly defined via a marker on the conveyor belt.

이제 도시된 예시적인 구현예들로 돌아가면, 도 1은 컨베이어 시스템(100)의 사시도이다. 컨베이어 시스템(100)이 본 개시 내용의 구현예들의 쉬운 이해를 위하여 단순화되었고, 따라서, 컨베이어 시스템(100)과 연관된 소정의 특징은 설명되지 않았다는 것이 이해되어야 한다. 컨베이어 시스템(100)은 제2 컨베이어(104)로부터 이격된 제1 컨베이어(102)를 포함한다. 다른 말로 하면, 공간 또는 갭(114)이 제1 컨베이어(102)를 제2 컨베이어(104)로부터 분리한다. 제1 컨베이어(102)는 본 명세서에서 일반적으로 컨베이어 시스템(100)의 제1 부분이라 할 수 있고, 유사하게, 제2 컨베이어(104)는 본 명세서에서 일반적으로 컨베이어 시스템(100)의 제2 부분이라 할 수 있다. 더욱이, 공간 또는 갭(114)과 플레이트(110)의 크기 및 형상은 특정 애플리케이션에 따라 다를 수 있고, 따라서 본 개시 내용은 공간 또는 갭(114)에 대응하는 컨베이어(102, 104) 사이의 거리나 플레이트(110)의 크기 또는 형상에 의해 제한되지 않는다.Turning now to the illustrated exemplary implementations, FIG. 1 is a perspective view of a conveyor system 100. It should be understood that the conveyor system 100 has been simplified for easy understanding of implementations of the present disclosure, and therefore, certain features associated with the conveyor system 100 have not been described. The conveyor system 100 includes a first conveyor 102 spaced from the second conveyor 104. In other words, a space or gap 114 separates the first conveyor 102 from the second conveyor 104. The first conveyor 102 may be generally referred to herein as the first part of the conveyor system 100, and similarly, the second conveyor 104 is generally referred to herein as the second part of the conveyor system 100. It can be called this. Moreover, the size and shape of the space or gap 114 and the plate 110 may vary depending on the particular application, so the present disclosure is not limited to the distance or distance between the conveyors 102 and 104 corresponding to the space or gap 114. It is not limited by the size or shape of the plate 110.

플레이트(110)는 갭(114) 내에 또는 그에 근접하게 위치되어, 연속 컨베이어 라인을 형성한다. 바람직하게는, 플레이트(110)는 광이 방해 없이 플레이트(110)를 통과할 수 있게 하도록 투명하다. 예를 들어, 플레이트(110)는 다른 것들 중에서도 투명 플라스틱, 폴리머 또는 유리로 형성될 수 있고, 대안적인 구현예에서는, 플레이트(110)는 반투명하고, 예를 들어, 반투명 플라스틱, 폴리머 또는 유리로 유사하게 형성된다. 플레이트(110)는 컨베이어 시스템(100)에 결합되거나, 더욱 구체적으로는, 제1 컨베이어(102) 및 제2 컨베이어(104) 중 적어도 하나에 결합된다. 더욱이, 시스템(100)의 각각의 컨베이어(102, 104)는 지지 구조체(106)에 의해 지지되고, 컨베이어 표면(112)은 롤러(108) 및 종래의 구동 기구(도시되지 않음)에 의해 병진한다. 또한, 컨베이어 표면(112)은 고형체이거나(solid), 도 1에 도시된 바와 같이, 한 줄로 배열되거나 컨베이어 표면(112)에 걸쳐 균일하게 분산되는 복수의 구멍(perforation)(116)을 포함할 수 있다. 다른 구현예에서, 컨베이어 표면(112)은 고형체이고, 이는 표면(112)에 이러한 구멍이 없다는 것을 의미한다.Plate 110 is positioned within or close to gap 114 to form a continuous conveyor line. Preferably, the plate 110 is transparent to allow light to pass through the plate 110 without interference. For example, the plate 110 may be formed of transparent plastic, polymer or glass, among other things, and in an alternative embodiment, the plate 110 is translucent, and is similar to, for example, a translucent plastic, polymer or glass. Is formed. The plate 110 is coupled to the conveyor system 100 or, more specifically, to at least one of the first conveyor 102 and the second conveyor 104. Moreover, each conveyor 102, 104 of the system 100 is supported by a support structure 106, and the conveyor surface 112 is translated by a roller 108 and a conventional drive mechanism (not shown). . In addition, the conveyor surface 112 may be solid, or may include a plurality of perforations 116 arranged in a row or evenly distributed over the conveyor surface 112, as shown in FIG. 1. I can. In another embodiment, the conveyor surface 112 is solid, which means that there are no such holes in the surface 112.

도 2는 투과 이미징 모드(200)에 대응하는 개략도이다. 투과 이미징 모드(200)는 광원(202)과 이미징 장치(204)를 포함한다. 도 2는 스캐닝될 객체(206)를 더 도시하고, 객체(206)는 플레이트(110) 상에 위치된다. 광원(202)은 플레이트(110)를 향하여 지향되고 플레이트(110)를 향하여 이동함에 따라 바깥을 향하여 전파하는 광(208)을 방출한다. 광(208)이 플레이트(110) 및 객체(206)를 투과함에 따라, 광은 수렴 경로 또는 부분(210)으로 표시되는 바와 같이 수렴한다. 객체(206)를 빠져나온 후, 광(208)은 이미징 장치(204)에 의해 캡처된다. 본 명세서에 설명되는 바와 같이, 이미징 장치(204)는 객체(206)를 통해 투과된 캡처된 광(208)에 대응하는 투과 이미지 데이터를 수신하고, 투과 이미지 데이터는 이어서 추가 처리 및 재구성을 위하여 신호를 통해 이미징 장치(204)와 전자적으로 통신하는 프로세서 또는 제어 유닛(예를 들어, 도 4에 도시된 제어 유닛(248))에 전송된다.2 is a schematic diagram corresponding to the transmission imaging mode 200. The transmission imaging mode 200 includes a light source 202 and an imaging device 204. 2 further shows the object 206 to be scanned, the object 206 being placed on the plate 110. The light source 202 is directed towards the plate 110 and emits light 208 that propagates outward as it moves towards the plate 110. As light 208 passes through plate 110 and object 206, the light converges as indicated by a converging path or portion 210. After exiting object 206, light 208 is captured by imaging device 204. As described herein, the imaging device 204 receives transmission image data corresponding to the captured light 208 transmitted through the object 206, and the transmission image data is then signaled for further processing and reconstruction. To a processor or a control unit (eg, control unit 248 shown in FIG. 4) in electronic communication with the imaging device 204 via.

도시된 구현예에서, 컨베이어 시스템(100)은 일반적으로 도 2에 도시된 방향(orientation)에 대하여 오른쪽에서 왼쪽으로 객체(206)를 병진시키고 있지만, 컨베이어 시스템(100)이 다른 방향으로도 병진시킬 수 있다는 것이 이해되어야 한다. 더욱이, 광원(202)으로부터 출력된 광(208)이 이미징 장치를 향하여 직선 방식으로 객체(206)를 통해 전파하도록, 이미징 장치(204) 및 광원(202)은 바람직하게는 수직 축을 따라 정렬되고, 이미징 장치(204)는 광원(202) 위에 정렬된다. 또한, 객체(206)와 광(208)의 특성 또는 정렬에서의 작은 변동으로 인하여, 이미징 장치(204)와 광원(202)의 정렬은 엄밀히 수직이지 않을 수 있고, 대신에 수직의 10도 이내에 있거나, 수직의 5도 이내에 있거나, 실질적으로 수직(즉, 수직의 3도 이내)일 수 있다.In the illustrated embodiment, the conveyor system 100 is generally translating the object 206 from right to left with respect to the orientation shown in FIG. 2, but the conveyor system 100 may also translate in other directions. It should be understood that you can. Moreover, the imaging device 204 and the light source 202 are preferably aligned along a vertical axis so that the light 208 output from the light source 202 propagates through the object 206 in a linear manner towards the imaging device, The imaging device 204 is aligned over the light source 202. In addition, due to small variations in the properties or alignment of the object 206 and the light 208, the alignment of the imaging device 204 and the light source 202 may not be strictly vertical, but may instead be within 10 degrees of vertical. , May be within 5 degrees of vertical, or substantially vertical (ie, within 3 degrees of vertical).

광원(202)은, 예를 들어, 레이저, 발광 다이오드(light emitting diode(LED)), LED 어레이 또는 패널, 백열등, 소형 형광등, 할로겐 램프, 메탈 할라이드 램프, 형광 튜브, 네온 램프, 저압 나트륨 램프 또는 HID(high intensity discharge lamp)과 같이, 다양한 구현예에서 다양한 소스 중 하나로부터 선택될 수 있다. 광원(202)이 레이저인 구현예에서, 본 개시 내용의 구현예는 고체 상태 레이저, 가스 레이저, 엑시머 레이저, 색소(dye) 레이저 또는 반도체 레이저를 포함하는 광원(202)을 더 포함할 수 있다. 레이저가 레이저 방출 지속 시간을 특징으로 하는 정도까지, 레이저는 또한 연속파 레이저, 단일 펄스 레이저, 단일 펄스 q-스위치드(q-switched) 레이저, 반복 펄스 레이저 또는 모드 잠금 레이저일 수 있다.The light source 202 is, for example, a laser, a light emitting diode (LED), an LED array or panel, an incandescent lamp, a small fluorescent lamp, a halogen lamp, a metal halide lamp, a fluorescent tube, a neon lamp, a low pressure sodium lamp, or Like a high intensity discharge lamp (HID), it can be selected from one of a variety of sources in various implementations. In embodiments in which the light source 202 is a laser, embodiments of the present disclosure may further include a light source 202 including a solid state laser, a gas laser, an excimer laser, a dye laser, or a semiconductor laser. To the extent that the laser is characterized by the duration of laser emission, the laser may also be a continuous wave laser, a single pulse laser, a single pulse q-switched laser, a repetitive pulse laser or a mode locked laser.

더욱이, 위에서 논의된 바와 같이, 바람직하게는, 상이한 광원(202)이 객체(206)에 상대적으로 상이한 관통 특성을 갖는 광(208)을 출력하기 때문에, 광원(202)은 구체적으로 애플리케이션 또는 스캐닝될 객체(206)에 대하여 선택된다. 객체(206)가 생선 살코기인 구현예에서, 바람직하게는, 광원(202)은 투과 이미징 모드(200)에서 790 및 820 나노미터(nm) 사이의 파장을 갖는 광을 출력하지만, 더욱 바람직하게는, 파장은 805 nm 또는 대략 805 nm(즉, 800 nm 내지 810 nm)이며, 이는 일반적으로 대략 400 및 750 nm 사이인 스팩트럼의 가시 광선 부분의 외부에 있는 전자기 스펙트럼의 적외선 부분의 파장에 대응한다. 더욱이, 이 파장은, 적어도 참치 살코기에 대하여, 산란을 최소화하면서, 살코기 내로 깊은 통과를 허용하는 광의 파장에 대응하며, 산란이 투과 이미징 모드(200)에 대응하는 이미지 데이터의 정확성을 감소시키기 때문에, 산란은 일반적으로 투과 이미징 모드(200)에서 바람직하지 않다.Moreover, as discussed above, preferably, since different light sources 202 output light 208 having different penetrating properties relative to the object 206, the light source 202 may be specifically applied or scanned. It is selected for the object 206. In embodiments where the object 206 is lean fish, preferably, the light source 202 outputs light having a wavelength between 790 and 820 nanometers (nm) in the transmission imaging mode 200, but more preferably , The wavelength is 805 nm or approximately 805 nm (i.e., 800 nm to 810 nm), which corresponds to the wavelength of the infrared portion of the electromagnetic spectrum outside the visible portion of the spectrum, which is generally between approximately 400 and 750 nm. Moreover, this wavelength corresponds to the wavelength of light that allows deep passage into the lean meat while minimizing scattering, at least for tuna lean meat, since scattering reduces the accuracy of the image data corresponding to the transmission imaging mode 200, Scattering is generally undesirable in transmission imaging mode 200.

750 nm보다 더 크거나 대략 805 nm에서의 근적외선 스펙트럼은 물이 참치 생선 살코기에서의 생물학적 조직에서의 실질적인 부분에 기여하는 헤모글래빈이 그러한 것처럼 이러한 파장에 여전히 다소 투과성인 때문에, 참치 가공에 대하여 유용하다. 상대적으로, 가시 광선 스펙트럼(즉, 400 nm 내지 750nm)에서, 헤모글로빈은 광의 대부분을 흡수한다. 이 파장에서 광이 흰 살(white meat)을 통과하지만 어두운 살은 통과하지 않는 이유에 관한 하나의 가능성 있는 설명은 2개의 재료 사이의 상이한 밀도의 근섬유 때문이라는 것이며, 어두운 살에 대한 근섬유 밀도는 흰 살보다 훨씬 더 높다. 이 파장 범위(즉, 근적외선 또는 대략 805 nm)에서 어두운 살에 대한 흡수 계수는 여전히 매우 높은 반면, 흰 살에 대한 흡수 계수는 더 낮다. 물리적 특성 이외에, 이러한 특성은, 예를 들어, 화학적 조성에서의 차이에 의해 설명될 수 있다. 따라서, 흰 살에 대하여, 관통은 다소 깊은 상태를 유지한다. 거동에 있어서의 이러한 차이는 파장(즉, 대략 805 nm)의 이러한 특별한 선택이 스캐닝되는 객체가 참치 생선 살코기인 애플리케이션에 대하여 바람직하게 한다.The near-infrared spectrum greater than 750 nm or at approximately 805 nm is useful for tuna processing, as water is still somewhat permeable to these wavelengths as hemoglobin, which contributes to a substantial part of the biological tissue in tuna fish lean. . Relatively, in the visible spectrum (i.e. 400 nm to 750 nm), hemoglobin absorbs most of the light. One possible explanation for why light passes through white meat at this wavelength but not dark flesh is that it is due to the different density of muscle fibers between the two materials, and the muscle fiber density for dark flesh is white. Much higher than flesh. In this wavelength range (i.e., near infrared or approximately 805 nm) the absorption coefficient for dark flesh is still very high, while the absorption coefficient for white flesh is lower. In addition to physical properties, these properties can be explained, for example, by differences in chemical composition. Thus, for white flesh, the penetration remains rather deep. This difference in behavior makes this particular choice of wavelength (ie, approximately 805 nm) desirable for applications where the object being scanned is a tuna fish lean.

특정 구현예에서, 이미징 장치(204)는, 한정하지 않으면서, 다른 것들 중에서도, 분광기(spectrograph), 카메라 또는 센서를 포함하는 다수의 상업적으로 입수 가능한 이미징 장치(204) 중 하나이다. 이미징 장치(204)가 센서인 구현예에서, 바람직하게는, 이미징 장치(204)는 300 nm 및 1000 nm 사이의 파장을 캡처하는 CMOS(complementary metal oxide semiconductor) 센서이다. 대안적으로, 센서는 유사한 파장을 캡처하는 CCD(charged-coupled device) 또는 900 및 1700 nm 사이의 파장을 캡처하는 인듐 갈륨 비화물(InGaAs) 센서이다. 이미징 장치(204)가 카메라 또는 분광기인 구현예에서, 카메라 또는 분광기는, 다른 전자 부품 및 다른 유형의 센서에 더하여, 임의의 상술한 센서를 포함할 수 있다는 것이 더 이해되어야 한다.In certain implementations, the imaging device 204 is one of a number of commercially available imaging devices 204 including, but not limited to, a spectrograph, camera, or sensor, among others. In embodiments where the imaging device 204 is a sensor, preferably, the imaging device 204 is a complementary metal oxide semiconductor (CMOS) sensor that captures wavelengths between 300 nm and 1000 nm. Alternatively, the sensor is a charged-coupled device (CCD) that captures similar wavelengths or an indium gallium arsenide (InGaAs) sensor that captures wavelengths between 900 and 1700 nm. In embodiments where the imaging device 204 is a camera or spectroscope, it should be further understood that the camera or spectroscope may include any of the above-described sensors, in addition to other electronic components and other types of sensors.

투과 이미징 모드(200)를 캘리브레이션하는데 있어서, 또는 상이한 애플리케이션에 대하여 모드(200)를 변경하는데 있어서, 바람직하게는, 어느 파장이 최상의 투과율을 가지며 객체(206)에 대한 특성을 캡처하는지 조사하기 위하여, 광(208)은 개별 파장으로 분할된다. 구체적으로 예시되지 않지만, 회절 격자를 갖는 분광기가 광(208)을 개별 파장으로 분할하는데 사용될 수 있다. 대안적으로, 분광기가 민감하고 비싸기 때문에, 모드(200)가 캘리브레이션되면, 효율을 증가시키고 비용을 절감하기 위하여, 애플리케이션에 대응하는 이미징 장치(204)에 의해 캡처 광의 소정의 선택된 파장만이 통과하게 하는 차단 필터가 사용될 수 있다. 또 다른 대안에서, 바람직하게는, 캘리브레이션을 통해 선택된 바람직한 파장에 대응하는 특정 파장을 갖거나 특정 파장 범위 내의 광만을 방출하는 레이저 광원(202)이 사용될 수 있으며, 이 또한 비용을 절감하고 효율을 증가시킨다. 비교하자면, 차단 필터는 일반적으로 더 넓은 범위의 통과 파장을 가지는 반면, 레이저는 특정 파장에 매우 특유하고, 따라서, 2개 사이의 선택은 문제의 재료에 대한 원하는 작동 파장에 따라 달라질 것이다.In calibrating the transmission imaging mode 200, or in changing the mode 200 for different applications, preferably to investigate which wavelength has the best transmission and captures properties for the object 206, Light 208 is divided into individual wavelengths. Although not specifically illustrated, a spectroscope with a diffraction grating may be used to split light 208 into individual wavelengths. Alternatively, since the spectrometer is sensitive and expensive, once the mode 200 is calibrated, only certain selected wavelengths of captured light are passed by the imaging device 204 corresponding to the application to increase efficiency and reduce cost. A cut-off filter can be used. In another alternative, preferably, a laser light source 202 having a specific wavelength corresponding to the desired wavelength selected through calibration or emitting only light within a specific wavelength range can be used, which also reduces cost and increases efficiency. Let it. By comparison, cut-off filters generally have a wider range of pass wavelengths, while lasers are very specific to a particular wavelength, so the choice between the two will depend on the desired operating wavelength for the material in question.

도 3은 상호 작용 이미징 모드(300)의 예시적인 구현예의 개략도이다. 상호 작용 이미징 모드(300)는 광원(302)과 이미징 장치(304)를 포함한다. 일부 구현예에서, 이미징 장치(304)는 투과 모드의 이미징 장치(204)와 다를 수 있다; 일부 구현예에서, 상호 작용 이미징 모드(300)의 이미징 장치(304)는 투과 모드의 이미징 장치(204)와 동일할 수 있다. 다른 말로 하면, 동일한 이미징 장치가 투과 이미징 모드 및 상호 작용 이미징 모드 모두에 대하여 사용될 수 있다. 광원(302) 및 이미징 장치(304)는 각각 광원(202) 및 이미징 장치(204)를 참조하여 전술된 임의의 광원 및 이미징 장치일 수 있다. 스캐닝되는 객체(306)는 플레이트(110) 상에 있고, 광원(302)은 광(310)을 방출한다. 그러나, 투과 이미징 모드(200)에 비하여, 상호 작용 이미징 모드(300)에서, 광(310)은 광원(302)의 출력부(312)에서 광원(302)에 결합된 수렴 렌즈(308)를 통과한다. 수렴 렌즈(308)는 특정 애플리케이션에 따라 선택된 주축(principal axis), 초점, 초점 길이 및 수직면을 갖는 다수의 알려진 수렴 렌즈 중 임의의 하나일 수 있다. 수렴 렌즈(308)는, 다른 이점들 중에서도, 이미징 장치(304)에 의해 캡처된 이미지 데이터를 명백하게 하는데 도움을 준다.3 is a schematic diagram of an exemplary implementation of an interactive imaging mode 300. The interactive imaging mode 300 includes a light source 302 and an imaging device 304. In some implementations, the imaging device 304 may be different from the imaging device 204 in transmission mode; In some implementations, the imaging device 304 in the interactive imaging mode 300 may be the same as the imaging device 204 in the transmissive mode. In other words, the same imaging device can be used for both the transmissive imaging mode and the interactive imaging mode. Light source 302 and imaging device 304 may be any light source and imaging device described above with reference to light source 202 and imaging device 204, respectively. The object 306 being scanned is on the plate 110 and the light source 302 emits light 310. However, compared to the transmission imaging mode 200, in the interactive imaging mode 300, the light 310 passes through a converging lens 308 coupled to the light source 302 at the output 312 of the light source 302. do. Converging lens 308 may be any one of a number of known converging lenses having a principal axis, focal length, focal length and vertical plane selected according to a particular application. The converging lens 308 helps to clarify the image data captured by the imaging device 304, among other advantages.

객체(306)가 생선 살코기이고 더욱 구체적으로는 참지 살코기인 구현예에 대한 상호 작용 이미징 모드(300)에서, 바람직하게는, 광원(302)은 대략 740 및 800 nm 사이에 있고, 더욱 바람직하게는, 770 nm 또는 대략 770 nm(즉, 765 및 775 nm 사이)인 파장의 광을 방출한다. 또한, 바람직하게는, 이미징 장치(304)는 본 명세서에 설명된 바와 같은 CMOS 센서 또는 CCD센서이고, 바람직하게는 이를 포함한다. 이 파장 범위는 투과 이미징 모드(200)의 바람직한 파장에 관하여 상술한 분석에 기초하여 상호 작용 이미징 모드(300)에 대하여 바람직한 것으로 밝혀졌다.In the interactive imaging mode 300 for an embodiment where the object 306 is lean fish and more specifically lean meat, preferably, the light source 302 is between approximately 740 and 800 nm, more preferably , 770 nm or approximately 770 nm (ie, between 765 and 775 nm). Further, preferably, the imaging device 304 is, and preferably includes, a CMOS sensor or a CCD sensor as described herein. This wavelength range has been found to be desirable for the interactive imaging mode 300 based on the analysis described above with respect to the preferred wavelength of the transmission imaging mode 200.

광(310)이 광원(302)에 의해 방출되고 수렴 렌즈(308)를 통과한 후, 광(310)은 객체(306)를 통과하는 광(310)의 부분(312)으로 나타낸 바와 같이 객체(306)와 접촉한다. 그러나, 상호 작용 이미징 모드(300)에서, 이미징 장치(304)는 객체(306)에 의해 후방 산란된 광을 측정한다. 다른 말로 하면, 광(310)의 부분(314)은 객체(306)에 진입한 후에 객체(306)를 빠져나오기 전에 객체(306)의 재료 조성과 광(310)으로 인하여 객체(306) 내에서 구부러지나, 휘어지거나, 방향을 바꾸는 광에 대응한다. 다른 말로 하면, 수렴 렌즈(308)를 통해 방출된 광(310)은 제1 방향(305)을 따라 전파하고 객체를 빠져나온 광(310)은 제2 방향(307)으로 전파하며, 일 구현예에서, 제1 및 제2 방향은 평행한 축을 따라 서로 반대 방향이다. 그러나, 본 개시 내용의 구현예는 또한, 도 4를 참조하여 설명되는 바와 같이, 광원(302)이 객체(306)에 대하여 비스듬할 때와 같이, 서로에 대하여 횡 방향으로 비스듬히 있을 수 있는 제1 및 제2 방향을 포함한다는 것이 이해되어야 한다. 광(310)은 객체(306)를 빠져나와 이미징 장치(304)를 향해 전파하고, 전파 동안, 광은 분산 부분(316)으로 표시된 바와 같이 분산한다. 광(310)이 이미징 장치(304)에 의해 수신될 때, 이미징 장치(304)는, 본 명세서에 설명된 바와 같이, 캡처된 광(310)의 양에 대응하는 상호 작용 이미징 데이터를 제어 유닛 또는 프로세서(예를 들어, 도 5에 도시된 제어 유닛(428))에 전송한다.After light 310 is emitted by the light source 302 and passes through the converging lens 308, the light 310 passes through the object 306, as indicated by the portion 312 of the light 310. 306). However, in the interactive imaging mode 300, the imaging device 304 measures the light backscattered by the object 306. In other words, the portion 314 of the light 310 is within the object 306 due to the material composition of the object 306 and the light 310 before exiting the object 306 after entering the object 306. Corresponds to light that bends, bends, or changes direction. In other words, the light 310 emitted through the converging lens 308 propagates along the first direction 305 and the light 310 exiting the object propagates in the second direction 307, one embodiment In, the first and second directions are opposite to each other along a parallel axis. However, implementations of the present disclosure also include a first, which may be obliquely in the transverse direction with respect to each other, such as when the light source 302 is oblique with respect to the object 306, as described with reference to FIG. 4. And a second direction. The light 310 exits the object 306 and propagates towards the imaging device 304, while during propagation, the light diffuses as indicated by the dispersing portion 316. When the light 310 is received by the imaging device 304, the imaging device 304 sends interactive imaging data corresponding to the amount of captured light 310, as described herein, to a control unit or To the processor (e.g., control unit 428 shown in FIG. 5).

도시된 구현예에서, 컨베이어(100)는 일반적으로, 화살표(318)로 표시된 바와 같이, 도 3에 도시된 배향에 대하여 오른쪽에서 왼쪽으로 객체(306)를 병진시킨다. 따라서, 광원(302)은 컨베이어 시스템(100)의 병진 방향에 대하여 상대적으로 이미징 장치(304)의 상류에 위치된다. 다른 말로 하면, 광원(302)은 일반적으로 이미징 장치(304)에 근접하게 그리고 바람직하게는 그에 평행하게 위치된다. 이미징 장치(304)로부터 하류에 있는 광원(302)을 가지는 것이 가능할 수 있지만, 이 배열은 처리 동안 보정될 필요가 있을 수 있는 덜 정확한 이미징 데이터를 초래할 수 있다. 더욱이, 컨베이어(100)가 화살표(318)로 표시된 방향에 반대로 객체(306)를 병진시키는 것이 또한 가능하며, 이 경우에, 바람직하게는, 광원은 도시된 배향에서 이미징 장치(304)의 왼쪽(즉, 상류)에 있다. 또한, 광원(302)과 이미징 장치(304)는 모두 객체(306) 위에 위치되고, 따라서, 실질적으로 수직 축을 따라 객체(206)를 통해 직접 병진하는 광 부분을 캡처하는 투과 이미징 모드(200)에 반대로, 상호 작용 이미징 모드(300)는 객체(306)에 진입한 후에 이미징 장치(304)를 향하여 후방 산란하는 광(310)의 부분(314)을 캡처한다.In the illustrated embodiment, the conveyor 100 generally translates the object 306 from right to left with respect to the orientation shown in FIG. 3, as indicated by arrow 318. Thus, the light source 302 is positioned upstream of the imaging device 304 relative to the translation direction of the conveyor system 100. In other words, the light source 302 is generally positioned proximate and preferably parallel to the imaging device 304. While it may be possible to have a light source 302 downstream from the imaging device 304, this arrangement may result in less accurate imaging data that may need to be corrected during processing. Moreover, it is also possible for the conveyor 100 to translate the object 306 opposite to the direction indicated by the arrow 318, in this case, preferably, the light source is to the left side of the imaging device 304 in the orientation shown ( That is, upstream). In addition, both the light source 302 and the imaging device 304 are positioned above the object 306 and, therefore, are in a transmission imaging mode 200 that captures a portion of light that translates directly through the object 206 along a substantially vertical axis. Conversely, the interactive imaging mode 300 captures a portion 314 of light 310 that scatters back toward the imaging device 304 after entering the object 306.

도 4는 컨베이어 시스템(402), 컨베이어 시스템(402)에 결합된 지지 링(414), 지지 링(414)에 결합된 복수의 이미징 장치(422) 및 지지 링(414)에 결합된, 제1 광원(424)과 같은, 적어도 하나의 광원을 포함하는 이미징 시스템(400)의 예시적인 실시예의 사시도를 도시한다.FIG. 4 is a first diagram of a conveyor system 402, a support ring 414 coupled to the conveyor system 402, a plurality of imaging devices 422 coupled to the support ring 414 and a support ring 414. Shows a perspective view of an exemplary embodiment of an imaging system 400 including at least one light source, such as light source 424.

컨베이어 시스템(402)은 도 1의 컨베이어 시스템(100)을 참조하여 전술된 특징을 전부 또는 상당한 부분을 포함할 수 있다. 그러나, 간단히, 컨베이어 시스템(402)은 제1 컨베이어 또는 부분(404) 및 제2 컨베이어 또는 부분(406)을 포함하고, 제1 컨베이어(404)는 갭 또는 공간(410)에 의해 제2 컨베이어(406)로부터 분리된다. 바람직하게는 투명한 플레이트(412)가 갭(410) 내에 위치되고, 연속 컨베이어 라인을 형성하도록 컨베이어 시스템(402)에 결합된다.Conveyor system 402 may include all or a substantial portion of the features described above with reference to conveyor system 100 of FIG. 1. However, briefly, the conveyor system 402 comprises a first conveyor or portion 404 and a second conveyor or portion 406, the first conveyor 404 being a second conveyor ( 406). A transparent plate 412 is preferably positioned within the gap 410 and coupled to the conveyor system 402 to form a continuous conveyor line.

전술된 바와 같이, 지지 링 또는 프레임(414)은 지지부(support)(416, 418)로 컨베이어 시스템(402)에 결합되고, 바람직하게는, 지지 링(414)은 이미징 시스템(400)의 캘리브레이션 동안 지지 링(414)의 회전을 용이하게 하도록 원형이다. 바람직하게는, 지지부(416)는 컨베이어 시스템(402), 더욱 구체적으로는, 제1 및 2제2 컨베이어(404, 406)의 각각에 결합된 플레이트(420)에 결합되고 플레이트(420)로부터 연장하는 조정 가능한 칼라(collar)이다. 바람직하게는, 지지부(418)는, 시스템의 캘리브레이션 동안 지지 칼라(416)를 조정함으로써 지지 링(414)이 수동으로 회전될 수 있도록, 컨베이어 시스템(402)에 결합된 지지 링(414)을 수용하기 위한 개방 채널을 갖는 베이스이다. 지지부(416)가 칼라로 도시되고, 지지부(118)가 지지 링(414)을 수용하기 위한 채널을 갖는 베이스로서 도시되지만, 다수의 다른 장치 또는 배열이 지지 링(414)을 컨베이어 시스템(402)에 결합하기 위하여 본 개시 내용에서 고려될 수 있다는 것이 이해되어야 한다. 예를 들어, 다른 구현예에서, 결합은 컨베이어 시스템(402)으로부터 연장하는 하나 이상의 중심에 배치된 스포크(spoke) 또는 공간(410) 내에 위치되고 컨베이어 시스템(402)에 결합된 다른 구조를 포함하거나, 대안적으로, 지지 링(414)이 도 6에 도시된 하우징과 같은 하우징에 결합되어 그에 의해 지지될 수 있다.As described above, the support ring or frame 414 is coupled to the conveyor system 402 with supports 416, 418, and preferably, the support ring 414 is during calibration of the imaging system 400. It is circular to facilitate rotation of the support ring 414. Preferably, the support 416 is coupled to and extends from the plate 420 to the conveyor system 402, more specifically to the plate 420 coupled to each of the first and second conveyors 404, 406. It is an adjustable collar. Preferably, the support 418 receives the support ring 414 coupled to the conveyor system 402 so that the support ring 414 can be manually rotated by adjusting the support collar 416 during calibration of the system. It is a base that has an open channel for it. While the support 416 is shown in collar and the support 118 is shown as a base having a channel for receiving the support ring 414, a number of other devices or arrangements include the support ring 414 in the conveyor system 402. It should be understood that may be considered in the present disclosure in order to bind to. For example, in other embodiments, the coupling comprises one or more centrally disposed spokes extending from the conveyor system 402 or other structures located within the space 410 and coupled to the conveyor system 402 or Alternatively, the support ring 414 may be coupled to and supported by a housing, such as the housing shown in FIG. 6.

지지 링(414)은 지지 링(414)에 결합되고 이로부터 연장하는 복수의 이미징 장치(422)를 더 포함한다. 각각의 이미징 장치(422)는 도 2를 참조하여 설명된 이미징 장치(422) 및 이의 임의의 변형과 동일하지는 않더라도 실질적으로 유사할 수 있다. 또한, 지지 링(414)은, 적어도, 도 2에서 광원(204)을 참조하여 위에서 논의된 임의의 광원일 수 있는 제1 광원(424)을 포함한다. 도 4에 도시된 바와 같이, 제1 광원(424)은 컨베이어 시스템(402) 사이에 위치되고, 제1 광원(424)에 의해 방출된 광이 플레이트(412) 및 이미징되거나 스캐닝될 플레이트(412) 상의 객체(408)를 향하여 지향되도록 배열된다. 광은 플레이트(412)와 객체(408)를 통과하여 복수의 이미징 장치(422) 중 적어도 하나에 수신되고, 제1 광원(424)으로부터 수신된 광에 대응하는 데이터는 투과 이미징 데이터에 대응한다.The support ring 414 further includes a plurality of imaging devices 422 coupled to and extending from the support ring 414. Each imaging device 422 may be substantially similar, if not identical, to the imaging device 422 and any variations thereof described with reference to FIG. 2. Further, the support ring 414 includes a first light source 424, which may be at least any of the light sources discussed above with reference to light source 204 in FIG. 2. 4, a first light source 424 is located between the conveyor system 402, and the light emitted by the first light source 424 is plate 412 and a plate 412 to be imaged or scanned. It is arranged to be oriented towards the object 408 on the image. The light passes through the plate 412 and the object 408 and is received by at least one of the plurality of imaging devices 422, and data corresponding to the light received from the first light source 424 corresponds to transmission imaging data.

예시된 구현예에서, 지지 링은 복수의 이미징 장치(422) 근처에 지지 링(414)에 결합되고 그로부터 연장하는 제2 광원(426)을 더 포함한다. 바람직하게는, 제2 광원(426)은 상호 작용 이미징 모드에서 사용되고, 제2 광원(426)은 이미징 장치(422)에 근접하고 그에 평행하게 위치된다. 또 다른 실시예에서, 제2 광원(426)은 이미징 장치(422)에 근접하게 위치되지만, 도 4에 도시되고 여기에서 설명되는 바와 같이, 이미징 장치(422)의 시야를 횡단하는 각도로 기울여져 있다. 제2 광원(426)은 유사하게 도 2에서 광원(202)을 참조하여 논의된 임의의 상술한 광원일 수 있다. 제2 광원(426)은 도 3을 참조하여 설명된 상호 작용 이미징 모드(300)에 대응하는 광을 방출한다. 따라서, 제2 광원(426)에 의해 방출된 광은 제1 방향으로 객체(408)를 향하여 지향되고, 객체(408) 내에서 방향을 바꾸고, 제2 방향으로 객체(408)를 빠져나와, 복수의 이미징 장치(422) 중에서, 전부는 아니더라도, 적어도 하나에서 수신되며, 제2 광원(426)으로부터 수신된 광에 대응하는 데이터는 상호 작용 이미징 데이터에 대응한다. 예시된 구현예에서, 제1 및 제2 방향 사이의 각도는 90도 미만이고, 바람직하게는, 45도 미만이지만, 각도는 특정 애플리케이션(즉, 스캐닝되는 객체(408)의 유형)에 따라 달라질 것이라는 점이 이해되어야 한다.In the illustrated embodiment, the support ring further includes a second light source 426 coupled to and extending from the support ring 414 near the plurality of imaging devices 422. Preferably, the second light source 426 is used in the interactive imaging mode, and the second light source 426 is positioned close to and parallel to the imaging device 422. In another embodiment, the second light source 426 is positioned proximate to the imaging device 422, but is tilted at an angle that crosses the field of view of the imaging device 422, as shown in FIG. 4 and described herein. have. The second light source 426 may similarly be any of the aforementioned light sources discussed with reference to light source 202 in FIG. 2. The second light source 426 emits light corresponding to the interactive imaging mode 300 described with reference to FIG. 3. Accordingly, the light emitted by the second light source 426 is directed toward the object 408 in the first direction, changes the direction within the object 408, exits the object 408 in the second direction, and a plurality of Among the imaging devices 422 of, if not all, data corresponding to light received from at least one, and received from the second light source 426 corresponds to interactive imaging data. In the illustrated implementation, the angle between the first and second directions is less than 90 degrees, preferably less than 45 degrees, but the angle will vary depending on the particular application (i.e., the type of object 408 being scanned). It must be understood.

도 4에 도시된 바와 같이, 복수의 이미징 장치(422)는 5개의 이미징 장치(422)를 포함하고, 이미징 장치(422)는 지지 링(414)의 둘레, 원주 또는 내부 에지를 따라 서로 동일한 간격으로 이격되고, 입력부가 광원(424, 426) 중 하나로부터 광을 수신하기 위하여 플레이트(412)와 객체(408)를 향하여 지향된다. 따라서, 각각의 이미징 장치(422)는 객체(408)의 상이한 뷰에 대응하는 이미징 데이터를 수신할 것이다. 다른 말로 하면, 배열로 인하여 각각의 이미징 장치(422)로부터의 뷰 또는 데이터 사이에 차이가 있을 것이며, 이는 객체(408)의 실루엣과 3차원 이미지 데이터를 생성하는 것을 도울 것이다. 따라서, 예시된 구현예에서, 복수의 이미징 장치(422)의 배열 및 선택이 기계 학습 시스템에 입력되는 다수의 뷰를 제공하기 때문에, 정상적인 작동 동안 지지 링(414)을 회전시킬 필요가 없고, 기계 학습 시스템은, 본 명세서에 설명되는 바와 같이, 다수의 뷰에 기초하여 3D 모델을 결정하기 위한 기초인 실루엣을 생성한다. 그러나, 이미징 장치(422)의 특정 개수, 배열 및 배향은, 본 명세서에 논의되는 바와 같이, 스캐닝되는 객체(408) 및 시스템(400)의 캘리브레이션에 따라 다르다는 것이 이해되어야 한다.As shown in FIG. 4, the plurality of imaging devices 422 includes five imaging devices 422, and the imaging devices 422 are spaced equal to each other along the circumference, circumference, or inner edge of the support ring 414 Is spaced apart, and the input is directed towards the plate 412 and the object 408 to receive light from one of the light sources 424 and 426. Thus, each imaging device 422 will receive imaging data corresponding to a different view of the object 408. In other words, there will be differences between the views or data from each imaging device 422 due to the arrangement, which will help to generate the silhouette of the object 408 and the three-dimensional image data. Thus, in the illustrated implementation, there is no need to rotate the support ring 414 during normal operation, as the arrangement and selection of the plurality of imaging devices 422 provides multiple views that are input to the machine learning system. The learning system creates a silhouette that is the basis for determining a 3D model based on multiple views, as described herein. However, it should be understood that the specific number, arrangement, and orientation of the imaging devices 422 depend on the object 408 being scanned and the calibration of the system 400, as discussed herein.

더욱이, 각각의 이미징 장치(422)는 제2 광원(426)으로부터 반사(reflectance) 이미징 데이터를 수신할 수 있고, 반사 이미징 데이터는 1230 및 1290 nm 사이에 있거나, 더욱 바람직하게는 1260 nm 또는 대략 1260 nm(즉 1255 nm 및 1265 nm 사이)인 파장의 광을 출력하는 제2 광원(426)에 대응하고, 이 파장으로 방출되는 광은 객체(408)의 외부 표면으로부터 반사되어 복수의 이미징 장치(422)에 의해 수신되거나 캡처된다. 물이 1000 nm 이상의 파장에 대하여 고흡수성이더라도, 어두운 살이 대략 1260 nm에서 광을 반사하기 시작하는 반면, 흰 살은 그렇지 않기 때문에, 이 파장(즉, 대략 1260 nm)은 바람직하게는 반사 이미징 모드에 대한 것이다. 반사 이미징 모드에서, 각각의 이미징 장치(422)는 이러한 더 긴 파장의 광을 캡처하기 위하여, 전술된 바와 같은, InGaAs 센서를 더 포함할 수 있다. 반사 이미징 데이터는 객체가 외부층 내에 부분적으로만 포함되어 있는 상황(즉, 객체의 일부가 외부층으로부터 연장하는 상황)에서 특히 유용할 것이지만, 다른 구현예에서, 반사 이미징 데이터는 상호 작용 이미징 모드에 추가하여 보정 기준으로서 사용될 수 있다.Moreover, each imaging device 422 may receive reflectance imaging data from the second light source 426, and the reflective imaging data is between 1230 and 1290 nm, more preferably 1260 nm or approximately 1260 nm. nm (i.e. between 1255 nm and 1265 nm) corresponds to a second light source 426 that outputs light of a wavelength, and the light emitted at this wavelength is reflected from the outer surface of the object 408 to be reflected from the plurality of imaging devices 422 ) Received or captured. Although water is super absorbent for wavelengths above 1000 nm, this wavelength (i.e., approximately 1260 nm) is preferably in the reflective imaging mode, since dark flesh begins to reflect light at approximately 1260 nm, whereas white flesh does not. For. In the reflective imaging mode, each imaging device 422 may further include an InGaAs sensor, as described above, to capture this longer wavelength of light. Reflective imaging data would be particularly useful in situations where the object is only partially contained within the outer layer (i.e., a situation where a portion of the object extends from the outer layer), but in other implementations, the reflective imaging data is In addition, it can be used as a calibration criterion.

도 4는 시스템(400)과 전기적으로 통신하는 제어 유닛(428)을 더 도시한다. 도 5는 하나의 예시적이고 비한정적인 구현예에 따른 제어 유닛(428)을 상세히 도시한다. 특히, 제어 유닛(428)은 일반적으로 시스템(400)에 전력을 제공하고 이미징 장치(422)로부터 수신된 이미징 데이터를 처리하거나 전송하도록 동작 가능하다. 도 5는 이미징 장치(422)와 제어 유닛(428) 사이의 데이터 교환을 포함하여 시스템(400)을 제어하도록 동작하는 다양한 제어 시스템, 모듈 또는 기타 서브 시스템을 개략적으로 도시한다.4 further shows a control unit 428 in electrical communication with system 400. 5 shows in detail the control unit 428 according to one exemplary and non-limiting implementation. In particular, control unit 428 is generally operable to provide power to system 400 and to process or transmit imaging data received from imaging device 422. 5 schematically depicts various control systems, modules, or other subsystems operative to control system 400 including data exchange between imaging device 422 and control unit 428.

제어 유닛(428)은 예를 들어 마이크로프로세서인 컨트롤러(422), 디지털 신호 프로세서, PGA(programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함한다. 제어 유닛(428)은 하나 이상의 비일시적인 저장 매체, 예를 들어 ROM(read only memory)(440), RAM(random access memory)(438), 플래시 메모리(도시되지 않음) 또는 기타 물리적인 컴퓨터 또는 프로세서 판독 가능한 저장 매체를 포함한다. 비일시적인 저장 매체는 컨트롤러(422)에 의해 사용되는 명령어 및/또는 데이터, 예를 들어, 운영 체제(OS) 및/또는 애플리케이션을 저장할 수 있다. 명령어는, 컨트롤러(422)에 의해 실행될 때, 이미징 장치(422)로부터 데이터를 캡처하고 처리하는 것을 포함하지만 이에 한정되지 않는, 본 명세서에 설명된 시스템(400, 500)의 다양한 구현예의 기능을 수행하기 위한 로직을 실행할 수 있다.The control unit 428 includes, for example, a controller 422 which is a microprocessor, a digital signal processor, a programmable gate array (PGA) or an application specific integrated circuit (ASIC). The control unit 428 may be one or more non-transitory storage media, such as read only memory (ROM) 440, random access memory (RAM) 438, flash memory (not shown), or other physical computer or processor. Includes a readable storage medium. The non-transitory storage medium may store instructions and/or data used by the controller 422, for example, an operating system (OS) and/or an application. The instructions, when executed by the controller 422, perform the functions of the various implementations of the systems 400 and 500 described herein, including, but not limited to, capturing and processing data from the imaging device 422. You can run the logic to do it.

시스템(500)(도 6 참조)이 회전하는 지지 링 또는 프레임(504)을 포함하는 구현예에서, 컨트롤러(428)는 링(504)의 회전을 제어하기 위하여 하나 이상의 액추에이터(도시되지 않음)에 통신적으로 결합될 수 있다. 대안적으로, 컨트롤러(428)는 링(504)을 회전시키기 위하여 하나 이상의 벨트(도시되지 않음)에 통신적으로 결합될 수 있다. 더욱이, 컨트롤러(442)는 미리 정해진 제조 속도 또는 컨베이어 속도에 따라 지지 링(504)을 자동으로 회전시키기 위하여 액추에이터 또는 벨트에 전송되는 특정 위치(즉, 도 6을 참조하여 논의되는 제1 위치 및 제2 위치)에 대응하는 명령어를 포함할 수 있다.In embodiments in which the system 500 (see FIG. 6) includes a rotating support ring or frame 504, the controller 428 is connected to one or more actuators (not shown) to control the rotation of the ring 504. Can be communicatively combined. Alternatively, the controller 428 may be communicatively coupled to one or more belts (not shown) to rotate the ring 504. Moreover, the controller 442 can be used to automatically rotate the support ring 504 according to a predetermined manufacturing speed or conveyor speed at a specific position transmitted to the actuator or belt (i.e., the first position and the first position discussed with reference to FIG. 2) may include a command corresponding to the position.

제어 유닛(428)은 최종 사용자가 시스템(500, 600)을 동작시키거나 시스템(500, 600)의 동작 상태 또는 조건에 관한 입력을 시스템(500, 600)에 제공할 수 있게 하는 사용자 인터페이스(436)를 포함할 수 있다. 사용자 인터페이스(436)는 시스템(500, 600)으로부터 액세스 가능한 다수의 사용자 선택 가능한 제어 수단(control)을 포함할 수 있다. 예를 들어, 사용자 인터페이스(436)는 시스템(400, 500)을 ON 및 OFF시키고, 그리고/또는 시스템(400, 500)의 다양한 동작 파라미터를 설정하도록 동작 가능한 다수의 스위치 또는 키를 포함할 수 있다.The control unit 428 is a user interface 436 that allows an end user to operate the systems 500, 600 or provide input to the systems 500, 600 regarding the operating state or conditions of the systems 500, 600. ) Can be included. User interface 436 may include a number of user selectable controls accessible from systems 500 and 600. For example, user interface 436 may include a number of switches or keys operable to turn systems 400, 500 ON and OFF, and/or set various operating parameters of systems 400, 500. .

추가적으로 또는 대안적으로, 사용자 인터페이스(436)는 디스플레이, 예를 들어, 터치 패널 디스플레이를 포함할 수 있다. 터치 패널 디스플레이(예를 들어, 터치 민감 오버레이를 갖는 LCD)는 최종 사용자를 위한 입력 및 출력 인터페이스를 모두 제공할 수 있다. 터치 패널 디스플레이는 시스템(400, 500)의 동작 상태 또는 조건을 설정하기 위하여 사용자에 의해 선택 가능한 다양한 사용자 선택 가능한 아이콘, 메뉴, 체크 박스, 다이얼로그 박스 또는 기타 컴포넌트 또는 요소를 갖는 그래픽 사용자 인터페이스를 제공할 수 있다. 또한, 사용자 인터페이스(436)는 하나 이상의 청각적 트랜스듀서, 예를 들어, 하나 이상의 스피커 및/또는 마이크를 포함할 수 있다. 이는 청각적 경고 통지 또는 신호가 최종 사용자에게 제공될 수 있게 한다. 이는, 추가적으로 또는 대안적으로, 최종 사용자가 청각적 명령 또는 지시를 제공할 수 있게 한다. 사용자 인터페이스(436)는 예시되거나 설명된 것 이외의 추가 컴포넌트 및/또는 다른 컴포넌트를 포함할 수 있고, 그리고/또는 일부 컴포넌트를 생략할 수 있다.Additionally or alternatively, the user interface 436 may include a display, eg, a touch panel display. Touch panel displays (eg, LCDs with touch sensitive overlays) can provide both input and output interfaces for end users. The touch panel display provides a graphical user interface having various user selectable icons, menus, check boxes, dialog boxes, or other components or elements selectable by the user to set the operating state or condition of the systems 400 and 500. I can. In addition, user interface 436 may include one or more acoustic transducers, eg, one or more speakers and/or microphones. This allows an audible warning notification or signal to be provided to the end user. This, in addition or alternatively, allows the end user to provide an audible command or instruction. The user interface 436 may include additional components and/or other components other than those illustrated or described, and/or may omit some components.

스위치 및 키 또는 그래픽 사용자 인터페이스는, 예를 들어, 토글 스위치, 키패드 또는 키보드, 로커(rocker) 스위치, 트랙볼, 조이스틱 또는 썸스틱(thumbstick)을 포함할 수 있다. 스위치 및 키 또는 그래픽 사용자 인터페이스는, 예를 들어, 최종 사용자가 시스템(400, 500)을 ON시키고, 투과 이미징 모드 또는 상호 작용 이미징 모드를 시작 또는 종료하고, 원격 액세서리 및 프로그램에 통신적으로 결합 또는 결합 해제하고, 이미징 데이터를 액세스, 전송 또는 처리하고, 모터 또는 오디오 서브 시스템을 활성화 또는 비활성화하고, 컨베이어 시스템의 동작 상태를 시작 또는 종료하는 등을 할 수 있게 한다.Switches and keys or graphical user interfaces may include, for example, toggle switches, keypads or keyboards, rocker switches, trackballs, joysticks or thumbsticks. Switches and keys or graphical user interfaces can be used, for example, by the end user turning on systems 400, 500, initiating or ending transmissive imaging mode or interactive imaging mode, and communicatively coupling to remote accessories and programs, or It allows you to disassociate, access, transmit or process imaging data, activate or deactivate motors or audio subsystems, initiate or terminate the operating state of the conveyor system, and so on.

제어 유닛(428)은 개인용 컴퓨터 또는 프로세스 등과 같은 하나 이상의 외부 장치의 다양한 컴포넌트와의 통신을 용이하게 하는 하나 이상의 통신 모듈 또는 컴포넌트를 포함할 수 있는 통신 서브 시스템(444)을 포함한다. 통신 서브 시스템(444)은 하나 이상의 외부 장치에 대한 유선 또는 무선 연결을 제공할 수 있다. 통신 서브 시스템(444)은 하나 이상의 페어링된 장치의 다양한 원격 컴포넌트 또는 시스템으로의 무선 신호 경로를 제공하기 위하여 무선 수신기, 무선 송신기 또는 무선 송수신기를 포함할 수 있다. 통신 서브 시스템(444)은, 예를 들어, (예를 들어, 블루투스 또는 NFC(field communication), RFID(frequency identification) 컴포넌트 및 프로토콜을 통한) 단거리 무선 통신 또는 (예를 들어, 무선 LAN, LPWAN(Low-Power-Wide-Area Network), 위성 또는 휴대 전화 네트워크를 통한) 장거리 무선 통신을 포함할 수 있고, 하나 이상의 모뎀, 하나 이상의 이더넷 또는 그렇게 하기 위한 다른 종류의 통신 카드 또는 컴포넌트를 포함할 수 있다. 통신 서브 시스템(444)은 교환 패킷형(switched packet type) 통신 프로토콜(TCP/IP), 이더넷 또는 다른 네트워킹 프로토콜을 포함하는 네트워크 트래픽을 처리하기에 적합한 하나 이상의 브릿지 또는 라우터를 포함할 수 있다. 일부 구현예에서, 외부 장치와의 유선 또는 무선 통신은 다양한 재료 특성 및 광 파장 특성을 나타내는 룩업 테이블에 대한 액세스를 제공할 수 있다. 예를 들어, 최종 사용자는 외부 장치에서 룩업 테이블 또는 유사한 것에 저장될 수 있는 사용자 인터페이스(436)에 디스플레이된 다양한 재료로부터 재료를 선택할 수 있다.The control unit 428 includes a communication subsystem 444 that may include one or more communication modules or components that facilitate communication with various components of one or more external devices, such as a personal computer or process. The communication subsystem 444 may provide wired or wireless connection to one or more external devices. The communication subsystem 444 may include a wireless receiver, wireless transmitter, or wireless transceiver to provide wireless signal paths to various remote components or systems of one or more paired devices. The communication subsystem 444 is, for example, short-range wireless communication (e.g., via Bluetooth or field communication (NFC), frequency identification (RFID) components and protocols) or (e.g., wireless LAN, LPWAN ( Low-Power-Wide-Area Network), may include long-distance wireless communications (via satellite or mobile phone networks), and may include one or more modems, one or more Ethernet, or other types of communication cards or components to do so. . The communication subsystem 444 may include one or more bridges or routers suitable for handling network traffic, including switched packet type communication protocols (TCP/IP), Ethernet, or other networking protocols. In some implementations, wired or wireless communication with an external device can provide access to lookup tables representing various material properties and light wavelength properties. For example, an end user may select a material from a variety of materials displayed in the user interface 436 that may be stored in a lookup table or similar on an external device.

제어 유닛(428)은 전원(도시되지 않음)로부터 컨트롤러(428), 예를 들어, 시스템(400, 500)에 통합되거나 부착된 컨트롤러(428)의 다양한 컴포넌트로의 전력 공급을 관리하는 전력 인터페이스 관리자(432)를 포함한다. 전력 인터페이스 관리자(432)는 컨트롤러(442) 및 전원에 결합될 수 있다. 대안적으로, 일부 구현예에서, 전력 인터페이스 관리자(432)는 컨트롤러(442)에 통합될 수 있다. 전원은 다른 것들 중에서도 외부 전원을 포함할 수 있다. 전력 인터페이스 관리자(432)는 전력 변환기, 정류기, 버스, 게이트, 회로 등을 포함할 수 있다. 특히, 전력 인터페이스 관리자(432)는 시스템(400, 500)의 다양한 동작 상태에 기초하여 전원으로부터의 전력 공급을 제어, 한정, 제한할 수 있다.The control unit 428 is a power interface manager that manages the supply of power from a power source (not shown) to the various components of the controller 428, e.g., the controller 428 integrated or attached to the systems 400, 500. Including 432. The power interface manager 432 may be coupled to the controller 442 and a power source. Alternatively, in some implementations, the power interface manager 432 may be integrated into the controller 442. The power source may include an external power source, among other things. The power interface manager 432 may include power converters, rectifiers, buses, gates, circuits, and the like. In particular, the power interface manager 432 may control, limit, or limit power supply from the power source based on various operating states of the systems 400 and 500.

일부 실시예 또는 구현예에서, 예를 들어, ROM(440), RAM(438) 및 플래시 메모리(도시되지 않음)와 같은, 컨트롤러에 의해 사용될 수 있는 비일시적인 저장 매체에 저장된 명령어 및/또는 데이터는, 컨트롤러(428)의 하나 이상의 기능에 대한 프로그램적 액세스를 제공하는 API(application program interface)를 포함하거나 제공한다. 예를 들어, 이러한 API는, 사용자 인터페이스(436)의 하나 이상의 기능, 또는 이미징 장치 또는 장치들(422)로부터 수신된 이미징 데이터의 처리를 포함하지만 이에 한정되지 않는 시스템(400, 500)의 하나 이상의 동작 특성을 제어하기 위한 프로그램 인터페이스를 포함할 수 있다. 이러한 제어는 다른 프로그램, 다른 원격 장치 또는 시스템(도시되지 않음) 또는 일부 다른 모듈 중 하나에 의해 호출될 수 있다. 이러한 방식으로, API는 다른 장치, 플러그인 및 어댑터 등을 위한 다양하고 상이한 사용자 인터페이스 및 제어 시스템과 같은 서드 파티 소프트웨어의 개발을 용이하게 하여, 시스템(400, 500) 내의 동작 및 장치의 커스터마이징 및 상호 작용을 용이하게 할 수 있다.In some embodiments or implementations, instructions and/or data stored on a non-transitory storage medium that can be used by a controller, such as, for example, ROM 440, RAM 438, and flash memory (not shown) , An application program interface (API) that provides programmatic access to one or more functions of the controller 428. For example, these APIs include, but are not limited to, one or more functions of the user interface 436, or processing of imaging data received from the imaging device or devices 422. It may include a program interface for controlling operation characteristics. This control can be invoked either by another program, another remote device or system (not shown), or some other module. In this way, the API facilitates the development of third-party software such as various and different user interfaces and control systems for different devices, plug-ins and adapters, etc. Can be facilitated.

예시적인 실시예 또는 구현예에서, 시스템(400, 500) 내의 컨트롤러(428) 및 다른 장치의 컴포넌트 또는 모듈은 표준 프로그래밍 기술을 이용하여 구현될 수 있다. 예를 들어, 본 명세서에 설명되는 다양한 실시예 또는 구현예의 기능을 수행하기 위한 로직은 하나 이상의 정적 또는 동적 라이브러리와 함께 컨트롤러, 예를 들어, 마이크로프로세서(442)에서 실행되는 "네이티브(native)" 실행 가능 명령어로서 구현될 수 있다. 다른 실시예에서, 컨트롤러(428)의 다양한 기능은 명령어가 ROM(440) 및/또는 RAM(438)에 저장된 하나 이상의 프로그램으로서 실행되는 가상 기계에 의해 처리되는 명령어로서 구현될 수 있다. 일반적으로, 당해 업계에서 알려진 다양한 프로그래밍 언어가 이러한 예시적인 실시예를 구현하기 위하여 채용될 수 있으며, 객체 지향 언어(예를 들어, Java, C++, C#, Visual Basic.NET, Smalltalk 등), 기능적 언어(예를 들어, ML, Lisp, Scheme 등), 절차적 언어(예를 들어, C, Pascal, Ada, Modula 등), 스크립트 언어(예를 들어, Perl, Ruby, Python, JavaScript, VBScript 등) 또는 서술형 언어(예를 들어, SQL, Prolog)를 포함하지만 이에 한정되지 않는 다양한 프로그래밍 언어 패러다임의 대표적인 구현예를 포함한다.In an exemplary embodiment or implementation, components or modules of controller 428 and other devices within systems 400 and 500 may be implemented using standard programming techniques. For example, logic for performing the functions of the various embodiments or implementations described herein may be "native" running on a controller, e.g., microprocessor 442, along with one or more static or dynamic libraries. It can be implemented as an executable instruction. In other embodiments, various functions of the controller 428 may be implemented as instructions processed by a virtual machine in which the instructions are executed as one or more programs stored in ROM 440 and/or RAM 438. In general, various programming languages known in the art may be employed to implement these exemplary embodiments, and object-oriented languages (eg, Java, C++, C#, Visual Basic.NET, Smalltalk, etc.), functional languages (E.g. ML, Lisp, Scheme, etc.), procedural language (e.g. C, Pascal, Ada, Modula, etc.), scripting language (e.g. Perl, Ruby, Python, JavaScript, VBScript, etc.) or It includes representative implementations of various programming language paradigms including, but not limited to, narrative languages (eg, SQL, Prolog).

소프트웨어 또는 펌웨어 구현예에서, 메모리에 저장된 명령어는, 실행될 때, 제어 유닛(428)의 기능을 수행하도록 마이크로프로세서(422)와 같은 제어 유닛(428)의 하나 이상의 프로세서를 구성한다. 명령어는, 마이크로프로세서(422) 또는 I/O 컨트롤러/프로세서와 같은 일부 다른 프로세서가, 이미징 데이터에 기초하여 3D 모델을 구성하는 기능 및 동작을 제공하도록 하나 이상의 이미징 장치(들)(422)로부터 수신된 정보를 처리하고 그에 작용하게 한다.In software or firmware implementations, instructions stored in memory configure one or more processors of control unit 428, such as microprocessor 422, to perform the functions of control unit 428 when executed. Instructions are received from one or more imaging device(s) 422 so that some other processor, such as a microprocessor 422 or an I/O controller/processor, provides functions and operations to construct a 3D model based on the imaging data. Process the information and let it act on it.

또한, 전술된 실시예 또는 구현예는 잘 알려져 있나 다른 동기 또는 비동기 클라이언트-서버 컴퓨팅 기술을 이용할 수 있다. 그러나, 다양한 컴포넌트는, 예를 들어, 단일 마이크로프로세서에서 실행되는 실행 가능한 기술뿐만 아니라 더 많은 모놀리식(monolithic) 프로그래밍 기술을 이용하여 구현될 수 있거나, 대안적으로는, 각각 하나 이상의 중앙 처리 유닛(central processing unit(CPU)) 또는 다른 프로세서를 갖는 하나 이상의 컴퓨터 시스템에서 실행되는, 멀티 프로그래밍(multiprogramming), 멀티 스레딩(multithreading), 클라이언트-서버 또는 피어-투-피어(peer-to-peer)(예를 들어, 시스템(400, 500) 내에서 장치들 사이의 통신 채널을 제공하는 블루투스®, NFC, 또는 RFID 기술, 메쉬(mesh) 네트워크 등)을 포함하지만 이에 한정되지 않는 당해 업계에서 알려진 다양한 구조화(structuring) 기술을 이용하여 분해될 수 있다. 일부 실시예는 동시에 비동기식으로 실현될 수 있고, 메시지 패싱(passing) 기술을 이용하여 통신할 수 있다. 또한, 다른 기능이 상이한 순서로 상이한 컴포넌트/모듈에 의해 구현되고 그리고/또는 수행될 수 있지만, 제어 유닛(428)의 기능을 여전히 성취할 수 있다.Further, the embodiments or implementations described above are well known, but other synchronous or asynchronous client-server computing techniques may be used. However, the various components may be implemented using, for example, more monolithic programming techniques as well as executable technologies running on a single microprocessor, or alternatively, each one or more central processing units. (central processing unit (CPU)) or multiprogramming, multithreading, client-server or peer-to-peer ( Various structuring known in the art, including but not limited to, for example, Bluetooth®, NFC, or RFID technology that provides a communication channel between devices within the system 400, 500, mesh networks, etc. It can be decomposed using the (structuring) technique. Some embodiments may be realized asynchronously at the same time and communicate using message passing techniques. Further, although different functions may be implemented and/or performed by different components/modules in different orders, the functions of the control unit 428 may still be achieved.

또한, 제어 유닛(428)에 저장된 데이터 및 그에 의해 제공된 기능에 대한 프로그래밍 인터페이스는, 예를 들어, C, C++, C# 및 Java API; 파일, 데이터베이스 또는 다른 데이터 저장소에 액세스하기 위한 라이브러리; 스크립트 언어; 또는 웹 서버, FTP 서버 또는 저장된 데이터에 대한 액세스를 제공하는 다른 종류의 서버를 통하는 것과 같이, 표준 메커니즘에 의해 사용 가능하다. 제어 유닛(428) 및 전체적인 이미징 시스템에 의해 저장되고 활용되는 데이터는, 데이터베이스 시스템, 파일 시스템, 이러한 정보를 저장하는 임의의 다른 기술, 또는 분산 컴퓨팅 기술을 이용하는 구현예를 포함하는 상술한 것의 임의의 조합으로서 구현될 수 있다.Further, programming interfaces for the data stored in the control unit 428 and the functions provided by it may include, for example, C, C++, C# and Java APIs; Libraries for accessing files, databases, or other data stores; Scripting language; Or it can be used by standard mechanisms, such as through a web server, FTP server, or any other kind of server that provides access to stored data. The data stored and utilized by the control unit 428 and the overall imaging system may be any of the above, including database systems, file systems, any other technology for storing such information, or implementations using distributed computing technology. It can be implemented as a combination.

프로그램 및 데이터의 다른 구성 및 위치가 본 명세서에 설명된 기술과 함께 사용하기 위하여 고려된다. 다양한 분산 컴퓨팅 기술이 TCP/IP 소켓, RPC, RMI, HTTP 및 웹 서비스(XML-RPC, JAX-RPC, SOAP 등)을 포함하지만 이에 한정되지 않는 분산 방식으로 예시된 실시예의 컴포넌트를 구현하기에 적합하다. 다른 변형이 가능하다. 또한, 다른 기능이 각각의 컴포넌트/모듈에 의해 제공될 수 있거나, 또는 기존의 기능이 다른 방식으로 시스템(400, 500) 내의 컴포넌트/모듈 사이에 분산되지만, 제어 유닛(428) 및 이미징 시스템(400, 500)의 기능을 여전히 성취할 수 있다.Other configurations and locations of programs and data are contemplated for use with the techniques described herein. Various distributed computing technologies are suitable for implementing the components of the illustrated embodiments in a distributed manner, including but not limited to TCP/IP sockets, RPC, RMI, HTTP and web services (XML-RPC, JAX-RPC, SOAP, etc.) Do. Other variations are possible. In addition, different functions may be provided by each component/module, or existing functions may be distributed among components/modules in systems 400, 500 in different ways, but control unit 428 and imaging system 400 , 500) can still be achieved.

또한, 일부 실시예에서, 시스템(400, 500) 내의 제어 유닛(428)의 컴포넌트와 다른 장치의 컴포넌트의 일부 또는 전부는 다른 방식으로 구현되거나 제공될 수 있으며, 예를 들어, 하나 이상의 ASIC(application-specific integrated circuit), 표준 집적 회로, 컨트롤러(예를 들어, 적합한 명령어를 실행시킴으로써, 그리고 마이크로컨트롤러 및/또는 임베디드 컨트롤러를 포함함), FPGA(field-programmable gate array, CPLD(complex programmable logic device) 등을 포함하지만 이에 한정되지 않는 펌웨어 및/또는 하드웨어에 내에 적어도 부분적으로 구현되거나 제공될 수 있다. 또한, 시스템 컴포넌트 및/또는 데이터 구조의 일부 또는 전부는, 컴퓨터 판독 가능한 매체(예를 들어, 하드 디스크; 메모리; 컴퓨터 네트워크, 휴대 전화 무선 네트워크 또는 기타 데이터 전송 매체; 또는 DVD 또는 플래시 메모리 장치와 같은 적합한 드라이브에 의해서나 적합한 연결을 통해 판독되는 휴대용 매체 물품) 및/또는 하나 이상의 연관된 컴퓨터 시스템 또는 장치가 설명된 기술의 적어도 일부를 수행하기 위하여 콘텐츠(예를 들어, 실행 가능하거나 기타 기계 판독 가능한 소프트웨어 명령어 또는 구조화된 데이터로서)를 실행하거나 아니면 사용하거나 제공할 수 있게 하도록, 컴퓨터 판독 가능한 매체 상의 콘텐츠로서 저장될 수 있다.Further, in some embodiments, some or all of the components of the control unit 428 in the systems 400, 500 and the components of other devices may be implemented or provided in different ways, for example, one or more ASICs (application -specific integrated circuit), standard integrated circuit, controller (for example, by executing suitable instructions and including microcontrollers and/or embedded controllers), field-programmable gate array (FPGA), complex programmable logic device (CPLD) It may be implemented or provided at least partially in firmware and/or hardware including, but not limited to, etc. In addition, some or all of the system components and/or data structures may be provided in a computer-readable medium (eg, hard Disk; memory; computer network, cellular phone wireless network, or other data transmission medium; or portable media article read by a suitable drive such as a DVD or flash memory device or via a suitable connection) and/or one or more associated computer systems or devices Content on a computer-readable medium to enable the execution or otherwise use or provision of content (e.g., as executable or other machine-readable software instructions or structured data) to perform at least a portion of the described technology. Can be stored as.

도 4 및 5를 참조하면, 제어 유닛(428)은 컨베이어 시스템(402), 지지부(418) 및 지지 링(414)에 대하여 내부 또는 외부에 위치될 수 있는 배선(430)을 통하여 복수의 이미징 장치(422)의 각각 및 지지 링(414)과 전기적으로 통신한다. 대안적으로, 제어 유닛(428)은, 도 5를 참조하여 전술된 바와 같이, 이미징 장치(422)로부터 이미징 데이터를 무선으로 수신하기 위하여 시스템(400)과 무선 통신할 수 있다. 또한, 제어 유닛(428)은 시스템에 결합되거나, 시스템 외부에 위치될 수 있다. 일 구현예에서, 제어 유닛(428)은 시스템(400)에 전력을 제공하고, 또한 이미징 장치(422)로부터 이미징 데이터를 수신한다. 제어 유닛(428)은 이미징 데이터를 처리하기 위하여, 표준 컴퓨터에서와 같이, 적어도 하나의 프로세서를 포함할 수 있거나, 대안적으로, 제어 유닛(428)은 명확성을 위하여 구체적으로 예시되지 않은 추가 외부 프로세서 또는 컴퓨터로 이미징 데이터를 전송할 수 있다.4 and 5, the control unit 428 includes a plurality of imaging devices through a wiring 430 that may be located inside or outside with respect to the conveyor system 402, the support 418 and the support ring 414. In electrical communication with each of the 422 and support rings 414. Alternatively, the control unit 428 may be in wireless communication with the system 400 to wirelessly receive imaging data from the imaging device 422, as described above with reference to FIG. 5. Further, the control unit 428 may be coupled to the system or may be located external to the system. In one implementation, control unit 428 provides power to system 400 and also receives imaging data from imaging device 422. The control unit 428 may include at least one processor, such as in a standard computer, to process the imaging data, or alternatively, the control unit 428 may be an additional external processor not specifically illustrated for the sake of clarity. Alternatively, imaging data can be transferred to a computer.

도 6은 컨베이어 시스템(402)과, 프레임(504)에 결합된 프레임 또는 링(504)과, 프레임(504)에 결합되고 그로부터 연장하는 이미징 장치(510)와, 제1 및 제2 광원(512, 414)를 포함하는 이미징 시스템(500)의 대안적이고 예시적인 구현예를 도시한다. 시스템(500)의 구현예의 소정의 특징들은 시스템(400)을 참조하여 전술된 특징들과 유사하거나 동일하고, 따라서, 이러한 특징들은 효율성을 고려하여 반복되지 않는다.6 shows a conveyor system 402, a frame or ring 504 coupled to the frame 504, an imaging device 510 coupled to and extending from the frame 504, and first and second light sources 512. , 414, an alternative and exemplary implementation of an imaging system 500 is shown. Certain features of an implementation of system 500 are similar or identical to those described above with reference to system 400, and thus, these features are not repeated for efficiency considerations.

이 구현예에서, 프레임(504)은 지지부(506, 508)를 이용하여 컨베이어 시스템(502)에 결합되고, 지지부(506)는 프레임(504)을 수용하기 위한 채널을 갖는 베이스와 프레임(504)을 둘러싸는 적어도 하나의 칼라(508)이다. 그러나, 이 구현예가 단일 이미징 장치(510)를 활용하기 때문에, 시스템(500)은, 이미징 장치(510)가 3D 재구성을 용이하게 하기 위하여 다수의 시각, 각도 또는 뷰로부터 객체(516)의 이미징 데이터를 캡처할 수 있도록, 컨베이어 시스템(502)을 중심으로 프레임(504)을 회전시키기 위한 메커니즘을 더 포함한다. 예를 들어, 베이스(506)는 채널 내에 회전하는 벨트를 포함할 수 있고, 벨트는 제어 유닛(428)(도 4 참조)일 수 있는 외부 제어 장치로부터 수신된 입력에 따라 프레임(504)을 회전시키도록 프레임(504)과 접촉한다. 그러나, 프레임(504)을 회전시키기 위한 다른 상업적으로 사용 가능한 메커니즘이 본 명세서에서 구체적으로 고려될 수 있다. 더욱이, 프레임이 자동으로 회전되는 것이 바람직하지만, 회전이 칼라(508)를 조작하는 것에 의한 수동 회전에 기초하는 것이 가능하며, 칼라(508)는 회전을 방지하는 닫힌 위치와 프레임(504)이 회전될 수 있는 열린 위치 사이에서 조정 가능하다.In this embodiment, the frame 504 is coupled to the conveyor system 502 using supports 506, 508, and the support 506 has a base and frame 504 having a channel for receiving the frame 504. Is at least one collar 508 surrounding it. However, since this implementation utilizes a single imaging device 510, the system 500 provides imaging data of the object 516 from multiple perspectives, angles, or views to facilitate 3D reconstruction by the imaging device 510. It further includes a mechanism for rotating the frame 504 about the conveyor system 502 so as to be able to capture. For example, the base 506 may include a belt that rotates within the channel, and the belt rotates the frame 504 according to input received from an external control device, which may be a control unit 428 (see FIG. 4). Contact with the frame 504 to allow it to occur. However, other commercially available mechanisms for rotating the frame 504 may be specifically contemplated herein. Moreover, although it is preferred that the frame rotates automatically, it is possible that the rotation is based on manual rotation by manipulating the collar 508, the collar 508 being in a closed position preventing rotation and the frame 504 rotating. It is adjustable between open positions that can be used.

따라서, 이 구현예에서, 프레임(504)은 적어도 제1 위치 및 제2 위치 사이에서 회전하고, 제1 위치에서, 이미징 장치(510)는 제1 광원(512) 또는 제2 광원(514)으로부터 각각 투과 또는 상호 작용 이미징 데이터에 대응하는 제1 이미징 데이터 세트를 캡처한다. 그 다음, 프레임(504)은 제2 위치로 회전하고, 제2 이미징 데이터를 위한 캡처 과정을 반복한다. 이 과정은, 특정 에플리케이션에 대하여 필요한 만큼(즉, 객체(516)에 대하여 상이한 위치에 기초하는 제3 뷰, 제4 뷰, 제5 뷰, 제6 뷰 또는 이보다 많은 뷰) 많은 배향으로부터 많은 뷰를 생성하기 위하여 반복될 수 있다. 더욱이, 프레임(504)이 자동으로 회전되는 구현예에서, 프레임(504)의 회전은 시스템(500)의 캘리브레이션 동안 설정된 위치에 따라 효율적으로 수행될 수 있지만, 더 적은 이미징 장치(510)의 사용으로 인하여 시스템(500)의 비용을 감소시킨다.Thus, in this embodiment, the frame 504 rotates at least between a first position and a second position, and in the first position, the imaging device 510 is from the first light source 512 or the second light source 514. Capture a first set of imaging data, respectively, corresponding to transmission or interaction imaging data. Then, the frame 504 is rotated to a second position, and the capture process for the second imaging data is repeated. This process can take as many views from as many orientations as needed for a particular application (i.e., 3rd, 4th, 5th, 6th, or more views based on different positions relative to object 516). Can be repeated to produce. Moreover, in embodiments in which frame 504 is automatically rotated, rotation of frame 504 can be performed efficiently according to the position set during calibration of system 500, but with the use of fewer imaging devices 510. This reduces the cost of the system 500.

도 7은 시스템(400, 500)과 실질적으로 유사하거나 동일할 수 있는 시스템(600)의 예시적인 도면을 도시하고, 시스템(600)은 외부 하우징 또는 커버(604)를 포함하고, 외부 하우징(604)의 벽(612)은 고형체(solid)이고 불투명하다. 하우징(604)의 입구 부분 또는 개구부(610)는 광이 하우징(604)에 들어갈 수 없도록 각각의 입구 부분(610)의 적어도 80%에 걸쳐 연장하는 불투명 재료의 스트립을 포함하는 커버(608)를 포함한다. 또한, 구체적으로 예시되지는 않지만, 지지 링 또는 프레임(414, 504)이 하우징(604)에 연결되고 그에 의해 지지될 수 있고, 제어 유닛(606)이 하우징(604)의 외벽(612)에 결합될 수 있으며, 제어 유닛(606)은, 다양한 구현예에서, 시스템(600)에 전력을 제공하거나, 회전하는 프레임(504)의 위치에 대응하는 좌표를 제공하거나, 회전하는 프레임(504)의 회전을 제어하거나, 시스템(600)으로부터 수신된 이미징 데이터에 기초하여 3D 모델을 생성하기 위한 프로세서를 포함한다.FIG. 7 shows an exemplary view of a system 600 that may be substantially similar or identical to systems 400, 500, wherein the system 600 includes an outer housing or cover 604, and the outer housing 604 ) Wall 612 is solid and opaque. The inlet portion or opening 610 of the housing 604 comprises a cover 608 comprising a strip of opaque material extending over at least 80% of each inlet portion 610 such that light cannot enter the housing 604. Includes. In addition, although not specifically illustrated, the support ring or frame 414, 504 may be connected to and supported by the housing 604, and the control unit 606 is coupled to the outer wall 612 of the housing 604. The control unit 606 may, in various implementations, provide power to the system 600, provide coordinates corresponding to the location of the rotating frame 504, or rotate the rotating frame 504. Or a processor for generating a 3D model based on the imaging data received from the system 600.

도 8은 1차원(1D) 이미징 데이터 및 2차원(2D) 실루엣으로부터 3D 모델(702)을 생성하기 위하여 기계 학습 시스템 또는 딥 컨벌루션 신경망에 의해 활용되는 재구성 방법 또는 시스템(700)에 대한 개략도이다.8 is a schematic diagram of a reconstruction method or system 700 utilized by a machine learning system or deep convolutional neural network to generate a 3D model 702 from one-dimensional (1D) imaging data and a two-dimensional (2D) silhouette.

일반적으로, 기계 학습 및 컨벌루션 신경망(convolutional neural network(CNN))은 일반적으로 일련의 연산층(operational layer)으로서 구현될 수 있다. 하나 이상의 컨벌루션층 다음에 하나 이상의 풀링층(pooling layer)이 이어질 수 있고, 선택적으로 하나 이상의 풀링층 다음에 하나 이상의 정규화층이 이어질 수 있다. 컨벌루션층은 단일의 알려지지 않은 이미지로부터, 다르게는 필터링된 이미지라 불리는, 복수의 커널 맵을 생성한다. 복수의 필터링된 이미지에서의 대량의 데이터는 하나 이상의 풀링층을 이용하여 감소되고, 데이터의 양은 데이터를 정규화하는 하나 이상의 ReLU(rectified linear unit layer)에 의해 더 감소된다. 바람직하게는, 본 개시 내용의 구현예는 시맨틱 세그멘테이션(semantic segmentation)에 의존하며, CNN을 훈련시키기 위한 파라미터는 애플리케이션에 종속적이고, 검사될 식품에 의존하는 이미지 데이터의 복잡성에 따라 조정될 필요가 있다.In general, machine learning and convolutional neural networks (CNNs) can generally be implemented as a series of operational layers. One or more convolutional layers may be followed by one or more pooling layers, and optionally one or more pooling layers may be followed by one or more normalization layers. The convolutional layer creates a plurality of kernel maps, otherwise called filtered images, from a single unknown image. A large amount of data in the plurality of filtered images is reduced using one or more pooling layers, and the amount of data is further reduced by one or more rectified linear unit layers (ReLUs) that normalize the data. Preferably, implementations of the present disclosure rely on semantic segmentation, and the parameters for training CNNs are application dependent and need to be adjusted according to the complexity of the image data depending on the food to be inspected.

다른 말로 하면, 커널은 알려진 이미지로부터 선택된다. 알려진 이미지의 모든 커널이 신경망에 사용될 필요는 없다. 대신, "중요한" 특징인 것으로 판단되는 커널이 선택될 수 있다. 컨벌루션 프로세스가 커널 맵(즉, 특징 이미지)을 생성한 후에, 커널 맵은 풀링층을 및 정규화층(즉, ReLU)을 통해 통과된다. 출력 맵에서의 모든 값이 평균되고(즉, 더하고 나눔), 평균 계산으로부터의 출력 값이 알려지지 않은 이미지가 알려진 이미지에서 발견되는 특정 특징을 포함하는지 여부에 대한 예측으로서 사용된다.In other words, the kernel is chosen from known images. Not all kernels of known images need to be used for neural networks. Instead, a kernel that is judged to be an "important" feature may be selected. After the convolution process generates a kernel map (ie, feature image), the kernel map is passed through a pooling layer and a normalization layer (ie, ReLU). All values in the output map are averaged (i.e., added and divided), and the output value from the averaging calculation is used as a prediction as to whether an unknown image contains a specific feature found in a known image.

예시적인 경우에, 출력 값은 알려지지 않은 이미지가, 일 구현예에서, 참치 살코기의 흰 살(즉, 제1 부분)에 의해 둘러싸이는 어두운 살(즉, 제2 부분)과 같은 객체의 제1 부분 내부에 위치되는 객체의 제2 부분인, 중요한 특징을 포함하는지 여부를 예측하는데 사용된다. 그 후, 이 출력을 이용하여, CNN은 이미지로부터 관심 대상인 식별된 영역에 대응하는 실루엣을 생성할 수 있다.In an exemplary case, the output value is that the unknown image is the first portion of the object, such as dark flesh (i.e., the second portion) surrounded by the white flesh (i.e., the first portion) of a tuna lean, in one embodiment. It is used to predict whether it contains an important feature, which is the second part of the object that is located inside. Then, using this output, the CNN can generate a silhouette corresponding to the identified region of interest from the image.

도시된 시스템(700)에서, 기계 학습 프로그램 또는 딥 컨벌루션 신경망은, 입력으로서, 시스템(400, 500)으로부터 캡처된 다수의 뷰로부터 이미지 데이터(704)를 수신할 것이며, 각각의 이미지 데이터 세트는 제2 부분(708)을 둘러싸는 제1 부분(706)을 갖는 참치 살코기의 사진에 대응한다. 카메라 또는 분광기가 1D 데이터를 획득하기 위하여 라인 스캔을 사용할 수 있지만, 1D 데이터는, 본 명세서에 설명되는 바와 같이, 실루엣을 복구하기 위하여 CNN에서 사용되기 전에, 2D 이미지 데이터로 조합된다.In the illustrated system 700, a machine learning program or deep convolutional neural network will, as input, receive image data 704 from multiple views captured from systems 400, 500, each set of image data being It corresponds to a photograph of a tuna lean meat with a first portion 706 surrounding two portions 708. Although a camera or spectroscope may use line scans to acquire 1D data, the 1D data is combined into 2D image data before being used in the CNN to recover the silhouette, as described herein.

스캐닝된 객체가 참치 살코기인 구현예에서, 제1 부분(706)은 제1 특성 세트를 갖는 살의 제1의 외부층에 대응하고, 제2 부분(708)은 상이한 제2 특성 세트를 갖는 살의 제2의 내부층에 대응하고, 제2 부분(708)은 제1 부분(706) 내에 위치된다. 도 7에 도시된 바와 같이, 각각의 이미지 데이터 세트(704)는 이미징 데이터, 바람직하게는, 더 밝은 픽셀이 제1 부분(706)에 할당되고, 더 어두운 부분이 제2 부분(708)에 할당되는 강도 값을 나타낼 수 있는 투과 이미징 데이터에 대응한다. 따라서, 2D 이미지의 단일 라인이라는 의미에서, 또는 다른 말로 하면, CNN에 의해 분석되는 각각의 픽셀 또는 커널이 강도 값에 대응한다는 의미에서, 이미지 데이터(704)는 1D이다.In embodiments where the scanned object is a tuna lean meat, the first portion 706 corresponds to a first outer layer of flesh having a first set of properties, and the second portion 708 corresponds to a second portion of flesh having a different second set of properties. Corresponding to the inner layer of 2, the second portion 708 is located within the first portion 706. As shown in Fig. 7, each image data set 704 has imaging data, preferably, a brighter pixel is assigned to the first portion 706, and a darker portion is assigned to the second portion 708. Corresponds to transmission imaging data that can represent an intensity value to be obtained. Thus, in the sense of a single line of a 2D image, or in other words, in the sense that each pixel or kernel analyzed by the CNN corresponds to an intensity value, the image data 704 is 1D.

가장 높은 수준의 기계 학습 프로그램 또는 딥 컨벌루션 신경망에서, CNN은 제2 부분(708)(즉, 참치 살코기에서의 어두운 살)의 일반적인 모습을 식별하기 위하여 수천 개의 대표적인 샘플 이미지의 풀(pool)에 기초하여 훈련된다; 예를 들어, 제2 부분(708)은 참치 살코기의 수천 개의 이미지를 포함할 수 있는 기준 이미지의 대형 풀에 기초하여 살코기의 중심을 통해 이의 주축에 평행하게 지나간다. 다른 수준에서, CNN은 대표적인 샘플 이미지에 기초하여 에지, 라인 및 곡선에 대한 정보를 획득할 것이며, CNN의 정확도는 더 많은 이미지가 스캐닝됨에 따라 개선될 것이다. 따라서, 강도 값에서의 차이에 기초하여, CNN은 제2 부분(708)에 대응하는 사진의 부분을 식별할 것이다. 이러한 부분이 식별되면, CNN은 복수의 실루엣(710)을 만들어 낼 것이며, 각각의 실루엣은 2D로 표현된 각각의 뷰에서 식별된 제2 부분(708)에 대응한다.In the highest level machine learning programs or deep convolutional neural networks, the CNN is based on a pool of thousands of representative sample images to identify the general appearance of the second part 708 (i.e. dark flesh in tuna lean meat). To be trained; For example, the second portion 708 passes parallel to its major axis through the center of the lean meat based on a large pool of reference images, which may contain thousands of images of tuna lean meat. At another level, the CNN will acquire information about edges, lines and curves based on representative sample images, and the accuracy of the CNN will improve as more images are scanned. Thus, based on the difference in the intensity value, the CNN will identify the portion of the picture that corresponds to the second portion 708. Once these portions are identified, the CNN will create a plurality of silhouettes 710, each silhouette corresponding to a second portion 708 identified in each view represented in 2D.

예를 들어, CNN은 많은 층으로 구성되며, 입력 및 출력 사이의 층은 "은닉층(hidden layer)"라 한다. 각각의 층은 층 사이에 완전하게 연결된 다수의 뉴런을 가진다. 이 연결은 기준 이미지에 기초하여 학습되는 가중치에 대응한다. 뉴런 또는 노드는 입력 값을 취하고, 이를 연관된 가중치와 곱하고, 이를 활성화 함수(예를 들어, 본 명세서에 설명된 바와 같은 ReLU)를 통해 지나가게 하여, 출력 값을 전달하는 계산 유닛이다. 이 출력은 다른 연결부를 통해 연결된 다음 뉴런의 입력을 형성한다. 또한, CNN은 뉴런과 유사하게 사용되지만 다른 기능을 갖는 컨벌루션, 풀링, 정규화 및 드롭아웃(dropout)과 같은 다른 층을 포함할 수 있다.For example, a CNN is made up of many layers, and the layer between the input and the output is called a "hidden layer." Each layer has a number of neurons fully connected between the layers. This connection corresponds to the weights that are learned based on the reference image. A neuron or node is a computational unit that takes an input value, multiplies it with an associated weight, and passes it through an activation function (e.g., ReLU as described herein), passing the output value. This output is connected through another connection and then forms the input of the neuron. In addition, CNNs are used similarly to neurons, but may include other layers such as convolution, pooling, normalization and dropout, which have different functions.

네트워크가 훈련되기 전에, 노드 사이의 연결부 또는 가중치는 임의로 할당된다. 네트워크를 훈련시킬 때, 라벨링되거나 주석이 달린 데이터가 사용된다. 예를 들어, 입력 데이터(예를 들어, 이미지 데이터)는 예측되는 출력 데이터(예를 들어, 실루엣)과 상관된다. 제1 층에서 입력 노드를 통해 입력 데이터(예를 들어, 이미지 데이터)를 제공하고, 출력층의 예측된 값(예를 들어, 라벨링된 실루엣)을 아는 것으로, 여러 반복을 통해 연결부의 가중치를 조정하는 것이 가능하여, 어떤 입력 데이터라도, CNN은 예측된 출력을 리턴한다. 이것은 기본적으로 많은 개수의 파라미터를 이용한 최적화 프로세스이다. 하나의 가중치가 변경될 때마다, 이는 전체 네트워크에 영향을 미칠 것이며, 따라서, CNN을 훈련시키는 것은, 수십, 수백 또는 수천 번의 반복을 포함할 수 있다.Before the network is trained, the weights or connections between the nodes are randomly assigned. When training the network, labeled or annotated data is used. For example, input data (eg, image data) is correlated with predicted output data (eg, silhouette). By providing input data (e.g., image data) through an input node in the first layer and knowing the predicted value (e.g., labeled silhouette) of the output layer, adjusting the weight of the connection through several iterations. It is possible, so for any input data, the CNN returns the predicted output. This is basically an optimization process using a large number of parameters. Whenever one weight is changed, it will affect the entire network, so training a CNN may involve tens, hundreds or thousands of iterations.

CNN의 컨벌루션층은 보여지거나 평가될 수 있는 영역을 결정하는 이미지의 크기를 감소시킨다. 예를 들어, 9×9 픽셀의 작은 윈도우가 분석되는 전체 이미지 위로 이동된다. 그 윈도우에서, 관찰자는 전체 객체의 작은 부분(예를 들어, 라인 및 코너)을 볼 것이다. 이미지의 크기가 감소되지만 윈도우 크기는 동일하게 유지되기 때문에, 더 많은 객체 특징이 인식된다. 이미지가 매우 작고 윈도우 내에 거의 맞는다면, 관찰자는 단일 단계에서 어두운 살뿐만 아니라 전체 살코기를 볼 것이다.The convolutional layer of the CNN reduces the size of the image, which determines the area that can be viewed or evaluated. For example, a small window of 9×9 pixels is moved over the entire image being analyzed. In that window, the observer will see a small portion of the entire object (eg, lines and corners). Since the size of the image is reduced but the window size remains the same, more object features are recognized. If the image is very small and fits almost within the window, the observer will see the whole lean meat as well as dark flesh in a single step.

이것은 신경망이 참조하는 것의 예이다. 네트워크의 초기 층에서, 예를 들어, 참치 생선 살코기에서 어두운 살을 식별하는데 있어서 관련되는 라인 및 코너를 검출하는 것을 허용하는 가중치가 학습될 것이다. 전체 어두운 살이 객체로서 인식되고 기준으로서 이의 주변과 관련될 때까지(예를 들어, 어두운 살은 흰 살의 경계들 사이에 있고, 주축을 따라 지나간다), 나중의 층에서 이 라인은 곡선을 형성할 것이다. 이러한 특징은 동시에 학습되지만 모두 관련된다. 라인과 코너 없이는, 어두운 살의 경계는 어두운 살에 전체적인 모습에 기초하여 위치를 찾기는 어렵다. 유사하게, 어두운 살에 대응하는 많은 라인과 코너가 있지만, 어두운 살의 전체 모습이 알려져 있지 않다면, 어느 라인과 코너가 관련되는지 구별하기 어렵다. 그러나, 이러한 높은 수준과 낮은 수준의 특징 모두를 알고 있는 것은 이미지 데이터에서 어두운 살의 검출을 가능하게 한다.This is an example of what the neural network refers to. In the initial layer of the network, weights will be learned that allow to detect the lines and corners involved in identifying dark flesh, for example in tuna fish lean. Until the entire dark flesh is recognized as an object and is related to its periphery as a reference (e.g., the dark flesh is between the boundaries of white flesh and passes along the main axis), in later layers this line will form a curve . These features are learned at the same time, but all are related. Without lines and corners, the boundaries of dark flesh are difficult to locate based on the overall appearance of dark flesh. Similarly, there are many lines and corners corresponding to dark flesh, but if the overall appearance of the dark flesh is not known, it is difficult to distinguish which lines and corners are involved. However, knowing both of these high and low level features makes it possible to detect dark flesh in image data.

그 다음, 계산 시스템은 알고리즘을 이용함으로써 각각의 실루엣(710)을 복수의 투영(712)으로 역투영하고, 일 구현예에서, 도 7에 도시된 바와 같이, 알고리즘은 각각의 실루엣(710)의 외부 경계에 대응하는 라인을 더 높은 차원의 장면으로 연장한다. 각각의 실루엣(710)을 역투영하고 투영(712) 사이의 교차 부분을 분석함으로써, 제2 부분(708)의 3D 모델(702)이 결정될 수 있다. 일 구현예에서, 역투영은 원추 형상의 시야에 기초한다. 이미징 모드(300)와 같은 상호 작용 이미징 모드에 대응하는 이미징 데이터는 관심 객체의 깊이에 기초하여 모델을 개선하는데 활용될 수 있다. 예를 들어, 관심 객체의 특성이 그에 대응하는 정보 데이터베이스에 기초하여 알려져 있다면, 상호 작용 이미징 모드에서 캡처될 산란하는 광의 양은, 일 구현예에서는 참치 살코기의 어두운 살인 관심 객체의 깊이에 따라 달라질 것이다. 더욱이, 상호 작용 이미징 데이터는 캡처된 광이 위에서와 같이 객체의 깊이에 따라 달라질 것이기 때문에 스캐닝된 객체의 표면에서 오목 영역(concavity)을 보정하는데 도움을 준다. 따라서, 객체가 오목 영역을 가지고 있으면, 상호 작용 이미징 데이터는 재료가 더 두꺼운 오목 영역을 갖지 않은 객체의 부분에 반대로 재료가 더 얇은 오목 영역을 갖는 객체의 부분에 대하여 달라질 것이다(즉, 더 낮은 값의 캡처된 강도는 더 적은 광이 산란되어 캡처되기 때문에 더 얇은 재료에 대응하고, 더 높은 값의 캡처된 강도는 더 두꺼운 재료를 관통 또는 투과할 수 없을 때 더 많은 광이 산란되어 캡처되기 때문에 더 두꺼운 재료에 대응한다).The computational system then backprojects each silhouette 710 into a plurality of projections 712 by using an algorithm, and in one implementation, as shown in FIG. 7, the algorithm Lines corresponding to the outer borders are extended to a higher-dimensional scene. By backprojecting each silhouette 710 and analyzing the intersections between the projections 712, a 3D model 702 of the second portion 708 can be determined. In one embodiment, the back projection is based on a cone-shaped field of view. Imaging data corresponding to an interactive imaging mode such as the imaging mode 300 may be utilized to improve a model based on the depth of the object of interest. For example, if the properties of the object of interest are known based on the corresponding information database, the amount of scattered light to be captured in the interactive imaging mode will, in one embodiment, depend on the depth of the dark killing object of interest in tuna lean. Moreover, the interactive imaging data helps correct concavities in the surface of the scanned object as the captured light will vary with the depth of the object as above. Thus, if an object has a concave area, the interactive imaging data will be different for the portion of the object whose material has a thinner concave area as opposed to the portion of the object where the material does not have a thicker concave area (i.e., a lower value. The captured intensity of is corresponding to a thinner material because less light is scattered and captured, and a higher value of the captured intensity is more light because more light is scattered and captured when it cannot penetrate or penetrate thicker materials. Corresponds to thick materials).

도 9는 이미징 시스템(예를 들어, 이미징 시스템(400, 500))에 의해 캡처된 이미지 데이터에 기초하여 관심 객체의 3D 모델을 생성하는 예시적인 방법(800)을 나타내는 순서도이다. 방법(800)은 802에서 시작하고, 804에서 컨베이어가 활성화되고, 스캐닝되는 객체는 컨베이어 상으로 적재된다. 컨베이어의 활성화는 외부 스위치를 통해 또는 제어 유닛이나 프로그램을 통해 발생할 수 있다. 유사하게, 806에서, 200을 참조하여 설명된 투과 이미징 모드(200)와 실질적으로 유사할 수 있는 광 투과 시스템이 외부 스위치를 통해 수동으로 또는 제어 유닛이나 프로세서를 통해 활성화된다. 808에서, 광 투과 시스템의 일부인 이미징 장치가 자체에서 또는 투과 시스템과 전자적으로 통신하는 제어 유닛과 연관된 프로그램을 통해, 컨베이어 상의 객체를 통과한 광에 대응하는 투과 이미지 데이터가 이미징 장치에 의해 수신되는지 판단하고, 일 구현예에서, 이미징 장치는 분광기, 카메라 또는 센서이다.9 is a flow chart illustrating an exemplary method 800 of generating a 3D model of an object of interest based on image data captured by an imaging system (eg, imaging systems 400, 500). Method 800 begins at 802, at 804 a conveyor is activated, and objects being scanned are loaded onto the conveyor. The activation of the conveyor can take place via an external switch or via a control unit or program. Similarly, at 806, a light transmitting system, which may be substantially similar to the transmissive imaging mode 200 described with reference to 200, is activated either manually through an external switch or through a control unit or processor. At 808, the imaging device that is part of the light transmission system determines whether transmission image data corresponding to the light passing through the object on the conveyor is received by the imaging device, either on its own or through a program associated with a control unit in electronic communication with the transmission system. And, in one embodiment, the imaging device is a spectroscope, a camera, or a sensor.

이미지 데이터가 수신되지 않으면, 프로세스는 806으로 돌아가고, 이미지 데이터가 수신될 때까지 반복된다. 투과 이미지 데이터가 수신되면, 이는 프로세서로 전송되고, 방법(800)은 투과 모드가 비활성화되고 상호 작용 이미징 모드가 활성화되는 810으로 진행한다. 상호 작용 이미징 모드는 도 3을 참조하여 설명된 상호 작용 모드(300)와 실질적으로 유사하다. 다시, 812에서, 이미징 장치 또는 분광기가 상호 작용 이미징 데이터를 수신하는지 판단된다. 수신하지 않는다면, 이미징 장치가 상호 작용 이미징 데이터를 수신할 때까지 810으로 돌아가는 것으로 프로세스가 반복된다. 상호 작용 이미징 데이터가 검출되면, 814에서, 상호 작용 이미징 데이터가 프로세서에 전송된다. 다수의 이미징 장치가 있는 구현예에서, 상술한 프로세스는 각각의 고유 이미징 장치에 대하여 반복되어 복수의 뷰를 생성할 수 있다. 대안적으로, 이미징 장치가 회전하는 구현예에서, 이 프로세스는 복수의 뷰 또는 복수의 투과 이미징 데이터 및 복수의 상호 작용 이미징 데이터를 생성하기 위하여 이미징 장치가 고유 위치에 위치될 때마다 반복된다.If image data is not received, the process returns to 806 and repeats until image data is received. When transmission image data is received, it is transmitted to the processor, and the method 800 proceeds to 810 where the transmission mode is deactivated and the interactive imaging mode is activated. The interactive imaging mode is substantially similar to the interactive mode 300 described with reference to FIG. 3. Again, at 812, it is determined whether the imaging device or spectroscope is receiving interactive imaging data. If not, the process repeats back to 810 until the imaging device receives the interactive imaging data. If the interactive imaging data is detected, at 814, the interactive imaging data is sent to the processor. In implementations with multiple imaging devices, the process described above may be repeated for each unique imaging device to create multiple views. Alternatively, in embodiments in which the imaging device is rotated, this process is repeated each time the imaging device is placed in a unique position to generate a plurality of views or a plurality of transmission imaging data and a plurality of interactive imaging data.

프로세서는 기계 학습 프로그램 또는 CNN을 포함하고, 816에서, CNN은 각각의 뷰에 대응하는 투과 이미지 데이터를 입력으로서 수신한다. 그 다음, 818에서, CNN은 각각의 투과 이미지 세트에서, 일 실시예에서 식품 조각 내에 위치된 객체 또는 생선의 제1 부분 내에 위치된 생성의 제2 부분인, 관심 특징에 대응하는 복수의 실루엣을 생성한다. 818에서, 실루엣의 각각은 복수의 투영으로 역투영되고, 교차 부분에 기초하여 3D 구조를 결정하기 위하여 각각의 투영의 공통 교차 부분이 분석된다. 그 다음, 822에서, 프로세스는 이 3D 구조를 출력하고, 수동으로 또는 추가 프로세서 단계를 통해, 관심 객체가 스캐닝된 객체의 표면 근처에 있는지 판단된다. 근처에 있지 않다면, 투과 이미징 데이터에 기초하여 3D 구조가 출력되며, 828에서 방법(800)은 종료된다.The processor includes a machine learning program or CNN, and at 816, the CNN receives as input transmitted image data corresponding to each view. Then, at 818, the CNN creates, in each set of transmission images, a plurality of silhouettes corresponding to the feature of interest, which in one embodiment is an object positioned within a piece of food or a second portion of the creation positioned within a first portion of a fish. Generate. At 818, each of the silhouettes is backprojected into a plurality of projections, and a common intersection portion of each projection is analyzed to determine a 3D structure based on the intersection portion. Then, at 822, the process outputs this 3D structure and, either manually or through an additional processor step, is determined whether the object of interest is near the surface of the scanned object. If not nearby, a 3D structure is output based on the transmission imaging data, and at 828 the method 800 ends.

관심 객체가 표면 근처에 있다면, 프로세스는 824로 계속되고, CNN은 투과 이미징 데이터에 기초하여 3D 구조를 보정하거나 명확하게 하기 위하여 상호 작용 이미징 데이터를 이용한다. 824에서 3D 구조가 보정되면, 826에서 프로세서 또는 CNN은 보정된 3D 구조를 출력하고, 828에서 프로세스는 종료된다.If the object of interest is near the surface, the process continues to 824, and the CNN uses the interactive imaging data to correct or clarify the 3D structure based on the transmission imaging data. If the 3D structure is corrected at 824, the processor or CNN outputs the corrected 3D structure at 826, and the process ends at 828.

도 10은 이미징 시스템에 의해 캡처된 이미지 데이터에 기초하여 관심 객체의 3D 모델을 생성하기 위한 방법(900)의 대안적이고 예시적인 구현예이다. 방법(900)은 902에서 시작하고, 컨베이어 및 광 투과 시스템(904)이 활성화된다. 906에서, 이미징 장치 또는 분광기는 투과 이미징 데이터에 대응하는 이미징 데이터가 이미징 장치에 의해 수신되거나 캡처되는지 판단한다. 수신되거나 캡처되지 않는다면, 데이터가 수신될 때까지 프로세서는 904로 돌아간다. 수신되거나 캡처된다면, 방법(900)은 908로 계속되고, 908에서, 투과 이미징 데이터가 프로세서에 전송된다. 그 다음, 910에서, 프로세서는, 컨벌루션 신경망을 통해, 1D 투과 이미지 데이터로부터 복수의 2D 실루엣을 결정한다. 912에서, 각각의 실루엣이 역투영되고 교차 부분이 분석된다. 그 다음, 914에서, 프로세서는 각각의 투영 사이의 공통 교차 부분에 기초하여 3D 구조를 출력한다.10 is an alternative and exemplary implementation of a method 900 for generating a 3D model of an object of interest based on image data captured by an imaging system. The method 900 begins at 902 and the conveyor and light transmission system 904 is activated. At 906, the imaging device or spectroscope determines whether imaging data corresponding to the transmission imaging data is received or captured by the imaging device. If not received or captured, the processor returns to 904 until data is received. If received or captured, the method 900 continues to 908, where transmission imaging data is transmitted to the processor. Then, at 910, the processor determines a plurality of 2D silhouettes from the 1D transmission image data via a convolutional neural network. At 912, each silhouette is backprojected and the intersection is analyzed. Then, at 914, the processor outputs a 3D structure based on the common intersection between each projection.

그 다음, 916에서, 프로세서 또는 CNN을 이용하여, 관심 객체가 스캐닝된 객체의 표면 근처에 있는지 판단된다. 근처에 있지 않다면, 926에서 방법(900)은 종료하고, 3D 모델은 투과 이미징 데이터에 기초한다. 근처에 있다면, 단계 918에서, 방법(900)은 계속하여 상호 작용 이미징 시스템을 활성화하고, 920에서, 이미징 장치는 상호 작용 이미징 데이터에 대응하는 이미징 데이터가 이미징 장치 또는 분광기에 의해 수신되는지 판단한다. 수신되지 않는다면, 방법(900)은 이러한 데이터가 수신되거나 캡처될 때까지 918로 돌아간다. 수신된다면, 방법(900)은 922으로 진행하고, 상호 작용 이미징 데이터가 프로세서에 전송되고, 필요하다면, 상호 작용 이미징 데이터에 기초하여 3D이 보정된다. 마지막으로, 924에서 보정된 3D 모델이 출력되고, 926에서 방법(900)은 종료된다.Then, at 916, a processor or CNN is used to determine whether the object of interest is near the surface of the scanned object. If not, at 926 the method 900 ends, and the 3D model is based on the transmission imaging data. If so, at step 918, the method 900 continues to activate the interactive imaging system, and at 920, the imaging device determines whether imaging data corresponding to the interactive imaging data is received by the imaging device or spectroscope. If not, the method 900 returns to 918 until such data is received or captured. If received, the method 900 proceeds to 922 where the interactive imaging data is transmitted to the processor, and if necessary, the 3D is corrected based on the interactive imaging data. Finally, the corrected 3D model is output at 924, and the method 900 ends at 926.

3차원 정보의 획득을 통해, 본 개시 내용은 특정 식품 재료가 불량 처리될 필요가 있는지 여부에 관한 품질 관리 검사에 영향을 미칠 수 있는, 내부 불량의 부피 및 형상을 더 정밀하게 판단할 수 있게 한다. 또한, 객체의 3차원 구조를 아는 것으로, 2차 제품의 처리 및 제거가 더욱 정확하게 수행될 수 있고, 따라서 1차 제품의 손실을 최소화할 수 있다.Through the acquisition of three-dimensional information, the present disclosure makes it possible to more accurately determine the volume and shape of internal defects, which may affect the quality control inspection as to whether or not a particular food material needs to be defective. . In addition, by knowing the three-dimensional structure of the object, processing and removal of the secondary product can be performed more accurately, and thus the loss of the primary product can be minimized.

예시된 구현예에 대한 상술한 설명은, 요약서에 설명되는 것을 포함하여, 구현예들을 개시된 정확한 형태로 제한하거나 소진적인 것으로 되도록 의도되지 않는다. 예들에 대한 특정 구현예가 본 명세서에서 예시적인 목적으로 사용되지만, 관련 업계에서의 통상의 기술자에 의해 인식되는 바와 같이, 다양한 균등한 수정이 본 개시 내용의 사상 및 범위를 벗어나지 않으면서 이루어질 수 있다. 다양한 구현예에 대하여 본 명세서에 개시된 교시 내용은 반드시 전술된 예시적인 이미징 시스템 및 방법이 아닌 식품 처리의 상황 외에도 적용될 수 있다.The foregoing description of the illustrated embodiments, including those described in the Abstract, is not intended to be exhaustive or to limit the implementations to the precise form disclosed. Although specific implementations of the examples are used for illustrative purposes herein, various equivalent modifications may be made without departing from the spirit and scope of the present disclosure, as recognized by those skilled in the relevant art. The teachings disclosed herein for various embodiments may apply beyond the context of food processing, not necessarily the exemplary imaging systems and methods described above.

예를 들어, 전술한 상세한 설명은 블록도, 개략도 및 예를 통하여 장치 및/또는 프로세스의 다양한 구현예를 설명하였다. 이러한 블록도, 개략도 및 예가 하나 이상의 기능 및/또는 동작을 포함하는 한, 이러한 블록도, 순서도 또는 예 내의 각각의 기능 및/또는 동작이 광범위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 사살상의 임의의 조합에 의해 개별적으로 그리고/또는 집합적으로 구현될 수 있다는 것이 당해 업계에서의 통상의 기술자에 의해 이해될 것이다. 일 구현예에서, 본 내용은 주문형 집적 회로(ASIC)를 통해 구현될 수 있다. 그러나, 당해 업계에서의 통상의 기술자는 본 명세서에 개시된 구현예가 전체적으로 또는 부분적으로 하나 이상의 컴퓨터에 의해 실행되는 하나 이상의 컴퓨터 프로그램으로서(예를 들어, 하나 이상의 컴퓨터 시스템에서 실행되는 하나 이상의 프로그램으로서), 하나 이상의 컨트롤러(예를 들어, 마이크로컨트롤러))에 의해 실행되는 하나 이상의 프로그램으로서, 하나 이상의 프로세서(예를 들어, 마이크로프로세서))에 의해 실행되는 하나 이상의 프로그램으로서, 펌웨어로서, 또는 이들의 사살상의 임의의 조합으로서 표준 집적 회로에서 동등하게 구현될 수 있으며, 회로를 설계하고 그리고/또는 소프트웨어 및/또는 펌웨어를 위한 코드를 작성하는 것이 본 개시 내용의 교시에 비추어 당해 업계에서의 통상의 기술자의 기술 내에 있을 것이라는 점을 인식할 것이다.For example, the foregoing detailed description has described various implementations of devices and/or processes through block diagrams, schematic diagrams, and examples. As long as such block diagrams, schematics and examples contain one or more functions and/or operations, each function and/or operation within such block diagrams, flow charts or examples may be applicable to a wide range of hardware, software, firmware, or any combination thereof. It will be understood by one of ordinary skill in the art that it may be implemented individually and/or collectively by. In one implementation, the present disclosure may be implemented through an application specific integrated circuit (ASIC). However, one of ordinary skill in the art would understand that the implementations disclosed herein are, in whole or in part, as one or more computer programs executed by one or more computers (e.g., as one or more programs executed on one or more computer systems), One or more programs executed by one or more controllers (e.g., microcontrollers), as one or more programs executed by one or more processors (e.g., microprocessors), as firmware, or Any combination may be implemented equally in a standard integrated circuit, and designing the circuit and/or writing code for software and/or firmware is the skill of a person skilled in the art in light of the teachings of this disclosure. You will recognize that you will be within.

로직이 소프트웨어로서 구현되고 메모리에 저장될 때, 로직 또는 정보는 임의의 프로세서 관련 시스템 또는 방법에 의한 사용 또는 이와 관련한 사용을 위하여 컴퓨터 판독 가능한 매체에 저장될 수 있다. 본 개시 내용과 연계하여, 메모리는 컴퓨터 및/또는 프로세서 프로그램을 포함하거나 저장하는 전자적, 자기적, 광학적 또는 기타 물리적 장치 또는 수단인 컴퓨터 판독 가능한 매체이다. 로직 및/또는 정보는 컴퓨터 기반 시스템과 같은 명령어 실행 시스템, 장치 또는 디바이스나, 프로세서 포함 시스템이나, 명령어 실행 시스템, 장치 또는 디바이스로부터 명령어를 페치하여 로직 및/또는 정보와 연관된 명령어를 실행할 수 있는 기타 시스템에 의한 사용 또는 이와 관련한 사용을 위하여 임의의 컴퓨터 판독 가능 매체에 구현될 수 있다.When logic is implemented as software and stored in memory, the logic or information may be stored on a computer-readable medium for use by or in connection with any processor-related system or method. In connection with the present disclosure, a memory is a computer-readable medium that is an electronic, magnetic, optical or other physical device or means containing or storing a computer and/or processor program. Logic and/or information is an instruction execution system, apparatus, or device, such as a computer-based system, or a system containing a processor, or any other capable of fetching instructions from an instruction execution system, apparatus, or device to execute instructions associated with the logic and/or information. It may be embodied in any computer-readable medium for use by or in connection with the system.

본 명세서와 연계하여, "컴퓨터 판독 가능한 매체"는 명령어 실행 시스템, 장치 및/또는 디바이스에 의한 사용 또는 이와 관련한 사용을 위하여 로직 및/또는 정보와 연관된 프로그램을 저장할 수 있는 임의의 요소일 수 있다. 컴퓨터 판독 가능한 매체는, 예를 들어, 전자적, 자기적, 광학적, 전자기적, 적외선 또는 반도체 시스템, 장치 또는 디바이스일 수 있지만, 이에 한정되지 않는다. 컴퓨터 판독 가능한 매체의 더욱 구체적인 예(비소진적인 리스트)는 다음을 포함할 수 있다: 휴대 가능한 컴퓨터 디스켓(자기, CFC(compact flash card), SD(secure digital) 등), RAM(random access memory), ROM(read-only memory), 삭제 가능한 프로그래머블 리드 온리 메모리(EPROM, EEPROM 또는 플래시 메모리), 휴대 가능한 CDROM(compact disc read-only memory), 디지털 테이프 및 기타 비일시적인 매체.In connection with this specification, a “computer-readable medium” may be any element capable of storing a program associated with logic and/or information for use by or in connection with an instruction execution system, apparatus, and/or device. The computer-readable medium may be, for example, an electronic, magnetic, optical, electromagnetic, infrared or semiconductor system, apparatus or device, but is not limited thereto. More specific examples (non-exhaustive list) of computer-readable media may include: portable computer diskettes (magnetic, compact flash card (CFC), secure digital (SD), etc.), random access memory (RAM), Read-only memory (ROM), removable programmable read-only memory (EPROM, EEPROM, or flash memory), portable compact disc read-only memory (CDROM), digital tape, and other non-transitory media.

본 명세서에 설명된 많은 방법은 변형으로 수행될 수 있다. 예를 들어, 많은 방법은 추가 동작을 포함할 수 있고, 일부 동작을 생략할 수 있고 그리고/또는 예시되거나 설명된 것과는 다른 순서로 동작을 수행할 수 있다.Many of the methods described herein can be performed in variations. For example, many methods may include additional operations, some operations may be omitted, and/or may perform operations in a different order than illustrated or described.

전술된 다양한 구현예는 다른 구현예를 제공하기 위하여 조합될 수 있다. 본 명세서의 특정 교시 및 정의와 모순되지 않는 한, 본 명세서에서 참조되고 그리고/또는 ADS(Application Data Sheet)에 열거된 미국 특허, 미국 특허 출원 공보, 미국 특허 출원, 외국 특허, 외국 특허 출원 및 비특허 간행물은 그 전체가 참조로서 본 명세서에 포함된다. 구현예들의 양태들은, 또 다른 구현예를 제공하기 위하여 다양한 특허, 출원 및 간행물의 개념을 채용하는데 필요하다면, 수정될 수 있다.The various implementations described above can be combined to provide other implementations. Unless contradicted by the specific teachings and definitions herein, U.S. patents, U.S. patent application publications, U.S. patent applications, foreign patents, foreign patent applications and non- Patent publications are incorporated herein by reference in their entirety. Aspects of the implementations may be modified as necessary to employ the concepts of various patents, applications, and publications to provide yet another implementation.

이러한 수정 및 다른 수정이 전술한 상세한 설명에 비추어 구현예에 이루어질 수 있다. 일반적으로, 이어지는 청구항에서, 사용된 용어는 본 명세서 및 청구항에 개시된 특정 구현예로 청구항을 한정하는 것으로 해석되어서는 안 되고, 이러한 청구항의 권리를 갖는 균등물의 전체 범위와 함께 모든 가능한 구현예를 포함하는 것으로 해석되어야 한다. 따라서, 청구항은 본 개시 내용에 의해 제한되지 않는다.These and other modifications may be made to the implementation in light of the foregoing detailed description. In general, in the claims that follow, the terms used should not be construed as limiting the claims to the specification and the specific embodiments disclosed in the claims, including all possible embodiments, along with the full scope of equivalents entitled to such claims. It should be interpreted as doing. Accordingly, the claims are not limited by the present disclosure.

Claims

제1 컨베이어;
상기 제1 컨베이어로부터 갭(gap)에 의해 분리된 제2 컨베이어;
상기 갭 내에 위치되고 상기 제1 컨베이어 및 상기 제2 컨베이어 중 적어도 하나에 결합되는 투명 플레이트;
상기 갭 내에 적어도 부분적으로 위치되고, 상기 제1 컨베이어 및 상기 제2 컨베이어 중 적어도 하나에 결합되는 지지 링;
상기 지지 링에 결합되는 적어도 하나의 이미징 장치;
상기 지지 링에 결합되는 제1 광원; 및
상기 지지 링과 상기 적어도 하나의 이미징 장치와 전자적으로 통신하는 제어 유닛
을 포함하고,
작동 동안, 상기 제1 광원은 상기 투명 플레이트 상의 객체를 향하여 지향되는 광을 방출하고, 상기 제어 유닛은 상기 적어도 하나의 이미징 장치로부터 이미징 데이터를 수신하고, 상기 제어 유닛은 상기 객체의 제1 부분 내에 포함된 상기 객체의 제2 부분의 3D 모델을 구성하는, 시스템.A first conveyor;
A second conveyor separated from the first conveyor by a gap;
A transparent plate positioned within the gap and coupled to at least one of the first conveyor and the second conveyor;
A support ring located at least partially within the gap and coupled to at least one of the first conveyor and the second conveyor;
At least one imaging device coupled to the support ring;
A first light source coupled to the support ring; And
A control unit in electronic communication with the support ring and the at least one imaging device
Including,
During operation, the first light source emits light directed towards an object on the transparent plate, and the control unit receives imaging data from the at least one imaging device, and the control unit is within a first portion of the object. A system for constructing a 3D model of the second portion of the contained object.

제1항에 있어서,
상기 적어도 하나의 이미징 장치는 이미징 데이터를 상기 제어 유닛에 전송하고, 상기 이미징 데이터는 상호 작용(interactance) 이미징 데이터 및 투과(transmittance) 이미징 데이터를 포함하는, 시스템.The method of claim 1,
Wherein the at least one imaging device transmits imaging data to the control unit, the imaging data comprising interaction imaging data and transmittance imaging data.

제1항에 있어서,
상기 객체는 참치 살코기이고, 상기 제1 광원은 대략 1260 나노미터, 대략 805 나노미터 또는 대략 770 나노미터 중 하나인 파장의 광을 방출하는, 시스템.The method of claim 1,
Wherein the object is a tuna lean meat, and the first light source emits light at a wavelength of one of approximately 1260 nanometers, approximately 805 nanometers or approximately 770 nanometers.

제1항에 있어서,
상기 프로세서는 상기 이미징 데이터를 처리하기 위하여 컨벌루션 신경망(convolutional neural network)의 형태로 기계 학습을 사용하는, 시스템.The method of claim 1,
The system, wherein the processor uses machine learning in the form of a convolutional neural network to process the imaging data.

제4항에 있어서,
상기 컨벌루션 신경망은 상기 이미지 데이터를 수신하고, 상기 객체의 상기 제2 부분에 대응하는 상기 이미지 데이터에 기초하여 복수의 실루엣을 출력하고, 상기 프로세서는 상기 실루엣을 복수의 투영(projection)으로 투영하고 상기 복수의 투영 사이의 교차 부분(intersection)을 분석하여 상기 3D 모델을 구성하는, 시스템.The method of claim 4,
The convolutional neural network receives the image data and outputs a plurality of silhouettes based on the image data corresponding to the second part of the object, and the processor projects the silhouette into a plurality of projections, and the A system for constructing the 3D model by analyzing an intersection between a plurality of projections.

제1항에 있어서,
상기 지지 링은 상기 지지 링에 결합되는 복수의 카메라를 포함하고, 상기 복수의 카메라의 각각은 상기 제1 광원으로부터, 투과 이미징 데이터, 상호 교차 이미징 데이터 또는 반사 이미징 데이터 중 하나를 캡처하는, 시스템.The method of claim 1,
Wherein the support ring includes a plurality of cameras coupled to the support ring, each of the plurality of cameras capturing one of transmission imaging data, cross-cross imaging data or reflective imaging data from the first light source.

제6항에 있어서,
상기 지지 링은 상기 지지 링에 결합되는 제2 광원을 포함하고, 작동 동안, 상기 제2 광원은 상기 투명 플레이트로 지향되는 광을 방출하는, 시스템.The method of claim 6,
Wherein the support ring includes a second light source coupled to the support ring, and during operation, the second light source emits light directed to the transparent plate.

컨베이어로서, 상기 컨베이어의 제1 부분 및 제2 부분 사이에 공간을 갖는, 상기 컨베이어;
상기 공간 내에 위치되고 상기 컨베이어에 결합되는 플레이트;
상기 공간 내에 적어도 부분적으로 위치되고 상기 컨베이어에 결합되는 지지 링;
상기 지지 링에 결합되는 적어도 하나의 광원;
상기 지지 링에 결합되는 이미징 장치; 및
상기 이미징 장치와 전자적으로 통신하는 프로세서
를 포함하고,
작동 동안, 상기 지지 링은 적어도 제1 위치와 제2 위치 사이에 회전하고, 상기 적어도 하나의 광원은 상기 플레이트 상의 객체를 향하여 지향되는 광을 방출하고, 상기 이미징 장치는 상기 적어도 하나의 광원으로부터의 광을 상기 광이 상기 객체를 통과한 후에 수신하고,
상기 프로세서는, 상기 지지 링이 상기 제1 위치에 있을 때 상기 이미징 장치로부터의 제1 이미지 데이터 세트를 수신하고 상기 지지 링이 상기 제2 위치에 있을 때 상기 이미징 장치로부터의 제2 이미지 데이터 세트를 수신하며, 상기 제1 이미지 데이터 세트 및 상기 제2 이미지 데이터 세트로부터 상기 객체의 내부 부분에 대한 3차원(3D) 모델을 출력하는, 장치.A conveyor, the conveyor having a space between the first portion and the second portion of the conveyor;
A plate located in the space and coupled to the conveyor;
A support ring located at least partially within the space and coupled to the conveyor;
At least one light source coupled to the support ring;
An imaging device coupled to the support ring; And
Processor in electronic communication with the imaging device
Including,
During operation, the support ring rotates between at least a first position and a second position, the at least one light source emits light directed towards the object on the plate, and the imaging device is Receive light after the light passes through the object,
The processor is configured to receive a first set of image data from the imaging device when the support ring is in the first position and a second set of image data from the imaging device when the support ring is in the second position. Receiving and outputting a three-dimensional (3D) model of an interior portion of the object from the first image data set and the second image data set.

제8항에 있어서.
상기 프로세서는 상기 제1 이미지 데이터 세트 및 상기 제2 이미지 데이터 세트를 복수의 실루엣으로 처리하고 상기 복수의 실루엣을 복수의 투영(projection)으로 투영하기 위하여 기계 학습을 활용하고, 상기 3D 모델은 상기 복수의 투영의 각각 사이의 교차 부분(intersection)에 기초하는, 장치.The method of claim 8.
The processor uses machine learning to process the first image data set and the second image data set into a plurality of silhouettes and project the plurality of silhouettes into a plurality of projections, and the 3D model Based on the intersection between each of the projections of.

제8항에 있어서.
상기 지지 링에 결합되는 제2 광원을 더 포함하고, 상기 이미징 장치는 상기 지지 링이 상기 제1 위치 또는 상기 제2 위치에 있을 때 상기 제2 광원으로부터 제3 이미지 데이터 세트를 캡처하고, 상기 프로세서는 상기 3차원 모델의 경계를 명확하게 하기 위하여 상기 제3 이미지 데이터 세트를 활용하는, 장치.The method of claim 8.
A second light source coupled to the support ring, wherein the imaging device captures a third set of image data from the second light source when the support ring is in the first position or the second position, and the processor Utilizes the third image data set to demarcate the three-dimensional model.

제8항에 있어서.
상기 이미징 장치는 분광기(spectrograph)이고, 상기 적어도 하나의 광원은 대략 1260 나노미터, 대략 805 나노미터 또는 대략 770 나노미터 중 하나로부터 선택된 파장의 광을 방출하는, 장치.The method of claim 8.
Wherein the imaging device is a spectrograph, and the at least one light source emits light of a wavelength selected from one of approximately 1260 nanometers, approximately 805 nanometers or approximately 770 nanometers.

광원으로부터 광을 방출하는 단계 - 상기 방출하는 단계는 제1 부분 및 제2 부분을 갖는 객체를 통해 상기 광을 지향시키는 단계를 포함하고, 상기 제2 부분은 상기 제1 부분 내에 둘러싸임 - ;
상기 광이 상기 객체를 통과한 후 이미징 장치로 상기 광원으로부터의 광을 캡처하는 단계 - 캡처된 상기 광은 상기 이미징 장치에 의해 수신된 상기 제1 부분 및 상기 제2 부분의 이미지 데이터에 대응함 - ;
상기 이미지 데이터를 프로세서에 전송하는 단계; 및
상기 제1 부분과 상기 제2 부분 사이의 경계를 검출하기 위하여 상기 프로세서를 이용하여 상기 이미지 데이터를 분석하는 단계 - 상기 분석하는 단계는, 상기 제2 부분의 3차원 표현을 생성하기 위하여 기계 학습을 활용하는 단계를 포함함 -
를 포함하는, 방법.Emitting light from a light source, the emitting step comprising directing the light through an object having a first portion and a second portion, the second portion enclosed within the first portion;
Capturing light from the light source with an imaging device after the light passes through the object, the captured light corresponding to image data of the first portion and the second portion received by the imaging device;
Transmitting the image data to a processor; And
Analyzing the image data using the processor to detect a boundary between the first portion and the second portion, wherein the analyzing step involves machine learning to generate a three-dimensional representation of the second portion. Including the steps to utilize-
Including, the method.

제12항에 있어서,
상기 광원으로부터 광을 방출하는 단계는, 대략 1260 나노미터, 대략 805 나노미터 또는 대략 770 나노미터 중 하나로부터 선택된 파장의 광을 방출하는 단계를 포함하는, 방법.The method of claim 12,
Emitting light from the light source comprises emitting light at a wavelength selected from one of approximately 1260 nanometers, approximately 805 nanometers or approximately 770 nanometers.

제12항에 있어서,
상기 제2 부분의 3차원 표현을 생성하기 위하여 기계 학습을 활용하는 단계는, 상기 이미지 데이터를 처리하기 위하여, 딥 컨벌루션 신경망(deep convolutional neural network)을 활용하여 기계 학습하는 단계를 포함하는, 방법.The method of claim 12,
The step of utilizing machine learning to generate a three-dimensional representation of the second part comprises machine learning utilizing a deep convolutional neural network to process the image data.

제12항에 있어서,
상기 프로세서를 이용하여 상기 이미지 데이터를 분석하는 단계는, 상기 제2 부분의 상기 이미지 데이터에 대응하는 복수의 2차원 실루엣을 출력하기 위하여 기계 학습을 활용하는 단계를 포함하는, 방법.The method of claim 12,
Analyzing the image data using the processor comprises utilizing machine learning to output a plurality of two-dimensional silhouettes corresponding to the image data of the second portion.

제15항에 있어서,
상기 프로세서를 이용하여 상기 이미지 데이터를 분석하는 단계는, 복수의 투영(projection)을 생성하기 위하여 기계 학습을 활용하는 단계를 포함하고, 각각의 투영은 상기 복수의 2차원 실루엣의 각각의 하나에 대응하는, 방법.The method of claim 15,
Analyzing the image data using the processor includes utilizing machine learning to generate a plurality of projections, each projection corresponding to each one of the plurality of two-dimensional silhouettes How to.

제15항에 있어서,
상기 분석하는 단계는, 3차원 표현을 생성하기 위하여 기계 학습을 포함하는 단계를 포함하고, 상기 객체의 상기 제2 부분의 3차원 표현을 출력하기 위하여 상기 복수의 투영의 각각 사이의 교차 부분(intersection)을 분석하는 단계를 더 포함하는, 방법.The method of claim 15,
The analyzing step includes the step of including machine learning to generate a three-dimensional representation, and an intersection between each of the plurality of projections to output a three-dimensional representation of the second portion of the object. ), the method further comprising the step of analyzing.