KR102280398B1 - 촬영 장치, 시스템, 및 방법 - Google Patents

촬영 장치, 시스템, 및 방법 Download PDF

Info

Publication number
KR102280398B1
KR102280398B1 KR1020180056847A KR20180056847A KR102280398B1 KR 102280398 B1 KR102280398 B1 KR 102280398B1 KR 1020180056847 A KR1020180056847 A KR 1020180056847A KR 20180056847 A KR20180056847 A KR 20180056847A KR 102280398 B1 KR102280398 B1 KR 102280398B1
Authority
KR
South Korea
Prior art keywords
image
data
information
result
image processing
Prior art date
Application number
KR1020180056847A
Other languages
English (en)
Other versions
KR20180129651A (ko
Inventor
토시히코 미무라
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20180129651A publication Critical patent/KR20180129651A/ko
Application granted granted Critical
Publication of KR102280398B1 publication Critical patent/KR102280398B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1093—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing, after transfer of the image of the data-field to an intermediate store, e.g. storage with cathode ray tube
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

촬영 장치는 촬상부와, 화상 데이터로부터 특징값을 취득하는 화상 처리를 행하는 제어부와, 화상 데이터를 축적하는 기억장치를 구비한다. 상기 촬상부에 의해 대상물을 촬상하는 촬상 기간에서는, 상기 제어부는 촬상한 화상 데이터를 상기 기억장치에 축적하면서, 화상 처리의 결과를 데이터 관리 서버에 송신하고, 촬상을 행하지 않는 촬상 중지 기간에서는, 상기 제어부는 상기 기억장치에 축적된 화상 데이터를 상기 데이터 관리 서버에 송신한다.

Description

촬영 장치, 시스템, 및 방법{IMAGE CAPTURING APPARATUS, SYSTEM, AND METHOD}
본 발명은, 촬상한 화상 데이터로부터 특징값을 취득하는 화상 처리를 행하고, 취득한 화상 데이터를 외부에 송신하도록 구성된 촬영 장치, 및 그 촬영 장치를 포함하는 시스템에 관한 것이다.
최근, FA(Factory automation)의 분야에서도 IoT화가 진행되고 있다. 예를 들면, 생산 기기의 컴포넌트로부터의 정보를 수집하는 데이터 관리 서버를 포함한 생산 기기 관리 시스템이 알려져 있다. 이 종류의 생산 기기 관리 시스템에 있어서, 데이터 관리 서버는, 예를 들면, 딥 러닝(deep learning) 등의 방법으로 수집한 데이터를 해석하고, 생산 기기의 이상을 예지하는 예지 보전이나, 트러블 발생시에 그 트러블의 원인이나 경향을 분석하는 분석 결과를 이용하려는 시도가 있다. 이러한 해석에는, 감시 카메라와 화상검사장치의 화상정보가 이용 가치가 높고, 이들의 장치로 취득한 화상 데이터를 데이터 관리 서버로 수집하고, 생산 기기의 관리를 위한 화상 데이터를 이용하는 구성이 예를 들면 하기에 나타낸 일본국 공개특허공보 특개 2016-1768호 및 일본국 공개특허공보 특개 2004-333446호에 제안되어 있다.
그렇지만, 화상정보는, 네트워크상에서 송수신될 때, 큰 통신 대역을 점유하는 문제가 있다. 최근의 IoT 빅 데이터 처리에서는, 비약적으로 송수신 데이터의 양이 증대되고 있다. 이 때문에, 유선 또는 무선 네트워크 인터페이스를 막론하고, 데이터 관리 서버 등에 접속하는 네트워크 I/F의 구축이 어렵게 되고 있다. 예를 들면, 송수신 데이터량의 증대에 의해, 배선량의 증가에 따른 장치의 대형화와 고비용화, 무선 통신의 경우에는, 채널 수의 부족 등, 여러 가지 문제가 생긴다.
한편, 최근의 기술 진보는 놀랍고, 간단히 촬영을 행하는 것뿐만 아니라, 촬상한 화상 데이터의 화상 처리 또는 화상 해석을 행하는 처리 기능도 갖는 소위 스마트 카메라와 같은 촬영 장치가 등장하고 있다. 예를 들면, 하기의 일본국 공개특허공보 특개 2013-158889호에는, 로봇의 작업 영역을 촬영하는 스마트 카메라로부터, 촬상 데이터의 화상 처리에 근거하는 정보를 직접 로봇 제어장치 등에 송신하여, 로봇을 제어하는 생산 시스템이 기재되어 있다.
이 종류의 스마트 카메라는, 근거리 고속 통신을 통해서 외란 등에 영향을 주어지지 않고, 저소비 전력으로 간단히 화상 데이터의 고속 통신이 가능한 기기내 I/F를 사용할 수 있을 가능성이 있다. 또한, 스마트 카메라와 생산 시스템의 제어장치와의 사이의 네트워크는, 정보량이 많이 않은 화상 처리의 결과를 보내는 것만으로도 좋기 때문에, 100 BASE 또는 1000 BASE와 같이 저비용인 범용 LAN(local area network)이나 무선 LAN에서 실현될 수 있다. 또한, 카메라로부터 송신된 데이터량이 대폭 삭감되기 때문에, 빅 데이터 처리 등 고부하 처리를 실행하는 관리 서버에 대한 통신 부하가 경감된다.
이렇게, 생산 관리에 스마트 카메라를 이용하면, 각 기기의 제조 비용이나 네트워크 비용의 저감이 가능할 수 있고, 생산 관리 시스템 전체의 소형 경량화가 용이해질 가능성이 있다. 또한, 종래에 관리 서버가 실행하고 있었던 처리의 일부를 스마트 카메라로 실행시킬 수 있고, 다종류의 생산 기기와 워크피이스(workpieces) 등을 고속으로 식별해야 하는 고도의 생산 관리를 실현할 수 있을 가능성이 있다.
그렇지만, 전술의 스마트 카메라를 사용한 생산 시스템에 있어서, 생산 기기관리 시스템을 구축하려고 하면, 아래와 같은 문제가 발생한다.
스마트 카메라는, 화상 처리된 가공 정보, 화상 처리에 근거하는 해석 또는 진단의 결과 등을 생성한다. 이 때문에, 생산 시스템의 평상 가동 중, 또는 미리 예측된 범위의 트러블에는 대처할 수 있지만, 예기하지 않는 트러블을 해석하기 위한 정보로서는, 많은 정보가 결핍한 경우가 있다. 예를 들면, 카메라로 촬영해서 얻은 정보에는, 처리된 화상의 워크피이스 이외의 정보가 포함되고, 트러블 발생시 화상의 전체를 사람이 볼 수 있으면, 금방 화상 처리의 결함이나 그 결함의 원인이 밝혀질 수 있다. 이에 대하여, 화상 처리 결과만 제공되는 경우, 처리의 결함을 특정하는 것은 어렵고, 그 결함의 원인의 추정도 상당히 어렵다. 또한, 카메라 내에서 행하는 화상 처리에는, 그 화상 처리를 조정하기 위한 화상 처리 파라미터가 필요해서, 일반적으로는, 조명이나 촬영 장치의 경년 변화나, 돌연의 워크피이스의 색조의 변화에 따라, 이들의 파라미터를 조정할 필요가 있다. 그 조정에는, 예를 들면, 가공 또는 압축되지 않은, 오리지널의 촬영 화상, 즉 원래의 촬영 화상이 필요하게 되는 경우가 있다..
또한, 생산 시스템의 평상 가동 중, 화상 처리의 결과로부터 워크피이스의 결함이나 이상이 검출되면, 보다 상세한 정보가 필요하게 되는 경우가 있다. 그러한 경우에는, 가공 또는 압축되지 않은, 원래의 촬영 화상이 필요하게 되는 경우가 있다.
상술한 것과 같은 상황에서는, 예기하지 않는 트러블의 대처, 카메라의 조정, 결함이나 이상이 검출된 워크피이스에의 대처 등, 스마트 카메라로 생산 기기나 워크피이스를 촬상한 오리지널 또는 원래의 촬영 화상이 필요하게 되는 경우가 있다. 이 때문에, 이상적으로는, 스마트 카메라로부터 처리 결과를 송신시킬 뿐만 아니라, 스마트 카메라가 촬상한 오리지널 또는 원래의 촬영 화상을 네트워크 내에 배치한 하드 디스크 등의 기억장치에 로그인(login)하는 구성을 원한다. 그렇지만, 전술한 바와 같이 스마트 카메라가 촬상한 오리지널 또는 원래의 화상 데이터의 크기가 크고, 촬영한 모든 화상 데이터를 전송시키는 구성은 현실적이지 않는 경우가 있다. 예를 들면, 스마트 카메라에 대량의 화상 데이터를 고속으로 송수신시키기 위해서, 생산 관리 시스템의 전체 네트워크를 고속화시키면, 상기의 스마트 카메라를 사용하는 이점이 부정되어버릴 가능성이 있다.
상기의 문제를 해결하기 위해서는, 화상 데이터의 크기 또는 송수신 화상 데이터의 크기를 감소시키는 것이 고려될 수 있다. 예를 들면, 일본국 공개특허공보 특개 2016-1768호와 같이 화상 데이터의 필요한 부분을 컷 아웃하기 위한 방법과, JPEG(joint photographic experts group encoder) 인코더, 즉 JPEG 엔진과 같은 화상 압축부를 스마트 카메라 내에 설치하는 구성이 고려될 수 있다. 그렇지만, JPEG와 같은 화상 압축 방식에 의해 고압축율을 달성하려고 하는 경우에는, 비가역적으로 압축이 행해진다. 비가역 압축이 행해지는 경우에는, 압축 후의 JPEG 화상 데이터로부터 압축 전의 화상 데이터를 복원하는 것은 불가능하다. 따라서, 비가역적으로 압축한 화상 데이터를 카메라로부터 서버에 전송하는 시스템에서는, 관리 서버 등에 남은 화상 데이터로부터는 카메라 내에서 사용된 비압축의 RAW 포맷 화상과 동일 데이터를 복원할 수 없다. 그 때문에, 예를 들면, 전술한 화상 파라미터 등의 미세한 조정을 행하는 것이 어렵게 되는 경우가 있다.
또한, 화상 데이터를 컷 아웃하는 것은, 화상 데이터의 정보량을 줄일 수 있지만, 화상 압축을 행하는 경우와 비교하여, 컷 아웃한 화상 데이터의 크기는 여전히 크고, 네트워크 비용을 상당히 크게 저감하지 않는다. 또한, 컷 아웃한 화상 영역에 원하는 처리에 필요한 부분이 남아있지 않을 경우에는, 상기와 같은 해석이나 화상 파라미터의 조정은 거의 불가능해진다.
추가로, JPEG와 같은 방법을 통해서 화상 데이터를 압축하면, 압축해제 처리가 필요해서, 이러한 압축해제는 시스템의 리스폰스(response)에 문제를 야기시킬 수 있다. 예를 들면, IoT의 진전에 의해, 생산 시스템의 각 부로부터 관리 서버에 송신되는 데이터량은 비약적으로 증가하고 있고, 화상 데이터와 같은 큰 덩어리의 정보를 송신하는 것은, IoT 통신 I/F의 데이터 리스폰스에 엄청난 영향을 줄 수 있다.
즉, 대용량의 데이터인 화상 데이터는, 큰 패킷을 이용해서 통신을 행할 필요가 있다. 그렇지만, 큰 패킷은, 그 패킷이 송신되는 동안은, 통신 리소스를 점유해버린다. 만약 대용량의 화상 데이터에 의해, 통신 리소스가 점유되면, 다른 통신이 불가능하게 되고, 그 결과, 우선순위가 높은 정보가 발생해도, 그 패킷의 통신 기간 동안은, 제어계가 바로 응답할 수 없다고 하는 문제가 발생한다. 이러한 문제는, 데이터 리스폰스의 저하라고 불린다. 또한, 화상 데이터를 작은 패킷으로 세분화해 송신해서 데이터 리스폰스를 확보하는 방법도 있지만, 그 경우는, 화상 데이터의 통신 효율이 대폭 저하하고, 그 화상을 사용하는 생산 시스템 전체의 성능 저하와 같은 또 다른 문제가 발생한다.
상기와 같은 문제를 발생시키는 전형 예는, 무선 통신을 사용한 생산 기기 컴포넌트를 포함하는 생산 기기 관리 시스템이다. 무선 통신에서는, 통신 주파수가 유한하기 때문에, 동시에 통신에 사용할 수 있는 채널 수가 한정되어 있다. 이 때문에, 필요한 경우 우선 순위에 따라, 상이한 채널을 할당해서 또 다른 통신 경로를 확보할 수 없다. 가령, 1개의 생산 기기 시스템에, 모든 채널을 할당하면, 인접하는 또 다른 생산 기기의 무선 통신과 무선 통신 사이에 간섭이 발생하여, 데이터 리스폰스를 더 저하시킨다. 또한, 이 종류의 생산 시스템에서는, 예를 들면 긴급 정지 패널 등, 무선 통신을 통해서 이용할 수 있으면 편리하고, 게다가, 고속의 데이터 리스폰스가 필요해서, 처리의 우선순위가 높은 기기가 배치된다. 이 긴급 정지 패널과 같은 기기가 배치된 생산 시스템에서는, 이 기기가 사용하는 네트워크와 같은 네트워크를 통해서 스마트 카메라가 촬영한 화상을 화상 기록 관리 시스템에 송신하는 구성은, 또 다른 기기의 리스폰스를 손상시키기 때문에 바람직하지 않다.
본 발명의 일 국면에 의하면, 촬영 장치는, 대상물을 촬상하도록 구성된 촬상부와, 상기 촬상부가 촬상한 화상 데이터로부터 특징값을 취득하는 화상 처리를 행하도록 구성된 제어부와, 화상 데이터를 축적하도록 구성된 기억장치를 구비한다. 상기 제어부는, 상기 촬상부에 의해 대상물을 촬상하는 촬상 기간에서는, 상기 촬상부가 촬상한 화상 데이터를 상기 기억장치에 축적하면서, 화상 처리의 결과를 데이터 관리 서버에 송신한다. 상기 제어부는, 상기 촬상부에 의해 대상물의 촬상을 행하지 않는 촬상 중지 기간에서는, 상기 기억장치에 축적된 화상 데이터를 상기 데이터 관리 서버에 송신한다.
본 발명의 다른 국면에 의하면, 시스템은 대상물을 촬상하도록 구성된 촬상부와, 상기 촬상부가 촬상한 화상 데이터로부터 특징값을 취득하는 화상 처리를 행하도록 구성된 제어부와, 화상 데이터를 축적하도록 구성된 기억장치를 구비한 촬영 장치와, 상기 촬영 장치와 통신 가능하도록 구성된 데이터 관리 서버를 구비하다. 상기 제어부는, 상기 촬상부로 대상물을 촬상하는 촬상 기간에서는, 상기 촬상부가 촬상한 화상 데이터를 상기 기억장치에 축적하면서 화상 처리의 결과를 데이터 관리 서버에 송신하도록 구성된다. 상기 제어부는, 상기 촬상부로 대상물의 촬상을 행하지 않는 촬상 중지 기간에서는, 상기 기억장치에 축적된 화상 데이터를 상기 데이터 관리 서버에 송신하도록 구성된다.
본 발명의 또 다른 국면에 의하면, 생산 장치를 사용한 물품의 제조 방법은, 촬영 장치에 의해 상기 생산 장치로 제조될 물품을 촬영하고, 상기 촬영 장치가 촬영한 화상 데이터를 상기 촬영 장치의 기억장치에 축적하고, 상기 촬영 장치의 제어부가 화상 데이터에 대하여 화상 처리를 실행하고, 그 화상 처리의 결과를 데이터 관리 서버에 송신하는 단계를 포함하고, 상기 촬영 장치는, 촬상부와, 상기 촬상부가 촬상한 화상 데이터에 대한 화상 처리를 행하도록 구성된 제어부와, 화상 데이터를 축적하도록 구성된 기억장치를 구비한다. 상기 방법은 또한 상기 촬영 장치에 의한 물품의 촬상을 행하는 촬상 기간에 있어서, 화상 처리가 상기 촬영 장치가 촬상한 화상 데이터에 대해 행해지고, 상기 데이터 관리 서버에 송신된 화상 처리의 결과에 의거하여 생산 제어장치가 물품의 생산 상태를 감시하면서 상기 생산 장치에 의해 물품을 생산하는 단계를 포함한다. 또, 상기 방법은 상기 촬영 장치에 의한 물품의 촬상을 행하지 않는 촬상 중지 기간에 있어서, 상기 촬영 장치로부터, 상기 기억장치에 기억되어 있는 화상 데이터를 상기 데이터 관리 서버에 송신하는 단계를 포함한다.
본 발명의 추가 특징들은 첨부도면을 참조하면서 이하의 예시적인 실시예로부터 밝혀질 것이다.
도 1은 본 발명의 제1 예시적인 실시예에 있어서의 생산 시스템의 구성 예를 나타낸 설명도다.
도 2는 도 1의 스마트 카메라의 구성을 나타낸 설명도다.
도 3은 도 1의 데이터 관리 서버의 구성을 나타낸 설명도다.
도 4는 본 발명의 제2 예시적인 실시예에 있어서의 생산 시스템의 구성 예를 나타낸 설명도다.
도 5는 도 4의 시스템에 있어서의 스마트 카메라, 생산 기기로서 기능하는 로봇 장치의 핸드(hand), 스마트 카메라를 중지 시에 배치시키는 클레들(cradle)을 나타낸 설명도다.
도 6은 도 4의 스마트 카메라의 구성을 나타낸 설명도다.
도 7은 도 4의 데이터 관리 서버의 구성을 나타낸 설명도다.
도 8은 제1 또는 제2 예시적인 실시예에 있어서, 스마트 카메라의 동작의 개요를 나타낸 흐름도다.
도 9는 제1 또는 제2 예시적인 실시예에 있어서, 촬상 기간에 있어서 스마트 카메라로부터 송신되는 ID 정보와 관련된 화상 처리 결과의 예를 나타낸 설명도다.
도 10은 제1 또는 제2 예시적인 실시예에 있어서, 촬상 중지 기간에 있어서 스마트 카메라로부터 송신되는 ID 정보와 관련된 화상 데이터의 설명도다.
이하, 첨부된 도면을 참조해서 본 발명의 예시적인 실시예에 대해서 설명한다. 또한, 이하에 나타내는 구성은 어디까지나 일례이며, 예를 들면 세부의 구성 에 관해서는 본 발명의 취지를 일탈하지 않는 범위에서 본 기술분야의 당업자가 적당하게 변경할 수 있다. 또한, 본 예시적인 실시예에서 나타낸 수치는, 참고 수치이며, 본 발명을 한정할 만한 것은 아니다.
이하에 나타낸 생산 시스템은 촬상부, 화상 처리부, 및 기억장치를 포함하는 촬영 장치를 포함한다. 촬상부는 생산 기기나 워크피이스 등의 대상물을 촬상한다. 화상 처리부는, 촬상부가 촬상한 화상 데이터에 대한 화상 처리를 행한다. 기억장치는 화상 데이터를 축적한다. 이 촬영 장치는, 촬상부로서 카메라 206, 206a, 206b와, 화상 처리부로서 스마트 카메라 프로그램(203)을 포함하는 예를 들면 스테레오 스마트 카메라 106, 107, 108, 또는 403)에 해당한다. 또한, 촬영 장치는, 상기의 촬상부 및 화상 처리부를 구비한 IoT 기기로서 구성될 수 있다. 또한 이 촬영 장치는, 기억장치로서 내부 스토리지 208, 609를 구비한다. 또한, 이하의 예시적인 실시예에 있어서, 생산 기기는, 예를 들면 로봇 암(robot arm) 101, 401이나 반송 장치(103)에 해당한다.
이하의 예시적인 실시예에 있어서, 촬영 장치는, 촬상부로 촬상을 행하는 촬상 기간에서는, 촬상부가 촬상한 화상 데이터를 기억장치에 축적하면서, 촬상한 화상 데이터로부터 화상 처리부가 취득한 화상 처리 결과를 ID 정보와 관련지어서 화상 처리 결과를 데이터 관리 서버(112)에 송신한다. 또한, 촬상부로 촬상을 행하지 않는 촬상 중지 기간에서는, 촬영 장치는, 기억장치에 축적된 화상 데이터를 ID 정보와 관련지어서 화상 데이터를 데이터 관리 서버(112)에 송신한다.
이하의 예시적인 실시예에 있어서, 상기의 ID 정보는, 촬영 장치가 타임키핑(timekeeping)부로부터 취득한 타임키핑 정보를 포함할 수도 있다. 또한, 촬영 장치는, 네트워크 시간 설정 프로토콜을 통해서 네트워크 시간 프로토콜과 같은 데이터 관리 서버(112) 또는 타임키핑 서버, 즉 데이터 관리 서버(112)와 다른 NTP 서버와 통신하여 타임키핑부의 시간을 설정할 수 있다. 또한, 상기의 ID 정보는 공정 관리 번호, 식별 정보 등을 포함할 수도 있다. 공정 관리 번호는 생산 기기의 제어에 사용된다. 식별 정보는 생산 기기나 생산 기기가 다루는 워크피이스를 식별하는 데 사용된다.
이하의 예시적인 실시예에 있어서, 상기의 촬상 기간과 촬상 중지 기간에 있어서, 상이한 네트워크를 통신에 이용할 수 있다. 예를 들면, 촬상 기간에서는, 촬영 장치가, 무선 네트워크를 통해서 화상 처리 결과를 ID 정보와 관련지어서 데이터 관리 서버에 송신한다. 또한, 촬상 중지 기간에서는, 촬영 장치가, 유선 네트워크 을 통해서 기억장치에 축적된 화상 데이터를 ID 정보와 관련지어서 화상 데이터를 데이터 관리 서버에 송신한다.
또한, 촬상 중지 기간에서는, 촬영 장치가 클레들(cradle) 위에 배치되어, 클레들을 통해서 촬영 장치가 유선 네트워크와 접속되는 구성을 사용할 수 있다. 이 클레들은, 촬상 중지 기간에 있어서, 클레들 위에 놓인 촬영 장치가, 클레들을 통해서 충전되도록 더 사용할 수 있다. 또한, 촬영 장치를 클레들 위에 배치하는 동작은, 생산 기기, 예를 들면 로봇 암(401)에 의해 행해질 수 있다. 예를 들면, 촬상 중지 기간으로 이행할 때, 로봇 암(401)이 촬영 장치를 클레들에 배치한다.
또한, 데이터 관리 서버(112)는, 촬영 장치 106∼108로부터 송신된 화상 처리 결과 및/또는 화상 데이터를, 딥 러닝 처리 등을 사용해서 해석할 수 있고, 그 해석 결과에 근거하여, 생산 기기 및/또는 촬영 장치의 제어 프로그램 및/또는 제어 파라미터를 갱신시킬 수 있다.
주목할 것은, 이하에 예시하는 구성에서는, 제어기가, 외부 기록 장치(113)를 구비한 데이터 관리 서버(112)와, 생산 제어장치로서 기능하는 제어장치(114)로 구별되어 있지만, 이것은 어디까지나 일례에 지나지 않고, 본 기술분야의 당업자에 의해 임의의 설계변경이 가능하다. 예를 들면, 데이터 관리 서버(112)와, 생산 제어장치로서 기능하는 제어장치(114)를 통합하고, 1개의 제어 서버나 관리 서버로서 배치해도 된다. 또한, 외부 기록장치(113)는, 데이터 관리 서버(112)와는 별도의 NAS(Network Attached Storage)와 같은 장치로서 시스템에 설치되어 있어도 된다.
<제1 예시적인 실시예>
도 1∼도 3은 본 제1 예시적인 실시예에 따른 생산 시스템의 구성을 나타낸다. 도 1은, 생산 시스템의 전체 구성을 나타낸다. 도 1에 나타낸 생산 시스템은, 대용량의 외부 기록 장치(113)와 접속된 데이터 관리 서버(112)를 구비한다.
또한, 도 1의 생산 시스템은, 로봇 암(101)과 반송 장치(103)를 포함한다. 로봇 암(101)은 생산 라인을 구성하는 생산 기기로서, 워크피이스(105) 등을 조작하고, 반송한다. 반송 장치(103)의 예는 컨베이어(conveyer)와 X-Y 스테이지를 포함한다. 로봇 암(101)과 반송 장치(103)는, 소정의 생산 공정을 실현하기 위해, 각각 로봇 암 제어장치(102) 및 반송 제어장치(104)에 의해 제어된다.
로봇 암 제어장치(102) 및 반송 제어장치(104)는, 예를 들면, 어떤 인텔리젠트한(intelligent) 제어 기능을 갖고, 네트워크 통신에 의해 다른 기기와 연계할 수 있는, 소위 IoT 기기로서 구성된다.
또한, 제1 예시적인 실시예에 있어서, IoT 기기는, 데이터 관리 서버(112)와 접속하도록 구성된 외부 I/F를 포함하고, 적어도 IoT 기기가 제어하는 기기에 설치된 각종의 센서의 출력 정보와 그 처리 결과를, 데이터 관리 서버(112)에 송신 가능한 기기를 말한다. 이 의미에서는, 후술의 스마트 카메라 106, 107, 108도 이미지 센서로 촬상한 화상 데이터 또는 그 화상 처리 결과를 데이터 관리 서버(112)에 대하여 송신 가능한 IoT 기기다.
예를 들면, 로봇 암 제어장치(102)는, 로봇 암(101)을 제어함과 동시에, 로봇 암(101)이 구비한 모터와 인코더의 온도와 같은 각종 로봇 정보를, 데이터 관리 서버(112)에 송신하는 기능을 가지고 있다. 또한, IoT 기기인 스마트 카메라 106, 107, 108, 로봇 암 제어장치(102) 및 반송 제어장치(104)는, 데이터 관리 서버(112)에서 이용 가능한, 예를 들면 다른 정보와 관련 가능한 ID 정보를 생성할 수 있다.
생산 기기로서 기능하는 로봇 암 제어장치(102) 및 반송 제어장치(104)는, 촬영 장치로서 기능하는 스마트 카메라 106~108에 의해 촬영 또는 감시된다. 도 1에서는, 편의상, 스마트 카메라 106~108은 반송 제어장치(104) 위에 도시되어 있지만, 이들 카메라는 생산 라인 상의 생산 상황을 감시 또는 촬영하고 싶은 임의의 위치에 배치된다. 예를 들면, 스마트 카메라 106~108은, 로봇 암(101) 혹은 다른 로봇의 작업 영역에 1개이상 배치될 수 있다.
스마트 카메라 106~108은, 이미지 센서로서 기능하는 카메라(206)로 촬상한 화상 데이터를 기억하는 내부 스토리지(208)를 각각 구비한다. 또한, 스마트 카메라 106~108은, 이미지 센서로서 기능하는 카메라(206)로 촬상한 화상 데이터에 대하여 소정의 화상 처리를 행하는 화상 처리부로서 기능하는 스마트 카메라 프로그램(203)을 각각 구비한다. 스마트 카메라 106∼108의 구성의 상세는, 도 2를 참조하여 나중에 설명할 것이다.
도 1의 생산 시스템에서는, 데이터 관리 서버(112)는, 로봇 암 제어장치(102), 반송 제어장치(104), 및 스마트 카메라 106~108에 유선 LAN 허브 109~111을 통해서 접속되어 있다. 본 예시적인 실시예의 경우, 유선 LAN 허브 109~111은, 예를 들면 IEEE 802.3 네트워크용의 허브이며, 100 BASE 또는 1000 BASE와 같은 비교적 저비용 네트워크 규격을 충족시키면 된다.
또한, 도 1의 생산 시스템은, 생산 기기 전체를 제어하는 PLC(programmable logic controller) 등의 제어장치(114)를 구비한다. 이 제어장치(114)에도, LAN 포트가 설치되어 있고, 로봇 암 제어장치(102), 반송 제어장치(104), 및 스마트 카메라 106∼108에, LAN 포트를 통해서 접속되어 있다. 다시 말해, 도 1의 생산 시스템의 각 부는, LAN 허브 109~111을 사용하여 구축된 비교적 저비용 단일의 네트워크에 의해 접속되어 있다.
도 1의 생산 라인에 있어서의 생산 처리는, 개략, 다음과 같이 행해진다. 예를 들면, 제어장치(114)는, 반송 장치(103)를 동작시켜, 스마트 카메라 106∼108에, 워크피이스(105)를 촬영시킨다. 그리고, 제어장치(114)는 스마트 카메라 106∼108로부터의 화상 처리 결과를 수신하고, 그 수신 결과에 따라, 필요한 생산 기기 제어를 IoT 기기인 로봇 암 제어장치(102)에 지시한다.
스마트 카메라 106, 107 또는 108에서는, 촬상 기간 동안, 카메라(206)로 촬상한 화상 데이터를 내부 스토리지(208)에 ID 정보와 관련되어 있는 상태로 기록한다. 그리고, 제어장치(114) 및 데이터 관리 서버(112)에 대하여, 화상 처리부로서 기능하는 스마트 카메라 프로그램(203)에 의해 얻은 화상 처리 결과를 송신한다. 제어장치(114)는, 이 화상 처리 결과를 이용하여, 예를 들면 생산 라인을 구성하는 로봇 암(101) 및 반송 장치(103)의 동작을 제어할 수 있다. 또한, 데이터 관리 서버(112)는, ID 정보와 관련된 화상 처리 결과를 예를 들면 외부 기록 장치(113)에 축적한다.
IoT 기기로 구성되는 시스템에서는, IoT 기기가 발생한 정보를 관련짓거나, 그 정보에 대응하는 이벤트를 특정하기 위해서 ID 정보를 사용한다. 여기에서, ID 정보는, 제어장치(114)와 데이터 관리 서버(112)가, 각 IoT 기기, 즉 로봇 암 제어장치(102), 반송 제어장치(104), 및 스마트 카메라 106∼108에서 발생한 정보와 관련 가능한 ID 정보이면 무엇이든지 개의치 않는다.
전형적인 ID 정보로서는, 타임키핑 정보가 있다. 타임키핑 정보의 예로서는, 시간 정보와 일시 정보가 있다. 예를 들면, ID 정보로서 타임키핑 정보를 사용할 경우에는, 각각 ID 정보와 관련된 복수의 IoT 정보 또는 그것에 대응하는 이벤트의 동시성이나 시간축 상의 전후 관계를 특정할 수 있다. 다만, ID 정보로서 타임키핑 정보를 사용하는 경우에는, IoT 기기가 발생하는 타임키핑 정보의 시간을 유지하는 타임키핑부가 정확하게 동기될 필요가 있고, 즉 그것의 시간이 정확히 설정될 필요가 있다. 이것을 달성하기 위해서, 예를 들면, IoT 기기, 예를 들면, 스마트 카메라 또는 네트워크 카메라는, 네트워크 시간 설정 프로토콜을 통해서 데이터 관리 서버(112)와 다른 NTP 서버 등의 타임키핑 서버 또는 데이터 관리 서버(112)와 통신해서 시간을 설정한다고 간주할 수 있다. 이것을 달성하기 위해서, 데이터 관리 서버(112) 혹은 제어장치(114)에서 NTP 서비스를 제공하는 NTP 서버 데몬(deamon)을 실행시킨다. 이 때문에, IoT 기기 및 스마트 카메라 106∼108에는, RTC(real time clock) 210A와 같은 도시하지 않은 타임키핑 디바이스가 내장되어 있다. 그리고, 적당한 간격으로 데이터 관리 서버(112) 혹은 제어장치(114)와 NTP 프로토콜 을 통해서 통신하여, 시간을 설정한다. 이 결과, 0.1 몇초 이하(subsecond)의 오차단위로, 장기간에 걸쳐, 각 서버 및 IoT 기기의 시간을 고정밀하게 설정 가능해서, ID 정보로서의 타임키핑 정보의 신뢰성을 유지할 수 있다. 주목할 것은, 상술한 시간을 설정하기 위해 사용된 타임키핑 정보 데이터의 형식은 임의로 설정될 수 있다.
주목할 것은, 또한, 각종 IoT 기기로부터 송신되는 각종 IoT 정보와 관련된 ID 정보로서 타임키핑 정보를 사용하는 경우에는, 그 타임키핑 정보의 취득 타이밍이 중요하다. 예를 들면, 외부 I/F 등으로부터의 데이터 송신시의 시간 정보가 아니고, IoT 정보의 바탕이 되는 정보의 취득 시간이어야 하는 ID 정보로서 사용된 타임키핑 정보를 사용하는 것이 바람직하다.
예를 들면, 스마트 카메라 106∼108의 ID 정보는, 화상 처리 후의 화상 처리 결과를 송신할 때의 시간 정보 또는 타임키핑 정보가 아니고, 바람직하게는 스마트 카메라 내의 촬영부에 촬영 트리거를 제공하는 시간의 시간 정보를 사용한다. 이것은, 본 예시적인 실시예에서는 ID 정보로서 기능하는 타임키핑 정보와 함께 화상 처리 결과의 송신 시간은, 스마트 카메라의 화상 처리에 필요한 시간에 의한 지연이 발생하고, 그 지연의 정도는 처리 내용 및 화상 데이터에 따라 다르기 때문이다.
도 1의 시스템에 있어서는, 스마트 카메라 106∼108 이외의 IoT 기기의 ID 정보도 같다. ID 정보로서의 타임키핑 정보를 사용할 경우에는, 기본적으로는 IoT 정보의 바탕이 되는 데이터를 취득하는 시간의 시간정보를 ID 정보로서 사용한다.
이상과 같은 구성에 의해, 각 IoT 기기에서 발생한 IoT 정보를 ID 정보, 예를 들면, 타임키핑 정보를 통해서 모두 관련지어서 관리하는 것이 가능하게 되고, 딥 러닝 등의 방법에 의해, 고도의 경향 분석을 행하는 것이 가능하게 된다.
또 다른 ID 정보로서는, 예를 들면, 워크피이스나 워크피이스를 실은 트레이에 ID 정보를 바코드 등으로서 설치해 두는 것이 고려될 수 있다. 이 경우, 그 바코드를 스마트 카메라(106)로 판독하고, 바코드로부터 디코드된 정보를 IoT 기기의 ID 정보로서 송신해서 사용한다. 이 바코드는, 생산 기기가 다루는 워크피이스 혹은 그 작업대나 트레이를 식별하는 식별 정보로서 이용될 수 있다. 이 경우, 예를 들면, 데이터 관리 서버(112)로부터 지령을 송신하여 스마트 카메라 106~108에 동시에 바코드를 판독시키며, 그 판독 결과를 ID 신호로서 화상 처리 결과와 함께 송신시킨다. 이에 따라, 생산 기기의 동작을, 각 종류의 소정의 워크피이스와 관련지을 수 있다.
또한, 스마트 카메라 106~108이 바코드를 항상 성공적으로 판독할 수 없다는 것도 가능하다. 그 경우, 스마트 카메라, 예를 들면 스마트 카메라 106이 정상적으로 취득한 최초의 바코드 데이터를 ID 정보의 기본으로서 사용할 수 있다. 그리고, 예를 들면, 그 바코드를 판독하는 시간을 0으로 리셋하고, 그것으로부터의 경과 시간을, 전술의 바코드 데이터와 조합해서 사용해도 된다. 이에 따라, 특정한 워크피이스를 식별하는 바코드 데이터의 판독 시간부터의 상대적인 경과 시간을 이용해서 특정한 워크피이스와 관련된 생산 처리의 이벤트를 특정하하여 관련지을 수 있다.
상기한 바와 같이, ID 정보는, 생산 기기의 이벤트 데이터로서 기능하는 각종의 IoT 데이터를 식별하는 데 사용되고, 예를 들면, 타임키핑 정보와, 바코드 등 을 통해서 얻은 워크피이스의 식별 정보가 1개 또는 그 복수의 조합으로 사용될 수 있다. 또한, 생산 기기의 이벤트 데이터로서 기능하는 IoT 데이터의 관련짓기는, 제어장치(114)에 의해 각 생산 기기의 제어에 사용하는 공정 관리 번호 등을 통해서 행해질 수도 있다. 예를 들면, 제어장치(114)가 타임키핑 정보와 특정한 생산 제어 이벤트의 공정 관리 번호를 서로 관련지어서 ID 정보로서 사용하는 경우, 스마트 카메라의 화상 처리 결과와, 화상 데이터와, 특정한 생산 기기를 서로 관련지을 수 있다. 주목할 것은, 생산 이벤트로서 기능하는 각종의 IoT 데이터, 스마트 카메라의 화상 처리 결과, 및 화상 처리 전의 화상을 관련짓기 위해서 서버(112)나 제어장치(114)가 이용할 수 있는 ID 정보이면, IoT 정보에 사용하는 ID 정보로서, 임의의 정보를 사용할 수 있다.
다음에, 도 2 및 도 3을 참조하여, 도 1에 나타낸 스마트 카메라 106∼108과 데이터 관리 서버(112)를 각각 설명한다.
도 2는, 본 예시적인 실시예의 촬영 장치에 해당하는, 스마트 카메라 106∼108의 구성을 나타낸다. 도 2의 스마트 카메라 106, 107, 또는 108의 각 부는 CPU(central processing unit)(201)와 함께 배치되어 있다. CPU(201)가 관리하는 데이터 버스와 어드레스 버스 등의 각종의 신호선으로 이루어진 버스 라인(212)에는, 메모리(202), 카메라(206), 내부 스토리지(208), ID 생성부(210), 및 LAN 포트(211)가 접속되어 있다.
촬영 장치의 촬상부로서 기능하는 카메라(206)는, 예를 들면 촬영 렌즈와 이미지 센서를 구비하고, 촬상한 화상 데이터의 입출력을 위한 예를 들면 MIPI(mobile industry processor interface)(205)를 통해 버스 라인(212)에 접속된다. MIPI(205)는, 휴대전화기 등에 사용되는 카메라 디바이스의 인터페이스이며, 이 인터페이스는 장거리 통신에는 적합하지 않지만, 저소비 전력 및 저비용으로 카메라 인터페이스를 구성할 수 있다.
eMMC(embedded multimedia card)나 SD 메모리 등을 포함하는 내부 스토리지(208)는, 예를 들면 SDI(serial digital interface)(207)을 통해 버스 라인(212)에 접속된다. SDI(207)는, 외부기기와의 접속 등에는 맞지 않지만, SDI(207)는 저소비 전력으로 인터페이스를 구성할 수 있고, 스마트 카메라 등에 적합하다.
본 예시적인 실시예에서는, 내부 스토리지(208)는, 적당한 길이의 촬상 기간 중에 카메라(206)로 촬상한 예를 들면 비압축된 화상 데이터를 네트워크를 통해서 화상 데이터를 송신하지 않고 축적하기 위해서 사용된다. 본 예시적인 실시예에서는, 촬상 기간 중에 내부 스토리지(208)에 축적한 화상 데이터는, 촬상 중지 기간에 있어서, 데이터 관리 서버(112)에 송신된다. 그 때문에, 내부 스토리지(208)의 기억 용량은 임의로 설정되지만, 기억 용량은 보통 예상되는 촬상 기간 중에 카메라(206)로 촬상한 예를 들면 비압축된 화상 데이터를 모두 저장할 수 있는 정도의 크기로 설정된다. 내부 스토리지(208)의 기억 용량은, 생산 시스템의 사양에 따라 다르며, SD 메모리 등의 기억 미디어에서도 100 GB만큼 큰 크기의 제품을 취득하는 것은 비교적 용이하다.
ID 생성부(210)는, 전술한 ID 정보의 1개 또는 복수의 타입 생성하도록 구성되고, 예를 들면 타임키핑 정보 또는 시간 정보를 사용하는 경우에는, ID 생성부(210)는, RTC 210A와 같은 타임키핑부를 구비한다. ID 생성부(210)는, 예를 들면 I2C(inter-ingegrated circuit) 인터페이스(209)를 통해 버스 라인(212)과 접속한다. I2C 인터페이스를 이용하는 경우, 비교적 저렴한 2선식의 배선 하드웨어를 이용해서 데이터 입출력을 행할 수 있고, I2C 인터페이스는 예를 들면 타임키핑 정보 또는 시간 정보와 같은 소용량의 데이터 입출력에는 충분한 성능을 발휘할 수 있다. 또한, ID 정보에 상술한 바코드 등을 사용하는 경우에는, ID 생성부(210)는, 예를 들면, 카메라(206)로 촬영한 바코드의 화상으로부터 그 데이터의 내용을 디코드하는 하드웨어 또는 CPU(201)가 실행하는 소프트웨어로 구성되면 된다.
본 예시적인 실시예에서는, 스마트 카메라의 외부 통신 I/F는 LAN 포트(211)뿐이며, IoT 기기에 대해서도 LAN 포트(211)의 포맷이 사용된다. 다시 말해, 다른 IoT 기기에 대해서도 같은 LAN 백본(backbone)을 시분할해서 사용할 수 있어, 네트워크 배선의 양을 대폭 삭감할 수 있다.
도 2의 좌측에 나타낸 스마트 카메라 내장의 메모리(202)는 DRAM(dynamic random access)이나 ROM(read-only memory)과 같은 기억 디바이스에 의해 구성된다. 내부적으로는, 메모리(202)는 일시 보존 영역(204)과 스마트 카메라 프로그램(203)으로 크게 나눌 수 있다. 일시 보존 영역(204)은 화상, 데이터 등을 일시적으로 보존한다.
이들 중에서, 스마트 카메라 프로그램(203)은, 프로그램 모듈, 서브루틴, 및 커넬 서비스(kernel service)를 포함하는 각부의 프로그램 2031∼2039로 구성된다. 이하, 이들 프로그램 2031∼2039의 구성 또는 기본적인 동작에 대해서 이하에 설명한다.
스마트 카메라의 전원이 온 되면, 시스템 진단 프로그램(2036)이 기동하고, 해당 스마트 카메라의 각 부의 고장의 유무를 확인하는 자기 진단을 행한다. 자기진단의 결과로서 문제가 없으면, 외부 I/F 제어 프로그램(2033)에 의해, 해당 스마트 카메라의 기동이 제어장치(114) 및 데이터 관리 서버(112)에 통지된다.
기동에 응답하여, 예를 들면, 데이터 관리 서버(112)에서 동작하고 있는 NTP 서버가, 시간 맞춤 지령을 LAN 포트에 송신한다. 또는, 도 2의 스마트 카메라측에서 초기 동작의 일부로서 데이터 관리 서버(112) 또는 제어장치(114)의 NTP 서버에 시간 맞춤 리퀘스트(request)를 송신해도 된다. 이 NTP 서비스에 의해, ID 정보 관련 프로그램(2034)이, 내부 I/F 제어 프로그램(2035)을 통해 ID 생성부(210)의 RTC 등의 시간 맞춤을 행한다. 이 시간 맞춤은, NTP 서버 또는 스마트 카메라측의 주도에 의해, 몇 분∼수십분 정도의 간격으로 정기적으로 실행될 수 있다.
그 후에, 도 2의 스마트 카메라는, 제어장치(114)로부터의 트리거 신호 대기의 상태가 된다. 이 대기 상태로부터, 이미지 센서에 의한 촬영, 화상 처리, 결과송신까지의 일련의 동작을, 본 발명에서는, 촬상 기간이라고 부르고, 그 이외의 기간을 촬상 중지 기간이라고 부른다. 도 1에 있어서, 각 카메라 106∼108이 각각 워크피이스(105)를 촬상하고, 화상 처리를 행하며, 화상 처리 결과를 송신하는 기간이 촬상 기간이며, 화상 처리 결과를 송신하고 나서 다음 트리거 신호를 수신할 때까지의 기간이 촬상 중지 기간이 된다. 또한, 메인티넌스(maintenance)나 워크피이스의 교체 등의 이유로, 워크피이스(105)의 공급이 잠시 동안 정지하는 기간과, 동작 종료 지령에 응답하여 시스템이 정지하는 기간 등도 촬상 중지 기간에 해당한다.
스마트 카메라 프로그램(203)으로서는, 그 스마트 카메라가 실행하는 검사 내용에 따라, 몇 개의 상이한 종류의 화상 처리를 실행하는 화상 처리 프로그램(2031)이 인스톨되어 있다. 화상 처리 프로그램(2031)은, 기본적인 화상 처리 프로그램인 화상 처리 LIB(2032)의 루틴을 이용해서 실행되도록 기술되어 있다. 여기서 LIB는 라이브러리(library)를 나타낸다. 화상 처리 LIB(2032)에는, 머신 비전(machine vision)에 사용하는 화상 처리 프로그램이, 복수 저장되어 있다. 이 머신 비전에 이용하는 화상 처리 프로그램은, 촬상 화상으로부터 특징량을 추출하는 처리를 행한다. 머신 비전에 사용되는 화상 처리 프로그램의 예로서는, 촬상 화상으로부터 필요한 특징 위치를 산출하는 위치 위상 계측에 관한 프로그램과, 노이즈 등에 매립된 촬영 화상으로부터 필요한 특징량을 추출하는 검사에 관한 프로그램을 들 수 있다. 또, 구체적으로는, 전자 예의 대표적인 예로서는, 패턴 매칭, 패턴 피팅 등의 프로그램을 들 수 있고, 후자 예의 대표적인 예로서는, 메디안 필터(median filter)나 블랍(blob) 해석의 어플리케이션을 수행하는 프로그램을 들 수 있다. 여기에서 추출된 특징값은, 로봇 암(101)과 반송 장치(103)의 제어와 워크피이스의 품질 판정에 사용되는 값이다. 예를 들면, 마크(mark)로서 기능하는 소정의 형상의 위치와, 워크피이스의 위치 및 자세와, 또는 워크피이스의 스크래치나 결함의 유무가 특징값으로서 사용된다.
도 2의 스마트 카메라 106, 107, 또는 108은, 카메라(206)가 대상의 생산 기기를, 특정한 화각 및 촬영 거리에서 촬영할 수 있도록 설치되어 있고, 제어장치(114)로부터의 트리거 지령에 응답하여 카메라(206)에 의해 대상의 생산 기기를 촬상한다. 이 촬상은, 1개 또는 복수의 정지 화상의 촬영 또는 적당한 길이의 동영상의 촬영일 수 있다. 이하에서는, 설명을 쉽게 하기 위해서 1개의 정지 화상의 촬영인 것으로 한다.
제어장치(114)로부터 촬상을 지령하는 트리거 지령을 외부 I/F 제어 프로그램(2033)을 통해 수신하면, 도 2의 스마트 카메라는, 내부 I/F 제어 프로그램(2035)을 통해 ID 생성부(210)에 ID 정보를 생성시킨다. 여기에서는, ID 생성부(210)는, ID 정보로서 촬상 타이밍에 해당하는 타임키핑 정보를 취득한다. 타임키핑 정보인 취득한 ID 정보는, 예를 들면 RAM에 확보된 일시 보존 영역(204)에 보존된다. 카메라 제어 프로그램(2037)은 카메라(206)에 촬영 시작 신호를 보내고, 이에 따라 카메라(206)가 촬영 동작을 시작한다.
여기에서, 스마트 카메라 내에서의 시간적인 지연 요소는, 외부 I/F, 즉 LAN 포트(211)의 타임 래그(time lag)와, 화상 처리 프로그램의 처리 시간이 대부분을 차지한다. 최근의 하드웨어와 소프트웨어의 경우, ID 정보를 일시 보존 영역(204)에 저장하는 것과, 카메라(206)에 촬영 시작 신호를 송출하는 것 사이의 시간차는, 거의 0이므로, 이 시간차는 거의 무시할 수 있는 정도라고 생각할 수 있다.
카메라(206)가 촬상한 화상 데이터는, 일단, 카메라 제어 프로그램(2037)에 의해 일시 보존 영역(204)에 전송된다. 계속해서, 화상 처리 프로그램(2031)이 소정의 화상 처리를 행하고, 그 화상 처리 결과를 일시 보존 영역(204)에 기억한다.
이상과 같이 일시 보존 영역(204)에 기억된 ID 정보 및 화상 처리 결과는, 외부 I/F 제어 프로그램(2033)의 제어 하에, LAN 포트(211)를 통하여, 제어장치(114) 및 데이터 관리 서버(112)에 송신된다. 제어장치(114)는 ID 정보 및 화상 처리 결과를 이용하여, 로봇 암 제어장치(102)와 반송 제어장치(104)에의 지령을 제어할 수 있다. 데이터 관리 서버(112)는, 예를 들면, 수신한 ID 정보 및 화상 처리 결과를 외부 기록 장치(113)에 축적한다.
또한, 도 2의 스마트 카메라에 있어서, 일시 보존 영역(204)에 기억된 ID 정보 및 화상 처리 전의 화상 데이터는, 내부 I/F 제어 프로그램(2035)의 제어 하에, 내부 스토리지(208)에 기록되고, 다시, 트리거 신호에 대한 대기 상태가 된다.
생산 라인에 배치된 생산 기기의 가동 시에는, 도 2의 스마트 카메라는 제어장치(114)의 지시에 따라, 상술한 동작, 즉, 촬상 기간을 반복한다. 도 8의 스텝 S12∼S15은, 각각 촬상 기간에 제어장치(114)로부터의 트리거에 따라 실행되는 처리에 각각 대응한다. 스텝 S12는 ID 정보의 생성에 대응하고, 스텝 S13은 생산 기기의 촬상에 대응하고, 스텝 S14는 화상 처리에 대응하며, S15는 ID 정보와 화상 처리 결과의 송신에 대응한다. 스마트 카메라로부터 출력된 화상 처리 결과는, 허브 111, 110을 통해서 제어장치(114)에 송신된다. 제어장치(114)는, 화상 처리 결과에 따라, 로봇 암 제어장치(102)와 반송 제어장치(104)에 제어신호를 송신하여, 로봇 암(101)과 반송 장치(103)의 동작을 제어한다. 예를 들면, 스마트 카메라로 취득하는 특징값이, 워크피이스의 품질 판정 및 위치에 관한 값일 경우, 제어장치(114)는 로봇 암(101) 및 반송 장치(103)를 제어하여 불량 판정된 워크피이스를 제거한다.
제어장치(114)는, 생산 시스템 내의 로봇 암 제어장치(102)와 반송 제어장치(104) 등의 IoT 기기의 각 역할에 대응한 제어신호를, LAN을 통해서 송신하는 처리를 반복해서 행하고, 이에 따라 각 기기에 의한 생산 공정이 진행된다. 또한, 제어장치(114)로부터의 이들 지시에 응답하여, 로봇 암 제어장치(102)와 반송 제어장치(104) 등의 IoT 기기로부터, 상술한 것처럼 ID 정보 및 IoT 데이터가 송출되고, 데이터 관리 서버(112)에 축적 및 기억된다. 여기에서 IoT 데이터는 메시지이다.
제어장치(114)는, 생산 라인 또는 그 생산 라인을 구성하는 생산 기기의 가동을 종료시킬 때, IoT 기기 102, 104 및 스마트 카메라 106∼108에 동작 종료 지령을 송출한다. 이에 따라, 스마트 카메라 106∼108의 촬상 모드, 즉 촬상 기간이 종료한다. 주목할 것은, 생산 라인을 정지시키는 경우에 더하여, 예를 들면, 스마트 카메라 106∼108을 교체할 필요가 있는 경우에도, 같은 방법으로 촬상 기간을 종료시킬 수 있다.
스마트 카메라는, 예를 들면, 도 8의 스텝 S11에 있어서 트리거 대기의 상태에서, 스마트 카메라가 외부 I/F 제어 프로그램(2035)을 통해 화상 데이터를 송신하도록 지령을 받거나 동작 종료 지령을 받거나 하면, 촬상 기간이 종료했다고 인식한다. 다시 말해, 상술한 지령에 따라, 스마트 카메라는 촬상 기간이 종료하고, 촬상 중지 기간이 시작되었다고 인식한다. 즉, 처리는 스텝 S11에서 스텝 S16로 진행한다.
도 8의 스텝 S16은, 스마트 카메라의 촬상 중지 기간에 해당한다. 촬상 중지 기간은, 제어장치(114)로부터 스마트 카메라로의 지령 등에 응답하여 전환될 수 있다.
스마트 카메라는, 제어장치(114)로부터의 화상 데이터를 송신하도록 지령을 받으면, 촬상 중지 기간에 진입하여, 데이터 관리 서버(112)에 화상 데이터 송출 시작 지령을 송출해서, 데이터 관리 서버(112)가 준비되었는지 여부를 확인한다. 데이터 관리 서버(112)가 준비되었다고 확인되면, 스마트 카메라 106, 107, 또는 108은, 생산 기기의 가동 중에 내부 스토리지(208)에 촬상 및 축적한 ID 정보 및 그것과 관련된 화상 데이터를, 데이터 관리 서버(112)에 송신하는 관련 데이터 송신을 시작한다. 송신될 화상 데이터에 관해서는, 촬상 중지 기간 동안의 길이에 따라, 적절한 크기의 화상 데이터를 송신할 수 있다. 예를 들면, 촬상 중지 시간 중에, 1회의 촬상에서 취득한 화상 데이터를 송신하거나, 복수회의 촬상에서 취득한 화상 데이터를 송신하는 것이 가능하다.
이때, 이미 송신된 ID 정보와 촬영 화상은, 보통 스마트 카메라의 내부 스토리지(208)로부터 소거된다. 그렇지만, 내부 스토리지의 기억 용량이 허용하는 한 정보를 기억하고, 내부 스토리지가 가득 차면, 새롭게 기록된 데이터를 저장하는 공간을 만들기 위해서, 촬영 정보로 식별된 오래된 화상을 순차적으로 삭제하는 구성을 채용하는 것이 가능하다.
주목할 것은, 도 2의 스마트 카메라 106, 107, 또는 108에 있어서, 화상 처리 프로그램(2031)은, 화상 처리를 위한 화상 처리 파라미터를 필요로 한다. 이 화상 처리 파라미터는 예를 들면 화상 처리 프로그램(2031)의 프로그램 코드 중에 기록되어 있어도 된다. 또한, 화상 처리 파라미터는, 내부 스토리지(208)에 배치된 기억영역에 기억되고, 화상 처리 프로그램(2031)이 기동할 때마다 판독되는 구성을 채용해도 된다. 또한, 이 화상 처리 프로그램(2031) 및 화상 처리 파라미터는, 독립적으로 또는 함께 데이터 관리 서버로부터의 지령의 송출과 데이터 전송에 의해, 원격으로 갱신될 수 있다. 스마트 카메라 106, 107, 또는 108에서는, 스마트 카메라 프로그램(203)에 상술한 갱신 동작에 대응하는 갱신 프로그램을 포함시켜도 된다.
도 3은, 본 예시적인 실시예에 사용하는 데이터 관리 서버(112)의 구성 예를 나타낸다. 도 3의 데이터 관리 서버(112)의 각 부는, 제어부를 구성하는 CPU(301)을 중심으로 배치되어 있다. CPU(301)가 관리하는 데이터 버스와 어드레스 버스 등의 각종 신호선으로 구성된 버스 라인(302)은, 메모리(311)에 더하여, USB 콘트롤러 303∼305에 접속되어 있다.
또, 도 3의 데이터 관리 서버(112)는, IoT 기기와 스마트 카메라 106∼108에 접속하기 위한 LAN 콘트롤러(306)와, ID 정보 생성부(315)를 구비한다. ID 정보 생성부(315)는 예를 들면 I2C 인터페이스(314)를 통해 버스 라인(302)과 접속된다.
USB 콘트롤러(303)에는, 대량의 IoT 데이터를 축적하는 불휘발성 기억장치(310)가 접속되어 있다. 불휘발성 기억장치(310)는, HDD(hard disk drive)나 SSD(solid state drive) 등의 디스크 장치로 구성될 수 있다. 또한, 불휘발성 기억장치(310)는, USB 인터페이스 대신에, SATA 또는 SCSI(small computer system interface) 등의 디스크 I/F을 통해서 USB 콘트롤러(303)에 접속되어도 된다.
표시장치(309)는, 장치의 동작 상태, 화상, 및 화상 처리 결과를 확인하기 위한 LCD(liquid crystal display) 등의 표시 디바이스로 구성된다. 조작 입력장치(308)는, 표시장치(309)와 함께, 예를 들면 생산 라인의 관리자를 위한 유저 인터페이스를 구성한다. 이 조작 입력장치(308)는 키보드, 마우스, 또는 다른 포인팅 디바이스로 이루어진다.
LAN 허브(307)는, LAN 콘트롤러(306)를 통해서 접속되어 있다. 이 LAN 허브(307)는 LAN 허브(110)와 같은 것이어도 되고, 또 LAN 허브(110)에 접속하는 네트워크 케이블의 접속에 사용되는 또 다른 허브여도 된다. 어쨌든 간에, 이 LAN 허브(307)를 통하여 상술한 IoT 장치 102, 104 및 스마트 카메라 106∼108에의 네트워크 접속이 행해진다.
메모리(311)는, DRAM이나 ROM으로 구성되는 기록 메모리이며, 내부적으로는, 메모리(311)는, 대략 일시 보존 영역(313)과 정보 관리 프로그램(312)으로 나눌 수 있다. 일시 보존 영역(313)은 화상, 데이터 등을 일시적으로 보존한다.
또, 정보 관리 프로그램(312)은 프로그램 모듈, 서브루틴, 및 커넬 서비스를 포함하는 각 부의 프로그램 3120∼3129로 구성된다. 이하, 이들 프로그램 3120∼3129의 구성 또는 기본적인 동작에 대해서 설명한다.
데이터 관리 서버(112)는, 생산 라인 중에서, IoT 기기 및 스마트 카메라보다 빨리 기동해야 하고, 또한 생산 기기의 비가동 중에도, 동작을 멈추지 않고, 연속적으로 가동시켜야 한다.
데이터 관리 서버(112)는, 외부 I/F 제어 프로그램(3123)을 통해서, IoT 기기와 스마트 카메라로부터의 기동 신호를 확인하면, NTP 서버 프로그램(3129)에 의해, 타임키핑 정보를 추출한다. 예를 들면, ID 정보 생성부(315)에 내장된 RTC 315A로부터 기준 ID 정보로서 마스터 타임키핑 정보를 추출한다. 그리고, 이 기준 ID 정보로서 기능하는 타임키핑 정보를 IoT 기기와 스마트 카메라에 송신하여, 데이터 관리 서버(112) 내의 ID 정보와 IoT 기기 및 스마트 카메라의 ID 정보, 이 경우 타임키핑 정보를 매칭시킨다. 이 ID 정보로서 기능하는 타임키핑 정보의 매칭은, 신규로 IoT 기기 102 또는 104나 스마트 카메라 106, 107 또는 108의 기동을 확인했을 때, 또는 제어장치(114)로부터 생산 가동 시작 지령이 송신되었을 때에 행해질 수 있다. 또한, 이러한 매칭은 연속 가동 시간이 소정시간을 초과했을 때와, 데이터 관리 서버(112)로부터 지령이 송신되었을 때에 행해질 수 있다. 또, 이러한 매칭은 IoT 기기 102, 104나 스마트 카메라 106∼108로부터의 리퀘스트에 따라 행해져도 된다.
이러한 ID 정보 생성부(315)가 생성하는 ID 정보로서는, 상술한 타임키핑 정보 대신에, 소위 틱(tick) 등으로서 일정한 타이밍으로 또는 PLC 공정마다 증분되는 카운터의 계수값을 이용할 수 있다.
정보 관리 프로그램(312)에는, IoT 기기와 스마트 카메라로부터 송신된 정보를, 송신에 응답하여 불휘발성 기억장치(310)에 연속해서 기록시키는 데이터 보존 프로그램(3127)이 포함된다. 이 데이터 보존 프로그램(3127)은, 불휘발성 기억장치(310)에, 각종의 해석용 데이터로서 기능하는 송신된 IoT 정보가 ID 정보를 키 항목으로서 이용해서 검색 가능한 형식으로 보존된다. 데이터 보존 프로그램(3127)은, 이러한 데이터베이스 처리를 행할 수 있는 공지의 데이터베이스 엔진을 이용해서 구성될 수 있다.
주목할 것은, 본 예시적인 실시예에서는 ID 정보가 IoT 정보의 바탕이 되는 센서 정보를 취득한 시간에 해당하는 타임키핑 정보이기 때문에, 타임키핑 정보는 데이터 관리 서버(112)에 대응하는 시간의 순으로 항상 도달하지 않는다. 그 때문에, 정보 재구축 프로그램(3124)에 의해, 예를 들면 키 정보로서 기능하는 ID 정보에 근거하여 시간순으로 데이터를 재정렬하여 데이터를 재구축하는 것이 가능하다. 주목할 것은, 이때, 정보 재구축 프로그램(3124)에 의해 IoT 데이터의 그 자체를 모두 소팅(sorting)할 필요는 없다. 예를 들면, 키가 되는 ID 정보에는, 각각 대응하는 데이터 번호를 할당하고, 그것과 관련하여 불휘발성 기억장치(310)에 기록한다. 이 경우에는, 데이터의 소팅은, ID 정보와 그와 관련된 데이터 번호에 대하여 행해지면 된다.
일반적인 생산 라인 가동시에는, 예를 들면, 불휘발성 기억장치(310)에 해석에 필요한 모든 IoT 정보가 있는 경우에는, 경향 관리 프로그램(3126)으로 각 기기의 동작 경향을 해석할 수 있다. 경향 관리 프로그램(3126)에서는, 예를 들면, 화상 처리 파라미터의 갱신과, 장치에 대한 경고를 표시 및 기록하는 예지 보전 동작을 행할 수 있고, 이에 따라 해당의 생산 라인을 동적으로 제어할 수 있고, 안정 가동을 실현할 수 있다. 경향 관리 프로그램(3126)은, 수동의 프로그램 해석부를 포함할 수도 있고, 또한 각종 IoT 정보를, 딥 러닝 처리(3125)를 사용하여, 생산 이벤트과 관련지어서, 경향 분석을 행할 수도 있다.
또한, 데이터 관리 서버(112)의 데이터 보존 프로그램(3127)은, 생산 기기의 비가동시에, 도 8의 스텝 S16에서 스마트 카메라 106, 107, 또는 108로부터 송신된 ID 정보와 관련된 생산 기기의 촬상 결과적으로서 기능하는 화상 데이터를 취득할 수 있다. 이 ID 정보 및 원래의 화상 데이터는, 도 1의 구성에서는, 예를 들면 외부 기록 장치(113)에 로그인(login)된다. 이 스마트 카메라 106, 107, 또는 108로부터 송신된 ID 정보 및 원래의 화상 데이터는, 다음과 같이 활용할 수 있다.
우선, 경향 관리 프로그램(3126)에 대해서 원인을 밝히기 어려운 돌발 사상이나 트러블이 생산 기기에서 발생했을 때에는 ID 정보 및 원래의 화상 데이터를 이용할 수 있다. 전술한 바와 같이, 데이터 관리 서버(112) 내의 ID 정보는 IoT 기기와 스마트 카메라의 ID 정보와 정기적으로 매칭된다. 따라서, ID 정보를 사용하여, 돌발 상황의 발생 시간에 스마트 카메라 106, 107, 또는 108이 촬영한, 화상 처리를 거치지 않은 원래의 화상 데이터를, IoT 기기 102, 104로부터의 정보와 대응시킬 수 있다. 구체적인 예로서는, 돌발 상황의 발생 시간에 대응하는 ID 정보와 관련된 로봇 암에 구비된 모터의 온도 및 인코더의 출력값과, 원래의 화상 데이터를 비교할 수 있다. 이에 따라, 생산 시스템의 관리자는, 그 돌발 상황에 있어서의 생산 기기의 상태를 다양한 각도로부터 자세히 관찰할 수 있어, 발생한 상황의 진인(true cause)을 찾는 것이 가능하게 된다.
또한, 이 종류의 분석에 딥 러닝 처리(3125)를 이용해도 된다. 도 3의 데이터 관리 서버(112)에서는, 스마트 카메라 106∼108의 각각에 내장된 화상 처리 프로그램(2031)과 화상 처리 LIB(2032)와 동등한 화상 처리 프로그램(3121)과 화상 처리 LIB(3122)이 배치되어 있다. 따라서, 딥 러닝 처리(3125)에 의해, 이들을 동작시켜서 각종 화상 파라미터와 IoT 기기로부터의 정보의 경향을 분석할 수 있다. 이에 따라, 예를 들면, 스마트 카메라 106∼108의 화상 처리 프로그램과 화상 처리 파라미터를 변경했을 때에, 어떤 종류의 상황이 발생할지를 미리 시뮬레이트할 수 있다. 또한, 딥 러닝 처리(3125)를 통해 화상 처리 프로그램과 화상 처리 파라미터를 일부 변경하는 등의 갱신도 가능하다. 이렇게 하여 갱신된 화상 처리 프로그램과 화상 처리 파라미터는, 외부 I/F 제어 프로그램(3123)의 주도에 의해, LAN 콘트롤러(306)를 통해서 스마트 카메라 106, 107, 또는 108에 송신된다. 이에 따라, 스마트 카메라 106, 107, 또는 108은 화상 처리 프로그램(2031)과 화상 처리 LIB(2032)와 동등한 갱신을 행할 수 있다. 또한, 스마트 카메라 106∼108뿐만 아니라, 생산 기기 101, 103의 다른 IoT 기기인 제어장치 102, 104의 기기 제어 프로그램과 그 제어 파라미터도 갱신해도 된다.
다시 말해, 데이터 관리 서버(112)는, 스마트 카메라 106∼108로부터 송신된 화상 처리 결과 및/또는 화상 데이터를 딥 러닝 처리 등에 의해 해석할 수 있고, 그 해석 결과에 근거하여, 생산 기기의 제어장치 102, 104와 스마트 카메라 106∼108의 제어 프로그램을 갱신시킬 수 있다.
또 다른 예로서는, 화상 처리 결과를 송신하는 촬상 기간과, 원래의 화상 데이터를 송신하는 촬상 중지 기간이 교대로 설정되어 있는 경우에는, 화상 처리 결과에 따라, 원래의 화상 데이터에 대하여 화상 처리를 행하고, 보다 상세한 정보를 취득하는 것이 가능해진다. 예를 들면, 화상 처리 결과로서, 워크피이스의 품질의 판단에 관한 특징량을 취득할 경우에, 화상 처리 결과가 워크피이스의 불량을 나타내면, 계속해서 취득한 원래의 화상 데이터로부터 워크피이스의 상세한 정보를 취득한다. 구체적으로는, 스마트 카메라에서의 화상 처리와는 다른 화상 처리를 실행하는 등의 해석을 행함으로써, 불량이라고 판정된 상태를 더 자세하게 취득하는 것이 가능해진다. 그것에 의하여, 불량의 원인을 추적하는 것이 가능해진다.
여기에서, 도 9는, 도 8의 스텝 S11∼S15에 대응하는 상술한 촬상 기간에 있어서, 스마트 카메라 106, 107, 또는 108로부터 송신되고, 예를 들면 외부 기록 장치(113)에 로그인되는, ID 정보와 관련된 IoT 정보로서 기능하는 화상 처리 결과의 예를 나타낸다. 또한, 도 10은, 도 8의 스텝 S16에 대응하는 촬상 중지 기간에 있어서, 스마트 카메라 106, 107, 또는 108로부터 송신되고, 예를 들면 외부 기록 장치(113)에 로그인되는, ID 정보와 관련된 생산 기기의 촬상 결과로서의 화상 데이터의 예를 나타낸다.
도 9의 각 행은, 특정 ID 정보 L1와 관련된 화상 처리 결과 데이터의 1 레코드에 해당한다. 이 1 레코드는, ID 정보의 필드 L1에 더하여 필드 L2∼L5로 구성될 수 있다. 주목할 것은, 도 9에 있어서, 이해를 쉽게 하기 위해서, 각종 오퍼레이팅 시스템에서 이용되고 있는 로그 데이터와 유사한 판독 가능한 텍스트 포맷에 의한 표시는 단지 예시를 위해 사용된다. 따라서, 실제로 송수신되는 ID 정보와 화상 처리 결과는, 다른 형식, 예를 들면, 특정의 규약에 근거해 기술된 바이너리 데이터이며 된다. 도 10도 마찬가지다. 또한, 도 9는, 데이터 관리 서버(112)의 표시장치(309)의 표시 화면에 표시되는 로그 포맷의 스크린으로서 간주되어도 된다. 도 10도 마찬가지이다.
도 9의 ID 정보의 필드 L1은, 일시를 표시하기 위한 필드이고, 본 예시적인 실시예와 같이 ID 정보로서 타임키핑 정보를 사용하는 경우에는, 이 부분이 화상 처리 결과와 관련된 ID 정보에 해당한다. LOGCODE를 포함하는 필드 L4는, 화상 처리 결과에 해당하는 결과 코드 혹은 에러나 경고 코드에 해당하고, 실제로는 어떠한 숫자나 문자열로 표현된다. 본 예시적인 실시예에 있어서, ID 정보 및 화상 처리 결과에 해당하는 화상 처리 결과 레코드의 필드 L1 및 L4가 송신되는 한, 상술한 구성 및 동작은 실시 가능하다. 그렇지만, 도 9의 예는, 스마트 카메라 106, 107, 또는 108을 식별하는 필드 L2, 식별 번호의 필드 L3, 및 상세한 화상 처리 결과 또는 데이터 관리 서버(112)가 실행한 해석 결과에의 포인터의 필드 L5를 포함하고 있다. 이들 중, 필드 L2의 스마트 카메라 식별 정보는, 데이터 관리 서버(112)가 송신원의 스마트 카메라를 식별하기 위해서 제공될 수 있다. 필드 L3의 식별 번호는, 해당 레코드의 일련 번호로서 데이터 관리 서버(112)에 의해 발생되어도 된다. 이러한 데이터 번호는, 상술한 IoT 데이터의 재정렬을 위한 포인터 데이터로서 이용될 수 있다.
반면, 도 10은, 도 8의 스텝 S16에 대응하는 촬상 중지 기간에 있어서, 스마트 카메라 106, 107 또는 108로부터 송신되고, 예를 들면, 외부 기록 장치(113)에 로그인되는, ID 정보와 관련된 생산 기기의 촬상 결과로서의 화상 데이터를 나타낸다. 여기에서는, 각 행은 특정의 스마트 카메라의 1대, 즉 camera-0001로부터 송신된 미처리의 화상 데이터 레코드 또는 화상 처리 결과 데이터 레코드 LD1을 포함한다. 이 도 10의 상태는, ID 정보, 즉 타임키핑 정보를 키로서 사용하는 소팅 후의 상태이며, 도 9의 최상단의 레코드 LD1과 같은 화상 처리 결과 레코드 LD1이 제2 행에 배치되어 있다.
도 10에 있어서, 필드 L1, L2, L3은 각각 도 9와 마찬가지로 ID 정보, 카메라의 식별 정보, 및 레코드 번호에 대응한다. 또한, 필드 L6은 비압축 화상 데이터를 나타내고, 로그 파일(log file)의 필드 L6의 위치에는, 예를 들면 TIFF, BMP, PNM 등의 포맷의 비압축 화상 데이터의 스트림이 배열되어도 된다. 혹은, 필드 L6의 위치에는, 예를 들면, 외부 기록 장치(113)에 상이한 파일로서 저장된 화상 파일의 경로명이 배열되어 있어도 된다.
주목할 것은, 후술하는 바와 같이 바코드를 통해서 얻은 공정 관리 번호와 같은 ID 정보를 이용하는 경우에는, 도 9 및 도 10의 필드 L1을 그 ID 정보에 대하여 사용할 수 있다. 또한, 도 9 및 도 10의 필드 L3을, 공정 관리 번호와 같은 ID 정보를 기록하는 데에 할당해도 된다.
이상과 같이, 본 예시적인 실시예의 생산 관리 시스템은, ID 정보와 관련된 IoT 정보로서의 스마트 카메라 106∼108의 해석한 화상 처리 결과를 이용하고, 또 IoT 기기 102, 104로부터 피드백되는 생산 관리 정보를 이용하는 것이 가능하다. 이에 따라, 가동시의 생산 기기 101, 103의 경향 분석과 그것에 근거하는 제어 파라미터의 변경 등의 생산 관리를 정상적으로 행할 수 있다.
또, 예를 들면, 생산 라인을 정지시킬 때에, 스마트 카메라 106∼108을, 촬상 중지 기간으로 이행시키고, 화상 처리를 거치지 않고, 촬상 기간에서 취득한 원래의 화상 데이터를 송신시켜, 원래의 화상 데이터를 예를 들면 외부 기록 장치(113)에 축적 및 기록할 수 있다. 이에 따라, 스마트 카메라 106∼108의 해석한 화상 처리 결과뿐만 아니라, 촬상한 원래의 화상 데이터도 사용해서 보다 자세한 데이터 분석을 행할 수 있다. 이 때문에, 예기하지 않는 돌발 상황이나 트러블이 생산 기기에 발생한 경우에도, 문제 해결의 가능성이 높아져, 생산 시스템이 안정적으로 가동될 수 있다.
주목할 것은, 상술한 것과 같은 데이터 분석을 행함으로써, 예를 들면, 외부 기록 장치(113)와 불휘발성 기억장치(310)에 취득한 화상 및 IoT 기기의 IoT 정보를, 정보의 유효도 등을 척도로서 이용해서, 랭킹(rank)해도 된다. 예를 들면, 경향 분석을 한 결과, 관련성이 낮은 정보와 촬상 화상 데이터에 대해서는, 랭크를 낮게 설정한다. 이러한 랭킹을 행함으로써, 예를 들면, 외부 기록 장치(113)나 불휘발성 기억장치(310)가 만원(full)에 근접한 시점에서, 랭크가 낮은 데이터로부터 순차적으로 데이터의 소거를 행하는 것이 가능해진다. 이에 따라, 제한 없이 증대하는 경향이 있는 빅 데이터의 정보량을 억제할 수 있다.
<제2 예시적인 실시예>
도 4∼도 7은, 스마트 카메라를 포함하는 생산 시스템의 제2 예시적인 실시예를 나타낸다. 상기 제1 예시적인 실시예에서는, 생산 라인의 각 부와 스마트 카메라가 유선 네트워크 시스템을 통해서 통신한다. 그렇지만, 본 제2 예시적인 실시예에서는, 무선 통신을 이용 가능한 스테레오 스마트 카메라(403)를 사용하고 있다. 또한, 스테레오 스마트 카메라(403)는, 충전식의 배터리로 동작하고, 스테레오 카메라(403)를 클레들(407)에 배치했을 때에 배터리를 충전할 수 있도록 구성되어 있다.
도 4는, 도 1과 같은 방식으로 본 제2 예시적인 실시예의 생산 관리 시스템의 전체 구성을 나타낸다. 홀딩장치(holding apparatus)로서 핸드(402)를 구비한 로봇 암(101)을 생산 기기의 1개로서 구비하고 있다. 도 4에는 나타내지 않았지만, 생산 라인에는 다른 로봇 암과 도 1에 나타낸 반송 장치(103)와 같은 생산 기기도 포함되어 있어도 된다.
본 제2 예시적인 실시예에서는, 무선으로 조작 가능한 스테레오 스마트 카메라(403)의 촬상시에 있어서의 위치 및 자세는, 예를 들면, 로봇 암(101)의 핸드(402)에 의해 제어될 수 있다. 다시 말해, 스테레오 스마트 카메라(403)는, 촬영이 필요할 때에, 로봇 암(101)의 핸드(402)에 의해 홀드되고, 예를 들면, 도면에 나타내지 않은 워크피이스 마커(marker), 바코드 혹은 다른 생산 기기를 촬상하기 위해 그것의 위치 및 자세가 제어된다. 그리고, 촬영 모드를 종료하고, 촬영 중지 모드로 이행할 때에는, 홀딩 장치로서 기능하는 로봇 암(101)에 의해 스테레오 스마트 카메라(403)를 클레들(407)로 이전해서 배치할 수 있다. 상술한 제1 예시적인 실시예에서는, 제어장치에 의해, 촬영 기간과 촬영 중지 기간을 전환한다. 그렇지만, 본 제2 예시적인 실시예와 같이 클레들을 이용할 수 있는 경우에는, 클레들을 이용해서 촬영 기간과 촬영 중지 기간을 전환할 수 있다. 예를 들면, 스마트 카메라 106∼108의 각각에, 클레들(407)의 검출 기구를 구비하고, 스마트 카메라가 클레들로부터 제거되면, 촬영 기간으로 이행하고, 클레들에 배치되면, 촬영 중지 기간으로 이행하도록 제어한다.
주목할 것은, 이하에서는, 상술한 제1 예시적인 실시예와 동일 또는 같은 부재에는 동일한 참조부호를 사용하고, 특히 설명의 필요가 없으면 상기와 중복된 설명은 생략하는 것으로 한다.
스테레오 스마트 카메라(403)는, 촬상부로서 도 6의 적어도 2개의 카메라 206a, 206b를 구비하고, 3차원 측정 및 깊이 측정 등의 위치 계측을 행할 수 있다.
로봇 암(101)은, 작업대(404)위에서 생산의 대상인 도면에 나타내지 않은 워크피이스를 조작한다. 작업대(404)에는, 마커(405) 및 바코드(406)가 설치된다. 로봇 암(101)의 작업시의 위치 및 자세를 제어하기 위해 마커(405)가 설치된다. 바코드(406)는 작업대(404)에 해당하는 공정 고유의 값을 포함한다.
상기 제1 예시적인 실시예와 마찬가지로, 로봇 암(101)은 로봇 암 제어장치(102)를 통하여 제어장치(114)에 의해 제어된다. 제어장치(114)는 생산 기기 전체를 제어하는 예를 들면 PLC이다. 또한, 로봇 암(101)은, 작업자의 수동조작을 접수하는 펜던트(pendant)(409)를 통해 실시간으로 조작할 수 있고, 또한 그 펜던트(409)의 움직임에 의해 로봇 동작의 교시 및 수정을 행할 수 있다.
스테레오 스마트 카메라(403)는, 촬상 중지 기간에 있어서, 클레들(407)에 배치되어, 클레들(407)을 통해 스테레오 스마트 카메라(403)에 내장된 배터리를 충전하는 동시에, 클레들(407)을 통해서 시스템의 유선 LAN에 접속된다. 따라서, 촬상 중지 기간에 있어서의 화상 데이터의 데이터 관리 서버(112)에의 송신은, 클레들(407)을 통해서 행해질 수 있다.
도 4의 생산 시스템은, 상술한 제1 예시적인 실시예와 마찬가지로, 데이터 관리 서버(112)와 제어장치(114)를 구비한다. 데이터 관리 서버(112)는 대용량의 외부 기록 장치(113)와 접속되고, 제어장치(114)는 상술한 생산 기기 전체를 제어한다.
데이터 관리 서버(112), 제어장치(114), 및 로봇 암 제어장치(102)는, LAN 허브 413, 414를 통해 형성된 유선 LAN의 네트워크에 의해 서로 접속된다. 예를 들면, 유선 LAN은 IEEE 802.3이다. LAN 허브(413)에는, 스테레오 스마트 카메라(403)와 예를 들면 IEEE 802.11 규격에 의해 무선 통신을 행하기 위한 WiFi 스테이션(410)이 접속되어 있다.
PLC 콘트롤러 등으로 이루어진 제어장치(114) 및 로봇 암 제어장치(102)의 구성은, 제1 예시적인 실시예와 같다. 제어장치(114)는 로봇 암 제어장치(102)를 통해 로봇 암(101) 및 핸드(402)에 대하여, 각 스텝마다의 동작 지시를 행한다.
로봇 암 제어장치(102)는, 예를 들면, 미리 교시용의 펜던트(409)로 지시 및 작성된 로봇 교시 데이터를 포함하고, 제어장치(114)로부터의 지시에 의해 정해진 동작을 스텝마다 로봇 암(101)에 행하게 한다.
또한, 로봇 암 제어장치(102)는, 상술한 제1 예시적인 실시예와 마찬가지로 로봇 내에 삽입된 각종 센서의 출력값을 상기의 유선 LAN을 통해서 데이터 관리 서버(112)에 송신한다. 출력값의 예로서는 온도, 인코더 값, 및 역각(force sensing)값을 들 수 있다.
도 5는, 스테레오 스마트 카메라(403), 클레들(407), 및 스테레오 스마트 카메라(403)를 조작하는 로봇 암(101)의 핸드(402)를 나타낸다. 스테레오 스마트 카메라(403)는, 촬상을 행하지 않는 촬상 중지 기간에서는, 클레들(407)에 배치되어 있다. 클레들(407)에는, 접점(503)이 배치되고, 스테레오 스마트 카메라(403)가, 클레들(407)에 배치되어 있는 동안에는, 스마트 카메라(403)의 고정 접점(502)과 접점(503)이 접촉하여, 내부의 배터리를 충전하며, 스테레오 스마트 카메라(403)는 상술한 유선 LAN과 접속된다. 주목할 것은, 도 5에는 접점(503)이 2개 도시되어 있지만, 유선 LAN 접속과의 접속 및 충전을 위해 사용된 단자의 수 및 배치 패턴은 임의로 선택될 수 있다.
반면, 워크피이스나 작업대(404) 주변의 촬상을 행할 때, 즉 상술한 촬상 기간에서는, 제어장치(114)가 로봇 암(101)을 제어하여, 핸드(402)에 의해 스테레오 스마트 카메라(403)를 홀드시키고, 클레들(407)로부터 스테레오 스마트 카메라(403)를 떼어내며, 촬상을 행하는 스테레오 스마트 카메라(403)의 위치 및 자세를 제어한다.
도 5의 우측에 나타낸 것은, 핸드(402)가 스테레오 스마트 카메라(403)를 홀드하고 있는 상태에 대응한다. 이 상태 501에서, 스테레오 스마트 카메라(403)의 바닥면은 도 5의 좌측에 나타낸 스마트 카메라(403)의 배면에 설치된 돌기(505)에 의해 핸드(402)에 대하여 위치 결정된다. 한편, 핸드(402)는, 예를 들면, 핸드(402)의 내측에 배치된 클러(claw)부(402a)와 같은 돌기를 통해서 스테레오 스마트 카메라(403)의 고정 접점(502)에 대응하는 부분을 홀드한다. 상술한 바와 같이, 예를 들면, 핸드(402)가 스테레오 스마트 카메라(403)를 홀딩할 때의 위치 및 자세를 적당한 정밀도 범위 내에서 보증할 수 있다.
촬상 중지 기간에서는, 핸드(402)가 스테레오 스마트 카메라(403)를 생산 라인에 있는 소정의 위치에 배치된 클레들(407)에 배치한다. 이 배치 상태에서는, 고정 접점(502)이 클레들(407)의 접점(503)에 접촉하도록 스테레오 스마트 카메라(403)가 배치된다. 도 5의 좌측에 나타낸 케이블(504)은, 접점(503)에 접속된 전원의 공급 케이블임과 동시에, 도 4에 나타낸 LAN 허브(414)에도 접속된다. 이에 따라, 클레들(407)에 배치되어 있는 상태에서, 스테레오 스마트 카메라(403)는 유선 LAN을 통해서 데이터 관리 서버(112)와 통신할 수 있다. 또한, 상기한 바와 같이, 고정 접점(502)은, 전원을 스테레오 스마트 카메라(403)의 배터리에 공급하는 기능을 갖는다.
도 4의 작업대(404)에는, 그 작업대(404)의 공정 관리 번호에 해당하는 고유 번호가 미리 바코드(406)에 기재되어 있다. 스테레오 스마트 카메라(403)는, 이 바코드(406)의 값을 판독하고, 작업대(404)에 설치되어 있는 마커(405)를 판독하여, 위치 계측을 행할 수 있다.
스테레오 스마트 카메라(403)가 촬영하여 계측한 작업대(404)의 위치 계측값은 촬영 화상으로부터 판독된, 바코드 값, 즉 공정 관리 번호를 ID 정보로서 사용해서, 무선 WiFi 스테이션(410)을 통한 무선통신에 의해 데이터 관리 서버(112)에 송신된다. 또한, ID 정보로서의 바코드 값, 즉 공정 관리 번호와 위치 계측값은 도 4의 로봇 암 제어장치 및/또는 제어장치(114)에 송신된다.
이에 따라, 도 4의 로봇 암 제어장치(102)는, 마커(405)의 계측위치를 통해서, 작업대(404)의 실제의 위치를 특정할 수 있어, 본래 있어야 할 로봇 핸드의 위치와 현재의 교시 위치와의 어긋남(deviation)을 계산할 수 있다. 따라서, 작업대(404)의 실제의 위치 정보를 사용하여, 예를 들면, 펜던트(409)에 의해 교시된 교시점 위치를 자동적으로 수정할 수 있다.
이러한 시각계(vision system), 즉 스테레오 스마트 카메라(403))을 이용한 위치 계측은, 핸드(402)의 교환이나, 로봇 암(101)의 본체나 핸드가 작업대(404) 등과 간섭, 즉 크래시(crash)했을 때의 핸드 위치의 어긋남량을 계측할 경우에도 유효하다. 이러한 시각계, 즉 스테레오 스마트 카메라(403))을 사용함으로써, 예를 들면, 작업자가 대략 로봇의 움직임을 교시한 후, 그 교시점을, 고정밀하게 자동으로 수정할 수 있다. 또한, 핸드(402)에, 부품 교환이나 크래시 등에 기인하는 왜곡(distortion) 등이 있을 경우에도 교시점을 적절하게 수정할 수 있어, 작업자의 수고를 대폭 줄이는 것이 가능하게 된다.
도 6은, 제1 예시적인 실시예의 도 2와 같은 포맷으로, 스테레오 스마트 카메라(403)의 구성을 나타낸 것이다. 도 6에서는, 도 2와 동일하거나 동등의 부재에는 동일한 참조부호를 사용하고, 그 상세한 설명은 생략한다. 이하에서는, 상이한 요소에 대해서만 설명하는 것으로 한다.
도 6의 구성이 도 2과 다른 점은, 촬상부로서 2대의 카메라 206a, 206b가 스테레오 구성으로 사용되고 있다는 점과, ID 정보로서 바코드(406)를 사용하기 때문에, 도 2에서의 RTC 등으로 구성된 ID 생성부(210)의 도시가 생략되어 있다는 점이다. 다만, RTC 등으로 구성된 ID 생성부(210)는, 도 2의 경우와 마찬가지로 스테레오 스마트 카메라(403) 내에 배치되어 있어도 된다. 또한, 도 6의 스테레오 스마트 카메라(403)에서는, 아래에서 설명하는 것처럼 네트워크와 관련된 구성이 도 2의 구성과 다르다.
스테레오 촬영을 행하는 카메라 206a, 206b는, 각각 상술한 것과 마찬가지로 MIPI 인터페이스 205a, 205b을 통해서 CPU(201)에 접속된다. 이렇게 카메라가 복수 설치되어 있는 경우에는, 저소비 전력으로 비교적 간단한 구조를 갖는 MIPI 인터페이스를 채용함으로써 저비용의 구성을 실현할 수 있다. 내부 스토리지(208) 주위의 구성은 도 2와 같다.
도 6의 스테레오 스마트 카메라(403)의 네트워크와 관련된 구성은, POE(Power Over Ethernet)(615) 및 무선 LAN 디바이스(612)를 제어하는 LAN 콘트롤러(611)로 이루어진다. POE(615)는, 클레들(407)에 스테레오 스마트 카메라(403)가 배치되었을 때, 클레들(407)의 접점(503)과 스테레오 스마트 카메라(403)의 고정 접점(502)을 통해 유선 네트워크에 접속되고, POE(615)을 통해 스테레오 스마트 카메라(403)의 전원 제어부(616)에의 급전이 행해진다.
도 6의 스테레오 스마트 카메라(403)의 각 부는, 클레들(407)로부터 스테레오 스마트 카메라(403)가 제외된 상태에서 배터리(617)로부터의 전력에 의해 동작한다. 이 배터리(617)는 충전식의 전지이며, 스테레오 스마트 카메라(403)가 클레들(407)에 배치된 상태에서, 전원 제어부(616)에 POE(615)을 통해 공급된 전력을 사용하여, 예를 들면 충전 잔량에 따라 충전된다.
도 6에 있어서, 메모리(202)의 스마트 카메라 프로그램(203)의 구성은, 블록 단위에서는 거의 동등하다. 그렇지만, 프로그램 모듈, 서브루틴, 및 커널 서비스를 포함하는 각부 2031∼2039의 동작에서는 다소 다른 부분이 있다. 이하, 이들 프로그램 2031∼2039의 각부의 구성 또는 기본적인 동작에 대해서 설명한다.
생산 시스템의 기동시, 도 4의 스테레오 스마트 카메라(403)는, 클레들(407)에 배치된 대기 상태에 있다. 이 상태에서는, 상술한 바와 같이, 도 5의 접점(503)과 고정 접점(502)을 통해, 도 6의 스테레오 스마트 카메라(403)의 배터리(617)가 충전되는 동시에, 스테레오 스마트 카메라(403가 유선 LAN에 접속되어 있다.
스테레오 스마트 카메라(403)의 전원이 기동하면, 시스템 진단 프로그램(2036)이 기동하고, 해당 스테레오 스마트 카메라(403)의 각부의 고장의 유무를 확인하는 자기 진단을 행한다. 또한, 이때, LAN 콘트롤러(611)의 상태, 즉 유선 및 무선 LAN의 접속 상태 등이 확인된다. 상술한 자기 진단의 결과, 문제가 없으면, 외부 I/F 제어 프로그램(2033)에 의해, 스테레오 스마트 카메라(403)의 기동이 제어장치(114)와 데이터 관리 서버(112)에 통지된다.
제어장치(114)에 있어서, 각 생산 기기 및 스테레오 스마트 카메라(403)에 대해서는 공정 번호마다 다양한 동작이 미리 프로그래밍되어 있고, 핸드(402) 및 스테레오 스마트 카메라(403)의 동작은, 모두 예를 들면 제어장치(114)에 의해 제어된다.
본 예시적인 실시예에서는, ID 정보로서 상술한 것과 마찬가지로 타임키핑 정보를 사용해도 되지만, 예를 들면, 바코드(406)를 통해 취득 가능한 공정 관리 번호를 ID 정보로서 사용해서 기기의 관리를 행한다. 데이터 관리 서버(112)는 공정 관리 번호를 ID 정보로서 사용해서, 로봇 암(101), 핸드(402), 및 스테레오 스마트 카메라(403) 등의 IoT 기기가 어떤 종류의 정보를 출력했는지를 기록한다.
스마트 카메라 프로그램(203)에는, 그 스마트 카메라(403)가 실행하는 검사 내용에 따라 다양한 다른 화상 처리를 실행하는 화상 처리 프로그램(2031)이 인스톨되어 있다. 화상 처리 프로그램(2031)은, 기본적인 화상 처리 프로그램인 화상 처리 LIB(2032)의 루틴을 이용해서 실행되도록 기술되어 있다.
본 제2 예시적인 실시예에서는, 예를 들면, 스테레오 스마트 카메라(403)는, 로봇 암(101)의 교시 데이터의 수정에 사용될 수 있다. 이 로봇 암(101)의 교시 데이터의 수정은, 하기와 같은 제어장치(114), 즉 PLC의 제어 하에 행해진다. 이 로봇 암(101)의 교시 데이터의 수정은, 예를 들면 생산 라인의 본 가동시에 사용된 제어 프로그램과는 독립적인, 예를 들면, 서브 프로그램에 의해 실현된다.
우선, 제어장치(114)가, 로봇 암(101) 및 핸드(402)를 제어하여 스테레오 스마트 카메라(403)를 홀드해서, 클레들(407)로부터 스테레오 스마트 카메라(403)를 떼어낸다. 스테레오 스마트 카메라(403)가 클레들(407)로부터 떼어지면, 전원 제어부(616)에 의해, 스테레오 스마트 카메라(403)의 각부는 배터리(617)에 의해 구동된 상태로 이행하는 동시에, 네트워크 접속이 무선 WiFi 스테이션(410)을 통해서 무선 접속으로 전환된다.
교시 데이터를 수정하는 경우, 제어장치(114)가 로봇 암(101)을 제어하여 펜던트(409) 등으로 교시된 소정의 위치 및 자세로 핸드(402)에 의해 홀드된 스테레오 스마트 카메라(403)를 이동시킨다. 이때의 스테레오 스마트 카메라(403)의 위치 및 자세는, 스테레오 스마트 카메라(403)가 작업대(404)에 설치되어 있는 바코드(406)를 촬상할 수 있는 위치 및 자세이다.
제어장치(114)가 촬영을 지시하는 트리거 지령을 송신하면, 스테레오 스마트 카메라(403)는 이 트리거 지령을 무선 WiFi 스테이션(410)을 통해 수신한다. 이 트리거 지령의 수신은, 스테레오 스마트 카메라(403)의 외부 I/F 제어 프로그램(2033)에 의해 검출된다.
수신한 트리거 지령에 따라, 스테레오 스마트 카메라(403)에서는, 카메라 제어프로그램(2037)이 동작하고, 작업대(404)에 설치되어 있는 바코드(406)를 카메라206a, 206b에 의해 촬영시킨다. 주목할 것은, 바코드(406)의 디코딩의 경우에는, 반드시 스테레오 촬영을 행하지 않아도 되고, 카메라 206a, 206b 중의 하나가 촬영에 사용되는 것이면 충분하다..
바코드(406)의 촬상 데이터는 화상 처리 LIB(2032)에 준비되어 있는 루틴에 의해, 바코드(406)에 기술된 것에 해당하는 수치 또는 문자열로 변환된다. 본 예시적인 실시예에서는, 이 바코드(406)의 내용은 공정 관리 번호이며, 이 바코드(406)를 통해 취득된 공정 관리 번호를 ID 정보로서 사용한다.
바코드(406)로부터 디코드된 공정 관리 번호는 일시 보존 영역(204)에 기억되고, 카메라 제어 프로그램(2037)을 통하여 카메라 206a, 206b에 촬영 시작 신호를 송신해서 촬영 동작을 개시시킨다. 카메라 206a, 206b에 의해 스테레오 촬영된 화상 데이터는, 일시적으로 일시 보존 영역(204)에 기억된다.
다음에, 화상 처리 프로그램(2031)은, 촬영한 화상 데이터에 대한 화상 처리를 행하고, 그 화상 처리 결과를 일시 보존 영역(204)에 기억한다. 이 교시점 수정을 위한 화상 처리에서는, 스테레오 스마트 카메라(403)나 핸드(402)에 대한 작업대(404)의 마커(405)의 현재의 상대 위치 및 자세가 취득된다.
일시 보존 영역(204)에 기억된 ID 정보와 화상 처리 결과는, 무선 LAN을 통해서 유선 LAN측에 전달되어, 제어장치(114) 및 데이터 관리 서버(112)에 송신된다. 다시 말해, ID 정보와 관련된 화상 처리 결과는, 외부 I/F 제어 프로그램(2033)의 주도에 의해 LAN 콘트롤러(611)와 무선 WiFi 디바이스(612)를 통해 유선 LAN측에 전달되어, 제어장치(114) 및 데이터 관리 서버(112)에 송신된다.
제어장치(114)는, ID 정보와 관련된 화상 처리 결과, 예를 들면, 작업대(404)의 마커(405)의 현재의 상대 위치 및 자세를 사용하여, 작업대(404)에 접근하는 로봇 암(101)의 궤도 데이터 등을 수정할 수 있다.
일시 보존 영역(204)에 기억된 ID 정보와 화상 처리 전의 촬영 화상은, 내부 I/F 제어 프로그램(2035)을 통하여 스테레오 스마트 카메라(403)의 내부 스토리지(208)에 기록 및 보존된다. 그 후에, 스테레오 스마트 카메라(403)는 다시 트리거 대기의 상태로 돌아간다.
상술한 바와 같이, 본 제2 예시적인 실시예에서는, 제1 예시적인 실시예의 ID 생성부(210)와 같은 특별한 하드웨어를 사용하지 않고, 촬영한 바코드(406)로부터 취득한 공정 관리 번호를 ID 정보로서 사용한다. 또한, 이 경우에는, ID 생성부는, 카메라 206a, 206b의 스마트 카메라 프로그램(203)으로 구성된다고 간주해도 된다. 이렇게, ID 생성부는, 특별한 하드웨어를 사용하지 않더라도, 카메라의 하드웨어 및 소프트웨어에 의해 실현될 수도 있다.
주목할 것은, 상술한 서브 공정 제어에 의한 교시점의 수정은, 본 생산 공정과는 직접적으로 관계가 없고, 본 생산 공정의 순서대로 스테레오 스마트 카메라(403)에 의한 촬영이 반드시 수행되지 않는다. 그 때문에, 작업대(404)에 본 생산 공정에 대응한 공정 관리 번호를 바코드(406)로서 부여하고, 이 바코드(406)를 촬영해서 그 결과를 ID 정보로서 제어장치(114) 및 데이터 관리 서버(112)에 송신함으로써, 본 생산 공정의 제어 동작과의 관련짓기를 용이하게 행할 수 있다. 또한, 이 공정 관리 번호로부터 도출된 ID 정보는, 로봇 콘트롤러 내의 교시점 데이터를 특정할 경우에도 사용될 수 있다.
이상의 설명에서는, 1개의 작업대(404), 1개의 마커(405), 및 1개의 바코드(406)만을 언급했다. 그렇지만, 복수의 작업대를 준비하고, 각 작업대에 대하여 고유의 마크와 고유의 바코드를 부여해 두면, 상술한 처리와 유사한 처리에 의해, 복수의 교시 데이터의 수정을 1회의 서브 공정 내에서 행하는 것이 가능하다.
교시 데이터를 수정하는 서브 공정이 모두 종료하면, 스테레오 스마트 카메라(403)는 클레들(407)로 복귀되고, 네트워크 접속이 유선 LAN으로 전환되는 동시에 배터리(617)의 충전이 개시된다. 또한, 본 생산 공정에 있어서도, 스테레오 스마트 카메라(403)에 의한 촬영이 필요한 경우에는, 상술한 제어와 같은 제어에 의해 스테레오 스마트 카메라(403)의 촬상 기간이 실현될 수 있다. 또한, 스테레오 스마트 카메라(403)를 촬상 중지 기간으로 이행시킬 때에는, 또한 스테레오 스마트 카메라(403)를 클레들(407)에 다시 배치한다.
클레들(407)로 다시 이동된 스테레오 스마트 카메라(403)는, 데이터 관리 서버(112)와, 이번에는 유선 LAN을 통해서 통신 가능하게 된다. 따라서, 이 상태에서는, 제1 예시적인 실시예와 마찬가지로, 내부 스토리지(208)에 축적된 ID 정보와 원래의 화상 데이터를 유선 LAN을 통해서 데이터 관리 서버(112)에 송신할 수 있다. 데이터 관리 서버(112)에서는, ID 정보와 관련된 상태에서 화상 데이터를 외부 기록 장치(113)에 축적할 수 있다. 이 때문에, 제1 예시적인 실시예와 마찬가지로, 예기하지 않는 상황이 생겼을 때에, ID 정보와 원래의 화상 데이터를 이용하여, 상세한 상황 해석을 행할 수 있다.
주목할 것은, 데이터 관리 서버(112)에 ID 정보와 촬영 화상을 송신한 후에는 스테레오 스마트 카메라(403)의 내부 스토리지(208)는 제1 예시적인 실시예와 같은 방식으로 취급되어도 된다.
상술한 바와 같이, 본 제2 예시적인 실시예에서는, 스테레오 스마트 카메라(403)가 로봇 암(101)의 핸드(402)에 의해 홀드되어 있는 상태에서는, 무선통신을 통해 제어장치(114)와 데이터 관리 서버(112)에 접속된다. 이렇게, 스테레오 스마트 카메라(403)는, 예를 들면 촬상 기간에 있어서는, 무선으로 동작할 수 있다. 이 때문에, 예를 들면 교시점 수정 동작에 있어서, 로봇 암(101)의 각부의 움직임이 케이블에 의해 방해되지 않다는 장점이 있다.
또한, 스테레오 스마트 카메라(403)의 촬상 기간에서는, 내부에서 실행한 화상 처리 결과만을 ID 정보와 관련하여 송신하면 된다. 이 때문에, 무선 통신에 필요한 패킷 길이는 짧아서, 비교적 저속의 무선 LAN을 이용하는 경우에도, 효율적으로 ID 정보와 관련된 화상 처리 결과를 제어장치(114)와 데이터 관리 서버(112)에 송신할 수 있다. 또한, ID 정보와 관련된 화상 처리 결과의 사이즈는 매우 작기 때문에, 다른 무선 통신 기기에 주는 그것의 영향은 매우 작아져서, 무선 통신기기의 데이터 리스폰스에 영향을 주지 않는다.
또한, 교시점 수정 후의 기간 혹은 생산 기기가 동작하지 않는 본 생산 공정의 스텝 사이의 간격은 스테레오 스마트 카메라(403)가 클레들(407)로 다시 이동되는 촬상 중지 기간에 대응한다. 이 상태에서, 스테레오 스마트 카메라(403)는 유선 네트워크에 접속된다. 이 상태에서, 유선 LAN을 통해서 ID 정보와 관련된 미처리의 화상 데이터, 즉 원래의 화상 데이터를 스테레오 스마트 카메라(403)로부터 송신하고, 데이터 관리 서버(112)에 로그인할 수 있다. 물론, 이 동작은 무선 LAN측에 전혀 영향을 주지 않고, 트러블이 발생하는 경우에는 스테레오 스마트 카메라(403)의 압축되지 않은 원래의 화상을 데이터 관리 서버(112)에 송신하고 로그인시킬 수 있다.
주목할 것은, 스테레오 스마트 카메라(403)의 유선 및 무선 통신은, 그 교시 수정 기간 동안에도, 클레들(407)에 배치되는 기간 동안에도, 모두 전원을 온해서 작동될 수 있다. 그렇지만, 물론, 사용하지 않는 통신 중의 하나에 대응하는 네트워크 인터페이스의 전원을 오프하는 제어를 행해도 된다.
예를 들면, 스테레오 스마트 카메라(403)에서 발생하는 열에 의해 카메라 206a, 206b의 광학계의 광축간 거리, 즉 기선(base line) 길이가 변화되는 것은 중대한 문제다. 그렇지만, 상술한 구성에 의하면, 교시점 수정 동작 중의 데이터의 외부 통신 시간을 짧게 하는 것으로, 이 기간 동안의 큰 전력을 소비하는 네트워크 I/F에의 전원 공급 시간을 짧게 해, 내부의 발열량을 저감할 수 있다. 이에 따라, 카메라 206a, 206b의 광학계의 광축간 거리, 즉 기선 길이에 대한 영향을 저감할 수 있어, 스테레오 스마트 카메라(403)의 측정 정밀도를 상승시키는 것이 가능하게 된다.
또한, 본 제2 예시적인 실시예에 의하면, 공정 관리 번호를 ID 정보로서 사용하고 있다. 이 때문에, 어떤 스텝에서 트러블이 발행했을 경우, 그 스텝에 관한 각종의 IoT 데이터와 촬상한 화상 데이터와의 관계를 공정 관리 번호를 사용해서 용이하게 특정하고, 검색하고, 소트하거나 할 수 있다. 또한, 상술한 제1 예시적인 실시예와 마찬가지로, 공정 관리 번호에 대응한 각종의 해석을 딥 러닝 등의 학습 시스템을 이용해서 실행할 수 있다.
주목할 것은, 화상 처리 프로그램(2031)에 관해서는, 화상 처리 파라미터의 기억 장소나 수정 방법이 제1 예시적인 실시예에서 설명한 것과 같다. 또한, 화상 처리 전의 원래의 화상 데이터는, 공정 관리 번호를 ID 정보로서 사용해서 데이터 관리 서버(112)에 로그인된다. 이 때문에, 예를 들면, 로봇 암(101)의 교시 데이터에 기인하는 트러블이 발생했을 경우에는, 언제나 교시 데이터의 수정 등에 관해서 스테레오 스마트 카메라(403) 내에서 행한 화상 처리에 대해서 데이터 관리 서버(112)가 검증하는 것이 가능하다.
또한, 스테레오 스마트 카메라(403)의 화상 처리 프로그램(2031)과 그 화상 처리 파라미터는, 원격으로 및 독립적으로 또는 양자 세트로 갱신될 수 있다. 예를 들면, 스테레오 스마트 카메라(403)에 대하여 갱신 지령을 주어 데이터 전송을 행하는 데이터 관리 서버(112)에 의해 화상 처리 프로그램(2031) 및/또는 그 화상 처리 파라미터를 갱신한다. 그 때문에, 스테레오 스마트 카메라(403)의 스마트 카메라 프로그램(203)에, 상기와 같은 갱신 처리에 대응할 수 있는 갱신 프로그램을 준비해 둘 수 있다.
주목할 것은, 도 8의 스마트 카메라의 촬상 기간 및 촬상 중지 기간의 제어 시퀸스의 플로우는, 본 제2 예시적인 실시예의 스마트 카메라 프로그램(203)의 경우에도 거의 마찬가지로 실시될 수 있다. 본 예시적인 실시예에서는, 스텝 S11에서 스마트 카메라가 촬상 모드, 즉 촬상 기간인지 아닌지의 판정은, 예를 들면, 스마트 카메라가 클레들에 배치되는지 아닌지의 판정에 의해 행해질 수 있다. 또한, 본 제2 예시적인 실시예의 교시 데이터 수정 처리에 있어서는, 스텝 S12에서의 ID 정보의 생성과 스텝 S13에서 촬상은, 상술한 바코드(406)의 촬상 및 디코딩 처리로서 판독될 수도 수 있다. 스텝 S16에서의 ID 정보와 미처리의 원래의 화상 데이터 송신은 상기의 제1 예시적인 실시예와 같다.
또한, 도 9의 ID 정보와 화상 처리 결과의 데이터 포맷, 및 도 10의 ID 정보와 미처리의 원래의 화상 데이터의 데이터 포맷에 관한 제2 예시적인 실시예에 있어서도 거의 같은 구성이 이용될 수 있다. 그 경우, 필드 L1의 타임키핑 정보는 데이터 관리 서버(112)에 로그 기록을 행한 시간의 정보일 수 있다. 바코드(406)를 통해 취득한 본 예시적인 실시예의 ID 정보로서 기능하는 공정 관리 번호는, 예를 들면, 필드 L3 등의 저장 위치를 이용해서 로그인될 수 있다.
도 7은, 본 제2 예시적인 실시예에서 실시 가능한 데이터 관리 서버(112)의 구성 예를 나타낸 것이다. 도 7의 기본적인 구성은, 도 3에 나타낸 제1 예시적인 실시예의 데이터 관리 서버(112)의 구성과 동일하다. 도 7이 도 3과 다른 것은, ID 정보로서 기능하는 타임키핑 정보의 시간을 설정하기 위해 도 3에 배치되어 있었던 NTP 서버 프로그램(3129)이 생략되어 있는 점이다. 그렇지만, 본 제2 예시적인 실시예에 있어서도 데이터 관리 서버(112)에서 도 3의 NTP 서버 프로그램(3129)을 설치하여 동작시키는 것에는 아무런 문제도 없다.
또한, 도 7에서는, 서브 ID 정보 생성부(3151)가 I2C 인터페이스(314)를 통해 버스 라인(302)과 접속되어 있다. 이 서브 ID 정보 생성부(3151)는, 도 3의 경우와 마찬가지로 RTC 315A 등의 타임키핑 디바이스로 구성될 수 있고, 이 RTC 등의 타임키핑 정보, 즉 시간 정보를 서브 ID 정보로서 이용할 수 있다. 예를 들면, 상술한 제2 예시적인 실시예에 있어서, 도 9 및 도 10의 필드 L1을 로그인 시간으로 하는 구성을 설명했다. 이 필드 L1의 로그인 시간에는, 서브 ID 정보 생성부(3151)에 의해 발생한 서브 ID 정보로서의 타임키핑 정보, 즉 시간 정보를 사용할 수 있다.
상술한 바와 같이, 본 제2 예시적인 실시예에서는, IoT 정보를 식별하고 이 IoT 정보를 서로 관련짓는 메인의 ID 정보로서, 제어장치(114)가 관리하는 공정 관리 번호를 사용할 수 있고, 서브 ID 정보 생성부(3151)의 RTC의 타임키핑 정보, 즉 시간 정보는, 서브 ID로서 사용될 수 있다. 이렇게 IoT 정보에 관해서 메인 및 서브의 ID 정보를 이용할 수 있는 구성에는, ID 정보를 한 종류밖에 사용하지 않는 구성에 비하여 다음과 같은 이점이 있다. 예를 들면, 메인 ID 정보로서 기능하는 공정 관리 번호를 마스터 키로서 사용하고, 서브 ID 정보로서 기능하는 정보 취득 시간, 즉 로그인 시간을 서브 키로서 사용해서 데이터의 내용을 소트, 즉 재배열하는 처리가 가능해 진다. 그 결과, 각 스텝의 정보를 1개의 키와 관련지을 수 있는 동시에, IoT 정보, 즉 이벤트의 신구(new or old)를 명확하게 할 수 있어, 정보의 선택이 용이해 진다.
그 밖의 실시예
본 발명의 추가 실시예(들)는, 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체(예를 들면, '비일시 컴퓨터 판독 가능한 기억매체') 상에 기록된 컴퓨터 실행 가능한 명령들(예를 들면, 1개 이상의 프로그램)을 판독 및 실행하고, 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 수행하는 1개 이상의 회로(예를 들면, ASIC(Application Specific Integrated Circuit))를 포함하는 시스템 또는 장치의 컴퓨터에 의해서 실현될 수 있고, 또 예를 들면, 상술한 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체로부터 컴퓨터 실행 가능한 명령들을 판독 및 실행함으로써 및/또는 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 수행하는 1개 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 행해진 방법에 의해서도 실현될 수 있다. 이 컴퓨터는 CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 다른 회로 중 하나 또는 그 이상을 구비할 수도 있고, 독립된 컴퓨터 또는 독립된 컴퓨터 프로세서의 네트워크를 포함할 수도 있다. 이 컴퓨터 실행 가능한 명령들은 예를 들면, 네트워크 또는 기억매체로부터 컴퓨터에 제공될 수도 있다. 이 기억매체는 예를 들면, 하드 디스크, RAM(random-access memory), ROM(read only memory), 분산 컴퓨팅 시스템의 스토리지, 광디스크(컴팩트 디스크(CD), DVD(digital versatile disc), Blue-ray Disc(BD)TM 등), 플래시 메모리 디바이스, 메모리 카드 중 어느 하나 또는 그 이상을 포함할 수도 있다.
본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims (23)

  1. 촬영 장치로서,
    화상을 촬영하도록 구성된 촬상부; 및
    상기 촬상부에 의해 취득된 화상 데이터에 대해 화상 처리를 행하도록 구성된 화상 처리부를 구비하고,
    상기 촬영 장치는 제1 기간에서는, 제1 데이터에 대해 상기 화상 처리부에 의해 행해진 화상 처리의 제1 결과 및 제2 데이터에 대해 상기 화상 처리부에 의해 행해진 화상 처리의 제2 결과를 송신하도록 구성되고,
    상기 촬영 장치는 상기 제1 기간 이후의 제2 기간에서는, 상기 제1 데이터 및 상기 제2 데이터를 송신하도록 구성되고,
    상기 제1 데이터는 제1 화상에 대응하는 화상 데이터이고, 상기 제1 결과는 상기 제1 화상의 특징값이며, 상기 제2 데이터는 상기 제1 화상과 다른 제2 화상에 대응하는 화상 데이터이고, 상기 제2 결과는 상기 제2 화상의 특징값인, 촬영 장치.
  2. 제 1 항에 있어서,
    상기 촬영 장치는 상기 제1 기간에서는, 상기 제1 데이터와 관련된 제1 ID 정보 및 상기 제2 데이터와 관련된 제2 ID 정보를 송신하도록 구성되는, 촬영 장치.
  3. 제 2 항에 있어서,
    타임키핑(timekeeping)부를 더 구비하고, 상기 제1 ID 정보 및 상기 제2 ID 정보 각각은 상기 타임키핑부로부터 취득된 타임키핑 정보를 포함하는, 촬영 장치.
  4. 제 3 항에 있어서,
    상기 촬영 장치는 네트워크 시간 맞춤 프로토콜을 통해서 서버와 통신하고, 상기 타임키핑부의 시간을 설정하도록 구성되는, 촬영 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제1 기간에서는, 상기 촬상부는 촬상을 행하고,
    상기 제2 기간에서는, 상기 촬상부는 상기 촬상을 행하지 않는, 촬영 장치.
  6. 대상물의 화상을 촬상하도록 구성되고, 상기 화상의 촬상에 의해 취득된 화상 데이터에 대해 화상 처리를 행하도록 구성되며, 상기 화상 데이터를 축적하도록 구성되고, 네트워크를 통해서 서버와 통신하도록 구성된 촬영 장치를 구비하고,
    상기 촬영 장치는, 제1 기간에서는, 상기 촬영 장치에 의해 행해진 화상 처리의 결과를 서버에 송신하도록 구성되고,
    상기 촬영 장치는, 상기 제1 기간 이후의 제2 기간에서는, 상기 화상 데이터를 상기 서버에 송신하도록 구성되고,
    상기 결과는, 상기 대상물의 상기 화상의 특징값인, 시스템.
  7. 제 6 항에 있어서,
    기기; 및
    상기 서버와 통신하도록 구성된 제어 장치를 더 구비하고,
    상기 제어 장치는, 상기 결과에 의거하여 상기 기기를 제어하도록 구성되는, 시스템.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 서버는, 상기 촬영 장치로부터 송신되는, 상기 화상 데이터와 상기 화상 데이터에 대한 화상 처리의 결과 중의 적어도 하나에 대해 행해진 데이터 처리의 결과에 의거하여, 생산 기기와 상기 촬영 장치 중의 적어도 하나의 제어 프로그램 및/또는 제어 파라미터를 갱신하도록 구성되는, 시스템.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 6 항에 있어서,
    상기 화상 데이터는 제1 화상에 대응하는 제1 데이터 및 상기 제1 화상과 다른 제2 화상에 대응하는 제2 데이터를 포함하고,
    상기 결과는 상기 제1 데이터에 대해 상기 촬영 장치에 의해 행해진 화상 처리의 제1 결과 및 상기 제2 데이터에 대해 상기 촬영 장치에 의해 행해진 화상 처리의 제2 결과를 포함하며,
    상기 제1 결과는 상기 제1 화상의 특징값이고, 상기 제2 결과는 상기 제2 화상의 특징값이며,
    상기 촬영 장치는 상기 제1 기간에서는, 상기 제1 결과 및 상기 제2 결과를 상기 서버에 송신하도록 구성되고,
    상기 촬영 장치는 상기 제2 기간에서는, 상기 제1 데이터 및 상기 제2 데이터를 상기 서버에 송신하도록 구성되는, 시스템.
  14. 대상물의 화상을 촬상하도록 구성되고, 상기 화상의 촬상에 의해 취득된 화상 데이터에 대해 화상 처리를 행하도록 구성되며, 상기 화상 데이터를 축적하도록 구성되고, 서버와 통신하도록 구성된 촬영 장치를 구비하고,
    상기 촬영 장치는, 제1 네트워크를 통해서, 상기 화상 데이터에 대해 상기 촬영 장치에 의해 행해진 화상 처리의 결과를 상기 서버에 송신하며,
    상기 촬영 장치는, 상기 제1 네트워크와 다른 제2 네트워크를 통해서, 상기 화상 데이터를 상기 서버에 송신하고,
    상기 결과는, 상기 대상물의 상기 화상의 특징값인, 시스템.
  15. 제 14 항에 있어서,
    클레들(cradle)을 더 구비하고,
    제1 기간에서는, 상기 촬영 장치는 상기 클레들 위에 배치되지 않고, 상기 촬영 장치는 상기 제1 네트워크에 접속되며,
    제2 기간에서는, 상기 촬영 장치는 상기 클레들 위에 배치되고, 상기 촬영 장치는 상기 클레들을 통해서 상기 제2 네트워크에 접속되는, 시스템.
  16. 제 15 항에 있어서,
    상기 제2 기간에서는 상기 클레들 위에 배치된 상기 촬영 장치가, 상기 클레들를 통해서 충전되는, 시스템.
  17. 제 14 항, 제 15 항 또는 제 16 항에 있어서,
    상기 제1 네트워크는 무선 네트워크이고, 상기 제2 네트워크는 유선 네트워크인, 시스템.
  18. 물품의 제조 방법으로서,
    제1 기간에서는, 촬영 장치에 의해 대상물의 화상을 촬영해서 취득된 화상 데이터에 대해 행해진 화상 처리의 결과에 의거하여 생산 상태를 감시하면서 생산 장치를 사용해서 상기 물품의 생산 공정을 진행하는 단계; 및
    상기 제1 기간 이후의 제2 기간에서는, 상기 촬영 장치로부터 서버에 상기 화상 데이터를 송신하는 단계를 포함하고,
    상기 대상물은 상기 생산 장치 또는 상기 물품의 워크피이스(workpieces)인, 물품의 제조 방법.
  19. 제 18 항에 있어서,
    상기 생산 장치를 제어하는 제어 장치가, 상기 서버와 통신하는 단계; 및
    상기 화상 처리의 결과에 따라, 상기 생산 장치를 제어하는 단계를 더 포함하는, 물품의 제조 방법.
  20. 제 18 항 또는 제 19 항에 있어서,
    상기 화상 처리의 결과 및 화상 데이터를 ID 정보와 관련짓는 단계;
    상기 ID 정보를 상기 서버에 송신하는 단계;
    상기 생산 장치의 이벤트 데이터를 ID 정보와 관련짓는 단계; 및
    상기 이벤트 데이터를 상기 서버에 송신하는 단계를 더 포함하는, 물품의 제조 방법.
  21. 제 20 항에 있어서,
    상기 화상 데이터와 관련된 ID 정보 및/또는 상기 이벤트 데이터와 관련된 ID 정보는,
    타임키핑 정보;
    상기 생산 장치의 제어에 사용되는 공정 관리 번호; 및/또는
    상기 대상물을 식별하는 식별 번호를 포함하는, 물품의 제조 방법.
  22. 제 19 항에 있어서,
    상기 촬영 장치 및/또는 상기 제어장치는, 타임키핑부를 구비하고, 상기 서버 또는 상기 서버와 다른 서버와 통신해서 타임키핑부의 시간을 설정하도록 구성되는, 물품의 제조 방법.
  23. 제 20 항에 있어서,
    상기 화상 데이터는 제1 데이터 및 제2 데이터를 포함하고, 상기 결과는 제1 결과 및 제2 결과를 포함하고, 상기 제1 데이터는 제1 화상에 대응하는 화상 데이터이고, 상기 제1 결과는 상기 제1 화상의 특징값이며, 상기 제2 데이터는 상기 제1 화상과 다른 제2 화상에 대응하는 화상 데이터이고, 상기 제2 결과는 상기 제2 화상의 특징값이며,
    상기 결과는 상기 제1 데이터에 대해 상기 촬영 장치에 의해 행해진 화상 처리의 제1 결과 및 상기 제2 데이터에 대해 상기 촬영 장치에 의해 행해진 화상 처리의 제2 결과를 포함하고,
    상기 촬영 장치는 상기 제1 기간에서는, 상기 제1 결과 및 상기 제2 결과를 상기 서버에 송신하도록 구성되고,
    상기 촬영 장치는 상기 제2 기간에서는, 상기 제1 데이터 및 상기 제2 데이터를 상기 서버에 송신하도록 구성되는, 물품의 제조 방법.
KR1020180056847A 2017-05-25 2018-05-18 촬영 장치, 시스템, 및 방법 KR102280398B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2017-103905 2017-05-25
JP2017103905 2017-05-25
JPJP-P-2018-048137 2018-03-15
JP2018048137A JP7166767B2 (ja) 2017-05-25 2018-03-15 機器、製造方法、およびシステム

Publications (2)

Publication Number Publication Date
KR20180129651A KR20180129651A (ko) 2018-12-05
KR102280398B1 true KR102280398B1 (ko) 2021-07-22

Family

ID=64667294

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180056847A KR102280398B1 (ko) 2017-05-25 2018-05-18 촬영 장치, 시스템, 및 방법

Country Status (4)

Country Link
US (2) US11317019B2 (ko)
JP (1) JP7166767B2 (ko)
KR (1) KR102280398B1 (ko)
CN (1) CN108965795B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7166767B2 (ja) * 2017-05-25 2022-11-08 キヤノン株式会社 機器、製造方法、およびシステム
EP3543522A1 (en) * 2018-03-22 2019-09-25 Siemens Gamesa Renewable Energy A/S Rotor blade monitoring system
US11292133B2 (en) * 2018-09-28 2022-04-05 Intel Corporation Methods and apparatus to train interdependent autonomous machines
JP2020108038A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 制御装置、その制御方法、産業用自動化システム、プログラム、および記憶媒体
WO2020189347A1 (ja) * 2019-03-18 2020-09-24 日本電気株式会社 個体識別情報生成方法、個体識別情報生成装置、プログラム
JP7236904B2 (ja) 2019-03-28 2023-03-10 三和シヤッター工業株式会社 ドア装置
JP7222796B2 (ja) * 2019-04-05 2023-02-15 株式会社キーエンス 画像検査システム及び画像検査方法
JP2020191572A (ja) * 2019-05-23 2020-11-26 ビーコア株式会社 撮像装置、方法及びプログラム
JP7267841B2 (ja) * 2019-05-30 2023-05-02 キヤノン株式会社 システムの制御方法、及びシステム
JP2020205027A (ja) * 2019-06-14 2020-12-24 オムロン株式会社 データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
WO2020250501A1 (ja) * 2019-06-14 2020-12-17 オムロン株式会社 データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP7424761B2 (ja) * 2019-06-25 2024-01-30 ファナック株式会社 画像処理システム及び産業機械
JP6788235B1 (ja) * 2019-07-30 2020-11-25 オムロン株式会社 情報管理システム、情報管理方法
JP7445460B2 (ja) * 2020-03-05 2024-03-07 株式会社Fuji 作業システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135303A (ja) 2003-10-31 2005-05-26 Nippon Steel Corp ネットワークシステム、業務支援装置、画像処理装置、業務支援方法、及びコンピュータプログラム
US20140316616A1 (en) 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US20160039436A1 (en) 2002-06-04 2016-02-11 General Electric Company Aerial camera system and method for determining size parameters of vehicle systems

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4081541B2 (ja) 2002-03-11 2008-04-30 富士フイルム株式会社 撮像通信システム
US7415321B2 (en) 2002-12-12 2008-08-19 Matsushita Electric Industrial Co., Ltd. Robot controller
JP2004333446A (ja) 2003-05-12 2004-11-25 Matsushita Electric Ind Co Ltd 外観検査方法、外観検査装置、そのプログラム及びその記録媒体
JP4447860B2 (ja) 2003-06-30 2010-04-07 ソニー株式会社 ネットワークカメラ
US7293711B2 (en) 2004-08-30 2007-11-13 Symbol Technologies, Inc. Combination barcode imaging/decoding and real-time video capture system
KR100669511B1 (ko) 2005-01-31 2007-01-15 뷰웨이 주식회사 스마트 네트워크 카메라
JP2009218933A (ja) 2008-03-11 2009-09-24 Seiko Epson Corp スマートカメラ及びロボットビジョンシステム
US8908033B2 (en) 2009-09-29 2014-12-09 Avaya Inc. Utilizing presence information for the purpose of enhanced surveillance
JP2013158889A (ja) 2012-02-07 2013-08-19 Seiko Epson Corp カメラ、カメラ群、カメラを備えた装置、装置群およびロボット装置
US9489839B2 (en) * 2012-08-06 2016-11-08 Cloudparc, Inc. Tracking a vehicle using an unmanned aerial vehicle
CN102968902A (zh) 2012-12-11 2013-03-13 苏州群凯信息***有限公司 一种载运工具视频监控与录像***
JP6205757B2 (ja) * 2013-03-07 2017-10-04 オムロン株式会社 制御システム、制御装置、画像処理装置、および、制御方法
JP6465569B2 (ja) 2014-06-11 2019-02-06 キヤノン株式会社 画像処理方法、および画像処理装置
CN204156985U (zh) 2014-08-29 2015-02-11 上海智达商投资管理合伙企业(有限合伙) 具有脸部识别比对功能的高清摄像设备及监控***
CN106572326A (zh) 2015-10-13 2017-04-19 中国电信股份有限公司 一种视频监控装置、***及自动布撤防方法
US10187611B2 (en) * 2016-08-05 2019-01-22 Avigilon Corporation Video surveillance system with aerial camera device
CN106453570A (zh) 2016-10-19 2017-02-22 北京速能数码网络技术有限公司 一种行车状态的远程监控方法、***及车载设备、服务器
JP7166767B2 (ja) * 2017-05-25 2022-11-08 キヤノン株式会社 機器、製造方法、およびシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160039436A1 (en) 2002-06-04 2016-02-11 General Electric Company Aerial camera system and method for determining size parameters of vehicle systems
JP2005135303A (ja) 2003-10-31 2005-05-26 Nippon Steel Corp ネットワークシステム、業務支援装置、画像処理装置、業務支援方法、及びコンピュータプログラム
US20140316616A1 (en) 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same

Also Published As

Publication number Publication date
US11317019B2 (en) 2022-04-26
US20180343385A1 (en) 2018-11-29
JP2018200680A (ja) 2018-12-20
JP7166767B2 (ja) 2022-11-08
CN108965795A (zh) 2018-12-07
KR20180129651A (ko) 2018-12-05
CN108965795B (zh) 2022-05-03
US20220182539A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
KR102280398B1 (ko) 촬영 장치, 시스템, 및 방법
KR101712300B1 (ko) 데이터 수집·전송 장치
US9141336B2 (en) Data transfer device
JP6205757B2 (ja) 制御システム、制御装置、画像処理装置、および、制御方法
CN107908166B (zh) 一种基于工业互联网的汽车制造mes数据采集***
US9984244B2 (en) Controller, information processing apparatus, and recording medium
US20140236914A1 (en) Controller, information processing apparatus, and recording medium
JP6896195B1 (ja) 制御装置及び画像記録方法
CN109661626B (zh) 用于诊断自动化***的***和方法
US11422915B2 (en) Trace data acquisition system, trace data acquisition method, and information storage medium
EP3407598B1 (en) Image capturing apparatus, system, and method
CN103809502A (zh) 控制器及程序
KR101207944B1 (ko) 플랜트에서의 순차적 이벤트 데이터의 무손실 처리 시스템
KR20190044812A (ko) 제조 공정 빅데이터 서비스 제공 시스템 및 방법
CN111586087B (zh) 通信***、通信方法和程序
CN113285821A (zh) 生产***、通信方法和程序
US20240241502A1 (en) Control system and programmable logic controller
US20230164290A1 (en) Control device, image recording method, and recording medium
JP6787161B2 (ja) ネットワークシステム管理装置、ネットワークシステム管理方法、制御プログラム、および記録媒体
KR20170046024A (ko) 사물 인터넷 기반 자동화 장치, 사물 인터넷 기반 자동화 시스템 및 그 동작 방법
JP5490267B2 (ja) データ転送装置
CN117616351A (zh) 控制***及可编程逻辑控制器

Legal Events

Date Code Title Description
A201 Request for examination
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right