JP2019087008A - 画像処理システム及び画像処理方法 - Google Patents

画像処理システム及び画像処理方法 Download PDF

Info

Publication number
JP2019087008A
JP2019087008A JP2017214553A JP2017214553A JP2019087008A JP 2019087008 A JP2019087008 A JP 2019087008A JP 2017214553 A JP2017214553 A JP 2017214553A JP 2017214553 A JP2017214553 A JP 2017214553A JP 2019087008 A JP2019087008 A JP 2019087008A
Authority
JP
Japan
Prior art keywords
article
processor
basic shape
image processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017214553A
Other languages
English (en)
Inventor
真明 安永
Masaaki Yasunaga
真明 安永
徳政 有賀
Norimasa Ariga
徳政 有賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2017214553A priority Critical patent/JP2019087008A/ja
Priority to EP18204417.2A priority patent/EP3480733A1/en
Priority to US16/182,468 priority patent/US20190139245A1/en
Priority to CN201811318716.0A priority patent/CN109756670A/zh
Publication of JP2019087008A publication Critical patent/JP2019087008A/ja
Priority to US17/081,531 priority patent/US11328438B2/en
Priority to JP2022107286A priority patent/JP2022121671A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Abstract

【課題】辞書情報を生成するための画像を適切に撮影することができる画像処理システム及び画像処理方法を提供する。【解決手段】実施形態によれば、画像処理システムは、カメラインターフェースと、プロセッサと、を備える。カメラインターフェースは、物品を撮影するカメラから撮影画像を取得する。プロセッサは、前記物品の基本形状を取得し、前記カメラインターフェースを通じて、前記基本形状に応じた撮影パラメータで撮影した撮影画像を前記カメラから取得する。【選択図】 図1

Description

本発明の実施形態は、画像処理システム及び画像処理方法に関する。
近年、対象物の画像を辞書情報とマッチングして対象物を特定するオブジェクト認識の技術が提供されている。そのような技術を実行するための画像処理システムは、物品の画像を取得し辞書情報を予め生成する。
辞書情報を生成するために必要な画像の枚数及び撮影角度は、物品ごとに異なる。そのため、画像処理システムは、不必要な画像を撮影してしまうという課題がある。
特開平11−248435号公報
上記の課題を解決するため、辞書情報を生成するための画像を適切に撮影することができる画像処理システム及び画像処理方法を提供する。
実施形態によれば、画像処理システムは、カメラインターフェースと、プロセッサと、を備える。カメラインターフェースは、物品を撮影するカメラから撮影画像を取得する。プロセッサは、前記物品の基本形状を取得し、前記カメラインターフェースを通じて、前記基本形状に応じた撮影パラメータで撮影した撮影画像を前記カメラから取得する。
図1は、第1の実施形態に係る画像処理システムの構成例を示すブロック図である。 図2は、第1の実施形態に係る制御装置の構成例を示すブロック図である。 図3は、第1の実施形態に係るパラメータテーブルの例を示す図である。 図4は、第1の実施形態に係る入出力装置の表示例を示す図である。 図5は、第1の実施形態に係る制御装置の動作例を示すフローチャートである。 図6は、第2の実施形態に係る画像処理システムの構成例を示すブロック図である。 図7は、第2の実施形態に係る制御装置の構成例を示すブロック図である。 図8は、第2の実施形態に係る制御装置の動作例を示すフローチャートである。
以下、実施形態について、図面を参照して説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。
第1の実施形態に係る画像処理システムは、辞書情報を生成するため物品を撮影する。画像処理システムは、オペレータなどによって、所定の位置に物品をセットされる。画像処理システムは、セットされた物品を撮影して、物品の画像を取得する。
辞書情報は、オブジェクト認識に用いるための情報である。即ち、辞書情報は、対象物の画像とマッチングさせて対象物を特定するための情報である。辞書情報は、物品の画像であってもよいし、物品の画像の特徴量を示す情報であってもよい。
図1は、画像処理システム1の構成例を示す。図1が示すように、画像処理システム1は、制御装置10、入出力装置20及び撮影装置30などから構成される。制御装置10は、入出力装置20及び撮影装置30と通信可能に接続する。ここでは、画像処理システム1は、物品Aを撮影するものとする
制御装置10は、画像処理システム1全体を制御する。制御装置10は、オペレータからの指示などに基づいて、撮影装置30を用いて物品Aを撮影する。たとえば、制御装置10は、入出力装置20を通じて、オペレータから指示の入力を受け付ける。また、制御装置10は、入出力装置20を通じて、オペレータに種々の情報を表示する。
入出力装置20は、オペレータからの指示の入力を受け付け、オペレータに種々の情報を表示するインターフェースである。入出力装置20は、指示の入力を受け付ける操作部と、情報を表示する表示部とから構成される。
入出力装置20は、操作部の動作として、オペレータから受け付けた操作を示す信号を制御装置10へ送信する。ここでは、操作部は、タッチパネルから構成される。
入出力装置20は、表示部の動作として、制御装置10の制御に基づいて種々の情報を表示する。たとえば、表示部は、液晶モニタから構成される。表示部は、操作部としてのタッチパネルと一体的に形成される。
なお、操作部は、キーボード又はテンキーから構成されてもよい。
撮影装置30は、制御装置10からの制御に基づいて物品Aを撮影する。撮影装置30は、物品Aを様々の角度から撮影する。
図1が示すように、撮影装置30は、筐体31、ターンテーブル32、カメラ41乃至43、照明51乃至53などから構成される。なお、撮影装置30は、図1示すような構成の他に必要に応じた構成をさらに具備したり、撮影装置30から特定の構成が除外されたりしてもよい。
筐体31は、撮影装置30の外形を形成するフレームである。筐体31は、たとえば、樹脂などから構成される。筐体31は、直方体状に形成される。筐体31は、鉛直方向の中腹部に仕切り31aを備える。仕切り31aは、水平に形成される。仕切り31aは、筐体31の形状に合わせて矩形に形成される。また、仕切り31aは、透明な素材で形成される。たとえば、仕切り31aは、アクリル板などである。
筐体31の内部には、ターンテーブル32、カメラ41乃至43、照明51乃至53が形成される。
ターンテーブル32は、仕切り31a上に形成される。ターンテーブル32は、制御装置10からの制御に基づいて、上面に配置される物品Aを回転させる。たとえば、ターンテーブル32は、物品Aを載置する円板32a及び円板を回転させる駆動部などから構成される。円板32aは、透明な素材で形成される。たとえば、円板32aは、アクリル板などである。
カメラ41乃至43は、制御装置10からの制御に基づいて、物品Aを撮影する。カメラ41乃至43は、物品Aを撮影して得られた撮影画像を制御装置10に送信する。たとえば、カメラ41乃至43は、CCD(Charge Coupled Device)カメラなどである。
カメラ41(第1のカメラ)は、物品Aを所定の方向から撮影する。カメラ41は、物品Aの上面を撮影する。カメラ41は、筐体31の上面に下向きで設置される。カメラ41は、物品Aを上部から撮影する。
カメラ42(第2のカメラ)は、物品Aを当該所定の方向と直交する方向から撮影する。カメラ42は、物品Aの側面を撮影する。カメラ41は、筐体31の側面に横向きで設置される。カメラ41は、物品Aを側部から撮影する。
カメラ43(第3のカメラ)は、物品Aを当該所定の方向と対向する方向から撮影する。カメラ43は、物品Aの下面を撮影する。カメラ41は、筐体31の下面に上向きで設置される。カメラ41は、物品Aを底部から撮影する。
照明51乃至53は、制御装置10からの制御に基づいて、物品Aを照らす。たとえば、照明51乃至53は、LED(light emitting diode)などから構成される。
照明51は、カメラ41が撮影する領域を照らす。即ち、照明51は、物品Aの上面を照らす。照明51は、筐体31の上面に下向きで設置される。照明51は、物品Aを上部から照らす。
照明52は、カメラ42が撮影する領域を照らす。即ち、照明52は、物品Aの側面を照らす。照明52は、筐体31の側面に横向きで設置される。照明52は、物品Aを側部から照らす。
照明53は、カメラ43が撮影する領域を照らす。即ち、照明53は、物品Aの下面を照らす。照明53は、筐体31の下面に上向きで設置される。照明53は、物品Aを底部から照らす。
次に、制御装置10の構成例について説明する。
図2は、制御装置10の構成例を示すブロック図である。図2が示すように、制御装置10は、プロセッサ11、ROM12、RAM13、NVM14、テーブルインターフェース15、カメラインターフェース16、照明インターフェース17及び入出力インターフェース18などを備える。プロセッサ11と、ROM12、RAM13、NVM14、テーブルインターフェース15、カメラインターフェース16、照明インターフェース17及び入出力インターフェース18とは、データバスなどを介して互いに接続する。
なお、制御装置10は、図2が示すような構成の他に必要に応じた構成をさらに具備したり、制御装置10から特定の構成が除外されたりしてもよい。
プロセッサ11は、制御装置10全体の動作を制御する機能を有する。プロセッサ11は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ11は、内部メモリ、ROM12又はNVM14が予め記憶するプログラムを実行することにより種々の処理を実現する。
なお、プロセッサ11がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ11は、ハードウエア回路により実行される機能を制御する。
ROM12は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM12に記憶される制御プログラム及び制御データは、制御装置10の仕様に応じて予め組み込まれる。ROM12は、たとえば、制御装置10の回路基板を制御するプログラム(たとえば、BIOS)などを格納する。
RAM13は、揮発性のメモリである。RAM13は、プロセッサ11の処理中のデータなどを一時的に格納する。RAM13は、プロセッサ11からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM13は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
NVM14は、データの書き込み及び書き換えが可能な不揮発性のメモリである。NVM14は、たとえば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、EEPROM(登録商標)又はフラッシュメモリなどから構成される。NVM14は、制御装置10の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
また、NVM14は、パラメータテーブルを格納する。パラメータテーブルについては、後述する。
テーブルインターフェース15は、ターンテーブル32とデータを送受信するためのインターフェースである。テーブルインターフェース15は、プロセッサ11の制御に基づいて、円板32aを回転させる信号を送信する。また、テーブルインターフェース15は、ターンテーブル32から、円板32aの角度を示す信号を受信してもよい。たとえば、テーブルインターフェース15は、USB接続をサポートするものであってもよい。
カメラインターフェース16は、カメラ41乃至43とデータを送受信するためのインターフェースである。たとえば、カメラインターフェース16は、プロセッサ11の制御に基づいて、カメラ41乃至43に撮影を指示する信号を送信する。また、カメラインターフェース16は、カメラ41乃至43から撮影で得られた撮影画像を取得する。たとえば、カメラインターフェース16は、USB接続をサポートするものであってもよい。
照明インターフェース17は、照明51乃至53とデータを送受信するためのインターフェースである。たとえば、照明インターフェース17は、プロセッサ11の制御に基づいて、照明51乃至53に点灯を指示する信号を送信する。たとえば、照明インターフェース17は、USB接続をサポートするものであってもよい。
入出力インターフェース18は、入出力装置20とデータを送受信するためのインターフェースである。たとえば、入出力インターフェース18は、オペレータから受け付けた操作を示す信号を入出力装置20から受信する。また、入出力インターフェース18は、プロセッサ11の制御に基づいて、オペレータに表示する画面を示す情報を入出力装置20に送信する。たとえば、入出力インターフェース18は、USB接続をサポートするものであってもよい。
次に、パラメータテーブルについて説明する。
パラメータテーブルは、物品の基本形状ごとに、物品の撮影に関する撮影パラメータを示す。
基本形状は、物品の外形のカテゴリである。即ち、基本形状は、物品の外形のおおよその形状である。たとえば、基本形状は、立方体、直方体、多角柱、円柱、円錐、球、多角錐又は平面などである。基本形状の内容は、特定の構成に限定されるものではない。
撮影パラメータは、物品の辞書情報を生成するために必要な画像を撮影するためのパラメータである。
図3は、パラメータテーブルの例を示す。図3が示すように、パラメータテーブルは、「基本形状」と「撮影パラメータ」とを対応付けて格納する。
「基本形状」は、基本形状の名称を示す。また、「基本形状」は、基本形状を示すIDなどであってもよい。
「撮影パラメータ」は、対応する基本形状の撮影パラメータを示す。「撮影パラメータ」は、「撮影枚数」、「撮影角度」及び「点灯位置」を対応付けて格納する。なお、「撮影パラメータ」は、図3が示すような構成の他に必要に応じた構成をさらに具備したり、「撮影パラメータ」から特定の構成が除外されたりしてもよい。
「撮影枚数」は、撮影する画像の枚数を示す。
「撮影角度」は、商品を撮影する角度を示す。たとえば、「撮影角度」は、物品を撮影する面などを示す。
「点灯位置」は、物品の撮影時において点灯する照明を示す。「点灯位置」は、撮影角度ごとに点灯する照明を示してもよい。
たとえば、パラメータテーブルは、「立方体」の撮影パラメータとして、「6枚」(撮影枚数)、「正面/裏面/上面/下面/左面/右面」(撮影角度)及び「撮影角度と同方向」(点灯位置)を示す。即ち、パラメータテーブルは、「立方体」の物品の画像を6枚撮影することを示す。また、パラメータテーブルは、「立方体」の物品を正面/裏面/上面/下面/左面/右面から撮影することを示す。また、パラメータテーブルは、「立方体」の物品を撮影する場合には、カメラが撮影する方向を照らす照明を点灯することを示す。
次に、制御装置10が実現する機能について説明する。制御装置10が実現する機能は、プロセッサ11がNVM14などに格納されるプログラムを実行することで実現される。
まず、プロセッサ11は、ターンテーブル32にセットされた物品Aの基本形状の入力を受け付ける機能を有する。
たとえば、プロセッサ11は、入出力装置20を通じて、物品Aの基本形状の入力を受け付ける。プロセッサ11は、入力された基本形状を設定する。
図4は、入出力装置20が基本形状の入力を受け付ける際に表示する画面の例である。図4が示すように、入出力装置20は、アイコン61乃至63を表示する。
アイコン61は、基本形状として「立方体」の入力を受け付ける。
アイコン62は、基本形状として「円柱」の入力を受け付ける。
アイコン63は、基本形状が不明であることの入力を受け付ける。
なお、入出力装置20は、他の基本形状の入力を受け付けるアイコンを表示してもよい。
プロセッサ11は、アイコン61又は62へのタップを検知すると、タップされたアイコン61又は62に対応する基本形状を取得する。また、プロセッサ11は、アイコン63へのタップを検知すると、基本形状が不明であることを認識する。
また、プロセッサ11は、物品Aの基本形状に応じた撮影パラメータを取得する機能を有する。
プロセッサ11は、パラメータテーブルを参照して、基本形状に対応する撮影パラメータを取得する。プロセッサ11は、取得した撮影パラメータを設定する。
なお、基本形状が不明である場合、プロセッサ11は、所定の撮影パラメータを取得してもよい。
また、プロセッサ11は、取得した撮影パラメータに従って物品Aを撮影する機能を有する。
プロセッサ11は、カメラ41乃至43、照明51乃至53及びターンテーブル32を用いて物品Aを撮影する。
たとえば、物品Aの基本形状が「立方体」である場合、図2が示す例では、プロセッサ11は、物品Aの「正面/裏面/上面/下面/左面/右面」を撮影する。撮影の際、プロセッサ11は、各カメラ41乃至43に応じた照明51乃至53を点灯する。
たとえば、プロセッサ11は、照明51を点灯する。照明51を点灯すると、プロセッサ11は、カメラ41を用いて物品Aの「上面」を撮影する。物品Aの「上面」を撮影すると、プロセッサ11は、照明53を点灯する。照明53を点灯すると、プロセッサ11は、カメラ43を用いて物品Aの「下面」を撮影する。
物品Aの「下面」を撮影すると、プロセッサ11は、ターンテーブル32を用いて物品Aを所定の方向に向ける。物品Aを所定の方向に向けると、プロセッサ11は、照明52を点灯する。照明52を点灯すると、プロセッサ11は、カメラ42を用いて物品Aの所定の側面(正面、裏面、左面又は右面)を撮影する。
物品Aの所定の側面(正面、裏面、左面又は右面)を撮影すると、プロセッサ11は、ターンテーブル32を用いて物品Aを所定の方向に向ける。物品Aを所定の方向に向けると、プロセッサ11は、カメラ42を用いて物品Aの他の側面(正面、裏面、左面又は右面)を撮影する。プロセッサ11は、上記の動作を繰り返して、物品Aの正面、裏面、左面及び右面を撮影する。
なお、プロセッサ11は、物品Aの上面、下面及び1つの側面を同時に撮影してもよい。
プロセッサ11は、撮影した画像をNVM14に格納してもよい。また、プロセッサ11は、撮影した画像を外部のメモリに格納してもよい。また、プロセッサ11は、撮影した画像を外部装置に送信してもよい。
次に、制御装置10の動作例について説明する。
図5は、制御装置10の動作例について説明するためのフローチャートである。ここでは、物品Aがターンテーブル32にセットされているものとする。
まず、制御装置10のプロセッサ11は、入出力装置20を通じて、物品Aの基本形状の入力を受け付ける(ACT11)。物品Aの基本形状の入力を受け付けると、プロセッサ11は、物品Aの基本形状を取得できたか判定する(ACT12)。
物品Aの基本形状を取得できたと判定すると(ACT12、YES)、プロセッサ11は、パラメータテーブルを参照して、取得した基本形状に応じた撮影パラメータを取得する(ACT13)。
物品Aの基本形状を取得できない(基本形状が不明である)と判定すると(ACT12、NO)、プロセッサ11は、所定の撮影パラメータを取得する(ACT14)。
基本形状に応じた撮影パラメータを取得した場合(ACT13)、又は、所定の撮影パラメータを取得した場合(ACT14)、プロセッサ11は、取得した撮影パラメータに基づいて物品Aを撮影する(ACT15)。
物品Aを撮影すると、プロセッサ11は、動作を終了する。
なお、プロセッサ11は、物品Aの基本形状が不明である場合には、動作を終了してもよい。
また、撮影装置30は、移動可能なカメラを備えてもよい。この場合、プロセッサ11は、撮影パラメータに従って、カメラを移動して物品Aを所定の角度で撮影する。
また、入出力装置20は、制御装置10と一体的に形成されてもよい。
また、プロセッサ11は、外部装置から撮影パラメータを取得してもよい。
また、プロセッサ11は、物品に対して複数の基本形状を設定してもよい。たとえば、プロセッサ11は、物品の部分に応じて基本形状を設定してもよい。また、プロセッサ11は、物品の各部分を撮影するために、各部分に応じた撮影パラメータを設定してもよい。即ち、プロセッサ11は、物品の部分ごとに異なる撮影パラメータで撮影する。
以上のように構成された画像処理システムは、辞書情報を生成する物品の基本形状を取得する。画像処理システムは、基本形状に基づいて辞書情報の生成に必要な撮影パラメータを設定する。画像処理システムは、設定された撮影パラメータに従って物品を撮影する。その結果、画像処理システムは、辞書情報の生成に不要な画像を撮影することを防止することができる。そのため、画像処理システムは、適切に物品を撮影することができる。
また、画像処理システムは、物品を上部、側部及び下部から撮影する各カメラを備える。その結果、画像処理システムは、オペレータが物品を回転させるなどの動作をしなくとも、必要な画像を撮影することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
第2の実施形態に係る画像処理システムは、プロセッサ11が物品の基本形状を判定する点で第1の実施形態に係る画像処理システム1と異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。
図6は、第2の実施形態に係る画像処理システム1’の構成例を示す。図6が示すように、画像処理システム1’は、制御装置10’、入出力装置20及び撮影装置30’を備える。撮影装置30’は、距離センサ71を備える。
距離センサ71は、筐体31の内部に設置される。ここでは、距離センサ71は、筐体31の上面に下向きで設置される。距離センサ71は、基準点又は基準面から物品の各部までの距離(たとえば、距離センサ71からの距離又は距離センサ71に水平な面からの距離)を測定する。
距離センサ71は、たとえば、光源から照射される光(可視光又は不可視光)の反射光に基づいて距離を測定する。たとえば、距離センサ71は、照射された光が測定対象で反射し距離センサ71に届くまでの時間に基づいて当該測定対象との距離を測定するToF(Time−fo−Flight)方式を行ってもよい。
また、距離センサ71は、3Dカメラから構成されてもよい。距離センサ71は、2つカメラが撮影した各画像の視差に基づいて距離を算出するものであってもよい。
距離センサ71の構成は、特定の構成に限定されるものではない。
次に、制御装置10’の構成例について説明する。
図7は、制御装置10’の構成例を示すブロック図である。図7が示すように、制御装置10’は、距離センサインターフェース19を備える。プロセッサ11と、距離センサインターフェース19とは、データバスなどを介して互いに接続する。
なお、制御装置10’は、図7が示すような構成の他に必要に応じた構成をさらに具備したり、制御装置10’から特定の構成が除外されたりしてもよい。
距離センサインターフェース19は、距離センサ71とデータを送受信するためのインターフェースである。たとえば、距離センサインターフェース19は、プロセッサ11の制御に基づいて、距離センサ71に距離の測定を指示する信号を送信する。また、距離センサインターフェース19は、距離センサ71から、測定した距離を示す信号を取得する。たとえば、距離センサインターフェース19は、USB接続をサポートするものであってもよい。
次に、制御装置10’が実現する機能について説明する。制御装置10’は、制御装置10が実現する機能に加えて以下の機能を実現する。制御装置10’が実現する機能は、プロセッサ11がNVM14などに格納されるプログラムを実行することで実現される。
プロセッサ11は、ターンテーブル32にセットされた物品Aの基本形状を判定する機能を有する。
たとえば、プロセッサ11は、距離センサ71を用いて基準点又は基準面から物品Aの各部までの距離を測定する。プロセッサ11は、測定した距離に基づいて基本形状を判定する。たとえば、プロセッサ11は、測定した距離に基づいて、物品Aの上面及び側面などの形状を判定して、物品Aの基本形状を判定する。
また、プロセッサ11は、カメラ41乃至43を用いて物品Aを撮影する。プロセッサ11は、撮影した画像に基づいて基本形状を判定する。たとえば、プロセッサ11は、各画像のエッジを抽出して物品Aの上面、側面及び下面などの形状を判定する。プロセッサ11は、判定された各形状に基づいて、物品Aの基本形状を判定する。
なお、プロセッサ11は、カメラ41乃至43のいずれか1つ又は2つを用いて撮影した画像に基づいて基本形状を判定してもよい。
また、撮影装置30’は、基本形状を判定するための画像を撮影するカメラをさらに備えてもよい。プロセッサ11は、当該カメラで撮影した画像に基づいて物品Aの基本形状を判定してもよい。
また、プロセッサ11は、距離センサ71を用いて測定した距離及びカメラ41乃至43を用いて撮影した画像に基づいて、物品Aの基本形状を判定してもよい。
ここでは、プロセッサ11は、距離センサ71を用いて測定した距離及びカメラ41乃至43を用いて撮影した画像に基づいて、物品Aの基本形状を判定するものとする。
なお、プロセッサ11が物品Aの基本形状を判定する方法は、特定の方法に限定されるものではない。
また、プロセッサ11は、物品Aの基本形状に応じた撮影パラメータを取得する機能を有する。
基本形状の判定に成功した場合、プロセッサ11は、パラメータテーブルを参照して、判定した基本形状に対応する撮影パラメータを取得する。プロセッサ11は、取得した撮影パラメータを設定する。
なお、基本形状の判定に失敗した場合、プロセッサ11は、所定の撮影パラメータを取得してもよい。
次に、制御装置10’の動作例について説明する。
図8は、制御装置10’の動作例について説明するためのフローチャートである。ここでは、物品Aがターンテーブル32にセットされているものとする。
まず、制御装置10のプロセッサ11は、カメラ41乃至43を用いて、物品Aを撮影する(ACT21)。物品Aを撮影すると、プロセッサ11は、距離センサ71を用いて、距離を測定する(ACT22)。
距離を測定すると、プロセッサ11は、撮影した画像及び測定した距離などに基づいて物品Aの基本形状を判定する(ACT23)。
物品Aの基本形状の判定に成功すると(ACT24、YES)、プロセッサ11は、パラメータテーブルを参照して、判定した基本形状に応じた撮影パラメータを取得する(ACT25)。
物品Aの基本形状の判定に失敗すると(ACT24、NO)、プロセッサ11は、所定の撮影パラメータを取得する(ACT26)。
基本形状に応じた撮影パラメータを取得した場合(ACT25)、又は、所定の撮影パラメータを取得した場合(ACT26)、プロセッサ11は、取得した撮影パラメータに基づいて物品Aを撮影する(ACT27)。
物品Aを撮影すると、プロセッサ11は、動作を終了する。
なお、撮影装置30’は、複数の距離センサを備えてもよい。各距離センサは、互いに異なる基準点又は基準面からの距離を測定する。プロセッサ11は、各距離センサが測定した距離に基づいて物品の基本形状を判定してもよい。
以上のように構成された画像処理システムは、セットされた物品の基本形状を判定する。画像処理システムは、判定された基本形状に応じた撮影パラメータを設定する。画像処理システムは、設定した撮影パラメータに従って物品を撮影する。その結果、画像処理システムは、オペレータが基本形状を入力しなくとも、適切な撮影パラメータを設定することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1及び1’…画像処理システム、10及び10’…制御装置、11…プロセッサ、12…ROM、13…RAM、14…NVM、15…テーブルインターフェース、16…カメラインターフェース、17…照明インターフェース、18…入出力インターフェース、19…距離センサインターフェース、20…入出力装置、30及び30’…撮影装置、31…筐体、31a…仕切り、32…ターンテーブル、32a…円板、41…カメラ、42…カメラ、43…カメラ、51…照明、52…照明、53…照明、61…アイコン、62…アイコン、63…アイコン、71…距離センサ。

Claims (6)

  1. 物品を撮影するカメラから撮影画像を取得するカメラインターフェースと、
    前記物品の基本形状を取得し、
    前記カメラインターフェースを通じて、前記基本形状に応じた撮影パラメータで撮影した撮影画像を前記カメラから取得する、
    プロセッサと、
    を備える画像処理システム。
  2. 前記撮影パラメータは、前記物品を撮影する角度を含む、
    前記請求項1に記載の画像処理システム。
  3. 前記基本形状の入力を受け付ける操作部を備え、
    前記プロセッサは、前記操作部を通じて入力された前記基本形状を取得する、
    前記請求項1又は2に記載の画像処理システム。
  4. 前記プロセッサは、前記基本形状を判定する、
    前記請求項1又は2に記載の画像処理システム。
  5. 前記物品の各部との距離を測定する距離センサを備え、
    前記プロセッサは、前記距離に基づいて、前記基本形状を判定する、
    前記請求項4に記載の画像処理システム。
  6. 物品の基本形状を取得し、
    前記基本形状に応じた撮影パラメータで前記物品を撮影する、
    画像処理方法。
JP2017214553A 2017-11-07 2017-11-07 画像処理システム及び画像処理方法 Pending JP2019087008A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017214553A JP2019087008A (ja) 2017-11-07 2017-11-07 画像処理システム及び画像処理方法
EP18204417.2A EP3480733A1 (en) 2017-11-07 2018-11-05 Image processing system and image processing method
US16/182,468 US20190139245A1 (en) 2017-11-07 2018-11-06 Image processing system and image processing method
CN201811318716.0A CN109756670A (zh) 2017-11-07 2018-11-07 图像处理***及图像处理方法
US17/081,531 US11328438B2 (en) 2017-11-07 2020-10-27 Image processing system and image processing method
JP2022107286A JP2022121671A (ja) 2017-11-07 2022-07-01 画像処理システム及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017214553A JP2019087008A (ja) 2017-11-07 2017-11-07 画像処理システム及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022107286A Division JP2022121671A (ja) 2017-11-07 2022-07-01 画像処理システム及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2019087008A true JP2019087008A (ja) 2019-06-06

Family

ID=64172407

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017214553A Pending JP2019087008A (ja) 2017-11-07 2017-11-07 画像処理システム及び画像処理方法
JP2022107286A Pending JP2022121671A (ja) 2017-11-07 2022-07-01 画像処理システム及び画像処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022107286A Pending JP2022121671A (ja) 2017-11-07 2022-07-01 画像処理システム及び画像処理方法

Country Status (4)

Country Link
US (2) US20190139245A1 (ja)
EP (1) EP3480733A1 (ja)
JP (2) JP2019087008A (ja)
CN (1) CN109756670A (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04106672A (ja) * 1990-08-28 1992-04-08 Hitachi Ltd 物体の照明条件推定方法,物体の3次元情報生成方法,物体の形状と質感の生成方法,物体の形状と質感の生成装置
JP2003042732A (ja) * 2001-08-02 2003-02-13 Topcon Corp 表面形状測定装置及びその方法、表面形状測定プログラム、並びに表面状態図化装置
JP2003042726A (ja) * 2001-08-03 2003-02-13 Topcon Corp 校正用被写体
JP2006053774A (ja) * 2004-08-12 2006-02-23 Kddi Corp 画像処理装置および画像認識装置
JP2011174896A (ja) * 2010-02-25 2011-09-08 Mitsubishi Heavy Ind Ltd 撮像装置及び撮像方法
JP2014126494A (ja) * 2012-12-27 2014-07-07 Seiko Epson Corp 検査支援装置、検査支援方法、ロボットシステム、制御装置、ロボット、及び、プログラム
JP2015049133A (ja) * 2013-08-31 2015-03-16 新協技研株式会社 表面欠陥検査装置および表面欠陥検査方法
JP2016119052A (ja) * 2014-12-23 2016-06-30 東芝テック株式会社 画像認識装置及び商品情報処理装置
JP2016200969A (ja) * 2015-04-09 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20170230584A1 (en) * 2014-09-30 2017-08-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Photography illumination compensation method, compensation apparatus, and user equipment
JP2017152483A (ja) * 2016-02-23 2017-08-31 富士機械製造株式会社 部品装着機

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3311830B2 (ja) * 1993-09-20 2002-08-05 株式会社東芝 3次元動画作成装置
US6407817B1 (en) 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
JP4066488B2 (ja) 1998-01-22 2008-03-26 ソニー株式会社 画像データ生成装置及び画像データ生成方法
JP3052926B2 (ja) 1998-02-27 2000-06-19 日本電気株式会社 三次元座標計測装置
EP2416198B1 (en) 1998-05-25 2013-05-01 Panasonic Corporation Range finder device and camera
JP2002077707A (ja) * 2000-08-30 2002-03-15 Minolta Co Ltd 撮像装置および撮像方法
JP2002150315A (ja) 2000-11-09 2002-05-24 Minolta Co Ltd 画像処理装置および記録媒体
JP4573085B2 (ja) * 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP2003167927A (ja) * 2001-12-03 2003-06-13 Sharp Corp 要素分割装置、要素分割方法、要素分割プログラムおよび要素分割プログラムを記録したコンピュータ読取可能な記録媒体
US7711179B2 (en) * 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
US7756325B2 (en) 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
JP4631760B2 (ja) * 2006-03-17 2011-02-16 カシオ計算機株式会社 デジタルカメラ、画像処理方法及びプログラム
JP4111231B2 (ja) 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP2008154027A (ja) * 2006-12-19 2008-07-03 Seiko Epson Corp 撮影装置、撮影方法、およびプログラム
JP4784555B2 (ja) * 2007-05-25 2011-10-05 トヨタ自動車株式会社 形状評価方法、形状評価装置および三次元検査装置
WO2009110589A1 (ja) 2008-03-07 2009-09-11 株式会社ニコン 形状測定装置および方法、並びにプログラム
KR101251372B1 (ko) 2008-10-13 2013-04-05 주식회사 고영테크놀러지 3차원형상 측정방법
CN103069250B (zh) 2010-08-19 2016-02-24 佳能株式会社 三维测量设备、三维测量方法
CN102375309A (zh) * 2010-08-26 2012-03-14 鸿富锦精密工业(深圳)有限公司 投影机光线调整***及方法
US8600192B2 (en) 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
GB201110156D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
JP5132832B1 (ja) 2011-07-11 2013-01-30 キヤノン株式会社 計測装置および情報処理装置
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
WO2013113007A2 (en) * 2012-01-26 2013-08-01 Alexander Brunner Device and methods for fabricating a two-dimensional image of a three-dimensional object
KR101614061B1 (ko) 2012-03-29 2016-04-20 주식회사 고영테크놀러지 조인트 검사 장치
TWI465825B (zh) 2012-06-27 2014-12-21 Acer Inc 影像擷取裝置與其光源輔助拍攝方法
CN103167232B (zh) * 2012-10-26 2016-04-20 苏州比特速浪电子科技有限公司 摄像装置、图像合成装置及图像处理方法
CN103902241A (zh) * 2012-12-25 2014-07-02 华硕电脑股份有限公司 影像显示***以及影像显示方法
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
JP6480824B2 (ja) * 2015-07-27 2019-03-13 株式会社日立製作所 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム
KR101630154B1 (ko) * 2015-12-31 2016-06-15 주식회사 디앤에스테크놀로지 차량 하부 영상 검색 시스템 및 방법
WO2017119088A1 (ja) * 2016-01-06 2017-07-13 株式会社日立製作所 ロボットシステムおよび制御方法
JP6800597B2 (ja) 2016-03-30 2020-12-16 キヤノン株式会社 制御装置、制御方法およびプログラム
US11176382B2 (en) * 2017-03-06 2021-11-16 Conduent Business Services, Llc System and method for person re-identification using overhead view images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04106672A (ja) * 1990-08-28 1992-04-08 Hitachi Ltd 物体の照明条件推定方法,物体の3次元情報生成方法,物体の形状と質感の生成方法,物体の形状と質感の生成装置
JP2003042732A (ja) * 2001-08-02 2003-02-13 Topcon Corp 表面形状測定装置及びその方法、表面形状測定プログラム、並びに表面状態図化装置
JP2003042726A (ja) * 2001-08-03 2003-02-13 Topcon Corp 校正用被写体
JP2006053774A (ja) * 2004-08-12 2006-02-23 Kddi Corp 画像処理装置および画像認識装置
JP2011174896A (ja) * 2010-02-25 2011-09-08 Mitsubishi Heavy Ind Ltd 撮像装置及び撮像方法
JP2014126494A (ja) * 2012-12-27 2014-07-07 Seiko Epson Corp 検査支援装置、検査支援方法、ロボットシステム、制御装置、ロボット、及び、プログラム
JP2015049133A (ja) * 2013-08-31 2015-03-16 新協技研株式会社 表面欠陥検査装置および表面欠陥検査方法
US20170230584A1 (en) * 2014-09-30 2017-08-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Photography illumination compensation method, compensation apparatus, and user equipment
JP2016119052A (ja) * 2014-12-23 2016-06-30 東芝テック株式会社 画像認識装置及び商品情報処理装置
JP2016200969A (ja) * 2015-04-09 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017152483A (ja) * 2016-02-23 2017-08-31 富士機械製造株式会社 部品装着機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅田 和昇、新井 民夫: ""平面・円筒などの基本形状に着目した粗い距離画像を用いた形状認識"", 精密工学会 学術講演会 講演論文集1959−2002年, JPN6021041625, 25 May 2009 (2009-05-25), JP, pages 59 - 60, ISSN: 0004747533 *

Also Published As

Publication number Publication date
US20210042953A1 (en) 2021-02-11
US20190139245A1 (en) 2019-05-09
EP3480733A1 (en) 2019-05-08
US11328438B2 (en) 2022-05-10
CN109756670A (zh) 2019-05-14
JP2022121671A (ja) 2022-08-19

Similar Documents

Publication Publication Date Title
US9148573B2 (en) Non-uniform correction illumination pattern
US10896521B2 (en) Coordinate calibration between two dimensional coordinate system and three dimensional coordinate system
US20150369593A1 (en) Orthographic image capture system
EP3371779B1 (en) Systems and methods for forming models of three dimensional objects
KR101594023B1 (ko) 레이저 광 사격 시스템
TW201721514A (zh) 基於場景之捕獲影像而產生之距離圖
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
US20140313294A1 (en) Display panel and method of detecting 3d geometry of object
US9875525B2 (en) Image processing device, projector, and image processing method
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
GB2557928A (en) Systems and methods for obtaining data characterizing a three-dimensional object
US10325377B2 (en) Image depth sensing method and image depth sensing apparatus
EP3232153B1 (en) Precision hand-held scanner
US10281997B2 (en) Identification of an object on a touch-sensitive surface
KR102185322B1 (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
JP2019087008A (ja) 画像処理システム及び画像処理方法
US10168833B2 (en) Presentation of a digital image of an object
CN107743628A (zh) Led面发光的结构化光
CN111656778B (zh) 图像采集装置、图像采集方法及采集芯片
KR100879328B1 (ko) 카메라를 이용한 핑거 뎁스 조절 장치 및 방법과 카메라를 이용한 핑거 뎁스 조절 장치를 갖는 터치 스크린
JP5962720B2 (ja) 光照射装置およびプログラム
TWI535288B (zh) 深度攝影機系統
KR101002071B1 (ko) 멀티 적외선 카메라 방식의 투영 영상 터치 장치
KR102433837B1 (ko) 3차원 정보 생성 장치
JP2022106808A (ja) 物品認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412