JP6562072B2 - 地図生成装置、地図生成方法、およびプログラム - Google Patents

地図生成装置、地図生成方法、およびプログラム Download PDF

Info

Publication number
JP6562072B2
JP6562072B2 JP2017511122A JP2017511122A JP6562072B2 JP 6562072 B2 JP6562072 B2 JP 6562072B2 JP 2017511122 A JP2017511122 A JP 2017511122A JP 2017511122 A JP2017511122 A JP 2017511122A JP 6562072 B2 JP6562072 B2 JP 6562072B2
Authority
JP
Japan
Prior art keywords
signs
identification information
map data
pair
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017511122A
Other languages
English (en)
Other versions
JPWO2016163563A1 (ja
Inventor
佐藤 慶明
慶明 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016163563A1 publication Critical patent/JPWO2016163563A1/ja
Application granted granted Critical
Publication of JP6562072B2 publication Critical patent/JP6562072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/004Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • G01C15/06Surveyors' staffs; Movable markers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Description

本発明は、複数の標識を用いた地図の生成に関する。
特許文献1は、移動体の空間的位置を検出する技術を開示している。また、特許文献2は、マーカに基づいて自己位置を算出する移動ロボットを開示している。特許文献2に記載された技術は、あらかじめ定められた場所に設置されたマーカの位置情報や識別情報を地図情報と対応付けて記憶し、この地図情報を用いて移動ロボットの自己位置を算出するものである。
特許文献3は、棚貼付識別子に基づいて倉庫などにおけるピッキング作業を支援するシステムを開示している。また、特許文献4は、撮影時に2つ以上のマーカが写し込まれ、重複領域を有する3枚以上の放射線画像を統合する技術を開示している。
特開平9−021639号公報 特開2006−346767号公報 特開2012−041099号公報 特開2007−229246号公報
特許文献2、3に記載された技術は、あらかじめ記憶された地図に相当する情報に基づいて位置を特定する技術である。また、特許文献4に記載された技術は、同一平面上の画像を統合する技術であり、2次元的な処理である。
一方、本発明の目的は、3次元的な位置の特定に資する地図データを簡便に生成できるようにすることにある。
本発明は、互いに異なる位置に設置され、各々を識別する識別情報が記録された複数の標識の一部である2以上の標識を含む撮影画像を用いて、当該2以上の標識の相対的な位置関係を3次元的に表す座標情報と、当該2以上の標識のそれぞれの識別情報とを特定する特定手段と、前記特定された座標情報と識別情報とに基づいて、前記複数の標識の位置と識別情報とを関連付けた地図データを生成する生成手段とを備え、前記特定手段は、各々が2以上の標識を含み、前記複数の標識の全てが少なくともいずれかの撮影画像に含まれる複数の撮影画像のそれぞれから座標情報及び識別情報を特定し、前記生成手段は、前記複数の撮影画像から特定されたそれぞれの座標情報を、特定の位置を基準とした共通の座標系の値に変換して前記地図データを生成する地図生成装置を提供する。
また、本発明は、互いに異なる位置に設置され、各々を識別する識別情報が記録された複数の標識の一部である2以上の標識を含む撮影画像を用いて、当該2以上の標識の相対的な位置関係を3次元的に表す座標情報と、当該2以上の標識のそれぞれの識別情報とを特定する処理を、各々が2以上の標識を含み、前記複数の標識の全てが少なくともいずれかの撮影画像に含まれる複数の撮影画像について実行し、前記特定された座標情報と識別情報とに基づいて、前記複数の標識の位置と識別情報とを関連付けた地図データを生成する処理であって、前記複数の撮影画像から特定されたそれぞれの座標情報を、特定の位置を基準とした共通の座標系の値に変換して前記地図データを生成する処理を実行する地図生成方法を提供する。
また、本発明は、コンピュータに、互いに異なる位置に設置され、各々を識別する識別情報が記録された複数の標識の一部である2以上の標識を含む撮影画像を用いて、当該2以上の標識の相対的な位置関係を3次元的に表す座標情報と、当該2以上の標識のそれぞれの識別情報とを特定する処理を、各々が2以上の標識を含み、前記複数の標識の全てが少なくともいずれかの撮影画像に含まれる複数の撮影画像について実行するステップと、前記特定された座標情報と識別情報とに基づいて、前記複数の標識の位置と識別情報とを関連付けた地図データを生成するステップであって、前記複数の撮影画像から特定されたそれぞれの座標情報を、特定の位置を基準とした共通の座標系の値に変換して前記地図データを生成する処理を実行するステップとを実行させるためのプログラムを記録したプログラム記録媒体を提供する。
本発明によれば、3次元的な位置の特定に資する地図データを簡便に生成することが可能である。
図1は、地図生成装置100の構成の一例を示すブロック図である。 図2は、生成部120による座標変換を例示する図である。 図3は、地図生成装置100が実行する処理の一例を示すフローチャートである。 図4は、ピッキング支援装置200のハードウェア構成の一例を示すブロック図である。 図5は、標識が設置される状態を例示する図である。 図6は、標識の一例を示す図である。 図7は、ピッキング支援装置200の機能的構成を示すブロック図である。 図8は、ピッキング支援装置200が実行する処理の一例を示すフローチャートである。 図9は、ピッキング支援装置200の機能的構成の一例を示すブロック図である。 図10は、標識のペアを説明するための図である。 図11は、ピッキング支援装置200が実行する処理の一例を示すフローチャートである。 図12は、ペア毎の特定回数のリスト(降順リスト)を例示する図である。 図13は、地図データに追加するペアの順序を例示する図である。 図14は、ペアデータに関するヒストグラムを例示する図である。
[第1実施形態]
図1は、本発明の一実施形態に係る地図生成装置100の構成を示すブロック図である。地図生成装置100は、特定部110と生成部120とを備える情報処理装置である。特定部110及び生成部120は、例えば、CPU(Central Processing Unit)等の演算処理装置が所定のプログラムを実行することによって実現されるものである。地図生成装置100には、画像データを供給する撮影手段(イメージセンサなど)又は画像データを記憶する記憶手段(ハードディスクなど)が接続される。
地図生成装置100は、地図データを生成するための情報処理装置である。ここでいう地図データは、ある空間の位置を3次元的に表す情報であり、位置の目印となる所定の標識(マーカともいう。)を用いて生成されるものである。ここにおいて、標識は、所定の空間に複数設けられ、それぞれが互いに異なる位置に設置される。
また、標識は、あらかじめ決められたサイズ及び形状を有し、各々を識別する識別情報を記録したものである。ここでいうサイズ及び形状は、標識を掲示する物体のサイズ及び形状(外形)であってもよいが、当該物体に標識として掲示された文字や図形のサイズ及び形状であってもよい。例えば、本実施形態の標識は、あらかじめ決められたサイズ及び形状を有する表示媒体(台紙など)の上に識別情報が記録されたものであってもよいし、不定形の表示媒体の上にあらかじめ決められたサイズ及び形状を有する標識が印刷等されたものであってもよい。なお、識別情報の値は、ここでは所定の桁数の数字であるとする。
例えば、マーカ型AR(Augmented Reality)において用いられるマーカ(いわゆるARマーカ)は、本実施形態の標識に用いることが可能である。ARマーカを標識として用いると、標識の位置と姿勢を表現する同次変換行列を撮影画像から容易に求めることが可能である。そのほか、QRコード(登録商標)やバーコードも、本実施形態の標識として用いることが可能である。
特定部110は、撮影手段により撮影され、標識を含む撮影画像を用いて、当該標識の座標情報と識別情報とを特定する。座標情報は、所定の座標系で表現された標識の位置の情報と姿勢の情報とを少なくとも含む。特定部110は、2以上の標識を撮影範囲に含む撮影画像を用いて、これらの標識の相対的な位置関係を表す座標情報を特定する。特定部110は、座標情報及び識別情報の特定を複数の撮影画像について実行する。
特定部110は、撮影画像における標識のサイズと実際のサイズとの差に基づいて、当該標識の基準位置からの距離を特定することができる。ここでいう基準位置は、例えば、撮影手段が当該画像を撮影した位置である。また、特定部110は、撮影画像における標識の形状と実際の形状の差(すなわち歪み)に基づいて、当該標識の姿勢を特定することが可能である。なお、特定部110による標識の距離及び姿勢の特定は、周知技術によって実現可能である。
特定部110は、同一の撮影画像に含まれる2以上の標識の相対的な位置関係を、所定の座標系を用いて特定する。ただし、特定部110は、複数の撮影画像について、それぞれ共通の座標系を用いて標識の位置を特定する必要はない。すなわち、特定部110は、撮影範囲に含まれる標識の座標の記述に適した適当な座標系を用いて2以上の標識の相対的な位置関係を特定すればよい。
例えば、特定部110は、撮影画像に2以上の標識が含まれる場合に、これらの標識のうちの識別情報が最も小さい標識の位置を座標系の原点とし、当該標識の位置を基準として他の標識の位置を特定する。例えば、特定部110は、標識を含む平面にx軸及びy軸を定義するとともに標識の所定の位置(中心、頂点など)を原点とし、このxy平面に直交する方向をz軸とした3次元直交座標系によって各標識の位置関係を表現する。この場合、原点の位置は、撮影画像毎に異なる。
ここで、視点の位置、すなわち撮像位置を基準とした第1の座標系による座標を(x,y,z)、標識の位置を基準とした第2の座標系による座標を(x,y,z)とした場合、これらの座標系は、同次変換行列を用いて次の(1)式のようにベクトルで表現することができる。この同次変換行列は、行列の左上から3行3列の成分が姿勢(回転成分)を表し、第4列の成分(m14,m24,m34)が位置(並進成分)を表す。同次変換行列の具体的な値は、撮像位置に応じて変動するが、撮影画像から一意的に得られる。
Figure 0006562072
撮影画像に複数の標識が含まれる場合、特定部110は、それぞれの標識について同次変換行列を求めることができる。また、特定部110は、同一の撮影位置を基準とした複数の標識の同次変換行列を用いて、いずれかの標識の位置を基準(すなわち原点)とした同次変換行列を求めることができる。例えば、識別情報が「1」の標識と「2」の標識とがあった場合において、それぞれの同次変換行列をM、Mとしたとき、次の(2)式が成り立つ。ここにおいて、M12は、識別情報が「1」の標識の位置を基準とした場合の識別情報が「2」の標識の位置を表す同次変換行列である。また、M −1は、行列Mの逆行列である。
Figure 0006562072
識別情報が「1」の標識の位置を基準とした場合、識別情報が「2」の標識の座標は、同次変換行列M12の並進成分によって表される。具体的には、同次変換行列M12の第i行第j列の値をM12(i,j)と表記する場合、識別情報が「2」の標識の座標は、次の(3)式によって表される。
Figure 0006562072
なお、撮影画像は、撮影手段から直接供給されるものであってもよいし、撮影手段から記憶手段に一旦蓄積されたものであってもよい。特定部110が座標情報及び識別情報を特定する順序は、撮影画像が撮影された順序と一致しているか否かを問わない。
また、撮影画像は、地図データの生成対象である空間内に設置された全部の標識を一度に撮影したもの(すなわち、全部の標識を同一の撮影範囲に含むもの)である必要はなく、同一の撮影範囲に一部の標識のみを含んでいればよい。ただし、各々の標識は、地図データの生成に用いられるためには、少なくともいずれか1つの撮影画像には他の標識とともに含まれている必要がある。
生成部120は、特定部110により個々の撮影画像から特定された標識の位置及び識別情報に基づいて、地図データを生成する。生成部120は、個々の撮影画像に応じた座標系、換言すれば統一されていない座標系で記述された標識の座標を、識別情報を用いて共通の座標系の値に変換することで地図データを生成する。
図2は、生成部120による座標変換を例示する図である。ここにおいて、第1の撮像画像を表す画像データD1は、標識A、Aを含む。画像データD1において、標識A、Aの座標は、上述した(1)〜(3)式より、それぞれ(0,0,0)、(x,y,z)と表現することができる。また、第2の撮像画像を表す画像データD2は、第1の撮影画像と重複する標識Aと、第1の撮影画像と重複しない標識Aとを含む。標識A、Aの座標は、同様に、それぞれ(0,0,0)、(x,y,z)を表現することができる。
標識Aの座標は、画像データD1と画像データD2とでは座標系が異なるため、互いに異なる値になる。しかし、生成部120は、これらの座標に対応する識別情報が同一であることから、同じ標識を表す座標であると認識することができる。生成部120は、これらの座標系の相対的な位置関係を特定することができれば、標識Aの座標を画像データD1と共通の座標系、すなわち標識Aを原点とする座標系の値に変換することができる。
生成部120は、この座標変換を実現するために、各標識の姿勢を算出する。本実施形態においては、標識の姿勢をオイラー角で表すものとする。オイラー角は、ここでは、z軸周りにγ、y軸周りにβ、x軸周りにαの順番で回転させた、いわゆるZ−Y−Xオイラー角であるとするが、必ずしもこれに限定されない。
(1)式に示す同次変換行列が与えられた場合、オイラー角は、逆三角関数を用いて、以下の(4)式のように定まる。ここにおいて、atan2(y,x)は、2次元平面上の点(x,y)の偏角を求める逆正接関数を意味し、その値域は−π≦atan2(y,x)<πである。また、同次変換行列をオイラー角を用いて表現した場合、以下の(5)式のようになる。なお、説明の便宜上、(5)式においては、並進成分を0としている。
Figure 0006562072
Figure 0006562072
ここで、標識Aを原点とする座標系によって標識Aの座標を表す同次変換行列をM13とし、標識Aを原点とする座標系によって標識Aの座標を表す同次変換行列をM23とすると、以下の(6)式が成り立つ。すなわち、同次変換行列M13は、(2)式に示した同次変換行列M12と同次変換行列M23の積によって表すことができる。なお、同次変換行列M23は、同次変換行列M12を(2)式を用いて算出した場合と同様の要領で算出可能である。
Figure 0006562072
さらに、標識Aの座標(x,y,z)は、(3)式と同様の要領によって次の(7)式のように表現することができる。
Figure 0006562072
つまり、生成部120は、変換後の座標系での値が既知の標識と未知の標識とを含む撮影画像があった場合、当該未知の標識の変換後の座標を同次変換行列の積によって特定することが可能である。したがって、生成部120は、複数の標識が(単一ではなく)複数の撮影画像に分散して含まれるように撮影されても、当該複数の標識の座標を行列演算の繰り返しによって共通の座標系で記述することが可能である。
図3は、地図生成装置100による地図生成処理を示すフローチャートである。地図生成装置100は、所定の終了条件を満たすまで、ステップSA1〜SA6に示すループ処理を繰り返し実行する。終了条件は、例えば、撮影手段による撮影が終了したこと、あらかじめ用意された画像データの全てについて処理を実行したこと、所定数の標識について処理を実行したことなどである。
ステップSA2において、地図生成装置100の特定部110は、未処理の画像データのいずれかを取得する。特定部110は、記憶手段に蓄積された画像データを順次読み出してもよいし、撮影手段から画像データが供給されるまで処理を待機してもよい。
画像データを取得したら、特定部110は、取得した画像データから2以上の標識が認識できるか否かを判断する(ステップSA3)。特定部110は、2以上の標識が認識できない場合、すなわち撮影画像中に含まれる標識の数が0又は1である場合には(ステップSA3:NO)、後述するステップSA4、SA5の処理をスキップする。
例えば、図2に示した画像データD1を取得した場合、特定部110は、標識A、Aを認識することができ、ステップSA3において肯定的な判断を行う。一方、標識A、Aの一方又は双方が撮影範囲に含まれていなかったり、正確に認識できなかったりした場合には、特定部110は、ステップSA3において否定的な判断を行う。
2以上の標識が認識できた場合(ステップSA3:YES)、特定部110は、それぞれの標識の座標情報を特定する(ステップSA4)。特定部110は、ここでは、それぞれの標識の相対的な位置関係を特定する。したがって、このとき特定される座標は、地図データの座標系と一致していなくてもよい。
次に、生成部120は、地図データを更新する(ステップSA5)。地図データの更新とは、地図データに対して新たな標識の情報(座標情報及び識別情報)を追加することをいう。生成部120は、地図データが初期状態、すなわちいずれの標識の情報も含まない状態であれば、ステップSA4の処理を最初に実行した標識の座標情報及び識別情報をそのまま地図データに追加する。例えば、図2に示した画像データD1を取得した場合、生成部120は、標識A、Aの座標情報及び識別情報をそのまま地図データに追加する。
一方、いずれかの標識の情報が地図データに既に含まれている場合、すなわち2回目以降のループ処理においては、生成部120は、今回認識された標識と同一の識別情報を有する標識の情報が地図データに含まれているか否かを判断する。生成部120は、このような標識の情報が地図データに含まれていれば、今回認識された標識の中に地図データに含まれていない標識があるか否かをさらに判断し、地図データに含まれていない標識があれば、当該標識の座標を変換する。
例えば、図2に示した画像データD1を既に取得し、標識A、Aが地図データに追加されていた場合において、画像データD2を新たに取得した場合、生成部120は、画像データD2に含まれる標識A、Aのいずれかの情報が地図データに含まれているか判断する。この場合、標識Aが既に地図データに追加されているため、生成部120は、(6)、(7)式を用いて標識Aの座標を変換する。
なお、ステップSA5において、地図データに新たな標識の情報を追加することができなかった場合、生成部120は、当該標識の情報を一時的に記憶し、地図データに追加可能な状態になってから追加することが可能である。地図データに新たな標識の情報を追加できない場合とは、具体的には、撮影画像に含まれるいずれの標識の識別情報も地図データに含まれていない場合である。一方、このような撮影画像に含まれる標識の少なくともいずれかの識別情報が地図データに追加されると、当該撮影画像に含まれる他の標識の情報が地図データに追加可能になる。
地図生成装置100は、ステップSA1〜SA6のループ処理を繰り返すことにより、複数の標識の情報を地図データに順次追加することが可能である。なお、地図生成装置100は、このループ処理を終了した後に、座標系の原点の位置を適当な位置に移動させてもよい。すなわち、地図データにおける原点の位置は、地図生成処理において最初に設定された原点の位置に限定されない。
以上のとおり、本実施形態によれば、所定の空間に設置された複数の標識について、2以上の標識を含むように撮影された複数の撮像画像を用いることによって、当該複数の標識を関連付けた地図データを生成することが可能である。ユーザ(地図の作成者)は、少なくとも2つの標識が含まれる撮影画像を複数用意すればよいため、(より多くの標識を識別可能な状態で含むような)高解像度の画像データを必要としない。
また、本実施形態によれば、標識から座標情報と識別情報とが特定可能であるため、これらの情報をユーザが入力する必要がない。したがって、ユーザは、地図データの生成に要するデータ入力を減らすことが可能である。この効果は、標識の数が多くなるほど顕著になる。
地図生成装置100によって生成された地図データは、物品の位置特定などに利用することができる。例えば、地図生成装置100によって生成された地図データは、多数の物品を標識と対応付けて所定の空間に収容した場合に、特定の物品の位置を指示したり報知したりすることが可能である。
[第2実施形態]
図4は、本発明の別の実施形態に係るピッキング支援装置200のハードウェア構成を示すブロック図である。ピッキング支援装置200は、ユーザ(作業者)によるピッキング作業を支援するための情報処理装置であり、上述した地図生成装置100の具体例の一つである。ピッキング支援装置200は、制御部210と、記憶部220と、カメラ部230と、UI(User Interface)部240と、光照射部250とを備える。
ここにおいて、ピッキング作業とは、工場、倉庫などの作業場において、複数の物品(部品、原料、素材、商品など)の中から目的の物品を選び出す作業をいう。それぞれの物品は、他の物品と重複しない特定の標識と関連付けられている。それぞれの標識は、物品の近傍等の特定の位置に、貼付されるなどして設置されている。ピッキング支援装置200は、例えば、ユーザが作業場内において物品をピッキングしながら運搬するための台車に搭載され、ユーザとともに移動する。
図5は、標識が設置される状態を例示する図である。本実施形態において、それぞれの物品は、棚の決められた場所(区画)に収納されている。物品は、容器、引き出し、箱などに収容されてもよく、また、ユーザから見える位置にあっても見えない位置にあってもよい。標識Aは、物品の収納場所に対応するように設けられる。なお、標識Aは、ここでは棚に貼付されているが、物品を収容する容器などに貼付されていてもよいし、棚以外の壁面に貼付されていてもよい。また、標識A及び棚の数や配置は、特に限定されない。また、棚は、物品を収納するための面と物品を取り出すための面が別にあってもよい。
図6は、標識の一例を示す図である。ここにおいて、標識Aは、いわゆるARマーカである。標識Aの色は、識別を容易にするためにモノクロ(白地に黒)であってもよいが、色自体を情報として用いる場合にはより多色であってもよい。標識Aは、所定の形状の枠a1と、識別情報を視覚化した識別パターンa2とを有する。枠a1は、ここでは、所定のサイズの正方形である。識別パターンa2は、1又は複数の文字や記号であってもよいし、所定の規則で配置された線やドットによって形成されたパターンであってもよい。
なお、標識は、物品と必ずしも関連付けられていなくてもよい。すなわち、標識には、特定の物品と関連付けられたものとそうでないものとがあってもよい。物品が関連付けられていない標識は、地図データの生成には用いられるが、ピッキング作業における位置の報知の対象としては用いられなくてもよい。
制御部210は、ピッキング支援装置200の各部の動作を制御する。制御部210は、CPUなどの演算処理装置と、主記憶装置に相当するメモリとを備え、プログラムを実行することによって各部の動作を制御する。制御部210は、例えば、カメラ部230による撮影を制御したり、UI部240による情報の出力を制御したりすることができる。また、制御部210は、地図生成処理を実行する。
記憶部220は、制御部210が用いるデータを記憶する。記憶部220は、ハードディスク、フラッシュメモリなどの記憶媒体を備える。記憶媒体は、いわゆるメモリカードのように、ピッキング支援装置10に対して着脱可能であってもよい。また、ピッキング支援装置200は、記憶媒体とデータをやり取りする手段を備えていれば、記憶媒体自体を備えていなくてもよい。
記憶部220は、プログラムや地図データを記憶することができる。また、記憶部220は、物品の識別情報(物品名、品番など)と標識の識別情報の関連付けを表すデータ(以下「対応表」という。)を記憶する。ユーザは、ピッキング作業の前にこの対応表を用意し、ピッキング支援装置200に登録する。
カメラ部230は、標識を撮影する。カメラ部230は、1又は複数のイメージセンサを備える。カメラ部230は、本実施形態においては、デジタルビデオカメラ、すなわち動画を撮影する手段であるとするが、デジタルスチルカメラ、すなわち静止画を撮影する手段であってもよい。本実施形態において、カメラ部230によって撮影された個々のフレームは、撮影画像に相当する。カメラ部230のフレームレートは、例えば30fps(frames per second)程度であるが、必ずしもこれに限定されない。カメラ部230は、ズーム機能や回転機能を有し、撮影範囲を変更可能であってもよい。
なお、地図データの生成時において、カメラ部230は、1つの撮影画像に必ずしも複数の標識を含まなくてもよい。例えば、ピッキング支援装置200が動画を撮影しながら移動する場合には、2以上の標識が撮影範囲に含まれないフレームが生じ得る。ピッキング支援装置200は、このようなフレームが生じた場合には、当該フレームを地図データの生成に用いずに破棄すればよい。
UI部240は、ユーザとの間で情報を授受する。UI部240は、例えば、液晶ディスプレイ等の表示装置を出力手段として備える。また、UI部240は、スピーカを含んで構成されてもよい。UI部240は、入力手段としてマウスやキーパッドを備えてもよいし、入力手段と出力手段を兼ねるタッチスクリーンディスプレイを備えてもよい。
光照射部250は、ユーザに位置を報知するための光を照射する。光照射部250は、例えば、インコヒーレントな光をビーム状に照射するLED(Light Emitting Diode)コリメータイルミネータ等の光源と、光源を移動又は回転させて光の照射方向を変更する駆動手段(雲台、モータ等)とを備える。光照射部250は、具体的には、標識又はその近傍(物品の収納位置を含む。)に向けて光を照射する。
ピッキング支援装置200の構成は、以上のとおりである。ユーザは、このような構成のピッキング支援装置200をピッキング作業に利用することができる。ピッキング支援装置200は、地図データを生成する第1の機能と、生成した地図データに基づいて物品の位置を報知する第2の機能とを有する。第1の機能は、ピッキング作業前に用いられる機能であり、第2の機能を実行可能にするための準備段階に相当する機能であるともいえる。一方、第2の機能は、ピッキング作業時に用いられる機能である。
図7は、ピッキング支援装置200の第1の機能に係る機能的構成を示すブロック図である。ピッキング支援装置200は、制御部210が所定のプログラムを実行することにより、特定部211、統計処理部212及び生成部213に相当する機能を実現する。なお、特定部211及び生成部213の機能は、それぞれ、第1実施形態の特定部110及び生成部120と同様である。特定部211は、カメラ部230により撮影された画像データを取得し、標識の3次元座標及び識別情報を特定する。また、生成部213は、地図データを生成し、記憶部220に格納する。
統計処理部212は、特定部211により特定された座標情報又は識別情報に対して統計処理を実行する。ここでいう統計処理は、特定部211により特定された複数の数値を分析し、必要に応じて取捨選択することをいう。統計処理部212は、例えば、誤認識された識別情報や誤差が重畳した座標情報を破棄する。このとき、生成部213は、統計処理部212により破棄された値を除外して地図データを生成する。統計処理部212は、例えば、カルマンフィルタやパーティクルフィルタを用いることにより、誤認識された識別情報や誤差が重畳した座標情報を特定することができる。また、統計処理部212は、同一の標識が複数フレームの撮像画像に繰り返し出現する特質を利用し、出現する回数が相対的に少ない標識の識別情報や座標情報を破棄してもよい。
なお、本実施形態も、第1実施形態と同様に、統計処理部212を備えない構成によっても実施可能である。ただし、統計処理部212を用いた場合、カメラ部230の撮影条件(明るさ等)や標識の一部が別の被写体(人物)によって遮蔽(オクルージョン)されることによる影響を減らし、地図データの精度をより高めることが可能である。
本実施形態の地図生成処理は、第1実施形態における地図生成処理(図3参照)と同様である。ただし、ピッキング支援装置200は、図3に示した処理に加え、誤認識された識別情報や誤差が重畳した座標情報を破棄する処理を実行してもよい。また、ピッキング支援装置200は、識別情報により同一であると特定された標識が複数の撮影画像に含まれる場合には、いずれかの撮影画像のみを座標の特定に用いてもよい。あるいは、ピッキング支援装置200は、識別情報により同一であると特定された標識が複数の撮影画像に含まれる場合には、それぞれの撮影画像から座標を特定し、その平均値や中央値を用いて地図データを生成してもよい。
なお、ピッキング支援装置200は、地図生成処理を、カメラ部230による撮影と並行して実行してもよいし、カメラ部230による撮影の終了後、すなわち全部の標識が撮影された後に実行してもよい。また、ピッキング支援装置200は、標識の情報が破棄された場合に、UI部240を介して撮影のやり直しを促してもよい。
また、ピッキング支援装置200は、いずれかの標識の位置を地図データの原点としてもよいし、空間内の所定の位置を地図データの原点としてもよい。さらには、ピッキング支援装置200は、ユーザによる原点の入力を受け付けてもよい。
図8は、第2の機能に係る処理を示すフローチャートである。ユーザは、ピッキング作業時に、ピッキング対象の物品の識別情報を入力する。ピッキング支援装置200の制御部210は、ユーザからの入力に応じて図8に示す処理を実行する。なお、ここにおいて、制御部210は、上述した対応表によって物品と標識の対応関係を特定可能であり、また、地図データを生成済みであるとする。
制御部210は、UI部240を介して物品の識別情報を取得する(ステップSB1)。また、制御部210は、カメラ部230から画像データを取得する(ステップSB2)。制御部210は、物品の識別情報の取得を契機に撮影を開始してもよいが、ピッキング作業時に常時撮影を行っていてもよい。
制御部210は、画像データから1又は複数の標識を認識する(ステップSB3)。制御部210は、画像データから1又は複数の標識を認識できなかった場合、標識を認識するまで撮影範囲を変更する。制御部210は、撮影位置、撮影方向及び撮影倍率の少なくともいずれかを変更することによって撮影範囲を変化させる。なお、撮影範囲は、ユーザがピッキング支援装置200を移動させたり撮影倍率を変更したりすることによっても変化する。
制御部210は、画像データから標識を認識すると、自装置の位置を算出する(ステップSB4)。制御部210は、標識のサイズ及び形状に基づいて、自装置と当該標識との相対的な位置関係を算出することが可能である。このとき、制御部210は、認識した標識の位置と地図データとを比較することにより、自装置の位置を地図データの座標系における座標によって特定することが可能である。
なお、画像データから複数の標識を認識した場合、制御部210は、それぞれの標識を用いて自装置の座標を算出し、算出したそれぞれの座標の平均値や中央値を自装置の座標として用いてもよい。あるいは、制御部210は、自装置との距離が最も近い標識を用いて自装置の座標を算出したり、それぞれの標識を用いて算出された座標に対して距離に応じた重み付けを付与してから平均値を算出したりすることも可能である。これは、自装置との距離が近い標識を用いるほど誤差が少なくなると考えられるためである。
制御部210は、自装置の位置を算出したら、ステップSB1において取得した識別情報、すなわちピッキング対象の物品の識別情報に対応する標識の位置を算出する(ステップSB5)。制御部210は、ピッキング対象の物品に対応する標識を対応表を用いて特定し、当該標識の位置を地図データを用いて特定する。さらに、ピッキング支援装置200は、自装置の位置を基準とした場合の標識の位置を算出する。
そして、ピッキング支援装置200は、ステップSB5において算出した位置をユーザに報知する(ステップSB6)。例えば、このときピッキング支援装置200は、UI部240に自装置の位置と標識の位置とを示す地図を表示し、ピッキング対象の物品に対応する標識の位置や当該位置までの経路をユーザに案内してもよいし、音声によって当該標識の位置を案内してもよい。
あるいは、ピッキング支援装置200は、ピッキング対象の物品に対応する標識の位置に光を照射してもよい。ピッキング支援装置200は、ピッキング対象の物品に対応する標識がカメラ部230の撮影範囲外にある場合であっても、当該標識の位置に光を照射することが可能である。また、ピッキング支援装置200は、自装置が移動している場合においても、ステップSB1〜SB6の処理を反復的に実行することにより、移動後の位置に基づいて光を照射することが可能である。
なお、ユーザは、ピッキング対象の物品をピッキングしたら、次のピッキング対象の物品の識別情報を入力する。ピッキング支援装置200は、物品の識別情報の入力を受け付けると、ステップSB1〜SB6の処理を再度実行する。ユーザは、必要な物品のピッキングが終了するまで、物品の識別情報の入力を繰り返す。
以上のとおり、本実施形態によれば、地図データを生成することに加え、ユーザによる物品のピッキング作業を地図データを用いて補助することが可能である。ユーザは、音、光又は画像によって物品の収納位置を知ることができる。
[第3実施形態]
本実施形態は、上述した第2実施形態の変形例である。本実施形態は、全体的な構成については第2実施形態と同様であるが、ピッキング支援装置200によって実現される機能(特に、地図生成処理に関する機能)が第2実施形態と相違する。なお、本実施形態において、第2実施形態と同一の符号が付された構成要素は、第2実施形態において説明された構成要素と共通するものである。本実施形態においては、第2実施形態と共通する事項の説明は省略される。
図9は、ピッキング支援装置200の第1の機能に係る機能的構成を示すブロック図である。ピッキング支援装置200は、制御部210が所定のプログラムを実行することにより、特定部211、統計処理部212及び生成部213に加え、分割部214及びデータベース部215に相当する機能を実現する。
分割部214は、撮影画像に3以上の標識が含まれる場合に、これらの標識の組み合わせを分割して複数のペアを定義する。分割部214は、撮影画像に含まれる3以上の標識を、隣り合う標識毎のペアにする。ここにおいて、隣り合う標識とは、ある方向について連続する2つの標識をいい、当該方向にみたときに他の標識を間に含まない標識の組み合わせ(対)をいう。以下においては、ペア毎の座標及び識別情報のことを「ペアデータ」という。データベース部215は、ペアデータを記憶する。
統計処理部212は、統計処理を実行する点においては第2実施形態と共通するが、ペアデータに対して統計処理を実行する点において第2実施形態と相違する。より詳細には、本実施形態の統計処理部212は、標識のペアについて信頼度を算出する手段として機能する。統計処理部212は、ペアデータをデータベース部215に格納するとともに、必要に応じてこれを読み出して信頼度を算出する。生成部213は、統計処理部212により算出された信頼度を用いて地図データを生成する点において第2実施形態と相違する。
図10は、本実施形態における標識のペアを説明するための図である。なお、標識は、ここでは説明の便宜上、一方向にのみ並んでいるものとするが、複数の方向に並んでいてもよく、当該複数の方向毎にペアが定義されてもよい。
図10に示すように、同一の撮影画像に標識A、A、A、Aが含まれていた場合、分割部214は、これらの標識をAとA、AとA、AとAの3対のペアに分割する。データベース部215は、これらのペア毎にペアデータを記憶する。ペアデータは、同一のペアに対して複数存在し得る。例えば、複数の撮影画像に同一のペアが含まれる場合には、当該ペアについて複数のペアデータがデータベース部215に記録される。
図11は、地図生成処理を示すフローチャートである。ピッキング支援装置200は、所定の終了条件を満たすまで、ステップSC1〜SC6に示すループ処理を繰り返し実行する。終了条件は、例えば、あらかじめ決められた個数の標識についてペアデータを記録したこと、所定の回数又は時間ループ処理を繰り返したことなどである。また、ピッキング支援装置200は、ユーザの操作に基づいてループ処理を終了してもよい。
ステップSC2において、ピッキング支援装置200の特定部211は、未処理の画像データのいずれかを取得する。次に、特定部211は、ステップSC2において取得した画像データから標識を認識し、認識した標識の個数を判断する(ステップSC3)。具体的には、特定部211は、認識した標識の数が1個以下か、2個か、3個以上かに応じて異なる処理を実行する。
ステップSC3において3個以上の標識を認識した場合、分割部214は、標識を複数のペアに分割する(ステップSC4)。一方、ステップSC3認識した標識が2個である場合、撮影画像は、1対のペアのみを含んでいるといえる。この場合、分割部214は、ステップSC4の処理をスキップする。また、ステップSC3において認識した標識が1個以下である場合、分割部214は、ステップSC4、SC5の処理をスキップする。
ステップSC5において、分割部214は、座標をペア毎に特定し、ペアデータを記録する。分割部214は、同一の画像データから複数のペアデータを生成する場合、それぞれのペアデータの座標系を異なる座標系にしてもよい。例えば、分割部214は、それぞれのペアデータに含まれる標識の特定の一方の位置を原点とし、他方の標識との位置関係に基づいて座標を算出する。分割部214は、以降、同一のペアについてペアデータを記録する場合には、この特定の一方の標識の位置を原点にする。
終了条件を満たすまでループ処理が繰り返されたら、統計処理部212は、ペア毎に信頼度を算出する(ステップSC7)。信頼度は、例えば、ペアを構成する標識の座標情報(位置及び姿勢)の標準偏差の逆数である。信頼度は、複数のペアデータの間で座標情報のばらつきが大きいほど小さい(低い)値になる。すなわち、信頼度は、ペアを構成する標識の座標の誤差が少ないほど大きい(高い)値になる。なお、統計処理部212は、複数のペアデータが記録されていないペアについては、信頼度を算出しなくてよい。
全てのペアの信頼度が算出されたら、生成部213は、地図データを生成する(ステップSC8)。地図データの生成に際し、生成部213は、信頼度の高いペアを優先的に用いる。具体的には、生成部213は、信頼度が最も高いペアを地図データに最初に追加する。このとき、生成部213は、同一のペアについて複数の座標が特定された場合には、その平均値を座標として用いる。なお、生成部213は、信頼度が所定の閾値を下回るペアや、信頼度が算出されなかったペアの座標情報を地図データに追加しなくてもよい。
以上のとおり、本実施形態によれば、隣り合う標識をペアにし、その位置関係を特定することにより、地図データの生成に際して信頼度を評価することが可能になる。したがって、本実施形態によれば、信頼度が高いペアを優先的に用いて地図データの精度をより高くすることが可能である。
[変形例]
本発明は、上述した実施形態と異なる形態でも実施可能である。例えば、本発明に対しては、以下の変形例を適用することが可能である。また、本発明は、これらの実施形態及び変形例を組み合わせたり、一部を置き換えたりした形態でも実施可能である。
(1)変形例1
ピッキング支援装置200は、ペアの特定回数を信頼度として用いてもよい。例えば、標識の識別情報の誤認識により生成されたペアは、そうでないペアに比べ、特定回数が少なくなる傾向がある。また、特定回数が多いペア、すなわちよく多く撮影された標識のペアは、その位置関係がより高精度に特定されることを期待できる。そこで、統計処理部214は、同一のペアとして特定された回数が多いペアほど信頼度を高くする。
生成部213は、例えば、信頼度が所定の閾値を下回るペアを用いずに地図データを生成してもよい。あるいは、生成部213は、特定回数が上位80%以上のペアや、特定回数が最多のペアの10%以上の特定回数であるペアのみを用いて地図データを生成してもよい。
(2)変形例2
ピッキング支援装置200は、地図データに追加するペアの順番をペアの特定回数に基づいて決定してもよい。例えば、生成部214は、特定回数がより多いペアを地図データに優先的に追加してもよい。
図12は、ペア毎の特定回数のリスト(以下「降順リスト」という。)を例示する図である。降順リストは、標識のペアを特定回数が多い順(すなわち降順)に順位付けしたリストである。また、降順リストは、地図データに追加されたか否かを示す追加済みフラグを含む。ピッキング支援装置200は、このような降順リストを記憶部220に記憶し、地図データの更新に伴って降順リストも更新する。なお、標識Aは、ここでは識別情報が誤認識された標識を意味する。
図13は、地図データに追加するペアの順序を例示する図である。生成部213は、図12に示した降順リストを記憶している場合に、図13に示す順序で地図データにペアを追加する。生成部213は、特定回数が最も多いペアを地図データに最初に追加する。図13の例においては、特定回数が最も多いペアは、標識A、Aのペアである。生成部213は、標識A、Aのペアを地図データに追加したら、当該ペアに対応する追加済みフラグを「0」から「1」に変更する。
次に、生成部213は、降順リストを参照し、追加済みフラグが「0」であり、かつ地図データに既に追加されている標識を含むペアを検索する。換言すれば、生成部213は、地図データに既に追加されている標識と地図データにまだ追加されていない標識とによって構成されるペアを検索する。生成部213は、検索条件に該当するペアが複数ある場合には、特定回数が多いペアを先に地図データに追加する。
ここで、図13を参照すると、標識A、Aのペアの次に地図データに追加可能なペアは、標識A、Aのいずれかを含むペアである。すなわち、このとき地図データに次に追加可能なペアは、標識A、Aのペアと、標識A、Aのペアである。生成部213は、降順リストに基づき、特定回数がより多い標識A、Aのペアを地図データに先に追加する。
次に、標識A、Aのペアを追加した場合、その次に地図データに追加可能なペアは、標識A、Aのいずれかを含むペアである。すなわち、地図データに次に追加可能なペアは、標識A、Aのペアと、標識A、Aのペアである。生成部213は、降順リストに基づき、特定回数がより多い標識A、Aのペアを地図データに先に追加する。
生成部213は、同様の要領で、標識A〜Aを順次地図データに追加する。なお、この例において、生成部213は、特定回数が所定の閾値(ここでは「100」)以上のペアのみを地図データに追加するようにしている。したがって、特定回数が「100」未満であるペアは、ここでは地図データに追加されない。
以上のように、ピッキング支援装置200は、降順リストを用いることで、標識をペアの特定回数によらずに地図データに追加する場合に比べ、地図データの精度をより高くすることが可能である。
(3)変形例3
ピッキング支援装置200は、ペアデータの外れ値を除外して地図データを生成してもよい。ここでいう外れ値は、データベース部215に記録された同一のペアを構成するペアデータのうち、座標又は姿勢の値(x,y,z,α,β,γ)が他のペアデータと比べて大きく異なるペアデータのことである。ピッキング支援装置200は、例えば、標準偏差を用いて外れ値を特定することが可能である。
図14は、あるペアデータに関するヒストグラムを例示する図である。このヒストグラムは、一方の標識の位置を基準、すなわち原点とした場合の他方の標識のx成分の分布を示している。なお、この例において、x成分の真値は500(mm)であり、最頻値と一致している。しかし、図14には、真値から大きく外れる値も含まれている。このような値は、例えば、実際には別のペアを認識していたにもかかわらず識別情報を誤認識したり、あるいは外乱や映像のブレによって大きな偶然誤差が加わったりしたものである。
統計処理部212は、x成分の平均値を算出する場合に、例えば、上位25%又は下位25%に分布する値を除外し、残りの最頻値付近の50%の値のみを用いる。この場合、統計処理部212は、ペアデータが1000個記録されたとしたら、このうちの500個のみを平均値の算出に用いる。
(4)変形例4
本発明に係る標識は、書き換え可能であってもよい。例えば、本発明に係る標識は、いわゆる電子ペーパーのような表示装置であってもよいし、ロイコ染料などのリライタブル記録材料を用いて記録されてもよい。また、本発明に係る標識は、撮影方向に対して立体形状を有し、表面の凹凸によって情報を表すものであってもよい。
(5)変形例5
本発明に係る撮影手段は、いわゆるステレオカメラや距離画像カメラを用いてもよい。ここにおいて、距離画像カメラとは、撮影画像に含まれる被写体の奥行き(距離)を計測可能な撮影手段をいう。距離画像カメラの計測方式には、例えばTOF(Time Of Flight)方式がある。このような撮影手段を用いた場合、撮影位置からの距離に関する座標情報をより容易に取得することが可能である。
(6)変形例6
地図生成装置100及びピッキング支援装置200の形状や外観は、特に限定されない。例えば、ピッキング支援装置200は、台車に搭載されるのではなく、ユーザが身に着けることができるように構成されたウェアラブルデバイスであってもよい。具体的には、ピッキング支援装置200は、HMD(Head Mounted Display)の形態であってもよい。あるいは、ピッキング支援装置200は、表示手段としてプロジェクタを備え、ピッキング対象の物品に関する情報を当該物品の近傍などに投映してもよい。この場合において、ピッキング支援装置200は、ピッキング対象の物品以外の場所を暗くしてもよい。
また、ピッキング支援装置200は、ロボットアームを備え、ロボットアームによって物品をピッキングしたり物品の位置を報知したりすることも可能である。さらに、ピッキング支援装置200は、自動運転機能を備え、移動及びピッキング作業を自動で(すなわちユーザが介在せずに)実行してもよい。
また、ピッキング支援装置200は、光照射部250に代えて、標識又は物品の近傍に設置された報知機(ランプ等)との通信手段を備えてもよい。この場合、ピッキング支援装置200は、報知対象の物品に対応する報知機と通信し、当該報知機を動作させる。
ピッキング支援装置200は、複数の装置の協働によって実現されてもよい。例えば、ピッキング支援装置200は、その一部の構成が台車に搭載される一方、他の構成がネットワークを介して接続されるサーバ装置などによって実現されてもよい。また、ピッキング支援装置200は、第1の機能に係る構成と第2の機能に係る構成とを別の装置によって構成することも可能である。
(7)変形例7
本発明は、地図生成装置100及びピッキング支援装置200といった装置の形態に限定されない。本発明は、上述したような地図データを1又は複数の装置を用いて生成する方法の形態や、コンピュータが実行可能なプログラム(又は当該プログラムを記録した記録媒体)の形態によっても提供可能である。
この出願は、2015年4月9日に出願された日本出願特願2015−080164を基礎とする優先権を主張し、その開示の全てをここに取り込む。
100 地図生成装置
110 特定部
120 生成部
200 ピッキング支援装置
210 制御部
211 特定部
212 統計処理部
213 生成部
220 記憶部
230 カメラ部
240 UI部
250 光照射部

Claims (8)

  1. 互いに異なる位置に設置され、各々を識別する識別情報が記録された複数の標識の一部である2以上の標識を含む撮影画像を用いて、当該2以上の標識の相対的な位置関係を3次元的に表す座標情報と、当該2以上の標識のそれぞれの識別情報とを特定する特定手段と、
    前記特定された座標情報と識別情報とに基づいて、前記複数の標識の位置と識別情報とを関連付けた地図データを生成する生成手段とを備え、
    前記特定手段は、各々が2以上の標識を含み、前記複数の標識の全てが少なくともいずれか1つの撮影画像に含まれる複数の撮影画像のそれぞれから、座標情報及び識別情報を特定し、
    前記生成手段は、前記複数の撮影画像から特定されたそれぞれの座標を、特定の位置を基準とした共通の座標系に変換して前記地図データを生成し、
    前記特定手段は、前記撮影画像に3以上の標識が含まれる場合に、隣り合う標識のペア毎に座標情報を特定し、
    前記特定手段は、撮影位置又は撮影方向が異なる複数の撮影画像に基づいて、同一のペアについて複数の異なる座標情報を特定し、
    前記同一のペアを用いてペア毎の信頼度を算出する算出手段を備え、
    前記生成手段は、前記算出された信頼度を用いて前記地図データを生成する、
    地図生成装置。
  2. 前記生成手段は、重複する標識と重複しない標識とを含む2つの撮影画像から特定された座標のそれぞれを、前記共通の座標系に変換する
    請求項1に記載の地図生成装置。
  3. 前記生成手段は、前記共通の座標系が既知の標識と未知の標識とを含む撮影画像から特定された当該未知の標識の座標を、当該既知の標識との位置関係に基づいて前記共通の座標系に変換する
    請求項2に記載の地図生成装置。
  4. 前記特定手段は、撮影位置又は撮影方向が異なる複数の撮影画像に基づいて、同一の標識について複数の座標情報を特定し、
    前記特定された座標情報又は識別情報に対して統計処理を実行する統計処理手段を備え、
    前記生成手段は、前記統計処理の結果を用いて前記地図データを生成する
    請求項1から請求項3までのいずれか1項に記載の地図生成装置。
  5. 前記算出手段は、前記同一のペアについての前記特定手段による特定回数を前記信頼度として用いる
    請求項1から請求項4までのいずれか1項に記載の地図生成装置。
  6. 前記撮影画像は、所定のフレームレートで撮影された動画の一部である
    請求項1から請求項までのいずれか1項に記載の地図生成装置。
  7. 互いに異なる位置に設置され、各々を識別する識別情報が記録された複数の標識の一部である2以上の標識を含む撮影画像を用いて、当該2以上の標識の相対的な位置関係を3次元的に表す座標情報と、当該2以上の標識のそれぞれの識別情報とを特定する処理を、各々が2以上の標識を含み、前記複数の標識の全てが少なくともいずれかの撮影画像に含まれる複数の撮影画像について実行し、
    前記特定された座標情報と識別情報とに基づいて、前記複数の標識の位置と識別情報とを関連付けた地図データを生成する処理であって、前記複数の撮影画像から特定されたそれぞれの座標情報を、特定の位置を基準とした共通の座標系に変換して前記地図データを生成する処理を実行し、
    前記特定する処理では、前記撮影画像に3以上の標識が含まれる場合に、隣り合う標識のペア毎に座標情報を特定し、
    前記特定する処理では、撮影位置又は撮影方向が異なる複数の撮影画像に基づいて、同一のペアについて複数の異なる座標情報を特定し、
    前記同一のペアを用いてペア毎の信頼度を算出する処理をさらに実行し、
    前記生成する処理では、前記算出された信頼度を用いて前記地図データを生成する、
    地図生成方法。
  8. コンピュータに、
    互いに異なる位置に設置され、各々を識別する識別情報が記録された複数の標識の一部である2以上の標識を含む撮影画像を用いて、当該2以上の標識の相対的な位置関係を3次元的に表す座標情報と、当該2以上の標識のそれぞれの識別情報とを特定する処理を、各々が2以上の標識を含み、前記複数の標識の全てが少なくともいずれかの撮影画像に含まれる複数の撮影画像について実行するステップと、
    前記特定された座標情報と識別情報とに基づいて、前記複数の標識の位置と識別情報とを関連付けた地図データを生成するステップであって、前記複数の撮影画像から特定されたそれぞれの座標情報を、特定の位置を基準とした共通の座標系に変換して前記地図データを生成する処理を実行するステップと、を実行させ、
    前記特定する処理では、前記コンピュータに、前記撮影画像に3以上の標識が含まれる場合に、隣り合う標識のペア毎に座標情報を特定させ、
    前記特定する処理では、前記コンピュータに、撮影位置又は撮影方向が異なる複数の撮影画像に基づいて、同一のペアについて複数の異なる座標情報を特定させ、
    前記同一のペアを用いてペア毎の信頼度を算出するステップをさらに前記コンピュータに実行させ、
    前記生成する処理では、前記コンピュータに、前記算出された信頼度を用いて前記地図データを生成させる
    ためのプログラム。
JP2017511122A 2015-04-09 2016-04-11 地図生成装置、地図生成方法、およびプログラム Active JP6562072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015080164 2015-04-09
JP2015080164 2015-04-09
PCT/JP2016/062188 WO2016163563A1 (ja) 2015-04-09 2016-04-11 地図生成装置、地図生成方法及びプログラム記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016163563A1 JPWO2016163563A1 (ja) 2018-02-22
JP6562072B2 true JP6562072B2 (ja) 2019-08-21

Family

ID=57072395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017511122A Active JP6562072B2 (ja) 2015-04-09 2016-04-11 地図生成装置、地図生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US10415966B2 (ja)
JP (1) JP6562072B2 (ja)
WO (1) WO2016163563A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806049B2 (ja) * 2015-04-09 2021-01-06 日本電気株式会社 情報処理装置、情報処理システム、位置報知方法及びプログラム
JP6853031B2 (ja) * 2016-12-16 2021-03-31 日鉄テックスエンジ株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP6719435B2 (ja) * 2017-09-25 2020-07-08 Kddi株式会社 端末装置及びプログラム
CN107571260B (zh) * 2017-10-25 2021-02-26 南京阿凡达机器人科技有限公司 控制机器人抓取物体的方法和装置
CN108195354A (zh) * 2017-12-21 2018-06-22 长沙长泰机器人有限公司 一种基于机器人的车辆定位方法和车辆定位***
US10846561B1 (en) * 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
CN110956660B (zh) * 2018-09-26 2023-10-10 深圳市优必选科技有限公司 定位方法、机器人以及计算机存储介质
CN114999308A (zh) * 2018-11-19 2022-09-02 深圳市海柔创新科技有限公司 地图生成方法、装置、计算机可读存储介质和计算机设备
JP7235493B2 (ja) * 2018-12-19 2023-03-08 Jfeプラントエンジ株式会社 コード位置検出装置及びコード位置検出方法
JP7163760B2 (ja) * 2018-12-25 2022-11-01 株式会社デンソーウェーブ 位置関係検出装置及び位置関係検出システム
US10997776B2 (en) * 2019-02-23 2021-05-04 Microsoft Technology Licensing, Llc Connecting spatial anchors for augmented reality
EP3982084A1 (en) * 2019-06-05 2022-04-13 Beijing Whyhow Information Technology Co., Ltd Relative positioning device, and corresponding relative positioning method
CN112149659B (zh) * 2019-06-27 2021-11-09 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN111324116B (zh) * 2020-02-14 2021-09-21 南京航空航天大学 基于粒子滤波的机器人定位方法
US11922271B1 (en) 2020-05-15 2024-03-05 Scandit Ag Virtual screen standby mode for mobile device camera
JP7213204B2 (ja) * 2020-06-15 2023-01-26 Kddi株式会社 端末装置、端末装置における方法及びプログラム
US11495036B1 (en) 2021-01-29 2022-11-08 Scandit Ag Segmenting images for optical character recognition

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921639A (ja) 1995-07-10 1997-01-21 Nippon Telegr & Teleph Corp <Ntt> 学習型位置検出システム
JP4599184B2 (ja) 2005-02-02 2010-12-15 キヤノン株式会社 指標配置計測方法、指標配置計測装置
JP4300199B2 (ja) 2005-06-13 2009-07-22 株式会社東芝 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム
JP4865362B2 (ja) 2006-03-01 2012-02-01 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP2013141049A (ja) * 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末
JP2012041099A (ja) 2010-08-12 2012-03-01 Nec Corp ピッキング作業支援システムおよびピッキング作業支援方法
JP5334145B1 (ja) * 2012-06-29 2013-11-06 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援システム
JP6192454B2 (ja) * 2013-09-17 2017-09-06 ウエストユニティス株式会社 表示システム

Also Published As

Publication number Publication date
US10415966B2 (en) 2019-09-17
WO2016163563A1 (ja) 2016-10-13
US20180120106A1 (en) 2018-05-03
JPWO2016163563A1 (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6562072B2 (ja) 地図生成装置、地図生成方法、およびプログラム
JP6806049B2 (ja) 情報処理装置、情報処理システム、位置報知方法及びプログラム
US11049280B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
JP6789002B2 (ja) 画像処理装置
US20180260669A1 (en) Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP2019114103A (ja) 物体認識処理装置、物体認識処理方法及びプログラム
JP2018151830A (ja) 画像処理装置、画像処理方法及びプログラム
KR102207725B1 (ko) 다중 측량 모드의 3차원 측량 시스템 및 측량방법
JP2020022157A (ja) 点検システム及び点検方法
KR20100062320A (ko) 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
JP2020082274A (ja) 画像処理装置およびその制御方法、プログラム
JP2014202567A (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP2011095131A (ja) 画像処理方法
JP2021170272A (ja) 測位システム、測位装置、測位方法および測位プログラム
JP2014035635A (ja) 対象物管理システム
KR20170067023A (ko) 도면 검사 장치 및 방법
JP7366651B2 (ja) 棚撮像装置及び情報処理装置
JP6484603B2 (ja) 情報処理装置、システム、情報処理方法、及び、プログラム
JPWO2021111613A1 (ja) 3次元地図作成装置、3次元地図作成方法、及び3次元地図作成プログラム
US11915356B2 (en) Semi-automatic 3D scene optimization with user-provided constraints
CN113554703B (zh) 机器人定位方法、装置、***和计算机可读存储介质
WO2022172471A1 (ja) 支援システム、画像処理装置、支援方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R150 Certificate of patent or registration of utility model

Ref document number: 6562072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150