JP7199845B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP7199845B2
JP7199845B2 JP2018116378A JP2018116378A JP7199845B2 JP 7199845 B2 JP7199845 B2 JP 7199845B2 JP 2018116378 A JP2018116378 A JP 2018116378A JP 2018116378 A JP2018116378 A JP 2018116378A JP 7199845 B2 JP7199845 B2 JP 7199845B2
Authority
JP
Japan
Prior art keywords
image
reading
image processing
photographing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116378A
Other languages
English (en)
Other versions
JP2019220829A (ja
Inventor
千明 三河
知也 浅沼
悠也 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018116378A priority Critical patent/JP7199845B2/ja
Priority to CN201980040646.3A priority patent/CN112369007B/zh
Priority to KR1020217000014A priority patent/KR102457013B1/ko
Priority to EP19822637.5A priority patent/EP3813353A4/en
Priority to PCT/JP2019/022846 priority patent/WO2019244685A1/ja
Publication of JP2019220829A publication Critical patent/JP2019220829A/ja
Priority to US17/119,819 priority patent/US11363208B2/en
Application granted granted Critical
Publication of JP7199845B2 publication Critical patent/JP7199845B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Character Input (AREA)

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
近年、遠隔地に設置されたカメラのパン、チルト、ズームを、ネットワークを介して監視側の端末から制御可能なシステムが普及しつつある。特許文献1には、このような監視システムにおいて、撮像された画像の一部をマウスなどのポインティングデバイスによって指定し、指定された箇所を撮像するように、カメラを制御する技術が開示されている。また、特許文献2には、在庫管理するためにカメラでバーコードを読み取る在庫管理システムが開示されている。
特開2011-142685号公報 特開2011-150460号公報
しかしながら、従来技術においては、撮像対象物が複数存在する場合には、個々にパンチルトズームを指定して撮影する必要があり、処理に時間がかかるという問題があった。
本発明はこのような問題点に鑑みなされたもので、撮像対象物が複数存在する場合において、撮影に係る処理の負荷を軽減し、処理時間を短縮することを目的とする。
そこで、本発明は、画像処理装置であって、全体画像に基づいて、前記全体画像に含まれる、複数の読取範囲を特定する特定手段と、前記読取範囲を撮影した結果に含まれる荷札の画像の、前記荷札の種類を判定する判定手段と、荷札の種類と、ズーム倍率とを対応付けたテーブルを参照し、前記複数の読取範囲の撮影時のズーム倍率を設定する設定手段と、前記設定手段により設定された前記ズーム倍率を用いて前記複数の読取範囲のうち第1の読取範囲を撮影するよう撮像装置を制御する撮影制御手段と、前記第1の読取範囲の撮影の後に、撮影範囲を前記複数の読取範囲のうち前記第1の読取範囲と異なる第2の読取範囲に変更するよう前記撮像装置を制御する変更制御手段と、を有し、前記撮影制御手段は、前記設定手段により設定された前記ズーム倍率を用いて、前記第2の読取範囲を撮影するよう前記撮像装置を制御することを特徴とする。
本発明によれば、撮像対象物が複数存在する場合において、撮影に係る処理の負荷を軽減し、処理時間を短縮することができる。
画像処理システムの全体構成図である。 画像処理装置のハードウェア構成図である。 NWカメラの外観図である。 NWカメラのハードウェア構成図である。 準備処理を示すフローチャートである。 撮影画面の一例を示す図である。 設定画面の一例を示す図である。 読み取り処理を示すフローチャートである。 検出結果の一例を示す図である。 積荷を示す図である。 準備処理を示すフローチャートである。 マッチングモデルを示す図である。 設定画面の一例を示す図である。 テスト画面の一例を示す図である。 ファイルの一例を示す図である。 読み取り処理を示すフローチャートである。 撮影画面の一例を示す図である。 読み取り画面の一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
図1は、画像処理システムの全体構成図である。本実施形態に係る画像処理システムは、工場等において搬入された積荷を撮影し、積荷に付されたバーコードを読み取り、予め登録されたバーコードの内容と照合することにより、荷物等が予定通り搬入されたことを確認するシステムである。さらに、本実施形態においては、撮影対象となる積荷に含まれる各荷物に荷札が添付されており、各荷札にバーコードが記されているものとする。本実施形態に係る画像処理システムは、各荷物に添付された荷札それぞれに記されたバーコードを順次読み取り、照合する。なお、本実施形態においては、画像処理装置100による読み取り及び照合の対象がバーコードである場合を例に説明するが、読み取り及び照合の対象は、バーコードに限定されるものではない。読み取り対象の他の例としては、数字、文字や記号そのものであったり、これらの情報を一定の規則に従って表した図形など形状を表すものであってもよい。
画像処理システムは、画像処理装置100と、NW(network)カメラ110と、DB(database)120と、POE(Power over Ethernet)ハブ130とを有している。画像処理システムはまた、PLC(programmable logic controller)140と、センサ150とを有している。
POEハブ130は、画像処理装置100、NWカメラ110、DB120及びPLC140に接続し、各部との通信を行うと共に、各部に電源を供給する。DB120には、搬入予定の複数の荷物に添付された複数の荷札それぞれに記されたバーコードの内容が予め登録されている。PLC140は、画像処理システムの全体を制御する。センサ150は、予め定められた場所に積荷が搬入されたことを検知する。
画像処理装置100は、POEハブ130を介して、NWカメラ110と接続し、後述する制御コマンドを送信することによりNWカメラ110による撮影を制御する。NWカメラ110は、積荷Aの搬入場所を撮影するように設置されており、画像処理装置100の制御の下、積荷Aの画像を撮影する。ここで、積荷Aは、荷札が添付された複数の荷物が積み上げられたものである。画像処理装置100は、さらに、NWカメラ110により得られた画像を、POEハブ130を介して受信する。画像処理装置100は、受信された画像においてバーコードが記された荷札の画像を検出し、バーコードの読み取りを行う。画像処理装置100は、画像から読み取ったバーコードの情報とDB120に記憶されているバーコードの情報との照合を行う。これにより、荷物等が予定通り搬入されたことを確認することができる。なお、本実施形態においては、荷物の搬入を例に説明するが、荷物の搬出時の照合にも適用可能である。
図2は、画像処理装置100のハードウェア構成図である。画像処理装置100は、CPU201と、ROM202と、RAM203と、ディスプレイ204と、HDD205と、入力装置206と、メディアドライブ207と、I/F208とを有している。CPU201は、ROM202に記憶された制御プログラムを読み出して各種処理を実行する。RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD205は、各種データや各種プログラム等を記憶する。ディスプレイ204は、各種情報を表示する。入力装置206は、ユーザによる各種操作を受け付ける。メディアドライブ207は、SDカード等のメディアからのデータの読み出しやメディアへのデータの書き込み等を行う。I/F208は、外部装置との通信を行う。
なお、後述する画像処理装置100の機能や処理は、CPU201がROM202又はHDD205に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU201は、ROM202等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。また、他の例としては、画像処理装置100の機能や処理の少なくとも一部は、例えば複数のCPU、RAM、ROM、及びストレージを協働させることにより実現してもよい。また、他の例としては、画像処理装置100の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。
図3は、NWカメラ110の外観図である。301はパン駆動部であり、パンモータの駆動によりパン方向304で示す方向へ鏡筒部303の向きを変更させる。302はチルト駆動部であり、チルトモータの駆動によりチルト方向305で示す方向へ鏡筒部303の向きを変更させる。また、レンズ含む鏡筒部303は、ローテートモータの制御により、レンズ中心位置を中心に、ローテート方向306で示す方向に回転可能である。また、鏡筒部303はフォーカスレンズやズームレンズを含み、それぞれステッピング・モータにより駆動される。NWカメラ110は、ドーム307によって全体を覆われている。
図4は、NWカメラ110のハードウェア構成図である。NWカメラ110は、ネットワークを介して外部の装置と通信可能な撮像装置である。401はレンズ部、402はCCD部、403は信号処理部、404は画像解析部、405は符号化部、406は通信処理部である。以下、NWカメラ110で撮像された画像データを画像処理装置100へ配信するまでの処理を説明する。レンズ部401から取り込まれた光学画像はCCD部402でRGBデジタルデータに変換された後、信号処理部403へ送信される。信号処理部403では、RGBデジタルデータをYCbCr4:2:0フォーマットまたはYCbCr4:2:2フォーマットのデジタルデータ(画像データ)に変換する処理、要求された送信画像の画像サイズへの変換処理、各種フィルタ処理等を行う。処理された画像データは画像解析部404に送信されると同時に符号化部405へも送信される。そして、画像データは、通信処理部406によってネットワークを介して外部の装置へ送信される。
符号化部405では、画像データを、所定のフォーマット、例えば、H.264フォーマットまたはJPEGフォーマットへ符号化圧縮する処理を実行する。符号化部405で生成されたH.264の動画ストリームデータまたは各JPEG静止画データは、通信処理部406によりTCP/IP、HTTPあるいはRTP等のネットワークプロトコルに従って、画像処理装置100へ送信される。
画像解析部404では、撮像された画像データを解析して目的とする画像中に被写体や指定条件の画像パターンが含まれているかどうかを検出する処理を行う。信号処理部403、画像解析部404、符号化部405、及び通信処理部406の各処理ブロックはCPU411と接続されている。407はカメラ制御部であり、モータ駆動部408及びレンズ駆動部410と接続されている。カメラ制御部407は、CPU411からの指示に従って、カメラのパン・チルト・ローテーション動作(パン方向、チルト方向への移動、及び光軸を中心とする回転)のための制御信号やズームやAF(オートフォーカス)動作のための制御信号を出力する。
また、カメラ制御部407は、RAM413に記憶されている可視範囲設定及び可動範囲設定の少なくとも一方に従って、NWカメラ110の可視範囲及び可動範囲の少なくとも一方を制御する。モータ駆動部408にはモータ駆動回路等が備えられており、カメラ制御部407からの制御信号に従ってパン・チルト・ローテーションモータ409を駆動し、モータの回転によってカメラの撮像方向を変更することが可能となる。410はレンズ駆動部であり、ズーム、AF等の各制御を行うためのモータとモータ駆動回路を備えていて、カメラ制御部407からの制御信号に従って制御される。
411はCPU(中央演算処理装置)であり、ROM(リードオンリーメモリ)412に格納されている制御プログラムを実行することで、装置全体の動作を制御する。CPU411には、ROM412、RAM413、及びFLASHメモリ414が接続されている。また、CPU411は、信号処理部403、画像解析部404、符号化部405、及び通信処理部406とも接続し、各処理ブロックに対して動作の開始・停止、動作条件の設定、動作結果の取得等を実行することで各処理ブロックの制御を行う。ROM412には、CPU411がアプリケーション処理等、本装置の制御を行うためのプログラムやデータが格納されている。
RAM413は、CPU411がROM412のプログラムを実行する際に、データの書込/読出を行うメモリである。このRAM413には、CPU411が装置制御におけるプログラム実行に使用するワークエリア、一時退避エリア等が備えられている。RAM413は、撮像可能な画角の範囲を指定する可視範囲設定と、パン方向、チルト方向及びズーム方向への移動可能な範囲を指定する可動範囲設定との少なくとも一方を記憶する。
CPU411は、通信処理部406を介して画像処理装置100から受信した制御コマンドに応じて撮影方向や、ズーム倍率を変更する。CPU411は、NWカメラ110から中心位置とズーム倍率を指定した制御コマンドを受信した場合には、この制御コマンドに従い、指定された位置が撮影中心となるようにパンチルトを制御し、指定されたズーム倍率になるようズームを制御する。
図5は、画像処理装置100による、準備処理を示すフローチャートである。準備処理は、NWカメラの撮影位置の設定やバーコードの読み取りのための各種設定を行う処理である。図6は、準備処理の実行開始時に表示される撮影画面600の一例を示す図である。
S500において、CPU201は、NWカメラ110に対し、積荷Aの全体が撮影範囲内に含まれるような全体画像を撮影するように制御する。なお、全体画像を撮影する際に、ユーザは、撮影画面600の領域601において、パンチルトズームの設定を行うことができる。CPU201は、ユーザ操作により設定されたパンチルトズームの設定に従い、制御コマンドを生成し、制御コマンドをNWカメラ110宛に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、全体画像を取得し、画像処理装置100宛に送信する。CPU201は、領域610に受信された全体画像を表示するよう制御する。
次に、S501において、CPU201は、積荷Aの領域をバーコード検出の対象となる検出範囲として設定する。CPU201は、具体的には、エッジ検出等予め設定された画像認識処理に従い、積荷Aの領域を検出し、検出された領域の座標をバーコードの検出範囲として設定する。さらに、撮影画面600の領域602において、ユーザは、検出範囲を変更することができる。CPU201は、ユーザ操作が行われた場合には、ユーザ操作に従い、検出範囲を変更する。CPU201は、検出範囲を示す枠611を全体画像に重畳して表示する。
次に、S502において、CPU201は、ユーザ操作に応じて、検出範囲の分割数を取得し、これを検出範囲の分割数として設定する。具体的には、ユーザが、撮影画面600の領域603において縦横の分割数を入力すると、CPU201は、この入力に従い、分割数を決定する。例えば、図6の例では、荷物は、横に3個、縦に5個並んでいるので、ユーザは、3×5の分割数を入力する。CPU201は、ユーザが入力した値にしたがって分割数を設定した後、分割数に応じて検出範囲を均等に分割するための分割線612を検出範囲内に描画する。CPU201はまた、各分割領域に撮影順を示す番号を割り当てて、分割領域ごとに割り当てられた番号614を表示する。なお、CPU201は、後述するズーム撮影時の撮影中心の位置を示すバツ印613も表示する。バツ印613は初期状態では、各分割領域の中心に表示される。
次に、S503において、CPU201は、ユーザが撮影画面600の領域604において、ズーム撮影の中心位置の補正値を入力すると、入力に従いズーム撮影の中心位置を現在の位置(初期状態では分割領域の中心位置)から移動させて補正する。CPU201は、さらにズーム撮影の中心位置の移動に応じて、バツ印613の表示位置を移動させる。ユーザは、補正値を変更することで、読み取りの対象となるバーコード上にズーム撮影の中心位置が重なるように調整する。
次に、S504において、CPU201は、ユーザが撮影画面600の領域605において、ズーム倍率を入力すると、入力に従いズーム撮影におけるズーム倍率を設定する。ここで、領域605で設定されるズーム倍率は、領域601で設定されるズーム倍率よりも大きい。よって、領域605で設定されるズーム倍率で撮影された全体画像に比べて、領域601で設定されるズーム倍率で撮影されたズーム画像の撮影範囲は狭い。CPU201はさらに、設定されたズーム倍率およびズーム撮影の中心位置に応じて定まる撮影範囲615を全体画像に重畳して表示する。ここで、撮影範囲615は、バーコード読み取りのための読取範囲の一例であり、S502~S504の処理は、複数の分割領域それぞれと対応するズーム画像の撮影範囲、すなわちバーコードの読取範囲を一括して特定するための特定処理の一例である。
例えば、ズーム倍率が10と指定された場合には、全体画像における縦方向及び横方向共に10分の1の領域が撮影できるものとする。全体画像の幅をbaseW、高さをbaseHとする。また、ズーム倍率をcurZoomとする。ズーム撮影範囲の幅をzoomW、高さをzoomHとする。このとき、ズーム撮影の範囲は以下の通りとなる。

zoomW=baseW÷curZoom
zoomH=baseH÷curZoom
CPU201は、ユーザが領域606に分割領域を指定する番号を入力し、テスト移動ボタン607を押下すると、指定された番号と対応する分割領域に対してS503で設定されたズーム撮影の中心位置を取得する。そして、その中心位置を撮影中心とし、S504で設定されたズーム倍率での撮影を行うための制御コマンドを生成し、制御コマンドをNWカメラ110へ送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。そして、CPU201は、領域610に、NWカメラ110から受信されたズーム画像を表示するよう制御する。ユーザは、領域610に表示されたズーム画像において、バーコードが適切に撮影されているかを確認し、必要に応じて領域605に入力された値を変更することで、ズーム倍率を調整することができる。ここで、CPU201は、領域605に入力された値が変更されると、制御コマンドを生成し直し、NWカメラ110に送信する。NWカメラ110は新しい制御コマンドにしたがって撮影処理を行い、新たにズーム画像を取得して画像処理装置100に送信する。これによって、CPU201は、変更を反映したズーム倍率で撮影処理されたズーム画像をNWカメラ110から受信して領域610に表示することができ、ユーザは変更の結果を確認することができる。
次に、S505において、CPU201は、ユーザが領域608において指定した撮影順をズーム画像の撮影順として設定する。本実施形態においては、撮影順には縦撮影と横撮影の2種類が選択可能であるものとする。縦撮影は、同じ列の分割領域について縦方向に順に撮影した後、右隣の列に移動して同じ列の分割領域について縦方向に順に撮影する。横撮影は、同じ行の分割領域について横方向に順に撮影した後、下隣の行に移動して同じ行の分割領域について横方向に順に撮影する。このように、隣接する分割領域を順に撮影することで、次の撮影範囲を撮影するためのパンチルトの移動量を少なくすることができる。図6には、縦撮影が設定された場合の撮影順を示している。横撮影が設定されると、撮影順の表示も変更される。なお、上述の撮影順は例示であり、パンチルトの移動量が少なくなる撮影順であれば、他の撮影順であっても構わない。
次に、S506において、CPU201は、基準画像を読み込む。ここで、基準画像とは、ズーム画像の読み取り対象を設定するための基準となる画像である。例えば、S504において領域610に表示されたズーム画像がHDD205に記憶されており、基準画像として読み込まれる。次に、S507において、CPU201は、ユーザ操作に応じて、読み取り対象(本実施形態ではバーコード)の読み取りに係る各種設定を行う。図7は、各種設定を行う際のユーザ操作を受け付ける設定画面700の一例を示す図である。ユーザは、設定画面700において、各種設定を入力する。設定画面700の領域710には、基準画像が表示される。読込ボタン701が押下されると、予めHDD205に記憶されたズーム画像が基準画像として読み出されて表示される。なお、撮影ボタン702が押下された場合に、NWカメラ110に制御コマンドを送信して撮影を要求し、これに応答してNWカメラ110により撮影された画像を受信して、基準画像として表示するようにしてもよい。領域指定703の操作により、バーコード読み取りの対象となる矩形範囲が指定される。また、領域704には、読み取りの対象となるバーコードの種類が入力される。領域705には、ズーム画像において検出されるバーコードの数が入力される。領域706には、バーコードの読み取り結果と照合し、値を取得するための辞書が選択される。設定画面700において、バーコード読み取りに係る設定が変更される都度、前記設定に基づいてCPU201は基準画像からバーコードの値を読み取る処理を実行する。そして、CPU201が、読み取られたバーコードと辞書を照合して得られた値711を画像に重畳して領域710に表示する。これにより、ユーザはバーコード読み取りに係る各種設定が適切か確認することができる。以上で、準備処理が完了する。
図8は、読み取り処理を示すフローチャートである。積荷が搬入されると、センサ150が積荷を検出し、PLC140に通知する。PLC140は、センサ150から通知を受け取ると、画像処理装置100に撮影対象を検出したことを示す所定の通知を行う。S801において、画像処理装置100のCPU201は、所定の通知をPLC140から受け取ったかどうか判定する。CPU201は、PLC140からの所定の通知を受け取ると、読み取り処理を開始する。S802において、CPU201は、図6の領域601で設定された値にしたがって制御コマンドを生成し、NWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして全体画像の撮影を行う。そして、CPU201は、全体画像をNWカメラ110から受信する。さらに、S803において、CPU201は、ステップS802で受信された全体画像に対して画像認識処理を行い、積荷の領域を検出し、当該領域の座標とステップS501で設定された検出範囲の座標を比較する。比較の結果に基づき、図6の撮影画面600における設定の際に用いられた全体画像における検出範囲の位置と、S802で受信された全体画像における検出範囲の位置のずれを算出する。これによって、積荷毎や撮影毎に微かに異なる全体画像における検出範囲の位置を補正することができる。なお、S501で検出範囲の角度情報も設定しておき、検出範囲の角度のずれを算出して補正するようにしてもよい。
次に、S804において、CPU201は、図6に示す撮影画面600の領域605において入力されたズーム倍率を、ズーム撮影時のズーム倍率として設定する。次に、S805において、CPU201は、撮影順が1番目の分割領域を処理対象に設定する。次に、S806において、CPU201は、処理対象の分割領域に対するズーム撮影の中心位置を設定する。領域604の入力により中心位置が補正されている場合には、補正後の中心位置が設定される。
次に、S807において、CPU201は、S806において設定されたズーム撮影の中心位置に従い、NWカメラ110がパンチルトを調整するよう撮影範囲の設定を行う。本処理は、撮影範囲を変更するよう制御する変更制御処理の一例である。次に、S808において、CPU201は、S804において設定されたズーム倍率と、S807において設定された撮影範囲にしたがって制御コマンドを生成し、NWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100に送信する。なお、2番目以降の分割領域については、ズーム倍率自体は変更がないので、NWカメラ110はパンチルトの調整だけを行って撮影範囲を変更しながら撮影を行う。本処理は、撮影制御処理の一例である。
S809において、CPU201は、ズーム画像をNWカメラ110から受信する。次に、S810において、CPU201は、S809で受信したズーム画像に対して、図7の設定画面700で設定された情報にしたがってバーコードの読み取りを行う。CPU201はRAM203にズーム画像を読み込み、領域指定703で指定された形状の範囲に対してエッジを検出する。そして、CPU201はエッジが所定の長さおよび規則で並んでいる箇所をバーコードと判定し、領域704にて指定されたバーコードの種類に基づいて、エッジの間隔と出力値の対応情報を選択し、画像上のエッジの間隔からバーコードの値を読み取る。バーコードの種類に関連づいたエッジの間隔と出力の対応情報は、HDD205に記憶しているものとする。次に、S811において、CPU201は、バーコードの読み取り結果をHDD205等の記憶部に格納する。
図9は、記憶部に記憶されるバーコードの読み取り結果の一例を示す図である。IDは、レコードの識別情報である。カウンタは、ズーム画像の識別情報であり、本実施例ではズーム画像と対応する分割領域の撮影順の番号である。分割撮影座標は、ズーム画像の中心位置を示す情報であり、×印613に対応する座標である。ズーム範囲は、ズーム倍率およびズーム撮影中心位置に応じて定まる撮影範囲615に対応する矩形の座標である。なお分割撮影座標及びズーム範囲は、全体画像における位置を示す情報である。検出数は、ズーム画像で検出されたバーコードの個数である。検出Noは、バーコードの識別情報であり、本実施形態では、ズーム画像内で一意に付与される。ただし、バーコードの識別情報は検出範囲で一意に付与されるようにしてもよい。中心座標は、バーコードの中心位置の座標である。なお、中心座標としては、ズーム画像における位置を示す情報である。ただし、中心座標は、ズーム画像における位置を全体画像における位置に変換した値であってもよい。コード角度は、検出されたバーコードのズーム画像に対する傾きの角度である。検出コードは、読み取られたバーコードを辞書と照合した結果、検出されたコードの情報である。信頼度は、バーコードの認識精度である。これ以外に、検出数、辞書一致及び総合判定の判定結果が格納される。総合判定は、例えば検出数が一致し、辞書に予め登録されている値が共に一致し、信頼度が閾値以上の場合にOKと判定されるものとする。なお、総合判定の判断基準は、任意に設定することができるものとする。
次に、S812において、CPU201は、処理対象の分割領域の撮影順が順番の最後か否かを判定する。CPU201は、最後の場合には(S812でYES)、処理をS814へ進める。CPU201は、最後でない場合には(S812でNO)、処理をS813へ進める。S813において、CPU201は、次の撮影順の分割領域を処理対象に設定し、その後処理をS806へ進める。この場合には、S806でズーム撮影の中心位置が変更され、S807で改めてパンチルトが調整され撮影範囲を切り替えて、S808で撮影指示が行われる。なお、この場合に、ズーム倍率が変更されないので、一旦ズームアウトして改めてズームインするといった動作は行われない。このため、NWカメラ110のズームの駆動に係る処理時間を短縮することができる。
一方、S814においては、CPU201は、図9のバーコードの読み取り結果を参照し、バーコードの読み取りに失敗したズーム画像が存在するか否か、すなわち撮影の成否を判定する。CPU201は、失敗がある場合には(S814でYES)、処理をS815へ進める。CPU201は、失敗がない場合には(S814でNO)、本処理を終了する。
S815において、CPU201は、読み取りに失敗したズーム画像を再度撮影するために、当該ズーム画像の中心位置に従い、NWカメラ110がパンチルトするように制御コマンドを生成し、NWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。CPU201は、NWカメラ110からズーム画像を受信する。そして、CPU201は、S816において、受信したズーム画像について再び、S810と同様にバーコードの読み取り処理を行い、バーコードの読み取り結果の記憶部への格納を行う。本処理は、S808~S811の処理と同様である。このとき、CPU201は、ズーム画像の中心位置を予め設定された位置よりもずらして制御コマンドを生成する。例えば、まず上方向に一定量だけずらしてNWカメラ110に撮影させる。そして、CPU201は、S814の処理に戻り、総合判定OKの結果が得られるか判定する。総合判定OKが得られれば、処理を終了する。
一方、CPU201は、総合判定NGの結果が得られた場合には、続いて撮影範囲を下方向に一定量だけずらして制御コマンドを生成し、NWカメラ110に撮影させる。このように、CPU201は、上下左右に順にズーム画像の中心位置をずらすことで、撮影範囲をずらして再撮影を行う。これによって、バーコードの荷札がずれた位置に存在していてズーム画像の撮影範囲にバーコードが収まっていないために、バーコードの読み取りが失敗していた場合に、再撮影によって、正しくバーコードの読み取りを行うことができる。なお、ズーム画像の中心位置をずらす代わりに、他の例としては、CPU201は、S815で設定されたズーム倍率を変更して制御コマンドを生成し、NWカメラ110に再撮影をさせてもよい。この場合には、CPU201は、まず、ズーム倍率をプラス方向に変更してNWカメラ110に再撮影を行わせる。
そして、S814で総合判定NGの場合には、再度ズーム倍率をマイナス方向に変更してNWカメラ110に再撮影を行わせる。これによって、積荷の一部が前後にずれて置かれていてバーコードに合焦していないために、バーコードの読み取りが失敗していた場合に、再撮影によって、正しくバーコードの読み取りを行うことができる。さらには、他の例としては、フォーカスのモードやフォーカス値を変更、露出(モード、シャッタースピード、絞り、ゲインなど)の変更、ホワイトバランス設定の変更などを行い、制御コマンドを生成し、NWカメラ110に再撮影をさせてもよい。
なお、積荷Aの搬入後に、積荷Aと荷物の数や積み方が等しい積荷が連続して複数搬入される場合がある。この場合には、2つ目以降の積荷においては、準備処理は不要であり、画像処理装置100は、積荷が搬入された旨の通知を受けると、読み取り処理を開始する。なお、この場合、積荷Aにおいて設定された条件を利用して読み取り処理を実行する。
読み取り処理により得られた結果は、自装置の記憶部に格納され、CPU201が、DB120に記憶されているバーコードの情報と照合する。ただし、照合を行う主体は実施形態に限定されるものではない。他の例としては、DB120が照合を行うものとしてもよい。この場合には、画像処理装置100において得られた読み取り結果は、POEハブ130を介してDB120に送信される。また、PLC140が照合を行うこととしてもよい。この場合には、読み取り結果は、POEハブ130を介して140に送信される。
以上のように、第1の実施形態に係る画像処理システムは、バーコードが行列のパターンにしたがって規則的に並んでいるような積荷を処理対象とし、積荷に付された複数のバーコードの位置を一括して特定することができる。さらに、画像処理システムは、特定した位置に従い、ズーム倍率を変えることなく、パンチルトの調整だけを行うことで連続して複数のズーム画像を撮影することができる。すなわち、撮影毎にズームインズームアウトの処理を行う必要がない。したがって、撮影に係る処理の負荷を軽減し、処理時間を短縮することができる。
第1の変形例について説明する。本実施形態においては、積荷において縦横に並べられた荷物の数が積荷によって変わり得る場合を想定し、分割数をユーザが入力することとした。ただし、縦横の荷物の数が一定の場合には、分割数の入力は不要であり、CPU201は、予め画像処理装置100に設定された分割数を取得し、これに従い、検出範囲を分割すればよい。
第2の変形例としては、画像処理装置100は、荷札に付されたマーク等から荷札の種類(発送元の会社等)を特定し、特定した種類に応じて、ズーム画像の撮影時のズーム倍率を特定してもよい。画像処理装置100は、荷札の種類とズーム倍率とを対応付けたテーブルを予め、記憶しておき、このテーブルを参照することで、荷札の種類からズーム倍率を決定する。積荷までの距離が予め定まっているような場合には、荷札に記されたバーコードや文字の大きさに適したズーム倍率を荷札の種類に対応して設定しておく。これにより、画像処理装置100は、ズーム倍率の設定を自動で行うことができる。
第3の変形例としては、画像処理装置100は、全体画像の撮影時の焦点距離に基づいて、ズーム画像の撮影時のズーム倍率を自動で設定してもよい。
(第2の実施形態)
次に、第2の実施形態に係る画像処理システムについて、第1の実施形態に係る画像処理システムと異なる点を主に説明する。第2の実施形態に係る画像処理システムは、図10に示すように、処理対象の積荷において、荷札が規則的に配置されていないような積荷Bを処理対象とする。画像処理装置100は、全体画像に対してパターンマッチングを行うことにより全体画像から荷札の画像が出現する領域を検出し、検出結果に応じて、ズーム撮影の範囲を決定する。
図11は、第2の実施形態に係る画像処理装置100による、準備処理を示すフローチャートである。S1100において、CPU201は、ユーザ操作に応じて、積荷の全体を撮影する際の位置(全体撮影位置)を調整する。ユーザは、ディスプレイ204に表示された積荷の画像を見ながら、撮影範囲内に積荷の全体が収まるように、パンチルトズームを調整する。CPU201は、このユーザ操作に応じて調整されたパンチルトズームの設定に従い、制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、全体画像を取得し、画像処理装置100へ送信する。CPU201は、受信された全体画像をディスプレイ204に表示するよう制御する。
次に、S1101において、CPU201は、全体画像における、読み取り対象のバーコードを含む荷札の領域の位置を指定する。具体的には、ユーザは、ディスプレイ204に表示された全体画像を見ながら、全体画像において荷札の領域を見つけ、その位置を指定するよう操作する。CPU201は、このユーザ操作に応じて全体画像における荷札の領域の位置を指定する。次に、S1102において、CPU201は、マッチングモデル(モデル画像)を作成する。具体的には、図12に示す全体画像1200から、S1102で指定された領域の位置にしたがって荷札の画像を抜き出し、これを荷札画像のマッチングモデル1201とする。
次に、S1103において、CPU201は、パターンマッチング処理の設定を行う。具体的には、CPU201は、図13に示す設定画面1300において、ユーザにより設定された枠1301に応じて、パターンマッチング処理の対象エリアを設定する。CPU201はまた、ユーザ操作に応じて、マッチングモデルを設定する。ここで、マッチングモデルの設定とは、S1102で作成されたマッチングモデルをS1103で行うマッチング処理の基準画像として使用するためにマッチングモデル画像を指定することである。設定されたマッチングモデルは1302に表示される。CPU201はさらに、領域1303への入力に応じて、マッチングパラメータの設定を行う。CPU201はまた、マッチング処理を行う順番を決定する。例えば、x座標の昇順/降順、またはy座標の昇順/降順にパターンマッチング処理を行うことを設定する。
パターンマッチング処理が行われると、CPU201は、図14に示すテスト画面1400をディスプレイ204に表示する。テスト画面1400の領域1401には、全体画像が表示され、マッチングモデルが出現した領域ごとに、マッチング結果を示す枠1402が重畳され、図14では1~7のすべての荷札の領域がマッチングモデルと一致し、検出に成功していることを示している。ユーザは、マッチング結果を参照し、検出に失敗した荷札の領域があれば、領域1403において、ズーム撮影の位置を指定し直したり、領域1404にズーム倍率を設定し直したりして、パターンマッチング処理の精度を調整することができる。そして、パターンマッチング処理で検出された荷札の領域のうち少なくとも1つが、テストのズーム撮影の位置として設定される。
次に、S1104において、CPU201は、テスト画面1400において、ズーム撮影の位置とズーム倍率が設定された状態でテスト実行ボタン1405が押下されると、設定に従い制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。そして、CPU201は、領域1401に受信されたズーム画像を表示する。ユーザは、ズーム画像において、バーコードが適切に撮影されているかを確認し、ズーム倍率を調整することができる。次に、S1105において、CPU201は、さらに、読み取り設定を行う。本読み取り設定の処理は、図5のS507の処理と同様である。すなわち、CPU201は、バーコードの読み取り対象となる矩形領域、バーコードの種類、バーコードの数、辞書等を設定する。次に、S1106において、CPU201は、後述の読み取り処理において読み取られた情報を格納するための設定を行う。具体的には、図15に示すように、データを格納する記憶領域を作成する。
図16は、読み取り処理を示すフローチャートである。積荷が搬入されると、センサ150が積荷を検出し、PLC140に通知する。PLC140は、センサ150から通知を受け取ると、画像処理装置100に撮影対象を検出したことを示す所定の通知を行う。S1601において、画像処理装置100のCPU201は、所定の通知をPLC140から受け取ったかどうか判定する。CPU201は、PLC140からの所定の通知を受け取ると、読み取り処理を開始する。S1602において、CPU201は、S1100(図11)において設定された撮影条件で、制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、全体画像を取得し、画像処理装置100へ送信する。次に、S1603において、CPU201は、S1602で受信された全体画像において、図11のフローで設定された情報に従い、パターンマッチング処理を行い、荷札の画像を検出する。ここで、検出された荷札の画像の数をNとする。次に、S1604において、CPU201は、S1104において設定されたズーム倍率を設定する。
次に、S1605において、CPU201は、撮影順に従い、検出された荷札の画像のうち1番目の荷札の画像を処理対象として設定する。次に、S1606において、CPU201は、1番目の荷札の画像の検出位置を撮影の中心位置として設定する。次に、S1607において、CPU201は、S1606において設定された中心位置とS1604で設定されたズーム倍率に従い制御コマンドを生成し、制御コマンドをNWカメラ110に送信する。NWカメラ110は制御コマンドを画像処理装置100から受信し、制御コマンドが示す設定にしたがってパンチルトズームをして撮影処理を行い、ズーム画像を取得し、画像処理装置100へ送信する。なお、2番目以降の荷札の画像については、ズーム倍率自体は変更がないので、NWカメラ110はパンチルトの設定だけを調整して撮影を行う。続く、S1608~S1613の処理は、図8のS808~S813の処理と同様である。
なお、第2の実施形態においては、S1612において、撮影順が最後(N番目)の場合には(S1612でYES)、読み取り処理を終了することとする。但し、第1の実施形態において説明したのと同様に、読み取りに失敗したズーム画像が存在する場合に、ズーム画像の再撮影を行うこととしてもよい。さらには、S1610でバーコード読み取り処理に失敗した場合、S1607で行ったパンチルト設定におけるNWカメラのパンチルト制御精度が原因だとした場合、ズーム倍率設定、マッチング処理、パンチルト設定を段階的に行ってもよい。具体的には、S1604のズーム倍率設定をS1610のコード読み取りが行えるズーム倍率よりも低く行い、S1608の撮影指示の後に荷札の画像のパターンマッチング処理を再度行う。そのマッチング結果の座標が画面中央に近い荷札に対し、中心位置の設定を変更してパンチルト設定を行い、S1604のズーム倍率で撮影指示を行い、受信したズーム画像に対してバーコード読み取りを行う。以上のように、ズーム倍率が高いほど、位置ずれが大きくなる。このため、ズーム倍率を一旦、低くしてパンチルトズームの設定を変更して撮影をやり直すことで、バーコードが貼付された正確な位置を取得することができ、バーコードの読み取りに成功できるようになる。
図17は、ズーム画像の受信時(S1609)に表示される撮影画面1700の一例を示す図である。領域1701にはNWカメラ110により撮影された全体画像が受信されて表示され、荷札の検出によるマッチング結果を示す枠1702が重畳されている。また、領域1703には、NWカメラ110により撮影されたズーム画像が受信されて表示される。図18は、バーコード読み取り時(S1610)に表示される読み取り画面1800の一例を示す図である。読み取り画面1800には、バーコード読み取りの結果1801が表示される。
以上のように、第2の実施形態に係る画像処理システムは、積荷において荷札が規則的に並んでいない場合においても、荷札における複数のバーコードの位置を自動で特定し、ズーム倍率を変更することなく、複数のズーム画像を連続して撮影する。これにより、撮影に係る処理の負荷を軽減し、処理時間を短縮することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理装置
110 NWカメラ
201 CPU

Claims (16)

  1. 全体画像に基づいて、前記全体画像に含まれる、複数の読取範囲を特定する特定手段と、
    前記読取範囲を撮影した結果に含まれる荷札の画像の、前記荷札の種類を判定する判定手段と、
    荷札の種類と、ズーム倍率とを対応付けたテーブルを参照し、前記複数の読取範囲の撮影時のズーム倍率を設定する設定手段と、
    前記設定手段により設定された前記ズーム倍率を用いて前記複数の読取範囲のうち第1の読取範囲を撮影するよう撮像装置を制御する撮影制御手段と、
    前記第1の読取範囲の撮影の後に、撮影範囲を前記複数の読取範囲のうち前記第1の読取範囲と異なる第2の読取範囲に変更するよう前記撮像装置を制御する変更制御手段と、
    を有し、
    前記撮影制御手段は、前記設定手段により設定された前記ズーム倍率を用いて、前記第2の読取範囲を撮影するよう前記撮像装置を制御することを特徴とする画像処理装置。
  2. 分割数を取得する取得手段をさらに有し、
    前記特定手段は、前記分割数に基づいて、前記複数の読取範囲を特定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記取得手段は、ユーザ操作によって入力された前記分割数を取得することを特徴とする請求項2に記載の画像処理装置。
  4. 前記設定手段は、ユーザ操作に基づいて、前記ズーム倍率を設定することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記設定手段は、前記分割数に基づいて、前記ズーム倍率を設定することを特徴とする請求項2又は3に記載の画像処理装置。
  6. 前記設定手段は、前記全体画像の撮影時の焦点距離に基づいて、前記ズーム倍率を設定することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  7. 前記撮影制御手段による制御にしたがって前記撮像装置により得られたズーム画像を受信する受信手段と、
    前記ズーム画像に対して、所定の対象を読み取るための読み取り処理を実行する読み取り手段をさらに有することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
  8. 前記撮影制御手段は、前記読み取り手段により前記所定の対象が前記ズーム画像から読み取られなかった場合に、前記撮影範囲をさらに変更して再度撮影を行うよう前記撮像装置を制御することを特徴とする請求項7に記載の画像処理装置。
  9. 前記撮影制御手段は、前記読み取り手段により前記所定の対象が前記ズーム画像から読み取られなかった場合に、前記ズーム倍率をさらに変更して再度撮影を行うよう前記撮像装置を制御することを特徴とする請求項7又は8に記載の画像処理装置。
  10. 前記全体画像に対して所定のモデル画像とのパターンマッチング処理を実行するマッチング処理手段をさらに有し、
    前記特定手段は、前記全体画像において前記パターンマッチング処理により検出された領域に基づいて、前記複数の読取範囲を特定することを特徴とする請求項1に記載の画像処理装置。
  11. 前記全体画像に基づいて、前記モデル画像を生成する生成手段をさらに有することを特徴とする請求項10に記載の画像処理装置。
  12. 外部のセンサにより検知された情報を受信する受信手段をさらに有し、
    前記撮影制御手段は、前記センサからの情報に応答して、所定のズーム倍率で全体画像を撮影するよう撮像装置を制御し、
    前記所定のズーム倍率は、前記設定手段により設定されたズーム倍率よりも低いことを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。
  13. 前記撮影制御手段は、前記ズーム倍率および前記読み取り範囲のうち少なくとも1つにしたがって制御コマンドを生成し、前記制御コマンドを前記撮像装置へ送信することによって前記撮像装置を制御することを特徴とする請求項7乃至9の何れか1項に記載の画像処理装置。
  14. POE(Power over Ethernet)ハブを介して前記撮像装置と通信する通信手段をさらに有し、
    前記制御コマンドは、前記POEハブを介して前記撮像装置へ送信されることを特徴とする請求項13に記載の画像処理装置。
  15. 画像処理装置が実行する画像処理方法であって、
    全体画像に基づいて、前記全体画像に含まれる、複数の読取範囲を特定する特定ステップと、
    前記読取範囲を撮影した結果に含まれる荷札の画像の、前記荷札の種類を判定する判定ステップと、
    荷札の種類と、ズーム倍率とを対応付けたテーブルを参照し、前記複数の読取範囲の撮影時のズーム倍率を設定する設定ステップと、
    前記設定ステップにおいて設定された前記ズーム倍率を用いて前記複数の読取範囲のうち第1の読取範囲を撮影するよう撮像装置を制御する第1の撮影制御ステップと、
    前記第1の読取範囲の撮影の後に、撮影範囲を前記複数の読取範囲のうち前記第1の読取範囲と異なる第2の読取範囲に変更するよう前記撮像装置を制御する変更制御ステップと、
    前記設定ステップにおいて設定された前記ズーム倍率を用いて、前記第2の読取範囲を撮影するよう前記撮像装置を制御する第2の撮影制御ステップと
    を含むことを特徴とする画像処理方法。
  16. コンピュータを、請求項1乃至14の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2018116378A 2018-06-19 2018-06-19 画像処理装置、画像処理方法及びプログラム Active JP7199845B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018116378A JP7199845B2 (ja) 2018-06-19 2018-06-19 画像処理装置、画像処理方法及びプログラム
CN201980040646.3A CN112369007B (zh) 2018-06-19 2019-06-10 图像处理设备、图像处理设备的控制方法和存储介质
KR1020217000014A KR102457013B1 (ko) 2018-06-19 2019-06-10 화상처리장치, 화상처리방법, 컴퓨터프로그램 및 기록 매체
EP19822637.5A EP3813353A4 (en) 2018-06-19 2019-06-10 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIA
PCT/JP2019/022846 WO2019244685A1 (ja) 2018-06-19 2019-06-10 画像処理装置、画像処理方法、プログラムおよび記録媒体
US17/119,819 US11363208B2 (en) 2018-06-19 2020-12-11 Image processing apparatus and image processing meihod

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116378A JP7199845B2 (ja) 2018-06-19 2018-06-19 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019220829A JP2019220829A (ja) 2019-12-26
JP7199845B2 true JP7199845B2 (ja) 2023-01-06

Family

ID=68983954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116378A Active JP7199845B2 (ja) 2018-06-19 2018-06-19 画像処理装置、画像処理方法及びプログラム

Country Status (6)

Country Link
US (1) US11363208B2 (ja)
EP (1) EP3813353A4 (ja)
JP (1) JP7199845B2 (ja)
KR (1) KR102457013B1 (ja)
CN (1) CN112369007B (ja)
WO (1) WO2019244685A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11169772B2 (en) * 2018-03-19 2021-11-09 Gopro, Inc. Image capture device control using mobile platform voice recognition
US11631196B2 (en) 2020-07-31 2023-04-18 Zebra Technologies Corporation Systems and methods to optimize imaging settings for a machine vision job
JP7113257B2 (ja) * 2020-12-28 2022-08-05 パナソニックIpマネジメント株式会社 荷物検品装置、荷物検品方法、プログラム、及び荷物検品システム
CN115131788A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 一种标签信息获取方法、装置、计算设备及存储介质
JP2022178159A (ja) 2021-05-19 2022-12-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150460A (ja) 2010-01-20 2011-08-04 Hitachi Information & Control Solutions Ltd 入出庫管理システムおよび入出庫管理方法
JP2012053550A (ja) 2010-08-31 2012-03-15 Casio Comput Co Ltd 情報読取装置及びプログラム
JP2013161097A (ja) 2012-02-01 2013-08-19 Centrix Co Ltd 非接触通信を利用したパネル情報管理システム、およびこれに用いる情報管理サーバ、情報管理用プログラム
JP2015096961A (ja) 2014-12-16 2015-05-21 オリンパスイメージング株式会社 撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114913A (ja) * 1995-10-17 1997-05-02 Casio Comput Co Ltd 読取装置及び情報端末装置
JP4192847B2 (ja) * 2004-06-16 2008-12-10 カシオ計算機株式会社 コード読取装置およびプログラム
KR100828539B1 (ko) * 2005-09-20 2008-05-13 후지제롯쿠스 가부시끼가이샤 이차원 코드의 검출 방법, 검출 장치, 및 검출 프로그램을기억한 기억 매체
JP4626493B2 (ja) * 2005-11-14 2011-02-09 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8009864B2 (en) * 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
ES2632746T3 (es) * 2009-04-20 2017-09-15 Metaform Ltd. Sistema y procedimiento de detección de códigos de barras múltiples
WO2010134502A1 (ja) * 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
DE102009049932B4 (de) * 2009-10-19 2016-04-07 Polytec Gmbh Vorrichtung und Verfahren zur interferometrischen Schwingungsmessung an einem Objekt
JP5161939B2 (ja) * 2010-08-31 2013-03-13 キヤノン株式会社 画像処理装置、撮像システム、及び画像処理装置の制御方法
JP5083395B2 (ja) * 2010-09-17 2012-11-28 カシオ計算機株式会社 情報読取装置及びプログラム
CN103238097B (zh) * 2010-11-30 2015-08-05 富士胶片株式会社 成像设备和对焦位置检测方法
JP4777486B2 (ja) 2011-04-05 2011-09-21 キヤノン株式会社 カメラ制御システムおよびその方法およびその動作処理プログラムを記憶した記憶媒体
CN102184405B (zh) * 2011-04-19 2012-12-26 清华大学 图像采集分析方法
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
JP5947548B2 (ja) * 2012-01-13 2016-07-06 キヤノン株式会社 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
CN102880850B (zh) * 2012-09-19 2015-08-19 腾讯科技(深圳)有限公司 一种二维码批量扫描的方法及扫描设备
JP6027287B2 (ja) * 2014-03-28 2016-11-16 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN105100578A (zh) * 2014-05-05 2015-11-25 南昌欧菲光电技术有限公司 图像处理***及其图像处理方法
JP6436760B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
CN204462371U (zh) * 2015-03-08 2015-07-08 无锡桑尼安科技有限公司 电表缺陷智能化检测设备
JP6719901B2 (ja) * 2015-12-28 2020-07-08 あおい精機株式会社 検体処理装置
JP6786253B2 (ja) * 2016-04-15 2020-11-18 キヤノン株式会社 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム
JP6736489B2 (ja) 2017-01-17 2020-08-05 株式会社ナリス化粧品 明るさ感の評価方法、評価プログラム、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150460A (ja) 2010-01-20 2011-08-04 Hitachi Information & Control Solutions Ltd 入出庫管理システムおよび入出庫管理方法
JP2012053550A (ja) 2010-08-31 2012-03-15 Casio Comput Co Ltd 情報読取装置及びプログラム
JP2013161097A (ja) 2012-02-01 2013-08-19 Centrix Co Ltd 非接触通信を利用したパネル情報管理システム、およびこれに用いる情報管理サーバ、情報管理用プログラム
JP2015096961A (ja) 2014-12-16 2015-05-21 オリンパスイメージング株式会社 撮像装置

Also Published As

Publication number Publication date
WO2019244685A1 (ja) 2019-12-26
CN112369007A (zh) 2021-02-12
EP3813353A1 (en) 2021-04-28
EP3813353A4 (en) 2022-03-16
KR20210016454A (ko) 2021-02-15
CN112369007B (zh) 2022-07-15
US20210099650A1 (en) 2021-04-01
US11363208B2 (en) 2022-06-14
KR102457013B1 (ko) 2022-10-20
JP2019220829A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
JP7199845B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8073206B2 (en) Face feature collator, face feature collating method, and program
JP4942185B2 (ja) 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
JP6532217B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
CN111787232B (zh) 基于云台摄像机的图像处理方法、设备及存储介质
US9091904B2 (en) Camera device with rotary base
US20170364724A1 (en) Image processing apparatus, image processing method, and image processing system
JP7493927B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7497203B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US11800230B2 (en) Image processing apparatus of reducing whole operation time of arrival inspection, image processing method, and storage medium
JP2012019285A (ja) 撮像装置及び撮像方法
JP6819478B2 (ja) コンピュータプログラム、プリセット情報登録方法およびプリセット情報登録装置
JP2020067511A (ja) カメラシステム、その制御方法およびプログラム
US11503200B2 (en) Photographing device and photographing method
KR102637344B1 (ko) 객체의 인식을 수행하는 방법 및 장치
EP3843378A1 (en) Image processing apparatus, image capturing apparatus and image processing method
US20220385833A1 (en) Information processing apparatus, image capturing apparatus, information processing method, and non-transitory computer readable storage medium
JP2012063937A (ja) 光学符号読取装置
JP2006287799A (ja) 監視システム及び監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R151 Written notification of patent or utility model registration

Ref document number: 7199845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151