CN116150618A - 一种基于深度学习神经网络的渔船作业类型识别方法 - Google Patents

一种基于深度学习神经网络的渔船作业类型识别方法 Download PDF

Info

Publication number
CN116150618A
CN116150618A CN202310052089.5A CN202310052089A CN116150618A CN 116150618 A CN116150618 A CN 116150618A CN 202310052089 A CN202310052089 A CN 202310052089A CN 116150618 A CN116150618 A CN 116150618A
Authority
CN
China
Prior art keywords
fishing boat
track
neural network
word embedding
operation type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310052089.5A
Other languages
English (en)
Inventor
周为峰
姜博辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Original Assignee
East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences filed Critical East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Priority to CN202310052089.5A priority Critical patent/CN116150618A/zh
Publication of CN116150618A publication Critical patent/CN116150618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习神经网络的渔船作业类型识别方法，包括：对获取的船位轨迹数据进行预处理，并生成训练样本集；基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹位置特征向量和词嵌入轨迹时间特征向量；基于训练样本集中的船位轨迹数据得到时间差特征、航速特征和航向特征；构建端对端的可微分卷积神经网络，将上述特征输入可微分卷积神经网络进行训练，得到渔船作业类型识别模型；将待测船位轨迹数据集作为渔船作业类型识别模型的输入，判断待测轨迹的渔船作业类型进行识别标注。本发明能够提高渔船作业类型判别的速度和精度。

Description

一种基于深度学习神经网络的渔船作业类型识别方法
技术领域
本发明涉及渔船作业类型识别技术领域，特别是涉及一种基于深度学习神经网络的渔船作业类型识别方法。
背景技术
随着地球上陆地资源的消耗，作为地球上面积最大的海洋受到了人类的重视，一方面人类加快了对海洋资源的开发，另一方面对如何科学规划和利用海洋渔业资源越来越重视。不同的渔船作业方式对海洋渔业资源所造成的影响不同。目前对海洋渔业资源进行捕捞时，捕捞渔船需要提前向主管部门申请捕捞许可证并进行渔船作业类型的登记，但是在渔船实际作业过程中可能存在着不遵守规则情况，违规进行捕捞作业会对渔业资源和海洋生态环境产生不利影响。传统的违规捕捞监管措施主要是设置海上巡逻船，在遇到捕捞船时需要登船进行检查。由于渔船作业具有机动性且时间周期长，并且有时候捕捞船只过多。因此，并没有足够的人手去实行，并且这类方法成本高以及检查数量有限，因此在渔船作业类型实际管理中存在局限性。借助技术手段对渔船作业类型进行准确的识别可为渔船的精准化管理和渔业资源的可持续性发展带来有效的帮助。
船舶轨迹数据是指时空环境下，通过对一个或多个移动对象运动过程进行采样所获得的数据信息，包括采样点位置、采样时间、速度等。这些采样点数据信息根据采样先后顺序构成了轨迹数据。以往，根据经验设置不同作业类型的航速或航向阈值从而对船舶监控***(VMS)轨迹数据进行分析和提取，从而得到不同的渔船作业类型。上述方法对阈值或特征具有很强的依赖性，而这些阈值或特征的确定需要一定的专家知识，并且不同的渔船作业类型具有不同的特征或阈值。因此，这些方法存在一定的局限性。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习神经网络的渔船作业类型识别方法，能够提高渔船作业类型判别的速度和精度。
本发明的发明人发现，轨迹数据作为一种地理空间数据，其不仅包含单点轨迹的空间信息，同时还包含轨迹点间上下文间的空间语义信息。因此，针对VMS数据，充分利用轨迹数据所包含的空间语义信息，从空间、时间和行为等多方面构建多种船舶特征参数或将获取到的渔船轨迹数据生成航迹图，然后利用深度学习全卷积神经网络对渔船作业类型等问题进行有效分类识别与信息提取。
本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习神经网络的渔船作业类型识别方法，包括以下步骤：
(1)对获取的船位轨迹数据进行预处理；
(2)整理和汇总渔船不同作业类型的船位轨迹数据，生成训练样本集；
(3)基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹位置特征向量和词嵌入轨迹时间特征向量；
(4)计算训练样本集中的船位轨迹数据中相邻轨迹点的时间差，得到时间差特征；
(5)对训练样本集中的船位轨迹数据中的航速数据和航向数据进行归一化处理，得到航速特征和航向特征；
(6)构建端对端的可微分卷积神经网络，将词嵌入轨迹位置特征向量、词嵌入轨迹时间特征向量、时间差特征、航速特征和航向特征输入可微分卷积神经网络进行训练，直到训练参数收敛，得到渔船作业类型识别模型；
(7)从待测船位轨迹数据集中提取词嵌入轨迹位置特征向量、词嵌入轨迹时间特征向量、时间差特征、航速特征和航向特征，作为渔船作业类型识别模型的输入，判断待测轨迹的渔船作业类型进行识别标注。
所述步骤(1)中的预处理是指去除异常值。
所述步骤(1)中的船位轨迹数据包括船位ID、经度、纬度、航速、航向和时间，其中，所述时间的精度为秒。
所述步骤(3)中基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹位置特征向量，具体为：将船位轨迹数据中经度和纬度信息进行字符串编码，转换为一维字符串编码，使用词嵌入方法对一维字符串编码构建特征向量，得到词嵌入轨迹位置特征向量。
所述步骤(3)中基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹时间特征向量，具体为：提取船位轨迹数据中的月份、月份-日期、月份-日期-小时、月份-日期-小时-分钟、月份-日期-小时-分钟-秒钟，并将提取出的信息组合为字符串；使用词嵌入方法对所述字符串构建特征向量，得到词嵌入轨迹时间特征向量。
所述步骤(6)的可微分卷积神经网络包括依次连接的全卷积神经网络和全连接模块，所述全卷积神经网络由4个卷积模块构成，所述卷积模块表示为：Gm＝ΣKi,j,m·Fi,j,m，其中，F表示卷积模块的输入，大小为w×h×m，K表示卷积核，大小为w×h×m，G表示卷积模块的输出，大小为1×1×m；所述全连接模块对各通道进行softmax归一化，表示为：Z′＝exp(Zi,j)，其中，Z′表示模型的输出结果，即船位轨迹数据属于每一类渔船作业类型的概率，Zi,j表示全连接模块中最后一层的输入。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明针对渔船作业类型判断这一问题，对专家经验知识依赖度低，任何基于船位监控***所获取到的船位数据都可以输入模型中，与现有的基于专家经验知识判断渔船作业类型相比，本发明可以利用单一位置的空间上下文语义信息，大大提高了渔船作业类型判别的速度和精度，能够为渔船作业类型识别节约大量时间及人力成本。
附图说明
图1是本发明实施方式的原理图；
图2是本发明实施方式的流程图；
图3是本发明实施方式中轨迹数据预处理的流程图；
图4是本发明实施例以拖网作业为例的船位数据示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于深度学习神经网络的渔船作业类型识别方法，如图1和图2所示，包括以下步骤：对获取的船位轨迹数据进行预处理；整理和汇总渔船不同作业类型的船位轨迹数据，生成训练样本集；基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹位置特征向量和词嵌入轨迹时间特征向量；计算训练样本集中的船位轨迹数据中相邻轨迹点的时间差，得到时间差特征；对训练样本集中的船位轨迹数据中的航速数据和航向数据进行归一化处理，得到航速特征和航向特征；构建端对端的可微分卷积神经网络，将词嵌入轨迹位置特征向量、词嵌入轨迹时间特征向量、时间差特征、航速特征和航向特征输入可微分卷积神经网络进行训练，直到训练参数收敛，得到渔船作业类型识别模型；从待测船位轨迹数据集中提取词嵌入轨迹位置特征向量、词嵌入轨迹时间特征向量、时间差特征、航速特征和航向特征，作为渔船作业类型识别模型的输入，判断待测轨迹的渔船作业类型进行识别标注。
下面通过一个具体实施例来进一步说明本发明。
本实施例的轨迹数据为北斗导航卫星渔船监控***提供的2020年三种渔船作业类型(拖网作业、围网作业和流刺网作业)的轨迹数据。总数据量为8166条，数据字段包括：渔船ID、经度、纬度、航速、航向、时间和作业类型，其中，经度范围为[0°,127.803°]，纬度范围为[0°,44.824°]，航速范围为[0,94.23]，航向范围为[0,360]，时间的精度为秒。以渔船ID为20202的拖网渔船，其数据格式及信息如图4所示。
首先需要从获取到的船位轨迹数据中去除异常数据，然后再对去除异常数据的拖网、围网和流刺网渔船轨迹数据进行处理，如图3所示，包括：①对经纬度数据进行字符串编码；②对时间数据计算前后时刻的时间差；③提取月份、提取月份-日期、提取月份-日期-小时、提取月份-日期-小时-分钟、提取月份-日期-小时-分钟-秒钟并组合为字符串；④对航速数据进行归一化，对航向数据进行归一化。将处理后的数据存入Excel表格中。
其中，字符串编码后的经纬度以及不同时间尺度的时间字符串通过各自的词嵌入模块转换为具有语义信息的特征向量，得到词嵌入轨迹位置特征向量和词嵌入轨迹时间特征向量。
构建端对端的可微分卷积神经网络，该端对端的可微分卷积神经网络包括依次连接的全卷积神经网络模块和全连接模块。
全卷积神经网络模块由4个卷积模块组成，卷积模块表示为Gm＝ΣKi,j,m·Fi,j,m，其中，F表示卷积模块的输入，大小为w×h×m，K表示卷积核，大小为w×h×m，G表示卷积模块的输出，大小为1×1×m。
经过全卷积神经网络模块后送入全连接模块，全连接模块对各通道进行Softmax归一化，表示为：Z′＝φ(Z):Zi′,j＝exp(Zi,j)，其中，Z′表示模型的输出结果，即船位轨迹数据属于每一类渔船作业类型的概率，Zi,j表示全连接模块中最后一层的输入。最后，计算预测的渔船作业类型标签与标签文件中的实际渔船作业类型的Loss值，并更新参数。
(1)实施例模型训练情况
将处理后的数据输入上述可微分卷积神经网络进行训练。训练的环境为配有NVIDIA Tesla V10032GB高性能GPU、Ubuntu 18.04的超级计算机设备。经过8.33小时，训练300轮次后，各参数收敛，保存训练后的模型。训练后的模型即为渔船作业类型识别模型，其参数量0.84M，计算量8.34G，模型大小3.67MB。
(2)实施例模型训练结果
将测试数据输入渔船作业类型识别模型，得到渔船作业类型识别模型对测试数据的预测类型及概率，其中，拖网作业类型识别概率为98％。
本发明针对渔船作业类型判断这一问题，对专家经验知识依赖度低，任何基于船位监控***所获取到的船位数据都可以输入模型中，与现有的基于专家经验知识判断渔船作业类型相比，本发明可以利用单一位置的空间上下文语义信息，大大提高了渔船作业类型判别的速度和精度，能够为渔船作业类型识别节约大量时间及人力成本。

Claims (6)

1.一种基于深度学习神经网络的渔船作业类型识别方法，其特征在于，包括以下步骤：
(1)对获取的船位轨迹数据进行预处理；
(2)整理和汇总渔船不同作业类型的船位轨迹数据，生成训练样本集；
(3)基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹位置特征向量和词嵌入轨迹时间特征向量；
(4)计算训练样本集中的船位轨迹数据中相邻轨迹点的时间差，得到时间差特征；
(5)对训练样本集中的船位轨迹数据中的航速数据和航向数据进行归一化处理，得到航速特征和航向特征；
(6)构建端对端的可微分卷积神经网络，将词嵌入轨迹位置特征向量、词嵌入轨迹时间特征向量、时间差特征、航速特征和航向特征输入可微分卷积神经网络进行训练，直到训练参数收敛，得到渔船作业类型识别模型；
(7)从待测船位轨迹数据集中提取词嵌入轨迹位置特征向量、词嵌入轨迹时间特征向量、时间差特征、航速特征和航向特征，作为渔船作业类型识别模型的输入，判断待测轨迹的渔船作业类型进行识别标注。
2.根据权利要求1所述的基于深度学习神经网络的渔船作业类型识别方法，其特征在于，所述步骤(1)中的预处理是指去除异常值。
3.根据权利要求1所述的基于深度学习神经网络的渔船作业类型识别方法，其特征在于，所述步骤(1)中的船位轨迹数据包括船位ID、经度、纬度、航速、航向和时间，其中，所述时间的精度为秒。
4.根据权利要求1所述的基于深度学习神经网络的渔船作业类型识别方法，其特征在于，所述步骤(3)中基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹位置特征向量，具体为：将船位轨迹数据中经度和纬度信息进行字符串编码，转换为一维字符串编码，使用词嵌入方法对一维字符串编码构建特征向量，得到词嵌入轨迹位置特征向量。
5.根据权利要求1所述的基于深度学习神经网络的渔船作业类型识别方法，其特征在于，所述步骤(3)中基于训练样本集中的船位轨迹数据生成具有上下文信息的词嵌入轨迹时间特征向量，具体为：提取船位轨迹数据中的月份、月份-日期、月份-日期-小时、月份-日期-小时-分钟、月份-日期-小时-分钟-秒钟，并将提取出的信息组合为字符串；
使用词嵌入方法对所述字符串构建特征向量，得到词嵌入轨迹时间特征向量。
6.根据权利要求1所述的基于深度学习神经网络的渔船作业类型识别方法，其特征在于，所述步骤(6)的可微分卷积神经网络包括依次连接的全卷积神经网络和全连接模块，所述全卷积神经网络由4个卷积模块构成，所述卷积模块表示为：Gm＝ΣKi,j,m·Fi,j,m，其中，F表示卷积模块的输入，大小为w×h×m，K表示卷积核，大小为w×h×m，G表示卷积模块的输出，大小为1×1×m；所述全连接模块对各通道进行softmax归一化，表示为：Z′＝exp(Zi,j)，其中，Z′表示模型的输出结果，Zi,j表示全连接模块中最后一层的输入。
CN202310052089.5A 2023-02-02 2023-02-02 一种基于深度学习神经网络的渔船作业类型识别方法 Pending CN116150618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310052089.5A CN116150618A (zh) 2023-02-02 2023-02-02 一种基于深度学习神经网络的渔船作业类型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310052089.5A CN116150618A (zh) 2023-02-02 2023-02-02 一种基于深度学习神经网络的渔船作业类型识别方法

Publications (1)

Publication Number Publication Date
CN116150618A true CN116150618A (zh) 2023-05-23

Family

ID=86338417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310052089.5A Pending CN116150618A (zh) 2023-02-02 2023-02-02 一种基于深度学习神经网络的渔船作业类型识别方法

Country Status (1)

Country Link
CN (1) CN116150618A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776112A (zh) * 2023-08-25 2023-09-19 太极计算机股份有限公司 渔船双拖行为的识别方法及其装置
CN118135800A (zh) * 2024-05-06 2024-06-04 东揽(南京)智能科技有限公司 基于深度学习的异常交通事件精准识别告警方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145903A (zh) * 2017-04-28 2017-09-08 武汉理工大学 一种基于卷积神经网络图片特征提取的船舶类型识别方法
CN111178433A (zh) * 2019-12-30 2020-05-19 中国电子科技集团公司第三十六研究所 一种渔船作业方式识别方法、装置与***
US20210056413A1 (en) * 2018-03-01 2021-02-25 Koninklijke Philips N.V. Cross-modal neural networks for prediction
CN113269121A (zh) * 2021-06-08 2021-08-17 兰州大学 一种基于融合cnn模型的渔船捕捞状态识别方法
KR20220025537A (ko) * 2020-08-24 2022-03-03 제주대학교 산학협력단 항적 데이타를 이용한 어선 조업 판별 방법
CN114155446A (zh) * 2021-11-29 2022-03-08 杭州电子科技大学 一种基于语义特征向量的渔船类型识别方法
CN115063676A (zh) * 2022-05-27 2022-09-16 中国人民解放军战略支援部队信息工程大学 一种基于ais数据的船舶目标分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145903A (zh) * 2017-04-28 2017-09-08 武汉理工大学 一种基于卷积神经网络图片特征提取的船舶类型识别方法
US20210056413A1 (en) * 2018-03-01 2021-02-25 Koninklijke Philips N.V. Cross-modal neural networks for prediction
CN111178433A (zh) * 2019-12-30 2020-05-19 中国电子科技集团公司第三十六研究所 一种渔船作业方式识别方法、装置与***
KR20220025537A (ko) * 2020-08-24 2022-03-03 제주대학교 산학협력단 항적 데이타를 이용한 어선 조업 판별 방법
CN113269121A (zh) * 2021-06-08 2021-08-17 兰州大学 一种基于融合cnn模型的渔船捕捞状态识别方法
CN114155446A (zh) * 2021-11-29 2022-03-08 杭州电子科技大学 一种基于语义特征向量的渔船类型识别方法
CN115063676A (zh) * 2022-05-27 2022-09-16 中国人民解放军战略支援部队信息工程大学 一种基于ais数据的船舶目标分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘震: "基于多源数据的渔船轨迹关联及作业类型识别***研究与设计", 《万方》 *
宁耀: "基于深度学习的渔船行为识别方法研究", 《CNKI》, pages 55 - 56 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776112A (zh) * 2023-08-25 2023-09-19 太极计算机股份有限公司 渔船双拖行为的识别方法及其装置
CN116776112B (zh) * 2023-08-25 2024-02-13 太极计算机股份有限公司 渔船双拖行为的识别方法及其装置
CN118135800A (zh) * 2024-05-06 2024-06-04 东揽(南京)智能科技有限公司 基于深度学习的异常交通事件精准识别告警方法

Similar Documents

Publication Publication Date Title
CN116150618A (zh) 一种基于深度学习神经网络的渔船作业类型识别方法
CN108460382B (zh) 基于深度学习单步检测器的光学遥感图像舰船检测方法
Zhuo et al. Physics-augmented deep learning to improve tropical cyclone intensity and size estimation from satellite imagery
CN110706827B (zh) 基于船舶ais大数据的通航水域水流信息的提取方法及***
CN109376576A (zh) 基于交替更新密集连通从零训练网络的目标检测方法
CN111339935B (zh) 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN110633892A (zh) 一种ais数据提取延绳钓捕捞状态的方法
CN111695413A (zh) 联合U-Net和Temporal Ensembling的信号初至拾取方法及装置
Połap et al. Bilinear pooling with poisoning detection module for automatic side scan sonar data analysis
Huang et al. An improved deep learning approach for retrieving outfalls into rivers from UAS imagery
CN114155446A (zh) 一种基于语义特征向量的渔船类型识别方法
Nian et al. The identification and prediction of mesoscale eddy variation via memory in memory with scheduled sampling for sea level anomaly
CN114740441A (zh) 一种基于小样本的低慢小目标雷达回波识别方法
CN116152674A (zh) 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法
CN117690164A (zh) 基于边缘计算的机场飞鸟识别驱赶方法及***
CN116434273A (zh) 一种基于单正标签的多标记预测方法及***
CN115953746A (zh) 一种船只监测方法及装置
CN115376023A (zh) 基于形变卷积网络的养殖区域检测方法、无人机、介质
CN112163423B (zh) 一种检察案件办理工作量计算方法及***
CN111639623B (zh) 结合空间距离约束的多尺度船企场景识别与提取方法
CN114898222A (zh) 一种舰船目标航迹识别方法及装置
Chen et al. Catch weight prediction for multi-species fishing using artificial neural networks
Zhenyu Research on Small Target Detection in Optical Remote Sensing Based on YOLOv7
CN114199992B (zh) 一种储油罐罐壁腐蚀检测方法及***
CN117077016B (zh) 基于航空磁放数据的支持向量机超基性岩识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination