Skip to content

批量数据抓取(web)

功能说明

功能描述

在网页中批量抓取数据,常用于列表页和详情页,并可通过设置分页按钮获取多页数据

配置项说明

常规

指令输入

  • 网页对象TBrowser: 输入一个获取到的或通过'打开网页'函数创建的网页对象

  • 目标元素TTarget: 抓取的表格元素

  • 抓取页数Integer: 选择提取多少页数据

  • 下一页按钮TTarget: 分页元素

  • 最大页数Integer: 抓取的最大页数

  • 保存至数据表格Boolean: 是否将结果保存至数据表格

指令输出

  • 保存批量数据至TDataTable: 指定一个变量,用于保存获取到的网页批量数据

高级

  • 自定义列名称string: 可自定义列名称,并以逗号分割列名称。

  • 翻页间隔(毫秒)Integer: 翻页间隔时间

  • 模拟人工方式点击翻页按钮Boolean: 通过模拟人工操作触发点击事件

  • 发送窗口消息Boolean: 通过发送窗口消息执行点击操作

  • 自动滚到页面底部Boolean: 抓取前可自动滚动加载页面,可选择取消

  • 模拟翻页停顿Boolean: 模拟真人的翻页停顿

  • 最短停顿时长(毫秒)Integer: 执行完成最短等待时间

  • 最长停顿时长(毫秒)Integer: 执行完成最长等待时间

  • 执行前的延迟(毫秒)Integer: 指令执行前的等待时间

  • 等待元素出现(毫秒)Integer: 设置最长的等待时间

错误处理

  • 打印错误日志Boolean:当指令运行出错时,打印错误日志到【日志】面板。默认勾选。

  • 处理方式Integer

  • 终止流程:指令运行出错时,终止流程。

  • 忽略异常并继续执行:指令运行出错时,忽略异常,继续执行流程。

  • 重试此指令:指令运行出错时,重试运行指定次数指令,每次重试间隔指定时长。

使用示例

常见错误及处理

常见问题解答