先给结论:不要因为导出文件比预期少了几页就立刻补跑全量任务,也不要直接判定“没漏”。正确做法是先确认导出边界,再用“总数对账”和“抽样回查”两条证据交叉验证,只有当两者都指向同一处缺口时,才决定是保留现有结果、改写导出条件,还是退出当前任务重来。
分页导出出现页数不足,通常有三种不同原因,处理方式完全不同。
这三种情况的证据指向不同,所以第一步不是补数据,而是记录“缺口位置是否稳定”。稳定说明是边界问题,不稳定才更像真实丢失。
最省事的核对方式是拿两个独立来源的总数做比较:工具界面显示的结果总数,与导出文件实际行数或页数换算出的总数。
假设某次导出,界面显示共 42 页、每页 50 条,但导出文件只有 38 页。这时先不要下结论,而是按下面的顺序排查:
这一步的实际动作是:先算出缺口条数并记录。这个数字会直接决定下一步——缺口是整页量级,就优先怀疑导出上限;缺口是零散几十条,就该怀疑单页抓取失败。
总数对账只能告诉你“差多少”,不能告诉你“差在哪”。抽样回查解决的是定位问题。
做法是从导出文件中段和尾段各挑一页,手动在工具界面翻到对应位置,逐条比对首尾记录。如果界面有而文件没有,说明该页确实没导出;如果两边一致,说明总数差异来自筛选口径,而不是分页丢失。
这里有一个容易踩的坑:排序不稳定会导致抽样比对失效。如果导出和界面使用的排序规则不同,同一条记录会出现在不同页,比对结果就不可信。所以抽样前要先固定排序字段,并确认导出和界面用的是同一套排序。
回查结果会影响下一步:如果抽样页能对上,可以把缺口归因为筛选口径,保留现有导出并修正条件;如果抽样页对不上,就需要针对缺失页单独重导,而不是整体重跑。
验证完成后,真正的决策是保留现有结果、改写导出条件,还是退出当前任务重来。三者各有前提,不必强行都选。
需要强调的是:请求量归零或某次抓取统计为零,不能单独证明处理正确。它也可能是任务没启动、权限变更或条件写错导致的。判断完整性仍然要回到总数对账和抽样回查这两条证据。
当多个角色对“到底漏没漏”有不同理解时,争论往往停留在印象层面。有效的做法是把分歧拆成可核对的项目,让每个人对着同一份证据说话。
可以固定记录这几项:导出条件原文、界面显示总数、导出文件总数、缺口条数、缺口位置是否稳定、抽样比对结果。每一项都是事实描述,而不是判断。填完之后,保留、改写还是退出,通常就不需要再靠说服来决定了。
如果使用的是具体某款工具,其分页上限、导出字段和排序选项需要以该工具当前的实际说明为准,不同工具之间不能直接套用同一组数值。