网络宣传方法，清理空页面时如何区分待发布与已废弃内容
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /e4dc846e8561.html
📄
网络宣传方法，清理空页面时如何区分待发布与已废弃内容
直接回答：不能只看页面是否为空。更可靠的做法是先确认这个空页面是否还挂在导航、内链或站点地图里，再结合它有没有承接流量、有没有近期编辑记录、有没有被外部引用，把它归入“待发布”“已废弃”或“先保留观察”三类。单个样本往往很好判断，但样本一多，例外就会集中出现，所以清理动作必须分批做，并且每批都要留下可复核的依据。
为什么单页能判断，规模化后反而判不准
假设你抽查了五个空页面，其中四个没有内链、没有访问、没有编辑记录，你判断它们是废弃页，这个结论在小范围内成立。但当空页面扩展到几百个时，同样的判断标准会开始失灵。原因不是标准错了，而是样本变多以后，页面之间的关联被放大：某个空页面可能是栏目模板的一部分，某个空页面可能被旧文章引用，某个空页面可能只是发布流程中的中间状态。
这时会出现一个矛盾现象：按单页标准应该删掉的页面，删完之后却有人反馈入口不见了，或者某个栏目出现断链。这说明“空”只是表象，真正决定去留的是页面在站点结构里的角色，而不是它当前有没有正文。
两种解释：内容没写完，还是内容已经不用了
面对一个空页面，通常只有两种合理解释。
第一种解释：它是待发布内容。这类页面已经建好，可能已经配了标题、分类、固定链接，甚至已经进入内链规划，只是正文还没写。它的特征是结构完整、有明确归属、有近期编辑动作。如果直接删除，后续发布就要重建页面，已经规划好的链接关系也要重做。
第二种解释：它是已废弃内容。这类页面曾经有内容，后来被清空、迁移或合并，但页面本身没有下线。它的特征是缺少有效内链、没有近期编辑、没有外部引用，或者内容已经被其他页面替代。如果继续保留，它会占用抓取资源，也可能让访问者进入一个没有价值的空页。
这两种解释在单页上容易区分，但在批量清理时容易混淆，因为“没有正文”这个表面特征对两者都成立。
能区分两种解释的证据
要区分待发布与已废弃，需要找那些不依赖正文内容的证据。下面这几类证据比“页面是否为空”更有判断力。
- 编辑记录与发布时间：如果页面在近期被创建或修改过，且修改动作集中在模板、分类或链接配置上，更偏向待发布。如果最后一次编辑是很久以前，且之后没有任何动作，更偏向已废弃。
- 内链与导航位置：如果页面仍出现在导航、栏目列表、相关推荐或站点地图中，说明它被当作有效结构使用，不能直接按废弃处理。如果它已经不在任何入口中，只靠直接 URL 访问，废弃的可能性更高。
- 访问来源：如果页面有稳定的外部引用或搜索流量进入，即使正文为空，也要先查清流量为什么落在这里，再决定是补内容还是做跳转。如果长期没有任何访问来源，废弃判断更成立。
- 替代关系：如果站内已经有另一个页面承接了相同主题，且那个页面内容完整，这个空页面更可能是迁移后的残留。如果没有替代页面，它更可能是还没写完的待发布页。
这些证据要组合使用。单独看访问量为零，不能直接判定废弃，因为新页面在发布前本来就没有访问；单独看有内链，也不能直接判定待发布，因为旧内链可能一直没清理。
一个可执行的判断顺序
假设你要清理一批空页面，可以按下面的顺序操作，每一步的结果都会影响下一步。
- 先导出所有空页面的 URL，并标注每个页面是否还在导航、栏目页或站点地图中。这一步的目的是把“有结构位置”的页面单独放一边，不进入删除队列。
- 对剩下的页面，查最近一次编辑时间和编辑类型。如果最近有编辑动作，先归入待发布观察区，暂不处理。
- 对既没有结构位置、也没有近期编辑的页面，再查访问来源和外部引用。如果仍然没有任何来源，可以归入废弃候选。
- 对废弃候选，不要直接删除，先做一次跳转或返回说明页，观察一段时间内是否有访问者反馈入口缺失。如果没有反馈，再执行下线。
这个顺序的关键在于：每一步都缩小了处理范围。先排除有结构位置的页面，再排除有近期编辑的页面，最后才处理真正的废弃候选。这样做的结果是，删除动作不会波及待发布内容，也不会因为误删入口而影响其他页面。
不能直接照搬的边界
上面的判断顺序适用于内容型站点，尤其是那些有编辑流程、有栏目结构、有内链体系的站点。但如果你的站点是纯展示型、页面数量很少，或者所有页面都由同一个模板生成，那么“编辑记录”和“内链位置”这两类证据可能并不存在，判断就要更多依赖访问来源和替代关系。
另外，如果站点正在改版或迁移，空页面的性质会变得更复杂。此时最稳妥的做法是先冻结清理动作，等改版结构稳定后再重新判断。因为在结构变动期间，今天看起来废弃的页面，明天可能被重新启用为栏目入口。
最后要提醒的是，清理前后做比较时，要考虑季节和搜索需求变化。某段时间访问量下降，可能是因为需求本身在波动，而不是因为你删了空页面。把清理动作和访问变化直接当成因果关系，很容易得出错误结论。更合理的做法是记录清理批次、清理范围和清理时间，再和后续的入口反馈、访问来源变化一起看，而不是只看一个总数。
