当筛选参数可以自由组合、分页可以无限翻下去时,有效地址集合不能按“页面是否存在”来定义,而要按“这个地址是否值得进入索引”来定义。可执行的做法是:先选一个参数型目录作为样本,把参数按语义分组合并,只保留会改变主体内容的组合,其余一律归入不索引或规范化处理,再用百度索引量的变化验证这套规则是否稳定,而不是指望一次配置永久生效。
拿你手上一个典型的参数页做样本,把该页所有可出现的参数列出来,逐个判断:它改变的是主体内容、排序方式,还是只改变展示形态。以假设的商城筛选页为例,?color=red 与 ?size=40 同时出现时,结果集确实不同,属于内容型参数;而 ?sort=price、?view=list 只是同一批商品的另一种排列或展现,属于展示型参数。内容型参数决定地址是否值得保留,展示型参数决定地址是否应该被合并。
这个判断的动作会直接影响下一步:如果连内容型和展示型都混在一起,后面的规则无论写得多细,都会把大量等价地址当成独立页面放出去,索引量自然随组合数一起膨胀。
有效地址集合可以按下面的顺序收敛,每一步都对应一个可执行动作:
这里的边界需要说清楚:这套规则在参数种类少、取值有限的样本上通常成立,一旦某个参数可以自由输入或取值接近无限,就不能直接照搬,必须改为“只索引有明确检索需求的少数组合”。判断依据是看该组合是否对应一个真实、可描述的查询意图,而不是看它技术上能否拼出来。
规范化标签能告诉百度哪个地址是首选版本,但它不保证被选中的一定是它;robots.txt 的抓取限制只能减少抓取,不等于可靠的索引移除,已经进入索引的地址仍可能保留。站点地图也不保证收录,它只是提交候选地址的一种方式。因此,定义有效地址集合时,不能把“写了 canonical”或“屏蔽了抓取”当成地址已经被排除的证据。
一个可操作的验证动作是:把收敛后的有效地址集合单独整理成一份清单,观察百度索引量的变化方向。如果索引量下降,同时有效地址的抓取和展现保持稳定,说明收缩的是低价值组合;如果有效地址的展现也一起下降,说明规则收得过紧,需要把部分内容型组合放回集合。这里要注意,索引量变化还可能来自抓取预算调整、页面改版或外部链接变化,不能只凭一次下降就断定规则正确。
为了让这套定义在规模化后仍然可用,建议把每条规则写成“条件 + 动作 + 复查信号”的形式。例如:
复查信号的作用是让你在规则失效时能定位到具体条件,而不是把问题笼统归因于“百度不收录”。如果某个条件下索引量归零,先确认该条件对应的地址是否本来就不该存在,再排查是否被其他规则误伤。
在少量参数、有限取值的样本上,按语义分组合并通常能得到干净的有效地址集合。但当参数数量增加、取值开始交叉相乘时,例外会集中出现:原本被判定为展示型的参数,在某个组合下可能变成内容型;原本有限的分页,在结果集动态变化时可能不断产生新地址。这时需要做的不是继续加规则,而是回到“是否对应真实检索意图”这一条上重新划分边界。有效地址集合的定义方式,决定了百度索引量是随组合数发散,还是收敛到一个可解释、可复查的范围。