验收时不要把“系统返回成功”当成“用户任务已完成”。更可靠的做法是:回到用户真实要完成的那件事,用一条可观察的完成标准去复测;如果任务没完成,即使接口、页面或日志都显示成功,也应判为未通过。
在智搜宝优化方法里,常见的矛盾是:操作侧一切正常,用户侧却卡住。此时通常有两种解释。
这两种解释对应的修法完全不同:前者改验收口径,后者补遗漏条件。所以先别急着改操作步骤,先找能区分它们的证据。
能区分的证据,不是“再点一次看是否成功”,而是换一个观察角度。
这四步不需要全做。通常第1步和第2步就能把方向定下来:任务结果失败但正常样本通过,先查遗漏条件;任务结果失败且所有样本都失败,先改验收标准。
可执行的改法是:为每个优化项写一条任务级完成句,格式是“用户能<做某事>,判断依据是<可观察现象>”。
假设一个场景:你优化的是某类查询的返回结果,操作侧显示任务成功、条目齐全。但用户要完成的任务是“确认两个选项的差异”。此时“条目齐全”不是完成标准,“用户能在一屏内看到差异点”才是。按这个标准复测,如果差异点被折叠、被默认值覆盖或需要再点一次才能看到,就判未通过,并回到上一步检查是哪个字段或展示条件缺失。
这个动作的结果会直接改变下一步:任务级标准通过,才进入批量处理;不通过,就只修那一个遗漏条件,不要扩大改动范围。
验收通过后想比较改动前后,别只看单点数值。搜索需求本身会随季节和热点变化,数据采集口径也可能在两次之间不同。更稳的做法是:同一任务标准、同一批样本、相近时间窗内对比,并记录样本量和采集方式。如果请求量或抓取量突然归零,也不能单独证明改动正确——它同样可能来自采集中断、范围收窄或需求下降。把这些可能列出来逐一排除,验收结论才站得住。
不要重做整套流程。先锁定那一个遗漏条件,只补它,然后用同一条任务级标准复测。复测仍不通过,再回到证据区分环节,检查是不是验收标准本身还没落到用户任务上。这样每一步的结果都能决定下一步,而不是靠反复操作碰运气。