提及、推荐与引用,应该怎样分开看?
一次被提到并不等于一次被推荐。明确指标口径,并回到回答原文理解结果。
本文目录
品牌被提到、被推荐和被引用,回答的是三个不同问题。解释指标之前,先确认你统计的对象与分母。
提及:品牌是否出现在回答中?
提及关注品牌名或确认过的别名是否出现。需要排除同名实体,并回到语境判断:回答可能在推荐品牌,也可能在指出限制或纠正错误。
因此,提及是一个观察入口,不能直接解释为正向评价。
推荐:回答是否把品牌作为一个选择?
推荐需要结合上下文判断。品牌被列为候选、被明确建议,或者只出现在比较中的背景材料,含义并不相同。
记录问题的条件。对特定预算和场景适用的推荐,不能直接泛化成“该品牌在所有场景中更好”。
引用:回答提供了什么来源?
引用关注回答给出的链接或材料。品牌官网被引用、第三方提到品牌以及回答推荐品牌,是不同的关系。
对来源进一步检查:链接是否能访问,内容是否真的支撑相邻结论,是否指向正确品牌与时间范围。
比例需要明确分母
无论统计哪一种比例,都写清有效回答数、失败样本处理方式、问题范围和模型范围。没有采集成功的回答不应静默地被解释为“品牌未出现”。
小样本有明显波动时,展示原始数量与采样条件比只展示精确到小数点的百分比更有帮助。
从指标回到证据
优先调查可以解释的变化:哪组问题发生变化,回答描述有什么不同,使用了哪些来源,以及是否在相同条件下复现。
结合基线方法保留每轮记录,避免用今天修改后的品牌资料重写过去的观察结论。