操作人员收集整理实验数据运营后，有点惊讶：大家*不看好的基于时间排序的第三种方案，在“平均信息消耗时间”上，甚至比前两种方案更好。当时团队有点失落，对算法团队同事的技术能力表示怀疑，暗暗发声。
作为运营商，这时候需要通过数据运营分析进一步看一看：呈现的是什么数据运营指标才是全部真相？
为了分析这个问题，我们先把问题拆开。
实验数据运营指标：
我们设置的数据运营指标有问题吗？
数据运营指标的计算有问题吗？
每个实验方案的数据运营指标计算都是在同一口径上吗？
关于实验的方案设计：
实验组用户的选择是否足够随机？
实验策略需要的数据运营需要齐全？
实验室政策对其用户组是否完全有效？
经过拆解分析，我们发现前两组数据运营指标不好的现状并不是全部真相。首先，我们发现“平均信息消费时间”指标的设置存在一些问题。因为我们的产品属性毕竟是工具产品，大部分用户在连接WiFi的时候都会用到，信息Feeds注定只是一些相对空闲的用户的一个功能。
因此，实验组之间用户的“平均信息消耗时间”是非常离散的，并且在提高总体平均时间数据运营的方案三中，中存在一些极端用户。为了解决这个问题，可以对计算中的极值进行处理，增加“平均信息点击率”的数据运营指标，这样就可以更客观的评价各个方案的效果。
其次，通过分析，还发现方案1和方案2由于数据运营收集的原因，并没有完全实现各自的效果。比如*种方案是“基于用户画像排序”，很多实验组用户由于Android权限限制，安装列表数据运营不完整；一些用户IP的地理位置识别不够准确。测试发现，向广州的一些用户推荐北京本地新闻自然会影响策略的效果。
比如第二个方案，由于部分“题党”内容点击率较高，实验组用户*屏全是“题党”内容，内容质量很低，用户点击后很快跳出来，导致策略实验效果不佳。
第五，数据运营操作思维的重要性
如果不对数据运营指标做进一步的分析，我们可能会直接认为“时间排序”是对我们用户更好的解决方案，以后应该朝这个方向发展，所谓模型算法的优化是不必要的。但只有通过分析，才能更清晰地看到事实的全貌，不断提出优化方案进行迭代。
这里体现的是问题拆解思维和信息流广告逻辑问题分析思维的重要性。希望通过这本书，能把这些思维框架分享给读者，成为更好的运营。
本文标题：在互联网中实验数据运营的数据
本文链接：https://www.eatui.cn/xinxiliu/29935.html
