运用飞书应用引擎,支持业务实验风险预警!

运用飞书应用引擎,支持业务实验风险预警!

开发者广场内容精选NaN-NaN-NaN
解决方案
作者:程怀飞
推荐理由
利用了飞书来呈现和存储libra实验相关质量展示和预警。
🌟背景
在产品需求迭代交付过程中,目前面临交付周期的挑战,比较常见的是在实验阶段出现实验重开等各种异常,使实验验证时间过长,导致了原计划在本季度实现收益的需求无法如期交付,对业务目标产生了影响。尽管Libra为每个单独的需求或实验提供了一定程度的监控,但它无法简单的按业务子方向的需求实验进度的全面把控。因此,我们需要更强大的监控机制以便能够及时发现问题,确保季度需求的顺利推进。
参赛信息
我们属于TikTok(国际化短视频)质量保障团队,旨在实现字节跳动国际元化短视频、直播、音乐&国际化社区、本地生活等业务完善的全流程保障能力,为全球数亿用户提供稳定、可靠、安全的产品和用户体验。其团队组成包括面向用户安全隐私、核心用户产品、用户增长、国际化直播等方向向的业务团队,同时也有测试基础建设的多个相关团队。
开发实验变更风险预警项目的团队是TikTok Local Service -LBS QA 团队@于航@程怀飞,花了一点额外的时间,大概持续了两周,完成了相关的平台和服务设计与开发,复用了部分TikTok LIVE的实验预警平台,实现了服务于TikTok Content Discovery实验变更预警功能,并且做了对应的扩展,对于后续接入TikTok其他业务也会比较顺利。
应用信息
应用名称:TikTok实验质量预警
命名空间 :package_a61086__c
应用背景
之前在TikTok LIVE QA团队,已经建立了一套针对实验的监控功能,可以通过合理利用这些技术和能力,定制适合技术能力及工作流程,解决问题,提升交付效率,了解整体方案可以联系
目前在Local Service乃至CD团队也有类似的痛点,为解决这类问题,可以参考 LIVE的监控方案,在此基础上建立一套比较通用的实验监控平台,可以定制化的解决各业务或者子业务的实验质量预警问题。
由于LIVE侧的方案旨在解决LIVE方向的问题,不管是平台设计还是消费服务设计,都存在一定的局限性,无法直接通过配置的方式在其他业务使用,如果需要在LIVE基础的测试平台来订阅相关数据,是需要一定的改造工作量,需要把全量数据的订阅打开,然后进行相关的过滤之后再开放配置。
原方案设计的时候是有考虑可配置化的,但是在实际开发过程中,由于消费速度等因素导致不得不提前过滤LIVE的实验变更,并且只存储了LIVE的实验信息,原具体方案如下:
应用价值
核心解决的问题,还是及时发现实验变更存在的风险,并且报警到对应关注的人,做好及时的干预和总结。
实验风险预警
对于一些异常关闭的实验或者超期的时间,实现动态的监控报警和大盘来实时查看当前的数据。
可以监控团队范围的实验变更,并且能够把存在风险的变更及时预警出来,做好对应的预期管理和及时的纠错,对于把控整体的实验变更质量是有很大帮助的。
250px|700px|reset
实验变更订阅
验的变更与放量目前是没有统一的通知方式,挨个订阅或者收藏才能获取到实验变更的信息,对于关注某个业务方向或者整个VC的重要实验变更的场景,都可以通过在平台进行相关的订阅来满足需求。
实验问题调查
实验变更也会带来一些线上问题,能够快速排查相关实验的变更,是可以给线上问题的调查节约成本的。
250px|700px|reset
应用展示
主要的场景还是实验变更的应用,不管是变更看板,变更风险预警还是变更事件问题排查。
场景 1:实验看板
用于业务的实验看板,个性化看板配置。
场景 2:变更事件通知
变更事件订阅后,不管是个人还是群组,都能够收到订阅后的通知,并且及时做出响应。
场景 3:部门维护
可以根据变更人的具体部门和虚拟业务的概念相结合,来维护业务和实验的关系。
先进生产力和业务协同平台
联系我们立即试用
更多人气推荐
查看更多

先进团队,先用飞书

欢迎联系我们,飞书效能顾问将为您提供全力支持
分享先进工作方式
输送行业最佳实践
全面协助组织提效
反馈给飞书 CEO:ceo@feishu.cn