【LSP】系统架构设计:平滑发布和ABTesting

编程开发   © 文章版权由 admin 解释,禁止匿名转载

#楼主# 2020-10-10

平滑发布的介绍
背景
单位的云办公相关系统没有成熟的平滑发布方案,导致每一次发布都是直接发布,dll文件或配置文件的变更会引起站点的重启。

云办公系统的常驻用户有10000+,即使短短半分多钟,也会收到一堆投诉。基于此,我们梳理了一套平滑发布的方案。

实施方案
1、跟nginx代理服务器约定了一个健康检查的接口
2、通过接口返回的http状态码来让ngx是否分流用户请求(这个我们单位的技术部那边有标准的做法)
3、根据提供的这个服务健康检查的接口:nginx判断只要某个实例的接口返回5xx的状态码,即把该实例下线(nginx不会把流量转发到该实例)



发布流程
目的主要是为了发布的时候能够平滑发布,所以QA与开发人员在发布得时候按照如下步骤操作:

1、打开系统的nginx列表管理页面:[/publish/ngxconfig]

2、下架某一个实例(假设系统集群有A、B、C个实例),比如A实例


3、查看是否下架成功:这个就是我们跟nginx约定的健康检查接口,正常在线状态下是200的statu,切离线后,这个接口返回的是401的statu。

在线情况:





离线情况:



4、观察监控站点,直至该实例下的Req、Connnectiuon流量都消失



5、在该实例下进行版本发布

6、打开Fidller,host到待发布的实例,然后判断是否发布成功(发布dll、配置文件时,IIS站点会短暂重启)

7、QA同学走查灰度的A实例服务器,保证它正常运行,如此循环,直到所有服务器都发布。


进一步ABTesting的优化
背景
平滑发布做完之后,确实给我带来很大的便利,不用每次发布都发公告,不重要的或者非功能性的内容发布了就是了。

但是用久了,客户量上去之后,又遇到一个问题,那就是每一次业务大变更,大型发布都是直接发布到生产,这样可能存在风险。设计师设计的功能,用户不一定完全接受,一旦上线新版本,

收到一大堆的吐槽,都是用户呀,如果能在小范围人群内进行灰度试用,完成平稳的过度和使用反馈之后,优化后再上到生产会更好一点。

所以这边需要思考和设计一套统一的技术方案,未来无论云办公还是其他的业务系统,都能通过灰度发布在可指定的小范围内先进行体验和功能验证。

基于上面的平滑,我们在Nginx反向代理服务器上动心思,让nginx来帮我们做ABTesting的方案。以下是我们尝试的几种方案:

1、Nginx反向代理:来路IP策略
流程

步骤
1、进入云办公系统,进入Nginx反代服务器

2、Nginx读取来路IP的AB名单

3、根据IP AB名单进行流量转发(名单A走特定实例,名单B走云办公原有集群实例)

成为第一个回答人

评论

登录后才可发表内容
  • 主题

    124

  • 帖子

    0

  • 关注者

    0

Copyright © 2019 凯特网.   Powered by HYBBS 2.3.4  

Runtime:0.0651s Mem:2040Kb