您现在的位置:主页 > 少年德育 >
 
 

百度智能运维的多时序数据关联分析是如何做到的

时间:2020-05-17 14:19:42

谢邀,在负责一个类似的数据部门项目设计,不过可能更复杂一些(业务数据系统指标类型更多样),其他答主感觉并没有直接回答问题,我来稍微通俗的讲下吧。其实多时序数据关联分析很简单,你可以把每个时序数据作为一个指标(节点),然后算出来两个节点之间的联系(即时序与时序数据之间的关系,因为时间周期都一样,简单的用线性模型就可以了)。现在我们得到了每两个节点之间的联系,然后设定一个强度阈值过滤掉一些强度比较低的联系,最后将所有的节点和连线体现在图上,嗯,也就是一个网络图,就像下面这样(截取自Echarts):你可以再对网络图每个节点的最大度数做出一些限制,然后用贪婪算法去重新计算连接关系,进而形成一些更具有视觉分析意义的图形,这个可以参考一篇很有名的可视化paper:UnTangleMap:VisualAnalysisofProbabilisticMulti-LabelData,大概长这个样子(截取自原paper):我用D3.js手写了一个大概长这个样子:你说拿到这个网络了有什么用?首先假设其中一个节点(也就是时序数据)出现了异常,你可以根据这个网络来判断周围哪些可能受到影响,反过来说,如果一堆节点出现了问题,你可以根据这个网络判断出异常的根本来源是哪个节点,应该说,一定程度上是用来辅助因果判断的。补充一点对描述中图的解释:我觉得这里的错误数并不像@ZhouSteve说的一样是估计出来的结果,从图中来看,更不容易观测出来的应该是流量的异常(从图中可以看出,收入和错误数都可以通过统计学方法直接检测出来的异常,如箱线图或者3倍sigma,但流量从统计学上来讲依然是在正常区间内,这一点可以通过图中的标记确认),因此这里应该是根据收入和错误数的异常来评估出另一个变量(也就是流量)也是异常状态(可以想象成由三个节点组成的三角形,通过两个节点的异常推测出第三个点的异常)地铁上先占个位,等有时间再来详细答。
共有评论 11相关评论
发表我的评论
  • 大名:
  • 内容: