应该是到时间了刚刚主办发誓有讲说要到我的时间才能开始所以辛苦大家等待了我先做我介绍一下我是Deaflaw的产品经理李倩然后今天我带来的演讲主题是利用WebFamily去实现金融业务的零侵扰可观测性说到金融业务的可观测性的话其实大家如果在考虑过这个问题的话基本上获得或少去基本上是有去考虑过APM的一些方案但是对于我们在这个行业这么长时间然后去跟这么多金融行业的一些用户去交流下来发现APM的整个方案的话基本上停留在PLC的阶段就PLC可能都还是很漂亮的但基本上生产上不去因为这里面可能会有很多其他的原因就是可能对于性能的影响或者是对于监管的要求导致它的整个对于在金融业务行业的话如果用APM那种形式的话是没有办法去上到生产环境来做可观测性的然后我详细地看一下这些点上第一个就比如说我们由于监管的要求因为金融行业其实大家业务是有一些特性的就是是强监管的在这样强监管的背景下业务方它自己出于安全的一个考虑以及出于对业务稳定性的一个保障的话基本上是不太会允许说我们在业务的一些代码里面去注入APM agent的那种插码的方式去注入代码的这个是一个很难去上的一个情况然后还有就是在金融行业的这些业务其实很多是由第三方的这个厂商去来承包的就是可能大部分的话就是可能一个厂商一个模块这样的一个情况那对于这样子各个厂商不同它其实也很难去要求说我们以统一的这种APM的厂商的方式去注入统一的Agent的任务形式去做可观测性所以其实可能函里面的很多应用有一部分是跑到某一个A的厂商的这个APM的一个方有的跑的B的有一些可能根本就没有跑那这样子的话实际上真正在出现问题的时候其实现在的这部分数据确实会导致数据不可信然后真正的人去排查问题的时候一线人去排查问题的时候因为数据不可信它可能还要花很多时间去验证到底应该信哪部分数据可能会浪费更多的时间这是一些情况然后还有就是假如真的我们克服了种种困难去将我们的APM的Agent去上到就是金融业务体系里面去了以后其实APM的这一部分基本上还是只能去覆盖到应用代码的这个层面那对于像说像DNS、MySocra、Redis等等这样子的一些基础设施其实是没有办法查码的然后对于像这种Gateway或者是KBSCI这种网络转发路径的话其实也是没有办法去查码的那在这样一个情况下其实是非常难以去快速地去做到应用系统网络这种快速地去定界问题的故障到底发生在哪个层面可能只能关注到我应用出来问题但是在哪其实我不太知道我只能说我应用自身的一些问题我能自己排查OK这个是目前像金融行业区在做口罗安心汇聚到的一些挑战然后那接下来我介绍一下就是DeafLaw这样一个平台是如何去应对这样一个挑战的然后DeafLaw是一个可观资性的平台然后DeafLaw会利用EBPF加上WebAssembly去以零清扰的方式去给金融业务去做可观资性然后我先大概介绍一下DeafLaw的一个框架大家会有一个感谢的认知然后接下来我再来讲一讲就是实际上是怎么做的DeafLaw其实有两个进程组成一个是Adent一个是SoapAdent这一块的话主要是可以用Demonset的形式去部署在KBS的Node上以及说我们可以以进程的形式去部署在这种云服务器上或者裸机属的服务器上等等都OK然后它部署上去以后这个Adent去负责这一个服务器上的所有应用的这些应用啊 业务啊然后网络啊等等相关的一些数据的采节就包含了指标的包含了追踪的包含了日制的数据的采节然后Soap的话其实是可以用就直接部署在KBS集群里面就OK了然后Soap的话主要是负责去做Adent测的管理然后我们会去做标签的学习然后会去做数据的写录数据的查询等等这些事情这是这两个进程这一块会在做什么然后再就是DeafLaw其实作为一个可观类平台还是非常开放的然后它在于我们可以去集成非常多的数据然后比如说像普罗米修斯的数据Open Telemetry的数据Skywalking啊TileGraph等等的数据都OK然后它的数据输出方式也是非常丰富的除了自身写带的我们用API或者是一个类似口的一个语句去输出以外还可以通过作为官方的数据员然后去输出到官方上面然后去输出到以Open Telemetry定义的格式去做输出然后去输出给普罗米修斯等等这种形式都是OK的这是一个大铁的框架我快速过一下然后我们接下来看一下就是是如何去如何去以临侵扰的一个方式去采集业务的数据的其实刚刚说我们用临侵扰的方式去做金融行业的可观策性其实第一步就是在怎么以临侵扰的方式去补货数据然后呢这部分对于DeafLaw来说的话其实只需要去补货业务的这些就是业务去通信的那些协议数据就OK了补货到这些协议数据然后我们去处理然后我们就能去做到业务层面的这种可观策性我们先看责任补货其实补货的话主要是利用EBTF来做然后呢它会分为好几层因为补货的数据的话其实主要从大类上其实分为两个大类一个是加密压缩的这些通信的协议数据然后还有一些就是其他的就没有加密没有压缩的数据对于加密压缩的协议数据来说的话它的这个补货必须要靠近用层所以我们会通过EBTF的Uprobo和USDT去覆盖到就是去Hook到用戴的函数然后呢比如说Go的一些加PC的库函数上或者是OpenSSL的一些库函数上我们去获取到在它加密或者压缩之前的一个数据比如说我们看SLS数据、TLS数据、HTTPR、HTPS等等的数据都是OK的那对于其他的一些协议的话就是它本身不需要加密和压缩的协议的话它其实会有多种的形式来获取到我们可以通过EBTF的形式就是我们通过EBTF的Kplob和TressPoint我们去互合在类合态的函数然后我们来获取到也经但是实际上可能在生产的业务上面不是每一个业务系统上面或者是系统上面都已经能跑现在EBTF所需要的类合的一个版本要求了那其实还会有一个途径就是我们可以通过EBTF的Fpact以及Libpapact的形式去拿到数据这个形式可能就是我们通过在网卡上取包的这种形式来获取到这部分数据这是目前补货的数据那其实可能看一下我们看一下补货的这些数据补货来了以后有什么用补货来了以后其实会通过Deepflow Agent一个Pamline的一个机制然后我们通过这个Pamline的机制会来解析这部分数据我们先来看其实大令商就是因为其实刚刚补货的就是业务在网络上通信的那些数据那业务通信的那些数据实际上它会分为很多层面的解析那当然会分为网络层数据的解析但网络层数据的解析是因为网络层的本身协议的一个标准的话所以我没有拎出来讲因为那个是非常标准的协议就解析就行了那其实主要是跟业务测相关的这些协议是分为不同的业务测相关的协议的话它会分为业务测的协议如何解析以及业务层面的协议如何解析那业务测的协议的话分为像这种http.glp.c.lmysokwa等等这种用协议所以它会由两种形式我们会由两种形式来解析在通过eBPF或者是BPF采集到的数据进入到这个pepla里面以后第一步我们会完成协议的识别我们协议识别到不同的协议的时候就会去给它分流到不同的一个协议解析器里面去做解析那对于应用协议的解析会有两种方式第一个就是我们类制的这种解析器类制的解析器的话主要是针对于标准的协议就像刚刚这边蓝色的部分就是mysokwa, kafkaia然后double add等等这种标准协议只要有协议标准情况下基本上是类制的但对于实际上还有在金融行业其实会有很多因为安全性的要求它会有一些或者是行业性的要求是会有一些私有的协议的那这一部类的私有协议的话基本上我们可以通过WASM的插件来完成那这会比如说T3、KRP3我们对上的一些行业里面的私有协议的话基本上是可以通过插件的形式来说那可以在不同的客户那边他们需要什么样的协议就拿什么样的插件做就行了就直接定制就OK然后这个又是可插拔的所以不会去说有泄漏的风险行 这个是针对于应用协议的解析那对于业务协议的解析的话它其实只有一种形式我们就通过WASM插件来做为什么会这样呢因为业务里边的话实际上没有说某一个就是我们可能某一个行跟另外一个行它的业务完全一样或者是它实现的代码一样完全一样 几乎是不可能的他们可能对于这种错误码或者是对于想一码根根的定义都不一样或者是我们对于ID的形式每个ID表示的含义确实全部都不一样那对于像这种业务类型的这些数据的话就全部通过定制WASM插件来做那比如说我们通过比如说Protobuf去传递的这些协议或者是Jason的协议Charmel的协议它在这个基础之上传递的那些业务数据的话全部用WASM插件来做那通过这些就是DeflowAgent的这个Pipeline的机制解析这些数据以后基本上会得到一些什么其实也就是通过业务协议解析其实会拿到很多跟应用相关的一些属性那就是哪些寓民哪哪个路径或者哪个方法等等这些信息会拿到那通过业务协议解析以后其实得到的就是业务的属性那业务的交易流水号是什么业务的来源是什么业务的交易金额是什么等等这些信息是会拿到的OK拿到这份信息以后呢实际上在结合现在DeflowAgent就是我们的Tecn的机制就刚刚有说到Sauer会去完成很多标签的学习然后将这些解析过了数据全部增加标签然后就是去利用指标的一些分析追踪的分析加上这种全景图的一个top的形式和日制的分析然后就能去做金融业务的一个零清扰的可观的信这是基本上是在做的实际上的一个原理就是如何补货如何去解析然后最后如何做那如何做的话就是我在想就是如何呈现的话因为我作为产品经理我会从还是从一个实际的金融业务的一个案例然后结合产品的一个呈现然后给大家去传输一下目前这一块是如何落地下来的基本上是这样就是我们先看这个现在这个top图这个top图是一个完全是diffload区以这种零清扰的形式自动画出来的不需要做任何的基本上不需要除了WASM插件的一个定制其他不需要做任何人工的定制然后去给它画出来的我们基于这一张top图来看一下一个金融行业就是某一个银行它的一个手机银行这一个业务是如何去整个处理的那这个手机银行的业务就是基本上是这样子他们其实也是在做上云的改造今天早上的那个主论坛里面龙行其实也有讲过他们也是在做上云的整个改造但是我现在对了这个案例里边他们没有龙行那么快算我们可以看一下它大概是怎么做的就他们手机银行其实会分很几大块第一个就是手机银行的前台中台然后手机银行的这种渠道整合数就库区ESB区以及核心的一个交易区那对于这些区的话其实对于手机银行的前台和中台这些外围的话基本上已经完成了就是KBIS的整个改造已经全部都上到KBIS上去了然后对于中间的渠道整合然后数据库区以及这些ESB案的这一块的话实际上目前是刚刚完成虚拟化的一个改造就也就是他们上到虚拟机上从之前的一个大型机上去搬到虚拟机上这样一个过程现在已经完成了然后核心交易的这一部分其实目前还没动也还是想观察就是等前面这些基本上稳定了以后他们那部分在上是最谨慎的那一部分龙汉其实我今天看了早上他们说龙汉其实已经开始动核心去了这个还是挺前沿的OK然后我们看一下他们这些上完了以后它会有什么样的一些问题其实在他们完成前面的手机银行的前台跟中台的一个改造以后基本上就是就开始考虑各种可观资讯的方案那这些可观资讯的方案他们之前也考虑过很多A面的厂商但你们会遇到的问题就是首先核心交易区是不允许插码的所以没有任何APM的厂商能上去然后再就是现在的这些就是中间虚拟化那个区有一部分其实是APM能上去但数据库区他们是上不去的因为数据库区本身就没有不支持插码的这样一个能力这种基础设施本身就不支持插码的能力所以上不去然后还有就是其实他们的前台跟中台都已经之前最开始都已经上来APM的一个这些Agent的上去但是上去以后呢他们在中台区观察到就是对于实验就是APMAgent上去以后整个响应实验上的是非常明显的所以后来他们又下线了大概就大概上线了两天嘛然后就已经下线了最后基本上他们挪跑了一段时间然后再去交流了解到A其实Deaflaw有一个就是EBPF加上Web Encemoning的机制可以去做这种业务代码无感值的一个方式去做可观色性然后就引入了我们然后我们看一下中间大概会要做什么事情当然做的事情就是首先我们分析一下在对于之前还是有讲过就是对于各种协议数据的采集是什么样的采集它其实也分三块第一个就是KBS区如何做一个虚拟化区一个就是之前的一个传统的还是大型机区怎么样做对于KBS区的话其实还是比较标准的就是Adion的部署就直接Deaflaw的一个demo side去部署上去就OK然后当机里面去涉及到像他们应用协议的话不需要做任何事情就用标准的解析器来做就行加HTPE跟GRPC就标准协议但是他们产地的业务的那些属性的话这就是在Jason和ProBuff来取其迁地业务属性的话还是用Whatsman插件来做的那对于中间的那一部分就是这些虚拟化区的话基本上就是以进程的形式去部署Deaflaw的Adion就OK了那这里面也是对于HTTP其实类似就是DBRDBR到这个协议的话其实也是我们特技为它开发的虽然不能算私有的然后剩下的像插描以及像那种新插描其实也就是新式表示他们内部用了一个私有化的这种应用协议这些都是定制插件做的然后对于大型机区其实可能大家更大想想就是说大型机要怎么来做这件事大型机区你不能去部署Adion的如何做其实它会有一个方式就是刚刚有讲我们通过BPF的一个形式来做然后那这个形式其实就是我们去将大型机它前方的这种在某一个交易换机上面的这种流量用旁路的方式给它进向未来进向未来以后后面在进向处去部署一个DeaflawAdion然后它解析部分的数据就OK了这是整个去怎么样落地下来的就是用BPF加上web3.0的Deaflaw是怎么样去落地在金融行业业务上面去怎么样落的一个形式这是一个TOP图除了TOP的这一个形式就是通过自动化区化出TOP来实时地观察整个业务的整个进干状态以外以及它的调用关系它的整个流线走向以外的话它还是会有去还可以通过指标就是所有的指标都是可以分析的就刚刚我们拿了那么多数据那当然是要分析它指标的因为我要去分析每一个服务就进入业务里面业务里面有那么多服务服务用那么多endpoint这些endpoint它的整个指标状况是什么样子的然后服务的整个状况是怎么样我们可以去监控它的整个交易量是什么样子错误率失败率然后以及它的整个响应实验是什么样子的以服务的视角以endpoint的视角都有很多维度然后可以查看每一个服务的一个downtops是什么样子的每一个过去的历史曲线数据是什么变化的然后会有多维统计那多维统计的话其实在金龙这个业务场景上还是会有很大的用处的它的这个使用场景非常非常多是为什么呢因为我们刚刚提供了很多的属性就比如说交易额的属性交易来源的属性然后流水耗的这样一些属性那我可以去统计我现在的这些交易交易的一个重点区域是哪些然后呢我的这些交易可能的额度集中在哪些额度上然后准认这些数据对于金龙的这样一个业务的可观资讯多维统计是非常非常常用的但都是基于指标来做指标加属性来做OK除了就是刚刚讲到的这个属性的话其实还会有详细的认识就是记录每一笔交易的详细数据它这个详细数据覆盖到从从网络到系统然后会到应用会到业务等等这样一些属性比如说网络上面的IPI端口到进程里面的哪个进程哪个服务然后我们会到应用的这一些UIL然后它的请求方法它的参数等等是什么都会记录到然后业务属性包含业务的ID然后这些来源什么的都会去记录到这是当你分析到每一笔要细腻度到每一笔交易去分析它的时候实际上用这种日子形式来做这个日子形式是格式化的日子的OK然后拿到这些属性的话其实可能除了做一个纪录以外这些属性还会有一些其他的作用第一个的话就是我们拿着属性里面比如说属性里面对应的一些应用的状态码或者是业务的错误码这些信息的话是会去拿到他们去监控就之前我们看到的这些前面的top图上面的这些状态就会拿着这些错误码或者是状态码去做一些监控这是对于前面的一个反馈然后中间还会有一个创新性的使用就是我们会去拿着全局的因为在金融行业基本上是会去传递这样子全局的一个流水号拿着这样一个全局的流水号给它硬设为trace ID就是我现在箭头标的那个地方就是硬设为一个trace ID然后拿着这样一个trace ID以后再结合Deaflaw的一个EBPF的自动化追踪的一个技术我们是可以去实现完全零差马的这样一个形式去做全链路的追踪的就是全链路分布是追踪的这是一张我们拿着一笔交易就是一笔其实就是一笔交易了然后这一笔交易拿着有一个流水号的ID拿着这个ID为发起点去做的一个追踪这个追踪里面其实是就这个追踪出来的火焰图里面其实是包含了现在包含的是就有S部分 有N的部分我拿出来讲了就S部分是一个系统字板它是一个EBPF采集到的数据然后主要覆盖到的是哪一个服务哪一个进程然后还有一个Networks版是通过BPF采集到的我们能知道这一笔调用它在网络上经过的每一条的一个数据当然这边还有一个题下就是除了就前面有讲说Deflot它作为一个框架的话它的数据是可以集成很多数据的然后当如果在金融行业业务里面本来有一部分的业务比如说像刚刚之前说的手机银行的前台或者中台就已经上到说K8S然后已经集成一部分APM的数据的话那APM的数据完全不用丢是可以去拿过来跟Deflot现在现有的这些system span以及networks span去做集成然后得到一张包含APP spannetworks span以及system span的一个更全的一张调令绝对能在这里面快速地去定位到底是应用系统还是网络的问题OK 行然后基本上我的这边的分享就差不多到这然后今天主要是给大家带来了通过EBPF和Weber Simulink是如何去做金融业务的一个零侵扰的可观色性的然后Deflot这个项目的话目前其实我们已经开源了就是也是一个开源的项目大家如果有兴趣的话是可以关注一下的行 那我今天的分享就到这好 看大家有什么问题我们可以交流一下非常感谢您的这个分享然后我是有一个问题就是关于您在金融行业里面的话就虽然说您刚才在第二页还是第三页提到说接管机构的话它对APM agent这样一种方式它会有很多的这种concern然后这种concern的话会导致说我们想用另外一种方式去做这件事情而实现这个可观色性然后这里面的话我不太理解两个问题然后咱们Deflot在金融业务里面是怎么样去解决的就是说那如果有一些监网要求说我们不能去做这个agent那么他们难道就可以接受说我用EBPF去抓这样一些数据然后甚至说我这些数据的话可以发生在TLS的termination之后然后可以抓到这样一些名为的数据吗因为这个技术听起来是非常不能说是非常hike的一种解决这个问题的方式是说我相当于说我在我斗了这样一层的话我打了一个洞然后我去把你这个数据给抓出来然后来实现了这个没有这种侵扰性那么这个的话接管机构的话他们是可以接受这样一种方式来解决这个问题那我可能有答案因为你特别常常地先做个总结就是大概我听一下就是问题基本上是这样子的也就是现在因为插码的形式会让业务代码去产生就不安全以及可能稳定性的问题然后现在EBPF是不是同样存在这个问题对 因为你的EBPF后的话是要跑在相当于是并不是并没有跑在业务代码的一层但是你跑在它是技术家或者这一层对然后这个听起来像是一个更危险的一个事情这个其实是依赖于EBPFEBPF自身本身是一个安全的沙盒然后跑在这个沙盒里面它EBPF这一项技术做了一个保障所以在这里面跑的代码的话即使它崩溃或者怎么样因为它不会影响到业务所以它会有这个是这个一个潜体的存在对 但是你能够抓到它的普通的数据的话你就可以抓到它所有的数据包括一些用户的一些隐私方面的数据包括金融上的数据的话对 这个就是我们说为什么要通过WebAssembly这样的插件来做这样子插件的话去分析它所有的数据的话这一部分的插件行为以及插件的管理整个全部都是交给金融业务来自己管理的就是相当于业务方它有这样一个主动权谢谢您 这个第一问题第二问题是关于就是说您刚才也提到就是关于EBPF做需要一些比较新的这个可能的版本而据我所知的话在有一些金融业务的提供方比如说银行 比如证券的话他们的话对旧设施比如说Linux内核它不会那么去keep up to date然后对 这个问题的话他们是怎么样去解决的或者你们是怎么样说服他们去解决的就是这个不用说服他们解决你看上面是有三个框中间有三个框 EBPF EBPF下面是一个BPF这种的话其实对于类合版本就没有那么高的要求基本上现在金融业务里边在跑的那些类合版本都能覆盖好的 谢谢好您好 我问一下就是说刚才看到你们的Agent然后是Agent有插件的机制插件的机制是用EBPF做的然后是插件的机制其实通过Wi-Fi 3.0做的是前面那部分数据是通过EBPF才集的我想就是你能清楚的就是能够介绍一下说你这个Agent和这个EBPF和这个Wi-Fi 3.0他们之间数据是怎么一个流动的一个关系互相是怎么调用的然后你这Agent是用什么语言写的之类的其实Agent是这样子Agent里面包含了我刚刚讲的就是数据补货和数据解析的这两个部分这个是Agent包含的这两部分然后这个是一个问题然后我们的Agent是用Rust写的然后这一部分的数据大概是整个在Agent里面的流向是由Agent的这种EBPF的模块先去负责采集到的数据采集到的数据了然后进入到Agent这个解析协议的这个Papeline的一个机制里面然后去解析数据当然是这样一个模式也就是说是EBPF收集的数据然后发到Agent的然后Agent再调用这个Web3.0的插件去处理对 就是当EBPF这部分收集数据其实也是属于我们Agent的这一个大的体系里面的一个模块明白吗你好 问一下这个Web3.0插件的话它应该是自言的吗 是吧对 是其实是自言的在这种行业的话因为出于安全的就刚刚就有提到说他们这些交易或者是一些隐秘性的信息其实是自言的就是通过这个插件去来理解核心的或者银行的业务那这个插件的话是由是由行李人员开发的还是咱们来开发的其实一开始在做demo的时候基本上是我们开发的我们现在要去做PLC要证明这部分的能力其实是能解决你的问题的但是真正的到时候要交付上线或者是到后续里面有新的需求上来其实是行里面自己去开发的就是咱们提供一种对 就是我们会提供SDK这样一个形式SDK是吧然后那个内置解析器的话是咱们这个Deepflow里面自己带出来的对 对因为它这标准的这些协议没有说什么一些隐秘性或者是私有性或者贼押的属性本质上讲的话是通过WASM插件来理解业务模型对OK 谢谢我问个问题就是你讲整个里面对WASM它为什么要用WASM这个机制好像没有单独去讲就如果仅仅是原来解析协议流的话其实有很多其他的可选择 选择 对吧为什么必须要使用WASM这个其实就是用WASM的插件其实不是说用WASM为什么这样其实是为什么要就用插件的这个形式来做那现在的话因为DeepflowAgent其实是用Rust去实现的然后现在Rust的EBPF加上WASM 70的整个这一套机制然后就会去一起跑大概是这样一个逻辑的那我理解其实这个Deepflow核心的逻辑还是GBPFWASM其实就刚讲的其实没有什么特色的理由一定要用WASM 对吧对 我们其实还会提供其他的插件嗯 好感谢分享 我问一个问题就是说正常来说我们也用过EBPF做类似的事但是发现EBPF正常采集的因为它毕竟在内核嘛你整个Note上的所有东西都得接过它然后采集的数据量会特别大这边数据量的话是大概怎么样的一个处理这个其实就是你通过目前EBPF我们户客的点击并不会很多早上的时候当时Kendall也去分享他会去采集可能CPU的锁的 或者是等等各种位置的相对于Deepflow来说因为主要专注在业务这一侧其实我们只是户客在socket的那些就是刚刚通过这部分回来讲就如果是在kpop或transpoint的话我们就户客在socket的一个读写的地方就减少的户客点然后Uprobo的话其实也是户客在库的数据加密或者是压缩之前的那个位置上当然是这样子的那现在大概的处理量是多少就比如说像一个小时或一天的处理量大概多少这个我还没有统计过可能可以下来就是我去找我们的那些用位同学统计一下当然是这样这样 谢谢我想问一下就是就这边对于加密的这些协议像你们这边是怎么处理因为按照我理解的话像这种加密协议它本身就是为了防止就是在图中被截取或者是什么样那你们这块是怎么处理这个本身其实是一个比较矛盾的事情就是说从用层我来去加密然后我怕在图中截取但其实实际上我从可观测性的角度我又希望去能观测这样一个业务然后又会有很多需求提过来我希望能对于加密的这些数据然后去做监控这个本身它两方都有需求但各方有各方的不同的一些立场点吧但现在通过EBP然后这个事情还是比较好解决这个问题的为什么因为实际上通过EBPF去拿取到的加密回押色的数据的话它是通过Hook在用户带也就是在进程在运行的时候那个用户带里面的库寒树里面我们现在比如说对于HDPR我们是在Go的加PC的那些库寒树里面去拿到的它还没有去发送到整个途径到路径上去然后去拿取到的一个数据大概是这样子我想问一下就是我们都是用插件形式来做一些私有协议一些扩展那这个插件的话稳定性你该怎么去保证的或者因为它是和你的Rust是做锦澳核的吗等一下是说插件的稳定性怎么样保证是不是就是这样子对 因为它也是集成到你的相当于的agent里面你说它的锦澳核的对 所以其实这个稳定性的保证就是你对于插件本身的这些就哪些插件起来哪些插件它的整个消耗实验等这些数据是要做监控的对 就是对插件它自身是要去做监控的我知道 这个监控其实已经制后了从前期 比如说是前有没有一些比如说你去给它绑合或者说绑给它指定CPU的歌说或者给它指定运行时间等等这些东西这个目前其实不是在插件里面来做因为插件整个就是和deflow agent是打包的因为deflow agent里面运行的一个百般三分零的运行时它整个是打包的所以这件事情其实是对agent来做所以它的一个稳定性的运行是agent稳定性的一个运行如何要保证agent的稳定性这件事然后如何保证agent的稳定性这件事情我们就是因为跑进用业务你对于这种稳定性要求是很高的所以agent的自身有非常严格的一个自愿限制就是我们会非常严格的限制到这个agent它的整个CPU使用多少然后它的一个类传使用多少它的一个带宽战用多少大概等于这样子来做您好 想请教一下关于epf的使用在性能方面是否有一些开销想问一下有没有这样的考量这个肯定是有一些开销就是刚才说只要有互衡这个地方肯定是会有开销的是说开销多少对业务影响大不大的一个情况我们做过很多就是大概是这样子我不讲具体的数据了我们就讲客户就刚刚那个案例刚刚那个案例其实前台跟中台之前是上过加班A阵的这样一个形式的但是基本上实验增加非常明显对业务影响很明显下了然后又上了deflated但是至少到目前为止还没有下对 这就是实际上对于业务来说是可承担的一个感者然后我看大家没有问题了那我们就先结束这一场好 谢谢大家