好 欢迎大家来到我们这个SupposMesh is on the wayto witness the higher rhythm of the cloud然后有请我们的几位分享人然后张怀龙王熙宁然后赵华斌然后裴肥然后我是这次Panel discussion的主持人我叫徐忠虎那个开始之前我们先简单地介绍一下自己吧好 大家随意一点吧轮流都来吧开了吗大家好很高兴能够在这里跟大家一起专家或者是开发者还有各位热忠于开源的人然后我叫张怀龙是来自英特尔的云元身服务网格团队的工程师然后我目前主要是在Fox在East 9社区然后现在也是East 9者Maintainer很高兴认识大家 谢谢大家下午好我是来自网易数分云元身团队的裴肥然后我目前的话也是主要是在做包括向云元身的微服务网格包括向云元身网关相关的一些平台建设以及商业化的一些平台的一些构建很高兴今天下午跟大家进行一些交流大家下午好我叫王熙宁我是来自云元身团队现在在负责SoceMask ASM这个产品的整个研发很高兴今天有机会跟大家一起分享一下SoceMask在整个行业里面一些运用情况大家好 我叫赵浩平我来自TESTV的IO公司然后我们叫王熙宁目前在美国归务的他在国内没什么业务他可能没在听说过主要是做那个服务网格还有网关还有挖身相关的一些一些产品和开源的工作我自己的话之前主要是做那个服网格相关的一些产品现在也在做网关相关的产品谢谢大家好 谢谢大家然后我们开始我们第一个话题不用照着很照是吧是不是太偏了然后第一个问题是服网格商业化过程中的挑战然后这个大家来阐述一下我们在服网格商业化落地过程中有哪些挑战然后我们会建议用户因为大家在做的好多都是vendor然后我们建议用户在具备什么样的条件下然后我们建议他这个时候开始落地服网格好 那个要不然就从画边开始吧这样转过来不要离太远感觉有点挑战啊 非常辩论啊 感觉围着近点吗 围着近点吗太远了 还近点感觉有点像最厉害的那个OK往这多一点 没事挑战啊 其实我觉得挑战蛮多的但是我说一个因为我跟那个从事那么服网格的产品研发还有其实我跟用户也有接触我有时候作为一个知识的工作所以我跟他们有一交流我觉得挑战蛮多但是我说一个我觉得一个比较大的挑战就是团队的一个因素啊我自己感觉的就是我们在特别是在国内服网格解决的问题其实我认为是两个问题一个是运萎团队的问题就是说我有些运萎的一些策略比如说我做汇率发布我做安全策略等等以前的话如果说我们有一个所谓的机会设施程序解决这个问题那么我们实际上是我们的运萎团队是需要依赖开发团队的我们可以开发团队提提球 OK但是我做得好的话可能改个配置做得不好的话可能要改代码去重新部署然后我们这个运萎的需求团队的满足这个时候他们之间就有个偶和对吧所以说运萎团队听说有一个工具有服网的工具那么他就很高兴我不带预来的开发团队了如果有什么运萎的操作我可以很快地去实施 去上线所以对运萎团队说它大部分情况下它是比较乐意比较愿意去做把运萎去做服网格去做这个网格化的因为他给解决了很多的一些问题但对运萎团队来说的话大附层团队他做一些服务质的问题比如做七成的一个负责均衡做一个路由或者做重视 是吧或者做一些tellumentary的一些收机呈现实际上它都有它的工具了它的SDK里面它有工具然后它有些因识出面的一些代码它可以解决这个问题所以它不会有太强烈的意愿去把SDK的方案去迁移到一个服务网的方案因为它中间又有些风险大家都知道如果站在你的位置上如果说没有一个很大的收益而又要面临很大的风险的话你去做这个决策就很难的我觉得这是我接触的我认为比较大的一个悖论就大家遇到的一个困境之一好 欣宁我补充一点从我服务了大概有几千个客户的精灵来看我个人认为SoiceMesh在落地过程中我把这个挑战分为两类一类就是说在组织架构上的一个挑战另外一类就是自然在技术的复杂度上的一些挑战先说一下第一类就是在组织架构上其实大家有没有注意到就是说今天我们是参加了库不康SoiceMesh这个技术它自这个诞生开始其实就跟底层的技术设施是非常紧密的对吧 它是很多的电视基于KBS这一套体系那么在这个SoiceMesh出现之前其实我们知道有一些叫我们叫Soice像Fromwork 对吧像一些Spring Cloud或者是其他一些分布式的一些计算框架那这两种技术其实它针对的角色使用者是不一样的我们所接触的SoiceMesh我们去跟客户讨论SoiceMesh技术的时候首先讨论团队或组织是什么呢它并不是一个开发者它往往是一个叫技术设施团队或者是叫一个架构组一个拼谈团队那么它跟开发者的一些思路或者思维习惯不太一样这个时候其实在落地过程中是非常有挑战的它就说作为一个开发者它可能更希望用个服务框架用一个Laborer的方式去解决类似的问题它并不会首先想到一个SoiceMesh可能解决它的一些事情那这是我认为的第一个挑战当然随着KBS我人生技术的普及其实这个是有倾斜的很多开发者的决策人他也慢慢的往这个技术设施这个思维上去靠拢所以会看到Mesh在无论是与传统的技术设施团队平台架构团队它其实已经开始影响到开发者这个团队了那另外一个挑战就是说在技术上其实刚才也画面讲到就是说它怎么讲就是在这个应用性上在设计到一些技术的对战上还是有一定的这个门槛经常就是说特别设计到它属于一个应用网络层对吧 设计到其从一些网络的时候在拍查故障等等其实还是有一定挑战我觉得这个可能是在实际中那个就是用户在让它落地的时候是非常紧实的一件事情怎么能够让流量整个观念故障中能够变得可观测能够发现在哪一步进行是什么状态都希望有这么一个东西来支撑它落地我就补充这两点好 佩佩我稍微切换一个视角就是我从那个就我们对外支撑业务落地扶幌格的时间线角度讲一下这个问题比较早期的时候其实我们服务的业务或者客户的话它其实会比较关注于或者说它的接入问题这个时候的挑战往往是我们能不能让它的业务比较顺利地接上来比方说它就会关心我服务上业务上用的这些服务协议到底服务网格能不能支持我用的注册中心能不能纳管当然这里说的能不能肯定是指比方说原生我们如果使用了E-Steel它能不能这样直接去用在解决接入问题之后第二个比较重要的阶段就是业务上真的去上生产做生产落地这个时候其实比较大的挑战就是我们用的这套技术这套平台它的性能怎么样它带来的调用延时生产上能不能接受它的稳定性是不是稳定能够支撑比较大的规模这个其实可能是在上生产这个过程里面可能就会遇到的几个挑战近期其实我们又有一些就特别自身的一些业务其实给我们泡来了新的挑战这个我也认为是可能是在一些中后期的客户比较容易提的一些问题比方说我的平台建好了我也上了生产这个时候我的平台价值在哪里我怎么样跟老板去汇报我这个建服网格的价值价值如何兑现再一个的话就是可能一般来说业务它真的全量上服网格还是非常难的那这个时候可能它上了40% 50%那剩下40% 50%怎么样去上能不能就以前的方案到底能不能适用于全量上网格那这个挑战我认为其实可能比早期它的一些介入它的性能其实会更加困难它可能很多问题不只是服网格可以解决的那这个可能是我个人的一些观点嗯 好了非常感谢前面几位嘉宾给我的一些启发其实我自己总结就是服网格它在挑战在落地或者是或者商用的时候它的面前挑战我总结了有两个第一个其实是一个比较通俗的匀研生本来的发展本来给我们的企业特别是信息化的这些技术和我们的系统带来了一些挑战它已经有一定的复杂度了而East2又是建立在K8S这样一套匀研生上面的一套新的技术那我们的很多企业在面临它的这个技术储备的时候是一个问题我觉得很大程度上我们国内的很多企业面临的最大的阻力来源于信息化部门或者说其他IT相关的这种软件开发的部门人员是最大的阻力大家都做项目的时候都有一种感觉我这个项目用什么语言往往取决于我这个项目组里面的人擅长什么所以说对于第一个问题面临的挑战就是我们的人员的知识的技能的升级我觉得这个是一个巨大的投入也是大家对这个意识但是这个投入与否取决于刚才各位嘉宾说的第一我用了这个技术以后我得到什么是好处了我的投入跟我的得到了收获是不是成正比所以说这个东西其实在推广技术的时候这是我们在座的所有的嘉宾也好专家也好开发者也好大家背负的一个使命当East有成为我们大家的共同的比较comment的随意上手的那种技术以后它其实就会变得很廉价了成本可能就不计了对 这是第一个就在人员团队上第二个就是由于我们的这个技术是不断的眼睛发展的它的微服是眼睛发展上来的并不是一下子一挫而救的那以前有一些这种技术我们已经有了很多人就觉得用得很好了比如我对外暴露一个服务我可能已经有自己的网关策略网关服务了那你East有了来了以后有个Ingress Gateway那这个Ingress Gateway跟我以前的功能有重叠你让我把我以前的东西换掉这是也是它一个有阻碍的地方所以说这个我觉得最大的挑战都是在这个地方对我的感受是这样的就是之前因为我是主要是做开业为主但是偶尔也会辅助产品团队去做一些问题的公关这种我的体验是有时候我们真的是East 9或者是一些服务网格真的是很复杂复杂到我们去管理多机群去管理多机群服务的时候会发现可能会有些冲突我体会对身体是有一次我们有一个客户的用East 9 Ingress Gateway去管理多机群的网络的入库的时候然后它那边的配置的原因就是一个Gateway上面简单一个配置因为这个Gateway它当时是配置在多机群里面然后有一个机群的证书跟其他机群是不一样的它这么一个使用就导致了它有一段时间的发现流量是荡调的不通的这个时候我们就帮它去查这个问题其实也费了很大的劲其实从这个角度来看East 9本身其实还是挺复杂的就是如果说我简略一点如果说大家在没有自己的平台化运为团队之前没有一些可靠的运为人员之前就不要轻易尝试就自己去管理自己的复旺格最好是采纳云抢商的方案对因为云抢商是对你有保障的是一张对另外一点就是要想清楚自己真正的要用复旺格去做什么事情这个我就不展开了我们就待会应该会有其他的问题了好 下一个问题下一个问题是这样的就是企业在使用复旺格这个期间就是我们要重点解决什么问题应用在什么场景我们从幻龙开始简短一点行好的 我简单讲一下期望的重要解决问题其实在我们在推广或者是在考察一些用户的场景当中我们发现复旺格在很多场景上比如说我们的挥度发布现在的微服务以后它的挥度发布的上面以及我要对外暴露一些服务的时候安全性和它的这种流量切分保证我都运为的这种不当即向熔断的这些技术这些feature的话是他们比较用的比较多的然后咱们快一点谁还有补充的佩佩佩佩我简单补充一下我觉得如果是说复旺格的话其实我个人理解因为它本身跟微服解决的问题很像嘛那我理解复旺格其实我理解更多更重要的一个大的场景其实是它本身它的一个架构解决的这个场景问题简单来说就是说复旺格它本身就是想把一些非业务的通用的东西下沉到塞卡嘛这种其实其实可以帮业务包括做升级啊实现多语言啊这些能力其实是会有非常大的帮助所以我觉得其实根本性的一个架构的场景就是一个这样能力的下沉那体现到功能上面的话可能就是刚才怀龙也说了包括像一些恢度发布啊包括做一些流量荣誕荣誕测试环境治理啊包括做一些这种异常流量的一些动态摘储那这些其实就是体现到功能当然这个功能可能很多使用微服框架也可以做但是复旺格的话它可能更多在场景上面会体现比方说企业上面想做一些基础实施的下沉那这个我觉得是一个比较重要的一个偏价构方面的一个场景OK那时间关系这个问题就你们俩回答吧然后我们开始第三个问题啊这是一个开放性的问题我想请在场的各位听众然后大家感兴趣的话可以尝试来回答一下这个问题作为如果是作为用户来讲我想问一下大家最关注的是一些什么样的或者是East做什么样的特性或者是你要解决什么问题我想请大家来回答有愿意尝试的吗这个问题对N的U字可以尝试一下我们在评估要采纳ETU之前我们需要考虑的什么问题OK谢谢我那个简单拋转引玉一下就是我们在接入的时候一个是会关注他的这个可观测性就是我们肯定要对他做一些耗时啊各种监控包括他到达每个服务每个服务的QPS这种一系列的统计另外是他的这个对于协议的一些支持比如说我们现在支持这个LTTP、GRPC可能后面还有别的RPC或者说什么BRPC我们可能会关注这一点我们这边主要是关注这一些我们主要是一些这个在线在AI场景下的一些在线推理在线预测好谢谢还有其他的同学有问题吗我们就是我们相当于是一个平台的开发人员我是那个移动云的我们在用那个网格主要是做会图发布啊还有一些服务治理可观测的这样子的一个场景就是我们相当于是一个服务网格的能力的输出团队然后要支撑那些移动云的产品就是移动云的产品的研发人员关注的点我们感觉更多的是用了E-Style之后会带来就是带来什么样子的问题就是一个是迁移的成本还有一个是性能方面然后还有就是对它的改造改造方面还有就是E-Style的这种学系成本方面对 他们关注的这些会比较多另外就是可能就是还有一个就是如果E-Style出了问题的话我们能不能hold住然后对 能不能解决这些问题那还有其他的朋友想尝试回答这个问题吗雨昕我其实我是站在一个开发者的角度啊我其实本身是开发佛网格的也是处理过一些用户的一些诉求我其实觉得客户就刚刚前面这位用户他也提了一些嘛包括可观察性相关的我觉得其实用户除了功能的关注点我成另外一个侧面我想讲的是说其实就是医用性就是使用越简单越好然后那个遇到问题能快速的整段问题大概是这些方面的OK 还是复达多的问题是吧时间问题我们就不再尝试回答了台上的大家有想补充的吗其实也不叫补充的其实我理解一下大家那个总结一下大家那个刚才说的一些挑战嘛就是说其实我们服务客户过程中啊客户最关注的几个事情第一就是说这东西的稳定性刚才这位同学说的是我的流量 执行过程中啊如果能够还好去定位问题怎么保证这个流量没有任何的斗动损失我觉得这是客户反正我们的客户是对于关注流量的稳定性第二个就是刚才说的医用性怎么能够对相对复杂的技术能够有一个很好的一个上手的路径吧我觉得这两个是客户比较关注的阿伯愿意想说的吗可以了好 OK 下一个问题啊第四个问题然后服务网格技术在AI领域中就是与AI这边的这个场景有什么结合点或者是潜在的应用场景是在哪里请大家回答一下马唐在我这儿 我们就开始吧是这样就是在这个服务网格技术其实刚才这位同学也提到就是包括我们在内也是服务了很多支撑AI服务的这一些场景那么在这个过程中呢其实我们关注到一个问题就是说在一个模型推理的服务里面它其实是面临几个挑战第一个就是说每一个推理服务它所需要的资源成本还是有一定昂贵性的特别是需要一些GPU的一些场景另外一个特点呢就是说这样的一些服务它并不是实时的被使用到那这两个特点就是决定说我们能不能利用一些ServiceMesh技术包括一些弹性的能力能够让用户在这个就是来了请求之后我能够及时地想用用户的推理这个需求的同时延迟足够的满足诉求同时呢又在成本这一层面能够得到很好的一个有效的优化而且在这两点之间怎么做到一个推到做到一个更有解这是我们看到就是ServiceMesh这个技术在这个领域的场景在我们一些方案里面我们也在推了就是ServiceMesh for AIModel Serving的一些能力当然我们简称叫ModelMesh为了好叫叫ModelMesh就是说在ModelMesh这个场景里面我们是试图把这个ServiceMesh的理念一个范化能够支持在AIServiceMesh场景的一些能力那我先提到这儿OK下一个刚才欣宁给了我一些启发就是实际上服务网格除了在模型训练或者模型部署的为用户提供更好的体验上面我在想是不是就是其实如果服务网格结合Service相关的一些技术这样的话提供对对我们用户提供这种模型响应的请求让我们更加地便宜就是对每个人来说就变得很便宜因为Service的话它的成本可以变得很低对 然后我们因为现在有很多这种Service的这种技术或者框架基于服务网格的技术去做的一点可能会是一个点我这么理解佩佩有补充吗我补充一个结合点就是主要还是在业务的排帐方面因为服务网格本身它其实不是一个观测系统或者说一个排帐系统但是它可以为这种排帐包括因为系统吐非常多的一些原数据这个时候其实如果跟AI有一个好的结合的话比方说可能我们早几年会提一些AI Ops这样一些东西其实跟AI结合的话我们可以给予它的一些分析能力从一些比较海量的比方说服务网格可以提供的一些观测的原数据里面能够更快地更智能地去识别出来一些问题的一些更应帮助业务尽量快地定位到问题解决到问题这个是我想到的一个算是一个点吧OK好那我来讲一下我的观点吧就是AR领域我们其实从算力需求的角度上讲对算力需求最大的其实是AI的训练AI模型的训练这个过程然后从面向用户的角度来讲我们其实就是对用户方面的AI推理其实我们AI训练这一块其实对网络传输要求对Io的要求是很高的就是AI训练这块就有些AI的训练平台就是对这块一般好多是走那种RDMA和那种硬件的Avelink那种去做master walker之间的同步的这个时候它的要求很高我在想就是这个角度可能跟我们SurfaceMesh这边因为它追求的不是那种功能不是发布的那些东西它追求的就是高兴能它可能这个时候它是会用这种硬件直通的方式这个时候我觉得SurfaceMesh的结合点可能相对比较少另外就是像星星刚刚讲的其实在AI推理方面我们其实可以做到很好的利用SurfaceMesh这边的能力去做更快的迭代更快地去把模型发布对 这块是一个很重要的一个方向然后另外就是今年我们知道这个GPT是非常的火热然后这边包括RDMA也开圆了它自己的模型它是更把这个AI推理会带上一个更高的高度所以说这块对我想就是SurfaceMesh未来对AI推理方面进行一个快速迭代是会有其他很大作用的好那我们就下一个下一个话题那个浮网格的下一步技术眼镜画面开始好就是下一步技术眼镜刚才大家讨论其实我与其他就是有一个问题就是刚才提到大家去应用浮网格的时候有这样那样的困难比如说我们用的能力不足我们的技术人员的技术储备不够我们遇到问题可能一定会刚刚中浮去了个地址其实我也遇到过因为我也以前支持过浮网的用户有时候那个问题真的是一个灾难就是因为浮网格它处理七成七成的话应用它是有交集的对吧所以说你有时候你遇到一个问题你很难去判断它是一个我网格这个所谓的技术设施很多问题还是说是一个应用的一个问题你要把这个责任撇清是吧对吧把这个屁股擦干净很难的所以说你很多时候你就没办法就要去抖底这个问题我们想要为什么为什么会有这个问题其实我觉得有这些方面第一个就是说可能说我们的目前因为浮网格它是虽然说它已经从17年开始突然到现在有五年时间但是让本身它还是属于一个技术的一个成熟期还没有完全成熟它不像K84或者容器成为一个就今天讲的已经是一个技术设施了我们不再care它了但是我们还是就还是比较关注它说明它还没有成真的成为技术设施就这是一个问题就是说我们也看到East.io社区它虽然说已经在深圳毕业了但是它还是不停地快速地迭代大家各个厂商也在做自己的一些创新的工作比如说我们华为的K-Match然后阿里也做了很多EBF的工作大模型的工作模型的AI模型的工作然后社区也在做探索MD模式然后其实昨天我昨天晚上我去写了一个文章为什么写的文章因为当时我在East.io看的K-Match我感触很深就是为什么Google以Google Solo为首为什么在社区里面去推MD模式其实Google昨天的K-Match它已经把它的意图讲得很清楚了因为他们真的是希望把East.ioSelf-smatch做成一个技术设施它不应该再被用户关注对用户来说你就是一个Ninux机器或者是一个硬件我99%的9000万下不需要关注你对于后面对于用户来说我的服务网格它只是云上的一个服务它跟我们的RDS跟我们的CVM跟我们的Coupletics没什么区别就像我们不用关注它一样我们也不用关注Self-smatch我觉得这是它的一个最终的一个趋势这样子非常高兴听到这种有同道的声音其实大家关注一下K-Pass是一个图案是什么它的图标是一个DuoEast.io的图标是什么它是一个风番所以说Duo是掌握方向的那风番是做加速的它会加快船的运行其他的像阿狗都是水深生物了是吧对 所以我们可以看到Duo和方案都是一张船上的一个基础设施所以我非常认同就是它应该不应该被用户过多的关注而是下成为一个基础设施我觉得这是它的一个方向也就是说如何能成为一个真真正的基础设施永远是那种基础设施这是它未来远近的一个方向大家把握住这个关键点就能把握住它的这个基础发展趋势嗯 好我从两个方向来说一些我个人的一些理解那一个方向就是说刚才我们提到稳定和这个稳定安全和应用性是用户关注的一个两个点那么我相信就是下一步眼睛方向也一定是为了解决这两个点对吧 一定是解决用户的这个诉求那么从稳定安全角度来看的话其实刚才艾靠一些化冰的那个公众号对吧 也提到说感谢你把那个阿里云和这个谷歌大佬放在一起再淘汰一个话题就是说其实大家能看到就是包括阿里云谷歌在内试图都是把这个复杂度降低用户的使用门槛它除了把控制面进行托管之外它的下一步思路一定是一定是需要把数据面的一些能托管能够降低用户门槛的东西要解决掉这是从那个稳定性应用性角度来看一定会去往这个方向上去发展那这是第一个位置第二个位置就是说其实我觉得可能不仅是ServiceMesh技术就是所有的技术可能都必须去拥抱这个AI大模型的一些思路无论是大模型for ServiceMesh还是ServiceMesh on这个大模型就是我觉得无论是你利用它还是帮助它去更加充公我觉得这两个维度都一定会让ServiceMesh跟这个大模型AI技术是紧密地结合在一起的我最后补充一点因为前面我也其实也想讲两个点第一个点的话其实跟前面几位老师其实差不多了就是也是看好比方说像安遍特这样的一个技术趋势因为上午其实我也听了中估的这个分享其实East有作为一个成熟的一个开源的软件其实它推出安遍特这么新的一个东西其实还是比较大的一个步伐但是其实它这个阶段其实不太应该做这么大的一个调整但是确实也是需要更下沉然后更加无感知而且能解决当日前使用Cycarm模式比方带来的一些资源损耗严实这样一些问题这个是第一个第二个的话可能稍微有一些就偏离咱们今天的一个聚焦的主题吧就是我其实坐下来服望阁其实很多客户他刚刚也其实有讲到他做服望阁把服务相关的一些东西下沉到赛德卡但他们很快就会意识到说我用到了一些消息中间件一些DB这些东西能不能类似微服的东西也下沉这个其实包括他们也会为他们下一代的微服框架选型做一些调研他们很快地就会意识到服望阁好像有一个非常接近的也是新技术像多运行使他的这个理念包括这个下沉的理念包括可能就是想做的一些事情非常类似吧那我其实一个观点也是觉得服望阁他可能眼睛的方向更多东西下沉可能跟那个多运行使会有一些重合或者说甚至可以互相互补或者说融合的一些地方这个是我的观点好的 感谢四位老师的这个分享我个人的分享一下我的个人的想法就是我们服务网阁其实做了也很多年了从2017年应该对到2016年是不是零个地就开圆了然后2017年到现在ESTO也开圆了六年多了然后这个时候我们大部分时间大部分的这个逻辑四位被固化在我们这个应用就是透明拦截这一块这是我们大部分弄的然后那个然后我思考的就是说我们下一步也是刚刚老师有讲我们可能这个服务网阁的这个proxy会做现在的这个vpoint的这种拉远模式这是remote的拉远模式然后另外一点就是说我们还有一些可能特殊场景会要做那个proxy的这个offload下载到就是下沉到这个专有硬件上面去做一些加速这个是两个技术方向吧另外的那个我从场景上来分析的话可能就是我们subless这个包括subless AI这个场景下我们未来这个服务网阁这边会会有更多的这个技术方面的去支持我觉得然后从商业化角度来讲其实像这种拉远的模式就是下沉到基础的设施这个我相信也跟像我们去年然后洞察到了这个AWS也推出了自己的这个云服务叫VPC的Lattice其实也有点类似啊大家也是在朝同样的方向同样的事情在做我觉得这个是我对我个人的这个观点啊好 今天我们那个其实演讲时间也差不多了然后还是感谢四位老师的精彩分享好 谢谢大家谢谢