哈喽 大家上午好然后我觉得大家可以稍微往前坐一点因为我们这个前面还是有些空位的然后我们今天给大家带来一个workshops的环节这workshops主要是教大家如何用web symbol去开发构建和部署清亮级的AI推理IF服务然后我们这场总共有三个speaker然后我们现在有请他们来自我介绍一下大家好 非常开心来到QCon我叫Kinfe好 我是微软的高级云技术部导师非常开心能够来到这里跟大家去分享相关的内容大家好大家好 我是叶坚白然后我之前在Wasn't Edge主要去做这种Wasn't Edge这个proposal的实现然后我现在自己出来创业主要是想帮助每个人可以更便捷地建立和扩散自己的一个类似于是自己记忆自己支持的一个agent吧对 大家这样大家好 我是OlaiScienceCenter然后我们是Watsmyth这个项目的Maintainer然后我们公司比较是想用Rust还有Websmilly构建下一代的云原生的基础设施然后我本人也会去平时会做一些和Rust和Websmilly相关的metap或者是conference然后我们自我介绍环节就到这里然后这是我们今天整个的额尖打然后我们会花大概20到25分钟来给大家介绍一下为什么我们要用为什么我们要把Websmilly用在AI这个场景然后我们用到了在AI这个背后我们用到了哪些技术然后这前两部分都是属于概念性的然后到第三部分 第四部分还有第五部分我们会做一个Mineer Pipe的Demo然后我们也会做一个Lama2的Demo然后最后我们会做一个怎么用一个Solace的方式来构建Agent的Demo然后右边这个QR Code是这次就是Tiutiuro的所有的资源就是包括一步一步的指导还有Source Code然后大家可以就是扫描诏文码来跟着来做然后I also noticed thatthere are some foreign attendeesso we will talk in Chinesebut our slice is in Englishso you can follow our sliceThank you所以我们现在就正式开始首先我们有请Kathy老师来跟我们讲一下为什么我们要把我怎么和AI给结合起来大家好我用短短的五分钟时间跟大家介绍一下为什么我们要在AI跟Wapsim连接起来首先第一个说到我们AI的一些应用场景你会发现现在AI的应用场景上面它的容量是程序的大小的是非常高的那现在的Wapsim我们可能会看到Wapsim它是一个比较轻样级的你可以用一些比较少的一些存储就可以来完成过往我们要用Python来去做的一些工作另外就是在性能上面大家一直在说我们怎么样去比较性能特别是在做一些模型推演的时候你会发现我们需要的并不只是在GPU层面上面还需要带一些前端的应用或者是后端的应用上面我们需要一个高性能去完成我们的推理的工作那这个时候Wapsim的高效的性能就可以体现出来因为它可以跟我们本机上面的二进制的代码都是跑在一个相近所以它可以很高效的去执行这些相关的代码另外在现代的应用场景上面我们需要到的是不同中端上面的一些运行我们可能会把我们的应用不仅部署在我们的云端也部署在不同的一些IoT设备化是不同的中端上面所以我们的一些可疑之性也是非常好的还有另外在安全上面还有云元身上面大家可以看我们可以把Wapsim放到我们的容器跟Qpermitis上面来去做更多的一些工作另外我相信在座的各位线下也好线上也好的小伙伴有不同的一些开发技术站那通过Wapsim你可以用不同的编程语言来去完成我们相关的一些工作像西加加像我们的Vox像我们的Go还有ZarsCube还有Python另外就是开发开发是非常的简洁也是非常的快速的所以我们把Wapsim跟AI这个场景融入在一起给大家打造一个更好的一个生产的环境VillainOK好感谢Kinfin的介绍所以就是说具体来讲的话我们一般要怎么样在Wapsim里面去接入AI这个生态呢然后其实的话说在Wapsim社区里面有个Proposal叫Wapsimn所以Wapsimn的意思其实是Neuron NetworkProposal for Wapsim然后它干的事情其实很简单因为其实就像Kinfin说的一样大部分人可能会在Wapsim环境里面考虑的是说如何把一个AI服务进行部署所以在Wapsimn这个Proposal里面它更多是集中于如何把一个已经训练好的模型去做一个推理的服务所以它提供了一些它提供了一组很简洁很简洁但是口容性很强的一组这样的API然后可以帮助大家把一些常见的这样的一些Deep Learning的Model和FriendWalk可以集成到我们的这种Wapsim玻璃的一个Runtime你来所以我们可以很快速的过一下这个API当然看起来有一点杂乱但其实它核心的就5个API所以它的一个核心概念是说在Wapsim里面有一个叫Context有一个叫Context的概念在这个Context里面你可以比如说去捆绑一些Model以及这个Model对应的输入那其实这个构建的过程的话像第一个API就是Load那么第二个API是这种Init Execution Context那么其实它主要核心的话在Wapsim当前这个阶段就5个API所以它其实保证了一个很强的一个灵活性我们在初始化了一个Context之后就可以给这个Context去捆绑这个模型一个对应的输入然后实际计算之后的话再把这个输出以这种从这个Buffer里面提出来所以它可以我们后续也会展示到的话就是这么一组比较简单的API在上面去进行部的封装之后可以得到一些很不错的一些应用吧对然后一边好就是我来介绍一下Wassim IGWassim IG是CNCF的杀枪项目我们在2020年的时候把它捐给了CNCF然后这边是我们的Gatehouse Ripple也欢迎大家去查看然后用计划来总结Wassim IG的话它就是一个清亮级的高性能的和一个口阔染的Wapsim Run Time它比较适合用在有云烟生 IG还有这种去中心化的应用当中然后我们现在在Gatehub上有6700多个star然后我们有148个Country Builder然后也非常欢迎大家加入Wassim IG社区除了刚刚KV老师有介绍到Wassim的一些好处比如说高性能口阔染安全Wassim IG本身也做了一些自己的feature然后能够更好地去服务这些云烟生的用户比如在去年10月在KVCountry in Detroit的那一场我们和Dalker一起发布了Dalker加Wassim的Private这个的合作主要是能够让Dalker同时运行Linux Container和Wassim Container如果大家有关注过Wassim IG的话应该有听说过Solomon Hex就是Dalker创始人的那一话就是说他说如果2008年Wassim就已经出现Wassim就已经存在的话他又没有必要创建Dalker了Wassim也是云计算的未来在三年之后2022年Dalker的管理层已经换了几波人了我们跟现在的Dalker的团队一起合作让Dalker既能够运行Linux Container也能够运行Wassim Container因为这一部分如果要具体讲的话其实就可以变成一个小talk了所以我就不再继续了有兴趣的朋友可以之后再咨询然后另外就是Cybernetics相关的工具我们通过C-RAN的支持能够使Cybernetics Container第一mini-cube看你的这些k8s的工具都能够去都能够去管理Wassim的container然后另外我们现在Fondora集成了WassimWassim IG现在是Fondora上的一个正式的package所以如果在Fondora平台上的话你可以直接用Podman去引起Wassim IG不需要任何的改变这是我们跟现有的语言生工具的一些集成然后另外就是我们会支持高性的网络应用这部分在语言生这块也特别是在微服务是很重要的一个废墙我们是主要通过两部分一部分是WassimWassim这块是我们Wassim这块是我们去改了TokioTokio是Wassim一个比较比较常用的网络库通过Tokio的支持我们也支持了HyperwarpRequest 还有AGPRequest现在我们也支持了Ross TLS所以也能够做AGP Request的服务另外一部分是GiosquitGiosquit这块我们是把因为Giosquit的语言它本身是不能够直接编译成Wassim然后在Wassim IG或者其他Wassim Runtime运行的所以我们是把Quick GS就是一个C写的Giosquit解释器编译成了Wassim然后在Wassim IG运行在这种方式下我们是支持Note GS然后还有分析就是Giosquit的常用的一个网络库然后另外我们也支持Wassim本身的sale case这个是通过Hyperwarp这个这个函数实现的这里我稍微解释一下就是Wassim有一个标准叫Wassim的发展本身发展会比较慢它的sale case现在也只支持两种所以为了更好的落地Wassim的技术我们在标准之外实施了Tokio这一套另外就是因为有了网络的支持所以做数据库连接就会比较容易我们现在支持基本所有兼容MySQL的数据库MySQL,MarioDB,Post还有TiDB然后另外PostGrass也是通过HDP就是网络库的支持才支持的另外就是我们也把Wassim IG嵌入到了一些大家常用的数据库或者流数与处理框架中这样的话就是其实在这里是相当于是一个UDF去执行用户提交的第三方函数比如说我们和LevSQL还有Red PandaRed Panda是一个卡不卡的品贴然后Elastic Search这些都是能够使用Wassim IG去执行一些流数据处理的函数然后另外一个就跟我们今天的Tokio非常相关的就是刚刚监办有介绍的Wassim IG这个标准Wassim IG这个标准通过这个标准我们现在已经支持了PyTalk去OpenVenom还有TensorFlow另外一个GGMTensorFlow监办界还有演示的Mirror Pipe就跟TensorFlow非常相关然后再接下来Kinfinl老师演示的GGM ML就是跟抱歉Kinfinl老师接下来要Demo的Lama 2就是跟GGM ML的Bike in非常相关这部分他们后面会详细介绍然后另外就是做一些图像处理的基本的一些库比如说OpenCV还有FM Pipe这个我们也支持对然后这又是关于Wassim IG本身的一些Fature相关的介绍然后现在就我们的概念介绍环节就到这里结束然后我们接下来就有钱监办来给我们做第一个Demo我肯定要先是不是有点模糊不好意思 我调整一下这样会好一点吗好像没啥区别这样可以吗它这里没得选了我这里它这里没得选了那个刚才的刚才哪儿选的 我也忘记了在这儿这选这个没事不好意思好 现在应该可以了不好意思 有点耽误因为它显示屏的这个问题对然后就像刚刚Vivian介绍的一样就是说Wassim IG其实在支持AR应用上面可能做了一些相关的一些介入比如说像可能支持一些图像处理的库那么所以我们第一个的这个Tutorial的话就是一个跟图像处理相关的一个具体来讲的话是一个目标检测然后右下角有个二维码其实可以可以扫一下我们有一个详细的一个markdown的文档就是如果感兴趣的观众可能可以跟着我们一起step by step然后去做传所以就像刚才讲Wassim一样Wassim本身的API是很简单的所以它背后能够对接的这样的一个模型库是很多的那么具体来讲的话我们这边想展示一个Demo是不知道各位有没有听过medium pipe其实Google提供了一个solution然后它里面会有很多这些比如说像目标检测图片分类一些相关的一些跟多媒体相关的一种AI的应用然后我们这边呢在我们这边相当于是结合Wassim做了一个Rust的一个medium pipe的一个对接的版本所以左边其实是我们全部需要用到的代码然后我们其实主要的话把Wassim几个API都封装到这个叫Object Detector Builder这个库里了对 然后它干的事情就很简单它会initialize一个已经存在的model然后会去做一个contact之后的话去实际去检测这个input的一个image对 然后我接下来这边的话会会大家把这个project从compile到最后的运行然后都带着大家简单过一遍然后包括之后的话像Wassim Edge里面其实支持一个支持一个进一步的一个加速走这个AoT mode可以让这个我们到时候大家可以直观的感受到Wassim Edge进一步编译之后它整个的这个AI的应用可以变快多少这个应用整个都是在CPU上的对 就是在我自己的电脑上OK 所以现在的话是我这边的话是一个无帮图的一个环境然后各位其实可以看到对 这个也在我们当时的repo没有讲的话然后这里就是我们刚才那个势力代码的一个展示对 所以它是一个Wassim的一个project它是一个RUS的一个project所以我们第一步的话其实因为我之前已经预先编译好了第一步的话我们就是相当于是说用RUS的自己的一个工具这样用coggle的话可以把整个项目去编译成一个Wassim的一个文件所以其实这个刚才展示那个demo它编译出来的代码在对 在这个下面所以我们可以看到这里一个可执行的一个Wassim的一个file那么这个是一个直接的版本我们进一步其实可以用Wassim Edge去做一个compile就是说可以把我们这个RUS的项目编译出来的Wassim file其实可以编译成一个更快速的一个版本对 我这里打下命令其实这个的话就是说如果环境列Wassim Edge之后我们可以显示的通过这个我把字放大一下 不好意思对 然后我们可以通过Wassim Edge这个compile命令的话相当于是进入一个LOT编译的模式所以我们其实可以得到一个从这个已经预编一好的这个Wassim里面可以得到一个运行的可能会稍微快一点的这样的一个Wassim对 然后这里肯定要等一等所以我们先给大家展示一下我们要输入的这个不好意思我们对这个是我们到时候就像PBT里面我磨到时候会输入进去的一个example.jpg 就是一个小猫小狗然后我们等这里编译完吧对因为它这个编译的速度可能会比较慢但是之后带来提速会比较快一点OK它应该快结束了马上就到最后一步了对 所以它在这里面为什么我们要在这里去用一个LOT mode其实我们能够帮助到很多关于图片一些相关的应用然后像Wassim Edge的话其实可以把一些这种图片计算的一些操作去进一步的用在LOT mode里面去进行一个更加高效的一个编译它编译的时间显然比我的台词要长看一下好所以这里的话其实我们现在有两个版本的一个Medium Pipe的一个Object Detection的一个可以运行的一个Wassim那么一个是这个没有编译版本还有一个是这个LOT版本的对然后我们现在还可以用Wassim Edge这个Runtime来运行一下对然后这个其实就是我们会需要输入的命令那么首先的话因为Wassim Edge整个是一个刷河环境我们可能在运行命令前要传入一下大家用过Docker都有这个概念就它的Volume是什么其实就是说要把当前的这个当前的这个文件系统给它传进去然后接下来就跟着就是说我们要运行的Wassim的File然后这个一个Zonf JPG刚刚跟大家展示过就是那个小猫小狗最后的话我们会把这个Object Detection的这个这个结果去存存一个Output的点JPG对然后这个的话就可以去推一个运行然后它最后会在命令行里去输出它具体检测到一些实际的指标然后我们也可以看看这里就是这个Output File对所以就其实其实对于Medium Pipe而言的话它的底层就是封装了把Wassim刚刚跟大家介绍几个简单的这口封装起来了所以最后大家在Medium Pipe这个这个Tutorial上面你需要写实际写的代码是非常少的对然后对然后最后的话可能给大家再展示一下对就是说刚刚那个我们等了半天的LT Mode到底有什么价值对然后这个的话我们这一次会运行这个Wassim Edge进一步编译的这个版本所以我不太确定大家我这边还不会用一些具体谈命的这样的一个工具大家可以直观地感受一下这两个这两个之间的速度差距所以在我自己的测数下面的话一般来讲你在没有经过Wassim EdgeLT Mode之前的话像这个一个简单的demo可能需要一到两秒但是你经过LT Mode之后的话它一般时间都能控制在0.2秒之内所以如果涉及到一些这种可能是相量操作比较多的一些这种图片操作的话其实像Wassim Edge这样的一个LT Mode可以去做一个比较高的一个提速对然后这里的话其实我们在我们在那个RidMido里面有具体写了就大家可以感兴趣的话可以到时候去自己实际实际跑一遍对然后对然后这个就是我们这个会输出的一个结果也跟大家展示所以Medium Pipe我们这一只展示Object Detection但其实这个实际我们做的这个Medium PipeRoss的这个库里面的话还有很多这种相关的应用大家感兴趣的话其实我们后续可以交流或者说可以直接去看我们Medium Pipe的GitHub的页面所以我们这一只展示的是其中一个对然后然后Kimping对这个就是Medium Pipe大致的一个TutorialOK刚才我们看了怎么样子跟Wapsim跟我们的一些物体识别去做AI但现在的话了我们可能会带来另外一个今年可能是比较热门的东西就是我们希望通过Wapsim Edge来去跑Lama 2我相信在座的各位这段时间可能会各种大模型都有非常感兴趣然后我们在这里面我们会发现一个问题就是大家都希望在原有的技术上面去跑离线的大模型大家看这是我们用Wapsim Edge去跑的一段代码它跑的是Lama 2在今年的7月底的时候我们的Wapsim Edge的老板Michael就尝试了跑了一段代码他在上面的话就是跑的是我们的Lama 2的一个比较好的一个模型我们来看一下这一段代码它非常的简单我们可能会这里面可能会清晰度不够但是我们可能会后可能大家可以扫我们的PPT来去看清晰一点我们可能用非常少量的代码就可以跟我们的Lama去做结合这是怎么做的呢大家有用过Lama.c的项目吗我们来看一下这个项目首先我在这里面你要去运行我们的Wapsim Edge的环境我们现在的支持在Linux跟Met OS上面去跑我们的Lama 2这个时候我首先第一个我现在我用的是一台苹果的电脑但是不重要因为我们现在我们有我们的Cockspace的部分在这上面的话我是用Cockspace打开我的一个开发的环境在这上面的话我放大一下我们可以看到我们在这里面比较简单的是说我把一个Lama的模型下载下来然后在这上面去做一些简单的实现你可以看到当我在运行的时候我可能会用到Wapsim的一个直接去帮我去运行一个模型在上面的话了这里面我已经封装好一个Wapsim的一个应用在我左边这个时候我在运行的时候你可以看到它可以直接的通过Wapsim Edge去call我们的一个Lama的最简单的一个模型你可以看到在这里面我们并不需要说做过多的操作Wapsim Edge现在已经可以完整的支持Lama 2了里面大家也会去想如果这样子的场景是可以的话那我们是不是可以去快速的去搭建一个简单的应用举个例子来说我们可能会去做更多的一些像QA啊像代码支持的一些环境我们是不是可以去做了那我们就进入到第二个例子里面在我们的一个QCOM的一个例子上面我们可以看到在这里面我们可能会有一个叫做Lama 2的一个环境如果各位有带电脑可以跟着一起来做首先第一个在这里面我们可能是把它放在CokeLama的那个场景上面因为现在很多人喜欢是使用AI来生成代码我们知道CokeLama可以去帮我们去生成代码那这个时候我们在这上面你可以在Mesh上面去安装我们的整个的一个环境就是把Wapsim Edge的环境给装上去然后把它的环境给设定好或者你在Linux的环境上面也可以很简单的去把把我们的这个Wapsim的环境给安装上当我们安装完之后你可能会发现我们需要安装另外一个东西就是Wapsim NN这个库这个plug-in那这个plug-in也是必须要安装的那安装完之后你就需要把这个内容给编译编译好之后就把这个Wapsim的库拷贝到我们的一个例子上面然后就可以直接的下载我们的CokeLama的一个模型来去直接的去调用正如刚才所说的我们可能会去在不同的环境上面去跑在Linux在Mesh上面去跑那我这个时候我给大家展示一下怎么样子在我的一个Mac的电脑上面去跑我的CokeLama我们可能会按一个回车大家看我们更希望的是它帮我去生成一些比较简单的代码在里面大家可能会去想我可能没有接触过Wapsim Edge我能不能够让CokeLama帮我去生成一个Wapsim Edge的Hallower这是一个比较简单的让我这个时候就帮我生成帮我用Waps生成Wapsim Edge的Hallower我们看看它能不能跑在里面的话它依赖的就是我本地上面的一些算力现在我用到的是一个CPU的运行所以可能要大家去等等等一下看一下它能不能够帮我们去给大家去生成一个Wapsim Edge的Hallower稍等一下这里面因为它要用到算力所以我们会发现在这个算力里面OK我可能还是要重新的来打一下因为可能我的那个环境有点问题可能刚才在测试的时候Wapsim Edge生成Hallower再来过一次我们看看能不能够真的是帮我们去生成一下在这个上面我们可能要等一下因为现在用到的CPU当我们继续的去优化成GPU之后它可能会有更好的一个反馈OK它在这上面可能有一些大费所问它帮我把一些金字的代码给生成出来了当然我这个可能是我们到时候可能会去调整这个就需要大家去调整这个时候大家会问那我们不再做Wapsim了不用CokeLama能不能够在另外一个环境上面去跑一下我们可能会去做一些QA的操作那这个时候我们也用到了Lama这个Interactive的一个demo在这上面的话我们可能会有一个叫做Lama27B Chat的一个环境里面的话它可以帮我们去做交流那这个时候我就把它移到另外一个环境上面OK然后我们再来看一下另外的一个运行环境它能不能够跑我们的一些相关的一些操作OK这里面我们可能会去问问个简单的不要给它太复杂Do you know 伤害那它可以跟我们去做更多的一些简单的一些交互我们在这上面就是用到一台Linux的机子来去帮我们去做一个模型的运行在这上面我们要用到的是在Hackenface上面的不同的一些模型但是我们现在是用的是GGEF格式的要等等可能一暂时的时候可能有点不给力我可能要拉上一点放大一点大家可以看到大家可以看到它在这上面做回答那我就不做更多的一些交互了但是如果大家的希望就是说用Wafting Edge的这个场景来去做一些模型的推演的时候其实可以在不同的中端跟不同的设备上面来去完成更多的一些类似的操作如果大家希望能够完成这样的操作的话可以去尝试一下在我们的Q-Cone的Fold里面来选择我们的Lama2来在运行在我们的本地的电脑上面去尝试一下运行Wafting Edge当然我也有一些期待就是因为现在是比较出新的版本当然我们可以陆续的去不断的去改进希望能够给到更好的一些体验那我们来看一下剩下的PVT我们在这里面有几个地方是希望大家去了解的首先第一个我们可能把一个Wafting Edge的一个应用它非常方便的是说我们在这里面可以去比较小的一个容量就可以打包成一个Wafting之后了就可以去来跑我们的一个大模型的应用这是一个非常好的一个使用的一个方式另外当我们在这上面去跑我们的Lama的时候你可以用我们的这个Keyhub的链来去做更多的一些尝试另外就是如果大家想了解更多Lama的一些相关的内容的话可以在上面首先第一个你必须要装好一个Wafting Edge的Port-in另外的就是要在上面的话在我们的Example里面去运行然后逼我们的项目然后去体验一下我们怎么样子在AOT的一个环境上面来完成我们一些相关的一些模型的一些使用那我的分享就到这可能交给Vivian好谢谢健卖还有Keyfee老师我不知道大家刚刚有跟着他们一起做吗有做的可以举个手吗好吧可能没有那所以接下来我就会掩饰就是不用自己搭环境直接用Solace的方式来构建一个iagint这个应该大家都可以就是立马上手去做了那我们这个iagint主要干一件事情就是帮助我们大家去review PR在做应该大部分都是开发都是程序员所以你们也有过给别人去提一下或者是你去review别人PR的这个过程就是review PR这个这是在下面一张图是说你写代码只需要19个小时但是你到review那一步就需要5天然后你deploy的时候就只需要80分钟所以去在开源社区review别人的代码是一个花费时间比较长的一个事情所以我们就想到用CHPG来帮我们的每天那儿先做一个预筛查就是预审先让CHPG帮我们review然后依然这边是这个就是我们这个整个Tutoro的一个相关的资源然后大家可以就是扫这儿为马然后就可以在自己的电脑上方便点各种链接然后这是一个例子这是别人给我们提的一个PR然后这个这个里面主要是检查这一个数这个就是检查一个数是不是质数然后这段代码是长这样的现场有没有人愿意解释一下这个代码有人想解释一下这个代码吗OK 那我来解释对 这段代码就是去检查一个数字是不是质数所以它干了它会先把这个数字开根然后开根之后一直从2除到开根的这个数字比如说如果是10的话那就是开根到3点几几所以它又拿10去除2到3然后如果有整除的话那这个数字就不是个质数如果没有整除这个数字就质数这个听起来是不是还挺有道理的但是如果是一个很大的数字呢然后这个PR让这个让这个CHDPReview之后它给了一个它给了一个潜在的问题它说这个函数能够还能够被进一步的优化因为没有必要再除以2之后的偶数因为你如果能被2整除的话这个数字绝对就不是一个质数你再去除2、4、6、8、10其实是没有任何意义的所以就这个就让我们看到了CHDPT确实是有一些确实是有点东西的能够帮我们去解决一些问题那我现在我接下来来看一下这个就是这个PRReview的这个代码首先这个代码是用Ross写的但是也没有很复杂不涉及到Ross的生命周期和所有权这些稍微有点复杂的概念首先这个第一步就是它会它会去它就会用它会用Ross的一个就是因为基于Ross然后这个背后也是签认到一个Ross Hose的程序所以会用Ross Hose的程序去注册一个注册一个app然后接下来就会去如果收到了事件你会运行这个RUN function然后运行这个RUN方式之后然后就会去用Listen to function在这就是用Listen to function去听Gatehub有哪些event然后Light Owner然后Ripple还有Trigger Frize这些都是属于我们AI进行的本身的一些设置然后第二步就是Handler Function就会去调Gatehub的Rox SDK然后去把所有的去发现PIA里面所有的PIK就是你提的这个PR可能每次都有一些commit把每次的commit的信息给收到然后再把这部分是通过Gatehub的payload去传送的然后就是这个方式收到之后会把这每个PIK给发到7GBT让7GBT去总结我们的prompt在这里就是这没结全就是说你是一个非常有经验的然后开发你那个软件开发师你需要去表你要需要做一个review来去review这个PR这个prompt还是比较简单的然后第四个就是用7GBT的API把它刚刚说到这些PIK去总结总结之后再把这些东西打包发给打包然后再用PRcommit的形式给发出来然后下面我会演示一下怎么去创建AI agent总共也就只有四步吧首先它是一个template你就直接漏的就行了然后你去连接你的Gatehub然后你去连接OpenAI然后最后你测试然后我们现在就来demo在demo之前我先看一下就是我们先看一下这个PRreview agent在What'sMindy这个reviewable的工作这就是它提了一个PR之后然后它就会这个PRreviewable就会根据每次command的信息去总结关键的变化有没有什么潜在的问题这是它的一个展现形式现在我们来进demo我们会用到Floosnetwork这个平台它也是居于What'sMindy的然后我们去创建一个Flo对 登录的话是用Gatehub登录大家就自己用Gatehub登录就好然后选这个template然后在这里加一个然后这一步是把这个repo的元代码就是复制到大家自己的帐号下面这样的话你可以去改Prome层面也可以去改一些其他的逻辑我这里要需要改一下这个repo的名字诶 评错然后这个RustLog是Log的information这个可以就是我们已经有个预填的可以不填然后这个TriggerFly的就是说这个Gatehub更新完之后你可能还想再让它总结一次就用这个关键词可以能够再次Trigger这个PrviewBot然后点这个create build点这一步的时候Floosnetwork就会在你的Gatehub账号下面去创建一个repo然后同时也会把这些Rust的代码给编译重播怎么代码然后这是需要连OpenIOpenI的话需要你去加一个OpenI的k然后点这里就自己复制粘贴就好我已经连过了我就不再连了然后继续然后下一步就是去告诉Bots你要把这个东西部署到哪我就把它给部署到我们刚刚的那个我们的那个就是放这个WorxShop资源的repo我来确认一下名字诶 点错了然后再接下来一步是需要给Bots全线去访问你的repo我来连一下我已经连过了所以我可以选只让它访问刚刚的那个然后点save好 这样就连好了然后我接下来选deploy然后这个函数就会自动build的然后现在可以去我的github个人的github账号下面看这个就是我刚刚大家记得吗我刚刚在那里输的是summarized PR然后quipcon所以现在我就有一个这样的原代码这个原代码就是一个纯Rust的代码然后它又在这里然后有了这个之后你就可以随意的进行更改你可以改prompt比如说你的程序是完全是CIA家写的你就说它是一个比较远间的CIA家工程师就不是说它是一个有经验的软件工程师这么不具体我来看一下build现在已经build好了那我现在就给我的ripple提一个pr我们就把这个slides的url放进去点错copylink然后我来提一个pr那我现在已经做了一些改变我们就可以去提一个pr然后update with me然后现在我们就已经把这个机器人给好吧因为这个实在是太简单了所以我们不需要等很长的时间它现在就已经总结出来了这个关键的变化就是readme这个文件里面加了一个slides的link所以对然后再接下来再演示一下就是如果我改了这个代码Flots and Angle会自动来帮我们去build的这是一种github的方式我刚刚加了一个C++然后点command演完command之后然后这里它就已经开始重新再重新编译了好的那这就是我们这就是如何用一个slides的方式去构建一个prreview的agent当然你可以用在这个平台上还可以去做其他的事情比如说去总结github issue去总结github discussion然后也可以在机身github之外的平台比如说discord,slide,teregram这些我们都是支持的然后我们的环节大概就到这里了然后这边有一些github相关Wazman也相关的一些资源然后我们有一个中文的微信交流群如果大家有兴趣加入的话可以添加我的微信然后我们就进入到最后一个环节QA环节大家如果有问题的话可以举手施意这样你是说Wazman你对加瓦的有没有计划支持是吗SumMage前面讲了很多是对Rust的支持但是对加瓦的语言的支持上面的有计划因为它前面有一些兼容性还有很多对因为加瓦它本身有一个round time所以我们很难把本身带GC或者带round time的语言编译成Wazm所以加瓦现在其实不能很好的在Wazm也运行但是这个有点难因为我们不能把GVM编译成Wazm所以这个还在周的maps上另外就是Wive Summage社区有一个GC proposal那个proposal是能够帮助把有GC的语言编译成Wazm的是长期演绎上面也是不太打算支持GVM这个系列的是吧我没听清意味着就是长期演绎上面也是不太打算支持GVM就是我们不会把GVM编译成Wazm然后在Wazm运行通过这种方式来支持加瓦是不太可能的但是Wive Summage社区本身有一个叫做Wive GC就是Wazm GC这个proposal是为了支持带GC的语言比如CottlingCottling现在就可以编译成Wazm在Wazm里运行了就是是另外一种方式可能这种方式应该是叫做Hose Function的方式对然后Wazm Edge其实在垃圾回收GC那个proposal其实一直在做然后对Wazm Edge应该有个专门的有个专门的同事在做GC的proposal所以等那个proposal在Wazm Edge里实现比较好之后的话其实是做加瓦这种可能自己有这种垃圾回收的语言的一个编译是会就可以进一步对 因为Wazm其实有很多proposal它可以然后Wazm Edge其实一直都有在支持对周期大概多久了GC的话预计是夏尔版本发布夏尔版本应该会赶在QPCON NA11月前吧您用画画的就是想问一下那个Wazm他的那个IO的性能是不是是相对比较差一些就是他的那个比如说数据包收发还有他那个文件读写能不能跟比如说普通就跑在您那个是主机上的那个进程能匹配我理解一下您的问题就是因为WIPSFILM它本身是一个单线程的东西所以您是跟A-Sync相关的吗不是线程不线程就是说比如说我打包在一个Wazm里面的一个一个用程序一个APP是吧我如果要去和主机上的其他的进程或者是跨主机的一个进程一个消息通讯然后或者说我要去把我的19化存储写到这个零零时主机上面它的文件上面去文件系统上面去它会为它的性能跟我们一般的这种跑到上面的进程相比它有没有很明显的这个差异比如说你那个报文的收发量可能就是比如说就下降一个量级啊或者什么啊有没有这种我不知道有没有这个可能会制约它一个应用的一个很关键的东西虽然说你说它有那个可疑之性啊安全啊或者什么其他但是如果这方面有很大问题所以我刚刚听了半年就说好像它只是在那个推理上面的用是吧就是训练上它完全就没办法使用了是吧训练的话就是这个后提我主要还是前面的问题就是它的性能会不会有很大的差异下降那我只能充实地回答关于这块我们没有做过Batchmark但是在AI推理或者是在别的用用上就是AMM之前做过一个Batchmark这个就是我这么container的性能是比Linux比较好的我可以把那个BatchmarkLinux是Wassam container的性能比Linux的container还要好它会占的CPU会更少不不不我先不关心CPU占了多少因为你说它是单线程的你能占多少CPU啊你占不了多少顶天就把一个CPU跑满所以你先不要说那个CPU支援占多少我们想着就说它性能就是它会不会有IO的瓶颈存在我最关心这个问题就是这个问题我现在我没有办法回答你但是我们会不会可以交流一下行因为这个感觉我就是我们想把很多应用程序放在里面去因为原来说container它的性能损耗可能百分之五引类甚至都不到这相对于原来说引入比虚拟化走QMU的性能下降百分之三十这一点它的优势所在所以大家都在说Wassam是下一代下一代下一代但是它下一代如果这个问题没有解决的话我不知道它下一代是不是停留在只是做一个前端应用或者做一个AI的推理就是这一块我其实有比较大的一个困惑对因为我们负责Wassi就是说跟您提问的可能跟这种File System或者这种IO相关的说这些proposal的同事今天没来我们会校可以交流一下然后我们可以到跟那个同事多问一下对这一块的性能我们确实不太清楚对谢谢谢谢都行呗反正我们也有时间感谢我就问一个问题就是因为今天展示的那个Media Pipe就是Wassam对GPU有原生支持吗实话实说我们最开始包括Wassam整个proposal它相关的community都没有打算我们有预留这个有留一个Placeholder你可以去选择你的device但是包括Wassam Edge现在的话对GPU包括像Cuda这样的没有去做第一手的支持对因为但是其实对我们其实这个阶段都没太多我来更新一下那个PiTouch是支持GPU的对你有相关的动态固其实可以链接进去PiTouch是就是在Wassam上面跑对就是刚刚就用Wassam Edge这种方式来跑的PiTouch这个后端是支持GPU的对有个小伙伴提了这个PR所以Wassam Edge现在的PiTouch是支持GPU的PiTouch的因为据我所知Media Pipe它天生就是为了利用客户端的GPU资源所以它这样做的对如果你现在把它一直上去就说就只能用GPU了对这个就可以可以慢慢往上加PiTouch那个就可以对慢慢往上加对GPU的支持在进行像Lamatou现在我们也在去支持那个那个Cuda所以GPU的支持会做的好的谢谢您好那个我想问几个问题第一个问题的话因为我们公司是做那个公优云的所以我这边有几个比较关心的问题我想请教一下第一个是Web3.0的一个安全性问题因为大家对聊到Web3.0的时候它其中的一个feature就是它比较安全我想了解一下就这个安全的话它所谓的安全它是不是因为通过净减了很多功能净减了很多API还实现的因为在那个容器的社区里面其实我们公论了一套安全模型的话其实应该是走卡塔那种虚拟机的那种形式也就是说我把运行用户的代码跟我组织的代码我分科诺然后在那我只做安全了但是Web3.0的话它主打的也是安全性所以我想了解一下就是Web3.0的话它所谓的安全性它是通过什么那种机制来保证的假如说我把Web3.0我拿出去公共云上面去做售卖那我我这个安全性的话我能够衡量出来所以它绝对是百分百安全的吗那我先回答一下肩膀可以看着补充一下就是因为Web3.0它最初是发展在浏览器的所以它本身就是一个安全的沙箱然后它另外还有种能力叫做基于能力的安全就是说你在起Web3.0 Runtime的时候你就可以规定谁可以访问这个邮件谁可以访问这个文件谁不能访问这个文件然后第二个就是因为Web3.0它模拟的就是我们说那个VM或者说Hypervisor它模仿的是一个两计算机Docard模仿的是一个Docard这种Linux容器模仿的是一个操作系统Web3.0会更加抽象它模仿的是一个进程就是它下面它没有什么很复杂的东西它就是一个进程所以从这个角度上来说Web3.0它的软件攻击链会很短就是不像Docard一样底下有很多的Dependence所以从这个角度来说Web3.0就是软件攻击安全这角度来说Web3.0也会更安全一些也就是站在这个软件攻击链的角度来看的话因为一些Longtime就包括咱们现在聊的这个Web3.0英语还有其他的Web3.0的Longtime它们其实都是通过一些高级语言写的然后高级语言的话我们其实要用Kono的那些C Group还有Kono的Nemospice的时候其实我们也有很多可以外溢的一些手段就讨厌一些手段但是Web3.0的话它是怎么从机制上面说来避免说我这个Longtime的话它就不能被用户给外溢出去就比如说我全线做一些提拳什么的Web3.0它本身社区在定义这么Expect所以我们这么一方面考虑还说就是假设说Longtime它的代码不会有Bug还说在机制上面有什么保证你是说Longtime本身会不会有Bug是吗对 然后做一些提拳相关的操作我觉得这个问题就是很难我觉得很难有一种软件是没有任何Bug的除非它能经过形式化验证这个我们现在就是CNC Alpha它有一个叫什么我忘记了好像是什么发自营的计划就是会把这是跟Google合作的会把CNC Alpha相关的项目提交给Google的发自营工作小组让它去进行一个安全审核然后现在我们也是走到这条路我们也在跟Google的发自营团队合作去审核WhatsMight这现在是通过人工审核的方式对 然后我感觉这位可能因为感觉你是安全方面可能是那种专家然后我这方面不懂但是主要是WhatsMight它有个好处就是它有一个比较大的一个社会所以刚才老师您讲的一些可能跟这种攻击手段相关的应该都是会跟发自营系统对接的这些系统接口就是专门就是WhatsMight就是WhatsMight System Interface它整个的Proposal是一整个社会在做在推进所以就是说对 就是可能会有一个比较大的一个一个社区一直会在留意和监控这些系统面对有没有什么攻击的手段所以可能会好一点对 但我不是对 我不是负责安全的一块只是说我觉得他们的社区其实还是挺活跃的WhatsMight的社区对Bitre Alliance老师可以去留意一下对好的 好的好的 谢谢您那个我这边还有问题然后还有因为除了安全以外的话如果要去售卖的话其实还有个资源隔离问题像WhatsMight的话它也能像普通的那种乱C或者Cata那种安全容器说能够限定一些C Group的一些Cota或者说Memory的一些Cota嘛现在比如说我拿去售卖会不会出现一些资源上面的竞争后面我印象中C Group我们是支持的OK但是就是因为我也不是很KBS的专家所以我可以把文档发给您好的 谢谢老师那个不好意思 我还有个问题然后是这样子就现在的话在社区里面其实Web Summit的Long Time特别多像咱们现在这个是一个咱们这个很受欢迎但其实还有一些其他的Web Summit的Long Time然后这些Long Time之间因为我是一个写购的一个程序员然后写购的时候我也有适应过几款包括咱们家的这个然后我在用的时候我发现好像每一款里面我都要去加载自己加的SDK然后这个SDK的话然后加载完之后我要编一层相应的Web Summit的字节码然后再交给你们的虚拟机去运行但是我发现好像不同的Web Summit之间Long Time之间的虚拟机好像是没法很好的兼容在一起的就比如我拿Web Summit用咱们加的然后我再用其他加的好像就没法一起跑然后SDK也不一样我也了解一下社区这边的话未来的下一步会不会把这种现象给它收拾一下然后有没有什么行为在这方面对 我先解释一下为什么会这样因为Web Summit后面有一个组织它不是W3C的标准吗所以你知道标准的推进都会很慢那除了Whatsom TimeWhatsom Time现在在FastLay然后他们在Badcoin Lines他们是要就是他们属于是跟证描魂的所以他们会去follow这个标准这个标准发展得很慢以至于今年五六月份才有Socket而且还只支持了一两个feature所以你会看到不同的Round Time它会有自己不同的实作那我们其实就是为了加速Web Summit技术的落地我们会做一些自己的feature所以你说的那些就是能用我们的运行可能就用其他Round Time就运行不了然后我觉得其他Round Time都会有各自的想法或者是它想要去专注的地方它就不等标准去实施了然后这是背景然后下一步Web Summit社区有一个比较大的一个proposal叫Component Model这个话就是非常有前景但是因为标准太大了所以他们一直也没有落地他们是希望今年的KU4能有一个比较稳定的ABI那我们是会去支持这个Component Model现在我们有一个专门的公众师去支持这个Component Model如果这Component Model如果能够成功落地的话你说的这些问题应该会好一些但是因为你知道在社区发展标准的时候就是因为标准太慢了时间也不能等人所以大家会有不同的实施好的好 谢谢咱们的事还有问题吗首先那个我觉得今天演讲特别精彩然后我的问题就是在于可能是比较白痴的一个问题然后这个问题是在于我们公司的话会有一些原来是Python编写的一些这样的应用或者是一些工具然后因为我看到这个Web Summit它对Python支持的话一般来说的话我不是要把Python解决器给它做到编印进去的对然后在里面再去运行这样的Python程序我不知道如果我的想法是说如果把我们公司的这样一些Python程序然后放在Web Summit里面去跑的话这算不算是一个比较比较无理头的这么一个想法比较无理头是吗对比较无理头的一个想法我觉得不会因为你如果放在Docker容器里的话那个镜像应该是几G吧对 镜像非常大对但是你如果编一层Wazm的话那个就会变得非常小就几兆所以我觉得可以做尝试但是其实我不太确定的是我知道有很多Python解决器都能编一层Wazm比如说CpythonRuspython但他们可能对那些Python的库的支持没有那么好我认为这个可能是我觉得主要的难题在于这个好的 谢谢你那还有问题吗如果没有问题的话我们的这场演讲就到这里结束了然后非常感谢大家的时间非常感谢大家来参与然后大家如果有什么问题的话也可以就是我们那个QR Code里面也有如何跟我们联系然后也非常欢迎大家关注Wazm也关注Web Summit的发展谢谢