我去都会有一些设列那现在是库梦雷泽的这个库梦雷泽子箱的一个烏龙囊因为负责路的麦然后仔细去这些建设包括一些process那还有一些宣传的活动版那下面两个是我们的这个这个Cinertart和一个和那个潮流同事那刘光亚在今天早上的这个Kindos里面是Massos的Ultrameter那我们会一起合作去做这个库梦雷泽子箱Massos的一些工作那库梦雷泽子箱Massos其实是做了好多的好多的事情那在这里都会介绍库梦雷泽子箱Massos的现在的我们为什么会选择这样的架构那后面的现在的状态包括后面我们要做的事情也是希望大家有更多的这个contributor能先到这个社区里面再去讲这个Romagn之前那肯定要说说为什么我们去需要去做这个库梦雷泽子箱Massos的这件事情那其实当我们去看整个的这一个环境的话我们是把这个复讯中心也好说私有原因也好无论是什么样的我们会去看整个的这一个一个这种机群的环境那我们就当我们去看的时候我们会把它分成几个大概三个部分那我们常说的这个Doubler就是DoublerAge或者容器那它其实只是机器上的一个运营的环境包括Massos现在说的这个在做的这个UniFi Container那只是应用的比如说你一个Power或者你一个Web Server它其中的一个进程一个应用的程序来做这个事情所以这个就看到这个这个假然是库梦雷泽子那它是本身的一个运营的一个环境但是当我们拿到这个成本上签的这个机器的时候我们希望重新把它抽象出来重新把它抽象成一种资源池那对这个开源社区里面的话我们现在能看到的就是Massos这边做的是相对来说比较好的那在我们地缘的软件里面比如说IBM的自由的产品里面还有一个叫Ego的这个事情在下一页我会介绍一下相关的历史我们是希望有一个这样的一个资源层把所有的这个系统的资源重新抽象出来然后这样用上昂的服务过了然后在这个整个的这个整个的这个环境里面我们会发现有各种各样的我和有时候我们现在在用容器的时候我们经常选的就是Google Nets或者说Massos那如果你要去选这个不让当数据的时候我们会去Round Spa但是这两个针对这种不同的我和Load我们是希望底下最层的资源层是同一层就是说我们现在看到的这个Massos或者说如果你想用IBM的产品那下面有Ego这样的产品所以我们在整个的这个像今天早上Kindome里面说的时候我们是希望底层的资源层可以有一个同一的一个软件这个一种同一的一个资源层的这种资源管理的一个综点键那IZ是MassosIZ是Ego这样的事情那上上针对不同的我和Load我们希望有Korn Nets希望有Spa那包括IBM自己的自己这种HVC的我和Load像早上经常在区里面经常有人问的时候像RSM这种那真正到真正的Long Time级别就说这个Container这一块那这块的话我们也是科学比如说现在国内比较好的基本都是Docker那大家对Docker现在有各种各样的Consert比如说Docker的A真的不稳定了然后大级循大规模部署的时候这个经常出一些莫名挑问题所以比如说像Massos的所以Massos做了这个UniFi Container那其他的还有像RKT这样的这个公共在里面那所以我们在整个看系统的时候我们基本会把整个的这个这个人的环境会分成大概这么三个部分那其实到其实我们当我们去看这个看这个图或者是看这个分成这三个部分的时候我们并不是并不是就是拍脑袋都一小或者说我们感觉应该这样其实我们这个整个的历史是从92年时候可以开始去做这样的事情92年我们最早的一款产品是RSM就是最早说的这个做这个Batch照做这样的事情RSM在最早的时候跟这个PBSSGE这些都是早期的这个早期的这个关于Batch照过做的事情当时我们做的时候就把这个Workload Manager和这个Response Manager就放在一起但是当到03年的时候我们开始做第二款产品的时候就是说这个该放Safety虽然你在这个金融里整个金融里的话所有大概前10吧像一些很证明的一些投行他们带着风头的预测分析风险分析的时候几个都会用到Safety那当我们做Safety的时候我们发现其实资源种的时候没有必要再做了RSM在资源道路这块已经做好多的事情所以我们把它整个抽象出来抽象出来那个EgoEgo的陈生就是这个EnterpriseGridArchist Trigger那其实它中间那个Q就是Devil Grid是从Grid的Computing那个时候延伸出来了所以从它的名字你也可以看到它这个整合的历史都是非常远的所以我们从03年就开始采用这种两级的调度所以这个也是为什么我们在开源社区里面选我们会更搬印Messos现代的这种架构说两成的这种调度那两成调度的话为我们带来了好处其实之前也之前在片头里面我们同事有介绍说我们希望在上面就会跑一些Probinatus去绕这个这种Long Run Service或者容器也会恢复给这样的Service那我们希望在上面去跑Spark去绕支持现代现有大数据对大数据的这种需求同时我们也会跑一些阵队比如说像这个那个Logo是Safe Network的Logo那比如说我们像这些企业的这种这种风头这种产品那我们是可以希望整个的整个的这个环境里面是可以把这个资源是可以供向阵队不敢由我当务的阵队不同的部门去做不同的事情但是资源最少也可以供向这样的话你可以举大家彼此share的资源包括后面的资源的抢占和资源的这个供向在后面大概都会有介绍那在后面其实在这个Google的这个其实说到这个两级调度或者说这种集中式的调度一定会提到Google的这个Omega现在这个Omega这种Paper还是影响还是蛮大的所以在现在是两级的调度那我们其实也在做了好多关于这种Open Store Over做的这种优化的设计其实在这个刚才那个里面的那个一个朋友在这个Massos的这个欧洲就是今年的前两次的Massos一次的会议上Strummer区有关于Open Store Over做了一次关于Presentation就是讲如何来提高它的这个效率所以大家有兴趣可以去看一下所以我们不仅是至少在现在现阶段我们非常赞成这个Tool Level Scaling那后续的时候我们也在去跟Massos Fair一起合作去看如果在Massos里面去做这个这种这种share stage的这种状态那现在里面有好多的项目我们在跟Massos Fair一起过在社区里面一起去过去做这个这种乐观的这种调度的over这个是MassosMassos项目现在有组织大概那个组织的架构第一个是SponsorSponsor是来自Google的这个timing它主要是会负责整个的项目的RodeMap大概会是从什么样的一个方向去做这个事情然后以及将来如何在跟这个主干的这个就是现在的AppStream这个互联的互联合作的做这样的事情那另外的一个是在红帽的这个单位单位会跟我跟我一起去review单位的这些work比如说一些process还有一些比如说这个KorbenetX今天收入有件说已经不用那个Google自己的这个CLA就是它验证的签署的那个东西而用CNCF那像这些的process我会跟单位一起去做去做它自设区的这个事情最后的那个owner就是我自己那那个Claus随本选的因为名字没有什么特殊的这个含义大家没有好记吗这个会做一些日常的这些bugface包括后面会提到好多的项目都在下面的排骨烂还有今年年底的计划还有明年的开车计划大概会有一个一个骨烂那这些事情基本都在我这会跟会跟单位和Timmy一起去商量一块我们先询过那最后的记得hub是这个整个process on mysos的项目所以看到现在这个时候放到一个incrubator的一个项目里面所以这个事情我们也是希望尽快地把它放到这个放到这个mysos放到这个process里面的这个这个process的这个项目下面这个最主要其实就是之前没有大概有多半年的时间没有进入门户所以暂时还放到这里面过去的时候会逐渐的到这里面那这里面其实讲到process on mysos说了我们的说了这个我们整体的整体的这种想法整体的这种架头但其实有好多人在问说process on mysos这个东西这个耗不耗不对吧IBM虽然现在的支持以后会不会去继续的往前摸但其实这个我相信这个事情是给大家一个回答去做为了这个社区做一下支持就是IBM是有一款产品专门针对这个专门针对process on mysos做这样的事情所以一会我标了一个黄的就是我们会以mysos作为整体的资源调会以kbs做这个会以kbs做这个long learning service那中间的science gatherer就是今天早上我们去拿的那个拿的那个微信去看到的这个就是艺术家的这个图片基本就是以这个来围绕这个来做那最后的一个HPC就是指刚才的safenet和LSM仪系的这个产品那整个产品你会围绕这个产品来做所以第一我们类似的on mysos在IBM整个的这个产品里面是非常重要的所以我们不会说今天有一个投入的sauce来做明天就不会来做那另外的一点在后面其实我们会说到我们会尽量的跟最新的版本去整合去融合然后去尽量的达到会达到process ready的程度因为现在的process on mysos现在还是在社区里面还是alpha的我们在我们测这个我们测的时候是相对来说稍微早一点的版本那个是相对来说稳定一点的这个是我们一些我的甚至Y流这些我的甚至Y流大家可以到应该就在这个门对面的那个这个IBM有一个整台可以去到那边去调解更多的细节我们也会有相当同事在那边所以大家可以感兴趣时候可以去调一下具体的细节像一些X86 Power的这个火候部署的支持包括这个还有一些CACB的我们做了好的工作还有像这个我们也支持onframe包括在AKB Story我们大概需要部署那些东西像今天早上看的那些48号的部署还有RSF部署我想今天早上我们同事里面有一个关于把这些东西都放在一起我们来做的一个套配说了这么多其实现在我们想说的是社区这一面我们现在大概做到什么样的程度就是说现在我们在哪其实process on mysos是一个是一个很早的项目从大家可以看到从04年0.2开始process on mysos就这个项目就已经赞了然后在05年的时候在05年的时候相当于版本跟的是最紧的从0.3一直到0.7这个大概是我大概数了一下大概10年将近20个拍摄release在年了因为这个是每次都会跟着process的release在走所以这个版本当时跟的是最紧的跟的是最紧的release然后在今年的1月份最后一个最后一个我可以说很奥斯的release就是0.7因为这个大概今年应该是1月份的这个时候在后续的时候就没有再有相搭的项目社区也是保障它不breakable的就OK了那在今年9月份的时候那IBM开始去购目这个整个的项目然后并且把它伯莫的成为一个incrubator的一个项目再重新去规划它的Rodemap相的这个整个的release然后在9月份的时候其实我们做了做了好多的事情第一点的话其实我们会把整个的扣子去重新组织一下因为比如说包括一些不用的copenatus本身不用的扣子我们就把它删掉了因为有好的功能其实在编译的时候是不需要那么多的东西然后另外的话我们会把一些不用的扣子删掉然后做了现在做了一次三分类删相当于你可以去跑一个njx是个简单的njx跟最细的1.5的版本去做了一些这样的三分拆然后并且我们把这个社区的这个CSCD建起来了但是现在我们还现在我们正在做的一件事情就是把这个安德图安的task重新测重新建起来因为需要安德图安的task需要这个confovo的task就这把这些task建起来还可以说还可以去release下一个版本这个在后面大概有个提醒一下我们希望在这个月底或者在下个月的初这个样子会有一个基于0.7的一个release就是基于原来的fisher并没有特别的后面还有好多其他新的无线链座刚才说到0.7的release就是说我们基于现在的codebase我们都会希望同时把它做一下但是在在Kubernetes的现在时候会有一个很大的问题包括跟车区训调的时候大家比较大的一款资认就是说现在的k8s的controller和Kubernetes就是在slave上的这个agent现在是对Kubernetes on my source这个项目对这个upstream就Kubernetes这个项目是有code来过的dependency的相当于code我们会重新编译一个controllercontroller manager这个controller manager加了我们一些code但最主要是调到这个Kubernetes upstream的这个package目下的那个东西所以这个时候就比较麻烦的时候就是说两个我在9月份和10月份的时候刚开始就是刚开始我们开始own这个项目的时候经常会有人去在github上Idle告诉我内部的一个interface有变化你需要去重新去update你的code但其实那个对外部的interface是没有变化的所以这样的时候会导致导致你一个两个社区经常会有这么代码的级别的依赖但是你对外面的code是没有变化的所以这个是希望是减少这种大家彼此的这种干扰就是跟现代区现代的大家彼此做的事情相当于节奥希望是通过这个彼此都通过restoreiti去做这样的事情那kubernetes controller manager和kubernetes在当时做的时候都是有时候kubernetes controller manager做这种代码依赖的时候最主要是原来早期的时候kubernetes并没有并没有很好的支持望所以他要做一个这个ip pro containerip pro container这样的一个工作那这个那当时在整合的时候那好吗就放到controller里面做这些事情但是现代的话其实完全没有必要去做这样的事情然后跟这个之前的这个monitor我之前的 owner 去商量以后那基于比如说如果现在基于最新版的时候kubernetes可以去把这个节奥就是把这个代码的这个我完全去掉了所以在在刚才的那个0.7 release以后最主要做的是这件事情可以把这个整个coderrefer一下减少这种减少这种代码进别上的依赖那这个有可能会在明年的年初今年年底明年年初那个样子也许看他的这个事情那说到kubernetes on my source其实在kubernetescontribution在my source里面我想在社区里面大家也都看到IBM除了日常那些buff this里面有一些项目是我们一直在一直在做比如说像scanning这个样子像海洛铁的肉那像这个呃多个角色的这种粉末包括现在的scanning包括像wogogogo啊这些维修的事情这些事情都是我们的呃我们的这个team外国人一起在一起在过过这件事情呃这个是scanning这部分另外的一部分就是说关于这个unified content里面的容器和网络两个部分那早上我们另外两个同事呃王亚恒上前在另外的tobik应该都分别讲过关于这个volume和network的这个事情呃呃那个上前是那个cni呃cni的这一部分那其实我们讨论了这么多我们去做skydler去做这个volume去做network所以说我们最主要的目的是我们希望支持一个复杂一点的这个复杂一点的这个复杂一点的business就是最早的就是我们早期刚就是说我们早上说的这个事情我们希望把所有的这个volume和放到里面资源是可以共享的资源可以去share那但但是在资源共享和资源share的时候去有一些问题比如说在这张图里面是我们希望mysos做整个资源资源层的管理那在在这个左侧的continental service这一部分我们是希望pubernetics整个的pubernetics的我们这个continental service对付也好这种浪漫的service也好那在league data这边的话我们是希望有spark但有的用户和有的在实验环境里面我们也可以用marade那这个marade的程度做了一个参考那在这里头其实就会涉及到好多的问题那首先第一个harrick肉这个事harrick肉的时候其实我们资源的时候我们是希望一个continental service和这个spark的service包括marade service先做第一季分翻第一季的资源化分第一季的资源化分就是continental service和big data service因为这两个比如说big data service由于它的在shower的时候会有一些大规模的数据传输所以它的网络和次盘有些时候是不太一样的所以网络的需求和其他的需求有可能不太一样所以我希望这两个资源是分开的虽然更可以在同一的管理但在跑追的时候我希望它还是在这个域里面跑那个在那个域里面跑在big data里面所以我希望做资源的两件做低层的资源化分那就是continental servicebig data service但是在big data里面我同样还有marade就是map reducer task和spark task这两个分别的时候又不一样因为比如说我在在现在早期的时候我由于接融原来的应用那我的spark这个marade的这个这部分的需求或者说这个亚尔和哈多夫这部分的需求会多一点但然后spark这个应用少一点但是随着推移大家新的应用逐渐都转到spark上去那这个资源用逐渐的比例又不一样所以这两个比例是有可能会逐渐的有变化的所以这时候就变成第二级的化分所以第一级的化分是说ln service和big data servicebig data的服务两个做第一级的化分那第二级的化分就是marade和spark级的化分所以这个至少有两级的化分所以这个也是在这个在这个Massos的项目里面去重点要做的一个事情就是hierokie的肉和hierokie的scatter所以希望每一级可以做一次的化分比如说安比例50%然后再做一次的化分那这个是hierokie肉的这一块的事情那项目的这一块的话像couter和cramps那这块的事情是这块的事情是说a和b两个之间是比如说big data的环境它不需要这么多的时候它的作业没有这么满有些idle的时候它可以让它出去让的时候这样的couter service的时候这样可以去装一些tas但这个tas可能是有第一线起来比如说你的一些unitized你的一些build一些build的话你如果先跑的话我肯定非常高兴但是如果先跑不了的话我也可能等到晚上或是什么时候再跑那也OK那最主要是为了提高整个资源流率但是当你的有高运行级的tas就是说我的big data的tas上来的时候我当然是希望把这个资源重新强展回来所以这个事情是就是说couter和cramps是一个事情这个在整个Massos的后面的Rodemap也是会有也会有相当的这个提及那后面这边后面这边是一些kubernetes的事情kubernetes本身有name space叫couter它如何跟下层的这个Massos的机型进行匹配这个现在现在还在还在在去跟这个kubernetes的时候去做这样去讨论看如果我前去跟我做这些事情那包括这个kubernetes因为自己其实也有相当的虽然是scheduler呃 不好意思他自己也有自己相当的scheduler但是scheduler如何要跟下层的massos去做这个事情这个kubernetes和kubernetes的scheduler其实有一个在后面那个taker我们现在有一个taker现在相要做这件事情至少现在要做的第一件事情就是说kubernetes在拥有resource的时候一定要先拥有这种resource不然的话你会发现这个情况比如说我给了你一个resource的resource然后给了你的normal的resource然后你把normal的resource用了别人既抢不住然后呢你的resource的resource别人也用不了因为那个massos一定会发给你所以相当于你永远都沾着两个resource你就虽然使用率是相对来说比较低的但是如果说你用resource的resource那那个normal的resource因为你没有task下次你可以用下次可以给别人用那这个是最相当于最简单的一个这个task关于盘序的这个事情另外一个像这个resource requirementresource requirement的时候resource requirement的时候也是希望kubernetes对下层的massos有一个有一个资源的请求告诉massos我到底需要什么样的资源因为massos现在是不知道这样的事情这里面是关于这个coudre or bremsen的一个事情coudre or bremsen的时候我想拿这个图可能更简单一点就是说画这个虚线是对资源的一个划分所以在左面这边你可以看到在最开始的时候我把这个资源划开kubernetes大概用这么多资源spark 买瑞的大概用这么多资源这次上的颜色应该是不一样的我不知道下面能不能看得特别清楚就是画线应该是右侧右侧这边是给买瑞的和spark的用途这样的用途这个有可能在机器满负载的时候我希望它大概就这么分因为我有一些负负在这边有一些负负在那边但是当我这个在有些时候spark和marray的这个机群的时候没有那么负载没有那么高所以我有可能把这个两个机器或者两个souls也好把两个bassos借给这个kuberneteskubernetes可以在上面去跑一些刚才说的像这些低运级的作业这里面有一个事情比如说这两个资源的标识为借出就是missouls经常说的rower or resource这个是需要promenade的感知这件事情的因为它自己需要判断的那些作业可以跑在上面那些所以不可以跑在上面比如说我们刚才说的这个这种beautiful 这种task你在提交创建的比如说创建你的泡位也好还是promenade这种地方这招位也好你要自己有一个标识标识说我可以wrong在rower or resource上面因为有这样的事情因为kubernetes你wrong起来的时候它是不知道你的作业是到底有多重要比如说你去起一个比如说起一个数据库吧你去起一个数据库的时候这个时候如果你要起在那种rower or resource上面被人杀掉了你的数据是你还得去想办法去捍造它的数据就相对来说比较麻烦一点或者说你更重要的一些更重要的一些比如说只起了一个server那么你又杀掉它虽然可以投到别地但中间还是有一些服务的延迟的而是希望还是尽量减少这种事情所以在kubernetes现在现在也有一个项目就是说我们希望去可以支持mysauce下层的wrower or resource做这样的事情后面会有一个详细的介绍因为那个wrower or resource可能会还会有一些问题会比较麻烦一点这个我们正在去讨论它现在的这个计算到底该是中国去做这种事情那这个像这种所以当这个但是当这个spar重新把最后提交上来的时候我们又重新回到这个图又从那边回到这边就是把它的之前介绍之后也操作重新重新抢上回来所以就重新回到像之前这样的图里面因为我们认为这样的图你可以去提高整个资源的利用率也可以保证整个服务的质量因为你这些对couple names来说你的key的这个sower并没有变化所以它还是在这边对spar来讲我可以让路一些资源出去这样的话因为我的boholo的有可能是这种flow的一会儿有一会儿没有所以这样的话会提高整个资源的效率这里面其实针对这里面其实设计到项目就是说mysauce本身对资源调度对资源调度这一块呢这个prime sheetrover source还有couter相关的项目这个mysauce同时正在在社区跟mysauce的人和卡密德一起在做这样的事情另外对couple names要求的话它需要可以去识别哪些是rover source并且哪些作业可以绕在这种作业上比如说有些人是希望优先去绕rover source那有些人不希望作为一个白卡的白卡比如说我可以打我现在的话我会打一个踏的说这个会加一些调度测证比如说一种作业那我认为它的资源级非常非常低我不希望它占用这个source就source的这般的调度所以我会优先去选起rover source那有另外那种作业没有可能会优先级没有那么也相对来说比较高但是我又不想等所以我会优先去选择这种预留给我的资源或者是couplecouple之内的资源但是如果就是rover sourceOK 我也可以去跑因为我可以去可以去多占点source去做那个事情提高整个资源的效率资源最喜欢的效率所以这个是couple names和白source在资源资源这个争强资源共享上我们需要做的一件事情这个事情不仅仅是couple names要做的而且是要跟spark跟malade或者是跟其他的粉路和一起寻过的一件事情所以才能把整个的资源资源的这个共享资源调得或者做得更好一点那另外这个刚才就是说的这个海瑞克肉为什么对我们来说这么重要就是说当一台机器上我有tauto resource假设我有一百个tauto resource我可能会划百分之四十给个big data划百分之六十就给这个couple names在big data里面我又可能划百分之五十百分之五十分别给spark和malade所以在整个的机群的这种在整个的data3那也好这个机群也好我是希望有这种划分的因为我的couple name是需要对资源有这种分配可以有这种管理的我不希望一个一个三重的地方然后我只能划一几来做这样的事情那这个其实是划一几这种比如说资源的划分了以后其实也还需要一个事情就是权限的划分比如说比如说你对tauto拥有tauto权限的事就是说这个class是命好class是物体好你是可以去杀下面所有的某一个task比如说有问题的你可以去管理下面的这些资源而对于像big data这块的话你可能big data的命或者couple names的命令你只能管理couple names下面说出的这些资源然后couple names下面同样你只能管理couple names下层的区别你不能夸过来这样的话你可能couple names认为我我想通过资源我把big data拥有给它杀掉所以它只能只能控制自己的那Marco和Spark其实一样还是希望有他自己在这几个权限的调查所以就我海外配肉来讲除了除了我们自己做这种资源的分配按比例几种按比例可以做这样的分配以外另外的时候也是希望权限也可以按这种层级来做我的最高级的是可以有最多的权限那么下一级可能有稍微就只能控制你这块的权限然后你或者你自己能创建一些sava紫的这个我的命令区做这样的一个事情所以这块就与权限来讲所以除了资源的划分其实还有一个权限的划分在这个上面因为这样的话你才能划整个的这个与肉的这种角色来做的事情那另外一个现在在Metal的时候去做的就是这个马铁肉就相当于一个服务肉不是我们现在的一个Kubernetes去注册的时候我可以以多个角色注册到里面这样的话我可以在每个角色都拿到相当的资源这个现在的话其实这个现在有一个事情就是说Kubernetes现在就里面有Nemes Base是不是可以跟他里面的跟Metals下面的肉去Metal上这样的话你可以用Metals的这个counter来做这样的事情所以这个马铁肉现在现在我在这种并没有特别化因为这个现在我还并没有特别行这个马铁肉应该如何来处理因为马铁肉现在我最差其实是可以去请多个KubernetesGadle那在这个Kubernetes上面也是也是看到也是看到有其他的公司可以去做这个Metals那叫什么MetalsGadlerKubernetes的MetalsGadler然后去研到不同的事情但是他最主要他最主要的目的是解决这个资源调查的一些事情所以他只想去调查这个事情但是其实MetalsGadler也是有一些有一些好处也是有一些问题因为我们有的产品有一个产品就是Semmling基本就是用类似MetalsGadler的这种这种加号来做因为MetalsGadler有一点好处就是说当你其中的一个Skadler挂了的时候你不会影响其他人对吧比如说我在我有两个业务业务A和业务B业务A的这个Skadler如果挂了业务B的它的那个Powler和Task同样可以去往前面所以那个稳定性会相对来说好但是你如果放到一个里面一个Skadler挂了大家就全部挂了然后你要去往下的Fill Over然后就相当于把这个所有的东西都付出Fill Over做这样的事情MetalsGadler的事情可能不太这块我就不太去去去讲很多因为这块可能涉及到事情相对来说比较复杂我也觉得现在在无论是在MetalsMetalsGadler可以相对来说好喝一点他对MetalsGadler总耗了一下但是在MetalsGadler的社区包括我们MetalsGadler的社区现在还没有想好MetalsGadler到底如何给下场的机场因为说一道上场的Potter和上情的New Space是需要如何Match到一起如何去做这个资源的分配但至少有一点是需要一定是需要的就是说这个Helper的路对于这个Big Data和Longer Service甚至说IM.hpc的Task这个是都是需要分开的因为就是因为这样的资源的管理这样的为迷才入行的管理去做这样的事情另外一个后面想讲的事情就是说也是我们一直想要做的事情比如说这个MetalsGadler的事在现在的Metals里面其实你会看到现在假设因为Kubernetes里面有一些功能比如说我就像这个Potter绕在某一个House的上面比如说这一位小孩就是我这个某一个Potter或某一个Task我就是有这样的用战的训练我就需要跑到House的一上来但是现在的Metals做不到这一点的Metals的Task是根据它现有的results和你的这个Remote拿到了多少results自己手多少我玩过results用第二个算法然后往出PatchDispatchOK 你如果认为你这个跑不了你就把这个Task还给我不是 把这个over还给Metals如果你能跑OK 那你就跑但是这里面有一个事情就是对硬件或对资源的需求的程度就是不一样的比如说比如说可能是比如说我自己愿意说说这种软件的需求或这么硬性的需求所谓硬性的需求的话就是说我对举个例子硬性的需求我对这个硬件是有要求的比如说我ZionFight的Banner我跑到其他的套色上面是跑不下来的但是就是一种硬件我一种CPU但是比如说我希望我的程序靠近某一台机器因为我会比较快一点但是但是我网络但是你给我发到别的机器上我也OK主要你网通我达不了我离得近跑我离得远一点我跑十分钟两个队伍来说都OK是吧所以对第一种情况就是硬性的需求无论这个资源分配的不是给我的我这个套色一定不会跑的第二种情况就是很软性的需求你给我你给我给我我想要的资源最好你给我别的资源我也能跑就是相当于一个Prefer的这种资源所以这种资源呢当这两种资源混在一起的时候就会有问题比如说我的Firmware和A需要需要一个资源A然后Firmware和B需要一个资源B最理想的Match肯定是Messels的话这个是把这个资源都分给两个Firmware两个都能跑下来但是如果它打我反过来并且有一个是软性的有一个是硬性的你会发现软性的那个跑下来了占了资源另外资源需要的那个资源另外那个Firmware需要的资源另外那个由于没有这个硬件的资源它跑不下来了你会发现这个整个的这个环境里面最多你就跑一半的这个资源在里面所以这个时候我们为什么一直是希望Messels可以去请求可以去接受这个Firmware发来的请求这个这个在我们这个eGo里面已经有这样的这个需求在里面然后在这个在最近去跟这个社区去聊的时候那也看到Sganler这个loadmap也已经把这个的sauceroquem作为其中的一项来做作为这个作为这个一个项目来往前做所以我们也很高兴去可以看到说Messels其实在不久的将来也很去支持这种Ressauce requirement所以这时候你可以把S可以去请求Messels说我要House的E这样的话那Messels可能陪Firmware就会尽量地去分给你要House的E因为它会有全局的Ressauce的资源如果你认为你自己有HouseE你可以跑OK那你就可以去跑如果你认为你自己是用心的这种需求那你可能就没你的HouseE那你可以就不去跑但无论怎么样Messels一定会在通过全局的考量给你一个最高最强于一个最好的一个结果这样的话它因为它不会为了一幕有附能过合做这件事情因为它会看全局整个的Ressauce的资源的省略但是所以这个对于Firmware来说其实是一件好事情那如果那个项目做完了以后ProMnetis也是希望可以去把自己的比如说这些Lagos一些Slafter等等等等所有的东西发给Messels在Messels的方式会一个相对来说更好的一个结果然后我再做去做RG的调问同样的Spark马瑞的经验也会设计到这样的问题Spark的话也可能回去比如说我通过Databere Scaling我是希望就让我能有一个塌色一个数据记一下就不要来回去穿梭这样的数据然后来提高整个的资源的搜效率这个后面就说到RoverSauce的事RoverSauce这个事现在打个Target非常简单我提交作业的我提交Po的时候我去打一个Target告诉Messels告诉ProMnetis我想用想用这个我可以用RoverSauce但是Messels现在有一个事情就是Messels现在的QoS Controller或者TargetRoverSauce现在其实杀不了Target级别的不能做Target级别的这种Q但只能做QoS Controller级别的就是说你的QoS Controller被吞出来的时候是一个QoS Controller的ID这样的时候会设计到这个什么问题就是说当你的当你的QoS Controller里面跑了普通的作业又跑到RoverSauce的作业你怎么去杀QoS Controller因为你一般把QoS Controller杀在下面怎么强调你会把普通的作业不应该被你杀掉了一些你就把它修掉所以这个可能会这个会相对来说是一个比较麻的那个事情所以我们也是希望Messels去可以支持Target级别的这种就是相当于QoTarget的话就是Target级别的这种Q这里有画一个图画一个QoS Controller的两画两QoS Controller的这个并不是一个锁路生物代表大概是那个意思因为QoS Controller的因为这块在做在做绑定的时候在做绑定的时候那个QoS Controller会会把某个PoL的绑定到绑定到这个House的上面然后就可能会转下来了如果是这么做的话这两个必定是要把PoL的转下来的所以这块是一个演示我是希望希望是说一个这种虚拟的这种一种虚拟的这种环境所以我可以有这样的机制去同时就是只杀到柔或者是占用柔或者是Sauce的那种作业不是把所有的最多把整个SQ这些杀料就是如果整个SQ的杀料相当于这个柔或者是Sauce几乎就不合用了因为这样会影响我更高的影响我核心的业务这样会这种可能上市那些去做这样的事情所以这个所以刚才讲的刚才讲的所有的这个淘卫我讲的所有的这些问题都会在这个Kubernetes这个项目里面会有相的taping的trace包括像柔或者是Sauce这个事情就是如何来杀这个事情是需要两个社区一起来做然后我前路所以像后面会跟了一个这个ID这个ID都是在这个Kubernetes上的起ID的时候可以去做我的事情像Session像前两个的话像这个关于Policy做的事情然后Sma的Primson做的一个事情那就是柔或者是Sauce和这个Skydermal enhancementSkydermal enhancement就是刚才说的尽量先用这个Resolve的Resolve不要去先把这个社区用掉先把一个Normal Resolve去用掉但是这块其实还有一点就多说一点总之我在在做的时候就是有可能会有比较麻烦的事情就是说你如果一台机器或者整个over都是Resolve比较好呢就用它就完了但是如果说一半的时候尤其是比厉害军的社会怎么办比如说我只有CPU是Resolve你Memory不是Resolve如何来先用它这些除非另外的我还有一个我还有另外的一个部分我的Memory是Resolve它CPU不是Resolve你先用一个所以这件事情当这个当这个就是出现这种puzzle的时候over的状态的时候我们整个的这个调整的你还送给你就会相当于说复杂一点其实这个我自己想可能对Mazos的开发回合也是我和这个也是一个借鉴嘛我们可能这个这个里面也有可能会关于这种puzzle的如何来分配来做然后给一些gabance会发到gabance的这个让也好还有社区也好都会去给一些gabance会围绕这个使感觉就会做得多一点另外下来就是说sparthe hierarchy最够所以我们看到这个Nemesby的couter我们希望迈迟到这个Kubernetes下面的Rove它的couter然后Matic肉的couter现在我还没有去到然后这个可能现在我还至少我现在还没有想好怎么去做这件事情另外还有一个事情就是说刚才没有提及的就是说当这个Kubernetes和Sparthe当Kubernetes和Sparthe两个共同在有环境的工程的时候它俩会有这样的需求是需要两个数据有一定的同性所以这个时候我们会需要它的DNS因为现在整个环境里面我们希望通过AdderDnsAdder然后ghost这样的文件来做那无论怎么样我们希望我的BigData的作业有可能会去下一些FTP但这家NTP不是在Kubernetes里面那还有有可能比如说我Kubernetes的应用会去提交到一个提交一个task到Sparthe作业上然后把它软完以后再把它输出再把它转过来所以它俩彼此之间会有一些通信或一些交流的那这两个通信和交流是说明了两个问题一个是DNS有通还有底层的网络要通那底层的网络要通的时候就比较顺利的地方比如说Sparthe由于是大数据所以那个网络的时候有可能ID4我们不见得会有overlaid网坛但是对像Kubernetes里面它默认会建议你去用用这种overlaid网坛这个网络的时候你可以仿佛的过去但你不见得能把数据带回来所以那个双样的通道可能会有一些问题所以这个现在也是我们正在去讨论的事情看如何去把这个Sparthe和Kubernetes两个更好的整合到一起尤其是这种数据互访不通的这一部分因为刚才之前讲的基本更多的是资源划分的这部分资源划分的时候Messos的提示上层的多香的感情基本就差不多那这后面画了好的点点其实画了好的点点还有好多网络的提示比如说Messos现在在做我知道Messos现在有个Table关于Global Resource比如说我的字盘也好我的license也好这里有Global的一个池尤其像这种分层文件系统它这个大小基本是固定或者这种集中式存储我会有集中Global里面Resource里面的池Messos Kubernetes里面有Persistent VolumePersistent Volume在某种程度上你可以把它看上去Global Resource因为它还有PVC我算不定网络很可爱去做这个请求申请请求的时候这个时候其实Messos是比较像的是不是可以把这两个再重新的打通这样的话你会有同一套的管理并且有同一个叫谋人做这样的事情然后另外一项包括Messos现在也支持Unified Container就是支持炮的这些功能那Kubernetes然后Messos是不是可以进行这个功能因为稍后现在其实有些稳留请大家都有一个项目考试那在产品线里面我们是不是可以用Messos Unified Container去做这个Kubernetes下面的一个一个容器的运用环境来做这样的一个事情所以这样的话也是希望提高整合这个系统能够运行所以这些都是我们在后面需要做的一些事情这个是我们现在期望的大概一个月的外观所以我们希望在这个月底或是下个月之后我们希望有一个相对来说在0.7就进入现在的Kubernetes有一个相对来说我已经有办法现在有的时候有人问我说现在这个是不是本金了是不是OK我可能会建议大家可以去测试有问题的时候多包一些办法我会花大部分的时间来上海把这个事情都解决掉争取要0.7的时候现在总线我都能进入尽量的稳定这个时候正因为最新的办法还要在0.8的时候就希望像刚才说的这些减少它的code dependency把这个controller和kubernetes这些单码级币的这些依赖全都给它移掉这样的话在kubernetes的MSOS里面就目前来看的话有可能会只发布scheduler和excutor进行复购其他的这些上kubernetes都会依赖于都会依赖于kubernetes那如果kubernetes和这个机枪有相对的需要的话我也会把这个东西抽象出一个粘到的需求然后放到kubernetes的社区里面来做这样的事情而不会像现在这样我会把code靠背过来因为这个从这个微博的工作量和两边社区的这个沟通来看这样的都不是一个特别好的一个事情那在17年的时候我们其实最想做的时候就是说有一些0.9的时候有一些新的feature我会加进去那现在的时候我们现在也因为刚才说的这些feature有很多都是比较重要的但是现在的party可能是啥我现在还被我完全的拍出来所以如果大家有这样的需求比如说认为哪个feature对我来说非常的重要比如这样相和随打扰也可以去到刚才看到一个github去Open your easel我们去看一下现在的party到底是什么样的那另外一个最主要其实我们想说其实在17年的时候我们希望希望去达到这个普尔达神reality所谓普尔达神reality就是说刚才我们就相当的产品围绕普尔达神realitymysos来做这样的事情我们希望我们的产品在测完了以后经过这个压力测试经过这个你叫卵扎维尼泽经过很多的气泡测试吧经过很多的气泡测试的时候我们也是希望社区的这个版本也可以达到普尔达神reality大家可以去在上面去达到自己的环境去做相的什么事情我这边主要就是这些好 谢谢大家