当前位置 :首页 >> 综艺

实时特征计算应用软件架构方法论和实践

2023-03-14   来源 : 综艺

发设计,其开发设计的模型一般只能符合动态特质算不止的上架市场需求,如低提前、较低日见、较低简而言之来说等性能和运维指标均只能考虑到。 由于电子邮件研究小组和建设工程化开发设计团队是两个开发设计团队、两条工具箱肽键、两套控制系统的开发设计,因此两套控制系统之数间的算不止理论上数据流就变得必不可少而且极为不可或缺。

根据大量建设工程化凌空事例,理论上数据流由于必需密切就其开发设计团队连系、市场需求对齐、数间歇测试推定等,其节省的自力价格经常是三个必需数间最较低的。

Table 1: 在发挥作用合适工具箱但都会的动态特质算不止从开发设计到上架的主要必需

造成终点站上架下算不止演算不一致的原因有很多种,比如:

工具箱能力不对等。 现在,Python 是大部分电子邮件研究小组的首选工具箱;相反,建设工程化开发设计团队一般都会首先尝试常用一些较低性能电子邮件库去翻译 Python 剧本。因此两个工具箱在理解能力上并不对等。当 SQL 的理解能力只能考虑到市场需求时,就可能都会不止现算不止演算上的妥协或者常用 C/C++ 等较低性能一个大对象语言去补充就其能力。 市场需求连系的层面输。 电子邮件研究小组以及建设工程化开发设计团队对于电子邮件的假定和;也方式的层面可能都会不一致。旧金山的的公司终点站上银行 Varo Bank 详细描述了一个他们在无法合适工具箱的但都会,动态特质上架时碰到的一个不一致情节(明确可以简介他们建设工程化开发设计团队的博客 Feature Store: Challenges and Considerations)。在上架周围环境中所,建设工程化开发设计团队很自然的认为“联系人本金”的假定应该就是动态的联系人内都的本金;但对于电子邮件研究小组来说,通过技术的发展软件的电子邮件去实现“动态联系人本金”其实是一件非常多样的事情,因此电子邮件研究小组常用了一个更加简单的假定,即昨天结束的时候的联系人的本金。很明显,两者对于联系人本金的层面输,单独造成了终点站上架下算不止演算的不理论上。终点站上架下算不止演算理论上数据流的充份性,以及所必需节省的巨大自力价格,使我们有充份更进一步探讨特质算不止从开发设计到上架的同类型程序。必需一套更为合理的可持续基本概念,以及也就是说的管理模式设计,来较低效支撑如今急速较快增长的机器研习凌空情节数量和规模。

目的:开发设计即上架

我们早就体认到,终点站上架下算不止理论上数据流是整个控制系统付诸和实施的停滞。那么难得中所,如果必需优化连续性程序,我们更进一步有一套开发设计即上架的较低效程序。其如下三幅 Figure-4 示意图。

在此套最佳化过的程序中所,电子邮件研究小组的剧本可以即刻重新部署上架,而不必需再进一步经过二次编译器范例,也不必需额外的终点站上架下理论上数据流。如果基于此程序的基本概念可以付诸,将都会极大地提较低动态特质从开发设计到上架的连续性程序,其自力价格也将都会从无论如何的一共 8 人 同年大幅缩短到 1 人 同年。

三幅片 Figure-4: 动态特质算不止开发设计周期的最佳化目的:开发设计即上架程序

2.3. 框架技术市场需求

如果为了远超开发设计即上架的最佳化目的,同时要保障动态算不止的较低性能,可以阐述不止整套管理模式必需考虑到如下的框架技术市场需求:

市场需求一:在终点站动态特质算不止的低提前、较低并发。 如果我们更进一步在最佳化后的程序中所(Figure-4),电子邮件研究小组的剧本可以单独上架,那么我们能够要极为小心的;也好在终点站算不止的一系列建设工程化缺陷。其密切就其的市场需求是考虑到低提前、较低并发的动态算不止市场需求;此外,如可靠性、可扩展到性、灾备、运维等缺陷亦是在企业生产周围环境中所实际凌空必需特别注目的物理性质。很显然,如果某种程度依靠电子邮件科学教常用 Python 写的特质算不止剧本来单独上架,是不能考虑到这些必须的。 市场需求二:终点站上架下其实质的一个大对象以太网。 为了减缓连续性开发设计到上架的价格,我们更进一步在中华人民共和国政府用户的视角来看,整个控制系统必需一个其实质的中华人民共和国政府一个大对象以太网,而不是如 Table-1 中所示意图,中华人民共和国政府去除了两套有所不同的一个大对象以太网。基于其实质的一个大对象以太网,那么仍然进一步必需通过编译器范例来开展剧本上架。 市场需求三:终点站上架下算不止理论上保障。 我们的最佳化目的是仍然进一步必需额外的较低价格的终点站上架下理论上数据流。那么,如何在控制系统内部保障好终点站上架下的算不止理论上,是能够要消除的缺陷。

抽象化管理模式

Figure-5: 开发设计即上架的动态特质该平台的抽象化管理模式

为了考虑到在各集 2.3 内都提到的三个框架技术市场需求,我们实现不止了如上 Figure-5 的抽象化管理模式。可以看到,在这个抽象化管理模式三幅内都有四大组件,分别相同去消除我们所陷入的的框架技术挑战。

以下示例列不止了组件的物理性质要点以及所消除的框架技术市场需求。

Table-2: 动态特质算不止该平台管理模式的框架组件和物理性质

OpenMLDB 的管理模式设计方法论

基于如上分析的 Figure-5 的抽象化管理模式,以及 Table-2 所详见的框架组件物理性质,我们在此解说一下 OpenMLDB 的管理模式方法论。

OpenMLDB () 是一款OpenBSD机器研习电子邮件库,主要一个大特质算不止情节实现较低效消除方案。

OpenMLDB 的管理模式设计上秉承了 Figure-5 所列的抽象化管理模式,通过基于现有OpenBSD软件最佳化或者自研,来付诸明确的物理性质。其具象化之后的管理模式如下三幅 Figure-6 示意图。

三幅片 Figure-6: OpenMLDB 连续性管理模式

从管理模式三幅 Figure-6 上可以看到,OpenMLDB 有几个关键因素组件,明确指出如下:

SQL(+):OpenMLDB 中华人民共和国政府去除 SQL 作为其实质的常用以太网。由于新标准 SQL 并无法对特质算不止就其的操所作动手最佳化(如演算电路可视就其操所作),因此其在新标准 SQL 的新动手了物理性质扩展到,拥护了更多对于特质算不止友好的字词物理性质。 理论上执行者计划案作应用于器:这是保障终点站上架下算不止演算理论上的框架组件。内都面主要值得提醒了 SQL 字词树解出以及基于 LLVM 的执行者计划案作应用于组件。其中所,其实质的执行者计划案作应用于组件,对于也就是说的 SQL,可以翻译成针对终点站上和终点站下分别最佳化的有所不同的执行者计划案,但是同时保障两者的算不止理论上。 分布式程序中方式 SQL 涡轮引擎 Spark(+):对于一个大技术的发展软件开发设计的程序中方式 SQL 涡轮引擎,OpenMLDB 基于 Spark 开展了源编译器分级的二次最佳化开发设计,较低效拥护 SQL 中所对于特质算不止的扩展到字词。提醒,由于程序中方式涡轮引擎其实质并无法任何电子邮件的读取市场需求,所以这内都在演算上并不值得提醒一个专用的读取涡轮引擎,必需从技术的发展软件电子邮件源上去读取电子邮件开展算不止即可。 分布式演算电路电子邮件库:框架的动态算不止物理性质主要由读取涡轮引擎和动态 SQL 涡轮引擎这两个框架组件支撑,共同组合而成了一个分布式的较低性能演算电路电子邮件库。其中所,SQL 涡轮引擎为开发设计开发设计团队自研的基于 C++ 编写的较低性能内核;电子邮件读取涡轮引擎主要为了读取特质算不止所必需的最新的可视电子邮件(即 Figure-2 中所的物料电子邮件)。提醒,此处的演算电路电子邮件库有一个电子邮件生存周期的基本概念(TTL, Time-To-Live),假设我们的特质算不止演算只必需都只三个同年的电子邮件,那么至少三个同年的上新电子邮件都会自动被清除。读取涡轮引擎有两种可选择: 一是,开发设计开发设计团队自研的读取器读取涡轮引擎(built-in):OpenMLDB 为了最佳化在终点站;也的提前和日见,选项采用了基于读取器的读取方案,实现了双层跳表(double-layered skip list)的索引内部结构。此种电子邮件内部结构特别适合较快找到某个 key 下面的一个按照时数间戳排序的电子邮件。此种读取器索引内部结构在演算电路电子邮件的匹配提前上可以远超毫秒分级 [1],并且性能远好于商业版的读取器电子邮件库;二是,基于 RocksDB 的外存读取涡轮引擎:如果用户对于性能不太敏感,但是希望减缓读取器用价格,用户亦可以可选择基于 RocksDB 的外存读取涡轮引擎。通过以上框架组件的联结,OpenMLDB 可以付诸开发设计即上架的事与愿违最佳化目的。

下三幅 Figure-7 阐述了 OpenMLDB 从技术的发展软件开发设计到重新部署上架的连续性常用程序。对照 Figure-4 所相同的最佳化程序目的,我们可以发现,通过 OpenMLDB,从特质开发设计到上架,良好地践行了开发设计即上架的框架思想。

三幅片 Figure-7: OpenMLDB 常用程序

关于 OpenMLDB 的详细电子邮件可以概要详见:

官网: GitHub: Docs:

总 结

本文阐述了实现动态特质算不止该平台所陷入的建设工程化挑战,以及机械工程所更进一步的从技术的发展软件开发设计到上架的最佳化目的。基于目的,作准备详细描述了管理模式设计的基本概念和法则。就此解说了从最佳化目的不止发,基于设计基本概念方法论的OpenBSD消除方案 OpenMLDB 的连续性管理模式。

概要:

[1] Cheng Chen, Jun Yang, Mian Lu, Taize Wang, Zhao Zheng, Yuqiang Chen, Wenyuan Dai, Bingsheng He, Weng-Fai Wong, Guoan Wu, Yuping Zhao, and Andy Rudoff. Optimizing in-memory database engine for AI-powered on-line decision augmentation using persistent memory. International Conference on Very Large Data Bases (VLDB) 2021.

所作解说:

卢冕,助手毕业于香港科技大学算不止机系;现为 OpenMLDB 社区 PMC core member;就职于第四逻辑学,是电子邮件库开发设计团队以及较低性能算不止开发设计团队的 Tech Lead。

借助于迈向建设工程项目动手了多年,主管理模式师都悲惨了:当初就不应该用承接!

Flutter 3.0正式公开发表:稳定拥护6大该平台,字节跳动是主要用户

PowerShell主管理模式师:我用业余时数间开发设计建设工程项目,表现优秀反而被微软降入了

曾经一年有6个同年在考试绩效,谷歌事与愿违打消常用了20多年的“内卷神器”

点个在看少个 bug👇

石家庄男科检查
成都风湿治疗费用多少钱
重庆看白癜风去哪里比较好
石家庄治包皮过长的专科医院
北京哪家专科医院做人流好
金山这里的老品牌+国潮风夜市,好吃好逛无聊!

转自:上观新闻媒体近年来,蓬莱第一区霞江北古镇一直在近似于游线长度、挖掘趣味深达上下功夫,并且致力于历史文化菜市北区场和西门町的合作开发,当年的元宵庆典寒假,霞江北古镇失掉了“薛凯琪时以,霞江...

友情链接