欢迎访问:MongoDB挑战传统数据库:非结构化数据库的迭新不容小觑_教育_教育_精致生活网
  • 微信客服微信客服
  • 微信公众号微信公众号

MongoDB挑战传统数据库:非结构化数据库的迭新不容小觑

收藏  分享
网友发布网友发布77

MongoDB挑战传统数据库:非结构化数据库的迭新不容小觑

相比甲骨文中国在中国市场的裁员风波,同为数据库服务的MongoDB显得更为乐观。“MongoDB是中国开发者最喜欢用的一个数据库。”MongoDB全球渠道及亚太区销售高级副总裁Alan Chhabra带着一点自信和骄傲在媒体面前宣称。

中国企业的数字化转型正进入关键期,在打造开放、高效、灵活、共享的云计算基础设施的同时,数据库的更新换代也被提上了日程。

日前,非结构化数据库平台提供商MongoDB在上海举办用户大会,MongoDB全球渠道及亚太区销售高级副总裁Alan Chhabra接受了亿欧企业服务频道的采访, 并针对去年修改开源协议,在SSPL的不同许可机制下授权服务器软件的争议以及其他疑问作出回应。

数据库的本质是解决数据的存储和管理问题。 Alan Chhabra表示,对企业发展具有战略意义的数据库正在催生巨大的市场。

在这些潜力颇大的数据库中,市场上目前存在着的是关系型的传统数据库和以Mongo DB为代表的非关联式新型数据库。传统数据库比较典型的是甲骨文旗下的Oracle数据库、IBM推出的大数据平台Hadoop和Stream Computing、微软的SQL Server、SAP以及EMC Greenplum。 他们的主要差别在于数据库的结构化和非结构化。

结构化的数据是指可以使用关系型数据库表示和存储,表现为二维形式的数据,存储和排列很有规律,这对查询和修改等操作很有帮助,但扩展性和灵活性欠佳。 非结构化数据库就是各种文档、、视频/音频等没有固定结构的数据,一般直接整体进行存储为二进制的数据格式。 目前涵盖分布式数据库、图数据库、流数据库、时空数据库和众包数据库等多个领域。

MongoDB是文档型的非结构化新型数据库,Alan Chhabra表示, 与传统数据库相比,更能满足用户数据存储量大、计算灵活的需求。“在某些客户某些案例上,我们已经取代了传统数据库,比如甲骨文。”

当前, 软件对于商业模式的改变、开发人员地位的提高,以及企业向云端迁移的趋势 都让数据服务公司的发展得到了助力。但从毕马威会计事务所对首席信息官的调查结果来看, 88%的首席信息官认为他们未能从数字化战略中充分获益;82%的首席信息官认为其所在机构在利用技术推动业务发展方面并非“卓有成效”。 也就是说, 大多数公司的数字化战略是以失败告终的。

在此背景下,更加灵活、性能更加强大的新型数据库在一些领域获得了试验田丰收,并且可以看到,随着客户数据需求的繁杂程度的日益增加,传统数据库也在自我革新,以迎头赶上数据浪潮的大变革。

MongoDB成立于2007年,2017年在纳斯达克上市。最初,MongoDB是一项面向技术爱好者的技术,如今已成为一项企业级的业务关键技术。通过不断开发数据库即服务(Database-as-a-Service)产品,积极拥抱云计算,MongoDB在过去十年里,为开发人员提供了处理数据的方法。正因如此,它也成了企业数字化转型战略的一个关键部分。

MongoDB提供的产品主要包括MongoDB云服务MongoDB Atlas、MongoDB Mobile、MongoDB企业版和MongoDB Stitch等十余个相关产品。Alan Chhabra表示,产品包括了 开源版、付费版和云版。

2018 年 10 月,MongoDB宣布其开源许可证将从GNU AGPLv3切换到SSPL,新许可证将适用于新版本的MongoDB Community Server以及打过补丁的旧版本,这一举动引发了行业热议。基于GNU AGPLv3协议,企业可以将MongoDB作为公共服务但这需要企业开源自己的软件或是获得MongoDB的商业授权,事实却是MongoDB发现许多企业正在违反协议“疯狂试探”甚至已经违反协议。 SSPL( Server Side Public License)顾名思义,要求使用者必须得到服务器端公共许可证,这一协议会进一步约束商业公司使用MongoDB服务。

Alan Chhabra向亿欧解释, SSPL 针对的是提供MongoDB托管服务的云服务厂商。 也就是说,如果不是云服务厂商,没有公然售卖MongoDB产品,而只是作为应用后台数据库来使用的话,那么无论你是电商、物联网、金融、社交、 游戏 、移动应用等等,一概都不会有任何影响。 “MongoDB的宗旨还是为了始终支持并保护创新开放。”

但此开源协议的修改明显带来了市场用户的“掉粉”,比如Linux 社区的接连“弃用”,以及AWS 、IBM、微软推出了兼容MongoDB的相关产品来服务用户。

数据库开源的商业变现与创新形成的矛盾,目前似乎还尚未找到解决方案。

Alan Chhabra在大会上也透露了MongoDB的未来计划, 即将基于智能运营数据平台和下一代基础架构、文化、方法论和安全,推动原有系统的现代化、数据即服务、云数据策略、业务敏捷性,进而帮助客户实现以数据驱动的数字化转型。

针对MongoDB在中国的发展情况, Alan Chhabra表示,公司将以创新立足,持续引领数据库技术发展潮流,与合作伙伴携手助力中国企业的数字化转型。

MongoDB北亚区副总裁苏玉龙认为:“中国是数据大国,而数据就是未来的石油。如何利用好数据,让数据石油助力中国企业腾飞是MongoDB希望在中国达成的事情。随着中国企业数字化转型逐渐走向深入,MongoDB数据库的价值得到不断释放。”

本文作者龚晨霞,微信Gcx847076575,欢迎关注企业服务和产业互联网的朋友加微信交流。

2019数据架构选型必读:1月数据库产品技术解析

(专业办学优势) ●智能信息处理

○主要研究内容:智能规划与自动推理、约束程序、智能决策支持系统等研究领域的科学研究与软件开发工作。

○主要成果:研究成果居国内领先地位。有教师12人,其中教授(博士生导师)3人,两人获教育部“新世纪优秀人才支持计划”支持,不间断地承担过近20项国家自然科学基金课题,在研国家和省部级课题4项、横向软件开发项目4项。承担《人工智能原理》等研究生课程和《离散数学》等本科生课程,其中《离散数学》为国家精品课程。

●软件形式化

○主要研究内容:软件形式化方法、语义网、程序分析技术、各种程序设计语言与实现技术、移动代码安全、并发语义、软件检查等。

○主要成果:承担并完成了国家自然科学基金项目4项、教育部博士点基金1项、省部级项目2项、协作项目3项、省级校级教改项目3项、发表学术论文70余篇、编著学术著作13部。承担研究生课程《形式语义学》、《程序分析》,本科生课程《编译原理(双语)》、《高级语言程序设计》和《C#程序设计(双语)》。《编译原理(双语)》课程被评为吉林大学精品课、吉林省精品课程和教育部-微软精品课程,获得三项省级奖励。由博士生导师张长海教授主讲的《高级语言程序设计》被评为国家级精品课。

●软件工程

○主要研究内容:组件技术和软件复用技术、基于软件体系结构的软件开发方法、软件维护和软件设计改进方法、软件演化方法和软件自动化技术、软件重构方法和技术、软件测试、面向方面的编程技术、基于移动代理的软件开发方法、软件工程环境和软件开发辅助工具等。

○主要成果:研究组成员完成国家重点攻关项目和国家自然科学基金项目4项,在国内核心刊物或国际会议上发表论文50余篇。

●数据库与web智能

○主要研究内容:数据库理论、机器学习、数据挖掘与Web挖掘、网络搜索引擎。

○主要成果:完成国家自然科学基金项目“基于Petri网的主动型面向对象数据库管理系统(1997-1999)”、吉林省科技发展计划项目“第二代网络搜索引擎的研制(2000-2003)”。承担国家自然科学基金项目“具有增量性质的移动式主题爬行系统(2004-2006)”。在国际会议和《软件学报》等核心刊物上发表论文40余篇,其中被三大检索结构检索论文9篇,出版教材和学术专著4部。获得国家级和部委级奖励5项。

●数据库与智能网络

○主要研究内容:面向高维、海量数据的智能处理理论,数据挖掘基础理论与应用,Internet组播路由技术,并行程序设计,并行工程与工程数据库系统,计算机支持协同工作与设计。

○主要成果:承担国家攻关项目2项,国家863计划项目1项,国家自然科学基金项目5项,省部级及其它科研项目几十项。获国家科技进步二等奖1项,机械工业部科技进步一等奖1项,及多项省部级其它奖项。又在各种国内外刊物上发表数十篇的论文。 ●知识工程与专家系统

○主要研究内容:不确定性推理方法与技术;多专家系统协作技术;贝叶斯网推理和学习;异构知识表示的相互转换;知识库求精和知识库一致性检测等。

○主要成果:承担多项国家863项目,利用包括专家系统等多种技术开展面向农业信息化领域应用研究,开发了二十多个农业实用ES,并持续进行了大规模推广应用。97至04年,增收节支约22.3亿元。研究工作先后获吉林省科技进步一等奖和二等奖各1项、长春市科技进步一等奖1项。

●DAI、MAS、智能Agent和移动Agent

○主要研究内容:DAI与多Agent系统主要包括:复杂任务求解方法;Agent感知方法;Agent规划方法;DAI规划识别、生成、优化方法;Agent派生与回收、动态组装方法;动态DAI体系结构模型。面向Agent程序设计主要包括:智能Agent体系结构、逻辑理论、程序设计方法和语言及多Agent协商方法。移动Agent技术主要包括: 移动Agent系统体系结构、理论模型、迁移规划、通信和安全。

○主要成果:自1984年开始,完成国家863和自然科学基金项目10项,发表论文50余篇。提出了基于BDI组件式智能Agent模板结构模型。提出了扩展合同网协商模型ECNNM。提出了支持Agent通信和协商有分支时序结构的一阶多模态逻辑。提出基于模板模型、扩展BDI逻辑、支持多Agent协商模型ECNNM的Agent程序设计语言NOAPL。基于上述成果研制了“开放、自适应、分布式多Agent协作系统工具COT”,用COT开发了多ES石油测井解释系统。还提出了移动Agent系统模板结构、基于环境演算的移动Agent系统形式化模型、迁移规划模型、可靠性通信模型和通信性能优化模型,面向网络管理的安全模型和基于博弈论的电子商务虚拟市场模型,并将移动Agent技术应用于网络管理和电子商务领域。

●时空信息表示和推理

○主要研究内容:时间和空间是人类永恒的话题,时空推理在人工智能等领域中占据重要地位。该院的时空推理研究始自1996年,覆盖了很多研究方面,并应用到地理信息系统、精准农业等领域。研究内容主要包括:时空逻辑、时空代数、时空本体、时空数据挖掘、时空数据库、移动对象数据库等。获得了基金资助包括自然科学基金重大项目子课题1项、自然科学基金面上项目3项,省科技发展计划项目4项等。

○主要成果:对区域连接演算进行了混合维扩展,并应用于定性空间遮蔽关系表示;提出了处理时空信息的不确定性、模糊性和粒度模型,并分别应用于GIS、空间数据挖掘和时空数据库;处理综合时空信息的模型;定性空间查询语言和时空查询语言;改进的公路网移动对象模型;栅格数据模型下模糊区域的拓扑关系分析。基于上述研究,独立开发了支持时空推理的组件式地理信息系统CGIS和多个农业应用系统,使测土施肥真正成为可能。共发表核心期刊以上论文60余篇,SCI索引7篇,EI索引15篇。

●基于粗糙集和格机的数据挖掘

○主要研究内容:传统的数据分析手段难以应付越来越多的数据。为使人们能理解并有效地使用这些数据,以数据挖掘为研究背景,该院展开了以基于格机和粗糙集的数据挖掘理论与方法为主的研究,主要研究内容包括:对当时的格机理论、方法进行深入研究,重点研究格机的标注与其分类特性;研究增量式格机的标注与其分类特性,给出增量式格机的严格形式化定义;面向文本等非结构化数据,研究基于格机理论的数据约简方法和分类方法。研究粗糙集理论公理组的极小化问题;研究基于粗糙集理论的属性约简方法和数据约简方法;研究基于格机理论和粗糙集理论的数据挖掘方法。

○主要成果:学院在基于格机和粗糙集的数据挖掘理论与方法上取得了一定的成果。扩展了格机的等标注的思想,提出了交集标注的概念,用以解决多类别决策问题;将上述思想并应用于文本数据的多类别决策问题,取得了较好的效果;去除了粗糙集公理组中隐含着的冗余性, 得到了更为精练的两组粗糙集公理, 并证明了它们的可靠性; 定义了极小粗糙集公理组概念, 并证明了给出的两组粗集公理是极小的;在基于粗糙集理论的属性约简和数据约简方面,提出了基于信息熵和遗传算法的属性约简算法、基于特征矩阵的最小约简算法、增量式规则提取方法。

●计算智能

○主要研究内容:计算智能所涉足的神经网络、模糊系统和进化计算相关理论、模型和算法,以及计算智能方法在机器味觉和嗅觉、图象处理、商务智能、智能交通、现代物流、生物信息学和生物识别技术等领域的应用研究。

○主要成果:承担国家自然科学基金重点项目1项、国家自然科学基金面上项目2项、十五攻关项目1项、“863”项目1项、省部级项目7项和多项横向科研项目,获得省部级科技进步二等奖2项、三等奖3项:发表学术论文100多篇;其中被SCI收录20多篇,SCI引用26次,被EI收录40多篇,被国内核心刊物引用116次;出版学术著作1部,获得国家发明专利1项,获得软件版权4项。

●计算机图形学与数字媒体

○主要研究内容:计算机绘画与动画,计算机动漫技术与应用,基于点的造型与绘制、几何造型中曲面拼接的基础理论和算法、分形的计算机生成,基于内容的多媒体检索,眼底三维图象组建和医学图像处理,图象超分辨率和图象配准,流媒体压缩、编码、解码及代理缓存技术,三维模型检索系统中利用聚类分析方法平台系统的开发,基于聚类分析的三维模型数据库分析与组织等。

○主要成果:自八十年代初开始开展计算机图形学与数字媒体方面的教学、科研和开发工作,多年来承担与完成国家自然科学基金4项,省部级项目2项,其他各类科研项目10余项。发表学术论文200余篇,其中被三大检索收录50余篇。

●计算机图像处理与虚拟现实

○主要研究内容:计算机图像处理的理论与应用研究,主要有数字水印技术、图像检索技术、医学图像处理、基于图像的绘制技术,基于图像的3维重建技术等;虚拟现实技术和应用研究,主要有虚拟环境的模拟、自然景物的模拟、碰撞检测技术等;模式识别和机器视觉的研究,基于约束的几何模型研究,多媒体技术研究。

○主要成果:承担国家自然科学基金项目2项、省部级项目4项及多项横向科研项目。发表学术论文130余篇,其中被SCI收录30余篇,EI收录25篇,ISTP 收录 30多篇。出版教材3部。

●智能工程

○主要研究内容:人工神经网络、模糊系统和进化计算相关理论、模型、算法,DNA计算,量子计算,人工免疫算法,群体优化算法,机器学习算法,基于计算智能的生物信息学中的相关理论与算法,蛋白质结构预测方法,基因表达数据分析,药物成份分析,以及智能计算方法在组合优化、数据挖掘、超声电机控制、微机电系统建模、金融时间序列预测、模式识别等领域的应用。

○主要成果:自2001年起承担与完成国家自然科学基金项目2项、省部级项目2项,获省部级科技进步奖4项。发表学术论文100余篇,其中被SCI收录40余篇,EI收录50余篇。

●移动通信与网络系统

○主要研究内容:移动IP技术、移动计算网络理论、基于移动计算网络的各种应用,包括移动IP网络中的QoS管理、流量工程、基于策略的网络管理、安全理论与技术、入侵检测系统、防火墙技术以及网络体系结构、通信协议与接口、网络设备、网络通信软件和网络协议的实现。

○主要成果:完成国家科技攻关项目1项,863项目1项,国家自然科学基金项目3项,省部级项目12项以及多项工业界委托项目,获省部级奖3次。主持国家发改委高新技术及产业化项目1项,国家自然科学基金面上项目1项和振兴东北老工业基地科技攻关项目1项。在国内外知名刊物上发表论文60余篇,出版教材(主编)8本。

●智能控制与嵌入式系统

○主要研究内容:工业控制计算机技术、嵌入式计算机系统、网络化嵌入式系统与安全、网络化控制技术与实时信号传输、嵌入式系统软硬件协同设计、故障自诊断与容错技术、普适计算、智能控制、光电混合信息处理技术,以及这些技术在汽车电子控制与信息系统、智能交通系统中的应用。

○主要成果:完成863项目、“攻关”项目等3项,国家自然科学基金项目2项,省部级项目8项,获省部级科学技术进步奖4项,发表论文100余篇,出版教材8部。●计算机空间信息处理技术

○主要研究内容:空间数据的采集、量测、分析、存贮、管理、显示、传播和应用方面的集成的信息科学与技术。重点研究油田多维信息和数字地球信息的大容量数据存储技术、多媒体数据库技术、压缩传输技术、智能化搜索算法、数据仓库与数据挖掘、空间数据的建模和模拟,3S集成理论与方法,科学计算可视化和虚拟现实技术,人机交互技术等。

○主要成果:获国家863项目1项,国家自然科学基金项目2项,省部级项目16项,获省部级科技进步二等奖2项,三等奖8项,发表论文60余篇,出版专著3部。 ●分布式系统与网络软件

○主要研究内容:机群操作系统及在分布并行计算和服务器群方面的应用;网格计算;网络安全;因特网技术及在IP电话、***、电子商务/政务等方面的应用。

○主要成果:完成国家科技攻关项目5项,863项目3项,国家自然科学基金项目6项,国家教委博士点基金项目2项,吉林省自然科学基金项目3项以及若干工业界委托项目。在研项目有国家自然科学基金重大项目1项,国家自然科学基金面上项目1项,吉林省杰出青年项目1项以及国际合作项目1项。专著9部,在国内外知名刊物上发表论文100多篇。获省部级科技进步奖8次,包括原电子部特等奖1次、原国家教委二等奖1次和三等奖3次, 吉林省二等奖1次,吉林省三等奖2次。机群操作系统的研究处于国内领先、国际先进水平,因特网研究处于国内先进水平。

●信息安全

是中国最早进行PKI技术研究和开发的单位之一,在PKI技术方面的研究工作居国内领先行列。

○主要研究内容:基于加密技术和黑客技术的信息与网络安全的研究;基于公共密钥和专用密钥的加密技术。

○主要成果:承担国家、省部级项目20余项,发表学术文章50余篇。根据中国电子商务协会的统计数据,吉林大学研制的“数字证书认证系统SRQ05”在国内占有率已经达到70%以上。承建的“福建省数字证书认证系统暨SRQ05电子证书认证系统”获得国家密码科技进步一等奖。

●计算机支持协同工作技术

○主要研究内容:基于网络的分布式协作系统的原理与技术,典型应用包括基于工作流的协作工作框架、通信网络网络性能协同监测系统及协作作战指挥系统等。

○主要成果:国家科技攻关项目1项,国家863项目1项(子课题),国家科技成果推广项目1项,国防科工委项目1项,省重大项目1项,省重点项目1项,省部级项目6项,企业联合项目20余项。在国内外发表论文36篇,EI检索5篇。撰写教材和专著7部。获专利1项。

●通信软件与协议工程

○主要研究内容:电信通信网由封闭式集中控制环境转向开放式分布控制环境后的网络智能理论和软件技术;电信通信网环境中的感知通信、自适应业务提供、可重配置网络和可视化;网络管理智能化;以IP为核心的下一代网络(NGN)结构、模型和关键技术等。

○主要成果:完成省部级以上纵向课题10余项及多项横向课题。其中部级重大项目2项,教育部博士点基金项目1项;累计完成科研经费近千万元;获省级教学成果奖二等奖、省级教学软件一等奖和吉大教学成果奖一等奖各一项。在国内外核心刊物上发表学术论文70余篇,著书2部。其中SCI检索论文5篇、EI检索论文10篇、ISTP论文2篇。 ●生物信息技术

○主要研究内容:计算生物学与生物特征识别,主要包括基于计算智能的生物信息学中的相关理论与算法,生物数据中的数据挖掘算法,蛋白质结构预测方法,基因表达数据分析,药物成份分析,以及基于小波理论、粗集理论、模糊神经网络和具有混合进化机制的生物特征识别方法与应用等。

○主要成果:承担与完成国家自然科学基金项目3项、省部级项目4项,获省部级科技进步奖5项。发表学术论文90余篇,其中被SCI收录30余篇,EI收录50余篇。

●生物信息识别与信息安全技术

○主要研究内容:提出了一些基于虹膜、指纹、人像生物特征识别的相关理论、技术、算法与系统,以及基于生物特征与水印相融合的信息安全技术。

○主要成果:自2001年起,获得省部级科研项目4项,获省部级科技进步一等奖1项,获国家专利3项。发表论文50多篇,其中,SCI、EI、ISTP检索25篇。

本期目录

DB-Engines数据库排行榜

新闻快讯

一、RDBMS家族

二、NoSQL家族

三、NewSQL家族

四、时间序列

五、大数据生态圈

六、国产数据库概览

七、云数据库

八、推出dbaplus Newsletter的想法

九、感谢名单

为方便阅读、重点呈现,本期Newsletter(2019年1月)将对各个板块的内容进行精简。需要阅读全文的同学可点击文末 阅读原文 或登录https://pan.baidu.com/s/13BgipbaHeMfvm0YPtiYviA

进行下载。

DB-Engines数据库排行榜

以下取自2019年1月的数据,具体信息可以参考http://db-engines.com/en/ranking/,数据仅供参考。

DB-Engines排名的数据依据5个不同的因素:

新闻快讯

1、2018年9月24日,微软公布了SQL Server2019预览版,SQL Server 2019将结合Spark创建统一数据平台。

2、2018年10月5日,ElasticSearch在美国纽约证券交易所上市。

3、亚马逊放弃甲骨文数据库软件,导致最大仓库之一在黄金时段宕机。受此消息影响,亚马逊盘前股价小幅跳水,跌超2%。

4、2018年10月31日,Percona发布了Percona Server 8.0 RC版本,发布对MongoDB 4.0的支持,发布对XtraBackup测试第二个版本。

5、2018年10月31日,Gartner陆续发布了2018年的数据库系列报告,包括《数据库魔力象限》、《数据库核心能力》以及《数据库推荐报告》。

今年的总上榜数据库产品达到了5家,分别来自:阿里云,华为,巨杉数据库,腾讯云,星环 科技 。其中阿里云和巨杉数据库已经连续两年入选。

6、2018年11月初,Neo4j宣布完成E轮8000万美元融资。11月15日,Neo4j宣布企业版彻底闭源:

7、2019年1月8日,阿里巴巴以1.033亿美元(9000万欧元)的价格收购了Apache Flink商业公司DataArtisans。

8、2019年1月11日早间消息,亚马逊宣布推出云数据库软件,亚马逊和MongoDB将会直接竞争。

RDBMS家族

Oracle 发布18.3版本

2018年7月,Oracle Database 18.3通用版开始提供下载。我们可以将Oracle Database 18c视为采用之前发布模式的Oracle Database 12c第2版的第一个补丁集。未来,客户将不再需要等待多年才能用上最新版Oracle数据库,而是每年都可以期待新数据库特性和增强。Database 19c将于2019年Q1率先在Oracle cloud上发布云版本。

Oracle Database 18c及19c部分关键功能:

1、性能

2、多租户,大量功能增强及改进,大幅节省成本和提高敏捷性

3、高可用

4、数据仓库和大数据

MySQL发布8.0.13版本

1、账户管理

经过配置,修改密码时,必须带上原密码。在之前的版本,用户登录之后,就可以修改自己的密码。这种方式存在一定安全风险。比如用户登录上数据库后,中途离开一段时间,那么非法用户可能会修改密码。由参数password_require_current控制。

2、配置

Innodb表必须有主键。在用户没有指定主键时,系统会生成一个默认的主键。但是在主从复制的场景下,默认的主键,会对丛库应用速度带来致命的影响。如果设置sql_require_primary_key,那么数据库会强制用户在创建表、修改表时,加上主键。

3、字段默认值

BLOB、TEXT、GEOMETRY和JSON字段可以指定默认值了。

4、优化器

1)Skip Scan

非前缀索引也可以用了。

之前的版本,任何没有带上f1字段的查询,都没法使用索引。在新的版本中,它可以忽略前面的字段,让这个查询使用到索引。其实现原理就是把(f1 = 1 AND f2 > 40) 和(f1 = 2 AND f2 > 40)的查询结果合并。

2)函数索引

之前版本只能基于某个列或者多个列加索引,但是不允许在上面做计算,如今这个限制消除了。

5、SQL语法

GROUP BY ASC和GROUP BY DESC语法已经被废弃,要想达到类似的效果,请使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。

6、功能变化

1)设置用户变量,请使用SET语句

如下类型语句将要被废弃SELECT @var, @var:=@var+1。

2)新增innodb_fsync_threshold

该变量是控制文件刷新到磁盘的速率,防止磁盘在短时间内饱和。

3)新增会话级临时表空间

在以往的版本中,当执行SQL时,产生的临时表都在全局表空间ibtmp1中,及时执行结束,临时表被释放,空间不会被回收。新版本中,会为session从临时表空间池中分配一个临时表空间,当连接断开时,临时表空间的磁盘空间被回收。

4)在线切换Group Replication的状态

5)新增了group_replication_member_expel_timeout

之前,如果某个节点被怀疑有问题,在5秒检测期结束之后,那么就直接被驱逐出这个集群。即使该节点恢复正常时,也不会再被加入集群。那么,瞬时的故障,会把某些节点驱逐出集群。

group_replication_member_expel_timeout让管理员能更好的依据自身的场景,做出最合适的配置(建议配置时间小于一个小时)。

MariaDB 10.3版本功能展示

1、MariaDB 10.3支持update多表ORDER BY and LIMIT

1)update连表更新,limit语句

update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;

MySQL 8.0直接报错

MariaDB 10.3更新成功

2)update连表更新,ORDER BY and LIMIT语句

update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;

MySQL 8.0直接报错

MariaDB 10.3更新成功

参考:

https://jira.mariadb.org/browse/MDEV-13911

2、MariaDB10.3增补AliSQL补丁——安全执行online DDL

online DDL从名字上看很容易误导新手,以为不论什么情况,修改表结构都不会锁表,理想很丰满,现实很骨感,注意这个坑!

有以下两种情况执行DDL操作会锁表的,Waiting for table metadata lock(元数据表锁):

针对第二种情况,MariaDB10.3增补AliSQL补丁-DDL FAST FAIL,让其DDL操作快速失败。

例:

如果线上有某个慢SQL对该表进行操作,可以使用WAIT n(以秒为单位设置等待)或NOWAIT在语句中显式设置锁等待超时,在这种情况下,如果无法获取锁,语句将立即失败。 WAIT 0相当于NOWAIT。

参考:

https://jira.mariadb.org/browse/MDEV-11388

3、MariaDB Window Functions窗口函数分组取TOP N记录

窗口函数在MariaDB10.2版本里实现,其简化了复杂SQL的撰写,提高了可读性。

参考:

https://mariadb.com/kb/en/library/window-functions-overview/

Percona Server发布8.0 GA版本

2018年12月21日,Percona发布了Percona Server 8.0 GA版本。

在支持MySQL8.0社区的基础版上,Percona Server for MySQL 8.0版本中带来了许多新功能:

1、安全性和合规性

2、性能和可扩展性

3、可观察性和可用性

Percona Server for MySQL 8.0中将要被废用功能:

Percona Server for MySQL 8.0中删除的功能:

RocksDB发布V5.17.2版本

2018年10月24日,RocksDB发布V5.17.2版本。

RocksDB是Facebook在LevelDB基础上用C++写的高效内嵌式K/V存储引擎。相比LevelDB,RocksDB提供了Column-Family,TTL,Transaction,Merge等方面的支持。目前MyRocks,TiKV等底层的存储都是基于RocksDB来构建。

PostgreSQL发布11版本

2018年10月18日,PostgreSQL 11发布。

1、PostgreSQL 11的重大增强

2、PostgreSQL 插件动态

1)分布式插件citus发布 8.1

citus是PostgreSQL的一款sharding插件,目前国内苏宁、铁总、探探有较大量使用案例。

https://github.com/citusdata/citus

2)地理信息插件postgis发布2.5.1

PostGIS是专业的时空数据库插件,在测绘、航天、气象、地震、国土资源、地图等时空专业领域应用广泛。同时在互联网行业也得到了对GIS有性能、功能深度要求的客户青睐,比如共享出行、外卖等客户。

http://postgis.net/

3)时序插件timescale发布1.1.1

timescale是PostgreSQL的一款时序数据库插件,在IoT行业中有非常好的应用。github star数目前有5000多,是一个非常火爆的插件。

https://github.com/timescale/timescaledb

4)流计算插件 pipelinedb 正式插件化

Pipelinedb是PostgreSQL的一款流计算插件,使用这个创建可以对高速写入的数据进行实时根据定义的聚合规则进行聚合(支持概率计算),实时根据定义的规则触发事件(支持事件处理函数的自定义)。可用于IoT,监控,FEED实时计算等场景。

https://github.com/pipelinedb/pipelinedb

3、PostgreSQL衍生开源产品动态

1)agensgraph发布 2.0.0版本

agensgraph是兼容PostgreSQL、opencypher的专业图数据库,适合图式关系的管理。

https://github.com/bitnine-oss/agensgraph

2)gpdb发布5.15

gpdb是兼容PostgreSQL的mpp数据库,适合OLAP场景。近两年,gpdb一直在追赶PostgreSQL的社区版本,预计很快会追上10的PostgreSQL,在TP方面的性能也会得到显著提升。

https://github.com/greenplum-db/gpdb

3)antdb发布3.2

antdb是以Postgres-XC为基础开发的一款PostgreSQL sharding数据库,亚信主导开发,开源,目前主要服务于亚信自有客户。

https://github.com/ADBSQL/AntDB

4)迁移工具MTK发布52版本

MTK是EDB提供的可以将Oracle、PostgreSQL、MySQL、MSSQL、Sybase数据库迁移到PostgreSQL, PPAS的产品,迁移速度可以达到100万行/s以上。

https://github.com/digoal/blog/blob/master/201812/20181226_01.md

DB2发布 11.1.4.4版本

DB2最新发布Mod Pack 4 and Fix Pack 4,包含以下几方面的改动及增强:

1、性能

2、高可用

3、管理视图

4、应用开发方面

5、联邦功能

6、pureScale

NoSQL家族

Redis发布5.0.3版本

MongoDB升级更新MongoDB Mobile和MongoDB Stitch

2018年11月21日,MongoDB升级更新MongoDB Mobile和MongoDB Stitch,助力开发人员提升工作效率。

MongoDB 公司日前发布了多项新产品功能,旨在更好地帮助开发人员在世界各地管理数据。通过利用存储在移动设备和后台数据库的数据之间的实时、自动的同步特性,MongoDB Mobile通用版本助力开发人员构建更快捷、反应更迅速的应用程序。此前,这只能通过在移动应用内部安装一个可供选择或限定功能的数据库来实现。

MongoDB Mobile在为客户提供随处运行的自由度方面更进了一步。用户在iOS和安卓终端设备上可拥有MongoDB所有功能,将网络边界扩展到其物联网资产范畴。应用系统还可以使用MongoDB Stitch的软件开发包访问移动客户端或后台数据,帮助开发人员通过他们希望的任意方式查询移动终端数据和物联网数据,包括本地读写、本地JSON存储、索引和聚合。通过Stitch移动同步功能(现可提供beta版),用户可以自动对保存在本地的数据以及后台数据库的数据进行同步。

本期新秀:Cassandra发布3.11.3版本

2018年8月11日,Cassandra发布正式版3.11.3。

Apache Cassandra是一款开源分布式NoSQL数据库系统,使用了基于Google BigTable的数据模型,与面向行(row)的传统关系型数据库或键值存储key-value数据库不同,Cassandra使用的是宽列存储模型(Wide Column Stores)。与BigTable和其模仿者Hbase不同,数据并不存储在分布式文件系统如GFS或HDFS中,而是直接存于本地。

Cassandra的系统架构与Amazon DynamoDB类似,是基于一致性哈希的完全P2P架构,每行数据通过哈希来决定应该存在哪个或哪些节点中。集群没有master的概念,所有节点都是同样的角色,彻底避免了整个系统的单点问题导致的不稳定性,集群间的状态同步通过Gossip协议来进行P2P的通信。

3.11.3版本的一些bug fix和改进:

NewSQL家族

TiDB 发布2.1.2版本

2018 年 12 月 22 日,TiDB 发布 2.1.2 版,TiDB-Ansible 相应发布 2.1.2 版本。该版本在 2.1.1 版的基础上,对系统兼容性、稳定性做出了改进。

TiDB 是一款定位于在线事务处理/在线分析处理( HTAP: Hybrid Transactional/Analytical Processing)的融合型数据库产品。除了底层的 RocksDB 存储引擎之外,分布式SQL层、分布式KV存储引擎(TiKV)完全自主设计和研发。

TiDB 完全开源,兼容MySQL协议和语法,可以简单理解为一个可以无限水平扩展的MySQL,并且提供分布式事务、跨节点 JOIN、吞吐和存储容量水平扩展、故障自恢复、高可用等优异的特性;对业务没有任何侵入性,简化开发,利于维护和平滑迁移。

TiDB:

PD:

TiKV:

Tools:

1)TiDB-Lightning

2)TiDB-Binlog

EsgynDB发布R2.5版本

2018年12月22日,EsgynDB R2.5版本正式发布。

作为企业级产品,EsgynDB 2.5向前迈进了一大步,它拥有以下功能和改进:

CockroachDB发布2.1版本

2018年10月30日,CockroachDB正式发布2.1版本,其新增特性如下:

新增企业级特性:

新增SQL特性:

新增内核特性:

Admin UI增强:

时间序列

本期新秀:TimescaleDB发布1.0版本

10月底,TimescaleDB 1.0宣布正式推出,官方表示该版本已可用于生产环境,支持完整SQL和扩展。

TimescaleDB是基于PostgreSQL数据库开发的一款时序数据库,以插件化的形式打包提供,随着PostgreSQL的版本升级而升级,不会因为另立分支带来麻烦。

TimescaleDB架构:

数据自动按时间和空间分片(chunk)

更新亮点:

https://github.com/timescale/timescaledb/releases/tag/1.0.0

大数据生态圈

Hadoop发布2.9.2版本

2018年11月中旬,Hadoop在2.9分支上发布了新的2.9.2版本,该版本进行了204个大大小小的变更,主要变更如下:

Greenplum 发布5.15版本

Greenplum最新的5.15版本中发布了流式数据加载工具。

该版本中的Greenplum Streem Server组件已经集成了Kafka流式加载功能,并通过了Confluent官方的集成认证,其支持的主要功能如下:

国产数据库概览

K-DB发布数据库一体机版

2018年11月7日,K-DB发布了数据库一体机版。该版本更新情况如下:

Oceanbase迁移服务发布1.0版本

1月4日,Oceanbase 正式发布OMS迁移服务1.0版本。

以下内容包含 Oceanbase 迁移服务的重要特性和功能:

SequoiaDB发布3.0.1新版本

1、架构

1)完整计算存储分离架构,兼容MySQL协议、语法

计算存储分离体系以松耦合的方式将计算与存储层分别部署,通过标准接口或插件对各个模块和组件进行无缝替换,在计算层与存储层均可实现自由的弹性伸缩。

SequoiaDB巨杉数据库“计算-存储分离”架构详细示意

用户可以根据自身业务特征选择面向交易的SQL解析器(例如MySQL或PGSQL)或面向统计分析的执行引擎(例如SparkSQL)。众所周知,使用不同的SQL优化与执行方式,数据库的访问性能可能会存在上千上万倍的差距。计算存储分离的核心思想便是在数据存储层面进行一体化存储,在计算层面则利用每种执行引擎的特点针对不同业务场景进行选择和优化,用户可以在存储层进行逻辑与物理的隔离,将面向高频交易的前端业务与面向高吞吐量的统计分析使用不同的硬件进行存储,确保在多类型数据访问时互不干扰,以真正达到生产环境可用的多租户与HTAP能力。

2、其他更新信息

1)接口变更:

2)主要特性:

云数据库

本期新秀:腾讯发布数据库CynosDB,开启公测

1、News

1)腾讯云数据库MySQL2018年重大更新:

2)腾讯云数据库MongoDB2018年重大更新:

3)腾讯云数据库Redis/CKV+2018年重大更新:

4)腾讯云数据库CTSDB2018年重大更新:

2、Redis 4.0集群版商业化上线

2018年10月,腾讯云数据库Redis 4.0集群版完成邀测、公测、商业化三个迭代,在广州、上海、北京正式全量商业化上线。

产品特性:

使用场景:

官网文档:

https://cloud.tencent.com/document/product/239/18336

3、腾讯自研数据库CynosDB发布,开启公测

2018年11月22日,腾讯云召开新一代自研数据库CynosDB发布会,业界第一款全面兼容市面上两大最主流的开源数据库MySQL和PostgreSQL的高性能企业级分布式云数据库。

本期新秀:京东云DRDS发布1.0版本

12月24日,京东云分布式关系型数据库DRDS正式发布1.0版本。

DRDS是京东云精心自研的数据库中间件产品,获得了2018年 ”可信云技术创新奖”。DRDS可实现海量数据下的自动分库分表,具有高性能,分布式,弹性升级,兼容MySQL等优点,适用于高并发、大规模数据的在线交易, 历史 数据查询,自动数据分片等业务场景,历经多次618,双十一的考验,已经在京东集团内大规模使用。

京东云DRDS产品有以下主要特性

1)自动分库分表

通过简单的定义即可自动实现分库分表,将数据实际存放在多个MySQL实例的数据库中,但呈现给应用程序的依旧是一张表,对业务透明,应用程序几乎无需改动,实现了对数据库存储和处理能力的水平扩展。

2)分布式架构

基于分布式架构的集群方案,多个对等节点同时对外提供服务,不但可有效规避服务的单点故障,而且更加容易扩展。

3)超强性能

具有极高的处理能力,双节点即可支持数万QPS,满足用户超大规模处理能力的需求。

4)兼容MySQL

兼容绝大部分MySQL语法,包括MySQL语法、数据类型、索引、常用函数、排序、关联等DDL,DML语句,使用成本低。

参考链接:

https://www.jdcloud.com/cn/products/drds

RadonDB发布1.0.3版本

2018年12月26日,MyNewSQL领域的RadonDB云数据库发布1.0.3版本。

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势,为社区的技术发展提供一个统一的发声平台。为此,我们策划了RDBMS、NoSQL、NewSQL、时间序列、大数据生态圈、国产数据库、云数据库等几个版块。

我们不以商业宣传为目的,不接受任何商业广告宣传,严格审查信息源的可信度和准确性,力争为大家提供一个纯净的技术学习环境,欢迎大家监督指正。

至于Newsletter发布的周期,目前计划是每三个月左右会做一次跟进, 下期计划时间是2019年4月14日~4月25日, 如果有相关的信息提供请发送至邮箱:newsletter@dbaplus.cn

感谢名单

最后要感谢那些提供宝贵信息和建议的专家朋友,排名不分先后。

往期回顾:

↓↓别忘了点这里下载 2019年1月 完整版Newsletter 哦~

 
更多>最新的资讯
推荐图文
推荐教育
点击排行