为什么是TDSQL?
在双11的火热声浪中,一则来自金融企业的重要新闻显然被忽视了。
11月2日,一家中等规模的券商——东吴证券宣布,发布中国金融行业首个全面自主创新的核心交易系统。
这似乎是对前一段时间被讨论的,证券行业是否面临“卡脖子”问题的一次很好的回应。
我称之为“重要新闻”,自然是有原因的。因为新闻稿虽然简短,但有三个定语非常值得品味:
——中国证券行业首个全面自主创新核心交易系统;
——率先实现了全国产技术支撑核心交易系统全栈上线、全业务覆盖和全客户迁移;
——中国金融行业首个由国产数据库全量承载券商全量核心交易的应用案例;
其中,对于腾讯云数据库TDSQL来说,最重要的是“全量”两个字。
这是因为,此前虽然TDSQL已助力超过30家金融机构完成核心系统数据库替换,位居行业第一,但证券行业“全量”可能还是首次。
全量,就是全面押上、充分信赖、不留后路。
那么,为什么是TDSQL?
——笔者按
01
要交保证金的“恋爱”
东吴证券用上全国产系统+全量国产数据库的消息,显示出中国企业在国产替代道路上的进步,超出我们的想象,以至于我们有点熟视无睹了。
在非常长的一段时间里,IBM、Oracle和EMC(存储企业)所提供的小型机、数据库、磁盘阵列,就是金融企业根本无须考虑的默认选择。
尽管它们非常非常的昂贵,甚至贵的没有道理,依然被一众金融机构追捧。
贵到什么程度呢?我在csdn上翻出一篇老帖子,里面对用2台小型机+EMC存储+oracle软件许可证的价格算了一笔账,是860万元(2015年价格)。
而且这里面的许可证只能允许你用20个CPU,相当于每个CPU的价格是12万元。
而如果换用当时的x86服务器+开源数据库呢?一共要投入12台数据库服务器和4台应用服务器,全部按顶配算,一共是180万元。
860:180,对比一下你就会发现,其实用x86机器和小型机,单纯从硬件、存储的角度来算,价格差的并不太大,真正贵的就是oracle数据库的应用授权,动辄就是几百万、几千万。
而且这还是个开始,如果在使用中出现问题,你要请oracle的技术人员来解决、维护,这也很贵;哪怕将来你要撤出,特别是你要提前撤,不好意思,还要交一笔分手费。
而且,这个分手费还是预存的……对,没听错,你用人家的数据库,不但你不是“上帝”,还要为可能的提前“分手”缴纳高昂的保证金。
这就好比你买了一辆车,硬件不贵,但车机系统很贵,而且你还要预缴3年的“车机使用费”,如果你提前更换车机系统,之前交的费就扣除不退了。
这种听起来天方夜谭一样的事情,就天天发生在中国的金融机构、大型企业里。
而且,这不是5年、10年前的事儿,是当下仍然在发生的事情——2020年,据数据统计,以Oracle为代表的国外厂商仍占据我国数据库市场80%以上份额,国内厂商仅占20%。
但是,注意这个“但是”,从2020年到2023年的3年里,国内数据库厂商已经从Oracle等企业里“夺回”了27.4%的市场份额,加上之前的20%,使得中国数据库市场的占有率基本成了5:5。
看到这个趋势,我们可以相信,再过3年,这个比例可能变成8:2;再过5-8年,中国数据库就可能“全量替换”国外的高端数据库,特别是在金融这种oracle的传统重点行业里。
这是很多企业共同努力的结果,但我们今天只剖析一个企业的产品,也就是腾讯的TDSQL分布式数据库。
也不是作者偏爱腾讯,只是因为,腾讯的TDSQL是目前中国金融行业里,替换案例最多、成功率最高、影响力最大的,已经替30家国内的金融机构替换或部分替换了核心数据库。
02
TDSQL的前世今生
就是那个做了QQ、微信还有一大堆手游的腾讯,就是那个你每天都要打交道的腾讯。
听起来的感觉,就像是一个做跑车的企业,做了一台火星车,虽然都是各自领域里的顶级产品,但完全不是一个技术体系的。
没错,这也是中国特色,现在中国产业互联网里面能打的,除了华为之外,大部分都是做toC业务出身的,比如腾讯、阿里、百度。
相反那些20年前就耕耘企业级市场的,现在依旧话语权不大。
这个现象,其实也不是中国独有。比如美国现在排名靠前的产业互联网技术企业中,很能打的亚马逊、谷歌,也都是toC起家的。
要解释这个现象,我觉得有三个原因:
1.舍得投入。这些科技公司有足够的资源投入产业互联网技术的研发。当然,这不是一个主要原因,因为那些toB的企业,更有钱;
2.有场景、有痛点。腾讯这些企业,最不缺的就是应用各种先进产业互联网技术的场景和痛点,它们构成了很重要的成功要素;
3.规模带来的成本诉求:前述的小型机、企业级数据库等,它们在设计之初基本都没有考虑到要应对10亿量级的网民的这个问题,它们的优化方向是以高可靠性为诉求的,而不是以超高并发为主要诉求的。
所以,如果中国这个网民量级在全球独一档的国家的主流互联网平台,还用IOE来满足高并发需求的话,不是做不到,而是成本会高到吃掉所有的利润。
所以,说白了还是被降本增效给逼出来的。
腾讯这样的企业,对数据库的需求,简单说就是,对于绝对的稳定性要求没有那么高,但对于应对高并发、海量吞吐的要求很高,这是其业务特性决定的。
于是,腾讯开始了自研数据库的道路,而据考证,最早的自研数据库,应用在腾讯Q币的计费系统中,而最早的版本采用了开源的MYSQL数据库这个技术栈。
当时,这个计费系统有时会宕机,主要的原因就是云计算还没有普及,而当时的腾讯,对高性能吞吐、分布式水平扩展、分布式KV存储等等也没有太多的技术积累。
这也代表了腾讯这样的从C端业务起家的中国互联网企业的典型场景——早期技术实力不够雄厚、代码质量不高、牛人很少,但场景丰富、用户数量惊人,因此对系统的弹性和成本十分在意。
这也决定了,腾讯自研数据库,开局就直奔分布式而去,因为分布式系统的特点是小错时常有,但韧性好、成本低。而且弥补错误的成本也较低、社会影响也比较小。在这种情况下,互联网企业可以用便宜的X86服务器,放心的使用分布式系统。
这样发展了很多年,腾讯突然想到了一个问题——既然这数据库我用了这么多年,打磨的也算是固若金汤了,我干嘛不拿去卖给那些被“IOE税”困扰的企业啊?
可是出去一打听,真的没有金融企业敢用——金融企业素来严谨,要引入一个新技术,首先就是要靠案例说话。
可腾讯总不能拿着管理Q币的数据库去说服管理人民币的数据库的使用者吧,就这样转了一圈,腾讯眼前一亮——咱们不是有个微众银行么?
可是去了微众银行,最开始的接触并不太顺利。
一个腾讯数据库的早期开发员工告诉笔者,当时双方争论的是,微众银行坚持既然采用了分布式数据库,就要把服务器分布到足够多的小集群里,而TDSQL的研发人员则认为,分布是可以的,但没有必要拆分那么多的小集群。
这引起了腾讯TDSQL开发人员的注意,他们仔细研究了微众银行的需求后发现——不是我们的TDSQL不给力,也不是我们技术上做不到,而是我们根本忽视了用户的需求,我们没有从内心认同金融机构对于可靠性的极度追求,反而试图从纯技术的角度来说服对方。
于是他们调整了思路,按照微众银行的要求进行了调整,最后争取到了这个项目。
“这也是我们toB业务在走向广阔市场前上的重要一课,那就是用户需求导向”,这位老腾讯告诉笔者。
然而,随着腾讯TDSQL走向更广阔的市场,他们意识到,应该增强更多的品牌背书,也应该从更具有广泛说服力的第三方测试中,测试一下TDSQL的公允性能。
所以这个结果论证出来后,TDSQL就决定,去通关国际事务处理性能委员会(TPC)的TPC-C测试。
简单说,这个机构就是评价数据库在联网状态下处理能力的终极机构,而腾讯考试的结果,通俗一点说就是——让14亿中国人中的六成人,从早上8点起开始,以每分钟下一个订单的速度,一直下单持续到17点下班,而且中间还经历了若干次两次随机物理机器断电和一次云服务的故障模拟,最终性能波动率为0.2%,仅为要求的十分之一——这也说明了,腾讯自研的分布式架构的TDSQL数据库,在稳定性上甚至超过了基于集中式系统制定的测试基准,这成为分布式云数据库发展史上的一个里程碑,也是腾讯TDSQL至今保持的一项世界纪录。
03
全量的份量
从最开始的在张家港农商行的核心系统中得到一次难能可贵的应用机会开始,2020年后的TDSQL凭借一个个的扎实案例,在金融行业里迅速推广。
例如,2022年5月,中国银行的亿级数据,一次性下移至依托腾讯云等国产厂商核心技术自主打造的分布式平台上。这是中国银行首次实现通过基于自主可控基础软硬件构建的技术平台承载核心业务流量。
此前的2021年,农业银行也引入了TDSQL作为核心系统数据库,所涉及的个人负债、信用卡、对公存款等多个核心模块已于2022年上半年投产,所承载的并行验证环境每日交易量约5.8亿笔,峰值TPS约11000。
在证券领域,2022年3月7日,腾讯云数据库TDSQL已在国信证券业务系统中成功落地,新系统承载了国信证券的OTC交易柜台系统、反洗钱系统和HR人力管理系统等。上线运行以来,承载了单日亿元级别的交易规模,尤其在开市、收盘等流量高峰期,依旧能保障数据平稳运行。
那么,在这样一些辉煌的记录产生后,我们为什么还要着重解析东吴证券这个案例呢?
在笔者看来,有这样几个原因。
首先,是“全量替换”的含金量。
在TDSQL此前服务的证券案例中,绝大多数的企业都是若干个子系统中逐步尝试TDSQL。
当然,东吴证券也是逐步接纳TDSQL,也有一个小步快跑的过程,但终究“转正”很快,而且为腾讯输出了一个“全量替换”的案例,这是国产数据库的一次重大胜利。
其次,或者说更重要的是,腾讯TDSQL证明了,分布式系统的优势不仅仅是成本上的、自主替换或说自主可控上的,而是其架构有助于用户的创新需求,这也是一个新的价值点。
东吴证券信息技术总部副总经理庄颉告诉笔者,此前的系统限制了东吴证券的创新,因为“旧的系统垂直扩展还可以,横向拓展的能力较差“。
庄颉非常看好分布式数据库的潜力,他明确的提出——使用分布式(数据库),是目前证券行业发展的一个必然的趋势,这个其实是跟证券公司的业务形态是有关系的,多元化发展是必然的趋势。他说:“一套系统打天下的时代过去了,分布式系统可拆分的特性能够快速满足创新的需求,这种优势不仅仅是技术上的,还有架构上的潜力”。
最后,也是很重要的是,这次腾讯是和东吴证券的技术供应商——顶点软件一起合作的,这意味腾讯云在服务客户的能力上日益多元化,更为适应不同行业的发展规律,从“包打天下”变成了“伙伴成功”,体现了腾讯云toB的商业能力的成熟。
曾经有很多早期的腾讯合作伙伴告诉笔者,腾讯云的商务风格早期比较强势,喜欢“包办”,但逐渐适应了与多个主体合作,这为腾讯推开不同行业的大门,无意中获益甚多。
而从结果导向来看,基于腾讯云数据库与系统开发商顶点软件的协同优化,东吴证券新系统整体并发处理能力相较之前提升10倍,单节点业务并发量提升到至少每秒10万笔,交易平均延迟也从原有10毫秒提升至1毫秒以内,并能够支持千万级交易委托。系统上线后,数据库负载在高峰期保持在 10%以下,能够有效满足东吴证券未来三到五年的业务增长需求。
这或许也是腾讯TDSQL的一种进步,哪怕它掩映在合作伙伴的光环下。
结语:为什么是腾讯TDSQL?
“没有在金融行业历练过的数据库,不算合格的数据库。”
这句在数据库行业流行的名言,背后是一个公认的行业共识:金融行业庞大的数据量,对数据库稳定性、一致性、可用性的高要求,是考验一款数据库是否合格的标准。
但腾讯TDSQL的成功,有金融行业实践打磨的部分,但应该从更大的视角来看:
首先,这就是一个属于自主创新者的时代,腾讯顺应了时代的潮流,也因此吃到了时代的红利。
特别是近年来,自主可控已经成为科技领域最重要、最紧迫的战略。数据库作为核心基础软件之一,在过去几十年中,却被国外传统数据库长期垄断,这就带来了极高的技术成本和潜在的企业安全风险。
在这种背景下,国产化已经上升到国家战略层面,国产创新已经上升到了安全层面,而腾讯提前布局,终于有所收获。而且,这还仅仅是一个开始。
其次,从架构上,TDSQL和背后的腾讯云,从真实的业务需求出发,从无到有、筚路蓝缕的开创,逐步创造了基于云原生的开放、多元、创新的格局,从技术上解放了生产力,突破了传统集中式技术架构难以接耦的难题,在云时代的高并发、大数据、融合计算等领域场景下,为中国千行百业打破边界和局限进行企业业务创新,贡献了自己的力量。
最后,随着大模型时代的到来,云计算成为AI赋能的决定性通路和载体,随着ABC合流(AI+Big Data+Cloud)的真正到来,分布式数据库也将和AI能力充分结合创新,从而开创一个前所未有的纪元,而腾讯将在这个纪元中,为中国成为世界级数字技术的创新策源地,贡献自己的力量。
原文标题 : 为什么是TDSQL?
最新活动更多
-
11月22日立即报名>> 【线下论坛】华邦电子与莱迪思联合技术论坛
-
精彩回顾立即查看>> 2024 智能家居出海论坛
-
精彩回顾立即查看>> 【线下论坛】华邦电子与恩智浦联合技术论坛
-
精彩回顾立即查看>> 泰科电子线上工博会,沉浸式VR观展体验
-
精彩回顾立即查看>> 2024视觉感知技术在半导体与印刷包装创新大会
-
精彩回顾立即查看>> 2024 TI 汽车电子创新技术方案线下研讨会
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论