案例精选

case
精选优质数据可视化案例展示
首页 > 案例精选 > 正文内容

基于分布式关系型数据库,实现轻松应对百亿级数据分析场景解决方案

案例精选4935年前 (2019-08-16)大数据

MyCat是什么?

从定义和分类来看,它是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信,其核心功能是分表分库读写分离,即将一个大表水平分割为N个小表,存储在后端MySQL服务器里或者其他数据库里。也可以指定多个写库多个读库。

MyCat发展到目前的版本,已经不是一个单纯的MySQL代理了,它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库,也支持MongoDB这种新型NoSQL方式的存储,未来还会支持更多类型的存储。而在最终用户看来,无论是那种存储方式,在MyCat里,都是一个传统的数据库表,支持标准的SQL语句进行数据的操作,这样一来,对前端业务系统来说,可以大幅降低开发难度,提升开发速度。

MyCat可以干什么?

单纯的读写分离,此时配置最为简单,支持读写分离,主从切换

分表分库,对于超过 1000 万的表进行分片,最大支持 1000 亿的单表分片

多租户应用,每个应用一个库,但应用程序只连接 Mycat,从而不改造程序本身,实现多租户化

报表系统,借助于 Mycat 的分表能力,处理大规模报表的统计

替代 Hbase,分析大数据

作为海量数据实时查询的一种简单有效方案,比如 100 亿条频繁查询的记录需要在 3 秒内查询出来结果

MyCat分布式架构设计:

                                                                                                                                           百亿级数据横向分片存储于数据分析架构

整体思路:

(1)利用mycat的分库分表规则,将百亿级数据横向分摊到不同的节点上;

(2)每个节点上实现一主多备,实现数据备份与读写分离;

(3)所有的写操作首先会在mycat中根据规则计算,路由到指定的节点上写操作;

(4)聚合查询mycat会分摊到各个节点上去计算之后,再基于节点的结果进行汇总处理;

(5)利用NBI大数据可视化分析工具与Mycat无缝连接;

(6)通过NBI大数据可视化分析工具提供的拖拽式分析,可以快速完成各类分析报告和百亿级数据,秒级响应的用户体验。

扫描二维码推送至手机访问。

版权声明:本文由策意data发布,如需转载请注明出处。

转载请注明出处http://dsj.ceyicm.cn/reed/27.html

分享给朋友:

相关文章

企业数字化转型遇到的困境,数据化运营如何解决

企业数字化转型遇到的困境,数据化运营如何解决

公司决策者意识到成功的数字体验越来越重要。调查受访者表示,这种成功的衡量标准是,用户体验和满意度提高(53%),市场敏捷性提高(49%),收入和盈利能力增加(49%),员工生产力提高(49%),以及更...

基于关系型数据库和ES搜索引擎,实现多源百亿级数据的大数据分析方案

基于关系型数据库和ES搜索引擎,实现多源百亿级数据的大数据分析方案

背景:随着公司各项业务的快速发展与扩张,服务器和各种应用系统随之而增加,同时对应用系统、服务器的稳定性,可持续性提出了更高的要求,公司希望搭建一套综合的分析与监控系统,为各个部分提供决策支持。需要解决...

策意data大数据可视化分析效果图展示

策意data大数据可视化分析效果图展示

策意data大数据可视化分析效果图展示离网分析用户流失情况分析故障报修服务能力用户画像生产能耗分析水质分析高校师资情况分析设备监控与生命周期监测策意data企业数据分析专家,释放数据价值,助力构建智慧...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。
每一次合作都多一位朋友

体验账号:administrator 密码:administrator

  • 7X12小时
    7X12小时

    专家1V1服务

  • 业务保障
    业务保障

    扎实数据根基

  • 合作伙伴
    合作伙伴

    NBIDataVis

  • 强大交付
    强大交付

    实现客户价值