睿帆科技数仓解决方案,荣获2020中国信通会大数据最佳创新方案奖

杭州热线2020-07-30

2020年7月30日,“第四届中国信息通信大数据大会”在京隆重召开,来自大数据行业的主管部委、院士专家以及来自华为、中国移动、中国电信、中国联通、中兴等国内知名企业高管共聚一堂,就通信运营商大数据方向、5G及AI应用创新和未来发展趋势带来精彩分享。作为“掌握PB级核心处理技术”的大数据产品及解决方案供应商的广州睿帆科技有限公司,由大数据科学家李求实博士代表出席了该峰会。会上,睿帆科技的高性能数据仓库解决方案荣获最佳创新方案奖。

在会后采访中,李求实博士向记者讲述了睿帆科技高性能数据仓库解决方案的独到之处,以及相比于其他竞品的优势。

他提到,通信运营商实时采集信令数据、详单数据、告警数据、故障数据、网络资源数据等,每天的新增数据早已超过PB级。海量的数据意味着更高标准的数据分析业务,对于离线分析的时效、实时与近实时的即席实时交互分析,提出了更高的要求。

早些年在传统离线数仓阶段,通信运营商使用 Hive 作为大数据分析的主要工具,对 TB 至 PB 级的数据进行分析,但存在着以下的问题:

1. 时效性低

对于运营商业务来说,实时分析查询日志、告警次数,告警时间等数据,分析结果的价值取决于时效性。核心运维需求场景下,基于 Hive 的离线分析仅能满足 T+1 的时效,对于实时故障分析的需求越来越强烈。

2. 易用性低

基于 Hive 离线数据分析平台,对于产品、运营、市场人员具有较高的技术门槛,无法满足自助的实时交互式分析需求;开发在上报和提取分析数据时,无法实时获取和验证结果,查询和分析日志经常需要几个小时。

3. 效率低

不停的执行交互式查询,所以对实时性要求高,所以效率低。

在运营商做业务的数据分析模型时,需通过探索性数据分析去实时执行交互式查询,其对海量数据的实时性交互查询速度要求高。通过Hive构建的业务数据分析模型,响应时间长,分析结果不及时,严重影响和拖慢了进度。

为了应对以上问题,提升流程效率,提高数据分析处理的时效性和易用性,数据的即席分析和数据可视化能力支撑需要优化和提升,让问题秒级响应,分析更深入,睿帆科技基于其自主研发的数据库产品——分布式分析型数据库雪球DB,完成了高可用、低延迟的高性能数据仓库解决方案,正好可以很好的解决这些问题。通过此方案可针对上千个节点的集群,日均新增PB 级以上的数据量,实现秒级的实时数据分析、提取、监控数据基础服务,大大提高了大数据分析与处理的工作效率。

​

同时,高性能数据仓库解决方案适用于PB级以上超大规模数据的实时写入、实时读取的OLAP 应用场景,查询速度较Presto、SparkSQL提升3-6倍,较Hive提升30-100倍。对比 Presto、SparkSQL、Hive等数据库,其具备高可靠的分布式MPP集群架构,使其可以多切片写入,完成线性扩展等。

此外,在OLAP场景中读多于写且经常存在多列的大宽表,列数可以高达数百甚至数千列。“为此,我们特地采用列式存储和向量化执行的方式来解决,极大的减低了IO 的消耗,加速了查询,也缩短了计算耗时。这让我们的技术优势更为突出。”李求实博士表示。

一直以来,硬核的技术以及贴合用户需求的创新性解决方案是睿帆科技的立身之本。此次睿帆科技高性能数据仓库解决方案荣获2020中国信息通信大数据最佳创新方案奖,标志着通信运营商行业对于睿帆科技的更高认可。未来,睿帆科技将再接再厉继续深耕通信运营商行业的同时,把更多优秀的产品解决方案带到更多的行业中,助力更多的企业实现高效、低成本的数字化转型。

免责声明

本文登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如有稿件内容、版权等问题请联系QQ:211544606

国盛、阿玛利瓷砖:紧跟装修主趋势,持续深

作为广东知名品牌的“广东阿玛利建材有限公司(以下简称国盛.阿玛利瓷砖)”,未来,将紧跟

“新百奇浓享奇遇王国”亮相零食王国,以沉

11月7日至8日,格力高旗下经典巧克力饼干品牌Pocky百奇与零食王国携手打造“新百奇浓享奇遇

全球研发背书,中国本土深耕:格力高的百年

伴随全球人口长寿化趋势与健康意识的提升,食品行业的“健康化”转型已成为不可逆转的浪潮

把银行“搬”进工地 让工资卡“送”到手边

海北讯(通讯员 吝华峰 冯三宝)为切实解决一线劳务工人办卡远、办卡难问题,保障工资按时

从养生到疗愈!2027郑州疗愈产业博览会,解

不再只做基础按摩、保健理疗,越来越多汤泉、SPA、民宿、康养中心,开始布局芳香、音波、睡

融通社区康养,焕新民生消费|晟旺科技・博

融通社区康养,焕新民生消费|晟旺科技・博脉通受邀亮相2026苏州新消费产业创新大会 融通全

融通社区康养,焕新民生消费|晟旺科技・博

融通社区康养,焕新民生消费|晟旺科技・博脉通受邀亮相2026苏州新消费产业创新大会 融通全

安居水站 客商链 桶装水水站送水 两代人送

北京二十九年的那声敲门:一桶水从执照到餐桌,安居水站做对了什么早上七点四十,东城区一

安居水站 客商链 桶装水水站送水 两代人送

北京二十九年的那声敲门:一桶水从执照到餐桌,安居水站做对了什么早上七点四十,东城区一

智造鲜食米饭守护热饭自由 食侠记打造家庭

全产业链自控、无防腐剂锁鲜,从日常餐桌到应急保障的民生食品新选择 近年来,由于极端