大数据集群部署最短需要耗时多久?
数据模型开发能有多简单?
上亿级别数据检索能有多快?
在最近的一次重量级的测评中,深信服太衍大数据用真正实力给出了全新答案!
12月8日,深信服太衍大数据智能平台顺利通过中国信息通信研究院第十三批“大数据产品能力评测”评审会。本次分布式流处理平台测评,深信服太衍在包括基本功能、兼容能力、管理能力、容错能力、扩展性、安全性等六类共40项的严格测评指标中,均以优秀稳定的表现获得了专家评委的一致认可。
信通院“大数据产品能力评测”已经举办了7年,评审会由来自中国信通院、北京航空航天大学、中央财经大学等单位及高校的一线专家组成,是大数据领域权威的第三方评测。目前已覆盖支撑数据采存算管用全生命周期流程的技术产品。
在流处理的分析场景中,有一项关键指标,即“严格一次”(Exactly-once),这代表了跨越整个应用程序所能提供的数据保证。当出现由于网络、计算机等原因计算失败而导致数据丢失时,要求流处理引擎能够保证被所有运算符“严格一次”进行处理,既要保证每条数据都被计算到,也要保证数据不会重复计算。其业务重要性以及技术实现难度,成为了流式场景下产品能力衡量指标。
在测试中深信服太衍针对极高的数据吞吐、执行任务时集群扩缩容、作业意外终止、数据反压等多种极端测试场景下,均保证了数据严格执行一次,260万条的实时数据的分析结果与预期完全一致,一条数据不多,一条数据不少!
能够顺利通过信通院测试,背后凝聚的是深信服太衍大数据对深入实际场景,对用户诉求的探索与思考。
01
省心点,再省心点——
大数据集群部署时间缩短10倍
部署过程中最普遍的平台安装场景,深信服太衍大数据平台部署效率可提升十倍以上。在页面上配置5-20分钟,后台自动化最多2小时即可完成几十节点大数据集群的部署工作。
以某部委的大数据集群建设为例,55个节点的大数据平台如果使用自动化脚本,也需要近2天(40小时)完成部署以及参数调优。使用深信服安装部署向导,5个小时即完成平台上线,大量场景化的参数调优整合在图形化操作向导中,极大降低了项目交付时间。
特别是对于POC场景,每次验证功能都需要安装部署一套大数据平台,每次都需要投入交付甚至研发资源2天保障平台部署,通过整合深信服太衍平台有效缩短30%项目验证周期,助力合作伙伴更聚焦于数据价值探索。
02
简单点,再简单点——
降低门槛,模型开发效率提升4倍以上
30天的模型开发工作通过深信服太衍的低代码开发工具可以缩短至7天,提升四倍效率!低代码、可视化开发画布以及内置分析模板,不再需要开发SQL或者调度脚本,通过鼠标拖拽即可实现关联分析,有效降低用户数据探索门槛。
以某金融用户为例,数据时效性要求转向流式计算引擎,而流式计算引擎上手门槛比较高。使用深信服大数据平台,只需理解业务即可通过页面配置与SQL完成实时模型告警分析,无需关注技术实现,原本1个业务专家搭配4个开发的分析模式,现在可以全部由数据分析师完成,极大降低了人员的能力要求。
03
快一点,再快一点——
1.1亿条数据查询仅需0.5秒
深信服太衍大数据平台在3节点标准配置下,对1.1亿条传感器数据聚合分析,亚秒级即可得出计算结果,同样的计算逻辑比关系型数据库快500倍。
以煤矿的实际场景为例,一个中型煤矿5万余种传感器,每个传感器每分钟产生1条数据记录,每天共产生7200万条数据。传统数据库在面临海量数据分析时查询效率低,Oracle数据库对1.1亿条数据进行分析聚合需要花费256秒,页面卡顿。同样的数据使用深信服太衍大数据平台分析只需4.4秒,速度提升近60倍,在此基础上还可以通过预聚合加速技术,将查询速度提升至0.5秒,从而实现“亿级数据、亚秒级响应”。
计算性能极大提升的背后是深信服太衍自研的高性能融合数仓引擎的支撑,根据不同的场景选择最优的执行引擎,以极简的架构应对在实际场景中多样的分析需求,不管是面对明细查询还是聚合分析,都能用最短的时间获得分析结果。
目前,深信服太衍大数据平台已经广泛应用于包括金融、能源、政府、医疗等诸多领域中。以金融行业为例,因为金融行业对大数据、流计算引擎等新技术的应用更深,依赖更大、建设投入也更高。在金融领域获得的认可,也为深信服太衍大数据平台打上了“金融级”标签。
深信服太衍大数据平台,一体化交付的平台让数据探索更省心、更高效、更易用,低代码的开发工具,点点鼠标即可探索海量数据的价值。深信服太衍一直追求精进,每一次产品迭代都包含了对用户诉求的深入思考,以助力用户与合作伙伴更快速、更轻松地实现数字化转型。