基于Hadoop生态构建大数据基础平台,为海量数据的存储和分析提供基础。
一个大数据平台满足融合数仓、离线处理、实时流计算、实时检索、交互查询和关系分析多种数据处理要求。
大监督平台采用省厅集中部署和接入的总体架构,统一平台、统一部署、统一接入、统一更新,便于管理和安全管控。
系统采用Docker+SpringCloud微服务架构,各个服务可以独立部署和运行扩展,如有特殊的地市业务系统需要独立部署,也可支持往下进行扩展。
系统化多维数据接入、呈现。支持对多维数据系统化接入、处理、配置、可视化组件对接机制,将多维数据与丰富的可视化组件整合发挥主题分析与呈现作用。
基于Spark ML Pipelines实现机器学习算法和模型训练,训练有效的风险趋势分析模型,提高对基础数据、环境数据、法问题数据的发展动态进行有效预测和趋势分析,形成预测预防分析应用。
基于Flink流式数据流执行引擎,对数据进行实时采集、实时分析并给出结果,支持多种数据源、处理速度快、吞吐量高。
Copyright © 2014 - 2022 BAOJU. All Rights Reserved. 宝巨公司 版权所有 粤ICP备14056551号