天发娱乐 > 解决方案 > 金融IT核心系统解决方案

离线数据分析业务平台

本平台是基于大数据平台一套构建离线数据仓库与分析系统的解决方案,以开源框架airflow作为调度引擎,支持多种执行引擎构建大数据仓库。同时支持SparkML、sklearn、TF进行相关的机器学习和深度学习。


blob.png

 

整个过程分为三部分:

l  数据加载

将结构化数据和非结构化数据加载到ODS层。ODS是贴源层,维持和数据源保持一致;

l  数据加工

在ODS的基础上进行数据的汇总和宽表加工等ETL操作;

l  数据探索

运用多种分析工具进行数据的探索,最后利用机器学习和深度学习算法形成成熟的解决方案;

 

方案特色:

Ø  支持多种类型数据接入,如结构化RMDB、半结构化json、非结构化日志;

Ø  支持自定义执行引擎,如hql、impala、sparksql;

Ø  支持配置化调度作业,自动化部署。根据模版配置生成DAG调度作业,一键部署;

Ø  支持调度作业日常监控、错误预警和报表生成;

Ø  支持多种分析工具接入,如sparkML、Sklearn、Tensorflow等。


小隔断.jpg

星星.jpg


地址:上海市徐汇区钦州北路1198号智汇园82号楼7层、8层、19层

邮编:200235

电话:021-64703688



使用条款  |   隐私条约    版权所有 (c)     天发娱乐_天发国际娱乐_天发娱乐官网欢迎您    苏ICP备13052318号    苏网文[2016]5223-122号