数据管理平台 丨 “秒”接数据源

背景

随着互联网信贷行业的监管日渐规范、严格，各互联网信贷公司急需提升自身的风控能力，识别出更加优质的客户。而风控的核心基础则是数据，想要增强风控系统的识别能力，就需要大量的基础数据，因此需要接入更多的数据渠道。

为了响应这种变化，之前周而复始的单一定制接入流程已经无法满足业务快速发展的诸多需求，搭建一套通用、快速、可配置化的数据渠道接入系统势在必行，于是数据管理平台应运而生了。

心路历程

在介绍平台之前，先来了解下以往的对接模式以及该模式下的各种痛点，为数据管理平台开发项目的启动寻找突破口。

以往技术人员在实现业务逻辑之外很大一部分工作量是在对接接口，特别是在目前微服务框架背景下，需求对接口的依赖无处不在。在对接内部、跨团队、甚至第三方接口时总会遇到诸多的问题，如难以把控各个细节、对方不配合、重复的对接工作等。在日复一日的对接过程中，我们梳理出了以下几个优化点：

文档，对接首要条件离不开文档，作为技术开发大家都害怕困于文档的编写之中，但是文档却真实地反映了服务提供方是否靠谱。不规范、不清晰、甚至和API输入输出不一致的文档，不仅会让人心生不满，同时也影响了开发的进度，额外增加返工的时间。同理心，我们也一直强调对外的文档一定要认真仔细，给人以良好的第一印象，同时助力高效对接。

接入方式，数据无外乎如下几种接入方式，如正向API调用、反向数据推送等，报文格式多样化(xml、json等)、加解密以及数据映射。

重复做同样的对接工作，大部分人都不愿意做重复劳动，当发现业务朝着要重复对接的方向走的时候，就可以考虑做标准化接口了。将自己的能力标准化出去，类似于开放平台，让别人按照你的标准来做，后续可以节约很多对接时间。 

以上，算是打造数据管理平台前的一点心路历程，也是平台诞生的灵感来源。

平台架构

整个平台基于SpringCloud分布式系统解决方案建设，使用了微服务基础框架，通过分布式框架部署的高可靠性来确保业务连续性，避免单点故障，通过管理后台及业务功能进行多个微服务拆分，敏捷应对变更，高效接入新数据源，快速为客户及业务线输出各维度接口，灵活动态扩展。

数据源的接入方式多种多样，包括正向数据接入 Http ，WebService，restful，socket等，反向数据接入如异步回调通知、数据主动推送等，我们通过数据源获取，数据解析，数据持久化三个模块实现对数据的采集，并对业务系统提供实时数据查询接口。

数据的存储在本地支持采用关系型数据库mysql及非关系数据库mongodb、hbase等，可根据需求灵活定制扩展其它存储方式。后续可以通过导入Hadoop架构的大数据平台进行ETL清洗和分析。

数据管理平台中每一笔数据采集会以流水的形式进行记录，用于后续统计和流水核对；流水的记录采用异步线程池的方式以减少对实时查询接口的时间开销。
04PART平台服务

• 数据管理后台

提供数据平台所有后台数据的维护功能，包含数据源基本信息管理、数据源API配置管理、API授权、多渠道数据源智能路由策略、API核算模板、API账单管理等功能。

• 基础服务

提供数据管理后台维护的所有数据的查询服务。

• 数据接入

数据接入主要和多渠道数据源进行交互，基于基础服务提供的数据源、API配置数据，提供数据解析功能，基于解析后的数据源API配置，支持不同协议、多种方式的数据源调用功能。数据接入流程示意图如下

• API服务

API网关服务是数据管理平台的入口，提供给业务系统调用，是链接业务系统和数据接入服务的中间网关，提供权限认证、限量控流、计量等功能。

• 批采集服务

业务需要进行批量回溯或者数据验证时，可以根据提供的一批样本集中采集一些三方数据，避免波及自身服务，影响实时业务或者压垮数据提供方。可以做到灵活配置、支持百万乃至千万级别样本、支持多样化样本输入sql，支持并发控制和运行动态调整，实时掌控运行状态和进度。
通过数据管理后台可视化界面，可灵活配置按天、月、次跑批任务，配置并发采集任务数及执行间隔。通过数据管理后台配置批采集任务，采用分布式调度任务、分布式锁及java典型的多线程技术countDownLatch实现并发采集数据。

• 服务保障

提供基于ELK、Grafana的实时监控和Metric的动态预警功能。

平台亮点

成果

平台上线后，单个数据源接口的接入开发量从之前的2天缩减到现在的2小时，可谓是实现了数据源的“秒”接效率；并且整个接入过程完全基于配置化，基本实现了应用无需发版上线即可使接口达到可用的状态，提高了整个平台服务的稳定性。