作者:何栋宇
推荐理由
数据通协助您打通各个平台鉴权,将数据清洗重组后,自动同步到aPaaS,多维表格,私有数据库,再以大屏多样化展示~
您是否有大量数据在第三方平台
您是否希望把这些数据定期同步到自己的系统
您是否还在为各个系统鉴权过于复杂而一筹莫展
您是否需要一款漂亮的大屏来展示这些数据
您是否希望通过配置让业务人员也能做这些事情
一、应用信息
应用名称:数据通
命名空间 :datatodata
二、功能简介
数据通解决方案通过从源系统(数据库、HTTP、应用程序等)中提取数据,经过数据转换(清洗、转换格式、聚合等),加载到aPaaS,飞书表格,私有数据库等目标系统,以供数据分析使用。帮助企业弥合不同系统之间的数据差异,提高数据质量和可用性,从而支持企业决策制定。
三、详细介绍
鉴权
从三方数据源拉取数据,首先要解决对方平台的鉴权,除了apaas平台已有的连接器可以复用外,数据通也实现了部分常用平台的鉴权,有所不同的是,这里的鉴权是运行时动态授权。
举例:我们要拉取某个电商平台下的所有店铺数据,此时我们可以绑定多个店铺的授权信息,而任务流只需要一个,即可拉取所有店铺的数据,无需为每个店铺重复编写一个同步任务。
当前默认授权平台如下:支持扩展新平台鉴权(工时约1个/1人日)
250px|700px|reset
同步任务
从一个数据源拉取数据后,经过加工处理,再同步到目标系统,我们称之为一个工作任务。
任务会自动处理分页拉取,自动与目标系统合并重复数据,插入新增数据,删除过期数据等。
配置一条任务如下:
250px|700px|reset
数据请求:我们拉取数据时需按照接口协议填写必要参数。
250px|700px|reset
数据响应:处理接口返回数据的方式。
数据清洗:对接口返回的数据进一步清洗。
250px|700px|reset
字段映射:也属于接口数据清洗的一部分。
250px|700px|reset
关联外键:帮助我们自动处理关联对象的值,展示的更加友好,而不是一串串长长的不可读内容。
举例:这种就是友好的外键
250px|700px|reset
数据存储:经过上述处理后,我们即将存储合并的目标系统。
250px|700px|reset
当前支持的目标系统如下:
250px|700px|reset
任务调试:协助我们更好的配置任务,及时探知哪里出现问题。
250px|700px|reset
250px|700px|reset
支持更多复杂场景:
场景一:我们的接口返回的数据包含父子表信息,如果自动存储一主多子。
场景二:将几个任务串联在一起,让上一个任务的输出变成下一个任务的入参。
...
定时任务
利用平台提供的定时任务流程,即可让这些任务定时执行起来
监控告警
所有任务健康状态一目了然,更方便运维。
250px|700px|reset
大屏
让我们的数据变得生动起来,精心打造了一系列专门做大屏的物料组件,让大屏制作更加简单。
250px|700px|reset
250px|700px|reset
完美自适应手机端:我们只需要关注pc端大屏搭建,当切换至手机端时,组件会自适应设备,无需额外为手机端再搭建一遍。
🎉更多功能尽在数据通,快来试试吧,举起您的小手点个赞呗~