业务场景

ywcj
针对业务场景做数据分析

数据治理中的数据血缘关系是什么,解决什么问题

业务场景9881年前 (2020-04-21)大数据
前言:
数据血缘属于数据治理中的一个概念,是在数据溯源的过程中找到相关数据之间的联系,它是一个逻辑概念。
数据治理里经常提到的一个词就是血缘分析,血缘分析是保证数据融合的一个手段,通过血缘分析实现数据融合处理的可追溯。大数据数据血缘是指数据产生的链路,直白点说,就是我们这个数据是怎么来的,经过了哪些过程和阶段。
 
数据血缘关系的应用场景是什么:
在数据的处理过程中,从数据源头到最终的数据生成,每个环节都可能会导致我们出现数据质量的问题。比如我们数据源本身数据质量不高,在后续的处理环节中如果没有进行数据质量的检测和处理,那么这个数据信息最终流转到我们的目标表,它的数据质量也是不高的。也有可能在某个环节的数据处理中,我们对数据进行了一些不恰当的处理,导致后续环节的数据质量变得糟糕。因此,对于数据的血缘关系,我们要确保每个环节都要注意数据质量的检测和处理,那么我们后续数据才会有优良的基因,即有很高的数据质量。
 
举例说明:
现在假设你是一只数据开发工程师,为了满足一次业务需求,,然后为了生成这张表,可能是处于程序逻辑清晰或者性能优化的考虑,你会使用很多份数据表,也会通过 MR、Spark 或者 Hive 来生产很多中间表。
如下图,是你将花费时间来实现的整个数据流。
  • 其中 Table X 是最终给到业务侧的表。

  • 蓝色的 Table A-E,是原始数据。

  • 黄色的 Table F-I 是你计算出来的中间表。这些表都是你自己写程序要处理的表。

  • 然后你为了懒省事,嗯,应该说本着不重复开发的原则,你还要用到同事小伙伴处理的表,Table J 就是别人处理过的结果表。

过了一段时间后,业务侧的感觉你提供的数据中有个字段总是不太对劲,其实就是怀疑你的数据出问题!需要你来追踪一下这个字段的来源。
首先你从 Table X 中找到了异常的字段,然后定位到了它来源于 Table I,再从 Table I 定位到了它来源于 Table G, 再从 Table G 追溯到了 Table D,最终发现是某几天的来源数据有异常。
或者说,你从 Table X 定位到了异常的字段原来来自于其它小伙伴处理的表 Table J,然后继续向前回溯,找到了这张表在处理过程中的某一个步出现了问题。
 
我们如何将数据血缘关系进行可视化呢:
在NBI大数据可视化平台中我们可以通过桑基图方式来对数据关系链路来分析:
 
在NBI大数据可视化平台中只需通过拖拽组件和字段即可快速生成桑基图
(1)从组件库中拖入桑基图组件到编辑器中:
(2)组件右键,设置数据数据和样式,即可完成数据的呈现:
扫描二维码至手机访问

扫描二维码推送至手机访问。

版权声明:本文由策意data发布,如需转载请注明出处。

转载请注明出处:http://dsj.ceyicm.cn/reed/41.html

分享给朋友:

相关文章

如何做到分分钟即可实现数据可视化

如何做到分分钟即可实现数据可视化

随着企业数据的日久累计,企业生产的数据无论从数量空间还是从维度层次上都日益繁杂。面对大量数据,管理层常常望洋兴叹:要么企业自产的大量数据不能有效利用,无法提供决策依据;要么数据展示模式繁杂晦涩,无法快...

如何用数据可视化做汇报展示业绩,让你升职加薪更高效

如何用数据可视化做汇报展示业绩,让你升职加薪更高效

在日常工作中,老板总是会时不时的让我们做工作汇报,而这也是我们能够在老板面前展示自己的机会。但是,如果你拿给老板的是这样一张数据密密麻麻的表格,你觉得老板能够在短时间内看懂你的数据吗?字不如表,表不如...

一款介于无代码与低代码之间的大数据可视化分析平台

一款介于无代码与低代码之间的大数据可视化分析平台

什么是低代码平台:“低代码开发”旨在开发人员可以通过编写少量代码就可以快速生成应用程序的一种方法。使用低代码开发平台类似于使用IDE,因为它包含了一套可以供开发人员直接使用的功能,和一套供开发人员使用...

数据中台是什么,它能解决什么问题

数据中台是什么,它能解决什么问题

前言:近几年来数据中台概念大火,市面上掀起了一波建业务中台、数据中台热潮,那么数据中台到底是什么?它的出现能解决什么问题呢?首先数据中台的概念最早由阿里提出,自从阿里提出了“大中台,小前台”概念之后,...

将可视化做到简单易懂高效且具美感,就是好的数据可视化

将可视化做到简单易懂高效且具美感,就是好的数据可视化

数据可视化都有一个共同的目的,那就是准确而高效、精简而全面地传递信息和知识。可视化能将不可见的数据现象转化为可见的图形符号,能将错综复杂、看起来没法解释和关联的数据,建立起联系和关联,发现规律和特征,...

只需轻松三步搞定数据可视化分析

只需轻松三步搞定数据可视化分析

随时时代的不断发展,云计算,大数据,人工智能,物联网,5G这些新兴行业不断演进,快速的决策与行动能力已经成为每一家企业的必备能力,但是往往数据分析相关的采购成本高,链条长,技术复杂度高,让企业遥不可及...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。
每一次合作都多一位朋友

体验账号:administrator 密码:administrator

  • 7X12小时
    7X12小时

    专家1V1服务

  • 业务保障
    业务保障

    扎实数据根基

  • 合作伙伴
    合作伙伴

    NBIDataVis

  • 强大交付
    强大交付

    实现客户价值