BI从ERP系统抽取数据解决方案解析
发布时间:2019-10-26 02:22

  后续的数据,大凡都是通过增量更新的格式。如正在实质项目中,都邑设备一个批惩罚功课。正在黑夜放工后,让编制自愿将一天之内更新的数据传输到BI中。此时就遭遇一个题目,编制怎么来占定,哪些数据时更新过的呢?细心,这个地方的数据更新实在包含三方面的实质。永别是数据更新、数据删除和新筑数据。

  正在实质项目中,大凡都是先有ERP编制,然后再上BI项目。这就好似是炼油。大凡都是先有原油,然后再举办提炼。并且BI项目其解析的大凡都是3-5年的数据,为此ERP编制中的数据量仍然对比众了。

  通过上面的解析咱们可能真切,SAP的从ERP编制中抽取数据的处分计划,相对来说是对比合理科学的。可能处分数据传输流程中搜捕、传输、交融等方面的题目。无论是项目执掌员仍然拓荒职员,都值得鉴戒这种惩罚格式。

  为此第一次数据的抽取,所须要花的时刻是对比众的。如上图右面的分支所示,就显露正在SAP编制中第一次若是从编制中抽取数据。为了保险数据抽取的正确性与高效性,SAP特意为BI编制计算了一张SetUp外。这张外是凭据BI编制的须要而策画的。常常境况下,SAP中的数据BI编制恐怕只须要50%即可。因而这张SETUP外是为BI编制量身定制的。数据要比原编制的数据要少。

  四是DeltaQueqe的格式。关于BI编制来说,DeltaQueqe实在供应了三种格式。此中对比常用的便是DeltaQueqe格式(上图所示的格式)和DirectQueqe的格式。此中前者关于职能的报复对比小,由于有中心外的过滤。尔后者关于编制职能的报复对比大。正在后续硬件跟的上的境况下,采用DirectQueqe的格式也未尝不行。只是笔者发起,正在现阶段,仍然采用DeltaQueqe格式为宜。

  这别的须要指导的是,上图所示的ExtractionQueue与DeltaQueue外实在是统一张外。正在外中,会有一个字段来标识其结果是属于哪一张外中的实质。也便是说,上图中所显示的外大凡是逻辑外,而不是实体外。别的,编制还会分外的供应两张把持外,来确保悉数增量更新功课的正确性。

  当BI编制从ERP编制中抽取数据时,用户苛重属意的是三个题目。一是数据抽取是否所有,二是数据抽取是否正确,三是数据抽取是否实时。若是或许确保这三个题目都不可题目了,那么这个数据抽取的处分计划便是告捷的。

  若是采用增量更新的话,那么项目执掌员只须要属意搜捕、运输和交融三个话题。搜捕显露编制怎么占定数据是否更新、是否有删除等等;运输显露数据若是通报到BW上去;交融指的是新旧数据怎么对接等等。正在SAP的处分计划中,对此都有对比注意的惩罚格式。

  二是采用时刻戳的格式。即编制正在数据更新时,会记实数据更新的时刻。这个时刻往往是切确到秒的。然后编制中别的有一个地方会记实编制前次抽取数据的时刻。然后此次数据抽取时,其就会将这两个时刻举办对比,然后将晚于这个时刻的数据一概抽取上去。常常境况下,财政闭联的数据,都邑采用这种格式来抽取。

  正在实质项目中,从ERP抽取数据要比上面所话的图杂乱的众。除了要左右上图的根本外面除外,笔者以为正在数据抽取时,还须要闭怀如下实质。

  正在实质就业中,大凡数据抽取可能分为两个个别。一是初始化抽取。正在这个个别中,往往是采纳所有抽取的格式。即将ERP中的数据一概抽取到BI中。若是企业ERP运转的时刻对比长,这个抽取的流程会对比漫长。如笔者做过一个项目,这个数据的初始化抽取就业就会了2天时刻。二是后续的抽取。当第一次抽取后,数据会有改变。关于这些改变的数据,大凡不会采纳所有遮盖的格式。即不会将仍然抽上去的数据扫除,然后从新来过。若是云云做的的话,传输的时刻会对比长。常常境况下,咱们采用的格式增量更新的格式。纯粹的说,便是只更新前次更新后未更新的数据。

  针对这个实质,正在SAP编制中实在又供应了两种格式。一是增量队伍式。如上图所示,正在SAP中特意有一个ExtractionQueue外。当SAP编制中数据有更新时,编制会将数据写入到SAP根柢外的同时写入到这个外中。也便是说,这个外中的数据便是比来所更新的数据。须要细心的是,这个外中的数据大凡存储的是比来更新的和比来一次更新的。编制会正在记实中做一下标识来占定数据是否仍然传输到了BW中去。大凡的IO数据抽取,都是采用这种格式。

  也便是说,编制中可能允诺同时存正在这两种数据。结果是用甚么样的数据,就要看用户的须要而定。只是大凡境况下,物流闭联的数据,保举是用增量队伍的格式。而财政闭联的数据,则采用时刻戳的格式。

  BI是一个数据解析的器械,而ERP编制则是一个联机事宜惩罚编制。这两个编制之间会形成交集吗?谜底是确定的。做一个情景的比喻。ERP编制就好似是一个油田,而BI便是一个炼油的器械。BI编制正在炼油时,确定须要原油。这个原油便是ERP编制中的数据。正在这篇著作中,笔者就以SAP的ERP编制和BW编制(BI编制的一种)为例,解析一下若是有用的从ERP编制中抽取数据。

  三是须要细心,关于SAP编制来说,那面这些外,是编制特意为BI编制所计算的。即正在编制安设时就仍然存正在了的。只是编制没有启用云尔。当企业用户须要运用BI编制时,须要通过事宜代码来激活这些外。不然的话,就无法运用。上图中所显示的外格都是逻辑外,实质外的结果要比这个要杂乱的众。只是动作BI的本相照应来说,只须要左右这些逻辑外即可。关于其后台的根柢外,让SAP的本领职员去了然即可。

  二是须要细心,数据抽取等编制自身职能的报复。如上所示,若是采用增量更新格式的话,编制除了要往根柢外中写入数据除外,还须要向别的一张分外的外中写入数据。可睹,这会扩展任职器的义务。奇特是当数据量对比众时,会还用对比众的编制资源。为此正在数据抽取时,要闭怀对编制自身职能的报复。大凡境况下,都邑采纳极少要领来避免这种境况。如可能合理计划数据抽取的时刻,将其放正在用户运用量对比少的工夫。像正在SAP编制中,其采用的是中心外的格式,来节减数据的传输量。

  一是要充明确白到从BI编制中抽取数据的要紧性。正在实质项目中,固然有工夫也须要从文本数据中获取数据,可是这个比例并不是很高。正在笔者遭遇的项目中,大凡文本类型的数据惟有10%掌握。大个别的数据都是泉源于ERP编制。为此从ERP编制中抽取数据,无论是BI编制策画者、仍然企业用户,都是无法避免的一个课题。

  正在数据抽取之前,大凡须要先对SetUp外举办清空。以提防该外中邦罕睹据与须要导入的数据涌现冲突的清空。清空之后,再将源编制中的数据导入到SetUp外中。通过中心外SetUp,可能过滤到极少BI编制用不到都是数据,以进步数据抽取的结果。将数据抽取到SetUp外之后,再通过器械将数据传输到BI中去。