• <optgroup id="kgw0l"><del id="kgw0l"></del></optgroup>
    <optgroup id="kgw0l"></optgroup>
  • 批量作业处理方法、分布式系统及批量作业处理架构与流程

    文档序号:29435051发布日期:2022-03-29 11:19来源:国知局
    批量作业处理方法、分布式系统及批量作业处理架构与流程

    本发明实施例涉及数据处理技术领域,尤其涉及一种批量作业处理方法、分布式系统及批量作业处理架构。

    背景技术

    在金融、电信和互联网等大企业中,批量作业的处理被广泛应用于各种业务逻辑与业务流程中。其中,作业是指为了完成业务功能的任务,将数据或文件以作业的形式提交给服务器进行处理,具有一定的独立性和明确性。在大量高并发作业的场景下,若使用传统的串行处理机制处理成千上万的作业,批量作业的处理效果将会非常差,如可能会存在传输不及时、高负载以及作业信息丢失等问题。

    故,如何提高批量作业的处理效率是当前亟待解决的技术问题。



    技术实现要素:

    本发明实施例提供了一种批量作业处理方法、分布式系统及批量作业处理架构,以提高批量作业的处理效率。

    第一方面,本发明实施例提供了一种批量作业处理方法,包括:

    通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果;

    通过分布式发布订阅消息系统将所述预处理结果按照所属主题进行存储;

    通过联机处理系统在触发消费进程时,从所述分布式发布订阅消息系统中调用所述消费进程对应的预处理结果进行消费处理,得到消费结果。

    可选的,所述通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果,包括:

    通过分布式系统将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理,得到相应的预处理结果。

    可选的,所述通过分布式系统将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理,包括:

    通过分布式系统中的负载均衡设备,根据设定规则将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理。

    可选的,针对被分配到作业的每个电子设备,所述电子设备对所分配的作业进行处理,包括:

    在所述电子设备上,根据设定计划模板生成所对应作业的作业执行计划;

    基于所述作业执行计划对所对应作业进行处理,得到相应的预处理结果。

    可选的,所述作业执行计划基于定时器进行定时更新。

    可选的,在得到相应的预处理结果之后,还包括:

    根据所述批量作业的用途类型对所述预处理结果进行主题分类,得到所述批量作业所对应的多个主题;

    将不同主题所对应的预处理结果发送至所述分布式发布订阅消息系统中。

    第二方面,本发明实施例还提供了一种分布式系统,包括:

    包括多个电子设备,所述分布式系统执行本发明实施例中分布式系统所对应的方法。

    第三方面,本发明实施例还提供了一种批量作业处理架构,包括:

    分布式系统,用于通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果;

    分布式发布订阅消息系统,用于将所述预处理结果按照所属主题进行存储;

    联机处理系统,用于在触发消费进程时,从所述分布式发布订阅消息系统中调用所述消费进程对应的预处理结果进行消费处理,得到消费结果。

    可选的,所述分布式系统,还用于将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理,得到相应的预处理结果。

    可选的,所述分布式系统,还用于通过分布式系统中的负载均衡设备,根据设定规则将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理。

    本发明实施例提供了一种批量作业处理方法、分布式系统及批量作业处理架构,首先通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果;然后通过分布式发布订阅消息系统将预处理结果按照所属主题进行存储;最后通过联机处理系统在触发消费进程时,从分布式发布订阅消息系统中调用消费进程对应的预处理结果进行消费处理,得到消费结果。该方法通过利用分布式系统中的多个电子设备对所获取高数据量的批量作业进行预处理,在此基础上,通过分布式发布订阅消息系统将预处理结果传输至联机处理系统进行消费处理,能够有效提高批量作业的处理效率。

    附图说明

    图1为本发明实施例一提供的一种批量作业处理方法的流程示意图;

    图2为本发明实施例二提供的一种批量作业处理方法的流程示意图;

    图3为本发明实施例二提供的一种批量作业处理方法的实现示意图;

    图4为本发明实施例三提供的一种分布式系统的结构示意图;

    图5为本发明实施例四提供的一种批量作业处理架构的示意图。

    具体实施方式

    下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。

    在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。

    本发明使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。

    需要注意,本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分,并非用于限定顺序或者相互依存关系。

    需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

    实施例一

    图1为本发明实施例一提供的一种批量作业处理方法的流程示意图,该方法可适用于对批量作业进行处理的情况,该方法可以由批量作业处理架构来执行。

    如图1所示,本发明实施例一提供的一种批量作业处理方法,该方法包括如下步骤:

    S110、通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果。

    在本实施例中,作业可以指根据某项业务的相关数据所构成的一个文件。例如,银行中有些用户需要办理申请信用卡业务,银行人员将这些用户申请信用卡业务所需的相关信息(即可理解为申请信息)录入到相应数据库中,在此基础上,银行在一段时间内(如半天、或一天等)可能会生成大量的申请信息数据存储在相应数据库中。在数据库中可根据一段时间内(如一天)所有申请数据生成一个文件,例如,一天内新增的所有申请信息数据可以生成一个文件。需要说明的是,这个文件可以是增量的也可以是全量的。增量可以指一天内新增的所有申请信息数据生成一个文件,全量可以指这一天新增的所有申请信息数据和数据库中已存在的所有申请信息数据一起生成一个文件。该文件则可理解为一个作业。此处不对作业的具体构成形式和内容做限定,可根据实际需求进行设定。根据银行所办理的不同类型业务等,一段时间内可以生成多个文件,此时这个多个文件即可理解为多个作业,多个作业即可认为是批量作业。本实施例不对批量作业所包括的作业数量进行限定,如至少两份作业或数量大于设定数量,设定数量的数值可以根据实际情况确定。

    分布式系统可以指一种建立在网络之上的系统,一个分布式系统中包含一组独立的电子设备,但展现给用户的是一个统一的整体。其中,电子设备可以是计算机设备或者服务器设备。分布式系统可理解为一个包含多个独立电子设备的系统,系统中的各个电子设备之间互不影响,即每个电子设备可以独立运行,其中每个电子设备可利用自身的处理器和存储装置等对相应的数据进行处理。此处对分布式系统中所包含的电子设备数量不做具体限定,可根据实际需求进行灵活设定。其中,相应的数据可以包括分配至电子设备的作业。

    预处理可以理解为对所获取的批量作业所对应文件和所包含数据内容进行处理,例如预处理可以包括文件解压、文件内容所包含数据的提取、各个文件的执行顺序确定、相关数据存储等处理操作。预处理结果可以指对所获取批量作业进行预处理之后所得到的数据结果。

    在一实施例中,对于所获取的批量作业,可根据批量作业中所包含的作业数量,确定如何分配到分布式系统中相应的电子设备上。例如,若批量作业中所包含的作业数量非常多,此时分配到单个电子设备上进行预处理,可能会增大计算量,以使得单个计算机无法在短时间内完成作业处理、存储等,则可将所获取的批量作业分为多份,每份中可包含一定数量的作业(此处不对所分的份数和每份中所包含的作业数量进行限定,可根据实际需求进行设定),在此基础上根据上述所分的份数逐一分配到分布式系统中的电子设备上,并在对应电子设备上对所获取的部分作业进行预处理,以得到相应的预处理结果。又如,若批量作业中所包含的作业数量较少,如小于一个设定阈值(设定阈值可根据实际需求灵活设定),则可将所获取的批量作业分配到单个电子设备上进行预处理。

    在一实施例中,在将获取的批量作业分配到分布式系统中电子设备的过程中,可根据各个电子设备当前的内部资源使用情况来确定最合适被分配和处理批量作业的电子设备;例如,若分布式系统中某电子设备当前正在处理其他作业,即内部资源使用空间较小,则可表明该电子设备当前不适于再次被分配和处理批量作业;若分布式系统中某电子设备当前并未进行其他作业的处理,即当前内部资源使用空间较大,则可表明该电子设备当前适于再次被分配和处理批量作业。

    需要说明的是,在通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果之后,还可以对预处理结果进行分类,每一类对应一个主题,将预处理结果按照各自所符合的主题分配到各类主题下;也就是说,在对预处理结果进行分类之后,其中每个预处理结果都对应一个所属主题。在本实施例中,可根据每个作业的用途类型对预处理结果进行分类,例如,用途类型可包括申请办卡业务、开通消息服务业务等。此处对如何对预处理结果进行分类不作限定,可根据实际需求进行灵活设定。

    S120、通过分布式发布订阅消息系统将所述预处理结果按照所属主题进行存储。

    在本实施例中,分布式发布订阅消息系统可以指一种高吞吐量的用于缓存和传输数据的消息中间件,可以实现应用之间的异步通信,应用只需关注通过数据,无需关注数据在各自之间是怎么传递的。例如分布式发布订阅消息系统可以是Kafka消息队列。Kafka消息队列作为消息中间件,可以用于在系统或应用之间构建可靠的用于传输实时数据和缓存数据的管道,可异步处理数据,并拥有高吞吐数据性能,可承接上游(即分布式系统)所发送的数据,保障上游所发送数据的完整性。

    Kafka消息队列中可以包括多个主题,该多个主题可以是根据作业的用途类型等预先设定的,其中每个主题可以包括多个分区,每个分区中包括一定的存储空间,可以用于存储相应的数据。此处对Kafka消息队列中的主题和分区的设置,如主题和分区的数量设置、分区存储空间设置等不作限定,可根据实际需求进行灵活设定。可以理解的是,在设置Kafka消息队列中的主题时,可以保证分布式系统中所输出的预处理结果及其所对应的主题,在Kafka消息队列中均可以匹配到对应的主题进行数据存储。

    通过分布式发布订阅消息系统将预处理结果按照所属主题进行存储的具体过程可以是:首先,通过分布式发布订阅消息系统接收分布式系统所输出的预处理结果,其中每个预处理结果都对应一个所属主题;然后,根据每个预处理结果所属主题,将其分配到分布式发布订阅消息系统中所包含的对应主题上;最后,可以根据对应主题中每个分区的存储空间容量大小,确定可存储预处理结果的分区,如可按照实际需求将预处理结果存储至存储空间充足的分区内,此处对此不作限定。

    S130、通过联机处理系统在触发消费进程时,从所述分布式发布订阅消息系统中调用所述消费进程对应的预处理结果进行消费处理,得到消费结果。

    在本实施例中,联机处理系统可以认为是一个对预处理结果进行消费的系统。消费进程可以指对所对应的预处理结果进行消费处理的进程,其中消费处理可以指对所获取的预处理结果中作业所包含的具体任务内容进行处理,得到的处理结果即可理解为消费结果。例如,若某个消费进程对应的预处理结果中作业所包含的具体任务内容是申请信用卡业务及相关申请信息等,其对应的消费处理就可以理解为根据申请信用卡业务及相关申请信息进行信用卡办理,信用卡办理结果可以理解为对应的消费结果。

    通过联机处理系统在触发消费进程时,根据消费进程对应的预处理结果所对应的主题,从分布式发布订阅消息系统的相应主题中调用消费进程对应的预处理结果,在此基础上对所调用的预处理结果进行消费处理,以得到消费结果。

    在一实施例中,消费进程也可以对应一个主题,在这种情况下,通过联机处理系统在触发消费进程时,从分布式发布订阅消息系统中调用消费进程对应主题中的所有预处理结果,并对所有预处理结果进行消费处理,得到消费结果。

    在一实施例中,联机处理系统中可以包含一个或多个消费者,消费者可理解为对预处理结果进行消费处理的电子设备(如计算机或服务器)。在本实施例中,联机处理系统中包含多个消费者,可以通过控制消费者的数量,用于分担联机处理系统中的负载,并加快消费处理的速率。例如,可以在每次消费进程中,将从分布式发布订阅消息系统中所调用的预处理结果按照实际需求分配到不同的消费者中进行消费处理,以减小每个消费者的计算量,提高消费处理的速率。此处对如何将所调用的预处理结果分配到不同消费者中的方式不作限定。

    本发明实施例一提供的一种批量作业处理方法,首先通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果;然后通过分布式发布订阅消息系统将预处理结果按照所属主题进行存储;最后通过联机处理系统在触发消费进程时,从分布式发布订阅消息系统中调用消费进程对应的预处理结果进行消费处理,得到消费结果。该方法通过利用分布式系统中的多个电子设备对所获取高数据量的批量作业进行预处理,在此基础上,通过分布式发布订阅消息系统将预处理结果传输至联机处理系统进行消费处理,能够有效提高批量作业的处理效率。

    实施例二

    图2为本发明实施例二提供的一种批量作业处理方法的流程示意图,本实施例二在上述各实施例的基础上进行细化。在本实施例中,对通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果的过程进行了具体描述。需要说明的是,未在本实施例中详尽描述的技术细节可参见上述任意实施例。

    如图2所示,本发明实施例二提供的一种批量作业处理方法,该方法包括如下步骤:

    S210、通过分布式系统将所获取的批量作业传输至分布式系统内对应电子设备上。

    在本实施例中,通过分布式系统接收批量作业,并将所获取的批量作业分配到分布式系统内对应电子设备上,例如,可以将所获取的批量作业分配到分布式系统内的一台电子设备上;也可以分配到多台电子设备上,并可根据实际需求设置分配到每台电子设备上的作业数量。

    可选的,通过分布式系统将所获取的批量作业传输至分布式系统内对应电子设备上进行处理,包括:通过分布式系统中的负载均衡设备,根据设定规则将所获取的批量作业传输至分布式系统内对应电子设备上进行处理。

    其中,负载均衡设备可以理解为分布式系统内用于管理批量作业分配以保证分布式系统内其他电子设备间负载均衡的一个电子设备。负载均衡可理解为将处理数据的压力平衡的分摊到分布式系统中每个电子设备(不包括负载均衡设备)上,以避免分布式系统中部分电子设备压力过大而其他部分电子设备过于空闲。经过负载均衡,可以使得每个电子设备获取适合自己的处理能力的负载。例如,若分布式系统中的某些电子设备的资源使用空间已被占用一大半,而其他电子设备的资源使用空间还有较大富余,则为了负载均衡,可以通过分布式系统中的负载均衡设备,将所获取的批量作业分配入资源使用空间较富余的电子设备中。

    设定规则可以理解为所预先设定的根据各电子设备内可利用的资源使用空间大小确定可分配作业的电子设备的规则,其中该设定规则中还可以包括根据各电子设备内可利用的资源使用空间大小确定可分配到对应电子设备上的作业数量等。此处对此不作具体限定。

    具体的,通过分布式系统中的负载均衡设备获取批量作业,并在负载均衡设备中,根据设定规则将所获取的批量作业传输至分布式系统内对应电子设备上进行处理。

    S220、针对被分配到作业的每个电子设备,在电子设备上,根据设定计划模板生成所对应作业的作业执行计划。

    在本实施例中,设定计划模板可以理解为预先编制好的一个用于生成作业执行计划的模板,该模板中可以包括对作业的处理逻辑,如对一个作业要先解压文件、提取数据、再存储相应数据等,对多个作业的执行先后顺序等。设定计划模板可根据实际需求设定添加或修改相应功能,此处对此不作限定。

    针对被分配到作业的每个电子设备,在电子设备上,可以根据设定计划模板生成所对应一个或多个作业的作业执行计划;也可以理解为,对分配到电子设备上的多个作业,可以是一个作业根据设定计划模板生成一个对应的作业执行计划,也可以是多个作业根据设定计划模板生成一个对应的作业执行计划。作业执行计划可以指对具体作业的处理计划,如多个作业对应的作业执行计划,作业执行计划中可以包括多个作业的先后执行顺序、每个作业的执行开始时间和执行结束时间、每个作业的最长可执行时间、以及每个作业具体内容的数据提取等。需要说明的是,作业执行计划是可以定时更新的。

    可选的,作业执行计划基于定时器进行定时更新。

    其中,定时器可以指所预先设置的一个用于控制作业执行计划定时更新的模块。可以将定时器设置在分布式系统中的每个电子设备上,用于通过电子设备基于定时器对作业执行计划进行定时更新。示例性的,可以设置定时器为一天执行一次作业执行计划更新,也可以设置定时器为两小时执行一次作业执行计划更新,此处对此不作限定,可根据实际需求灵活设定。

    S230、基于作业执行计划对所对应作业进行处理,得到相应的预处理结果。

    在本实施例中,在每个被分配到作业的电子设备上,可以基于所生成的作业执行计划对所对应的作业进行处理,得到相应的预处理结果。

    S240、根据批量作业的用途类型对预处理结果进行主题分类,得到批量作业所对应的多个主题。

    在本实施例中,用途类型可以理解为作业所对应具体任务的用途,如申请办卡业务类型、办理消息服务业务类型、或者销卡业务类型等。可根据批量作业的用途类型对预处理结果进行主题分类,得到批量作业所对应的多个主题,其中每个主题中可以包括对应主题的多个作业。

    S250、将不同主题所对应的预处理结果发送至分布式发布订阅消息系统中。

    在本实施例中,在对预处理结果进行主题分类完成之后,可以将不同主题所对应的预处理结果发送至分布式发布订阅消息系统中。

    S260、通过分布式发布订阅消息系统将预处理结果按照所属主题进行存储。

    在本实施例中,分布式发布订阅消息系统中包括预先设置的多个主题,在接收到分布式系统中发送来的预处理结果之后,可以通过分布式发布订阅消息系统将预处理结果按照所属主题存储入自身对应的主题中。其中,每个分布式发布订阅消息系统的每个主题中还可以包括多个分区,在此基础上,在分布式发布订阅消息系统中,针对接收到预处理结果的主题,可以将预处理结果按照实际需求分配到相应的分区中进行存储。

    S270、通过联机处理系统在触发消费进程时,从分布式发布订阅消息系统中调用消费进程对应的预处理结果进行消费处理,得到消费结果。

    在本实施例中,通过联机处理系统在触发消费进程时,根据消费进程对应的预处理结果所对应的主题,可以从分布式发布订阅消息系统中调用相应主题内的预处理结果,并对所调用的预处理结果进行消费处理,得到消费结果。

    本发明实施例二提供的一种批量作业处理方法,具体化了通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果的过程。该方法通过设定计划模板可以生成批量作业对应的作业执行计划,能够按照作业执行计划中处理逻辑对作业进行预处理,在此基础上,结合分布式系统的设置,能够避免在面对批量作业时,作业处理不及时、高负载以及作业信息丢失等问题,从而提高批量作业处理的速率和准确性。此外,还通过定时器的设置,对作业执行计划定时更新,提高对批量作业执行的灵活性和可扩展性。

    图3为本发明实施例二提供的一种批量作业处理方法的实现示意图。如图3所示,该方法中包括文件预处理模块(即分布式系统),Kafka消息队列模块(即分布式发布订阅消息系统)和联机处理模块(即联机处理系统)。需要处理的文件以批量作业的形式到达文件预处理模块,经过预处理后,文件中的数据信息进入Kafka消息队列,联机处理模块作为消费者,从Kafka消息队列中提取数据并进行后续处理,以此实现批量作业的处理。其具体实现过程可以是:首先,由于批量作业的数据量通常非常大,单个计算机无法在短时间内完成计算、存储任务,因此文件预处理模块可以由一个包含多个计算机的分布式系统构成,处理短时间内到达的大量文件,将其中的数据信息提取出来。文件预处理模块中还可以包括生成作业执行计划来控制对应批量作业的执行逻辑等。然后,文件预处理模块作为生产者,将处理好的数据进行主题分类并输出;由Kafka消息队列模块接收数据,并将其分发在不同的主题中进行存储,每个主题又可以分为多个分区,每个分区可以用于存储大量的数据,当消费者需要消费时,就从Kafka消息队列中提取数据,然后进行后续处理。最后,联机处理模块作为消费者,从Kafka消息队列中接收订阅所需的主题,并从对应主题中接收所需的消息。联机处理模块中可以包含多个消费者(一个消费者可认为是一个服务器),每个消费者接收所订阅主题中一部分分区的消息,通过控制消费者的数量,可以分担联机处理模块中的负载,并加快消费数据的速度,实现联机调用。

    实施例三

    图4为本发明实施例三提供的一种分布式系统的结构示意图。如图4所示,该分布式系统包括:多个电子设备,所述分布式系统可用于执行本发明实施例所提供的方法中分布式系统所对应的方法。

    在本实施例中,首先通过分布式系统中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果;然后通过分布式发布订阅消息系统将预处理结果按照所属主题进行存储;最后通过联机处理系统在触发消费进程时,从分布式发布订阅消息系统中调用消费进程对应的预处理结果进行消费处理,得到消费结果。本实施例通过利用分布式系统中的多个电子设备对所获取高数据量的批量作业进行预处理,在此基础上,通过分布式发布订阅消息系统将预处理结果传输至联机处理系统进行消费处理,能够有效提高批量作业的处理效率。

    实施例四

    图5为本发明实施例四提供的一种批量作业处理架构的示意图。如图5所示,该批量作业处理架构包括:分布式系统510、分布式发布订阅消息系统520以及联机处理系统530;

    其中,分布式系统510,用于通过分布式系统510中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果;

    分布式发布订阅消息系统520,用于将预处理结果按照所属主题进行存储;

    联机处理系统530,用于在触发消费进程时,从分布式发布订阅消息系统520中调用所述消费进程对应的预处理结果进行消费处理,得到消费结果。

    分布式系统510可以是由多个电子设备构成的系统。分布式发布订阅消息系统520可以是kafka消息队列。联机处理系统530可以是由多个消费者(一个消费者对应一个电子设备)构成的系统。

    本实施例四提供的一种批量作业处理架构,首先通过分布式系统510中多个电子设备对所获取批量作业进行预处理,得到相应的预处理结果;然后通过分布式发布订阅消息系统520将预处理结果按照所属主题进行存储;最后通过联机处理系统530在触发消费进程时,从分布式发布订阅消息系统520中调用消费进程对应的预处理结果进行消费处理,得到消费结果。该批量作业处理架构通过利用分布式系统510中的多个电子设备对所获取高数据量的批量作业进行预处理,在此基础上,通过分布式发布订阅消息系统520将预处理结果传输至联机处理系统530进行消费处理,能够有效提高批量作业的处理效率。

    在上述实施例的基础上,分布式系统510,还用于将所获取的批量作业传输至分布式系统510内对应电子设备上进行处理,得到相应的预处理结果。

    可选的,分布式系统510,还用于通过分布式系统510中的负载均衡设备,根据设定规则将所获取的批量作业传输至分布式系统510内对应电子设备上进行处理。

    可选的,通过分布式系统510中的负载均衡设备,根据设定规则将所获取的批量作业传输至分布式系统510内对应电子设备上进行处理,包括:

    通过分布式系统510中的负载均衡设备,根据设定规则将所获取的批量作业传输至分布式系统510内对应电子设备上进行处理。

    可选的,针对被分配到作业的每个电子设备,电子设备对所分配的作业进行处理,包括:

    在电子设备上,根据设定计划模板生成所对应作业的作业执行计划;

    基于作业执行计划对所对应作业进行处理,得到相应的预处理结果。

    可选的,作业执行计划基于定时器进行定时更新。

    可选的,分布式系统510,还用于在得到相应的预处理结果之后,根据批量作业的用途类型对预处理结果进行主题分类,得到批量作业所对应的多个主题;

    将不同主题所对应的预处理结果发送至分布式发布订阅消息系统520中。

    本实施例四提供的一种批量作业处理架构可以用于执行上述任意实施例提供的批量作业处理方法,具备相应的功能和有益效果。

    注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

    当前第1页1 2 
    网友询问留言 已有0条留言
    • 还没有人留言评论。精彩留言会获得点赞!
    1