一種基于flink的流計(jì)算性能優(yōu)化系統(tǒng)及方法
2024-02-23
本發(fā)明公開了一種基于flink的流計(jì)算性能優(yōu)化系統(tǒng)及方法,屬于流計(jì)算技術(shù)領(lǐng)域。本系統(tǒng)監(jiān)控模塊,用于實(shí)時監(jiān)控并獲取flink運(yùn)行過程中不同階段的運(yùn)行參數(shù);數(shù)據(jù)收集模塊,用于將從所述監(jiān)控模塊獲取的運(yùn)行參數(shù)輸出至一數(shù)據(jù)庫中;策略調(diào)整模塊,根據(jù)所述數(shù)據(jù)庫中的運(yùn)行參數(shù),結(jié)合預(yù)設(shè)的啟動參數(shù),通過策略調(diào)整算法,輸出下一步的運(yùn)行方案;運(yùn)行管理模塊,根據(jù)所述策略調(diào)整模塊輸出的運(yùn)行方案調(diào)整運(yùn)行參數(shù),并應(yīng)用到flink運(yùn)行中。本發(fā)明用于flink流計(jì)算場景資源分配自動適配,可以提高流計(jì)算服務(wù)的實(shí)際吞吐量,充分發(fā)揮硬件性能;節(jié)省開發(fā)和調(diào)試成本,由程序自行運(yùn)行判斷,降低人力成本。
一種基于flink的流計(jì)算性能優(yōu)化系統(tǒng),其特征在于,包括:監(jiān)控模塊,用于實(shí)時監(jiān)控并獲取flink運(yùn)行過程中不同階段的運(yùn)行參數(shù);數(shù)據(jù)收集模塊,用于將從所述監(jiān)控模塊獲取的運(yùn)行參數(shù)輸出至一數(shù)據(jù)庫中;策略調(diào)整模塊,根據(jù)所述數(shù)據(jù)庫中的運(yùn)行參數(shù),結(jié)合預(yù)設(shè)的啟動參數(shù),通過策略調(diào)整算法,輸出下一步的運(yùn)行方案;運(yùn)行管理模塊,根據(jù)所述策略調(diào)整模塊輸出的運(yùn)行方案調(diào)整運(yùn)行參數(shù),并應(yīng)用到flink運(yùn)行中。
申請?zhí)枺篊N202010732081.X
申請(專利權(quán))人:北京明略軟件系統(tǒng)有限公司
公開日期(公開):2020.12.15
公開日期(授權(quán)):2024.02.23
信息填寫