一種基于flink的流計算性能優化系統及方法
2024-02-23
本發明公開了一種基于flink的流計算性能優化系統及方法,屬于流計算技術領域。本系統監控模塊,用于實時監控并獲取flink運行過程中不同階段的運行參數;數據收集模塊,用于將從所述監控模塊獲取的運行參數輸出至一數據庫中;策略調整模塊,根據所述數據庫中的運行參數,結合預設的啟動參數,通過策略調整算法,輸出下一步的運行方案;運行管理模塊,根據所述策略調整模塊輸出的運行方案調整運行參數,并應用到flink運行中。本發明用于flink流計算場景資源分配自動適配,可以提高流計算服務的實際吞吐量,充分發揮硬件性能;節省開發和調試成本,由程序自行運行判斷,降低人力成本。
一種基于flink的流計算性能優化系統,其特征在于,包括:監控模塊,用于實時監控并獲取flink運行過程中不同階段的運行參數;數據收集模塊,用于將從所述監控模塊獲取的運行參數輸出至一數據庫中;策略調整模塊,根據所述數據庫中的運行參數,結合預設的啟動參數,通過策略調整算法,輸出下一步的運行方案;運行管理模塊,根據所述策略調整模塊輸出的運行方案調整運行參數,并應用到flink運行中。
申請號:CN202010732081.X
申請(專利權)人:北京明略軟件系統有限公司
公開日期(公開):2020.12.15
公開日期(授權):2024.02.23
信息填寫