好程序員-千鋒教育旗下高端IT職業(yè)教育品牌
官方微信
2022-07-29
序列化 類型 數(shù)據(jù) flink
怎么提高Flink的執(zhí)行性能(代碼方面)
通用的優(yōu)化方式4. 一些基數(shù)較少的并且本身較長維度可以采用數(shù)據(jù)字典的方式減少網(wǎng)絡(luò)傳輸及內(nèi)存占用、gc開銷。
數(shù)據(jù)類型和序列化Flink支持java、scala基本數(shù)據(jù)類型，以及java Tuples、scala Case Class、Flink Value，對于這些數(shù)據(jù)類型，flink會采用自身的序列化反序列化器去做序列化操作，對于其他數(shù)據(jù)類型，flink會采用kyro方式序列化，kyro序列化方式效率會比flink自帶的方式低很多。因此在數(shù)據(jù)序列化方面我們可以做如下工作
3. 如果使用了lambda或者泛型的話，顯式的指定類型信息讓flink類型提取系統(tǒng)識別到以提升性能。
多組相同keyby可使用DataStreamUtils在多組keyby的場景可以采用DataStreamUtils.reinterpretAsKeyedStream的方式避免多次shuffle操作
盡量減少狀態(tài)的大小3. checkpoint頻率不宜過高，超時時間不要太長，可以異步化的地方盡量異步化
掃碼開啟架構(gòu)師蛻變之旅 >>
開班時間：2021-04-12（深圳）
開班盛況開班時間：2021-05-17（北京）
開班盛況開班時間：2021-03-22（杭州）
開班盛況開班時間：2021-04-26（北京）
開班盛況開班時間：2021-05-10（北京）
開班盛況開班時間：2021-02-22（北京）
開班盛況開班時間：2021-07-12（北京）
預(yù)約報名開班時間：2020-09-21（上海）
開班盛況開班時間：2021-07-12（北京）
預(yù)約報名開班時間：2019-07-22（北京）
開班盛況
Copyright 2011-2023 北京千鋒互聯(lián)科技有限公司 .All Right
京ICP備12003911號-5
京公網(wǎng)安備 11010802035720號
