国产精品天干天干,亚洲毛片在线,日韩gay小鲜肉啪啪18禁,女同Gay自慰喷水

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

如何解決Flink水印亂序的數(shù)據(jù)丟失問題呢?

2023-08-23 15:35 作者:ingemar-  | 我要投稿

按照數(shù)據(jù)的時(shí)間戳來看,事件是亂序的,則watermark就非常重要了:


亂序怎樣產(chǎn)生的呢


采集過程中導(dǎo)致的亂序

網(wǎng)絡(luò)傳輸過程導(dǎo)致的亂序


亂序?qū)?dǎo)致數(shù)據(jù)丟失



如何解決亂序的數(shù)據(jù)丟失問題呢



等待時(shí)間(亂序程度)如何設(shè)置


  • 等待時(shí)間 = 最大的亂序程度。

經(jīng)驗(yàn)值 => 對自身集群和數(shù)據(jù)的了解,大概估算

對數(shù)據(jù)進(jìn)行抽樣

肯定不會設(shè)置為幾個(gè)小時(shí),一般設(shè)為 秒 或者 分鐘

  • 底層實(shí)現(xiàn)

watermark = maxTimestamp - outOfOrdernessMillis - 1?

= 最大亂序事件時(shí)間 - 亂序程度(等待時(shí)間) - 1ms

  • 需求

根據(jù)socket文本計(jì)算當(dāng)前亂序3秒的數(shù)據(jù)統(tǒng)計(jì)

分配水印機(jī)制-forBoundedOutOfOrderness

  • 參考代碼


如何解決Flink水印亂序的數(shù)據(jù)丟失問題呢?的評論 (共 條)

分享到微博請遵守國家法律
丰县| 乃东县| 河曲县| 荥经县| 道真| 牡丹江市| 中江县| 勃利县| 克拉玛依市| 商河县| 五指山市| 上高县| 平昌县| 庄浪县| 沾益县| 马关县| 辰溪县| 东明县| 正镶白旗| 小金县| 邮箱| 水富县| 独山县| 德阳市| 六安市| 宝兴县| 乐亭县| 蓝田县| 梨树县| 延边| 常德市| 呼和浩特市| 丰原市| 莒南县| 阿鲁科尔沁旗| 日照市| 蓬溪县| 句容市| 高台县| 萍乡市| 赞皇县|