kafka

訂閱系統(tǒng)

訂閱者相當(dāng)于是一個(gè)公眾號(hào) 有人會(huì)發(fā)送文章 有人會(huì)看 而不是直接的發(fā)送到看文章人手里面

簡(jiǎn)單的說(shuō)kafka就是可以接收不同生產(chǎn)者的消息 由不同的消費(fèi)者來(lái)消費(fèi) 供自己使用

主題:消費(fèi)者消費(fèi)自己想要的主題 當(dāng)topic一樣時(shí) 可以接收到

分區(qū):一個(gè)主題可能會(huì)包含多個(gè)分區(qū) 分區(qū)可以分布在不同的服務(wù)器上 一個(gè)主題可以分布在多個(gè)服務(wù)器上

鍵：可以想象一個(gè)標(biāo)記 每個(gè)值都會(huì)對(duì)應(yīng)一個(gè)標(biāo)記 每條消息都會(huì)對(duì)應(yīng)一個(gè)標(biāo)記

分區(qū)器可以想象成一個(gè)算法 輸入值是鍵 輸出時(shí)該去哪個(gè)分區(qū)就去哪個(gè)分區(qū)

offset:偏移量 也就是第幾個(gè) 偏移量在寫(xiě)入的時(shí)候已經(jīng)被訂好了 消費(fèi)者根據(jù)偏移量來(lái)讀取數(shù)據(jù)

一個(gè)分區(qū)里面的偏移量是唯一的 只能順序來(lái)讀取 只能一個(gè)一個(gè)的讀取 不能越級(jí)讀取

broker: 接收生產(chǎn)者的消息 為每個(gè)消息設(shè)置偏移量 消息保存在磁盤(pán)中 broker也為消費(fèi)者服務(wù) 響應(yīng)消費(fèi)者的請(qǐng)求

多個(gè)broker就組成了kafka集群 broker1里面由香蕉蘋(píng)果 broker2里面也有 香蕉蘋(píng)果 重復(fù)性保證了數(shù)據(jù)的安全 當(dāng)broker1死機(jī)的時(shí)候 broker2里面的數(shù)據(jù)還是完好的 可從broker2里面繼續(xù)讀取數(shù)據(jù)

kafka里面還需要一個(gè)broker充當(dāng)控制器的角色

分配一些分區(qū)該分配哪個(gè)broker 監(jiān)控那個(gè)broker死掉了