Zookeeper是什么

官方文檔上這么解釋zookeeper，它是一個(gè)分布式服務(wù)框架，是Apache Hadoop 的一個(gè)子項(xiàng)目，它主要是用來解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問題，如：統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。

?

上面的解釋有點(diǎn)抽象，簡(jiǎn)單來說zookeeper=文件系統(tǒng)+監(jiān)聽通知機(jī)制。

?

1、 文件系統(tǒng)

Zookeeper維護(hù)一個(gè)類似文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)：

每個(gè)子目錄項(xiàng)如 NameService 都被稱作為 znode(目錄節(jié)點(diǎn))，和文件系統(tǒng)一樣，我們能夠自由的增加、刪除znode，在一個(gè)znode下增加、刪除子znode，唯一的不同在于znode是可以存儲(chǔ)數(shù)據(jù)的。

有四種類型的znode：

PERSISTENT-持久化目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)依舊存在

PERSISTENT_SEQUENTIAL-持久化順序編號(hào)目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)依舊存在，只是Zookeeper給該節(jié)點(diǎn)名稱進(jìn)行順序編號(hào)

EPHEMERAL-臨時(shí)目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)被刪除

EPHEMERAL_SEQUENTIAL-臨時(shí)順序編號(hào)目錄節(jié)點(diǎn)

客戶端與zookeeper斷開連接后，該節(jié)點(diǎn)被刪除，只是Zookeeper給該節(jié)點(diǎn)名稱進(jìn)行順序編號(hào)

?

2、 監(jiān)聽通知機(jī)制

客戶端注冊(cè)監(jiān)聽它關(guān)心的目錄節(jié)點(diǎn)，當(dāng)目錄節(jié)點(diǎn)發(fā)生變化（數(shù)據(jù)改變、被刪除、子目錄節(jié)點(diǎn)增加刪除）時(shí)，zookeeper會(huì)通知客戶端。

就這么簡(jiǎn)單，下面我們看看Zookeeper能做點(diǎn)什么呢？

?

Zookeeper能做什么

zookeeper功能非常強(qiáng)大，可以實(shí)現(xiàn)諸如分布式應(yīng)用配置管理、統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理等功能，我們這里拿比較簡(jiǎn)單的分布式應(yīng)用配置管理為例來說明。

假設(shè)我們的程序是分布式部署在多臺(tái)機(jī)器上，如果我們要改變程序的配置文件，需要逐臺(tái)機(jī)器去修改，非常麻煩，現(xiàn)在把這些配置全部放到zookeeper上去，保存在 zookeeper 的某個(gè)目錄節(jié)點(diǎn)中，然后所有相關(guān)應(yīng)用程序?qū)@個(gè)目錄節(jié)點(diǎn)進(jìn)行監(jiān)聽，一旦配置信息發(fā)生變化，每個(gè)應(yīng)用程序就會(huì)收到 zookeeper 的通知，然后從 zookeeper 獲取新的配置信息應(yīng)用到系統(tǒng)中。

如上，你大致應(yīng)該了解zookeeper是個(gè)什么東西，大概能做些什么了，我們馬上來學(xué)習(xí)下zookeeper的安裝及使用，并開發(fā)一個(gè)小程序來實(shí)現(xiàn)zookeeper這個(gè)分布式配置管理的功能。

?

Zookeeper單機(jī)模式安裝

Step1：配置JAVA環(huán)境，檢驗(yàn)環(huán)境：java -version

Step2：下載并解壓zookeeper

# cd /usr/local# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz# tar -zxvf zookeeper-3.4.12.tar.gz# cd zookeeper-3.4.12

Step3：重命名配置文件zoo_sample.cfg

# cp conf/zoo_sample.cfg conf/zoo.cfg

Step4：?jiǎn)?dòng)zookeeper

# bin/zkServer.sh start

Step5：檢測(cè)是否成功啟動(dòng)，用zookeeper客戶端連接下服務(wù)端

# bin/zkCli.sh

?

Zookeeper使用

使用客戶端命令操作zookeeper

1、使用 ls 命令來查看當(dāng)前 ZooKeeper 中所包含的內(nèi)容

[zk: localhost:2181(CONNECTED) 1] ls / [dubbo, default, zookeeper] [zk: localhost:2181(CONNECTED) 2]

2、創(chuàng)建一個(gè)新的 znode ，使用 create /zkPro myData

[zk: localhost:2181(CONNECTED) 2] create /zkPro myData Created /zkPro [zk: localhost:2181(CONNECTED) 3]

3、再次使用 ls 命令來查看現(xiàn)在 zookeeper 中所包含的內(nèi)容：

[zk: localhost:2181(CONNECTED) 3] ls / [dubbo, default, zookeeper, zkPro] [zk: localhost:2181(CONNECTED) 4]

4、下面我們運(yùn)行 get 命令來確認(rèn)第二步中所創(chuàng)建的 znode 是否包含我們所創(chuàng)建的字符串：

[zk: localhost:2181(CONNECTED) 6] get /zkPro ? ? ?myData cZxid = 0x1146 ctime = Tue Sep 04 10:40:49 CST 2018 mZxid = 0x1146 mtime = Tue Sep 04 10:40:49 CST 2018 pZxid = 0x1146 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 6 numChildren = 0[zk: localhost:2181(CONNECTED) 7]

5、下面我們通過 set 命令來對(duì) zk 所關(guān)聯(lián)的字符串進(jìn)行設(shè)置：

[zk: localhost:2181(CONNECTED) 7] set /zkPro myData123456cZxid = 0x1146 ctime = Tue Sep 04 10:40:49 CST 2018 mZxid = 0x1147 mtime = Tue Sep 04 10:43:59 CST 2018 pZxid = 0x1146 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 12 numChildren = 0[zk: localhost:2181(CONNECTED) 8]

6、下面我們將剛才創(chuàng)建的 znode 刪除

[zk: localhost:2181(CONNECTED) 8] delete /zkPro [zk: localhost:2181(CONNECTED) 9]

?

使用Java API操作zookeeper

使用Java API操作zookeeper需要引用下面的包

com.101tec zkclient 0.10

?

下面我們來實(shí)現(xiàn)上面說的分布式配置中心：

1、在zookeeper里增加一個(gè)目錄節(jié)點(diǎn)，并且把配置信息存儲(chǔ)在里面

[zk: localhost:2181(CONNECTED) 9] create /username zhangsan Created /username [zk: localhost:2181(CONNECTED) 10]

2、啟動(dòng)兩個(gè)zookeeper客戶端程序，代碼如下所示

import java.util.concurrent.CountDownLatch;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.Watcher.Event.EventType;import org.apache.zookeeper.Watcher.Event.KeeperState;import org.apache.zookeeper.ZooKeeper;import org.apache.zookeeper.data.Stat;/** * 分布式配置中心demo * */public class ZooKeeperProSync implements Watcher { ? ?private static CountDownLatch connectedSemaphore = new CountDownLatch(1); ? ?private static ZooKeeper zk = null; ? ?private static Stat stat = new Stat(); ? ?public static void main(String[] args) throws Exception { ? ? ? ?//zookeeper配置數(shù)據(jù)存放路徑 ? ? ? ?String path = "/username"; ? ? ? ?//連接zookeeper并且注冊(cè)一個(gè)默認(rèn)的監(jiān)聽器 ? ? ? ?zk = new ZooKeeper("192.168.188.128:2181", 5000, // ? ? ? ? ? ? ? ?new ZooKeeperProSync()); ? ? ? ?//等待zk連接成功的通知 ? ? ? ?connectedSemaphore.await(); ? ? ? ?//獲取path目錄節(jié)點(diǎn)的配置數(shù)據(jù)，并注冊(cè)默認(rèn)的監(jiān)聽器 ? ? ? ?System.out.println(new String(zk.getData(path, true, stat))); ? ? ? ?Thread.sleep(Integer.MAX_VALUE); ? ?} ? ?public void process(WatchedEvent event) { ? ? ? ?if (KeeperState.SyncConnected == event.getState()) { ?//zk連接成功通知事件 ? ? ? ? ? ?if (EventType.None == event.getType() && null == event.getPath()) { ? ? ? ? ? ? ? ?connectedSemaphore.countDown(); ? ? ? ? ? ?} else if (event.getType() == EventType.NodeDataChanged) { ?//zk目錄節(jié)點(diǎn)數(shù)據(jù)變化通知事件 ? ? ? ? ? ? ? ?try { ? ? ? ? ? ? ? ? ? ?System.out.println("配置已修改，新值為：" + new String(zk.getData(event.getPath(), true, stat))); ? ? ? ? ? ? ? ?} catch (Exception e) { ? ? ? ? ? ? ? ?} ? ? ? ? ? ?} ? ? ? ?} ? ?} }

兩個(gè)程序啟動(dòng)后都正確的讀取到了zookeeper的/username目錄節(jié)點(diǎn)下的數(shù)據(jù)'zhangsan'

3、我們?cè)趜ookeeper里修改下目錄節(jié)點(diǎn)/username下的數(shù)據(jù)

[zk: localhost:2181(CONNECTED) 10] set /username zhangsan123456cZxid = 0x1149 ctime = Tue Sep 04 10:49:11 CST 2018 mZxid = 0x114a mtime = Tue Sep 04 10:52:08 CST 2018 pZxid = 0x1149 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 14 numChildren = 0[zk: localhost:2181(CONNECTED) 11]

修改完成后，我們看見兩個(gè)程序后臺(tái)都及時(shí)收到了他們監(jiān)聽的目錄節(jié)點(diǎn)數(shù)據(jù)變更后的值，如下所示：

zhangsan
配置已修改，新值為：zhangsan123456

?

Zookeeper集群模式安裝

本例搭建的是偽集群模式，即一臺(tái)機(jī)器上啟動(dòng)三個(gè)zookeeper實(shí)例組成集群，真正的集群模式無非就是實(shí)例IP地址不同，搭建方法沒有區(qū)別

Step1：配置JAVA環(huán)境，檢驗(yàn)環(huán)境：java -version

Step2：下載并解壓zookeeper

# cd /usr/local# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz# tar -zxvf zookeeper-3.4.12.tar.gz# cd zookeeper-3.4.12

Step3：重命名 zoo_sample.cfg文件

# cp conf/zoo_sample.cfg conf/zoo-1.cfg

Step4：修改配置文件zoo-1.cfg，原配置文件里有的，修改成下面的值，沒有的則加上

# vim conf/zoo-1.cfgdataDir=/tmp/zookeeper-1 clientPort=2181server.1=127.0.0.1:2888:3888server.2=127.0.0.1:2889:3889server.3=127.0.0.1:2890:3890

配置說明

tickTime：這個(gè)時(shí)間是作為 Zookeeper 服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時(shí)間間隔，也就是每個(gè) tickTime 時(shí)間就會(huì)發(fā)送一個(gè)心跳。
initLimit：這個(gè)配置項(xiàng)是用來配置 Zookeeper 接受客戶端（這里所說的客戶端不是用戶連接 Zookeeper 服務(wù)器的客戶端，而是 Zookeeper 服務(wù)器集群中連接到 Leader 的 Follower 服務(wù)器）初始化連接時(shí)最長(zhǎng)能忍受多少個(gè)心跳時(shí)間間隔數(shù)。當(dāng)已經(jīng)超過 10個(gè)心跳的時(shí)間（也就是 tickTime）長(zhǎng)度后 Zookeeper 服務(wù)器還沒有收到客戶端的返回信息，那么表明這個(gè)客戶端連接失敗。總的時(shí)間長(zhǎng)度就是 10*2000=20 秒
syncLimit：這個(gè)配置項(xiàng)標(biāo)識(shí) Leader 與 Follower 之間發(fā)送消息，請(qǐng)求和應(yīng)答時(shí)間長(zhǎng)度，最長(zhǎng)不能超過多少個(gè) tickTime 的時(shí)間長(zhǎng)度，總的時(shí)間長(zhǎng)度就是 5*2000=10秒
dataDir：顧名思義就是 Zookeeper 保存數(shù)據(jù)的目錄，默認(rèn)情況下，Zookeeper 將寫數(shù)據(jù)的日志文件也保存在這個(gè)目錄里。
clientPort：這個(gè)端口就是客戶端連接 Zookeeper 服務(wù)器的端口，Zookeeper 會(huì)監(jiān)聽這個(gè)端口，接受客戶端的訪問請(qǐng)求。
server.A=B：C：D：其中 A 是一個(gè)數(shù)字，表示這個(gè)是第幾號(hào)服務(wù)器；B 是這個(gè)服務(wù)器的 ip 地址；C 表示的是這個(gè)服務(wù)器與集群中的 Leader 服務(wù)器交換信息的端口；D 表示的是萬一集群中的 Leader 服務(wù)器掛了，需要一個(gè)端口來重新進(jìn)行選舉，選出一個(gè)新的 Leader，而這個(gè)端口就是用來執(zhí)行選舉時(shí)服務(wù)器相互通信的端口。如果是偽集群的配置方式，由于 B 都是一樣，所以不同的 Zookeeper 實(shí)例通信端口號(hào)不能一樣，所以要給它們分配不同的端口號(hào)。

Step5：再從zoo-1.cfg復(fù)制兩個(gè)配置文件zoo-2.cfg和zoo-3.cfg，只需修改dataDir和clientPort不同即可

# cp conf/zoo-1.cfg conf/zoo-2.cfg# cp conf/zoo-1.cfg conf/zoo-3.cfg# vim conf/zoo-2.cfgdataDir=/tmp/zookeeper-2 clientPort=2182# vim conf/zoo-2.cfgdataDir=/tmp/zookeeper-3 clientPort=2183

Step6：標(biāo)識(shí)Server ID

創(chuàng)建三個(gè)文件夾/tmp/zookeeper-1，/tmp/zookeeper-2，/tmp/zookeeper-2，在每個(gè)目錄中創(chuàng)建文件myid 文件，寫入當(dāng)前實(shí)例的server id，即1.2.3

# cd /tmp/zookeeper-1# vim myid1# cd /tmp/zookeeper-2# vim myid2# cd /tmp/zookeeper-3# vim myid3

Step7：啟動(dòng)三個(gè)zookeeper實(shí)例

# bin/zkServer.sh start conf/zoo-1.cfg# bin/zkServer.sh start conf/zoo-2.cfg# bin/zkServer.sh start conf/zoo-3.cfg

Step8：檢測(cè)集群狀態(tài)，也可以直接用命令“zkCli.sh -server IP:PORT”連接zookeeper服務(wù)端檢測(cè)：

至此，我們對(duì)zookeeper就算有了一個(gè)入門的了解，當(dāng)然zookeeper遠(yuǎn)比我們這里描述的功能多，比如用zookeeper實(shí)現(xiàn)集群管理，分布式鎖，分布式隊(duì)列，zookeeper集群leader選舉等等。