在Linux中部署集群(零基礎(chǔ)速學(xué)！)
2021-09-03 18:29:41

博主上篇的文章講的是偽分布式部署，那么接下來進行分布時的教學(xué)，先從搭建集群開始，為分布式開發(fā)環(huán)境做準(zhǔn)備。

?

?

---

1. 克隆虛擬機

在這里我們直接克隆[Centos版]Hadoop運行環(huán)境的具體搭建過程(超詳細)
這篇文章中的快照
快照很有必要，如果不知道怎樣打快照的同學(xué)在虛擬機關(guān)機后，右鍵虛擬機->快照->快照管理器

• 1. 選擇要克隆的快照
  
• 2. 選擇完整克隆
  
• 3. 克隆后
  

2. 更改系統(tǒng)的mac地址

為什么要改mac地址呢？
因為每個機器的mac地址都是獨一無二的，但是克隆的機器會有兩個，需要刪除掉原有的mac地址

[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules 

3. 更改網(wǎng)卡信息

[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 

#  我自己的網(wǎng)卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2

怎樣判斷自己修改是否成功：ifconfig

4. 更改主機名

[root@hadoop001 ~]# vim /etc/sysconfig/network

5. 添加別名

[root@hadoop001 ~]# vim /etc/hosts

# 下面為博主本人設(shè)的別名，別名設(shè)置盡量相似，這樣后面會很方便
192.168.2.112   hadoop002
192.168.2.113   hadoop003
192.168.2.114   hadoop004

6. 關(guān)閉防火墻

內(nèi)網(wǎng)環(huán)境安全性比較高，開啟防火墻會影響效率，所以需要關(guān)閉防火墻

#  查看防火墻的狀態(tài)
service iptables status
     
#  啟動防火墻的服務(wù)
service iptables start
    
#  關(guān)閉防火墻服務(wù)
service iptables stop

#  徹底關(guān)閉防火墻
chkconfig iptables off

7. 關(guān)閉selinux

[root@hadoop001 桌面]# vim /etc/selinux/config 

• 下面需要重啟，才能使以上的所有修改生效

8. SCP遠程文件拷貝

scp（secure copy）安全拷貝
scp定義：scp可以實現(xiàn)服務(wù)器與服務(wù)器之間的數(shù)據(jù)拷貝。（from server1 to server2）

基本語法：
scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   遞歸         要拷貝的文件路徑/名稱       目的用戶@主機:目的路徑/名稱

# 拷貝文件
# 將hadoop101中/etc/profile文件拷貝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile


# 拷貝文件夾
# 在hadoop101上，將hadoop101中/opt/module目錄下的軟件拷貝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module  root@hadoop002:/opt/module

注意：拷貝過來的/opt/module目錄，別忘了在hadoop002、hadoop003、hadoop004上修改所有文件的，所有者和所有者組。sudo chown bigdata:bigdata -R /opt/module

9. SSH 遠程登錄

1. 基于密碼的登錄

命令	含義
ssh ip地址	遠程登錄到指定服務(wù)器

首次遠程登錄會詢問yes/on ，以后就不會出現(xiàn)了

2. 無密鑰配置(免密登錄)

• 1. ssh-keygen -t rsa+ 三個回車 在hadoop002，hadoop003，hadoop004上面分別執(zhí)行命令，產(chǎn)生公鑰和私鑰
• 2. ssh-copy-id hadoop002將公鑰拷貝到hadoop002上面去，以此類推，全部拷貝完畢

配置完成后，就可以免密登錄了

注意：
① 第一次拷貝的時候需要輸入密碼，另外在拷貝除了自身虛擬機公鑰的時候，需要在root賬號下進行

②想要查看當(dāng)前虛擬機能夠被哪些虛擬機免密登錄，可以vim /root/.ssh/authorized_keys

10. 總結(jié)

搭建集群的過程很繁瑣，并且稍有不慎就不會出錯，所以各位小伙伴們需要多多練習(xí)，熟能生巧。

---

各位路過的朋友，如果覺得可以學(xué)到些什么的話，點個贊再走吧，歡迎各位路過的大佬評論，指正錯誤，也歡迎有問題的小伙伴評論留言，私信。每個小伙伴的關(guān)注都是本人更新博客的動力?。?！