一、怎么利用hadoop搭建自己的云計(jì)算

(1) 我們?yōu)榱四軌蚋臃奖銇碜R(shí)別主機(jī)，我們使用主機(jī)名而不是使用IP地址，以免多處配置帶來更多的麻煩。把hd-master、hd-node1、hd-node2三臺(tái)虛擬機(jī)服務(wù)器中的主機(jī)名（hostname）分別更改為master、node1、node2。

命令如下:

cd /etc/?? // 進(jìn)入配置目錄

vi hostname? // 編程hostname 配置文件

先點(diǎn)擊 Esc : wq 保存

在另外兩個(gè)節(jié)點(diǎn)上進(jìn)行相同的操作

(2) 開啟主機(jī)的DHCP模式，自動(dòng)獲取ip地址。方法如下：

cd /etc/sysconfig/network-scripts/?????????? //進(jìn)入網(wǎng)卡編輯目錄

vi ifcfg-enp16777736???????????????????????? //編輯網(wǎng)卡enp0s3的配置文件

重啟網(wǎng)卡 service network restart

(3) 配置hosts

配置 hosts 主要是為了讓機(jī)器能夠相互識(shí)別主機(jī)

注：hosts文件是域名解析文件，在hosts文件內(nèi)配置了 ip地址和主機(jī)名的對(duì)應(yīng)關(guān)系，配置之后，通過主機(jī)名，電腦就可以定位到相應(yīng)的ip地址 。

vi /etc/hosts

在hosts配置文件內(nèi)容輸入如下內(nèi)容：使用同樣的方式更改node1和node2的網(wǎng)卡配置。

(4) ssh 免密登錄

ssh? 一路回車

?ssh-keygen

使用如下命令將公鑰復(fù)制要node1和node2節(jié)點(diǎn)中:

ssh-copy-id root@node1

ssh-copy-id root@localhost

ssh-copy-id root@node2

使用 ssh node1 實(shí)驗(yàn)是否能免密登錄

注意：ssh免密設(shè)置后會(huì)在如下目錄生成四個(gè)文件

(5) JDK環(huán)境安裝(環(huán)境配置好后, 拷貝帶其他節(jié)點(diǎn))

在 master 中新建目錄 /opt/bigdata/, 此目錄下存放 hadoop 大數(shù)據(jù)所需要的環(huán)境包.

把下載好的JDK包和hadoop上傳至master主機(jī)中,JDK是安裝Hadoop的基礎(chǔ)環(huán)境，所以需要優(yōu)先安裝好JDK環(huán)境(較好把包考到opt目錄下下)

??????? 連接好后將文件拖到opt目錄下即可

解壓 JDK 并配置環(huán)境變量

tar -zxvf jdk-8u181-linux-x64.tar.gz

?mv jdk1.8.0_181/ bigdata/

然后我們配置環(huán)境變量

vi /etc/profile

source /etc/profile??

java -version?????? #驗(yàn)證環(huán)境是否配置成功

(6)Hadoop 安裝(環(huán)境配置好后, 拷貝帶其他節(jié)點(diǎn))

把 hadoop 的壓縮包解壓在當(dāng)前文件夾然后移動(dòng)到 bigdata 目錄下

tar -zxvf hadoop-3.1.1.tar.gz

mv hadoop-3.1.1 bigdata/

配置 hadoop 環(huán)境變量

注：環(huán)境變量是讓系統(tǒng)變量，在環(huán)境變量配置的命令目錄后，該目錄的命令將可以在任何位置都可以使用。

source profile

hadoop verison

配置 hadoop

cd /opt/bigdata/hadoop-3.1.1/etc/hadoop/

我們需要對(duì)?? core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml進(jìn)行配置

(1) 配置 hadoop-env.sh

編輯hadoop-env.sh文件。

命令如下:

vi hadopp-env.sh

查找JAVA_HOME 配置的位置

:/export JAVA_HOME

輸入JAVA_HOME的絕對(duì)路徑。

export JAVA_HOME=/opt/bigdata/jdk1.8.0_181???? (要把前面的注釋#去掉)

延伸閱讀：

二、什么是數(shù)據(jù)庫和數(shù)據(jù)庫管理系統(tǒng)

數(shù)據(jù)庫的應(yīng)用非常廣泛，舉個(gè)例子，我們平時(shí)在瀏覽器上搜索內(nèi)容，就要用到數(shù)據(jù)庫去檢索我們的關(guān)鍵字。以前我們可能會(huì)用數(shù)組、集合、文件等來存儲(chǔ)數(shù)據(jù)，但是接下來我們就會(huì)面臨一個(gè)問題，當(dāng)存儲(chǔ)的數(shù)據(jù)或內(nèi)容過多的時(shí)候，我們?nèi)绾稳ゾ珳?zhǔn)的找到我們需要的東西，這時(shí)候數(shù)據(jù)庫管理系統(tǒng)就派上了用場。除此之外，數(shù)據(jù)庫管理系統(tǒng)還能永久的儲(chǔ)存我們的數(shù)據(jù)。

為了便于大家理解，這里先給大家講解幾個(gè)概念

DB數(shù)據(jù)庫（database)：存儲(chǔ)數(shù)據(jù)的“倉庫”。它保存了一系列有組織的數(shù)據(jù)。

DBMS數(shù)據(jù)庫管理系統(tǒng)（Database Management System)：數(shù)據(jù)庫是通過DBMS創(chuàng)建和操作的容器。