欧美一区2区三区4区公司二百,国产精品婷婷午夜在线观看,自拍偷拍亚洲精品,国产美女诱惑一区二区

Hadoop 配置文件說(shuō)明

Hadoop的運(yùn)行方式是由配置文件決定的(運(yùn)行Hadoop時(shí)會(huì)讀取配置文件),因此如果需要從偽分布式模式切換回非分布式模式,需要?jiǎng)h除coresite.xml 中的配置項(xiàng)。 此外,偽分布式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運(yùn)行(官方教程如此),不過(guò)若沒(méi)有配置 hadoop.tmp.dir 參數(shù),則默認(rèn)使 用的臨時(shí)目錄為 /tmp/hadoo-hadoop,而這個(gè)目錄在重啟時(shí)有可能被系統(tǒng)清 理掉,導(dǎo)致必須重新執(zhí)行format才行。所以我們進(jìn)行了設(shè)置,同時(shí)也指定dfs.namenode.name.dir和dfs.datanode.data.dir,否則在接下來(lái)的步驟 中可能會(huì)出錯(cuò)。

2、格式化 NameNode

./bin/hdfs namenode -format

成功的話,會(huì)看到類似如下信息(首次格式化會(huì)有警告,閱讀后可以忽略)

如果提示:
Error:JAVA_HOME is not set and could not be found
可能是沒(méi)有配置JAVA_HOME 環(huán)境變量

vim ~/.bashrc ? ? #打開hadoop用戶的環(huán)境變量,把下邊幾行粘進(jìn)去

Esc+ZZ保存退出

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH ? ?

如果還是出現(xiàn)
Error: JAVA_HOME is not set and could not be found.
那么請(qǐng)hadoop的安裝目錄修改配置文件
“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”
在里面找到“export JAVA_HOME=${JAVA_HOME}”這行,然后,把它修改成 JAVA 安裝路徑的具體地址,比如“export JAVA_HOME=/usr/lib/jvm/default-java”,然后,再次啟動(dòng) Hadoop。
3. 開啟 2 個(gè)守護(hù)進(jìn)程(NameNode 和 DataNode)

這一步常見錯(cuò)誤:

? ? (1)如果提示“public/private ……denied”的信息,表示“ssh 免密登錄”設(shè)置失敗,請(qǐng)重 新設(shè)置。
? ? (2) 啟動(dòng) Hadoop 時(shí)提示 Could not resolve hostname 。 如果啟動(dòng)Hadoop 時(shí)遇到輸 出非常多“ssh:Could not resolve hostname xxx”的異常情況,這個(gè)并不是 ssh 的問(wèn)題,可通過(guò)設(shè)置 Hadoop環(huán)境變量來(lái)解決。
? ? 首先按鍵盤的 ctrl + c 中斷啟動(dòng),然后在 ~/.bashrc 中, 增加如下兩行內(nèi)容(設(shè)置過(guò)程與 JAVA_HOME環(huán)境變量一樣,其中 HADOOP_HOME 為 Hadoop 的安裝目錄):
export ?HADOOP_HOME=/usr/local/hadoop?
export ?HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

保存后,務(wù)必執(zhí)行:

? source ~/.bashrc ? ? #使變量生效
? ./sbin/start-dfs.sh ? #啟動(dòng)Hadoop

判斷是否成功啟動(dòng)
啟動(dòng)完成后,可以通過(guò)命令jps來(lái)判斷是否成功啟動(dòng),若成功啟動(dòng)則會(huì)列出如下進(jìn)程:
“NameNode”、”DataNode”和“SecondaryNameNode”
(如果SecondaryNameNode 沒(méi)有啟動(dòng),請(qǐng)運(yùn)行 sbin/stop-dfs.sh 關(guān)閉進(jìn)程,然后再次嘗試啟動(dòng)嘗試)。如果沒(méi)有 NameNode 或 DataNode ,那就是配置不成功,請(qǐng)仔細(xì)檢查之前步驟,或通過(guò)查看啟動(dòng)日志排查原因。
Hadoop 無(wú)法正常啟動(dòng)的解決方法:
一般可以查看啟動(dòng)日志來(lái)排查原因,注意幾點(diǎn):
? 啟動(dòng)時(shí)會(huì)提示形如

> “DBLab-XMU: starting namenode, logging to
> /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”

其中DBLab-XMU 對(duì)應(yīng)你的機(jī)器名,但其實(shí)啟動(dòng)日志信息是記錄在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log
所以應(yīng)該查看這個(gè)后綴為 .log 的文件;

? 每一次的啟動(dòng)日志都是追加在日志文件之后,所以得拉到最后面看,對(duì)比下記錄的時(shí)間就知道了。

? 一般出錯(cuò)的提示在最后面,通常是寫著 Fatal、Error、Warning或者Java Exception 的地方。

? 可以在網(wǎng)上搜索一下出錯(cuò)信息,看能否找到一些相關(guān)的解決方法。
此外,若是 DataNode 沒(méi)有啟動(dòng),可嘗試如下的方法(注意這會(huì)刪除 HDFS 中 原有的所有數(shù)據(jù),如果原有的數(shù)據(jù)很重要請(qǐng)不要這樣做):

針對(duì) DataNode 沒(méi)法啟動(dòng)的解決方法

cd /usr/local/hadoop ? ? ? ? ?#切換目錄
./sbin/stop-dfs.sh ? ? ? ? ? ?# 關(guān)閉
rm -r ./tmp ? ? ? ? ? ? ? ? ? # 刪除 tmp 文件,注意這會(huì)刪除 HDFS 中原有的所有數(shù)據(jù)?
./bin/hdfs namenode -format ? # 重新格式化 NameNode?
./sbin/start-dfs.sh ? ? ? ? ? # 重啟?

?

?

?

?

文章鏈接: http://www.qzkangyuan.com/20808.html

文章標(biāo)題:Hadoop 配置文件說(shuō)明

文章版權(quán):夢(mèng)飛科技所發(fā)布的內(nèi)容,部分為原創(chuàng)文章,轉(zhuǎn)載請(qǐng)注明來(lái)源,網(wǎng)絡(luò)轉(zhuǎn)載文章如有侵權(quán)請(qǐng)聯(lián)系我們!

聲明:本站所有文章,如無(wú)特殊說(shuō)明或標(biāo)注,均為本站原創(chuàng)發(fā)布。任何個(gè)人或組織,在未征得本站同意時(shí),禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺(tái)。如若本站內(nèi)容侵犯了原著者的合法權(quán)益,可聯(lián)系我們進(jìn)行處理。

給TA打賞
共{{data.count}}人
人已打賞
建站教程

hadoop偽分布配置

2023-5-26 13:12:18

建站教程

Web 界面查看 Nodes 信息

2023-5-26 13:21:13

0 條回復(fù) A文章作者 M管理員
    暫無(wú)討論,說(shuō)說(shuō)你的看法吧
?
個(gè)人中心
購(gòu)物車
優(yōu)惠劵
今日簽到
有新私信 私信列表
搜索
主站蜘蛛池模板: 万安县| 漳浦县| 塘沽区| 宜城市| 麟游县| 张掖市| 商城县| 岳西县| 灵璧县| 定日县| 大理市| 临西县| 介休市| 东乌珠穆沁旗| 台湾省| 格尔木市| 酒泉市| 云安县| 涟水县| 廊坊市| 陆良县| 台州市| 本溪| 德保县| 乾安县| 万州区| 资兴市| 塔城市| 高淳县| 九寨沟县| 南通市| 涿州市| 阳高县| 迁安市| 将乐县| 余江县| 四会市| 达尔| 江津市| 蚌埠市| 同仁县|