欧美一区2区三区4区公司二百,国产精品婷婷午夜在线观看,自拍偷拍亚洲精品,国产美女诱惑一区二区

歡迎來到云服務器

系統配置

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

一、在Ubuntu下創建hadoop組和hadoop用戶

    增加hadoop用戶組,同時在該組里增加hadoop用戶,后續在涉及到hadoop操作時,我們使用該用戶。

 

1、創建hadoop用戶組

 

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0        

 2、創建hadoop用戶

    sudo adduser -ingroup hadoop hadoop

    回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼,輸入回車即可。

    如果不輸入密碼,回車后會重新提示輸入密碼,即密碼不能為空。

    最后確認信息是否正確,如果沒問題,輸入 Y,回車即可。

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0    


3、為hadoop用戶添加權限

 

     輸入:sudo gedit /etc/sudoers

     回車,打開sudoers文件

     給hadoop用戶賦予和root用戶同樣的權限

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

    Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 


二、用新增加的hadoop用戶登錄Ubuntu系統

 

三、安裝ssh

sudo apt-get install openssh-server

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 


安裝完成后,啟動服務

sudo /etc/init.d/ssh start

 

查看服務是否正確啟動:ps -e | grep ssh

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

設置免密碼登錄,生成私鑰和公鑰

ssh-keygen -t rsa -P ""

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

此時會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者為私鑰,后者為公鑰。

下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

 

登錄ssh

ssh localhost

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

退出

exit

 

四、安裝Java環境

sudo apt-get install openjdk-7-jdk

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0


查看安裝結果,輸入命令:java -version,結果如下表示安裝成功。

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

五、安裝hadoop2.4.0
    1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/

 

    2、安裝

 

        解壓

        sudo tar xzf hadoop-2.4.0.tar.gz        

        假如我們要把hadoop安裝到/usr/local下

        拷貝到/usr/local/下,文件夾為hadoop

        sudo mv hadoop-2.4.0 /usr/local/hadoop        

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

        賦予用戶對該文件夾的讀寫權限

        sudo chmod 774 /usr/local/hadoop

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0



3、配置

      

        1)配置~/.bashrc

        

配置該文件前需要知道Java的安裝路徑,用來設置JAVA_HOME環境變量,可以使用下面命令行查看安裝路徑

        update-alternatives - -config java

        執行結果如下:

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0        

    

 

 

 

完整的路徑為

    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

    我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

    配置.bashrc文件

    sudo gedit ~/.bashrc

    

    該命令會打開該文件的編輯窗口,在文件末尾追加下面內容,然后保存,關閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

 

 

最終結果如下圖:

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

執行下面命,使添加的環境變量生效:

        source ~/.bashrc

2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

 

        執行下面命令,打開該文件的編輯窗口

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量,修改此變量如下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改后的hadoop-env.sh文件如下所示:

    Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

六、WordCount測試

 

單機模式安裝完成,下面通過執行hadoop自帶實例WordCount驗證是否安裝成功

    /usr/local/hadoop路徑下創建input文件夾    

mkdir input

 

    拷貝README.txt到input    

cp README.txt input

    執行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0



執行結果:

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

執行 cat output/*,查看字符統計結果

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0


騰訊云代理

Copyright © 2003-2021 MFISP.COM. 國外vps服務器租用 夢飛云服務器租用 版權所有 ? 粵ICP備11019662號

主站蜘蛛池模板: 外汇| 贡嘎县| 怀集县| 施秉县| 剑河县| 建阳市| 越西县| 沂水县| 潮州市| 慈利县| 宁强县| 尉犁县| 宁蒗| 吴旗县| 恭城| 双柏县| 青川县| 寿光市| 湖北省| 荆州市| 兰坪| 正阳县| 威远县| 静海县| 惠东县| 油尖旺区| 丹巴县| 东乡县| 蓝田县| 响水县| 望谟县| 辉南县| 宜黄县| 嘉禾县| 长垣县| 英德市| 金寨县| 遵义市| 宜黄县| 屏边| 昆明市|