欧美一区2区三区4区公司二百,国产精品婷婷午夜在线观看,自拍偷拍亚洲精品,国产美女诱惑一区二区

歡迎來到云服務器

系統配置

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

一、在Ubuntu下創建hadoop組和hadoop用戶

    增加hadoop用戶組,同時在該組里增加hadoop用戶,后續在涉及到hadoop操作時,我們使用該用戶。

 

1、創建hadoop用戶組

 

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0        

 2、創建hadoop用戶

    sudo adduser -ingroup hadoop hadoop

    回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼,輸入回車即可。

    如果不輸入密碼,回車后會重新提示輸入密碼,即密碼不能為空。

    最后確認信息是否正確,如果沒問題,輸入 Y,回車即可。

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0    


3、為hadoop用戶添加權限

 

     輸入:sudo gedit /etc/sudoers

     回車,打開sudoers文件

     給hadoop用戶賦予和root用戶同樣的權限

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

    Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 


二、用新增加的hadoop用戶登錄Ubuntu系統

 

三、安裝ssh

sudo apt-get install openssh-server

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 


安裝完成后,啟動服務

sudo /etc/init.d/ssh start

 

查看服務是否正確啟動:ps -e | grep ssh

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

設置免密碼登錄,生成私鑰和公鑰

ssh-keygen -t rsa -P ""

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

此時會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者為私鑰,后者為公鑰。

下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

 

登錄ssh

ssh localhost

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

退出

exit

 

四、安裝Java環境

sudo apt-get install openjdk-7-jdk

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0


查看安裝結果,輸入命令:java -version,結果如下表示安裝成功。

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

五、安裝hadoop2.4.0
    1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/

 

    2、安裝

 

        解壓

        sudo tar xzf hadoop-2.4.0.tar.gz        

        假如我們要把hadoop安裝到/usr/local下

        拷貝到/usr/local/下,文件夾為hadoop

        sudo mv hadoop-2.4.0 /usr/local/hadoop        

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

        賦予用戶對該文件夾的讀寫權限

        sudo chmod 774 /usr/local/hadoop

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0



3、配置

      

        1)配置~/.bashrc

        

配置該文件前需要知道Java的安裝路徑,用來設置JAVA_HOME環境變量,可以使用下面命令行查看安裝路徑

        update-alternatives - -config java

        執行結果如下:

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0        

    

 

 

 

完整的路徑為

    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

    我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

    配置.bashrc文件

    sudo gedit ~/.bashrc

    

    該命令會打開該文件的編輯窗口,在文件末尾追加下面內容,然后保存,關閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

 

 

最終結果如下圖:

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

執行下面命,使添加的環境變量生效:

        source ~/.bashrc

2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

 

        執行下面命令,打開該文件的編輯窗口

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量,修改此變量如下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改后的hadoop-env.sh文件如下所示:

    Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

 

 

六、WordCount測試

 

單機模式安裝完成,下面通過執行hadoop自帶實例WordCount驗證是否安裝成功

    /usr/local/hadoop路徑下創建input文件夾    

mkdir input

 

    拷貝README.txt到input    

cp README.txt input

    執行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0



執行結果:

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0

執行 cat output/*,查看字符統計結果

Ubuntu 14.04系統安裝單機模式的Hadoop2.4.0


騰訊云代理

Copyright © 2003-2021 MFISP.COM. 國外vps服務器租用 夢飛云服務器租用 版權所有 ? 粵ICP備11019662號

主站蜘蛛池模板: 家居| 浦东新区| 晴隆县| 玉环县| 梁河县| 定西市| 阳曲县| 平湖市| 伊春市| 吐鲁番市| 梁河县| 徐闻县| 麦盖提县| 鄱阳县| 娱乐| 襄樊市| 勐海县| 逊克县| 自治县| 阿拉善左旗| 大洼县| 南平市| 都江堰市| 灵石县| 靖江市| 汝南县| 鲁山县| 那坡县| 屯昌县| 田林县| 平阴县| 大悟县| 阜宁县| 曲周县| 军事| 益阳市| 杭锦旗| 桃园市| 广汉市| 庄河市| 论坛|