相關(guān)商品

  • 奧松 樹莓派原型擴展板 Prototype Shield for Raspberry Pi 支持3B/3B+
  • 愛上Raspberry Pi 3代套件 樹莓派全家福入門套件 7寸液晶屏
  • AMP 安普超五類網(wǎng)線 原裝 Raspberry Pi 樹莓派 pcDuino專用 網(wǎng)線
  • 2.4G USB 無線鍵盤 觸摸鼠標 Banana Pi Raspberry pi3 樹莓派B+ 樹莓派3代
  • Pcduino 超越樹莓派 Arduino ARM Cortex-A8 支持Android Linux
  • 雙頭HDMI連接線 高清外置HDMI線 轉(zhuǎn)接線 樹莓派 PcDuino接線
  •  樹莓派 二代 Raspberry Pi Mod B 512MB REV2.0 英標綠版
  • iPazzPort 迷你無線鍵盤鼠標 免驅(qū) 即插即用 樹莓派 pcduino專用
  • 通用AV數(shù)據(jù)線 樹莓派套件 AV視頻線 優(yōu)質(zhì)接頭 7寸液晶顯示器專用
  • 樹莓派系統(tǒng) SD卡 8G存儲 金士頓 數(shù)碼相機 手機 汽車導航
  • HDMI轉(zhuǎn)VGA 高清適配器 轉(zhuǎn)換器 轉(zhuǎn)接線 Apple 樹莓派 PcDuino專用
  • PcDuino 樹莓派控制器 開關(guān)電源適配器 5V 2A 充電器 適配器
  • Raspberry Pi 樹莓派 B+ 2代 pcDuino專用 散熱片 純銅 CPU散熱
  • RS原裝 樹莓派 二代 Raspberry Pi Mod B 512MB REV2.0
  • 樹莓派 Raspberry PI 美國進口 外殼 黃色 散熱片 Sparkfun原裝
  • 樹莓派 Raspberry PI 美國進口 外殼 黑色 散熱片 Sparkfun原裝
  • 愛上Raspberry Pi 入門套件 樹莓派3套件 愛上樹莓派套件 含中文教材 現(xiàn)貨
  • Raspberry Pi 3 樹莓派3攝像頭 Camera V2 element14 800萬像素
  • 樹莓派外殼盒 Raspberry Pi 外殼 粉色 散熱片 Sparkfun原裝進口
  • Raspberry Pi 樹莓派 TF轉(zhuǎn)SD卡套 轉(zhuǎn)接器 TF卡套 樹莓派專用
  • Raspberry Pi 樹莓派 B+ 2代 PcDuino專用 純鋁 CPU散熱片 3片
  • 樹莓派 Raspberry Pi 亞克力 透明 外殼 盒子 保護盒子 防靜電
  • Gertboard 樹莓派擴展板 Raspberry Pi專用 Sparkfun 原裝進口
  • 樹莓派 Raspberry Pi 美國進口 外殼 藍色 散熱片  sparkfun原裝進口
  • Raspberry Pi 樹莓派 用戶指南 愛上樹莓派 linux開發(fā)板 入門教材
  • Prototype Shield for RasPi 樹莓派 Raspberry Pi 原型擴展板
  • Raspberry Pi 快速入門指南 愛上樹莓派指南 中文教材
  • 12V 1A 開關(guān)電源適配器 樹莓派 Raspberry Pi 液晶屏 適配器
  • Raspberry Pi Python 編程入門 樹莓派 快速入門指南 中文教材
  • PiFace 擴展板 樹莓派 Raspberry Pi GPIO 擴展板 Sparkfun 原裝
  • Micro USB 數(shù)據(jù)線 Raspberry Pi 樹莓派 mini usb顯示器 連接線
  • 樹莓派B+外殼 Raspberry PI 黑色 包裝殼 Sparkfun原裝 美國進口
  • 樹莓派應(yīng)用速成 Raspbmc媒體中心 愛上樹莓派 入門指南
  • 樹莓派應(yīng)用速成 網(wǎng)絡(luò)應(yīng)用秘方 愛上樹莓派 快速入門指南
  • 奧松機器人 樹莓派1B+ Raspberry Pi 1B+
  • Raspberry pi 2代 3代 樹莓派控制器B+ 支架 3D打印 機器人固定架
  • 愛上Raspberry Pi 第2版 樹莓派編程快速入門手冊 零基礎(chǔ) 入門學習必備中文教材
  • 7寸液晶屏 樹莓派顯示器 HDMI 高清全彩 車載顯示器 Raspberry Pi
  • Adafruit 原裝進口 Pimoroni PiBrella Raspberry PI 樹莓派配套
  • Adafruit 原裝進口 Pimoroni PiGlow Raspberry PI 樹莓派2代
  • Adafruit 國外原裝進口 Raspberry Pi 2代 3代 樹莓派原型擴展板 面包板
  • Adafruit 國外原裝進口 Raspberry Pi 2代 3代 樹莓派原型擴展板 面包板
  • Adafruit原裝進口 PiTFT外殼 Raspberry Pi 樹莓派B專用一體外殼
  • adafruit 原裝進口 Printrbot 1405型號3D打印機 3D打印塑形機
  • Adafruit 原裝進口 MonkMakes Raspberry Pi2 樹莓派 電機驅(qū)動板
  • 樹莓派愛好者學習 樹莓派媒體中心 網(wǎng)絡(luò)應(yīng)用秘方 樹莓派學習套餐搭配組合
  • 樹莓派外殼 Raspberry Pi 外殼 適用B+/2B/3B/3B+ 彩色 通用樂高外殼
  • 樹莓派3代B型套件 愛上樹莓派 Raspberry Pi 編程開發(fā)套件
  • 樹莓派3控制器 HiFiBox DAC 樹莓派擴展板 機器人聲卡 I2S DAC+
  • 樹莓派瑞士軍刀擴展板 SAKS April v2.0版 Raspberry Pi 通用兼容
  • 樹莓派Pico 微控制器 Raspberry Pi Pico AI開發(fā)板 RP2040雙核處理器
  • 當前位置: 首頁 > 應(yīng)用教程 > 【創(chuàng)客學堂】樹莓派搭建Hadoop集群

    【創(chuàng)客學堂】樹莓派搭建Hadoop集群

    編輯:anna2013-12-31 24055570@qq.com 瀏覽次數(shù):1682


    Hadoop是由Java實現(xiàn)的, 所以在樹莓派上運行就和在其他x86平臺上運行一樣簡單. 首先, 我們需要安裝支持樹莓派的JVM. 可以選用OpenJDK或者Oracle的JDK 8. 我個人推薦JDK8, 其速度稍微快些, 但是OpenJDK安裝更容易些.

    1. 安裝Java

    安裝OpenJDK十分簡單, 只要執(zhí)行以下命令

    pi@raspberrypi ~ $ sudo apt-get install openjdk-7-jdk
    pi@raspberrypi ~ $ java -version
    java version "1.7.0_07"
    OpenJDK Runtime Environment (IcedTea7 2.3.2) (7u7-2.3.2a-1+rpi1)
    OpenJDK Zero VM (build 22.0-b10, mixed mode)
    另外, 我們可以選擇安裝Oracle的JDK 8.
    可以從這獲得: https://jdk8.java.net/fxarmpreview/index.html

    pi@raspberrypi ~ $sudo tar zxvf jdk-8-ea-b36e-linux-arm-hflt-*.tar.gz -C /opt
    pi@raspberrypi ~ $sudo update-alternatives --install "/usr/bin/java"
    "java" "/opt/jdk1.8.0/bin/java" 1
    pi@raspberrypi ~ $ java -version
    java version "1.8.0-ea"
    Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e)
    Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode)

    如果你兩個都裝了, 用以下命令來切換即可:

    sudo update-alternatives --config java

    2. 新增一個hadoop系統(tǒng)用戶

    pi@raspberrypi ~ $ sudo addgroup hadoop
    pi@raspberrypi ~ $ sudo adduser --ingroup hadoop hduser
    pi@raspberrypi ~ $ sudo adduser hduser sudo

    3. 設(shè)置SSH

    pi@raspberrypi ~ $ su - hduserhduser@raspberrypi ~ $ ssh-keygen -t rsa -P ""
    這會生成一個匹配空密碼的RSA密鑰. 在與其他節(jié)點通訊時Hadoop將不再提示輸入密碼

    hduser@raspberrypi ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    現(xiàn)在設(shè)置SSH允許用剛生成的密鑰訪問

    hduser@raspberrypi ~$ ssh localhost
    現(xiàn)在我們就應(yīng)該可以不使用密碼也可以登錄了

    4. 安裝Hadoop

    我們可以從http://www.apache.org/dyn/closer.cgi/hadoop/core下載hadoop

    hduser@raspberrypi ~$ wget http://mirror.catn.com/pub/apach ... hadoop-1.1.2.tar.gz
    hduser@raspberrypi ~$sudo tar vxzf hadoop-1.1.2.tar.gz -C /usr/local
    hduser@raspberrypi ~$cd /usr/local
    hduser@raspberrypi /usr/local$ sudo mv hadoop-1.1.2 hadoop
    hduser@raspberrypi /usr/local$ sudo chown -R hduser:hadoop hadoop

    現(xiàn)在hadoop就安裝好了. 編譯home目錄下的.bashrc文件, 將以下內(nèi)容添加到其中

    export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-armhf
    export HADOOP_INSTALL=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_INSTALL/bin

    如果你用的是oracle的JDK, 相應(yīng)的修改JAVA_HOME.

    重啟一下樹莓派來驗證安裝是否成功:

    hduser@raspberrypi ~$ hadoop version
    Hadoop 1.1.2
    Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/
    branch-1.1 -r 1440782
    Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013
    From source with checksum c720ddcf4b926991de7467d253a79b8b

    5. 配置Hadoop

    注意: 這里的配置是hadoop單節(jié)點模式的最低配.

    配置文件位于"/usr/local/hadoop/conf/", 我們需要修改core-site.xml, hdfs-site.xml, mapred-site.xml三個文件
    core-site.xml

    < configuration>

    hadoop.tmp.dir
    /fs/hadoop/tmp


    fs.default.name
    hdfs://localhost:54310

    < /configuration>
    mapred-site.xml

    < configuration>

    mapred.job.tracker
    localhost:54311

    < /configuration>
    hdfs-site.xml

    < configuration>

    dfs.replication
    1

    < /configuration>

    哦了, 即將完工, 還剩最后一步.

    hduser@raspberrypi ~$ sudo mkdir -p /fs/hadoop/tmp
    hduser@raspberrypi ~$ sudo chown hduser:hadoop /fs/hadoop/tmp
    hduser@raspberrypi ~$ sudo chmod 750 /fs/hadoop/tmp
    hduser@raspberrypi ~$hadoop namenode -format

    注意:
    如果選用的是JDK 8, 我們需要強制在JVM client模式下運行DataNode, 因為JDK 8還不支持server模式. 進入/usr/local/hadoop/bin目錄中來編輯hadoop文件(請先備份). 使用nano進行修改的步驟如下:nano hadoop, ctrl-w輸入“-server”進行查找. 我們需要刪除“-server”這個參數(shù), 然后保存退出就行了.

    hadoop單節(jié)點系統(tǒng)就算是搭建完成了. 下面給一些有用的命令.

    1. jps // 輸出本地VM標識符
    2. start-all.sh // 啟動所有hadoop進程
    3. stop-all.sh // 停止所有hadoop進程
     

     

    相關(guān)文章:

    玩轉(zhuǎn)樹莓派之GPIO輸入與輸出:http://m.lifestyle201.com/article-233.html

    Raspberry Pi樹莓派顯示屏RCA接口:http://m.lifestyle201.com/article-211.html

    玩轉(zhuǎn)樹莓派 Raspberry Pi之視頻輸出配置:http://m.lifestyle201.com/article-208.html

    如何在windows系統(tǒng)下用串口通信完爆raspberry pi(樹莓派):http://m.lifestyle201.com/article-141.html

    活用樹莓派攝像頭 小米手機變身監(jiān)控利器:http://m.lifestyle201.com/article-129.html

    樹莓派又有新功能:搖變網(wǎng)絡(luò)打印機服務(wù)器:http://alsrobot.cn/article-241.html

    • 用戶評價

    暫時還沒有任何用戶評論

    總計 0 個記錄,共 1 頁。 第一頁 上一頁 下一頁 最末頁
    用戶名: 匿名用戶
    E-mail:
    評價等級:
    評論內(nèi)容:
    驗證碼:
    captcha

    Hi,大家好,我是小奧!

    歡迎來到奧松機器人的世界!

    需要咨詢服務(wù)請點小奧哦!

    • 銷售咨詢: 銷售咨詢
    • 銷售咨詢: 銷售咨詢
    • 技術(shù)支持: 技術(shù)支持
    • 咨詢電話:
      0451-86628691
    Top