Krótkie wprowadzenie do procesu budowania środowiska Hadoop
Hadoop odgrywa kluczową rolę w systemie technologii big data. Hadoop to podstawa technologii Big Data. Solidne zrozumienie podstawowej wiedzy Hadoop określi, jak daleko zajdziesz na drodze technologii big data. Przyjrzyjmy się procesowi budowania pseudorozproszonego środowiska Hadoop.
Etap instalacji:
I. Instalacja systemu operacyjnego Ubuntu
II. Twórz grupy użytkowników i użytkowników Hadoop w Ubuntu
1 sudo gedit/etc/sudoers
Otwórz plik / etc / sudoers. Nadaj użytkownikowi Hadoop takie same uprawnienia jak użytkownikowi root. w
1 pierwiastek WSZYSTKO= (WSZYSTKO: WSZYSTKO) WSZYSTKO
Dodaj poniżej:
1 hadoop WSZYSTKO = (WSZYSTKO: WSZYSTKO) WSZYSTKO
III. Zainstaluj JDK pod Ubuntu.
1. Utwórz katalog instalacyjny JDK.
(1) Ponieważ używam systemu Ubuntu zainstalowanego przez VMware, konfiguruję lokalny folder thisceshi, który ma być udostępniany systemowi Ubuntu. Określony katalog instalacyjny to:/usr/local/java. Jednak po zainstalowaniu systemu nie ma katalogu java w /usr/local. Wymaga to od nas stworzenia folderu java.
Wejdź do folderu /usr/local:
1 cd/usr/lokalny
Utwórz folder java:
1 sudo mkdir/usr/local/java
Rozpakuj JDK do katalogu docelowego
Wpisz folder udostępniony thisceshi:
1 cd/mnt/hgfs/thisceshi
Następnie wejdź do folderu współdzielonego i kontynuuj dekompresję JDK do wcześniej zbudowanego folderu Java:
2. Zainstaluj jdk.
3. Skonfiguruj zmienne środowiskowe.
1 sudo gedit/etc/profil
(2) Dodaj zmienne:
# ustaw środowisko java
Eksportuj JAVA_HOME=/usr/local/java/jdk1.6.0_30
Eksportuj JRE_HOME=/usr/local/java/jdk1.6.0_30/jre
Eksportuj CLASSPATH=.: $JAVA_HOME/lib: $JRE_HOME/lib: $CLASSPATH
Eksportuj PATH= $JAVA_HOME/bin: $JRE_HOME/bin: $JAVA_HOME: $PATH
Ogólnie rzecz biorąc, po zmianie pliku /etc/profile należy ponownie uruchomić komputer, aby odniósł skutek. Tutaj możemy skorzystać z poniższych instrukcji, aby plik konfiguracyjny zaczął obowiązywać natychmiast:
Źródło/etc/profil
(3) Sprawdź, czy zmienne środowiskowe Java zostały pomyślnie skonfigurowane:
Wersja Java
Jest to pokazane w następujący sposób:
Wersja Java „1.6.0_30”
Środowisko wykonawcze Java (TM) SE (kompilacja 1.6.0_30-b12)
Java HotSpot (TM) Client VM (kompilacja 20.5-b03, tryb mieszany, udostępnianie)
Jednak w rootowaniu wszystko jest normalne i występuje problem z użytkownikiem hadoop:
Program „java” jest już zawarty w następującym pakiecie:
*gcj-4. 4-jre-bezgłowy
* openjdk-6-jre-bezgłowy
* kakao
* gij-4. 3
* jamvm
W terminalu uruchamiamy odpowiednio następujące instrukcje:
Sudo update-alternatives-install/usr/bin/java java/usr/local/java/jdk1.6.0_30/bin/java 300
Sudo update-alternatives-install/usr/bin/javac javac/usr/local/java/jdk1.6.0_30/bin/javac 300
Rozwiązywanie problemów.
IV. Zmień nazwę maszyny.
Gdy ubuntu zostanie pomyślnie zainstalowany, domyślna nazwa naszego komputera to ubuntu. Aby jednak w przyszłości móc łatwo odróżnić każdy serwer w klastrze, każdemu komputerowi należy nadać inną nazwę. Nazwa komputera jest określona przez plik /etc/hostname. To jest początek mojej powtórki według samouczka online. W rzeczywistości, budując budynki pseudorozproszone, można to uratować. W przeciwnym razie spowoduje to niepotrzebne problemy.
Sudo gedit/etc/nazwa hosta
2. Następnie dodaj s15 do nazwy hosta.
3. S15 to alias bieżącego użytkownika. Nie zacznie działać, dopóki system nie zostanie tutaj ponownie uruchomiony.
Hadoop@s15: ~ $
V. Instalacja usługi SSH.
1. Zainstaluj serwer openssh:
Sudo apt-get install openssh-server
2. Poczekaj na instalację.
VI. Ustanów ssh bez hasła logowania do komputera.
VII. Zainstaluj hadoopa.
VIII. Uruchamianie hadoopa na jednej maszynie.
2. Wejdź do katalogu bin i uruchom wszystko. CII.
3. Sprawdź, czy Hadoop został pomyślnie uruchomiony.
W tym momencie zostało zbudowane pseudodystrybuowane środowisko Hadoop.