SSH공개키를 입력(------BEGIN RSA~~부터----END ~~ KEY-----까지 모두 다 붙여넣어야함)
#cat ~/.ssh/id_rsa
ambari계정 및 포트 입력
이상없이 진행된다면 모든 노드들의 status가 success로 나오고 fail이 뜰 경우 클릭하면 무엇이 문제인지 확인이 가능하다. 그동안 진행한 과정에서 누락 또는 실수로 인한 이슈들이 주로 나올 수 있다.(기본 도구들(자바,파이썬)의 경로나 방화벽,권한문제가 있을 가능성이 높음)
이후 기본 HDFS 위에 원하는 서비스들을 올릴 수 있다. 서비스는 이후에 얼마든지 추가 변경 삭제가 가능하기 때문에 테스트 과정에서는 몇 개만 선택해서 설치함
- 서비스 노드의 배치과정에서는 서버들의 노드 수와 스펙에 맞춰 적절히 서비스들을 분산시키자.
- 특히 Hive와 Spark과 같이 서로 의존성이 높은 서비스들은 요구사항을 꼭 확인하고 배치시켜야한다. 이를 위해서는 설치할 서비스에 대한 사전 지식도 반드시 필요할 것이다. (본 테스트과정에서는 무시하고 그냥 설치했음)
- 각 노드별로 Slaves와 Clients를 할당한다.
- 노드 개수와 HW 스펙에 맞춰 Master와 Slave를 적절히 분배해야 함(이것을 갖추는게 전문가의 길)
- 아래 설정은 테스트로 많은 고민없이 선택된 것임(아주 기본적인 사항으로 Master노드와 Slave 노드는 분리하도록 권고하고있다.)
- 각 서비스별 추가 설정해야할 항목들을 입력해준다. 주로 서비스 계정 설정과 Default DB 정보들을 입력하게 된다.
HDP 서비스들 중 hive는 기본으로 설치가 되는데 이때 DB와 계정이 필요하니 함께 생성하자
#sudo mysqld –u root –p
#sudo mysqld –u root –p
mysql>create user 'ambari'@'localhost' identified by 'ambari';
mysql>grant all privileges on *.* to 'ambari'@'localhost' identified by 'ambari' with grant option;
mysql>create user 'ambari'@'%' identified by 'ambari';
mysql>grant all privileges on *.* to 'ambari'@'%' identified by 'ambari' with grant option;
mysql>flush privileges;
mysql>create database hive;
mysql>create user 'hive'@'localhost' identified by 'hive';
mysql>grant all privileges on *.* to 'hive'@'localhost' identified by 'hive' with grant option;
mysql>create user 'hive'@'%' identified by 'hive';
mysql>grant all privileges on *.* to 'hive'@'%' identified by 'hive' with grant option;
mysql>flush privileges;
- JDBC Connector 설치 및 확인
#sudo yum install mysql-connector-java*
#sudo yum install mysql-connector-java*
설치가 완료되면 아래 경로에 커넥터가 링크되어 있음
5. Ambari 설치
: Cloudera 계정 인증이 필요 없는 ambari-2.7.4 버전을 다운로드받아 설치
: 앞서 Ubuntu 16.04.6 LTS 버전도 동일한 방식으로 설치됨을 확인하고 안정적인 운용을 위해 CentOS로 재 설치 하면서 문서 정리를 해봄
1. 3대의 가상머신 생성
- xcp-ng에 CentOS7 가상머신 3대 생성
- 메모리 8G/8G/4G 할당
2. CentOS7 최소설치(기본 터미널만)
- Root 암호 설정
- 재부팅
- SMBus Host Controller not enabled! 에러
xcp-np와 같은 가상머신에서 사용할 때 발생하는 에러로 다음과 같이
/etc/modprobe.d/dccp-blacklist.conf 파일을 편집기로 열어
맨 밑에 다음 문구를 추가하고 재부팅
#blacklist i2c-piix4
3. 네트워크 설정
- 별도의 네트웍 설정 하지 않은 경우 yum 실행이 안됨
#dhclient
위 명령어를 실행하면 자동 IP 할당가능 하지만 재부팅하면 다시 초기화됨
따라서 IP 고정이 필요함 아래 다음과 같이
/etc/sysconfig/network-scripts/ifcfg-{이더넷ID} 파일을 편집기로 열어
아래 두줄은 수정
ONBOOT=YES
BOOTPROTO="static"
아래 5줄은 추가
IPADDR="192.168.0.21"
NETMASK="255.255.255.0"
GATEWAY="192.168.0.1"
DNS1="168.126.63.1"
DNS2="168.126.63.2"
그냥 DHCP 자동설정으로 하고싶으면 ONBOOT=YES 이것만 수정해도 됨(테스트용도)
이후 네트워크 재시작 또는 시스템 재시작
#systemctl restart network
다음 명령어로 할당된 IP 확인
#ip addr
- 노드별 시간 동기화
#yum install ntp
#systemctl start ntpd
시스템 자동 시작
#systemctl enable ntpd
4. OS 업데이트
- OS 기본 업데이트 수행
#yum upgrade
5. 방화벽 해제
- 특정 방화벽 포트만 허용해도 되지만, 원활한 ambari-server와 ambari-agent 설치를 위해서는 모든 방화벽이 열려있는게 좋음(추후 사용할 서비스 포트를 파악해 특정 포트만 오픈하면 될 듯)
