전체 글54 Zeppelin 환경구성 1. 다운로드, 압축해제, 이름변경 $ cd /dahy $ wget https://archive.apache.org/dist/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz $ tar xvfz zeppelin-0.10.1-bin-all.tgz $ mv zeppelin-0.10.1-bin-all zeppelin0 2. zeppelin 설정 $ cd /dahy/zeppelin0/conf $ cp zeppelin-site.xml.template zeppelin-site.xml $ vi zeppelin-site.xml .... zeppelin.server.addr 0.0.0.0 //--ip 변경.... 127.0.0.1 => 0.0.0.0 Server binding.. 2022. 12. 29. Hadoop 클러스터 환경 구성 HDFS 클러스터 환경 구성 1. 하둡 다운로드, 압축해제, 이름변경(on spark-master-01) $ cd /dahy $ wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.3/hadoop-3.3.3.tar.gz $ tar xvfz hadoop-3.3.3.tar.gz $ mv hadoop-3.3.3 hadoop3 2. hadoop-env.sh 설정(on spark-master-01) $ vi /dahy/hadoop3/etc/hadoop/hadoop-env.sh export JAVA_HOME=/dahy/jdk8 3. core-site.xml 설정(on spark-master-01) $ vi /dahy/hadoop3/etc/hadoop/cor.. 2022. 12. 28. SPARK 서버 환경 구성 계정관련 설정 1. user 계정 생성 $sudo useradd dahy -m -s /bin/bash 2. 계정 암호 설정 $sudo passwd dahy 3. 계정 삭제(option) $sudo userdel -r dahy 4. sudo 권한 설정 $sudo visudo dahy ALL =(ALL) NOPASSWD:ALL 5. 계정 전환 $sudo su - dahy 6. 디렉토리 생성 $sudo mkdir /dahy 7. 디렉토리 소유자 변경 $sudo chown dahy:dahy /dahy 8. 각종 필요 유틸 설치 $ sudo apt install -y wget unzip bzip2 net-tools HOSTS 설정 1. hostname 변경(서버별) $sudo hostnamectl set-host.. 2022. 12. 28. 교착 상태(dead lock) 교착상태 정의 교착 상태(dead lock)란 두 개 이상의 작업이 서로 상대방의 작업이 끝나기 만을 기다리고 있기 때문에 결과적으로 아무것도 완료되지 못하는 상태입니다. ex) 식사하는 철학자 교착상태 발생조건 아래 4가지 조건을 모두 충족할 경우에만 교착상태가 발생할 확률이 있으며, 하나라도 만족하지 않을 경우에는 발생하지 않습니다. 상호배제 : 프로세스들이 필요로 하는 자원에 대해 배타적인 통제권을 요구 점유와 대기 : 프로세스가 할당된 자원을 가진 상태에서 다른 자원을 기다림 비선점 : 프로세스가 어떤 자원의 사용을 끝낼 때까지 그 자원을 뺏을 수 없음 원형 대기 : 각 프로세스는 순환적으로 다음 프로세스가 요구하는 자원을 가지고 있음 교착상태 해결 방법 상호배제 : 모든 자원을 공유 가능하게 만.. 2022. 11. 3. 프로세스 동기화 1. 동기화 동기화는 프로세스를 올바른 순서대로 실행하고, 동시에 접근해서는 안 되는 자원에는 하나의 프로세스만 접근하도록 제어하는 것을 말합니다. 만약 두 개 이상의 프로세스가 동시에 데이터에 접근할 경우에는 어떤 순서로 데이터에 접근했는지에 따라서 결괏값이 달라질 수 있으며 이를 레이스 컨디션(경쟁상태)이라고 합니다. 2. 공유자원 공유자원은 공동으로 사용하는 자원으로 전역변수나 입출력 장치, 보조기억장치 등이 될 수 있습니다. 3. 임계구역 임계 구역은 공유자원에 접근하는 코드 중 레이스 컨디션이 발생할 수 있는 특정 부분을 의미합니다. 이러한 임계 구역으로 발생하는 문제를 해결하기 위해서는 3가지 원칙이 지켜져야 합니다. 상호 배제 : 이미 작업 중인 프로세스가 있으면 다른 프로세스는 임계 구역에.. 2022. 11. 3. CPU 스케줄링과 알고리즘 1. CPU 스케줄링 CPU 스케줄링은 작업을 처리하기 위해서 프로세스들에게 CPU 자원을 효율적으로 배분하는 것을 말합니다. 2. 스케줄링 큐(queue) 구분 설명 job queue 시스템 내에 있는 모든 프로세스의 집합 ready queue 메인 메모리에 상주하면서 실행될 준비를 하고 기다리는 프로세스 집합 waiting(or device) queue 특정 입출력 장치를 대기하는 프로세스 집합 3. 선점형 비선점형 스케줄링 구분 특징 장점 단점 선점형 스케줄링 운영체제가 프로세스가 사용중인자원을 빼앗아 다른 프로세스에 할당가능 높은 우선 순위를 가진 프로세스를 빠르게 처리하려는 시스템에 유용 빠른 응답 시간을 요구하는 시분할 시스템에 유용 문맥교환 빈번 ->오버헤드 발생 가능 비선점형 스케줄링 프로.. 2022. 11. 3. 이전 1 ··· 4 5 6 7 8 9 다음
