programmer life guidance 101

20-03-13 금 데이터를 추출하기 위해 사용되는 프로그램 시스템로그, 웹 서버의 로그, 클릭로그, 보안로그... 비정형 데이터를 HDFS에 적재하기 위해 사용되는 프로그램 대규모의 데이터로그가 발생하면 효율적으로 수집하고 저장하기위해 관리 flume, chukwa, scribe, fluented, splunk apache.org - Flume A Flume event is defined as a unit of data flow having a byte payload and an optional set of string attributes. A Flume agent is a (JVM) process that hosts the components through which ..

빅데이터 20-02-11 화 > - 리눅스 리눅스 상용화=> 레드햇 계열? 발전=>CentOS(서버구축에 적합) 내부 자원에 대해 모든 접근 권한을 정의할 수 있다. 보안 유지에 적합하다. 네트워크를 저가로 구성하기 좋다. - 머신 생성( VMWare설치 ) 총 4대의 CentOS 설치 root => 프롬프트 # 일반계정 =.프롬프트 $ home(디렉토리) 특정 계정으로 로그인 했을 때 자동으로 위치하는 폴더 모든 계정은 홈디렉토리를 갖고 있다. 기본 설정은 홈디렉토리 명이 계정명과 동일 root의 홈디렉토리명은 root폴더 " / " 최상위로 빠져나감 cd~ => 홈으로 빠져나감 cd.. => 한단게 빠져나감 컴퓨터 - etc => 리눅스 설정 파일들이 담겨 있는 폴더 컴퓨터 - usr => 윈도우로 ..