빅데이터 4

[ DB ] 01. SQL

1. SQL 저장된 데이터(정형화)를 사용하는 언어가 SQL이다. (몇개 테이블을 쓸 것인가) - 조인 어떤 것을 조회할 것인가? = 무엇을 추출할 것인지 어떤 조건이 있는가? 1. 초기 환경설정 server - setwork - admin - ( listerner.ora , tnsnameora ) - 모두 영문 내용이어야함 오류 발생시 시스템관리도구 - 서비스 - OracleTNSListener 다시시작 scott 계정생성과 권한부여하기 set linesize 300; -> 접속할때마다 해줘야함 2. 기본문법 1. SQL 개요 1. DDL(데이터 정의 언어) CREATE : 데이터베이스나 테이블 등을 작성한다. DROP : 데이터베이스나 테이블 등을 삭제한다. ALTER : 데이터베이스나 테이블 등의 ..

[ Bigdata ] 05. R과 크롤링(Crawling)

20-03-19 목 Mapredce 와 HDFS 위에 몽고디비가 올라가기도 하고~ 하이브가 올라가기도하고~ 로그발생시키고~ RDBMS~ 등등 로 들어가면 처리결과를 MongoDB, R, 머아웃? 빅데이터로 갈거면 " spark ".. 꼭 해라..!! 덩치는 하둡이다!!! 하둡과 스파크, 사용되는 쓰임새가 다르다~ 하둡은 배치, 스파크는 리얼타임~ R.. 반드시 알아야행.. 통계교수님들이 좋아하는언어.. 파이썬으로 갈아타는고 요구하고 있는 경우가 많다 R 데이터 분석 전문 도구(소프트웨어) https://rstudio.com/ https://www.r-project.org/[\출처]** 오픈소스라서 좋아용~ 컴퓨터이름, 사용자이름, 설치경로(공백도 X) => 한글 X csv..

IT/[ Bigdata ] 2020.08.10

[ Bigdata ] 04. MongoDB

20-03-16 월 MongoDB NoSQL? 비정형데이터 스키마가 아니다 ( 이 컬럼은 무슨 타입이고 저건 무슨 타입이고 .. ) JSON으로 처리한다. 문서를 기반으로 하기 때문에 조인을 할 수 없다.(하나의 문서 안에 모든 데이터가 들어가있음) 레드햇계열의 리눅스? 데드뭐뭐계열의 리눅스? C:\Program Files\MongoDB\Server\3.6\bin 를 windows path 등록 데이터가 저장될 폴더가 필요하다! iot에 bigdata에 mongodata라고 만들자~ MongoDB Enter Prise로 서버 접속하기 실행됐구나~ 확인~ 웹에서 포트 접속해보기 데이터베이스를 만들고 그 안에서 작업하는 개념! ( ex. conn scott/tiger ) ​ => mydb에 아직 아무것도 안..

IT/[ Bigdata ] 2020.08.10

[ Bigdata ] 00. 빅데이터 플랫폼 구축(CentOS & Hadoop)

빅데이터 20-02-11 화 > - 리눅스 리눅스 상용화=> 레드햇 계열? 발전=>CentOS(서버구축에 적합) 내부 자원에 대해 모든 접근 권한을 정의할 수 있다. 보안 유지에 적합하다. 네트워크를 저가로 구성하기 좋다. - 머신 생성( VMWare설치 ) 총 4대의 CentOS 설치 root => 프롬프트 # 일반계정 =.프롬프트 $ home(디렉토리) 특정 계정으로 로그인 했을 때 자동으로 위치하는 폴더 모든 계정은 홈디렉토리를 갖고 있다. 기본 설정은 홈디렉토리 명이 계정명과 동일 root의 홈디렉토리명은 root폴더 " / " 최상위로 빠져나감 cd~ => 홈으로 빠져나감 cd.. => 한단게 빠져나감 컴퓨터 - etc => 리눅스 설정 파일들이 담겨 있는 폴더 컴퓨터 - usr => 윈도우로 ..

IT/[ Bigdata ] 2020.08.10