Programming 12

[ Django ] 01. Django ORM 활용

Django ORM Object Relational Mapping 스프링에서는 mybatis를 썼었고, 장고에서는 이를 위한 기능이 따로 존재한다! 드디어 models.py를 사용하기 시작합니다~ 파이썬의 객체와 DB의 객체를 Mapping해주어야 한다. 그럼 파이썬의 객체는 어떻게 생성하는 가? Articles에 models 작성 # models.py # Create your models here. class Article(models.Model) : # articles_article # CharField 는 글자 수 제한 할 때 사용 title = models.CharField(max_length=150) content = models.TextField() created_at = models.Date..

[ Django ] 00. Django 알아보기

django 파이썬으로 이루어진 WEB 프레임워크. django의 성격 파이썬을 이용하기 때문에 개발 속도가 빠르다. 프레임워크라는 것은? ----> 프랜차이즈의 성격을 갖는다 ( 내가 다 줄테니 너넨 사용만 해라~ ) why django? 풍부한 언어와 프레임워크 사용 경험을 배양하기 위함. MTV 스프링의 MVC패턴과 같은 패턴임 Model - Template(사용자가 보는 화면) - View(중간 관리자) URLs: 단일 함수를 통해 모든 URL 요청을 처리하는 것이 가능하지만, 분리된 뷰 함수를 작성하는 것이 각각의 리소스를 유지보수하기 훨씬 쉽습니다. URL mapper는 요청 URL을 기준으로 HTTP 요청을 적절한 view로 보내주기 위해 사용됩니다. 또한 URL mapper는 URL에 나타..

[ DB ] 01. SQL

1. SQL 저장된 데이터(정형화)를 사용하는 언어가 SQL이다. (몇개 테이블을 쓸 것인가) - 조인 어떤 것을 조회할 것인가? = 무엇을 추출할 것인지 어떤 조건이 있는가? 1. 초기 환경설정 server - setwork - admin - ( listerner.ora , tnsnameora ) - 모두 영문 내용이어야함 오류 발생시 시스템관리도구 - 서비스 - OracleTNSListener 다시시작 scott 계정생성과 권한부여하기 set linesize 300; -> 접속할때마다 해줘야함 2. 기본문법 1. SQL 개요 1. DDL(데이터 정의 언어) CREATE : 데이터베이스나 테이블 등을 작성한다. DROP : 데이터베이스나 테이블 등을 삭제한다. ALTER : 데이터베이스나 테이블 등의 ..

[ DB ] 00. 데이터베이스란?

0. 데이터 베이스란? 대량의 정보를 컴퓨터가 효율적으로 접근할 수 있도록 가공 및 저장한 것을 '데이터베이스'라고 한다. 계층형 데이터 베이스(HDBMS) 관계형 데이터베이스(RDBMS) 열과 행으로 이루어진 2차원 표형식으로 데이터를 관리 가장 많이사용 객체지향 데이터베이스(OODB) XML 데이터베이스(XMLDB) 키-밸류형 데이터스토어(KVS) 정형화 데이터 처리 프로그램 DB Oracle 대부분의 기업들이 사용(일반적) 데이터 저장, 대량처리 가능 MySQL 보통 중소기업 MSSQL 보통 중소기업 티베로 1. 데이터베이스 정규화 관계형 데이터베이스 설계시 중복을 최소화하도록 데이터를 구조화 하는 작업 1. 함수 종속성 관계형 데이터베이스의 설계에서 중복된 데이터가 최소화되도록 데이..

[ JAVA ] 03. Spring에서 JDBC를 활용하여 DB사용하기

1. JDBC JDBC(Java Database Connectivity)는 자바에서 데이터베이스를 접속하기 위한 기술 19-12-23 월 드라이버로딩 드라이버를 로딩한다는 것은 JVM이 어 떤 DBMS를 사용하는지 인식시키는 작업으로 java에서 오라클을 연동할 수 있도록 오라클에서 제공해준 드라이버 파일을 JVM의 메모리에 로딩시키는 작업을 하는 단계 커넥션설정하기 우리가 프린트기를 설치하고 케이블로 연결하는 것처럼. 혹은 네트워크에서 공유된 프린트기를 찾아 연결하는 것과 같이 DBMS에 저장된 데이터에 접근하기 위해서는 DBMS에 접속을 해야 합니다. getConnection Statement객체 생성하기 SQL문실행하기 결과처리 자원반납 statament의 주된 역할 => dbms의 sql을 실행 ..

[ Bigdata ] 04. MongoDB

20-03-16 월 MongoDB NoSQL? 비정형데이터 스키마가 아니다 ( 이 컬럼은 무슨 타입이고 저건 무슨 타입이고 .. ) JSON으로 처리한다. 문서를 기반으로 하기 때문에 조인을 할 수 없다.(하나의 문서 안에 모든 데이터가 들어가있음) 레드햇계열의 리눅스? 데드뭐뭐계열의 리눅스? C:\Program Files\MongoDB\Server\3.6\bin 를 windows path 등록 데이터가 저장될 폴더가 필요하다! iot에 bigdata에 mongodata라고 만들자~ MongoDB Enter Prise로 서버 접속하기 실행됐구나~ 확인~ 웹에서 포트 접속해보기 데이터베이스를 만들고 그 안에서 작업하는 개념! ( ex. conn scott/tiger ) ​ => mydb에 아직 아무것도 안..

IT/[ Bigdata ] 2020.08.10

[ Bigdata ] 03. Sqoop과 Flume설치 후 Hadoop에 WAS 구축하기

20-03-13 금 데이터를 추출하기 위해 사용되는 프로그램 시스템로그, 웹 서버의 로그, 클릭로그, 보안로그... 비정형 데이터를 HDFS에 적재하기 위해 사용되는 프로그램 대규모의 데이터로그가 발생하면 효율적으로 수집하고 저장하기위해 관리 flume, chukwa, scribe, fluented, splunk apache.org - Flume A Flume event is defined as a unit of data flow having a byte payload and an optional set of string attributes. A Flume agent is a (JVM) process that hosts the components through which ..

IT/[ Bigdata ] 2020.08.10

[ Bigdata ] 02. Hadoop 커스터마이징하기

20-03-09 월 mapreduce의 기본동작은 분류와 집계하기. - 빈도수체크 csv파일 hdfs에 옮겨놓기. 컴바이너는 mini reducer 합을 구하는 작업에서는 컴바이너쓴거랑 안쓴거랑 차이가 많이 난다. 아래는 컴바이너 쓴 것들. 기존에 비해서 데이터가 엄청 줄었음. - 컴바이너 클래스 셔플(shuffle)할 데이터의 크기를 줄이는 데 도움을 준다. => 성능 UP ! - 파티셔너 클래스 mapreduce 동작 순서 : mapper - combiner - partitioner(맵에서 가져온 거를 같은 키를 기준으로 정렬) - reducer combiner와 partitioner가 셔플 단계임 Partitioner를 사용자 정의로 커스터마이징 하겠다. 정렬이 될 수 있게..

IT/[ Bigdata ] 2020.08.10

[ Bigdata ] 01. 하둡의 HDFS와 MapReduce

20-02-17 월 빅데이터는 무엇인가? volume + velocity + variety + veracity + value = "5V" 심야버스노선도 데이터수집 - 데이터저장 - 데이터처리 - 데이터분석 - 분석결과활용 flume, sqoop, R, MongoDB namenode(hadoop01)와 secondarynamenode(hadoop02)는 달라야한다. hadoop01(keygen 수행) 비공개키, 나머지 02,03,04는 공개키 따라서 01머신에서만 나머지 머신으로 접속 가능하다. 인코딩 버전확인하기 su - echo $LANG input폴더에 NOTICE.txt 복사 ( hadoop/hadoop01 로 실행 ) /home/hadoop/hadoop-1.2.1/bin/hadoop fs - co..

IT/[ Bigdata ] 2020.08.10

[ Bigdata ] 00. 빅데이터 플랫폼 구축(CentOS & Hadoop)

빅데이터 20-02-11 화 > - 리눅스 리눅스 상용화=> 레드햇 계열? 발전=>CentOS(서버구축에 적합) 내부 자원에 대해 모든 접근 권한을 정의할 수 있다. 보안 유지에 적합하다. 네트워크를 저가로 구성하기 좋다. - 머신 생성( VMWare설치 ) 총 4대의 CentOS 설치 root => 프롬프트 # 일반계정 =.프롬프트 $ home(디렉토리) 특정 계정으로 로그인 했을 때 자동으로 위치하는 폴더 모든 계정은 홈디렉토리를 갖고 있다. 기본 설정은 홈디렉토리 명이 계정명과 동일 root의 홈디렉토리명은 root폴더 " / " 최상위로 빠져나감 cd~ => 홈으로 빠져나감 cd.. => 한단게 빠져나감 컴퓨터 - etc => 리눅스 설정 파일들이 담겨 있는 폴더 컴퓨터 - usr => 윈도우로 ..

IT/[ Bigdata ] 2020.08.10

[ JAVA ] 01. 자바를 이용해 WEB 만들기

WEB 19-12-30 월 우리가 말하는 웹서버는 : IIS , apache 등등(웹서버 역할을 하는 소프트웨어) 이런 소프트웨어가 설치된 PC가 웹서버 client에 보여주기 위한 기본 기술(프론트엔드) : html, css, javascript, jQuery WAS(Web Application Server) Web logic, JEUS, Tomcat(Test Server) => 내부적으론 웹서버의 기능도 가지고 있으면서 자바를 실행할 수 있는 컨테이너의 기능을 갖고 있다. 결과를 조회해서 -> Servlet & JSP (서버기술 Application) Client Page + Web application/Server + DBMS(Oracle...SQL...) + Servlet&JSP => Spring..

[ JAVA ] 00. 자바의 기본 문법

0. basicJAVA 단순 코더가 아니라 구조를 바꿀 수 있어야 한다. R&D에서 개발할 거면 전체적인 흐름을 파악할 수 있어야 한다. 0. 초기 환경설정 jdk 다운로드 실행 환경설정 JAVA_HOME PATH 에디터 다운로드 eclipse edieplus 1. 자바 application 0. 실행환경 java "인터프리터"로 실행 start point -> public static void main(String [agrs]){} jar파일 - java아카이브. (rt.jar) => API 라이브러리 jar을 JVM에 올려놓으면 알아서 실행 output -> 자동으로 bin폴더에 저장 소스파일 -> src 폴더에 저장 1. 메모리 static / stack / heap ​ / -실행될 파일이 올라온다..