빅데이터 하둡프로그래밍 실무과정
Big Data란 기존 데이터베이스 관리도구의 데이터 수집,저장,관리,분석의 역량을 넘어서는 대향의 데이터 셋으로
IT업계의 핵심 크렌드인 클라우드와 빅데이터가 결합하여,클라우드 환경은 다양한 데이터가 폭발적으로 증가하는
빅데이터 시대에서 핵심적인 플랫폼이다.
또한 하둡은 분산파일시스템(HDFS)과 데이타처리 프레임워크인 맵듀리스를 제공하고 있으며 서브프로젝트로
데이터 수집 시스템인 ChuKwa(척와) 및 플룸,마하웃"등 빅데이터 처리에 필수적인 솔루션을 제공한다.
본강좌는 빅데이터에 대한 이해를 높임으로써, 업무에 적용하기 위한 다양한 방법을 이해하며 하둡의 설치부터
핵심 구성 요소인 HDFS와 맵리듀스(MapReduce)의 동작 원리를 학습하여 프로그래밍을 손쉽게 시작할 수 있다.
또한 하둡 클러스터를 운영하는 데 필수적인 관리 방법과 하둡 스트리밍(Streaming), 스케줄러와 같은 부가
기능의 활용법 등을 습득한다.
◆ 교육개강 - 3월6일 ~ 3월12일
◆ 교육과정 - 빅데이터 하둡프로그래밍 (5일 40시간)
- 노동부환급 (재직자내일배움카드,사업주환급)적용혜택
◆ 교육강의시간 - 평일주간 09:30~18:30
◆대 표 :02-6925-4760
◆사이트:http://oraclejava.co.kr/edu2_gspec/curri/currimaster.php?command=3020&lecture=1&lp_type=F
교육목표
- 빅데이터의 가치와 트렌드 이해- 빅데이터 플랫폼 및 분석 방법
- 하둡 에 대한 이해
- 오픈소스 하둡 설치 및 맵리듀스 프로그래밍 실습- 하둡 프레임워크 활용
교육대상
- 기업 전산시스템 및 데이터 관리자
- 개발자, DBA, SE
- 빅데이터 관련 직무자 및 관심 대상자
선수학습
- DB 및 프로그래밍 개발 관련 업무 종사자
- 관계형 데이터베이스 유경험자
- Java Application, Java Script/Eclipse 사용 유경험자
- 리눅스/유닉스 시스템 유경험자
교육과정(커리큘럼 상세 내용은 해당 홈페이지 참조)
- 하둡 개요빅데이터란?
- 하둡 이해하기 하둡이란?
- HDFS 개요, MapReduce 프레임워크
- 하둡 다운로드 및 필요소프트웨어 설치
- 독자모드의사분산모드 설치와 확인
- 의사분산모드 설치와 확인
- WordCount 프로그램의 컴파일과 실행
- 자바MapReduce 프로그래밍맵클래스 다시살펴보기
- 입력 포멧의 역할 컴바이너 셔플링과 소팅
- 리듀스 클래스 자세히 보기출력 포멧 카운터
- WordCount 2프로그램
- TopN 프로그램
- CountTrigram 프로그램
- Join ID & Title 프로그램
- 고급 Map Reduce 프로그래밍 StringSort 프로그램
- 분산 캐시를 이용한 조인
- 역색인 만들기(Inverted Index 버전1)
- 역색인 만들기(Inverted Index 버전2)
- 역색인 만들기(Inverted Index 버전3)
- 검색엔진 색인 만들기 CreateESIndex
- 스트리밍 프로그래밍
- Pig 프로그래밍
- 아마존 elasticmapreduce ec2 s3
- 하둡에코시스템구성 HIVE
- 하둡에코시스템 활용 SQOOP
- 하둡에코시스템 활용 MAHOUT