평일주간: http://www.topcredu.co.kr/sub/crcl/lecture/db
선수학습: 자바
교육기간: 2일 총 14시간
수강료: 420,000원
교재: 자체교재 or PDF 제공
교육개요 | 최근에는 R, Python등으로 데이터 분석을 많이 하지만 이러한 한대의 컴퓨터로 데이터를 처리하기 때문에 처리 용량과 속도에 한계가 있습니다. 아파치 스파크 (Apache Spark)는 빠른 속도와 적극적인 메모리 활용, 간편한 인터페이스로 큰 인기를 얻고 있으며 머신러닝, 그래프 알고리즘, 실시간 스트리밍 처리등의 확장 프로젝트들을 제공하고 있습니다. 본 과정에서는 스파크의 등장까지의 배경과 스파크의 핵심 개념에 대해 알아보고, 머신러닝, 스트리밍 등의 실습을 통해 단기간에 스파크에 대한 이해를 높이고 시스템에 바로 적용해 보는 것을 목표로 하고 있습니다. |
---|---|
수료조건 | 출석률 80%이상 |
교육목표 | - 아파치 스파크의 등장까지의 배경 - 스파크의 핵심 개념을 이해 - Scala 프로그래밍 언어를 학습 - 스파크 RDD 인터페이스를 이해, 실습 - 스파크 SQL의 이해, 실습 - 스파크 MLlib의 이해, 실습 - Mllib과 스파크 ML을 이용한 머신 러닝 애플리케이션 개발 방법의 이해, 실습 - 스파크 스트리밍을 이용한 고속 데이터 스트림 처리 방법의 이해, 실습 |
교육대상 | - 빅데이터에 관심 있는 자 - 아파치 스파크의 도입을 원하는 자 - 아파치 스파크에 관심있는 개발자, 데이터분석가, DB전문가 |
빅데이터 스파크 프로그래밍 1일차 | Apache Spark이 나타나기까지 Spark 핵심개념 Scala 프로그래밍 - 기본문법 - 함수형 프로그래밍 RDD 프로그래밍 - 데이터 로드, 저장 - RDD Transformations - RDD Actions - 캐싱 Spark Core 실습 |
---|---|
빅데이터 스파크 프로그래밍 2일차 | Spark SQL - Dataframe API - Spark SQL과 Zeppelin을 활용한 데이터 분석 Spark Streaming - Spark Streaming 개념 - 스트리밍 분석 앱 만들기 – 트위터 분석 MLlib (머신러닝) - MLlib Overview - 예제 및 실습 |