바로가기

주메뉴

빅데이터분산컴퓨팅

  • 숭실대학교
  • 박영택
  • 공유하기
  • 강의담기
  • 오류접수
  • 이용안내
강의사진
  • 주제분류
    공학 >컴퓨터ㆍ통신 >컴퓨터공학
  • 강의학기
    2016년 1학기
  • 조회수
    34,278
  • 평점
    4.5/5.0 (7)
강의계획서
강의계획서
본 과목은 빅데이터를 처리하는 시스템에 대한 공부를 한다. 인공지능 기법을 이용한 빅데이터 지식표현 방식, 빅데이터 추론 방식과 최근에 전세계적으로 각광을 받고 있는 Spark 시스템 패러다임에서 빅데이터 처리를 위한 기본적인 기계학습 이론을 학습한다.

*부교재: http://ampcamp.berkeley.edu/

*참고교재: http://web.stanford.edu/class/cs227/

(교재 안내입니다. http://www.sciencedirect.com/science/book/9781558609327)

차시별 강의

PDF VIDEO SWF AUDIO DOC AX
1. 아파치 하둡이란 1. 강의 소개 2. 분산 처리시스템인 하둡에 대한 개념 설명 URL
2. 분산처리시스템 구성요소 1. 분산처리 시스템이 갖춰야 할 필수 항목 2. 하둡에서의 필수 항목 구현내용 URL
3. 하둡의 HDFS 사용법 1 하둡 명령어를 이용한 HDFS 사용법 URL
4. 하둡의 HDFS 사용법 2 하둡 명령어를 통해 HDFS 에 파일을 업로드 및 viewing URL
5. HDFS 의 구현컨셉 및 설계 HDFS 동작방식의 기본 설계 URL
6. 맵리듀스 개념 및 동작방식 맵리듀스의 기본 개념과 이를 위한 시스템적인 구성요소 URL
7. 맵리듀스 구성도와 맵퍼 사용법 고 수준에서의 맵리듀스 동작원리 및 맵퍼에서의 사용방법 URL
8. 맵퍼 사용 예제와 리듀서 맵퍼를 사용한 예제 설명과 리듀서 구현 원리 URL
9. 고수준 언어의 필요성 및 Hive 소개 사용자 입장에서의 분산처리 프레임워크를 사용하기 위한 고수준언어의 필요성 및 Hive 소개 URL
10. Hive 테이블 다루기 Hive 테이블 생성, 추가, 삭제, 수정등의 기본 명령어 URL
11. Hive 와 데이터베이스와의 차이점 Hive 의 기본 동작과 기존 데이터베이스와의 차이점 URL
12. 기존 데이터베이스를 Hive에서 활용 기존 데이터베이스로 부터 데이터를 Hive 테이블로 변경하는 몇가지 방법 URL
13. Hive에서의 join사용법 및 예제 Hive에서 사용되는 중요한 join함수 사용방법과 Hive를 사용한 분석방법 예제 URL
14. pySpark를 위한 python 기본 python 의 제어문, 함수 등 URL
15. python 기본 기본 연산자, 리스트를 사용한 python 코드 URL
Python의 Collection과 For Loop 1 1. List 2. Tuple 3. Dictionary 4. For Loop URL
Python의 Collection과 For Loop 2 1. List 2. Tuple 3. Dictionary 4. For Loop URL
함수형 프로그래밍 1. 함수형 프로그래밍의 개념 URL
Pyspark의 RDD 사용법 1. Pyspark의 RDD 생성 2. Action 3. Transformation 4. Lazy Execution URL
Spark의 RDD와 Operation(1) 1. Partition 2. Lineage 3. Map 4. FlatMap URL
Spark 프로그램(Wordcount) 1. Wordcount 2. Filter 3. Reduce URL
ReducebyKey vs GroupbyKey 1. ReducebyKey 2. GroupbyKey URL
RDD and Operations in Spark(2) 1. Map 2. FlatMap URL
정규식1 1. Pattern Matcing 2. Syntax 3. Example URL
정규식2 1. Search and Match 2. Email Match URL
정규식을 사용하는 Spark 프로그램 1. Weblog Application URL
spark 예제 프로그래밍 실습, 정규식 사용2 1. Regexp in Application URL
Spark의 예제 프로그램 복습 1. Wordcount 2. Map 3. flatMap 4. ReducebyKey URL
Spark의 특징 복습 1. Transformation 2. Action 3. RDD URL

연관 자료

loading..

사용자 의견

강의 평가를 위해서는 로그인 해주세요.
운영자2019-08-05 14:10
KOCW입니다. 강의오류가 수정되었습니다.
운영자2019-08-05 12:59
KOCW입니다. 숭실대학교의 웹페이지로 연결하여 제공하는 연계강의로, 강의오류를 확인하여 숭실대학교로 수정을 요청했습니다. 수정이 되는대로 안내 드리도록 하겠습니다.
thinkhard78 2019-08-05 12:51
강의 링크가 깨졌는지 동영상이 안나옵니다. 확인 부탁드립니다
운영자2018-12-05 10:02
KOCW입니다. 강의오류가 수정되었습니다.
운영자2018-12-05 09:11
KOCW입니다. 숭실대학교의 웹페이지로 연결하여 제공하는 연계강의로, 강의오류를 확인하여 숭실대학교로 수정을 요청했습니다. 수정이 되는대로 안내 드리도록 하겠습니다.
javalang 2018-12-05 09:10
교수님께서 설명 잘해주셔서 열심히 듣고 있었는데 갑자기 나오지 않습니다. 확인 부탁드립니다. ㅠㅠ
asjie10 2018-10-02 20:32
강의 자료는 숭실대학교 AI 연구실에 있네요.
운영자2018-07-16 09:39
KOCW입니다. 숭실대학교의 웹페이지로 연결하여 제공하는 연계강의로, 강의오류를 확인하여 숭실대학교로 수정을 요청했습니다. 수정이 되는대로 안내 드리도록 하겠습니다.
djatmdans 2018-07-15 22:14
강의가 나오지 않습니다. 확인 부탁드립니다.
beaican530 2018-07-15 18:54
강의가 안 보입니다
운영자2018-01-03 13:11
KOCW운영팀입니다. 오류로 나오는 링크는 삭제하였습니다. 강의자료/ppt/는 숭실대학교로부터 아직 답변을 받지 못해 다시 문의하였습니다. 다만 교수자및 학교의 사정에 따라 답변이 늦거나 없을수 있습니다.
djslek 2017-12-30 01:55
자료의 위치가 다른 페이지로 나오네요. 자료 요청드려요!
cheerman 2016-12-19 04:33
ppt 자료 요청 합니다.
운영자2016-12-05 14:38
KOCW운영팀입니다. 강의가 정상화되었습니다.
운영자2016-11-29 09:33
KOCW운영팀입니다. 현재 숭실대학교 OCW 서버문제로 인해 수정중에 있습니다. 수정이 완료되는대로 안내드리도록 하겠습니다.
blindaro 2016-11-29 00:04
강좌가 요청하신 페이지가 없다고 나오네요!
운영자2016-10-17 10:07
KOCW운영팀입니다. 강의교재는 강의설명에 추가하였습니다. 강의자료는 첫번째 참고교재를 참고하시기 바랍니다.
hapadai 2016-10-14 11:13
좋은 강의 잘 듣고 있습니다. 1. 강의 자료를 구할 수 없을까요? 2. 관련 전공 책을 알려주시면 감사하겠습니다.

이용방법

  • 실버라이트 강의 이용시 필요한 프로그램 [바로가기]

    ※ 강의별로 교수님의 사정에 따라 전체 차시 중 일부 차시만 공개되는 경우가 있으니 양해 부탁드립니다.

이용조건