데이터 엔지니어링 기초
기수 13기
트랙 AI (Artificial Intelligence) Track
커리큘럼 16주
데이터를 수집하고 다루는 핵심 도구들을 배워 실무에서 쓰이는 데이터 파이프라인을 만들어보는 강의입니다.
어떤 것을 배우나요?
- 파이썬과 도커를 써서 깔끔한 개발 환경을 만드는 기초 체력 다지기
- 데이터베이스와 API를 연결해 필요한 데이터를 자동으로 수집하고 정리하는 방법 학습
- 대용량 데이터도 거침없이 다루는 Databricks와 Spark 기술을 경험하고 대시보드 시각화까지 완성
이런 분께 추천합니다
- 분석할 데이터를 빠르고 안정적으로 모아주는 '데이터 파이프라인'을 직접 만들어보고 싶으신 분
- 단순 데이터 처리를 넘어, 최신 데이터 엔지니어링 기술(Databricks, Spark)을 찍먹해보며 실무 감각을 키우고 싶으신 분
- 선행 요구 역량: 파이썬 기초 문법, pandas basic 사용법, 기본 SQL 개념은 알고 계시면 수강이 훨씬 수월합니다.
신청 전 확인
실습을 위해 컴퓨터에 파이썬과 도커(Docker) 설치가 권장됩니다.
수업 중 다루는 Databricks 실습을 위해 미리 무료 계정(Free Edition)을 만들어주셔야 합니다.
커리큘럼
- 1주차 데이터 엔지니어링의 역할과 학습 흐름을 이해
- 2주차 Python 가상환경 구성 및 활용
- 3주차 Docker 핵심 개념 이해
- 4주차 Docker 컨테이너 생성 및 관리 실습
- 5주차 Python을 통한 데이터베이스 연결 - 1
- 6주차 Python을 통한 데이터베이스 연결 - 2
- 7주차 Python을 통한 API 호출
- 8주차 Python Class 및 객체 지향 프로그래밍 기초
- 9주차 실전 데이터 파이프라인 개발 - 1
- 10주차 실전 데이터 파이프라인 개발 - 2
- 11주차 실전 데이터 파이프라인 개발 - 3
- 12주차 Databricks 기초 이론 및 실습
- 13주차 Apache Spark 기초 이론
- 14주차 Apache Spark 코드 실습 (Databricks 기반)
- 15주차 Delta Lake 기초 이론 및 실습
- 16주차 Databricks 시각화 대시보드 개발 실습
