Apache Airflow 기초부터 실전까지
기수 13기
트랙 AI (Artificial Intelligence) Track
커리큘럼 16주
데이터를 정해진 시간에 맞춰 자동으로 수집하고 처리하는 워크플로 자동화(Airflow)의 기초부터 실습까지 배워보는 강의입니다.
어떤 것을 배우나요?
- 가장 대표적인 자동화 도구인 에어플로우의 핵심 개념과 작동 원리 익히기
- 도커 기반 환경에서 작업 순서를 짜고 흐름을 자동으로 관리하는 방법 배우기
- API에서 데이터를 가져와 데이터베이스나 클라우드에 자동으로 쌓아주는 파이프라인 만들기
이런 분께 추천합니다
- 반복되는 데이터 수집·처리 작업을 원하는 시간에 자동으로 실행되도록 시스템화하고 싶으신 분
- 실무에서 널리 쓰이는 에어플로우(Airflow)를 기초부터 차근차근 실습해보고 싶으신 분
- 선행 요구 역량: 파이썬 기초, 기본 명령줄(CLI) 사용 경험, SQL 기본 개념을 알고 계시면 수강이 훨씬 수월합니다.
신청 전 확인
실습 프로그램(Airflow)을 원활하게 돌리기 위해 컴퓨터 메모리(RAM)가 최소 8GB 이상이어야 합니다.
개인 PC에 도커(Docker) 설치가 필요합니다. (설치 과정은 수업 시간에도 함께 다룹니다!)
커리큘럼
- 1주차 Apache Airflow 기초 개념 안내
- 2주차 Docker 핵심 개념 이해
- 3주차 Docker 컨테이너 생성 및 관리 실습
- 4주차 Airflow 실행 환경 구성 및 UI 기본 기능 학습
- 5주차 DAG의 기본 구조와 실행 흐름 작성
- 6주차 Airflow 설정값과 외부 연결 정보를 관리
- 7주차 .PythonOperator 파라미터 전달
- 8주차 오퍼레이터 간 데이터 전달(XCom)
- 9주차 BranchPythonOperator 활용
- 10주차 TaskFlow API 기본 활용
- 11주차 Airflow 설정값과 외부 연결 정보 관리
- 12주차 API 조회 기반 데이터 수집
- 13주차 데이터베이스 작업 처리
- 14주차 Hook 개념과 기본 활용
- 15주차 클라우드 서비스 대상 작업
- 16주차 Airflow 기반 데이터 파이프라인 개발
