airflow
-
Airflow 동작 과정 일단 간단한 설명을 먼저하고 예시 코드를 작성하겠다. 동작 설명 “Hello World”가 나온 후 계산을 하도록 하는 Workflow를 만든다고 했을 때를 가정해보자. 1. Hello World가 나오는 함수와 Operator를 만들어야 하고 이후 계산을 하는 함수와 Operator를 만든다. 2. 이미 만들어진 Operator를 어떤 순서로 연결하여 설계할 지에 대해서 정의를 해준다. 3. 설계한 대로 실제 동작하는지 WebServer를 켜서 UI에서 동작 확인해본다. (Webserver와 Scheduler에게 지시) 여기서 Executor와 Worker가 실제 Operator의 작업을 수행한다. 세번째가 동작하게 된다면 해당 Flow의 정보는 Metastore에 저장된다. ..
[Airflow] 02_Airflow 동작 과정Airflow 동작 과정 일단 간단한 설명을 먼저하고 예시 코드를 작성하겠다. 동작 설명 “Hello World”가 나온 후 계산을 하도록 하는 Workflow를 만든다고 했을 때를 가정해보자. 1. Hello World가 나오는 함수와 Operator를 만들어야 하고 이후 계산을 하는 함수와 Operator를 만든다. 2. 이미 만들어진 Operator를 어떤 순서로 연결하여 설계할 지에 대해서 정의를 해준다. 3. 설계한 대로 실제 동작하는지 WebServer를 켜서 UI에서 동작 확인해본다. (Webserver와 Scheduler에게 지시) 여기서 Executor와 Worker가 실제 Operator의 작업을 수행한다. 세번째가 동작하게 된다면 해당 Flow의 정보는 Metastore에 저장된다. ..
2024.01.09 -
Airflow 개념 Airflow는 특정 Task를 수행하는 일을 순서대로 진행시켜주는 자동화 도구라고 생각한다. 여기서 오해하면 안될게 하나 있는데 Airflow가 실제 데이터 처리를 해주는 것이 아니라 처리 과정을 도와주고 확인할 수 있는 도구라고 이해하면 된다. 그렇다면 Airflow를 왜 사용할까? 에 대한 물음은 아래의 그림을 보면서 이해하도록 해보자! 이제부터 Workflow에 대해서 많이 사용하게 될 것 같아 용어를 정의하자면 Workflow는 “의존성으로 연결된 작업(Task)들의 집합”이다. 위의 Workflow를 만들고 관리하려면 실패 복구, 모니터링, 의존성 관리, 확장성, 배포와 같은 문제가 발생한다. 해당 문제를 조금 더 자세하게 살펴보게 된다면 실패 복구 언제 어떻게 다시 실행할..
[Airflow] 01_Airflow 기초Airflow 개념 Airflow는 특정 Task를 수행하는 일을 순서대로 진행시켜주는 자동화 도구라고 생각한다. 여기서 오해하면 안될게 하나 있는데 Airflow가 실제 데이터 처리를 해주는 것이 아니라 처리 과정을 도와주고 확인할 수 있는 도구라고 이해하면 된다. 그렇다면 Airflow를 왜 사용할까? 에 대한 물음은 아래의 그림을 보면서 이해하도록 해보자! 이제부터 Workflow에 대해서 많이 사용하게 될 것 같아 용어를 정의하자면 Workflow는 “의존성으로 연결된 작업(Task)들의 집합”이다. 위의 Workflow를 만들고 관리하려면 실패 복구, 모니터링, 의존성 관리, 확장성, 배포와 같은 문제가 발생한다. 해당 문제를 조금 더 자세하게 살펴보게 된다면 실패 복구 언제 어떻게 다시 실행할..
2024.01.09