공부 내용 기록을 위해 운영중인 Blog 입니다.
+ 방문하는 분들께 도움이 되면 좋겠네요 :)

Posts by year

2022

[Airflow] - Airflow 기본 Concept과 Scheduler

2 분 소요

Helm에 관해서 알아보던 중 Airflow의 기본 구조에 대해서 명확하게 정리가 되어있지 않은 상태인 것을 직시했다. 그래서 오늘은 Airflow 기본 Concept 및 Scheduler에 대해서 정리해보자.

[PYTHON] - deque, Queue의 차이

1 분 소요

최근 BFS를 다시 볼일이 생겨서 백준 문제를 하나 풀어보게 되었다. https://www.acmicpc.net/problem/7576 문제인데 타임오버가 계속해서 발생하였다.

[Kafka] - 04. 카프카 컨슈머

5 분 소요

컨슈머는 프로듀서로부터 카프카에 전달된 메시지를 가져오는 역할을 합니다. 카프카에 토픽-파티션 단위로 저장된 메시지를 정확하게 가져오는 것이 중요한 핵심 사항 중 하나입니다.

[Kafka] - 03. 카프카 프로듀서

7 분 소요

오늘은 카프카 프로듀서의 내부 동작과 구현에 대해서 알아보도록 하겠습니다. 프로듀서가 전송하려는 메시지들은 프로듀서의 send() 메소드를 통해 serializer, 파티셔너를 거쳐 카프카로 전송됩니다.

[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 04. 검색엔진

3 분 소요

검색엔진이란? 검색엔진은 특정 텍스트 데이터를 검색하기 위해 사용되는 엔진이다. 대표적으로 생각해볼 수 있는 예시는 google, naver 검색 기능이다. 검색 기능은 특정 키워드로 검색을 하면 그 내용을 가지고 있는 site를 나열해주는 기능이다. 여기에 최적화된 databas...

[PYTHON] - Descriptor

4 분 소요

python에서는 @property를 통해 attribute를 좀 더 알차게 표현할 수 있다. 예를 들어 maximum value를 구하는 class를 생성한다고 가정하면 아래와 같이 표현하게 될 것이다.

[Kafka] - 01. 카프카 기본 개념과 구조

6 분 소요

카프카란? Kafka는 링크드인에서 개발된 분산 메시지 처리 플랫폼으로 대용량 데이터 실시간 스트리밍을 위해 주로 사용합니다. 주로 Message(데이터)를 받아서 필요한 app에 전달해주는 handler 역할로 사용됩니다. 실시간 스트리밍에서는 메시지가 handler에게...

WSL2 웹서버를 Local IP에 매칭해서 사용해보기

3 분 소요

서론 글을 쓰게된 이유 최근 AWS, k8s 공부를 하면서 네트워크 쪽에 너무 무지하다는 생각이 들었다. 물론 대학생때도 한번 공부를 했으나 내 기억력은 그렇게 좋은 편이 아니라 모두 reset 되버린 상태다. 그래서 이를 보완하고자 네트워크 기초를 다시 공부하게 되었고 어느...

class 변수, class method, static method?

1 분 소요

class 변수, class method class 변수 class 내부의 가장 첫번째 indent에서 선언할 수 있다. 객체를 생성하지 않고도 Class의 name을 통해서만 접근 가능.

WSL에서 Airflow 접속이 되지 않을때

최대 1 분 소요

개인 프로젝트를 위해 WSL에서 Airflow를 사용 중인데 잘 되던 것이 갑자기 되지 않았다. 현상은 localhost:port로 접속하면 아무런 반응이 없는 것이다. cmd에서 telnet localhost port 을 해도 별다른 반응이 없다.

[Linux][OS] Process

3 분 소요

Process란? Process란 무엇인가 알기전에 Program과 Process에 어떤 차이가 있는지에 대해 알아보자. Program이란 H/W에 저장된 실행 파일이다. Process와의 차이는 프로그램은 단지 작업을 수행하기 위한 명령어의 모음일뿐, 그 자체로서는 어떠...

VPC란?

2 분 소요

before read 해당 글에는 개인적인 생각이 들어가 있습니다. 틀린 내용이 있을수도 있으니 이에 대해서 양해 부탁드립니다.

[Linux][FileSystem] INode, Hardlink, Softlink

최대 1 분 소요

iNode란? Linux에서 ls -al command를 통해 파일의 정보를 확인해보면 권한, 파일 형식 등등 다양한 정보들이 출력되는 것을 알 수 있습니다. 이런 정보는 어디에 기록이 되고 있는 것인지 의문점을 가질 수 있는데, 이와 같이 각 파일의 메타 데이터를 저장할...

맨 위로 이동 ↑

2021

Airflow DAG 생성 / Operator 구성

4 분 소요

오늘은 Airflow의 DAG Task를 생성하는 방법에 대해서 정리해보려 한다. 기본적으로 DAG을 어떻게 생성하는지와 Operator 의 종류 및 구성에 대해서 살펴보자.

맨 위로 이동 ↑