Tags

Python

[PYTHON] - deque, Queue의 차이

1 분 소요

최근 BFS를 다시 볼일이 생겨서 백준 문제를 하나 풀어보게 되었다. https://www.acmicpc.net/problem/7576 문제인데 타임오버가 계속해서 발생하였다.

[PYTHON] - Descriptor

4 분 소요

python에서는 @property를 통해 attribute를 좀 더 알차게 표현할 수 있다. 예를 들어 maximum value를 구하는 class를 생성한다고 가정하면 아래와 같이 표현하게 될 것이다.

class 변수, class method, static method?

1 분 소요

class 변수, class method class 변수 class 내부의 가장 첫번째 indent에서 선언할 수 있다. 객체를 생성하지 않고도 Class의 name을 통해서만 접근 가능.

맨 위로 이동 ↑

Airflow

[Airflow] - Airflow 기본 Concept과 Scheduler

2 분 소요

Helm에 관해서 알아보던 중 Airflow의 기본 구조에 대해서 명확하게 정리가 되어있지 않은 상태인 것을 직시했다. 그래서 오늘은 Airflow 기본 Concept 및 Scheduler에 대해서 정리해보자.

WSL에서 Airflow 접속이 되지 않을때

최대 1 분 소요

개인 프로젝트를 위해 WSL에서 Airflow를 사용 중인데 잘 되던 것이 갑자기 되지 않았다. 현상은 localhost:port로 접속하면 아무런 반응이 없는 것이다. cmd에서 telnet localhost port 을 해도 별다른 반응이 없다.

Airflow DAG 생성 / Operator 구성

4 분 소요

오늘은 Airflow의 DAG Task를 생성하는 방법에 대해서 정리해보려 한다. 기본적으로 DAG을 어떻게 생성하는지와 Operator 의 종류 및 구성에 대해서 살펴보자.

맨 위로 이동 ↑

Database

[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 04. 검색엔진

3 분 소요

검색엔진이란? 검색엔진은 특정 텍스트 데이터를 검색하기 위해 사용되는 엔진이다. 대표적으로 생각해볼 수 있는 예시는 google, naver 검색 기능이다. 검색 기능은 특정 키워드로 검색을 하면 그 내용을 가지고 있는 site를 나열해주는 기능이다. 여기에 최적화된 databas...

맨 위로 이동 ↑

NoSQL

[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 04. 검색엔진

3 분 소요

검색엔진이란? 검색엔진은 특정 텍스트 데이터를 검색하기 위해 사용되는 엔진이다. 대표적으로 생각해볼 수 있는 예시는 google, naver 검색 기능이다. 검색 기능은 특정 키워드로 검색을 하면 그 내용을 가지고 있는 site를 나열해주는 기능이다. 여기에 최적화된 databas...

맨 위로 이동 ↑

Kafka

[Kafka] - 04. 카프카 컨슈머

5 분 소요

컨슈머는 프로듀서로부터 카프카에 전달된 메시지를 가져오는 역할을 합니다. 카프카에 토픽-파티션 단위로 저장된 메시지를 정확하게 가져오는 것이 중요한 핵심 사항 중 하나입니다.

[Kafka] - 03. 카프카 프로듀서

7 분 소요

오늘은 카프카 프로듀서의 내부 동작과 구현에 대해서 알아보도록 하겠습니다. 프로듀서가 전송하려는 메시지들은 프로듀서의 send() 메소드를 통해 serializer, 파티셔너를 거쳐 카프카로 전송됩니다.

[Kafka] - 01. 카프카 기본 개념과 구조

6 분 소요

카프카란? Kafka는 링크드인에서 개발된 분산 메시지 처리 플랫폼으로 대용량 데이터 실시간 스트리밍을 위해 주로 사용합니다. 주로 Message(데이터)를 받아서 필요한 app에 전달해주는 handler 역할로 사용됩니다. 실시간 스트리밍에서는 메시지가 handler에게...

맨 위로 이동 ↑

Linux

[Linux][OS] Process

3 분 소요

Process란? Process란 무엇인가 알기전에 Program과 Process에 어떤 차이가 있는지에 대해 알아보자. Program이란 H/W에 저장된 실행 파일이다. Process와의 차이는 프로그램은 단지 작업을 수행하기 위한 명령어의 모음일뿐, 그 자체로서는 어떠...

[Linux][FileSystem] INode, Hardlink, Softlink

최대 1 분 소요

iNode란? Linux에서 ls -al command를 통해 파일의 정보를 확인해보면 권한, 파일 형식 등등 다양한 정보들이 출력되는 것을 알 수 있습니다. 이런 정보는 어디에 기록이 되고 있는 것인지 의문점을 가질 수 있는데, 이와 같이 각 파일의 메타 데이터를 저장할...

맨 위로 이동 ↑

english

맨 위로 이동 ↑

Github

맨 위로 이동 ↑

Github-page

맨 위로 이동 ↑

Aws

VPC란?

2 분 소요

before read 해당 글에는 개인적인 생각이 들어가 있습니다. 틀린 내용이 있을수도 있으니 이에 대해서 양해 부탁드립니다.

맨 위로 이동 ↑

Spark

맨 위로 이동 ↑

Window

WSL2 웹서버를 Local IP에 매칭해서 사용해보기

3 분 소요

서론 글을 쓰게된 이유 최근 AWS, k8s 공부를 하면서 네트워크 쪽에 너무 무지하다는 생각이 들었다. 물론 대학생때도 한번 공부를 했으나 내 기억력은 그렇게 좋은 편이 아니라 모두 reset 되버린 상태다. 그래서 이를 보완하고자 네트워크 기초를 다시 공부하게 되었고 어느...

맨 위로 이동 ↑

WSL

WSL2 웹서버를 Local IP에 매칭해서 사용해보기

3 분 소요

서론 글을 쓰게된 이유 최근 AWS, k8s 공부를 하면서 네트워크 쪽에 너무 무지하다는 생각이 들었다. 물론 대학생때도 한번 공부를 했으나 내 기억력은 그렇게 좋은 편이 아니라 모두 reset 되버린 상태다. 그래서 이를 보완하고자 네트워크 기초를 다시 공부하게 되었고 어느...

맨 위로 이동 ↑

Redshift

맨 위로 이동 ↑