[PYTHON] - self와 cls의 차이는? ( init vs new .. and call )
Python에서 햇갈리는 부분 중 하나가 어떨때는 클래스 내부 인자가 cls이고, 어떨때는 self로 사용이 된다는 점이다.
Categories
- Python 12
- Airflow 6
- Database 6
- NoSQL 5
- Kafka 4
- Linux 3
- english 2
- Github 1
- Github-page 1
- Aws 1
- Spark 1
- Window 1
- Redshift 1
Python
[PYTHON] - deque, Queue의 차이
최근 BFS를 다시 볼일이 생겨서 백준 문제를 하나 풀어보게 되었다. https://www.acmicpc.net/problem/7576 문제인데 타임오버가 계속해서 발생하였다.
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 8. 강건성과 성능
65. try/except/else/finally의 각 블록을 잘 활용하라
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 7. 동시성과 병렬성
52. 자식 프로세스를 관리하기 위해 subprocess를 사용하라 subprocess는 python에서 child process를 관리하기 위해 사용하는 built-in 모듈. 책에서는 subprocess.Popen을 사용해 관리할 것을 권유하고 있으며 기본적인 사용방법은 htt...
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 6. 메타클래스와 애트리튜브
Meta Class란? Python에서의 Meta-class는 class를 가로채서 거기에 특별한 동작을 제공하는 클래스를 뜻한다. 예를들면 list 자료형에 replace 라는 기능을 추가하고 싶다고 가정하자. 여기서 replace 기능은 string의 replace 기능을 뜻한...
[PYTHON] - Descriptor
python에서는 @property를 통해 attribute를 좀 더 알차게 표현할 수 있다. 예를 들어 maximum value를 구하는 class를 생성한다고 가정하면 아래와 같이 표현하게 될 것이다.
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 5. 클래스와 인터페이스
CHAPTER 5. 클래스와 인터페이스
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 4. 컴프리헨션과 제너레이터
Chapter 4. 컴프리헨션과 제너레이터
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 2. 리스트와 딕셔너리
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 2. 리스트와 딕셔너리
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 1. 파이썬 답게 생각하기
[파이썬 코딩의 기술 : Effective PYTHON 2ND 요약 및 코드 정리] CHAPTER 1. 파이썬 답게 생각하기
class 변수, class method, static method?
class 변수, class method class 변수 class 내부의 가장 첫번째 indent에서 선언할 수 있다. 객체를 생성하지 않고도 Class의 name을 통해서만 접근 가능.
Airflow
[Airflow] - Airflow DAG Debuging 하는 방법
Debuging 방법
[Airflow] - Airflow 기본 Concept과 Scheduler
Helm에 관해서 알아보던 중 Airflow의 기본 구조에 대해서 명확하게 정리가 되어있지 않은 상태인 것을 직시했다. 그래서 오늘은 Airflow 기본 Concept 및 Scheduler에 대해서 정리해보자.
[Airflow] - Airflow에서 DAG을 인식하는 방식
Airflow를 처음 사용할 때 DAG파일을 작성해도 인식이 안되는 문제를 종종 접하곤 했다.
WSL에서 Airflow 접속이 되지 않을때
개인 프로젝트를 위해 WSL에서 Airflow를 사용 중인데 잘 되던 것이 갑자기 되지 않았다. 현상은 localhost:port로 접속하면 아무런 반응이 없는 것이다. cmd에서 telnet localhost port 을 해도 별다른 반응이 없다.
Airflow DAG 생성 / Operator 구성
오늘은 Airflow의 DAG Task를 생성하는 방법에 대해서 정리해보려 한다. 기본적으로 DAG을 어떻게 생성하는지와 Operator 의 종류 및 구성에 대해서 살펴보자.
Window에서 Airflow 설치해보기
Airflow for Window Subsystem for Linux
Database
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 05. Performance 테스트
앞선 글까지 NoSQL의 4가지 종류(분산 KVS, WCS, Document Store, Search Engine)에 대해서 살펴보았다. 각 문서에서는 RDBMS와 비교했을시 NoSQL의 성능이 더 우수하다고 되어있지만 글로만 봐서는 체감이 되질 않는다.
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 04. 검색엔진
검색엔진이란? 검색엔진은 특정 텍스트 데이터를 검색하기 위해 사용되는 엔진이다. 대표적으로 생각해볼 수 있는 예시는 google, naver 검색 기능이다. 검색 기능은 특정 키워드로 검색을 하면 그 내용을 가지고 있는 site를 나열해주는 기능이다. 여기에 최적화된 databas...
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 03. 도큐먼트 스토어(MongoDB)
Document Store 이제까지 알아봤던 NoSQL 종류는 “성능 향상”을 기준으로 했다면 이번에는 “데이터 처리의 유연성”을 기준으로 분류된 NoSQL에 대해 알아볼 차례다.
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 02. 와이드 컬럼 스토어(카산드라)
이번 post에서는 이전글에 이어서 와이드 컬럼 스토어에 대해서 알아보도록 하겠다.
NoSQL
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 05. Performance 테스트
앞선 글까지 NoSQL의 4가지 종류(분산 KVS, WCS, Document Store, Search Engine)에 대해서 살펴보았다. 각 문서에서는 RDBMS와 비교했을시 NoSQL의 성능이 더 우수하다고 되어있지만 글로만 봐서는 체감이 되질 않는다.
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 04. 검색엔진
검색엔진이란? 검색엔진은 특정 텍스트 데이터를 검색하기 위해 사용되는 엔진이다. 대표적으로 생각해볼 수 있는 예시는 google, naver 검색 기능이다. 검색 기능은 특정 키워드로 검색을 하면 그 내용을 가지고 있는 site를 나열해주는 기능이다. 여기에 최적화된 databas...
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 03. 도큐먼트 스토어(MongoDB)
Document Store 이제까지 알아봤던 NoSQL 종류는 “성능 향상”을 기준으로 했다면 이번에는 “데이터 처리의 유연성”을 기준으로 분류된 NoSQL에 대해 알아볼 차례다.
[DataBase][NoSQL] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어, 검색엔진에 대해서 알아보자 - 02. 와이드 컬럼 스토어(카산드라)
이번 post에서는 이전글에 이어서 와이드 컬럼 스토어에 대해서 알아보도록 하겠다.
Kafka
[Kafka] - 04. 카프카 컨슈머
컨슈머는 프로듀서로부터 카프카에 전달된 메시지를 가져오는 역할을 합니다. 카프카에 토픽-파티션 단위로 저장된 메시지를 정확하게 가져오는 것이 중요한 핵심 사항 중 하나입니다.
[Kafka] - 03. 카프카 프로듀서
오늘은 카프카 프로듀서의 내부 동작과 구현에 대해서 알아보도록 하겠습니다. 프로듀서가 전송하려는 메시지들은 프로듀서의 send() 메소드를 통해 serializer, 파티셔너를 거쳐 카프카로 전송됩니다.
[Kafka] - 01. 카프카 기본 개념과 구조
카프카란? Kafka는 링크드인에서 개발된 분산 메시지 처리 플랫폼으로 대용량 데이터 실시간 스트리밍을 위해 주로 사용합니다. 주로 Message(데이터)를 받아서 필요한 app에 전달해주는 handler 역할로 사용됩니다. 실시간 스트리밍에서는 메시지가 handler에게...
Linux
[Linux][OS] Process
Process란? Process란 무엇인가 알기전에 Program과 Process에 어떤 차이가 있는지에 대해 알아보자. Program이란 H/W에 저장된 실행 파일이다. Process와의 차이는 프로그램은 단지 작업을 수행하기 위한 명령어의 모음일뿐, 그 자체로서는 어떠...
[Linux][FileSystem] INode, Hardlink, Softlink
iNode란? Linux에서 ls -al command를 통해 파일의 정보를 확인해보면 권한, 파일 형식 등등 다양한 정보들이 출력되는 것을 알 수 있습니다. 이런 정보는 어디에 기록이 되고 있는 것인지 의문점을 가질 수 있는데, 이와 같이 각 파일의 메타 데이터를 저장할...
자주쓰는 Linux 명령어 정리
자주쓰는 Linux 명령어
english
관계절이 회화에서 필요한 이유
관계절이란?
Github
현재 파일 Directory를 Github Project에 올려보기
Commit 하고싶은 Local 경로로 들어가서 git init 으로 원격 저장소 설정. gh repo create 실행 후, Push an existing local repository to Github 선택. remote는 Yes Check시 git...
Github-page
[minimal-mistakes] page style customize
[minimal-mistakes] page style customize
Aws
VPC란?
before read 해당 글에는 개인적인 생각이 들어가 있습니다. 틀린 내용이 있을수도 있으니 이에 대해서 양해 부탁드립니다.
Spark
Spark - 구조적 API ( Dataframe ) 기본 연산
Chapter 5. 구조적 API의 기본 연산
Window
WSL2 웹서버를 Local IP에 매칭해서 사용해보기
서론 글을 쓰게된 이유 최근 AWS, k8s 공부를 하면서 네트워크 쪽에 너무 무지하다는 생각이 들었다. 물론 대학생때도 한번 공부를 했으나 내 기억력은 그렇게 좋은 편이 아니라 모두 reset 되버린 상태다. 그래서 이를 보완하고자 네트워크 기초를 다시 공부하게 되었고 어느...