CAP 이론은 분산 시스템의 일관성, 가용성, 분할 허용성 사이의 트레이드오프를 설명합니다. MongoDB, Cassandra 사례로 개념을 정리해봤습니다.

CAP 이론과 Quorum: 분산 시스템 설계의 근본을 이해해보기

Kubernetes에서 Fluent Bit 로그 수집하는 법에 대해 소개합니다.

Kubernetes에서 Fluent Bit의 역할 및 사용 가이드 (Feat. EKS)

Kubernetes에서 automountServiceAccountToken 설정은 Pod의 API 접근 권한과 보안 수준을 결정하는 핵심 옵션

Kubernetes에서 automountServiceAccountToken을 꺼야 할 때와 켜야 할 때

EKS에서 여러 서비스를 하나의 ALB 또는 Ingress로 묶는 방법 소개 (IngressGroup & Nginx Ingress 패턴 정리)

EKS에서 여러 서비스를 하나의 ALB 또는 Ingress로 묶는 방법 (IngressGroup & Nginx Ingress 패턴 정리)

EKS에서의 NLB 사용법에 대해서 소개합니다. (feat. AWS Load Balancer Controller)

EKS에서의 NLB 사용법 (feat. AWS Load Balancer Controller)

《킴벌의 데이터 웨어하우스 툴킷》 스터디 회고, 3개월 간의 기록

《킴벌의 데이터 웨어하우스 툴킷》 스터디 회고

Kimball DW/BI Lifecycle (feat. 킴벌 데이터 웨어하우스 툴킷)

Accumulating Snapshot Fact Table과 Factless Fact Table의 활용 + 교육 기관, 특히 대학에서 발생하는 다양한 데이터를 어떻게 모델링할 수 있는지를 설명

Accumulating Snapshot Fact Table과 Factless Fact Table (feat. 킴벌 데이터 웨어하우스 툴킷 13장)

Surrogate Key 개념부터, dbt에서 Surrogate Key 생성 전략에 대해 정리하였습니다.

dbt에서의 Surrogate Key 생성 전략

CKA(Certified Kubernetes Administrator) 합격 후기

EKS - IAM Role과 Kubernetes ServiceAccount를 연결하는 과정 (+IRSA)

EKS - IAM Role과 Kubernetes ServiceAccount를 연결하는 과정 (+IRSA, boto3)

Datahub가 메타 데이터를 저장하는 방식 (ElasticSearch, MetaDB)

Airflow worker node dns resolution 문제 (Airflow Worker 로그 접근 문제 해결방법)

Airflow DagFile Processing error 해결 및 파싱 안정화 (DagBag import timeout, EFS를 얹은)

EKS - External Secrets Operator를 활용한 AWS Secret manager 연동

Kubernetes - ConfigMap, Secrets 개념 정리

Kubernetes - ConfigMap, Secrets

카프카 핵심 가이드 ch.9 리뷰하기 (데이터 파이프라인)

카프카 핵심 가이드 ch.9 - 데이터 파이프라인

카프카 핵심 가이드 10장 클러스터간 데이터 미러링하기 (미러 메이커)

카프카 핵심 가이드 10장 - 클러스터간 데이터 미러링하기

전략 패턴 (디자인 패턴) - 전략 패턴에 대한 정리 및 유스 케이스 분석

상태 패턴 (디자인 패턴) - 상태 패턴에 대한 정리 및 유스 케이스 분석

kubernetes Kube DNS (CoreDNS) 정리 (CKA 및 개념 정리)

Kubernetes - Kube DNS(CoreDNS 개념 및 CKA)

옵저버 패턴 (디자인 패턴) - 옵저버 패턴에 대한 정리 및 유스 케이스 분석

AB180의 카프카 도입 및 실시간 아키텍처 개선 사례 (리뷰)

카프카 핵심 가이드 ch.6 (카프카 내부 매커니즘) 정리

카프카 핵심 가이드 ch.6 (카프카 내부 매커니즘)

(dbt) dbt model 실습 과정을 통한 톺아보기

(dbt) Data build tool - model 톺아보기

카프카 핵심 가이드 5장 - 프로그램 내에서 코드로 카프카 관리하기

디자인패턴 - 프록시 패턴에 대한 정리 및 유스 케이스 분석

디자인 패턴 - 프록시 패턴에 대한 정리 및 유스 케이스 분석

카프카 핵심 가이드 ch.3 (카프카 프로듀서)

카프카 프로듀서 (카프카 핵심 가이드 ch 3)

디자인 패턴 - 플라이 웨이트 패턴

카프카 핵심 가이드 ch.1 - Kafka 개요

카프카 핵심 가이드 ch.2 -카프카 설치 및 구성 옵션 톺아보기

카프카 핵심 가이드 ch.2 - 카프카 설치 및 구성 옵션 톺아보기

디자인 패턴 - 프로토타입 정리

디자인 패턴 - 프로토타입

디자인 패턴 - 빌더 패턴

kubernetes Ingress 정리 (CKA 및 개념 정리)

Kubernetes - Ingress 정리 (개념 및 CKA)

디자인 패턴 종류인 팩토리 메서드와 추상 팩토리 설명과 구현

디자인 패턴 - 팩토리 메서드와 추상 팩토리

클린 아키텍처 5장 객체 지향 프로그래밍(OOP)

클린 아키텍처 5장 - 객체 지향 프로그래밍(OOP)

클린 아키텍처 4장 구조적 프로그래밍 정리

클린 아키텍처 4장 - 구조적 프로그래밍 개요

Mock과 Stub은 테스트 과정에서 자주 사용되는 용어이지만, 그 차이를 명확히 이해하는 것이 중요합니다. 

Mock과 Stub에 대한 아카이빙 (Test Double)

레포지토리 패턴에서 DTO를 반환하는 것이 안티패턴일까? 단순 CRUD와 복잡한 데이터 조회 상황을 구분해서 언제 어떤 값을 반환해야 하는지 실무 예제와 함께 정리했습니다.

repository pattern은 어떤 값을 반환해야 하는가에 대한 지론

Redis SCAN 톺아보기 – KEYS 명령어를 피해야 하는 이유와 SCAN 실전 팁

ECS 태스크가 EC2보다 느릴 경우, 시도해볼 수 있는 것들에 대한 정리 (feat. ECS exec)

ECS-github action를 이용한 Fargate FastAPI 배포

Kafka에서 ISR(In-Sync Replicas)은 데이터 복제 안정성을, cleanup.policy는 로그 정리 방식을 제어합니다. 리더 선출 정책과 delete/compact 차이를 예제로 정리해드립니다.

Kafka ISR과 cleanup.policy: 안정성과 정리 정책의 핵심 정리


[파이썬 아키텍처 패턴] 7장에 대한 정리

[파이썬 아키텍처 패턴] 7장

엘라스틱 서치 실무 가이드 5장 데이터 집계에 대해 읽고 정리

[엘라스틱 서치 실무 가이드] 5장 데이터 집계

‘실시간 인덱싱을 위한 Elasticsearch 구조를 찾아서’ 글을 이해해보면서 필사(자신의 말로 정리)했습니다.

[배민] 실시간 인덱싱을 위한 Elasticsearch 구조를 찾아서 (feat. nested 구조 최적화 과정)

[파이썬 아키텍처 패턴] 6장

[파이썬 아키텍처 패턴] 5장

[파이썬 아키텍처 패턴] 4장

[파이썬 아키텍처 패턴] 3장

[파이썬 아키텍처 패턴] 2장

파이썬 아키텍처 패턴 1장을 읽고 정리

[파이썬 아키텍처 패턴] 1장

엘라스틱 서치 실무 가이드 4장을 읽고 정리한 내용

[엘라스틱 서치 실무 가이드] 4장 데이터 검색

FastAPI는 동기 요청을 스레드 풀로 오프로드하고, 비동기 요청은 이벤트 루프에서 처리합니다. 이 글에서는 FastAPI가 어떻게 동시성을 효율적으로 처리하는지, 스레드 풀과 이벤트 루프의 차이를 예시와 함께 정리했습니다.

FastAPI는 어떻게 동시성을 처리할까? - 이벤트 루프 vs 스레드 풀

Airflow Latest only operator 작성 방법

Airflow Latest only operator 작성

Airflow with ECS task operator (Fargate Spot)

Opensearch sink connector 구성해보기 (feat. AWS MSK)

Opensearch sink connector 구성 (feat. AWS MSK)

[카프카] 멱등성 프로듀서, 트랜잭션 프로듀서와 컨슈머

[카프카] 카프카 컨슈머 소개

[카프카] 카프카 프로듀서 정리

Airflow on Kubernetes (Operating Airflow in k8s executor)

Airflow on Kubernetes

Airflow 아키텍처 및 Executor들 알아보기

Airflow API 톺아보기

Airflow 자주 쓰는 명령어 정리

[Airflow] Task-Group & Dynamic Dags

Airflow Dag Dependencies 있는 Dag 작성법 알아보기 (TriggerDagRunOperator, Sensor, ExternalTaskSensor)

[Airflow] Dag Dependencies (TriggerDagRunOperator, Sensor, ExternalTaskSensor)

(PythonOperator, params, context, Xcom, Airflow.cfg, DAG Parameters)

Airflow DAG 작성(PythonOperator, params, context, Xcom, Airflow.cfg, DAG Parameters)

Airflow 설치 방법 (EC2, Docker)

Airflow - Gsheet 사용법 정리 (feat. GCP)

Airflow - Gsheet 사용법 정리

Airflow Metadatabase로 RDS 교체 (feat. docker compose)

[Airflow] Metadatabase로 RDS 교체해보기

[Airflow] Jinja Template with Airflow

MySQL 테이블 복사하기 with S3 Connection, MySQL Connection, sql_to_s3

MySQL 테이블 복사하기(S3 Connection, MySQL Connection, sql_to_s3)

[Airflow] Primary Key Uniqueness란?, Upsert에 대한 정리

[Airflow] Primary Key Uniqueness란?, Upsert

Open Weathermap DAG 구현 + raise를 통한 예외 처리

[Airflow] Open Weathermap DAG 구현 + Raise를 통한 예외 처리

데이터 파이프라인 내 Transaction 사용법

Transaction in Data pipeline

Apache Airflow 입문해보기 및 Airflow의 구조를 알아보는 과정을 가집니다.

Apache Airflow 입문 및 구조, 개념

데이터 파이프라인 입문해보기 (ETL, DW, Datalake, 데이터 파이프라인 내 개념들 살펴보기)

데이터 파이프라인 입문해보기

Yahoo Finance API DAG(update symbol) 작성

Yahoo Finance API DAG 작성을 통한 Full refresh, Incremental 익히기

Backfill과 Airflow

airflow.cfg 구성 분석 및 타임존 설명

[Airflow] airflow.cfg, 타임존 설명

Airflow with Test in CI

[Airflow] Custom 컴포넌트 빌드 - 아파치 에어플로우 데이터 파이프라인 8장

[Airflow] Custom 컴포넌트 빌드

[러닝스파크 11장] 아파치 스파크로 머신러닝 파이프라인 관리, 배포 및 확장

[러닝스파크 10장] MLlib을 사용한 머신러닝

Airflow 운영 상의 어려움 + Executor 개념 + Airflow 아키텍처 리뷰

[러닝 스파크 9장] 아파치 스파크를 통한 안정적인 데이터 레이크 구축 + 델타 레이크

[Airflow] Summary table 만들기 (Airflow+Redshift를 통한 ELT)

[Airflow] Summary ELT table 만들기 (Airflow+Redshift)

Airflow docker-compose 리뷰 및 운영 고민 + .airflowignore

7장. 스파크 애플리케이션의 최적화 및 튜닝

[러닝 스파크 7장] 스파크 애플리케이션의 최적화 및 튜닝

[러닝스파크 6장-2] Spark Dataset 개념과 이해

[러닝스파크 6장] 스파크 SQL과 데이터 세트 정리

[러닝스파크 6장] 스파크 SQL과 데이터 세트

[러닝스파크 5장] 스파크 SQL과 데이터 프레임: 외부 데이터 소스와 소통하기

[러닝스파크 4장] 스파크 SQL과 데이터 프레임

[러닝 스파크 3장] 아파치 스파크의 정형화 API

[러닝 스파크 2장] 아파치 스파크 시작

[러닝스파크 1장] 아파치 스파크의 분산 실행

백준 데이터를 이용한 데이터 파이프라인 구축 개발에 대한 내용을 담았습니다.

백준 데이터들을 이용한 엔드 투 엔드 데이터 파이프라인 구축

About

채용 공고 트렌드 분석을 위한 데이터 파이프라인 구축 프로젝트

Transaction in Data pipeline

Related Posts

데이터 파이프라인 입문해보기

Backfill과 Airflow

Airflow Latest only operator 작성