<aside> 💡 Q. 반복적인 데이터 파이프라인을 효과적으로 배포하고 관리하는 방법으로는 무엇이 있을까?

• 컨슈머 개발
• 스트림즈를 개발
• 커넥트를 사용 ✔️ </aside>

1. Kafka connect란?

<aside> 💡 kafka connect

: kafka connect는 카프카 공식 오픈소스에 포함된 툴 중 하나로 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션.

</aside>

2. Kafka connect의 도입 배경

• 카프카(kafka)는 프로듀서(Producer)와 컨슈머(Consumer)를 통해 다양한 외부 시스템 데이터를 주고 받으며 메세지 파이프라인 아키텍쳐를 구성한다.
• 하지만 이러한 파이프라인을 매번 구성하며 프로듀서와 컨슈머를 개발하는 것은 쉽지 않다.
  • 반복적인 파이프라인 생성 작업이 있을 때, 매번 프로듀서, 컨슈머 애플리케이션을 개발하고 배포, 운영해야 하기 때문
• 커넥트는 특정한 작업 형태를 템플릿으로 만들어놓은 커넥터(connector)를 실행함으로써 반복 작업을 줄일 수 있다.
  • 파이프라인 생성 시 자주 반복되는 값들(토픽 이름, 파일 이름, 테이블 이름 등)을 파라미터로 받는 커넥터를 코드로 작성하면 이후에 코드를 재작성할 필요가 없기 때문
• 따라서 카프카 메세지로 파이프라인 아키텍쳐를 보다 적은 비용으로 보다 쉽게 구현하게 도와주는 것이 카프카 커넥트(Kafka connect)이다.

3. Kafka connect의 특징

Kafka connect는 대표적으로 다음과 같은 5가지 특징을 가지고 있다.

• 데이터 중심 파이프라인

  : 카프카 커넥트를 이용해 카프카로 데이터를 보내거나, 카프카로 데이터를 가져옴

• 유연성과 확장성

  : 커넥트는 테스트를 위한 단독 모드(standalone mode)와 대규모 운영 환경을 위한 분산 모드(distributed mode)를 제공

• 재사용성과 기능 확장

  : 커넥트는 기존 커넥터를 활용할 수도 있고 운영 환경에서의 요구사항에 맞춰 확장이 가능

• 편리한 운영과 관리

  : 카프카 커넥트가 제공하는 REST API로 빠르고 간단하게 커넥트 운영 가능

• 장애 및 복구

  : 카프카 커넥트를 분산 모드로 실행하면 워커 노드의 장애 상황에도 메타데이터를 백업함으로써 대응 가능하며 고가용성 보장

4. Kafka connector의 핵심 개념