티스토리 뷰

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 세션 4를 수강하고 이를 참고해 작성했습니다. 

 

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |

데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고

www.inflearn.com

 

1. 실습 준비

 

- 예제 코드 다운로드 

 

GitHub - bjpublic/apache-kafka-with-java: 아파치 카프카 애플리케이션 프로그래밍 with 자바

아파치 카프카 애플리케이션 프로그래밍 with 자바. Contribute to bjpublic/apache-kafka-with-java development by creating an account on GitHub.

github.com

 

- 카프카 바이너리 파일 다운로드: 버전은 2.12-2.5.0.tgz

 

Apache Kafka

Apache Kafka: A Distributed Streaming Platform.

kafka.apache.org

 

- 실습 툴 (인텔리제이, iTerm2) 다운로드

 

2. 실습

[1] server.properties 파일 수정하기

 - broker.id = 0 

- listeners 경로를 로컬 호스트의 9092 포트로 설정한다.

- advertised.listeners의 경로를 로컬 호스트의 9092 포트로 설정한다.

 

[2] 로그 파일 디렉토리 생성 및 경로 지정

로그를 저장할 ``data` 디렉토리를 생성한다.

server.properties 파일에서 log.dirs에 방금 data 디렉토리를 생성한 경로로 지정해 준다. 

`cat config/server.properties | grep log.dirs` 명령어를 입력하면 다음과 같이 올바르게 경로가 지정됐는지 확인할 수 있다.

 

[3] 주키퍼 실행하기

- 주키퍼 실행 전 자바가 설치되어 있는지 확인해야 한다.

- 자바가 설치되어 있는 것을 확인했다면 `bin/zookeeper-server-start.sh config/zookeeper.properties` 명령어를 사용해서 주키퍼를 실행한다. 

- 반드시 카프카 브로커 실행 전 주키퍼를 먼저 실행해야 한다

 

[4] 카프카 브로커 실행하기

- 주키퍼가 정상적으로 실행된 것을 확인한 뒤 `bin/kafka-server-start.sh config/server.properties`명령어를 사용해서 카프카 브로커를 실행한다. 

 

[5] 정상적으로 작동하는 주키퍼(상), 카프카 브로커(하)

 

 

[6] 카프카 정상 실행 여부 확인

`bin/kafka-broker-api-version.sh --bootstrap-server localhost:9092`명령어를 사용하면 로컬에 띄워진 카프카 브로커를 조회할 수 있다. 

 

[7] 테스트 편의를 위한 hosts 설정 

`etc/hosts` 파일에 `127.0.0.1 my-kafka` 명령어를 추가해 테스트 편의를 위한 호스트 설정을 해준다. 

 

완료!

공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG
more
«   2024/09   »
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
글 보관함