현상1) EC2의 controller.log 에서 warning이 계속 발생 Controller 0's connection to broker 서버IP:9092 (id: 0 rack: null) was unsuccessful (kafka.controller.RequestSendThread) java.net.SocketTimeoutException: Failed to connect within 30000 ms at kafka.controller.RequestSendThread.brokerReady(ControllerChannelManager.scala:289) at kafka.controller.RequestSendThread.doWork(ControllerChannelManager.scala:242) at..
AWS에 설치했고 서버에 들어가서 토픽 만들고 확인하는 방법 1. 주키퍼로 확인하는 방법 >bin/kafka-topics.sh --list --zookeeper localhost:2181 test 2. 카프카로 확인하는 방법 > bin/kafka-topics.sh --bootstrap-server=localhost:9092 --list Error while executing topic command : org.apache.kafka.common.errors.TimeoutException: Call(callName=listTopics, deadlineMs=1627799910566) timed out at 1627799910568 after 1 attempt(s) 나의 경우 주키퍼로는 확인이 가능한데 카프카..
배경설명 AWS EC2에 카프카와 주키퍼를 single-node로 셋팅해서 로컬에서 접속테스트 이것저것하고 다른날 다시 연결해보니 연결이 안되는 현상 발생. 버전: kafka_2.12-2.5.0 급한 마음에 kill -9로 프로세스를 죽이고 다시 띄우니 아래 로그가 kafkaServer.log에 남아서 올라오지 않는다. [2021-08-01 00:57:20,141] INFO [SocketServer brokerId=0] Started 1 acceptor threads for data-plane (kafka.network.SocketServer) [2021-08-01 00:57:20,178] INFO [ExpirationReaper-0-Produce]: Starting (kafka.server.Delaye..
대시보드 만드는걸 업무적으로 해야할것 같다. 원래 하는 업무도 있지만, 눈에 띄는 일을 좀 해야해서.. 팀장과 의논을 했고, 카프카를 써보면 어떻겠냐고 해서 뭔지 보겠다고 했다. 카프카 kafka 쳐보면 압도적으로 소설가이름이 많이 나온다. 유투브를 좀 보니, 얼래 ELK에서 본 내용과 닮았..? 로그, s3, db의 데이터를 수집해서(logstash) 담고 제공하고 (elasticsearch 인가?) 시각화 (kibana)에서 시각화를 뺀 부분인가? 그래서 검색을 좀 해봤는데 kafka와 ELK를 같이 쓰는 경우도 보인다. logstash에서 elasticsearch로 곧장 보내지 않고 kafka를 거치는거다. 이유는 확실하겐 못찾았는데 안정성과 대용량데이터 처리의 장점 때문 아닐까? 맘에 든 예제 케..
- Total
- Today
- Yesterday
- Node.js
- AWS
- 주식
- 개발언어
- KAFKA
- 프로그래밍
- 주식초보
- vue.js
- 번역
- JavaScript
- morningbrew
- 자바
- Java
- 스터디
- openjdk
- Amplify
- auth
- mariadb
- 경제뉴스
- Kotlin
- es6
- 자바스크립트
- 후기
- 코틀린
- 개발
- 개발자
- 이직
- 공부
- 카프카
- 마리아DB
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |