kafka에 대해서

대시보드 만드는걸 업무적으로 해야할것 같다.

원래 하는 업무도 있지만, 눈에 띄는 일을 좀 해야해서..

 

팀장과 의논을 했고, 카프카를 써보면 어떻겠냐고 해서 뭔지 보겠다고 했다.

 

카프카 kafka 쳐보면 압도적으로 소설가이름이 많이 나온다.

유투브를 좀 보니, 얼래 ELK에서 본 내용과 닮았..?

 

로그, s3, db의 데이터를 수집해서(logstash) 담고 제공하고 (elasticsearch 인가?) 시각화 (kibana)에서 

시각화를 뺀 부분인가?

 

그래서 검색을 좀 해봤는데

kafka와 ELK를 같이 쓰는 경우도 보인다.

 

logstash에서 elasticsearch로 곧장 보내지 않고 kafka를 거치는거다.

이유는 확실하겐 못찾았는데

안정성과 대용량데이터 처리의 장점 때문 아닐까?

맘에 든 예제 케이스: https://taetaetae.github.io/2018/01/25/apache-access-log-to-es/