데이터 엔지니어로 살아가기 254일째(ElasticSearch, Kibana)

엘라스틱서치(ElasticSearch)와 키바나(Kibana)

데이터를 다루는 사람이라면 한번쯤은 ELK(ElasticSeach + LogStash + Kibana)를 들어봤거나 다루고 있을 것이다.

내가 지금 만지고 있는 시스템에서는 nginx, fluentd, kafka, cassandra로 데이터를 처리하고 있다보니 ELK를 다룰 기회가 없었다. 

최근 nginx를 통해 유입되는 데이터량과 카프카 + 카뮈(camus, 카프카에서 hdfs로 데이터를 배치로 옮겨주는 역할)의 데이터량에 대한 

모니터링이 필요할 것 같다는 생각이 들었다. 

뭐 금방하겠지 생각하고 로컬에 엘라스틱서치(ElasticSearch), Kibana설치하고 데이터 놓고 그래프 그리려는데 생각보다는 쉽지 않았다.

엘라스틱서치(ElasticSearch)과 키바나(Kibana) 설치 및 실행까지는 굉장히 쉬웠고 단조롭게 진행되었다.

curl로 엘라스틱서치(ElasticSearch)에 데이터를 넣고 키바나로 그래프를 그리는 부분에서 많은 시간을 소모하게 되었다.

아무래도 누군가의 설명과 도움없이 진행하다보니 시행착오를 많이 겪었다.

결국 내가 원하는대로 데이터를 넣고 그래프를 넣는데 까지는 성공을 했지만 

좀 더 효율적으로 엘라스틱서치(ElasticSearch)와 키바나를 사용하기 위해서는 학습이 필요하겠다라는 생각이 들었다.

앞으로 엘라스틱서치(ElasticSearch)와 좀 더 가까워 질 것 같다는 느낌이 들었고 

짧게 만져봤지만 앞으로 새로 구축하는 시스템에는 검색 및 데이터스토리지로도 활용하는 것도 굉장히 좋을 것 같다는 생각이 들었다.

일단 책부터 지르자~gogo!!!