전체 글 썸네일형 리스트형 logstash webhdfs 사용 logstash webhdfs사용에 대해 정리합니다. webhdfs { host => "namenode 서버" port => 50070 path => "/hdfs에 저장될 위치/.log" user => "username" } host : hadoop의 namenode 서버 IP port : namenode port 주소 (디폴트) paht : hdfs에 파일을 저장할 위치, 파일 명을 포함 user : hdfs에 파일을 저장하는 user 설정 지금 하고 있는 업무 중에 logstash를 사용해서 hdfs로 실시간 전송 하는 로직이 필요해서 적용해보게 되었습니다. 하둡에 실시간으로 데이터를 저장하는 게 1.x하둡에서는 hadoop에서 지원하지 않았습니다. 지금 2.7 버전의 하둡을 사용하는데 이 버전에서는.. 더보기 logstash 시간 보정 logstash를 사용해 데이터를 수집하는 동안 시간 보정한 옵션을 정리합니다. filter { date { match => ["date","yyyy-MM-dd'T'HH:mm:ss.SSS"] target => "date_gmt" timezone => 'Asia/Seoul' } } ruby { code => "event.set('ymd', event.get('[@timestamp]').time.localtime.strftime('%y-%m-%d'))" } %{ymd} logstash 내부에서 사용하는 시간이 물리 서버의 타임존을 그대로 사용하지 않고 gmt시간을 그대로 사용하는 것으로 보여 타임존 보정을 했습니다 filter에서 타임존을 아시아/서울로 보정을 하고 ruby문법을 통해 get('[@times.. 더보기 Grafana Prometheus 옵션 설정 빅데이터 모니터링을 오픈소스로 구성하기 위한 고민을 했습니다. 제가 경험한 모니터링 환경에서 클라우데라 제품을 사용하면서 봤던 모니터링이 편하긴 했습니다. 다만 클라우데라 매니저 자체가 유료로 바뀌게 되어 이제는 오픈소스소 사용할 수 없다는 단점이 생겼습니다. 아파치 하둡을 오픈소스로 모니터링 하기 위한 방법으로 키바나 구성도 고려를 했습니다만 키바나의 경우 다른 오픈소스와의 연동을 활발히 지원하지 않기때문에 최종적으로 Grafana Prometheus 조합을 선택하게 되었습니다. Prometheus의 장점은 확장성 입니다. 오픈소스이다보니 다양한 exporter가 공개되어 있고 이를 적절히 찾아 사용하는 것으로 모니터링 환경 구성을 할 수 있다는 간편함이 있습니다. exporter 자체가 오픈소스이다보.. 더보기 이전 1 ··· 53 54 55 56 다음
