分类 ELK 中的文章

Logstash处理Nginx日志

nginx log_format

1
2
3
4
5
6
log_format  ops '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" $http_x_forwarded_for $request_time '
                '$upstream_addr $upstream_response_time '
                '"$content_type" '
                '$host';

日志用例

……

阅读全文

Elasticsearch迁移工具

迁移工具地址: https://github.com/medcl/esm

迁移脚本

#!/bin/bash

filter_time=`date +%Y-%m-%d -d "-8 days"`
index_arr=(es_collect es_keyword es_app)
prod_es="http://:9200"
pre_es="http://:19200"


for i in ${index_arr[@]}
  do
  echo "$i start rync." >> ./es_rync.log
  echo "`date`" >> ./es_rync.log
  ./migrator-linux-amd64 -s ${prod_es} -d ${pre_es} -x $i -q=cycle_time:${filter_time} -y $i -w=1 -b=1
  echo "`date` done." >> ./es_rync.log
  echo "done"
  #exit 100
done
……

阅读全文