如何给ELK日志加上索引

问题记录

1、遇到长流程的时候，日志记录是非常重要的。如何排查日志，可以在MDC中去put对应的值，这样就等于对你关心的关键字段加上了索引，在elk中可以通过该索引就能 容易排查到问题

logback的设置 可以参照：

【总体日志】

    
    
    
    
    
    
    

    

    
    
        
            ${LOG_PATTERN}
            ${CHARSET}
        
    

    
        
        
        
    

【业务日志】

    
    
        ${LOG_HOME}/project.log
        
            ${LOG_HOME}/project-%d{yyyyMMdd}.%i.log
            
            
                500MB
            
        

        
            ERROR
            DENY
            ACCEPT
        
        true
        
            
                
                    
                        {
                        "logtime":"%date{yyyy-MM-dd HH:mm:ss.SSS}",
                        "traceId":"%tid",
                        "level":"%level",
                        "seq":"%X{seq}",
                        "offset":"%X{offset}",
                        "partition":"%X{partition}",
                        "threadName":"%thread",
                        "className":"%class",
                        "content":"%message",
                        "stackTrace":"%exception{10}"
                        }
                    
                
            
        
    

    
        
    

【aop切面类】

import cn.hutool.json.JSONUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang.StringUtils;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.slf4j.MDC;
import org.springframework.stereotype.Component;

import java.util.UUID;

/**
 * @description:
 * @author: [email protected]
 * @date: 2021/6/3  10:58
 **/

@Aspect
@Component
@Slf4j
public class NewsOfflineAspect {

	private final String POINT_CUT = "execution(* com.myhexin.zixun.server.content.operate.deploy.domain.news.service.impl.OfflineOrOnlineServiceImpl.offlineOrOnlineNews(..))";

	@Pointcut(POINT_CUT)
	public void pointCut() {
	}

	@Around(value = "pointCut()")
	public Object doAround(ProceedingJoinPoint joinPoint) throws Throwable {
		Object[] args = joinPoint.getArgs();
		String s = String.valueOf(args[0]);
		String seq = StringUtils.substringBetween(s, "seq=", ")");
		if (StringUtils.isNotEmpty(seq)) {
			MDC.put("seq", seq);
		} else {
			MDC.put("seq", "Random-" + UUID.randomUUID().toString());
		}
		try {
			return joinPoint.proceed();
		} catch (Throwable throwable) {
			log.error(">>>>入参 {} <<<<<", JSONUtil.toJsonStr(args), throwable);
			throw throwable;
		} finally {
			MDC.remove("seq");
		}
	}
}

业务日志里的log patter放了seq 字段，那就可以在进入aop的时候 打上seq作为日志的字段索引，然后在处理流程结束的时候，拿出seq字段索引，这样排查的时候，就可以根据这个字段来排查了。
同样的，如果是kafka的接受类，你可以把 offset和partition作为字段索引，也是及其好用的。