[데이터 분석] 로그 데이터란?

 ✔️로그란 ? 

- 연속적인 데이터의 기록 , 즉 서비스나 시스템 가동 시 발생되는 이벤트의 기록

- 보통의 우리가 보는 데이터는 행,열 형태로 되어있는 RDB지만, 로그 데이터는 JSON, CSV, TSV와 같은 비정형 텍스트로 들어온다. 

https://velog.io/@crosstar1228/%EB%A1%9C%EA%B7%B8-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%9E%80

 

✔️로그 데이터의 분석 

게임분야에 대해 로그 데이터를 분석한 글이 있어 대신 첨부한다. 

https://datadoctorblog.com/2022/03/24/Py-Preprocessing-user-root-log/

Py) 전처리 - 게임 로그데이터 처리

해당 글을 읽어보면, 로그는 분석하는 것도 중요하지만 설계하는 것 또한 중요함을 느낄 수 있다. 

필수 로그를 빠뜨리면 인력이 더 소모되는 번거로운 일이 발생할 수 있으니 서비스를 정확히 이해하고 

어떤 분석이 필요하고 이를 위해서는 어떤 로그가 필요한지를 파악해내야 한다. 

 

처음 이 주제를 잡았을 때 글이 굉장히 길어질 것이라 생각했는데, 데이터의 형식만 다르지 파이썬을 다룰줄 아는 분석가라면  pandas, numpy를 이용한 분석은 같기 때문에 분석 자체에  어려운 부분이 없어  짧게 글을 마무리 할려고 한다. 

 

2024-06-26 추가

1년이 지나서 이 글을 다시 보니 알맹이 없는 빈 껍데기 같은 글을 서술해놓은 것 같아 (창피하다...) 로그 데이터에서 가장 중요한 로그 설계에 대해 카일스쿨님께서 잘 다뤄주신 포스팅을 첨부해놓는다. 

https://zzsza.github.io/data/2021/06/13/data-event-log-definition/

데이터 로그 설계, 데이터 로깅, 이벤트 로그 설계, 데이터 QA의 모든 것