분류 전체보기102

• 

  [회고록] 데이터 분석가 2년 회고, 그리고 게임 회사 라이프 2024-08-01 즈음 데이터 분석가가 된지 만 2년이 지났고 3년차 데이터분석가로 진화했다. 환승 이직을 했으니 2년 2개월째 근무중!근데 뭐 잉어킹이 갸라도스 된건 아니고.. 야돈이 야도란된 정도는 되지 않았을까. 아무튼 주니어 2년을 채운 기념으로 회고록을 작성해본다. 드디어 왔다! 게임회사  나의 2년차의 시작은 게임회사와 함께하게 되었다.내가 데이터 분석을 선택한 이유도 우리과 전공 중에서도 게임업계에 갈만한 분야가 데이터 분석 밖에 없었던 것이었던 것이 컸다. 주변이나 면접에서 왜 게임회사가 가고싶어라고 물어보면, 게임회사 데이터는 사회 축소판 같은게 경제도 있고 커뮤니티성도 있으니까 라고 말을 했었다. 근데 그건 그냥 누군가에게 있어 보이기 위한 답변일 것이고 사실은 게임회사가 가면 게임도.. 탱크/회고 2024. 7. 24.

• 

  [회고록] 전지적 분석가 시점 - MSSQL이 싫은 이유 2024-07-22 즈음  Jira DB를 활용해서 리소스 관리의 효율성을 증대시키는 업무(분석,시각화 등)를 진행하고 있는데, 사내 DB라던지 이런 Atlassiaan DB라던지 다 SQL Server로 되어있어서 MSSQL을 사용해야하는데 여간 불편한게 아니다! 하지만 게임회사 대부분이 쓰기 때문에 절이 싫다고 중이 떠날 수 없는법.   ⭐ 엔지니어링 측면을 전혀 고려하지 않은 전지적 분석가 시점⭐에서의 꿍시렁이다. 1.GROUP BY 에서 인덱스 번호 사용이 안된다.이게 왜 라고 할 수 있는데 아래처럼 GROUP BY 절이 너무 길어져..!!!--bigquery SELECT CASE WHEN a=1 THEN 'b' WHEN a=2 THEN 'c' WHEN a=3.. 탱크/회고 2024. 7. 23.

• 

  [SSMS] SQL Server Management Studio 에서 CSV로 테이블 만들기 할 때마다 맨날 까먹어가지고 적어두는 SSMS CSV 플랫 파일 가져오기 주로 빅쿼리에 적재는 되어있지만 실시간으로 쌓이지 않는 테이블들을 분석을 위해 사내DB로 떠올 때 사용한다. 방법 2가 조금 더 간단합니다!  방법1) 데이터 가져오기 방법1.데이터베이스 오른쪽마우스 후 태스크 클릭 후 데이터 가져오기 선택   2.데이터 원본에서 Flat File Source 선택 후 찾아보기! 그런데 찾아보기 하고 해당 경로에 가면 파일이 없다. 그럴 땐 열기창 우측 하단에 파일 종류를 CSV 파일로 바꿔주면 된다등록 후 Next 버튼 클릭하기   3.컬럼과 데이터를 잘 불러왔는지 보고 Next 4.어디다가 불러올지를 선택해준다. 나는 SQL 서버에 불러올 건데, 나는 SQL Server인증으로 사용자 이름과 암.. 데이터베이스/데이터베이스 2024. 7. 1.

• 

  [Bigquery] 빅쿼리 SELECT * REPLACE 빅쿼리에서는 일부 컬럼만 바꿔주는 기능이 있다. 바로 이것이다. SELECT * REPLACE(원하는 데이터 AS 바꿀 데이터)-- A컬럼을 모두 A+1로 바꾸고 싶으면SELECT * REPLACE(A+1 AS A) -- 한번에 다중 컬럼을 변경하고 싶으면 SELECT * REPLACE(A+1 AS A, B+1 AS B)  아래 빅쿼리 공공 데이터를 통해 SELECT * 을 해보면 다음과 같은 결과가 출력된다. SELECT * FROM `bigquery-public-data`.utility_us.zipcode_area WHERE zipcode='87505' 내가 이 중  zipcode 컬럼에 속한 데이터를 1로 다 바꾸고 싶다면 이렇게 써주면 된다SELECT * REPLACE('1' AS zipcod.. 데이터베이스/SQL 2024. 6. 26.

• 

  [Python] 파이썬 구글 번역 API로 리뷰 데이터 번역하기 빅쿼리에서도 Translate ML을 지원해서 빅쿼리 데일리 잡으로 번역을 하려 했더니 위치 문제로 사용이 불가하다고 한다. (https://cloud.google.com/bigquery/docs/locations?hl=ko  eu multi-region or us multi-region 만 지원하는 듯)  그래서 Python에서 바로 번역 처리 후 ETL 하기로 결정하고, 번역하는 코드만 짜서 엔지니어분께 전달드렸다. 그래서 오늘 포스팅은 다국어로 들어오는 리뷰 데이터 번역하기 1.데이터 셋 만들기실제 리뷰 데이터로 글을 쓸 수는 없으니 챗 지피티로 간단한 데이터 프레임을 생성했다. import pandas as pddata = { 'date': ['2024-01-01', '2024-01-05',.. 파이썬 Python 2024. 6. 20.

• 

  [Steam] 마법소녀 카와이 러블리 즈큥도큥 바큥부큥 루루핑 이 게임은 더 카와이하고 러블리하게 주문을 외치는 마법소녀가 데미지를 입히는 정말 단순한 게임이다.  하지만 이 게임의 가장 큰 포인트는 주문을 외친 내 목소리를 친히 헤드셋으로 반복해준다는 것이다 - ❤ 디코로 방송 틀어놓고 플레이했는데, 28년 인생 중 제일 뛰쳐나가고 싶었다.   15분만에 환불 엔딩 탱크/게임이야기 2024. 6. 17.

• 

  [MSSQL] 해당 날짜 월의 1일에 해당하는 날짜 추출하기 / 월 추출 주 추출 👇 [MSSQL] 해당 날짜 주차의 월요일에 해당하는 날짜 추출하기빅쿼리에서는 DATE_TRUNC(date,week(monday))로 엄청 편하게 쓰는데 MsSQL은 조금 복잡하다.SET DATEFIRST 1;을 사용해주는게 제일 편리해서 나는 이 방법으로 사용하고 있다.  *SET DATEFIRST란? 주에서 첫번째sseozytank.tistory.com  앞선 포스팅과 마찬가지로, 빅쿼리에서는 DATE_TRUNC(month,date) 로 할 수 있는 것을 MSSQL에선 조금 복잡하게 해줘야 한다. 어렵진 않은데 모르면 만들어 내기는 힘든..  1번. 연과 월을 추출해서 포맷팅해주기SELECT DATEFROMPARTS(YEAR(GETDATE()), MONTH(GETDATE()), 1) AS .. 데이터베이스/SQL 2024. 6. 12.

• 

  [MSSQL] 해당 날짜 주차의 월요일에 해당하는 날짜 추출하기 빅쿼리에서는 DATE_TRUNC(date,week(monday))로 엄청 편하게 쓰는데 MsSQL은 조금 복잡하다.SET DATEFIRST 1;을 사용해주는게 제일 편리해서 나는 이 방법으로 사용하고 있다.  *SET DATEFIRST란? 주에서 첫번째 시작일을 지정해주는 것 월화수목금토일1234567  오늘이 2024-06-12라고 했을 때, MsSQL에서 해당 날짜 주차의 월요일에 해당되는 2024-06-10을 뽑는 쿼리SET DATEFIRST 1;SELECT CONVERT(DATE, DATEADD(DAY, 1 - DATEPART(WEEKDAY, GETDATE()), GETDATE())) 따라서 사용할 때는 GETDATE() 부분을 내가 사용할 날짜 컬럼으로 바꾸어주면 된다! 데이터베이스/SQL 2024. 6. 12.

• 

  [MSSQL] SQL Server에서 SAFE_DIVIDE 사용하기 Divide by zero error encountered 이 오류는 분모가 0이 들어갈 때 나누기를 시도할 때 발생하는 에러임!  빅쿼리 같은 경우 SAFE_DIVIDE라는 함수가 있어서 아주 편하게 사용할 수 있는데 ... 😥SELECT IFNULL(SAFE_DIVIDE(a,b),0) AS safe_exampleFROM sample_table MsSQL에서 사용할려하니 당연히 없는 함수라 뜬다. 그럼 어떻게 사용하면 될까 ? 1.case when 으로 0일 때 null 처리 해주기. SELECT CASE WHEN b=0 THEN null ELSE a / b END AS sample FROM sample_table 분모가 0이 될 때, case when으로 null로.. 데이터베이스/SQL 2024. 6. 10.

• 

  [Git] 뉴비를 위한 Github 브랜치(branch) 가이드 (CLI ver) [Git] 뉴비를 위한 Github 사용법 총정리 (CLI ver)데이터 분석가지만, 서비스에 들어가는 알고리즘이나 로직개발을 하며 협업을 위해 Git사용이 꼭 필요해졌고 같은 초심자의 입장에서 Git을 사용하며 어려웠던 부분을 공유하면 좋을 것 같아 팀sseozytank.tistory.com 위 글에서 마지막 맺음 말로 브랜치를 다뤄보겠다고 사라진지 언 1년 반.... 댓글을 보고 다시 생각나 부랴부랴 작성하게 되었다. 이직 이후 개발적인 업무는 하고있지않아 깃허브를 따로 사용하진 않았기 때문에 글이 올라오지 않았었다. 그래서 이번엔 전 직장 동료분이신 프론트엔드 개발자 C님을 괴롭혀서 글을 작성해 왔다!  깃허브를 쓴다면 반드시 알아야하는 브랜치 가이드 시작 이번 글도 흐름을 하나하나 이해하게 하기 .. 깃허브 github 2024. 5. 30.

• 

  [Zeppelin] jdbc에서 불러온 쿼리를 Python DataFrame으로 불러오기 제플린에는 Share Table Object가 가능하다. => Zeppelin 공식 문서 Apache Zeppelin 0.11.0 Documentation: Zeppelin-Contextspark.sql (*), bigquery, cassandra, elasticsearch, file, hbase, jdbc (*), livy, markdown, neo4j, python, shell (*), zenginezeppelin.apache.org 공식 문서에서는 %jdbc를 사용하는데, 나는 hive를 사용해주었고 방법은 똑같다! 인터프리터만 본인 DB에 맞는걸로 변경해주면 된당.  첫번째로, 불러오고 싶은 쿼리를 작성해준 후 인터프리터에 (saveAs=테이블명)을 추가해준다. %hive(saveAs=테이블명) .. 카테고리 없음 2024. 5. 23.

• 

  [Hive] Hive를 설치하고 데이터 로드 후 쿼리를 해보자 우분투에서 Hive를 설치하고, Postgres로 연결한 후 사용해보도록 하자. 우선 Hive 설치 부터 시작하기.  (｡•̀ᴗ-)✧ (Tez는 나중에!)  Linux Ubuntu 22.05.4Hadoop 3.3.4  ⭐참고 자료⭐Hive 설치하기https://spidyweb.tistory.com/215Hive 사용해보기AWS : HDFS로 데이터 로드 ⭐같이 보면 좋은 자료들⭐Hadoop 설치하기https://sseozytank.tistory.com/78Linux VI 사용 방법https://sseozytank.tistory.com/77 1. Hive 설치하기 (1) Hive 설치https://dlcdn.apache.org/hive 접속 후, 원하는 버전의 bin.tar.gz 에 오른쪽 마우스 -> 링.. 하이브 Hive 2024. 5. 17.