분류 전체보기107

• 

  [스크랩] 빅쿼리 Qualify 사용법 https://zzsza.github.io/gcp/2021/05/17/bigquery-qualify/ BigQuery QUALIFY 사용법 - Window Function/Analytics Function에 조건 설정하기2021년 5월에 추가된 BigQuery QUALIFY 함수에 대해 정리한 글입니다 BigQuery QUALIFY, BigQuery window function condition, bigquery window function filter, bigquery qualify 사용법, bigquery analyitics function filter, bigquery analytics fuzzsza.github.io 카테고리 없음 2024. 9. 24.

• 

  [RDB] DB별 포트 번호 연결 정보를 늘 어떤 DB인지 주지 않고 받아서 아니 도대체 어떤 데이터베이스에 연결하라는거지? 라는 생각을 계속했었는데 포트번호로 구별하면 되었던 것이다... 😅 아래 포트가 포함되어있으면 그 데이터베이스로 연결하면 된다. DB포트번호MySQL,MariaDB3306Oracle1521MSSQL1433PostgreSQL5432DB250000Infomix1526Sybase5000Derby1527  참고자료https://java119.tistory.com/91 데이터베이스/데이터베이스 2024. 8. 7.

• 

  [MSSQL] MSSQL에서 MERGE 구문과 WITH절 같이 쓰기 Biguqery에서는 Merge 구문 안에 With절을 사용해도 정상적으로 작동한다.Bigquery ver MERGE INTO `` AS targetUSING (WITH signup_log AS (쿼리를 입력하세요)SELECT a, FROM signup_log) AS source ON target.date = source.dateWHEN MATCHED THEN UPDATE SET target.dau = source.dau,WHEN NOT MATCHED THEN INSERT (date) VALUES (source.date); 그러나, MSSQL에서 이렇게 사용해버리면 With절이 옳지 않다는 오류가 발생하는데, 순서를 바꿔주면 가볍게 해결가능하다  MSSQL에서 이렇게 사용하세요Merge 구문을 사용하기.. 데이터베이스/SQL 2024. 8. 7.

• 

  [Metabase] 대시보드 차트에 링크 연결하기 메타베이스 대시보드 차트에는 링크 연결을 할 수 있다. 바로 시작해봅시다!  1.대시보드 편집창에 들어가서, 필터를 연결하고 싶은 차트 마우스에 손을 올려두면 사진과 같이 3가지 이모지가 뜨고, 그 중 가운데를 클릭하면 Click behavior라는 기능을 이용할 수 있다. 2.클릭하면, 아래와 같이 3가지 선택지가 뜨는데 링크 연결을 위해선 Go to a Custom destination 클릭 나머지 기능은 아직 사용해보질 않아서 잘 모르겠다 (ㅠㅠ)3.URL 선택하기 4.컬럼을 변수로 사용하는 링크주소 연결 (1) 보통 링크는 아래와 같이 기본 링크 + 변수 조합으로 이루어져있다. -> 샘플 : http://acme.com/id/{{user_id}}   - 내가 구글에 상어를 검색하고 싶을 때 htt.. 메타베이스 Metabse 2024. 8. 1.

• 

  [외부 행사] Google Kaggle Hackathon 후기 📅 날짜 2024.07.25 🏤 장소 구글 코리아  회사에서 좋은 기회로 Google X Kaggle 해커톤에 참여할 수 있었다. 외근이라 좋았고, 구글 코리아에 가볼 수 있어서 너무 좋았다. 준비물이 노트북이었는데 난 노트북이 없어서 주말에 미리 M1 에어를 당근 해왔다 (?)  아무튼 11시 30분쯤 퇴근하고, 역삼으로 출발했당. 이 날 중복인가 그랬어서 회사 앞에서 과장님과 반계탕 한그릇 야무지게 먹고 출발. 우와 뭐야 글 이렇게 쓰니까 엄청 아저씨같다 몬가 아무튼 각설하고, 해커톤 후기 Instant DA solution에 대한 간략한 설명  오늘 해커톤에 참여하고 회사로 복귀하더라도, 실제 빅쿼리를 여러 상황 때문에 쓸 수 없을 수가 있는데 그 앞단을 빠르게 도와주는 부분이 Instant D.. 탱크/일기장 2024. 7. 25.

• 

  [회고록] 데이터 분석가 2년 회고, 그리고 게임 회사 라이프 2024-08-01 즈음 데이터 분석가가 된지 만 2년이 지났고 3년차 데이터분석가로 진화했다. 환승 이직을 했으니 2년 2개월째 근무중!근데 뭐 잉어킹이 갸라도스 된건 아니고.. 야돈이 야도란된 정도는 되지 않았을까. 아무튼 주니어 2년을 채운 기념으로 회고록을 작성해본다. 드디어 왔다! 게임회사  나의 2년차의 시작은 게임회사와 함께하게 되었다.내가 데이터 분석을 선택한 이유도 우리과 전공 중에서도 게임업계에 갈만한 분야가 데이터 분석 밖에 없었던 것이었던 것이 컸다. 주변이나 면접에서 왜 게임회사가 가고싶어라고 물어보면, 게임회사 데이터는 사회 축소판 같은게 경제도 있고 커뮤니티성도 있으니까 라고 말을 했었다. 근데 그건 그냥 누군가에게 있어 보이기 위한 답변일 것이고 사실은 게임회사가 가면 게임도.. 탱크/회고 2024. 7. 24.

• 

  [회고록] 전지적 분석가 시점 - MSSQL이 싫은 이유 2024-07-22 즈음  Jira DB를 활용해서 리소스 관리의 효율성을 증대시키는 업무(분석,시각화 등)를 진행하고 있는데, 사내 DB라던지 이런 Atlassiaan DB라던지 다 SQL Server로 되어있어서 MSSQL을 사용해야하는데 여간 불편한게 아니다! 하지만 게임회사 대부분이 쓰기 때문에 절이 싫다고 중이 떠날 수 없는법.   ⭐ 엔지니어링 측면을 전혀 고려하지 않은 전지적 분석가 시점⭐에서의 꿍시렁이다. 1.GROUP BY 에서 인덱스 번호 사용이 안된다.이게 왜 라고 할 수 있는데 아래처럼 GROUP BY 절이 너무 길어져..!!!--bigquery SELECT CASE WHEN a=1 THEN 'b' WHEN a=2 THEN 'c' WHEN a=3.. 탱크/회고 2024. 7. 23.

• 

  [SSMS] SQL Server Management Studio 에서 CSV로 테이블 만들기 할 때마다 맨날 까먹어가지고 적어두는 SSMS CSV 플랫 파일 가져오기 주로 빅쿼리에 적재는 되어있지만 실시간으로 쌓이지 않는 테이블들을 분석을 위해 사내DB로 떠올 때 사용한다. 방법 2가 조금 더 간단합니다!  방법1) 데이터 가져오기 방법1.데이터베이스 오른쪽마우스 후 태스크 클릭 후 데이터 가져오기 선택   2.데이터 원본에서 Flat File Source 선택 후 찾아보기! 그런데 찾아보기 하고 해당 경로에 가면 파일이 없다. 그럴 땐 열기창 우측 하단에 파일 종류를 CSV 파일로 바꿔주면 된다등록 후 Next 버튼 클릭하기   3.컬럼과 데이터를 잘 불러왔는지 보고 Next 4.어디다가 불러올지를 선택해준다. 나는 SQL 서버에 불러올 건데, 나는 SQL Server인증으로 사용자 이름과 암.. 데이터베이스/데이터베이스 2024. 7. 1.

• 

  [Bigquery] 빅쿼리 SELECT * REPLACE 빅쿼리에서는 일부 컬럼만 바꿔주는 기능이 있다. 바로 이것이다. SELECT * REPLACE(원하는 데이터 AS 바꿀 데이터)-- A컬럼을 모두 A+1로 바꾸고 싶으면SELECT * REPLACE(A+1 AS A) -- 한번에 다중 컬럼을 변경하고 싶으면 SELECT * REPLACE(A+1 AS A, B+1 AS B)  아래 빅쿼리 공공 데이터를 통해 SELECT * 을 해보면 다음과 같은 결과가 출력된다. SELECT * FROM `bigquery-public-data`.utility_us.zipcode_area WHERE zipcode='87505' 내가 이 중  zipcode 컬럼에 속한 데이터를 1로 다 바꾸고 싶다면 이렇게 써주면 된다SELECT * REPLACE('1' AS zipcod.. 데이터베이스/SQL 2024. 6. 26.

• 

  [Python] 파이썬 구글 번역 API로 리뷰 데이터 번역하기 빅쿼리에서도 Translate ML을 지원해서 빅쿼리 데일리 잡으로 번역을 하려 했더니 위치 문제로 사용이 불가하다고 한다. (https://cloud.google.com/bigquery/docs/locations?hl=ko  eu multi-region or us multi-region 만 지원하는 듯)  그래서 Python에서 바로 번역 처리 후 ETL 하기로 결정하고, 번역하는 코드만 짜서 엔지니어분께 전달드렸다. 그래서 오늘 포스팅은 다국어로 들어오는 리뷰 데이터 번역하기 1.데이터 셋 만들기실제 리뷰 데이터로 글을 쓸 수는 없으니 챗 지피티로 간단한 데이터 프레임을 생성했다. import pandas as pddata = { 'date': ['2024-01-01', '2024-01-05',.. 파이썬 Python 2024. 6. 20.

• 

  [Steam] 마법소녀 카와이 러블리 즈큥도큥 바큥부큥 루루핑 이 게임은 더 카와이하고 러블리하게 주문을 외치는 마법소녀가 데미지를 입히는 정말 단순한 게임이다.  하지만 이 게임의 가장 큰 포인트는 주문을 외친 내 목소리를 친히 헤드셋으로 반복해준다는 것이다 - ❤ 디코로 방송 틀어놓고 플레이했는데, 28년 인생 중 제일 뛰쳐나가고 싶었다.   15분만에 환불 엔딩 탱크/게임이야기 2024. 6. 17.

• 

  [MSSQL] 해당 날짜 월의 1일에 해당하는 날짜 추출하기 / 월 추출 주 추출 👇 [MSSQL] 해당 날짜 주차의 월요일에 해당하는 날짜 추출하기빅쿼리에서는 DATE_TRUNC(date,week(monday))로 엄청 편하게 쓰는데 MsSQL은 조금 복잡하다.SET DATEFIRST 1;을 사용해주는게 제일 편리해서 나는 이 방법으로 사용하고 있다.  *SET DATEFIRST란? 주에서 첫번째sseozytank.tistory.com  앞선 포스팅과 마찬가지로, 빅쿼리에서는 DATE_TRUNC(month,date) 로 할 수 있는 것을 MSSQL에선 조금 복잡하게 해줘야 한다. 어렵진 않은데 모르면 만들어 내기는 힘든..  1번. 연과 월을 추출해서 포맷팅해주기SELECT DATEFROMPARTS(YEAR(GETDATE()), MONTH(GETDATE()), 1) AS .. 데이터베이스/SQL 2024. 6. 12.