반응형

Data Engineering 28

[Python/GoogleSpreadSheet API] GoogleSpreadSheet 필터 삽입, 필터 삭제

이번 포스팅에서는 구글 스프레드 시트에 필터를 세팅하거나 필터를 삭제하는 방법을 알아보겠습니다. Api 세팅 def api_setting(): scope = ['https://www.googleapis.com/auth/spreadsheets' ,'https://www.googleapis.com/auth/drive'] json_file_name = 'asset_management_key.json' credentials = ServiceAccountCredentials.from_json_keyfile_name(json_file_name, scope) gc = gspread.authorize(credentials) creds = None creds = service_account.Credentials.from..

[Python/GoogleSpreadSheet API] GoogleSpreadSheet 데이터 삽입, 삭제

이번 포스팅에서는 googlespreadsheet api를 활용한 데이터 insert, 데이터 제거에 대해 알아봅니다. Api 세팅 def api_setting(): scope = ['https://www.googleapis.com/auth/spreadsheets' ,'https://www.googleapis.com/auth/drive'] json_file_name = 'asset_management_key.json' credentials = ServiceAccountCredentials.from_json_keyfile_name(json_file_name, scope) gc = gspread.authorize(credentials) creds = None creds = service_account.Cre..

[Python/GoogleSpreadSheet API] GoogleSpreadSheet 시트이름 및 시트탭 변경

Api 세팅 def api_setting(): scope = ['https://www.googleapis.com/auth/spreadsheets' ,'https://www.googleapis.com/auth/drive'] json_file_name = 'asset_management_key.json' credentials = ServiceAccountCredentials.from_json_keyfile_name(json_file_name, scope) gc = gspread.authorize(credentials) creds = None creds = service_account.Credentials.from_service_account_file( json_file_name, scopes=scope ) ..

[Python/GoogleSpreadSheet API] GoogleSpreadSheet API 연동하기 (2)

구글 스프레드 시트 API 연동하기 (2) 이번 포스팅은 아래 포스팅에 이어 진행됩니다. https://ysyblog.tistory.com/353 [Python/GoogleSpreadSheet API] GoogleSpreadSheet API 연동하기 (1) 구글 스프레드 시트 API 연동하기 오랜만에 개인프로젝트를 하고 있는데, 이 프로젝트에 구글 스프레드시트 API를 활용하게 되었다. 예전에 구글스프레드시트 API를 잘 썼지만.. 오랜만에 쓰려고 ysyblog.tistory.com 이번 포스팅에서는 지난 포스팅에서 받은 Credential 파일을 활용하여 API를 연동해보겠습니다. 구글 스프레드 시트 API 관련 패키지를 import import gspread from oauth2client.servi..

[Python/GoogleSpreadSheet API] GoogleSpreadSheet API 연동하기 (1)

구글 스프레드 시트 API 연동하기 오랜만에 개인프로젝트를 하고 있는데, 이 프로젝트에 구글 스프레드시트 API를 활용하게 되었다. 예전에 구글스프레드시트 API를 잘 썼지만.. 오랜만에 쓰려고 하니 기억이 잘 나지 않았다. 따라서 이번 기회에 구글스프레드시트 API 사용법을 다시 정리해보게 되었다. 1. 아래링크로 들어갑니다. https://console.developers.google.com/projectselector2/apis/enableflow?apiid=drive&authuser=1&supportedpurview=project 2. 새 프로젝트를 만듭니다 프로젝트 만들기를 클릭합니다. 프로젝트 이름을 입력하고 만들기를 누릅니다. 3. 프로젝트에 구글스프레드시트를 추가 먼저" API 및 서비스"..

[Python] DataFrame의 groupby에 매소드 적용 (agg 활용)

python의 Groupby 함수를 활용하는 다양한 방법을 알아보겠습니다. 데이터는 아래 kaggle 링크의 event.csv 데이터를 활용하였습니다. https://www.kaggle.com/datasets/mkechinov/ecommerce-events-history-in-electronics-store 데이터 불러오기 import pandas as pd df = pd.read_csv("events.csv") df["event_time"] = pd.to_datetime(df["event_time"]) df["date"] = df["event_time"].dt.strftime('%Y-%m-%d') groupby에 함수를 적용하는 방법 1. groupby에 메소드를 바로 적용하는 방법 df.groupby..

[Python] 파이썬과 구글 드라이브 연동하고 파일 업로드/다운로드 하기 (Google Drive)

이번 포스팅에서는 파이썬과 구글드라이브를 연동하고 파일을 업로드/다운로드 하는 방법을 알아보겠습니다 사전작업 1. 아래링크로 들어갑니다. https://console.cloud.google.com/ 2. 새 프로젝트를 만듭니다 프로젝트 만들기를 클릭합니다. 프로젝트 이름을 입력하고 만들기를 누릅니다. 3. 사용자 인증정보에서 OAuth 동의 화면 구성 왼쪽 상단의 메뉴 아이콘을 누른 다음 API 및 서비스 탭의 사용자 인증 정보를 클릭합니다. 사용자 인증정보에서 동의 화면 구성을 클릭합니다. User Type를 외부를 클릭하고 만들기를 누릅니다 이후 앱정보에서 앱이름을 클릭하고, 사용자의 이메일을 입력하고 개발자 연락처 이메일도 입력하고 저장 후 계속을 누릅니다. 아래 화면이 나올 때 까지 "저장 후 계..

[Python] 파이썬으로 파일 첨부하여 메일 보내기(Gmail)(SMTP / MIME)

이번 포스팅에서는 파이썬으로 구글메일 API를 활용하여 메일을 보내고 파일까지 첨부하는 것을 알아보겠습니다. 권한설정 1. 보안 설정 변경 보안 -> 엑세스 사용 설정 -> 보안 수준이 낮은 앱 허용(사용)으로 바꾸기 2. GMail IMAP값 변경 Gmail -> 설정(톱니바퀴) -> 모든 설정보기 클릭 전달 및 POP/IMAP -> IMAP 사용안함을 사용으로 바꾸고 -> 저장 개념설명 SMTP(Simple Mail Transfer Protocol) : 인터넷에서 메일을 주고 받기 위해 이용하는 프로토콜(메일 서버간 전송 규약) POP3 : 받는 메일, 서버에 메일을 저장해 두지 않음 IMAP : 받는 메일, 서버에 메일을 저장해두어서 언제든 원하는 메일 열람 가능 MIME : 이메일을 보낼 때 형식..

[Python] 데이터를 MYSQL DB에 적재/ 업데이트 하는 방법 (MYSQL WORKBENCH / Upsert / to_sql)

목적 파이썬으로 데이터를 MYSQL의 DB에 적재하는 여러가지 방법을 알아봅니다. 데이터를 한번에 밀어넣는 방법과, 데이터를 업데이트 시켜주는 upsert 방법을 소개합니다 활용데이터 캐글의 bike 데이터를 활용 https://www.kaggle.com/c/bike-sharing-demand/data?select=train.csv 사전 작업 1: MYSQL WORKBENCH DB 연결 workbench에서 local DB를 연결합니다 connection name를 지정합니다 hostname : 로컬로 연결하려면 로컬 ip인 "127.0.0.1"(자동입력 되어있음), AWS RDS로 연결하려면 RDS의 hostname을 입력합니다 username : 기본은 "root" 입니다 password : "Sto..

[Python] 다양한 함수를 활용하여 파생변수(새로운 컬럼) 만들기(apply, map, lambda)

데이터프레임에 메소드를 적용하여 새로운 컬럼을 만드는 방법을 알아보겠습니다. 물론 반복문을 사용해서 데이터프레임에서 한줄씩 읽어와서 처리한 다음 컬럼을 만드는 방법도 있지만 이러한 방법은 시간이 오래걸린다는 단점이 있습니다. 따라서 함수를 활용해서 데이터프레임을 가공하는 여러가지 방법을 알아보겠습니다. 데이터프레임은 아래 예시 데이터를 활용하였습니다. # 사전 세팅코드 import pandas as pd data = pd.read_csv("data.csv") 하나의 컬럼만 활용하여 하나의 새로운 컬럼을 만들때 apply나 map 함수 활용 - 예시 : referrer에서 media(ex. naver, daum)을 뽑아내는 메소드를 적용시켜보겠습니다. # 적용 함수 def split_data(referre..

반응형