DeepIV는 "진짜 원인"을 찾기 위해 인공지능(딥러닝)과 경제학의 통계 기법(도구변수)을 결합한 기술인과추론과 Counterfactual(반사실)의 난제1) 데이터 분석가의 역할결과에 대한 원인을 규명EX) 매출이 오른 이유가 "광고 때문"인지, 아니면 "계절적 요인(설날 등)"이나 "경쟁사의 휴업" 때문인지 가려내는 것Action에 따른 사전 예측 및 시뮬레이션액션(Action)을 취했을 때 예상되는 순증 효과(Incremental Lift)를 계산EX) 100만원을 광고비로 쓰면 1000만원의 매출을 올릴 것이다.2) 반사실(Counterfactual)의 난제: 인과추론의 근본 문제전통적인 기계학습(Machine Learning)과 인과추론(Causal Inference)은 데이터를 다루는 목적 ..

이 자료는 고려대학교 SW AI 대학원 빅데이터융합학과 석사과정 면접을 준비하면서 만들었던 자료입니다. 데이터 관련 특수대학원을 지원하는 분들에게 많은 도움이 되기를 바랍니다.확률확률: 주사위를 던졌을 때 특정 숫자가 나올 확률을 계산하는 것.통계: 여러 번 주사위를 던져 나온 결과를 분석하여 주사위가 공정한지 여부를 판단하는 것.확률의 정의는?확률은 어떤 사건이 일어날 가능성을 수치적으로 나타낸 값입니다. 0에서 1 사이의 값을 가지며, 0은 사건이 일어날 가능성이 전혀 없고 1은 반드시 일어난다고 가정합니다.조건부 확률이란?조건부 확률은 사건 B가 발생한 조건 하에서 사건 A가 발생할 확률입니다.독립 사건이란?두 사건 A와 B가 독립적일 때, 하나의 사건이 발생했는지 여부가 다른 사건에 영향을 주지 ..

고려대학교 빅데이터융합학과 석사과정 지원 및 합격 후기고려대학교 빅데이터 융합학과 지원 이유나는 경영학과를 졸업하고 데이터 분석가로 일해왔다. 현업에서 경력을 쌓는 동안, 두 가지 측면에서 갈증을 느꼈다. 바로 석사 학위라는 타이틀과 체계적인 데이터 사이언스 지식이다.비전공 학사 출신으로서, 특히 데이터 분석/사이언스 분야에는 석사 학위 소지자가 많은 환경에서 내 학위가 부족하다고 느꼈다. 또한, 정규 교육 과정을 밟지 못했기 때문에 데이터 분석 및 사이언스 지식에 있어 부분적인 공백이 존재했다.이에 나는 이 두 가지를 충족시키고 더불어 학벌을 높일 수 있는 고려대학교 SW·AI 대학원 빅데이터융합학과에 지원하게 되었다.고려대학교 SW·AI 대학원에는 빅데이터융합학과, 인공지능융합학과, 소프트웨어보안학과..

선형회귀와 인과추론차원의 저주(curse of eimensionality) : 특성이 너무 많을 때 생기는 현상. 각 셀에서 ATE를 추정하고 결과의 평균값을 구하려면 엄청난 양의 데이터가 있어야함데이터 희소성(data sparsity) : 차원의 저주로 인해 공변량이 많을 때 보정 공식을 그대로 적용할때 겪는 문제차원의 저주에서 벗어나는 방법은 잠재적 결과를 선형회귀방식으로 모델링할 수 있다고 가정한 후 X로 정의된 각각의 셀을 내삽 및 외삽하는 것. -> 즉, 선형회귀분석은 차원축소 알고리즘과 유사하게됨.CF) 인과추론과 머신러닝 용어 비교특성 : 공변량 or 독립변수가중치 : 매개변수 or 계수목표 : 결과 or 종속변수이 포스팅에서는 OLS회귀분석이 주로 쓰이며 해당 회귀분석에 대한 내용은 아래 ..

그래프 인과모델그래프 인과모델은 인과추론 문제를 구조화하며 식별과정을 명쾌하고 시각적으로 표현해줌구조적 인과모델(Structural causal model, SCM) : 그래프(DAG)와 인과방정식(Causal equation)으로 구성됨. 인과관계 시각화이전 포스팅에서 사용했었던 어떤 이메일이 전환을 많이 일으키는지를 예시로 사용.측정하지 않는 변수를 그래프에 추가할 수 있음, 이 변수는 관측되지 않으니 U로 표시EX) 고객소득, 사회적배경, 나이 등 -> 이를 모두 묶어서 U로 표시무작위로 배정되거나 개입된 변수를 표현할 때는 들어오는 화살표를 모두 제거하면됨중요한 것은 DAG에서 가장 중요한 정보는 그래프안에 없을 수 있다는 것.한 변수에서 다른 변수로 연결되는 엣지가 없다는 것은 두 변수 사이에 ..

A/B Test 설계와 결과 검증해당 포스팅은 A/B Test를 설계할 때 주의점과, A/B Test를 검증하는 방법에 대해 소개합니다.  A/B Test 설계 RCT(Randomized control trial) 검정력(Power of the test)표본크기 계산  A/B Test 검증추정값의 표준오차신뢰구간 (confidence interval) 가설검정 무작위 배정으로 독립성 확보잠재적 결과가 처치와 독립인 경우에 연관관계와 인과관계가 동일해짐하지만 처치와 결과 사이의 독립성을 의미하는 것이 아님. 처치와 결과가 독립적이면 처치는 결과에 영향을 끼치지 못함.만약 새로운 기능을 처치로 사용시간이 결과라면 새로운 기능과 사용시간이 독립이라면 실험군/대조군 상관없이 새로운기능은 결과에 아무 영향이 없..

인과추론의 기본개념이 포스팅은 인과추론을 이해하는데 필요한 중요한 개념들에 대해 정리하였습니다. 아래 내용은 인과추론을 공부할 때 꼭 알아야할 개념들입니다.해당 포스팅은 아래 내용을 다룹니다처치와 결과인과모델개입개별처치효과잠재적결과SUTVA인과추정량편향독립성가정랜덤화와 식별 연관관계와 인과관계연관관계(상관관계)는 인과관계를 의미하지 않음인과관계를 분석하기 위해서는 문제를 구체화해야함EX) 할인이 매출에 도움되는가 X ->크리스마스이전에 어린이 장난감을 할인하면 판매량이 증가할 것인가?분석단위 : 일반적으로 개입(처치)하려는 대상. 분석단위는 대부분 사람이나 가끔 회사 등 다를 수 있음처치와 결과Ti는 실험대상 i의 처치여부를 나타냄처치(Treatment) : 구하려는 효과에 대한 개입. EX) 가격할인..

실무에서 SQL쿼리를 사용하다 보면 Where 조건에 in과 not in 조건을 많이 사용할 텐데, not in(부정 논리 연산자)을 사용할때 주의하여야 한다. 그 이유는 NULL 때문이다.부정연산자부정 논리 연산자의 경우 위 표처럼 같지 않은 경우를 필터링할 때 사용하는 연산자이다.주로 not in이나 '', '!=' 등을 많이 사용한다. 부정 연산자와 Null의 관계결론부터 말하자면 부정 연산자를 사용하면 Null값이 모두 누락되게 된다.예시를 확인해보자 (샘플데이터 쿼리는 포스팅 최하단에 있음)SELECT * FROM orders WHERE 1=1 AND product_id not in (101,102)원래 의도는 product_id가 101,102인 것만 제외하고 조회하고 싶..

이번 포스팅에서는 PostgreSQL에서 Json(Jsonb)로 이루어진 컬럼을 Query 하는 방법을 알아봅니다. Json과 Jsonb의 차이Json의 특징입력된 텍스트의 원본을 그대로 저장 Json은 데이터를 불러올때 입력된 텍스트를 파싱해야하기 때문에 시간이 오래 걸림원본을 그대로 저장하기에 의미없는 공백등을 저장Json 객체 내의 key 순서가 보장되며, 중복된 key가 있는 경우도 중복되어 저장Jsonb의 특징Jsonb는 분해된 바이너리 형식으로 저장 (데이터를 정제하여 저장)Jsonb는 파싱할 필요가 없기 때문에 시간이 적게 걸림공백을 저장하지 않음객체들의 key순서를 보장하지 않으며, key를 중복해서 저장하지 않음. 입력에 중복된 key가 지정된 경우 마지막 값으로 대체객체들의 key순서를..

날짜/시간 더미 데이터 생성이번 포스팅에서는 postgresql에서 generate_series 함수를 활용하여 날짜 및 시간 더미 데이터를 생성하는 방법을 알아봅니다.generate_seriesgenerate_series (start,stop[,step])일련의 숫자를 생성하는 함수. 시작과 끝, 증가 단계를 설정할 수 있음start : 시작 값입니다.stop : 시리즈의 끝값.step : 각 연속 숫자 사이의 증분 값. 선택 사항이며, 기본값은 1예시)SELECT generate_series(1, 10) as cnt 월 단위 데이터 더미 생성 (year-month)2024년 1월부터 12월까지의 더미 데이터 생성"generate_series(0,11)"을 활용하여 0부터 11까지 sequence를 생..