반응형

Data Analysis & ML/Python을 활용한 통계분석 6

[통계분석] 탐색적 요인분석(EFA)

탐색적 요인분석(Exploratory factor analysis)탐색적 요인분석이란요인 분석 (FA)은 관찰 된 변수 집합에서 영향력있는 기본 요인 또는 잠재 변수를 검색하는 데 사용되는 탐색적 데이터 분석 방법이다.변수 수를 줄여 데이터 해석에 도움을 준다.모든 변수에서 최대 공분산을 추출하여 공통 점수에 넣는다.요인 분석은 시장 조사, 광고, 심리학, 금융 및 운영 연구에 널리 사용됨.예를 들어, 시장 조사원은 요인 분석을 사용하여 가격에 민감한 고객을 식별하고 소비자 선택에 영향을 미치는 브랜드 기능을 식별하며 유통 채널에 대한 채널 선택 기준을 이해하는 데 도움을 준다.탐색적 요인 분석의 전제조건등간척도, 정규분포, 관찰치가 상호독립적이며 분산이 동일해야한다.모상관 행렬이 단위 행렬이라는 가설이..

[통계분석] PCA(주성분분석)

PCA(주성분분석)고차원의 데이터를 저차원의 데이터로 환원시키는 기법데이터를 어떤 기준을 바탕으로 변환을 하고, 그 변환으로 인해 '주성분'이 추출된다.따라서 추출된 주성분은 원래 가지고 있는 데이터와 다르다. 변환된 데이터이다.따라서 변수의 의미가 중요한 경우에는 PCA를 사용하면 안 된다. 왜냐면, PCA는 데이터에 변환을 가하는 것이기 때문이다.PCA는 탐색적 분석이다. 즉, 변인을 탐색해서 변환을 통해 주성분을 결정하는 방법이다.PCA의 본질은 차원 축소이다. 차원이 축소됐다는 것은 원본 데이터가 아니라 변환(projection) 된 데이터, 즉 주성분을 이용해 분석 혹은 모델링을 진행하겠다는 것이다.import pandas as pdurl = "https://archive.ics.uci.edu/..

[통계분석] 상관분석 (피어슨, 스피어만, 켄달타우)

상관분석해당 포스팅에서는 Python을 이용하여 상관분석을 하는 방법을 알아봅니다.상관계수에 대한 설명은 아래 포스팅 참고 바랍니다https://ysyblog.tistory.com/403 [기초통계학] 산포도와 상관계수, 그리고 상관관계산포도와 상관계수(상관관계)산포도 (Scatter plot)두 변수 사이의 관계를 살펴보기 위해 산포도를 이용한다. 설명변수는 x로 표기하고 가로축에 표시 피설명변수는 y로 표기하고 세로축에 표시설ysyblog.tistory.com데이터 세팅import seaborn as snstitanic = sns.load_dataset("titanic")titanic=titanic.iloc[:,0:7]titanic.tail()titanic.dropna(axis=0, inplace=T..

[통계분석] 분산분석(ANOVA), 이항검정

분산분석(ANOVA)두개이상 집단들의 평균간 차이에 대한 통계적 유의성을 검정사후 검정 : 분산분석 후 어떤 집단이 유의미한 차이를 가지고 있는지 확인귀무가설 : 집단들 사이의 평균은 같음대립가설 : 집단들 사이의 평균은 다름일원배치 분산분석하나의 범주형 변수의 영향을 알아보기 위해 사용모집단의 수는 제한 없으며, 표본의 수는 달라도 됨(3개 이상 집단간 차이가 있는지 검증)가정 : 각 집단 측정치는 서로 독립이며, 정규분포를 따름, 분산이 같음(등분산 가정)F검정 통계량 사용귀무가설 : k집단간 모평균에는 차이가 없음대립가설 : k집단간 모평균에는 차이가 있음from sklearn.datasets import load_irisiris = load_iris()df = pd.DataFrame(iris.da..

[통계분석] 교차분석(카이제곱 검정)

교차분석(카이제곱 검정)범주형 자료인 두변수 간의 관계를 알아보기 위해 실시적합성, 독립성, 동질성검정에 사용하며, 카이제곱 검정 통계량을 이용교차분할표교차분할표에서 행을 이루는 변수를 행변수, 열을 이루는 변수를 열변수라 하며, 행 및 열의 개수는 각 변수의 범주수를 나타낸다.두 변수의 각 범주가 만나는 곳을 셀이라 하며, 셀에 있는 관찰값들은 도수(개체수)이다.셀에는 도수와 함께 비율을 표시하기도 한다. 각 행의 합계 및 각 열의 합계를 주변합이라 하고, 전체 합계는 총합이라고 한다.교차분할표에서는 카이제곱 검정에 의해 독립적인지(관계가 없는지)를 검정하며, 이를 독립성 검정이라고 한다. 일원 카이제곱검정관찰 도수가 기대 도수와 일치하는지 검정하는 적합도 검정이 여기에 속함카이제곱 검정에 의해 표현형..

[통계분석] 표본추출과 T-Test

해당 포스팅에서는 Python을 활용하여 표본을 추출하고 T-Test를 진행합니다.표본추출import pandas as pdimport numpy as npfrom sklearn.datasets import load_irisiris = load_iris()df = pd.DataFrame(data=iris.data, columns=iris.feature_names)df['target'] = iris.target층화임의추출모집단이 이일적인 몇개의 계층으로 이루어져있을때 모든계층으로부터 원소를 임읠 추출하여 각 계층을 고루 대표할 수 있도록 랜덤하게 표본을 추출하는 방법from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y..

반응형