ADP실기 19회 후기 (복기 포함)ADP실기를 위해 준비한 것들1. 회귀분석(회귀분석 평가 및 statsmodel을 활용한 회귀 통계 분석, 잔차의 정규성/독립성/등분산성 확인, 변수선택법 등)2. 분류분석(RandomForest, gradientboost, 로지스틱회귀, 인공신경망 등의 각종 분류방법과 voting 등 각종 앙상블 방법 및 confusion matrix등 분류분석 평가 등)3. 교차분석, 분산분석(ANOVA), 상관분석4. 군집분석(KNN, SOM. EM알고리즘 활용 등)5. 연관분석(Aprori 알고리즘)6. 표본추출과 T검정7. 탐색적 요인분석(FA), 주성분분석(PCA), LEE 등 다양한 차원축소법8. 시계열분석(ARIMA)9. 타겟변수 불균형 처리 해결(언더샘플링, 오버샘플링..

Convolutional Neural Network 구현 import matplotlib.pyplot as plt # 학습결과 그래프 함수 # loss 그래프 def loss_plot(history): # plt.figure(figsize=(10,7)) plt.plot(history.history['loss'], label='Train loss') plt.plot(history.history['val_loss'], label='Validation loss') plt.title('Loss') plt.xlabel('Epoch') plt.ylabel('Loss') plt.legend() plt.show() # accuracy 그래프 def accuracy_plot(history): # plt.figure(fi..

CNN - 합성곱 신경망(Convolutional Neural Network) DCNN (Deep Convolutional Neural Network) Overview 컴퓨터 비전(이미지, 동영상관련 처리) 에서 사용되는 딥러닝 모델 특히 이미지 분류에 가장 많이 사용된다. 일반적으로 Convolution layer, Pooling Layer, Fully-connected layer 로 구성되어 있다. Convolution layer와 pooling layer: Feature Extraction 담당 Fully-connected layer : 분류 담당 CNN 응용 이미지 분류 64*64 이미지를 입력하였을 때 고양이인지 여부 판단 2. Object detection(객체 찾기) 이미지 안의 물체를 탐색..

Deep Neural Networks 모델 성능 개선 과대적합과(Overfitting) 과소적합(underfitting) 최적화(Optimization)와 일반화(generalization) 최적화(Optimization): train data에서 최고의 성능을 얻으려고 모델을 조정하는 과정 (옵티마이저가 한다.) 일반화(Generalization): 훈련된 모델이 처음 보는 데이터에서 얼마나 잘 수행되는지를 의미 과소적합(Underfitting)의 발생 epoch가 진행될 수록 train loss와 test loss(validation loss)가 모두 안 좋음 핵심 : train loss도 안좋고 test loss도 안 좋다. 모델이 너무 단순하면 train loss가 줄어들 지 않는다. 그런 경우 ..

programmers.co.kr/learn/courses/30/lessons/12929 코딩테스트 연습 - 올바른 괄호의 갯수 올바른 괄호란 (())나 ()와 같이 올바르게 모두 닫힌 괄호를 의미합니다. )(나 ())() 와 같은 괄호는 올바르지 않은 괄호가 됩니다. 괄호 쌍의 개수 n이 주어질 때, n개의 괄호 쌍으로 만들 수 있는 모 programmers.co.kr 문제 설명 올바른 괄호란 (())나 ()와 같이 올바르게 모두 닫힌 괄호를 의미합니다. )(나 ())() 와 같은 괄호는 올바르지 않은 괄호가 됩니다. 괄호 쌍의 개수 n이 주어질 때, n개의 괄호 쌍으로 만들 수 있는 모든 가능한 괄호 문자열의 갯수를 반환하는 함수 solution을 완성해 주세요. 제한사항 괄호 쌍의 개수 N : 1 ≤..

이번 포스팅에서는 이전포스팅에서 만든 아마존 데이터베이스와 PostgreSQL을 연동해보겠습니다. AMS와 PostgreSQL연동하기 먼저 저번에 만든 데이터베이스를 눌러 연결&보안의 엔드포인트를 복사하고 포트번호를 확인합니다.(포트번호는 기본 5432입니다) 이후 PgAdmin에 접속하고, Dashbord의 Add New Server를 눌러줍니다. 먼저 서버이름을 정해주고 Connection탭으로 넘어갑니다. 그리고 복사한 엔드포인트를 Host name/address에 넣고, 아마존 DB를 만들었을때 비밀번호를 넣습니다. 이렇게 하면 연결이 되어야하나..... 대부분 안될겁니다... ㅠㅠ Unable to connect to server: timeout expired aws 이런 오류가 뜰 확률이 높습..

본 포스팅은 아래 링크를 참고하여 만들었습니다. docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/CHAP_GettingStarted.CreatingConnecting.PostgreSQL.html PostgreSQL DB 인스턴스 생성 및 PostgreSQL DB 인스턴스의 데이터베이스에 연결 - Amazon Relational Database Se PostgreSQL DB 인스턴스 생성 및 PostgreSQL DB 인스턴스의 데이터베이스에 연결 DB 인스턴스를 만드는 가장 쉬운 방법은 RDS 콘솔을 사용하는 것입니다. DB 인스턴스를 생성한 후에는 pgAdmin 유틸리티 같 docs.aws.amazon.com 저번 포스팅에서 공간데이터를 PostgreSQL에..

이전에 QGIS로 만든 SHP파일을 이제 PostgreSQL에 DB화 하는 것을 알아보겠습니다. PostgreSQL 설치 먼저 PostgreSQL을 설치해줍니다. www.enterprisedb.com/downloads/postgres-postgresql-downloads Download PostgreSQL Database for Windows, Linux and MacOS & 32-bit or 64-bit Versions | EDB Download PostgreSQL packages or installers free from EDB. Get PostgreSQL for Windows, Linux and MacOS platforms. Download 32-bit or 64-bit versions. Downl..

QGIS로 SHP파일 만들기(CSV를 SHP로 변환)공간데이터를 활용하려면 SHP파일이 필요합니다. 하지만 보통 데이터를 CSV로 가지고 있기 때문에 이를 SHP로 변환하는 방법을 알아보겠습니다. SHP란?SHP 파일이란 ESRI사의 GIS 프로그램 ArcView에 사용되는 표준 포맷 파일 지리현상에 대한 기하학적 위치와 속성 정보를 저장, 제공해주는 데이터 포맷입니다. 주로 GIS상에서 사용하지만 최근에는 ESRI ArcView 뿐만아니라 기타 GIS등의 프로그램 및 3D 프로그램, Autocad map 등에서도 사용되고 있어 공용 표준 포맷 등으로 광범위하게 사용되고 있습니다.SHP 포맷은 도형정보와 속성정보를 따로 관리하는 전형적인 분리형 GIS 파일로 초창기에는 Point, Arc, Polygon..

programmers.co.kr/learn/courses/30/lessons/62050 코딩테스트 연습 - 지형 이동 [[1, 4, 8, 10], [5, 5, 5, 5], [10, 10, 10, 10], [10, 10, 10, 20]] 3 15 [[10, 11, 10, 11], [2, 21, 20, 10], [1, 20, 21, 11], [2, 1, 2, 1]] 1 18 programmers.co.kr 문제 설명 N x N 크기인 정사각 격자 형태의 지형이 있습니다. 각 격자 칸은 1 x 1 크기이며, 숫자가 하나씩 적혀있습니다. 격자 칸에 적힌 숫자는 그 칸의 높이를 나타냅니다. 이 지형의 아무 칸에서나 출발해 모든 칸을 방문하는 탐험을 떠나려 합니다. 칸을 이동할 때는 상, 하, 좌, 우로 한 칸씩 ..