일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- 데이터분석
- 시계열분석
- ADP실기
- Machine Learning
- sparkml
- python
- nlp
- 기초통계학
- 인과추론
- text mining
- sql
- 회귀분석
- postgresql
- SparkSQL
- 프로그래머스
- 튀르키예
- 터키 여행
- 파이썬
- 머신러닝
- 딥러닝
- pyspark
- Deep Learning
- 통계분석
- spark
- 텍스트마이닝
- 카파도키아
- hackerrank
- mysql
- 스택/큐
- 튀르키예 여행
- Today
- Total
목록Deep Learning (9)
YSY의 데이터분석 블로그
모델은 아래 MNIST CNN모델을 활용 ysyblog.tistory.com/151?category=1150980 [Deep Learning][딥러닝] CNN MNIST 분류 MNIST 데이터에 CNN 적용 하이퍼파라미터 및 데이터셋 전처리 import tensorflow as tf import tensorflow.keras as keras import tensorflow.keras.layers as layers import numpy as np np.random.seed(1) tf.ra.. ysyblog.tistory.com 모델 저장 딥러닝은 모델을 만드는데 오래걸리기 때문에 이 모델을 따로 저장해 놓을 필요가 있다. 모델을 저장하는 방법은 다음과 같다. 학습이 끝난 모델의 파라미터만 저장 모델 전체..
적은 datasets에 CNN 학습하는 경우 Data의 수가 많지 않을 때 CNN을 통한 모형 학습이 어려울 수 있음 딥러닝은 많은 수의 데이터를 통해 feature engineering 과정 없이 feature를 찾을 수 있는데 있음 하지만 모델이 작고 regularization이 잘 되어 있다면 수백 개의 샘플로도 훈련 가능 Data가 많지 않아 CNN 학습에 어려움이 있을 때 사용 가능한 방법 Data augmentation 활용 이미지의 색깔, 각도 등을 약간씩 변형하여 data의 수를 늘림 Pre-trained network의 활용 ImageNet 등에서 학습된 기존의 모형과 weight를 불러온 후 목적에 맞게 약간 수정하여 모형 생성 Data for cats vs. dogs 2013년 Kag..
MNIST 데이터에 CNN 적용 하이퍼파라미터 및 데이터셋 전처리 import tensorflow as tf import tensorflow.keras as keras import tensorflow.keras.layers as layers import numpy as np np.random.seed(1) tf.random.set_seed(1) # 하이퍼파라미터 정의 learning_rate = 0.001 N_EPOCHS = 20 N_BATCH = 100 N_CLASS = 10 # 데이터 저장 (train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data() N_TRAIN = train_images.shap..
Convolutional Neural Network 구현 import matplotlib.pyplot as plt # 학습결과 그래프 함수 # loss 그래프 def loss_plot(history): # plt.figure(figsize=(10,7)) plt.plot(history.history['loss'], label='Train loss') plt.plot(history.history['val_loss'], label='Validation loss') plt.title('Loss') plt.xlabel('Epoch') plt.ylabel('Loss') plt.legend() plt.show() # accuracy 그래프 def accuracy_plot(history): # plt.figure(fi..
Classification Fashion MNIST(MNIST) Dataset 10개의 범주(category)와 70,000개의 흑백 이미지로 구성된 패션 MNIST 데이터셋. 이미지는 해상도(28x28 픽셀)가 낮고 다음처럼 개별 의류 품목을 나타낸다: 션 MNIST와 손글씨 MNIST는 비교적 작기 때문에 알고리즘의 작동 여부를 확인하기 위해 사용되곤 하며 코드를 테스트하고 디버깅하는 용도로 좋다. 이미지는 28x28 크기의 넘파이 배열이고 픽셀 값은 0과 255 사이이다. 레이블(label)은 0에서 9까지의 정수 배열이다. 아래 표는 이미지에 있는 의류의 클래스(class)를 나낸다. 레이블 클래스 0 T-shirt/top 1 Trouser 2 Pullover 3 Dress 4 Coat 5 San..
데이터셋 API 데이터 입력 파이프라인을 위한 패키지 tf.data 패키지에서 제공 tf.data.Dataset 추상클래스에서 상속된 여러가지 클래스 객체를 사용 또는 만들어 쓴다. 데이터 입력 파이프라인이란 모델에 공급되는 데이터에 대한 전처리 작업과 공급을 담당한다. 이미지 데이터의 경우 분산 파일시스템으로 부터 이미지를 모으는 작업, 이미지에 노이즈를 주거나 변형하는 작업, 배치 학습을 위해 무작위로 데이터를 선택하여 배치데이터를 만드는 작업 텍스트 데이터 경우 원문을 토큰화하는 작업 임베딩하는 작업 길이가 다른 데이터를 패딩하여 합치는 작업 데이터셋 API 사용 세단계 데이터셋 생성 from_tensor_slices(), from_generator() 클래스 메소드, tf.data.TFRecord..
DNN (Deep Neural Network) 유닛/노드/뉴런 (Un1qit, Node, Neuron) Tensor를 입력받아 tensor를 출력하는 데이터 처리 모듈 Input -> Output 입력 값에 Weight(가중치)를 곱하고 bias(편향)을 더한 뒤 활성화 함수를 거쳐 출력한다. 레이어/층(Layer) Input Layer: 입력값들을 받아 Hidden Layer에 전달하는 노드들로 구성된 Layer. Output Layer: 예측결과를 출력하는 노드들로 구성된 Layer Hidden Layer Input Layer와 Output Layer사이에 존재하는 Layer. 데이터의 패턴을 찾는 역할을 한다. 대부분 Layer들은 가중치(weight)를 가짐 (dropout, pooling과 같이..
MNIST 이미지 분류 MNIST(Modified National Institute of Standards and Technology) database 흑백 손글씨 숫자 0-9까지 10개의 범주로 구분해놓은 데이터셋 하나의 이미지는 28 * 28 pixel 의 크기 6만개의 Train 이미지와 1만개의 Test 이미지로 구성됨. import tensorflow as tf from tensorflow import keras tf.__version__ #'2.1.0' keras.__version__ #'2.2.4-tf' 텐서플로우는 GPU를 사용하는 2.0이상 버전을 설치해야함 # MNIST dataset 조회 (train_image, train_label), (test_image, test_label) =..