해당 포스팅은 데이터 프레임에서 특정 컬럼만 필터링하는 방법을 소개한다. 활용 데이터 사전 작업 from pyspark.sql.types import StringType, IntegerType, FloatType from pyspark.sql.types import StructType, StructField schema = StructType([ \ StructField("stationID", StringType(), True), \ StructField("date", IntegerType(), True), \ StructField("measure_type", StringType(), True), \ StructField("temperature", FloatType(), True)]) df = spark..

이번 포스트에서는 테이블을 Create하고 자료를 Insert하고 이를 Select해서 보는 것을 해보겠습니다. 먼저 테이블 구조를 만들겠습니다. Create Table를 활용하여 만듭니다. 그리고 각 Column마다 데이터 타입을 지정해줍니다. varchar(255)는 문자열이며(255글자까지 지정 가능), integer는 숫자입니다. CREATE TABLE mst_users( user_id varchar(255) , register_date varchar(255) , register_device integer ); 이후 INSERT INTO 구문을 활용하여 만들어진 테이블에 데이터를 넣어줍니다. INSERT INTO mst_users VALUES ('U01', '2020-08-26', 1) , ('U..