[pyspark] CSV파일로 데이터프레임 생성

pyspark에서 스파크세션을 이용하여 CSV파일을 읽어서 데이터프레임을 생성하는 예제를 알아보겠습니다.

 

	from pyspark.sql.types import StructType, StructField, StringType
	schema = StructType([
	StructField("age", StringType(), True),
	StructField("height", StringType(), True),
	StructField("name", StringType(), True)])
	# spark = SparkSession
	# 스키마 지정 안함
	spark.read.csv("/user/shs/sample.csv").show()
	# 스키마 지정하고 읽음
	spark.read.csv("/user/shs/sample.csv", header=False, schema=schema).show()

view raw pyspark_read_csv.py hosted with ❤ by GitHub

;