[spark-dataframe] 데이터 프레임에 새로운 칼럼 추가

스파크 데이터프레임에서 칼럼을 추가하거나, 한 칼럼의 값을 다른 값으로 변경 할 때는 withColumn 함수를 이용합니다.

val df = spark.read.json("/user/people.json")
scala> df.show()
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

// 새로운 칼럼 추가 
scala> df.withColumn("xx", $"name").show()
+----+-------+-------+
| age|   name|     xx|
+----+-------+-------+
|null|Michael|Michael|
|  30|   Andy|   Andy|
|  19| Justin| Justin|
+----+-------+-------+

 

칼럼을 추가할 때 when() 함수를 이용하여 조건에 따라 데이터를 변경할 수도 있습니다.

scala> df.withColumn("xx", when($"age".isNull, "KKK").otherwise($"name")).show()
+----+-------+------+
| age|   name|    xx|
+----+-------+------+
|null|Michael|   KKK|
|  30|   Andy|  Andy|
|  19| Justin|Justin|
+----+-------+------+


scala> df.withColumn("xx", when($"age".isNull and $"name" === "Michael", "KKK").otherwise($"name")).show()
+----+-------+------+
| age|   name|    xx|
+----+-------+------+
|null|Michael|   KKK|
|  30|   Andy|  Andy|
|  19| Justin|Justin|
+----+-------+------+

 

UDF 함수를 이용하여 처리할 수도 있습니다.

import org.apache.spark.sql.functions.udf
val func = udf((s:String) => if(s.isEmpty) "KKK" else s)

scala> df.select($"age", $"name", func($"name").as("xx") ).show()
+----+-------+-------+
| age|   name|     xx|
+----+-------+-------+
|null|Michael|Michael|
|  30|   Andy|   Andy|
|  19| Justin| Justin|
+----+-------+-------+