主页 / 问题 / 1288042
Accepted
Archi
Asked:2022-05-31 01:56:34 +0000 UTC2022-05-31 01:56:34 +0000 UTC

Scala：在数据框中创建列名

  • 772

我正在尝试为分页数据框中的列分配名称。我使用以下代码下载：

'''def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName(name = "Create DataFrame from CSV file")
      .master(master = "local")
      .getOrCreate()

    spark.sparkContext.setLogLevel("ERROR")

    val csv_path = "data...csv"
    val df = spark.read
      .option("header", false)
      .csv(csv_path)'''

数据框是使用默认名称获得的：_c0/_c1/_c2，但我需要分配它，例如：full_name/date/time 我尝试使用 withcolumnrename - 它不起作用

scala

1 个回答

  1. Best Answer
    1. 您可以使用以下方法.toDF：
    val df2 = df.toDF("full_name "date", "время")
    1. 如果类型是预先知道的，你可以在阅读之前指定结构：
        import org.apache.spark.sql.Encoders
    import java.sql.Timestamp
    import java.sql.Date
    
    case class User(full_name: String, date: Date, `время`: Timestamp)
    
    spark.read
      .schema(Encoders.product[User].schema)
      .option("inferSchema", value = false)
      .option("header", false)
      .csv(csv_path)
    • 1

相关问题