关于spark配置项 和 hive serDe 和 spark serDe
admin
2024-03-16 16:42:43

spark.sql.hive.convertMetastoreParquet

hive serde:
    文档:  https://spark.apache.org/docs/latest/configuration.html
    Serde是 Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化
    参数: spark.sql.hive.convertMetastoreParquet 控制读写parquet的序列化反序列化类.
        true(默认值): 使用(Parquet SerDe)spark-sql内置的parquet的reader和writer(即进行反序列化和序列化),它具有更好地性能
        false: 则代表使用 Hive的序列化方式
    注意:
        如果使用同一个parquet,序列化反序列化需要一致,即读写需要用同一个serde方式.
    其他相关:
        dataframe.saveAsTable("tbName") 并不是创建hive表(hive serde), 而是创建spark(内部)表(spark Parquet serde).
            如果想创建hive (serde)表:
                方法1:  spark.sql("create table ... stored as parquet")
                方法2:  df.insertInto(tableName,OverWrite.Append/Overwrite) //表之前是hive serde
                方法3:  set spark.sql.hive.convertMetastoreParquet=false  df.saveAsTable(...)

    怎么区分hive表是 hive serde还是 spark serde:
        spark serde建立的表结构包含:
            WITH SERDEPROPERTIES (
            'path'='hdfs://hdfsHACluster/user/hive/warehouse/rljl.db/fc_p_face_centro_relation')
 

相关内容

热门资讯

“十五五”开局谋新篇,浦银避险... 转自:新华财经立足“十五五”规划新开局,1月9日,《浦银避险2026年市场展望蓝皮书》(以下简称“蓝...
伊朗警察总长:骚乱主要参与者已... 每经AI快讯,伊朗警察总长艾哈迈德·拉丹当地时间11日表示,骚乱的主要参与者已于10日晚被捕,并将在...
最新或2023(历届)沧州市过... 过年的习俗归纳起来,大致有贴对联,团圆饭,发送红包,穿新衣,拜年等。  这时不论是在外留学或者是在外...
最新或2023(历届)廊坊市过... 廊坊坐落京津之间,有着都市和乡村相融合的民间习俗。这些习俗是民族文化的沉淀,是千百年来和自然社会斗争...
丁一平《三家分晋》出版 春秋何... 近日,文史名家、中央电视台《百家讲坛》讲师、河南大学丁一平教授“风雨战国”系列开山之作《三家分晋》由...