自适应优化过程中shuffle分区的建议字节大小（当spark.sql.adaptive.enabled为true时）。当Spark合并小的shuffle分区或拆分偏斜的shuffle分区时生效。

配置在执行连接时将广播到所有工作节点的表的最大字节大小。通过将此值设置为-1，可以禁用广播。默认值与spark.sql.autoBroadcastJoinThreshold相同。请注意，此配置仅在自适应框架中使用。

当为真且'spark.sql.adaptive.enabled'为真时，Spark将根据目标大小（由'spark.sql.adaptive.advisoryPartitionSizeInBytes'指定）合并连续的shuffle分区，以避免过多的小任务。

合并前的shuffle分区初始数量。如果未设置，则等于spark.sql.shuffle.partitions。仅在'spark.sql.adaptive.enabled'和'spark.sql.adaptive.coalescePartitions.enabled'均为真时，此配置才生效。

合并后shuffle分区的最小大小。当自适应计算的目标大小在分区合并时过小时，这非常有用。

当为真时，Spark在合并连续的shuffle分区时不遵循由'spark.sql.adaptive.advisoryPartitionSizeInBytes'（默认为64MB）指定的目标大小，而是根据Spark集群的默认并行度自适应计算目标大小。计算出的大小通常小于配置的目标大小。这是为了最大化并行度，避免在启用自适应查询执行时性能退化。建议将此配置设置为false，并遵循配置的目标大小。

用于自适应执行的自定义成本评估器类。如果未设置，Spark将默认使用其自有的SimpleCostEvaluator。

当为真时，启用自适应查询执行，根据准确的运行时统计信息在查询执行中重新优化查询计划。

当为真时，即使引入额外的shuffle，也强制启用OptimizeSkewedJoin。

当为真且'spark.sql.adaptive.enabled'为真时，Spark尝试使用本地shuffle读取器来读取shuffle数据，当不需要shuffle分区时，例如，在将排序合并连接转换为广播哈希连接后。

配置允许构建本地哈希映射的每个分区的最大字节大小。如果该值不小于spark.sql.adaptive.advisoryPartitionSizeInBytes且所有分区大小不大于此配置，则连接选择更倾向于使用shuffle哈希连接而不是排序合并连接，而不考虑spark.sql.join.preferSortMergeJoin的值。

当为真且'spark.sql.adaptive.enabled'为真时，Spark将在RebalancePartitions中优化偏斜的shuffle分区，并根据目标大小（由'spark.sql.adaptive.advisoryPartitionSizeInBytes'指定）将其拆分为更小的分区，以避免数据偏斜。

配置将在自适应优化器中禁用的规则列表，这些规则由其规则名称指定并用逗号分隔。优化器将记录确实被排除的规则。

如果分区的大小小于该因子乘以spark.sql.adaptive.advisoryPartitionSizeInBytes，则在拆分过程中将合并一个分区。

当为真且'spark.sql.adaptive.enabled'为真时，Spark通过拆分（并在需要时复制）偏斜的分区来动态处理shuffle连接中的偏斜（排序合并和shuffle哈希）。

如果分区的大小大于该因子乘以中位数分区大小，并且也大于'spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes'，则将该分区视为偏斜。

如果分区的大小（以字节为单位）大于此阈值，并且也大于'spark.sql.adaptive.skewJoin.skewedPartitionFactor'乘以中位数分区大小，则将该分区视为偏斜。理想情况下，此配置应该设置为大于'spark.sql.adaptive.advisoryPartitionSizeInBytes'。

如果为true，Spark将为所有已实现命名参数的函数开启命名参数的支持。

当为真且'spark.sql.ansi.enabled'为真时，Spark SQL将双引号（"）括起来的字面量读作标识符。当为假时，它们被读作字符串字面量。

当为真时，Spark SQL使用符合ANSI标准的方言，而不是Hive兼容。例如，当SQL运算符/函数的输入无效时，Spark将在运行时抛出异常，而不是返回空结果。有关该方言的完整详细信息，请参见Spark文档的“ANSI合规性”部分。某些ANSI方言特性可能不是直接来自ANSI SQL标准，但它们的行为与ANSI SQL风格保持一致。

当为真且'spark.sql.ansi.enabled'为真时，Spark SQL解析器强制执行ANSI保留关键字，并禁止使用保留关键字作为别名和/或表、视图、函数等的标识符的SQL查询。

当为真且'spark.sql.ansi.enabled'为真时，在组合关系时JOIN优先于逗号。例如， t1, t2 JOIN t3 的结果应该是 t1 X (t2 X t3) 。如果该配置为假，结果是 (t1 X t2) X t3 。

配置在执行连接时将广播到所有工作节点的表的最大字节大小。通过将此值设置为-1，可以禁用广播。请注意，目前仅支持对Hive Metastore表进行统计，其中已运行命令 ANALYZE TABLE COMPUTE STATISTICS noscan ，以及在数据文件上直接计算统计信息的基于文件的数据源表。

写入AVRO文件时使用的压缩编解码器。支持的编解码器：uncompressed、deflate、snappy、bzip2、xz和zstandard。默认编解码器为snappy。

在写入AVRO文件时，使用deflate编解码器的压缩级别。有效值必须在1到9（包含）或-1的范围内。默认值为-1，对应于当前实现中的6级。

当为真时，启用对Avro数据源的过滤器下推。

在广播连接中广播等待时间的超时时间（以秒为单位）。

当为真时，如果两个具有不同桶数的桶化表被连接，具有更多桶的侧将合并为与另一侧相同的桶数。更多的桶数可以被较小的桶数整除。桶合并适用于排序合并连接和shuffle哈希连接。注意：合并桶化表可以避免连接中的不必要shuffle，但也会降低并行性，并可能导致shuffle哈希连接的OOM。

两个被合并的桶的数量比应小于等于此值，才能应用桶合并。仅在'spark.sql.bucketing.coalesceBucketsInJoin.enabled'设置为true时，此配置才有效。

将用作Spark内置v1目录的v2接口的目录实现：spark_catalog。该目录与spark_catalog共享其标识符命名空间，必须与之保持一致；例如，如果表可以由spark_catalog加载，则该目录也必须返回表的元数据。为了将操作委托给spark_catalog，实施可以扩展'CatalogExtension'。

启用CBO以估算计划统计信息时设置为真。

将星连接过滤器启发式应用于基于成本的连接枚举。

动态规划算法中允许的连接节点的最大数量。

启用CBO中的连接重排序。

当为真时，逻辑计划将从目录获取行数和列统计信息。

当为真时，基于星型模式检测启用连接重排。

当为真时，Spark在CREATE/REPLACE/ALTER TABLE命令中将CHAR类型替换为VARCHAR类型，因此新创建/更新的表将不再具有CHAR类型的列/字段。现有的CHAR类型列/字段的表不受此配置的影响。

是否截断由 Base64 函数生成的字符串。当为真时，由base64函数生成的base64字符串被拆分为最多76个字符的行。当为假时，base64字符串不被拆分。

当设置为true时，spark-sql CLI在查询输出中打印列的名称。

存储未解析的原始JSON和CSV记录的内部列名称，这些记录解析失败。

当为真时，启用对CSV数据源的过滤器下推。

如果配置属性设置为true，则使用Java 8 API的java.time.Instant和java.time.LocalDate类作为Catalyst的TimestampType和DateType的外部类型。如果设置为false，则使用java.sql.Timestamp和java.sql.Date作为相同的目的。

在调试输出中，可以转换为字符串的序列类型条目的最大字段数量。超出限制的任何元素将被丢弃，并替换为"... N more fields"占位符。

默认目录的名称。如果用户尚未显式设置当前目录，则这将是当前目录。

当为PRETTY时，错误信息由错误类、消息和查询上下文的文本表示组成。MINIMAL和STANDARD格式是漂亮的JSON格式，其中STANDARD包含一个附加的JSON字段 message 。此配置属性影响在运行查询时，Thrift Server和SQL CLI的错误消息。

（自Spark 3.0已弃用，请设置'spark.sql.execution.arrow.pyspark.enabled'。）

（自Spark 3.0已弃用，请设置'spark.sql.execution.arrow.pyspark.fallback.enabled'。）

在将Arrow批转换为Spark DataFrame时，如果Arrow批的字节大小小于此阈值，则在驱动程序端使用本地集合。否则，Arrow批将被发送到执行器并反序列化为Spark内部行。

在使用Apache Arrow时，限制可以写入单个ArrowRecordBatch中的记录的最大数量。此配置对诸如DataFrame(.cogroup).groupby.applyInPandas之类的分组API无效，因为每个组都会变成每个ArrowRecordBatch。如果设置为零或负数，则没有限制。

当为真时，利用Apache Arrow在PySpark中进行列式数据传输。此优化适用于：1. pyspark.sql.DataFrame.toPandas。2. pyspark.sql.SparkSession.createDataFrame当其输入为Pandas DataFrame或NumPy ndarray时。以下数据类型不受支持：TimestampType的ArrayType。

当为真时，由'spark.sql.execution.arrow.pyspark.enabled'启用的优化将在发生错误时自动回退到未优化的实现。

（实验）当为真时，利用Apache Arrow的自毁和分块选项在PySpark中进行列式数据传输，在从Arrow转换为Pandas时。这会减少内存使用，但会消耗一些CPU时间。此优化适用于：在设置'spark.sql.execution.arrow.pyspark.enabled'时，pyspark.sql.DataFrame.toPandas。

当为真时，利用Apache Arrow在SparkR中进行列式数据传输。此优化适用于：1. createDataFrame当其输入为R DataFrame时 2. collect 3. dapply 4. gapply 以下数据类型不受支持：FloatType、BinaryType、ArrayType、StructType和MapType。

创建pandas DataFrame时结构类型的转换模式。当为"legacy"时，1. 当禁用Arrow优化时，转换为Row对象；2. 当启用Arrow优化时，转换为字典或在嵌套字段名称重复时引发异常。当为"row"时，无论Arrow优化如何，总是转换为Row对象。当为"dict"时，转换为字典并使用后缀的键名，例如，a_0、a_1，如果存在重复的嵌套字段名称，则不考虑Arrow优化。

与 spark.buffer.size 相同，但仅适用于Pandas UDF执行。如果未设置，则后备为 spark.buffer.size 。请注意，Pandas执行需要超过4个字节。降低此值可能会使小Pandas UDF批次迭代并管道化；但是，它可能会降低性能。请参见SPARK-27870。

当为真时，Python UDF的回溯被简化。它在回溯中隐藏了Python工作线程、（反）序列化等，仅显示UDF的异常消息。请注意，这仅与CPython 3.7及更高版本兼容。

在常规Python UDF中启用Arrow优化。此优化仅在给定函数至少需要一个参数时才能启用。

启用Python UDTF的Arrow优化。

在带有LIMIT的SQL查询中，例如'SELECT x FROM t ORDER BY y LIMIT m'，如果m在此阈值下，则在内存中进行K最大排序；否则进行全局排序，如有必要可溢出到磁盘。

是否忽略损坏的文件。如果为真，当遇到损坏的文件时，Spark作业将继续运行，并且已读取的内容仍然会返回。此配置仅在使用基于文件的源（如Parquet、JSON和ORC）时有效。

是否忽略丢失的文件。如果为真，当遇到丢失的文件时，Spark作业将继续运行，并且已读取的内容仍然会返回。此配置仅在使用基于文件的源（如Parquet、JSON和ORC）时有效。

读取文件时打包到单个分区中的最大字节数。此配置仅在使用基于文件的源（如Parquet、JSON和ORC）时有效。

建议的（不保证）最大分片文件分区数量。如果设置，Spark将重新调整每个分区的大小，以使分区数量接近此值（如果初始分区数量超过该值）。此配置仅在使用基于文件的源（如Parquet、JSON和ORC）时有效。

写入单个文件的最大记录数。如果该值为零或负数，则没有限制。

建议的（不保证）最小划分文件分区数量。如果未设置，则默认值为 spark.sql.leafNodeDefaultParallelism 。此配置仅在使用基于文件的源（如Parquet、JSON和ORC）时有效。

当此选项设置为false且所有输入均为二进制时， functions.concat 返回的输出为二进制。否则，它返回字符串。

当此选项设置为false且所有输入均为二进制时， elt 返回的输出为二进制。否则，它返回字符串。

当为真时，选择列表中的别名可以在group by子句中使用。当为假时，如果出现这种情况，将引发分析异常。

当为真时，group by子句中的序数被视为选择列表中的位置。当为假时，将忽略序数。

当设置为true，并且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 为真时，使用内置ORC/Parquet写入器处理插入到使用Hive SQL语法创建的分区ORC/Parquet表的操作。

当设置为true时，Spark将尝试在CTAS中使用内置数据源写入器，而不是Hive serde。此标志仅在 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 分别为Parquet和ORC格式启用时有效。

当设置为true时，Spark将尝试在INSERT OVERWRITE DIRECTORY中使用内置数据源写入器，而不是Hive serde。此标志仅在 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 分别为Parquet和ORC格式启用时有效。

当设置为true时，使用内置ORC读写器处理使用HiveQL语法创建的ORC表，而不是Hive serde。

当设置为true时，使用内置Parquet读写器处理使用HiveQL语法创建的Parquet表，而不是Hive serde。

当为真时，也尝试合并不同但兼容的Parquet模式。在“spark.sql.hive.convertMetastoreParquet”设置为true时，此配置才有效。

当为真时，Spark将获取分区名称而不是分区对象以删除分区，这可以提高删除分区的性能。

当非零时，在内存中启用分区文件元数据的缓存。所有表共享一个缓存，可以使用指定的字节数用于文件元数据。此配置仅在启用Hive文件源分区管理时生效。

当为真时，也为文件源表启用元存储分区管理。这包括数据源和转换的Hive表。当启用分区管理时，数据源表将把分区存储在Hive元存储中，并在查询计划期间使用元存储修剪分区，当'spark.sql.hive.metastorePartitionPruning'设置为true时。

当为真时，一些谓词将被推送到Hive元存储中，以便未匹配的分区可以更早被消除。

在遇到来自元存储的MetaException时，是否回退以从Hive元存储获取所有分区并在Spark客户端侧执行分区修剪。请注意，如果启用此项且有很多分区待列出，Spark查询性能可能降低。如果禁用此配置，Spark将使查询失败。

当启用此配置时，如果谓词不被Hive支持或由于遇到来自元存储的MetaException而导致Spark回退，Spark将首先通过获取分区名称然后在客户端上评估过滤表达式来修剪分区。请注意，不支持具有TimeZoneAwareExpression的谓词。

当设置为true时，Hive Thrift服务器以异步方式执行SQL查询。

当为真时，在读取存储在HDFS中的数据时，会检查表的根目录下的所有分区路径。此配置将在未来版本中弃用，并替换为spark.files.ignoreMissingFiles。

控制列式缓存的批次大小。更大的批大小可以提高内存利用率和压缩，但在缓存数据时可能面临OOM风险。

当设置为true时，Spark SQL将根据数据的统计信息自动选择每列的压缩编解码器。

启用列式缓存的向量化读取器。

当为真时，启用对JSON数据源的过滤器下推。

在JSON数据源和JSON函数（如to_json）中生成JSON对象时，忽略null字段的设置。如果为假，则在JSON对象中为null字段生成null。

生成数据的Spark SQL叶子节点的默认并行度，如文件扫描节点、本地数据扫描节点、范围节点等。此配置的默认值为'SparkContext#defaultParallelism'。

在内置函数：CreateMap、MapFromArrays、MapFromEntries、StringToMap、MapConcat和TransformKeys中去重映射键的策略。当为EXCEPTION时，如果检测到重复的映射键，查询将失败。当为LAST_WIN时，最后插入的映射键优先。

可选的额外远程Maven镜像仓库的逗号分隔字符串配置。这仅在IsolatedClientLoader中的Hive jars 下载时使用，如果默认的Maven Central repo无法访问。

元数据字符串的最大字符数。例如，在 DataSourceScanExec 中的文件位置，如果超过长度，则每个值将被缩写。

计划字符串的最大字符数。如果计划过长，进一步输出将被截断。默认设置总是生成完整的计划。如果设置为较低的值，例如8k，计划字符串可能会占用过多内存或在驱动程序或UI进程中导致OutOfMemory错误。

单个分区允许的最大字节数。否则，规划者会引入shuffle以提高并行性。

是否始终合并两个相邻的投影并内联表达式，即使导致额外的重复。

当为真时，当将分区列用作连接键时，我们将为其生成谓词。

是否在SQL优化器中优化CSV表达式。这包括从from_csv中修剪不必要的列。

是否在SQL优化器中优化JSON表达式。这包括从from_json中修剪不必要的列，简化from_json + to_json，to_json + named_struct(from_json.col1, from_json.col2, ....)。

配置将在优化器中禁用的规则列表，这些规则由其规则名称指定并用逗号分隔。无法保证所有在此配置中的规则最终都会被排除，因为某些规则对于正确性是必要的。优化器将记录确实被排除的规则。

Bloom过滤器应用侧计划的聚合扫描大小的字节阈值。Bloom过滤器应用侧的聚合扫描字节大小需要超过此值才能注入Bloom过滤器。

用于Bloom过滤器创建侧计划的大小阈值。估计大小必须小于此值，以尝试注入Bloom过滤器。

当为真且shuffle连接的一侧存在选择性谓词时，我们尝试在另一侧插入Bloom过滤器，以减少shuffle数据的量。

运行时Bloom过滤器的默认预期项数量。

用于运行时Bloom过滤器的最大位数。

运行时Bloom过滤器的最大预期项数量。

运行时Bloom过滤器的默认位数。

启用基于组的行级操作的运行时组过滤。替换数据组（例如，文件、分区）的数据源在计划行级操作扫描时可以使用提供的数据源过滤器修剪整个组。但是，这种过滤是有限的，因为并非所有表达式都可以转换为数据源过滤器，并且某些表达式只能由Spark进行评估（例如子查询）。由于重写组是昂贵的，因此Spark可以在运行时执行查询，以确定哪些记录满足行级操作条件。匹配记录的信息将传递回行级操作扫描，允许数据源丢弃无需重写的组。

针对单个查询的注入运行时过滤器（非DPP）的总数量。这是为了防止由于过多的Bloom过滤器而导致的驱动程序内存溢出（OOM）。

当为真且shuffle连接的一侧存在选择性谓词时，我们尝试在另一侧插入半连接，以减少shuffle数据的量。

如果为真，将聚合推送到ORC以进行优化。支持MIN、MAX和COUNT作为聚合表达式。对于MIN/MAX，支持布尔型、整数型、浮点型和日期型。对于COUNT，支持所有数据类型。如果任何ORC文件页脚缺失统计信息，将抛出异常。

ORC向量化读取器批中包含的行数。此数字应仔细选择，以最大限度地减少开销并避免在读取数据时出现OOM。

ORC向量化写入器批中包含的行数。此数字应仔细选择，以最大限度地减少开销并避免在写入数据时出现OOM。

设置写入ORC文件时使用的压缩编解码器。如果在表特定选项/属性中指定了 compression 或 orc.compress ，则优先级顺序为 compression 、 orc.compress 、 spark.sql.orc.compression.codec 。可接受的值包括：none、uncompressed、snappy、zlib、lzo、zstd、lz4。

启用嵌套列的向量化ORC解码。

启用向量化ORC解码。

当为真时，启用对ORC文件的过滤器下推。

当为真时，ORC数据源合并从所有数据文件收集的模式，否则模式将从随机数据文件中选择。

当为真时，序数被视为选择列表中的位置。当为假时，排序/排序子句中的序数被忽略。

如果为真，将聚合推送到Parquet以进行优化。支持MIN、MAX和COUNT作为聚合表达式。对于MIN/MAX，支持布尔型、整数型、浮点型和日期型。对于COUNT，支持所有数据类型。如果任何Parquet文件页脚缺失统计信息，将抛出异常。

一些其他生成Parquet的系统，特别是Impala和旧版本的Spark SQL，在写出Parquet模式时不区分二进制数据和字符串。此标志告诉Spark SQL将二进制数据解释为字符串，以提供与这些系统的兼容性。

Parquet向量化读取器批中包含的行数。此数字应仔细选择，以最大限度地减少开销并避免在读取数据时出现OOM。

设置写入Parquet文件时使用的压缩编解码器。如果在表特定选项/属性中指定了 compression 或 parquet.compression ，则优先级顺序为 compression 、 parquet.compression 、 spark.sql.parquet.compression.codec 。 可接受的值包括：none、uncompressed、snappy、gzip、lzo、brotli、lz4、lz4raw、lz4_raw、zstd。

启用嵌套列的向量化Parquet解码（例如，结构、列表、映射）。需要启用spark.sql.parquet.enableVectorizedReader。

启用向量化Parquet解码。

字段ID是Parquet模式规范的本机字段。当启用时，如果所请求的Spark模式中存在字段ID，Parquet读取器将使用字段ID查找Parquet字段，而不是使用列名。

当Parquet文件没有任何字段ID但Spark读取模式使用字段ID进行读取时，如果启用此标志，我们将默默返回null，否则将引发错误。

字段ID是Parquet模式规范的本机字段。启用后，Parquet写入器将填充Spark模式中的字段ID元数据（如果存在）到Parquet模式中。

在设置为true时，启用Parquet的过滤器下推优化。

当启用时，带有注释isAdjustedToUTC = false的Parquet时间戳列在模式推断期间将被推断为TIMESTAMP_NTZ类型。否则，所有Parquet时间戳列都被推断为TIMESTAMP_LTZ类型。请注意，Spark在写入文件时将输出模式写入Parquet的页脚元数据，并在读取文件时利用它。因此，此配置仅影响未由Spark写入的Parquet文件的模式推断。

一些生成Parquet的系统，特别是Impala，将时间戳存储为INT96。Spark也会将时间戳存储为INT96，因为我们需要避免纳秒字段的精度丢失。此标志告诉Spark SQL将INT96数据解释为时间戳，以提供与这些系统的兼容性。

此项控制在转换为时间戳时是否应将时间戳调整应用于INT96数据，对于由Impala写入的数据。这是必要的，因为Impala以不同于Hive和Spark的时区偏移存储INT96数据。

当为真时，Parquet数据源合并从所有数据文件收集的模式；否则，从摘要文件或如果没有摘要文件可用，则从随机数据文件中选择模式。

设置当Spark将数据写入Parquet文件时使用的Parquet时间戳类型。INT96是一种非标准但常用的Parquet时间戳类型。TIMESTAMP_MICROS是Parquet中的标准时间戳类型，它存储从Unix纪元开始的微秒数。TIMESTAMP_MILLIS也是标准的，但具有毫秒精度，这意味着Spark必须截断其时间戳值的微秒部分。

如果为真，允许使用下推过滤器启用Parquet的本机记录级过滤。此配置仅在启用'spark.sql.parquet.filterPushdown'时生效，并且未使用向量化读取器。您可以通过将'spark.sql.parquet.enableVectorizedReader'设置为false来确保未使用向量化读取器。

当为真时，我们假设所有Parquet的部分文件与摘要文件一致，并在合并模式时将其忽略。否则，如果为假，这是默认值，我们将合并所有部分文件。此操作应视为仅供专家使用的选项，并且在确切了解其含义之前不应启用。

如果为真，则以Spark 1.4及更早版本的方式写入数据。例如，小数将按Apache Parquet的固定长度字节数组格式写入，其他系统（如Apache Hive和Apache Impala）也使用此格式。如果为假，则将使用Parquet中的较新格式。例如，小数将按基于整数的格式写入。如果Parquet输出是打算与不支持此新格式的系统一起使用，请设置为true。

当为真时，SELECT语句中的带引号标识符（使用反引号）被解释为正则表达式。

当进行透视而未为透视列指定值时，这是将收集的最大（不同）值数量，而不出错。

PySpark的SparkSession.createDataFrame默认将嵌套字典推断为映射。当设置为true时，将嵌套字典推断为结构。

当为真时，它在用户面对的PySpark异常中显示JVM堆栈跟踪以及Python堆栈跟踪。默认情况下，它被禁用，以隐藏JVM堆栈跟踪，仅显示对Python友好的异常。请注意，这与日志级别设置无关。

PySpark的SparkSession.createDataFrame默认从数组中的所有值推断数组的元素类型。如果此配置设置为true，则恢复仅从第一个数组元素推断类型的传统行为。

当为真时，Spark在读取CHAR类型列/字段时应用字符串填充，除了写入侧的填充外。此配置默认为true，以更好地在外部表等情况下强制执行CHAR类型语义。

正则表达式，用于决定Spark SQL命令的选项映射中的哪些键包含敏感信息。与此正则表达式匹配的选项名称的值将在解释输出中被删除。这项删除将在spark.redaction.regex定义的全局删除配置之上应用。

正则表达式，用于决定Spark生成的字符串的哪些部分包含敏感信息。当此正则表达式与字符串部分匹配时，该字符串部分将被替换为虚拟值。当前用于删除SQL解释命令的输出。当此配置未设置时，将使用 spark.redaction.string.regex 中的值。

启用急切评估或不。为真时，仅在REPL支持急切评估时才会显示数据集的前K行。当前，PySpark和SparkR支持急切评估。在PySpark中，像Jupyter这样的笔记本将返回HTML表（由 repr_html 生成）。对于普通Python REPL，返回的输出格式类似于dataframe.show()。在SparkR中，返回的输出显示类似于R数据帧。

通过急切评估返回的最大行数。仅在设置 spark.sql.repl.eagerEval.enabled 为真时生效。此配置的有效范围是从0到(Int.MaxValue - 1)，因此无效配置如负数和大于(Int.MaxValue - 1)的值将被规范化为0和(Int.MaxValue - 1)。

通过急切评估返回的每个单元格的最大字符数。仅在设置 spark.sql.repl.eagerEval.enabled 为真时生效。

序列化后，驱动程序端缓存的本地关系大小（以字节为单位）的阈值。

会话本地时区的ID，格式为区域基础的时区ID或时区偏移量。区域ID必须为'区域/城市'的形式，例如'America/Los_Angeles'。时区偏移量必须为'(+|-)HH'，'(+|-)HH:mm'或'(+|-)HH:mm:ss'的格式，例如'-08'、'+01:00'或'-13:33:33'。此外，'UTC'和'Z'也支持作为'+00:00'的别名。其他简短名称不推荐使用，因为它们可能会引起歧义。

在为连接或聚合shuffle数据时使用的默认分区数。注意：对于结构化流，配置在从相同检查点位置查询重新启动之间无法更改。

如果小侧的数据大小乘以此因子仍小于大侧，则可以选择shuffle哈希连接。

当为真时，根据查询计划自动决定是否对输入表执行桶扫描。如果查询没有运算符利用桶化（例如连接、分组等），或者如果这些运算符与表扫描之间存在交换运算符，则不要使用桶扫描。注意当'spark.sql.sources.bucketing.enabled'设置为false时，此配置将不生效。

当为假时，我们将把桶化表视为普通表。

允许的最大桶数。

输入/输出中使用的默认数据源。

驱动程序端列出文件时允许的最大路径数。如果在分区发现期间检测到的路径数量超过此值，则尝试通过另一个Spark分布式作业来列出文件。此配置仅在使用基于文件的源（如Parquet、JSON和ORC）时有效。

当为真时，自动推断分区列的数据类型。

在INSERT OVERWRITE到分区数据源表时，目前支持两种模式：静态和动态。在静态模式中，Spark在覆盖之前删除与INSERT语句中的分区规范匹配的所有分区（例如PARTITION(a=1,b)）。在动态模式中，Spark不会提前删除分区，只覆盖在运行时写入数据的那些分区。默认情况下，我们使用静态模式，以保持与Spark 2.3之前的相同行为。请注意，此配置不影响Hive serde表，因为它们始终以动态模式覆盖。这也可以通过使用关键字partitionOverwriteMode（优先于此设置）设置为数据源的输出选项，例如dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

类似于spark.sql.sources.bucketing.enabled，此配置用于为V2数据源启用桶化。当启用时，Spark将通过SupportsReportPartitioning识别V2数据源报告的特定分布，并根据需要避免shuffle。

在存储分区连接期间，是否允许输入分区部分聚类，当连接的两侧都是KeyGroupedPartitioning时。在计划期间，Spark将根据表统计信息选择数据较少的一侧，将其分组并复制以匹配另一侧。这是对偏斜连接的优化，有助于减少某些分区分配大量数据时的数据偏斜。此配置要求同时启用spark.sql.sources.v2.bucketing.enabled和spark.sql.sources.v2.bucketing.pushPartValues.enabled。

在启用'spark.sql.sources.v2.bucketing.enabled'时，是否推送常见的分区值。当启用时，如果连接的两侧都是KeyGroupedPartitioning，并且共享兼容的分区键，即使它们没有完全相同的分区值，Spark也会计算分区值的超集并将该信息推送到扫描节点，这将使用缺失的分区值的空分区。在任一侧。这可以帮助消除不必要的shuffle。

当为真时，如果无法从表元数据获取表统计信息，将回退到HDFS。这对于确定表是否足够小以使用广播连接非常有用。此标志仅对非分区Hive表有效。对于非分区数据源表，如果不可用，则将自动重新计算其表统计信息。对于分区数据源和分区Hive表，如果无法获取表统计信息，则为'spark.sql.defaultSizeInBytes'。

在计算列统计信息时，如果启用，则生成直方图。直方图可以提供更好的估计精度。当前，Spark仅支持等高直方图。请注意，收集直方图会产生额外成本。例如，收集列统计信息通常只需一次表扫描，但生成等高直方图将导致额外的表扫描。

启用在表数据更改后自动更新表大小。请注意，如果表的文件总数非常庞大，则这可能会很昂贵，并可能减慢数据更改命令。

当将值插入不同数据类型的列时，Spark将执行类型强制转换。目前，我们为类型强制转换规则支持三种策略：ANSI、遗留和严格。使用ANSI策略，Spark根据ANSI SQL执行类型强制转换。实际上，行为与PostgreSQL非常相似。它不允许某些不合理的类型转换，例如将 string 转换为 int 或 double 转换为 boolean 。使用遗留策略，Spark只要是有效的 Cast ，就允许类型强制转换，这在很大程度上很宽松。例如，允许将 string 转换为 int 或 double 转换为 boolean 。这也是Spark 2.x中的唯一行为，并且与Hive兼容。使用严格策略，Spark不允许在类型强制转换中任何可能的精度损失或数据截断，例如，不允许将 double 转换为 int 或 decimal 转换为 double 。

流查询的检查点数据的默认存储位置。

排队等待迟到时间戳的最大条目数。如果此参数被队列的大小所超出，流将以错误停止。

完全限定数据源注册类名称的逗号分隔列表，StreamWriteSupport被禁用。对此数据源的写入将回退到V1 Sinks。

在文件源完成的文件清理器中使用的线程数。

当为真时，启用临时检查点位置强制删除。

实现了 org.apache.spark.sql.columnar.CachedBatchSerializer 的类的名称。它将用于将 SQL 数据转换为可以更有效地被缓存的格式。底层 API 可能会发生变化，因此请谨慎使用。不能指定多个类。该类必须具有无参构造函数。

会话目录的默认数据库。

超出此 SQL 长度的阈值将在添加到事件之前被截断。默认为不截断。如果设置为 0，将记录调用位置。

实现函数 Function1[SparkSessionExtensions, Unit] 的类的以逗号分隔的列表，用于配置 Spark 会话扩展。类必须具有无参构造函数。如果指定多个扩展，它们按照指定顺序应用。针对规则和计划者策略的情况，它们按指定顺序应用。对于解析器的情况，使用最后一个解析器，每个解析器可以委托给其前任。对于函数名称冲突的情况，使用最后注册的函数名称。

应为每个与 Spark SQL 通信的 Hive 版本显式重新加载的类前缀的以逗号分隔的列表。例如，通常会共享的前缀中声明的 Hive UDF。

用于实例化 HiveMetastoreClient 的 jar 文件位置。 该属性可以是以下四个选项之一： 1. "builtin" 使用 Hive 2.3.9，它与 Spark 组合在一起，当 -Phive 被启用时。当选择此选项时， spark.sql.hive.metastore.version 必须是 2.3.9 或未定义。 2. "maven" 使用从 Maven 存储库下载的指定版本的 Hive jar。 3. "path" 使用由 spark.sql.hive.metastore.jars.path 配置的以逗号分隔的格式的 Hive jar。支持本地或远程路径。提供的 jar 应与 spark.sql.hive.metastore.version 相同版本。 4. Hive 和 Hadoop 的标准格式的类路径。提供的 jar 应与 spark.sql.hive.metastore.version 相同版本。

用于实例化 HiveMetastoreClient 的 jar 文件的以逗号分隔的路径。 此配置仅在将 spark.sql.hive.metastore.jars 设置为 path 时有效。 路径可以是以下任一格式： 1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/ （没有 URI 方案的路径遵循配置 fs.defaultFS 的 URI 模式） 4. [http/https/ftp]://path/to/jar/foo.jar 注意 1、2 和 3 支持通配符。例如： 1. file://path/to/jar/ ,file://path2/to/jar/ / .jar 2. hdfs://nameservice/path/to/jar/ ,hdfs://nameservice2/path/to/jar/ / .jar

应使用 Spark SQL 和特定版本的 Hive 之间共享的类加载器加载的类前缀的以逗号分隔的列表。应共享的类的示例是与元存储进行通信所需的 JDBC 驱动程序。其他需要共享的类是与已共享的类进行交互的类。例如，log4j 使用的自定义附加器。

Hive 元存储的版本。可用选项为 0.12.0 到 2.3.9 以及 3.0.0 到 3.1.3 。

设置为 true 时，Hive Thrift 服务器在单会话模式下运行。所有 JDBC/ODBC 连接共享临时视图、函数注册表、SQL 配置和当前数据库。

与 Spark 发行版捆绑的编译的，亦称为内置的 Hive 版本。请注意，这是只读配置，仅用于报告内置 Hive 版本。如果您想让 Spark 调用不同的元存储客户端，请参阅 spark.sql.hive.metastore.version。

元数据缓存的生存时间 (TTL) 值：分区文件元数据缓存和会话目录缓存。仅在此值具有正值 (> 0) 时，此配置才会生效。它还需要将 'spark.sql.catalogImplementation' 设置为 hive ，将 'spark.sql.hive.filesourcePartitionFileCacheSize' 设置为 > 0，并将 'spark.sql.hive.manageFilesourcePartitions' 设置为 true ，以应用于分区文件元数据缓存。

实现 QueryExecutionListener 的类名列表，将自动添加到新创建的会话中。类应具有无参构造函数，或者带有 SparkConf 参数的构造函数。

配置禁用的 JDBC 连接提供程序的列表。列表包含以逗号分隔的 JDBC 连接提供程序的名称。

实现 StreamingQueryListener 的类名列表，将自动添加到新创建的会话中。类应具有无参构造函数，或者带有 SparkConf 参数的构造函数。

当启用 Spark Web UI 时，是否为 Spark 应用程序运行结构化流处理 Web 界面。

保留的结构化流处理 UI 的流查询的进度更新数量。

保留的结构化流处理 UI 的非活动查询数量。

在 Spark UI 中保留的执行次数。

管理数据库和表的默认位置。