Sqoop 指令语法手册
目录
- help指令
- list-databases
- 参数描述
- 示例
- codegen
- 参数描述
- Sqoop create-hive-table
- 参数描述
- eval
- 参数描述
- Export
- 参数描述
- import
- 参数描述
- import-all-tables
- 参数描述
- import-mainframe
- 参数描述
- job
- 参数描述
- list-tables
- 参数描述
- merge
- 参数描述
help指令
sqoop help +下面的Sqoop命令(可选)
| Sqoop命令 | 描述 |
|---|---|
codegen | 生成与数据库记录交互的代码 |
create-hive-table | 将表定义导入到Hive中 |
eval | 评估SQL语句并显示结果 |
export | 将HDFS目录导出到数据库表中 |
help | 列出可用命令 |
import | 从数据库导入表到HDFS |
import-all-tables | 从数据库导入所有表到HDFS |
import-mainframe | 从主机服务器导入数据集到HDFS |
job | 与保存的作业一起工作 |
list-databases | 列出服务器上的可用数据库 |
list-tables | 列出数据库中的可用表 |
merge | 合并增量导入的结果 |
metastore | 运行独立的Sqoop元存储 |
version | 显示版本信息 |
list-databases
参数描述
| 参数 | 描述 |
|---|---|
--connect <jdbc-uri> | 指定JDBC连接字符串 |
--connection-manager <class-name> | 指定连接管理器类名 |
--connection-param-file <properties-file> | 指定连接参数文件 |
--driver <class-name> | 手动指定要使用的JDBC驱动类 |
--hadoop-home <hdir> | 覆盖$HADOOP_MAPRED_HOME_ARG |
--hadoop-mapred-home <dir> | 覆盖$HADOOP_MAPRED_HOME_ARG |
--help | 打印使用说明 |
--metadata-transaction-isolation-level <isolationlevel> | 定义元数据查询的事务隔离级别 |
--oracle-escaping-disabled <boolean> | 禁用Oracle/OraOop连接管理器的转义机制 |
-P | 从控制台读取密码 |
--password <password> | 设置认证密码 |
--password-alias <password-alias> | 凭据提供者密码别名 |
--password-file <password-file> | 设置认证密码文件路径 |
--relaxed-isolation | 使用读取未提交隔离级别进行导入 |
--skip-dist-cache | 跳过将jars复制到分布式缓存 |
--temporary-rootdir <rootdir> | 定义导入的临时根目录 |
--throw-on-error | 在作业发生错误时重新抛出RuntimeException |
--username <username> | 设置认证用户名 |
--verbose | 在工作时打印更多信息 |
-conf <configuration file> | 指定应用程序配置文件（通用Hadoop命令行参数） |
-D <property=value> | 为给定属性定义一个值（通用Hadoop命令行参数） |
-fs <file:///hdfs://namenode:port> | 指定要使用的默认文件系统URL（通用Hadoop命令行参数） |
-jt <localresourcemanager:port> | 指定ResourceManager（通用Hadoop命令行参数） |
-files <file1,...> | 指定要复制到MapReduce集群的逗号分隔文件列表（通用参数） |
-libjars <jar1,...> | 指定要包含在类路径中的逗号分隔jar文件列表（通用参数） |
-archives <archive1,...> | 指定要在计算机上解压缩的逗号分隔存档列表（通用参数） |
其中有些参数是通用的Hadoop命令行参数，它们必须位于任何工具特定参数之前。
示例
sqoop list-databases --connect jdbc:mysql://hadoop100:3306/ --username root --password password
codegen
参数描述
| 参数分类 | 参数名称 | 描述 |
|---|---|---|
| Common arguments | --connect <jdbc-uri> | 指定JDBC连接字符串 |
--connection-manager <class-name> | 指定连接管理器类名 | |
--connection-param-file <properties-file> | 指定连接参数文件 | |
--driver <class-name> | 手动指定要使用的JDBC驱动类 | |
--hadoop-home <hdir> | 覆盖$HADOOP_MAPRED_HOME_ARG环境变量，指定Hadoop安装目录 | |
--hadoop-mapred-home <dir> | 覆盖$HADOOP_MAPRED_HOME_ARG环境变量，指定Hadoop MapReduce安装目录 | |
--help | 打印使用说明 | |
--metadata-transaction-isolation-level <isolationlevel> | 定义元数据查询的事务隔离级别 | |
--oracle-escaping-disabled <boolean> | 禁用Oracle/OraOop连接管理器的转义机制 | |
-P | 从控制台读取密码 | |
--password <password> | 设置认证密码 | |
--password-alias <password-alias> | 凭据提供者密码别名 | |
--password-file <password-file> | 设置认证密码文件路径 | |
--relaxed-isolation | 为导入使用读未提交隔离 | |
--skip-dist-cache | 跳过将jar复制到分布式缓存 | |
--temporary-rootdir <rootdir> | 定义导入的临时根目录 | |
--throw-on-error | 在作业发生错误时重新抛出RuntimeException | |
--username <username> | 设置认证用户名 | |
--verbose | 工作时打印更多信息 | |
| Code generation arguments | --bindir <dir> | 编译对象的输出目录 |
--class-name <name> | 设置生成的类名，覆盖–package-name。与–jar-file结合使用时，设置输入类 | |
-e,--query <statement> | 生成代码的SQL语句 | |
--escape-mapping-column-names <boolean> | 禁用列名中的特殊字符转义 | |
--input-null-non-string <null-str> | 输入空值（非字符串）的表示 | |
--input-null-string <null-str> | 输入空字符串的表示 | |
--map-column-java <arg> | 覆盖特定列到Java类型的映射 | |
--null-non-string <null-str> | 空值（非字符串）的表示 | |
--null-string <null-str> | 空字符串的表示 | |
--outdir <dir> | 生成代码的输出目录 | |
--package-name <name> | 将自动生成的类放入此包中 | |
--table <table-name> | 要生成代码的表 | |
| Output line formatting arguments | --enclosed-by <char> | 设置必需的字段包围字符 |
--escaped-by <char> | 设置转义字符 | |
--fields-terminated-by <char> | 设置字段分隔符字符 | |
--lines-terminated-by <char> | 设置行终止字符 | |
--mysql-delimiters | 使用MySQL的默认分隔符集 | |
--optionally-enclosed-by <char> | 设置字段包围字符（可选） | |
| Input parsing arguments | --input-enclosed-by <char> | 设置输入字段的包围字符 |
--input-escaped-by <char> | 设置输入转义字符 | |
--input-fields-terminated-by <char> | 设置输入字段分隔符 | |
--input-lines-terminated-by <char> | 设置输入行终止符 | |
--input-optionally-enclosed-by <char> | 设置输入字段的包围字符（可选） | |
| Hive arguments | --create-hive-table | 如果目标Hive表存在，则失败 |
--external-table-dir <hdfs path> | 设置外部表在HDFS中的位置 | |
--hive-database <database-name> | 设置导入到Hive时使用的数据库名 | |
--hive-delims-replacement <arg> | 替换从导入的字符串字段中的Hive记录\0x01和行分隔符（\n\r）为用户定义的字符串 | |
--hive-drop-import-delims | 从导入的字符串字段中删除Hive记录\0x01和行分隔符（\n\r） | |
--hive-home <dir> | 覆盖$HIVE_HOME环境变量 | |
--hive-import | 将表导入到Hive中（如果未设置，则使用Hive的默认分隔符） | |
--hive-overwrite | 覆盖Hive表中的现有数据 | |
--hive-partition-key <partition-key> | 设置导入到Hive时使用的分区键 | |
--hive-partition-value <partition-value> | 设置导入到Hive时使用的分区值 | |
--hive-table <table-name> | 设置导入到Hive时使用的表名 | |
--map-column-hive <arg> | 覆盖特定列到Hive类型的映射 | |
| HCatalog arguments | --hcatalog-database <arg> | HCatalog数据库名 |
--hcatalog-home <hdir> | 覆盖$HCAT_HOME环境变量，指定HCatalog安装目录 | |
--hcatalog-partition-keys <partition-key> | 设置导入到Hive时使用的分区键 | |
--hcatalog-partition-values <partition-value> | 设置导入到Hive时使用的分区值 | |
--hcatalog-table <arg> | HCatalog表名 | |
| Generic Hadoop command-line arguments | -conf <configuration file> | 指定应用程序配置文件 |
-D <property=value> | 为给定属性定义一个值 | |
| `-fs <file:/// | hdfs://namenode:port>` | |
| `-jt <local | resourcemanager:port>` | |
-files <file1,...> | 指定要复制到MapReduce集群的逗号分隔的文件列表 | |
-libjars <jar1,...> | 指定要包含在类路径中的逗号分隔的jar文件列表 | |
-archives <archive1,...> | 指定要在计算机器上解压缩的逗号分隔的存档列表 |
Sqoop create-hive-table
参数描述
| 参数类别 | 参数名称 | 参数描述 |
|---|---|---|
| Common arguments | –connect | Specify JDBC connect string |
| –connection-manager | Specify connection manager class name | |
| –connection-param-file | Specify connection parameters file | |
| –driver | Manually specify JDBC driver class to use | |
| –hadoop-home | Override $HADOOP_MAPRED_HOME_ARG | |
| –hadoop-mapred-home | Override $HADOOP_MAPRED_HOME_ARG | |
| –help | Print usage instructions | |
| –metadata-transaction-isolation-level | Defines the transaction isolation level for metadata queries | |
| –oracle-escaping-disabled | Disable the escaping mechanism of the Oracle/OraOop connection managers | |
| -P | Read password from console | |
| –password | Set authentication password | |
| –password-alias | Credential provider password alias | |
| –password-file | Set authentication password file path | |
| –relaxed-isolation | Use read-uncommitted isolation for imports | |
| –skip-dist-cache | Skip copying jars to distributed cache | |
| –temporary-rootdir | Defines the temporary root directory for the import | |
| –throw-on-error | Rethrow a RuntimeException on error occurred during the job | |
| –username | Set authentication username | |
| –verbose | Print more information while working | |
| Hive arguments | –create-hive-table | Fail if the target hive table exists |
| –external-table-dir | Sets where the external table is in HDFS | |
| –hive-database | Sets the database name to use when importing to hive | |
| –hive-delims-replacement | Replace Hive record \0x01 and row delimiters (\n\r) from imported string fields with user-defined string | |
| –hive-drop-import-delims | Drop Hive record \0x01 and row delimiters (\n\r) from imported string fields | |
| –hive-home | Override $HIVE_HOME | |
| –hive-overwrite | Overwrite existing data in the Hive table | |
| –hive-partition-key | Sets the partition key to use when importing to hive | |
| –hive-partition-value | Sets the partition value to use when importing to hive | |
| –hive-table | Sets the table name to use when importing to hive | |
| –map-column-hive | Override mapping for specific column to hive types | |
| –table | The db table to read the definition from | |
| Output line formatting arguments | –enclosed-by | Sets a required field enclosing character |
| –escaped-by | Sets the escape character | |
| –fields-terminated-by | Sets the field separator character | |
| –lines-terminated-by | Sets the end-of-line character | |
| –mysql-delimiters | Uses MySQL’s default delimiter set | |
| –optionally-enclosed-by | Sets a field enclosing character | |
| Generic Hadoop command-line arguments | -conf | specify an application configuration file |
| -D <property=value> | define a value for a given property | |
| -fs <file:/// | hdfs://namenode:port> | |
| -jt <local | resourcemanager:port> | |
| -files <file1,…> | specify a comma-separated list of files to be copied to the map reduce cluster | |
| -libjars <jar1,…> | specify a comma-separated list of jar files to be included in the classpath | |
| -archives <archive1,…> | specify a comma-separated list of archives to be unarchived on the compute machines |
eval
参数描述
| 类别 | 参数 | 描述 |
|---|---|---|
| 通用参数 | –connect | 指定JDBC连接字符串 |
| –connection-manager | 指定连接管理器类名 | |
| –connection-param-file | 指定连接参数文件 | |
| –driver | 手动指定JDBC驱动类 | |
| –hadoop-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –hadoop-mapred-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –help | 打印使用说明 | |
| –metadata-transaction-isolation-level | 定义元数据查询的事务隔离级别 | |
| –oracle-escaping-disabled | 禁用Oracle/OraOop连接管理器的转义机制 | |
| -P | 从控制台读取密码 | |
| –password | 设置认证密码 | |
| –password-alias | 凭据提供者密码别名 | |
| –password-file | 设置认证密码文件路径 | |
| –relaxed-isolation | 为导入使用读未提交隔离 | |
| –skip-dist-cache | 跳过将jar复制到分布式缓存 | |
| –temporary-rootdir | 定义导入的临时根目录 | |
| –throw-on-error | 在作业发生错误时重新抛出RuntimeException | |
| –username | 设置认证用户名 | |
| –verbose | 工作时打印更多信息 | |
| SQL评估参数 | -e,–query | 在SQL中执行’statement’并退出 |
| Hadoop通用命令行参数 | -conf | 指定应用程序配置文件 |
| -D <property=value> | 为给定属性定义值 | |
| -fs <file:/// | hdfs://namenode:port> | |
| -jt <local | resourcemanager:port> | |
| -files <file1,…> | 指定要复制到MapReduce集群的逗号分隔的文件列表 | |
| -libjars <jar1,…> | 指定要包含在类路径中的逗号分隔的jar文件列表 | |
| -archives <archive1,…> | 指定要在计算机上解压缩的逗号分隔的存档列表 |
Export
参数描述
| 参数分类 | 参数名称 | 描述 |
|---|---|---|
| Common arguments | –connect | 指定JDBC连接字符串 |
| –connection-manager | 指定连接管理器类名 | |
| –connection-param-file | 指定连接参数文件 | |
| –driver | 手动指定要使用的JDBC驱动类 | |
| –hadoop-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –hadoop-mapred-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –help | 打印使用说明 | |
| –metadata-transaction-isolation-level | 定义元数据查询的事务隔离级别 | |
| –oracle-escaping-disabled | 禁用Oracle/OraOop连接管理器的转义机制 | |
| -P | 从控制台读取密码 | |
| –password | 设置认证密码 | |
| –password-alias | 凭据提供者密码别名 | |
| –password-file | 设置认证密码文件路径 | |
| –relaxed-isolation | 使用读未提交隔离级别进行导入 | |
| –skip-dist-cache | 跳过将jars复制到分布式缓存 | |
| –temporary-rootdir | 定义导入的临时根目录 | |
| –throw-on-error | 在作业发生错误时重新抛出RuntimeException | |
| –username | 设置认证用户名 | |
| –verbose | 工作时打印更多信息 | |
| Export control arguments | –batch | 指示以批处理模式执行底层语句 |
| –call | 使用此存储过程填充表（每行一个调用） | |
| –clear-staging-table | 指示可以删除暂存表中的任何数据 | |
| –columns <col,col,col…> | 要导出到表的列 | |
| –direct | 使用直接导出快速路径 | |
| –export-dir | HDFS源路径，用于导出 | |
| -m,–num-mappers | 使用’n’个map任务并行导出 | |
| –mapreduce-job-name | 为生成的mapreduce作业设置名称 | |
| –staging-table | 中间暂存表 | |
| –table | 要填充的表 | |
| –update-key | 按指定键列更新记录 | |
| –update-mode | 指定当数据库中发现具有不匹配键的新行时如何执行更新 | |
| –validate | 使用配置的验证器验证复制 | |
| –validation-failurehandler | 验证失败处理程序的完全限定类名 | |
| –validation-threshold | 验证阈值的完全限定类名 | |
| –validator | 验证器的完全限定类名 | |
| Input parsing arguments | –input-enclosed-by | 设置必需的字段包围字符 |
| –input-escaped-by | 设置输入转义字符 | |
| –input-fields-terminated-by | 设置输入字段分隔符 | |
| –input-lines-terminated-by | 设置输入行结束字符 | |
| –input-optionally-enclosed-by | 设置字段包围字符 | |
| Output line formatting arguments | –enclosed-by | 设置必需的字段包围字符 |
| –escaped-by | 设置转义字符 | |
| –fields-terminated-by | 设置字段分隔符字符 | |
| –lines-terminated-by | 设置行结束字符 | |
| –mysql-delimiters | 使用MySQL的默认分隔符集 | |
| –optionally-enclosed-by | 设置字段包围字符 | |
| Code generation arguments | –bindir | 编译对象的输出目录 |
| –class-name | 设置生成的类名，这会覆盖–package-name | |
| –escape-mapping-column-names | 禁用列名中特殊字符的转义 | |
| –input-null-non-string | 输入空值非字符串表示 | |
| –input-null-string | 输入空字符串表示 | |
| –jar-file | 禁用代码生成；使用指定的jar | |
| –map-column-java | 为特定列到Java类型的映射设置覆盖 | |
| –null-non-string | 空值非字符串表示 | |
| –null-string | 空字符串表示 | |
| –outdir | 生成代码的输出目录 | |
| –package-name | 将自动生成的类放入此包中 | |
| HCatalog arguments | –hcatalog-database | HCatalog数据库名称 |
| –hcatalog-home | 覆盖$HCAT_HOME | |
| –hcatalog-partition-keys | 设置导入到Hive时要使用的分区键 | |
| –hcatalog-partition-values | 设置导入到Hive时要使用的分区值 | |
| –hcatalog-table | HCatalog表名 | |
| –hive-home | 覆盖$HIVE_HOME | |
| –hive-partition-key | 设置导入到Hive时要使用的分区键 | |
| –hive-partition-value | 设置导入到Hive时要使用的分区值 | |
| –map-column-hive | 为特定列到Hive类型的映射设置覆盖 | |
| Generic Hadoop command-line arguments | -conf | 指定应用程序配置文件 |
| -D <property=value> | 为给定属性定义值 | |
| -fs <file:///hdfs://namenode:port> | 指定要使用的默认文件系统URL | |
| -jt localresourcemanager:port | 指定ResourceManager | |
| -files <file1,…> | 指定要复制到mapreduce集群的文件列表 | |
| -libjars <jar1,…> | 指定要包含在类路径中的jar文件列表 | |
| -archives <archive1,…> | 指定要在计算机上解归档的归档文件列表 |
import
参数描述
| 参数分类 | 参数名称 | 描述 |
|---|---|---|
| Common arguments | –connect | 指定JDBC连接字符串 |
| –connection-manager | 指定连接管理器类名 | |
| –connection-param-file | 指定连接参数文件 | |
| –driver | 手动指定JDBC驱动类 | |
| –hadoop-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –hadoop-mapred-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –help | 打印使用说明 | |
| –metadata-transaction-isolation-level | 定义元数据查询的事务隔离级别 | |
| –oracle-escaping-disabled | 禁用Oracle/OraOop连接管理器的转义机制 | |
| -P | 从控制台读取密码 | |
| –password | 设置认证密码 | |
| –password-alias | 凭据提供者密码别名 | |
| –password-file | 设置认证密码文件路径 | |
| –relaxed-isolation | 使用读未提交隔离级别进行导入 | |
| –skip-dist-cache | 跳过将jar复制到分布式缓存 | |
| –temporary-rootdir | 定义导入的临时根目录 | |
| –throw-on-error | 在作业发生错误时重新抛出RuntimeException | |
| –username | 设置认证用户名 | |
| –verbose | 工作时打印更多信息 | |
| Import control arguments | –append | 以追加模式导入数据 |
| –as-avrodatafile | 导入数据到Avro数据文件 | |
| –as-parquetfile | 导入数据到Parquet文件 | |
| –as-sequencefile | 导入数据到SequenceFile | |
| –as-textfile | 以纯文本形式导入数据（默认） | |
| –autoreset-to-one-mapper | 如果没有分割键，则将映射器数量重置为一个 | |
| –boundary-query | 设置用于检索主键最大值和最小值的边界查询 | |
| –columns <col,col,col…> | 从表中导入的列 | |
| –compression-codec | 导入时使用的压缩编解码器 | |
| –delete-target-dir | 以删除模式导入数据 | |
| –direct | 使用直接导入快速路径 | |
| –direct-split-size | 在直接导入模式下，每’n’字节拆分输入流 | |
| -e,–query | 导入SQL语句的结果 | |
| –fetch-size | 当需要更多行时，从数据库中获取’n’行 | |
| –inline-lob-limit | 设置内联LOB的最大大小 | |
| -m,–num-mappers | 使用’n’个映射任务并行导入 | |
| –mapreduce-job-name | 为生成的mapreduce作业设置名称 | |
| –merge-key | 用于连接结果的键列 | |
| –split-by | 用于拆分工作单元的表列 | |
| –split-limit | 对于日期/时间/时间戳和整数类型的拆分列，每个拆分的行的上限。对于日期或时间戳字段，它以秒为单位计算。split-limit应大于0 | |
| –table | 要读取的表 | |
| –target-dir | HDFS普通表目标目录 | |
| –validate | 使用配置的验证器验证副本 | |
| –validation-failurehandler | 验证失败处理程序的完全限定类名 | |
| –validation-threshold | 验证阈值的完全限定类名 | |
| –validator | 验证器的完全限定类名 | |
| –warehouse-dir | 表目标目录的HDFS父目录 | |
| –where | 导入期间使用的WHERE子句 | |
| -z,–compress | 启用压缩 | |
| Incremental import arguments | –check-column | 要检查增量更改的源列 |
| –incremental | 定义类型为’append’或’lastmodified’的增量导入 | |
| –last-value | 增量检查列中最后导入的值 | |
| Output line formatting arguments | –enclosed-by | 设置必需的字段包围字符 |
| –escaped-by | 设置转义字符 | |
| –fields-terminated-by | 设置字段分隔符字符 | |
| –lines-terminated-by | 设置行结束字符 | |
| –mysql-delimiters | 使用MySQL的默认分隔符集 | |
| –optionally-enclosed-by | 设置字段包围字符 | |
| Input parsing arguments | –input-enclosed-by | 设置必需的字段封闭器 |
| –input-escaped-by | 设置输入转义字符 | |
| –input-fields-terminated-by | 设置输入字段分隔符 | |
| –input-lines-terminated-by | 设置输入行结束符 | |
| –input-optionally-enclosed-by | 设置字段封闭字符 | |
| Hive arguments | –create-hive-table | 如果目标hive表存在，则失败 |
| –external-table-dir | 设置外部表在HDFS中的位置 | |
| –hive-database | 导入到hive时使用的数据库名称 | |
| –hive-delims-replacement | 用用户定义的字符串替换从导入的字符串字段中的Hive记录\0x01和行分隔符（\n\r） | |
| –hive-drop-import-delims | 从导入的字符串字段中删除Hive记录\0x01和行分隔符（\n\r） | |
| –hive-home | 覆盖$HIVE_HOME | |
| –hive-import | 导入表到Hive | |
| –hive-overwrite | 覆盖Hive表中现有的数据 | |
| –hive-partition-key | 导入到hive时使用的分区键 | |
| –hive-partition-value | 导入到hive时使用的分区值 | |
| –hive-table | 导入到hive时使用的表名 | |
| –map-column-hive | 覆盖特定列到hive类型的映射 | |
| HBase arguments | –column-family | 设置导入的目标列族 |
| –hbase-bulkload | 启用HBase批量加载 | |
| –hbase-create-table | 如果指定，则创建缺失的HBase表 | |
| –hbase-row-key | ||
| 指定哪个输入列用作行键 | ||
| –hbase-table | 导入到HBase中的 | |
| HCatalog arguments | –hcatalog-database | HCatalog数据库名称 |
| –hcatalog-home | 覆盖$HCAT_HOME | |
| –hcatalog-partition-keys | 导入到hive时使用的分区键 | |
| –hcatalog-partition-values | 导入到hive时使用的分区值 | |
| –hcatalog-table | HCatalog表名 | |
| –map-column-hive | 覆盖特定列到hive类型的映射 | |
| HCatalog import specific options | –create-hcatalog-table | 导入前创建HCatalog |
| –drop-and-create-hcatalog-table | 导入前删除并创建HCatalog | |
| –hcatalog-storage-stanza | HCatalog表创建的存储语句 | |
| Accumulo arguments | –accumulo-batch-size | 批处理大小（字节） |
| –accumulo-column-family | 设置导入的目标列族 | |
| –accumulo-create-table | 如果指定，则创建缺失的Accumulo表 | |
| –accumulo-instance | Accumulo实例名称 | |
| –accumulo-max-latency | 最大写入延迟（毫秒） | |
| –accumulo-password | Accumulo密码 |
import-all-tables
参数描述
| Sqoop import-all-tables 命令参数 | 描述 |
|---|---|
| –connect | 指定JDBC连接字符串 |
| –connection-manager | 指定连接管理器类名 |
| –connection-param-file | 指定连接参数文件 |
| –driver | 手动指定要使用的JDBC驱动类 |
| –hadoop-home | 覆盖$HADOOP_MAPRED_HOME_ARG |
| –hadoop-mapred-home | 覆盖$HADOOP_MAPRED_HOME_ARG |
| –help | 打印使用说明 |
| –metadata-transaction-isolation-level | 定义元数据查询的事务隔离级别 |
| –oracle-escaping-disabled | 禁用Oracle/OraOop连接管理器的转义机制 |
| -P | 从控制台读取密码 |
| –password | 设置认证密码 |
| –password-alias | 凭据提供者密码别名 |
| –password-file | 设置认证密码文件路径 |
| –relaxed-isolation | 使用读未提交隔离级别进行导入 |
| –skip-dist-cache | 跳过将jar复制到分布式缓存 |
| –temporary-rootdir | 定义导入的临时根目录 |
| –throw-on-error | 在作业发生错误时重新抛出RuntimeException |
| –username | 设置认证用户名 |
| –verbose | 工作时打印更多信息 |
| –as-avrodatafile | 将数据导入为Avro数据文件 |
| –as-parquetfile | 将数据导入为Parquet文件 |
| –as-sequencefile | 将数据导入为SequenceFiles |
| –as-textfile | 将数据导入为纯文本（默认） |
| –autoreset-to-one-mapper | 如果没有可用的拆分键，则将映射器数量重置为一个 |
| –compression-codec | 导入时使用的压缩编解码器 |
| –direct | 使用直接导入快速路径 |
| –direct-split-size | 在直接模式下导入时，每’n’字节拆分输入流 |
| –exclude-tables | 导入所有表时排除的表 |
| –fetch-size | 当需要更多行时，从数据库中获取’n’行数 |
| –inline-lob-limit | 设置内联LOB的最大大小 |
| -m,–num-mappers | 使用’n’个映射任务并行导入 |
| –mapreduce-job-name | 为生成的mapreduce作业设置名称 |
| –warehouse-dir | 表目标位置的HDFS父目录 |
| -z,–compress | 启用压缩 |
| –enclosed-by | 设置必需的字段包围字符 |
| –escaped-by | 设置转义字符 |
| –fields-terminated-by | 设置字段分隔符字符 |
| –lines-terminated-by | 设置行尾字符 |
| –mysql-delimiters | 使用MySQL的默认分隔符集 |
| –optionally-enclosed-by | 设置字段包围字符 |
| –input-enclosed-by | 设置必需的字段封闭器 |
| –input-escaped-by | 设置输入转义字符 |
| –input-fields-terminated-by | 设置输入字段分隔符 |
| –input-lines-terminated-by | 设置输入行尾字符 |
| –input-optionally-enclosed-by | 设置字段封闭字符 |
| –create-hive-table | 如果目标hive表存在，则失败 |
| –external-table-dir | 设置外部表在HDFS中的位置 |
| –hive-database | 导入到hive时使用的数据库名称 |
| –hive-delims-replacement | 用用户定义的字符串替换导入的字符串字段中的Hive记录\0x01和行分隔符（\n\r） |
| –hive-drop-import-delims | 从导入的字符串字段中删除Hive记录\0x01和行分隔符（\n\r） |
| –hive-home | 覆盖$HIVE_HOME |
| –hive-import | 将表导入到Hive中 |
| –hive-overwrite | 覆盖Hive表中现有的数据 |
| –hive-partition-key | 导入到hive时使用的分区键 |
| –hive-partition-value | 导入到hive时使用的分区值 |
| –hive-table | 导入到hive时使用的表名 |
| –map-column-hive | 覆盖特定列到hive类型的映射 |
| –column-family | 设置导入的目标列族 |
| –hbase-bulkload | 启用HBase批量加载 |
| –hbase-create-table | 如果指定，则创建缺失的HBase表 |
| –hbase-row-key | |
| 指定哪个输入列用作行键 | |
| –hbase-table | 导入到HBase中的 |
| –hcatalog-database | HCatalog数据库名称 |
| –hcatalog-home | 覆盖$HCAT_HOME |
| –hcatalog-partition-keys | 导入到hive时使用的分区键 |
| –hcatalog-partition-values | 导入到hive时使用的分区值 |
| –hcatalog-table | HCatalog表名 |
| –create-hcatalog-table | 导入前创建HCatalog |
| –drop-and-create-hcatalog-table | 导入前删除并创建HCatalog |
| –hcatalog-storage-stanza | HCatalog表创建的存储语句 |
| –accumulo-batch-size | 批次大小（以字节为单位） |
| –accumulo-column-family | 设置导入的目标列族 |
| –accumulo-create-table | 如果指定，则创建缺失的Accumulo表 |
| –accumulo-instance | Accumulo实例名称 |
| –accumulo-max-latency | 最大写入延迟（以毫秒为单位） |
| –accumulo-password | Accumulo密码 |
| –accumulo-row-key | |
| 指定哪个输入列用作行键 | |
| –accumulo-table | 导入到Accumulo中的 |
| –accumulo-user | Accumulo用户名 |
| –accumulo-visibility | 应用于所有导入行的可见性标记 |
| –accumulo-zookeepers | 逗号分隔的zookeeper列表（主机:端口） |
| –bindir | 编译对象的输出目录 |
| –escape-mapping-column-names | 禁用列名中的特殊字符转义 |
| –input-null-non-string | 输入空值非字符串表示 |
| –input-null-string | 输入空字符串表示 |
| –jar-file | 禁用代码生成；使用指定的jar |
| –map-column-java | 覆盖特定列到java类型的映射 |
| –null-non-string | 空值非字符串表示 |
| –null-string | 空字符串表示 |
| –outdir | 生成代码的输出目录 |
| –package-name | 将自动生成的类放入此包中 |
| -conf | 指定应用程序配置文件 |
| -D <property=value> | 为给定属性定义值 |
| -fs <file:///|hdfs://namenode:port> | 指定要使用的默认文件系统URL，覆盖配置中的’fs.defaultFS’属性 |
| -jt <local|resourcemanager:port> | 指定ResourceManager |
| -files <file1,…> | 指定要复制到mapreduce集群的逗号分隔的文件列表 |
| -libjars <jar1,…> | 指定要包含在类路径中的逗号分隔的jar文件列表 |
| -archives <archive1,…> | 指定要在计算机上解压缩的逗号分隔的存档列表 |
import-mainframe
参数描述
| 参数分类 | 参数名称 | 描述 |
|---|---|---|
| Common arguments | –connect | 指定JDBC连接字符串 |
| –connection-manager | 指定连接管理器类名 | |
| –connection-param-file | 指定连接参数文件 | |
| –driver | 手动指定要使用的JDBC驱动类 | |
| –hadoop-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –hadoop-mapred-home | 覆盖$HADOOP_MAPRED_HOME_ARG | |
| –help | 打印使用说明 | |
| –metadata-transaction-isolation-level | 定义元数据查询的事务隔离级别 | |
| –oracle-escaping-disabled | 禁用Oracle/OraOop连接管理器的转义机制 | |
| -P | 从控制台读取密码 | |
| –password | 设置认证密码 | |
| –password-alias | 凭据提供者密码别名 | |
| –password-file | 设置认证密码文件路径 | |
| –relaxed-isolation | 使用读未提交隔离进行导入 | |
| –skip-dist-cache | 跳过将jar复制到分布式缓存 | |
| –temporary-rootdir | 定义导入的临时根目录 | |
| –throw-on-error | 在作业期间发生错误时重新抛出RuntimeException | |
| –username | 设置认证用户名 | |
| –verbose | 工作时打印更多信息 | |
| Import mainframe control arguments | –as-textfile | 以纯文本形式导入数据（默认） |
| –compression-codec | 导入时使用的压缩编解码器 | |
| –dataset | 要导入的数据集 | |
| –datasettype | 数据集类型（p=分区数据集、s=顺序数据集、g=GDG） | |
| –delete-target-dir | 以删除模式导入数据 | |
| -m,–num-mappers | 使用’n’个映射任务并行导入 | |
| –mapreduce-job-name | 为生成的mapreduce作业设置名称 | |
| –tape | 数据集在磁带上（true、false） | |
| –target-dir | HDFS纯文件目标目录 | |
| –validate | 使用配置的验证器进行验证 | |
| –validation-failurehandler | 验证失败处理程序的完全限定类名 | |
| –validation-threshold | 验证阈值的完全限定类名 | |
| –validator | 验证器的完全限定类名 | |
| –warehouse-dir | 文件目标的HDFS父目录 | |
| -z,–compress | 启用压缩 | |
| Output line formatting arguments | –enclosed-by | 设置必需的字段包围字符 |
| –escaped-by | 设置转义字符 | |
| –fields-terminated-by | 设置字段分隔符字符 | |
| –lines-terminated-by | 设置行结束字符 | |
| –mysql-delimiters | 使用MySQL的默认分隔符集 | |
| –optionally-enclosed-by | 设置字段包围字符 | |
| Input parsing arguments | –input-enclosed-by | 设置必需的字段包围符 |
| –input-escaped-by | 设置输入转义字符 | |
| –input-fields-terminated-by | 设置输入字段分隔符 | |
| –input-lines-terminated-by | 设置输入行结束符 | |
| –input-optionally-enclosed-by | 设置字段包围符 | |
| Hive arguments | –create-hive-table | 如果目标hive表存在，则失败 |
| –external-table-dir | 设置外部表在HDFS中的位置 | |
| –hive-database | 导入到hive时使用的数据库名称 | |
| –hive-delims-replacement | 用用户定义的字符串替换从导入的字符串字段中的Hive记录\0x01和行分隔符（\n\r） | |
| –hive-drop-import-delims | 从导入的字符串字段中删除Hive记录\0x01和行分隔符（\n\r） | |
| –hive-home | 覆盖$HIVE_HOME | |
| –hive-import | 将表导入Hive | |
| –hive-overwrite | 覆盖Hive表中的现有数据 | |
| –hive-partition-key | 导入到hive时使用的分区键 | |
| –hive-partition-value | 导入到hive时使用的分区值 | |
| –hive-table | 导入到hive时使用的表名 | |
| –map-column-hive | 覆盖特定列到hive类型的映射 | |
| HBase arguments | –column-family | 设置导入的目标列族 |
| –hbase-bulkload | 启用HBase批量加载 | |
| –hbase-create-table | 如果指定，则创建缺失的HBase表 | |
| –hbase-row-key | ||
| 指定哪个输入列用作行键 | ||
| –hbase-table | 导入到HBase中的 | |
| HCatalog arguments | –hcatalog-database | HCatalog数据库名称 |
| –hcatalog-home | 覆盖$HCAT_HOME | |
| –hcatalog-partition-keys | 导入到hive时使用的分区键 | |
| –hcatalog-partition-values | 导入到hive时使用的分区值 | |
| –hcatalog-table | HCatalog表名 | |
| –map-column-hive | 覆盖特定列到hive类型的映射 | |
| HCatalog import specific options | –create-hcatalog-table | 导入前创建HCatalog |
| –drop-and-create-hcatalog-table | 导入前删除并创建HCatalog | |
| –hcatalog-storage-stanza | 表创建时的HCatalog存储stanza | |
| Accumulo arguments | –accumulo-batch-size | 批处理大小（字节） |
| –accumulo-column-family | 设置导入的目标列族 | |
| –accumulo-create-table | 如果指定，则创建缺失的Accumulo表 | |
| –accumulo-instance | Accumulo实例名称 | |
| –accumulo-max-latency | 最大写入延迟（毫秒） | |
| –accumulo-password | Accumulo密码 | |
| –accumulo-row-key | ||
| 指定哪个输入列用作行键 | ||
| –accumulo-table | 导入到Accumulo中的 | |
| –accumulo-user | Accumulo用户名 | |
| –accumulo-visibility | 应用于导入的所有行的可见性标记 | |
| –accumulo-zookeepers | 逗号分隔的zookeeper列表（主机:端口） | |
| Code generation arguments | –bindir | 编译对象的输出目录 |
| –class-name | 设置生成的类名，这会覆盖–package-name。与–jar-file结合使用时，设置输入类 | |
| –escape-mapping-column-names | 禁用列名中的特殊字符转义 | |
| –input-null-non-string | 输入空值非字符串表示 | |
| –input-null-string | 输入空字符串表示 | |
| –jar-file | 禁用代码生成；使用指定的jar | |
| –map-column-java | 覆盖特定列到java类型的映射 | |
| –null-non-string | 空值非字符串表示 | |
| –null-string | 空字符串表示 | |
| –outdir | 生成代码的输出目录 | |
| –package-name | 将自动生成的类放入此包中 |
job
参数描述
| 类别 | 参数/命令 | 描述 |
|---|---|---|
| Job 管理参数 | –create | 创建一个新的保存作业 |
| –delete | 删除一个保存的作业 | |
| –exec | 运行一个保存的作业 | |
| –help | 打印使用说明 | |
| –list | 列出保存的作业 | |
| –meta-connect | 指定用于元数据存储的JDBC连接字符串 | |
| –show | 显示保存作业的参数 | |
| –verbose | 在工作时打印更多信息 | |
| 通用 Hadoop 命令行参数 | -conf | 指定应用程序配置文件 |
| -D <property=value> | 为给定属性定义一个值 | |
| -fs <file:///hdfs://namenode:port> | 指定要使用的默认文件系统URL，覆盖配置中的’fs.defaultFS’属性 | |
| -jt localresourcemanager:port | 指定ResourceManager | |
| -files <file1,…> | 指定要复制到MapReduce集群的逗号分隔的文件列表 | |
| -libjars <jar1,…> | 指定要包含在类路径中的逗号分隔的jar文件列表 | |
| -archives <archive1,…> | 指定要在计算机器上解压缩的逗号分隔的存档列表 |
list-tables
参数描述
| 类别 | 参数/命令 | 描述 |
|---|---|---|
| Common 参数 | –connect | 指定JDBC连接字符串 |
| –connection-manager | 指定连接管理器类名 | |
| –connection-param-file | 指定连接参数文件 | |
| –driver | 手动指定要使用的JDBC驱动类 | |
| –hadoop-home | 覆盖$HADOOP_HOME环境变量 | |
| –hadoop-mapred-home | 覆盖$HADOOP_MAPRED_HOME环境变量 | |
| –help | 打印使用说明 | |
| –metadata-transaction-isolation-level | 定义元数据查询的事务隔离级别 | |
| –oracle-escaping-disabled | 禁用Oracle/OraOop连接管理器的转义机制 | |
| -P | 从控制台读取密码 | |
| –password | 设置认证密码 | |
| –password-alias | 凭据提供者密码别名 | |
| –password-file | 设置认证密码文件路径 | |
| –relaxed-isolation | 使用读取未提交隔离级别进行导入 | |
| –skip-dist-cache | 跳过将jar复制到分布式缓存 | |
| –temporary-rootdir | 定义导入的临时根目录 | |
| –throw-on-error | 在作业发生错误时重新抛出RuntimeException | |
| –username | 设置认证用户名 | |
| –verbose | 在工作时打印更多信息 | |
| 通用 Hadoop 命令行参数 | -conf | 指定应用程序配置文件 |
| -D <property=value> | 为给定属性定义一个值 | |
| -fs <file:///hdfs://namenode:port> | 指定要使用的默认文件系统URL | |
| -jt localresourcemanager:port | 指定ResourceManager | |
| -files <file1,…> | 指定要复制到MapReduce集群的逗号分隔的文件列表 | |
| -libjars <jar1,…> | 指定要包含在类路径中的逗号分隔的jar文件列表 | |
| -archives <archive1,…> | 指定要在计算机器上解压缩的逗号分隔的存档列表 |
merge
参数描述
| 参数名称 | 描述 | 示例 |
|---|---|---|
| –class-name | 指定要加载的记录类名称 | –class-name com.example.MyClass |
| –help | 打印使用说明 | –help |
| –jar-file | 从指定的jar文件中加载类 | –jar-file /path/to/my.jar |
| –merge-key | 用于连接结果的关键列 | –merge-key id |
| –new-data | 指向更近的数据集的路径 | –new-data /user/hadoop/new_data |
| –onto | 指向旧数据集的路径 | –onto /user/hadoop/old_data |
| –target-dir | 合并结果的目标路径 | –target-dir /user/hadoop/merged_data |
| –verbose | 工作时打印更多信息 | –verbose |
| -conf | 指定应用程序配置文件 | -conf /path/to/config.file |
| -D | 为给定属性定义一个值 | -D mapreduce.job.queuename=default |
| -fs | 指定要使用的默认文件系统URL，覆盖配置中的’fs.defaultFS’属性 | -fs hdfs://namenode:8020 |
| -jt | 指定ResourceManager | -jt resourcemanager:8032 |
| -files | 指定要复制到MapReduce集群的逗号分隔的文件列表 | -files /path/to/file1,/path/to/file2 |
| -libjars | 指定要包含在类路径中的逗号分隔的jar文件列表 | -libjars /path/to/jar1,/path/to/jar2 |
| -archives | 指定要在计算机上解压缩的逗号分隔的存档列表 | -archives /path/to/archive1,/path/to/archive2 |
相关文章：
Sqoop 指令语法手册
目录 help指令list-databases参数描述示例 codegen参数描述 Sqoop create-hive-table参数描述 eval参数描述 Export参数描述 import参数描述 import-all-tables参数描述 import-mainframe参数描述 job参数描述 list-tables参数描述 merge参数描述 help指令 sqoop help 下面的S…...
网络安全 - SQL Injection
1.1.1 摘要 日前，国内最大的程序员社区CSDN网站的用户数据库被黑客公开发布，600万用户的登录名及密码被公开泄露，随后又有多家网站的用户密码被流传于网络，连日来引发众多网民对自己账号、密码等互联网信息被盗取的普遍担忧。 网络…...
spi 发送与接收 移位写法
spi _tx 发送模块 片选信号cs可以在top顶层控制模块产生 timescale 1ns / 1psmodule spi_rom#(parameter SIZE 8 )(input wire clk ,input wire rst_n,input wire [SIZE-1:0] data ,input wire …...
MyBatis关联映射
目录 一、什么是关联注解？ 二、数据库建表 1.学生表 2.教师表 三、一般查询 （1）创建StudentTeacher类 （2）mapper层 （3）Dao接口 （4）Test类 （5&#x…...
通过华为鲲鹏认证的软件产品如何助力信创产业
软件通过华为鲲鹏认证与信创产业有着密切的联系。鲲鹏认证是华为推动信创产业发展的一项重要举措，通过该认证，软件可以在华为的生态系统中实现更好的兼容性和性能优化，从而推动信创产业的全面发展和国产化替代。 鲲鹏认证的定义和重要性 鲲…...
陈志刚解读：国家数据基础设施建设解读（附下载）
本期分享陈志刚解读：国家数据基础设施建设解读，从背景意图、概念内涵、发展愿景与总体功能、总体架构、重点方向、算力底座、网络支撑、安全防护和组织保障十个方面展开，共52页ppt。 加入星球可获取完整版资料 篇幅限制，部分内容…...
QT 中 sqlite 数据库使用
一、前提 --pro文件添加sql模块QT core gui sql二、使用 说明 --用于与数据库建立连接QSqlDatabase--执行各种sql语句QSqlQuery--提供数据库特定的错误信息QSqlError查看qt支持的驱动 QStringList list QSqlDatabase::drivers();qDebug()<<list;连接 sqlite3 数据库 …...
VPN设备
定义: 虚拟专用网络指的是在公用网络上建立专用网络的技术。之所以称为虚拟网主要是因为整个VPN网络的任意两个节点之间的连接并没 有传统专网所需的端到端的物理链路，而是架构在公用网络服务商所提供的网络平台之上的逻辑网络，用户数据在逻辑链路中传输…...
centos部署SkyWalking并在springcloud项目中用法举例
文章目录 场景SkyWalking介绍部署部署Storage [单机版Elasticsearch]部署SkyWalking OAP [下载地址](https://skywalking.apache.org/downloads/#SkyWalkingAPM)部署SkyWalking Java AgentspringCloud 使用举例 场景 SkyWalking是应用性能监控平台，可用于分布式系统…...
[创业之路-186]：《华为战略管理法-DSTE实战体系》-1-为什么UTStarcom死了，华为却活了，而且越活越好？
目录 前言 一、市场定位与战略选择 二、技术创新能力 三、企业文化与团队建设 四、应对危机的能力 五、客户为中心的理念 六、市场适应性与战略灵活性 七、技术创新与研发投入 八、企业文化与团队建设 九、应对危机的能力 前言 UT斯达康（UTStarcom&#…...
算法设计5_分支限界法
分支限界法 分支限界法常以广度优先或以最小耗费(最大效益)优先的方式搜索问题的解空间树，裁剪那些不能得到最优解的子树以提高搜索效率。 步骤： ① 定义解空间(对解编码); ② 确定解空间的树结构； ③ 按BFS等方式搜索： a.每个活…...
【设计模式系列】状态模式（二十三）
一、什么是状态模式 状态模式（State Pattern）是一种行为设计模式，其核心目的是管理一个对象在其内部状态改变时的行为变化，其核心理念是将对象的行为和状态分离。这种模式通过将每个状态相关的行为封装在独立的类中，使…...
github创建发布分支
创建一个名为 latest 的分支，并将其作为稳定版本分支。以下是操作步骤： 1. 创建 latest 分支 首先，确保你在 master 分支（或当前的稳定版本分支）上，并且已经提交了所有更改。然后，你可以创建一…...
【Linux】网络服务
声明，以下内容均学习自《Linux就该这么学》一书 1、创建网络会话 Linux系统使用NetworkManager提供网络服务，它是一种动态管理网络配置的守护进程，能够让网络设备保持连接状态。 nmcli nmcli是一款基于命令行的网络配置工具，它…...
错题：Linux C语言
题目：手写代码：判断一个数（int类型的整数）中有有多少1 题目：手写代码：判断一个数(转换成二进制表示时)有几个1 #include <stdio.h> int main(int argc, const char *argv[]) { //判断一个数…...
机器学习期末速成
文章参考自B站机器学习期末速成课 本文仅作者个人复习使用 一、机器学习分类 聚类和分类的区别： 分类：一开始就知道有哪些类别 聚类：一开始不知道有哪些类别 损失函数：简单来说就是你预测出来的结果和真实值的差距。 0-1损失函数…...
【学习总结|DAY015】Java面向对象高级-抽象类、接口
引言 在今天的课程中，我们详细探讨了 Java 编程语言的几个核心特性：多态、final 关键字、抽象类和接口。这些概念是面向对象编程的基础，对于构建健壮、可维护的应用至关重要。本文将通过具体的例子和解释帮助大家更好地掌握这些知识点。 一…...
单词拼写纠正-04-161.力扣 相隔为 1 的编辑距离
拼写纠正系列 NLP 中文拼写检测实现思路 NLP 中文拼写检测纠正算法整理 NLP 英文拼写算法，如果提升 100W 倍的性能？ NLP 中文拼写检测纠正 Paper java 实现中英文拼写检查和错误纠正？可我只会写 CRUD 啊！ 一个提升英文单词拼…...
深入理解 NumPy 广播机制：从基础到应用
目录 什么是广播机制？广播机制的规则广播机制示例1. 一维数组与标量运算2. 二维数组与一维数组运算3. 维度不同的数组运算4. 广播失败的情况 广播机制的实际应用场景1. 数据归一化2. 批量计算欧氏距离 总结广播机制的核心要点： 在使用 NumPy 进行数组操作…...
Springboot（五十三）SpringBoot3整合redisson
前边我们有记录Springboot2/3整合redis的方式。是基于Springboot默认集成的Lettuce客户端实现的。 今天我们在项目中集成的redission是在Lettuce之上构建的redis客户端。 Redisson：一个在Jedis和Lettuce之上构建的Redis客户端。提供了一系列分布式Java对象和服务，比如:分布式…...
UAC2.0 speaker——带反馈端点的 USB speaker（16bit 单声道）
UAC2.0 speaker 系列文章 UAC2.0 speaker——单声道 USB speaker（16bit） UAC2.0 speaker——类特殊请求 UAC2.0 speaker——音量控制 UAC2.0 speaker——多采样率支持 UAC2.0 speaker——24/32bit 支持 UAC2.0 speaker——speaker 数据传输 UAC2.0 speaker——同时支持 16bi…...
P2562 [AHOI2002] Kitty猫基因编码
P1498P2562 [AHOI2002] Kitty猫基因编码 #include <iostream> using namespace std; #include <cmath> #include <vector> #include <string> string encode(string str){if(str.find("0") string::npos) return "B";if(str.fin…...
 ArkUI FrameNode详解)
HarmonyOS(65) ArkUI FrameNode详解
Node 1、Node简介2、FrameNode2.1、创建和删除节点2.2、对FrameNode的增删改2.3 FramNode的查询功能3、demo源码4、总结5、参考资料1、Node简介 在HarmonyOS(63) ArkUI 自定义占位组件NodeContainer介绍了自定义节点复用的原理（阅读本本篇博文之前，建议先读读这个），在Node…...
40分钟学 Go 语言高并发：负载均衡与服务治理
负载均衡与服务治理 一、知识要点总览 模块核心内容技术实现难度负载策略轮询、权重、最小连接数自定义负载均衡器中服务降级服务降级、熔断降级、限流降级Hystrix模式高熔断机制熔断器状态机、失败计数、自动恢复Circuit Breaker高限流设计令牌桶、滑动窗口、计数器Rate Lim…...
Python 从入门到实战45（Pandas数据操作）
我们的目标是：通过这一套资料学习下来，可以熟练掌握python基础，然后结合经典实例、实践相结合，使我们完全掌握python，并做到独立完成项目开发的能力。 上篇文章我们学习了pandas数据读写的相关基础知识。今天学习一下…...
node js 历史版本下载
此为node历史版本下载地址 https://nodejs.org/dist/https://nodejs.org/dist/...
无代码探索AI大模型：腾讯云函数计算的卓越实践
在数字化转型的浪潮中，人工智能（AI）技术已经成为企业提升竞争力的关键。然而，对于许多业务人员来说，技术门槛高、开发周期长等问题限制了他们快速探索和应用AI大模型的能力。同时，对于缺乏GPU资源的开发者来…...
网页数据抓取：融合BeautifulSoup和Scrapy的高级爬虫技术
网页数据抓取：融合BeautifulSoup和Scrapy的高级爬虫技术 在当今的大数据时代，网络爬虫技术已经成为获取信息的重要手段之一。Python凭借其强大的库支持，成为了进行网页数据抓取的首选语言。在众多的爬虫库中，BeautifulSoup和Scra…...
vivado中，generate output product 和Create HDL wrapper的作用
generate output product 以zynq的ip核举例，没有generate output product之前，在ip source 什么也看不到。 但是同样的一个ip核，generate output product之后，会生成综合，布线和仿真文件，约束文件等等。 …...
欧盟R156法规注意事项及实例展示
欧盟 R156 法规即《关于批准车辆的软件升级和软件升级管理体系统一规定的法规》，其注意事项及实例如下： 注意事项： 软件升级管理体系方面： 体系建立与维持：汽车制造商和供应商必须建立完善的软件升级管理体系ÿ…...
HTML语义化的案例分析
HTML语义化的案例分析：对比实际网站中语义化与非语义化标签的差异 在现代Web开发中，HTML语义化被广泛认为是提升网页结构和可访问性的重要做法。HTML语义化不仅仅是为了让代码更清晰，更是为了增强搜索引擎优化（SEO）&a…...
使用 pyperclip 进行跨平台剪贴板操作
简介：pyperclip 是一个轻量级的 Python 库，支持在不同操作系统（Windows、macOS、Linux）中进行剪贴板的复制和粘贴。这个库的设计简单易用，非常适合需要频繁进行文本复制粘贴操作的场景。 历史攻略： 使用f…...
微信小程序报错：http://159.75.169.224:7300不在以下 request 合法域名列表中,请参考文档
要解决此问题，需打开微信小程序开发者工具进行设置，打开详情-本地设置重新运行，该报错就没有啦...
Java：181 基于springboot的考编论坛管理系统
作者主页：舒克日记 简介：Java领域优质创作者、Java项目、学习资料、技术互助 文中获取源码 项目介绍 本系统一共管理员，用户角色。 主要功能：收货地址管理、经验交流平台管理、公告信息管理、跳蚤市场管理、商品留言管理、商品订…...
通义千问sft-甄嬛对话
流程步骤 https://www.datawhale.cn/activity/110/21/76?rankingPage1 按照上面的流程，准备好数据之后就可以直接对7b的模型进行指令微调了，整个流程不是很复杂，操作起来比较方便。但是发布服务等了较长时间，以为出了bug 结果展…...
如何配置Jackson以忽略Java类中为null或空（empty）的字段
Jackson库提供了JsonInclude注解和ObjectMapper配置选项，可以用来控制是否在JSON输出中包含null或空值的字段。 默认情况下，Jackson会包含所有字段，不论其值为何。 本教程将展示如何使用Include.NON_NULL来忽略null值字段，以及使…...
设置笔记本同时连接内外网
原理：通过笔记本和手机相连，实现双网卡功能能。笔记本连接内网wifi、同时手机端开启usb网络共享，笔记本就有了两个网，然配置那个访问外网，那个访问内网。 1.笔记本wifi连接内网wifi 2.手机端共享网络。 手机打开 -【…...
让文章更具说服力：如何巧妙运用逻辑
在写作的过程中，不论是创作小说、撰写学术论文，还是撰写营销文案，逻辑的运用都至关重要。一个没有逻辑支撑的文章，很容易让读者产生困惑、迷失方向，甚至失去阅读兴趣。因此，如何巧妙地运用逻辑，…...
阿里云云服务器Docker-Execrise
申请云服务器 阿里云每个人可以免费申请三个月的使用的服务器可以用作学习使用建议申请规格2核4g的，2g的有点捉襟见肘了选择服务器建议alibaba-linux服务器，就是linux；选择windows可能由于2核4g的限制，docker不匹配系统起码我就是…...
解决 MySQL 启动失败与大小写问题，重置数据库
技术文档：解决 MySQL 启动失败与大小写问题，重置数据库 1. 问题背景 在使用 MySQL 时，可能遇到以下问题： MySQL 启动失败，日志显示 “permission denied” 或 “Can’t create directory” 错误。MySQL 在修改配置文…...
启智畅想集装箱箱号识别算法，2台相机即可实现较高识别率
启智畅想集装箱箱号识别算法，在货车通道中使用时，一般配备2台相机即可。启智畅想集装箱箱号识别算法，在货车通道中使用时，一般配备2台相机即可实现对集装箱箱号的精准捕捉与识别。这两台相机分别安装在货车通道的后侧和随意侧面&a…...
【C++】指针与智慧的邂逅：C++内存管理的诗意
文章目录 RAII 智能指针auto_ptrunique_ptr shared_ptr模拟实现定制删除器循环引用 和 weak_ptr RAII RAII（Resource Acquisition Is Initialization）是一种广泛应用于 C 等编程语言中的编程范式，它的核心思想是：资源的获取和释放…...
python中的高阶函数
1、什么是高阶函数？ 高阶函数是指将函数作为参数传入。就是高阶函数 2、高阶函数有哪些？ map 映射函数 >>> print(list(map(lambda x:x*x,range(1,11)))) [1, 4, 9, 16, 25, 36, 49, 64, 81, 100] >>> print(list(map(lambda x:st…...
spark关联hive 报 Filesystem Close 错误
请看如下问题： 假如我想将一个sql语句插入hive表中时，比如 insert into table tmp.app_user_active_range partition (dt2022-11-04) 报如下错误： 我的环境是pyspark，pyspark中操作hive,使用datagrip关联spark，在da…...
MySQL主从同步详解
文章目录 MySQL主从同步概述MySQL主从同步原理MySQL主从同步结构模式MySQL主从同步搭建搭建步骤一主一从实验环境master主机slave1主机验证主从同步 一主多从master主机slave2主机验证主从同步 MySQL主从同步复制模式 读写分离技术MaxScale简介部署MaxScale服务器授权用户maste…...
Python 单元测试基础脚本
单元测试的概念： 单元测试是针对程序中最小可测试单元进行检查和验证的过程。在Python中，通常一个函数或方法就是一个测试单元。 unittest框架： Python自带了一个名为unittest的单元测试框架，它受JUnit启发，为开发者提…...
鸿蒙开发-在ArkTS中实现socket功能
基本概念 在 ArkTS 中实现 Socket 功能主要涉及到网络通信中的套接字(Socket)编程。Socket 是一种用于在不同设备(如客户端和服务器)之间进行双向通信的接口，它允许应用程序发送和接收数据。在网络编程中，有两种主要的 Socket 类型：基于 TCP…...
【设计模式系列】策略模式（二十四）
一、什么是策略模式 策略模式（Strategy Pattern）是软件设计模式中的一种行为型模式。它定义了一系列算法，并将每一个算法封装起来，使它们可以互换使用，算法的变化不会影响使用算法的用户。策略模式让算法的变化独立于…...
D92【python 接口自动化学习】- pytest基础用法
day92 pytest的skip和skipif用法 学习日期：20241208 学习目标：pytest基础用法 -- pytest的skip和skipif用法 学习笔记： 测试用例跳过 skip和skipif用法，测试用例跳过 pytest.mark.skip 跳过标记的用例 pytest.mark.skipif(1 …...
spring中的@Bean和@Component有什么区别?
定义和作用范围 Bean： 是一个方法级别的注解。它主要用于在Java配置类（使用Configuration注解的类）中定义一个Bean。这个方法返回的对象会被Spring容器管理。例如，假设我们有一个配置类AppConfig： import org.sprin…...