当前位置： 首页 > news >正文

如何建设一个企业级的数据湖

news 来源：原创 2025/5/19 23:54:17

建设一个企业级的数据湖是一项复杂且系统化的工程，需要从需求分析、技术选型、架构设计到实施运维等多个方面进行综合规划和实施。以下是基于我搜索到的资料，详细阐述如何建设企业级数据湖的步骤和关键要点：

一、需求分析与规划

  1. 明确业务需求：首先需要明确企业的业务目标和数据湖的使用场景，包括数据类型、存储规模、访问频率等需求。这一步骤是整个数据湖建设的基础，需与相关利益相关者充分沟通，确保数据湖能够满足实际业务需求。
  2. 摸底调研：对现有数据源进行全面摸底，包括数据来源、数据类型、数据形态、数据模式等，为后续的数据湖建设奠定基础。
  3. 确定数据湖范围和目标：明确数据湖的范围，包括需要存储的数据类型（结构化、半结构化或非结构化数据），并设定清晰的目标，如支持数据分析、实时查询或机器学习等。

二、技术选型与架构设计

  1. 选择合适的技术平台：根据需求选择合适的技术平台，如AWS S3、Hadoop、Delta Lake、阿里云DLF等。这些平台提供了不同的存储方式和计算能力，可以根据企业需求灵活选择。
  2. 设计数据湖架构：构建一个分布式、可扩展的数据湖架构，支持多种数据源的接入和统一管理。常见的架构包括：

    • 数据摄入层：负责从不同来源收集数据，如API接口、文件上传等。

    • 存储层：采用分布式文件系统（如HDFS）或云存储服务（如AWS S3），确保数据的高可用性和扩展性。

    • 处理层：通过ETL工具（如Apache Spark）对数据进行清洗、转换和加载。

    • 元数据管理：建立统一的元数据管理系统，支持数据分类、权限控制和数据血缘追踪。

  3. 安全性与权限管理：确保数据湖的安全性，包括数据加密、访问控制和审计日志等措施。

三、数据湖的构建与实施

  1. 数据收集与整合：通过ETL工具或API接口将来自不同来源的数据导入数据湖，并进行初步清洗和转换，使其适合后续分析使用。
  2. 存储与管理：将原始数据存储在分布式文件系统中，并根据业务需求对数据进行分类和组织。例如，可以使用Delta Lake实现高效的数据管理和版本控制。
  3. 数据分析与挖掘：利用BI工具、机器学习框架（如TensorFlow）或大数据分析工具（如Hive）对存储在数据湖中的数据进行深入分析，提取有价值的信息。
  4. 实时处理与查询：对于需要实时响应的场景，可以部署流处理框架（如Apache Kafka）或实时查询引擎（如Presto），以支持快速的数据查询和决策支持。

四、监控与优化

  1. 性能监控：定期监控数据湖的性能指标，包括存储容量、访问频率、查询响应时间等，及时发现并解决潜在问题。
  2. 成本优化：合理规划存储和计算资源，避免过度投资。例如，通过按需扩展存储容量或优化计算任务来降低成本。
  3. 持续改进：根据业务需求和技术发展，不断优化数据湖架构和功能，确保其长期适应企业的发展需求。

五、案例参考与最佳实践

  1. 借鉴成功案例：参考其他企业的成功案例，如Netflix和Airbnb的数据湖建设经验，学习其在数据治理、安全性和性能优化方面的做法。
  2. 遵循最佳实践：参考行业最佳实践，如阿里云的DLF解决方案，通过统一的元数据管理和权限控制实现高效的数据湖建设。

六、总结

建设企业级数据湖是一个系统工程，需要从需求分析到实施运维的全过程进行规划和管理。通过合理的技术选型、科学的架构设计以及持续的优化改进，企业可以构建一个高效、安全且灵活的数据湖平台，为业务决策提供强有力的数据支持。

如何在数据湖中实现高效的数据加密和访问控制？

在数据湖中实现高效的数据加密和访问控制，需要结合多种技术和策略，以确保数据的安全性和合规性。以下是基于我搜索到的资料的详细解答：

1. 数据加密

数据加密是保护数据安全的重要手段，可以防止未经授权的访问和数据泄露。以下是实现高效数据加密的关键措施：

  • 使用云存储服务的内置加密功能：例如，AWS S3 提供了客户端加密和服务器端加密功能，可以有效防止未经授权的访问和恶意攻击。
  • 对象标签和数据分类：通过对象标签对数据进行分类，并结合 IAM 控制访问权限，确保敏感数据得到额外保护。
  • 实时数据流加密：对于实时数据处理任务，可以通过流式处理技术对数据进行加密，从而保障数据在传输过程中的安全性。

2. 访问控制

访问控制是确保只有授权用户才能访问特定数据的核心机制。以下是实现高效访问控制的方法：

  • 基于角色的访问控制（RBAC） ：通过定义不同的角色（如开发者、商业分析师等），并为每个角色分配特定的权限。例如，开发者可以访问所有列，而商业分析师只能访问非个人身份信息（PII）列。
  • 最小权限原则：通过 IAM 实现基于规则和角色的访问控制，确保用户只能访问其工作所需的数据，从而降低数据泄露风险。
  • 自动化元数据管理：利用自动化工具定期更新元数据，确保数据目录的一致性和准确性，从而支持高效的数据访问控制。

3. 技术架构与工具

为了进一步提升数据湖的安全性和管理效率，可以采用以下技术架构和工具：

  • 云平台的弹性扩展能力：利用 AWS、Azure 或 Google Cloud 等云平台提供的弹性资源管理功能，根据需求动态调整计算和存储资源。
  • 数据湖构建工具：使用 AWS Lake Formation 或 Azure Data Lake 等工具，可以快速创建和管理数据湖，同时提供内置的安全和合规性功能。
  • 自动化工具：通过 ETL/ELT 工具实现数据编排和自动化流程，提高数据治理效率。

4. 数据治理与合规性

为了确保数据湖的长期可持续性，需要实施全面的数据治理策略：

  • 强制访问控制：确保所有数据访问都经过严格审批，并记录访问日志以备审计。
  • 定期审查隐私政策：定期检查数据访问和隐私政策，确保符合最新的法规要求。
  • 数据质量监控：建立数据质量监控机制，检测并修复数据质量问题，确保数据的可靠性和一致性。

5. 最佳实践

结合以上措施，以下是一些最佳实践建议：

  • 分层存储策略：将敏感数据存储在更安全的存储层级（如 AWS S3 的加密存储），并为非敏感数据选择成本较低的存储选项。
  • 实时监控与性能优化：通过监控工具实时检测异常访问行为，并优化计算性能以支持实时分析需求。
  • 持续改进：随着技术的发展和业务需求的变化，持续评估和优化数据湖的安全策略和技术架构。
在选择数据湖技术平台时，哪些因素最影响成本与性能的平衡？

在选择数据湖技术平台时，影响成本与性能平衡的因素主要包括以下几个方面：

  1. 存储方式的选择：

    • 数据湖通常提供多种存储方式，包括磁盘式结构化分析和内存中分析。磁盘式结构化分析价格较低但速度较慢，而内存中分析速度快但成本较高。企业可以根据需求选择适合自己的方法，以实现成本与性能的最佳平衡。
    • 腾讯云的原生数据湖存储通过三级加速体系（如GooseFS、元数据加速器和AZ加速器）显著降低对象存储访问带宽，提升元数据操作性能和海量吞吐量，从而在性能和成本之间取得平衡。

  2. 计算资源的优化：

    • 阿里云MaxCompute通过SQL优化、PAFA封装算法服务以及云原生弹性资源与EMR集群资源的互补，实现了资源的削峰填谷，降低了计算成本。
    • 云湖仓架构通过动态资源分配和冷热数据分层存储策略，在保持高性能的同时有效控制数据管理的整体成本。

  3. 技术栈的兼容性和扩展性：

    • 数据湖平台需要支持多种数据源接入和全生命周期管理，同时提供强大的连接器和转换工具，以简化企业使用流程。
    • 选择合适的数据湖平台和技术是关键，需要考虑其与现有系统的兼容性、扩展性以及是否能够满足不同场景的需求。

  4. 灵活性与敏捷性：

    • 数据湖需要灵活应对业务需求的变化，同时避免数据孤岛问题。这要求设计合理的数据架构，并确保数据湖的灵活性与数据仓库的结构化查询性能之间的平衡。
    • 湖仓一体化架构（如Lakehouse）结合了数据湖的可扩展性和数据仓库的可靠性，实现了灵活性和效率的最佳平衡。

  5. 成本优化策略：

    • 数据湖的成本包括存储、计算和管理费用。企业需要根据需求选择合适的技术，并设计可扩展的架构以适应数据增长和处理要求。
    • 使用开源或商业解决方案时，需要综合考虑性能、成本和兼容性等因素，以确保数据湖的可持续发展。

  6. 安全性与合规性：

    • 数据湖需要实施访问控制、加密和审计功能，以保护数据免受未经授权的访问和泄露。
数据湖建设中，如何有效结合短期业务需求与长期战略规划？

在数据湖建设中，如何有效结合短期业务需求与长期战略规划是一个复杂但至关重要的问题。以下从多个角度详细分析并提出建议：

一、明确短期业务需求与长期战略目标

  1. 短期业务需求：数据湖建设初期，企业应首先明确当前业务的实际需求，包括数据存储、分析和应用的具体场景。例如，企业可能需要快速响应市场变化，通过数据湖实现对客户行为的实时分析，以优化营销策略。
  2. 长期战略规划：同时，企业需要考虑数据湖的长远发展，例如支持未来创新、提升数据治理能力以及应对潜在的业务扩展需求。例如，数据湖可以为未来的AI应用提供基础数据支持，并通过灵活扩展功能满足未来增长。

二、分阶段实施，兼顾灵活性与可扩展性

  1. 分阶段建设：数据湖的建设通常分为四个阶段：可扩展的数据处理和接入、分析能力增强、数据湖与数据仓库的协作以及端到端的采用和成熟度提升。这种分阶段的方法能够确保在满足当前业务需求的同时，为未来的发展留出空间。
  2. 灵活架构设计：数据湖的设计应注重灵活性和可扩展性，以适应不同业务场景的需求。例如，通过采用云计算、大数据处理框架（如Hadoop）和ETL工具，企业可以灵活地处理结构化、半结构化和非结构化数据。

三、构建统一的数据入湖标准与流程

  1. 统一标准：为了确保数据湖能够高效运行，企业需要制定科学、完整且统一的数据入湖标准及流程。这包括明确数据的所有者、发布标准、密级分类以及分域分类的数据入湖策略。
  2. 动态调整：随着业务需求的变化，企业需要定期评估和调整数据入湖的标准和流程，以确保数据湖始终能够支持当前的业务需求。

四、加强数据治理与安全策略

  1. 数据治理：数据湖建设过程中，必须重视数据质量、隐私保护和合规性问题。例如，通过加密技术、访问控制和定期审计等措施，确保数据的安全性和可靠性。
  2. 长期规划中的治理：在长期战略规划中，企业应将数据治理作为核心内容之一，建立全面的数据管理体系，以支持数据湖的可持续发展。

五、推动跨部门协作与信息共享

  1. 跨部门协作：数据湖的建设需要各部门的密切配合。例如，业务部门可以提出具体的数据需求，而IT部门则负责技术实现。通过明确责任分工，可以确保数据湖建设既满足短期需求又支持长期目标。
  2. 信息共享平台：构建一个统一的信息共享平台，使不同部门能够根据自身需求访问所需数据。这不仅提高了工作效率，还促进了企业内部的信息流通。

六、持续优化与迭代升级

  1. 迭代升级：数据湖建设是一个动态的过程，企业需要根据业务发展和技术进步不断优化和升级系统。例如，通过引入更先进的AI技术和机器学习算法，提升数据分析能力。
  2. 五年规划与中期评估：在长期战略规划中，企业应制定五年规划，并定期进行中期评估，以确保数据湖建设始终符合企业的战略方向。

结论

在数据湖建设中，结合短期业务需求与长期战略规划需要企业在明确目标的基础上，采取分阶段实施、灵活架构设计、统一标准、加强治理和推动协作等措施。

成功的数据湖案例中，有哪些关键的成功因素和最佳实践？

成功的数据湖案例中，关键的成功因素和最佳实践可以从多个方面进行总结。以下是一些重要的因素和实践：

1. 明确的业务目标

  • 定义明确的业务目标：在构建数据湖之前，必须明确业务目标，以确保数据湖的设置和管理能够满足业务需求并提供价值。这包括了解数据湖的用途和预期的业务成果。

2. 选择合适的平台

  • 选择合适的云平台：根据组织的规模、预算、现有IT基础设施和特定数据需求，选择合适的云平台（如Amazon S3、Microsoft Azure Data Lake Storage或Google Cloud Storage）。这些平台提供了必要的存储和计算资源，支持数据湖的高效运行。

3. 数据治理

  • 实施数据治理：确保数据的质量、一致性和安全性是数据湖成功的关键。这包括定义数据治理政策、实施访问控制、加密和监控措施，以保护敏感数据并防止数据泄露。
  • 支持元数据：元数据管理对于数据湖的成功至关重要。通过组织和索引数据，可以提高数据的可查找性和可用性。

4. 数据摄取程序

  • 建立数据摄取程序：自动化数据摄取过程可以减少人工工作量，提高数据质量，并确保数据的持续更新。这有助于减少错误并提高整体效率。

5. 数据安全

  • 优先考虑数据安全：实施访问控制、加密和监控措施，以保护敏感数据免受未授权访问和潜在威胁。这是确保数据湖安全运行的重要步骤。

6. 数据可用性

  • 启用数据可用性：通过实施数据目录和元数据管理，确保数据的可查找性和可用性。这有助于用户快速找到所需的数据并进行分析。

7. 定期监控和审计

  • 定期监控和审计：确保数据湖架构专为可扩展性而设计，并定期监控和审计数据湖，以验证其性能、准确性和一致性。这有助于及时发现和解决问题。

8. 培养数据文化

  • 培育数据文化：教育员工了解数据的价值，鼓励他们使用数据工具并做出基于数据的决策。这有助于提高整个组织的数据意识和能力。

9. 持续学习和改进

  • 持续学习和改进：定期收集用户反馈，了解团队的需求，并根据最新趋势和技术更新数据湖策略。这有助于保持数据湖的竞争力和适应性。

10. 成功案例分析

  • 参考成功案例：例如，某大型金融机构通过构建数据湖成功整合了海量客户交易数据、市场分析数据等，实现了数据来源的多样性，提升了数据存取效率并降低了管理成本。
  • 阿里云的最佳实践：阿里云的数据湖构建服务（DLF）提供了湖上元数据统一管理和企业级权限控制，无缝对接多种计算引擎，打破数据孤岛，实现业务价值。

11. 技术架构

  • 技术架构的选择：选择合适的技术架构是成功的关键。例如，使用Apache Spark等分布式计算框架进行实时和批处理数据预处理，以及使用Query and Analytics引擎支持高级SQL查询。
  • 云平台的优势：利用云平台提供的原生支持和高级分析能力，可以显著提升数据湖的性能和灵活性。

12. 最佳实践总结

  • 了解数据湖的使用场合：摒弃将所有数据收集到一个Hadoop库的想法，认识到它并非企业数据管理系统和实践的替代品。
  • 运用现有的数据管理最佳实践：如审计跟踪记录、数据完整性、数据治理和数据所有权。
  • 知道数据湖的业务理由：选择合适的架构，如传统关系数据库、Hadoop集群或NoSQL数据库。
  • 支持元数据：元数据是数据湖成功的关键，而非数据墓地。
如何监控和优化数据湖的性能，同时降低成本？

监控和优化数据湖的性能，同时降低成本，需要从多个方面入手，包括架构设计、存储技术、查询优化、数据生命周期管理以及成本控制等。以下是基于我搜索到的资料整理出的详细策略：

1. 架构设计与存储优化

  • 选择高效的存储格式：使用列式存储引擎（如Apache Parquet或ORC）可以显著提高查询性能并降低存储成本。
  • 冷存储策略：将不经常访问的数据迁移到更便宜的存储层（如云中的冷存储），以减少存储费用。
  • 分区和索引技术：通过数据分区和创建索引，可以减少查询扫描的数据量，从而提高查询效率并降低计算资源消耗。

2. 查询性能优化

  • 实时监控与诊断：通过实时监控集群运行指标，快速定位性能瓶颈，并提供针对性的优化建议。
  • 缓存和索引优化：利用数据库缓存和索引优化技术，提高查询速度。
  • 分布式文件系统：采用分布式文件系统（如HDFS）和内存计算框架（如Spark），进一步提升数据处理效率。

3. 数据生命周期管理

  • 自动化数据存档与清理：通过自动化工具定期清理不再需要的数据，确保数据相关性并降低成本。
  • 数据保留策略：制定合理的数据保留策略，平衡合规性和成本。

4. 成本管理

  • 基于云的成本策略：利用云平台提供的按需计费模式，避免资源浪费，实现成本优化。
  • 资源调度与优化：合理分配计算资源，避免资源闲置或过度使用，从而降低总体成本。

5. 数据治理与安全

  • 数据质量和治理：建立数据质量控制流程，确保数据的一致性和准确性。
  • 访问控制与加密：实施严格的访问控制和加密措施，保障数据安全。

6. 工具与平台选择

  • 选择合适的数据湖平台：根据需求选择合适的数据湖平台（如Amazon S3、Google Cloud或Azure），并利用其内置工具进行优化。
  • 自动化工具：使用如Upsolver等工具，自动化实施最佳实践，加速构建高效的数据湖。

7. 实践案例与经验总结

  • Paimon数据湖优化：通过实时监控和诊断，快速定位性能瓶颈，并提供有针对性的优化方案。
  • SQL Server 数据湖应用：结合SQL Server数据库和数据湖技术，通过环境配置、核心模块实现及测试，提升查询速度。

总结

监控和优化数据湖的性能，同时降低成本的关键在于：

  1. 构建高效的数据存储架构；
  2. 采用先进的查询优化技术；
  3. 实施严格的数据生命周期管理；
  4. 利用云平台的按需计费模式；
  5. 强化数据治理与安全措施。

相关文章：

如何建设一个企业级的数据湖

建设一个企业级的数据湖是一项复杂且系统化的工程，需要从需求分析、技术选型、架构设计到实施运维等多个方面进行综合规划和实施。以下是基于我搜索到的资料，详细阐述如何建设企业级数据湖的步骤和关键要点： 一、需求分析与规划 明确业务需…...

编程日记 2025/5/19 23:54:17

Ubuntu介绍、与centos的区别、基于VMware安装Ubuntu Server 22.04、配置远程连接、安装jdk+Tomcat

目录 ?编辑 一、Ubuntu22.04介绍 二、Ubuntu与Centos的区别 三、基于VMware安装Ubuntu Server 22.04 下载 VMware安装 1.创建新的虚拟机 2.选择类型配置 3.虚拟机硬件兼容性 4.安装客户机操作系统 5.选择客户机操作系统 6.命名虚拟机 7.处理器配置 8.虚拟机内存…...

编程日记 2025/5/19 23:35:19

springfox-swagger-ui 3.0.0 配置

在3.0中&#xff0c;访问地址URL变了。 http://地址:端口/项目名/swagger-ui/ SpringBoot maven项目引入 <dependency><groupId>io.springfox</groupId><artifactId>springfox-swagger2</artifactId><version>3.0.0</version> </…...

编程日记 2025/5/16 21:03:29

【PyTorch][chapter 29][李宏毅深度学习]Fine-tuning LLM

参考&#xff1a; https://www.youtube.com/watch?veC6Hd1hFvos 目录&#xff1a; 什么是 Fine-tune 为什么需要Fine-tuning 如何进行Fine-tune Fine-tuning- Supervised Fine-tuning 流程 Fine-tuning参数训练的常用方案 LORA 简介 示例代码 一 什么是 Fine-tune …...

编程日记 2025/5/14 20:51:53

Spring无法解决的循环依赖

在Spring框架中&#xff0c;循环依赖是指两个或多个Bean相互依赖&#xff0c;形成一个闭环。例如&#xff0c;Bean A依赖于Bean B&#xff0c;而Bean B又依赖于Bean A。虽然Spring通过三级缓存&#xff08;一级缓存、二级缓存、三级缓存&#xff09;机制解决了大多数情况下的循…...

编程日记 2025/5/13 17:19:30

C++的类Class

文章目录 一、C的struct和C的类的区别二、关于OOP三、举例&#xff1a;一个商品类CGoods四、构造函数和析构函数1、定义一个顺序栈2、用构造和析构代替s.init(5);和s.release();3、在不同内存区域构造对象4、深拷贝和浅拷贝5、构造函数和深拷贝的简单应用6、构造函数的初始化列…...

编程日记 2025/5/19 23:45:00

如何应对离别之：短暂离别

《若道离别》&#xff08;一&#xff09;&#xff1a;如何应对离别之短暂离别 大多数人还是不能很全心愉快地面对离别&#xff0c;哪怕只是短暂&#xff0c;还是从有到无的失落感&#xff0c;有人一天就适应&#xff0c;有人需要很久 不求离别无动于衷&#xff0c;但求使用部分…...

编程日记 2025/5/19 23:39:56

Harmony Next 跨平台开发入门

ArkUI-X 官方介绍 官方文档&#xff1a;https://gitee.com/arkui-x/docs/tree/master/zh-cn ArkUI跨平台框架(ArkUI-X)进一步将ArkUI开发框架扩展到了多个OS平台&#xff1a;目前支持OpenHarmony、Android、 iOS&#xff0c;后续会逐步增加更多平台支持。开发者基于一套主代码…...

编程日记 2025/5/15 7:46:22

笔试-二维数组2

应用 现有M(1<M<10)个端口组&#xff0c;每个端口组是长度为N(1<N<100)&#xff0c;元素均为整数。如果这些端口组间存在2个及以上的元素相同&#xff0c;则认为端口组可以关联合并&#xff1b;若可以关联合并&#xff0c;请用二位数组表示输出结果。其中&#xf…...

编程日记 2025/5/18 23:52:04

/opt安装软件，就可以使用man xx命令是为什么

引言 以neovim的安装过程为例 下载 curl -LO https://github.com/neovim/neovim/releases/latest/download/nvim-linux64.tar.gz sudo rm -rf /opt/nvim sudo tar -C /opt -xzf nvim-linux64.tar.gz添加环境变量前&#xff0c;是无法使用man nvim的 Then add this to your sh…...

编程日记 2025/5/15 1:32:58

vue3和vue2的区别有哪些差异点

Vue3 vs Vue2 主要差异对比指南 官网 1. 核心架构差异 1.1 响应式系统 Vue2&#xff1a;使用 Object.defineProperty 实现响应式 // Vue2 响应式实现 Object.defineProperty(obj, key, {get() {// 依赖收集return value},set(newValue) {// 触发更新value newValue} })Vue3…...

编程日记 2025/5/19 23:52:17

记录备战第十六届蓝桥杯的过程

1.学会了原来字符串也有比较方法&#xff0c;也就是字符串987 > 98 等等&#xff0c;可以解决拼最大数问题 题目链接&#xff1a;5.拼数 - 蓝桥云课 (lanqiao.cn) 2.今天又复习了一下bfs&#xff0c;感觉还是很不熟练&#xff0c;可能是那个过程我些许有点不熟悉&#xff…...

编程日记 2025/5/19 0:11:07

【PVE】Proxmox VE8.0+创建LXC容器安装docker

为了不影响PVE宿主机&#xff0c;通常使用套娃的形式安装Docker容器&#xff0c;再安装相关docker应用。首先在CT模板中创建 Linux 容器&#xff0c;推荐使用Debian。开启ssh登录&#xff0c;修改debian配置&#xff0c;安装docker 一、创建 LXC 容器 1、CT模板下载 点击“模…...

编程日记 2025/5/19 23:32:10

Semantic Kernel - Kernel理解

目录 一、关于Kernel 二、案例实战 三、运行截图 一、关于Kernel 微软的 Semantic Kernel 项目中，Semantic Kernel 是一个工具框架，旨在使得开发人员能够更容易地将大语言模型（如GPT）集成到不同的应用中。它通过提供一组接口、任务模板和集成模块，使开发者能够轻松地设计…...

编程日记 2025/5/19 10:12:43

【JavaWeb06】Tomcat基础入门：架构理解与基本配置指南

文章目录 &#x1f30d;一. WEB 开发❄️1. 介绍 ❄️2. BS 与 CS 开发介绍 ❄️3. JavaWeb 服务软件 &#x1f30d;二. Tomcat❄️1. Tomcat 下载和安装 ❄️2. Tomcat 启动 ❄️3. Tomcat 启动故障排除 ❄️4. Tomcat 服务中部署 WEB 应用 ❄️5. 浏览器访问 Web 服务过程详…...

编程日记 2025/5/19 23:46:25

「 机器人 」利用冲程对称性调节实现仿生飞行器姿态与方向控制

前言 在仿生扑翼飞行器中，通过改变冲程对称性这一技术手段，可以在上冲与下冲两个阶段引入不对称性，进而产生额外的力或力矩，用于实现俯仰或其他姿态方向的控制。以下从原理、在仿生飞行器中的应用和典型实验示例等方面进行梳理与阐述。 1. 冲程对称性原理 1.1 概念：上冲与…...

编程日记 2025/5/19 23:50:37

力扣算法题——11.盛最多水的容器

目录 &#x1f495;1.题目 &#x1f495;2.解析思路 本题思路总览 借助双指针探索规律 从规律到代码实现的转化 双指针的具体实现 代码整体流程 &#x1f495;3.代码实现 &#x1f495;4.完结 二十七步也能走完逆流河吗 &#x1f495;1.题目 &#x1f495;2.解析思路…...

编程日记 2025/5/15 5:44:39

企业微信SCRM开创客户管理新纪元推动私域流量高效转化

内容概要 在当今瞬息万变的数字化时代&#xff0c;企业面临着前所未有的客户管理挑战。消费者的需求日益多样化&#xff0c;他们希望能够随时随地与品牌沟通。因此&#xff0c;越来越多的企业意识到&#xff0c;传统的客户管理方式已无法满足市场的需求。在这样的背景下&#…...

编程日记 2025/5/16 23:59:47

C++和Python实现SQL Server数据库导出数据到S3并导入Redshift数据仓库

用C实现高性能数据处理&#xff0c;Python实现操作Redshift导入数据文件。 在Visual Studio 2022中用C和ODBC API导出SQL Server数据库中张表中的所有表的数据为CSV文件格式的数据流&#xff0c;用逗号作为分隔符&#xff0c;用双引号包裹每个数据&#xff0c;字符串类型的数据…...

编程日记 2025/5/19 23:41:36

ESP8266 NodeMCU与WS2812灯带：实现多种花样变换

在现代电子创意项目中&#xff0c;LED灯带的应用已经变得极为广泛。通过结合ESP8266 NodeMCU的强大处理能力和FastLED库的高效功能&#xff0c;我们可以轻松实现多达100种灯带变换效果。本文将详细介绍如何使用Arduino IDE编程&#xff0c;实现从基础到高级的灯光效果&#xff…...

编程日记 2025/5/19 11:33:33

OpenAI 发布首个 AI 智能体

OpenAI 发布首个 AI 智能体 当地时间 1 月 23 日&#xff0c;OpenAI 发布了首个 AI 智能体 Operator124。以下是关于它的详细介绍2&#xff1a; 功能用途 操作网页&#xff1a;可模拟人类操作网页浏览器&#xff0c;能进行点击、滚动、输入等操作&#xff0c;例如在 OpenTable…...

编程日记 2025/5/17 7:28:12

【Linux】gcc/g++的使用

目录 一、gcc/g简介 二、编译和链接 预处理 编译 汇编 连接&#xff08;生成可执行文件或库文件&#xff09; 三、动态链接和静态链接 静态库和动态库 gcc其他常用选项 合集传送门&#xff1a;Linux_uyeonashi的博客-CSDN博客 一、gcc/g简介 GCC&#xff08;GNU Com…...

编程日记 2025/5/19 11:42:30

Kmesh v1.0 正式发布！7 大特性提升网络流量管理效率和安全性

Kmesh v1.0 正式发布&#xff01;7 大特性提升网络流量管理效率和安全性 2025 年新年伊始&#xff0c;Kmesh 团队正式发布了 Kmesh v1.0234。以下是 Kmesh v1.0 提升网络流量管理效率和安全性的 7 大特性35&#xff1a; 加密通信&#xff1a;引入 IPsec 协议对节点间流量加密&a…...

编程日记 2025/5/19 23:32:11

Day45：元组的创建

在 Python 中&#xff0c;元组&#xff08;tuple&#xff09;是一种不可变的序列类型。与列表&#xff08;list&#xff09;不同&#xff0c;元组一旦创建就无法修改它们的内容。元组是有序的&#xff0c;可以包含不同类型的元素&#xff0c;支持索引和切片操作&#xff0c;但不…...

编程日记 2025/5/16 12:55:26

Rust：如何动态调用字符串定义的 Rhai 函数？

在 Rust 中使用 Rhai 脚本引擎时&#xff0c;你可以动态地调用传入的字符串表示的 Rhai 函数。Rhai 是一个嵌入式脚本语言&#xff0c;专为嵌入到 Rust 应用中而设计。以下是一个基本示例&#xff0c;展示了如何在 Rust 中调用用字符串传入的 Rhai 函数。 首先&#xff0c;确保…...

编程日记 2025/5/19 3:48:39

在 Ubuntu22.04 上安装 Splunk

ELK感觉太麻烦了&#xff0c;换个日志收集工具 Splunk 是一种 IT 工具&#xff0c;可帮助在任何设备上收集日志、分析、可视化、审计和创建报告。简单来说&#xff0c;它将“机器生成的数据转换为人类可读的数据”。它支持从虚拟机、网络设备、防火墙、基于 Unix 和基于 Windo…...

编程日记 2025/5/19 23:29:05

单片机基础模块学习——数码管（二）

一、数码管模块代码 这部分包括将数码管想要显示的字符转换成对应段码的函数&#xff0c;另外还包括数码管显示函数 值得注意的是对于小数点和不显示部分的处理方式 由于小数点没有单独占一位&#xff0c;所以这里用到了两个变量i,j用于跳过小数点导致的占据其他字符显示在数…...

编程日记 2025/5/11 5:32:13

DAY01 面向对象回顾、继承、抽象类

学习目标 能够写出类的继承格式public class 子类 extends 父类{}public class Cat extends Animal{} 能够说出继承的特点子类继承父类,就会自动拥有父类非私有的成员 能够说出子类调用父类的成员特点1.子类有使用子类自己的2.子类没有使用,继承自父类的3.子类父类都没有编译报…...

编程日记 2025/5/18 16:16:06

LeetCode：40. 组合总和 II（回溯 + 剪枝 Java）

目录 40. 组合总和 II 题目描述&#xff1a; 实现代码与解析&#xff1a; 回溯 剪枝 原理思路&#xff1a; 40. 组合总和 II 题目描述&#xff1a; 给定一个候选人编号的集合 candidates 和一个目标数 target &#xff0c;找出 candidates 中所有可以使数字和为 target …...

编程日记 2025/5/6 5:46:30

周末总结(2024/01/25)

工作 人际关系核心实践&#xff1a; 要学会随时回应别人的善意&#xff0c;执行时间控制在5分钟以内 坚持每天早会打招呼 遇到接不住的话题时拉低自己&#xff0c;抬高别人(无阴阳气息) 朋友圈点赞控制在5min以内&#xff0c;职场社交不要放在5min以外 职场的人际关系在面对利…...

编程日记 2025/5/6 12:58:54

解决日志中 `NOT NULL constraint failed` 异常的完整指南

在开发和运维过程中，日志是我们排查问题的重要工具。然而，当日志中出现类似 NOT NULL constraint failed 的异常时，往往意味着数据库约束与代码逻辑不匹配。本文将详细分析此类问题的原因，并提供完整的解决方案。 © ivwdcwso (ID: u012172506) 问题描述 在同步 AWS …...

编程日记 2025/5/19 23:30:30

线性规划：机器学习中的优化利器

一、线性规划的基本概念 线性规划&#xff08;Linear Programming, LP&#xff09;是运筹学中数学规划的一个重要分支&#xff0c;用于在一组线性不等式的约束条件下&#xff0c;找到线性目标函数的最大值或最小值。其问题可以表述为&#xff1a; 在一组线性约束条件 s.t.&am…...

编程日记 2025/5/19 23:35:19

Flutter子页面向父组件传递数据方法

在 Flutter 中&#xff0c;如果父组件需要调用子组件的方法&#xff0c;可以通过以下几种方式实现。以下是常见的几种方法&#xff1a; 方法 1&#xff1a;使用 GlobalKey 和 State 调用子组件方法 这是最直接的方式&#xff0c;通过 GlobalKey 获取子组件的 State&#xff0c…...

编程日记 2025/5/19 23:52:17

乐鑫 ESP32-C6 通过 Thread 1.4 互操作性认证

乐鑫信息科技 (688018.SH) 很高兴地宣布&#xff0c;ESP32-C6 已经成功通过 Thread 1.4 互操作性认证。这一成就标志着乐鑫在提供先进物联网解决方案之路上又迈进了重要一步。ESP32-C6 在 Thread Group 授权实验室的严格测试中&#xff0c;展现了与最新 Thread 1.4 协议的无缝兼…...

编程日记 2025/5/16 21:24:03

机器学习2 （笔记）（朴素贝叶斯，集成学习，KNN和matlab运用）

朴素贝叶斯模型 贝叶斯定理&#xff1a; 常见类型 算法流程 优缺点 集成学习算法 基本原理 常见方法 KNN&#xff08;聚类模型&#xff09; 算法性质&#xff1a; 核心原理&#xff1a; 算法流程 优缺点 matlab中的运用 朴素贝叶斯模型 朴素贝叶斯模型是基于贝叶斯…...

编程日记 2025/5/16 9:20:57

docker安装elk6.7.1-搜集java日志

docker安装elk6.7.1-搜集java日志 如果对运维课程感兴趣&#xff0c;可以在b站上、A站或csdn上搜索我的账号&#xff1a; 运维实战课程&#xff0c;可以关注我&#xff0c;学习更多免费的运维实战技术视频 0.规划 192.168.171.130 tomcat日志filebeat 192.168.171.131 …...

编程日记 2025/5/14 13:53:08

苍穹外卖-day06

[!IMPORTANT] HttpClient 是什么&#xff1f;它的作用是什么&#xff1f;在微信登录流程中&#xff0c;code 是什么&#xff1f;它的作用是什么&#xff1f;微信登录的具体步骤有哪些&#xff1f;在微信登录流程中&#xff0c;token 的作用是什么&#xff1f;在微信登录中&…...

编程日记 2025/5/19 23:39:56

iic、spi以及uart

何为总线&#xff1f; 连接多个部件的信息传输线&#xff0c;是部件共享的传输介质 总线的作用&#xff1f; 实现数据传输&#xff0c;即模块之间的通信 总线如何分类&#xff1f; 根据总线连接的外设属于内部外设还是外部外设将总线可以分为片内总线和片外总线 可分为数…...

编程日记 2025/5/19 23:32:10

如何高效启动并优化你的Google广告？

在现代数字营销中&#xff0c;Google广告&#xff08;Google Ads&#xff09;已经成为提升品牌曝光、吸引潜在客户和推动销售增长的重要工具。无论你是刚接触广告投放的新手&#xff0c;还是希望优化广告效果的资深营销人员&#xff0c;理解如何有效启动并管理Google广告至关重…...

编程日记 2025/5/19 13:47:18

【Android】布局文件layout.xml文件使用控件属性android:layout_weight使布局较为美观，以RadioButton为例

目录 说明举例 说明 简单来说&#xff0c;android:layout_weight为当前控件按比例分配剩余空间。且单个控件该属性的具体数值不重要&#xff0c;而是多个控件的属性值之比发挥作用&#xff0c;例如有2个控件&#xff0c;各自的android:layout_weight的值设为0.5和0.5&#xff0…...

编程日记 2025/5/16 4:08:25

低代码系统-产品架构案例介绍、简道云（七）

今天分析另外一个零代码、低代码产品-简道云&#xff0c;跟所有低代码产品的架构图一样&#xff0c;高、大、炫、美。 依然是从下至上&#xff0c;从左到右的顺序。 开发层 搭建中心 表单、流程、报表、用户中心&#xff0c;还是这些内容&#xff0c;自定义打印很多平台都有&am…...

编程日记 2025/5/16 3:05:33

RabbitMQ 分布式高可用

文章目录 前言一、持久化与内存管理1、持久化机制2、内存控制1、命令行2、配置文件 3、内存换页4、磁盘控制 二、集群1、Erlang的分布式特性2、RabbitMQ的节点类型2.1、磁盘节点 (Disk Node)2.2、内存节点 (RAM Node) 3、构建集群3.1 普通集群3.2 镜像队列3.3、高可用实现方案3…...

编程日记 2025/5/18 22:23:21

使用Pytest Fixtures来提升TestCase的可读性、高效性

关注开源优测不迷路 大数据测试过程、策略及挑战 测试框架原理&#xff0c;构建成功的基石 在自动化测试工作之前&#xff0c;你应该知道的10条建议 在自动化测试中&#xff0c;重要的不是工具 在编写单元测试时&#xff0c;你是否发现自己有很多重复代码&#xff1f; 数据库设…...

编程日记 2025/5/4 4:54:50

qt QUrl详解

1、概述 QUrl是Qt框架中用于处理URL&#xff08;统一资源定位符&#xff09;的类&#xff0c;它提供了构建、解析、编码、解码和处理URL的功能。QUrl支持多种协议&#xff0c;如HTTP、HTTPS、FTP以及文件URL等&#xff0c;并能处理URL的各个组成部分&#xff0c;如协议、主机、…...

编程日记 2025/5/14 21:12:38

从0到1：C++ 开启游戏开发奇幻之旅（一）

目录 为什么选择 C 进行游戏开发 性能卓越 内存管理精细 跨平台兼容性强 搭建 C 游戏开发环境 集成开发环境&#xff08;IDE&#xff09; Visual Studio CLion 图形库 SDL&#xff08;Simple DirectMedia Layer&#xff09; SFML&#xff08;Simple and Fast Multim…...

编程日记 2025/5/13 1:48:19

IGBT的损耗计算的学习【2025/1/24】

可以通过示波器实测IGBT电压电流波形&#xff0c;然后通过示波器的math功能将电压电流波形乘积后积分求损耗。 软开管&#xff1a;给了导通信号&#xff0c;但是电流并没有从此IGBT流过 IGBT&#xff08;绝缘栅双极晶体管&#xff09;的损耗主要分为 导通损耗 和 开关损耗 两部…...

编程日记 2025/5/15 12:46:16

Python从0到100（八十五）：神经网络-使用迁移学习完成猫狗分类

前言： 零基础学Python：Python从0到100最新最全教程。 想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、 计算机视觉、机器学习、神经网络以及人工智能…...

编程日记 2025/5/10 6:26:11

Oracle迁移DM数据库

Oracle迁移DM数据库 本文记录使用达梦官方数据迁移工具DTS&#xff0c;将Oracle数据库的数据迁移至达梦数据库。 1 数据准备 2 DTS工具操作步骤 2.1 创建工程 打开DTS迁移工具&#xff0c;点击新建工程&#xff0c;填写好工程信息&#xff0c;如图&#xff1a; 2.2 新建迁…...

编程日记 2025/5/10 23:21:30

通过 NAudio 控制电脑操作系统音量

根据您的需求&#xff0c;以下是通过 NAudio 获取和控制电脑操作系统音量的方法&#xff1a; 一、获取和控制系统音量 &#xff08;一&#xff09;获取系统音量和静音状态 您可以使用 NAudio.CoreAudioApi.MMDeviceEnumerator 来获取系统默认音频设备的音量和静音状态&#…...

编程日记 2025/5/18 8:52:55

AI刷题-最小化团建熟悉程度和

目录 问题描述 输入格式 输出格式 解题思路&#xff1a; 状态表示 状态转移 动态规划数组 预处理 实现&#xff1a; 1.初始化&#xff1a; 2.动态规划部分&#xff1a; &#xff08;1&#xff09;对于已分组状态的&#xff0c;跳过&#xff1a; &#xff08;2&…...

编程日记 2025/5/19 3:03:54