当前位置：首页 > news >正文

NLP专业技能2025

news 来源：原创 2025/8/27 3:44:08

Linux：
熟练使用Linux操作系统，熟练使用Linux常用命令进行开发。
熟悉掌握shell脚本编程技术的使用，能够编写简单的Shell脚本并熟练使用shell脚本四剑客（find、sed、grep、awk）进行日志解析。
熟练使用Linux环境进行开发，了解常用的命令行工具和脚本编写
Python：
扎实的编程基础：深入理解Python核心特性：装饰器、上下文管理器、生成器、元编程等，熟练使用Python常用类库进行项目开发
扎实的编程基础：熟练使用Python常用类库进行项目开发
具备数据预处理和特征工程能力，能够对数据进行清洗和转换；
熟练使用常用的数据分析和数据可视化工具Numpy、Pandas、Matplolib对数据进行清洗、转换以及可视化，
具备优秀的数据处理能力，能够独立完成数据清洗、特征工程和模型评估工作
具备数据预处理和特征工程能力，熟练使用常用的数据分析和数据可视化工具进行数据清洗、转换以及可视化
熟练掌握Pandas的使用: 擅长数据操作和分析，能够快速清理和处理大规模文本数据。
NumPy: 数值计算能力强，能够处理复杂的数学运算。
熟练使用机器学习、深度学习、NLP常用算法进行项目开发

机器学习：
熟练掌握经典机器学习算法(分类、回归、聚类等)及Scikit-learn实现
掌握经典机器学习算法的原理和应用场景及Scikit-learn实现，具备数据预处理和特征工程能力，能够独立完成数据清洗、数据预处理、特征工程和模型评估等工作；

Fastapi：

NLP：
深刻理解并掌握RNN模型以及其变体在不同场景下的应用
深刻理解并掌握Transformer架构及其在自然语言处理（NLP）、计算机视觉（CV）和其他序列数据任务中的应用。
熟练掌握迁移学习工具fasttext的使用，并在项目中实现中文分类、中文填空、中文句子关系等任务
深刻理解并掌握bert模型的使用，并在项目中实现命名实体审核、命名实体识别等子任务
熟练掌握文本预处理、词嵌入技术（Word2Vec, GloVe）、深度学习模型（RNN, LSTM, Transformer）以及语义分析
熟练掌握文本预处理、词嵌入技术（Word2Vec, GloVe）、深度学习模型（RNN, LSTM, Transformer）以及语义分析

Redis：
熟悉Redis缓存数据库的使用，熟悉Redis的键值存储模型及其在缓存、会话管理、消息队列等场景的应用。

NEO4J：
熟悉图数据库NEO4J的使用，熟练使用Cypher查询语言进行复杂的数据查询和模式匹配

MySQL：
具有丰富的SQL编写经验，能够编写常用的SQL语句，实现高效的数据处理和业务逻辑；

机器学习：
大语言模型：
了解ChatGPT系列模型的本质，熟悉GPT系列模型的原理和区别；
熟悉LLM大语言模型理论基础和核心思想
熟悉LLM主流开源大模型的原理及应用；
掌握大语言模型常用的评估指标；
掌握主流大模型LLaMA、ChatGLM、BLOOM等模型的架构、原理及不同场景的应用；

了解LLM大语言模型的主要类别架构，掌握Encoder-only代表模型Bert的架构及原理；
掌握Decoder-only代表模型GPT的架构及原理；
掌握Encoder-Decoder代表模型T5的架构及原理；
掌握主流大模型主要的微调方式；
掌握大语言模型LangChain框架的基本概念及应用；

基于BERT+PET（硬模版）方法实现评论文本的准确分类，这样做的
目的在于

为了提升用户体验，通过深入了解用户对不同商品或服务的评价，平台能够快速回应用户需求，改进产品
和服务。自动分类也为个性化推荐奠定基础，帮助用户更轻松地找到符合其偏好的商品。同时，这项技术降低
了运营成本，替代了繁重的人工处理工作。通过评论分析，平台还能迅速获取市场反馈，为公司提供有针
对性的数据，助力制定精准的运营策略。
深度学习：

自我评价：

参与过多个项目的开发，熟悉常见业务处理，能快速融入团队；
具备良好的数据处理、特征工程和模型评估能力；
具有良好的英文文献阅读能力，熟练阅读英文技术文档；
具备良好的文档撰写能力，多年博客撰写经验并在工作之余输出技术文档；
逻辑思维能力强，做事有条理，工作思路清晰；
学习能力强，对人工智能有着强烈的好奇心，有很强的自我驱动能力；
持续关注和学习人工智能领域的最新研究进展和发展趋势，特别是人工智能的新功能和最佳实践。

持续关注人工智能领域最新研究进展和发展趋势，并有能力将新技术快速应用到实际项目中。

持续关注图数据库领域的发展趋势，特别是Neo4j的新功能和最佳实践。

参与过多个项目的开发，熟悉常见业务处理，能快速融入团队；

学习能力强，对新技术有着强烈的好奇心；
对工作尽职尽责，乐于从事有挑战性的工作；
乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题；
具有良好的英语阅读能力，能阅读英文资料、技术文档等；
喜欢这个行业，并打算长期做下去；

开发环境：Linux+Python+PyCharm

机器学习：
深度学习：
bert-base-chinese：

个人简介：
经验丰富的自然语言处理工程师，拥有超过多个NLP项目经验，专注于深度学习模型、RNN模型、Transformer模型以及语义分析、文本分析等。
致力于将NLP技术应用于实际问题，提高效率和用户体验。
工作职责：
构建和维护大规模的语料库，进行数据清洗、预处理和标注。

工作成果：
精通Transformer模型的超参数调整，并能有效解决过拟合和欠拟合问题。
参与多个基于Neo4j的项目开发，通过优化查询性能和数据模型，实现了响应时间减少50%的成果。
数据处理：构建了大规模的对话数据集，涵盖多种场景和意图。
模型训练：优化了模型训练流程，包括超参数调整和分布式训练。
性能提升：实现了对话响应时间缩短30%，准确率提升至95%以上
用户体验：用户满意度调查结果显示，对话质量显著提升，投诉率下降20%。
成本节省：降低了人工客服成本，节省了约15%的运营预算。
市场反馈：产品得到了行业内的认可，增加了品牌影响力和市场份额。
设计和实施基于Transformer的对话系统，提高了客户查询响应速度30%。
优化了文本分类模型，将准确率提升至95%以上。
不仅显著提升了智能客服对话系统的性能和用户体验，还增强了团队的技术实力和市场竞争力，为公司的数字化转型和客户服务战略做出了重要贡献

构建bert-base-chinese模型进行模型训练和模型调优,准确率提升到93%；
构建textcnn模型进行知识蒸馏,准确率提升到92%左右,模型占用空间大大减少,模型预测样本时间显著提升；
构建Bert-base-chinese和TextCNN模型进行知识蒸馏，badcase分析，模型所占空间缩小17倍，RT提升13倍，ACC指标89.3%；
NLP多文本多分类任务：
负责文本的数据清洗,使用bert模型进行训练和调优,准确率达到93%；
基于业务需求，负责文本分类模型设计；
负责数据预处理：制定标注规范、样本类别均衡度、badcase修复等；
负责模型搭建：基于RandomForest，FastText搭建baseline模型进行初步判断，在线任务模型Bert进行对比实验；
负责模型优化：知识蒸馏优化、badcase分析优化；
负责分类模型API的开发，提供接口服务；

Ai医生：
项目描述：随着人工智能技术的发展，自然语言处理技术的应用越来越广泛，本项目旨在开发一款基于自然语言处理（NLP）技术的智能对话系统，
该系统能够理解、处理并生成人类级别的对话，以提供信息查询、客户服务、娱乐互动等多种功能。系统设计着重于实现流畅、自然的对话流程，
同时具备高度的个性化和情境感知能力。
工作职责：
负责大规模语料库的构建和维护，进行数据清洗、预处理和标注；
负责命名实体审核模型的构建并从非结构化数据中提取相关实体；
负责命名实体识别模型的构建并从结构化数据中提取相关实体；
负责句子主题相关任务的实现；

工作成果：

文本分类任务：
项目描述：随着互联网的普及和发展，大量的新闻信息涌入我们的生活。然而，这些新闻信息的质量参差不齐，有些甚至包含虚假或误导性的内容。
因此，对新闻进行有效的分类和筛选，以便用户能够快速获取真实、有价值的信息，成为了一个重要的课题。

在本项目中，使用搜狗实验室提供的新闻数据集，并采用随机森林、bert-base-chinese模型对整理后的新闻数据集进行分类任务，

工作职责：
工作成果：

项目介绍：
项目描述：
醒目架构：
开发环境：
工作职责：
参与大语言模型工具链规划设计、开发建设、运营运维等工作，以提升模型性能和应用效果；
参与大模型训练微调、推理部署、模型评测等工作，以实现大模型在特定领域或任务上的表现和性能；
参与设计和实现微调方案，评估和分析微调结果，调整模型性能等，以提高模型性能；
技术优化与迭代：深入研究LLM大模型的前沿技术，探索大模型在各领域的创新及应用，对模型进行持续的调优和迭代，确保平台的高效性、可扩展性以及鲁棒性

技术研究：推动技术创新
性能评估：对算法效果进行评估和测试，确保满足产品需求以及业务目标；
编写算法设计文档、技术规范和用户手册，为团队成员提供必要的技术

工作成果：
通过对打模型进行模型微调和技术改进，准确率提升到93%；
通过对大模型的技术更新迭代，大大提高了平台的鲁棒性、可扩展性以及稳定性；
通过对Transformer模型的超参数调整，有效解决过拟合和欠拟合问题；
通过对用户满意度调查结果显示，对话质量显著提升，投诉率下降20%；
降低了人工客服成本，节省了约15%的运营预算。

自我评价：
多年工作经验，参与过多个项目的开发，熟悉常见业务处理，能快速融入团队；
具备良好的数据处理、特征工程和模型评估能力；
具有良好的英文文献阅读能力，熟练阅读英文技术文档；
具备良好的文档撰写能力，多年博客撰写经验并在工作之余输出技术文档；
逻辑思维能力强，做事有条理，工作思路清晰；
学习能力强，对人工智能有着强烈的好奇心，有很强的自我驱动能力；
持续关注和学习人工智能领域的最新研究进展和发展趋势，特别是人工智能新功能和最佳实践。

=====================================================================================================================================
IT专业技能：
1、Linux：
2、数据库：
3、Python基础：
扎实的编程基础：深入理解Python核心特性：装饰器、上下文管理器、生成器、元编程，熟练使用Python常用类库进行项目开发
4、Fastapi：
精通FastAPI框架核心组件：路由系统、依赖注入、中间件
FastAPI（精通）：熟悉异步请求处理、依赖注入、Pydantic 数据验证、OpenAPI/Swagger 文档生成
掌握RESTful API设计规范，熟悉 ORM（Django ORM/SQLAlchemy）

5、机器学习：熟练掌握经典机器学习算法(分类、回归、聚类等)及Scikit-learn实现掌握经典机器学习算法的原理和应用场景，具备数据预处理和特征工程能力，能够独立完成数据清洗、数据预处理、特征工程和模型评估等工作；6、深度学习：
7、NLP：
8、大模型：
9、
10、
11、
12、
13、
14、
15、
16、
17、
18、
19、
20、

工作一：
撰写建议：大模型、后端相关
工作职责：
负责大规模语料库的构建和维护，进行数据清洗、预处理和标注；
 参与大语言模型工具链规划设计、开发建设、运营运维等工作，以提升模型性能和应用效果；
 参与大模型训练微调、推理部署、模型评测等工作，以实现大模型在特定领域或任务上的表现和性能；
 参与设计和实现微调方案，评估和分析微调结果，调整模型性能等，以提高模型性能；
 负责提示词的编写、构建、优化和迭代，提升检索准确性；
 负责知识库的构建和完善；
 负责插件的编写、上线等；
 负责智能体的编排、评估、部署、评测等，并撰写评估报告和操作手册；
 负责接口的调用并上线；
 负责知识库、插件库、智能体库的管理；
 负责分类模型API的开发，提供接口服务；
 完成公司安排的其他工作内容；
 深入研究LLM大模型的前沿技术，探索大模型在各领域的创新及应用，推动技术创新；
 对模型进行持续的调优和迭代，确保满足产品需求以及业务目标，确保平台的高效性、可扩展性以及鲁棒性。
工作成果：

工作二：
撰写建议：
机器学习、后端、深度学习、NLP相关
工作职责：
负责数据预处理、特征提取、模型构建、模型部署、模型评估等工作，确保模型的准确性、健壮性、可扩展性和泛化能力
负责传统机器学习分类/回归模型开发及优化；
训练和优化预测模型，确保模型的准确性和泛化能力
跟踪前沿技术发展，探索新的算法和模型架构，不断提升系统的智能化水平。
优化模型部署流程，提高系统稳定性

	负责机器学习/深度学习模型的开发、训练、部署及优化，确保模型的高性能和稳定性。负责大规模数据集的处理，并进行数据清洗、特征工程，构建高效的数据处理流程。优化模型性能，包括超参数调优、架构改进，确保模型满足业务需求。将机器学习模型部署至生产环境，并开发相应的API接口供业务系统调用。监控模型在生产环境的表现，及时发现并修复数据漂移或性能下降问题。研究并应用最新的机器学习算法和技术，提升团队的技术能力。与产品、数据、工程团队协作，确保机器学习解决方案有效落地。编写高质量、可维护的代码，遵循MLOps最佳实践，确保模型的可复现性。确保模型符合数据安全和隐私保护要求（如GDPR）。指导初级工程师，参与技术评审，推动团队技术发展。优化模型部署流程，提高系统稳定性跟踪AI领域最新进展（如大语言模型、扩散模型），评估其在业务中的应用潜力。1、负责NLP技术和机器人对话开发，在人机对话、自动问答以及语义理解等方向上的研究和开发，应用于系统。2、探索自然语言和机器人对话开发、探索新技术在业务中的落地和创新，并迅速进行转化；工作成果：

相关文章：