机器学习/深度学习

|

**算法预览图省略** MATLAB 2022A版中，运用BP神经网络进行64QAM解调。64QAM通过6比特映射至64复数符号，提高数据速率。BP网络作为非线性解调器，学习失真信号到比特的映射，对抗信道噪声和多径效应。网络在处理非线性失真和复杂情况时展现高适应性和鲁棒性。核心代码部分未显示。

|

球类识别系统，本系统使用Python作为主要编程语言，基于TensorFlow搭建ResNet50卷积神经网络算法模型，通过收集 '美式足球', '棒球', '篮球', '台球', '保龄球', '板球', '足球', '高尔夫球', '曲棍球', '冰球', '橄榄球', '羽毛球', '乒乓球', '网球', '排球'等15种常见的球类图像作为数据集，然后进行训练，最终得到一个识别精度较高的模型文件。再使用Django开发Web网页端可视化界面平台，实现用户上传一张球类图片识别其名称。

| |

**LLM主要类别概览：** 1. **自回归模型 (AR)** - 如GPT，特点是Decoder-Only，利用上下文信息预测单词，适合自然语言生成任务。 2. **自编码模型 (AE)** - 以BERT为代表，利用上下文的双向信息进行预训练，擅长自然语言理解任务。 3. **序列到序列模型 (Seq2Seq)** - 包含编码器和解码器，用于序列转换任务，如机器翻译。 GPT是Decoder-Only模型，预训练包括两阶段： - **无监督预训练**：预测序列中缺失的单词。 - **有监督微调**：根据下游任务调整模型，如分类、问答等。

| |

**LLM主要类别包括自编码模型（如BERT，专注内容理解），自回归模型，和序列到序列的encoder-decoder模型。BERT是预训练的双向编码器，使用Transformer架构，通过Masked LM和Next Sentence Prediction任务学习上下文表示。其特点包括：使用Transformer层、12层深度、768维特徵、12个注意力头和约1.15亿总参数。BERT在多项NLP任务中刷新纪录，适用于分类和理解任务，但不适合生成任务。**

| |

本文旨在探讨如何使用Python编程语言及其强大的数据处理库（如pandas、numpy等）来构建一个高效且灵活的数据清洗与预处理流程。与常规的数据清洗方法不同，本文不仅关注于传统的缺失值填充、异常值处理、数据类型转换等步骤，还引入了数据质量评估、数据特征选择以及自动化处理流程的设计等高级主题。通过实际案例和代码演示，本文将为读者提供一套完整的数据清洗与预处理解决方案，助力数据分析师和数据科学家在数据探索阶段更加高效、准确地处理数据。

| |

在数据驱动的时代，数据分析已成为企业决策的关键环节。本文介绍如何利用Python编程语言及其强大的数据分析库Pandas，构建一套高效且可扩展的数据分析流程。与常规的数据分析流程不同，本文不仅涵盖数据加载、清洗、转换等基础步骤，还强调数据可视化、模型探索与评估等高级分析技巧，并通过实际案例展示如何在Python中实现这些步骤，为数据分析师提供一套完整的数据分析解决方案。

| |

Prompt-Tuning是一种在大型语言模型中进行下游任务适配的技术，起源于GPT-3的In-context Learning和Demonstration Learning。它通过构建Prompt（提示）和Verbalizer（标签映射）来转换任务，比如将分类任务转化为填空问题。PET模型是Prompt-Tuning的早期实践，通过固定模板（Pattern）和标签词（Verbalizer）来实现。Prompt-Oriented Fine-Tuning是Prompt-Tuning的一种形式，将任务转换为与预训练任务相似的形式，如BERT的MLM任务。

| |

Prompt-Tuning是NLP领域的新兴技术，旨在减少预训练模型Fine-Tuning的需要。它通过构造提示（Prompt）使预训练模型能适应各种任务，降低了语义偏差和过拟合风险。Prompt作为任务的“提示词”，可以是人工定义、自动搜索或生成的模板，与预训练的MLM头结合使用，只需少量甚至无标注数据，通过标签词映射进行预测。此方法从GPT-3的In-Context Learning发展至今，包括了连续Prompt、大规模模型的Instruction-tuning和Chain-of-Thought等进展。 Prompt-Tuning是向少监督、无监督学习迈进的关键研究。

| |

分类模型评估通常涉及准确率、召回率和F1值。准确率是正确分类样本的比例，但在类别不平衡时可能误导，例如一个模型总是预测多数类，即使误分类少数类也能有高准确率。召回率关注的是真正类被正确识别的比例，而精确率则衡量预测为正类的样本中真正为正类的比例。F1值是精确率和召回率的调和平均数，提供了两者之间的平衡。在sklearn中，可以使用`recall_score`, `precision_score` 和 `f1_score` 函数来计算这些指标。在类别重要性不同时，需根据业务需求选择合适的评估标准。

| |

特征缩放是机器学习预处理的关键步骤，它包括归一化和标准化。归一化通过最大最小值缩放，将数据转换到[0,1]区间，有助于梯度下降算法更快收敛，减少数值较大特征的影响。标准化则通过减去均值并除以标准差，确保数据具有零均值和单位方差，适用于关注数据分布情况的算法。例如，欧氏距离计算时，未归一化的特征可能导致模型偏向数值较大的特征。归一化能提升模型精度，尤其是当距离度量如欧式距离时。常见的实现方法有`MinMaxScaler`，它将每个特征值缩放到用户指定的范围，如[0,1]。而`StandardScaler`执行Z-Score标准化，数据分布符合标准正态分布。