一、LoRA（Low-Rank Adaptation）
LoRA（Low-Rank Adaptation）是一种在机器学习和深度学习领域使用的技术，主要用于在大规模预训练模型（如BERT、GPT等）上进行高效的参数微调。LoRA的核心思想是通过限制模型参数的变化范围来减少微调所需的计算资源和存储需求，同时保持模型的性能。
以下是LoRA的主要原理和优点：
原理
- 低秩矩阵分解： LoRA假设预训练模型的权重矩阵变化可以近似为两个低秩矩阵的乘积。具体来说，对于一个权重矩阵W，LoRA将其变化ΔW表示为ΔW = A * B，其中A和B是低秩矩阵。通过这种分解，参数更新的数量显著减少。
- 冻结部分权重： 在微调过程中，LoRA通常会冻结预训练模型的大部分参数，只允许低秩矩阵A和B进行更新。这种方法减少了需要训练的参数数量，从而降低了计算和存储的需求。
优点
- 高效性： 由于只更新低秩矩阵A和B，LoRA显著减少了训练所需的计算资源和存储空间。这对于资源有限的应用场景非常有利。
- 性能保持： 尽管LoRA减少了参数更新的数量，但其性能通常与全参数微调相当。这意味着在保持模型性能的同时，LoRA实现了更高的训练效率。
- 适用性广： LoRA适用于各种预训练模型，包括自然语言处理（NLP）、计算机视觉（CV）等领域的模型，使得它成为一种通用的微调方法。
应用场景
- 自然语言处理： 在NLP任务中，LoRA可以用于大规模语言模型的微调，如BERT、GPT等，以适应特定的任务需求（如情感分析、问答系统等）。
- 计算机视觉： 在CV任务中，LoRA可以用于微调预训练的卷积神经网络（CNN），以适应特定的图像分类或目标检测任务。
总结
LoRA通过低秩矩阵分解和冻结大部分权重，实现了大规模预训练模型的高效微调。这种方法在保持模型性能的同时，大大减少了计算和存储需求，适用于各种预训练模型的应用场景。
二、LoRa（Long Range）
LoRa（Long Range）是Semtech开发的低功耗广域网（LPWAN）通信技术，是依chirp展频（CSS）技术衍生的展频调变技术为基础。是由法国格勒诺布尔的Cycleo公司所发展，后来被LoRa Alliance的创立成员Semtech所收购。
LoRa使用专用的展频调变技术，类似chirp展频的扩展。展频LoRa调变的做法是将酬载的每一个位元用多个chirp资讯来表示。LoRa定义了通讯栈中较低的物理层，没有定义上层的网络协定。有许多协定可以定义LoRa上层的网络协定，LoRaWAN（long range wide-area network）就是其中之一。LoRaWAN是以云为基础的介质访问控制（MAC）层协定，但其作用类似网络层，管理LPWAN网关和终端节点之间的通讯，类似路由协定，由LoRa联盟维护。
LoRa使用免许可的无线电频段（如868 MHz和915 MHz），提供长距离、低功耗的数据传输。
主要特点：
- 长距离传输：LoRa可以在低功耗下实现长距离数据传输，通常可以达到数公里。
- 低功耗：适用于电池供电的设备，能够延长设备的使用寿命。
- 低数据速率：适用于需要发送少量数据的应用场景，如传感器数据。
- 免许可频段：使用ISM频段（如868 MHz和915 MHz），无需频谱许可。
- 网络架构：通常与LoRaWAN协议结合使用，LoRaWAN是一种针对LoRa的网络协议，支持设备间的双向通信和大规模物联网网络部署。
应用：
LoRa主要应用于物联网领域，例如智能城市、智能农业、环境监测和工业自动化等，需要远程监控和数据收集的场景。