发表于

数据准备（pytorch代码）：dataset/data_loader/

batch -> forward -> loss calculation -> backward -> gradient update

效果评估：validation

反向传播的逐层推导：https://zhuanlan.zhihu.com/p/562350328
pytorch自动优化器autograd的实现

BGD：全样本
SGD：单样本
mini-batch SGD：批次样本

优化器：SGD/Momentum/NAG/Adagrad/RMSprop/Adadelta/Adam/AdamW
数学原理：凸优化/最优化算法

损失函数：CRE/MSE/SOFTMAX/SIGMOID

过拟合：数据增强/L1/L2正则/EarlyStop/Dropout

欠拟合：模型调小/加数据

梯度消失/梯度爆炸：BN/LN

阅读全文 »

发表于

1 项目简介

云计算概论课程大作业(2018上半年)，即设计云计算相关的一个项目。本文选择在hadoop云计算平台上利用MapReduce框架实现一个重要的机器学习算法，K-近邻算法。k-近邻(k-Nearest Neighbors)，即KNN算法，其中k是一个大于0的整数。

Hadoop是一个可以运行MapReduce程序的平台，在避开分布式系统的底层细节下能够开发分布式程序的能力，可以充分发挥分布式集群的运算和存储能力。

KNN分类算法是在一个数据集中找出与给定查询数据点最近的k个数据点，根据这些数据点的标签推断给定数据点的标签。从机器学习的角度，KNN就是在训练集(带标签的数据点集)中分别找出与测试集(标签未知或隐藏的数据点集)中的各个点的k个最近的相邻点。KNN是一种懒学习方法，真正的计算只在分类时才进行。

阅读全文 »

发表于
  • MPI 跨节点并行，并行度高
    • 分布式系统

  • pThread 接近底层，灵活

    • 提供虚拟地编写任何可知线程行为的能力
    • 共享内存

  • openmp 隐藏底层细节

    • 允许编译器和运行时系统决定线程行为的一些细节
    • 使用openmp编写一些并行行为更容易
    • 很难对一些底层的线程交互进行编程
    • 共享内存
阅读全文 »

发表于

SQLite是一个软件库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 源代码不受版权限制。

阅读全文 »