Summer Tree is Cyan

Thinking will not overcome fear but action will.

深度学习 | 应用

大规模深度学习、计算机视觉、语音识别、自然语言处理

关注夏木青微信公众号,回复关键词548448,即可获得《深度学习》第12章应用的原版学习资料(含思维导图)。 1 大规模深度学习 深度学习的基本思想是建立在连接机制上的,大量的神经元或者特征作用在一起往往能够表现出智能。 神经网络的进度和处理任务的复杂程度的提升,在一定程度上依赖于网络规模的提升。 事实上,在过去30年里,网络规模是以指数级的速度增长的。 本小节内容按一下六个部分展开...

Improving person re-identification by attribute and identity learning

Reading notes

论文连接 Abstract 研究现状 Most existing re-ID methods only take identity labels of pedestrians into consideration. 只考虑的行人的 身份标签。 属性 However, we find the attributes, containing detailed lo...

深度学习 | 实践方法论

性能度量、默认的基准模型、超参数选择、调试策略

关注夏木青微信公众号,回复关键词548447,即可获得《深度学习》第11章实践方法论的原版学习资料(含思维导图)。 在机器学习系统的日常开发中,实践者需要决定是否收集更多的数据,增加或减少模型容量,添加或删除正则化功能,改进模型的优化,改进模型的近似推断,或调试模型的软件实现。尝试这些操作都需要大量时间,因此确定正确做法,而不盲目猜测是尤为重要的。 在实践中,正确使用一个普通算法 通常...

深度学习 | 实战9-参数正则化

Github源码 要求 参数正则化 (一)要求:训练MNIST分类模型,比较不同学习率情况下,loss的收敛情况和实际精度acc的变化情况。比较添加参数正则化方法防止模型过拟合的效果。 模型结构要求:使用如下全连接网络: def model(x): w1=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(78...

深度学习 | 实战8-梯度截断

Github源码 要求 要求:在lenet MNIST分类中,应用梯度截断,使得梯度更新时,让每个变量的梯度分量保持在 min=-0.001, max=0.001的范围内。 比较使用如上要求的梯度截断,和不使用梯度截断时,训练过程中,loss的变化情况。 网络采用 lenet, batch size=8,iter=1000,每隔10步打印一次 mnist.validation.nex...

深度学习 | 实战7-连体网络MNIST优化

Github源码 要求 输入为两个MNIST图片,以及两者是否为相同数字的标签(0为相同数字,1为不同数字),输出为网络给出两者是否为同一数字的预测结果。 网络结构可以自己设计。比如两层网络:hidden1:784(28x28)->500; hidden2: 500->10,使用relu。也可以尝试Lenet网络或其他结构。 要求:1. 构建平衡测试集:(1)正例(同一数字...

深度学习 | 实战6-利用TensorBoard实现卷积可视化

Github源码 要求 卷积可视化: 在Lenet中,分别使用ReLU及sigmoid激活函数,观察不同情况下,Lenet学习MNIST分类时,参数的变化。 并在最终训练好Lenet的情况下,观察分类操作前的最后一个全连接层fc2的84位特征向量,比较不同类型样本的fc2特征图。 要求:提交代码,文档。文档包括可视化截图。 (1)tensorboard可视化包括:loss, acc,...

深度学习 | 实战5-用slim 定义Lenet网络,并训练测试

Github源码 要求 Slim Lenet 用slim 定义Lenet网络,并训练测试。 要求: 将Lenet 单独定义到Lenet.py 文件 可以定义为一个函数,例如: def lenet(images): 用with slim.arg_scope …..: 去管理 lenet中所有操作的默认参数, 例如activation_fn, weights_...

深度学习 | 实战4-将LENET封装为class,并用此封装好的lenet对minist进行分类

Github源码 要求 将LENET封装为class,并用此封装好的lenet对minist进行分类。 有关lenet定义请参考卷积网络课件最后2页;class封装的内容,请参考class封装课件 1. lenet 结构如附件描述。注意: (1)lenet 输入为32x32,而minist为28x28,故需要先对数据进行填充,例如: import numpy as np #Pad i...

深度学习 | 实战3-设计变量共享网络进行MNIST分类

Github源码 要求 设计变量共享网络进行MNIST分类: 网络结构如图所示: 其将图片样本分为上下两半X1,X2;分别送入input1,input2。后续的两个路径的线性加权模块 X_W=X*W 共享一个变量 name=’w’ 整个分类模型可描述为 softmax( X_W(X1)+X_W(X2)+b) 模型及流程可以参考我们课件part1上最后的那个一层全连接分MNIST的代...