PaddlePaddle使用预训练的embedding

PaddlePaddle使用预训练的embedding

有的时候,我们希望用少量的数据来训练一个模型,但又希望这个模型有泛化能力。如果直接用少量的数据去训练一个复杂的nn的模型,肯定会严重过拟合,模型会把所有样本都记住,之后就没有任何泛化能力。这种情况下,我们一般先采用大数据预训练的embeding来解决。这篇文章探讨在paddlepaddle里面如何使用预训练的embeding。如果预先的embedi……

域名迁移到xqiao.com.cn

域名迁移到xqiao.com.cn

smallqiao.com即将到期,godaddy上的续费价格太贵,不准备续费了,之后将启用新的域名:xqiao.com.cn。……

深度学习中的激活函数

深度学习中的激活函数

激活函数是深度学习中重要的一环,主要使得神经网络具备非线性表达能力。有的激活函数,本身就能作为一个机器学习算法,比如sigmoid函数。今天我们来学习一下常见的激活函数。1、sigmoid & softmaxsigmoid:$$y = \frac{1}{1+e^(-x)}$$,将输入影响到(0,1)之间softmax是sigmoid的泛化形式……

word2vec训练心得

word2vec训练心得

最近研究了一下word2vec的训练,使用的是谷歌c语言版本,根据提示用-ofast编译,挂是tcmalloc,然后训练起来飞快,单机完全能hold住。训练数据:用户query log session数据,把同一用户在一段时间内连续的搜索,点击title放到一行,比如规定两次行为之间相隔不超过10分钟,就认为这两个行为可以连成一起。数据处理:先切词,再……

腾讯2014校园招聘TST内推计划开始了

腾讯2014校园招聘TST内推计划开始了

以前发过多次这种内推了,说明一下,这个TST内推要求比较高,简历先到我这里,我先会简单做一下筛选,然后发到hr那边,hr那边会做比较严格的筛选。因此,希望大家简历好好写写,突出自己的专长。对于还在学校里面学习的同学来说,希望你们好好学习技术,多参加技术方面的比赛,如acm,或者有自己的作品。注意简历请发到我的邮箱dlutwy@qq.com,另外务必填写一下附……

100题_32 两个序列的和的差最小

100题_32 两个序列的和的差最小

有两个序列a,b,大小都为n,序列元素的值任意整数,无序;要求:通过交换a,b 中的元素,使[序列a 元素的和]与[序列b 元素的和]之间的差最小。例如:var a=[100,99,98,1,2, 3];var b=[1, 2, 3, 4,5,40];  ————————————————————2011年3月23日更新感谢lambda2fe……

100题_34 找出数组中两个只出现一次的数字

100题_34 找出数组中两个只出现一次的数字

个整型数组里除了两个数字之外,其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。要求时间复杂度是O(n),空间复杂度是O(1)。可能大家都见识过找出一个只出现一次的数,直接把所有的数异或就可以了,最终的结果就是这个数了。但是如果出现两个这样的数,那又将如何呢? 假如这两个数为a和b,那么将所有的数异或得到的数必定为a^b。由于a和……

100题_29 调整数组顺序使奇数位于偶数

100题_29 调整数组顺序使奇数位于偶数

输入一个整数数组,调整数组中数字的顺序,使得所有奇数位于数组的前半部分,所有偶数位于数组的后半部分。要求时间复杂度为O(n)。这题跟之前的排好序列求和有点类似。我们可以永类似于快速排序的方法来做:用一个头指针和一个尾指针,向中间扫描,前面遇到偶数,后面遇到奇数暂停,交换这两个指针的指向,接着向中间扫描,直到两个指针相遇。 代码实现如下:代……

100题_25 在从1到n的正数中1出现的

100题_25 在从1到n的正数中1出现的

输入一个整数n,求从1到n这n个整数的十进制表示中1出现的次数。例如输入12,从1到12这些整数中包含1 的数字有1,10,11和12,1一共出现了5次。   如果按照常规的思路来解决这个问题:首先考虑如何计算一个数n中1的个数,我们可以采用类似于求二进制1的个数的求法,每次除,并取余,看看余是不是1来确定。这样总共的时间复杂度将是O(n),这……

100题_24 栈的push、pop序列

100题_24 栈的push、pop序列

输入两个整数序列。其中一个序列表示栈的push顺序,判断另一个序列有没有可能是对应的pop顺序。为了简单起见,我们假设push序列的任意两个整数都是不相等的。比如输入的push序列是1、2、3、4、5,那么4、5、3、2、1就有可能是一个pop系列。因为可以有如下的push和pop序列:push 1,push 2,push 3,push 4,pop,push……