python只发http请求,不接收

python只发http请求,不接收

最近在压一个http服务,如果发请求并接收请求会比较慢,但其实我不需要接收请求,只需要发送压力即可。研究了一下,使用python可以完成,发送效率提升比较明显,具体的代码如下:def crawl_query(line): try: url = g_url_template.replace("<query>&qu……

python中生成json的正确打开方式

python中生成json的正确打开方式

先构建一个dict,然后调用json.dumps函数进行,其他方法都不太好。req_dict = {"client_id":"kaiwu", "query": line, "ei_source":2, "need_ei_text":True}data = ……

将网站主机空间当vps主机使用

将网站主机空间当vps主机使用

最近入手了一个nas设备,但家里的宽带没有公网ip,所以就需要进行nat的穿透。网上查了查,可以frp来做反向代理来解决。但需要有一个有公网ip的vps主机来支持。但手头只有一个放博客的网站主机空间。研究了一下,我的这个空间是个全能空间,php可以运行system等脚本,试了了一下,可以运行自己上传的程序。那这就好办了,我把frps上传到空间里面,然后写了……

机器学习/深度学习中的损失函数

机器学习/深度学习中的损失函数

一般来说,我们进行机器学和深度学习任务时,都存在一个目标函数,算法便是对这个目标函数优化的过程。在分类或回归任务中,这个目标函数通常被称为损失函数(Loss function)或代价函数(Cost function)。损失函数是用来评价模型的预测值与真实的的不一致程度,它是一个非负实数,通常用来表示。损失函数越小,模型的效果就越好。设总共有N个样本的样本集……

Learn to rank中Pointwise、Pairwise和Listwise方法的本质区别

Learn to rank中Pointwise、Pairwise和Listwise方法的本质区别

利用机器学习解决排序问题,被称为Learn to rank,简称LTR。LTR方法通常可以分为Pointwise、Pairwise和Listwise三类。很多同学看了这三种方法的介绍之后,还是不明白它们的本质区别。尤其是Pointwise和Pairwise中的有些方法,我们用起来是一样的,都是根据模型输出的score进行排序,往往搞不清它们之间的区别。在我……

利用深度神经网络做推荐

利用深度神经网络做推荐

最近谷歌发表的一篇“怎么利用深度学习做推荐?”的论文很火。文论链接请点这里,感兴趣的同学可以下载来看看。文章把推荐问题转化成一个多分类问题,先利用传统的方法对用户可能感兴趣的视频进行召回,然后计算召回的视频在当前User和Context的情况下的概率,选择概率最大的视频推荐给用户。我们采用类似的思路,但把这个问题当成一个相关性问题,这样在物理意义上更加好解……

利用深度学习进行短文本分类

利用深度学习进行短文本分类

随着深度学习技术的不断发展,深度学习被用到了各个领域,比如点击率预估、推荐等。今天我来讲讲如何利用深度学习进行短文本分类,比如新闻title的或检索query的低俗识别。由于主流的深度学习框架都大同小异,本文以内部用到的lego模型为例来介绍如何基于深度学习进行短文本分类。熟悉其他深度学习框架的同学,可以很方便地apply到其他框架。1 网络构建:2……

使用python抓数据

使用python抓数据

最近需要用python抓一些数据,发现抓到的数据跟浏览器看的不一样,成功率也不一样。查了很久也不知道原因,后来通过chrome网络监控发现浏览器发送的请求包括一些headers。python模拟请求时,也发送这些网络头即可。程序代码如下: 1: MAX_RETRY_TIMES = 3 2: TIMEOUT = 3 3: ……

word2vec模型训练经验总结

word2vec模型训练经验总结

如何优化训练速度?编译优化:使用较新的gcc,编译时加上-ofast选项,并链接上tcmalloc库,这样能极大的提升程序效率;事先选择好特征,通过-read-vocab加载,这样word2vec不用从预料中去学习特征,省掉这一步能省很多训练时间;选择cbow模型,根据经验cbow模型比skip-gram模型快很多,并且效果并不比skip-……