标签:python

python只发http请求,不接收

最近在压一个http服务,如果发请求并接收请求会比较慢,但其实我不需要接收请求,只需要发送压力即可。研究了一下,使用python可以完成,发送效率提升比较明显,具体的代码如下:def crawl_query(line): try: url = g_url_template.replace("<query>&qu……

python中生成json的正确打开方式

先构建一个dict,然后调用json.dumps函数进行,其他方法都不太好。req_dict = {"client_id":"kaiwu", "query": line, "ei_source":2, "need_ei_text":True}data = ……

使用python抓数据

最近需要用python抓一些数据,发现抓到的数据跟浏览器看的不一样,成功率也不一样。查了很久也不知道原因,后来通过chrome网络监控发现浏览器发送的请求包括一些headers。python模拟请求时,也发送这些网络头即可。程序代码如下: 1: MAX_RETRY_TIMES = 3 2: TIMEOUT = 3 3: ……

[python] 汉字转拼音(支持多音字)

写了一个汉字转拼音的库,分享给大家,该库区别其他的库,是能正确处理多音字。解决的方法其实也很简单,基本上就是搞了个词典,对多音字组成的词,由词典给出注音。其中用到了分词,我使用的是jieba分词,注意我把里面的词典给替换了。目的是为了与注音词典一致,这样分好的词在注音词典中都能找到。第一次使用python写类,python的开发经验也不是太足,所以代码可……

[python] domain类

有的时候,我们希望能在规定host的情况得到domain。比如在给定http://www.baidu.com的情况下得到baidu.com。也许有人会说,这很简单,直接把www去掉就可以了。但是对于http://www.com.cn、abc.co.cc等host呢?它们的domain是什么呢?所以给定host求domain不单单是去除www这么简单了。我们……

python中的内存的强制转换

在c++,我们可以对一块内存直接转换成对应类型的指针就可以进行解析了,比如在一个string a中,我存储的实际上是一个uint64_t,我们可以直接用如下的代码进行访问:string a = “\45\7e\6d\9f\6a\ae\0\9b”;uint64_t &b = *((uint64_t *)a.data());那在python……

python识别网页的编码

解析一个网页,首先要知道这个网页的编码,然后再将网页的编码转成某一特定编码之后再进行一定的处理。python在带的库里面没有编码识别的模块。我们可以利用第三方模块chardet(大名鼎鼎的mozilla Universal encoding detector的python port)来解决。首先要安装chardet,安装很简单,直接用easy_instal……

python实现的链表栈

Stackclass EmptyStackException(Exception): passclass Element: def __init__(self, value, next): self.value = value self.next = nextclass Stack: def……

Python实现数据挖掘十大算法之Apriori

最近刚学Python,就用Python写了一个算法,由于不熟练的原因,实现得并不好,但结果是对的,代码如下:# -*- coding: UTF8 -*-import sysimport copydef init_pass(T): C = {} for t in T: for i in t: ……