上药三品,神与气精

曾因酒醉鞭名马 生怕情多累美人


  • 首页

  • 关于

  • 分类

  • 标签

  • 归档

  • 搜索

flask+gevent使用实例

发表于 2018-03-14 | 分类于 web | 阅读次数:
字数统计: 229 | 阅读时长 ≈ 1
"""Asynchronous requests in Flask with gevent"""

from time import time

from flask import Flask, Response

from gevent.pywsgi import WSGIServer
from gevent import monkey

import requests

# need to patch sockets to make requests async
monkey.patch_all()

CHUNK_SIZE = 1024*1024  # bytes

app = Flask(__name__)  # pylint: disable=invalid-name
app.debug = True


@app.route('/Seattle.jpg')
def seattle(requests_counter=[0]):  # pylint: disable=dangerous-default-value
    """Asynchronous non-blocking streaming of relatively large (14.5MB) JPG
    of Seattle from wikimedia commons.
    """
    requests_counter[0] += 1
    request_num = requests_counter[0]
    url = 'http://upload.wikimedia.org/wikipedia/commons/3/39/Seattle_3.jpg'

    app.logger.debug('started %d', request_num)

    rsp = requests.get(url, stream=True)

    def generator():
        "streaming generator logging the end of request processing"
        yield ''  # to make greenlet switch
        for data in rsp.iter_content(CHUNK_SIZE):
            yield data
        app.logger.debug('finished %d', request_num)

    return Response(generator(), mimetype='image/jpeg')


def main():
    "Start gevent WSGI server"
    # use gevent WSGI server instead of the Flask
    http = WSGIServer(('', 5000), app.wsgi_app)
    # TODO gracefully handle shutdown
    http.serve_forever()


if __name__ == '__main__':
    main()

使用测试:

pip install flask gevent requests

python async_flask.py & siege -c 1000 -t 5s http://127.0.0.1:5000/Seattle.jpg    

python当中的并发

发表于 2018-03-13 | 阅读次数:
字数统计: 361 | 阅读时长 ≈ 1

并发的表现形式,并行处理是软件工程领域最广泛的话题之一。

两个事件互不影响,则两个事件是并发的。
CPython的线程实现中带有一些麻烦的细节,使得实用性降低了。

GIL 只是强制在任何时候只有一个线程可以执行python代码

多线程可以使用的场景:

  • 构建响应式界面
  • 委派工作
  • 构建多用户应用程序

如何让用户控制使用哪个处理后端(进程或者线程)

from multiprocessing import Pool as ProcessPool
from multiprocessing.dummpy import Pool as ThreadPool


def main(use_threads=False):
    if use_threads:
        pool_cls = ThreadPool
    else:
        pool_cls = ProcessPool

    with pool_cls(4) as p:
        results = p.map(fetch_place, PLACES)

    for result in results:
        present_result(result)

异步编程

异步编程的解决方案,如twisted tornado eventlet,真的值得了解

协同多任务是异步编程的核心。每个进程都在空闲时自动释放控制以允许同时执行多个程序。

gevent 的工作方式,gevent 的作用一条线程跑多个协程,适合多 IO 操作。

需要强调的是引入 gevent 不会加快获取数据的速度,例如,原来是 30ms,引入之后不会变少,只会变多,那么引入的好处是什么?原来你能在1秒之内接待33个客户端请求,引入之后可能可以接待100个/s,也可能接待 300个/s,这才是 gevent 的好处。

flask and gevent

发表于 2018-03-13 | 分类于 web | 阅读次数:
字数统计: 359 | 阅读时长 ≈ 1

异步 WEB 架构的特点:

gevent 为 Python 提供了比较完善的协程支持,其基于 greenlet 实现协程。

当 greenlet 遇到如网络访问、磁盘 IO 等操作时,就将自动切换至其他的 greenlet,待操作完成后,在适合的时间点回切 greenlet 继续执行。由于网络访问、磁盘 IO 等操作耗时较长,且实际 CPU 使用率较低(大部分工作由 DMA 等设备完成)。所以倘若非异步,涉及以上操作并发将以顺序执行, CPU 长期处于空闲状态。而异步模式将能实现并发程序间的切换,从而保证 CPU 有较高的利用率,而不是等待如网络访问、磁盘 IO 等操作。

注意:gevent 的使用并不能减少实际 CPU 的使用量,所以若程序的执行过程消耗的全为 CPU 资源,则其异步也是毫无意义的。

Flask+gevent 的最小程序实例:

最小程序实例如下。

from gevent import monkey
monkey.patch_all()
from flask import Flask
from gevent import pywsgi

app = Flask(__name__)

@app.route('/')
def index():
    return 'Hello World'

server = pywsgi.WSGIServer(('127.0.0.1', 5000), app)
server.serve_forever()

注意:为实现 Flask 与 gevent 的结合,需在程序开头引入 monkey patch。monkey patch 将以闭包的形式修改可以实现异步的标准库,从而实现异步。

注意:需使用支持 gevent 的 WSGI,例如:gevent.pywsgi、gunicorn 等。

python基础20题

发表于 2018-03-10 | 阅读次数:
字数统计: 2.1k | 阅读时长 ≈ 8

1.简述函数式编程

在函数式编程中,函数是基本单位,变量只是一个名称,而不是一个存储单元。除了匿名函数外,Python还使用fliter(),map(),reduce(),apply()函数来支持函数式编程。

2.什么是匿名函数,匿名函数有什么局限性

匿名函数,也就是lambda函数,通常用在函数体比较简单的函数上。匿名函数顾名思义就是函数没有名字,因此不用担心函数名冲突。不过Python对匿名函数的支持有限,只有一些简单的情况下可以使用匿名函数。

3.如何捕获异常,常用的异常机制有哪些?

如果我们没有对异常进行任何预防,那么在程序执行的过程中发生异常,就会中断程序,调用python默认的异常处理器,并在终端输出异常信息。

try…except…finally语句:当try语句执行时发生异常,回到try语句层,寻找后面是否有except语句。找到except语句后,会调用这个自定义的异常处理器。except将异常处理完毕后,程序继续往下执行。finally语句表示,无论异常发生与否,finally中的语句都要执行。

assert语句:判断assert后面紧跟的语句是True还是False,如果是True则继续执行print,如果是False则中断程序,调用默认的异常处理器,同时输出assert语句逗号后面的提示信息。

with语句:如果with语句或语句块中发生异常,会调用默认的异常处理器处理,但文件还是会正常关闭。

4.copy()与deepcopy()的区别

copy是浅拷贝,只拷贝可变对象的父级元素。 deepcopy是深拷贝,递归拷贝可变对象的所有元素。

5.函数装饰器有什么作用(常考)

装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景。有了装饰器,就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。

6.简述Python的作用域以及Python搜索变量的顺序

Python作用域简单说就是一个变量的命名空间。代码中变量被赋值的位置,就决定了哪些范围的对象可以访问这个变量,这个范围就是变量的作用域。在Python中,只有模块(module),类(class)以及函数(def、lambda)才会引入新的作用域。Python的变量名解析机制也称为 LEGB 法则:本地作用域(Local)→当前作用域被嵌入的本地作用域(Enclosing locals)→全局/模块作用域(Global)→内置作用域(Built-in)

7.新式类和旧式类的区别,如何确保使用的类是新式类

为了统一类(class)和类型(type),python在2.2版本引进来新式类。在2.1版本中,类和类型是不同的。

为了确保使用的是新式类,有以下方法:

放在类模块代码的最前面 metaclass = type
从内建类object直接或者间接地继承
在python3版本中,默认所有的类都是新式类。

8.简述new和init的区别

创建一个新实例时调用new,初始化一个实例时用init,这是它们最本质的区别。

new方法会返回所构造的对象,init则不会.

new函数必须以cls作为第一个参数,而init则以self作为其第一个参数.

9.Python垃圾回收机制(常考)

Python GC主要使用引用计数(reference counting)来跟踪和回收垃圾。在引用计数的基础上,通过“标记-清除”(mark and sweep)解决容器对象可能产生的循环引用问题,通过“分代回收”(generation collection)以空间换时间的方法提高垃圾回收效率。

1 引用计数

PyObject是每个对象必有的内容,其中ob_refcnt就是做为引用计数。当一个对象有新的引用时,它的ob_refcnt就会增加,当引用它的对象被删除,它的ob_refcnt就会减少.引用计数为0时,该对象生命就结束了。

优点:

简单 实时性 缺点:

维护引用计数消耗资源 循环引用

2 标记-清除机制

基本思路是先按需分配,等到没有空闲内存的时候从寄存器和程序栈上的引用出发,遍历以对象为节点、以引用为边构成的图,把所有可以访问到的对象打上标记,然后清扫一遍内存空间,把所有没标记的对象释放。

3 分代技术

分代回收的整体思想是:将系统中的所有内存块根据其存活时间划分为不同的集合,每个集合就成为一个“代”,垃圾收集频率随着“代”的存活时间的增大而减小,存活时间通常利用经过几次垃圾回收来度量。

Python默认定义了三代对象集合,索引数越大,对象存活时间越长。

10.Python中的@property有什么作用?如何实现成员变量的只读属性?

@property装饰器就是负责把一个方法变成属性调用,通常用在属性的get方法和set方法,通过设置@property可以实现实例成员变量的直接访问,又保留了参数的检查。另外通过设置get方法而不定义set方法可以实现成员变量的只读属性。

11.*args and **kwargs

*args代表位置参数,它会接收任意多个参数并把这些参数作为元组传递给函数。**kwargs代表的关    
键字参数,允许你使用没有事先定义的参数名,另外,位置参数一定要放在关键字参数的前面。

12.有用过with statement吗?它的好处是什么?具体如何实现?

with语句适用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的“清理”操作,释放资源,比如文件使用后自动关闭、线程中锁的自动获取和释放等。

13.写出代码输出 并解释

def extend_list(val, list=[]):
list.append(val)
return list

list1 = extend_list(10)
list2 = extend_list(123, [])
list3 = extend_list('a')

print(list1) # list1 = [10, 'a']
print(list2) # list2 = [123, []]
print(list3) # list3 = [10, 'a']

class Parent(object):
    x = 1

class Child1(Parent):
    pass

class Child2(Parent):
    pass

print(Parent.x, Child1.x, Child2.x)  # [1,1,1]
Child1.x = 2
print(Parent.x, Child1.x, Child2.x)  # [1,2,1]
Partent.x = 3
print(Parent.x, Child1.x, Child2.x)  # [3,2,3]

14.在一个二维数组中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。

arr = [[1,4,7,10,15], [2,5,8,12,19], [3,6,9,16,22], [10,13,14,17,24], [18,21,23,26,30]]

def getNum(num, data=None):
    while data:
        if num > data[0][-1]:
            del data[0]
            print(data)
            getNum(num, data=None)
        elif num < data[0][-1]:
            data = list(zip(*data))
            del data[-1]
            data = list(zip(*data))
            print(data)
            getNum(num, data=None)
        else:
            return True
            data.clear()
    return False


if __name__ == '__main__':
    print(getNum(18, arr))    

15.获取最大公约数、最小公倍数

a = 36
b = 21

def maxCommon(a, b):
    while b: a,b = b, a%b
    return a

def minCommon(a, b):
    c = a*b
    while b: a,b = b, a%b
    return c//a

if __name__ == '__main__':
    print(maxCommon(a,b))
    print(minCommon(a,b))

16.获取中位数

def median(data):
    data.sort()
    half = len(data) // 2
    return (data[half] + data[~half])/2

l = [1,3,4,53,2,46,8,42,82]

if __name__ == '__main__':
    print(median(l))    

17.输入一个整数,输出该数二进制表示中1的个数。其中负数用补码表示。

def getOneCount(num):
    if num > 0:
        count = b_num.count('1')
        print(b_num)
        return count
    elif num < 0:
        b_num = bin(~num)
        count = 8 - b_num.count('1')
        return count
    else:
        return 8

if __name__ == '__main__':
    print(getOneCount(5))
    print(getOneCount(-5))
    print(getOneCount(0))    

python基础小结25

发表于 2018-03-10 | 阅读次数:
字数统计: 1.5k | 阅读时长 ≈ 5

1.什么是Python?使用Python有什么好处?

Python是一种编程语言,它有对象、模块、线程、异常处理和自动内存管理。

它简洁、简单、方便、容易扩展,有许多自带的数据结构,而且它开源。

2.什么是PEP8?

PEP8是一个编程规范,内容是一些关于如何让你的程序更具可读性的建议。

3.什么是pickling和unpickling?

Pickle模块读入任何Python对象,将它们转换成字符串,然后使用dump函数将其转储到一个文件中——

这个过程叫做pickling。反之从存储的字符串文件中提取原始Python对象的过程,叫做

unpickling。

4.Python是如何被解释的?

Python是一种解释性语言,它的源代码可以直接运行。Python解释器会将源代码转换成中间语言,

之后再翻译成机器码再执行。

5.Python是怎样管理内存的?

Python的内存管理是由私有heap空间管理的。所有的Python对象和数据结构都在一个私有heap中。    
程序员没有访问该heap的权限,只有解释器才能对它进行操作。为Python的heap空间分配内存是由    
Python的内存管理模块进行的,其核心API会提供一些访问该模块的方法供程序员使用。Python有自    
带的垃圾回收系统,它回收并释放没有被使用的内存,让它们能够被其他程序使用。

6.有哪些工具可以帮助debug或做静态分析?

PyChecker是一个静态分析工具,它不仅能报告源代码中的错误,并且会报告错误类型和复杂度。    
Pylint是检验模块是否达到代码标准的另一个工具。

7.什么是Python装饰器?

Python装饰器是Python中的特有变动,可以使修改函数变得更容易。

8.数组和元组之间的区别是什么?

数组和元组之间的区别:数组内容是可以被修改的,而元组内容是只读的。另外,元组可以被哈希,比    
如作为字典的关键字。

9.参数按值传递和引用传递是怎样实现的?

Python中的一切都是类,所有的变量都是一个对象的引用。引用的值是由函数确定的,因此无法被改    
变。但是如果一个对象是可以被修改的,你可以改动对象。

10.字典推导式和列表推导式是什么?

它们是可以轻松创建字典和列表的语法结构。

11.Python都有哪些自带的数据结构?

Python自带的数据结构分为可变的和不可变的。

可变的有:数组、集合、字典;

不可变的有:字符串、元组、数。    

12.什么是Python的命名空间?

在Python中,所有的名字都存在于一个空间中,它们在该空间中存在和被操作——这就是命名空间。它    
就好像一个盒子,每一个变量名字都对应装着一个对象。当查询变量的时候,会从该盒子里面寻找相应    
的对象。

13.Python中的lambda是什么?

这是一个常被用于代码中的单个表达式的匿名函数。

14.为什么lambda没有语句?

匿名函数lambda没有语句的原因,是它被用于在代码被执行的时候构建新的函数对象并且返回。

15.Python中的pass是什么?

Pass是一个在Python中不会被执行的语句。在复杂语句中,如果一个地方需要暂时被留白,它常常被    
用于占位符。

16.Python中什么是遍历器?

遍历器用于遍历一组元素,比如列表这样的容器。

17.Python中的unittest是什么?

在Python中,unittest是Python中的单元测试框架。它拥有支持共享搭建、自动测试、在测试中暂    
停代码、将不同测试迭代成一组,等等的功能。

18.在Python中什么是slicing(分片)?

Slicing是一种在有序的对象类型中(数组,元组,字符串)节选某一段的语法。

19.在Python中什么是构造器?

生成器是实现迭代器的一种机制。它功能的实现依赖于yield表达式,

除此之外它跟普通的函数没有两样。

20.Python中的docstring是什么?

Python中文档字符串被称为docstring,

它在Python中的作用是为函数、模块和类注释生成文档。

21.如何在Python中拷贝一个对象?

如果要在Python中拷贝一个对象,大多时候你可以用copy.copy()或者copy.deepcopy()。但并    
不是所有的对象都可以被拷贝。

22.Python中的负索引是什么?

Python中的序列索引可以是正也可以是负。如果是正索引,0是序列中的第一个索引,1是第二个索    
引。如果是负索引,(-1)是最后一个索引而(-2)是倒数第二个索引。

23.如何将一个数字转换成一个字符串?

你可以使用自带函数str()将一个数字转换为字符串。

如果你想要八进制或者十六进制数,可以用oct()或hex()。

24.Xrange和range的区别是什么?

Xrange用于返回一个xrange对象,而range用于返回一个数组。不管那个范围多大,Xrange都使用    
同样的内存。

25.Python中的模块和包是什么?

在Python中,模块是搭建程序的一种方式。每一个Python代码文件都是一个模块,并可以引用其他

的模块,比如对象和属性。

一个包含许多Python代码的文件夹是一个包。一个包可以包含模块和子文件夹。    
1…919293…109
John Cheung

John Cheung

improve your python skills

543 日志
33 分类
45 标签
RSS
GitHub Email
© 2020 John Cheung
本站访客数:
|
主题 — NexT.Pisces v5.1.4
博客全站共226.3k字