Django4.0 缓存框架-设置缓存

2022-03-17 14:27 更新

缓存系统需要少量的设置。也就是说,你必须告诉它你的缓存数据应该放在哪里 —— 是在数据库中,还是在文件系统上,或者直接放在内存中。这是一个重要的决定,会影响你的缓存的性能;是的,有些缓存类型比其他类型快。

缓存设置项位于你的配置文件的缓存配置中。这里有缓存配置所有可用值的说明。

Memcached ​是一个完全基于内存的缓存服务器,最初开发用于处理 LiveJournal.com 的高负载,随后由 Danga Interactive 开源。 Facebook 和 Wikipedia 等网站使用它来减少数据库访问并显着提高网站性能。

Memcached ​以一个守护进程的形式运行,并且被分配了指定数量的 RAM。它所做的就是提供一个快速接口用于在缓存中添加,检索和删除数据。所有数据都直接存储在内存中,因此不会产生数据库或文件系统使用的开销。

在安装了 ​Memcached ​本身之后,你需要安装一个 ​Memcached ​绑定。有几个 Python ​Memcached ​绑定可用;Django 支持的两个绑定是 ​pylibmc ​和 ​pymemcache ​。

在 Django 中使用 ​Memcached ​:

设置 ​BACKEND ​为 ​django.core.cache.backends.memcached.PyMemcacheCache​ 或 ​django.core.cache.backends.memcached.PyLibMCCache​ (取决于你选择的 ​memcached ​绑定)。
将 ​LOCATION ​设置为 ​ip:port​ 值,其中 ​ip ​是 ​Memcached ​守护进程的 ​IP ​地址,​port ​是 ​Memcached ​运行的端口,或者设置为 ​unix:path​ 值,其中 ​path ​是 ​Memcached Unix socket​ 文件的路径。

在这个例子中,​Memcached ​运行在 localhost(127.0.0.1)端口 11211,使用 ​pymemcache ​绑定:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyMemcacheCache',
        'LOCATION': '127.0.0.1:11211',
    }
}

在这个例子中,​Memcached ​可以通过本地 ​Unix ​套接字文件 ​/tmp/memcached.sock​ 使用 ​pymemcache ​绑定:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyMemcacheCache',
        'LOCATION': 'unix:/tmp/memcached.sock',
    }
}

Memcached ​有一个很好的特性,就是它可以在多台服务器上共享一个缓存。这意味着你可以在多台机器上运行 ​Memcached ​守护进程,程序将把这组机器作为一个 单一 的缓存,而不需要在每台机器上重复缓存值。要利用这个特性,请在 ​LOCATION ​中包含所有服务器地址,可以是分号或逗号分隔的字符串,也可以是一个列表。
在这个例子中,缓存是通过运行在 IP 地址 172.19.26.240 和 172.19.26.242 上的 ​Memcached ​实例共享的,这两个实例都在 11211 端口上:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyMemcacheCache',
        'LOCATION': [
            '172.19.26.240:11211',
            '172.19.26.242:11211',
        ]
    }
}

在下面的例子中,缓存是由运行在 IP 地址 172.19.26.240(端口11211)、172.19.26.242(端口11212)和 172.19.26.244(端口11213)上的 ​Memcached ​实例共享的:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyMemcacheCache',
        'LOCATION': [
            '172.19.26.240:11211',
            '172.19.26.242:11212',
            '172.19.26.244:11213',
        ]
    }
}

关于 ​Memcached ​的最后一点是,基于内存的缓存有一个缺点:因为缓存的数据存储在内存中,如果你的服务器崩溃,数据将丢失。显然,内存并不是用来永久存储数据的,所以不要依赖基于内存的缓存作为你唯一的数据存储。毫无疑问,Django 缓存后端中的 每个 都不应该用于永久存储 —— 它们的目的都是为了缓存的解决方案,而不是存储 —— 但我们在这里指出这一点是因为基于内存的缓存是格外临时的。

Redis

Redis 是一个可用于缓存的内存数据库。 首先,您需要一个在本地或远程机器上运行的 Redis 服务器。

设置 Redis 服务器后,您需要为 Redis 安装 Python 绑定。 redis-py 是 Django 原生支持的绑定。 还建议安装额外的hiredis-py 包。

使用 Redis 作为 Django 的缓存后端:

  • 将 ​BACKEND ​设置为 ​django.core.cache.backends.redis.RedisCache
  • 使用适当的方案将 ​LOCATION ​设置为指向您的 Redis 实例的 URL。

例如,如果 Redis 在 localhost (127.0.0.1) 端口 6379 上运行:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.redis.RedisCache',
        'LOCATION': 'redis://127.0.0.1:6379',
    }
}

Redis 服务器通常受到身份验证的保护。 为了提供用户名和密码,请将它们与 URL 一起添加到 ​LOCATION​:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.redis.RedisCache',
        'LOCATION': 'redis://username:password@127.0.0.1:6379',
    }
}

如果您在复制模式下设置了多个 Redis 服务器,则可以将服务器指定为分号或逗号分隔的字符串,或者作为列表。 使用多台服务器时,写入操作在第一台服务器(领导者)上执行。 读取操作在随机选择的其他服务器(副本)上执行:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.redis.RedisCache',
        'LOCATION': [
            'redis://127.0.0.1:6379', # leader
            'redis://127.0.0.1:6378', # read-replica 1
            'redis://127.0.0.1:6377', # read-replica 2
        ],
    }
}

数据库缓存

Django 可以在数据库中存储缓存数据。如果你有一个快速、索引正常的数据库服务器,这种缓存效果最好。
用数据库表作为你的缓存后端:

  • 将 ​BACKEND ​设置为 ​django.core.cache.backends.db.DatabaseCache
  • 将 ​LOCATION ​设置为数据库表的 ​tablename​。这个表名可以是没有使用过的任何符合要求的名称。

在这个例子中,缓存表的名称是 ​my_cache_table ​:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.db.DatabaseCache',
        'LOCATION': 'my_cache_table',
    }
}

与其他缓存后端不同,数据库缓存不支持在数据库级别自动剔除过期条目。 相反,每次调用 ​add()​、​set()​ 或 ​touch()​ 时都会剔除过期的缓存条目。

创建缓存表

使用数据库缓存之前,必须通过下面的命令创建缓存表:

python manage.py createcachetable

这将在数据库中创建一个表,该表的格式与 Django 数据库缓存系统期望的一致。该表的表名取自 ​LOCATION ​。
如果你正在使用多个数据库缓存, ​createcachetable ​会为每个缓存创建一个表。
如果你正在使用多个数据库, ​createcachetable ​观察你的数据库路由器的 ​allow_migrate() ​方法。
像 ​migrate ​一样, ​createcachetable ​不会影响已经存在的表,它只创建缺失的表。
要打印即将运行的 SQL,而不是运行它,请使用 ​createcachetable --dry-run​ 选项。

多数据库

如果在多数据库中使用缓存,你也需要设置数据库缓存表的路由指令。因为路由的原因,数据库缓存表在 ​django_cache ​应用程序中显示为 ​CacheEntry ​的模型名。这个模型不会出现在模型缓存中,但模型详情可用于路由目的。
比如,下面的路由可以将所有缓存读取操作指向 ​cache_replica ​,并且所有的写操作指向 ​cache_primary​。缓存表将会只同步到 ​cache_primary​。

class CacheRouter:
    """A router to control all database cache operations"""

    def db_for_read(self, model, **hints):
        "All cache read operations go to the replica"
        if model._meta.app_label == 'django_cache':
            return 'cache_replica'
        return None

    def db_for_write(self, model, **hints):
        "All cache write operations go to primary"
        if model._meta.app_label == 'django_cache':
            return 'cache_primary'
        return None

    def allow_migrate(self, db, app_label, model_name=None, **hints):
        "Only install the cache model on primary"
        if app_label == 'django_cache':
            return db == 'cache_primary'
        return None

如果你没有指定路由指向数据库缓存模型,缓存后端将使用 默认 的数据库。
如果没使用数据库缓存后端,则无需担心为数据库缓存模型提供路由指令。

文件系统缓存

基于文件的后端序列化并保存每个缓存值作为单独的文件。要使用此后端,可将 ​BACKEND ​设置为 ​django.core.cache.backends.filebased.FileBasedCache​并将 ​LOCATION ​设置为一个合适的路径。比如,在 ​/var/tmp/django_cache​ 存储缓存数据,使用以下配置:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
        'LOCATION': '/var/tmp/django_cache',
    }
}

如果使用 Windows 系统,将驱动器号放在路径开头,如下:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
        'LOCATION': 'c:/foo/bar',
    }
}

目录路径应该是绝对路径——因此,它应该以文件系统根目录开始。无需担心是否需要以斜杠结尾。

确保此设置指向的目录存在并且可读可写,或者它可以由运行 Web 服务器的系统用户创建。 继续上面的例子,如果你的服务器以用户 ​apache ​运行,确保目录 ​/var/tmp/django_cache​ 存在并且用户 ​apache ​可读写,或者它可以由用户 ​apache ​创建。

当缓存 ​LOCATION ​包含在 ​MEDIA_ROOT ​或 ​STATICFILES_FINDERS ​中,敏感数据可能被暴露。
获得访问缓存文件的攻击者不仅可以伪造 HTML 内容,你的网站会信任它,而且还可以远程执行任意代码,因为数据是用 ​pickle ​序列化的。

本地内存缓存

如果你的配置文件中没有指定其他缓存,那么这是默认的缓存。如果你想获得内存缓存的速度优势,但又不具备运行 ​Memcached ​的能力,可以考虑使用本地内存缓存后端。这个缓存是每进程所有和线程安全的。要使用它,可以将 ​BACKEND ​设置为 ​django.core.cache.backends.locmem.LocMemCache​。例如:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
        'LOCATION': 'unique-snowflake',
    }
}

LOCATION ​被用于标识各个内存存储。如果只有一个 ​locmem ​缓存,你可以忽略 ​LOCATION​ 。但是如果你有多个本地内存缓存,那么你至少要为其中一个起个名字,以便将它们区分开。
这种缓存使用最近最少使用(LRU)的淘汰策略。
请注意,每个进程都会有自己的私有缓存实例,这意味着不可能进行跨进程缓存。这也意味着本地内存缓存的内存效率不是特别高,所以对于生产环境来说,它可能不是一个好的选择。对于开发来说是不错的选择。

虚拟缓存(用于开发环境)

最后,Django 带有一个实际上不是缓存的 虚拟缓存,它只是实现缓存接口,并不做其他操作。
如果你有一个生产网站,在不同的地方使用了大量的缓存,但在开发/测试环境中,你不想缓存,也不想单独修改你的代码,那么这就很有用。要激活虚拟缓存,可以像这样设置 ​BACKEND ​:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.dummy.DummyCache',
    }
}

使用自定义缓存后端

虽然 Django 包含了许多开箱即用的缓存后端支持,但有时你可能会想使用一个自定义的缓存后端。要在 Django 中使用外部缓存后端,使用 Python 导入路径作为 ​BACKEND ​的 ​CACHES ​配置中的 ​BACKEND​,像这样:

CACHES = {
    'default': {
        'BACKEND': 'path.to.backend',
    }
}

如果你正在创建自己的后端,你可以使用标准缓存作为参考实现。你可以在 Django 源代码的 ​django/core/cache/backends/​ 目录找到代码。
注意:除非是令人信服的理由,诸如服务器不支持缓存,否则你应该使用 Django 附带的缓存后端。他们经过了良好的测试并有完整文档。

缓存参数

每个缓存后端可以通过额外的参数来控制缓存行为。这些参数在 ​CACHES ​配置中作为附加键提供。有效参数如下:

  • TIMEOUT ​:缓存的默认超时时间,以秒为单位。这个参数默认为 300 秒(5 分钟)。你可以将 ​TIMEOUT ​设置为 ​None​,这样,默认情况下,缓存键永远不会过期。值为 0 会导致键立即过期(实际上是 “不缓存”)。
  • OPTIONS ​:任何应该传递给缓存后端的选项。有效的选项列表会随着每个后端而变化,由第三方库支持的缓存后端会直接将其选项传递给底层缓存库。

实施自有缓存策略的缓存后端(即 ​locmem​、​filesystem ​和 ​database ​后端)将尊重以下选项:

  • MAX_ENTRIES ​:删除旧值之前允许缓存的最大条目。默认是 300 。
  • CULL_FREQUENCY ​:当达到 ​MAX_ENTRIES ​时,被删除的条目的比例。实际比例是 1 / CULL_FREQUENCY,所以将 ​CULL_FREQUENCY ​设置为 2,即当达到 ​MAX_ENTRIES ​时将删除一半的条目。这个参数应该是一个整数,默认为 3。
  • CULL_FREQUENCY ​的值为 0 意味着当达到 ​MAX_ENTRIES ​时,整个缓存将被转储。在某些后端(特别是 ​database ​),这使得缓存速度更快,但代价是缓存未命中更多。

Memcached 和 Redis 后端将 ​OPTIONS ​的内容作为关键字参数传递给客户端构造函数,从而允许对客户端行为进行更高级的控制。 

  • KEY_PREFIX​:一个自动包含在 Django 服务器使用的所有缓存键中的字符串(默认为前缀)。
  • VERSION ​:Django 服务器生成的缓存键的默认版本号。
  • KEY_FUNCTION ​:一个字符串,包含一个函数的点分隔路径,该函数定义了如何将前缀、版本和键组成一个最终的缓存键。

在本例中,正在配置一个文件系统后端,超时为 60 秒,最大容量 1000 项:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
        'LOCATION': '/var/tmp/django_cache',
        'TIMEOUT': 60,
        'OPTIONS': {
            'MAX_ENTRIES': 1000
        }
    }
}

下面是一个基于 ​pylibmc ​的后端配置的例子,它启用了二进制协议、SASL 认证和 ​ketama ​行为模式:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
        'LOCATION': '127.0.0.1:11211',
        'OPTIONS': {
            'binary': True,
            'username': 'user',
            'password': 'pass',
            'behaviors': {
                'ketama': True,
            }
        }
    }
}

下面是一个基于 ​pymemcache ​的后端配置实例,它启用了客户端池(通过保持客户端连接来提高性能),将 memcache/网络错误视为缓存失效,并在连接的 socket 上设置了 ​TCP_NODELAY ​标志:

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyMemcacheCache',
        'LOCATION': '127.0.0.1:11211',
        'OPTIONS': {
            'no_delay': True,
            'ignore_exc': True,
            'max_pool_size': 4,
            'use_pooling': True,
        }
    }
}

这是一个基于 redis 的后端的示例配置,它选择数据库 10(默认情况下 Redis 附带 16 个逻辑数据库),指定解析器类(如果安装了​hiredis-py​ 包,则默认使用 ​redis.connection.HiredisParser​),以及 设置自定义连接池类(默认使用​redis.ConnectionPool​):

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.redis.RedisCache',
        'LOCATION': 'redis://127.0.0.1:6379',
        'OPTIONS': {
            'db': '10',
            'parser_class': 'redis.connection.PythonParser',
            'pool_class': 'redis.BlockingConnectionPool',
        }
    }
}


以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号