如何重新运行失败的测试并在测试运行之间保持状态¶
用法¶
该插件提供了两个命令行选项，用于重新运行上次 pytest 调用中失败的测试
--lf,--last-failed- 仅重新运行失败的测试。--ff,--failed-first- 先运行失败的测试，然后再运行其余的测试。
对于清理（通常不需要），--cache-clear 选项允许在测试运行前删除所有跨会话缓存内容。
其他插件可以访问 config.cache 对象，以便在 pytest 调用之间设置/获取 json 可编码 的值。
注意
此插件默认启用，但如果需要可以禁用：请参阅 按名称停用/注销插件 （此插件的内部名称是 cacheprovider）。
仅重新运行失败的测试或先运行失败的测试¶
首先，让我们创建 50 个测试调用，其中只有 2 个失败
# content of test_50.py
import pytest
@pytest.mark.parametrize("i", range(50))
def test_num(i):
if i in (17, 25):
pytest.fail("bad luck")
如果你第一次运行它，你将看到两个失败
$ pytest -q
.................F.......F........................ [100%]
================================= FAILURES =================================
_______________________________ test_num[17] _______________________________
i = 17
@pytest.mark.parametrize("i", range(50))
def test_num(i):
if i in (17, 25):
> pytest.fail("bad luck")
E Failed: bad luck
test_50.py:7: Failed
_______________________________ test_num[25] _______________________________
i = 25
@pytest.mark.parametrize("i", range(50))
def test_num(i):
if i in (17, 25):
> pytest.fail("bad luck")
E Failed: bad luck
test_50.py:7: Failed
========================= short test summary info ==========================
FAILED test_50.py::test_num[17] - Failed: bad luck
FAILED test_50.py::test_num[25] - Failed: bad luck
2 failed, 48 passed in 0.12s
如果你然后使用 --lf 运行它
$ pytest --lf
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-8.x.y, pluggy-1.x.y
rootdir: /home/sweet/project
collected 2 items
run-last-failure: rerun previous 2 failures
test_50.py FF [100%]
================================= FAILURES =================================
_______________________________ test_num[17] _______________________________
i = 17
@pytest.mark.parametrize("i", range(50))
def test_num(i):
if i in (17, 25):
> pytest.fail("bad luck")
E Failed: bad luck
test_50.py:7: Failed
_______________________________ test_num[25] _______________________________
i = 25
@pytest.mark.parametrize("i", range(50))
def test_num(i):
if i in (17, 25):
> pytest.fail("bad luck")
E Failed: bad luck
test_50.py:7: Failed
========================= short test summary info ==========================
FAILED test_50.py::test_num[17] - Failed: bad luck
FAILED test_50.py::test_num[25] - Failed: bad luck
============================ 2 failed in 0.12s =============================
你只运行了上次运行中失败的两个测试，而 48 个通过的测试没有运行（“取消选择”）。
现在，如果你使用 --ff 选项运行，所有测试都将运行，但首先执行之前的失败测试（可以从 FF 和点的系列中看到）
$ pytest --ff
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-8.x.y, pluggy-1.x.y
rootdir: /home/sweet/project
collected 50 items
run-last-failure: rerun previous 2 failures first
test_50.py FF................................................ [100%]
================================= FAILURES =================================
_______________________________ test_num[17] _______________________________
i = 17
@pytest.mark.parametrize("i", range(50))
def test_num(i):
if i in (17, 25):
> pytest.fail("bad luck")
E Failed: bad luck
test_50.py:7: Failed
_______________________________ test_num[25] _______________________________
i = 25
@pytest.mark.parametrize("i", range(50))
def test_num(i):
if i in (17, 25):
> pytest.fail("bad luck")
E Failed: bad luck
test_50.py:7: Failed
========================= short test summary info ==========================
FAILED test_50.py::test_num[17] - Failed: bad luck
FAILED test_50.py::test_num[25] - Failed: bad luck
======================= 2 failed, 48 passed in 0.12s =======================
新的 --nf, --new-first 选项：首先运行新测试，然后运行其余测试，在这两种情况下，测试也按文件修改时间排序，最近修改的文件优先。
上次运行中没有测试失败时的行为¶
--lfnf/--last-failed-no-failures 选项控制 --last-failed 的行为。确定在没有先前（已知）失败或未找到缓存的 lastfailed 数据时是否执行测试。
有两个选项
all: 当没有已知的测试失败时，运行所有测试（完整的测试套件）。这是默认设置。none: 当没有已知的测试失败时，只发出一条消息说明这一点并成功退出。
示例
pytest --last-failed --last-failed-no-failures all # runs the full test suite (default behavior)
pytest --last-failed --last-failed-no-failures none # runs no tests and exits successfully
新的 config.cache 对象¶
插件或 conftest.py 支持代码可以使用 pytest config 对象获取缓存值。这是一个基本示例插件，它实现了一个 fixture，该 fixture 在 pytest 调用之间重用先前创建的状态
# content of test_caching.py
import pytest
def expensive_computation():
print("running expensive computation...")
@pytest.fixture
def mydata(pytestconfig):
val = pytestconfig.cache.get("example/value", None)
if val is None:
expensive_computation()
val = 42
pytestconfig.cache.set("example/value", val)
return val
def test_function(mydata):
assert mydata == 23
如果你第一次运行此命令，你可以看到 print 语句
$ pytest -q
F [100%]
================================= FAILURES =================================
______________________________ test_function _______________________________
mydata = 42
def test_function(mydata):
> assert mydata == 23
E assert 42 == 23
test_caching.py:19: AssertionError
-------------------------- Captured stdout setup ---------------------------
running expensive computation...
========================= short test summary info ==========================
FAILED test_caching.py::test_function - assert 42 == 23
1 failed in 0.12s
如果你第二次运行它，该值将从缓存中检索，并且不会打印任何内容
$ pytest -q
F [100%]
================================= FAILURES =================================
______________________________ test_function _______________________________
mydata = 42
def test_function(mydata):
> assert mydata == 23
E assert 42 == 23
test_caching.py:19: AssertionError
========================= short test summary info ==========================
FAILED test_caching.py::test_function - assert 42 == 23
1 failed in 0.12s
有关更多详细信息，请参阅 config.cache fixture。
检查缓存内容¶
你可以始终使用 --cache-show 命令行选项查看缓存的内容
$ pytest --cache-show
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-8.x.y, pluggy-1.x.y
rootdir: /home/sweet/project
cachedir: /home/sweet/project/.pytest_cache
--------------------------- cache values for '*' ---------------------------
cache/lastfailed contains:
{'test_caching.py::test_function': True}
cache/nodeids contains:
['test_caching.py::test_function']
cache/stepwise contains:
[]
example/value contains:
42
========================== no tests ran in 0.12s ===========================
--cache-show 接受一个可选参数来指定用于过滤的 glob 模式
$ pytest --cache-show example/*
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-8.x.y, pluggy-1.x.y
rootdir: /home/sweet/project
cachedir: /home/sweet/project/.pytest_cache
----------------------- cache values for 'example/*' -----------------------
example/value contains:
42
========================== no tests ran in 0.12s ===========================
清除缓存内容¶
你可以指示 pytest 通过添加 --cache-clear 选项来清除所有缓存文件和值，如下所示
pytest --cache-clear
对于来自持续集成服务器的调用，建议这样做，因为隔离和正确性比速度更重要。
逐步执行¶
作为 --lf -x 的替代方案，特别是对于你预计大部分测试套件将失败的情况，--sw，--stepwise 允许你一次修复一个。测试套件将运行到第一次失败然后停止。在下一次调用时，测试将从上次失败的测试继续运行，然后运行到下一次失败的测试。你可以使用 --stepwise-skip 选项来忽略一个失败的测试，并在第二个失败的测试时停止测试执行。如果你被卡在失败的测试上并且只想忽略它直到以后，这将非常有用。提供 --stepwise-skip 也会隐式启用 --stepwise。