基准测试

2018-08-12 22:03 更新

基准测试

Rust支持基准测试来测试用户代码的性能。我们来看一下 src/lib.rs 的性能如何。

`#![feature(test)]

extern crate test;

pub fn add_two(a: i32) -> i32 {
   a + 2
}

#[cfg(test)]
mod tests {
use super::*;
use test::Bencher;

#[test]
fn it_works() {
    assert_eq!(4, add_two(2));
}

#[bench]
fn bench_add_two(b: &mut Bencher) {
    b.iter(|| add_two(2));
}
}`

注意上面代码中的 test 的功能声明,这表示这并不是一个稳定的功能。

用户需要引入 test 的封装,来使得基准测试得以支持。通过 bench 属性的使用,我们可以实现一个新的函数。与不能有参数的常规测试不同,这里的基准测试使用 &mut Bencher 来改善这个情况。这里的 Bencher 提供了一个闭包的 iter 方法。这个闭包就包含了需要进行基准测试的代码。

用户通过 cargo bench 指令来执行基准测试:

$ cargo bench
   Compiling adder v0.0.1 (file:///home/steve/tmp/adder)
 Running target/release/adder-91b3e234d4ed382a

running 2 tests
test tests::it_works ... ignored
test tests::bench_add_two ... bench: 1 ns/iter (+/- 0)

test result: ok. 0 passed; 0 failed; 1 ignored; 1 measured

我们的非基准测试可以被忽略掉。用户也许会注意到 cargo benchcargo test 长一个比特。这是因为 Rust 会多次执行基准测试,然后会取一个平均值。因为在这个例子中,只是实现了一些简单的功能,所以我们有一个 ns/iter (+/- 0),但是这会展示出结果的方差。

如下是编写基准测试的建议:

  • 将安装代码移到 iter 循环之外,只是将用户希望进行测试的代码放到 iter 循环内。
  • 将实现同一功能的代码放到迭代体内,不要将结果进行累计,也不要改变状态。
  • 将外部函数进行幂等化,基准测试程序会将它测试多次。
  • 尽量使 iter 循环体内容的代码更精简,然后使得基准测试运行起来更快捷,使得校准器可以以更高精度的来校准。
  • 使 iter 循环体内的代码更简单,以帮助查明性能改进的地方(或回归)。

疑难杂症:优化

在基准测试程序的编写方面还存在一些辣手的问题:优化编译后的基准测试代码可能会被优化器篡改,这样使得基准测试可能就不再是用户希望的测试对象了。比如,编译器可能会重新组织一些代码,因为这些代码并没有什么作用,甚至会将它全部删除。

#![feature(test)]

extern crate test;
use test::Bencher;

#[bench]
fn bench_xor_1000_ints(b: &mut Bencher) {
b.iter(|| {
(0..1000).fold(0, |old, new| old ^ new);
});
}

上述代码会出现下述结果:

running 1 test
test bench_xor_1000_ints ... bench: 0 ns/iter (+/- 0)

test result: ok. 0 passed; 0 failed; 0 ignored; 1 measured

为了避免上述问题,基准测试的执行者会采用两个方法。iter 方法可以获得一个闭包,它可以返回一个任意值来迫使优化器考虑这个结果,来保证优化器不会更改基准测试代码。下面的例子就是来展示如何校准 b.iter.

`b.iter(|| {  
// note lack of `;` (could also use an explicit `return`).
(0..1000).fold(0, |old, new| old ^ new)
});`

另一种方法是通用的 test::black_box 函数,它对优化器就是一个“黑盒”,可以迫使优化器考虑更多的参数。

#![feature(test)]

extern crate test;

b.iter(|| {
let n = test::black_box(1000);

(0..n).fold(0, |a, b| a ^ b)
})

这些并不会读取和更改这个值。较大的值可以直接降低开销。

`black_box(&huge_struct)`

执行上述任何一种变化提供了以下基准测试结果。

running 1 test
test bench_xor_1000_ints ... bench:   131 ns/iter (+/- 3)

test result: ok. 0 passed; 0 failed; 0 ignored; 1 measured

即使使用上述方式,优化器仍然会以不可想象的方式来修改测试用例。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号