DoE经典图书推荐:《试验设计》

“实验者无法控制的诸多变动往往遮蔽了所观测到的效应,而本书正是关于如何在这种情况下设计试验的。(This book is about the planning of experiments in which the effects under investigation tend to be masked by fluctuations outside the experimenter’s control.)”

这是《试验设计》第一句话,也是本公众号”起号”第一句话,同样用这句话推荐这本书吧。

图片

《试验设计 Planning of Experiments》

[英] 戴维·考克斯(David Cox) 著 

周在莹 译

英文版出版时间:1958年

中译本出版时间:2024年

更详细的图书简介、中英文序言、第一章内容,见并列发布的文章,及原文出处——清华大学出版社公众号文章:“经典的试验设计入门书,David Cox 巨著,现在有中文版啦!Terry Speed 为之作序!”

为什么要读这本书?特别是所有的实验工作者们

内容简介:本书是试验设计方面的必备经典书籍,它介绍了现代试验设计在统计方面应用的基本思想,不同于大部分统计学专业教材,作者尽可能地避免了统计和数学上的技术细节,而是结合实例,专注于实验工作者直觉上可以接受的处理方法,因此非常适合实验工作人员以及学习实验设计课程的师生作为参考书或教材使用。

1. 本书几乎没有公式,尽可能避免了统计和数学上的技术细节

无法避免的公式,却也是容易被忽视的公式是中心极限定理(centric limit theorem),该公式贯穿全书,用于计算试验精度(试验误差)。

2. 聚焦于试验设计的核心思想:如何控制试验的波动(fluctuation),以及对应的三大DoE原则和析因工具

“自1958年以来,试验设计的关键思想并没有改变(the key ideas for the planning of experiments have not changed since he wrote his book)”。

这些核心思想不仅适用于系统的试验设计(DoE),而且适用于简单比较试验;甚至可以说,我们在日常的试验中,都在无意识的践行(或违反)这些试验思想。

试验设计看似复杂,核心思想却很简单,复杂背后是简单试验方法的推广或联合使用;了解这些核心思想,就能明白复杂试验背后的具体逻辑。

“理解DoE概念对所有的研究都有帮助!(Understanding the fundamental concepts ofdesign is essential for all research scientists. )”

阅读《试验设计》,可以充分理解,如何在试验中使用试验设计DoE的三大原则——随机性(randomization)、区组化(Blocking)、重复(replication)。

比如”完全随机试验”,从最简单的两两比较(简单比较试验),到单因子多水平的比较(单因子方差分析,One way ANOVA),再到两因子多水平的比较(双因子方差分析,Two way ANOVA),再到DoE中更常用的多因子两水平完全析因试验,再进阶到需要更少试验次数的两水平部分析因试验。万变不离”随机化”——Fisher提出的试验设计三大原则之一;统计方法则都是方差分析(analysis of variance)——100多年前,Fisher提出的非常有用的分析方法。

再比如”区组试验”,在”完全随机”的基础上,引入了不可随机化的区组因子;最简单的完全随机区组试验,或者说完全随机区组试验的一种特殊情况,是”成对比较”(又称配对比较),配对比较在实践中处处可见,以至于大家经常忽略其背后的区组化思想;试验设计中最常用的设计是包含一个区组因子的”完全随机区组试验”;如果有多个区组,就是拉丁方或正交拉丁方(应用场景少,特别是在工业试验中);再复杂一些就是充分利用区组因子与其他因子或交互作用之间的混杂(confounding),以减少试验次数,即含有区组因子的(部分)析因试验。

不论是”随机试验”还是”区组试验”,都要进行重复试验——这就是试验设计DoE的第三个原则:重复(replication)。数学上 1.1 < 1.3 是正确无疑的,但要说两次试验的结果1.1<1.3,则需要结合试验误差,给出该结论对应的概率。在《试验设计中》,与重复相关的知识点,分散在多个章节,简单记录如下表。

三大原则
图书内容
随机化
第5章 随机化
区组化
第3章 减少误差的设计
重复
1.2 好试验的要求(精度)
3.3 随机化区组
6.11 析因试验的误差估计
7.3 水平的选择 (数量和位置)
第8章 观察数量的选择

3. 翻译得好,流畅易读

这一点值得强调,是因为最近在读George Box的《statistics for experimenter》中译本《试验应用统计》。

“没有比较,就没有差距”。

《试验设计》的翻译之好,让阅读过程非常自然,完全沉浸在知识理解之中,没有想阅读英文版来核对某个知识点的想法,甚至意识不到这是翻译过来的图书;相比之下,阅读《试验应用统计》就是一种折磨。


我的三个阅读收获:精度、区组、混杂

1. 精度 Precision

如果选择一个关键词,串联书中的大部分知识点,我会选择“精度”。虽然”波动”(fluctuation)也可以,两个关键词差别并不大,但是”精度”更接地气,更强调波动的量化。

随机化可以避免系统性误差,区组化可以减小随机误差(提高精度),通过重复试验计算随机误差(计算精度)。

试验精度的度量方法是标准误差(standard error,SE),计算原理是中心极限定理(central limit theorem),进而可以扩展到置信区间。

如果只有一次重复,甚至是1/2或1/4部分重复,精度又该如何计算,答案是利用“效应稀缺原理”。

一个很有意思的试验策略是,实验者有时宁可进行1/2析因试验的2次重复,也不要完全析因试验的一次重复。因为相比于不一定存在的高阶交互作用,试验精度更加重要。

2. 区组 Blocking

本书加深了我对试验设计的原则之一——区组的理解。

在阅读《试验设计》之前,我的理解还停留在”区组化能控制的,随机化不能控制的(block what you can and randomize what you cannot)”,但感觉可用的场景不多,现在看来是有意无意忽略了可能的变异来源。 

区组化是一种非常好的变异控制手段,它不像随机化那么”被动”,而是一个可以主动控制的”变量/因子”。

区组化是将类似的试验单元分在一个区组内,从而减小区组内的试验误差。

相比于最简单的“完全随机试验”,含有区组因子的“完全随机区组试验”更常用,比如研究材料批次、试验日期、操作员等;如果分析时发现区组之间没有显著性差异,那就相当于增加了一次完全重复,进而提高试验精度。

绝大多数的区组因子是定性区组因子,第4章“补充观测”则类似于“定量区组因子”,但个人感觉用得不多,充分理解前者看起来更有用。

3. 混杂 Confounding

在阅读《试验设计》之前,我对混杂的理解,局限在部分析因试验中,主效应与交互作用之间、交互作用与交互作用之间的混杂;这一部分知识对应第12章“部分重复和混杂”的前半部分。

新的知识是第12章的后一部分”混杂”,作者详细介绍了在析因试验中,如何利用区组和交互作用之间的混杂,以平衡试验效率和试验精度,这是对区组化的扩展应用。

当然这三点收获,都还没有单独整理和分享,不过之前发布的很多公众号文章,都有《试验设计》的影子,因为我创建该公众号,正式开始阅读《试验设计》的时间。

特别值得强调的一篇文章是试验设计DoE:交互作用的本质,本文受到第6章“关于析因试验的基本思想”的启发,是我认为非常重要的阅读收获。


一则趣事:Box-Cox变换

之前有两篇文章,介绍了响应变换的概念及对应的Box-Cox变换方法。

我最近阅读《统计学大师之路》,才意识到Box是George Box(乔治·博克斯),Cox是本书作者David Cox(戴维·考克斯),顺便知道了Box-Cox变换的由来,博克斯写得相当有趣。

在我担任委员时,戴维·考克斯也是皇家统计学会研究委员会的委员之一。我们常常听到人说:“哈哈!博克斯和考克斯!你们一定要合作一篇论文。”

《博克斯和考克斯》(Box and Cox)是一部19世纪下半叶的喜剧。博克斯上夜班,而考克斯上白班。房东太太便通过白天把房子租给博克斯,而晚上把房子租给考克斯来获得双倍房租。我们对这样的戏弄已经相当厌烦,所以基于这个故事,我们觉得,显然我们的论文应该是关于数据变换的。并且照此精神,我们故意放入了对于我们结论的两种不同的推导,一种使用极大似然方法,另一种使用贝叶斯方法。在论文讨论会上,与会者试图找出论文的哪部分是谁写的,但我们并不打算告诉他们。

《统计学大师之路——乔治·博克斯回忆录》

如果本文对你有所启发,欢点赞👍、推荐❤️、分享📣

一起学习,一起实践!

 

 

Screenshot