离群值的判断和应用

药窕淑女

1. 何为离群值
离群值（outlier），也叫异常值，指样本中的一个或几个观测值，它们离开其他观测值较远，暗示可能来自不同的总体。
2. 离群值判断的简易方法
1）4d法
   4d法即4倍于平均偏差法，适用于4~6个重复测定数据的取舍。具体做法如下：

   ①除了离群值外，将其余的数据相加求出算术平均值及平均偏差d

   ②将离群值与平均值相减，若离群值—平均值》4d，则为离群值，反之，不属于离群值。

    例子：

    实验室测得5组数据，30.18,，30.56，30.23，30.35，30.32，问其中最大值30.56是否是离群值

    解：平均值=30.27

    d=0.065

离群值—平均值=30.56-30.27=0.29>4xd

因此30.56为离群值

2）3σ原则检验法

   根据正态分布的原理，在一定条件下，重复测定其得到的测定值，落在（μ±3σ）范围内的概率为99.73%，若有个别数据超出    这个标准，根据小概率事件的原理，测有理由认为属于异常数据，应予以剔除。

   例子：

   如一组数据7.972,7.969,7.964,7.975,7.972,7.968,7.970,,7.967，7.969,7.974.这组数据中是否有离群值

   解：平均值=7.970,S=0.003

      平均值 -3s=7.961,   平均值+3s=7.979

   上述数据均在（7.961,7.979）范围内，无离群值。

   上述两种方法为比较建议的判断方法，其他的方法还可以参考GB4883-2008.

3. 离群值一般的处理方法

  ①异常值保留在样本中参加后面的数据分析

  ②允许剔除

  ③允许剔除，并追加适宜的观测值计入样本

  ④找到实际原因后修订异常值

4.工作中的应用
   当判断一个数据是否是OOE,或者是判断一个数据是否异常时，可以应用该方法。

上述是对离群值的简单理解，欢迎拍砖讨论。
@大呆子 @蜗牛98

大呆子

感谢淑女版主，离群值其实在实践中还是很有重要意义的，对于我们处理那些难以找到原因的偏差能起到一个指导作用。当然舍弃并不是不关注不重视

hongwei2000

在统计学中广泛应用
但在药检中如果没有证据一般不被认可

红茶.

一般认为超3个西格玛，就认为异常或者是离群，或者是其他什么。但是剔除一般都很难了。

yuansoul

离群值用于连续变量判断。非连续变量剔除所谓离群值反倒是丧失了机会。

北重楼

感谢分享！

赵旭锋

一般在检验中出现的异常值，就不能轻易剔除的
同样的，在过程分析里面的异常值也不随意剔除
不过在使用历史数据制定控制限度的时候，可以使使用各种判异规则，来剔除离群值，来得到一个更符合实际的控制限度

yuansoul

蜗牛98 发表于 2015-5-22 10:29
一般在检验中出现的异常值，就不能轻易剔除的
同样的，在过程分析里面的异常值也不随意剔除
不过在使用历 ...

多看点悲剧有什么不好呢，七仙女、嫦娥奔月、李尔王。。。。。。。。。。。。。名著都是悲剧的。

林琳

学习，数学是我的弱项

药窕淑女

大呆子 发表于 2015-5-22 10:27
感谢淑女版主，离群值其实在实践中还是很有重要意义的，对于我们处理那些难以找到原因的偏差能起到一个指导 ...

这个工具可以确定是否是离群值，如果涉及到剔除，就需要考虑很多因素了

赵旭锋

yuansoul 发表于 2015-5-22 11:09
多看点悲剧有什么不好呢，七仙女、嫦娥奔月、李尔王。。。。。。。。。。。。。名著都是悲剧的。

悲剧也都是正常人给衬托出来的，要是没有正常的，悲剧也就悲不起来了

赵旭锋

林琳 发表于 2015-5-22 11:31
学习，数学是我的弱项

只要有强项就可以

yuansoul

蜗牛98 发表于 2015-5-22 11:40
悲剧也都是正常人给衬托出来的，要是没有正常的，悲剧也就悲不起来了

对啊。所以踢谁都不对。

syhorchid

谢谢分享

大呆子

对的

大呆子

蜗牛98 发表于 2015-5-22 11:40
悲剧也都是正常人给衬托出来的，要是没有正常的，悲剧也就悲不起来了

合理利用统计学至少比拍脑袋要来的科学

赵旭锋

yuansoul 发表于 2015-5-22 11:42
对啊。所以踢谁都不对。

不是，你只有先知道什么是正常，才能凸显出悲剧来
不能让悲剧的来影响正常的

大呆子

淑女，能否再讲讲离群值的Q检验法？

药窕淑女

大呆子 发表于 2015-6-5 14:08
淑女，能否再讲讲离群值的Q检验法？

好的，回去整理一下，也边学边和大家分享

红叶舞秋山

顶