简谈探析市场调研资料整理中数据缺失处理策略探析

【摘　要】市场调研资料整理中数据缺失，给数据分析与应用带来很多困难，有时会严重影响统计分析的效果。本文对市场调研资料整理中数据缺失处理方法进行了探讨，介绍了几种常用的处理缺失值的方法。希望能有效地对缺失资料进行补充，使统计分析达到良好的效果。
【关键词】市场调研；资料整理；数据缺失；处理方法
市场调研资料整理是根据市场分析研究的需要，对市场调研获得的大量的原始资料进行审核、分组、汇总、列表，或对二手资料进行再加工的工作过程。其任务在于使市场调研资料综合化、系列化、层次化，为揭示和描述调查现象的特征、问题和原因，以便提供初步加工的信息，为进一步的分析研究准备数据。市场调研中产生缺失数据情况经常发生，甚至是不可避免的，其原因也多种多样。

一、造成数据缺失的原因：

1）有些信息暂时无法获取。
2）有些信息是被遗漏的。可能是因为记录时认为不重要、忘记填写或对数据理解错误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。
3）有些对象的某个或某些属性是不可用的。也就是说，对于这个对象来说，该属性值是不存在的，如一个未婚者的配偶情况、一个儿童的固定收入状况等。
4）有些信息被认为是不重要的。调查人员主观臆断造成。
5）获取这些信息的代价太大。

二、处理缺失值的方法

市场调研资料整理中数据缺失，它给数据分析与应用带来很多困难。许多的分析模型和统计方法都要求数据完全，即对所要分析的每个变量，其每条记录量值不能有缺失，如随机区组、重复测量设

源于：论文封面格式范文www.udooo.com

计以及大型数据回归分析。若某单元数据有缺失，资料将无法进行分析。小量缺失回答是可以容忍的，但如果缺失值超过10%，就可能出现严重问题。笔者认为，处理缺失值的方法主要有：用一个样本统计量的值代替缺失值；用一个统计模型计算出来的数值代替缺失值；将有缺失值的个案剔除；将有缺失值的个案保留，仅在相应的分析中作必要的排出。

(一)用一个样本统计量的值代替缺失值

用一个样本统计量的值代替缺失值，最典型的做法是用变量的平均数代替缺失值，称为均值估计。算术平均数是平均数中最常用、最基本、使用最广泛的平均数，也称为均值。它的基本形式是总体各单位某一数量标志值之和即总体标志总量除以总体单位总量，其计算公式为：
算术平均数=
如果我们发放问卷做一项调查，一个被访问者没有回答其收入，我们采用均值估计的方法代替缺失值，计算平均收入，或用该被访问者所在组的子样本的平均收入代替。例如：整个样本有效问卷340份，其收入总额为442000元，则该总体平均收入为：
平均收入=　=1300（元）
因此，我们用1300元这个平均收入来替代缺失值。计算和应用算术平均数时要特别注意，分子与分母必须同属一个总体，即分子与分母是一一对应的关系，有一个总体单位必有一个标志值与之相对应，否则就不是平均指标。
不过从逻辑上说，用平均值代替缺失值这样做是有问题的，因为被访问者如果回答了该问题的话，其答案可能高于或低于该平均值。

(二)用一个统计模型计算出来的数值代替缺失值

利用某些统计模型计算出来的比较合理的数值代替缺失值。如回归模型，回归分析就是对具有相关关系的变量之间数量变化的一般关系进行测定，确定一个相关的数学表达式，以便于进行估计或预测的统计方法。回归分析的类型按回归变量的个数不同可以分为一元回归分析和多元回归分析；按回归的形式不同可以分为线性回归分析和非线性回归分析。下面以一元线性回归分析为例加以说明。
某产品产量与生产费用情况统计数据见计算表。从表中可以看出，当产量增加时，生产费用随之增加，这两个变量间呈明显的正相关关系，计算相关系数看出，随着产量的增加，生产费用相应增加，并且其分布近似呈直线状态，因此这两个变量呈正线性相关。
现在利用某产品产量与生产费用情况统计数据，计算该企业产品产量与生产费用的相关系数，见计算表。
计算结果表明，该企业产品产量与总成本之间存在高度正相关关系。
一般来说，对于具有线性相关关系的两个变量，可以用一条直线方程来表示它们之间的关系，即：
倚　回归方程：
上述模型中，Y为回归估计值；a是两条直线的截距，b是两条直线的回归系数。a、b
都是待定参数，通常采用最小平方法计算。
例如：当产量为12万件时，生产费用yc=47.38+1

4.7212=2202（万元）

(三)将有缺失值的个案剔除

缺失数据是由于被调查者对问题的答案表述含混不清或认识错误未做回答，或者由于访问人员疏漏，未问问题也未做记录，造成数据出现奇异值或缺失。将有缺失的个案整个删除的方法，结果可能会导致样本数量大量减少，因为很多被访问者都多多少少会有一些项目没有回答。剔除大量数据并不是整理者所希望的，因为数据的收集需要大量经费和时间。而且有缺失回答的被访问者与那些全部回答问题的被访问者之间可能存在显著差异。传统的数据处理中，常把变量中含有缺失的记录列举删除，这样所得结果不仅是建立在非完全数据基础上的分析，而且会损失原有资料的部分信息，有可能造成因有效分析数据集样本例数减小，检验效能随缺失比例增加而降低，同时也可因原始记录中有意义的部分被排除在外，导致分析结果偏性加大，甚至得出错误的结论。在很多情况下，如果情况真是这样，这种整个删除的方法会导致产生严重偏差的结果。

(四)将有缺失值的个案保留，仅在相应的分析中作必要的排出

将有缺失值的个案保留，仅在相应的分析中作必要的排出这种方法，会使分析中不同的计算根据不同的样本进行，这也有可能导致不适宜的结果。但是实践中这种方法常常被整理者采用。如果满足以下三个条件，这种方法是妥当的。

1.样本量很大。

样本量很大就是通过大量观察的方法去认识并研究总体.大量观察法是对总体中全部或足够多的总体单位进行调查研究并综合分析的方法。统计的研究对象是客观现象总体的数量方面，这就要求调查大量的个体，才能发现总体的数量规律。在对有众多个体的总体进行研究的过程当中，当我们调查研究的个体越多，就越能消除总体各单位受偶然因素或特殊因素的影响，就越接近客观实际。从另外一个角度看，对一些随机事件，只有通过大量观察，才能够认识其发生的规律，并对其进行分析。例如，要知道抛一枚硬币落下后，正面朝上的概率是多少，就需要进行大量观察。如果仅抛一次的话，我们得到的结果可能是“0”或者“1”，但我们都知道，正确的结果是50%。

2.缺失值很少。

在样本资料比较充足的条件下，缺失值很少，将有缺失值的个案保留，仅在相应的分析中作必要的排出或说明，不会对研究结果产生太大影响。

3.变量之间不是高度相关。

如果两种现象之间的数量关系变化相互独立，一种现象的变化对另一种现象的变化不发生影响，则这两种现象间的关系称为不相关。实际应用中，利用相关系数判断直线相关关系r的密切程度的通常标准是：当|ｒ|＜0.3时，两个变量微弱直线相关；当0.3≤|ｒ|＜0.5时，两个变量低度直线相关。变量之间不是高度相关，将有缺失值的个案保留，仅在相应的分析中作必要的排出，不会对研究结果产生太大影响。
不同背景下的缺失数据对统计分析都会带来不同的影响。为提高调查数据质量　，一方面要采取有效措施减少数据缺失　，提高调查的回答率。另一方面　，出现缺失数据时，可以应用多种方法对不完整的数据进行处理，以减小由于缺失数据带来的影响。
参考文献：
李薇，统计调查中的数据缺失及处理.　《商业研究》　2003年06期.
冯志兰.　缺失数据的估计与应用，《山西医科大学》　2003年.
[3]吴建荣主编，《市场调查与分析技术》[M].中国原子能出版社，2012.
作者简介：
李平（1964-），女，四川资中人，副教授，长期从事统计、市场调研教学与研究。