湖州市第六次人口普查数据处理方法和技术探讨

湖州市第六次人口普查数据处理方法和技术探讨

苏继英

第六次全国人口普查作为一项重大的国情国力调查，是国家科学决策的重要基础工作，是国家制定社会、经济、科学等各项发展政策所必需的工作。数据处理工作是人口普查的重要组成部分，贯穿整个普查工作始末，从前期的软硬件准备，到正式普查阶段的数据光电录入、审核、汇总，最后到普查数据资料的开发应用，整个过程无不显示出数据处理工作在整个普查工作中的地位。本文结合湖州市第六次人口普查数据处理的实际情况，对第六次人口普查数据处理的方法和技术进行探讨，为今后更加高效地组织大型普查数据处理工作积累经验。

一、湖州市第六次人口普查数据处理整体状况回顾

（一）数据处理工作的组织机构

湖州市人口普查办公室下设数据处理组，负责组织指导全市数据处理工作。各县（市、区）人口普查办公室结合本地区的实际情况下设数据处理组，下级数据处理组在上级数据处理组的指导下，在本级人口普查办公室的统一领导下，负责组织实施本级数据处理工作。各级数据处理组建立岗位责任制，确保数据处理工作各项任务责任到人。

（二）数据处理模式

湖州市第六次人口普查数据处理工作按照“统一组织、光电录入、分级处理”的原则，在浙江省人口普查办公室和湖州市人口普查办公室统一领导下组织实施。市、县两级普查机构数据处理严格执行浙江省和湖州市人口普查办公室的统一规定：统一技术环境标准，统一数据处理标准，统一数据处理软件，统一组织数据上报。湖州市采用市、县二级数据处理模式，光电录入和数据审核在县级进行。

（三）数据处理流程

湖州市第六次人口普查数据处理流程大体上分为前期准备阶段、清查摸底数据处理阶段、快速汇总阶段和正式普查数据处理阶段。

1．前期准备阶段。本阶段的主要任务是做好普查数据处理前期的各项准备工作，主要包括：成立各级数据处理组，申请经费，购买设备，搭建数据处理环境；制订人普查数据处理工作方案和实施细则，制定各种规章制度；培训数据处理人员等。

2．清查摸底阶段。在清查摸底数据处理阶段，为了避免人工录入带来的误差，市级数据处理组自编程序，加了审核公式，分小区进行录入，经过层层合并、汇总、上报，加快了数据录入和数据审核的速度，提高了数据报送的质量。

3．快速汇总阶段。召开人口普查快速汇总培训会，对县级数据处理人员进行快速汇总程序操作培训。在省级人普办下发的程序原有审核公式的基础上，结合湖州市实际，创新工作方法，自行开发辅助程序，加强对市内流动人员平衡表、住户情况快速汇总表与住户清查摸底结果统计表的审核，以进一步加强对快速汇总数据质量的控制。

4．正式普查数据处理阶段。历时近5个月，组织全市数据处理人员约100人，共完成对全市70个乡（镇、街道）、1220个普查区、10990个普查小区的光电扫描工作，对全市111．46万登记户、374．97万登记人口和1．78万死亡人口进行了数据编审工作。

二、数据处理工作中发现的问题

此次数据处理，暴露出了一些问题，主要表现在以下几个方面：

（一）数据处理时间仓促、安排不科学

短表光电扫描从开始扫描到上报，时间在一个月左右，时间太仓促，而且短表光电上报和编审数据上报都相继包括了元旦和春节，对数据质量和进度都有影响；长表和死亡表突然提前一个月上报，打乱了原订的工作计划，对数据处理工作带来很大的被动；短表编审后数据先于死亡表、长表上报，即短表数据定案后，才开始扫描死亡表，这样的不科学安排错失了执行表间审核彻底解决错误数据的机会。

（二）下发补丁、制度太多

大型普查数据处理程序应提前调试，尽量完善，减少程序和制度补丁，以减轻基层使用者的麻烦。频繁地下发补丁制度，可能造成县级遗漏，万一少打一次补丁或制度，可能造成难以预测的错误。

（三）审核关系不严密

设置某些逻辑关系审核界限的时候，要考虑到一些特殊情况，避免设置一些硬性的逻辑审核关系，像军队为涉密单位，部分指标允许不填写，但审核出必要性错误（H3＿2、H4各指标以及H5、H6超出有效值错误）。有些该审的，却没加审核条件，这次的人普数据处理程序对一些重要、敏感数据缺乏必要的审核，如行职业的关系、受教育程度、住房面积等指标，有些很明显的错误不能被发现，需要自己增加审核关系或在程序外审核，增加了基层工作量。

（四）在数据处理软件中审核改错时，调用原始图像很慢，需十几秒钟时间，严重影响了数据处理工作的进度，而且查看图像是拉滚动条，很不方便，费时费力

（五）程序的缺陷

一是执行局部审核问题：第一次如果只执行下级某个单位审核（比如A单位），此时A单位有审核错误信息，第二次再审核其他单位时如果未勾选A单位，则【审核进度检测】——【按处理地】查看A单位【审核通过率】变为100%，【审核错误】被清空。二是对大量的核实性差错，经核实是对的且已作说明，在下一轮的审核重新提示需查实，给基层带来大量的重复劳动。三是进行分级导入导出数据时，经常弹出登录超时提示，需重启服务才能执行，给数据备份和恢复工作造成不便。四是无数据处理地审核查询功能，可能因数据处理地未到普查区级别，造成汇总数据有偏差。五是在数据处理程序中，调查对象批量更改数据处理地后，调查对象的数据变为空，会造成没有数据的情况。

三、对人普数据处理工作的建议和体会

（一）数据处理应与业务密切配合

数据处理是一项宏大的系统工程，要求数据处理人员不仅懂专业知识，也一定要掌握业务知识，否则在数据处理过程中寸步难行。建议数据处理人员应尽早参与到业务培训中，认真学习人口普查方案和细则内容，全面了解普查工作流程，掌握普查表式和各项指标的含义，为后续的数据处理打好基础。数据处理组应加强与业务组的联系沟通，利用技术优势主动为业务组出谋划策，开发一些辅助程序，自加审核条件，双方密切配合、齐心合力，才能有效保障数据处理的质量，圆满完成人普数据处理工作。

（二）审核程序应灵活多变，便于修改

历次大型普查经验表明，普查审核关系很难一次做到位，需要多次反复修改才能正确处理各指标之间的逻辑关系，而在使用过程中往往是基层统计工作者首先发现审核关系的错误，为了方便基层的工作，建议把普查审核关系公式做得更加透明，基层统计人员只需要通过简单的设置，就能很方便地对审核关系公式进行修改。另外审核中会产生大量的核实性错误，经业务人员核实说明后应增加一个标志，在下一次重新审核中不必再一次提醒，避免浪费大量的时间做重复的工作，以提高效率，节省宝贵的时间。

（三）普查程序应尽量完善

这次光电扫描程序和数据编审程序或多或少都存在一些问题，给数据处理工作带来了不便，也影响了进度和质量。作为大型普查的数据处理程序一定要考虑周全，不能有太多的bug，事先做好充分的试点和研究工作，尽可能地把问题想周全。在数据处理过程中反复地修改程序、频繁地下发补丁制度，加大了基层数据处理的工作量，有时漏了一次或次序搞错的话，程序就不能正常运行。建议每次同时下发一个完整版，万一漏补一次也不会有影响，或像微软补丁升级或杀毒软件补丁升级一样，由程序在后台自动检测本地服务器最新补丁版本，根据实际情况自动下载并安装最新补丁包，简化补丁升级更新流程。特别是要全面总结这次普查数据处理方面的成功经验，克服存在的问题和不足，使下次普查的数据处理程序更加科学、实用、方便。

（四）加强纵横两方面的沟通联系

要充分利用网络平台，加强与各方的沟通联系。纵向：作为市级数据处理人员，要起到承上启下的桥梁作用，一方面及时接收、理解上级普查机构的要求，接收新下发的制度、补丁和审核条件，并在第一时间对程序进行升级、更新维护，调试运行，及时反映下级在数据处理中遇到的问题、难题。另一方面要及时下发程序的新制度、新补丁，指导下级做好数据处理的光电录入、审核、上报工作，解决工作中出现的疑难问题，听取县级数据处理人员的意见和建议，及时向上级反映。横向：加强与其他市级数据处理组的联系，交流数据处理中的工作方法和经验，吸取别人的长处，一些好的工作方法和技巧实现共享，共同提高人普数据处理的工作效率和质量。

（五）注重数据处理队伍建设

数据处理人员是数据处理工作的中心，组建一支高素质的普查数据处理队伍是做好普查数据处理工作的关键。有些数据处理人员身兼数职，工作不固定；有些还是临时聘用外来人员；有些则由于缺乏计算机专业知识，一般的操作系统故障无法独立解决，数据处理系统软件操作不熟练，这些都影响数据处理的工作质量。人口普查数据处理工作持续时间较长，固定人员，明确职责，专人负责，责任到人，确保队伍的稳定性至关重要。另外要积极开展培训和交流，加强队伍建设。一是召集县级数据处理人员集中培训，精心安排培训内容；二是充分利用各种媒体，包括：搭建人普网站，设立人普工作QQ群等方式，以在线式的即时交流，实现快速传递信息、共享先进经验做法、群策群力、共同解决疑难问题，既让县级数据处理人员学习到工作所需的各种技术，同时也及时解决了许多数据处理工作中的故障，使数据处理顺利进行。

湖州市人口普查办公室