解读：政务大数据前世今生

黄泡泡 2023-07-28 11:54:52

围绕政务大数据的背景、建设目标、建设之路和政务大数据应用场景全面阐述后，总结如何利用政务大数据结合企业自身业务的技术产生数据，孵化新型产品服务应用，提升城市、社会服务水平，服务于城市管理和广大群众。

一、政务大数据背景

建设互联网+政务大数据服务，是推进政务数据的整合汇聚，实现政务信息资源开发利用，提高政务信息资源的智慧化应用水平。

目前政务数据量已经初具规模，大数据技术也逐步成功，俨然政务大数据产业具备了良好基础，面临难得的发展机遇，但仍然存在一些困难和问题。

1. 数据价值难以利用

数据资源开放共享程度低，数据质量不高，数据资源流通不畅，管理能力弱，数据价值难以被有效挖掘利用；政务大数据应用领域不广泛，应用程度不深，认识不到位等；

2. 系统孤岛多，数据集中难

各部门内部系统多，网络环境复杂，数据难以集中；各部门之间数据烟囱多，技术多种多样，缺乏规划，数据难以集中；

3. 标准不统一，数据质量差

数据碎片化、数据标准不统一的质量问题较为普遍；存在数据冲突、一数多源的问题，缺乏数据管理制度；

4. 数据模型少，应用创新难

数据分析以简单数据聚合为主，缺少行业数据模型积累，难以支撑政府应用创新；政府数据开放度不够，无法有效支撑公共服务应用，数据价值难以呈现。

二、政务大数据建设目标

随着各行各业、各行政办公部门的信息应用系统的深入使用和不断发展，信息化建设正经历着以技术中心向数据中心的快速转变，无形加速了各行业信息壁垒的瓦解。为此，各部门应对数据进行统一集中管理，并对数据进行多维、智能分析，为数据使用部门提供查询和决策提供依据，实现服务精准化、高效化，最终实现服务一体化。

整合政务信息资源：运用云计算手段，综合数据交换、数据对比、数据服务等技术，构建社会网状覆盖的具有公共服务、公共决策、公共保障的统一规范，面向实际应用与数据服务的数据中心平台，建立共享体系。并通过共享体系，带动发展数据企业，提倡有偿服务，提高数据价值。具体而言，可以从工商、经信、住建、科技、商务、车管、税务、农林、医保社保、民政、质监等主要部门的数据进行标准化汇集至大数据中心平台。
政务业务对象绩效信息分类：以自然人、法人为对象，将分布在政府各个部门、各个系统中的核心业务数据，通过汇聚、融合、重构、云化，形成人口数据云和法人数据云。在政务大数据中心就可以查询到每个对象社会信息，使政务大数据中心真正成为政务各部门业务协同和业务共享的有力支撑，实现经济工作和政务管理的创新应用。

三、政务大数据平台建设之路

政务大数据整合汇聚与共享应用体系主要包括“数据汇聚、数据治理、数据服务”三个方面。

1. 数据汇聚

数据：包括各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；
数据资产登记：对采集数据类型结构进行数据资产结构登记后形成大数据汇聚目录；
数据采集管理：针对数据资产登记业务信息，设置10+种异构数据源接入方式；
数据汇聚：通过提供10+种异构数据源接入方式以高效、轻量的方式将政府部门数据、服务、消息汇聚到大数据平台。

数据资产登记：是围绕各个政府部门数据资产梳理登记及管理，即编制各个政府数据资产登记薄，按照各个政府部门每个系统的要求，定制材料填写模块，给各市直部门配置对应账号，利用系统功能实现政府数据资产材料填报，并能实时导出各市直属部门政府数据资产清单。实现僵尸系统根据几个量化维度实施关停并转，对处室名义存在的孤岛系统整合。

数据资产登记——是登记网络和硬件的清单（运行网络、硬件设备型号等）、软件清单（系统名称、系统地址和系统当前状态等等）、数据资产清单（数据类型、数据采集来源、数据拥有者、数据保存、数据存储等记录）和硬件与软件的关系（硬件与系统的关系，软件和数据的关系以及系统与数据的关系等）。在政务信息资源目录的基础上，将各部门的政务信息系统与数据资产清单信息进行补充整合。形成了政府大数据资产的登记管理。
动态管理——是基于政府数据资产清单管理、使用、更新、维护等方面的需求，支持增、删、改、查等基本维护操作，加强政府数据资产的动态化、常态化的系统管理，实现政府数据资产注册登记、发布管理、审核管理、更新管理、修订管理等功能。

数据采集管理：配置不同的源数据系统接入方式，抽取数据到目标系统（数据资产管理），其中支持不同的源数据接入方式包括了关系型数据库、文件、FTP 批量文件、实时消息、WebService 接口、爬虫数据、日志文件、数据录入等方式。

数据采集配置——是对于采集周期、时间、目标系统等的主要配置，即指定采集任务的频次和在什么时间点开始采集任务，以及采集任务的停止、启动时间、参数配置、异常处理机制等。
数据采集监控管理——提供所有任务的运行监控功能、异常日志分析工具、异常任务处理和恢复功能，如针对任务点的异常恢复，当运行的任务执行失败时，可以重新运行任务（流程启动）、从故障点运行任务（任务启动）。也提供可是化的任务运行日志管理功能，包括运行的日志详细信息（成功、异常）。

数据汇聚：把采集到的数据存储起来，汇聚到相应的数据库，并根据来源部门和数据项生成两个列表，实现了部门列表和数据项列表的关键字查询方便业务员操作查看。

数据接入校验——将分散的、异构数据源中的数据如关系数据、非关系数据、数据文件、FTP 等抽取到临时中间层后进行解析、转换、校验、过滤、清洗、反馈，最后加载到平台上，也可以将基础平台的数据传输到关系型、非关系型等系统。
数据汇聚资产——对其数据表、数据库和资源目录以及部门数据、基础数据、主题数据等进行分类展示。

2. 数据治理

数据标准化：对数据的定义、组织、监督和保护进行规范化管理；
数据稽核规则：建立稽核规则数据实时校验方法。保证稽核数据的唯一性和规范性，最大限度地降低和避免人为因素导致的错误；
数据清洗任务：有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据，数据聚合成标准、清洁的数据资产，确保数据的一致、准确、可用。

数据标准化：不同业务系统之间、业务系统与数据库保存的数据格式和语义可能都不一致，需基于行业业务梳理，将数据定义按照使用统一、系统化的方向进行全口径的梳理，形成政府数据标准体系。

数据定义——建立政府行业规范，对数据结构属性、描述进行统一定义，目前主要对表名定义、表字段属性（字段类型、值域等）、字段名称定义进行统一规范命名和配置。

数据稽核规则：建立稽核数据实体时的数据校验方法。在校验结束后自动提示错误输入，有效地保证稽核数据的唯一性和规范性，最大限度地降低和避免人为因素导致的错误。

校验规则——校验大类分为空值校验、值域校验、SQL脚本、格式校验、数据集校验、逻辑校验、重复数据校验等等；校验规则下还会细分具体规则，如格式校验再定义身份证校验、格式校验规则。
自动匹配校验字段——提供模糊匹配规则标准化后名称关键字，实现自动执行质量规则检查。

数据清洗任务：利用任务调度引擎，由数据治理人员依据数据质量要求，配置校验规则、执行方式等，实现自动执行质量规则检查,以及提供手工执行的方式提交执行任务。质量规则执行触发方式支撑按固定时间周期（如月、周、日、时）、事件触发等执行方式。

调度任务——包括任务编码、任务名称、任务创建人员、执行时间点等。基于调度任务列表，提供中止调度入口。
数据赋码——数据赋码是确定数据唯一的、始终不变的代码标识，与其内容一一对应，多用于数据的加工处理。给治理后的数据附码，用以保证各部门数据科学组织、存储及共享应用的一致性。
数据补全——存在数据表关键字段（如身份证号、统一社会信用代码等）缺失，从而无法判断该数据表的记录数据属于何人、何企业的情况。依托包含自然人、法人完整标识信息和关键字段信息的数据表，补全每一张数据表在数据建档、关系挖掘过程中所需关键字段数据，使任一数据表都可以不依赖其他表单独存在。
跟踪调度机制——根据预先配置的执行规则和度量，对数据的准确性、合理性等多角度的检查，及时发现问题，解决问题,并对执行与跟踪结果，进行统计分析，形成结果报告。
问题数据处理：展示稽核的问题数据的同时定位问题数据所属部门，并将推送到相关部门，相关部门纠错后重新推送稽核。

3. 数据服务

基于汇聚的政务数据，以及对政府活动有影响的其他来源信息，以业务服务对象、对象的每个业务大类为核心，通过资源融合、数据融合、业务融合，实现智能归集，形成政务数据服务体系。

以服务对象为核心提供数据服务产品：利用现代信息技术，打通数据壁垒，整合汇总政府各部门系统多源数据进行清洗、标准化和主题联接，形成政务服务对象（自然人、法人等）数据服务；为政府的各项业务工作提供信息服务，为社会公众提供信息服务，以及充分发挥信息资源开发利用对节约社会资源和提高经济效益的作用，发挥数据流对政务服务、公共服务、社会治理等领域的引导作用，促进资源节约型、主动服务型政府建设

对象档案——其主要以对象自然人、法人的身份证、统一社会信用代码为索引、以政务业务为维度构建对象业务维度、以对象特征100+标签勾勒出对象画像、以对象为中心建立社会关系图、以生命周期为轴线，汇聚对象相关的各项政务服务事件，形成对象档案库。应用场景如下：张三公民要出国旅游，需要填写“紧急联系人”，他写了他母亲的名字，结果有关部门要求他提供材料，证明“你妈是你妈”!。通过自然人档案提供社会关系图服务，相关部门即可直接获取到张三的父亲是谁、母亲是谁、儿子或女儿是谁，一目了然，证明“你妈是你妈”的问题迎刃而解。通过数据汇聚、共享、交换提升政务服务能力。

以对象的每个业务大类为核心提供数据服务产品：梳理宏观经济、市场监管、社会信用、应急管理、食品药品安全等基本应用业务大类数据和其它动态应用业务数据。如以电子证照、档案数据、财政专项资金、空间地理、法人信息、统计数据、信用信息、政府公报等8个专题的数据应用板块。

“电子证照”专题——提供用户可查询到政府机关面向个人、法人单位核发的102种证照信息，包括教师证、导游证、工商营业执照、税务登记证等信息。
“档案数据”专题——提供用户可查询浏览档案馆所有已公开的电子档案，包括十余万卷清代、民国时期的档案。
“信用信息”专题——提供用户可查询企业、政府机关、事业单位、社会组织和个人等不同信用主体的信用信息。

四、政务大数据的场景应用

目前，政务大数据技术已经在公安、综合治理、工商、税务、统计、旅游等部门得到应用。

1. 大数据在公安部门的应用

对于公安部门，大数据技术可应用于社会治安管理、车辆管理、户籍管理、出入境管理、打拐、反扒、消防、踩踏预警、反恐、打击暴恐分子、打击电信诈骗等领域。“犯罪数据分析和趋势预测系统”是北京市公安局近年来全力推进大数据警务建设的成果之一。

2014年5月，北京市公安局怀柔分局“犯罪数据分析和趋势预测系统”预测提示，近期泉河派出所辖区北斜街发生盗窃案的可能性较高。怀柔公安情报信息中心根据提示，指导泉河派出所对该区域加大巡逻防控。5月7日1时许，泉河派出所民警巡逻至北斜街南口时，当场抓获一名盗窃汽车内财物嫌疑人。经讯问，嫌疑人李某交代了伙同他人窜至怀柔区，撬机动车锁并盗窃车内财物作案3起的犯罪事实。2014年1—5月，怀柔全区接报110刑事和秩序类警情同比下降27.9%，立现案同比下降14.7%，其中立抢劫案下降了近55%。

2015年元旦，上海外滩发生踩踏事件，造成36人死亡。目前大城市几乎人人都有手机，电信运营商根据手机信号能够知道机主的实时位置，据此在百度地图上可查看某一地区的人口分布（见图6-6）。

产品经理，产品经理网站

如果活动组织方和有关政府部门通过电信运营商分析一个地区的人口密度，判断该地区的拥挤程度，超过一定阈值就自动报警，采取疏散措施，或许上海外滩踩踏事件就可以避免。

产品经理，产品经理网站

2. 大数据在综合治理部门的应用

近年来，重庆市合川区委、区政府在社会治理方面树立了大数据思维，建立了“合川区社会治理大数据系统”及其App，提升了社会治理水平。

合川区社会治理大数据系统包含场所管理、人口管理、事件处理、分析研判等13个功能模块，10多万个基层干部、网格员和人民群众安装了该系统的手机App。

合川区通过大数据分析及时发现社会矛盾和问题，将过去政府被动应对问题转化为主动发现问题和解决问题。社会治理大数据系统可以自动对海量数据进行分析和挖掘，分种类、分区域、分时段对全区刑事治安案件、社会矛盾纠纷、民情民意等进行智能预警，区社会治理指挥中心根据智能预警调整工作策略，适时提出应对建议，分级报送区委、区政府和镇（街道）作为决策参考。

截至2017年3月，通过大数据分析研判，有效防范群访事件8起，针对性开展治安整治行动9次。利用手机App建立特殊人群“日点名”、“日见面”制度，掌握全区社区矫正人员、吸毒人员、过激言行人员、精神障碍患者的表现情况，常态化开展法治教育、医疗救治、心理疏导等工作。

一旦出现危害社会的行为或苗头，立即调动力量依法处置。2016年以来，全区精神病人肇事肇祸案件“零发生”，社区矫正人员“零发案”。该系统把收集上来的困难救助、就业帮助、就学资助等民生需求，分类推送给相关社会组织，引导开展“一对一”帮扶，促进供需对接。利用该系统广泛推行“网上信访”、“视频调解”。截至2017年3月，全区在线受理和解决群众信访事项1570个，占信访总量的51.2%；在线解答群众法律咨询6000余次，在线调解矛盾纠纷500余起。

合川区社会治理大数据系统提升了社会治理的广度和深度，消除了社会治理的盲区和死角，实现了社会共治，促进了社会和谐。全区刑事发案数、到区信访人次逐年下降。合川连续三年群众满意度指数名列重庆市第一，公众安全感指数保持全市前5名，矛盾化解率达到90%以上。

3. 大数据在工商部门的应用

目前，大数据已经在一些工商部门得到应用。

2015年7月，湖北工商大数据分析系统正式上线运行。工商部门可以对一个地区或者一个时间段被投诉举报最多的商品或服务进行分析，据此做到精准整治；可以对已注销市场主体的数据进行挖掘，分析出哪类主体消亡快、哪类主体生命力强、哪类主体属于高成长、哪类主体属于高衰退，为产业结构调整提供科学依据；可以准确地发现经营异常企业的分布及其原因，为有针对性地加强市场监管提供数据支撑；可以直观地了解全省市场主体的类型、结构及分布情况，各类关键指标的同比、环比分析一目了然。

重庆市工商局通过建立数据监测中心、数据模型等，对归集整合的2500万条全市小微企业数据进行分析，动态监测小微企业发展活跃度，精准实施分类扶持监管政策，对发展态势好的企业重点推介，对经营异常、有不良信用记录的企业进行预警，对违法失信企业联合惩戒，成功助力1.32万户享受创业补助的微型企业成长壮大为中小企业。

4. 大数据在税务部门的应用

对于税务部门，通过采用大数据技术对涉税数据进行比对，可以有效发现税收征管漏洞，促进财税增收。

天津市国税局积极探索利用互联网平台和大数据分析开展股权转让管理工作，寻找非居民股权转让税收突破点，摸索出一条以征管系统为依托，通过互联网广泛收集第三方信息，集中开展大数据分析的新征管手段。截至2015年5月，天津保税区国税局共受理非居民股权转让申报23例，征收非居民企业股权转让预提所得税1.3亿元。天津某非居民企业间接转让境内一家企业，天津保税区国税局在调查核实中，发现转让价格明显偏低且无合理解释理由，怀疑是关联交易行为。为了印证这一疑点，该局通过网络技术手段多方搜集信息，发现转让双方为同一集团控制下的不同层级的关联子公司。最终境外企业补缴预提所得税300万元。

5. 大数据在食药监部门的应用

上海市长宁区用大数据开展食品安全治理——上海市长宁区市场监管局与大众点评公司合作，利用大众点评后台数据及推送功能，有针对性地展开食品安全问题整治，进行精准执法。针对大众点评用户评论的特点，长宁区市场监管局制定了餐饮企业食品安全负面评论关键词搜索清单，包括“河豚”、“罂粟壳”、“腹泻”、“过期食品”、“脏乱差”等十大类关键词，定期对大众点评数据进行关键词搜索，实地排查。截至2016年6月，长宁市场监管部门已查处下架了区内700多家有违法行为的餐饮单位。

数据是行政管理的基础，是政府的重要资产。大数据在经济调节、市场监管、社会治理、公共服务和环境保护等方面有着广阔的应用前景。例如：以大数据监测宏观经济运行情况，实现精准调控；以大数据实现市场的精准监管、社会的精准治理。让数据多跑腿，群众少跑腿。

——以上案例引用《智慧城市：大数据、互联网时代的数据治理》