针对大数据对政府统计工作影响越来越大的现状,文章提出了一种基于稀疏表示的大数据统计算法框架。首先利用了有放回Bootstrap在数据中的样本和特征上采样形成不同数据子集,用多形态保留相似性方法融合子集中的异构数据,再在融合数据上作数据变换使得数据方便处理和富有信息,最后将变换后数据形成基元字典,基元字典加权构成稀疏表示的字典矩阵。建议算法在加利福尼亚大学机器学习UCI数据库中的Gisette和Internet Advertisements两个数据集进行了大量实验,实验表明,建议算法在数据集都具有最高的分类正确率和最快的运算速度。

首先分析文本分类的现状,根据文本分类算法的要求和稀疏表示分类算法(SRC)的思想,设计基于元样本的稀疏表示分类器(MSRC),并应用于文本分类研究。实验结果表明,该MSRC算法具有较好的文本分类效果,有助于提高基于内容的信息检索效率。

高维稀疏建模是当前统计学与计量经济学的理论前沿,是一种处理大数据的统计分析方法,在经济与金融领域有着广泛的应用前景。本文探讨了高维数据与高维模型给传统方法带来的挑战,并梳理了稀疏建模的发展、选择机制的作用及惩罚函数方法的理论性质。在实证方面,本文利用高维稀疏VAR模型研究了35个大中城市住宅销售价格的预测问题。相比传统的VAR模型与低维的动态面板数据模型,高维稀疏VAR模型的结构更加精简,能够捕捉重要解释变量与经济信息,预测效果更优。

本文提出区块链在统计工作中的两个应用方向,一是区块链技术带来的经济社会变化将作为新的统计研究对象;二是区块链对统计业务工作的改革与创新,特别是一个底层架构和三类场景应用的设想与展望,以期为区块链与统计工作深度融合的理论研究与实际应用提供参考,为统计现代化改革提供新思路。

【目的】在农业害虫测报中,常常需要从大量的昆虫中识别出几种重要的测报害虫。目前基于图像的农业害虫识别研究,大部分是在有限种类有限样本量基础上进行的农业害虫识别。本研究为了从大量的水稻昆虫图像中识别出9种水稻测报害虫,尝试提出了一种基于多特征融合和稀疏表示的农业害虫图像识别方法。【方法】首先,为了获得最优的农业害虫识别模型,将所有图像进行旋转使昆虫头朝上,按照1﹕2长宽比裁剪图像,使昆虫居中并占据图像大部分区域,将图像进行等比例缩放至统一尺寸48×96像素。提取所有昆虫的HSV颜色特征、局部特征中的HOG特征、Gabor特征和LBP特征。然后,利用单一特征和融合特征分别对训练样本构建过完备字典,字典中的每一个列向量表示一个训练样本,且满足同一类训练样本均在同一个子空间中;应用过完备字典对测试图像进行多特征稀疏表示,通过求解l1范数意义下的优化问题获取稀疏解,使得除测试样本所在的类别外其他的训练样本的系数都是零或接近零的数值。最后,计算稀疏集中指数阈值,用于判断测试样本的有效性,如果测试样本的稀疏集中指数大于该阈值,则认为最小残差所对应的类别即为测试样本的类别,否则认为该测试样本为非测报昆虫。同时,利用相同的特征和训练样本训练SVM分类器对测试样本进行测试,与稀疏表示害虫识别模型进行比较。【结果】利用单一特征训练的稀疏表示害虫识别模型中,基于HOG特征的稀疏表示识别模型获得了9种测报害虫较高的识别率和较低的误检率,分别为87.0%和7.5%;利用颜色特征分别与3种局部特征进行结合获得的稀疏表示识别模型,测试结果表明,基于颜色和HOG特征的稀疏表示识别模型获得了最高的识别率和最低的误检率,分别为90.1%和5.2%;将颜色、HOG和Gabor 3个特征结合获得的稀疏表示识别模型,识别率下降为83.5%,误检率上升为10.3%。利用同样的特征或特征融合训练得到的支持向量机分类器,识别率均低于对应特征获得的稀疏表示识别模型的识别率,而误检率均高于对应特征训练的稀疏表示害虫识别模型的误检率。【结论】基于颜色和HOG融合特征的稀疏表示识别模型获得了较高的农业害虫识别率和较低的误检率;通过稀疏集中指数阈值,有效地排除了非测报昆虫,实现了从大量的农业昆虫中自动识别出需要测报的害虫。

文章研究了一种高维数据聚类特征选择方法——稀疏聚类,稀疏聚类是通过对特征变量赋予权重,并添加lasso惩罚因子,压缩权重,得到对变量的权重排序,即重要性排序,使其在进行分类预测的同时达到自动剔除冗余变量的效果,从而起到了对高维数据聚类时的特征选择作用。将此方法运用于中国环保问题,将中国31个省份根据环保情况分为3类,并从现有的104个环保指标中筛选得到20个重要指标。

文章研究了一种高维数据聚类特征选择方法——稀疏聚类,稀疏聚类是通过对特征变量赋予权重,并添加lasso惩罚因子,压缩权重,得到对变量的权重排序,即重要性排序,使其在进行分类预测的同时达到自动剔除冗余变量的效果,从而起到了对高维数据聚类时的特征选择作用。将此方法运用于中国环保问题,将中国31个省份根据环保情况分为3类,并从现有的104个环保指标中筛选得到20个重要指标。

大数据时代正对我国社会经济产生巨大影响,并进一步影响会计工作的发展。论述了大数据技术与思维的涵义与特征,对大数据时代会计工作应用大数据思维与技术进行了探讨,提出了建设财务共享服务中心、推进大数据分析平台建设、提升大数据会计服务能力等若干措施。

为进一步提高文本分类的准确率和鲁棒性,在元样本稀疏表示分类算法的基础上,提出一种迭代加权的元样本稀疏表示文本分类算法,该算法在每一步迭代中依据一定的规则有监督地对权系数进行调整,使目标函数值被限定在较小的范围内,逐步逼近最优拉格朗日乘子,以得到更加稀疏的样本表示系数。实验结果表明,与经典的文本分类算法KNN、SVM及非加权的MSRC算法相比,提出的文本分类算法具有较高的准确率和较好的鲁棒性。

调查研究预测是指我们的调查人员采用各种方式取得大量实际资料,对这些资料进行加工整理,分析研究,并根据自己的实践经验运用科学的方法进行判断,推算整个或局部经济现象发展前景的一种方法。调查研究预测在农村统计工作中真有广泛的适用性。它是一种简便而且容易获取资料的调查方式,容易被我们广大农村统计工作者所接受,它并不要求我们调查人员有很高的理论水平。运用调查研究