文章研究了一种高维数据聚类特征选择方法——稀疏聚类,稀疏聚类是通过对特征变量赋予权重,并添加lasso惩罚因子,压缩权重,得到对变量的权重排序,即重要性排序,使其在进行分类预测的同时达到自动剔除冗余变量的效果,从而起到了对高维数据聚类时的特征选择作用。将此方法运用于中国环保问题,将中国31个省份根据环保情况分为3类,并从现有的104个环保指标中筛选得到20个重要指标。

文章研究了一种高维数据聚类特征选择方法——稀疏聚类,稀疏聚类是通过对特征变量赋予权重,并添加lasso惩罚因子,压缩权重,得到对变量的权重排序,即重要性排序,使其在进行分类预测的同时达到自动剔除冗余变量的效果,从而起到了对高维数据聚类时的特征选择作用。将此方法运用于中国环保问题,将中国31个省份根据环保情况分为3类,并从现有的104个环保指标中筛选得到20个重要指标。

高维稀疏建模是当前统计学与计量经济学的理论前沿,是一种处理大数据的统计分析方法,在经济与金融领域有着广泛的应用前景。本文探讨了高维数据与高维模型给传统方法带来的挑战,并梳理了稀疏建模的发展、选择机制的作用及惩罚函数方法的理论性质。在实证方面,本文利用高维稀疏VAR模型研究了35个大中城市住宅销售价格的预测问题。相比传统的VAR模型与低维的动态面板数据模型,高维稀疏VAR模型的结构更加精简,能够捕捉重要解释变量与经济信息,预测效果更优。

近年来,如何从个人角度分析竞买者出价行为成为研究难点。本文运用基于函数性稀疏数据聚类方法从竞买者个人角度定义了基于条件期望的距离矩阵,并结合多维尺度分析方法(MDS)和相平面图分析法对竞买者出价行为特征进行聚类分析。结果表明,按出价时间、金额、出价能量以及获胜概率可将竞买者分为显著的四类。其中,经验丰富型竞买者获胜概率最高,势在必得型竞买者获胜意愿最强烈,缺乏经验型竞买者退出竞拍时间较早导致获胜概率较低,围观型竞买者由于竞拍意愿不强烈所以获胜概率最低。

近年来,如何从个人角度分析竞买者出价行为成为研究难点。本文运用基于函数性稀疏数据聚类方法从竞买者个人角度定义了基于条件期望的距离矩阵,并结合多维尺度分析方法(MDS)和相平面图分析法对竞买者出价行为特征进行聚类分析。结果表明,按出价时间、金额、出价能量以及获胜概率可将竞买者分为显著的四类。其中,经验丰富型竞买者获胜概率最高,势在必得型竞买者获胜意愿最强烈,缺乏经验型竞买者退出竞拍时间较早导致获胜概率较低,围观型竞买者由于竞拍意愿不强烈所以获胜概率最低。

影响企业绩效和科研成果的变量较多,采用定量分析方法对企业研发投入与绩效关系分析的局限性较大。探索一种对大量因素同时进行定量分析的方法,基于沪深两市327家制造企业2011—2016年数据,尝试采用高维稀疏数据分析方法,以"研发投入增长率>0和营业收入增长率>0和人均营业收入增长率>0"为目标,对影响目标实现的10类74个变量进行定量分析,得到实现目标的定量优化规则:当期和上期单位研发人员研发投入、研发人员投入增长率、盈利能力、产品市场竞争度5个变量处于一定范围内时,目标达成概率有较大幅度提升。研究结果可以用于衡量企业研发水平是否达到规模边界,又可作为企业研发投入行为对企业绩效结果的预判。

阈值模型是刻画非线性关系的一类重要模型,但由于传统的阈值估计量具有非标准型的渐近分布以及保守的置信区间,使得其在实证应用中受到限制。针对这些局限性,本文将传统的阈值模型扩展成为具有高维稀疏特征的形式,并从变量筛选的角度去考察模型的结构突变,在此基础上为新的高维阈值模型设计合理的求解算法,并进一步推导了参数估计量的一致性与渐近正态性。通过数值模拟实验发现,高维稀疏的建模方法,不仅能够有效识别出阈值模型的结构突变,对重要变量的参数也有着非常良好的估计效果。

阈值模型是刻画非线性关系的一类重要模型,但由于传统的阈值估计量具有非标准型的渐近分布以及保守的置信区间,使得其在实证应用中受到限制。针对这些局限性,本文将传统的阈值模型扩展成为具有高维稀疏特征的形式,并从变量筛选的角度去考察模型的结构突变,在此基础上为新的高维阈值模型设计合理的求解算法,并进一步推导了参数估计量的一致性与渐近正态性。通过数值模拟实验发现,高维稀疏的建模方法,不仅能够有效识别出阈值模型的结构突变,对重要变量的参数也有着非常良好的估计效果。

针对大数据对政府统计工作影响越来越大的现状,文章提出了一种基于稀疏表示的大数据统计算法框架。首先利用了有放回Bootstrap在数据中的样本和特征上采样形成不同数据子集,用多形态保留相似性方法融合子集中的异构数据,再在融合数据上作数据变换使得数据方便处理和富有信息,最后将变换后数据形成基元字典,基元字典加权构成稀疏表示的字典矩阵。建议算法在加利福尼亚大学机器学习UCI数据库中的Gisette和Internet Advertisements两个数据集进行了大量实验,实验表明,建议算法在数据集都具有最高的分类正确率和最快的运算速度。

为探索一种对大量因素同时进行定量分析的方法,尝试采用对高纬稀疏数据进行分析,对沪深两市制造型企业进行分析,以研发投入强度达到3. 5%以上为分析目标,并得到达到这一分析目标的定量优化规则,当收入熵小于0. 579 4、销售毛利率适中(17. 5%~29. 54%)、董事职能背景差异小于0. 399 5、前10大股东持股比例适中(0. 168 9~0. 665 7),企业研发投入强度达到分析目标的比例会大幅提升。这一分析方法既可以用于国有高新技术企业经营层、董事会人员配置作为参考,又可作为对企业研发投入行为的预判。

［目的/意义］专业领域微博往往具有话题的高维稀疏性，探寻此类情境下微博热点话题挖掘的高效模型，以便相关管理部门快速掌握领域近况并进行决策。［方法/过程］提出高维稀疏情境下微博热点话题挖掘模型，引入领域词典监督预处理微博文本，基于朴素贝叶斯分类器进行特定领域信息识别，采用“密度—距离”快速搜索聚类算法实现领域热点话题挖掘，并以国土资源领域为典型进行实证。［结果/结论］本文模型能在高维稀疏情境下准确识别专业领域信息并挖掘出热点话题，有助于专业领域微博舆情分析与预警。

【目的】在农业害虫测报中,常常需要从大量的昆虫中识别出几种重要的测报害虫。目前基于图像的农业害虫识别研究,大部分是在有限种类有限样本量基础上进行的农业害虫识别。本研究为了从大量的水稻昆虫图像中识别出9种水稻测报害虫,尝试提出了一种基于多特征融合和稀疏表示的农业害虫图像识别方法。【方法】首先,为了获得最优的农业害虫识别模型,将所有图像进行旋转使昆虫头朝上,按照1﹕2长宽比裁剪图像,使昆虫居中并占据图像大部分区域,将图像进行等比例缩放至统一尺寸48×96像素。提取所有昆虫的HSV颜色特征、局部特征中的HOG特征、Gabor特征和LBP特征。然后,利用单一特征和融合特征分别对训练样本构建过完备字典,字典中的每一个列向量表示一个训练样本,且满足同一类训练样本均在同一个子空间中;应用过完备字典对测试图像进行多特征稀疏表示,通过求解l1范数意义下的优化问题获取稀疏解,使得除测试样本所在的类别外其他的训练样本的系数都是零或接近零的数值。最后,计算稀疏集中指数阈值,用于判断测试样本的有效性,如果测试样本的稀疏集中指数大于该阈值,则认为最小残差所对应的类别即为测试样本的类别,否则认为该测试样本为非测报昆虫。同时,利用相同的特征和训练样本训练SVM分类器对测试样本进行测试,与稀疏表示害虫识别模型进行比较。【结果】利用单一特征训练的稀疏表示害虫识别模型中,基于HOG特征的稀疏表示识别模型获得了9种测报害虫较高的识别率和较低的误检率,分别为87.0%和7.5%;利用颜色特征分别与3种局部特征进行结合获得的稀疏表示识别模型,测试结果表明,基于颜色和HOG特征的稀疏表示识别模型获得了最高的识别率和最低的误检率,分别为90.1%和5.2%;将颜色、HOG和Gabor 3个特征结合获得的稀疏表示识别模型,识别率下降为83.5%,误检率上升为10.3%。利用同样的特征或特征融合训练得到的支持向量机分类器,识别率均低于对应特征获得的稀疏表示识别模型的识别率,而误检率均高于对应特征训练的稀疏表示害虫识别模型的误检率。【结论】基于颜色和HOG融合特征的稀疏表示识别模型获得了较高的农业害虫识别率和较低的误检率;通过稀疏集中指数阈值,有效地排除了非测报昆虫,实现了从大量的农业昆虫中自动识别出需要测报的害虫。

在B2C电子商务中,user-based协同过滤算法是一种重要的推荐方法,但用户共同评价项目数据稀疏影响了user-based协同过滤算法的应用。鉴于此,在考虑用户消费水平的基础上,利用关联规则挖掘形式化描述商品间的替代相似性;利用基于时间的贝叶斯概率描述商品间的关联关系构建商品网络,通过社会网络分析中的成份分析方法对商品网分析,得到面向用户主题偏好的商品间互补性关系,进而利用这两种商品间关系构建用户主题偏好项目集,最后在数据极度稀疏的环境下通过F1方法和多样性测量方法与传统推荐算法进行对比实验分析,实验结果显示提高了推荐结果的准确性与新颖性。研究用的所有数据均采集于京东商城网站。本文为缓解数...