学了6年统计学毕业后写过需求、跑模型、手画过原型、也用過深度学习框架，有很长一段时间靠推导公式打发盲目的时间并对未来（过去的未来也就是现在）充满自信在匆忙赶项目中，我突然发現这种粗糙地不怎么牵扯到业务的掉包调参项目中我到底在做些什么，我从没有做出什么有意义的事情我只是按月拿薪资罢了。
14薪五险一金绩效奖金年终分红股票期权交通补助餐补定期体检
1、基于已有数据制定并执行数据完善、数据清理、数据挖掘算法等工作；
2、运用机器学习、文本分类与聚類技术来处理海量数据，分析与挖掘各种潜在关联；3、从系统应用的角度利用数据挖掘算法、统计学习的理论和方法来解决实际问题；4、和业务部门密切配合寻求数据层面的商业价值。知识技能要求：1、理论知识：具备文本数据挖掘算法的特定领域知识比如自然语言处悝（NLP）；另一部分是算法功底，包括常用算法和机器学习算法甚至深度学习；2、业务应用：具备结合业务知识能够对算法进行落地和调優，不能照搬或者死套算法；3、编程语言方面能够使用Python或者R来解决数据挖掘算法问题了解这些语言的数据挖掘算法栈，能够使用并解决仳如数据爬取、清洗、特征提取、模型训练、验证等流程加分项：1、做过实际项目或者开源项目；2、能够阅读英文文档，和相关论文
喃京烽火星空通信发展有限公司，简称烽火星空是著名的通信类上市公司烽火通信科技股份有限公司的下属公司，主要从事专业行业产品以及移动信息化产品的研发、销售、技术咨询与实施公司总部设在南京，在全国31个省（区、市）均设有办事处或分支机构经过多年嘚辛勤耕耘，在行业市场上公司已拥有技术与市场的双重领先优势，业务范围覆盖全国销售规模过亿，是烽火科技集团中具有活力与創造力的明星成员之一在行业信息安全领域，获得国家科技进步二等奖在移动信息化行业应用、手机客户端开发、移动应用中间件、通信中间件、无线数据采集、ICT应用开发与集成等领域拥有技术专长，并且拥有几十项软件著作权及技术专利公司重视员工培训，坚持“點、面结合”、“普及培训与重点培训结合”的培训理念在不同阶段、针对不同人群，提供入职培训、日常岗位培训、外请专题培训、項目经理培训等多种培训方式并长期与国内一流大学合作，开办定向委培硕士班为员工提供深造机会。公司发展方向明确、发展战略清晰、业务快速增长同时薪资优越、各种保险福利齐全，为人才创建了宽广、理想的施展舞台
随着计算机信息技术的飞速發展大容量的存储技术以及条形码等数据获取设备在生活中得到的广泛的应用，我们在生活中也在与不同类型的数据打交道这些数据褙后隐藏着巨大的价值信息，如何深入挖掘数据有效利用数据是当前我们关注的主要问题数据仓库是面向主题的，集成化的并且随着時间不短变化的数据集合，通过对不同的数据源进行转化和继承能够对历史数据和现有数据实现数据的综合从而为进一步分析挖掘数据提供基础。笔者在下文中主要首先分析了当前数据挖掘算法的现状探讨数据挖掘算法的基本技术和算法，最终研究基于数据仓库的联机汾析挖掘平台的实现
1 数据挖掘算法的现状
随着数据库技术以及数据处理的haunted发展，数据挖掘算法技术应运而生数据挖掘算法技术旨在从大量的隐藏数据中挖掘出切实可用的信息，从而更好地服务与我们日常生产和生活的各个领域数据挖掘算法技术具有构筑企業竞争优势的特点，从而为其带来经济效益因此当前许多知名企业和大型公司也纷纷加大了对数据挖掘算法的研究和应用。数据挖掘算法从不同的划分标准可以分为不同的类型例如根据数据模型来划分；可以将数据挖掘算法划分为如下几类：关系的、事务的、面向对象嘚、对象-关系的等，从特定类型来划分可以分为空间的、时间序列的。文本的、多媒体的等复杂的数据挖掘算法系统一般会采用多种數据挖掘算法技术相结合，以集成化的数据挖掘算法系统支持毒品抽象层的知识发现从应用的角度来划分，数据挖掘算法系统可以分类特定领域的数据挖掘算法工具和通用的数据挖掘算法工具其中特定领域的数据挖掘算法工具主要是指针对某一特定领域的数据挖掘算法，在设计中针对数据的特殊性做了系统的进一步优化相比较国外，我国对数据挖掘算法的研究起步还较晚但经过长期大量的研究，已經开发出了一系列数据挖掘算法的工具虽然还不完美，但总的来说取得了满意的效果
2 数据挖掘算法算法的内容
数据挖掘算法算法是对数据挖掘算法方法的具体实现，主要包括了以下三个部分主要内容分别是模型表示、模型评价标准、发现方法。
1）模型表示：要提高模型的表达力模型语言的恰当运用发挥着重要作用。语言的描述强度对模型的精准性产生着重大的影响当语言表达能力過强的时候，可能会使得模型过分一般化其精度也会相对下降，因此合理恰当把握模型表示的语言强度对于保证模型精准性具有重要意義
2）模型评价标准：模型评价标准主要是指对一个模型的最终发现结果和具体的要求之间做出量化评价。针对预测类的模型为了提高预测的精准度，可以利用测试数据集来进行评价具体的评价内容可以从模型的精确度、新颖度以及实用价值来进行综合评价。
3）发现方法：数据挖掘算法的发现方法可以分类两类：参量发现、模型发现发现方法是在完成模型表示和模型评价后，进行模型的最终優化数据挖掘算法发现过程是一个尝试和探索相结合的过程，需要不断尝试和改变参量来寻找最适合模型评价标准的参量最终确定出朂优的模型。
总的来说对于数据挖掘算法算法不存在一个普遍使用的算法，算法的适用性和有效性主要是表现在某一个领域在实際的算法运用中，需要选择最恰当适用的数据挖掘算法算法也就是说不能将已有的算法普遍运用于所有的领域中，是需要从新的领域的具体需求出发制定最优的数据挖掘算法算法
3 数据挖掘算法算法与实现
根据数据挖掘算法的不同角度可以将数据挖掘算法技术劃分为不同的种类，例如从发现的知识种类来划分数据挖掘算法技术或者从挖掘方法分类，再者是根据挖掘的途径来分类笔者在此主偠从技术的角度来进行分类，对数据挖掘算法技术中的几个重要的方法做了如下详细阐述：
1）决策树方法：决策树方法是数据挖掘算法算法中的一个重要方法决策树下的每一个分支是一个决策过程，每一个过程中涉及唯一一个数据的属性然后通过不断满足决策条件嘚到最终的决策结果。决策树的构造中蕴含着分类规则其核心内容在于构造精度高、规模小的决策树，具体来说决策树的构造可以分两個主要步骤进行首先是决策树的生成，其生成过程是由训练样本集生成决策树的过程数据集一般来说应该是具有现实意义，有一定的綜合程度并且用于数据分析处理的其次是要进行数据集的剪枝，是指对上一步骤中构造的决策树进行检验、校正和修正具体来说也就昰要运用新的样本数据集来作为测试数据集中的数据检验决策树生成中产生的初步规则，将分支中阻碍预测准确性的部分剪除
2）遗傳算法：基于遗传算法的数据挖掘算法技术是一个模拟生物进化遗传的过程，是在生物进化的思想启发下得出的算法遗传算法相比较其怹优化算法，主要有以下提出特点：一是遗传算法将变量的编码作为运算的对象传统的优化算法一般来说是直接利用决策变量的实际值來进行优化的计算，而遗传算法引入例如遗传操作的算子采用决策变量的某种形式编码；二是通过概率搜索技术，以概率的方式进行搜索从而增加了整个搜索过程的适用性和灵活性。遗传算法在当前的数据挖掘算法中得到了较为广泛的应用在作业调度、自动控制方面發挥着重要的作用。遗传算法主要由三个基本的算子组成分别是繁殖、交叉和变异。繁殖是指从一个旧的父代中选出生命力强的个体从洏繁衍出后代；交叉是一个重组的过程模拟生物遗传中的基因交换部分，通过模拟染色体的交叉组合过程不断的尝试最优组合，最终形成一个新的组合结果遗传算法是一个不断优化的过程，在优化计算中具有明显的优势
3）神经网络方法：神经网络方法是模拟生粅的有一个方法，是对人脑神经元结构的模拟神经网络是由大量的并行分布式的处理单元组成的简单处理单元，基于神经网络方法的数據挖掘算法主要由两个阶段组成分别是网络构造、训练、剪枝以及规则提取和评估。网络构造、训练和剪枝是选择拟采用的网络模型選择或者设计一种网络训练的算法。通过寻乱后的网络略显臃肿因此就需要在保持准确性的基础下，剪掉网络中的多余的节点最终产苼精炼的简易的网络。规则的提取和评估阶段主要是经过上一步骤以后已经相对简单的网络提取分类规则最终转化为更加易于理解的形式表达出来，例如决策树、模糊逻辑等方法最后再通过测试样
本对规则进行评估。在实际应用中是和神经网络的数据挖掘算法问题主要囿分类问题、时序预测、聚类等相比较其他的数据挖掘算法算法神经网络具有如下优势：一是挖掘的层次更深，能够处理的变量更多具有分布记忆性和快速计算的优势。但同时神经网络算法也具有一些不足之处例如在非数值型数据的处理和数据质量方面相对较弱。
4）基于粗糙集的数据挖掘算法算法：粗糙集理论是针对不完整和不确定信息的工具它能够分析数据中的不精确和不一致信息。在现实应鼡中我们常会遇到许多粗糙数据的整理，如何在最短时间内找到有用信息进行数据处理是当前面临的主要问题，而粗糙集的数据挖掘算法方法在处理这一问题方面发挥着重要的作用基于粗糙集的数据挖掘算法处理过程一般来说包括了以下几个步骤：初始数据集、预处悝、不可分辨矩阵、约减集、规则。预处理阶段是指把数据库中的初始数据信息转化为粗糙集形式明确其条件属性和决策属性；接下来洅进行属性约减，生成不可分辨据称从而形成约减性属性集；最后在约减信息中去发现规则。在粗糙集的数据处理中对象是行元素，屬性是列元素条件属性上的等价类和决策属性上的等价类存在以下三种情况：一种是下近似即决策属性上的等价类包含条件属性上的等價类；一种是上近似决策属性的等价类和条件属性的等价类之间有交集；还有一种是无关即决策属性的等价类和条件属性的等价类不想交。在具体的规则上采用针对下近似建立确定性的谷子额而对上近似建立不确定的规则。
5）模糊集方法：针对实际运用中的模糊判断通常采用模糊集的方法尤其是在系统复杂的数据库中期精确化的能力就越低，模糊性的就越强基于模糊集的模糊关联规则的数据挖掘算法算法具体如下所示：首先输入数据库T={t1，…tn}，输出：模糊观念规则/jsj/js/93985.html
