JavaEE
鸿蒙应用开发
HTML&JS+前端
Python+大数据开发
人工智能开发
电商视觉设计
软件测试
新媒体+短视频
集成电路应用开发
C/C++
狂野架构师
IP短视频
为什么脏数据要提前进行数据预处理？
更新时间:2022年08月25日09时20分 来源:传智教育 浏览次数:
随着大数据技术掀起的计算机领域的新浪潮，无论是数据分析、数据挖掘还是机器学习、人工智能，都离不开数据这一主题。
在实际应用中，初始数据一般是多数据源且格式多样化的数据，这些数据的质量通常是良莠不齐的，或多或少存在问题，不能直接被使用到数据分析或数据挖掘工作中，直接使用会造成低质量的分析或挖掘结果。
初始数据在进行分析或挖掘之前需要经过一定的处理，调整成符合分析或挖掘需求的数据。而从初始数据到得出分析或挖掘结果的整个过程中对数据经过的一系列操作称为数据预处理。
数据预处理是数据分析或数据挖掘前的准备工作，也是数据分析或数据挖掘中必不可少的一环，它主要通过一系列的方法来处理“脏”数据、精准地抽取数据、调整数据的格式，从而得到一组符合准确、完整、简洁等标准的高质量数据，保证该数据能更好地服务于数据分析或数据挖掘工作。
据统计发现，数据预处理的工作量占据整个数据挖掘工作的60%，由此可见，数据预处理在数据挖掘中扮演着举足轻重的角色。
举一个简单的例子，摩拜单车在经过数据预处理前。户编号、单车编号、单车类型是一些冗余的属性，对分析目标而言没有任何意义;骑行时长是对分析目标起关键作用的属性，但该列中有若干个空缺。
经过预处理后，城市和骑行时长列的数据比较完整，也根据城市名称进行了归类，方便用户快速地得出各城市用户的平均骑行时长。
显而易见若使用预处理前的摩拜单车数据对各城市用户的平均骑行时长进行分析，会导致分析结果存在一些偏差，相反地，使用预处理后的摩拜单车数据进行分析，会得到一个较为准确的分析结果。
最新资讯
江苏传智播客教育科技股份有限公司 版权所有Copyright 2006-2024 All Rights Reserved 苏ICP备16007882号营业执照增值电信业务经营许可证出版物经营许可证
苏公网安备 32132202001156号