00-1010你想更好的了解传统数据和大数据的区别，在哪里可以找到数据，可以用什么技术处理数据？

这些是处理数据时必须采取的第一步，因此这是一个很好的起点，尤其是如果您正在考虑从事数据科学的职业！

"数据& quot是一个宽泛的术语，可以指& quot原始事实& quot，& quot已处理的数据& quot或者& quot信息& quot。为了确保我们在同一页上，让我们在进入细节之前把它们分开。

我们收集原始数据，然后对其进行处理以获得有意义的信息。

嗯，分开他们很容易！

现在，让我们进入细节！

原始数据(也称为& quot原始事实& quot或者& quot原始数据& quot)是您已经积累并存储在服务器上但未被触及的数据。这意味着你不能立即分析它。我们称原始数据的收集为& quot数据收集& quot，这是我们要做的第一件事。

什么是原始数据？

我们可以把数据想象成传统数据或者大数据。如果你不熟悉这个概念，你可以把传统的数据想象成包含分类数据和数值数据的表格。这些数据被结构化并存储在一个可以通过计算机管理的数据库中。收集传统数据的一种方法是对人们进行调查。他们被要求对产品或体验的满意度进行评分，从1到10分不等。

传统数据是大多数人习惯的数据。例如，订单管理可以帮助您跟踪销售、采购、电子商务和工作订单。

但是，大数据是另一回事。

顾名思义，& quot大数据& quot是为非常大的数据保留的术语。

你还会经常看到它的特点是字母& quotV & quot。如& quot3V的大数据& quot。有时我们可以有5个、7个甚至11个& quotV & quot大数据。它们可能包括您对大数据的愿景、大数据的价值、您使用的可视化工具或大数据一致性的可变性。等待.

但是，以下是您必须牢记的最重要的标准：

卷

大数据需要大量的存储空间，并且通常分布在许多计算机中。它的大小是以TB、PB甚至EB来衡量的。

多样化

在这里，我们不仅仅谈论数字和文字。大数据通常意味着处理图像、音频文件、移动数据等。

速度

在处理大数据时，目标是尽快从中提取模式。我们在哪里遇到大数据？

答案是：在越来越多的行业和公司。这些是一些著名的例子。

作为最大的在线社区之一，脸书记录了用户的姓名、个人数据、照片、视频、录音信息等等。这意味着他们有各种各样的数据。世界上有20亿用户，他们的服务器上存储的数据量是巨大的。

让我们拿& quot金融交易数据& quot举个例子。

当我们每5秒记录一次股价会发生什么？还是每秒钟？我们得到了一个庞大的数据集，需要大量的内存、磁盘空间和各种技术从中提取有意义的信息。

无论是传统数据还是大数据，都会为你提升客户满意度打下坚实的基础。但是这些数据会有问题，所以你必须在做其他事情之前处理它们。

原始数据怎么处理？

让我们把原始数据变成美丽的东西！

在收集了足够的原始数据之后，首先要做的就是我们所说的& quot数据预处理。这是一组操作，将原始数据转换为更容易理解且有助于进一步处理的格式。

我觉得这一步会挤在原始数据和处理之间！也许我们应该在这里添加一个部分…

数据预处理

那么，什么是& quot数据预处理？

它试图解决数据收集中可能出现的问题。

例如，在您收集的一些客户数据中，您可能有一个年龄为932岁或姓名为& quot英国& quot。在进行任何分析之前，您需要将这些数据标记为无效或已更正。这就是数据预处理的全部内容！

让我们研究一下在预处理传统的和大的原始数据中应用的技术。

类别标签

这包括将数据点标记为正确的数据类型，换句话说，就是按类别排列数据。

我们将传统数据分为两类：

一个是& quot数字& quot如果您想要存储每天售出的商品数量，那么您正在跟踪数值。这些是你可以操作的数字。例如，您可以计算每天或每月销售的商品的平均数量。

另一个标签是& quot分类& quot你在处理数学无法处理的信息。比如一个人的职业。请记住，数据点仍然可以是数字，而不是数字。他们的出生日期是一个数字，你不能直接操纵它给你更多的信息。

考虑基本的客户数据。*(使用的数据集来自我们的SQL课程)

我们将使用这个包含关于客户的文本信息的表来给出数字变量和分类变量之间的区别的清晰示例。

注意第一列，它显示了分配给不同客户的ID。你不能操纵这些数字。& quot平均& quotID不会给你任何有用的信息。这意味着即使它们是数字，也没有数值，是分类数据。

现在，关注最后一栏。这显示了客户投诉的数量。你可以操纵这些数字。将它们加在一起得出投诉总数是有用的信息。因此，它们是数字数据。

我们可以看的另一个例子是每日历史股价数据。

*这是我们在Python课程中使用的。

在您在这里看到的数据集中，有一列包含观察日期，这被视为分类数据。还有一个包含股票价格的数字列表。

　　当您使用大数据时，事情会变得更加复杂。除了“数字”和“分类”数据之外，您还有更多的选择，例如：

　　文字数据

　　数字图像数据

　　数字视频数据

　　和数字音频数据

　　数据清理

　　也称为“ 数据清理” 或“ 数据清理”。

　　数据清理的目的是处理不一致的数据。这可以有多种形式。假设您收集了包含美国各州的数据集，并且四分之一的名称拼写错误。在这种情况下，您必须执行某些技术来纠正这些错误。您必须清除数据;线索就是名字!

　　大数据具有更多数据类型，并且它们具有更广泛的数据清理方法。有一些技术可以验证数字图像是否已准备好进行处理。并且存在一些特定方法来确保文件的音频 质量足以继续进行。

　　缺失值

　　“ 缺失的 价值观”是您必须处理的其他事情。并非每个客户都会为您提供所需的所有数据。经常会发生的是，客户会给您他的名字和职业，而不是他的年龄。在这种情况下您能做什么?

　　您是否应该忽略客户的整个记录?还是您可以输入其余客户的平均年龄?

　　无论哪种最佳解决方案，都必须先清理数据并处理缺失值，然后才能进一步处理数据。

　　处理传统数据的技术

　　让我们进入处理传统数据的两种常用技术。

　　平衡

　　想象一下，您已经编制了一份调查表，以收集有关男女购物习惯的数据。假设您想确定谁在周末花了更多钱。但是，当您完成数据收集后，您会发现80%的受访者是女性，而只有20%是男性。

　　在这种情况下，您发现的趋势将更趋向于女性。解决此问题的最佳方法是应用平衡技术。例如，从每个组中抽取相等数量的受访者，则该比率为50/50。

　　数据改组

　　从数据集中对观察结果进行混洗就像对一副纸牌进行混洗一样。这将确保您的数据集不会出现由于有问题的数据收集而导致的有害模式。数据改组是一种改善预测性能并有助于避免产生误导性结果的技术。

　　但是如何避免产生错觉呢?

　　好吧，这是一个详细的过程，但概括地说，混洗是一种使数据随机化的方法。如果我从数据集中获取前100个观察值，则不是随机样本。最高的观察值将首先被提取。如果我对数据进行混洗，那么可以肯定的是，当我连续输入100个条目时，它们将是随机的(并且很可能具有代表性)。

　　处理大数据的技术

　　让我们看一下处理大数据的一些特定于案例的技术。

　　文本数据挖掘

　　想想以数字格式存储的大量文本。嗯，正在进行许多旨在从数字资源中提取特定文本信息的科学项目。例如，您可能有一个数据库，该数据库存储了来自学术论文的有关“营销支出”(您的研究主要主题)的信息。大数据分析技术有哪些***.cn/data/2272.html如果源的数量和数据库中存储的文本量足够少，则可以轻松找到所需的信息。通常，尽管数据巨大。它可能包含来自学术论文，博客文章，在线平台，私有excel文件等的信息。

　　这意味着您将需要从许多来源中提取“营销支出”信息。换句话说，就是“大数据”。

　　这不是一件容易的事，这导致学者和从业人员开发出执行“文本数据挖掘”的方法。

　　数据屏蔽

　　如果您想维持可靠的业务或政府活动，则必须保留机密信息。在线共享个人详细信息时，您必须对信息应用一些“数据屏蔽”技术，以便您可以在不损害参与者隐私的情况下进行分析。

　　像数据改组一样，“数据屏蔽”可能很复杂。它用随机和假数据隐藏原始数据，并允许您进行分析并将所有机密信息保存在安全的地方。将数据屏蔽应用于大数据的一个示例是通过“机密性保留数据挖掘”技术。

　　完成数据处理后，您将获得所需的宝贵和有意义的信息。我希望我们对传统数据与大数据之间的差异以及我们如何处理它们有所了解。

***/i6820650243210609166/