Google打造的新搜索工具，有戏吗？

admin

转载自 | 雷锋网
一个严肃的中知AI

Google 在其9月5日的博客中描述Dataset Search的便利性：“与Google学术的工作原理类似，Dataset Search可以让你找到任何地方的数据集，无论这个数据集原本存在于出版商网站、数字图书馆，还是作者的个人网页。”

Dataset Search可以搜索到的包括，有关环境和社会科学的大多数数据集，以及来自其他学科的数据，包括政府数据和新闻机构提供的数据。不过这些数据集得是公开的，按照schema.org标准来描述的。

换种说法，为了让数据集能在Dataset Search上搜索到，提供者需要的公开他们的数据集，并且要确保这个数据集是按照schema.org标准来发布的，此后，搜索引擎会收集、链接、分析这些数据集，最终呈现给搜索者。

“这个工具依赖于大家对数据的公开。我们希望您可以公开您的数据，以便我们的用户可以顺利找到他们想要的。”

“为了创建Dataset Search，我们给数据集提供者编制了指导方针，让他们以某种方式来描述数据，以便Google（和其他搜索引擎）能够更好地理解其页面内容。数据提供者需提供有关数据集的关键信息：例如谁创建了数据集，何时发布的，如何收集的数据，等等。”

“我们的通路建立于一项描述信息的开放标准（schema.org），任何发布数据的人都可以用这种标准来描述他们的数据集。我们鼓励数据集提供者，无论数据集大小，都采用这个通用标准，以便所有数据集都能归纳入我们的系统。”

“然后我们收集并链接这些信息，分析哪些实际上是相同的数据集的，并且找到与目标数据集相关的描述性或者讨论性内容。”

另外，schema.org，这是由Google、Bing和Yahoo!在2011年共同发起的一个新项目，目的是为网页上的结构化数据标记建立并提供一套通用模式。Schema.org旨在成为网站站长的一站式资源，方便他们为自己的网页添加标记，以便各搜索引擎更好地了解他们的网站。

可以预见的是，随着越来越多的数据储存库使用schema.org标准来描述它们的数据集，用户能在Dataset Search中找到的数据集的多样性和覆盖范围将持续增加。

Google和数据技术的发展一直是齐头并进的，现在Google通过更快搜索数据来进一步强化大众和数据的关系。

眼下，一个好消息又来了：Google再次宣布开放一个全新的搜索服务：Dataset Search（数据集搜索）。



还记得不久之前Google发布的Google Scholar（学术搜索）吗？当时的Google Scholar 填补了快速查找学术资料的空白，那么这一次，Google直接将注意力更精准地聚焦到了数据集，简直“体贴又细心”！

Google人工智能研究科学家Natasha Noy表示，科学家、研究人员、数据记者和其他有兴趣使用数据的人是这个工具的主要受众，与此同时，Google认为这些数据集在整个Google产品中的地位将会变得更加突出。

Google打造的新搜索工具，有戏吗？
数据工作者的又一“神器”

首先，数据集到底是什么？先来普及下概念。Dataset（数据集），又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。

Dataset通常以表格形式出现。每一列代表一个特定变量，每一行都对应于某一成员的数据集。每个数值被称为数据资料。对应于行数，该数据集的数据可能包括一个或多个成员。

从历史上看，这个术语起源于大型机领域，在那里它有一个明确界定的意义，非常接近现代的计算机档案。

Natasha Noy表示，这个新服务会将数万个不同在线数据集存档统一起来。那最终这些数据集的归属在哪呢？Natasha Noy谈到：“我们想要让这些数据可以被发现，但数据仍保留在原始位置。”

Google打造的新搜索工具，有戏吗？
如何运行？我们尝试进行了操作

这个Dataset Search怎么运行的？事实上，即使对于组织最完善、数据最丰富的人来说，也需要利用来源于外部的数据。

举个天气和环境数据的典型例子。

假设你想要将农业数据与天气现象相关联以预测作物生长，或者想要研究天气对整个历史时期发生的现象的影响。这种历史天气数据，几乎不可能由任何单一组织积累和策划，很可能由NOAA和NASA等组织随时提供（雷锋网注：NOAA是美国国家海洋和大气管理局，NASA是美国国家航空航天局）。

这些组织会通过专用数据门户定期策划和发布其数据，因此，如果你需要定期获取数据，可能需要熟悉通过这些门户定位数据的过程。当然，你还必须同时关注NOAA和NASA之外的其他可能的信息来源。

如果不仅需要天气数据，还想找到正确的来源，然后再找到这些来源的更多正确数据，在此之前一个搜索界面根本无法做到，现在Google开发了Dataset Search，可以实现一个界面搜索出来，是不是很惊喜很意外？

实际上，Google对结构化数据的热爱一直是持续的，标志性事件就是通过收购Metaweb整合了Google的知识图谱，并通过schema.org支持结构化元数据。


搜索数据集会检索查询的多个结果，显示数据集提供者和时间段

雷锋网编辑尝试进入Dataset Search官网，发现在搜索页面，如果一个数据集直接对应于一个出版物，那么在数据集名称旁边就有一个出版物的链接。雷锋网还观察到，Google还提供了参考数据集的出版物的大致数量。

Google打造的新搜索工具，有戏吗？
诸多问题值得考虑：错误内容、排名与盈利的可能

推出了这个搜索，不仅为专业用户提供方便，而且对于数据集提供商也是大有好处。NOAA的CDO（首席开发官） Ed Kearns是该项目的坚定支持者，并帮助NOAA在该工具中搜索了许多数据集。

“这种类型的搜索，长期以来一直是开放数据和科学界许多研究人员的梦想。对于NOAA而言，一部分工作是与他人共享我们的数据，Dataset Search对于让更广泛的用户社区更容易访问我们的数据至关重要。”


Dataset Search搜索后进入某一个数据集链接，其对一些信息的排名

为了避免数据集提供商将内容错误地描述为“数据集”，Google能够告诉它“这不是一个数据集”或者降低它的排名吗？Google并没有给出明确的应对措施，只是表示，Google会在用户开始使用该工具后获得更多经验，进行改进，努力地提高结果的质量。

如何解决被搜索出的数据集排名问题呢？Google表示，对数据集来自的页面使用Web排名的组合（基于Google算法），并将其与数据集特定信号（如元数据质量、引用等）相结合。

再进一步想，如果排除在搜索排名上盈利的可能，Google哪一天会不会拿它出来盈利？比如从销售渠道收集数据，并使用它们来生成具有洞察力的定期报告？

不论如何，眼下这个项目是有助于科学决策的，需要的人士尽管放心的使用。不过随着数据的价值越来越凸显，Google也越来越重视，包括其在云计算和AI不断加大投入。

大胆猜测一下，Dataset Search会是Google在学术数据领域的商业化的第一步。

编辑：冉玲琳