学习如何使用 Node.js 对 Google Shopping 产品规格进行网络抓取

安德烈-奥吉奥兰（Andrei Ogiolan），2023 年 2 月 23 日

在本文中，我们将探讨如何使用我们的 SERP API和 Node.js，以便从 Google Shopping 中网络抓取产品规格。我们将介绍从设置开发环境到提取相关数据以及讨论潜在问题的所有内容。在本文结束时，您将掌握自行搜索 Google Shopping 产品规格所需的知识和工具。在深入了解技术细节之前，我们先来了解一下什么是 Google Shopping。

谷歌购物是一个允许用户搜索和比较各种在线零售商产品的平台。它显示了各种产品及其价格，是消费者寻找最佳交易的便捷工具。通过使用网络刮擦技术，我们可以从 Google Shopping 中提取有价值的数据（如产品规格），从而获得洞察力并做出明智的决策。

为什么要使用专业铲运机而不是自制铲运机？

说到网络搜索，很多人都会想建立自己的搜索解决方案。然而，使用专业的搜索器往往是更好的选择。专业搜索器由经验丰富的开发人员构建和维护，他们了解网络搜索的复杂性。它们专为应对刮擦带来的挑战而设计，例如验证码、IP 屏蔽和网站变更。它们还具有调度、数据导出和错误处理等内置功能。

另一个重要方面是，专业的搜刮工具提供商必须遵守其搜刮网站的搜刮政策，并能合法使用数据，这一点在搜刮数据时必须牢记。

使用专业的搜刮工具可以节省时间、精力和金钱。此外，专业搜刮工具还配备了大量功能，允许您进行大规模搜刮、安排搜刮任务，甚至可以通过代理和 VPN 进行搜刮以避免 IP 屏蔽。总之，使用专业的搜刮工具可以节省您的时间和精力，为您提供更准确、更可靠的数据，是满足任何网络搜刮需求的明智选择。

最后，在我们的特殊情况下，Google Shopping 经常会更改 CSS 类，这就要求您进行大量的手动更新，尤其是当您创建一个更复杂的 scraper 时，这可能会变得非常耗时。幸运的是，像我们这样的专业搜索器可以解决这个问题，您无需再进行这些更新，就能正确接收数据。

什么是 Google Shopping 产品规格？

Google Shopping 产品规格是指在 Google Shopping 上列出的产品的技术细节和信息。其中包括产品名称、价格、品牌、图片、描述等详细信息。这些规格可以为了解产品的功能和特点提供有价值的信息，从而为购买或销售该产品做出明智的决定。例如，通过比较同类产品的规格，消费者可以做出明智的选择，知道哪种产品最适合自己的需求。

从 Google Shopping 中抓取产品规格信息可用于多种用途。例如，电子商务企业可以利用这些数据分析竞争对手，并就定价、产品供应和营销活动做出战略决策。零售商也可以利用这些信息找出产品线中的不足，并就哪些产品需要库存做出明智的决策。此外，研究人员和分析师也可以利用这些数据研究消费者行为和市场趋势。

我们的目标是什么样子的？

设置

在开始使用我们的 API 搜刮 Google Shopping 产品规格之前，安装正确的工具至关重要。主要要求是 Node.js，这是一种允许在服务器端执行 JavaScript 的 JavaScript 运行时，可从其官方网站下载。

此外，还需要一个 API KEY，可通过在此创建账户并激活 SERP 服务获得。

设置好 Node.js 并获得 API KEY 后，下一步就是创建 Node.js 脚本文件。运行以下命令即可完成：

$ touch scraper.js

然后将下面一行粘贴到文件中：

console.log("Hello World!")

然后运行以下命令

$ node scraper.js

如果您看到终端上显示 "Hello World!"（你好，世界！），这意味着 Node.js 已成功安装，您现在可以进入实际的刮擦部分。

让我们开始搜索谷歌购物产品规格

环境设置完成后，您就可以开始使用我们的 API 搜索 Google Shopping 产品规格了。这是一个简单明了的过程，除了上面讨论的内容外，您需要做的就是获取您感兴趣的产品的产品 ID。

提示：这就是如何从 Google Shopping 获取产品 ID 的方法：

设置好 Node.js、API 密钥和产品 ID 后，您就可以开始刮擦了。为了现在就开始，请创建一个 js 文件，或使用为上述部分创建的文件，并导入 Node.js 内置的 `https` 模块，该模块可让您向我们的 API 发送请求。具体步骤如下：

const https = require("https")；

其次，您需要指定您的 API 密钥和您感兴趣的产品的 product_id 属性：

const API_KEY = "YOUR-API-KEY-HERE" // 您可以通过在此注册获得

const PRODUCT_ID = "11607214845071611155"

接下来，您需要在选项对象中传递这些信息，以便让我们的应用程序接口知道您要搜索的产品是什么：

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

最后，您需要将所有这些信息调用到我们的应用程序接口：

const req = http.request(options, function (res) {

 const chunks = [];

 res.on("data", function (chunk) {

   chunks.push(chunk);

 });

 res.on("end", function () {

   const body = Buffer.concat(chunks);

   const results = JSON.parse(body.toString());

   const product_specs = results.specs_results;

   console.log(product_specs)

 });

});

req.end();

现在要做的就是执行创建的脚本并等待结果：

$ node scraper.js

现在您应该可以收到结果了：

{

  display: {

    native_aspect_ratio: '16:9',

    screen_shape: 'Flat',

    led_backlighting_type: 'Direct-LED',

    display_technology: 'LCD',

    display_resolution: '1920 x 1080 pixels'

  }

}

就是这样！现在您可以将获得的数据用于价格比较、市场调研、搜索引擎优化等各种用途。如需其他六种编程语言的进一步参考资料和代码示例，请查看我们的 Google Product API文档。

谷歌产品规格的局限性

使用 Google Shopping 产品规格的局限性之一是数据并不总是完整或最新的。并非所有零售商和制造商都在 Google Shopping 上列出了自己的产品，或者他们可能没有提供所有必要的信息。此外，有些数据可能不准确或已经过时。这可能会导致搜刮数据的不一致和不准确，从而对使用这些数据进行的任何分析或研究的结果产生负面影响。此外，Google 一直在努力检测和阻止刮擦尝试，因此刮擦过程可能会失败或随着时间的推移变得更加困难，但使用像我们这样的专业刮擦服务可以帮助您解决这个问题。