近年のオンラインショッピング需要の高まりにより、ネット販売を始める方が増えています。
2020年4月より「Google ショッピング広告」の無料掲載が可能になりました。アメリカから先行して開始され、日本でも2020年10月より無料での掲載が可能となっています。
参考：Googleに商品を無料で表示する｜Google Merchant Centerヘルプ
この発表はネットショップ運営者にとって、素晴らしいチャンスです。無料リスティングを通じて、Googleショッピングを利用する数百万ものユーザーに商品を見つけてもらえるようになります。
ただし、Googleショッピングは簡単に始められる分、競合が増えることも予想されます。そのため、ネットショップ運営者は日々の価格調査や市場調査が重要といえるでしょう。とはいっても、ネットショップ運営初心者にとって、Googleショッピング内のデータを収集し分析をするためには、どのように進めたら良いか悩む方も多いでしょう。
そこで、おすすめなのがWebスクレイピングツールの活用です。本記事では、Webスクレイピングツールを活用した、Googleショッピングから商品情報をスクレイピングする方法を解説します。
Googleショッピングとは
Googleショッピングは、Googleが2010年に開始したサービスで、Google検索窓の下に表示されるショッピングカテゴリーです。
登録した商品はGoogleショッピングのサイト内に表示されるだけでなく、検索キーワードとの関連性が高い場合はGoogle検索結果に表示されることもあります。以前はAmazonや楽天市場と比べると、やや機能が乏しい面もありましたが、近年では機能拡充も進んでいます。そのため、今やネットショップ運営者はもちろん、小売事業者にとって利用必須のサービスといえます。
Googleショッピング広告の仕組み
Googleショッピング広告は、Google Merchant Centerを通じて商品データを登録します。Googleショッピング広告を出稿することで、Googleショッピングを利用する数百万のユーザーに出品商品を見つけてもらえる可能性が高まります。
広告の掲載枠は「スポンサー枠」と「無料表示枠」に分けられ、スポンサー枠はサイトの上位部分に表示されます。スポンサー枠は入札制になっているため、出品した商品のコンバージョン率（購入率）を高めるには、次のことを行う必要があります。
1.競合他社より高い価格で入札する
2.広告のクリック率（CTR）を改善する
このようにスポンサー枠では、商品ごとの緻密な広告運用が肝となります。一方、無料表示枠の場合は入札こそできませんが、掲載をすることでユーザーが商品を検索した際に目に留まる可能性があります。特に出品数が少ないけれど、検索ニーズはあるようなニッチな商品は無料枠でも見つけてもらえる可能性が高いでしょう。
Googleショッピング広告運用を効率的にする方法
ネット広告運用が未経験の方からすれば、どのようにGoogleショッピング広告を運用すれば良いか困惑されることでしょう。
まず始めにやるべきことは、他のネットショップ運営者（特にライバル店）の販売状況をチェックすることです。Googleショッピングにおいて、競合他社の販売状況は貴重な情報源であり、これらの情報を収集し効率的に分析できれば、自分たちの強みに変わります。
そこで最も効率的な方法が「Webスクレイピング」です。Webスクレイピングを使えば、Googleショッピングサイトから、あらゆる商品データを自動的に抽出し、Excelなどにエクスポートして分析を行えます。
Webスクレイピング以外にも、デジタル市場には広告商品の出品状況や価格を監視できるチェックツールがあります。しかし、広告運用初心者が高額なツールを導入したとしても、ツールの機能を十分に使いこなせなかったり、ツールの利用額に対して売上が合わなかったりする可能性があります。そのため、初心者は手軽に始められるWebスクレイピングが最適といえるでしょう。
Googleショッピングにおけるスクレイピングの課題
Googleショッピングから商品情報をスクレイピングすることには、いくつかの課題が存在します。これらの課題を理解し、適切に対処することで、より効果的にデータを収集し活用することができます。
動的コンテンツの取得
Googleショッピングの多くのデータは動的に生成されるため、スクレイピングが困難になることがあります。具体的には、ページがユーザーのアクションに応じて更新される場合や、JavaScriptを使用してデータが読み込まれる場合です。
このような動的コンテンツを取得するためには、高度なスクレイピング技術やツールが必要になります。例えば、ブラウザ自動化ツールを使用して、ユーザーの操作をシミュレーションし、必要なデータを取得する方法が効果的です。
データのフォーマットと品質
Googleショッピングから取得するデータのフォーマットや品質が一貫していないことも課題の一つです。特定の商品について複数の出品者から異なる情報が提供される場合、一貫したデータセットを作成することが難しくなります。
このような場合、データクリーニングのプロセスが重要になります。データクリーニングを通じて、重複データの削除やデータ形式の統一を行い、分析に適した状態に整えることが求められます。
法的・倫理的問題
Webスクレイピングを行う際には、法的および倫理的な問題にも注意が必要です。Googleの利用規約には、無断でのスクレイピングを禁止する条項が含まれていることがあります。これを無視すると、法的なトラブルに発展する可能性があります。スクレイピングを行う際は、必ず利用規約を確認しましょう。
また、スクレイピングによってサーバーに過剰な負荷をかけないように配慮することも、倫理的に重要です。
GoogleショッピングAPIによるスクレイピング手順
GoogleショッピングAPIを利用することで、より効率的に商品情報を取得することが可能です。APIを利用することで、Webページの構造や動的コンテンツに悩まされることなく、必要なデータを直接取得できます。
ここでは、GoogleショッピングAPIを用いたスクレイピング手順を詳しく解説します。
GoogleショッピングAPIの概要と設定
GoogleショッピングAPIは、商品データをプログラム的に取得するためのインターフェースを提供します。まず、APIを利用するためには、Google Cloud Platform上でプロジェクトを作成し、APIキーを取得する必要があります。
プロジェクトを作成した後、APIライブラリからGoogleショッピングAPIを有効にし、認証情報としてAPIキーを生成します。このAPIキーを使用して、APIにリクエストを送信し、商品データを取得します。
商品情報のリクエスト方法
APIキーを取得したら、次に商品情報をリクエストする方法について説明します。GoogleショッピングAPIは、HTTPリクエストを通じて動作します。
具体的には、商品IDや検索クエリを含むリクエストURLを構築し、APIに送信します。APIはリクエストに応じて、JSON形式でデータを返します。このデータには、商品名、価格、画像URL、在庫状況などが含まれます。
リクエストの例としては、特定のキーワードで商品を検索し、関連する商品リストを取得する方法があります。
データの解析と利用
APIから取得したデータは、JSON形式で提供されるため、これを解析して利用します。データ解析には、PythonやJavaScriptなどのプログラミング言語を使用すると便利です。
例えば、Pythonのpandasライブラリを用いて、JSONデータをデータフレームに変換し、必要な情報を抽出することができます。
また、取得したデータをExcelやCSV形式にエクスポートし、ビジネスインテリジェンスツールで分析することも可能です。これにより、競合分析や市場調査を効率的に行うことができます。
GoogleショッピングデータをWebスクレイピングする方法
Webスクレイピングツール「Octoparse」とは
Webスクレイピングには、ITに関する専門的知識・技術が必要です。プログラミングの経験がない非エンジニアからすれば、ゼロからWebスクレイピングを学ぶことは困難に思えます。
しかし、近年では誰でもWebスクレイピングを行える「Webスクレイピングツール」が登場しています。数あるWebスクレイピングツールの中でも高い人気を誇るのが「Octoparse（オクトパス）」です。
Octoparseは、プログラミングコードを一切使わず、直感的な操作だけでWebクローラー（データを抽出するコンピューターボット）を設定でき、あらゆるWebサイト上のデータを取得できます。
Octoparseで商品情報を抽出する方法
Octoparseを使ってGoogleショッピング製品情報を抽出するには以下の手順で進めます。
- Octoparseに取得先のURLを入力する
- サイト内から取得したいデータ項目を選択する
- Webページの読み取りが開始し、自動的にデータが識別される
- データ識別が完了後、Webスクレイピング（データ抽出）を実行する
- Webスクレイピング完了後、抽出データをエクスポートする
エクスポート先は、ExcelやCSVなどいくつかの形式から選択可能です。その後は、ピボットテーブルやグラフなどを活用して分析に取り組めるようになります。
競合他社から学べること
Webスクレイピングを活用して競合他社を分析することで、示唆に富んだ考察を得ることができます。特に学べることとして、いくつかの代表例を紹介します。
クリック率(CTR)を上げる
クリック率が高いか低いかで、コンバージョン率(CVR)やクリック単価(CPC)が大きく変わってきます。競争力のある価格設定により、クリック率が高くなるため、商品が表示される頻度が高くなります。そのため、競合他社の価格を把握することは、競争力を維持する上で役立ちます。また、広告の品質が高くなるほど、スポンサー枠に表示するための最小入札価格は低くなり、クリック率(CTR)が上がります。
卵を以て石に投ず
「卵を以て石に投ず」とは、損ばかりで何もならないたとえです。特定の商品で既に多くの大手企業が出品されている場合、無理に入札単価を上げて彼らを上回ろうとしないようにしましょう。広告予算規模が異なるため、広告費ばかりが消耗されることは自明です。その代わりに、大手企業が入札しないようなニッチな商品を選ぶことが重要です。
画像を最適化する
商品画像は、商品イメージを大きく左右する重要な要素です。高品質で見栄えの良い画像は、より多くのユーザーにクリックしてもらえます。そうした商品画像をサイトにアップするには、撮影技術のほか、Photoshopなどによる画像加工技術も必要です。
宣伝内容に注意を払う
いかに商品の魅力を伝えるかによって、クリック率（CTR）やコンバージョン率（CVR）は大きく変わります。「ターゲットは誰か」「どんなニーズを満たすのか」、「興味・関心を惹く内容になっているか」などは、クリック率の向上につながります。さらに商品の詳細画面での紹介文章の内容は、コンバージョン率に直結します。
逆にいえば、クリック率やコンバージョン率が低い場合、ユーザーのニーズを満たしていない広告文章になっていたり、文章が簡易的で魅力が十分に伝わっていない可能性があります。
まとめ
Googleショッピングを使えば無料で商品を掲載できるため、ネットショップ運営者が使わない手はありません。しかし、手軽に始められる分、競合の参入も多く、購買に至らないこともあるでしょう。
そのため、ネットショップ運営者は、Googleショッピング広告の仕組みを理解し、現状把握と競合分析によって課題を整理し、常に改善を繰り返すことが大切です。
現状把握にはデータが欠かせません。Webスクレイピングは、手間をかけずに競合他社の情報を自動的に抽出できるため、まだ活用されていない方は、この機会に活用を検討されてみてはいかがでしょうか。
