いつもOctoparseをご愛顧いただき、誠にありがとうございます。今回はOctoparseで重要なことを皆様に報告させていただきます。
この度、Octoparseでは新たに8.5バージョンをリリースしました。Octoparseをご利用中のお客さまの中には、「昨年8.4バージョンをリリースしたばかりなのに、なぜ8.5バージョンのリリースがこんなに早いの?」と感じられる方もいらっしゃると思います。
Octoparseの技術部門では、お客さまからの多くの声に基づき、日々新機能開発と既存機能の最適化を行っており、今回の8.5バージョンではさらにパワーアップしています。
ここでは、8.5バージョンでぜひ知っていただきたい新機能の内容と、既存機能の最適化について詳しく紹介します。
Octoparse 8.5バージョンの変更点
ノーコードのスクレイピングツールにとって重要なことは、「データの抽出速度」「ツールの操作性・使いやすさ」「抽出データの管理・セキュリティ体制」などです。
Octoparseでは、お客さまのより良いデータ抽出体験を提供するために、常にバージョンアップを続けています。今回の8.5バージョンにおいても新機能の追加や、既存機能の改善を図りました。
8.5バージョンで改善・追加された主な機能は次のものが挙げられます。
- ローカルスクレイピング時の抽出速度の向上
- ダッシュボードでのタスク管理
- タスクのクラウドIPの切り替え
- 抽出された時間の変換(米国時間や中国時間に変換するなど)
※これらは8.5バージョンで改善・追加された機能の一部で、他にもリニューアルされた機能が数多くあります。
8.5バージョンでは、特にローカルスクレイピングの改善に注力しています。Octoparseがローカル抽出にこだわる理由としては、クラウド抽出は必ずしも万能ではないからです。
Octoparseでは、ローカル抽出をクラウド抽出と同様に柔軟性と強力性を持つことを目指しており、今回の8.5バージョンではローカルスクレイピングの機能改善に注力しました。
Octoparse8.5バージョンで出来ること
Octoparseでは、日々お客様から数多くのお声をいただきますが、中でも次のようなお悩みの声を頂戴してきました。
- 特定のWebサイトではローカル抽出しか実行できない
- ローカル抽出に掛かる時間がクラウド抽出に比べて遅い
- ローカル抽出で得たデータを自動的にデータベースに保存してほしい
- タスク実行中にエラーになるが、エラーの原因がわからない
- タスク実行中に、データ抽出が正しく行われているか確認したい
これらのお悩みは、新しいOctoparseで解消できます。ここからは、8.5バージョンの新機能について解説します。
【実行ログ】データがうまく抽出できない時に原因がわかる
Octoparse 8.5バージョンでは、実行ログが確認できるようになりました。
- ローカルで実行されたログをリアルタイムで確認する
- 必要に応じてローカル抽出を一時停止・再開する
Octopasreでスクレイピングを行う際に、データ抽出が上手くいかない時があります。これまでデータ抽出でエラーが生じた際に、原因を特定するのは容易ではありませんでした。
Octoparse 8.5では、タスクを実行する時に何が悪かったのか、どこから改善できるのか、どんなエラーがあったのかを調べることが可能になりました。これによってタスクエラーを検証する時間を大幅に短縮できます。
タスクエラーが生じた場合、「実行ログ」をチェックすることで、実行ログが表示されます。実行ログでは、タスクがなぜ実行できないのか、スクレイピングプロセス中にどのような問題があるのかが記載されています。
上記の画像から、エラーが発生している原因がわかりました。Octoparseで発生する可能性のあるエラーと、それを解決するためのポイントをいくつかご紹介します。
エラー内容 | 解決策・対応方法 |
要素が見つかりません | Xpathをチェックします |
ウェブページの読み込みに失敗しました | ネットワークやIPに何か問題がないか確認してください |
AJAXのタイムアウト | タイムアウトまでの時間を変更します |
💡ヒント
タスクの実行完了後、ローカル実行のウィンドウを閉じてしまうと、「実行ログ」にアクセスできなくなります。「実行ログ」を後から確認したい場合は、あらかじめ「実行ログ」をエクスポートしてください。
【加速モード】ローカル実行速度を3倍アップ
Octoparse8.5バージョンではローカル抽出の「加速モード」を新たに搭載し、クラウド抽出並みの抽出スピードの実現に成功しました。これにより、データの高速抽出はクラウド抽出の特権ではなくなりました。
「加速モード」では、タスクが複数のサブタスクに分割され、従来のローカル抽出速度を3倍向上(当社比)します。加速モードを活用することで、より効率的なローカルデータ抽出ができるようになります。
💡ヒント
加速モードを利用する際、いくつか注意点があります:
①加速モードは、URLリスト、複数のテキスト入力、ページ要素の固定リストなど、「分割可能」なタスクにのみ適用されます
②加速モードで実行できるタスク数は、使用デバイスの容量に依存するため、あらかじめ十分に容量を確保する必要があります
そのため、状況によってはクラウド抽出の方が効率的であることが多いです。しかし今回の「加速モード」の導入によって、ローカル抽出とクラウド抽出間のギャップを縮小したことは間違いありません。
【自動バックアップ】ローカルデータをクラウドへ自動保存
Octoparse 8.5では、自動バックアップ機能も強化されました。
- ローカルで抽出した過去のデータを全て確認できる
- ローカルで抽出したデータはクラウドに自動バックアップする
Octoparseの旧バージョンでは、ローカル抽出で保存できるデータは、直近で抽出したデータのみに限られていました。Octoparse8.5バージョンでは、同じタスクで抽出したデータは抽出時間にかかわらず、すべて確認できるようになりました。
例えば、タスクAのスクレイピングを週に4回実行した場合、その4回分の抽出データはすべて保存されています。(今までは直近の4回目しか確認できなかった)
さらに「自動バックアップ」をオンにすると、タスクが実行完了した後に、データがクラウドに自動保存されます。
この機能は、APIを使ってデータベースにデータを接続している場合に非常に有効です。データベースと接続することで、クラウドで実行されたデータだけでなく、ローカルで実行されたデータも自動的に処理されるようになります。
💡ヒント
自動バックアップをオンにした後のデータのみをバックアップします。自動バックアップをオンにする以前に抽出されたデータのバックアップは行われません。ただし、バックアップ実行が完了した後、データがまだクラウドにバックアップされていない場合は、手動でバックアップすることが可能です。
タスクの一括管理
Octoparse 8.5バージョンでは、タスクの一括管理が可能になりました。特に数多くのタスクがある方にとっては、反復作業を削減し、タスク管理を容易にします。
- タスクの複製、クラウド実行中・停止中、ローカルの実行中・スケジュール設定などを一括管理する
- フィルター設定により、タスクを効率的に分類・検索が可能。フィルターを保存することで、後から自由に呼び出すことが可能
最後に
今回は主なアップデートをご紹介しましたが、まだまだご紹介したいことがあります。今後、Octoparse8.5のアップデート総合版を整理した資料をお届けします。またOctoparse 8.5 バージョンのチュートリアルは近日中に公開予定です。
今回紹介した機能のほかにも、Octoparseの機能追加や改善に関するご要望・ご意見がありましたら、気軽にOctoparseのサポートデスクまでご連絡ください。