定期的なWebデータ収集

定期的なWebデータ収集を、確認工程とともに実行

設定した条件に沿ってデータ収集を進め、処理後に結果と確認事項を見直せる運用を設計できます。

この業務で起きている悩み

担当
営業企画・調査・バックオフィスの担当者
頻度
毎日または週次の決めた時刻
止まる場所
定期的な実行管理と、確認が必要な対象の切り分け
  • 長い収集処理のために担当者のPCを起動したままにしている
  • 複数の対象をどこまで処理したか把握しにくい
  • 処理結果の確認に手間がかかる
Before / After

人が行う手順と、導入後に残す確認作業

以下は手順の比較です。所要時間や削減率は業務条件によって変わるため、数値効果は個別の条件で試算します。

Before

現在の手順

  1. 1対象ページと収集項目を一覧にする
  2. 2担当者のPCで順番にページを開く
  3. 3必要な項目を表へ転記する
  4. 4確認が必要な対象を探す
  5. 5全体の完了状況を確認する

After

Pigeon Workflow導入後

  1. 1決めた条件でWebデータ収集を開始する
  2. 2対象一覧と処理状況を確認する
  3. 3接続先の利用条件に沿って収集する
  4. 4処理結果を記録する
  5. 5担当者が完了結果と確認事項を見直す
Workflow

連携ノードを組み合わせるワークフロー

  1. 決めた条件で開始

    定期実行

  2. 対象を取得

    データ取得

  3. 処理対象を確認

    入力チェック

  4. Webから収集

    ブラウザ自動操作 RPA

  5. 結果を記録

    データ書き込み

  6. 確認事項を共有

    Slack 送信

確認が必要な場合の分岐

  • ブラウザ自動操作 RPA から分岐

    1. 接続先の利用条件を確認
    2. 処理を調整

    対象に合う例外処理を適用

  • データ書き込み から分岐

    1. 処理状況を確認
    2. 確認事項を整理

    担当者が結果を確認

処理結果を記録し、判断が必要な場合は担当者が確認できる状態にします。

Integrations

必要な連携

専用ノード

定期実行・Google スプレッドシート・PigeonCloud・Slack

定期的な起動、対象一覧の取得、結果の記録、担当者への共有に使います。

Webhook・REST

取得元の公式API

連携先の利用条件を確認し、適切な方法で接続します。

ブラウザRPA

対応するWeb画面

利用規約とrobots.txtを確認し、許諾の範囲内でデータを収集します。

Review flow

確認が必要な場合の進め方

01

接続先の利用条件

接続先の利用条件に沿った処理方法を設計します。

02

画面への適合

対象画面に合わせた確認方法と対応手順を個別に設計します。

03

結果の確認

処理結果を記録し、確認が必要な項目を担当者へ共有します。

Fit & design

適用条件と設計のポイント

01取得条件
利用規約と公式の制限に合わせて取得条件を設計します。
02ページ構成
対象ページの構成と必要な収集項目をサンプルで確認します。
03処理状況の記録
必要な処理状況を記録し、担当者が結果を確認できるようにします。
04利用規約と許諾
利用規約や許諾の範囲内で取得対象を設計します。
Verification

社内検証で確認した内容

確認環境
当社のデモ組織と検証用(合成)データ、許諾済みの検証用Webページで確認しました。

確認した構成

  • 定期的な開始から収集、結果記録、メール通知までの一連の処理を確認

確認したこと

  • 定期実行の開始を確認
  • 収集から結果記録までの一連の処理を確認
  • メールでの通知を確認
定期実行からWebデータ収集、結果記録、担当者への共有までをつないだワークフロー
収集から結果記録までの一連の処理を確認したワークフロー
複数回の定期実行を確認した実行一覧
複数回の定期実行を確認した実行一覧
Price guide

料金目安

Light 月額50,000円

税抜・10ユーザー・25,000 AIクレジット・RPAノード

実行量、ブラウザRPAの利用範囲、連携要件によって必要なプランは異なります。適合確認後に個別にご案内します。

料金プランを見る
FAQ

よくあるご質問

担当者のPCを起動しておく必要はありますか?

実行中に担当者のPCを起動し続ける必要はありません。処理結果は担当者が確認できます。

処理結果はどのように確認しますか?

処理状況と結果を記録し、確認が必要な項目を担当者へ共有する構成にします。

どのWebサイトからでも収集できますか?

対象サイトの利用規約、robots.txt、許諾、画面構成を確認して個別に判断します。

どこまで動作を確認していますか?

当社のデモ組織と検証用データで、定期的な開始からWebデータの収集、結果記録、メール通知までを確認しました。Slackへの共有は導入時に設定します。

More use cases

他の活用シーン

Consultation

この業務をどこまで任せられるか確認しませんか

現在の手順、利用中のツール、例外条件を伺い、対象範囲と人の確認を残す場所を整理します。