創業初期に取り組んだWebスクレイピング案件——ECデータ収集の自動化

最初の本格案件

創業から数ヶ月、最初に本格的に取り組んだのはECサイトの商品情報を自動収集するスクレイピングツールの開発でした。

クライアントの課題は「楽天・Amazonで毎日手動で価格を調べているが、商品数が多すぎて追いきれない」というものでした。

技術的なアプローチ

// Puppeteerで楽天の検索結果を取得する基本パターン
const puppeteer = require('puppeteer');

async function scrapeRakuten(keyword) {
    const browser = await puppeteer.launch({ headless: true });
    const page = await browser.newPage();

    // ユーザーエージェントを設定（クローラーと判定されにくくする）
    await page.setUserAgent(
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36'
    );

    const url = `https://search.rakuten.co.jp/search/mall/${encodeURIComponent(keyword)}/`;
    await page.goto(url, { waitUntil: 'networkidle2' });

    const products = await page.$$eval('.searchresultitem', items =>
        items.map(item => ({
            title: item.querySelector('.title')?.textContent?.trim(),
            price: item.querySelector('.price')?.textContent?.trim(),
            url:   item.querySelector('a')?.href,
        }))
    );

    await browser.close();
    return products;
}