競泳水着価格比較の仕様、および制限事項について説明しています。取得漏れの理由等が書かれています。ショップ運営者は一度お読みください。
データの取得方法
競泳水着価格比較のデータの取得方は、以下のような流れになっています。
- ウェブサービスを利用して、楽天市場、
Yahoo!ショッピングよりデータを取得します。「水着」をキーワードにした検索結果を取得します。楽天市場の場合は、水着カテゴリ以下も取得します。
- 楽天市場:約30,000件(重複含む)、Yahoo!ショッピング:約15,000件の商品データが取得できます。
- その中から、競泳水着.comに掲載されていて価格比較データ取得対象のショップのみを絞り込みます。重複を除き、約7,000件になります。
- 絞り込まれたデータ、すべてのURLに対して巡回し、HTMLを取得します。
- 取得したHTMLを解析し、水着の型番と思われる部分を取得します。同時に、商品名、商品説明、定価等があれば取得します。
- 水着の型番と思われる部分を解析、メーカーや水着スタイル等パターン化された部分を生成します。ここで4ブランド以外のデータは省かれます。約5,000件になります。
- すべての水着に対して、手作業でデータを確認。不足・間違い部分を入力します。
- 商品データと水着データを結合し、割引率等を更新、オンラインDBに反映させます。最終的に約4,000件程度になります。
できる部分はほとんど自動化してますが、水着のデータ入力は手作業以外、方法がありません。メーカーからデータがもらえればインポート可能ですが、まず無理でしょうし・・・
制限事項・既知の問題
上記の流れから分かりますように、さまざまな制限があります。
- 取得可能なデータは、楽天市場、
Yahoo!ショッピングのキーワード「水着」で検索できるもの
(Yahoo!ショッピングの場合、「水着」が商品名等に含まれていない場合、取得できません。楽天市場の場合はカテゴリ設定ができていれば取得できます。)
- 競泳水着.comに掲載されいてるショップのみが対象
- 商品名、商品説明、商品番号などのどこか決まった場所に、メーカーの水着型番が完全な形で記載されている
(MIZUNOで、85REなどがない場合や、ARENAで、SARなどがない場合は解析できません。かなりのデータがこれで漏れています。)
- SPEEDO、ARENA、ASICS、MIZUNOの4ブランドのみ
また、以下は現在判明してる問題点。今後改良したいと思います。
- ARENAの型番で、数字の後にアルファベットがたくさん続くものは解析に失敗しやすい
- ASICSの型番は解析に失敗する事があります
- セパレート水着等のセット販売をショップが独自にしている場合、判断できません。トップス、またはボトムスのどちらかに間違って分類されます。
- 同じ型番で定価が違う場合、分類できません。先にDBへ登録された方が優先されます。
- 上記2つの理由から割引率がマイナスになることがあります。
- 古い水着のデータは詳細が不明の為、適当に入力してます・・・
巡回間隔・時間
平日の夜中(月曜日~金曜日)にデータ取得を実行します。
巡回時間は、夜中の1時から。約9時間程度かけて、朝10時過ぎごろ終わります。テストをしてる時は、昼間、部分巡回する場合もあります。
User-Agent
UserAgentは、
KyosuiSearch(http://www.kyoueimizugi.com/)
を送信します。
連絡先
競泳水着価格比較に関して、ご質問等ありましたら、以下のアドレスへメールをお出しください。できる限りお答えしたいと思います。
info@kyoueimizugi.com