サイトをスクレイピングしRSSの出力を行うアプリケーション
概要
通称「DIY RSS」。
更新情報を取得したいがRSSが配信されていないようなサイトをスクレイピングし、RSSとして配信する。アプリケーションは次の2つに分かれる。
- サイトをスクレイピングしDBにデータを蓄積するバッチ処理
- リクエストに従って対象サイトのRSSを出力する処理
また「水曜どうでしょうD陣日記アーカイブ」についてのみ、以下の機能が追加される。
- 取得したデータを元にWordPress記事を更新する
基本設計
対象サイト
- 水曜どうでしょう 本日の日記（https://www.htb.co.jp/suidou/）
- CUE DIARY / CREATIVE OFFICE CUE（cue_diary https://www.office-cue.com/diary/）
- ディルバート（https://www.itmedia.co.jp/keywords/dilbert.html）
- ニコニコインフォ‐メンテナンス・障害・復旧の記事一覧（https://blog.nicovideo.jp/niconews/ge_maintenance/）
- ニコニコインフォ‐機能・お知らせの記事一覧（https://blog.nicovideo.jp/niconews/category/ge_function/）
- リビング京都 今日のもう一品（https://www.kyotoliving.co.jp/index.html）
2019/07/23 現在
実装
スクレイピング
Goutteを利用してスクレイピング。サイトごとに処理を書く必要がある。
RSS出力
Laravelium/Feedを利用して出力。フォーマットが統一され、必要最低限の情報だけを出力することが出来る。