「サイトをスクレイピングしRSSの出力を行うアプリケーション」の版間の差分
ナビゲーションに移動
検索に移動
Ippei Suzuki (トーク | 投稿記録) 編集の要約なし |
Ippei Suzuki (トーク | 投稿記録) |
||
| 19行目: | 19行目: | ||
== 対象サイト == | == 対象サイト == | ||
# 水曜どうでしょう 本日の日記（https://www.htb.co.jp/suidou/） | |||
# CUE DIARY / CREATIVE OFFICE CUE（cue_diary https://www.office-cue.com/diary/） | |||
# ディルバート（https://www.itmedia.co.jp/keywords/dilbert.html） | |||
# ニコニコインフォ‐メンテナンス・障害・復旧の記事一覧（https://blog.nicovideo.jp/niconews/ge_maintenance/） | |||
# ニコニコインフォ‐機能・お知らせの記事一覧（https://blog.nicovideo.jp/niconews/category/ge_function/） | |||
# リビング京都 今日のもう一品（https://www.kyotoliving.co.jp/index.html） | |||
2019/07/23 現在 | |||
== 実装 == | == 実装 == | ||
2019年7月23日 (火) 09:15時点における版
概要
通称「DIY RSS」。
更新情報を取得したいがRSSが配信されていないようなサイトをスクレイピングし、RSSとして配信する。アプリケーションは次の2つに分かれる。
- サイトをスクレイピングしDBにデータを蓄積するバッチ処理
- リクエストに従って対象サイトのRSSを出力する処理
また「水曜どうでしょうD陣日記アーカイブ」についてのみ、以下の機能が追加される。
- 取得したデータを元にWordPress記事を更新する
基本設計
対象サイト
- 水曜どうでしょう 本日の日記（https://www.htb.co.jp/suidou/）
- CUE DIARY / CREATIVE OFFICE CUE（cue_diary https://www.office-cue.com/diary/）
- ディルバート（https://www.itmedia.co.jp/keywords/dilbert.html）
- ニコニコインフォ‐メンテナンス・障害・復旧の記事一覧（https://blog.nicovideo.jp/niconews/ge_maintenance/）
- ニコニコインフォ‐機能・お知らせの記事一覧（https://blog.nicovideo.jp/niconews/category/ge_function/）
- リビング京都 今日のもう一品（https://www.kyotoliving.co.jp/index.html）
2019/07/23 現在
実装
スクレイピング
Goutteを利用してスクレイピング。サイトごとに処理を書く必要がある。
RSS出力
Laravelium/Feedを利用して出力。フォーマットが統一され、必要最低限の情報だけを出力することが出来る。