「サイトをスクレイピングしRSSの出力を行うアプリケーション」の版間の差分

ページの作成:「== 概要 == 通称「DIY RSS」。 更新情報を取得したいがRSSが配信されていないようなサイトをスクレイピングし、RSSとして配信す…」
 
編集の要約なし
 
(同じ利用者による、間の8版が非表示)
1行目: 1行目:
== 概要 ==
== 概要 ==


通称「DIY RSS」。
通称「[[DIY RSS]]」。


更新情報を取得したいがRSSが配信されていないようなサイトをスクレイピングし、RSSとして配信する。アプリケーションは次の2つに分かれる。
更新情報を取得したいがRSSが配信されていないようなサイトをスクレイピングし、RSSとして配信する。アプリケーションは次の2つに分かれる。
7行目: 7行目:
# サイトをスクレイピングしDBにデータを蓄積するバッチ処理
# サイトをスクレイピングしDBにデータを蓄積するバッチ処理
# リクエストに従って対象サイトのRSSを出力する処理
# リクエストに従って対象サイトのRSSを出力する処理
また「水曜どうでしょうD陣日記アーカイブ」についてのみ、以下の機能が追加される。
# 取得したデータを元にWordPress記事を更新する
== 基本設計 ==
=== バッチスクリプト ===
# 対象サイトをスクレイピングする
# 本文、執筆者、日付などを取得する
# データベースに保存する
=== RSS出力アプリケーション ===
全サイト共通
# データベースからデータを読み込む
# RSS形式で出力する
=== WordPress更新アプリケーション ===
1時間に1回程度の実行
# 対象サイトのデータをデータベースから読み込む
# 最新の記事がテーブル「dr_entry_posted」になければWordPress上の対象のブログに記事を作成する
== 対象サイト ==
2019/07/23 現在
# 水曜どうでしょう 本日の日記(https://www.htb.co.jp/suidou/)
# CUE DIARY / CREATIVE OFFICE CUE(cue_diary https://www.office-cue.com/diary/)
# ディルバート(https://www.itmedia.co.jp/keywords/dilbert.html)
# ニコニコインフォ‐メンテナンス・障害・復旧の記事一覧(https://blog.nicovideo.jp/niconews/ge_maintenance/)
# ニコニコインフォ‐機能・お知らせの記事一覧(https://blog.nicovideo.jp/niconews/category/ge_function/)
# リビング京都 今日のもう一品(https://www.kyotoliving.co.jp/index.html)
== 実装 ==
=== スクレイピング ===
Goutteを利用してスクレイピング。サイトごとに処理を書く必要がある。
=== RSS出力 ===
Laravelium/Feedを利用して出力。フォーマットが統一され、必要最低限の情報だけを出力することが出来る。