Pythonでrssからデータを取得する方法

Pythonでrssからデータを取得する方法をご紹介します。

条件

• Python 3.7.0
• feedparser 5.2.1

事前準備

feedparserのインストール

以下のコマンドを実行して「feedparser」をインストールします。

$ pip install feedparser

実装

以下のようなPythonのプログラムを作成します。

• feedparser.parse()で指定のURLからデータを読み込みparseします。
• ここではYahooニュースのRSSを指定しています。

# rss.py

import feedparser

RSS_URL = "https://headlines.yahoo.co.jp/rss/all-c_sci.xml"

dic = feedparser.parse(RSS_URL)

print(dic.feed.title)  # channel.title
print(dic.feed.description)  # channel.description
print('---')

for entry in dic.entries:
    print(entry.title)  # title
    print(entry.link)  # link
    print(entry.category)  # category
    print('---')

実行結果

実行

$ python rss.py

以下のように出力されます。

IT・科学 - Yahoo!ニュース
Yahoo! JAPANのニュースに掲載されている記事の最新の見出しを提供しています。
---
「LINE Pay」と「メルペイ」、連携により加盟店を相互開放　キャッシュレス社会の早期実現を目指す（MarkeZine）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/sh_mar/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAwMC1zaF9tYXItc2Np
IT総合
---
3社の有望ベンチャーを表彰、JEITAが「第4回 JEITAベンチャー賞」受賞企業を発表（BCN）
https://rdsig.yahoo.co.jp/rss/l/headlines/prod/bcn/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDE2Njk2MC1iY24tcHJvZA--
製品
---
BI基盤「MicroStrategy」新版、業務SaaSの情報をログインせずに表示（ZDNet Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/zdnet/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDczMi16ZG5ldC1zY2k-
IT総合
---
ロシア疑惑に関する米特別検察官の報告書、公開前からAmazonでベストセラー入り（CNET Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/cnetj/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDg1OC1jbmV0ai1zY2k-
IT総合
---
「2024年までに月に人を送る」米副大統領が宣言（sorae 宇宙へのポータルサイト）
https://rdsig.yahoo.co.jp/rss/l/headlines/sctch/sorae_jp/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAxMDAwMC1zb3JhZV9qcC1zY3RjaA--
科学
---
好評の声もあったが……ZOZO「おまかせ定期便」終了のワケ（ITmedia NEWS）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/zdn_n/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAzMy16ZG5fbi1zY2k-
IT総合
---
グーグルCEO、トランプ米大統領と会合--中国との関係などについて議論（CNET Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/cnetj/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDg0Ny1jbmV0ai1zY2k-
IT総合
---
Facebook、セキュリティ研究者向けに「ホワイトハット設定」を提供（CNET Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/cnetj/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDg1NC1jbmV0ai1zY2k-
IT総合
---
フィデリティやロレアルが明かすドーモの活用法--建設現場の状況把握にも（ZDNet Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/zdnet/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDgzOS16ZG5ldC1zY2k-
IT総合
---
タイムカードを押す手間が省ける、NEC「働き方見える化サービス」に新機能（アスキー）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/ascii/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAxMS1hc2NpaS1zY2k-
IT総合
---
「Windows 10 20H1」Build 18855が“Skip Ahead”に（Impress Watch）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/impress/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAyNC1pbXByZXNzLXNjaQ--
IT総合
---
ミニレビュー：富士通「QUADERNO」で電子ペーパー初体験!（マイナビニュース）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/mynavin/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAwMy1teW5hdmluLXNjaQ--
IT総合
---
AWSは公共向けクラウドでナンバーワンを目指すのか？ 事業責任者に聞いてみた（ZDNet Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/zdnet/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDg1Mi16ZG5ldC1zY2k-
IT総合
---
IoT/OT対応やSOC支援サービスなどに注力--トレンドマイクロの2019年事業戦略（ZDNet Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/zdnet/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDg1My16ZG5ldC1zY2k-
IT総合
---
「第3世代バタフライキーボードの一部に問題が見られる」--アップルが謝罪（CNET Japan）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/cnetj/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0zNTEzNDg0Ni1jbmV0ai1zY2k-
IT総合
---
チューリング賞、ディープラーニングに貢献のGoogleのヒントン氏、Facebookのルカン氏、モントリオール大のベンジオ氏に（ITmedia NEWS）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/zdn_n/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAzMi16ZG5fbi1zY2k-
IT総合
---
Beatsもフルワイヤレスイヤフォン？（ITmedia NEWS）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/zdn_n/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAzMS16ZG5fbi1zY2k-
IT総合
---
「LINE Pay」と「メルペイ」が顧客開拓などでタッグ、加盟店アライアンスの構想も発表（ネットショップ担当者フォーラム）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/netshop/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAwMi1uZXRzaG9wLXNjaQ--
IT総合
---
レーザーからインクジェットプリンターの置換めざすエプソン（アスキー）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/ascii/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAwNy1hc2NpaS1zY2k-
IT総合
---
アップル定額配信ラッシュ ねらいは?（アスキー）
https://rdsig.yahoo.co.jp/rss/l/headlines/sci/ascii/RV=1/RU=aHR0cHM6Ly9oZWFkbGluZXMueWFob28uY28uanAvaGw_YT0yMDE5MDMyOC0wMDAwMDAwOS1hc2NpaS1zY2k-
IT総合
---

参考

feedparser 5.2.0 documentation

https://pythonhosted.org/feedparser/