google newsのフィード取得

googleがキャッシュで残してくれていました。感謝。

以下再掲。

d3pipesでgoogle newsのフィードをとって、どんどん貯めていこうとしてはや１０年。google alertを利用すればRSSが得られるが、どうやってもd3pipesで上手く処理できなかった。

サーバの設定なのか、どんなRSSフィードでも設定しようとすると、なぜかそのパイプの設定が保存できなくなるなど、これまでかとおもっていた。

まず、サーバを変えてしまいました。とりあえずQiccaでお試し中。これでd3pipesのパイプを保存できるようになりました。

でも、google newsのフィードはd3pipesでXML解析エラーが頻発。ググってもなかなか同じ症状で悩んでいる人はいないみたいで、あきらめかけながら、それでも情報を探していたら、見つけました。

OhYeah! – Google ニュース検索結果を d3pipes で表示

こちらを参考に改めてgoogle newsの検索結果のフィードを指定してみたら上手く行きました。

自分が検索したいキーワードは、「電池|蓄電|充電自動車|住宅|停電|非常用|電化|市場|普及|需要 -太陽 -燃料」と「蓄電|蓄電池送電|配電|電力|系統|安定化|住宅|停電|非常用|バックアップ|電化|市場|普及|需要|スマート|ビル -ケータイ」。これをgoogle newsで検索したときのURLはそれぞれ、

https://news.google.com/news/search?hl=ja&gl=jp&q=%E9%9B%BB%E6%B1%A0%7C%E8%93%84%E9%9B%BB%7C%E5%85%85%E9%9B%BB+%E8%87%AA%E5%8B%95%E8%BB%8A%7C%E4%BD%8F%E5%AE%85%7C%E5%81%9C%E9%9B%BB%7C%E9%9D%9E%E5%B8%B8%E7%94%A8%7C%E9%9B%BB%E5%8C%96%7C%E5%B8%82%E5%A0%B4%7C%E6%99%AE%E5%8F%8A%7C%E9%9C%80%E8%A6%81+-%E5%A4%AA%E9%99%BD+-%E7%87%83%E6%96%99
https://news.google.com/news/search?hl=ja&gl=jp&q=%E8%93%84%E9%9B%BB%7C%E8%93%84%E9%9B%BB%E6%B1%A0+%E9%80%81%E9%9B%BB%7C%E9%85%8D%E9%9B%BB%7C%E9%9B%BB%E5%8A%9B%7C%E7%B3%BB%E7%B5%B1%7C%E5%AE%89%E5%AE%9A%E5%8C%96%7C%E4%BD%8F%E5%AE%85%7C%E5%81%9C%E9%9B%BB%7C%E9%9D%9E%E5%B8%B8%E7%94%A8%7C%E3%83%90%E3%83%83%E3%82%AF%E3%82%A2%E3%83%83%E3%83%97%7C%E9%9B%BB%E5%8C%96%7C%E5%B8%82%E5%A0%B4%7C%E6%99%AE%E5%8F%8A%7C%E9%9C%80%E8%A6%81%7C%E3%82%B9%E3%83%9E%E3%83%BC%E3%83%88%7C%E3%83%93%E3%83%AB+-%E3%82%B1%E3%83%BC%E3%82%BF%E3%82%A4

検索キーワードはUTF-8でURLエンコードした文字列、つまりこんな感じ。

「電池|蓄電|充電自動車|住宅|停電|非常用|電化|市場|普及|需要 -太陽 -燃料」は「%e9%9b%bb%e6%b1%a0%7c%e8%93%84%e9%9b%bb%7c%e5%85%85%e9%9b%bb%20%e8 %87%aa%e5%8b%95%e8%bb%8a%7c%e4%bd%8f%e5%ae%85%7c%e5%81%9c%e9%9b%bb%7c%e9 %9d%9e%e5%b8%b8%e7%94%a8%7c%e9%9b%bb%e5%8c%96%7c%e5%b8%82%e5%a0%b4%7c%e6 %99%ae%e5%8f%8a%7c%e9%9c%80%e8%a6%81%20%2d%e5%a4%aa%e9%99%bd%20%2d%e7%87 %83%e6%96%99」
「蓄電|蓄電池送電|配電|電力|系統|安定化|住宅|停電|非常用|バックアップ|電化|市場|普及|需要|スマート|ビル -ケータイ」は「%e8%93%84%e9%9b%bb%7c%e8%93%84%e9%9b%bb%e6%b1%a0%20%e9%80%81%e9 %9b%bb%7c%e9%85%8d%e9%9b%bb%7c%e9%9b%bb%e5%8a%9b%7c%e7%b3%bb%e7%b5%b1%7c %e5%ae%89%e5%ae%9a%e5%8c%96%7c%e4%bd%8f%e5%ae%85%7c%e5%81%9c%e9%9b%bb%7c %e9%9d%9e%e5%b8%b8%e7%94%a8%7c%e3%83%90%e3%83%83%e3%82%af%e3%82%a2%e3%83 %83%e3%83%97%7c%e9%9b%bb%e5%8c%96%7c%e5%b8%82%e5%a0%b4%7c%e6%99%ae%e5%8f %8a%7c%e9%9c%80%e8%a6%81%7c%e3%82%b9%e3%83%9e%e3%83%bc%e3%83%88%7c%e3%83 %93%e3%83%ab%20%2d%e3%82%b1%e3%83%bc%e3%82%bf%e3%82%a4」

URLエンコードは、例えばWeb便利ツール/URLエンコード・デコードフォーム – TAG index Webサイトが便利。

これをフィードのURLとして、パラメータqに引き渡せばいいみたい。atomフィードだとこうなる。

http://news.google.co.jp/news?ned=us&hl=ja&output=atom&num=20&ie=utf8&q=%e9%9b%bb%e6%b1%a0%7c%e8%93%84%e9%9b%bb%7c%e5%85%85%e9%9b%bb%20%e8%87%aa%e5%8b%95%e8%bb%8a%7c%e4%bd%8f%e5%ae%85%7c%e5%81%9c%e9%9b%bb%7c%e9%9d%9e%e5%b8%b8%e7%94%a8%7c%e9%9b%bb%e5%8c%96%7c%e5%b8%82%e5%a0%b4%7c%e6%99%ae%e5%8f%8a%7c%e9%9c%80%e8%a6%81%20%2d%e5%a4%aa%e9%99%bd%20%2d%e7%87%83%e6%96%99
http://news.google.co.jp/news?ned=us&hl=ja&output=atom&num=20&ie=utf8&q=%e8%93%84%e9%9b%bb%7c%e8%93%84%e9%9b%bb%e6%b1%a0%20%e9%80%81%e9%9b%bb%7c%e9%85%8d%e9%9b%bb%7c%e9%9b%bb%e5%8a%9b%7c%e7%b3%bb%e7%b5%b1%7c%e5%ae%89%e5%ae%9a%e5%8c%96%7c%e4%bd%8f%e5%ae%85%7c%e5%81%9c%e9%9b%bb%7c%e9%9d%9e%e5%b8%b8%e7%94%a8%7c%e3%83%90%e3%83%83%e3%82%af%e3%82%a2%e3%83%83%e3%83%97%7c%e9%9b%bb%e5%8c%96%7c%e5%b8%82%e5%a0%b4%7c%e6%99%ae%e5%8f%8a%7c%e9%9c%80%e8%a6%81%7c%e3%82%b9%e3%83%9e%e3%83%bc%e3%83%88%7c%e3%83%93%e3%83%ab%20%2d%e3%82%b1%e3%83%bc%e3%82%bf%e3%82%a4

google newsのオプションとして、日付順だったり、重複排除があるので、どうするのか確認中。

確認しました。