はてなブックマークの情報が取得出来なくなっていた件

20181114_01.png 毎朝自動投稿している、「昨日のブックマークまとめ」が上手く動かなくなっていたので調べてみたら、そもそも自分のはてなブックマークをAPI経由で取得できなくなってました。理由は、Atom APIのサポートが終了したこと。

はてなブックマークAtom APIのサポートを終了します – はてなブックマーク開発ブログ

この度、Atom API のご利用数が少ないこと、Atom APIと同様の機能がREST APIで提供されていることから、2018年10月31日にAtom APIのサポートを終了することとなりました。ご利用の皆様には申し訳ございませんが、REST APIへの移行をお願いいたします。

データ取得部分はPearの「Services_Hatena」を使っていたんですけど、これ内部でAtom API利用してるんですよね。まあそもそもデータ取得用のコードがすごい古いし、「Services_Hatena」も既にメンテナンスされてないし、Atom APIを終わらせるというはてなの判断も妥当だと思うので、特に何にも不満はないです。そのままにしていた自分が悪いので。ていうか、時代は変わったんだなあとしみじみ。 ちなみに一番面倒なのは、認証かなあ。

はてなブックマークAtom APIのサポートを終了します – はてなブックマーク開発ブログ

AtomAPIはWSSE認証とOAuth認証をサポートしていましたが、REST APIはOAuth認証のみをサポートしています。WSSE認証をご利用のかたは、OAuth認証に切り替えていただくようお願いいたします。

WSSE認証が廃止になるので、OAuth認証に切り替えなければならないというね。きちんと実装してもいいんだけど、ブックマークの情報を取得するだけならフィードを取得すれば良いだけだから別に良いかな。 (ただしブログ記事をはてなブックマークに自動投稿する機能は動かないまま。これはそのまま廃止で構わないかな−) 改修についてはちょっと問題も起きたので、また別の記事で。

続きを読む

自分のはてなブックマーク一覧を取得するスクリプトが上手く動いていなかったのを修正した

このエントリの続き。 はてなブックマークの何かが壊れて直った | mutter 結論から言うと、PHPプログラムからRSS(http://b.hatena.ne.jp/nobodyplace/rss)へのアクセスが遮断されているっぽい。20分に1回GETリクエストを投げているだけなのだけど、それが嫌がられたんだろうか。それともサーバの不調?よくわからないがSimpleXml_load_fileだけでなくfile_get_contentsでも取得出来ない(falseが返る。エラーをよく見ると503が返されてる)ので、XMLパース出来ないとかいう問題ではないみたい。

続きを読む

はてなブックマークの何かが壊れて直った

ぼんやりした話を書きますが。 このブログには「はてなブックマークまとめ」という記事が毎朝6時頃にアップされています。これは、前日(0時から23時59分まで)にはてなブックマークした記事を集計して、順に掲載した記事で集計から投稿まで自動的に行われています。 作成したのは2006年9月21日で、これまで9年ちょっと割と上手く動いてきたんですけど、昨年12月4日からずっと記事を取得出来ない状態が続いていました。記事が取得出来ない場合は、「新着ブックマークがなかった」ということで記事を生成しないため、「はてなブックマークエントリ」もお休みしていたのですが、明けて1月29日から急に元通り記事が取得出来るようになり、なんの問題もなく動作するようになりました。 その期間、非情に忙しかったこともあり、問題に気付いていながら放置していたためこちらで何か調整したと言うことは特にないはずなんですが(少なくとも1月29日近辺には何もしてない)、はてなブックマークの障害情報にはなんの情報も無いし、なんで動くようになったのか謎。なんでだろう。 いまさらログを明後日原因を特定するのも面倒なのでやりませんけれども、そういう問題があったみたいだということを、未来の自分に対して残しておく次第です。まあ未来の自分も面倒くさくて原因究明とかしなさそうですけどね。 ご報告まで。

続きを読む

はてなブックマークAtomAPIへの接続が上手く行っていなかった件 【解決】

はてな この件の続き。 (訂正あり)PEAR::Services_Hatenaが上手く動いていない影響でいくつか止まってます | mutter あまりに広範囲に影響がある&今まで動いていたものがそのまま動いていないので、結局はてなに問い合わせました。

質問

3/5頃より、はてなブックマークAtomAPIが上手く動いていないようなのですが、なにか仕様変更等あったのでしょうか?実行環境は、PHP5.3+PEAR::Services_Hatenaで、ユーザーネームとパスワードで認証しようとすると401が返ります。お手数ですが調査をお願いいたします。
翌日、すぐに回答が。

回答

お問い合わせの件につきまして、3月5日にはてな各種APIでのパスワードによるWSSE認証を終了しております。 http://hatena.g.hatena.ne.jp/hatena/20140305/1394012936 つきましては、パスワードからAPIキーへの変更、もしくはOAuth認証への移行をお願いいたします。 APIキーについては、下記のドキュメントをご参照いただければ幸いです。 http://developer.hatena.ne.jp/ja/documents/auth/apis/wsse
迅速な回答、ありがとうございました。が、 しらねー!

続きを読む

(訂正あり)PEAR::Services_Hatenaが上手く動いていない影響でいくつか止まってます

2014/03/13 追記
この問題ははてなのWSSE認証の仕様変更により生じたものでした。新しい仕様では「ユーザー名とパスワード」ではなく「ユーザー名とAPIキー」で認証することが求められます。「APIキー」とははてなで設定される「投稿用メールアドレス」の@の前の文字列です。これをパスワードの代わりにServices_Hatenaで使用してあげることで問題なく処理出来るようになりました。
「PEAR::Services_Hatena」は更新が止まってますし更新もしていないので、はてなの仕様変更だと思うのですが、上手く動かなくなってます。3/5から。 具体的には、
  • 複数のブックマークを取得する
  • ブックマークをポストする
あたりの機能が上手く動いていません。複数ブックマークは取得出来ないし、ポストは400で怒られます。その影響で、
  • ブログの記事をはてなブックマークでブックマークする
  • 前日のはてなブックマークのまとめエントリをブログに投稿する
あたりが上手く出来ていませんでした。 というわけで、順次「PEAR::Services_Hatena」を使わずにOAuthを使って取得またはポストするように変更しています。面倒だなあ……とは思いますが、よくよく考えてみればめんどくさがらずにトレンド通りさっさとOAuthに切り替えておけば良かったわけで、まあ良い機会なのかなと思ったりします。自分用のはてな用クラス、更新しないと。

続きを読む

編集者の必要性ははてなブックマークとはてなブックマークニュースの比較で解る

タイトル=結論、以上。 というわけにも行かないので少し補足すると、この間書いたはてなブックマークに関する私感とも関連して、 はてなブックマークとわたくし – nplll はてなブックマークの「衆愚化」、つまり「ブックマークが集まれば集まるほど価値のあるエントリーである」という前提がどうやら崩れているらしいということと、それと「価値のあるエントリーにはブックマークが集まりがちである」ということとは共存しうるという状況の中で、本当に価値がありそうな情報を抜き出すにはやっぱり人力が必要なのだよねというお話。 はてなブックマークに関する技術面での長い戦いの歴史は、雑然と集まるブックマークを機械的に解析しカテゴライズした上で、その中から価値のあるニュースを抽出しようという戦いであったと思う。結果は、部分的には成功しているけれども、全体的に見ればそれほど上手く行ったわけでもないというのが率直なところだろうか。「戦いに意味がなかった」とまでは言わないけど、ホッテントリが微妙なのに比べて、はてなブックマークニュースが抽出し、まとめるエントリが、ある程度以上のクオリティを保っている所を見ると結局これは技術者の負けなのだな、と思わざるを得ない。 いや、もしかして内部的には何かネタ探し用のアルゴリズムが走っていて、技術的にやれるところに敢えて手を入れて仕上げてるのかも知れないんで何とも言えないけど、表面的にはそうは見えない。どんなに素材または素材群に将来性があっても、素材からそのまま旨みが溢れ出るなんてことはめったにない。それを美味しく食べるにはやっぱり人力が必要で、その編集を経て素材が料理に変わっていくという感覚がある。アルゴリズムに頼る方法の方は、間違ってないこともあるけれども、なんというか、あまりに無駄玉が多くて効率が悪い。 はてなブックマークニュースを始めるに当たっては社内で色々と議論があったようだけど、技術者としてこれ言ったら負けなのかも知れないけど、成形のタイプによってはやっぱり、編集者という人力も必要ってことだと思うのよね。素材をいじる人ってのが。 そんな思いつき。

続きを読む

はてなブックマークとわたくし

これ読んで。

広大なネット上から面白い記事を発掘してきたいわゆるアルファブックマーカーが絶滅危惧種?IT系に関してはまだはてなは有用だけど、それ以外のジャンルについてはまとめブログの方が圧倒的に早い。 はてブのtwitterカウントを見ると、情報に餓えていた層のうち相当数がtwitterに移行してしまっているようだ。「はてな的」な話題はlaiso氏が発掘し、kanose氏やotsune氏が拡散し、そのフォロワーがはてブカウントを押し上げて注目エントリー入りさせるというのが黄金パターンだという認識だったんだけど、今ははてブアカウントを持たずに、タイムラインから記事を閲覧して満足という層が増えた印象。 はてブ(というか元ネタのDIGG)は記事に対して短文コメントを書けるサービスだけど、twitterは記事に関係なく短文を残せ、かつコンタクトを取るのに便利ないわば上位互換みたいなものだから、twitterを使う人が敢えてはてブも使う必要性というのがないんだろう。
 
確かにいわゆる「輪廻的話題」ではあるのだけども、まぁ書いてあることは大体合ってるかなぁと思ったり。僕としては良いとか悪いとかではなくて「変わった」と言うことだと捉えてるけど。

続きを読む

ニコニコ動画のサムネイルをはてなブックマークのエントリー画像にしようとしたけど出来なかった(またはニコニコ動画のサムネイルの取得の仕方)

いつぞやの更新(かなり前/忘れた)から、はてなブックマークでブックマークする際にそのエントリーの画像をサムネイルとして指定できるようになっていますが、そこで指定できる画像は「その画面に表示されている画像」に限られています。関係ありそうでも表示されていなければ指定できないし、文脈と一切関係なくても表示されてさえいれば一覧に出てきます。 で、ニコニコ動画の場合「サムネイル画像」という表紙みたいな画像があるんですが、通常動画画面には表示されないのでこのはてなブックマークの画像一覧にも出てきません。で、もしかして無理矢理画面内に表示させたら画像として指定できるんじゃないかと思ってやってみたら、確かに一覧には出てきて画像も選択できるんだけど、指定は出来なかった。まぁ当たり前か。そこ制限しておかないと無秩序になっちゃうもんね。

続きを読む