2020年03月

リリースチェッカーをいろいろ改善した(limit_reqとか)

前回の記事の流れで、久しぶりにリリースチェッカーの改善を進めている。ここ数日で実施した内容は以下の通り。

  • 発売日の表示バグを修正した。発売年以外未登録の商品の発売日が「2017T」のように表示されていた。
  • Googleアナリティクスを導入した。多くの方にリリースチェッカーを使っていただくべく、分析のために入れた。
  • モバイル用のCSSを調整した。見やすくなったはず。
  • RSSに含まれる和書の数を増やした。PA-API v5のドキュメントには、Search Indexを「Books」にすると和書が返ってくると書かれている。だが、実際には洋書も返ってきてしまう。なので、2ページ目(ItemPage = 2)まで検索し、不足分を補うようにした。
  • CircleCiでDockerイメージをビルドするようにした。Docker Hubの自動ビルドを使っていたのだが、開始まで10分以上待たされるのが我慢できなくなった。
  • PA-API呼び出し失敗時の404エラーを修正した。PA-API v5では呼び出し回数の制限が厳しくなっている。呼び出し失敗が続いた場合、リリースチェッカーでは503エラーを返していたつもりだった。が、実際には404が返っていた。
  • RSSクローラーのアクセス数を制限した。Apacheのプロセスが不足し、タイムアウトすることがあった。前段に置いているNginxのngx_http_limit_req_moduleを使って制限したところ、サービスが安定した。

ぼくとしては「クローラーのアクセス数制限」が会心だった。Nginxの設定ファイルを抜き書きすると、こうなる。

limit_req_zone $limit_req_per_ip zone=rss_per_ip:10m rate=1r/s;

server {
    location /rss {
        limit_req zone=rss_per_ip burst=2 nodelay;
        limit_req_status 429;

        set $limit_req_per_ip $binary_remote_addr;
        if ($http_x_requested_with = XMLHttpRequest) {
            set $limit_req_per_ip "";
        }
    }
}

クローラーだけを制限対象にしたいので、ブラウザからXMLHttpRequestでRSSにアクセスした場合は除外している。

ngx_http_limit_req_moduleのことは初めて知った。便利。

リリースチェッカーにはまだまだ改善ポイントがあると思う。引き続きやっていく。

情報処理安全確保支援士と情報処理学会をやめた

  • 情報処理安全確保支援士の登録消除届出書をIPAに出した。現時点では登録のメリットが感じられなかったため。
  • 情報処理学会を退会した。何の活動もできていなかったため。

ぼくの短所は、本気で取り組む気概もないのに、衝動的にいろいろ手を出す点だと思っている。プログラミング講師も、OSSマニュアルの翻訳も、ウェブデザイン技能検定の検定委員も、もはや何も取り組めていない。いつも他のことに興味が移って、二の次になってしまうのだ。

ぼくが今、家族以外の誰かの役に立っているとしたら、本業のお客様や同僚たち、そしてリリースチェッカーのユーザの皆様くらいだろう。ならば、何よりそれらの方々のために尽力すべきなのだ。というわけで、遅きに失した感はあるものの、広げすぎた風呂敷を畳むことにした次第。

プロフィール
クラウドサポートアソシエイト at AWSジャパン(試用期間中)/リリースチェッカー運営(https://a.noare.net/)/情報処理技術者試験マニア(https://didit.iwamot.com/iwamot)/JAPAN MENSA会員/投稿は所属先の見解ではありません。文責は個人にあります
カテゴリ別アーカイブ
記事検索