競プロ勢の皆さんも ISUCON に参加して圧倒的成長しませんか？

ISUCON とは、Web アプリケーションを高速化するプログラミングコンテストです。 競技プログラミングはアルゴリズムを学ぶ上では最強の教材ですが、研究職以外では即戦力としては見られづらいという問題があります。 ISUCON には Web 業界で必要な基礎知識がつまっており、競技プログラミング勢がたくさん ISUCON に参加すれば、 競技プログラミング勢も Web 業界も躍進できるのではないかと思いこの記事を書きました。 また、競技プログラミング勢が入賞すれば、競技プログラミングの潜在的な価値が認められ競技プログラミングの認知度が上がることを期待しています。 Web 開発でボトルネックとなる場所は、知識で解決できるようなことは定番ソフトウェアであれば多くの場合すでに解決方法が提供されているため、 全探索してしまっているがインデックスを作れば高速化できるというような時間計算量が考慮されていないために起きることも多く、 競技プログラミングの経験が活かせると考えています。

はじめに

この記事では主に C++ を用いて ISUCON で勝つ方法について考えています。 日本の Web 業界では C++ を使う人が少ないため、ISUCON で参考実装として与えられていません。 しかし、競技プログラミングで広く使われていることからわかるように C++ は最速の言語です。 実際に Google は C++ を使って Web アプリケーションの開発を行っており、CPU のコストを抑えられています。 C++ も環境を整え慣れ親しめば、Web アプリケーション開発においても開発効率を落とさず効率的に高速化できることを示すため、 チーム Anago は C++ の独自サーバで ISUCON6 に参加し、無事決勝進出を果たしました。 C++ を自由自在に扱えることは競技プログラミング勢の強みでもあるので、この記事では ISUCON6 を通じて得られた経験をもとに、 参考実装で与えられていない言語で ISUCON に効率的に挑む方法を紹介します。

• フィルター形式 … Web アプリケーションで重い処理部分を特殊な文字列（例えば <!--hoge--> ）に置き換えておき、C++ サーバで高速に処理してその部分を置換する手法です。参考実装言語の深い知識が不要という長所がありますが、ある程度大きな単位で書き換える必要があるという短所があります。ISUCON6 では主にこれを使いました。
• コールバック形式 … Web アプリケーションから独自サーバを呼び出す手法です。関数単位での細かい逐次開発を行える長所がありますが、参考実装言語向けにコールバック処理を実装する必要がある短所やレイテンシーが大きくなりやすいという短所があります。

• ネットワークの分離の停止 … ネットワークの分離によって Docker プロセスが転送のため大きくCPUの消費するためホストネットワークを使用する設定にします。
• 一部ファイルシステムのマウント … Docker が自動的に提供するファイルシステムは遅いため必要に応じてマウントします。例えば nginx は POST リクエストを受けたときにファイルを一時的に書き出しますが、この書き込み先が Docker 上のファイルシステムにあると遅くなる場合があります。
• （任意）プロセスの分離の停止 … 一部の OS でネットワークの分離の停止を行うときにプロセスの分離も行わなければ、権限まわりでエラーを起こすことがあるため任意でプロセスの分離を停止します。

• HTTP 接続ライブラリ … 参照実装に HTTP 接続できるようにしておく必要があります。外部サービスを模したものが与えられ HTTP2 を話す可能性があるため、余裕があれば HTTP2 で接続できるようにしておくと良いかもしれません。
• データベース系ライブラリ … MySQL への接続は必須です。Redis、PostgreSQL、MongoDB、memcached 等を用いた出題はあり得るので余裕があれば準備しておくのが吉かもしれません。
• 文字列系ライブラリ … 文字列の処理が簡単にできれば開発に余裕ができます。正規表現はその他の方法で代替できるため必須ではありませんが、Web 開発では頻出ですので使えるようにしておくと良いかもしれません。
• エンコード系ライブラリ … BASE64 エンコード、URL エンコード、JSON エンコード等は Web 開発において頻出です。
• ハッシュ系ライブラリ … MD5、SHA1、SHA256等もよく用いられています。
• 日付関数系ライブラリ … HTTP ヘッダーとして与えられるの日付や MySQL に保存されている日付を処理することがあります。

worker_processes auto;

events {
  worker_connections 8096;
  multi_accept on;
  use epoll;
}

http {
  sendfile on;
  tcp_nopush on;
  tcp_nodelay on;
  keepalive_timeout 15;

  upstream app {
    server 127.0.0.1:8000;
    keepalive 16;
  }

  server {
    listen 80;

    location / {
      proxy_pass http://app;
      proxy_redirect off;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_buffering off;
      proxy_buffer_size 128k;
      proxy_buffers 100 128k;
      proxy_http_version 1.1;
      proxy_set_header Connection "";
    }
  }
}

cat <<'EOM' > /etc/sysctl.conf
net.core.netdev_max_backlog=32768
net.core.rmem_max = 16777216
net.core.somaxconn=32768
net.core.wmem_max = 16777216
net.ipv4.ip_local_port_range= 10000 65535
net.ipv4.tcp_fin_timeout=10
net.ipv4.tcp_max_syn_backlog=32768
net.ipv4.tcp_rmem = 4096 349520 16777216
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_rfc1337=1
net.ipv4.tcp_keepalive_probes=5
net.ipv4.tcp_slow_start_after_idle=0
net.core.somaxconn=65535
EOM
sysctl -p