いつもFARO REPORTをご利用いただき、誠にありがとうございます。
FARO REPORT チームです。
レポート作成環境が不安定になっている問題に関して、本日8/28（水）11時現在での状況および今後の方針についてご説明させていただきます。
【不具合の原因】
8/2（金）に発生した問題はGoogle Analytics APIの1日あたりのリクエスト上限（50,000回）の超過によるものでしたが、100秒あたりのリクエスト上限（100回）の超過によるAPIエラーも断続的に発生しております。この後者の事象が、先日お知らせしました「特定条件ないしは環境下で、レポート作成動作が不安定になる問題」の原因と考えられます。
- 100秒あたりのリクエスト上限超過については上限を引き上げたうえでAPIエラー回避のための原因究明・検証を進めてまいりましたが、理論上APIエラーが発生しないはずの負荷においてもAPIエラーが発生している状況です。
- しかしながら、様々な条件下で負荷テストを繰り返し実施したところ、一括作成機能でレポート作成中に他のお客様のレポート作成がある程度重複すると、APIエラーが発生しやすいという検証結果が得られました。
【当面の対応】
- これまでも月初の負荷集中時期にサーバ台数を増加するなどして負荷分散策を講じてまいりましたが、Googleが管理するGoogle Analytics APIで発生するエラーついては、FARO REPORT運営チームのみでは詳細を把握することができず、対応に限度がございます。また、現状のシステム構造上、レポート作成中にAPIエラーが発生すると、当該レポート作成中のお客様以外のお客様にも影響が及びます。
- この問題の背景には、設計当初の想定を超えるお客様およびレポート作成数の急激な増加という、根本的な問題があります。解決のためには、時間をかけて根本的なロジックを改修する必要があります。
- このような様々な側面を検討した上での結論として、誠に申し訳ありませんが9月および10月については、サービスのご利用が集中する月初の平日3日間（9/2（月）〜9/4（水）、および10/1（火）〜10/3（木））、一括作成機能のご提供を休止させていただきます（通常作成は平常通りご利用頂けます）。一括作成機能をご利用中のお客様には大変ご迷惑をおかけいたしますが、ご理解ご協力を頂きたく、お願い申し上げます。
- また、今後の負荷状況によっては、一括作成機能の再開を延期させていただく場合がございますのでこちらも何卒ご了承頂けますと幸いです。
【根本的な問題解決に向けて】
- Googleに対して1日あたりのリクエスト上限緩和申請を8/2（金）に行いましたが、APIエラー発生率が高いことを理由に却下されております。この問題を改善するため、レポート作成プロセスに遅延処理を追加することでリクエストの集中を緩和し、APIエラーの発生を抑制する改修に着手しております。APIエラーの発生抑制を確認した上で、再度Googleに上限緩和を申請し、月初の負荷集中に対応していきたいと考えております。
- 上記以外にも混雑中の作成プロセス途中解放など、問題を解消するためのシステム改修も現在並行して進めております。
- 10月下旬までには安定したレポート作成環境を再構築し、お客様が安心してレポート作成をご利用いただけるよう、チーム一丸となって作業を進めてまいります。
FARO REPORTでは今後このような事象が発生することがないように、特に月初など負荷増大が予想される時期の監視体制を強化する所存でございます。
問題解消までご迷惑をおかけいたしますが、引き続き、FARO REPORTをよろしくお願い申し上げます。
FARO REPORT チーム