いつもRadiotalkサービスをご利用いただき、誠にありがとうございます。
この度は長時間にわたりサービス障害が発生し、度重なるメンテナンスでご迷惑をおかけしてしまい、大変申し訳ございませんでした。
障害の原因について
弊社システムの中で一部高負荷になっていた処理に対して、短時間でアクセスを繰り返す行為を受けておりました。
結果的にサーバー遅延が発生し、遅延が大きいタイミングでライブ配信開始に失敗するエラーや、音声取得ができないエラーを発生させてしまいました。
今回行った対応について
今回の対応に関して、障害の直接的な原因の特定に時間がかかってしまったことにより、3度の緊急メンテナンスを実施させていただきました。
本件に関して「現在も同時に複数のランキングが動いているが、大丈夫なのか」「なぜこんなに複数回のメンテナンスが必要だったのか」「現在参加しているイベントは正常に実施されるのか」といった不安のお声をいただいておりますため、詳細な状況説明をさせていただきます。
14日（月）22:00頃：ライブ配信が開始できないエラーが頻発している事実を確認し、特定のサーバーでレイテンシ（遅延）が発生していることを確認しました。
15日（火）2:30頃：直接的な原因が掴めないものの、レイテンシが収まっておりライブ配信の開始エラーも無くなったことを確認しました。
15日（火）4:00頃~：断続的にレイテンシが発生しておりました。
15日（火）12:00頃：特定のサーバーでメモリが上限に到達しており、フリーズしている状況を確認し、再起動のために緊急メンテナンスを行いました。
15日（火）15:00頃：サーバーの再起動によって、一時的にレイテンシが発生しない状況を確認しました。
15日（火）18:00頃：再びレイテンシが発生している事実を確認し、負荷をかけている可能性が高い処理への対応（ライブ画面へのランキング表示の停止、ランキング更新頻度の鈍化）を実施しました。
15日（火）21:00頃：上記対応実施後も解消されず、サーバーのスケールアップ（性能向上）を実施するために緊急メンテナンスを行いました。
15日（火）24:00頃：スケールアップによって、レイテンシが発生していない状況を確認しました。
16日（水）20:00頃：再びレイテンシが発生している事実を確認し、発生前後のログ解析等を行った結果、特定の高負荷な処理に繰り返しアクセスがある事実を確認しました。
16日（水）22:30頃：高負荷な処理の処理方法の改善（軽量化）と、過度なアクセスのブロックを行うために緊急メンテナンスを行いました。
17日（木）2:00頃：上記対応の実施により、同様のアクセスに対して適切な処理ができている状態を確認しました。
結果的に、14日と15日に行ったランキング表示の停止やランキング更新頻度の鈍化、サーバーのスケールアップは直接的な原因に関与せず、16日に更新した高負荷な処理の軽量化とアクセスポイントの削除によって一連の不具合が解消されました。
現在はライブ配信画面の表示と更新頻度を元の状態に戻し、問題なくアプリが動作していることを確認しております。
また、本件に関して事実とは異なる情報（アプリの不具合原因は他にある等）が流布されていることも確認しております。
根拠のない情報で過度に他ユーザー様の不安を煽るような発信はおやめ下さいますようお願い申し上げます。
情報漏洩等のリスク
今回のアクセスを繰り返す行為において、弊社内の情報が不正に取り出されるなどの事実はございませんでした。
個人情報の取り扱いには細心の注意を払っており、引き続き高いセキュリティ状態を維持してまいります。
個人情報の取り扱いに関しては、弊社プライバシーポリシーをご参照ください。
ツール等の利用について
今回のシステム障害の原因となった、短時間でアクセスを繰り返す行為に関して、今後より一層の取り締まりを行なってまいります。
場合によっては弊社で取得するアクセス情報から、法的措置の対応まで行う可能性がございます。
ツール等のご利用は絶対におやめください。
また、Radiotalkに関するツール等の情報があれば、お問い合わせより情報提供をいただけますと幸いです。
【お問い合わせフォーム】
改めて、この度は多大なるご迷惑をおかけし大変申し訳ございませんでした。
今後もRadiotalkをお楽しみいただけますよう、何卒よろしくお願いいたします。
