User impact: Users may have encountered delays sending and receiving external email messages in Exchange Online.

More info: Impact was specific to Simple Mail Transfer Protocol (SMTP). Most users would have experienced up to a 1-hour delay; however, in some cases, users may have encountered delays of up to 24 hours. Additionally, the email sender may have received a Non-Delivery Report (NDR) with a “451 4.7.500 Server busy” error message, and their attempt to retry delivery of the email may have been delivered up to 24 hours later.

Final status: We’ve completed our deployment of the change, which was a targeted reversion of the code issue causing impact. Users should now be experiencing mitigation, though some residual delays may still occur over the next hour as the change completes.

Scope of impact: Impact was specific to some users who were served through the affected infrastructure. The issue affected users Worldwide and only for a portion of IP addresses, therefore not all users experienced impact.

Start time: Monday, October 9, 2023, at 9:00 PM UTC

End time: Wednesday, October 11, 2023, at 5:00 PM UTC

Preliminary root cause: A recent service update that was applied to a section of infrastructure responsible for enforcing IP address anti-spam rules contained a code issue, which was resulting in the delays with SMTP email delivery.

Next Steps:
– We’re further reviewing the recent update to understand how the code issue was introduced and to understand what prevented it from being detected in our update testing and validation procedures, which will allow us to prevent similar issues in future updates.

We’ll publish a Post-Incident Report for this event within five business days.

ユーザーへの影響: ユーザーが Exchange Online で外部電子メール メッセージを送受信する際に遅延が発生した可能性があります。

詳細情報: 影響は簡易メール転送プロトコル (SMTP) に固有でした。ほとんどのユーザーは、最大1時間の遅延を経験しています。ただし、場合によっては、ユーザーが最大24時間の遅延に遭遇する可能性があります。さらに、電子メールの送信者は、”451 4.7.500 Server busy” エラー メッセージを含む配信不能レポート (NDR) を受信し、電子メールの配信を再試行しようとして最大 24 時間後に配信された可能性があります。

最終ステータス: 影響を引き起こしたコードの問題の的を絞った復帰であった変更のデプロイが完了しました。これで軽減策が軽減されるはずですが、変更が完了すると、次の 1 時間にわたって残りの遅延が発生する可能性があります。

影響の範囲: 影響は、影響を受けるインフラストラクチャを通じてサービスを受けた一部のユーザーに固有でした。この問題は、世界中のユーザーに影響を及ぼし、IPアドレスの一部にのみ影響したため、すべてのユーザーが影響を受けたわけではありません。

開始時刻: 2023 年 10 月 9 日月曜日午後 9:00 UTC

終了時間: 2023 年 10 月 11 日水曜日午後 5:00 UTC

暫定的な根本原因: IP アドレスのスパム対策ルールの適用を担当するインフラストラクチャのセクションに適用された最近のサービス更新プログラムにコードの問題が含まれていたため、SMTP 電子メール配信が遅延していました。

次のステップ:
– コードの問題が導入された方法を理解し、更新のテストと検証の手順で検出されなかった原因を理解するために、最近の更新をさらに確認しています。

このイベントのインシデント後レポートは、5営業日以内に公開されます。