生成AIと進行中Lambdaの一括管理

はじめに

こんにちは。グループIT推進本部の fukushima です。

社内のさまざまなサービスやシステムのデータを、Snowflakeなどのデータウェアハウスに統合するために、その入口となるLambdaを一括管理する必要がありました。

この記事では、稼働中Lambdaを一括管理する作業を、生成AIを使ってどのように進めたかを紹介します。

 

 

課題と解決の方針

稼働中のLambdaが約200件ありましたが、複数の担当によって管理されていて、Lambda全体を把握できている状態ではありませんでした。データの統合という目的を達成するには、それぞれのLambdaが、どんなデータを、どこから取得して、どこに書き出しているのかを把握する必要があります。また、定期実行なのか、都度実行なのかや、実行結果がどうだったかも把握しなければなりません。

これを実現するために、まず、Lambdaの一覧を作ります。全体像を把握するためと、どのLambdaがデータ統合に関係するかを洗い出しやすくするためです。次に、個々のLambdaについて検証し、必要があればコードのリファクタリングを進めます。リファクタリング済みのコードは、本番環境にデプロイするところまで進めます。

 

生成AIと進める稼働中Lambdaの一括管理

生成AIを活用する理由

今回の作業では、AWS CLI を操作して、現在の状態を確認したり設定を書き換える必要があります。手動でも作業できなくはないですが、コマンド実行のミスで稼働中のLambdaを壊してしまう危険性があります。また、実行ログや出力の確認は、手動で取得し検索をかけたりする作業が煩雑で手間がかかります。これらの問題を回避するために、生成AIを活用します。

 

進め方

・Lambdaのカタログ化

いったん、全てのLambdaの情報を取得し、一覧化します。

単に一覧にするだけでなく、そのLambdaが、どんなデータを、どこから取得して、どこに書き出しているのかを調査して記録します。また、Lambdaのコードを含むスナップショットを取得します。スナップショットとは、Lambdaを再構成するために必要な情報のセットです。

具体的には以下のような情報です。

・AWS Lambda 設定
・リソースポリシー
・EventBridgeルールとターゲット
・タグ
・実行ロールのポリシー
・ソースコード

ソースコードのスナップショットの取得作業で、APIキーがハードコーディングされている場合は、APIキーがリポジトリに取り込まれてしまう懸念があります。この作業では、そういった秘匿情報はリポジトリに残さず、代替文字列で置き換えるようにしました。

 

・個々のLambdaのリファクタリングとデプロイ

リファクタリングとデプロイ作業は、手順を間違うと稼働中のLambdaに悪影響を与える可能性があります。そのため、生成AIへの指示は「手順書」にまとめ、それに従ってもらうようにしました。

手順書には、作業の目的と制約について記述し、作業の流れと、それぞれのフェーズで何をするのかを明確にしました。生成AIには、「作業手順3番まで進めてください」と指示するだけでよく、毎回プロンプトで説明する必要がありません。
また、破壊的な操作になりうるものについては、必ず作業者(人間)の承認を得てから実行するように制約を設けました。例えば、本番デプロイ作業などです。

このように、生成AIに任せることができる作業については自動化を進め、本番デプロイなどのクリティカルな操作は人間判断を仰ぐことで事故を防ぐ、といった安全な生成AIとの協業を目指しました。

 

手順書の例 ※手順書内の「ユーザー」は作業者を指します

Lambda リファクタリング・検証・本番デプロイ手順

目的:管理対象 Lambda を、既存稼働を壊さずにリファクタリングし、検証用 Lambda で動作確認してから本番 Lambda と差し替えるための共通手順をまとめる。
この手順は、特に次を重視する。

– オリジナルコードの動作、入力、加工、出力を変えない。

– 本番 Lambda、EventBridge、IAM、Secrets Manager、S3 prefix を検証前に更新しない。

– 検証用 Lambda は本番出力を上書きしない test prefix だけに出力する。

– APIキー、トークン、パスワードなどの秘匿値はコードやGit管理ファイルに置かない。

– API取得系 Lambda では、レートリミットとページネーション途中失敗に耐え、途中までの不完全データを保存しない。

– 本番差し替えは、検証結果を提示し、ユーザーの明示許可を得てから実行する。

– 強い禁止事項: ユーザーの明示承認なしに `git push`、PR更新、PRコメント、remote branch更新など、remoteに反映される操作を実行しない。

 

対象:この手順は、次のような Lambda に適用する。

– `functions/<function-name>/` に実装があり、`lambdas/<function-name>/` に管理情報がある Lambda。

– S3、外部API、DB、Secrets Manager などを使ってデータを取得し、S3 などへ出力する Lambda。

– 既存の AWS Lambda を repo 管理コードへ差し替える予定の Lambda。

 

フェーズ概要:

1. 作業場所を分離する。

2. AWS現行状態とデプロイ済みコードを凍結する。

3. オリジナル動作を整理する。

4. リファクタリング方針を決める。

5. ローカル実装と単体テストを行う。

6. 検証用 Lambda デプロイ直前の記録を作る。

7. 検証用 Lambda を作成、手動 invoke、本番出力と比較する。

8. 検証リソースを cleanup する。

9. ユーザー承認後に本番 Lambda を code-only deploy する。

10. 本番デプロイ後の確認、記録、PR準備を行う。

 

生成AIと進める稼働中Lambdaの一括管理

個々のLambdaのリファクタリング作業の具体例

ここからは、例示した手順書の作業フェーズと照らし合わせながら説明していきます。

 

・作業の準備

作業フェーズ1から3にかけての作業です。

複数のLambdaを同じリポジトリで管理しているので、作業内容が他の作業中のLambdaに影響しないように、作業ブランチを作るのと同時に git worktree を使って個別のディレクトリで作業できるようにし、作業環境を互いに分離します。
準備ができたら、Lambdaの現在の動作を把握し、これ以降の作業を進める上での出発点とします。

 

・リファクタリング

作業フェーズ4から5にかけての作業です。

Lambdaを一括管理するのですが、これ以降のLambdaのアップデート対応も管理の対象です。ソースコードを管理下に置くついでに、コードのリファクタリングを進めました。特に、APIキーがハードコーディングされている場合は修正の対象です。

生成AIには、セキュリティ面を中心に、修正すべき点がないかを確認するように指示しました。追加の修正として、外部API側のレートリミットを考慮できていない部分を洗い出すことができました。
ただし、修正によって挙動が変わってしまうと下流の処理に影響がでるので、出力データのフォーマットやエラー処理で何を記録するのかなどは、本番環境にデプロイ済みのコードから挙動を変えてはいけないと制約を設けました。現行の挙動を守ったうえで、管理しやすい形にすることが目的であることを伝えました。

 

・動作検証環境でテスト

作業フェーズ6から8にかけての作業です。

リファクタリングしたコードを、いきなり稼働中の本番環境にデプロイするのはリスクが大きいです。そのため、スナップショット情報を元に一時的に検証用のLambdaを立てて、そこで動作を検証しました。
そのまま実行すると、データの出力先が本番環境と同じなので、本番環境の出力を壊してしまいます。そのため、検証用の出力先を別に用意することで、悪影響が出ないようにしました。

外部APIとの連携に関しては、これも本番環境と同じものを使うので、APIのレートリミットに引っかかった場合に、本番環境の動作にも影響を及ぼしてしまいます。そのため、検証環境から外部APIへのアクセスは、動作検証が可能な範囲で必要最小限に抑えるように配慮しました。つまり、検証用コードはデプロイ候補コードとは厳密には異なりますが、本質的な動作に差異がないように注意しています。

生成AIには、これらの制限があることを伝え、本番環境に影響がでない検証環境を構築するように指示しました。

 

・コードレビュー

手順書には明示していませんが、作業フェーズ9の直前の作業です。

動作検証環境でのテストが終わった段階で、実施したリファクタリングの内容と、そのテストでの実行結果をドキュメントにまとめ PR を作りました。このまま本番環境にデプロイしてよいかをレビューしてもらうためです。
生成AIには、ここまでの作業記録が、レビューワーに誤解なく伝わる記述になっているかを確認させました。PR にコメントがついた場合は、その内容を吟味し、適切な修正を施すように指示しました。

 

・本番環境へのデプロイ

作業フェーズ9の作業です。

本番環境デプロイ時のトラブル発生に対応するために、ロールバックできるように準備しました。デプロイの前に、もう一度、Lambdaのスナップショットを取ります。これが記録と異なる場合は、デプロイを中断し、リファクタリング作業が適切なのかを検討します。問題ない場合は、これをロールバック用のバックアップとして採用します。

生成AIには、コードレビュー済みのバージョンをデプロイするように指示します。手作業で実施すると、設定ミスなどを起こすので、自動化できるところは全て生成AIに任せます。

 

・デプロイ後の動作確認

作業フェーズ10の作業です。

本番環境デプロイ後の定期実行で、正しく起動し、期待通りの動作をしたかを確認します。この時点で、正しく動作していない場合は、バックアップデータからデプロイ前の状態にロールバックさせます。

問題がなければ、本番デプロイと動作確認の記録をドキュメントに追記し作業を完了します。
作業の記録は、これ以降のメンテナンスで重要な情報になるので、過不足なく説明されているか、また、記述間で矛盾があったり、古い情報が残っていたりしないかを生成AIにチェックさせました。

例示した手順書で「PR準備」とあるのは、この作業記録をレビューしてもらうための PR の準備です。

 

生成AIと進める稼働中Lambdaの一括管理

結果と振り返り

今回の作業では、200件のLambdaを検証して、リファクタリングの対象と判断されたLambdaは38件でした。この38件に関しては、リファクタリングと本番環境デプロイまでの作業が完了しました。200件のうち38件と割合は小さいですが、これを手動で対応した場合に比べて短期間で対応できたと思います。

作業の途中で、生成AIが、こちらの意図に反して本番デプロイまで進めようとしたことがありました。勝手に判断したように感じましたが、意図どおりに動かすための制約が書けていなかったことが原因でした。「禁止されていなければ実行することもある」ので、手順書に承認の制約を加えました。必要な制約は作業を始めてから分かることも多く、手順書を改善しながら作業を進めました。

 

まとめ

生成AIを共同作業者とする場合、生成AIには、手作業ではミスが起こりやすいCLI操作や手間がかかるログの確認などを担当してもらい、人間は、クリティカルな作業の実施判断をするという担当の分担をすると良さそうです。

また、作業の手順と作業を進める上での制約を明文化し「手順書」として生成AIに渡すことで、生成AIがする作業内容を明確にし、作業を安全に進めることができます。
人間の承認なしではクリティカルな作業を進められないという制約も、これに含まれます。制約には、実行してはならないことを明示的に書くことが必要です。

制約と手順が明確なら、生成AIは運用作業を安全に進めるための実務的な補助になる、と言えます。