AWS Glueを使用してRDS内のデータのETLを行う機会があったので、CDKで実装してみました。いくつかハマった点もあったのでその記録です。
今回は以下のようにRDSにアクセスするCrawlerとジョブを実装します
- Glue Crawler からRDSにアクセスしてData Catalogを生成
- Glue JobからRDSのデータをETLしてS3に格納。
AWS CDKで作ったAurora グローバルデータベースは運用できるのか（2024 ver）
以下の記事においてAWS CDKでAurora グローバルデータベースをCDKで構築する方法、また運用が行えるかの解説を行なっていました。
記事内では「計画外フェイルオーバー」時のクラスターの切り離し作業等を行った際に、AWS CDKによる変更適用・その後の運用が行えるか検証しています。
一方でAWSのアップデートで「計画外フェイルオーバー」時もクラスターの切り離し作業等が不要となりました。
本記事ではこのアップデートに伴い、「計画外フェイルオーバー」発動後のCDKによる変更適用・その後の運用がどうなるかを検証・解説します。
結論としては以下の通りで、このアップデートによりCDKも踏まえた運用がかなり楽になりました。
※補足：AWSのアップデートに伴い以下のように用語が変化しています。
- スイッチオーバー（旧：計画内フェイルオーバー）：PrimaryクラスターとSecondaryクラスターを入れ替えるだけのフェイルオーバー。運用メンテナンスなど、計画した上で行うもの。
- フェイルオーバー（旧：計画外フェイルオーバー）：Secondaryクラスターを昇格させるフェイルオーバー。災害でPrimaryクラスターが使えなくなった場合などに行うもの。
Step Functions Distributed Mapを完全に理解したい（+ AWS CDKで実装する方法）
最近の個人的イチオシ機能として、Step Functions で分散処理が行える DIstributed Map があります。分散処理させて問題ないかなどの考慮は必要ですが、適合するユースケースでは大幅な処理時間短縮も可能であり、効果が大きい機能だと思います。
ただ、設定項目が多く理解が中途半端なまま使っている感が否めなかったため、「完全に理解した」状態になるため整理を行いました。
また作成自体は今までASL作成やマネコンで行なっていたのですが、AWS CDK v2.127.0 で L2 Constructが実装されています。今回はこちらも試したいと思います（ASLも合わせて記載します）
続きを読むAWS CDK v2.127.0 新機能✨#cdk_releases
— Kenji Kono (@konokenj) 2024年2月13日
1/ Step FunctionsのDistributedMap L2コンストラクトが追加
2/ SNS FIFO TopicにmessageRetentionPeriodInDaysプロパティが追加され、メッセージのアーカイブポリシーが設定可能に。Thank you @nixieminton !
3/ EKSでKubernetes v1.29をサポート
4/…
AWS IoT Core Rule で Protocol Buffers を直接デコードする
AWS Iot Coreのルールエンジンで Protocol Buffers を直接デコードするという少々マニアックな話です。
以下のAWS公式ブログでも紹介されている内容です。
本機能は2022/12 に追加されています。 aws.amazon.com
続きを読むAmazon Bedrock 超入門はキャッチアップに非常に良かった
JAWS-UG CDK支部 #12で登壇してきた
ちょっと前の話ですが、2024/2/21 の JAWS-UG CDK支部#12で登壇してきました。
以下イベントのリンクです。
CDK 支部は#7 でも登壇させていただいており、2回目になります。 mazyu36.hatenablog.com
続きを読む