mazyu36の日記

某SIer所属のクラウドエンジニアのブログ

AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する

Amazon AthenaにPartition Projection(パーティション射影)という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、…

AWS CDKでECSタスク定義を作成後、アプリを更新するとイメージタグがずれる問題への対応

CDKでECSのタスク定義を作成すると、必ず遭遇する(と思う)コンテナのイメージタグがCDKと実態でズレる問題への対応についてです。 以下のスライドでまさに言及されているものです。 AWS CDKでECS on FargateのCI/CDを実現する際の理想と現実 / ideal-and-r…

AWS CDKで作ったAuroraクラスターはRDS Blue/Green Deploymentsを使って運用できるのか

本ブログでは何回かAWS CDKで構築したAurora(RDS)クラスターを運用の観点で検証してきました。 当たり前ですがCDKで作ったとしても、そのあとは運用を行っていく必要があるので、運用継続ができるかは重要かと思います。特にDB(ステートフルなリソース)…

AWS CDKで作ったAurora グローバルデータベースは運用できるのか

-----(2024/3/25追記) ----- 本記事の内容は古いです。2024年時点では本記事のように「計画外フェイルオーバー」時にクラスターの切り離し作業などが不要です。 詳細は以下をご覧ください。 mazyu36.hatenablog.com ----- 追記ここまで ----- リージョン間…

AWS監視アラートをCDKで実装する

前回以下の監視アラートに関する記事を書きました。(予想以上に反響がありました。ありがとうございます) mazyu36.hatenablog.com 監視アラートの基準はシステム特性によるものの、同じメトリクスを使用する場合は閾値や集計期間がシステムによって違うぐ…

AWS監視アラート 事始め

はじめに 入門監視をはじめ一般的な監視に関するプラクティスは出回っているものの、AWSで具体的に何を監視するか?そのとっかかりについてはあまり出回っていないような気がします。 AWSの監視ってみんな何監視してるんすか…っていうぐらい実例あまり見つか…

AWS CDKのチーム開発時に実装時の考慮事項、意識合わせした点について

はじめに 以下の記事でAWS CDKにおけるチーム開発のフローやテストについて記載した。 mazyu36.hatenablog.com mazyu36.hatenablog.com 今回は実装内容についてチーム内で意識合わせしておいた方が良いと思った点をまとめておく。

AWS WAFのマネージドルールでありがちな予期せぬブロック

はじめに AWS WAFのマネージドルールについて、観測範囲における誤検知あるある事象をまとめておく。 AWS WAFの意図せぬブロックあるあるを知りたい。複数のプロジェクトで経験したのはリクエストボディ8kb越えでブロックされるのと、OIDCのエンドポイントへ…

Fargate BastionとAthena Federated Queryを使用して楽にAurora MySQLを運用する( + CDKで実現する方法)

初めに Fargate BastionとAthena Federated Queryを使って、サーバレスでAurora MySQLを手軽に運用する仕組みを導入したところ、なかなか便利だったのでまとめておく。

AWS CDKをチーム開発する際に採用したテスト実装について

はじめに 別記事でAWS CDKのチーム開発をどのようにやっていたかを書いていた。 mazyu36.hatenablog.com 今回はその続きとしてテスト実装をどのようにやっていたかをまとめてみる。

【レビュー】Webカメラ Logicool Brio c1000sでWindows Helloを使う(+ Surface, Microsoft Intune環境下で使う方法)

はじめに Windows Helloに対応したWebカメラを買ってみたのでレビュー記事書いてみます。 意外とレビュー記事がなかった、かつ実際苦労した点があったのでメモとしてまとめておきます。

TypeScript未経験者がAWS CDK with TypeScriptをやるときに困ったこと

はじめに 今でこそAWS CDK with TypeScript大好きマンだが、TypeScript未経験の状態で始めたので割と初歩的なところで詰まった。 多分NodeとかJSとか開発経験がある人には常識的なことばかりだとは思うが、詰まったところを小ネタ的にまとめていく。 ※JS、TS…

AWS CDKをチーム開発する際に採用したプロジェクト管理、開発のフローについて

はじめに 今年度初めてAWS CDKによるチーム開発を行ってみた。その際に採用したソースコードのプロジェクト管理方法や、デプロイのフローについて考えたこと含め整理としてまとめておく。 ※これが最適だとは思っていないので、イマイチな点などあれば意見も…

ECS on FargadeでFirelensによるログ管理サイドカーをAWS CDKで実現する

はじめに あるプロジェクトでECS on Fargateで以下のFirelensによるログ管理サイドカーを行う必要性が出てきたので、CDKによる実装れいを記載する。 ログ管理サイドカー前々からやりたいと思ってたので、CDKでやってみるhttps://t.co/4xvdnIwHKe— mazyu36 (@…

Packt PublishingのAWS関連の本を紹介していく(データ分析、機械学習関連が多め)

はじめに Packt Publishing(イギリスの出版社)はマニアックな技術書を出していてたまに読んでいる。 その中でもAWS関連の書籍を紹介していく。 全品5$セールをやっていることがあるのでそのタイミングで買うのがおすすめ。 これを書いている2023/1/3現在も…

boto3でECSタスクのスケールイン保護を実装する

はじめに ECSタスクのスケールイン保護をpython(boto3)で検証したので、その時のメモを残す。

AWS CDKのチーム開発でCDK Pipelinesの導入を諦めた話

概要 ※本記事はAWS CDK Advent Calendar 2022の11日目の記事になります。 qiita.com AWS CDKのチーム開発でCDK Pipelinesを導入しようと思ったが、諦めてCI/CDパイプラインを自作した話をまとめる。

AWS CDKでAWS WAFのスコープダウンステートメントを実装する

はじめに CDKでWAFのスコープダウンステートメントを実装することがよくあるが、書き方を忘れがちなのでメモとしてまとめておく。 2023/2現在だとaws_wafv2はL2 Constructがないため、L1 Constructを使用する。 aws-cdk-lib.aws_wafv2 module · AWS CDK

AWS CDKでAWS WAFのブロック時のログのみS3に出力する設定

はじめに AWS CDKでAWS WAFのうち、BLOCKしたもののみS3バケットに保存したい時があり、試行錯誤してできたので記録として残しておく。 以下記事でCloudFormationで実装した例があったので参考にさせていただいた。 go-to-k.hatenablog.com

AWS CDKでカスタムパラメータグループを使用しているAuroraのアップグレード方法(+v.2.50.0時点でServerless v2を使用する方法)

背景 AWS CDKでAurora MySQL 2(5.7互換)を使用していた。しかしAurora Serverless v2の検証をしたいため、Aurora MySQL 3(8互換)にアップグレードをする必要があった。 以下の記事に記載の通り、簡単にアップグレードできるものと踏んでいたが、かなりハ…

AWS CDKにおけるAurora MySQLのリカバリについて

導入 AWS CDK構築したAurora MySQLの運用を検討する中で、データの復旧方法の整理が必要となったので色々調査、検証してみた。 前提 前提としてAurora MySQLをAWS CDKの管理下のままデータを可能な手段について検証している(AWS CDKの管理下の状態を維持し…

AWS CDKでECS Blue Green DeploymentのL2 Constructがキタ

はじめに 以下の記事で ECSのBlue Green Deploymentが正式にはAWS CDKに対応していないという記事を作成した。 mazyu36.hatenablog.com しかし2022/11にv2.50.0で待望のL2 Constructが実装されたので試してみた。 docs.aws.amazon.com

AWS CDKで作るFargate Bastion

はじめに 踏み台サーバーではEC2サーバー+SSM Session Managerを使うのが最も主流(だと思う)が、Fargateで作る手段も存在する(Fargate Bastion)。 iselegant.hatenablog.com 以下の書籍でもハンズオンの中で記載されている。※ECS使うならこの本必読だと…

2022/10時点のAWS CDKにおけるECSの Blue Green Deploymentについて

はじめに タイトルの通りだが、2022/10時点におけるAWS CDKにおけるECSの Blue Green Deploymentの対応状況について記載する。 公式ドキュメント的に推奨されていないやり方だが、現状問題なく動作しているのでやったことをまとめておく。 概要 以下のIssue…

頑張らないSAP on AWS 認定資格

はじめに 2022/10にSAP on AWSの認定資格を取得できたので、勉強したことなどを備忘録として記載する。 SAP全く知らないけど All Certificationを維持したいために受けたので、同じような境遇の人や(更新するかわからないけど)3年後の自分向けに作成する。…