CDK integ-tests モジュールを使用したintegration test（以下integ test）を試してみたのでその記録です。 CDKでdeployしたリソースに対して、動作確認用のinteg testを走らせるということができます。 以下がAWS公式の解説ブログで、基本的な使い方や仕組…

CDKだとIConnectableインタフェースのプロパティであるconnectionsを使うことで通信の許可設定を容易に行えることを最近知りました。 今まではセキュリティグループ（以下SG）を個別に定義し、インバウンドルールを設定ということをやっていましたが、上記の…

AWS Glueは個人的に好きなサービスでよく使います。 自分がよく使う情報源やメモについてまとめておきます。 ※PySparkジョブをよく使うのでそれ関連のメモが中心です

PySparkを使用する機会が増えてきたので、個人的によく見返しすメモをまとめておきます。全般的にRDDではなくDataFrameを使用しています。 AWSでSparkが使えるサービスと言うとGlueやEMRが定番の印象ですが、最近ではAthenaやRedshiftでも使えるようになりま…

最近Java（Spring）を使う機会があり、DB接続周りでAWS Advanced JDBC wrapperを試してみたのでその記録です。 やりたいことは以下です。 Secrets ManagerからDBの認証情報を取得する。 Failoverに対応する。 WriterとReaderでクエリを振り分ける ※なお筆者…