CDKだとIConnectableインタフェースのプロパティであるconnectionsを使うことで通信の許可設定を容易に行えることを最近知りました。 今まではセキュリティグループ（以下SG）を個別に定義し、インバウンドルールを設定ということをやっていましたが、上記の…

AWS Glueは個人的に好きなサービスでよく使います。 自分がよく使う情報源やメモについてまとめておきます。 ※PySparkジョブをよく使うのでそれ関連のメモが中心です

PySparkを使用する機会が増えてきたので、個人的によく見返しすメモをまとめておきます。全般的にRDDではなくDataFrameを使用しています。 AWSでSparkが使えるサービスと言うとGlueやEMRが定番の印象ですが、最近ではAthenaやRedshiftでも使えるようになりま…