CATEGORY

IT

ECSのタスクスケジュールで常に最新(latest)のタスク定義を使う

こんにちはますのです。 ECSのタスクスケジュール機能、使っていますか?? タスクスケジュール機能を利用して1日1回、バッチを動かす処理をFargateで利用しています。 その際に直面した課題が1つ。 タスク定義を更新したら手動で最新版を設定する必要がある 今回はこちらの課題をクリアするために「EventBridge」を利用しました。 参考:【小ネタ】ECSのタスクスケジュールはEventBrid […]

GithubActionsを使ってAWS Lambdaへ自動デプロイする

こんにちはますのです。 先日よりAWS LambdaでPythonを実行するコードを作成しております。 【Python3】地震情報の取得&通知を定期的にSlackへ送る仕組みを作ってみた(コード公開) せっかくなのでGithubで管理したいですよね。 コード更新した時に自動デプロイしてほしいですよね。 ということでGithubActionsでAWS Lambdaへ自動デプロイが出来ないかやってみま […]

AWS Lambdaでレイヤー追加してもエラーが解決しないのはフォルダ名が問題だった

こんにちはますのです。 先日よりPythonで作成したプログラムコードをLambdaで動かそうと試みております。 【Python3】地震情報の取得&通知を定期的にSlackへ送る仕組みを作ってみた(コード公開) 「import requests」などで外部ライブラリをimportする際にエラーが出て詰まった箇所があるのでメモとなります。 AWS Lambda実装時に発生したエラー 今回追加したかっ […]

【Python3】地震情報の取得&通知を定期的にSlackへ送る仕組みを作ってみた(コード公開)

こんにちは、ますのです。 ISMS認証取得を進めるにあたり「BCP対策」なるものがありました。 その際に「安否確認の仕組み」をしっかり作りましょうねというお話を頂いた次第。 ちなみに言われるがままに作った安否確認の運用は以下の通り。 安否確認:現在の運用方法 安否確認ツールに緊急連絡先(メールアドレス)を登録してもらう(入社時) 緊急連絡先(メールアドレス)の定期的な棚卸しの実施 地震発生時に管理 […]

【メモ】Beautiful SoupのWebスクレイピングで特定の文字列を含むテキストデータを出力する

こんにちはますのです。 BCP試験の一環で安否確認メールのシステムを利用しています。 使っていて思うことはただひとつ。 被災している時にメール見ないよね? Slack使ってればSlackに送られた方がイイヨネ? 無駄にシステム使うくらいなら内製で出来ないかと調べています。 現在はPythonで気象庁のxmlデータから地震速報を引っ張って来れないかと頑張っていますのでその備忘録です。 もし完成したら […]

【メモ書き】Beautiful Soupでスクレイピングした時の文字化け対処

こんにちはますのです。 現在気象庁の公開しているxmlやjsonから地震情報を定期的に確認出来ないかと模索しています。 その際にPythonでBeautiful Soupを使ってスクレイピングをする方法があったので試行錯誤中です。 困ったこと:日本語に対して文字化けが発生 まずはスクレイピングした値を出力できるかだけを試そうとしましたが文字化けが発生。 #スクレイピング対象のURLから値を取得 r […]

ECS(Fargate)の起動と終了をCLIでスケジュール設定する

こんにちはますのです。 ECS on Fargateのコストが積み重なってきましてどうにかしたいと思う今日この頃。 AWS営業の方から「技術相談会で技術者とディスカッションしませんか?」とお話を頂きディスカッションしてまいりました。 Fargateのコスト膨らんできてしまったのでSavingPlans検討しています。 その他良い方法あったりしますか?? SavingPlansの検討も良いですが、ま […]

ECSonFargate環境でAWS侵入テストをしたくてAWSへ問い合わせる

こんにちはますのです。 ECSonFargateで構築しているWebサーバに対してペネトレーションテストを実施することになりました。 そこでAWSへの侵入テスト申請が必須になるのか?と思い調べてみました。(2021年11月現在) 侵入テスト申請不要サービス 2021年11月現在で事前申請が不要となるサービスは以下と記載されています。 ECSの記載が無い…。 Amazon EC2 インスタンス、NA […]

ECS on Fargate環境でPythonコードを使ってRDS:MySQLへ接続する

こんにちはますのです。Python初心者です。 pipとpip3の違いが分かっていないレベルです。 そんなわたしですが、こんな依頼を頂きました。 EC2で動いているPythonのタスクサーバをECSへ移行したい コード管理はGithubで行いたい Github Actionsでデプロイしたい パスワード関係はGithubのSecretsに保存する omg… 何言ってるのか分からねぇけど […]

GithubActionsでjsonファイルをSecretsから展開する(Base64)

こんにちはますのです。 先日よりPythonのタスクサーバの移行をしております。 その時に必要となった要件がこちら。 今までサーバ内にファイル保存していた Credential情報をGithub上に平文で保存しない AWSのアクセスキーもPablic公開して流出とかありましたからね。 このあたりはCI/CDツール使うにあたって必要になると思いました。 環境 EC2で起動しているタスクサーバ(Pyt […]