CATEGORY

IT

【メモ】Beautiful SoupのWebスクレイピングで特定の文字列を含むテキストデータを出力する

こんにちはますのです。 BCP試験の一環で安否確認メールのシステムを利用しています。 使っていて思うことはただひとつ。 被災している時にメール見ないよね? Slack使ってればSlackに送られた方がイイヨネ? 無駄にシステム使うくらいなら内製で出来ないかと調べています。 現在はPythonで気象庁のxmlデータから地震速報を引っ張って来れないかと頑張っていますのでその備忘録です。 もし完成したら […]

【メモ書き】Beautiful Soupでスクレイピングした時の文字化け対処

こんにちはますのです。 現在気象庁の公開しているxmlやjsonから地震情報を定期的に確認出来ないかと模索しています。 その際にPythonでBeautiful Soupを使ってスクレイピングをする方法があったので試行錯誤中です。 困ったこと:日本語に対して文字化けが発生 まずはスクレイピングした値を出力できるかだけを試そうとしましたが文字化けが発生。 #スクレイピング対象のURLから値を取得 r […]

ECS(Fargate)の起動と終了をCLIでスケジュール設定する

こんにちはますのです。 ECS on Fargateのコストが積み重なってきましてどうにかしたいと思う今日この頃。 AWS営業の方から「技術相談会で技術者とディスカッションしませんか?」とお話を頂きディスカッションしてまいりました。 Fargateのコスト膨らんできてしまったのでSavingPlans検討しています。 その他良い方法あったりしますか?? SavingPlansの検討も良いですが、ま […]

ECSonFargate環境でAWS侵入テストをしたくてAWSへ問い合わせる

こんにちはますのです。 ECSonFargateで構築しているWebサーバに対してペネトレーションテストを実施することになりました。 そこでAWSへの侵入テスト申請が必須になるのか?と思い調べてみました。(2021年11月現在) 侵入テスト申請不要サービス 2021年11月現在で事前申請が不要となるサービスは以下と記載されています。 ECSの記載が無い…。 Amazon EC2 インスタンス、NA […]

ECS on Fargate環境でPythonコードを使ってRDS:MySQLへ接続する

こんにちはますのです。Python初心者です。 pipとpip3の違いが分かっていないレベルです。 そんなわたしですが、こんな依頼を頂きました。 EC2で動いているPythonのタスクサーバをECSへ移行したい コード管理はGithubで行いたい Github Actionsでデプロイしたい パスワード関係はGithubのSecretsに保存する omg… 何言ってるのか分からねぇけど […]

GithubActionsでjsonファイルをSecretsから展開する(Base64)

こんにちはますのです。 先日よりPythonのタスクサーバの移行をしております。 その時に必要となった要件がこちら。 今までサーバ内にファイル保存していた Credential情報をGithub上に平文で保存しない AWSのアクセスキーもPablic公開して流出とかありましたからね。 このあたりはCI/CDツール使うにあたって必要になると思いました。 環境 EC2で起動しているタスクサーバ(Pyt […]

CloudFrontでgzip/Brotli設定をしたら[SignatureDoesNotMatch]のエラーが出た

こんにちはますのです。 CloudFront×S3の構成で静的コンテンツを配信していて、gzipやBrotliの圧縮設定を行いたいため設定してみました。 参考手順:[アップデート] CloudFront で動的に Brotli 形式の圧縮をできるようになりました! 設定後…。 なんということでしょう。 エラーが出てアクセス不可になるじゃないですか。 <Code>SignatureDoe […]

ECSクラスターサービスで起動→削除→起動…を繰り返して無限ループする

こんにちはますのです。 コンテナを触ったことが無いわたしにも触る機会が舞い降りてきました。 AWSのAmazon ECS内:クラスター、クラスターサービスを構築します。 既存環境を見ながら設定をしていく簡単な作業です。 しかし、そう思ったのも束の間。 パラメータ値が同じなのに、現行では出ないトラブルが発生。 この現象あるあるですが勘弁してほしいものです…。 ECS構築時トラブルの概要 GitHub […]

NATインスタンスをAmazon Linux2で作成してプライベートサブネットをインターネット接続したい

こんにちはますのです。 プライベートサブネットのインスタンスとVPC外に存在するAWSサービス(S3、SystemsManager、CloudWatchエージェント等々)と接続したい。ついでにyumも通るようにしたい。 yumを通すだけならVPCエンドポイントで実現できる!と思い先日設定してみました。 【EC2】プライベートサブネットでyumコマンドを通すために「S3エンドポイント」を設定する し […]