【メモ書き】Beautiful Soupでスクレイピングした時の文字化け対処
こんにちはますのです。 現在気象庁の公開しているxmlやjsonから地震情報を定期的に確認出来ないかと模索しています。 その際にPythonでBeautiful Soupを使ってスクレイピングをする方法があったので試行錯誤中です。 困ったこと：日本語に対して文字化けが発生 まずはスクレイピングした値を出力できるかだけを試そうとしましたが文字化けが発生。 #スクレイピング対象のURLから値を取得 r […]
ECS(Fargate)の起動と終了をCLIでスケジュール設定する
こんにちはますのです。 ECS on Fargateのコストが積み重なってきましてどうにかしたいと思う今日この頃。 AWS営業の方から「技術相談会で技術者とディスカッションしませんか？」とお話を頂きディスカッションしてまいりました。 Fargateのコスト膨らんできてしまったのでSavingPlans検討しています。 その他良い方法あったりしますか？？ SavingPlansの検討も良いですが、ま […]
自前でペネトレーションテストを試してみる：OWASP ZAPインストール編
こんにちはますのです。 定期的なペネトレーションテストを自前で出来ないか？ということで調べてみました。 今回参考にした書籍はこちら あまりWebアプリケーションとかに強いわけではなく、どうして良いか分からないというところに即購入です。 自前でペネトレーションテストをやる機会がある際はぜひ参考にどうぞ。 利用ツール：OWASP ZAPをインストール OWASP ZAPは「OWASP」が作成、提供して […]
ECSonFargate環境でAWS侵入テストをしたくてAWSへ問い合わせる
こんにちはますのです。 ECSonFargateで構築しているWebサーバに対してペネトレーションテストを実施することになりました。 そこでAWSへの侵入テスト申請が必須になるのか？と思い調べてみました。（2021年11月現在） 侵入テスト申請不要サービス 2021年11月現在で事前申請が不要となるサービスは以下と記載されています。 ECSの記載が無い…。 Amazon EC2 インスタンス、NA […]
ECS on Fargate環境でPythonコードを使ってRDS：MySQLへ接続する
こんにちはますのです。Python初心者です。 pipとpip3の違いが分かっていないレベルです。 そんなわたしですが、こんな依頼を頂きました。 EC2で動いているPythonのタスクサーバをECSへ移行したい コード管理はGithubで行いたい Github Actionsでデプロイしたい パスワード関係はGithubのSecretsに保存する omg… 何言ってるのか分からねぇけど […]
GithubActionsでjsonファイルをSecretsから展開する（Base64）
こんにちはますのです。 先日よりPythonのタスクサーバの移行をしております。 その時に必要となった要件がこちら。 今までサーバ内にファイル保存していた Credential情報をGithub上に平文で保存しない AWSのアクセスキーもPablic公開して流出とかありましたからね。 このあたりはCI/CDツール使うにあたって必要になると思いました。 環境 EC2で起動しているタスクサーバ（Pyt […]
CloudFrontでgzip/Brotli設定をしたら[SignatureDoesNotMatch]のエラーが出た
こんにちはますのです。 CloudFront×S3の構成で静的コンテンツを配信していて、gzipやBrotliの圧縮設定を行いたいため設定してみました。 参考手順：[アップデート] CloudFront で動的に Brotli 形式の圧縮をできるようになりました！ 設定後…。 なんということでしょう。 エラーが出てアクセス不可になるじゃないですか。 <Code>SignatureDoe […]
【EpocCam】Webカメラ代用アプリの透かしはOBS Studioで調整しちゃおうっていうお話（無料です）
こんにちはますのです。 Webカメラの代用でEpocCamアプリを利用しております。 Ver3.3.1でPC再起動すると接続できない？再インストールすれば繋がるけど。 わたしだけ？使うたびにインストールめんどくさい。 最近安定しないすなぁ…。 2021年の夏ごろにVer3.3がリリースされ、アプリを更新したら透かしが入るようになっていたのです。 お仕事とかで利用していたので、これは有料版にするしか […]
EpocCamで画面がちらつく現象が発生【旧EpocCamのドライバが原因】
こんにちはますのです。 先日よりEpocCamに目立つ透かしが入ったので1000円ほど課金させていただきましたのです。 しかし、どうも調子がおかしい。 アプリ起動後にiPhoneとの接続が完了するのですが、映像が点滅する…。 再インストール直後は問題無く動作するのに。 PC再起動後や時間経過で再発している模様…。 普段はあまりWebでのMTGをしていなかったのですが、最近頻繁に行う機会が増えたので […]
【6年目インフラエンジニア】転職エージェント面談でキャリア相談をする
こんにちはますのです。 転職に関してはあまり前向きでは無かったのですが、お仕事をする上で力不足を感じてきた今日この頃です。 うぅ。。。1人で調べながら対応していくのには限界があります。 誰かと相談しながらわちゃわちゃやりたい。かまってちゃん。 今の会社に拾ってもらって5年が経過。 上司にも役員にも良くしてもらってきましたが、世の中に飛び立って行きたい願望も出てきました。 （現環境でも勇気があれば世 […]