技術雑記帳兼日記帳

AWS、Python、Terraformの使い方をコッソリ

移転しました。

後学と好奇心と実験のために移転しました。 izayoi.link

former2

AWS

former2.com これすごいです。 自分が作った環境を簡単にCloudFormationやTerrformで出力してくれます。 ちょっと感動しました。

terraform要素の配列化

Terraformのモジュール化の勉強ついでに、Subnetの複数定義をsplitの使用から配列での実装に変更して見たので比較してみます。 参考:ベストプラクティス github.com →下記以外にモジュールの実装でかなり勉強になりました。 split使用版 variable "cidrs" {…

terraformのEBS暗号化

EBSの暗号化しているかしていないか気になるのであれば下記を指定することで、意識しなくても暗号化してくれるらしい。 resource "aws_ebs_encryption_by_default" "ebs_encryption_by_default" { enabled = true } 当然ながら後からの場合は属性が変わるだ…

AWS と Terraformで実現するInfrastructure as Code 受講完了

AWS と Terraformで実現するInfrastructure as Code | Udemy これの受講が終わりました。 非常に素晴らしい内容ですのでIaCに興味がある方は受講をお勧めです。 以下、良かった点 ハンズオン形式でコードを実際に書いて、ちょこちょこ形にしていくので、コツ…

Terraformのコマンド

Terraformのコマンドで注意しなければいけないコマンドを挙げてみる。 terraform destroy 一生懸命コードを書いて、作り上げた環境が一発で吹っ飛ばせるのはちょっとしたカタルシス。。。 terraform apply -auto-approve これはコンソールでインスタンスを停…

Terraform

AWSの勉強と一緒にTerraformもあわせて勉強しています。 面倒な設定を分けて記述して管理しやすく構造化できるため、ハンコ文字の如くインフラを増殖させることができるので、 新規開発をAWSでやりましょうとなったときに、ノウハウをそのまま移行できると感…

AWS Certified Solutions Architect - Professional その3

今はDirectConnectを学んでいるがとにかく覚えることが多い。 インターフェイスは「プライベート仮想インターフェイス」、「パブリック仮想インターフェイス」、「トランジット仮想インターフェイス」 接続は専用線接続、ホスト接続などなど。 解説書で図解…

AWSのルートテーブル

今回AWSのルートテーブルで不思議な構成があったので、メモ 下記のように入力がグローバルIPであった場合に別経路へルーティングする設定がありました。 ※TGWは設定していないので存在しないですが例として。 これって以下だと考えています。 123.123.123.12…

謙虚な立ち振る舞い

たまたま新しい職場に来た年上の方に手持ちのプロジェクトを引き継ぐことになりました。 そのかたがとても謙虚な立ち振る舞いをするため、私も見習わなければと感じています。 やはり、自分のように叩き上げていった人間には中々できない振る舞いですが、あ…

AWS Certified Solutions Architect - Professional その2

今回はエンドポイントについて。 2種類のエンドポイントの違いなどがはっきりとわかるようにならないと サービス設計や利用で提供でつまづきそうなので、まとめみました。 ゲートウェイVPCエンドポイント S3とDynamo DBで使える。 料金が発生しない。 ルー…

AWS Certified Solutions Architect - Professional その1

今回は勉強のためにAssumeRoleを試してみました。 『AWSアカウント(A)からのアカウント(B)に対して操作』を許可するケースを簡単にまとめてみました。 B側操作 ・ロール作成で、AWSアカウントを選択し、許可したいAWSアカウントID(A)を指定する。 ・ア…

勉強

勉強はINPUTするだけじゃなく、OUTPUTも必要だな。 アナログ式でノートに書き写して勉強してきてるけど、この方法以外にも複数の手段を持っておくのがいいかもしれない。 それにモチベーションの意地も大事だな。 中々難しいもんですなぁ

AWS Certified SysOps Administrator - Associate

AWS

やったー、合格した! スコアが低かったけど、ラボ試験も含めてほぼ全て「コンピテンシーを満たしている」となったので十分満足です。 次はプロフェッショナルだ!

Blogの移行

せっかくAWSの勉強をしているので、ブログもAWSに移行してみようかと思案中 こういう思いついたことをやろうと思えばいつでもできるのがクラウドの良いところですね

VPCとのVPN接続

SysOpsの問題ををしていて興味深いVPCとオンプレの接続があったので紹介 参考 https://docs.aws.amazon.com/ja_jp/whitepapers/latest/aws-vpc-connectivity-options/network-to-amazon-vpc-connectivity-options.html Direct Connect単独構成は見たことある…

あけましておめでとうございます。

だいぶ放置していましたが今年から定期的に更新していきます。 変わらずAWSネタとPythonネタをやっていければと思っています。 潜っている間にAWSはアソシエイトのソリューションアーキテクトとデベロッパーを取得したので、今年はSysOpsアドミニストレータ…

WSLでssh

WSL

sshが自動起動しないので、いつもどおりsystemctlコマンド打ってもだめだった。 qiita.com 上記のリンクのコマンドラインで起動したらうまくいった。 ただ、自分の環境だとバッチファイルが起動できない。 色々ググったけどだめだから、スタートアップにショ…

python WSL

やんごとなき事情でWindowsでPython環境を作ったが、なれないのでWSLのUbuntuで実行環境を作った。 そのときに、turtleが表示されなかったのでメモ 以下をWindowsにインストール sourceforge.net Linux側で下記を設定 $ export DISPLAY=localhost:0.0 あとは…

Amazon S3 and boto3

忘れそうなのでメモついでにAWS CLIとPythonでS3の使い方をまとめる。 docs.aws.amazon.com S3の設定 バケット作成 aws s3 mb s3://バケット名 バケットにコピー aws s3 sync images s3://バケット名/images/ バケットデータ削除 aws s3 rm s3://バケット名/…

python スクレイピング その7

はじめに 今回はScrapyを使用してNPBの種類ごとの歴代最高記録のURLを取得してみた。 準備 Scrapyのインストール $ pip install scrapy Scrapyプロジェクトの作成 $ scrapy startproject npb $ cd npb $ tree . ├── npb │ ├── __init__.py │ ├── items.py │ …

python スクレイピング その6

はじめに 今回は巨人の藤田元司監督のWikiページを画像でコピーする処理を作成した。 準備 sele_headless.py from selenium import webdriver from selenium.webdriver.chrome.options import Options from webdriver_manager.chrome import ChromeDriverMan…

python スクレイピング その5

はじめに 今回は短めにヘッドレスモードを試してみる。 準備 sele_headless.py from selenium import webdriver from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import time url = 'https://srad.jp/' keyword = 'Li…

python スクレイピング その4

はじめに 今回はseleniumでSlashdotを開いて、ブラウザを操作して結果を表示するプログラムを書いてみた。 準備 最初にpipで以下をインストールしておく。 $ pip install selenium $ pip install chromedriver $ pip install chromedriver-binary==90.0.4430…

AWS 認定 クラウドプラクティショナー受験記録

AWS

はじめに 5月8日にAWS 認定 クラウドプラクティショナーを受験してきました。 試験までの流れ 1.試験前 きっかけは実務でAWSも触ってるし、説明するときの根拠付もあったほうがいいかなぁと思って以下の本を購入して勉強を開始しました。 勉強方法は「古典…

python スクレイピング その3

はじめに 今回はYahoo画像検索で猫の画像をかき集めて保存するプログラムを書いてみた。 準備 imageDownload.py import requests, os, json, traceback from bs4 import BeautifulSoup path = './img-cat/' maxPage = 2 searchText = '猫' def imageDownload…

python スクレイピング その2

はじめに 前回の続きでスクレイピングについて書いていく。 準備 これまた本通りだと芸がないので、はてなブログの「注目」のタイトルとURLを抽出してCSVに出力する処理を作成した。 entryTitle.py import requests from bs4 import BeautifulSoup import cs…

python スクレイピング その1

はじめに この本を買ったので、学習成果をまとめていく。 準備 スクレイピングでWikipediaの「今日は何の日」を取得するんだけど芸がないので、「新しい記事」のリンクのタイトルをすべて取得してみる。 newArticles.py import requests from bs4 import Bea…

python Amazon Rekognition Detect Text

はじめに 今回は画像からテキストを分析するDetect Textを使ってみる。 準備 下記のプログラムを用意する。 detect_text.py.py from PIL import Image, ImageDraw, ImageFont import boto3, sys, json, os, traceback #画像の分析結果を返す def detect_text…

python pillow 色々な画像変換

はじめに 今回はpillowを使って色々な画像変換を試してみる。 準備 下記のプログラムを用意する。 convert.py from PIL import Image, ImageOps import sys if len(sys.argv) != 2: exit() #画像をsampleを開く inFileName = sys.argv[1] outFileName = 'out…