2021-01-01から1年間の記事一覧
【Nutanix Advent Calendar 2021】 11日目の記事です！前回までは、Nutanix REST API からの Elasticsearch 投入までやったみましたので、次は簡単な Web GUI にチャレンジです【Nutanix UUIDエクスプローラーを作ってみよう】シリーズ ・REST APIしてみる …
【Nutanix Advent Calendar 2021】 6日目〜 なんかったらElasticsearch #Nutanix_JP
【Nutanix Advent Calendar 2021】 2日目の記事です！Nutanix で 何ごとか調査するときには往々にして uuid をキーにして調査することが多いです。 uuid と一言で言ってみても、VM の uuid やら Volume Group （Volumes）の uuid やらあれやこれや調べる必要…
せっかく Azure のお勉強をしはじめたので、Azure Cloud Shell のコマンドを VS Code から実行できる環境を作ってみたいとみたいと思いますAzure Cloud Shell は、通常 Azure ポータル上で実行する CLI のやつです Windows に Azure CLI をインストールする…
これだけ覚えてたら、勝てる、、、わけもなく こんだけ知らなかったってこと 裏を返すと、ここに書いてることは当然理解して周辺情報を説明できることは必須desu！では、いってみよー 自分の備忘録用 AZ-303 / AZ-304 対策ごちゃまぜメモ ■ログ/監視 関連 ・…
必要にせまられたわけでもなく、Azure を仕事で使っているわけでもないのですが、なんとなくブログにネタにしようってレベルでチャレンジこれまでの Azure歴は、Jetson Nano からの Azure IoT で エッジAI/IoT 的なことやったり、Nutanix KPS で Blob になん…
VS Codeは、初期状態からエクスプローラ機能、ターミナルが使えて便利ですが、拡張機能（エクステンション）を導入することで真価を発揮します エクステンションは数多くあるので、奥が深いです とりあえず自分が使った範囲で、Python、Jupyter、Dockerを扱…
ルーキー開発者が最強のえでぃたを装備した おてがる開発環境シリーズの最後は、「VS Code」です 今までの、Docker、Python、Jupyter 全てにおいて、VS Code で便利に使うことができます【おてがる開発環境をつくろう】 １．まずは Docker Desktop インスト…
機械学習ではド定番というか、大前提？な Jupyter notebook の環境をDocker コンテナ上に Python と一緒に作ってしまいましょう【おてがる開発環境をつくろう】 １．まずは Docker Desktop インストール ２．Docker であそぶ Python 入りのコンテナつくる ３…
【おてがる開発環境をつくろう】 １．まずは Docker Desktop インストール ２．Docker であそぶ Python 入りのコンテナつくる ←今ココ ３．コンテナで Jupyter Lab 環境 ４．さいきょうのえでぃた VS Code あくまで今回の目的は、マイクロサービスを作るとか…
プログラミング言語いれたら、得てしてアレもコレも追加モジュールいれてなんだか PC自体おかしくなって、全部消してやりなおした経験はでしょうか？ 開発環境のお作法なんてのは、本職で毎日さわってないと、すぐ忘れる。。。 忘れたってええじゃない、開発…
とうとうこれを堂々と使うことができます JDLA E資格 2021#1 取得しました喜びとともに忘れないうちに試験の振り返り第２段 Pythonコード問題は、基本的に穴埋めなので何がやりたいかを理解していれば時間さえかければ答えにたどり着くことはできるわけです…
合格ラインとかそんなのよくわかってないままに受けてきました 毎回こういうガチな試験を受ける時は人生で最高に勉強したーとか言ってるようなきがするけど、今回もまさしく人生で一番勉強した気がする 手応えは7-8割くらい。。。。（9割以上とる覚悟で受け…
E資格向けの自習アウトプット 自分用メモGAN 敵対的生成ネットワークは、2014年にイアン・グッドフェロー氏らが「Generative Adversarial Network」という論文で発表 生成モデルと識別モデルの組み合わせ、敵対させ競い合わせることで精度を上げていく手法 …
E資格向けの自習アウトプット 自分用メモVAE（変分自己符号化器）は、生成モデルに対するアプローチの一つ 生成モデルとは、「訓練データを生成する確率 p(x) を求めたい」という分野で、訓練データを元にして特徴を捉えて訓練デーアセットに似たデータを生…
E資格向けの自習アウトプット 自分用メモseq2seq は Encoder-Decoderモデルとも呼ばれている RNNを使って、系列データを固定次元ベクトルへ変換（エンコード）、逆に固定次元ベクトルから系列を生成できる（デコード）エンコーダ：系列データをある規則に基…
E資格向けの自習アウトプット 自分用メモGRU（Gated Recurrent Unit）は、LSTM を単純化したモデル LSTMはパラメータが多く学習に時間がかかので、パラメータを減らして計算量を減らす工夫 ゲートを2つに減らし、内部状態をなくした ・reset ゲート (r)：過…
E資格向けの自習アウトプット 自分用メモLSTM：Long Short-Term Memory（長短期記憶）は、RNNで系列が長くなっていった時におきてしまう「長期依存性の課題」への解決アプローチの一つです 長期依存性の課題 RNNの弱点として多くの時間ステップでわたって伝…
E資格向けの自習アウトプット 自分用メモRNN を利用したモデル構築の考慮事項について E資格試験対策の意味合いが多し RNN の学習方法 通時的誤差逆伝播（BPTT: Back Propagation Though Time） Simple RNNの逆伝播は1つ先の時刻の勾配を含んで計算されてい…
E資格向けの自習アウトプット 自分用メモRNN（Recurrent Neural Network）回帰結合型ニューラルネットワークは、時系列データを処理するためのニューラルネットワークCNNが格子状のデータを処理するのに特化RNNは系列上の値 𝑥^*1,𝑥^*2,,,,,𝑥^*3 を処理するの…
E資格向けの自習アウトプット 自分用メモCNN発展の歴史を抑えておく ILSVRC（ImageNet Large Scale Visual Recognition Challenge）:画像認識コンペ で 2012年の トロント大 ヒントン教授の率いるチームが CNN を採用したAlexNetで圧倒的な成績をのしてディ…
E資格向けの自習アウトプット 自分用メモTensorFlow は、Googleさんが公開している機械学習で便利なライブラリ 現在のところPython では、PyTorch と2大巨頭って感じ？今まで PyTorch 使いなれてきましたが、KPS 的に TensorFlow 使いこなせるようになったほ…
E資格向けの自習アウトプット 自分用メモCNN実装するには、Pythonでの計算する行列のカタチを意識してやるのが重要です その基本的なテクニックについて E資格的には numpy での実装方法が聞かれるのかな 画像の読み込みと確認方法 まずは基本中の基本で画像…
E資格向けの自習アウトプット 自分用メモCNN（Convolutional Neural Network）は、畳み込みニューラルネットワークと呼ばれる、畳み込みという圧縮に似た（圧縮ではない）処理で入力次元を削減しつつ、特徴量をあぶり出していく手法です 主に画像のクラス分…
E資格向けの自習アウトプット 自分用メモBatch Normalization（Batch Norm）は、ミニバッチ単位で正規化を行いスケールを揃えること。重みの初期値が適切だと、各層のアクティベーション分布に適切な広がりをもち、学習がスムーズに行える Batch Norm は、各…
E資格向けの自習アウトプット 自分用メモ学習の工夫して、汎化性能をあげつつ学習速度の向上、計算リソースの削減をしたり対策していく 取り組む問題によって、組み合わせてみたり パラメータ拘束とパラメータ共有 パラメータ拘束 パラメータの適切な値がわ…
E資格向けの自習アウトプット 自分用メモ正則化は、過学習（学習データに特化しすぎる）を防ぎ、汎化性能と予測 精度の向上を両立させる処理 （正則化と正規化はこんがらがりがち） バイアスとバリアンス バイアスとバリアンスは推定量の誤差を生じる２つの…
E資格向けの自習アウトプット 自分用メモ学習アルゴリズムを、実装してみて実際の学習の推移を確認してみたいと思います 今回は Python のクラスをちゃんと用いて学習モデルを作っていきます 一気に本格的な感じにまず挑む問題ですが、過去にも Pytorch でも…
E資格向けの自習アウトプット 自分用メモ学習アルゴリズムとして、確率的勾配降下法はよく利用される方法ですが、勾配を求めてパラメータを更新する方向は分かれど、どれくらい更新すればよいかが明確に示されるわけではないので、学習が遅くなる場合がある…
E資格向けの自習アウトプット 自分用メモ確率的勾配降下法（SGD: Stochastic Gradient Descent）は、ミニバッチの単位で無作為に選んだデータで勾配降下法を使ってパラメータを更新していく方法 パラメータの更新方法は、誤差逆伝播で求めた勾配を使って各パ…
