python
しばらく時間があいてしまいましたが、UUIDエクスプローラーを作ってみようプロジェクト再開ですここから、また長いみちのりになりそうです ここまでは、Jupyter notebook 上で個別に実行しながら、Nutanix REST API 、Elasticsearch と Flask で表示までの…
【Nutanix Advent Calendar 2021】 11日目の記事です！前回までは、Nutanix REST API からの Elasticsearch 投入までやったみましたので、次は簡単な Web GUI にチャレンジです【Nutanix UUIDエクスプローラーを作ってみよう】シリーズ ・REST APIしてみる …
【Nutanix Advent Calendar 2021】 6日目〜 なんかったらElasticsearch #Nutanix_JP
機械学習ではド定番というか、大前提？な Jupyter notebook の環境をDocker コンテナ上に Python と一緒に作ってしまいましょう【おてがる開発環境をつくろう】 １．まずは Docker Desktop インストール ２．Docker であそぶ Python 入りのコンテナつくる ３…
E資格向けの自習アウトプット 自分用メモGAN 敵対的生成ネットワークは、2014年にイアン・グッドフェロー氏らが「Generative Adversarial Network」という論文で発表 生成モデルと識別モデルの組み合わせ、敵対させ競い合わせることで精度を上げていく手法 …
E資格向けの自習アウトプット 自分用メモVAE（変分自己符号化器）は、生成モデルに対するアプローチの一つ 生成モデルとは、「訓練データを生成する確率 p(x) を求めたい」という分野で、訓練データを元にして特徴を捉えて訓練デーアセットに似たデータを生…
E資格向けの自習アウトプット 自分用メモGRU（Gated Recurrent Unit）は、LSTM を単純化したモデル LSTMはパラメータが多く学習に時間がかかので、パラメータを減らして計算量を減らす工夫 ゲートを2つに減らし、内部状態をなくした ・reset ゲート (r)：過…
E資格向けの自習アウトプット 自分用メモTensorFlow は、Googleさんが公開している機械学習で便利なライブラリ 現在のところPython では、PyTorch と2大巨頭って感じ？今まで PyTorch 使いなれてきましたが、KPS 的に TensorFlow 使いこなせるようになったほ…
E資格向けの自習アウトプット 自分用メモCNN実装するには、Pythonでの計算する行列のカタチを意識してやるのが重要です その基本的なテクニックについて E資格的には numpy での実装方法が聞かれるのかな 画像の読み込みと確認方法 まずは基本中の基本で画像…
E資格向けの自習アウトプット 自分用メモCNN（Convolutional Neural Network）は、畳み込みニューラルネットワークと呼ばれる、畳み込みという圧縮に似た（圧縮ではない）処理で入力次元を削減しつつ、特徴量をあぶり出していく手法です 主に画像のクラス分…
E資格向けの自習アウトプット 自分用メモBatch Normalization（Batch Norm）は、ミニバッチ単位で正規化を行いスケールを揃えること。重みの初期値が適切だと、各層のアクティベーション分布に適切な広がりをもち、学習がスムーズに行える Batch Norm は、各…
E資格向けの自習アウトプット 自分用メモ学習の工夫して、汎化性能をあげつつ学習速度の向上、計算リソースの削減をしたり対策していく 取り組む問題によって、組み合わせてみたり パラメータ拘束とパラメータ共有 パラメータ拘束 パラメータの適切な値がわ…
E資格向けの自習アウトプット 自分用メモ正則化は、過学習（学習データに特化しすぎる）を防ぎ、汎化性能と予測 精度の向上を両立させる処理 （正則化と正規化はこんがらがりがち） バイアスとバリアンス バイアスとバリアンスは推定量の誤差を生じる２つの…
E資格向けの自習アウトプット 自分用メモ学習アルゴリズムを、実装してみて実際の学習の推移を確認してみたいと思います 今回は Python のクラスをちゃんと用いて学習モデルを作っていきます 一気に本格的な感じにまず挑む問題ですが、過去にも Pytorch でも…
E資格向けの自習アウトプット 自分用メモ学習アルゴリズムとして、確率的勾配降下法はよく利用される方法ですが、勾配を求めてパラメータを更新する方向は分かれど、どれくらい更新すればよいかが明確に示されるわけではないので、学習が遅くなる場合がある…
E資格向けの自習アウトプット 自分用メモ確率的勾配降下法（SGD: Stochastic Gradient Descent）は、ミニバッチの単位で無作為に選んだデータで勾配降下法を使ってパラメータを更新していく方法 パラメータの更新方法は、誤差逆伝播で求めた勾配を使って各パ…
E資格向けの自習アウトプット 自分用メモ誤差逆伝播までの流れを一旦 python実装 してみる １．データ定義 ２．順伝播（アフィン変換、ReLU） ３．コスト関数（誤差の計算） ４．誤差逆伝播とりあえず絵にしてみる 求めたいのはパラメータの勾配 入力データ…
E資格向けの自習アウトプット 自分用メモモデル（ニューラルネットワーク）の最適化は、コスト関数をより小さくなるようにパラメータ（重み:w、バイアス:b）を更新することが必要 パラメータに対するコスト関数の勾配（微分）が分かれば、パラメータをどの方…
E資格向けの自習アウトプット 自分用メモコスト関数（誤差関数）は、予測した結果と正解との差を定量化した関数 関数が小さいほど、モデルの予測が訓練データに近いと言える 目的、対象に応じてコスト関数をそれぞれ定義する コスト関数は負の対数尤度関数で…
E資格向けの自習アウトプット 自分用メモ出力ユニット は出力層の直前で使う、目的（求めたい解・問題）で使うものが変わってくるガウス出力分布（回帰問題） ➔ 線形ユニット ベルヌーイ出力分布（２クラス） ➔ シグモイドユニット マルチヌーイ出力分布（多…
E資格向けの自習アウトプット 自分用メモ活性化関数は原則パラメータを持たず学習には関与しない。アフィン変換後に活性化関数による非線形写像により表現力の高いニューラルネットワークを構成する。 代表的な活性化関数 ・ステップ関数：超シンプル出番ほ…
Nutanix Objects でオブジェクトストレージを作れたので、オブジェトの出し入れを行ってみます オブジェクトストレージ初心者なので、安易に画像をアップロードしたり、読み込んだりをトライ まずはググって一番上にくる AWS SDK for Python (Boto3) でトラ…
せっかく作った YOLOv5 マスク検出を Xi IoT 上にも展開してみますXi IoT上で動いてしまえば、Service Domain（エッジOS）を増やしていけば、プラネットスケールの展開を目論むことができます。 【今回やってみること】 １．Xi IoT用 YOLOv5 runtimeを作成 …
YOLO標準の物体検出モデルを使って画像から物体検出はなんとなく試せたので、もう少し踏み込んでいきます【ラズパイで物体認識シリーズ】 ・OpenCV の準備 ・HaarCascades を使った物体検出 ・YOLO v5のセットアップ ・YOLO v5 使った物体検出 ←イマココ ・X…
OpenCV の次は物体検出 & 認識で有名どころの YOLO に挑戦です【ラズパイで物体認識シリーズ】 ・OpenCV の準備 ・HaarCascades を使った物体検出 ・YOLO v5のセットアップ ←イマココ ・Xi IoTへの組み込み ちょっと延期==環境==== raspberry Pi 4 model-B R…
OpenCV単体でできる物体検出を試してみます 【ラズパイで物体認識シリーズ】 ・OpenCV の準備 ・HaarCascades を使った物体検出 ←イマココ ・YOLO v5のセットアップ ・Xi IoTへの組み込み ちょっと延期 カメラの映像に文字を入れてみる これはいたって簡単で…
そろそろ周辺知識がそろってきたので、Xi IoTのアプリ実装に向けて進み始めます【ラズパイで物体認識シリーズ】 ・OpenCV の準備←イマココ ・HaarCascades を使った物体検出 ・YOLO v5のセットアップ ・Xi IoTへの組み込み ちょっと延期 カメラ画像の物体認…
※東京都コロナサイトの仕様が変わったようで、このコードは数字とれなくなっています 文中に Github開発ソースから取得する版を載せていますWebスクレイピングの練習で、新型コロナ情報を取得してElasticsearch・Kibanaで見える化してみます ついつい陽性者…
（※Webサイト書いているのがまずかったら、すぐ修正します） Webスクレイピングとは、インターネット上のいろんなデータ（記事とか画像とか）をプログラムで（Bot的）収集・保存するものです 似たもので微妙に違うらしいクローリングという言葉もありますが…
せっかく Elasticsearch ちょっと覚えたので、ちょっと無理やり使ってみる方法を考えてみました将来的には、入力画像に ML model を通して解析・判定した画像を連携する的なことに=開発環境==== jupyter notebook Visual Studio Code Docker KubernetesPytho…
