ディープラーニング
とうとうこれを堂々と使うことができます JDLA E資格 2021#1 取得しました喜びとともに忘れないうちに試験の振り返り第2段 Pythonコード問題は、基本的に穴埋めなので何がやりたいかを理解していれば時間さえかければ答えにたどり着くことはできるわけです…
合格ラインとかそんなのよくわかってないままに受けてきました 毎回こういうガチな試験を受ける時は人生で最高に勉強したーとか言ってるようなきがするけど、今回もまさしく人生で一番勉強した気がする 手応えは7-8割くらい。。。。(9割以上とる覚悟で受け…
E資格向けの自習アウトプット 自分用メモGAN 敵対的生成ネットワークは、2014年にイアン・グッドフェロー氏らが「Generative Adversarial Network」という論文で発表 生成モデルと識別モデルの組み合わせ、敵対させ競い合わせることで精度を上げていく手法 …
E資格向けの自習アウトプット 自分用メモVAE(変分自己符号化器)は、生成モデルに対するアプローチの一つ 生成モデルとは、「訓練データを生成する確率 p(x) を求めたい」という分野で、訓練データを元にして特徴を捉えて訓練デーアセットに似たデータを生…
E資格向けの自習アウトプット 自分用メモseq2seq は Encoder-Decoderモデルとも呼ばれている RNNを使って、系列データを固定次元ベクトルへ変換(エンコード)、逆に固定次元ベクトルから系列を生成できる(デコード)エンコーダ:系列データをある規則に基…
E資格向けの自習アウトプット 自分用メモGRU(Gated Recurrent Unit)は、LSTM を単純化したモデル LSTMはパラメータが多く学習に時間がかかので、パラメータを減らして計算量を減らす工夫 ゲートを2つに減らし、内部状態をなくした ・reset ゲート (r):過…
E資格向けの自習アウトプット 自分用メモLSTM:Long Short-Term Memory(長短期記憶)は、RNNで系列が長くなっていった時におきてしまう「長期依存性の課題」への解決アプローチの一つです 長期依存性の課題 RNNの弱点として多くの時間ステップでわたって伝…
E資格向けの自習アウトプット 自分用メモRNN を利用したモデル構築の考慮事項について E資格試験対策の意味合いが多し RNN の学習方法 通時的誤差逆伝播(BPTT: Back Propagation Though Time) Simple RNNの逆伝播は1つ先の時刻の勾配を含んで計算されてい…
E資格向けの自習アウトプット 自分用メモRNN(Recurrent Neural Network)回帰結合型ニューラルネットワークは、時系列データを処理するためのニューラルネットワークCNNが格子状のデータを処理するのに特化RNNは系列上の値 𝑥^*1,𝑥^*2,,,,,𝑥^*3 を処理するの…
E資格向けの自習アウトプット 自分用メモCNN発展の歴史を抑えておく ILSVRC(ImageNet Large Scale Visual Recognition Challenge):画像認識コンペ で 2012年の トロント大 ヒントン教授の率いるチームが CNN を採用したAlexNetで圧倒的な成績をのしてディ…
E資格向けの自習アウトプット 自分用メモTensorFlow は、Googleさんが公開している機械学習で便利なライブラリ 現在のところPython では、PyTorch と2大巨頭って感じ?今まで PyTorch 使いなれてきましたが、KPS 的に TensorFlow 使いこなせるようになったほ…
E資格向けの自習アウトプット 自分用メモCNN実装するには、Pythonでの計算する行列のカタチを意識してやるのが重要です その基本的なテクニックについて E資格的には numpy での実装方法が聞かれるのかな 画像の読み込みと確認方法 まずは基本中の基本で画像…
E資格向けの自習アウトプット 自分用メモCNN(Convolutional Neural Network)は、畳み込みニューラルネットワークと呼ばれる、畳み込みという圧縮に似た(圧縮ではない)処理で入力次元を削減しつつ、特徴量をあぶり出していく手法です 主に画像のクラス分…
E資格向けの自習アウトプット 自分用メモBatch Normalization(Batch Norm)は、ミニバッチ単位で正規化を行いスケールを揃えること。重みの初期値が適切だと、各層のアクティベーション分布に適切な広がりをもち、学習がスムーズに行える Batch Norm は、各…
E資格向けの自習アウトプット 自分用メモ学習の工夫して、汎化性能をあげつつ学習速度の向上、計算リソースの削減をしたり対策していく 取り組む問題によって、組み合わせてみたり パラメータ拘束とパラメータ共有 パラメータ拘束 パラメータの適切な値がわ…
E資格向けの自習アウトプット 自分用メモ正則化は、過学習(学習データに特化しすぎる)を防ぎ、汎化性能と予測 精度の向上を両立させる処理 (正則化と正規化はこんがらがりがち) バイアスとバリアンス バイアスとバリアンスは推定量の誤差を生じる2つの…
E資格向けの自習アウトプット 自分用メモ学習アルゴリズムを、実装してみて実際の学習の推移を確認してみたいと思います 今回は Python のクラスをちゃんと用いて学習モデルを作っていきます 一気に本格的な感じにまず挑む問題ですが、過去にも Pytorch でも…
E資格向けの自習アウトプット 自分用メモ学習アルゴリズムとして、確率的勾配降下法はよく利用される方法ですが、勾配を求めてパラメータを更新する方向は分かれど、どれくらい更新すればよいかが明確に示されるわけではないので、学習が遅くなる場合がある…
E資格向けの自習アウトプット 自分用メモ確率的勾配降下法(SGD: Stochastic Gradient Descent)は、ミニバッチの単位で無作為に選んだデータで勾配降下法を使ってパラメータを更新していく方法 パラメータの更新方法は、誤差逆伝播で求めた勾配を使って各パ…
E資格向けの自習アウトプット 自分用メモ誤差逆伝播までの流れを一旦 python実装 してみる 1.データ定義 2.順伝播(アフィン変換、ReLU) 3.コスト関数(誤差の計算) 4.誤差逆伝播とりあえず絵にしてみる 求めたいのはパラメータの勾配 入力データ…
E資格向けの自習アウトプット 自分用メモモデル(ニューラルネットワーク)の最適化は、コスト関数をより小さくなるようにパラメータ(重み:w、バイアス:b)を更新することが必要 パラメータに対するコスト関数の勾配(微分)が分かれば、パラメータをどの方…
E資格向けの自習アウトプット 自分用メモコスト関数(誤差関数)は、予測した結果と正解との差を定量化した関数 関数が小さいほど、モデルの予測が訓練データに近いと言える 目的、対象に応じてコスト関数をそれぞれ定義する コスト関数は負の対数尤度関数で…
E資格向けの自習アウトプット 自分用メモ出力ユニット は出力層の直前で使う、目的(求めたい解・問題)で使うものが変わってくるガウス出力分布(回帰問題) ➔ 線形ユニット ベルヌーイ出力分布(2クラス) ➔ シグモイドユニット マルチヌーイ出力分布(多…
E資格向けの自習アウトプット 自分用メモ活性化関数は原則パラメータを持たず学習には関与しない。アフィン変換後に活性化関数による非線形写像により表現力の高いニューラルネットワークを構成する。 代表的な活性化関数 ・ステップ関数:超シンプル出番ほ…
E資格向けの自習アウトプット 自分用メモニューラルネットワーク:脳を模倣して演算と学習 万能近似定理:どんな曲線もニューラルネットワークをベースとした関数で近似できる パーセプトロン:ニューラルネットワークの基本単位 順伝播:多層のパーセプトロ…
画像処理関連のディープラーニングぽいものの構築を通して、PyTorchの理解を深めてきましたが (決して学習自体はうまくいってませんがw)これからもディープラーニング自体は勉強を続けていくわけですが、PyTorch(に限らない?)でコーディングしていく上…
基本的な画像認識はなんとなくできたので、ここからは応用編です せっかく実装してみたCNNを応用して、オートエンコーダ(自己符号化器)にチャレンジしてみたいと思いますというわけで、今回はDAE(Denoising Autoencoder)とよばれる、画像からノイズ除去…
白黒画像(1チャネル)の数字判定までは実装できるようになったので次のステップですPyTorch お勉強シリーズ 第1回 PyTorchを使ってDeep Learningのお勉強 基礎編 第2回 PyTorchを使ったDeep Learningのお勉強 PyTorch Lightning編 第3回 PyTorchを使ったDee…
今回からいよいよ画像認識編ですようやくこの辺りから、Xi IoTの実装に近づいてきそうです (カメラで撮った画像を解析する的な?)PyTorch お勉強シリーズ 第1回 PyTorchを使ってDeep Learningのお勉強 基礎編 第2回 PyTorchを使ったDeep Learningのお勉強 …
※基本的に独学なのでちょいちょい間違っているかもしれません、怪しいところあればご指摘くださいましPyTorch / pytorch_lightning を使った学習はめっちゃシンプル化されます ただ前回までのそのまんまではあまりにシンプルであっという間に結果が出力され…