konchangakita

KPSを一番楽しんでいたブログ 会社の看板を背負いません 転載はご自由にどうぞ

ディープラーニング

E資格対策 で丸暗記した Pythonコード

とうとうこれを堂々と使うことができます JDLA E資格 2021#1 取得しました喜びとともに忘れないうちに試験の振り返り第2段 Pythonコード問題は、基本的に穴埋めなので何がやりたいかを理解していれば時間さえかければ答えにたどり着くことはできるわけです…

E資格受けてみまして

合格ラインとかそんなのよくわかってないままに受けてきました 毎回こういうガチな試験を受ける時は人生で最高に勉強したーとか言ってるようなきがするけど、今回もまさしく人生で一番勉強した気がする 手応えは7-8割くらい。。。。(9割以上とる覚悟で受け…

【DeepLearning特訓】GAN 敵対的生成ネットワーク

E資格向けの自習アウトプット 自分用メモGAN 敵対的生成ネットワークは、2014年にイアン・グッドフェロー氏らが「Generative Adversarial Network」という論文で発表 生成モデルと識別モデルの組み合わせ、敵対させ競い合わせることで精度を上げていく手法 …

【DeepLearning特訓】VAE 変分自己符号化器

E資格向けの自習アウトプット 自分用メモVAE(変分自己符号化器)は、生成モデルに対するアプローチの一つ 生成モデルとは、「訓練データを生成する確率 p(x) を求めたい」という分野で、訓練データを元にして特徴を捉えて訓練デーアセットに似たデータを生…

【DeepLearning特訓】RNN応用 seq2seq編

E資格向けの自習アウトプット 自分用メモseq2seq は Encoder-Decoderモデルとも呼ばれている RNNを使って、系列データを固定次元ベクトルへ変換(エンコード)、逆に固定次元ベクトルから系列を生成できる(デコード)エンコーダ:系列データをある規則に基…

【DeepLearning特訓】RNN応用 GRU編

E資格向けの自習アウトプット 自分用メモGRU(Gated Recurrent Unit)は、LSTM を単純化したモデル LSTMはパラメータが多く学習に時間がかかので、パラメータを減らして計算量を減らす工夫 ゲートを2つに減らし、内部状態をなくした ・reset ゲート (r):過…

【DeepLearning特訓】RNN応用 LSTM編

E資格向けの自習アウトプット 自分用メモLSTM:Long Short-Term Memory(長短期記憶)は、RNNで系列が長くなっていった時におきてしまう「長期依存性の課題」への解決アプローチの一つです 長期依存性の課題 RNNの弱点として多くの時間ステップでわたって伝…

【DeepLearning特訓】RNNモデルの考え方

E資格向けの自習アウトプット 自分用メモRNN を利用したモデル構築の考慮事項について E資格試験対策の意味合いが多し RNN の学習方法 通時的誤差逆伝播(BPTT: Back Propagation Though Time) Simple RNNの逆伝播は1つ先の時刻の勾配を含んで計算されてい…

【DeepLearning特訓】RNN 入門

E資格向けの自習アウトプット 自分用メモRNN(Recurrent Neural Network)回帰結合型ニューラルネットワークは、時系列データを処理するためのニューラルネットワークCNNが格子状のデータを処理するのに特化RNNは系列上の値 𝑥^*1,𝑥^*2,,,,,𝑥^*3 を処理するの…

【DeepLearning特訓】CNN 進化の歴史

E資格向けの自習アウトプット 自分用メモCNN発展の歴史を抑えておく ILSVRC(ImageNet Large Scale Visual Recognition Challenge):画像認識コンペ で 2012年の トロント大 ヒントン教授の率いるチームが CNN を採用したAlexNetで圧倒的な成績をのしてディ…

【DeepLearning特訓】CNN を TensorFlow で実装

E資格向けの自習アウトプット 自分用メモTensorFlow は、Googleさんが公開している機械学習で便利なライブラリ 現在のところPython では、PyTorch と2大巨頭って感じ?今まで PyTorch 使いなれてきましたが、KPS 的に TensorFlow 使いこなせるようになったほ…

【DeepLearning特訓】CNN 実装のポイント

E資格向けの自習アウトプット 自分用メモCNN実装するには、Pythonでの計算する行列のカタチを意識してやるのが重要です その基本的なテクニックについて E資格的には numpy での実装方法が聞かれるのかな 画像の読み込みと確認方法 まずは基本中の基本で画像…

【DeepLearning特訓】CNN入門

E資格向けの自習アウトプット 自分用メモCNN(Convolutional Neural Network)は、畳み込みニューラルネットワークと呼ばれる、畳み込みという圧縮に似た(圧縮ではない)処理で入力次元を削減しつつ、特徴量をあぶり出していく手法です 主に画像のクラス分…

【DeepLearning特訓】MLPの基礎 バッチ正規化(Batch Normalization)

E資格向けの自習アウトプット 自分用メモBatch Normalization(Batch Norm)は、ミニバッチ単位で正規化を行いスケールを揃えること。重みの初期値が適切だと、各層のアクティベーション分布に適切な広がりをもち、学習がスムーズに行える Batch Norm は、各…

【DeepLearning特訓】MLPの基礎 学習のいろいろな工夫

E資格向けの自習アウトプット 自分用メモ学習の工夫して、汎化性能をあげつつ学習速度の向上、計算リソースの削減をしたり対策していく 取り組む問題によって、組み合わせてみたり パラメータ拘束とパラメータ共有 パラメータ拘束 パラメータの適切な値がわ…

【DeepLearning特訓】MLPの基礎 正則化

E資格向けの自習アウトプット 自分用メモ正則化は、過学習(学習データに特化しすぎる)を防ぎ、汎化性能と予測 精度の向上を両立させる処理 (正則化と正規化はこんがらがりがち) バイアスとバリアンス バイアスとバリアンスは推定量の誤差を生じる2つの…

【DeepLearning特訓】MLPの基礎 学習アルゴリズムの Python実装

E資格向けの自習アウトプット 自分用メモ学習アルゴリズムを、実装してみて実際の学習の推移を確認してみたいと思います 今回は Python のクラスをちゃんと用いて学習モデルを作っていきます 一気に本格的な感じにまず挑む問題ですが、過去にも Pytorch でも…

【DeepLearning特訓】MLPの基礎 学習アルゴリズム

E資格向けの自習アウトプット 自分用メモ学習アルゴリズムとして、確率的勾配降下法はよく利用される方法ですが、勾配を求めてパラメータを更新する方向は分かれど、どれくらい更新すればよいかが明確に示されるわけではないので、学習が遅くなる場合がある…

【DeepLearning特訓】MLPの基礎 確率的勾配降下法

E資格向けの自習アウトプット 自分用メモ確率的勾配降下法(SGD: Stochastic Gradient Descent)は、ミニバッチの単位で無作為に選んだデータで勾配降下法を使ってパラメータを更新していく方法 パラメータの更新方法は、誤差逆伝播で求めた勾配を使って各パ…

【DeepLearning特訓】MLPの基礎 誤差逆伝播までPython実装

E資格向けの自習アウトプット 自分用メモ誤差逆伝播までの流れを一旦 python実装 してみる 1.データ定義 2.順伝播(アフィン変換、ReLU) 3.コスト関数(誤差の計算) 4.誤差逆伝播とりあえず絵にしてみる 求めたいのはパラメータの勾配 入力データ…

【DeepLearning特訓】MLPの基礎 誤差逆伝播

E資格向けの自習アウトプット 自分用メモモデル(ニューラルネットワーク)の最適化は、コスト関数をより小さくなるようにパラメータ(重み:w、バイアス:b)を更新することが必要 パラメータに対するコスト関数の勾配(微分)が分かれば、パラメータをどの方…

【DeepLearning特訓】MLPの基礎 コスト関数

E資格向けの自習アウトプット 自分用メモコスト関数(誤差関数)は、予測した結果と正解との差を定量化した関数 関数が小さいほど、モデルの予測が訓練データに近いと言える 目的、対象に応じてコスト関数をそれぞれ定義する コスト関数は負の対数尤度関数で…

【DeepLearning特訓】MLPの基礎 出力ユニット

E資格向けの自習アウトプット 自分用メモ出力ユニット は出力層の直前で使う、目的(求めたい解・問題)で使うものが変わってくるガウス出力分布(回帰問題) ➔ 線形ユニット ベルヌーイ出力分布(2クラス) ➔ シグモイドユニット マルチヌーイ出力分布(多…

【DeepLearning特訓】MLPの基礎 活性化関数

E資格向けの自習アウトプット 自分用メモ活性化関数は原則パラメータを持たず学習には関与しない。アフィン変換後に活性化関数による非線形写像により表現力の高いニューラルネットワークを構成する。 代表的な活性化関数 ・ステップ関数:超シンプル出番ほ…

【DeepLearning特訓】MLPの基礎 順伝播

E資格向けの自習アウトプット 自分用メモニューラルネットワーク:脳を模倣して演算と学習 万能近似定理:どんな曲線もニューラルネットワークをベースとした関数で近似できる パーセプトロン:ニューラルネットワークの基本単位 順伝播:多層のパーセプトロ…

PyTorchを使った機械学習のお勉強 DatasetとDataLoaderについて

画像処理関連のディープラーニングぽいものの構築を通して、PyTorchの理解を深めてきましたが (決して学習自体はうまくいってませんがw)これからもディープラーニング自体は勉強を続けていくわけですが、PyTorch(に限らない?)でコーディングしていく上…

PyTorchを使ったDeep Learningのお勉強 画像処理編【ノイズ除去実験】

基本的な画像認識はなんとなくできたので、ここからは応用編です せっかく実装してみたCNNを応用して、オートエンコーダ(自己符号化器)にチャレンジしてみたいと思いますというわけで、今回はDAE(Denoising Autoencoder)とよばれる、画像からノイズ除去…

PyTorchを使ったDeep Learningのお勉強 画像認識編(CIFAR-10)

白黒画像(1チャネル)の数字判定までは実装できるようになったので次のステップですPyTorch お勉強シリーズ 第1回 PyTorchを使ってDeep Learningのお勉強 基礎編 第2回 PyTorchを使ったDeep Learningのお勉強 PyTorch Lightning編 第3回 PyTorchを使ったDee…

PyTorchを使ってDeep Learningのお勉強 画像認識編(MNIST)

今回からいよいよ画像認識編ですようやくこの辺りから、Xi IoTの実装に近づいてきそうです (カメラで撮った画像を解析する的な?)PyTorch お勉強シリーズ 第1回 PyTorchを使ってDeep Learningのお勉強 基礎編 第2回 PyTorchを使ったDeep Learningのお勉強 …

PyTorchを使ったDeep Learningのお勉強 TensorBoard編

※基本的に独学なのでちょいちょい間違っているかもしれません、怪しいところあればご指摘くださいましPyTorch / pytorch_lightning を使った学習はめっちゃシンプル化されます ただ前回までのそのまんまではあまりにシンプルであっという間に結果が出力され…