xi-iot cliがリリースされていました（ちょっと前） このCLIを使うと Xi IoTでいろいろできることが増えそうです早速 xi-iot cli を使って、Xi IoT上の Kafkaブローカーを外部の Elastic Stack に接続してみる実験をします （Kafka as a Service とでも？ ）…

ingestノードは、Elasticsearch にデータ格納する前処理してくれる便利なやつですこんなことをやらせようと思います （実際にはElasticsearch内の機能のような気もしますが）Logstash でも似たようなことができるようですが、誰か教えてください Xi IoT + El…

Filebeat を Xi IoT の Kubernetes Apps として、動かすことができたので Kafka 周りを調べつつ構成を想像してみます（Elastic だけじゃなくて Kafka もはじめて） Xi IoT + Elastic シリーズ ・Xi IoT に Elasticsearch と Kibana を導入してみる ・【Xi Io…

Beats は elasticさんの軽量データシッピング プラットフォームということで、いろんな種類のログなんかを収集・送信できるもようwww.elastic.co初めはXi IoT のデータパイプラインで処理したデータを elasticsearch へ地道にコマンドで投げていれていこうと…

Xi IoT のデータ可視化に nats -> sqlite3 -> Flaskで何か作ってみようと思ったのですが、nats の扱いが思った以上メンドウ（流行ってない）な上、社内のイケメンに Elasticserch + Kibana の方がモテるっすて言われたので、こっちチャレンジすることに決め…

Python で Webアプリケーション作成するにはFlask使うと良いって聞きました Flask よくわからないけど、いつもどおりとりあえず触りながら理解していってみたいと思います flask.palletsprojects.com anaconda 環境にFlask をインストール いつもの ANACONDA…

Xi IoT上では、IoTセンサーデバイスからデータ処理をする手段は2種類あります １）データパイプライン ２）Kubernetes Appsこのうちデータパイプラインは Function as a Serviceになり、標準で用意されたプログラミング言語環境でFunctionを作って組み合わせ…

Xi IoT でkubernetes Apps にチャレンジする前にもう少し Karbon で遊んでみます Xi IoT でもよく使う Node-Red をKarbon 上に実装し、Xi IoT と繋いでみる実験にチャレンジです。 Node-RedのPod/Serviceを作る いまだに Kubernetes のまにゅふぇすと（？）y…

Karbon による Kubernetesクラスタ環境の構築と接続までできたので、ひとつKarbon環境へアプリのデプロイにチャレンジです Grafanaよく知らないけど Kubernetes でよく使われているという時系列データ可視化ツールとのことです コンテナ形式でも提供されてい…

ここまでいろいろと PyTorch で画像処理などお勉強してきました これを Xi IoT にも生かしていきたのですが、なんらかのアプリを作るには Data Pipeline でコードを組み込むか、Kubernetes Apps で作るかになります （あんまりIoTぽいことはまだやっていない…

画像処理関連のディープラーニングぽいものの構築を通して、PyTorchの理解を深めてきましたが （決して学習自体はうまくいってませんがｗ）これからもディープラーニング自体は勉強を続けていくわけですが、PyTorch（に限らない？）でコーディングしていく上…

基本的な画像認識はなんとなくできたので、ここからは応用編です せっかく実装してみたCNNを応用して、オートエンコーダ（自己符号化器）にチャレンジしてみたいと思いますというわけで、今回はDAE（Denoising Autoencoder）とよばれる、画像からノイズ除去…

PyTorch LightningのTensorBoardログ出力にちょっとしたバグあったので、いっそのこと Pytorch もバージョンアップしよう思い立ちました ただちらっとググってみましたが、ちゃんと書いているのところがみつからなかったので、バージョンアップにチャレンジ…

白黒画像（1チャネル）の数字判定までは実装できるようになったので次のステップですPyTorch お勉強シリーズ 第1回 PyTorchを使ってDeep Learningのお勉強 基礎編 第2回 PyTorchを使ったDeep Learningのお勉強 PyTorch Lightning編 第3回 PyTorchを使ったDee…

今回からいよいよ画像認識編ですようやくこの辺りから、Xi IoTの実装に近づいてきそうです （カメラで撮った画像を解析する的な？）PyTorch お勉強シリーズ 第1回 PyTorchを使ってDeep Learningのお勉強 基礎編 第2回 PyTorchを使ったDeep Learningのお勉強 …

※基本的に独学なのでちょいちょい間違っているかもしれません、怪しいところあればご指摘くださいましPyTorch / pytorch_lightning を使った学習はめっちゃシンプル化されます ただ前回までのそのまんまではあまりにシンプルであっという間に結果が出力され…

PyTorchだけでも層のパラメータ定義など簡単なっていますが、コードを更にスッキリ（可読性を上げる）できるフレームワークなPyTorch Lightninggithub.comPyTorchシリーズ第2回目です PyTorch お勉強シリーズ PyTorchを使ってDeep Learningのお勉強 基礎編 …

ディープラーニング界隈では流行っていると噂のPyTorchを使ってディープラーニングの実装をやってみる Pythonの機械学習ライブラリになるわけですが、ようやくここまで追いついてきたって感じ それにしても、独学での道のりは長いな～～PyTorch お勉強シリー…

「G検定（ジェネラリスト検定）」を無事取得できてしまったので、本格的にE資格に向けてお勉強していかなければならぬ 本業とはほとんど関わらないけど、Xi IoTの合間に自分用メモ置き場 ※文章題にされる急に弱くなってしまうので、主に自分の理解がおっつい…

前回までに、Xi IoTの Data Pipeline を使って 簡易温度計表示： 【Xi IoT実装】温度計アプリを実装してみる - konchangakita Slackをへ送信 ： 【Xi IoT実装】温度計アプリを実装してみる Slack連携 その1 - konchangakita を行いましたSlackで通知する方法…

せっかくなので、前回のXi IoTで温度計を表示するだけじゃXi IoTである必要はまったく無いので、Slackへ通知をしてみたいと思いますSlackで通知する方法は2種類を検討 １．現時点の温度を送信 ←今回はここ ２．指定値を越えたら通知 を実装します！ 今回はま…

当ブログの目的は、Xi IoTをいかに楽しむか！ですそのために機械学習をお勉強して、いずれは応用してXi IoTへ適用したいのですが、まだ少しばかり道のりは長いので お手軽なラズパイとセンサーを使って、Xi IoT用の簡単なアプリを作ってみたいと思います ざ…

代表的な機械学習のPythonを実装を行ってみましたが、もうちょっと踏み込みます 機械学習モデルの実装自体は、Pythonでライブラリが用意されているの簡単できちゃいましたが、人間の手で設定する必要が項目があります データの前処理 ハイパーパラメータ Gri…

というわけで、前回の機械学習の分類モデルをPython実装にチャレンジです 分類するデータ データ内容はこんな感じ データの前処理 各分類モデルの Python実装 決定木 ランダムフォレスト ロジスティックス回帰 SVM（サポートベクターマシン） k近傍法 比較結…

何個か機械学習モデルを調べて（お勉強）してみましたら いろんな種類の機械学習に出会います それぞれのなんとなくまとめてみます Python実装編 【決定木】 【ランダムフォレスト】 【ロジスティックス回帰】 【SVM（サポートベクターマシン）】 【k近傍法…

前回、教師あり学習の回帰モデルを練習してみたので 次は教師なし学習の実装に挑戦 教師なし学習の大まかな種類 Pythonで実装 次元削減 クラスタリング 感想 教師なし学習の大まかな種類 ・可視化・次元削減：説明変数の数を減らす ・クラスタリング：分類わ…

機械学習のためのPythonのお勉強として、回帰モデルを作ってみます 基礎の基礎ですが理解したつもりでも、使わないと覚えてないですからね( ﾟДﾟ)pythonでの実装お勉強重視なので、細かいお作法の説明などは飛ばします ゴール 回帰モデルとは Pythonで回帰モ…