- 2021.05.20
主成分分析の原理【はじパタ9章前半の解説】
こんな人におすすめ：・主成分分析について感覚的に原理を理解したい・はじパタ9章がいまいち理解できなかった 主成分分析の感覚的な説明 主成分分析とは、簡単にいうと学習データの分散が最大になるように空間を回転させた時の”軸”について考察する分析手法です。 たとえば、下のような２次元のデータで考えてみましょう。 このデータは横軸にアヤメの花びらの長さ（petal lengh）を、縦軸に花びらの幅（pet […]
統計
1/2ページ
- 2021.05.13
最小二乗法をきちんと理解して回帰分析をしよう
この記事はこんな人におすすめ：・最小二乗法についてきちんと理解したい。・エクセルの近似曲線が引かれる仕組みをしりたい。 この記事はこんな人にはおすすめでない：・微分を理解していない データのあふれる現代社会。 データ分析のプロでなくとも、オフィスで働いていたら自然とデータを処理する機会に直面してしまうことでしょう。 たとえばエクセルでデータをプロットして、近似曲線をソフトにおまかせでシャッと引くな […]
- 2021.05.12
中心極限定理の証明をわかりやすく説明する
こんな人におすすめ：・中心極限定理をしっかり理解したい。・教科書の証明が簡略化され過ぎてわからないのでヒントが欲しい 中心極限定理といえば、統計学の最重要定理ですね。 統計を学んでいれば必ずこれに出くわすことになります。 しかし、いざ証明となると意外とネット上に情報が少ないように感じました。 一方、いくつかの教科書には証明が載っていますが、かなり証明が簡略化されていて理解するのが難しい場合がありま […]
- 2021.05.09
Pythonでロジスティック回帰を使う方法
こんな人におすすめ：・2値のクラス分け問題をモデル化したい・ロジスティック回帰とは何かを勉強したい 結論として、統計的な目的の場合「statsmodels」、機械学習的な目的の場合「scikit-learn」を使って実装するのが良いです。 では、順を追って解説していきましょう。 開発環境 Python 3.7.3StatsModels 0.12.2scikit-learn 0.24.2NumPy […]
- 2021.05.07
NumPyで使える統計関数の使い方まとめ
こんな人におすすめ：・NumPyに組み込まれている統計関数の使い方を知りたい。・NumPy_統計でググってここに辿り着いた。 NumPyといえば行列とかベクトルとかの処理に強い数値計算のライブラリですが、統計向けの関数が割と揃っています。 Pythonで統計処理をするなら、知っておいて損はありません。 一般的にPythonで統計処理をする場合、SciPyのstatsモジュールがメインになりますが、 […]
- 2021.05.03
正規分布を導出する方法
こんな人におすすめ：・正規分布の妥当性を数学的にしっかり理解したい・正規分布の導出が教科書に載ってないので教えて欲しい 統計をかじったことがある人ならわかってもらえると思いますが、正規分布の導出って意外と教科書に載ってないですよね。 でもどうやって正規分布が導かれたんだろう、天下り的で気持ちが悪い、と感じている人は少なくないはず。 ということでここでは正規分布の導出をしっかりと解説していきます。 […]
- 2021.04.18
統計検定2級の対策と受験記録【CBT方式】
こんなに人におすすめ：・統計検定2級を受験するので情報収集をしたい 需要があるか分かりませんが、備忘録的な記録として記事にまとめておこうと思います。 結論として、ある程度統計の素養がある人なら一週間くらい勉強すれば合格できると思います。 私の場合、勉強期間は５日でした。 筆者のバックグラウンド 私のバックグラウンドはこんな感じ。 地方国立大の理系大学院卒 仕事は化学メーカー技術職 学校で統計を学ん […]
- 2021.04.18
サイコロを１万回振って統計的に解析してみた【カイ二乗検定/Python】
こんな人におすすめ：・サイコロの精度に興味がある・カイ二乗検定のやり方を勉強したい 実は昔、ネタで「サイコロを1万回振ってみた」という企画をやった事があります。 その時の記事がこちら↓ 最近統計学を勉強しているのですが、 ふと、昔サイコロをいっぱい振ったデータがあったなと思い出しました。 この時は統計学の知識が無い状態だったので、せっかく苦労して取ったデータを有効に解析できていません。 これではせ […]
- 2020.05.02
仮説検定をデータ解析に使ってみよう！【ｔ分布の意味編】
こんにちは、えびかずきです。 仮説検定でよく使う手法としてｔ検定がありますが、 ｔ分布の意味をきちんと理解できていますか？ ｔ分布とは、下記ｔ値が示す確率分布のことで、 \(t \equiv \dfrac{\overline{X}-\mu}{\sqrt{\dfrac{s^2}{n}}}\) 要するに、 ・母平均\(μ\)と母分散\(σ^2\)は不明・標本平均\(\overline{X}\)と不偏標 […]
- 2020.04.24
仮説検定をデータ解析に使ってみよう！【基礎編】
こんにちは、えびかずきです。 突然ですが、問題です。 コインを20回投げて15回表が出た時、このコインはまともだと言えるか？ こんな問題に出会った時、みなさんはどうやって解決しますか？ ここで活躍するのが仮説検定です！ では具体的な方法について解説していきます。 仮説検定の例１ 細かい解説は後にまわすとして、まずは先ほどの問題を実際に解いてみましょう！ 問題：コインを20回投げて15回表が出た時、 […]