こんにちは、えびかずきです。
今回は2021年版のG検定チートシートを作成しました。
G検定2021#11の受験に向けて作成したチートシートを紹介します。
1.人工知能とは
・人工知能：
推論、認識、判断など、人間と同じ知的な処理能力を持つ機械（情報処理システム）。
しかしながら、そもそも「知性」や「知能」自体の定義がないので専門家にとってその具体的な解釈は分かれる。
AIという言葉はダートマス会議（アメリカ,1956年）でジョン・マッカーシー氏が初めて使った。
・ダートマス会議：
1956年7〜8月の1ヶ月間にわたってアメリカダートマス大学で開催された人工知能に関する会議。
ジョン・マッカーシーがマービン・ミンスキー、ネイサン・ロチェスター、クロード・シャノンらと共に構想し、
ブレインストーミングの場として議論が行われた。
・ジョン・マッカーシー：
マービンミンスキーと並ぶ初期の人工知能研者であり、LISPの開発者。
1927年生-2011年没、アメリカ。
・AI効果：
AIによって何か新しい事が実現されてその原理がわかってしまうと、
「それは単純な自動化であって知能とは関係がない」と結論づけたくなる人間の心理のこと。
・ENIAC（エニアック）：
1946年ペンシルバニア大で開発されて世界初のコンピュータ。
設計者はジョン・モークリーとジョン・プレスパー・エッカート
第二次世界大戦中に軍事目的で開発された。
1万本以上の真空管を使って構成されており巨大。
・ロジックセオリスト:
アレン・ニューウェル、ハーバート・サイモンらによって開発された、自動で数学の証明問題を解くAI。
IPLというプログラム言語を開発して設計された。
ダートマス会議で実演された。
・第一次AIブーム：
1956-1960年代あたり。
「推論」や「探索」の研究が進み冷戦中のアメリカで主に翻訳が注目された。
しかしトイプロブレムしか解けないという失望が徐々に拡大して冬の時代を迎える。
・第二次AIブーム：
1980年代あたり。
AIに大量の「知識」を与えることで専門知識を溜め込んだ実用的な「エキスパートシステム」が
たくさん作られた。日本でも「第五世代コンピュータ」と呼ばれるプロジェクトが推進されたが失敗に終わる。
大量のデータを蓄積・管理することの大変さが明らかとなり1995あたりから再び冬の時代へ。
・第三次AIブーム：
2010年あたりから現在。
ビッグデータを活用したパターン認識をベースとする機械学習が実用化される。
特徴量を自ら学習するディープラーニングが登場し、IRSVRC2012
2015年にAlphaGoが囲碁チャンピオンに勝利した事が象徴的な出来事。
2.人工知能の動向
探索木：
場合分けによる樹状の探索モデル。幅優先探索と深さ優先探索がある。
ハノイの塔：
探索木を使って解けるパズル。再帰的なプログラムによって実装できることで有名。
ロボットの行動計画：
「前提条件」「行動」「結果」の三つを記述することで目標とする状態へ至る行動計画を立てる。プランニングとも呼ばれSTRIPSが有名。
テリーウィノグラードによる「積み木の世界」SHRDLU(1968ごろ)がよく例として挙げられる。
テリーウィノグラード：
ラリーペイジの師匠。
Cycプロジェクト：
1984年~現在。一般常識をデータベース化することで推論システムを構築するプロジェクト。行動計画やオントロジーと関係。
AlphaGo：
DeepMind社の囲碁AI。2015年に初めて互先でプロ棋士に勝利し、翌2016年にイ・セドルに勝ち越した。
ディープラーニングを使っている。
Mini-Max法：
対戦型ゲームでの推論戦略。相手の番では自分のスコアが最低になる手、自分の番では自分のスコアが最高になる手を指すように戦略をたてる。
枝切り手法としてαカットとβカットがある。下現値としてのα値と上限値としてのβ値を使う。
モンテカルロ法：
ゲーム戦略において、ランダムに局面を進めてプレイアウトさせ最良手を決める手法。
難しいスコア設定をしなくて済む。
ELIZA：
1966ごろジョセフワイゼンバウムによって開発された会話AI。
イライザ効果。
MYCIN：
感染症の抗生物質処方に関するエキスパートシステム。
DENDRAL：
未知の有機化合物特定のエキスパートシステム。
オントロジー：
概念化の明示的な仕様。特に意味ネットワークの構築における前提の約束事として定義する。
Cycプロジェクトはヘビーウェイトオントロジーで構築される。
IRSVRC：
2010〜2017年。画像分類コンペ。2012年トロント大ジェフリーヒントンのAlexNet（CNN）の優勝が画期的であった。
3.人工知能分野の問題
トイ・プロブレム：
単純化した本質的でパズル的な問題。
フレーム問題：
問題解決において、AIがどこまで考慮するかを定めるのが困難であるという問題。
チューリングテスト：
アラン・チューリング（数学者/イギリス）によって考案された知能の有無を判定するテスト。1991年以降チューリングテスト合格を目指すローブナーコンテストが毎年開催されている。
シンボルグラウンディング問題：
身体性を持たないAIはを記号と対象物とが結びつかないという問題。シマウマの例がよく引き合いに出される。
知識獲得のボトルネック：
人間の一般常識を理解して知識を扱うことの難しさを表す表現。翻訳AIの例として出題される。
シンギュラリティ：
未来学者のレイカーツワイルによって提言された言葉。2029年にAIが人間を超え、2045年に技術進化の速度が無限大（シンギュラリティ）になると予想した。
4.機械学習の具体的手法
t-SNE
DBSCAN
5.ディープラーニングの概要
プルーニング：
Backpropergation Through Time：
RNNにおいて時間を遡って誤差逆伝播が行われる様子のこと
6.ディープラーニングの手法
画像分類
AlexNet
googLeNet:
同時に異なるフィルタを使うInceptionモジュールを使う。
VGG
ResNet:
Skip-connection
ResNetST:
ResNetの改良版
DenseNet:
Skip-connectionを工夫したモデル
SENet(2017):
アテンション機構の導入
MobileNet：
Depthwise Separable Convolution(depthwiseとpointwiseに分離)を使う
width multiplierとresolution multiplierというパラメータを導入してさらに軽量化する
NASNet：CNNセル（ブロック）の構造と組み合わせを最適化する。
MnasNet
EfficientNet
物体検出
R-CNN:
2段階の物体検出モデル、SVMが組み込まれている。
FPN:
R-CNNの後継
Fast R-CNN:
R-CNNの高速化版。画像を切り取らずに全体をCNNにかける。
Faster R-CNN:
処理が重くなるSelectiveSerchをRegionProposalNetworkというCNNに置き換えてさらに高速化。
Mask R-CNN:
Faster R-CNNによる物体検出に加え、同時にインスタンスセグメンテーションも実施するモデル
SSD
隠れた物体認識
（AI白書2020p41）
NOLS：隠れた物体からの反射光などを利用して認識する
GQN：二次元被写体から三次元の物体を生成する
顔認識
（AI白書2020p41）
DeepFace
Face++
MegaFace
FaceNet
セグメンテーション
FCN:
Fully Convolutional Network CNNを使ったセマンティックセグメンテーションネットワークのこと。以下モデル例
SegNet:
エンコーダーデコーダー機構を持つセマンティックセグメンテーションモデル
U-Net:
医療画像診断に使われる、ResNetのようにskip-connectionが使われる。
PSPNet:
エンコーダとデコーダの間に、Pyramid Pooling Moduleという複数の解像度で特徴を捉えるモジュールを組み込んだモデル
DeepLab:
Dilated Convolution(Atrous Convolution)を使ったセマンティックセグメンテーションモデル。高速化。
行動認識
(AI白書2020p39)
SpatioTemporal CNN
Two Stream CNN
I3D：
kineticsデータセットが使われている
生成モデル
VAE
GAN:
勾配消失やモード崩壊を防ぐ方法として、TTURやSpectral Normalization Hingelossの活用などがある
Pix2Pix：
GANを使った画像変換モデル。教師画像は形状やサイズがペアである必要がある。
CycleGAN：
GANを使った画像変換モデル。教師画像は形状やサイズがペアでなくとも良い。
言語処理
n-gram:
テキストを分割する手法。文字単位と形態素解析による単語単位とがある。
BoW:
単語の出現回数を示した文書ベクトルを作る手法
TF-IDF：
文書中の単語の重要度を評価する手法。TF(Term Freq)×IDF(Inv. Document Freq)
Word2Vec：
CBoWとskip-gramからなるOSSツールの名前。単語の分散表現を使う。2013/google
CBoW:
周辺語から中心語を推定する２層NNモデル
Skip-gram:
中心語から周辺語を推定する２層NNモデル
GloVe:
Word2Vecのように単語ベクトルを獲得する手法。共起ベクトルをつかう。2014
fastText:
Word2Vecの後継。subwordという概念を使っている2016/Facebook
テキスト分類に使われる
Doc2Vec:
文書ベクトルを獲得する手法。CBOW→PV-DM、Skip-gram→PV-DBOW 2014/google
SCDV:
文書ベクトルを獲得する手法。GMMを使うのが特徴。2016/Microsoft
seq2seq:
LSTMベースのEncoder-Decoderの翻訳モデル。2014/google
source terget attention(Encoder Decoder attention)を使う。
GNMT:
google翻訳の中身。seq2seqがベースらしいが今もそうかは不明。2016/goolge
Transformer：
RNNを使わずattentionのみで構成されたモデル。キーワードは位置エンコーディング・Attention・SelfAttention 2017/gooｇle
ELMo:
lefttolight,lighttoleftの単連結双方向LSTMモデル。文脈を考慮した単語ベクトルを獲得する。2018
GPT（Generative Pre-Training）:
単方向Transformer。ラベルなしデータによる学習モデルを転移学習させた 2018/OpenAI
BERT：
双方向Transformer 言語系の汎用モデル。事前学習でMLM(マスク化言語モデル),NSPを使う。2018/google
MT-DNN:
MaltiTask-DNNforNLUnderstanding。BERTを参考にした言語モデル 2019/Microsoft
GPT2:
GPTの後継。2019/OpenAI
ERNIE:
BERTの中国語版。2019/Baidu
XLNet:
BERTの上位互換。2019/goolge
RoBERTa:
BERTを参考にしたモデル。2019/Facebook
ALBERT:
BERTを軽量化したモデル。2019/google
T5:
Text-To-Text Transfer Transformer。2019/google
GPT3:
GPT2の後継。2020/OpenAI
音声認識
HMM：Hidden Markov Model
隠れマルコフモデル
GMM：Gaussian Mixture Model
ガウス混合モデル
メル周波数ケプストラム係数
メル尺度：人間の感覚に基づいた音の高低
フォルマント：言葉を発した時のピーク周波数
音韻論
音素
CTC(Connectionist Temporal Classification)
WaveNet：
音声合成モデル、 pixelCNN Dulated Causal convolutionが使われている。2016/Deepmind
強化学習
経験再生：
過去の経験を後からランダムに呼び出して学習させることで時間的な偏りを抑える手法
ターゲットネットワーク：
今のネットワークと過去のネットワークを両方使って学習を進めることで、価値推定を安定化させる。
DQN
ダブルDQN
優先度付き経験再生
デュエリングネットワーク
カテゴリカルDQN
ノイジーネットワーク
Multi-step learning
RainBow：
上の7つの手法を全て使ったモデル。
Agent57:
ゲーム攻略モデル、Atari2600で人間超え。2018/DeepMind
AlphaGo
AlphaGo Zero:
人間の棋譜を使わない。
policy network Rollout network Value network をまとめたので学習がむしろ速くなった。
Alpha Zero:
将棋やチェスもできるようになった。
OpenAI Five:
Dota2(多人数対戦型ゲーム)を攻略したモデル。2018/OpenAI
AlphaStar:
スタークラフト2を攻略したモデル 2019/Deepmind
ResNet、LSTM、Transformer、Pointer Networkなど色々使ってる。
Actor-Critic
SAC(Soft Actor-Critic)：
連続値制御の深層強化学習
DCGAN
A3C
Reinforce：方策勾配法
報酬成形(Reward Shaping)：
通常の報酬値に追加の値を加えることで、学習速度を向上させる
オフライン強化学習
Sim2Real
ドメインランダマイゼーション
モデルフリー強化学習：
Q学習
モデルベース強化学習：環境の学習も含む
AlphaGo,世界モデルなど
教師強制
7.ディープラーニングの社会実装に向けて
CRISP-DM:
CRos Industry Standard Process for Data Mining データ分析のプロセスモデル
MLOps:
Machine Learning Operations, AIを本番運用しながら開発するまでの概念。DevOpsからの派生。
BPR:
Business Process Re-engineering,AIを活用するために業務フローを再構築する事
PbD:
プライバシーを考慮した設計
SbD:
セキュリティを考慮した設計
Value sensitive disign:
価値全般を考慮した設計
フィルターバブル現象：
AIによるフィルター機能で欲しい情報だけ収集して、他の情報と分断される現象
XAI （説明可能なAI）:
（AI白書2020p139）
・Black Box Model Explanation(解釈可能なモデルの抽出)→Trepan,G-Rex
・Model Output Explanation(出力の説明を生成)→LIME,Grad-CAM,SHAP
・Model Inspection(ブラックボックスの中身を検査)→VEC,Prospector
・Transparent Box Design(透明性のある学習機の設計)→FRL
政策・法関連
著作権法第30条の4（2018改定）：
インターネット上のデータを著作者の許可を得なくてもデータ解析に使えるようになった。
個人情報保護法2条9項：
匿名加工情報とは個人情報に対して加工を施して復元できない状態になったものの事。k-匿名化、マスキングなどを使って復元できないようにする。
機微情報：
人種、犯罪歴、病歴などの個人情報。取扱が厳しい。
営業秘密：
NDAを結ぶもの。非公知性、有用性、秘密管理性が必要。
限定提供データ：
パスワード等で守られたデータ
EU一般データ保護規則（2018）：
EU向けのデータ保護規則。日本の企業でもEU向けにサービスを適用する場合は考慮が必要。
デジタル庁：2021/09~
人間中心のAI社会原則（2019）：
（DX白書2020p339）
理念 「人間の尊厳」「多様性・包摂性」「持続可能性」を尊重する
原則
①人間中心の原則
②教育・リテラシーの原則
③プライバシー確保の原則
④セキュリティ確保の原則
⑤公正競争確保の原則
⑥公平性・説明責任及び透明性の原則
⑦イノベーションの原則
ドローン規制：
「150ｍ以上の上空」「人・物件から30ｍ未満」の飛行は飛行ごとの許可申請が必要
法改正状況
2021/6月以降は規制対象が200g以上から100g以上に強化される見込み
AI戦略2019、AI戦略2021
デジタル社会の形成に関する重点計画
デジタル社会形成基本法2021.9
民官データ活用推進基本法
PartnerShip on AI（PAI）:
米IT企業が中心となって組織されたAI運用のための指針。2016
ライセンス
MIT
GPL
その他
データセット
ImageNet：画像のデータセット
PascalVOC：物体検出のデータセット
MS COCO：物体検出のデータセット
WordNet：英語の概念辞書データセット
SQuAD：Wikipediaを基にした対話セット
DBpedia：Wikipediaを基にした構造化データベース
LibriSpeech：オーディオブックを基にした音声認識データセット
kinetics：行動認識につかうデータセット
その他
DarkNet：フリーのニューラルネットフレームワーク。YOLOv1~4が使える。
ONNX（オニキス）：Open Neural Network Exchange format
フレームワーク間のモデル変換ツール /facebook
NNEF：
フレームワーク間のモデル変換ツール /Khronos Group
蒸留モデル：インプットに対するアウトプットの情報を使って学習して得られたモデル
QDL：Quantam Deep Learning
量子ディープラーニング ボルツマンマシンへの応用などがある。
AlphaFold：
タンパク質の構造予測に使うモデル。DeepMind/2018（AI白書2020p59）
AlphaFold2：
AlphaFoldの後継。Transformerが使われているらしい。DeepMind/2020
ランダムに初期化された密なニューラルネットの中には、たまたまうまく学習できるように初期化されたサブネットワークが存在して、その部分の学習が進むという仮説（AI白書2020p97）
メタ学習：
学習の仕方を学習させておくことで、少ないデータセットでうまく精度を出す手法。MAML（Model-Agnostic Meta-Learning,マムル）などの手法がある。
