【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議　東大・松尾豊氏「深い関数の方が重要」 : 雑談　暇つぶし　５ちゃんチャンネルブログ

1: しじみ ★ 2019/02/20(水) 21:44:16.33 ID:CAP_USER

「ディープラーニングは、原理的には単純な最小二乗法にすぎない」――2月18日付けで日本経済新聞電子版が公開した記事について、Twitterでは「ディープラーニング＝最小二乗法」という解釈は異なるのではという指摘が相次いだ。19日には「ディープラーニング」「最小二乗法」といったワードがTwitterでトレンド入りし、波紋が広がっていた。

　日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング（深層学習）は、原理的には単純な最小二乗法（誤差を最小にする近似計算の一手法）にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml_01.jpg

　最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差の2乗和を最小とするような係数を決定する方法。ディープラーニングに詳しい東京大学の松尾豊特任准教授は、2018年8月に登壇したイベントで、「ディープラーニングは最小二乗法のお化けのようなもの」「従来のマシンラーニングは（階層的に）『浅い』関数を使っていたが、ディープラーニングは『深い』関数を使っている」と説明していた。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml2.jpg

　松尾氏は2月20日、Twitterの公式アカウントで「小林慶一郎先生はよく議論させていただくので、少し責任を感じています」とツイート。ディープラーニングを簡潔に解説するため「深い関数を使った最小二乗法」という言葉を使ってきたが、「深い関数を使った」という説明がいつも抜け落ちてしまうと嘆く。

松尾豊
@ymatsuo
しかし、いつも「深い関数を使った」というところが抜け落ちてしまいます。ディープラーニングはその名の通り「深い」ことを強調した学術用語であり、そのくらい深いことが重要ですが伝わらない。深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきことです。
https://twitter.com/ymatsuo/status/1098116029987713024

松尾豊
@ymatsuo
「最小二乗法」は、損失関数を最小化することで、モデルのパラメータをデータから推定することを、一般の人がぎりぎり持っている（かもしれない）知識で言い換えたもので、大雑把ではありますが、それほど悪くない言い方だと思っています。深いことに比べるとそれほど重要ではありません。
https://twitter.com/ymatsuo/status/1098116143393386497

松尾豊
@ymatsuo
いずれにしても、経営者や政治家の方を含め、多くの人に正しく理解してもらうのは大変難しいです。「最小二乗法」がこれだけ話題になるというのは、逆に言うと、多くの人がぎりぎり理解できる地点がそこらへんまでなのだということを示してもいて、なかなか絶望的ではあります。まだまだ道は長いです。
https://twitter.com/ymatsuo/status/1098116255737737216

松尾豊
@ymatsuo
翻って、「深い関数」という意味や、それがもたらす可能性を、（専門家の人も含め）どれだけの人がちゃんと理解しているのかとは、常々疑問に思います。もちろん、AI全般、あるいは知能全般の議論と簡単に結びつけるのは良くないですが、非常に大きな広がりがある技術だと思っています。
https://twitter.com/ymatsuo/status/1098116360062722048

　続けて、「深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきこと」「『最小二乗法』は、損失関数を最小化することで、モデルのパラメータをデータから推定すること（略）深いことに比べるとそれほど重要ではありません」と投稿。経営者や政治家など、AIに詳しくない非エンジニアに正しく理解してもらうための解説は「大変難しい」と痛感しているようだ。Twitterでも同様に、AI技術について上司や同僚にどう解説すればいいかを嘆くエンジニアの声も見られた。

　松尾氏は「深い関数」の意味やそれがもたらす可能性について、今後も研究や啓もう活動を続けていくと発信した。

ITmedia NEWS
https://www.itmedia.co.jp/news/articles/1902/20/news141.html
https://twitter.com/5chan_nel (5ch newer account)

21: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:24:09.22 ID:gQyPAq3m

>>1
松尾先生Ｅテレ見てます

23: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:27:06.20 ID:AVTSQKDq

最小二乗法ってのは
それ自体には何の根拠もない近似法なんだよ。

何で使われてるかって、
二乗することマイナス符号が消えて、近似関数が決めやすいから。
ただそれだけ。だからその近似関数には何の意味もない。

別に最小4乗法でもかまわない。
あるいは、絶対値法（１乗法）でもかまわない。

どんなやり方をしても、まったく意味がない。
それは、いかなるやり方も勝手に想定した近似にすぎないから。

よって、>>1の者どもは
すべてアホだよ。
何も分かっていない。

46: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:58:13.67 ID:SkKNIFSr

>>23
それは評価関数の意味を考えないアホの思想

63: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 23:46:19.87 ID:F6EUyDQK

>>23
確かに二乗を使ったほうが最善という話はどこにものってないな。
計算がしやすいのは分かるが、
最初に思いつくのは絶対値を最小にすることだろう。
（ここでは１乗法と書いてある部分）

絶対値に比べて二乗だと、1より小さいと小さく評価され
逆だと大きく評価される。この評価が妥当かどうか。分からない。
(y=xとy=x^2のグラフを重ねてみれば分かる。言うまでもないが）

176: ニュースソース検討中＠自治議論スレ 2019/02/21(木) 14:39:40.35 ID:axT/rupB

>>63

いまのパソコン能力なら、絶対値を場合わけで外すアルゴリズムなんて簡単なのにな
二乗計算より、リソース少なくて済むわw

122: ニュースソース検討中＠自治議論スレ 2019/02/21(木) 10:21:18.75 ID:gQIXHfhZ

>>114
ガウスからのずれでも
ローレンツからのずれでも
よい気がするのだが

124: ニュースソース検討中＠自治議論スレ 2019/02/21(木) 10:25:17.45 ID:GFAg9YPM

>>1
慶應大学っていっても経済学部だろ？
AIの仕組みについて語るとか、同僚の教授にバカにされるだけだろ

242: ニュースソース検討中＠自治議論スレ 2019/02/24(日) 13:11:25.35 ID:gBHSee42

>>239
>あと、「新しいデータの重み付けを大きくする」って一言で言うけど、どうやるの？ｗ
一般化できたら、恐らく論文一つ書けるよ。

小学生かよ、書けるわけねーだろ…
仮に1日1個のデータで過去1年のデータを集めて>>1にあるように最小二乗法で近似曲線を求める評価系なら
過去1ヶ月のデータを意図的に1個重複
過去1週間のデータを意図的に2個重複
それで最小二乗法で近似曲線求めりゃいいだろ
これは一例に過ぎないが他にもいくらでもやりようはある
小学生には難しいけどな

245: ニュースソース検討中＠自治議論スレ 2019/02/24(日) 14:34:38.29 ID:gBHSee42

>>244
君の考える過学習の定義を聞きたいね
おそらく私の過学習の定義と異なるようだ

>>242を例にするなら
データサンプル期間中に過去1ヶ月の段階でパターンに変化があったとき
1年のデータでの予想より1ヶ月のデータの方がより正確になることが期待される
このとき１ヶ月以上前のデータの影響を過学習と呼ぶ

247: ニュースソース検討中＠自治議論スレ 2019/02/24(日) 15:51:46.90 ID:2RZbANTu

>>245
ほれ。この辺を参照しろ。

https://ja.wikipedia.org/wiki/%E9%8E%E5%B0%E9%A9%E5%88

248: ニュースソース検討中＠自治議論スレ 2019/02/24(日) 16:02:11.38 ID:gBHSee42

>>247
意味不明だね
やはり>>245は過学習じゃないと言わざるを得ないんだが？

251: ニュースソース検討中＠自治議論スレ 2019/02/24(日) 16:06:07.80 ID:2RZbANTu

>>245
＞1年のデータでの予想より1ヶ月のデータの方がより正確になることが期待される

直近のデータの方が正確になる特殊な事例の時にしか通用しないという前提を
書いているのかな？

＞このとき１ヶ月以上前のデータの影響を過学習と呼ぶ

これは完全に間違い。

252: ニュースソース検討中＠自治議論スレ 2019/02/24(日) 16:18:14.98 ID:gBHSee42

>>251
じゃ、それでいいや

ところで>>242は過学習ではないってことでいいかな

4: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 21:47:56.75 ID:1jDERRQL

経営者や政治家は
それがどういう方面に応用できるか
だけでいいんだよ。

原理なんてわかったって連中には意味がない。

7: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 21:57:54.35 ID:rvsFOVmD

知らない人に対してなら、「ディープラーニングは最小二乗法のお化けのようなもの」ってのが妥当な説明のような気はする
>>4
政治家はともかく経営者は、担当者がそれを適切に説明できる程度に理解してるのかどうかを見極めなきゃダメじゃね?

16: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:12:19.79 ID:otkO92OI

>>4
数学的理解がないからこそ
マトリックスなどの反乱といった頓珍漢な妄想を抱くことになるのだが

5: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 21:49:49.89 ID:FrBu1W4B

結局ブラックボックスで再現も不可能だからね

6: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 21:52:39.18 ID:oCTcyJi9

ＡＩって実は大したことないんじゃねーの？

13: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:07:46.85 ID:xsm2zZBd

>>6
本来的な人工知能ではないな

45: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:57:52.34 ID:E35cqk7J

>>13
まあ本来は、変換辞書の学習アルゴリズムみたいなもんだからや

30: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:31:18.41 ID:E+723uqx

>>6
SF的な意味でのAIの事なら、今現代で言われているAIとは全くの別物と言って差し支えないよ
ただAIって言葉を使いたいがために定義がどんどん変わっていってるのが現状

112: ニュースソース検討中＠自治議論スレ 2019/02/21(木) 07:35:45.71 ID:qAg+508V

>>6
それでもAI信者は爆発的に増えるよ
PC信者とかDNA信者とか犠牲者出ても減らないもんな

8: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 21:58:26.70 ID:2NIxN/Wj

自我を持ってないんだから、AI風味って言うべきｗ

11: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:05:44.26 ID:9qEsswgn

単純なことを桁違いにやると常識外れのものが得られるってだけのことじゃん
型をずっとやってたら最後には祈るようになったようなもんでしょ

12: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:07:04.28 ID:rAjDGo/g

ディープラーニング、AIに欠かせない発想源なのか

14: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:08:29.80 ID:6s8NYAOu

円心分離機と超円心分離機の違いを思い出した

17: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:16:03.58 ID:fi8fo8lh

厳密な事実としては間違ってるんだろうけど
ニュアンスとしては間違ってなさそう

ある種の統計処理みたいなものであって
まだまだ高度な知能とはいえない
高度な知能ではないけど囲碁とかボードゲームなら有効に機能する

28: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:30:32.60 ID:wXd5Kr8j

>>17
人間の脳みそも、単純なニューロンの深い深い組み合わせなわけで。
（神経伝達物質が環境変数みたいに機能しているようだけど）

ニューロンの学習も、教師（経験）に対する誤差の最小化と考えたら、
最小二乗法と、やろうとしている事レベルでは大差ないんではないかと。
違うのは方法論だけという。

19: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:19:13.27 ID:hBs7s2wK

深い関数ってどういう意味なの？

32: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:33:23.36 ID:9qEsswgn

>>19
気温とか湿度とかそんなやつじゃね

33: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:33:37.32 ID:wXd5Kr8j

>>19
階層が一つで、活性化関数が無いケースは、まさに線形計画法そのもの。

活性化関数をつけて非線形にしたうえで、その階層を何層も重ねると、
あらびっくり。階層の深さに応じて、万能近似装置になっちゃった。

という仕組み。

ちなみに、活性化関数を入れずに、線形なまま階層を重ねても、展開すると
１層と同じものになってしまう。

20: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:19:20.96 ID:LZeirVCF

統計屋だがDeep Learningわからん
応用する機会もないから、勉強するきっかけがない

22: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:24:13.57 ID:JtHvJhtI

AI詐欺にかかってる経営者連中はﾎﾟｶｰﾝだろうな

24: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:28:01.11 ID:RPO5efeC

コイツ無知だな
ディープラーニングは、複数のニューロン群から構成される多重写像だから
単一ニューロンの単純な関数の最小二乗近似とは違うよ

26: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:28:46.10 ID:kIoGnurH

>>24
ニューロンとか古い発想はもう使われてません
今は主にパターン認識と選別です

52: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 23:05:08.50 ID:JUqwEuHB

>>26
うん、お前みたいなクソバカはromってろ

ヒューリスティックな回答をするという意味では
最小二乗〜ってのもあながち間違いじゃないけど
言葉だけ独り歩きしちゃうからな…

58: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 23:13:57.53 ID:+/5tjap3

>>26
お前は実は何もわかってないだろ？
若しくはわかった気になっているパターン

25: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:28:08.32 ID:kIoGnurH

逆に人の意図の介在を許さないほどの単純な数式だからこそ
より信頼できるというものですよ

29: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:30:52.70 ID:QKwVdlOf

AIには何も革新的なことがないのは事実

単にコンピューターの性能が向上して、昔ならコストがかかったことが気軽に出来るようになっただけ

34: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:34:47.78 ID:XUYq2lOA

なんで経済学部のおっさんが解説しちゃおうと思うんだろw

85: ニュースソース検討中＠自治議論スレ 2019/02/21(木) 01:56:26.10 ID:QM6O+dC4

>>34
この小林慶一郎氏は東大計数工学科の出身らしいから、当時はニューラルネットワークの権威の甘利俊一先生がいたところだから、
日本で一番ニューラルネットワークについて研究できるところでもあり、つい何か言いたくなっちゃうんだろうね

>>48
ディープラーニングは部分的に数学を使うとはいえ、多数の評価が組み合わさってどうなるかの話だから、数学者に聞いても何か分かるとは限らないぞ
実は数学的な何かの性質が本質的な働きをしているということがもしあれば、それは数学者の方が見抜ける可能性はあるのかもしれないが

35: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:36:54.30 ID:fi8fo8lh

自動運転自動車もようやくレベルを区別するようになったけど
ＡＩも区別して報道しろ
人間のようにどんな知識でも学習できるものなのか
その上で人間より高度の思考力をもつものなのか
あるいは、特定の分野向けにつくられた用途限定されたものなのか
あるいは、もっと原始的な思考システムなのか

37: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 22:45:22.96 ID:AVTSQKDq

>>35
AIなんて
すべて単なるプログラムにすぎんよ。

アルゴリズムがコピーできるものは
すべて単なるプログラム。

動物の脳のアルゴリズムはコピー不可だから
プログラムではないんだなこれが。

動物の脳には自我が有り、コピー化なら
AとBのどちらが「自分」だと意識するのか論理的に解無しだから
コピー不可なんだよね。

だから、AIは脳を超えるどころか
近似さえ無理。

AIはコピー化。
脳は自我が有るから不可。

この基本が分からずに研究してるバカばっか。
不可能を追及してるわけ。

55: ニュースソース検討中＠自治議論スレ 2019/02/20(水) 23:08:57.48 ID:4vuUgfeH

>>37
自我ってのは脳細胞、脳全体によって生み出される機能(？)だろ。
なら、それを機械的に再現することは不可能ではないわな。