AIの基礎と歴史
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)
ニューラルネットワークは脳の神経細胞のつながりにおおまかに着想を得た仕組みで(脳の正確な模型ではない)、入力層・隠れ層・出力層からなり、層を深く重ねたものがディープラーニング(特徴量を自ら学ぶ)です。学習では、予測と正解のずれを表す損失関数が小さくなるよう、誤差逆伝播法で求めた勾配を使い、勾配降下法で重みを少しずつ調整することを押さえると解けます。
要点 8件・基本問題 8問読む → 覚える → 解くまでこのページで完結

ニューラルネットワークは脳の神経細胞のつながりにおおまかに着想を得た仕組みで(脳の正確な模型ではない)、入力層・隠れ層・出力層からなり、層を深く重ねたものがディープラーニング(特徴量を自ら学ぶ)です。学習では、予測と正解のずれを表す損失関数が小さくなるよう、誤差逆伝播法で求めた勾配を使い、勾配降下法で重みを少しずつ調整することを押さえると解けます。
このサイトでの学習
学習優先度 A対応する一問一答 14問
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|脳から着想
ニューラルネットワークは、多くの計算の単位が互いにつながって働くという、脳の仕組みにおおまかに着想を得ている。ただし一般に、脳の働きの忠実な模型として設計されてはいない。
この論点の用語
用語集をすべて見る →01ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)の重要暗記項目
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|脳から着想
ニューラルネットワークは、多くの計算の単位が互いにつながって働くという、脳の仕組みにおおまかに着想を得ている。ただし一般に、脳の働きの忠実な模型として設計されてはいない。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|脳の正確な模型ではない
ニューラルネットワークは生物の脳に着想を得て作られたシステムだが、一般に、生物の働きを忠実に再現する模型として設計されてはいない。
ひっかけ注意「機械学習に使うニューラルネットワークは、人間の脳の神経細胞の働きを忠実に再現するよう設計された、脳の正確な模型である」は誤り。 「脳を忠実に再現した正確な模型」の部分が違う。『Deep Learning』は、ニューラルネットワークは脳に着想を得てはいるが、一般に生物の働きを現実どおりに再現する模型として設計されてはいないとしている。飛行機が鳥にヒントを得ても羽ばたいて飛ぶわけではないのと同じで、ヒントにしただけで脳のコピーではない。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|入力層・隠れ層・出力層
ニューラルネットワークは、入力を受け取る入力層、途中の計算をする隠れ層、最後に結果を出す出力層からなる。正解付きの学習データで学ばせる場合、学習データは出力層が出すべき値は示すが、途中の層それぞれの望ましい出力は示さないため、途中の層を隠れ層という。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|隠れ層の値は示されない
正解付きの学習データで学ばせる場合、ニューラルネットワークの学習データが直接示すのは、出力層が出すべき値だけで、隠れ層の出すべき値は示さない。
ひっかけ注意「正解付きのデータでニューラルネットワークを学ばせる場合、学習データは、出力層の出すべき値に加えて、隠れ層それぞれが出すべき値も直接示している」は誤り。 「隠れ層それぞれが出すべき値も直接示している」の部分が違う。『Deep Learning』は、正解付きのデータで学ばせる場合でも、学習データが示すのは出力層の出すべき値だけで、途中の層の働き方は学習の中で決まっていくとしている。テストで答えだけが採点され、途中の計算のしかたは本人に任されるのと同じで、だから途中の層は「隠れ層」と呼ばれる。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|ディープの意味
ニューラルネットワークの層のつながりの全体の長さをモデルの深さといい、「ディープラーニング」という名前はこの言い方から生まれた。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|単純な概念から複雑な概念
ディープラーニングは、より単純な表現を組み合わせて複雑な概念を作ることができる。たとえば、画像の縁から角や輪郭を、さらに人の像を表す。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|特徴量を自ら学ぶ
ディープラーニング以前は、対象を認識するときに注目すべき特徴(特徴量)を人の手で設計していたが、ディープラーニングではコンピューターが自ら特徴量を作り出せるようになった。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|特徴量は人が設計しない
ディープラーニングでは、注目すべき特徴量をコンピューターが自ら作り出す。特徴量を人の手で設計していたのはディープラーニング以前である。
ひっかけ注意「ディープラーニングでは、画像のどこに注目すべきかを表す特徴量を、学習の前に人が設計して与える必要がある」は誤り。 「人が設計して与える必要がある」の部分が違う。平成28年版情報通信白書は、特徴量(見分けるときの目の付け所)を人が設計していたのはディープラーニング以前で、ディープラーニングではコンピューターが自ら作り出せるようになったとしている。ベテランが「ここを見ろ」と教えなくても、大量の実例から新人が自分で着眼点をつかむようになった、という違いである。
覚える数字と、狙われる引っかけ
- ひっかけ「機械学習に使うニューラルネットワークは、人間の脳の神経細胞の働きを忠実に再現するよう設計された、脳の正確な模型である」は誤り。「脳を忠実に再現した正確な模型」の部分が違う。『Deep Learning』は、ニューラルネットワークは脳に着想を得てはいるが、一般に生物の働きを現実どおりに再現する模型として設計されてはいないとしている。飛行機が鳥にヒントを得ても羽ばたいて飛ぶわけではないのと同じで、ヒントにしただけで脳のコピーではない。
- ひっかけ「正解付きのデータでニューラルネットワークを学ばせる場合、学習データは、出力層の出すべき値に加えて、隠れ層それぞれが出すべき値も直接示している」は誤り。「隠れ層それぞれが出すべき値も直接示している」の部分が違う。『Deep Learning』は、正解付きのデータで学ばせる場合でも、学習データが示すのは出力層の出すべき値だけで、途中の層の働き方は学習の中で決まっていくとしている。テストで答えだけが採点され、途中の計算のしかたは本人に任されるのと同じで、だから途中の層は「隠れ層」と呼ばれる。
- ひっかけ「ディープラーニングでは、画像のどこに注目すべきかを表す特徴量を、学習の前に人が設計して与える必要がある」は誤り。「人が設計して与える必要がある」の部分が違う。平成28年版情報通信白書は、特徴量(見分けるときの目の付け所)を人が設計していたのはディープラーニング以前で、ディープラーニングではコンピューターが自ら作り出せるようになったとしている。ベテランが「ここを見ろ」と教えなくても、大量の実例から新人が自分で着眼点をつかむようになった、という違いである。
- ひっかけ「勾配降下法は、損失関数の値が大きくなる向きへ重みを少しずつ動かして、最適な重みを探す方法である」は誤り。「値が大きくなる向き」の部分が違う。勾配降下法は、勾配(傾き)と逆の向き、つまり損失が小さくなる向きへ重みを少しずつ動かす方法である(『Deep Learning』)。損失は予測の外れ具合なので、大きくする向きに動かせば予測はかえって悪くなる。山を下りたいのに、登る方向へ歩くようなものである。
- ひっかけ「誤差逆伝播法とは、入力をネットワークの入力側から出力側へ順に計算して予測を出す処理のことである」は誤り。説明しているのは誤差逆伝播法ではなく順伝播である。入力を入力層から出力へ順に流して予測を出すのが順伝播で、誤差逆伝播法は、損失の情報を出力側から逆向きに流して勾配を計算する方法である(『Deep Learning』)。工場でいえば、製品を作って出荷するのが順伝播、不良の原因を出荷側からさかのぼって調べるのが誤差逆伝播法である。
02試験で正誤を分けるチェック順
- 1ニューラルネットワークは、多くの計算の単位が互いにつながって働くという、脳の仕組みにおおまかに着想を得ている。ただし一般に、脳の働きの忠実な模型として設計されてはいない。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 2ニューラルネットワークは生物の脳に着想を得て作られたシステムだが、一般に、生物の働きを忠実に再現する模型として設計されてはいない。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 3ニューラルネットワークは、入力を受け取る入力層、途中の計算をする隠れ層、最後に結果を出す出力層からなる。正解付きの学習データで学ばせる場合、学習データは出力層が出すべき値は示すが、途中の層それぞれの望ましい出力は示さないため、途中の層を隠れ層という。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 4正解付きの学習データで学ばせる場合、ニューラルネットワークの学習データが直接示すのは、出力層が出すべき値だけで、隠れ層の出すべき値は示さない。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 5ニューラルネットワークの層のつながりの全体の長さをモデルの深さといい、「ディープラーニング」という名前はこの言い方から生まれた。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 6ディープラーニングは、より単純な表現を組み合わせて複雑な概念を作ることができる。たとえば、画像の縁から角や輪郭を、さらに人の像を表す。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 7ディープラーニング以前は、対象を認識するときに注目すべき特徴(特徴量)を人の手で設計していたが、ディープラーニングではコンピューターが自ら特徴量を作り出せるようになった。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 8ディープラーニングでは、注目すべき特徴量をコンピューターが自ら作り出す。特徴量を人の手で設計していたのはディープラーニング以前である。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 9多くのニューラルネットワークの隠れ層では、入力に学習で決める重みを掛けて足し合わせ、活性化関数と呼ばれる決まった非線形の関数を通して次の層へ渡す。学習で調整するのはこの重みなどのパラメータである。出力層には、非線形の関数を通さない線形のユニットも使われる。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 10損失関数(コスト関数・誤差関数)は、学習で小さくしたい関数で、予測と正解のずれを表す。学習では、損失関数の値が小さくなるように重みを調整する。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 11勾配降下法は、関数の微分(勾配)の符号と逆の向きにパラメータを少しずつ動かして、関数の値を小さくしていく方法である。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 12勾配降下法は、勾配の符号と逆の向き、つまり関数の値が小さくなる向きへパラメータを少しずつ動かす。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 13誤差逆伝播法(バックプロパゲーション)は、損失(コスト)の情報をネットワークの出力側から入力側へ逆向きに流して、勾配を効率よく計算する方法である。求めた勾配で重みを更新するのは、勾配降下法などの別の方法である。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
- 14入力を入力層から隠れ層を経て出力へ順に流して予測を出す処理は順伝播で、誤差逆伝播法は損失の情報を逆向きに流して勾配を計算する方法である。
問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。
03この論点の根拠
- 内容の基準日
- 2026-11-20
- 復習方法
- 要点を確認した後、○×一問一答で条件の違いを見分ける
法改正により扱いが変わる場合があります。試験日程や申込みに関する情報は、 必ず公式案内も確認してください。
問題演習
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)の○×一問一答
1/8問解答 0・正解 0
AIの基礎と歴史
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|脳から着想
ニューラルネットワークは、多くの単位が互いにつながり合って働くという、脳の神経細胞の仕組みにおおまかに着想を得ている。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)の○×一問一答14問|問題と解説
この論点で収録している14問を、正誤と解説つきで通して読めます。 上の演習で迷った問題を見直すときに使ってください。
問1
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|脳から着想ニューラルネットワークは、多くの単位が互いにつながり合って働くという、脳の神経細胞の仕組みにおおまかに着想を得ている。
答え:○(正しい)
解説
正しい。『Deep Learning』は、ニューラルネットワークは神経科学におおまかに着想を得ており、たくさんの計算の単位がつながり合うことで知的になるという考えは脳から来ているとしている。一人ひとりは単純な仕事しかしなくても、大勢が連携すると複雑な仕事をこなせる職場のように、小さな計算をつないで答えを出す仕組みである。 要点:ニューラルネットワークは、多くの計算の単位が互いにつながって働くという、脳の仕組みにおおまかに着想を得ている。ただし一般に、脳の働きの忠実な模型として設計されてはいない。
問2
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|脳の正確な模型ではない機械学習に使うニューラルネットワークは、人間の脳の神経細胞の働きを忠実に再現するよう設計された、脳の正確な模型である。
答え:×(誤り)
解説
誤り。誤りは「脳を忠実に再現した正確な模型」の部分。『Deep Learning』は、ニューラルネットワークは脳に着想を得てはいるが、一般に生物の働きを現実どおりに再現する模型として設計されてはいないとしている。飛行機が鳥にヒントを得ても羽ばたいて飛ぶわけではないのと同じで、ヒントにしただけで脳のコピーではない。 要点:ニューラルネットワークは生物の脳に着想を得て作られたシステムだが、一般に、生物の働きを忠実に再現する模型として設計されてはいない。
問3
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|入力層・隠れ層・出力層ニューラルネットワークの途中の層が隠れ層と呼ばれるのは、学習データが、その層それぞれの出すべき値を示していないためである。
答え:○(正しい)
解説
正しい。『Deep Learning』は、正解(ラベル)付きのデータで学ばせる場合、学習データが直接示すのは最後の出力層が出すべき値だけで、途中の層の望ましい値は示さないので、途中の層を隠れ層と呼ぶとしている。入力層が情報を受け取り、隠れ層で計算し、出力層が答えを出す。受付が書類を受け取り、奥の部署が処理し、窓口が結果を返すが、奥の作業は客から見えない、という形にたとえられる。 要点:ニューラルネットワークは、入力を受け取る入力層、途中の計算をする隠れ層、最後に結果を出す出力層からなる。正解付きの学習データで学ばせる場合、学習データは出力層が出すべき値は示すが、途中の層それぞれの望ましい出力は示さないため、途中の層を隠れ層という。
問4
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|隠れ層の値は示されない正解付きのデータでニューラルネットワークを学ばせる場合、学習データは、出力層の出すべき値に加えて、隠れ層それぞれが出すべき値も直接示している。
答え:×(誤り)
解説
誤り。誤りは「隠れ層それぞれが出すべき値も直接示している」の部分。『Deep Learning』は、正解付きのデータで学ばせる場合でも、学習データが示すのは出力層の出すべき値だけで、途中の層の働き方は学習の中で決まっていくとしている。テストで答えだけが採点され、途中の計算のしかたは本人に任されるのと同じで、だから途中の層は「隠れ層」と呼ばれる。 要点:正解付きの学習データで学ばせる場合、ニューラルネットワークの学習データが直接示すのは、出力層が出すべき値だけで、隠れ層の出すべき値は示さない。
問5
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|ディープの意味ディープラーニングの「ディープ」は、ニューラルネットワークの層を何段も重ねて深くしていることを表している。
答え:○(正しい)
解説
正しい。『Deep Learning』は、層をつなげた全体の長さをモデルの深さといい、ディープラーニングという名前はここから来たとしている。ディープラーニング(深層学習)は、層を何段も重ねたニューラルネットワークで学ぶ方法である。計算の段が多いことを「深い」と言っており、書類が何段もの部署を順に経て仕上がるようなものである。 要点:ニューラルネットワークの層のつながりの全体の長さをモデルの深さといい、「ディープラーニング」という名前はこの言い方から生まれた。
問6
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|単純な概念から複雑な概念ディープラーニングは、画像の縁から角や輪郭を、さらにそれらから人の姿を表すように、単純な概念を組み合わせて複雑な概念を表せる。
答え:○(正しい)
解説
正しい。『Deep Learning』は、ディープラーニングは単純な概念を組み合わせて複雑な概念を作れるとし、画像の縁から角や輪郭、さらに人の姿を表す例を示している。手前の層は線や縁のような単純な部品をとらえ、奥の層ほどそれらを組み合わせた大きな形をとらえる。漢字を、線から部首、部首から字へと組み立てて覚えるのに似ている。 要点:ディープラーニングは、より単純な表現を組み合わせて複雑な概念を作ることができる。たとえば、画像の縁から角や輪郭を、さらに人の像を表す。
問7
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|特徴量を自ら学ぶディープラーニングによって、画像認識や音声認識で注目すべき特徴量を、コンピューターが自ら作り出せるようになった。
答え:○(正しい)
解説
正しい。平成28年版情報通信白書の説明どおり。特徴量とは、対象を見分けるときに注目すべき点を数値で表したものである。ディープラーニング以前は人がこれを設計していたが、ディープラーニングではコンピューターが自ら作れるようになった。たとえば猫の写真なら、耳の形やひげのような目の付け所を、人が教えなくてもAIが自分で見つけ出す。 要点:ディープラーニング以前は、対象を認識するときに注目すべき特徴(特徴量)を人の手で設計していたが、ディープラーニングではコンピューターが自ら特徴量を作り出せるようになった。
問8
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|特徴量は人が設計しないディープラーニングでは、画像のどこに注目すべきかを表す特徴量を、学習の前に人が設計して与える必要がある。
答え:×(誤り)
解説
誤り。誤りは「人が設計して与える必要がある」の部分。平成28年版情報通信白書は、特徴量(見分けるときの目の付け所)を人が設計していたのはディープラーニング以前で、ディープラーニングではコンピューターが自ら作り出せるようになったとしている。ベテランが「ここを見ろ」と教えなくても、大量の実例から新人が自分で着眼点をつかむようになった、という違いである。 要点:ディープラーニングでは、注目すべき特徴量をコンピューターが自ら作り出す。特徴量を人の手で設計していたのはディープラーニング以前である。
問9
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|重みと活性化関数多くのニューラルネットワークの隠れ層では、入力に重みを掛けて足し合わせた値を、活性化関数と呼ばれる非線形の関数に通してから次の層へ渡す。
答え:○(正しい)
解説
正しい。『Deep Learning』は、多くのニューラルネットワークでは、隠れ層で重み(入力ごとの重要度を表す数値)を使った計算をしたあと、活性化関数と呼ばれる非線形の関数を通すとしている(出力層には非線形の関数を通さない線形のユニットもある)。活性化関数は、合計した値を次の層へどう伝えるかを決める関数である。いくつかの評価項目に重みを付けて合計点を出し、その点数に応じて次の担当へ伝える強さを変える、という流れに近い。 要点:多くのニューラルネットワークの隠れ層では、入力に学習で決める重みを掛けて足し合わせ、活性化関数と呼ばれる決まった非線形の関数を通して次の層へ渡す。学習で調整するのはこの重みなどのパラメータである。出力層には、非線形の関数を通さない線形のユニットも使われる。
問10
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|損失関数学習では、モデルの予測と正解のずれを表す損失関数の値が小さくなるように、重みを調整する。
答え:○(正しい)
解説
正しい。『Deep Learning』は、小さくしたい関数をコスト関数・損失関数・誤差関数と呼ぶとしている。損失関数は予測と正解のずれの大きさを測る物差しで、たとえば平均二乗誤差は予測と正解の差の2乗の平均である。売上予測なら、予測と実績の外れ具合を点数にし、その点数が小さくなるように重みを直していくのが学習である。 要点:損失関数(コスト関数・誤差関数)は、学習で小さくしたい関数で、予測と正解のずれを表す。学習では、損失関数の値が小さくなるように重みを調整する。
問11
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|勾配降下法勾配降下法は、損失関数の勾配を手がかりに、損失が小さくなる向きへ重みを少しずつ動かしていく方法である。
答え:○(正しい)
解説
正しい。『Deep Learning』は、微分(傾き)の符号と逆の向きに少しずつ動かして関数の値を小さくする方法を勾配降下法と呼んでいる。勾配とは、重みを少し動かしたときに損失がどちらへどれだけ変わるかを示す傾きである。霧の中で山を下りるとき、足元の傾きを確かめて低いほうへ一歩ずつ進むのに似ている。 要点:勾配降下法は、関数の微分(勾配)の符号と逆の向きにパラメータを少しずつ動かして、関数の値を小さくしていく方法である。
問12
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|勾配降下法の向き勾配降下法は、損失関数の値が大きくなる向きへ重みを少しずつ動かして、最適な重みを探す方法である。
答え:×(誤り)
解説
誤り。誤りは「値が大きくなる向き」の部分。勾配降下法は、勾配(傾き)と逆の向き、つまり損失が小さくなる向きへ重みを少しずつ動かす方法である(『Deep Learning』)。損失は予測の外れ具合なので、大きくする向きに動かせば予測はかえって悪くなる。山を下りたいのに、登る方向へ歩くようなものである。 要点:勾配降下法は、勾配の符号と逆の向き、つまり関数の値が小さくなる向きへパラメータを少しずつ動かす。
問13
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|誤差逆伝播法誤差逆伝播法は、損失の情報をネットワークの出力側から入力側へ逆向きに伝えて、各重みについての勾配を計算する方法である。
答え:○(正しい)
解説
正しい。『Deep Learning』は、誤差逆伝播法(バックプロパゲーション)を、損失の情報をネットワークの中を逆向きに流して勾配を計算する方法とし、求めた勾配で重みを直すのは勾配降下法などの別の方法だとしている。製品の不良が見つかったとき、出荷側から工程をさかのぼり、各工程がどれだけ影響したかを調べるのに似ている。 要点:誤差逆伝播法(バックプロパゲーション)は、損失(コスト)の情報をネットワークの出力側から入力側へ逆向きに流して、勾配を効率よく計算する方法である。求めた勾配で重みを更新するのは、勾配降下法などの別の方法である。
問14
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)|順伝播との取り違え誤差逆伝播法とは、入力をネットワークの入力側から出力側へ順に計算して予測を出す処理のことである。
答え:×(誤り)
解説
誤り。説明しているのは誤差逆伝播法ではなく順伝播である。入力を入力層から出力へ順に流して予測を出すのが順伝播で、誤差逆伝播法は、損失の情報を出力側から逆向きに流して勾配を計算する方法である(『Deep Learning』)。工場でいえば、製品を作って出荷するのが順伝播、不良の原因を出荷側からさかのぼって調べるのが誤差逆伝播法である。 要点:入力を入力層から隠れ層を経て出力へ順に流して予測を出す処理は順伝播で、誤差逆伝播法は損失の情報を逆向きに流して勾配を計算する方法である。
ニューラルネットワークとディープラーニング(重みの調整と誤差逆伝播法)の問題を続けて解く
この論点に対応する14問を絞り込んで出題します。