Q 学習は、各状態で各行動がどれだけ良いか Q(s, a) を経験だけから学習します。状態 s で行動 a を取り、reward を受け取って状態 s' に移ったら:
- エピソードが終了した場合 (
done= 1) は target = reward - そうでなければ target = reward + gamma × (a' についての Q(s', a') の最大値)
- Q(s, a) ← Q(s, a) + alpha × (target - Q(s, a))
すべての Q 値を 0 から始め、遷移を順に適用します。
q_learning(num_states, num_actions, transitions, alpha, gamma) を実装してください。
入力
num_states, num_actions: 表の大きさ。
transitions: 1 ステップにつき 1 行の [state, action, reward, next_state, done]。
alpha: 学習率。
gamma: 割引率。
出力
状態ごとに 1 行、行動ごとに 1 列の行列として Q 表を返します。
制約
1 ≤ num_states, num_actions ≤ 100、0 ≤ 遷移の数 ≤ 10,000
-100 ≤ reward ≤ 100、done は 0 または 1
0 < alpha ≤ 1、0 ≤ gamma ≤ 1
例
入力：
alpha = 0.5
gamma = 0.9
num_states = 2
num_actions = 2
transitions = [
[0, 1, 0, 1, 0],
[1, 0, 10, 0, 1]
]
期待される出力：
[
[0.0, 0.0],
[5.0, 0.0]
]解説
最初のステップではまだ報酬がありません。target = 0 + 0.9 × max(Q[1]) = 0 なので Q[0][1] は 0 のままです。2 番目のステップは報酬 10 でエピソードを終えます。Q[1][0] = 0 + 0.5 × (10 - 0) = 5。
入力：
alpha = 0.5
gamma = 0.9
num_states = 2
num_actions = 2
transitions = [
[1, 0, 10, 0, 1],
[0, 1, 0, 1, 0]
]
期待される出力：
[
[0.0, 2.25],
[5.0, 0.0]
]解説
同じステップを逆の順に適用します。先に Q[1][0] が 5 になるので、状態 0 からのステップはそれを参照できます。target = 0 + 0.9 × 5 = 4.5、Q[0][1] = 0.5 × 4.5 = 2.25。報酬が 1 つ前の状態へ伝わりました。
参考資料
-
例 1 未実行入力：
alpha = 0.5 gamma = 0.9 num_states = 2 num_actions = 2 transitions = [ [0, 1, 0, 1, 0], [1, 0, 10, 0, 1] ]期待される出力：[ [0.0, 0.0], [5.0, 0.0] ]あなたの出力 -
例 2 未実行入力：
alpha = 0.5 gamma = 0.9 num_states = 2 num_actions = 2 transitions = [ [1, 0, 10, 0, 1], [0, 1, 0, 1, 0] ]期待される出力：[ [0.0, 2.25], [5.0, 0.0] ]あなたの出力
提出時に非公開テスト4件も実行されます。
C++オンラインコンパイラ＆デバッガー
サーバーモードのGDBでブレークポイント、変数確認、ステップ実行を使ってC++をデバッグできます。
トピックから探す
実践コード、出力、メモリモデル、データ構造、アルゴリズム、モダンC++を通してCとC++を比較しながら学びます。
💻 このC++オンライン実行ツールについて
CodeUtility C++ Executor を使えば、ブラウザ上で直接C++コードを書いて実行できます — インストールやコンパイラ設定は一切不要です。安全なサンドボックスで動作し、 C++11、C++14、C++17から最新バージョンまでの実際のC++標準に対応しています。
このツールはクラウド上で動作する本物のC++コンパイラでコードをコンパイル・実行し、 バージョン間で正確かつ一貫した挙動を保証します。変数、関数、ループ、条件分岐、 オブジェクト指向といったC++の基本概念を自由に試せます。
面接の準備、モダンC++の学習、アルゴリズムのロジック検証など、どんな用途でも、 CodeUtility C++ Executor は、どのデバイスからでもすぐにコードを実行できるシンプルかつ強力な環境を提供します。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 上で試せるC++の基本とサンプル
1. 変数と定数の宣言
C++では、各変数の型を宣言する必要があります。constを使うと、初期化後に変更できない読み取り専用の値を定義できます。
int age = 30;
double pi = 3.14159;
char grade = 'A';
std::string name = "Alice";
bool isActive = true;
// 定数
const int MAX_USERS = 100;
const std::string COMPANY = "CodeUtility";
// const を変更しようとするとコンパイル時エラーになります
// MAX_USERS = 200; // ❌ エラー
2. 条件分岐（if / switch）
分岐にはif、else if、elseを使います。複数の値を扱う場合はswitchを使います。
int x = 2;
if (x == 1) {
std::cout << "1\n";
} else if (x == 2) {
std::cout << "2\n";
} else {
std::cout << "その他\n";
}
// switch文
switch (x) {
case 1:
std::cout << "1\n";
break;
case 2:
std::cout << "2\n";
break;
default:
std::cout << "その他\n";
}3. ループ
for、while、do-whileでコードブロックを繰り返します。
for (int i = 0; i < 3; i++) {
std::cout << i << "\n";
}
int n = 3;
while (n > 0) {
std::cout << n << "\n";
n--;
}4. 配列
配列は同じ型の要素を複数格納します。
int numbers[3] = {10, 20, 30};
std::cout << numbers[1] << "\n";5. 配列/ベクターの操作
動的配列にはstd::vectorを使います。
#include <vector>
std::vector nums = {1, 2, 3};
nums.push_back(4);
nums.pop_back();
for (int n : nums) {
std::cout << n << " ";
} 6. コンソール入出力
入力にはstd::cin、出力にはstd::coutを使います。
std::string name;
std::cout << "あなたの名前を入力してください: ";
std::cin >> name;
std::cout << "こんにちは、" << name << "\n";7. 関数
関数は再利用可能な処理をまとめます。引数と戻り値の型を指定します。
int add(int a, int b) {
return a + b;
}
std::cout << add(3, 4);8. マップ
std::map は辞書のようにキーと値のペアを格納します。
#include <map>
std::map ages;
ages["Alice"] = 30;
std::cout << ages["Alice"]; 9. 例外処理
try と catch を使って実行時エラーを処理します。
try {
throw std::runtime_error("エラーが発生しました");
} catch (const std::exception& e) {
std::cout << e.what();
}10. ファイル入出力
fstream を使ってファイルの読み書きを行います。
#include <fstream>
std::ofstream out("file.txt");
out << "こんにちは、ファイル";
out.close();
std::ifstream in("file.txt");
std::string line;
getline(in, line);
std::cout << line;
in.close();11. 文字列操作
C++の文字列は length()、substr()、find() といったメソッドをサポートしています。
std::string text = "Hello World";
std::cout << text.length();
std::cout << text.substr(0, 5);
std::cout << text.find("World");12. クラスとオブジェクト
C++はクラスを使ったオブジェクト指向プログラミングをサポートしています。
class Person {
public:
std::string name;
Person(std::string n) : name(n) {}
void greet() { std::cout << "こんにちは、私は " << name; }
};
Person p("Alice");
p.greet();13. ポインタ
ポインタは別の変数のメモリアドレスを保持します。アドレスを取得するには &、
参照外し（そのアドレスの値にアクセス）には * を使います。
int x = 10;
int* ptr = &x;
std::cout << "x の値: " << x << "\n";
std::cout << "x のアドレス: " << ptr << "\n";
std::cout << "ポインタ経由の値: " << *ptr << "\n";
// ポインタ経由で x を変更
*ptr = 20;
std::cout << "更新後の x: " << x << "\n";🐞 %{language}コードをオンラインでデバッグする方法
オンライン%{language}デバッガーなら、コンパイラやIDEをインストールせずに実行時エラーやロジックエラーを調査できます。サーバーモードはデバッグ情報付きでコンパイルし、GDBで実行します。
- 行番号の横にブレークポイントを設定します。
- Debugを選択してコンパイルし、最初のブレークポイントで停止します。
- 現在行、コールスタック、変数を確認します。
- Continue、Step Over、Step Into、Step Outで実行を制御します。
- 終了するときはStopを選択します。
再現可能な小さなコードから始め、想定外の動作が起きる直前にブレークポイントを置きましょう。