価値反復法

価値反復法はマルコフ決定過程を解きます。状態 s から始めて得られる割引報酬の合計の最大値 V(s) を求めます。

ここでは遷移は決定的です。状態 s で行動 a を取ると報酬 rewards[s][a] を得て状態 next_states[s][a] に移ります。-1 はエピソードの終了を意味します。すべての状態で V(s) = 0 から始め、iterations 回繰り返します。新しい値はすべて前回のスイープの値から計算します。

V_new(s) = a についての ( rewards[s][a] + gamma × V(next_states[s][a]) ) の最大値

ただし次の状態が -1 のとき、gamma × V の項は 0 です。

value_iteration(next_states, rewards, gamma, iterations) を実装してください。

入力

next_states: 各状態について、各行動の次の状態 (-1 はエピソード終了)。状態ごとに行動の数が異なることがあります。

rewards: 各行動の報酬。next_states と同じ形です。

gamma: 割引率。

iterations: スイープの回数。

出力

最後のスイープ後の V を、状態ごとに 1 つずつ返します。

制約

1 ≤ 状態数 ≤ 200、1 ≤ 状態あたりの行動数 ≤ 10、0 ≤ iterations ≤ 1,000

-100 ≤ 各報酬 ≤ 100、0 ≤ gamma ≤ 1

例

例 1

入力：
next_states = [
    [0, 1],
    [0, 2],
    [-1]
]
rewards = [
    [0.0, 0.0],
    [0.0, 0.0],
    [10.0]
]
gamma = 0.9
iterations = 3

期待される出力：
[8.1, 9.0, 10.0]

解説

スイープ 1: 報酬を得られるのは状態 2 だけで V = [0, 0, 10]。スイープ 2: 状態 1 は右へ移って 0.9 × 10 = 9、V = [0, 9, 10]。スイープ 3: 状態 0 は 0.9 × 9 = 8.1。結果: [8.1, 9, 10]。

例 2

入力：
next_states = [
    [1, 0],
    [0, 1]
]
rewards = [
    [1.0, 2.0],
    [3.0, 0.0]
]
gamma = 0.0
iterations = 5

期待される出力：
[2.0, 3.0]

解説

gamma = 0 では将来が考慮されないので、各状態の価値は最良の即時報酬そのものです: [2, 3]。

参考資料

提出せずにサンプルテストでコードを確認できます。

例 1 未実行

入力：

next_states = [
    [0, 1],
    [0, 2],
    [-1]
]
rewards = [
    [0.0, 0.0],
    [0.0, 0.0],
    [10.0]
]
gamma = 0.9
iterations = 3

期待される出力：

[8.1, 9.0, 10.0]

あなたの出力

例 2 未実行

入力：

next_states = [
    [1, 0],
    [0, 1]
]
rewards = [
    [1.0, 2.0],
    [3.0, 0.0]
]
gamma = 0.0
iterations = 5

期待される出力：

[2.0, 3.0]

あなたの出力

提出時に非公開テスト4件も実行されます。失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。

Online Kotlin Compiler

Write, compile, run, and debug Kotlin code online in a full-featured browser IDE. Work with multiple files, save your workspace, and collaborate in real time.

バージョン

プリインストール済みライブラリ

🚀 71,457 合計実行 (576 今月)

出力

Kotlinのコーディングチャレンジで練習

このエディタで実践的な問題を解こう。サンプルテストを実行し、提出してAIコードレビューを受けられます。

すべてのKotlinチャレンジ

簡単

Rectangle Perimeter

Compute the perimeter of a rectangle from its sides.

学べること算術戻り値

BeginnerLearning-pathVariables

解答を見る（12 件）

簡単

Distance Between Points

Compute the straight-line distance between two points.

学べること三平方の定理平方根

BeginnerFunctionsLearning-pathmath

解答を見る（7 件）

簡単

Days in a Month

Return how many days a month has, including leap years.

学べること暦の規則補助関数

BeginnerConditionsFunctionsLearning-path

解答を見る（6 件）

簡単

Average of Three

Average three whole numbers.

学べること算術除算

BeginnerLearning-pathVariables

解答を見る（6 件）

簡単

2つのベクトルの内積

2つのベクトルを要素ごとに掛けて合計します。すべてのニューロンの中心となる計算です。

学べることベクトル内積

ニューラルネットワークai機械学習

解答を見る（4 件）

簡単

Largest of Three

Pick the largest of three numbers without a built-in max.

学べること比較条件の組み合わせ

BeginnerConditionsLearning-path

解答を見る（4 件）

簡単

素数判定

数が素数かどうかを判定してください。

学べること割り切れるかの判定ループの最適化

BeginnerLoopsNumbersStudent-beginner

解答を見る（3 件）

簡単

Number Triangle

Build a triangle of increasing numbers.

学べること長くなる行行をまたぐカウンター

BeginnerLearning-pathNested-loopsPatterns

解答を見る（3 件）

簡単

アームストロング数

数が、その各桁の値を桁数乗して合計した値と等しいかどうかを判定します。

学べること桁の取り出し累乗

BeginnerNumbersStudent-beginner

解答を見る（3 件）

簡単

Row Sums

Add up every row of a grid.

学べること 2 次元リスト入れ子のループ

BeginnerGridsLearning-path

解答を見る（3 件）

簡単

Min and Max Together

Find the smallest and largest value in one pass.

学べること 1 回の走査複数の戻り値

ArraysBeginnerFunctionsLearning-path

解答を見る（3 件）

簡単

Count Pairs With a Sum

Count pairs of positions whose values add up to a target.

学べることインデックスの組二重カウントの回避

ArraysBeginnerLearning-pathNested-loops

解答を見る（3 件）

🧩 この Kotlin オンライン実行ツールについて

CodeUtility Kotlin Executor は、ブラウザ上でそのまま Kotlin コードを記述・コンパイル・実行できるツールです - インストールや IDE、SDK の設定は不要です。実際の Kotlin コンパイラを隔離されたサンドボックスで動かしているため、安全かつ本物の実行体験を提供します。

このツールは複数の Kotlin バージョン - 1.6、1.9、2.1 - に対応しており、構文の更新を試したり、コードの互換性を検証したり、コルーチン、データクラス、sealed インターフェースといった最新機能を実験できます。

Kotlin の基礎を学ぶ学生、スニペットを試す Android 開発者、あるいはブラウザを離れずに JVM 環境でロジックを検証したいバックエンドエンジニアに最適です。

各スニペットは安全なコンテナ化ランタイム内で実行され、安定したパフォーマンスと安全なコード実行を実現します。

単なるコードランナーではありません

同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。

この実行環境の使い方

ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。

バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。

コーディングを開始する

バージョン実行する前にランタイムを選択します。インストールされたライブラリは、選択した言語バージョンに属します。
「開いているファイル」には、開いていないテキストファイルがリストされます。1 つを選択すると、利用可能なエディタータブで開きます。
「実行」は、プログラムで使用可能なワークスペースを使用してアクティブなファイルを実行します。
Stop は、制限時間前に現在の実行を終了します。
詳細モードでは、ファイルエクスプローラーと移動可能でサイズ変更可能なターミナルを備えた IDE レイアウトが開きます。

ワークスペースとライブラリ

新しいファイルは、選択した親ディレクトリにファイルを作成し、エディタで開きます。
新しいフォルダーは、サポートされているネストの深さまでのディレクトリを作成します。
ファイルをアップロードすると、1 つ以上の安全なファイルがディレクトリに追加されます。
ダウンロードでは、ファイルまたは圧縮されたディレクトリがデバイスに保存されます。
コピーは、ワークスペースファイルまたはディレクトリを複製します。
[名前の変更] を実行すると、ファイル名が変更され、開いているタブと履歴が更新されます。
Move は項目を再配置します。ファイルやディレクトリもドラッグできます。
削除は、確認後に項目を削除し、開いているエディタータブを閉じます。
プリインストールされたライブラリには、このランタイムにすでに含まれているパッケージが表示されます。
Add Lib は、アカウントと選択したランタイム用のプライベートパッケージをインストールします。

ターミナルとサポート

実行履歴により、前と次の保存された出力が開きます。
出力をコピーすると、現在の端末テキストがコピーされます。
出力をクリアすると、確認後に保存されている実行出力がすべて削除されます。
Explain ではアクティブなコードを要約します。
[最近] では、最近の説明と結果が開きます。
設定により、フォント、テーマ、表示されるツールバーボタンが変更されます。

共有とコラボレーション

共有は、現在のファイル、ディレクトリ、またはワークスペース全体をスナップショットまたはライブワークスペースとして公開します。リンクへのアクセスと変更を保存できるユーザーを制御します。
ログには、共有ワークスペースに保存されたコラボレーターのアクションが記録されます。
チャットを共有すると、サインインした参加者はメッセージを送信したり、メンバーにメンションしたり、コードブロックを共有したり、オンラインまたは入力中のメンバーを確認したりできます。
ライブコラボレーションでは、コラボレーターのカーソルと保存されたファイルの更新が表示されます。表示専用ユーザーは、最新バージョンをロードすることも、一時的な編集を保存することもできます。

割り当てと制限

実行時間は、サーバーの実行ごとに 20 秒に制限されます。より早く終了したい場合は、「停止」を使用します。
ワークスペースストレージでは、サインインしているユーザーのワークスペースと言語ごとに、ファイル 100 個、ディレクトリ 100 個、合計 10 MiB が許可されます。
ファイルとフォルダーは、ファイルごとに 1 MiB、ネストされたディレクトリレベルは 5 に制限されます。コードによって生成されたファイルは、同じクォータに従います。
プライベートライブラリは、アカウントおよびランタイムごとにインストールされるパッケージが 10 個に制限されています。
共有スナップショットには、ファイルあたり 1 MiB、合計 2 MiB まで、最大 100 個のファイルを含めることができます。
共有の招待は、共有ごとに最大 25 人をサポートし、アクセス権と保存権限は個別に管理されます。
チャットの共有では、メッセージあたり 2,000 文字、共有あたり 10,000 メッセージが許可されます。
クォータの強制は、コードの実行中にも適用されます。ファイル数、サイズ、ストレージ、またはネストの制限を超える書き込みは安全に拒否されます。

知っておくと便利 信頼できるコードのみを実行し、パッケージをインストールしてください。実行は分離され制限されていますが、プログラムは強制クォータまで書き込み可能なワークスペース内のファイルを変更できます。

💡 初心者向け Kotlin 基本ガイド

1. 変数と定数の宣言

Kotlin では、不変には val、可変には var を使います。

val name: String = "Alice"
var age: Int = 30
val pi = 3.14  // 型推論

// 定数
const val MAX_USERS = 100

2. 条件分岐（if / when）

if 式、または複数分岐に when を使います。

val x = 2
if (x == 1) {
    println("一")
} else if (x == 2) {
    println("二")
} else {
    println("その他")
}

when (x) {
    1 -> println("一")
    2 -> println("二")
    else -> println("その他")
}

3. ループ

繰り返しには for、while、do-while を使います。

for (i in 0..2) {
    println(i)
}

var n = 3
while (n > 0) {
    println(n)
    n--
}

4. 配列

Kotlin では arrayOf() で配列を扱えます。

val numbers = arrayOf(10, 20, 30)
println(numbers[1])

5. リスト操作

動的なリストには mutableListOf を使います。

val nums = mutableListOf(1, 2, 3)
nums.add(4)
nums.removeAt(0)

for (n in nums) {
    print("$n ")
}

6. コンソール入力/出力

入力は readLine()、出力は println() を使います。

print("名前を入力してください: ")
val name = readLine()
println("こんにちは、$name")

7. 関数

関数は fun キーワードで定義し、戻り値の型は省略可能です。

fun add(a: Int, b: Int): Int {
    return a + b
}

println(add(3, 4))

8. マップ

mutableMapOf はキーと値のペアを保持します。

val ages = mutableMapOf("Alice" to 30)
println(ages["Alice"])

9. 例外処理

エラー処理には try、catch、finally を使います。

try {
    val result = 10 / 0
} catch (e: ArithmeticException) {
    println("エラー: ${e.message}")
}

10. ファイル入出力

ファイル操作には java.io の File を使います。

import java.io.File

File("file.txt").writeText("こんにちは、ファイル")
val text = File("file.txt").readText()
println(text)

11. 文字列操作

Kotlin の文字列は多くのメソッドと文字列補間をサポートしています。

val text = "Hello World"
println(text.length)
println(text.substring(0, 5))
println(text.contains("World"))

12. クラスとオブジェクト

Kotlin のクラスは簡潔で、デフォルトコンストラクタをサポートします。

class Person(val name: String) {
    fun greet() = println("こんにちは、私は$nameです")
}

val p = Person("Alice")
p.greet()

13. Null 安全性

Kotlin は null 許容型と非 null 型を区別します。安全のために ? と ?: を使います。

val name: String? = null
println(name?.length ?: 0)