マルチヘッドアテンションにより、Transformer は複数のことに同時に注目できます。入力 X(n トークン × d 列)と d × d の重み行列について:
- Q = X × w_q、K = X × w_k、V = X × w_v
- d 列を
num_heads個のヘッドに分けます。各ヘッドは連続する d_k = d / num_heads 列を持ちます(ヘッド h は列 h×d_k から (h+1)×d_k - 1 を使う)。 - 各ヘッドで、その列だけを使ってスケールド・ドット積アテンションを実行します。トークン i について、そのヘッドの列で score_j = (Q_i · K_j) / √d_k を計算し、n 個すべてのトークン j でソフトマックスをとり、出力 = Σ weight_j × V_j(そのヘッドの列)。
- 各ヘッドの出力を元の列に戻し(連結し)、w_o を掛けます。
multi_head_attention(x, w_q, w_k, w_v, w_o, num_heads) を実装してください。
入力
x: n × d の入力行列。
w_q, w_k, w_v, w_o: d × d の重み行列。
num_heads: ヘッドの数(d はこの数で割り切れる)。
出力
n × d の出力行列を返してください。
制約
1 ≤ n ≤ 30、1 ≤ d ≤ 32、1 ≤ num_heads ≤ d で、d は num_heads で割り切れる
-5 ≤ 各値 ≤ 5
例
入力:
x = [
[1.0, 0.0],
[0.0, 1.0]
]
w_q = [
[0.0, 0.0],
[0.0, 0.0]
]
w_k = [
[1.0, 0.0],
[0.0, 1.0]
]
w_v = [
[1.0, 0.0],
[0.0, 1.0]
]
w_o = [
[1.0, 0.0],
[0.0, 1.0]
]
num_heads = 1
期待される出力:
[
[0.5, 0.5],
[0.5, 0.5]
]
解説
w_q がすべて 0 なので、スコアはすべて 0 となり、各トークンは値の行の平均になります。V = X なので、両方の行が [0.5, 0.5] になります。
入力:
x = [
[2.0, 4.0]
]
w_q = [
[1.0, 0.0],
[0.0, 1.0]
]
w_k = [
[1.0, 0.0],
[0.0, 1.0]
]
w_v = [
[1.0, 0.0],
[0.0, 1.0]
]
w_o = [
[0.0, 1.0],
[1.0, 0.0]
]
num_heads = 2
期待される出力:
[
[4.0, 2.0]
]
解説
トークンが1つだけなので各ヘッドは自分自身だけに注目し、連結した出力は V = [2, 4] です。w_o が2つの列を入れ替えるので [4, 2] になります。
参考資料
-
例 1 未実行入力:
x = [ [1.0, 0.0], [0.0, 1.0] ] w_q = [ [0.0, 0.0], [0.0, 0.0] ] w_k = [ [1.0, 0.0], [0.0, 1.0] ] w_v = [ [1.0, 0.0], [0.0, 1.0] ] w_o = [ [1.0, 0.0], [0.0, 1.0] ] num_heads = 1期待される出力:[ [0.5, 0.5], [0.5, 0.5] ]あなたの出力 -
例 2 未実行入力:
x = [ [2.0, 4.0] ] w_q = [ [1.0, 0.0], [0.0, 1.0] ] w_k = [ [1.0, 0.0], [0.0, 1.0] ] w_v = [ [1.0, 0.0], [0.0, 1.0] ] w_o = [ [0.0, 1.0], [1.0, 0.0] ] num_heads = 2期待される出力:[ [4.0, 2.0] ]あなたの出力
提出時に非公開テスト4件も実行されます。 失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。
Online Kotlin Compiler
Write, compile, run, and debug Kotlin code online in a full-featured browser IDE. Work with multiple files, save your workspace, and collaborate in real time.
🧩 この Kotlin オンライン実行ツールについて
CodeUtility Kotlin Executor は、ブラウザ上でそのまま Kotlin コードを記述・コンパイル・実行できるツールです - インストールや IDE、SDK の設定は不要です。実際の Kotlin コンパイラを隔離されたサンドボックスで動かしているため、 安全かつ本物の実行体験を提供します。
このツールは複数の Kotlin バージョン - 1.6、1.9、2.1 - に対応しており、構文の更新を試したり、 コードの互換性を検証したり、コルーチン、データクラス、sealed インターフェースといった最新機能を実験できます。
Kotlin の基礎を学ぶ学生、スニペットを試す Android 開発者、 あるいはブラウザを離れずに JVM 環境でロジックを検証したいバックエンドエンジニアに最適です。
各スニペットは安全なコンテナ化ランタイム内で実行され、安定したパフォーマンスと安全なコード実行を実現します。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、[実行]を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 初心者向け Kotlin 基本ガイド
1. 変数と定数の宣言
Kotlin では、不変には val、可変には var を使います。
val name: String = "Alice"
var age: Int = 30
val pi = 3.14 // 型推論
// 定数
const val MAX_USERS = 100
2. 条件分岐(if / when)
if 式、または複数分岐に when を使います。
val x = 2
if (x == 1) {
println("一")
} else if (x == 2) {
println("二")
} else {
println("その他")
}
when (x) {
1 -> println("一")
2 -> println("二")
else -> println("その他")
}
3. ループ
繰り返しには for、while、do-while を使います。
for (i in 0..2) {
println(i)
}
var n = 3
while (n > 0) {
println(n)
n--
}
4. 配列
Kotlin では arrayOf() で配列を扱えます。
val numbers = arrayOf(10, 20, 30)
println(numbers[1])
5. リスト操作
動的なリストには mutableListOf を使います。
val nums = mutableListOf(1, 2, 3)
nums.add(4)
nums.removeAt(0)
for (n in nums) {
print("$n ")
}
6. コンソール入力/出力
入力は readLine()、出力は println() を使います。
print("名前を入力してください: ")
val name = readLine()
println("こんにちは、$name")
7. 関数
関数は fun キーワードで定義し、戻り値の型は省略可能です。
fun add(a: Int, b: Int): Int {
return a + b
}
println(add(3, 4))
8. マップ
mutableMapOf はキーと値のペアを保持します。
val ages = mutableMapOf("Alice" to 30)
println(ages["Alice"])
9. 例外処理
エラー処理には try、catch、finally を使います。
try {
val result = 10 / 0
} catch (e: ArithmeticException) {
println("エラー: ${e.message}")
}
10. ファイル入出力
ファイル操作には java.io の File を使います。
import java.io.File
File("file.txt").writeText("こんにちは、ファイル")
val text = File("file.txt").readText()
println(text)
11. 文字列操作
Kotlin の文字列は多くのメソッドと文字列補間をサポートしています。
val text = "Hello World"
println(text.length)
println(text.substring(0, 5))
println(text.contains("World"))
12. クラスとオブジェクト
Kotlin のクラスは簡潔で、デフォルトコンストラクタをサポートします。
class Person(val name: String) {
fun greet() = println("こんにちは、私は$nameです")
}
val p = Person("Alice")
p.greet()
13. Null 安全性
Kotlin は null 許容型と非 null 型を区別します。安全のために ? と ?: を使います。
val name: String? = null
println(name?.length ?: 0)