「設定4-5っぽいけど、あと1時間で閉店。打ち続けるべき？」 「今+5,000円。ここでやめて確定させるか、もう少し粘るか…」 ——この判断、毎回モヤモヤしませんか？
実は、「いつやめるべきか」は数学で答えが出せます。 スタンフォード大学のAI講義（CS221 Lecture 7）で教えている マルコフ決定過程（MDP）が、まさにこの問題を扱う数学です。
この記事では、MDPの考え方をパチスロの「やめ時判断」に翻訳して解説します。
なぜ「やめ時」はこんなに難しいのか
期待値計算は「この台を打ったらいくら得するか」を答えます。 でも実際の稼働で本当に難しいのは:
- あと何時間打てる？
- 今の収支はプラス？マイナス？
- 設定はどのくらい信頼できる？
- 他に良さそうな台がある？
「判断に影響する変数が多すぎる」のが、やめ時が難しい本当の理由です。 人間の直感はこの複雑さを処理できないから、「なんとなく」で判断してしまう。
MDP: 複雑な判断を数学で整理する方法
マルコフ決定過程（MDP）は、 「複数の状態と行動があって、結果が確率的に決まる問題」を解くためのフレームワーク。 AIがロボットの行動計画やゲームの攻略に使う、汎用的な意思決定の数学です。
MDPの4つの要素を、パチスロの「やめ時」に当てはめてみましょう。
① 状態（State）= 今の状況
| 状態の要素 | パチスロでの意味 | 例 |
|---|---|---|
| 現在の収支 | 差枚 × 交換率 | +5,000円 |
| 残り時間 | 閉店までの分数 | あと90分 |
| 推定設定 | ベイズで計算した設定分布 | 設定5の確率40% |
| 持ちメダル | 手元に残っている枚数 | 500枚 |
この4つの組み合わせで「今あなたがどんな状況か」が完全に記述できます。
② 行動（Action）= 選択肢
- 打ち続ける — 次の10分間、そのまま稼働する
- やめる — 今の収支を確定して撤退する
（理論上は「台移動」も行動に含められますが、 ここではシンプルに「続ける or やめる」の2択で考えます）
③ 遷移確率（Transition）= 次に何が起きるか
「打ち続ける」を選んだ場合、次の10分間で何が起きるかは確率的に決まります。
- 設定5なら、10分間で約+800円の期待値（でもブレは大きい）
- 設定1なら、10分間で約-200円の期待値
- 実際にどちらの設定かは確率（設定分布）で決まる
結果が不確実だからこそ、「打ち続ける」か「やめる」かの判断が難しいわけです。
④ 報酬（Reward）= 何を最大化したいか
最終的に最大化したいのは収支。 でも「時間のコスト」も考慮する必要があります。
- やめる → 報酬 = 現在の収支（確定）
- 打ち続ける → 報酬 = 残り時間で稼げる期待収支 − 時間コスト
MDPで「やめ時」を決める方法
考え方: 未来から逆算する
MDPの解き方の核心は「未来から逆算する」ことです。 CS221ではこれをValue Iteration（価値反復法）と呼びます。
- 閉店時刻から始める → やめるしかない。報酬 = 現在の収支
- 閉店10分前 → 「10分打ったらいくら稼げるか」vs「今の収支で確定」を比較
- 閉店20分前 → 「打ったら20分前の最適行動につながる」vs「今やめる」を比較
- …これを今の時刻まで繰り返す
つまり、全ての時点で「打ち続けた場合の最適行動チェーン」と「今やめた場合の確定収支」を比較しています。
具体的なシナリオで見てみよう
条件: マイジャグラーV、残り2時間、現在+3,000円、推定設定5の確率40%
パターンA: 残り2時間 → 打ち続ける
| 時間 | 今やめる | 打ち続けた場合の期待値 | 最適行動 |
|---|---|---|---|
| 残り120分 | +3,000円確定 | +3,000 + 1,600 = +4,600円 | → 打ち続ける |
| 残り60分 | +4,000円 | +4,000 + 800 = +4,800円 | → 打ち続ける |
| 残り10分 | +5,000円 | +5,000 + 130 = +5,130円 | → 打ち続ける（差は小さい） |
推定設定5の確率が高ければ、打ち続けた方が良い。 期待値が時間に対して安定的にプラスなので、時間がある限り打つべきです。
パターンB: 残り1時間、推定設定1-2の確率が80%
| 時間 | 今やめる | 打ち続けた場合の期待値 | 最適行動 |
|---|---|---|---|
| 残り60分 | +1,000円確定 | +1,000 - 400 = +600円 | → やめる |
推定設定が低いと、打ち続けるほど期待値がマイナスに向かいます。 今やめた方が得。
直感との違い: 人間は何を間違えるか
間違い1: サンクコスト
「もう3万円投資したから、取り返すまでやめられない」 ——MDPの世界では、過去の投資は判断に一切影響しない。 判断するのは「今からの期待値」だけ。 これをCS221では「マルコフ性」と呼びます。 未来は現在の状態だけに依存し、過去は関係ない。
間違い2: 損失回避バイアス
「プラスのうちにやめたい（負けたくない）」 ——MDPは感情を無視して「期待リターンの最大化」だけを考えます。 今+5,000円でやめるより、打ち続けて期待値+6,000円を狙う方が数学的に正しい場合でも、 人間は「確定利益を失うのが怖い」のでやめてしまうことが多い。
間違い3: 設定の過信/過小評価
「REGが良いから絶対設定6！」→ 実はまだ3000Gで信頼度が低い 「全然出ないからクソ台」→ 設定4でもたまたまのブレかもしれない
MDPは「設定分布（確率）」を入力に使うので、 白か黒かではなく、グレーのまま最適判断ができます。
CS221で学ぶ概念との対応
| CS221の概念 | パチスロでの対応 |
|---|---|
| 状態（State） | 現在の収支 + 残り時間 + 推定設定 |
| 行動（Action） | 打ち続ける / やめる |
| 遷移確率（Transition） | 設定ごとの10分間の収支分布 |
| 報酬（Reward） | 最終収支 |
| 方策（Policy） | 「この状態ならどうすべきか」のルール |
| Value Iteration | 閉店から逆算して全時点での最適行動を計算 |
| マルコフ性 | 過去の投資は判断に関係ない（今からの期待値だけ） |
よくある「やめ時」シナリオをMDPで判断
| シナリオ | MDP的な答え | 理由 |
|---|---|---|
| 高設定濃厚、残り3時間 | 打ち続ける | 期待値が大きく、時間もある |
| 高設定濃厚、残り30分 | 打ち続ける | 残り少ないが期待値はプラス |
| 設定不明、残り2時間 | データ次第 | 設定分布の偏りで判断が変わる |
| 低設定濃厚、残り2時間 | やめる | 時間をかけるほど損する |
| 低設定濃厚、+3万円出てる | やめる | 過去の出玉は関係ない。今からの期待値がマイナス |
| 設定不明、-2万円 | やめる | サンクコストに惑わされない |
ラクパチでの活用と今後
現在のラクパチでは:
- ✅ ベイズ推論で設定分布を計算（→ MDPの「状態」の一部）
- ✅ モンテカルロ法で3ストーリーを表示（→ 「遷移確率」の可視化）
- ✅ 残り時間×時給で期待値を算出
将来的には、MDPベースの「AIヤメ時ナビ」を開発予定。 あなたの現在の状態（収支・残り時間・設定分布）を入力すると、 「今やめるべきか、打ち続けるべきか」を数学で回答する機能です。
まとめ
- やめ時が難しいのは判断に影響する変数が多すぎるから
- MDP（マルコフ決定過程）は「状態・行動・確率・報酬」で意思決定を整理する数学
- 核心は「未来から逆算する」（Value Iteration）
- 過去の投資（サンクコスト）は判断に入れない → マルコフ性
- 感情ではなく、期待リターンの最大化で判断する
- スタンフォードCS221で教えるAIの意思決定技術が、パチスロのやめ時に直結する
やめ時の判断精度を上げる第一歩は、正確な設定推測から。 ラクパチのAタイプ設定分析で設定分布を確認してから判断しましょう。
関連記事
- パチスロ設定判別の数学 — ベイズの定理 — AIが使う確率計算の裏側
- モンテカルロ法で見る「負ける確率」 — 期待値だけでは見えないリスク
- やめどき完全ガイド — 機種タイプ別のやめどき
- プロのメンタル管理術 — 感情を排除する技術
よくある質問
Q. MDPは実際にパチスロで使えるの？計算は難しくない？
MDPの計算自体は手動では困難ですが、考え方を知っておくだけで判断が変わります。「過去の投資は忘れて今からの期待値だけで決める」「残り時間と設定の信頼度を天秤にかける」——この2つの原則だけで、やめ時の精度は格段に上がります。
Q. サンクコストを無視するって、実際にできるもの？
正直、感情的にはとても難しいです。だからこそ数学的な基準を事前に決めておくことが大事です。「設定1-2の確率が70%を超えたらやめる」のように、打つ前にルールを決めておけば、感情に左右されにくくなります。
Q. 「AIヤメ時ナビ」はいつ使えるようになりますか？
現在開発計画を進めています。ベイズ推論とモンテカルロ法は既に実装済みなので、MDPエンジンの追加が次のステップです。リリース時期が決まり次第、ラクパチのブログでお知らせします。