UNITY AR · ADVANCED進階

Unity AR × Gemini AI 進階實戰

01 / 4

⚔️ Unity AR · 進階實戰

Unity AR × Gemini AI

賦予 AR 角色視覺、記憶與靈魂

👁️Hour 1賦予視覺

🧠Hour 2建構記憶

🎭Hour 3靈魂注入

Hour 3 最終成果展示 · 課程結束你將打造

👁️

AR 角色看見世界截圖 → Gemini 視覺分析 → 角色說話

🧠

記住每次對話ConversationMemory + ChatHistoryUI

🎭

表達 6 種真實情緒AIEmotionBrain + Animator 狀態機

03 / 4

今日課程架構

講義 p1 ~ p5 完整對應

講義 p1

✅

課前準備

→Unity 6 版本確認

→Gemini API Key

→iOS / Android 裝置

→匯入進階課腳本

講義 p2

👁️

Hour 1 · 賦予視覺

→Pre-Step 0A~0F（環境）

→Step 1：ScreenshotCapture

→Step 2：GeminiVisionBrain

→截圖 → AI → 角色說話

講義 p3

🧠

Hour 2 · 建構記憶

→Step 3：ConversationMemory

→Step 3.5：整合記憶到 Hour 1

→Step 4：ChatHistoryUI

→Step 4.5：ARObjectChat

講義 p4

🎭

Hour 3 · 靈魂注入

→Step 5：EmotionData（JSON）

→Step 5.5：Animator 狀態機

→Step 6：AIEmotionBrain

→Step 7：三合一整合測試

講義 p5

📱

Build & Deploy

→裝置相容性確認

→iOS → Xcode 流程

→Android → APK 流程

→XR Simulation 快速測試

29 / 4

🎭

Hour 3 · 講義 p4 · 2:00 — 3:00

靈魂注入

Step 5 EmotionData.cs

Step 5.5 Animator 狀態機

Step 6 AIEmotionBrain.cs

38 / 4

6 個腳本，各有分工

現在你的 AR 角色有眼睛、記憶、情緒了 🎉

📸Hour 1 · 講義 p2

截圖眼睛

ScreenshotCapture.cs

藏 UI → EndOfFrame → Base64

🤖Hour 1 · 講義 p2

看圖理解

GeminiVisionBrain.cs

多模態請求 → AI 分析畫面

📔Hour 2 · 講義 p3

對話日記

ConversationMemory.cs

Singleton + maxRounds 上限

💬Hour 2 · 講義 p3

聊天視窗

ChatHistoryUI.cs

ScrollRect 氣泡自動滾到底

🎭Hour 3 · 講義 p4

情緒結構

EmotionData.cs

JSON schema + 情緒常數

⚡Hour 3 · 講義 p4

三合一總指揮

AIEmotionBrain.cs

整合 Hour 1+2+3 所有功能

封面 · Unity AR × Gemini AI 進階實戰

免費課程

立即免費存取所有資源

立即免費開始 →

賦予 AR 角色視覺、記憶與靈魂

三小時深度課程：賦予 AR 角色視覺、記憶與靈魂。從截圖辨識、對話記憶到情緒動畫，打造真正有 AI 的擴增實境體驗。

三大實戰專題

三小時，三個完整作品

每個專題都有完整課程回放、互動投影片與詳細講義

👁️

Hour 1 · 賦予視覺

AR 截圖辨識

截圖 → Base64 → Gemini Vision → AR 角色即時回應你所看到的世界

🧠

Hour 2 · 建構記憶

對話記憶系統

ConversationMemory + ChatHistoryUI，讓 AR 角色記住每一句對話

🎭

Hour 3 · 靈魂注入

情緒動畫 AI

EmotionData JSON + Animator 狀態機 + AIEmotionBrain，賦予角色真實情緒

你將學會...

上完這堂課，你能做到什麼？

整合 ARCameraManager 截圖並轉為 Base64 傳送 Gemini

用 GeminiVisionBrain.cs 讓 AR 角色看懂現實世界

實作 ConversationMemory 讓 AI 記住完整對話歷史

建立 ChatHistoryUI 面板呈現 AR 對話記錄

設計 EmotionData JSON 結構，驅動 Animator 狀態機

完成三合一整合測試並部署到 iOS / Android 真機

課程內容

5 個專題 · 21 個單元

從工具設定到完整作品，逐步引導

Unity 6（6000.x）版本確認

安裝 AR Foundation 6.0 + ARKit/ARCore Plugin

取得 Gemini API Key

匯入進階課 .unitypackage 腳本

Android / iOS 平台設定與相機權限

Pre-Step 0A~0F：AR 環境建置（Hierarchy + Inspector）

Step 1：ScreenshotCapture.cs — 截圖轉 Base64

Step 2：GeminiVisionBrain.cs — 串接 Gemini Vision API

整合測試：截圖 → Gemini → 角色說話

Step 3：ConversationMemory.cs — 對話歷史管理

Step 3.5：整合記憶到 Hour 1 Vision 系統

Step 4：ChatHistoryUI — 對話紀錄面板

Step 4.5：ARObjectChat — 點擊 AR 物件觸發對話

Step 5：EmotionData.cs — 情緒 JSON 結構設計

Step 5.5：Animator 狀態機 & 情緒參數綁定

Step 6：AIEmotionBrain.cs — AI 回應驅動動畫

Step 7：三合一整合測試（視覺 + 記憶 + 情緒）

iOS → Xcode 打包流程

Android → APK / AAB 打包流程

XR Simulation 快速桌面測試

裝置相容性確認與常見錯誤排除

加入課程後你將獲得

互動式投影片40 張 · 全螢幕 · 隨時複習

完整課程講義詳細步驟 · Markdown 格式

適合對象

這堂課適合你嗎？

已完成 Unity AR 基礎課（AR 角色召喚系統）的學員

熟悉 C# 基礎語法、了解 Unity 組件系統

想在 AR App 中整合 Gemini AI 的開發者

對 AR 互動裝置、AI 角色有興趣的創作者

常見問題

有任何疑問嗎？

需要完成 Unity AR 基礎課，包含 AR 角色召喚系統與 AIBrain.cs 的實作。若沒有基礎，建議先從免費簡報開始了解 AI Studio 工具鏈。

需要 iOS（iPhone 6s 以上）或 Android（Android 10+）真實裝置，AR 必須使用真實鏡頭，無法用模擬器測試。電腦需支援 Unity 6 開發環境。

不需要。Gemini API 有免費方案，課程中的使用量完全在免費額度內，在 aistudio.google.com/apikey 申請即可。

一次購買，永久存取。包含互動投影片、完整講義、課程回放影片，未來有更新也免費同步。

課程使用 Unity 6（6000.x）搭配 AR Foundation 6.0。請確保使用相同版本，不同版本可能有 API 差異。

準備好開始了嗎？

用 AI 打造你的第一個 App

免費開始學習 →

免費課程

立即免費存取所有資源

立即免費開始 →

其他課程

🔒 限定

38 張

Google AI Studio 三小時工作坊

謝上智 Sun·2026.05.17·3 小時

免費

想法實現機

謝上智 Sun·2026.05.14·1 小時

免費