飛機與花河
這個技能的每一條規則,都是這支影片被退回一次學到的:飛機雲要是直的、花叢不能整片滑動、接縫不能頓、結尾要有陽光。
畫作即將甦醒微風吹拂,繁花綻放色彩流轉,化作春天花海夾岸,碧水長流一架飛機劃過天際留下潔白綿長的雲痕帶走思緒,飛向遠方這就是,栩栩如生的藝術世界
圖片轉影片
給 AI 助手一張圖。它會一段一段生成影片、把段落之間修順、配上旁白,最後交給你一支二十秒左右、有配樂的短片。
都是手繪畫作的照片,直接交給技能處理。影片從原畫開始,慢慢變成真實的場景,再配上對得上畫面的旁白。
這個技能的每一條規則,都是這支影片被退回一次學到的:飛機雲要是直的、花叢不能整片滑動、接縫不能頓、結尾要有陽光。
畫作即將甦醒微風吹拂,繁花綻放色彩流轉,化作春天花海夾岸,碧水長流一架飛機劃過天際留下潔白綿長的雲痕帶走思緒,飛向遠方這就是,栩栩如生的藝術世界
拿到畫之後直接套用技能:四段都一次生成就通過檢查,沒有重做,只用了四次影片額度。
畫作即將甦醒清風拂草,水波輕漾色彩流轉,化作清池雙魚相伴,悠游自在首尾相隨,繞水成圓陽光灑落,波光粼粼這就是,栩栩如生的藝術世界
影片模型一次只能生成五秒。技能把一支短片拆成幾個五秒的鏡頭,每個鏡頭只交代一件事,再把它們接起來。
技能裡寫的不是原則,是實際被指出來的問題和修好它的做法。
飛機的煙不合理先問它在現實中怎麼動
飛機直線飛,飛機雲就是兩條筆直的平行線;花叢是扎根的,只會原地晃。
轉換的速度過於快,視覺上突兀一段只做一件事
畫風、視角、速度同時變,模型會擠在一秒內做完。拆成幾段,各做各的。
接縫有一點頓頓的是鏡頭速度
畫面其實接得上,是後一段突然變慢。量出數字,讓它平順地慢下來。
只是將畫作分析,不是理解畫面後寫旁白旁白說的是意思
不是唸出看得到的東西。用四字對句,一句對一個畫面。
結尾:飛機漸遠漸小,陽光灑入把想要的結果寫成刻度
只寫「漸漸變小」會只縮到七成。寫成「一半時剩一半、最後一秒只剩一點」。
這樣可以了最後一關還是人
AI 聽不到聲音、看不到播放順不順。技能要求它每次都把這件事講清楚。
技能包就在這一頁裡,不需要連到別的地方。下載後解壓縮,放進 Claude Code 的技能資料夾即可。
image-to-video 資料夾。%USERPROFILE%\.claude\skills\。.teach-server\credentials.json(放在工作資料夾或家目錄):
{"base_url": "https://tmuh.ai", "api_key": "tk_你的金鑰"}python "%USERPROFILE%\.claude\skills\image-to-video\scripts\guava_run.py" --quota
---
name: image-to-video
description: 把一張靜態圖(畫作照片、插畫、相片)做成會動的短影片:用 tmuh.ai 的 guava-video 一段一段生成(每段約 5 秒)、前一段最後一格接下一段、量測並修順接縫、用 tomato 地端語音配旁白、最後接成一支有配樂旁白的 MP4——全程不另外花錢、不用安裝 ffmpeg。只要使用者說「把這張圖/這幅畫變成影片」「讓畫動起來」「圖片轉影片」「照這支影片的做法再做一支」「影片延長」「配旁白」「接縫有點頓」「飛機/雲/花的動作不自然要調整」「結尾改成……」,或要分析一支 AI 生成影片是怎麼從圖片做出來的(讀它的字幕、旁白、運鏡),都應使用本 skill——即使只是改其中一段、換一句旁白,也照這裡的量測與驗證流程走,不要憑感覺重做。需要:tmuh.ai 帳號的 API key、Windows 10/11(內建 PowerShell 5.1)、Python 3(numpy、scipy、Pillow)。不適用:要用其他付費影片模型、要用程式寫動畫、做投影片式的語音影片。
---
# 圖片轉影片(guava-video 分段生成+接片+旁白)
把一張圖做成 10–25 秒、有配樂和旁白的直式或橫式短片。這套做法是把一幅粉彩畫做成 21 秒影片時,被使用者一句一句退回、修了十四版磨出來的,之後又用另一幅畫一次做成;每條規則背後都有一次被退的經驗,寫在各段的「為什麼」裡。
## 開工前
1. **先查這位使用者的偏好**:如果你的 agent 有記憶功能,看有沒有他過去做影片的紀錄(喜歡的旁白語氣、要不要字幕、上次成品在哪)。沒有就照本檔的預設做,交付時問他。
2. **設兩個變數**,之後的指令都照抄(全部在 PowerShell 工具裡跑,`.py` 也是):
```
$sk = '<本技能資料夾>\scripts' # 你把這個技能存在哪裡,就填那裡
$w = '<英數字路徑的工作夾,例如 C:\temp\i2v_work>' # 放影格、音檔等暫存;路徑不能有中文
```
3. **看今天額度**:`python $sk\guava_run.py --quota`。guava-video 是全站共用的每日上限,每送一次算一次;一支影片通常用 5–15 次(含重做)。開工前後各看一次,回報時講用了幾次。
4. **成品放使用者指定的資料夾**,檔名用英數字、帶版本號(`v3_seg2.mp4`、`v3_seg2_prompt.txt`)。**每一版都留著,不覆蓋、不刪**——使用者常說「回到上一版那種」;真的要刪,先問他。
平台事實(細節見 `references/platform.md`):guava-video 每次固定生成約 5.18 秒、124 格、24fps、有配樂;輸出形狀跟輸入圖走(720×1280 → 768×1344;1280×720 → 1344×768);**是雲端(fal.ai)生成,不是地端**,圖會送出院外——病人或他人肖像要先問使用者。旁白用的 tomato-tts/tomato-stt 才是地端。
## 流程總覽
| 步驟 | 做什麼 | 主要腳本 |
|---|---|---|
| 1 讀圖、裁圖 | 看懂畫面、裁成 9:16 或 16:9 | `crop_916.py` |
| 2 分段腳本 | 一段只做一件事,寫成分段表給使用者看 | —(`references/prompts.md`) |
| 3 逐段生成+檢查 | 生成→看圖→量測→不對就改提示詞重做 | `guava_run.py`、`check_segment.ps1` |
| 4 接縫 | 量相鄰兩段的鏡頭速度,接不上就修 | `horizon.py`、`flow.py`、`blend_ramp.py`(`references/seams.md`) |
| 5 旁白 | 寫稿→逐句合成→回聽核對→排時間 | `tts_lines.py`、`schedule.py`(`references/narration.md`) |
| 6 混音接片 | 各段配樂接成一條+旁白,接成 MP4 | `extract_audio.ps1`、`mix_audio.py`、`join_v2.ps1` |
| 7 驗證交付 | 看成品、量接縫、回聽、傳檔、誠實回報 | `extract_frames.ps1`、`sheet.py`、`stt_check.py` |
## 1 讀圖、裁圖
先用 Read 看圖,寫下三件事:**畫的是什麼**(主體、背景、視角)、**哪些東西在現實中會動、怎麼動**、**哪些是照片的雜物**(桌面、紙邊、摺線、反光)。
```
python $sk\crop_916.py <原圖> $w\input.jpg --box x0,y0,x1,y1 --preview $w\crop_preview.jpg # 直式 9:16
python $sk\crop_916.py <原圖> $w\input.jpg --box x0,y0,x1,y1 --shape 16:9 --preview $w\crop_preview.jpg # 橫式 16:9
```
Read `crop_preview.jpg` 確認雜物都裁掉了。**為什麼自己裁**:模型把輸入圖原封不動當第一格、形狀也跟著它;不裁,桌面會進影片。
- **直式還是橫式**:使用者沒指定就選和畫面主軸一致的(直幅的畫用 9:16)。把直幅的畫裁成橫式,只會留下中間一條,主體行進的方向(例如往畫面上方飛)不會變、可走的距離反而變短;使用者指定橫式時照做,但要在分段表裡講這個取捨。
- 裁不掉的雜物(例如畫中間的摺線)會被模型當成畫的一部分跟著動,也要先講。
## 2 分段腳本
把影片想成幾個 5 秒的鏡頭,**每段只交代一件主要的事**。同一段裡塞「畫風轉換+視角改變+鏡頭加速」,模型會在 1 秒內全做完,使用者的原話是「轉換的速度過於快,導致視覺上的突兀」。
先和使用者確認走哪一條路(他沒說就問一句,或依他的用字判斷):
| 路線 | 分段 | 已驗證到什麼程度 |
|---|---|---|
| **漸變成真實場景**(Gemini 那種) | A 原畫甦醒 → B 同構圖變寫實(只取前 2 秒)→ C 主體動作+改視角 → D 延續 → E 收尾 | 做過完整成品,使用者定稿 |
| **整支維持原畫風格** | A 原畫甦醒 → A2 畫風延續(可多段)→ 畫風收尾 | 只測過一次:筆觸保住了,但第二段起顏色會漸漸偏淡、變平滑;交付時要講 |
寫成一張「時間|畫面|鏡頭|旁白」的表先給使用者看,再開始生成。沒指定長度時,預設 4–5 段(約 20 秒);使用者說「約 10 秒」就是 2 段。
**每個會動的東西都先問:它在現實中怎麼動?** 飛機直線飛,飛機雲就是兩條筆直的平行線,不會繞成 S 形;花叢是扎根的,只會原地晃,不會整片平移;飛遠的東西會變小。這是這次被退最多次的原因(「飛機的煙不合理」「花叢的移動不自然」「飛機應該要往前、往高空飛」)。參考影片裡好看但不合理的效果不要照抄。
## 3 逐段生成+檢查
提示詞用英文寫成 txt。寫法、每種段落的範本、用字對鏡頭速度的影響在 `references/prompts.md`,**寫第一段之前先讀**;`references/example/` 有兩套實際用過的提示詞可以改寫。
```
python $sk\guava_run.py <輸入圖> <提示詞.txt> <輸出.mp4> # 約 12–60 秒;輸出檔已存在會拒絕,換檔名
& $sk\check_segment.ps1 -Video <輸出.mp4> -OutDir $w\segN # 之後要做混合減速才加 -AllFrames
```
`check_segment.ps1` 產出:`sheet.jpg`(每 0.5 秒一格的縮圖表)、`last_frame.jpg`(**下一段的輸入圖**)、`frames\`(給其他量測腳本用),並印出三種量測:`changerate`(畫面變化量,找突兀)、`flow`(鏡頭速度 camera、深度 depth、擺動 sway;任何鏡頭都能量)、`horizon`(地平線速度;只有看得到地平線時有意義,否則它會自己說不適用)。
**每一段都做這四個檢查:**
1. **用 Read 看 `sheet.jpg`**。數字只能告訴你「有沒有突然變化」,看不出「變成了什麼」——有一次數字全過,但畫已經在 0.5 秒內變成立體花、深色飛機變成白色客機。
2. **提示詞要求的每件事有沒有發生**,逐條對。模型常常只做一半(要求飛機變小只縮到七成、要求霞光完全沒出現)。主體大小與畫面亮度可用 `python $sk\plane_light.py $w\segN\frames` 量——只適用「明亮天空裡的深色小物體」;俯瞰鏡頭它會印 NOTE,這時主體大小看縮圖表。
3. **段內有沒有突兀**:`changerate` 那行的 jumps 應該是 none。段內某一刻突然翻倍或腰斬,就是使用者說的「突兀」,要重做。(兩段之間的速度差是接縫問題,在步驟 4 處理。)
4. **動作合不合理**:對照步驟 2 那句「它在現實中怎麼動」。
不對就**只改提示詞裡對應那一段話**,換檔名重做,其餘不動——這樣新舊兩版可以直接比。兩件事都要但模型只做到一件時,一次用兩種寫法各生成一支,量測後挑,比一支一支試快。
**接下一段**:把 `$w\segN\last_frame.jpg` 複製成下一段的輸入圖(放進成品夾留底)。接片時下一段從第 1 格開始(第 0 格就是上一段最後一格)。
## 4 接縫
使用者說「接縫有一點頓」,原因幾乎都是**相鄰兩段的鏡頭速度不一樣**(不是畫面跳格)。模型每段給的都是等速,速度由提示詞用字決定。
量法(兩邊要用同一支腳本量):
```
python $sk\horizon.py $w\seg3\frames $w\seg4\frames # 畫面裡有地平線(天空在上、地面在下)時最準
python $sk\flow.py $w\seg1\frames $w\seg2\frames # 俯瞰等沒有地平線的鏡頭用這個,看 camera start / end
```
比前段的 `end` 和後段的 `start`:
| 後段 ÷ 前段 | 觀感 | 處理 |
|---|---|---|
| 0.6–1.5 | 看不太出來 | 不用修 |
| 低於 0.6,或後段是 0 | 頓一下、卡住 | **要修** |
| 高於 1.5(變快) | 突然加速 | 畫面上有理由(主體正好起飛、加速)可以留,回報時講數字;沒有理由就重做後段一次,用慢一級的速度用字 |
修法依序試(細節與接片工具的坑見 `references/seams.md`):
1. **重做後段**,提示詞改用速度相近的用字(對照表在 `references/prompts.md` 第 2 節)。重做後,它後面的段落要從新的最後一格重做。
2. **還差的用混合減速補**:`blend_ramp.py` 把後段開頭 1–2 秒做成平滑減速的畫面,用 `join_v2.ps1` 的 `IMGDIR` 接進去。影片會因此變短,旁白時間要重排。
## 5 旁白
**先讀 `references/narration.md`**。重點:
- **先讀懂畫面在說什麼,再寫**;不要逐句描述看得到的東西,也不要站在畫外評論作品。
- **預設的語氣**:四字對句+七到九字的單句,一句對一個畫面事件,開場一句點題、結尾一句收束(例:微風吹拂,繁花綻放/一架飛機劃過天際/帶走思緒,飛向遠方)。
- 句數:約每 2.5 秒一句——10 秒 3 句、20 秒 8 句。
- **不加字幕**,除非使用者要求。
```
python $sk\tts_lines.py <旁白.txt> $w\narr f5 # 一行一句;f5=溫暖女聲
python $sk\schedule.py $w\narr 1,1,1 0.6,3.6,7.0 0.4 0.6 # 每句想開始的秒數 → 印出不重疊的實際秒數
```
`tts_lines.py` 會把每句再辨識回文字。**用聲音比對**(辨識結果是簡體、會挑同音字),可疑的那句用 `python $sk\stt_check.py $w\narr\lineN.wav` 讓第二套辨識再聽一次。每句對準它描述的畫面出現的時間;畫面重做後,句子順序可能要跟著換。
## 6 混音接片
各段自帶的配樂是各自生成的,直接接會在接縫換音樂,所以一律抽出來接成一條。順序固定是:**算總長 → 抽音軌 → 混音 → 接片**。
```
$clips = @("VID|<seg1.mp4>|0|124", "VID|<seg2.mp4>|1|124", "VID|<seg3.mp4>|1|124")
& $sk\join_v2.ps1 -Clips $clips -CountOnly # 只算總長,印 TOTAL: N frames = S seconds
& $sk\extract_audio.ps1 -Video <seg1.mp4> -OutWav $w\a1.wav # 每段做一次
cd $w
python $sk\mix_audio.py <S> mix.wav a1.wav,a2.wav,a3.wav narr <各句開始秒數,逗號分隔>
& $sk\join_v2.ps1 -Clips $clips -Audio $w\mix.wav -OutPath <成品>.mp4
& $sk\join_v2.ps1 -Clips $clips -Audio $w\mix.wav -OutPath <成品>_small.mp4 -Bitrate 6000000
```
- clip 寫法 `VID|檔|起格|止格`:第一段 `0|124`,之後每段 `1|124`;只取某段前 2 秒寫 `1|49`。混合減速段寫 `IMGDIR|<夾>`。
- `mix_audio.py` 的音檔清單不能有空格;沒有旁白時旁白夾寫 `none`。它印的 music 那行若說最後不到 0.6 秒是靜音,屬正常(結尾淡出)。
- 兩支都要做:完整版約 1.5 MB/秒,20 秒就約 30 MB,很多傳檔管道傳不過去,所以另做 `_small`。
- `join_v2.ps1` 成功會印 `RENDER OK: 路徑 大小 尺寸`;它不會覆蓋既有檔案,重做就換檔名。輸出尺寸自動跟第一段影片。
## 7 驗證與交付
宣稱完成前做完這四項(改動大時,另派一個沒看過製作過程的 subagent,只給它驗收條件去查):
1. **看成品**:
```
$t = (0..<總秒數×4> | % { [math]::Round($_ * 0.25, 2) }) -join ','
& $sk\extract_frames.ps1 -Video <成品>_small.mp4 -OutDir $w\final\frames -Times $t
python $sk\sheet.py $w\final\frames $w\final\sheet.jpg 3 7
```
Read `sheet.jpg`,確認每段都是你以為的那一版、順序對。
2. **量接縫**:`python $sk\changerate.py $w\final\frames`,再對成品跑步驟 4 的量法。接縫時間點的 jumps 要能解釋(步驟 4 的表)。有用混合減速時,照 `references/seams.md` 第 5 節逐格查。
3. **回聽成品**:`& $sk\extract_audio.ps1 -Video <成品>.mp4 -OutWav $w\final.wav`,`python $sk\stt_check.py $w\final.wav`。每句旁白都要在、順序對。
4. **交付**:把 `_small` 版和一張時間軸圖(關鍵格+旁白)交給使用者,說明直接寫在對話裡。
**回報要誠實**,固定講這幾件:做了/改了什麼、量測結果(改前→改後的數字)、**模型沒照做的地方**、**你驗證不了的地方**(你聽不到聲音、看不到播放起來順不順——語氣、音量、節奏感一定要請使用者自己看過聽過)、今天額度用了幾次。使用者一次通常只講一個問題,修完那一個就交付,其他地方不要順手改。
## 分析別人的 AI 影片(選用)
使用者丟一支影片問「這是怎麼做的」,或要你照它的風格做時,見 `references/analyze-video.md`:讀檔案來源資訊、抽影格看變化、放大字幕區逐格讀字幕、用語音辨識讀旁白、量運鏡。
## 參考檔
- `references/prompts.md` — 提示詞結構、六種段落範本、用字↔鏡頭速度、模型的習性。**寫提示詞前讀。**
- `references/seams.md` — 量接縫、混合減速、接片工具的坑、逐格驗證。**要修接縫或接圖片序列時讀。**
- `references/narration.md` — 旁白怎麼寫、聲音選擇、排時間、核對。**寫旁白前讀。**
- `references/platform.md` — tmuh.ai 端點與額度、憑證放哪、環境需求(Windows、不需 ffmpeg、中文路徑)、每支腳本一行說明。**腳本報錯或要改腳本時讀。**
- `references/analyze-video.md` — 逆向分析一支 AI 影片。
- `references/example/` — 實際用過的提示詞與旁白稿:直式漸變寫實五段(使用者定稿)、橫式維持畫風兩段(測試用,附結果說明)。
在 Claude Code 裡附上圖片,說其中一句就會啟動:
已登入 tmuh.ai 的老師,可以把下面這段話貼給自己的助手(需要你自己的金鑰):
請幫我安裝 tmuh.ai 上的技能「image-to-video」。 它分成兩份,都要裝、還原到同一個資料夾: https://tmuh.ai/u/guouu/skills/image-to-video/llms.txt https://tmuh.ai/u/guouu/skills/image-to-video-scripts/llms.txt 用我的 tmuh.ai 金鑰(Authorization: Bearer)讀取,照裡面的 How to install 做,裝到 Claude Code 的技能資料夾。