image-to-video · tmuh.ai 技能

圖片轉影片

讓一幅畫動起來

給 AI 助手一張圖。它會一段一段生成影片、把段落之間修順、配上旁白,最後交給你一支二十秒左右、有配樂的短片。

看它怎麼做
原畫:俯瞰的錦鯉池塘,粉彩與麥克筆
原畫
成品,20 秒,有聲音

兩件作品

都是手繪畫作的照片,直接交給技能處理。影片從原畫開始,慢慢變成真實的場景,再配上對得上畫面的旁白。

原畫:飛機沿著藍色河道飛過兩側花叢,粉彩
原畫
成品,21 秒

飛機與花河

五段 · 八句旁白 · 改了十四版才定稿

這個技能的每一條規則,都是這支影片被退回一次學到的:飛機雲要是直的、花叢不能整片滑動、接縫不能頓、結尾要有陽光。

畫作即將甦醒微風吹拂,繁花綻放色彩流轉,化作春天花海夾岸,碧水長流一架飛機劃過天際留下潔白綿長的雲痕帶走思緒,飛向遠方這就是,栩栩如生的藝術世界

原畫:俯瞰的錦鯉池塘
原畫
成品,20 秒

錦鯉池塘

四段 · 七句旁白 · 用技能一次做完

拿到畫之後直接套用技能:四段都一次生成就通過檢查,沒有重做,只用了四次影片額度。

畫作即將甦醒清風拂草,水波輕漾色彩流轉,化作清池雙魚相伴,悠游自在首尾相隨,繞水成圓陽光灑落,波光粼粼這就是,栩栩如生的藝術世界

它是怎麼做的

影片模型一次只能生成五秒。技能把一支短片拆成幾個五秒的鏡頭,每個鏡頭只交代一件事,再把它們接起來。

  1. 讀圖、裁圖看懂畫的是什麼、哪些東西會動,把桌面和紙邊裁掉。
  2. 分段腳本原畫甦醒、變成真實場景、主體動作、收尾,一段一件事。
  3. 逐段生成與檢查每段生成後看縮圖、量畫面變化,不對就只改那一句重做。
  4. 接縫量前後兩段的鏡頭速度,差太多就修到接得上。
  5. 旁白先讀懂畫面在說什麼再寫,逐句合成語音,再聽回來核對。
  6. 混音、接片把各段配樂接成一條、旁白出現時自動壓低,接成一支影片。
  7. 驗證、交付看成品、回聽旁白,並老實說出哪些地方 AI 自己確認不了。

被退回十四次學到的事

技能裡寫的不是原則,是實際被指出來的問題和修好它的做法。

飛機的煙不合理先問它在現實中怎麼動

飛機直線飛,飛機雲就是兩條筆直的平行線;花叢是扎根的,只會原地晃。

轉換的速度過於快,視覺上突兀一段只做一件事

畫風、視角、速度同時變,模型會擠在一秒內做完。拆成幾段,各做各的。

接縫有一點頓頓的是鏡頭速度

畫面其實接得上,是後一段突然變慢。量出數字,讓它平順地慢下來。

只是將畫作分析,不是理解畫面後寫旁白旁白說的是意思

不是唸出看得到的東西。用四字對句,一句對一個畫面。

結尾:飛機漸遠漸小,陽光灑入把想要的結果寫成刻度

只寫「漸漸變小」會只縮到七成。寫成「一半時剩一半、最後一秒只剩一點」。

這樣可以了最後一關還是人

AI 聽不到聲音、看不到播放順不順。技能要求它每次都把這件事講清楚。

安裝

技能包就在這一頁裡,不需要連到別的地方。下載後解壓縮,放進 Claude Code 的技能資料夾即可。

下載技能包

63 KB · 36 個檔

  1. 解壓縮,得到 image-to-video 資料夾。
  2. 把它放進 %USERPROFILE%\.claude\skills\。
  3. 準備金鑰檔 .teach-server\credentials.json(放在工作資料夾或家目錄):
    {"base_url": "https://tmuh.ai", "api_key": "tk_你的金鑰"}
  4. 測試:下面這行應該印出今天的影片額度。
    python "%USERPROFILE%\.claude\skills\image-to-video\scripts\guava_run.py" --quota
技能包裡有什麼
  • SKILL.md14.9 KB
  • references/analyze-video.md3.4 KB
  • references/narration.md6.2 KB
  • references/platform.md5.8 KB
  • references/prompts.md10.1 KB
  • references/seams.md5.6 KB
  • references/example/landscape_painterly/A2_painterly_ending.txt1.9 KB
  • references/example/landscape_painterly/A_awaken.txt2.0 KB
  • references/example/landscape_painterly/narration_3_lines.txt0.1 KB
  • references/example/portrait_realism/A_awaken.txt2.0 KB
  • references/example/portrait_realism/B_to_real_use_first_2s.txt2.1 KB
  • references/example/portrait_realism/C_subject_action_tilt.txt1.8 KB
  • references/example/portrait_realism/D_continue.txt2.1 KB
  • references/example/portrait_realism/E_ending.txt1.8 KB
  • references/example/portrait_realism/narration_8_lines.txt0.2 KB
  • scripts/_tmuh.py2.6 KB
  • scripts/blend_ramp.py2.3 KB
  • scripts/changerate.py1.5 KB
  • scripts/check_segment.ps11.7 KB
  • scripts/crop_916.py2.2 KB
  • scripts/extract_audio.ps12.1 KB
  • scripts/extract_frames.ps13.0 KB
  • scripts/finecheck.py1.1 KB
  • scripts/flow.py5.5 KB
  • scripts/guava_run.py2.2 KB
  • scripts/horizon.py4.4 KB
  • scripts/join_v2.ps16.1 KB
  • scripts/mix_audio.py4.9 KB
  • scripts/mp4info.py2.9 KB
  • scripts/plane_light.py2.6 KB
  • scripts/schedule.py1.3 KB
  • scripts/sheet.py1.0 KB
  • scripts/stt_check.py1.6 KB
  • scripts/stts_dump.py1.4 KB
  • scripts/subtitle_strip.py1.4 KB
  • scripts/tts_lines.py2.0 KB
先看技能本文(SKILL.md)
---
name: image-to-video
description: 把一張靜態圖(畫作照片、插畫、相片)做成會動的短影片:用 tmuh.ai 的 guava-video 一段一段生成(每段約 5 秒)、前一段最後一格接下一段、量測並修順接縫、用 tomato 地端語音配旁白、最後接成一支有配樂旁白的 MP4——全程不另外花錢、不用安裝 ffmpeg。只要使用者說「把這張圖/這幅畫變成影片」「讓畫動起來」「圖片轉影片」「照這支影片的做法再做一支」「影片延長」「配旁白」「接縫有點頓」「飛機/雲/花的動作不自然要調整」「結尾改成……」,或要分析一支 AI 生成影片是怎麼從圖片做出來的(讀它的字幕、旁白、運鏡),都應使用本 skill——即使只是改其中一段、換一句旁白,也照這裡的量測與驗證流程走,不要憑感覺重做。需要:tmuh.ai 帳號的 API key、Windows 10/11(內建 PowerShell 5.1)、Python 3(numpy、scipy、Pillow)。不適用:要用其他付費影片模型、要用程式寫動畫、做投影片式的語音影片。
---

# 圖片轉影片(guava-video 分段生成+接片+旁白)

把一張圖做成 10–25 秒、有配樂和旁白的直式或橫式短片。這套做法是把一幅粉彩畫做成 21 秒影片時,被使用者一句一句退回、修了十四版磨出來的,之後又用另一幅畫一次做成;每條規則背後都有一次被退的經驗,寫在各段的「為什麼」裡。

## 開工前

1. **先查這位使用者的偏好**:如果你的 agent 有記憶功能,看有沒有他過去做影片的紀錄(喜歡的旁白語氣、要不要字幕、上次成品在哪)。沒有就照本檔的預設做,交付時問他。
2. **設兩個變數**,之後的指令都照抄(全部在 PowerShell 工具裡跑,`.py` 也是):
   ```
   $sk = '<本技能資料夾>\scripts'              # 你把這個技能存在哪裡,就填那裡
   $w  = '<英數字路徑的工作夾,例如 C:\temp\i2v_work>'    # 放影格、音檔等暫存;路徑不能有中文
   ```
3. **看今天額度**:`python $sk\guava_run.py --quota`。guava-video 是全站共用的每日上限,每送一次算一次;一支影片通常用 5–15 次(含重做)。開工前後各看一次,回報時講用了幾次。
4. **成品放使用者指定的資料夾**,檔名用英數字、帶版本號(`v3_seg2.mp4`、`v3_seg2_prompt.txt`)。**每一版都留著,不覆蓋、不刪**——使用者常說「回到上一版那種」;真的要刪,先問他。

平台事實(細節見 `references/platform.md`):guava-video 每次固定生成約 5.18 秒、124 格、24fps、有配樂;輸出形狀跟輸入圖走(720×1280 → 768×1344;1280×720 → 1344×768);**是雲端(fal.ai)生成,不是地端**,圖會送出院外——病人或他人肖像要先問使用者。旁白用的 tomato-tts/tomato-stt 才是地端。

## 流程總覽

| 步驟 | 做什麼 | 主要腳本 |
|---|---|---|
| 1 讀圖、裁圖 | 看懂畫面、裁成 9:16 或 16:9 | `crop_916.py` |
| 2 分段腳本 | 一段只做一件事,寫成分段表給使用者看 | —(`references/prompts.md`) |
| 3 逐段生成+檢查 | 生成→看圖→量測→不對就改提示詞重做 | `guava_run.py`、`check_segment.ps1` |
| 4 接縫 | 量相鄰兩段的鏡頭速度,接不上就修 | `horizon.py`、`flow.py`、`blend_ramp.py`(`references/seams.md`) |
| 5 旁白 | 寫稿→逐句合成→回聽核對→排時間 | `tts_lines.py`、`schedule.py`(`references/narration.md`) |
| 6 混音接片 | 各段配樂接成一條+旁白,接成 MP4 | `extract_audio.ps1`、`mix_audio.py`、`join_v2.ps1` |
| 7 驗證交付 | 看成品、量接縫、回聽、傳檔、誠實回報 | `extract_frames.ps1`、`sheet.py`、`stt_check.py` |

## 1 讀圖、裁圖

先用 Read 看圖,寫下三件事:**畫的是什麼**(主體、背景、視角)、**哪些東西在現實中會動、怎麼動**、**哪些是照片的雜物**(桌面、紙邊、摺線、反光)。

```
python $sk\crop_916.py <原圖> $w\input.jpg --box x0,y0,x1,y1 --preview $w\crop_preview.jpg                  # 直式 9:16
python $sk\crop_916.py <原圖> $w\input.jpg --box x0,y0,x1,y1 --shape 16:9 --preview $w\crop_preview.jpg     # 橫式 16:9
```

Read `crop_preview.jpg` 確認雜物都裁掉了。**為什麼自己裁**:模型把輸入圖原封不動當第一格、形狀也跟著它;不裁,桌面會進影片。

- **直式還是橫式**:使用者沒指定就選和畫面主軸一致的(直幅的畫用 9:16)。把直幅的畫裁成橫式,只會留下中間一條,主體行進的方向(例如往畫面上方飛)不會變、可走的距離反而變短;使用者指定橫式時照做,但要在分段表裡講這個取捨。
- 裁不掉的雜物(例如畫中間的摺線)會被模型當成畫的一部分跟著動,也要先講。

## 2 分段腳本

把影片想成幾個 5 秒的鏡頭,**每段只交代一件主要的事**。同一段裡塞「畫風轉換+視角改變+鏡頭加速」,模型會在 1 秒內全做完,使用者的原話是「轉換的速度過於快,導致視覺上的突兀」。

先和使用者確認走哪一條路(他沒說就問一句,或依他的用字判斷):

| 路線 | 分段 | 已驗證到什麼程度 |
|---|---|---|
| **漸變成真實場景**(Gemini 那種) | A 原畫甦醒 → B 同構圖變寫實(只取前 2 秒)→ C 主體動作+改視角 → D 延續 → E 收尾 | 做過完整成品,使用者定稿 |
| **整支維持原畫風格** | A 原畫甦醒 → A2 畫風延續(可多段)→ 畫風收尾 | 只測過一次:筆觸保住了,但第二段起顏色會漸漸偏淡、變平滑;交付時要講 |

寫成一張「時間|畫面|鏡頭|旁白」的表先給使用者看,再開始生成。沒指定長度時,預設 4–5 段(約 20 秒);使用者說「約 10 秒」就是 2 段。

**每個會動的東西都先問:它在現實中怎麼動?** 飛機直線飛,飛機雲就是兩條筆直的平行線,不會繞成 S 形;花叢是扎根的,只會原地晃,不會整片平移;飛遠的東西會變小。這是這次被退最多次的原因(「飛機的煙不合理」「花叢的移動不自然」「飛機應該要往前、往高空飛」)。參考影片裡好看但不合理的效果不要照抄。

## 3 逐段生成+檢查

提示詞用英文寫成 txt。寫法、每種段落的範本、用字對鏡頭速度的影響在 `references/prompts.md`,**寫第一段之前先讀**;`references/example/` 有兩套實際用過的提示詞可以改寫。

```
python $sk\guava_run.py <輸入圖> <提示詞.txt> <輸出.mp4>        # 約 12–60 秒;輸出檔已存在會拒絕,換檔名
& $sk\check_segment.ps1 -Video <輸出.mp4> -OutDir $w\segN       # 之後要做混合減速才加 -AllFrames
```

`check_segment.ps1` 產出:`sheet.jpg`(每 0.5 秒一格的縮圖表)、`last_frame.jpg`(**下一段的輸入圖**)、`frames\`(給其他量測腳本用),並印出三種量測:`changerate`(畫面變化量,找突兀)、`flow`(鏡頭速度 camera、深度 depth、擺動 sway;任何鏡頭都能量)、`horizon`(地平線速度;只有看得到地平線時有意義,否則它會自己說不適用)。

**每一段都做這四個檢查:**

1. **用 Read 看 `sheet.jpg`**。數字只能告訴你「有沒有突然變化」,看不出「變成了什麼」——有一次數字全過,但畫已經在 0.5 秒內變成立體花、深色飛機變成白色客機。
2. **提示詞要求的每件事有沒有發生**,逐條對。模型常常只做一半(要求飛機變小只縮到七成、要求霞光完全沒出現)。主體大小與畫面亮度可用 `python $sk\plane_light.py $w\segN\frames` 量——只適用「明亮天空裡的深色小物體」;俯瞰鏡頭它會印 NOTE,這時主體大小看縮圖表。
3. **段內有沒有突兀**:`changerate` 那行的 jumps 應該是 none。段內某一刻突然翻倍或腰斬,就是使用者說的「突兀」,要重做。(兩段之間的速度差是接縫問題,在步驟 4 處理。)
4. **動作合不合理**:對照步驟 2 那句「它在現實中怎麼動」。

不對就**只改提示詞裡對應那一段話**,換檔名重做,其餘不動——這樣新舊兩版可以直接比。兩件事都要但模型只做到一件時,一次用兩種寫法各生成一支,量測後挑,比一支一支試快。

**接下一段**:把 `$w\segN\last_frame.jpg` 複製成下一段的輸入圖(放進成品夾留底)。接片時下一段從第 1 格開始(第 0 格就是上一段最後一格)。

## 4 接縫

使用者說「接縫有一點頓」,原因幾乎都是**相鄰兩段的鏡頭速度不一樣**(不是畫面跳格)。模型每段給的都是等速,速度由提示詞用字決定。

量法(兩邊要用同一支腳本量):

```
python $sk\horizon.py $w\seg3\frames $w\seg4\frames      # 畫面裡有地平線(天空在上、地面在下)時最準
python $sk\flow.py    $w\seg1\frames $w\seg2\frames      # 俯瞰等沒有地平線的鏡頭用這個,看 camera start / end
```

比前段的 `end` 和後段的 `start`:

| 後段 ÷ 前段 | 觀感 | 處理 |
|---|---|---|
| 0.6–1.5 | 看不太出來 | 不用修 |
| 低於 0.6,或後段是 0 | 頓一下、卡住 | **要修** |
| 高於 1.5(變快) | 突然加速 | 畫面上有理由(主體正好起飛、加速)可以留,回報時講數字;沒有理由就重做後段一次,用慢一級的速度用字 |

修法依序試(細節與接片工具的坑見 `references/seams.md`):

1. **重做後段**,提示詞改用速度相近的用字(對照表在 `references/prompts.md` 第 2 節)。重做後,它後面的段落要從新的最後一格重做。
2. **還差的用混合減速補**:`blend_ramp.py` 把後段開頭 1–2 秒做成平滑減速的畫面,用 `join_v2.ps1` 的 `IMGDIR` 接進去。影片會因此變短,旁白時間要重排。

## 5 旁白

**先讀 `references/narration.md`**。重點:

- **先讀懂畫面在說什麼,再寫**;不要逐句描述看得到的東西,也不要站在畫外評論作品。
- **預設的語氣**:四字對句+七到九字的單句,一句對一個畫面事件,開場一句點題、結尾一句收束(例:微風吹拂,繁花綻放/一架飛機劃過天際/帶走思緒,飛向遠方)。
- 句數:約每 2.5 秒一句——10 秒 3 句、20 秒 8 句。
- **不加字幕**,除非使用者要求。

```
python $sk\tts_lines.py <旁白.txt> $w\narr f5                                      # 一行一句;f5=溫暖女聲
python $sk\schedule.py $w\narr 1,1,1 0.6,3.6,7.0 0.4 0.6                           # 每句想開始的秒數 → 印出不重疊的實際秒數
```

`tts_lines.py` 會把每句再辨識回文字。**用聲音比對**(辨識結果是簡體、會挑同音字),可疑的那句用 `python $sk\stt_check.py $w\narr\lineN.wav` 讓第二套辨識再聽一次。每句對準它描述的畫面出現的時間;畫面重做後,句子順序可能要跟著換。

## 6 混音接片

各段自帶的配樂是各自生成的,直接接會在接縫換音樂,所以一律抽出來接成一條。順序固定是:**算總長 → 抽音軌 → 混音 → 接片**。

```
$clips = @("VID|<seg1.mp4>|0|124", "VID|<seg2.mp4>|1|124", "VID|<seg3.mp4>|1|124")
& $sk\join_v2.ps1 -Clips $clips -CountOnly                       # 只算總長,印 TOTAL: N frames = S seconds
& $sk\extract_audio.ps1 -Video <seg1.mp4> -OutWav $w\a1.wav      # 每段做一次
cd $w
python $sk\mix_audio.py <S> mix.wav a1.wav,a2.wav,a3.wav narr <各句開始秒數,逗號分隔>
& $sk\join_v2.ps1 -Clips $clips -Audio $w\mix.wav -OutPath <成品>.mp4
& $sk\join_v2.ps1 -Clips $clips -Audio $w\mix.wav -OutPath <成品>_small.mp4 -Bitrate 6000000
```

- clip 寫法 `VID|檔|起格|止格`:第一段 `0|124`,之後每段 `1|124`;只取某段前 2 秒寫 `1|49`。混合減速段寫 `IMGDIR|<夾>`。
- `mix_audio.py` 的音檔清單不能有空格;沒有旁白時旁白夾寫 `none`。它印的 music 那行若說最後不到 0.6 秒是靜音,屬正常(結尾淡出)。
- 兩支都要做:完整版約 1.5 MB/秒,20 秒就約 30 MB,很多傳檔管道傳不過去,所以另做 `_small`。
- `join_v2.ps1` 成功會印 `RENDER OK: 路徑 大小 尺寸`;它不會覆蓋既有檔案,重做就換檔名。輸出尺寸自動跟第一段影片。

## 7 驗證與交付

宣稱完成前做完這四項(改動大時,另派一個沒看過製作過程的 subagent,只給它驗收條件去查):

1. **看成品**:
   ```
   $t = (0..<總秒數×4> | % { [math]::Round($_ * 0.25, 2) }) -join ','
   & $sk\extract_frames.ps1 -Video <成品>_small.mp4 -OutDir $w\final\frames -Times $t
   python $sk\sheet.py $w\final\frames $w\final\sheet.jpg 3 7
   ```
   Read `sheet.jpg`,確認每段都是你以為的那一版、順序對。
2. **量接縫**:`python $sk\changerate.py $w\final\frames`,再對成品跑步驟 4 的量法。接縫時間點的 jumps 要能解釋(步驟 4 的表)。有用混合減速時,照 `references/seams.md` 第 5 節逐格查。
3. **回聽成品**:`& $sk\extract_audio.ps1 -Video <成品>.mp4 -OutWav $w\final.wav`,`python $sk\stt_check.py $w\final.wav`。每句旁白都要在、順序對。
4. **交付**:把 `_small` 版和一張時間軸圖(關鍵格+旁白)交給使用者,說明直接寫在對話裡。

**回報要誠實**,固定講這幾件:做了/改了什麼、量測結果(改前→改後的數字)、**模型沒照做的地方**、**你驗證不了的地方**(你聽不到聲音、看不到播放起來順不順——語氣、音量、節奏感一定要請使用者自己看過聽過)、今天額度用了幾次。使用者一次通常只講一個問題,修完那一個就交付,其他地方不要順手改。

## 分析別人的 AI 影片(選用)

使用者丟一支影片問「這是怎麼做的」,或要你照它的風格做時,見 `references/analyze-video.md`:讀檔案來源資訊、抽影格看變化、放大字幕區逐格讀字幕、用語音辨識讀旁白、量運鏡。

## 參考檔

- `references/prompts.md` — 提示詞結構、六種段落範本、用字↔鏡頭速度、模型的習性。**寫提示詞前讀。**
- `references/seams.md` — 量接縫、混合減速、接片工具的坑、逐格驗證。**要修接縫或接圖片序列時讀。**
- `references/narration.md` — 旁白怎麼寫、聲音選擇、排時間、核對。**寫旁白前讀。**
- `references/platform.md` — tmuh.ai 端點與額度、憑證放哪、環境需求(Windows、不需 ffmpeg、中文路徑)、每支腳本一行說明。**腳本報錯或要改腳本時讀。**
- `references/analyze-video.md` — 逆向分析一支 AI 影片。
- `references/example/` — 實際用過的提示詞與旁白稿:直式漸變寫實五段(使用者定稿)、橫式維持畫風兩段(測試用,附結果說明)。

裝好之後,這樣開口

在 Claude Code 裡附上圖片,說其中一句就會啟動:

  • 把這張圖做成影片
  • 讓這幅畫動起來
  • 影片再延長一點
  • 幫影片配旁白
  • 接縫有點頓
  • 結尾改成陽光灑進來

或者,請你的 AI 助手自己裝

已登入 tmuh.ai 的老師,可以把下面這段話貼給自己的助手(需要你自己的金鑰):

請幫我安裝 tmuh.ai 上的技能「image-to-video」。
它分成兩份,都要裝、還原到同一個資料夾:
https://tmuh.ai/u/guouu/skills/image-to-video/llms.txt
https://tmuh.ai/u/guouu/skills/image-to-video-scripts/llms.txt
用我的 tmuh.ai 金鑰(Authorization: Bearer)讀取,照裡面的 How to install 做,裝到 Claude Code 的技能資料夾。

使用前要知道