VLA Data Augmentation (Veo 3.1)

Synthetic video samples for vision-language-action (VLA) data augmentation: 8s clips generated with Veo 3.1 on Vertex AI, with per-clip frames and prompt metadata.

Dataset summary

• Model: veo-3.1-generate-001
• Duration: 8 seconds per clip, 16:9, no audio
• Content: Multi-scene prompts (meetings, care, logistics, office, etc.)
• First batch (runs/): 11 prompts × 6 clips each (English prompts); see RUN_PLAN_5D_11PROMPTS_X6.md.
• Second batch (runs_batch2/): 11 prompts × 18 clips each (198 clips total); 简体中文 送 Veo 3；每 prompt batch1a / batch1b / batch1c（各 6 段）。4 天已全部跑完：Day1 p01–p03，Day2 p04–p06，Day3 p07–p09，Day4 p10–p11（36）。见 RUN_PLAN_4D_11PROMPTS_X18.md。
• Structure: Each sub-batch has raw/ (mp4), frames/ (8 frames per clip), meta/ (prompts and run records)

Hugging Face

• Dataset: sou35/vla-data-aug-veo31-test（整仓同步：项目根目录含 runs/、runs_batch2/、脚本与计划文档）。
• 上传示例（需已 hf login）：见 HF_UPLOAD.md。

Repository structure

.
├── README.md
├── RUN_PLAN_5D_11PROMPTS_X6.md     # 首批：5 天，11×6 段（英文）
├── RUN_PLAN_4D_11PROMPTS_X18.md    # 第二批：4 天，11×18 段（简体中文，分 batch1a/b/c）
├── scripts/                         # generate_veo31_door_samples.py
├── runs/                            # 首批
│   ├── day01/ … day05/
│   └── day06/p07_warehouse_pallet_wrapping/batch2/
├── runs_batch2/                     # 第二批（简体中文）
│   └── day01/ … day04/
│       └── pXX_<slug>/batch1a|batch1b|batch1c/   # 各 6 段，合计 18 段 / prompt
├── veo31-door-open-close-egocentric-8s/           # Legacy
├── veo31-management-discussion-8s-batch1/
└── veo31-management-discussion-8s-batch2/

Prompts (11 planned)

p07 补跑（Day 6）：原句含 “stretch wrap”“secures” 等词时两次均 no generated video in response。实际使用 prompt（runs/day06/p07_warehouse_pallet_wrapping/batch2/meta/README.md）：

In a warehouse, a worker moves boxes from a conveyor belt onto a pallet and arranges them neatly. Gender and skin color must be clearly visible.

完整原因与对照见 RUN_PLAN_5D_11PROMPTS_X6.md §10。

p10（Day 5）：原 prompt（“chain store”“checks the work schedule”…）在 batch1 的 clip04 曾返回无视频。用原 prompt 重试，batch3 一次 6 段成功，seed 51013–51018，作为 p10 正式批次。原 prompt 与 RUN_PLAN §3 一致；runs/day05/p10_chainstore_manager_restock/batch3/meta/README.md。batch2 为软化版备用（seed 51007–51012）。

Naming

• Videos: veo31_clipNN_<prompt_id>_8s_veo_3.1_generate_001_seedXXXXX.mp4
• Frames: <video_basename>_frame_01.png … _frame_08.png
• Seeds: Day/prompt/clip encoded (e.g. 10101 = day1 p01 clip1)

Usage

首批（runs/）

• Videos: runs/day01/p01_management_meeting_entry/batch1/raw/*.mp4
• Frames: batch1/frames/*.png
• Meta: batch1/meta/README.md

第二批（runs_batch2/，简体中文）

• 每 prompt 18 段分布在 batch1a/、batch1b/、batch1c/（各 6 个 mp4）。
• 路径：runs_batch2/day01 … day04，每 prompt 下 batch1a|b|c/raw/*.mp4。一键脚本：run_batch2_day02.ps1、run_batch2_day03.ps1、run_batch2_day04.ps1；Day2 中断可用 run_batch2_day02_resume.ps1（从 p05 batch1b 起）。改各脚本内 $proj 如需。
• 完整 prompt 与命令见 RUN_PLAN_4D_11PROMPTS_X18.md。

Generation

Script: scripts/generate_veo31_door_samples.py (Vertex AI, ADC).

首批（英文，6 段）

python scripts/generate_veo31_door_samples.py \
  --project <YOUR_GCP_PROJECT> --location us-central1 \
  --out-dir "runs/day01/p01_management_meeting_entry/batch1" \
  --prompt "…" --prompt-id p01_management_meeting_entry --clips 6 --seed-base 10100 \
  --enhance-prompt

第二批（简体中文，每 prompt 分 3 次 × 6 段）

# 例：p01 第 1 段（seed 10101–10106）
python scripts/generate_veo31_door_samples.py \
  --project <YOUR_GCP_PROJECT> --location us-central1 \
  --out-dir "runs_batch2/day01/p01_management_meeting_entry/batch1a" \
  --prompt "6名高层领导进入会议室开会，在会议桌周围就座。" \
  --prompt-id p01_management_meeting_entry --clips 6 --seed-base 10100 \
  --enhance-prompt

其余 prompt 与 batch1b / batch1c 的 seed-base、路径见 RUN_PLAN_4D_11PROMPTS_X18.md §5。

License

MIT.