Whisper Transcriptionで英語動画に日本語字幕をつける

基本的に「忙しい」人には、物事を頼めない。頼んだとしても「忙しい」のでやってもらえない。やっていただいたとしても禍根を残すかもしれない。ただ本当に「忙しい」のかどうかは疑問が残る。本当に「忙しい」（しかし、やることができる、やらなきゃいけない）のであれば、忙しいので、何日後にできるとか、納期をいってくるはずなんだが。

例えば、家の改修を業者に依頼したときに、「今、忙しいです。」とだけいう業者と「今、忙しいです。XX日以降だったらできます。」という業者がいたとしたら、

前者の業者は、すでに業者選定から漏れる、後者ならまだ検討業者に残っているはず。

さらに、その頼もうとした仕事にも焦点を当てると、それって、「本当に頼む仕事だったのか？」ということも考える必要がある。実は、他の方法でやれば頼む必要はないということもある。

そう、そこで、AIの登場、「仕事を頼む方」がAIでうまく処理すれば、そもそも「頼む必要はない」ということも十分ありうる。今回は、そんなテーマでのエントリ。

ただ、こうやって、人の仕事が奪われていくんだなということに。。。単に仕事がなくなり効率化されればいいが、同時に頼まれるべき人の存在意義まで奪われてしまうことがあることを世間はあまり論じていないような気がする。

 

閑話休題

 

ヒョンなことで、英語の動画をアテレコする必要があった。要は、声優吹替みたいな感じで。いい声でもないのでなんとなく面倒だなぁと。

結局、アテレコをしなかった。。。その顛末は。。。

 

アテレコをするのに、まず、英語の時間をそのまま聞いて、理解する必要がある。つまり、例えば１時間のビデオの場合がっつり英語動画を見て理解しなければならない。

さらに、その動画のしゃべっていることを日本語で吹き込む必要がある。

つまり、

1. 英語動画から英文スクリプトを取り出す

2. 英文スクリプトを日本語スクリプトにする

3. 日本語でアテレコをする

という工程が必要だが、1、2の工程をしてくれる上に字幕を作ってくれるソフトウェアがあった。3のアテレコは出力された日本語字幕になるので不要。

 

必要な環境

Applie SiliconのMAC（Intel Macで試したことはないが、中身の仕様的に難しそう）

できれば、M2以上のCPUでメモリはたくさんあったほうがいい。

 

必要なソフトウェア

Whisper Transcription

https://apps.apple.com/jp/app/whisper-transcription/id1668083311?l=en-US&mt=12

パーペチャルライセンスで6000円

 

ちなみに以下でも入手ができる。

MacWhisper

https://goodsnooze.gumroad.com/l/macwhisper/gumroadday2024

US$43.45（セールで、US$23.40で買えた。）

 

なくてもいいが字幕の修正に便利

Subtitle Factory　（字幕工房）

https://apps.apple.com/jp/app/subtitle-factory/id595916528?l=en-US&mt=12

たしか800円

 

homebrew

https://brew.sh/ja/

これは当たり前だが無償。ここからffmpegをインストールする

 

Whisper Transcription

無料とサブスクと、パーペチュアルライセンス(6000円）があるが、試してみるとパーペチュアルが一番お得に感じた。

このソフトウェアは何をしてくれるのかというと、

英語スピーチの動画や音声ファイル、またはメディア入力をOpenAIのWhisperを使って、スクリプト化してくれる。この発音認識のところで、AIが効果を発揮する。

さらに、その言語のテキストスピーチを翻訳までしてくれる。動画の場合は、それぞれ字幕(srt）にしてくれる。

まさに必要としているものがオールインワン！

 

使い方

ダウンロードしたらまず、Whisper Transcriptionを起動する。

 

課金後の画面であることに注意。

音声、動画ファイルだろうが、マイク入力、アプリケーション入力などなんでもござれ状態。

Management Modelsをクリックする

課金しないと、大きいモデルは使えない。おすすめは、Large V2あるいはV3（課金しないと使えない）

必要なものをまず、ダウンロードをして、DownloadをしたらActiveにする。

次に、右上の言語環境を設定する。

いきなり翻訳済みのも出せるのだが、元の言語と同じものにしておいたほうがいい。あとで日本語がだせる。

Open Filesで動画ファイルを開く

著作権フリーの動画がなかったので、自作した。mp4ファイルに英語スピーチをいれたかっただけなので、動画自体は適当

test.mp4

サイズとモデルによっては結構時間がかかる。M2 MACで1時間のファイルが30分ぐらいはかかる。（放置していたのでよく見ていないが。）

 

こんな感じで認識される。

上のTranscriptをSegmentにすると字幕形式になる。

動画に字幕をつけて確認も可能

右上のTranslate to…で言語を指定すると翻訳が可能。

 

翻訳済みの動画も出せる。

英語の字幕

test.srt

日本語の字幕

test.ja.srt

この言語認識はファイルとして保存もできる。

 

この状態で。VLCで再生をする。

brew install ffmpeg

ffmpeg -i test.mp4 -vf subtitles=test.ja.srt test-output.mp4