From 90cf803913aae76a8a1a4219a53cce27ee0eaef2 Mon Sep 17 00:00:00 2001 From: wataru Date: Wed, 12 Apr 2023 06:44:14 +0900 Subject: [PATCH] update --- README.md | 95 ++++++++++++++++++++++++------------------------------- 1 file changed, 41 insertions(+), 54 deletions(-) diff --git a/README.md b/README.md index 9a614153..2ccac9e0 100644 --- a/README.md +++ b/README.md @@ -4,6 +4,10 @@ ## What's New! +- v.1.5.2.1 + + - 各サポート VC を選択するランチャーを実装しました。これに伴い起動バッチファイルは、`start_http.bat`と`start_https.bat`の二つになります。 + - v.1.5.1.15b - [RVC(Retrieval-based-Voice-Conversion)](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI.git)の軽量化を行いました。精度や応答速度をわずかに落とすことでより低スペックな PC での稼働も可能になりました。 @@ -16,43 +20,24 @@ # VC Client とは -[VC Client](https://github.com/w-okada/voice-changer)は[MMVC](https://github.com/isletennos/MMVC_Trainer), [so-vits-svc](https://github.com/svc-develop-team/so-vits-svc), [RVC(Retrieval-based-Voice-Conversion)](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI)などの AI を使ったリアルタイムボイスチェンジャーのクライアントソフトウェアです。また、リアルタイムボイスチェンジャーで必要となるトレーニング用の音声の録音(MMVC 向け)アプリも提供しています。 +1. 各種音声変換 AI(VC, Voice Conversion)を用いてリアルタイム音声変換を行うためのクライアントソフトウェアです。サポートしている音声変換 AI は次のものになります。 -[解説動画](https://www.nicovideo.jp/watch/sm41507891) +- サポートする音声変換 AI （サポート VC） + - [MMVC](https://github.com/isletennos/MMVC_Trainer) + - [so-vits-svc](https://github.com/svc-develop-team/so-vits-svc) + - [RVC(Retrieval-based-Voice-Conversion)](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) -- MMVC のトレーニングについては[公式ノートブック](https://github.com/isletennos/MMVC_Trainer)をご利用ください。 -- so-vits-svc のトレーニングについては[公式ノートブック](https://github.com/isletennos/MMVC_Trainer)をご利用ください。 - -# 特徴 - -1. 複数のプラットフォームで動作 - Windows, Mac(M1 等 Apple silicon), Linux, Google Colaboratory での動作をサポートしています。 - -2. 音声録音用アプリのインストールが不要 - 音声録音を Github Pages にホストしてあるアプリケーション上で実行可能です。全てブラウザ上で動くため、特別なアプリケーションのインストールは不要です。また、完全にブラウザアプリケーションとして動くのでデータがサーバに送信されることもありません。 - -3. ボイチェンを別の PC 上で実行して負荷を分散 - 本アプリケーションのリアルタイムボイスチェンジャーは、サーバ・クライアント構成で動きます。MMVC のサーバを別の PC 上で動かすことで、ゲーム実況など他の負荷の高い処理への影響を抑えながら動かすことができます。 +2. 本ソフトウェアは、ネットワークを介した利用も可能であり、ゲームなどの高負荷なアプリケーションと同時に使用する場合などに音声変換処理の負荷を外部にオフロードすることができます。 ![image](https://user-images.githubusercontent.com/48346627/206640768-53f6052d-0a96-403b-a06c-6714a0b7471d.png) +3. 複数のプラットフォーに対応しています。 + +- Windows, Mac(M1), Linux, Google Colab (MMVC のみ) + # 使用方法 -詳細は[こちら](https://zenn.dev/wok/books/0004_vc-client-v_1_5_1_x)に纏まっています。 - -# (1) レコーダー（トレーニング用音声録音アプリ） - -MMVC トレーニング用の音声を簡単に録音できるアプリです。 -Github Pages 上で実行できるため、ブラウザのみあれば様々なプラットフォームからご利用可能です。 -録音したデータは、ブラウザ上に保存されます。外部に漏れることはありません。 - -[録音アプリ on Github Pages](https://w-okada.github.io/voice-changer/) - -[解説動画](https://youtu.be/s_GirFEGvaA) - -# (2) プレイヤー（ボイスチェンジャーアプリ） - -MMVC や so-vits-svc でボイチェンを行うためのアプリです。 + 大きく 3 つの方法でご利用できます。難易度順に次の通りです。 @@ -77,33 +62,27 @@ MMVC のモデルをトレーニングが完了している場合、既に Colab 実行形式のバイナリをダウンロードして実行することができます。 Windows 版と Mac 版を提供しています。 -- Mac 版はダウンロードファイルを解凍したのちに、使用する VC に応じた`startHttp_xxx.command`をダブルクリックしてください。開発元を検証できない旨が示される場合は、再度コントロールキーを押してクリックして実行してください(or 右クリックから実行してください)。（詳細下記 \*1） +- Windows 版は、`ONNX(cpu,cuda),PyTorch(cpu)`版と `ONNX(cpu,cuda), PyTorch(cpu,cuda)`版と`ONNX(cpu,DirectML), PyTorch(cpu)`版を提供しています。環境に応じた zip ファイルをダウンロードしてください。ダウンロードした zip ファイルを解凍して、`start_http.bat`を実行してください。 -- Windows 版は、`ONNX(cpu,cuda),PyTorch(cpu)`版と `ONNX(cpu,cuda), PyTorch(cpu,cuda)`版と`ONNX(cpu,DirectML), PyTorch(cpu)`版を提供しています。環境に応じた zip ファイルをダウンロードしてください。ダウンロードした zip ファイルを解凍して、使用する VC に応じた VC に応じた`start_http_xxx.bat`を実行してください。 +- Mac 版はダウンロードファイルを解凍したのちに、`startHttp.command`を実行してください。開発元を検証できない旨が示される場合は、再度コントロールキーを押してクリックして実行してください(or 右クリックから実行してください)。（詳細下記 \*1） -- 各種`startHttp_xxx.command`ファイル(mac)、`start_http_xxx.bat`ファイル(win)で起動できるボイスチェンジャは次の通りです。 +- リモートから接続する場合は、`.bat`ファイル(win)、`.command`ファイル(mac)の http が https に置き換わっているものを使用してください。 -| # | バッチファイル(mac の場合は`.bat`を`.command`に読み替え) | 説明 | -| --- | -------------------------------------------------------- | ---------------------------------------------- | -| 1 | start_http_v13.bat | MMVC v.1.3.x 系のモデルが使用できます。 | -| 2 | start_http_v15.bat | MMVC v.1.5.x 系のモデルが使用できます。 | -| 3 | start_http_so-vits-svc_40.bat | so-vits-svc 4.0 系のモデルが使用できます。 | -| 4 | start_http_so-vits-svc_40v2.bat | so-vits-svc 4.0v2 系のモデルが使用できます。 | -| 5 | start_http_so-vits-svc_40v2_tsukuyomi.bat | つくよみちゃんのモデルを使用します。(変更不可) | -| 6 | start_http_so-vits-svc_40v2_amitaro.bat | あみたろのモデルを使用します。(変更不可) | -| 7 | start_http_RVC.bat | RVC のモデルが使用できます。 | - -- リモートから接続する場合は、各種`.command`ファイル(mac)、`.bat`ファイル(win)の http が https に置き換わっているものを使用してください。 - -- Windows 環境で Nvidia の GPU をお持ちの方は多くの場合は `ONNX(cpu,cuda),PyTorch(cpu)`版で動きます。環境によって極まれに gpu が認識されない場合があります。その場合は `ONNX(cpu,cuda), PyTorch(cpu,cuda)`版の方をご利用ください。（サイズが大きく違います。） +- Windows 環境で Nvidia の GPU をお持ちの方は多くの場合は `ONNX(cpu,cuda), PyTorch(cpu,cuda)`版で動きます。 - Windows 環境で Nvidia の GPU をお持ちでない方は多くの場合は `ONNX(cpu,DirectML), PyTorch(cpu) `版で動きます。 -- Windows 環境で so-vits-svc 4.0/so-vits-svc 4.0v2 をお使いの場合は`ONNX(cpu,cuda), PyTorch(cpu,cuda)`版をご利用ください。 +- つくよみちゃん、あみたろ、黄琴まひろ、黄琴海月、の動作には content vec のモデルが必要となります。こちらの[リポジトリ](https://github.com/auspicious3000/contentvec)から、ContentVec_legacy 500 のモデルをダウンロードして、実行する`startHttp.command`や`start_http.bat`と同じフォルダに配置してください。 -- so-vits-svc 4.0/so-vits-svc 4.0v2 やつくよみちゃんの動作には content vec のモデルが必要となります。こちらの[リポジトリ](https://github.com/auspicious3000/contentvec)から、ContentVec_legacy 500 のモデルをダウンロードして、実行する`startHttp_xxx.command`や`start_http_xxx.bat`と同じフォルダに配置してください。 +- so-vits-svc 4.0/so-vits-svc 4.0v2、RVC(Retrieval-based-Voice-Conversion)の動作には hubert のモデルが必要になります。[このリポジトリ](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main)から`hubert_base.pt`をダウンロードして、バッチファイルがあるフォルダに格納してください。 -- RVC(Retrieval-based-Voice-Conversion)の動作には hubert のモデルが必要になります。[このリポジトリ](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main)から`hubert_base.pt`をダウンロードして、バッチファイルがあるフォルダに格納してください。 +| Version | OS | フレームワーク | link | サポート VC | サイズ | +| --------- | --- | ------------------------------------- | ---------------------------------------------------------------------------------------- | ------------------------------------------------------------------- | ------ | +| v.1.5.2.1 | mac | ONNX(cpu), PyTorch(cpu) | [通常](https://drive.google.com/uc?id=1jaK1ZBdvFpnMmi0PBV8zETw7OY28cKI2&export=download) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC | 635MB | +| | win | ONNX(cpu,cuda), PyTorch(cpu) | [通常](https://drive.google.com/uc?id=1N5kEF8Cr6x9ucFy8ElFbBQWtVQBIXTS3&export=download) | MMVC v.1.5.x, MMVC v.1.3.x, RVC | 596MB | +| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [通常](https://drive.google.com/uc?id=1F7WUSO5P7PT77Zw5xD8pK6KMYFJNV9Ip&export=download) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC | 2794MB | +| | win | ONNX(cpu,DirectML), PyTorch(cpu) | [通常](https://drive.google.com/uc?id=1WJcJTPA8YeEDU2PIZfcgjjbYjRlQneki&export=download) | MMVC v.1.5.x, MMVC v.1.3.x, RVC | 488MB | +| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [通常](https://drive.google.com/uc?id=1QW4YbL3RdKVEdrhVgTuQlR49Xau3W42Z&export=download) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC | 2664MB | | Version | OS | フレームワーク | link | サポート VC | サイズ | | ----------- | ------------------------------------- | ------------------------------------- | ------------------------------------------------------------------------------------------ | ------------------------------------------------------------------- | ------ | @@ -133,13 +112,11 @@ Windows 版と Mac 版を提供しています。 | | win | - | [黄琴海月](https://drive.google.com/uc?id=1fiymPcoYzwE1yxyIfC_FTPiFfGEC2jA8&export=download) | - | 823MB | | | win | - | [あみたろ](https://drive.google.com/uc?id=1Vt4WBEOAz0EhIWs3ZRFIcg7ELtSHnYfe&export=download) | - | 821MB | -\*1 MMVC v.1.5.x は Experimental です。 +\*1 つくよみちゃんはフリー素材キャラクター「つくよみちゃん」が無料公開している音声データを使用しています。（利用規約など、詳細は文末） -\*2 つくよみちゃんはフリー素材キャラクター「つくよみちゃん」が無料公開している音声データを使用しています。（利用規約など、詳細は文末） +\*2 解凍や起動が遅い場合、ウィルス対策ソフトのチェックが走っている可能性があります。ファイルやフォルダを対象外にして実行してみてください。（自己責任です） -\*3 解凍や起動が遅い場合、ウィルス対策ソフトのチェックが走っている可能性があります。ファイルやフォルダを対象外にして実行してみてください。（自己責任です） - -\*4 本ソフトウェアは開発元の署名しておりません。下記のように警告が出ますが、コントロールキーを押しながらアイコンをクリックすると実行できるようになります。これは Apple のセキュリティポリシーによるものです。実行は自己責任となります。 +\*3 本ソフトウェアは開発元の署名しておりません。下記のように警告が出ますが、コントロールキーを押しながらアイコンをクリックすると実行できるようになります。これは Apple のセキュリティポリシーによるものです。実行は自己責任となります。 ![image](https://user-images.githubusercontent.com/48346627/212567711-c4a8d599-e24c-4fa3-8145-a5df7211f023.png) @@ -211,3 +188,13 @@ https://twitter.com/DannadoriYellow/status/1613553862773997569?s=20&t=7CLD79h1F3 # 免責事項 本ソフトウェアの使用または使用不能により生じたいかなる直接損害・間接損害・波及的損害・結果的損害 または特別損害についても、一切責任を負いません。 + +# (1) レコーダー（トレーニング用音声録音アプリ） + +MMVC トレーニング用の音声を簡単に録音できるアプリです。 +Github Pages 上で実行できるため、ブラウザのみあれば様々なプラットフォームからご利用可能です。 +録音したデータは、ブラウザ上に保存されます。外部に漏れることはありません。 + +[録音アプリ on Github Pages](https://w-okada.github.io/voice-changer/) + +[解説動画](https://youtu.be/s_GirFEGvaA)