WebRTC を M121 に更新する #54

enm10k · 2024-01-17T02:42:45Z

変更内容

CHANGES.md の通りです

また、 CHANGES.md に記載しなかった細かい変更点を以下に記載します。

CUDA 11.8 の Windows インストーラーの更新に伴う対応
- Windows の　CUDA を 11.8 に更新したところインストーラーの構成が変更されており、 cuda ディレクトリが cuda_nvcc/cuda と cuda_cudart/cudart の2つに分割されたようでした
- 上記2つを重ね合わせたところ、ビルドが通りました
Ubuntu でのビルド時に _LIBCPP_HARDENING_MODE=_LIBCPP_HARDENING_MODE_EXTENSIVE の指定が必須になったため対応しました
ubuntu-20.04_x86_64, ubuntu-22.04_x86_64 で使用する clang を clang-18 に更新しました

特に確認して欲しい点

CUDA のビルド・エラーの回避方法
libwebrtc の API の変更に伴う src/sora_client_context.cpp の修正
- https://source.chromium.org/chromium/_/webrtc/src.git/+/779c9dede9055823f306032293deac1a8798ef4c:api/create_peerconnection_factory.cc;dlc=b29ff000da596bac9311fe7c6d440354648bc2c3 などを参考に対応しました

メモ

サンプルの feature/update-webrtc-to-m121 ブランチを利用して動作を確認しています
- https://github.com/shiguredo/sora-cpp-sdk-samples/tree/feature/update-webrtc-to-m121
CPP SDK 側のみ Boost, CMake の更新 PR がマージされているので、ローカルでビルドする際はこちらの変更も取り込む必要があるかもしれません
- マージ済みの CPP SDK の PR: VERSION ファイルの更新 (Boost 1.83.0 -> 1.84.0, CMake 3.27.7 -> 3.28.1) #56
- マージされていないサンプルの PR: VERSION ファイルの更新 (Boost 1.83.0 -> 1.84.0, CMake 3.27.7 -> 3.28.1) sora-cpp-sdk-samples#36

TODO

CUDA を更新した際に、 VERSION ファイルへの記載をマイナー・バージョンまでにしてしまっているので、パッチ・バージョンも記載するようにする

melpon · 2024-01-25T10:59:03Z

CHANGES.md

@@ -11,8 +11,17 @@

 ## develop

+- [CHANGE] WebRTC を `m121.6167.3.0` にあげる
+  - libwebrtc から cricket::MediaEngineDependencies が削除されたため、 SoraClientContextConfig から configure_media_dependencies を削除した
+  - 同じく、 libwertc の更新に伴い webrtc::ConnectionContext のメソッド default_network_manager, default_socket_factory を signaling_thread 上で実行することが必須になった


これは以前からそうだったはずです。リリースビルドだと気が付かないから放置されてただけで。

ありがとうございます。
CHANGES.md から記述を削除しました。

melpon · 2024-01-25T11:02:20Z

include/sora/hwenc_nvcodec/nvcodec_decoder_cuda.h

@@ -2,7 +2,11 @@
 #define SORA_HWENC_NVCODEC_NVCODEC_DECODER_CUDA_H_

 #include <memory>
+
+// clang-format off
+#include "sora/fix_cuda_noinline_macro_error.h"


問題のある include があるたびにこのファイルを include するのはきつい

CUDA コンパイル時だけの問題なのに、ヘッダーでこのファイルを include すると、C++ のコンパイルにも影響が出る

なので CUDA ソースの先頭で include して解消するかどうか確認して、それで済むならそうしておきたいです。

be3a060 で対応しました

melpon · 2024-01-25T11:05:39Z

run.py

@@ -699,8 +712,8 @@ def install_bazel(version, source_dir, install_dir, platform: str):
 def install_cuda_windows(version, source_dir, build_dir, install_dir):
    rm_rf(os.path.join(build_dir, 'cuda'))
    rm_rf(os.path.join(install_dir, 'cuda'))
-    if version == '10.2.89-1':
-        url = 'http://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda_10.2.89_441.22_win10.exe'  # noqa: E501


以前のバージョンの URL は残しておいてあげても良さそう

残すことにしました

melpon · 2024-01-25T11:17:56Z

third_party/NvCodec/NvCodec/NvDecoder/NvDecoder.cpp

-  CUresult result =
-      dyn::cuvidGetDecodeStatus(m_hDecoder, pDispInfo->picture_index, &DecodeStatus);
+  CUresult result = dyn::cuvidGetDecodeStatus(
+      m_hDecoder, pDispInfo->picture_index, &DecodeStatus);


この辺のファイルはフォーマットされると、更新時に大変になるのでフォーマットしないでください

戻しました

また、 third_party/NvCodec 以下の自動フォーマットを無効化するための .clang-format を a215b95 で追加しました

.vscode/settings.json で設定したかったのですが、上手くいかなかったため .clang-format を追加することにしました

melpon · 2024-01-25T11:47:10Z

run.py


        # NvCodec
        if platform.target.os in ('windows', 'ubuntu') and platform.target.arch == 'x86_64':
            cmake_args.append('-DUSE_NVCODEC_ENCODER=ON')
            if platform.target.os == 'windows':
-                cmake_args.append(f"-DCUDA_TOOLKIT_ROOT_DIR={cmake_path(os.path.join(install_dir, 'cuda', 'nvcc'))}")
+                cmake_args.append(f"-DCUDA_TOOLKIT_ROOT_DIR={cmake_path(os.path.join(install_dir, 'cuda'))}")


nvcc ディレクトリが消えると

sora-cpp-sdk/.github/workflows/build.yml

Line 54 in a37a764

path: _install\windows_x86_64\release\cuda\nvcc

ここのキャッシュが使えなくなっちゃうかも

キャッシュのパスを修正しました
4c214d1

enm10k · 2024-01-26T06:24:54Z

@melpon 指摘を受けた箇所を修正しました
ご確認お願いいたします

torikizi · 2024-01-26T07:10:14Z

.github/workflows/build.yml

@@ -47,11 +47,11 @@ jobs:
      # CUDA のインストールバイナリのダウンロードは 3GB ぐらいあって、
      # ビルドの度に取得するのはつらいのでキャッシュする
      # （インストールする nvcc は解凍後で 100MB 程度なのでキャッシュ可能）


細かいですがここのコメントは nvcc でなくなったのでこのコメントは不要になりますか？

パスを変更しましたが、中身は変わっていない (= nvcc ) なので、このままでも良いかなと思いました

なるほど。それでしたら残したままで良さそうです。🙏

melpon · 2024-01-26T07:39:01Z

src/sora_client_context.cpp

@@ -1,15 +1,21 @@
+#include <iostream>


標準ライブラリは #include "sora/sora_client_context.h" の下でインクルードして下さい。他のファイルではそうなってるはず。

確認したところ、消してもビルドが通りました
デバッグ中に追加してしまったようです

melpon

よさそう

enm10k · 2024-01-29T08:29:49Z

レビューありがとうございます
マージします

enm10k force-pushed the feature/update-webrtc-m121 branch 4 times, most recently from 1151cab to 41ace3e Compare January 24, 2024 05:56

torikizi and others added 15 commits January 25, 2024 15:00

WebRTC を m121.6167.3.0 に上げる

1790263

Ubuntu でビルドする際の install_boost_args に _LIBCPP_HARDENING_MODE の指定が必要だった

e329eca

Lyra にも _LIBCPP_HARDENING_MODE の指定が必要だった

1fc82be

VPL と Blend2S にも _LIBCPP_HARDENING_MODE を指定する

1577a1e

Blend2D への追加方法が間違っていたので修正する

4cd6858

sora にも _LIBCPP_HARDENING_MODE を指定する

d519122

Lyra への指定が漏れていたので追加する

01be8ce

webrtc::ConnectionContext::Create が Environment を引数にとるようになったので対応する

0864183

Android の test にも _LIBCPP_HARDENING_MODE の指定が必要だった

8fa0fec

clang と CUDA のバージョンを上げる

c763309

llvm/llvm-project-release-prs#698 を参考にビルド・エラーを修正する

6f83209

Windows で利用する CUDA も 11.8 にする

7421e5f

CUDA のバージョン・アップに伴い、ディレクトリの構成が変わり nvcc が nvcc と cudart に分割されていた

291be2e

include/sora/fix_cuda_noinline_macro_error.h を追加する

706d793

libwebrtc M121 に対応する

43ea5d3

enm10k force-pushed the feature/update-webrtc-m121 branch from 41ace3e to 43ea5d3 Compare January 25, 2024 06:07

CHANGES.md を更新する

108c476

enm10k force-pushed the feature/update-webrtc-m121 branch from abd64a0 to 108c476 Compare January 25, 2024 06:26

enm10k requested review from melpon and torikizi January 25, 2024 06:48

enm10k marked this pull request as ready for review January 25, 2024 06:48

melpon reviewed Jan 25, 2024

View reviewed changes

enm10k added 3 commits January 26, 2024 10:40

インストールするパッケージを (cuda-toolkit ではなく) cuda にすることでパッチ・バージョンが指定できた

c89cee7

CHANGES.md を更新する

3b18e8c

CUDA の Windows インストーラーの URL を残す

31fa477

enm10k added 2 commits January 26, 2024 11:22

Windows で CUDA をキャッシュするパスを変更する

4c214d1

git checkout origin/develop -- third_party/NvCodec/

03eb1f8

enm10k force-pushed the feature/update-webrtc-m121 branch from db27312 to a1f62c1 Compare January 26, 2024 03:09

enm10k added 2 commits January 26, 2024 13:23

third_party/NvCodec は自動フォーマットしない

a215b95

CUDA のビルド・エラーを修正するマクロをヘッダーで include するのを止める

be3a060

enm10k force-pushed the feature/update-webrtc-m121 branch from a1f62c1 to be3a060 Compare January 26, 2024 04:26

torikizi reviewed Jan 26, 2024

View reviewed changes

melpon reviewed Jan 26, 2024

View reviewed changes

不要な include を削除する

aec1aa0

torikizi approved these changes Jan 26, 2024

View reviewed changes

melpon approved these changes Jan 29, 2024

View reviewed changes

enm10k merged commit d7a4bab into develop Jan 29, 2024
8 checks passed

enm10k deleted the feature/update-webrtc-m121 branch January 29, 2024 08:31

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

WebRTC を M121 に更新する #54

WebRTC を M121 に更新する #54

enm10k commented Jan 17, 2024 •

edited

Loading

melpon Jan 25, 2024

enm10k Jan 26, 2024

melpon Jan 25, 2024

enm10k Jan 26, 2024

melpon Jan 25, 2024

enm10k Jan 26, 2024

melpon Jan 25, 2024

enm10k Jan 26, 2024

melpon Jan 25, 2024

enm10k Jan 26, 2024

enm10k commented Jan 26, 2024

torikizi Jan 26, 2024 •

edited

Loading

enm10k Jan 26, 2024

torikizi Jan 26, 2024 •

edited

Loading

melpon Jan 26, 2024

enm10k Jan 26, 2024

melpon left a comment

enm10k commented Jan 29, 2024

WebRTC を M121 に更新する #54

WebRTC を M121 に更新する #54

Conversation

enm10k commented Jan 17, 2024 • edited Loading

変更内容

特に確認して欲しい点

メモ

TODO

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

enm10k commented Jan 26, 2024

torikizi Jan 26, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

torikizi Jan 26, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

melpon left a comment

Choose a reason for hiding this comment

enm10k commented Jan 29, 2024

enm10k commented Jan 17, 2024 •

edited

Loading

torikizi Jan 26, 2024 •

edited

Loading

torikizi Jan 26, 2024 •

edited

Loading