A Bug I Gave Up On​

大约两年前，我把SRS底层的协程库State Threads（ST）通过Cygwin移植到Windows。协程切换没问题，但只要开启SRT，SRS就会崩溃。查了两周，才找到原因：SRT使用了C++异常，而Windows上的C++异常是基于SEH实现的，SEH依赖一些寄存器，协程切换时必须保存和恢复这些寄存器。我找不到足够的资料说明这些寄存器，最终只好放弃了。

最近我拿同样的问题问AI，它6分钟就写了一个测试程序，说已经解决了。然后我用一个新的Skill，srs-autopilot，让它全自动运行。九个小时后，它把ST移植到了原生Windows平台，没有用Cygwin，C++异常的测试也通过了。

这是AI第一次解决了我没解决的问题。但快并不是最有意思的地方。

The Real Question Is Trust​

让AI无人监督地运行很容易：Claude有--dangerously-skip-permissions参数，Codex有--yolo参数。你可以让AI把SRS用Go或Rust重写，甚至还能跑起来。但这真的是同一个SRS吗？还能继续维护吗？敢上线吗？

人写的代码，如果变更比较小，有测试，而且有人做Code Review，一般就可以放心上线。AI的变更从来都不小，也没人能逐行Review这么多代码。剩下唯一真正的保障，就是非常完整的测试。

Most of What AI Writes Is Tests​

以AI最近实现的一个功能为例：WebRTC的RFC 4588 RTX，提交3fc1810a4（#4746），新增了8928行代码：

测试和测试工具共8310行，占这次变更的93.1%，用来证明451行功能代码是正确的：每一行功能代码，大约有18行测试。没有哪个人类维护者是这样工作的。人一般是先写功能，有时间再补几个测试。AI先写测试，而且覆盖所有情况，因为对它来说，写测试几乎没有成本。

ST也是一样：AI把它的测试覆盖率从45%提升到了96%，还为它的关键功能增加了集成测试。

这些测试并不是凑数的测试。人给已有代码补测试时，测试往往会重复代码的错误：代码是错的，测试也认为它是对的。AI可以对照文档、RFC和其他实现来检查代码，所以它写的测试能真正找到bug。SRS的很多bug就是这样找到的。即使是解决bug，也要先写一个测试证明这个bug存在，否则可能解决的是一个并不存在的问题。

Tests Must Be Local and Fast​

保证AI正确的测试，必须能在本地运行。用GitHub Actions测试一次变更，每轮至少要20分钟。在本地，全部测试只需要大约1分钟，而且AI能看到所有的结果，所以它能很快发现并纠正自己的错误。

只有单元测试是不够的，功能和接口需要真正的集成测试。SRS有回归测试、黑盒测试和脚本测试，它们会启动真实的SRS，用FFmpeg和SRS Bench等工具来测试。以前跑一轮完整的测试要20分钟；改进了端口分配之后，多个SRS可以并行运行，跑完一轮只要1分钟。缺少工具时，就让AI自己写。RTX提交中的WHIP和WHEP测试工具，就是AI写的。

有了这些测试，我可以放心地合并AI的大变更。没有这些测试，就只能祈祷模型永远不犯错误。

Testable Code Is Maintainable Code​

要测试所有代码，代码就必须能被Mock：依赖接口，而不是依赖实现。现在SRS的每个类都实现了一个接口，而且只依赖其他接口，所以测试可以把任何依赖替换成Mock对象，完全控制它。

这次重构改动了大量的代码，非常无聊，没有人愿意主动去做。AI做了。结果是代码更容易理解、测试和修改，无论对AI还是对人。

Skills Turn the Process into Rules​

只有测试还不够，AI还需要定义好的工作流。SRS把工作流写成了Skill，放在skills目录中：

• srs-develop是代码和文档的索引，AI不用搜索整个项目就能找到正确的文件，也不会让无关的内容填满上下文。它还要求测试驱动开发：先写测试，再写代码。
• srs-autopilot根据一个计划文件执行大型任务。主Agent先和我讨论背景和目标，写好计划，然后每个任务启动一个Subagent。每个Subagent实现、测试并提交一个任务。主Agent保持很小，只检查进度，所以可以连续运行几个小时。

Skill不过就是文档。你也可以每次都把这些话和AI说一遍，但有了Skill，你只需要说一次。

What the Maintainer Still Does​

如果AI能自己正确地完成工作，那我还需要做什么？

• 读计划。 计划说明了背景和步骤，基本不涉及代码。读RTX的计划，让我学到了RTX是什么、如何工作，也让我知道AI是否理解了这个问题。如果有遗漏或者说得不清楚，那就是bug的来源。
• 做选择。 理论上RTX也可以用于音频，最初的计划也包括了音频。但Chrome只对视频使用RTX，所以我选择只支持视频。这些选择来自经验，这也是同一个模型，不同的人用会得到不同结果的原因。
• 异步Review。 大部分测试代码我不Review，因为AI会遵守测试规范。但核心变更我一定会Review。AI每完成一个任务就提交，并更新计划；另一个Agent帮我在单独的Review分支上Review这些提交，同时主循环继续运行。我不会阻塞AI，AI也不用等我。

Conclusion​

AI就像挖掘机。有了挖掘机，就不再需要用锄头挖了。以前，我只能维护Linux版本的SRS；现在，同样的时间，我可以维护跨平台的服务器和配套的客户端，而且代码的测试比我手写的时候任何时候都更完整。

SRS is a simple, high efficiency and realtime video server, supports RTMP/WebRTC/HLS/HTTP-FLV/SRT.

Information for Students​

Getting Started​

1. Get to know SRS. If you are a student interested in contributing to SRS, it is recommended to start by join to the SRS Discord and exploring both the codebase and the development workflow. Feel free to contact us if you have any questions. Also do not hesitate to answer questions from other students on our Discord channel if you know the answer to something.
2. Find a project. Listed on this page are mentored and un-mentored projects. Mentored projects are well-defined and mentor(s) have already volunteered. Un-mentored projects are additional ideas you may want to consider, but you will have to contact us to find a mentor. You can also propose your own project, if you can think of one that better fits your interest and skill level. If a project description is unclear or you have any questions, please get in touch with its mentor and/or join our Discord channel at #general.
3. Contact us. If you decide on a project, get in touch with the community and let us know. If you want to work on a qualification task, let the respective mentor know so we can avoid duplicated efforts.
4. Apply. Students should apply definitely before deadline on April 8th. The "work" period begins on June 2th and ends in September. Take a look at GSoC timeline for additional information. Note, make sure you apply to Google before April 19th, even if you have not yet finished your qualification task. Please apply as soon as possible: Applications can be improved until the 19th but not afterwards!

Note: A friendly reminder that while the application to GSoC is important for you and GSoC, SRS mentors will not base their decision solely on the GSoC application. We will judge applicants based on their qualification tasks to understand their abilities in coding, learning the tools, communication skills etc. So please do not worry about your application being perfect for us. Although it is very important to follow GSoC's application rules so they can pay you.

Qualification Tasks​

In order to get accepted you have to complete a small qualification task which in all cases include sending a patch to the development mailing list. SRS development can be quite challenging and the qualification task helps us figure out whether you are motivated enough and have the potential to deliver successfully.

The qualification tasks are usually shown in the project description. Contact the respective mentor(s) for assistance on getting a related qualification task or if you want to propose your own. You can also browse the SRS Bug Issue for qualification task ideas. In general qualification tasks should include submitting a patch to the SRS Bug Issue which passes review and is accepted into the SRS codebase. It will be common for such patches to need multiple iterations of submissions and reviews, so don't wait too long with the first submission! Note, please avoid picking a qualification task which another student is already working on, each student should work on a different qualification task.

Development​

If you are selected for a particular project then you are not only expected to present a working implementation but you should also submit your work for inclusion for the SRS codebase. This should be done at least 2-3 weeks before the end of the second work period by sending patches to the SRS Bug Issue&Discord where the SRS community and your mentor will review your work. You will likely be asked to make some changes and resend improved versions. If you feel that no consensus is reached about how something should be done then follow the advice of your mentor.

In order to create good quality patches make sure to read the Developer Documentation.

Contacting SRS​

If you have questions or comments feel free to contact us via our mail, Discord one of the SRS GSoC admins:

• Discord: #general
• SRS GSoC Admins: Winlin (winlin in #general on Discord, winlinvip at gmail dot com ), Devin (Devin in #general on Discord, devin at ossrs dot io), LiuQi (Steven in #general on Discord, lq at chinaffmpeg dot org) You may also contact a mentor directly if you have questions specifically related to one of the projects listed on this page.

Mentored Project Ideas​

This section lists well-defined projects that have one or more available mentors. If you are new to SRS, and have relatively little experience with multimedia, you should favor one of these ideas rather than propose your own. Contact the respective mentor(s) to get more information about the project and the requested qualification task.

1. YAML Configuration File Support​

2. HLS LLHLS mode​

3. Coroutine-based DNS Resolution in SRS Network Library ST (State-Thread)​

4. HLS Support for CMAF​

5. Enhanced RTMP (V2)​

Introduction​

每个流在SRS服务器上有个Source对象，用于管理流的生命周期。为了逻辑和代码简单，SRS一直没有释放Source对象；在流特别多的情况下， 比如不断更换推流的地址，会导致内存不断增长和泄露。

之前绕过这个问题的办法，就是半夜三更重启服务。SRS支持Gracefully Quit， 会在没有连接时重启服务，但是这个方法并没有彻底解决这个问题。

为了解决这个问题，我们引入了Smart Pointer，用于管理Source对象的生命周期。我们并没有使用C++ 11，因为SRS需要支持在各种不同的环境编译。 相反，我们实现了一个简化版本的Smart Pointer，只支持了部分功能。

Design​

在处理这个问题之前，我们需要改进 SRS 的 shared ptr，它用于 RTMP 共享消息、GB 会话以及未来的源对象。

参考 使用 C++11 的智能指针， 智能指针有三种类型：

• Shared ptr：类似于用于 RTMP 消息的 SrsSharedPtrMessage 和用于 GB28181 的 SrsLazyObjectWrapper。
• Weak ptr：在 SRS 5.0 版本之前没有这种指针。我们可以通过消除任何指针的循环引用来避免这种情况。
• Unique ptr：对应的指针是 SrsAutoFree，它在本地范围内释放指针。

如果我们仔细设计并限制智能指针的使用，例如没有循环链接，这意味着我们不需要 weak ptr，我们可以为 SRS 实现一个简单且易于维护的智能指针。 我们还考虑以下特性：

• 继承：不要在智能指针中使用继承，尽管我们可以编写正确的代码，但讨论起来很复杂。
• 比较：不支持比较智能指针，因为我们只需要自动管理内存。
• make_shared：不支持这个辅助函数，因为我们不考虑通过 new 操作符的性能问题。
• shared_from_this：不支持这个辅助模板，因为我们不需要这个特性。
• make_unique：不支持这个，因为我们允许裸 new 操作符，并且需要仔细的代码审查。

我们不想切换到 C++11，因为我认为现代的 C++ 11/14/17/20 实在是糟糕的东西，没有解决任何问题，反而引入了很多糟糕的语法糖。 我们不需要任何语法糖，这对交流非常有害。我们经历了很多智能指针和语法糖的灾难，所以我们希望保持使用非常简单：

1. 无语法糖：没有 weak ptr，没有 make shared，没有 make unique，没有继承，没有比较，没有循环引用，没有 C++11/14/17/20/22 等等。
2. 如果确实需要任何 API，请遵循 C++ 标准 API，不要发明新的轮子，不要有新的函数和名称。
3. 仔细的代码审查，程序员应该对代码和内存问题负责。

另一方面，我们不应该重新发明轮子，特别是对于智能指针，所以我们必须使用几乎相同的 C++ 标准库 API。这就是为什么我们应该学习 C++11 并重构 SRS 中类似的智能指针。

智能指针在仅涉及内存管理时可能看起来很简单，但当你深入到继承、复制、比较、性能、循环引用、指针转换、创建以及 "no naked new" 的纯粹主义时， 它们的功能变得显著丰富。实际上，C++ 程序的主要问题源于程序员的胡搞乱搞，而这种纯粹主义和各种语法糖使得在公司中很难注意到这些问题， 大量代码被提交，使用各种新特性，并且时间紧迫。

C++ 的真正地狱之门不是 C 的有限旧特性，而是它大量的新特性。

Shared Ptr​

我们实现了一个简单的Shared Ptr，支持了引用计数和自动释放，参考 #6834ec2

template<class T>
class SrsSharedPtr
{
private:
    // The pointer to the object.
    T* ptr_;
    // The reference count of the object.
    uint32_t* ref_count_;

使用时，和std::shared_ptr差不多，不过支持的接口更少：

SrsSharedPtr<MyClass> ptr(new MyClass());
ptr->do_something();

SrsSharedPtr<MyClass> cp = ptr;
cp->do_something();

实际上还涉及到一些拷贝构造、赋值和移动构造，以及一些操作符重载，详细可以参考代码和utest的例子，总体上讲这部分是比较简单的实现。

Shared Resource​

除了Shared Ptr智能指针，我们还支持了Shared Resource，主要实现了ISrsResource接口，可以被ResourceManager释放， 参考 #6834ec2

template<typename T>
class SrsSharedResource : public ISrsResource
{
private:
    SrsSharedPtr<T> ptr_;

实际上，Shared Resource和Shared Ptr拥有完全一样的接口，不过我们没有使用继承，而是组合的方式。使用起来和Shared Ptr也是一样， 不过可以使用Manager管理它：

SrsSharedResource<MyClass>* ptr = new SrsSharedResource<MyClass>(new MyClass());
(*ptr)->do_something();

ISrsResourceManager* manager = ...;
manager->remove(ptr);

在实际的应用场景中，往往Resource是由一个coroutine管理，比如GB SIP连接，会启动一个独立的coroutine服务这个连接。类似的还有GB Media连接，GB Session会话，RTC TCP连接等。我们创建了一个Executor实现这个通用逻辑：

SrsExecutorCoroutine::SrsExecutorCoroutine(ISrsResourceManager* m, ISrsResource* r)
{
    resource_ = r;
    manager_ = m;
    trd_ = new SrsSTCoroutine("ar", this, resource_->get_id());
}

SrsExecutorCoroutine::~SrsExecutorCoroutine()
{
    manager_->remove(resource_);
    srs_freep(trd_);
}

srs_error_t SrsExecutorCoroutine::cycle()
{
    srs_error_t err = handler_->cycle();
    manager_->remove(this);
    return err;
}

因此我们可以很方便的使用Executor管理这类Resource：

SrsGbSipTcpConn* raw_conn = new SrsGbSipTcpConn();
SrsSharedResource<SrsGbSipTcpConn>* conn = new SrsSharedResource<SrsGbSipTcpConn>(raw_conn);
SrsExecutorCoroutine* executor = new SrsExecutorCoroutine(_srs_gb_manager, conn, raw_conn, raw_conn);
if ((err = executor->start()) != srs_success) {
    srs_freep(executor);
    return srs_error_wrap(err, "gb sip");
}

值得强调的是，Execuctor和Smart Ptr本身没有关联，只是为了解决一类通用的场景而设计的机制。否则多个地方都需要实现重复的逻辑， 相反会更复杂。此外，由于Executor引用的是ISrsResource，因此我们使用Resource Ptr指针对象，而不是直接使用Shared Ptr指针。

GB28181​

GB28181的SIP和Media是两个独立的协议，也是两个独立的传输通道，因此涉及到对象的独立生命周期和引用和管理，参考 #4080 的说明，如下图所示：

SIPTcpConn就是GB的SIP对象，一般侦听的是TCP 5060端口，负责设备注册和信息收集。MediaTcpConn是GB的媒体传输对象，传输的是PS流。 GB Session是由SIPTcpConn或MediaTcpConn对象创建，管理GB会话。

实际上，Session、SIPTcpConn、MediaTcpConn都是Shared Resource管理的对象。Session使用Shared Resource引用SIPTcpConn和MediaTcpConn。 但是SIPTcpConn和MediaTcpConn引用的是Session的裸指针，而不是Shared Resource。这是因为我们没有实现Weak Ptr，不支持循环引用。

WebRTC over TCP​

WebRTC over UDP是默认的传输方式，由于UDP是没有连接，因此SRS只需要一个RTC Connection对象管理RTC会话。而WebRTC over TCP 则新增了一个TCP连接，我们使用SrsRtcTcpConn管理这个Tcp连接。参考 #4083

SrsRtcConnection使用Shared Resource引用SrsRtcTcpConn对象，而SrsRtcTcpConn直接引用SrsRtcConnection的裸指针， 因为SrsRtcConnection的生命周期是更长的。

class SrsRtcTcpConn
{
private:
    // Because session references to this object, so we should directly use the session ptr.
    SrsRtcConnection* session_;
};

class SrsRtcTcpNetwork: public ISrsRtcNetwork
{
private:
    SrsSharedResource<SrsRtcTcpConn> owner_;
};

由于我们没有实现shared_from_this，所以我们需要把Shared Resource传递给SrsRtcTcpConn，最终是由Executor和SrsRtcConnection管理这个指针。 由于SrsRtcTcpConn是启动了协程服务这个对象，所以我们使用Executor管理它：

resource = new SrsRtcTcpConn(new SrsTcpConnection(stfd2), ip, port);

SrsRtcTcpConn* raw_conn = dynamic_cast<SrsRtcTcpConn*>(resource);
SrsSharedResource<SrsRtcTcpConn>* conn = new SrsSharedResource<SrsRtcTcpConn>(raw_conn);
SrsExecutorCoroutine* executor = new SrsExecutorCoroutine(_srs_rtc_manager, conn, raw_conn, raw_conn);
if ((err = executor->start()) != srs_success) {
    srs_freep(executor);
    return srs_error_wrap(err, "start executor");
}

在使用Smart Ptr之前，我们需要在SrsRtcConnection和SrsRtcTcpConn对象释放时，释放对方。而使用Smart Ptr之后，这个逻辑就没有了， 而是只需要释放SrsRtcTcpConn即可，SrsRtcTcpConn是会自动释放的。

SRT Source​

SRT的Source也涉及到如何清理的问题，但相对比较简单，只需要修改为Shared Ptr即可，详细参考 #4084

class SrsSrtSourceManager
{
public:
    virtual srs_error_t fetch_or_create(SrsRequest* r, SrsSharedPtr<SrsSrtSource>& pps);
    virtual void eliminate(SrsRequest* r);
};

SrsSharedPtr<SrsSrtSource> srt;
if ((err = _srs_srt_sources->fetch_or_create(r, srt)) != srs_success) {
    return srs_error_wrap(err, "create source");
}

值得注意的是，Source实际上管理了Consumer，所以在Consumer中我们使用的是Source的裸指针：

class SrsSrtConsumer
{
private:
    // Because source references to this object, so we should directly use the source ptr.
    SrsSrtSource* source_;
};

在没有推流和播放时，释放Source对象：

void SrsSrtSource::on_consumer_destroy(SrsSrtConsumer* consumer)
{
    // Destroy and cleanup source when no publishers and consumers.
    if (can_publish_ && consumers.empty()) {
        _srs_srt_sources->eliminate(req);
    }
}

void SrsSrtSource::on_unpublish()
{
    // Destroy and cleanup source when no publishers and consumers.
    if (can_publish_ && consumers.empty()) {
        _srs_srt_sources->eliminate(req);
    }
}

释放Live Source的逻辑稍微有所不同(未来会改成一样)，不过智能指针的使用是一致的。

WebRTC Source​

和SRT类似，WebRTC的Source也比较简单，只需要修改为Shared Ptr即可，详细参考 #4085

class SrsRtcSourceManager
{
public:
    virtual srs_error_t fetch_or_create(SrsRequest* r, SrsSharedPtr<SrsRtcSource>& pps);
    virtual SrsSharedPtr<SrsRtcSource> fetch(SrsRequest* r);
    virtual void eliminate(SrsRequest* r);
};

值得注意的是，Source实际上管理了Consumer，所以在Consumer中我们使用的是Source的裸指针：

class SrsRtcConsumer
{
private:
    // Because source references to this object, so we should directly use the source ptr.
    SrsRtcSource* source_;
};

WebRTC Source Manager支持了一个fetch的API，它可能会返回空的指针，例如：

SrsSharedPtr<SrsRtcSource> source = _srs_rtc_sources->fetch(ruc->req_);
is_rtc_stream_active = (source.get() && !source->can_publish());

在没有推流和播放时，释放Source对象：

void SrsRtcSource::on_consumer_destroy(SrsRtcConsumer* consumer)
{
    // Destroy and cleanup source when no publishers and consumers.
    if (!is_created_ && consumers.empty()) {
        _srs_rtc_sources->eliminate(req);
    }
}

void SrsRtcSource::on_unpublish()
{
    // Destroy and cleanup source when no publishers and consumers.
    if (!is_created_ && consumers.empty()) {
        _srs_rtc_sources->eliminate(req);
    }
}

释放Live Source的逻辑稍微有所不同(未来会改成一样)，不过智能指针的使用是一致的。

Live Source​

Live Source是最复杂的改进，主要是因为HTTP Streaming中也使用到了Source，详细参考 #4089。

因此我们需要先删除一些不必要的对Source的引用，而改成从manager获取：

srs_error_t SrsLiveStream::do_serve_http(ISrsHttpResponseWriter* w, ISrsHttpMessage* r)
{
    SrsSharedPtr<SrsLiveSource> live_source = _srs_sources->fetch(req);
    if (!live_source.get()) {
        return srs_error_new(ERROR_NO_SOURCE, "no source for %s", req->get_stream_url().c_str());
    }
};

Manager的定义如下，值得注意的是它使用一个Timer检查和释放Source，这个逻辑和SRT/RTC不一致，未来会修改成一致的：

class SrsLiveSourceManager : public ISrsHourGlass
{
public:
    virtual srs_error_t fetch_or_create(SrsRequest* r, ISrsLiveSourceHandler* h, SrsSharedPtr<SrsLiveSource>& pps);
    virtual SrsSharedPtr<SrsLiveSource> fetch(SrsRequest* r);
};

值得注意的是，Source实际上管理了Consumer/OriginHub/Edge等对象，所以在Consumer等对象中我们使用的是Source的裸指针：

class SrsEdgeIngester : public ISrsCoroutineHandler
{
private:
    // Because source references to this object, so we should directly use the source ptr.
    SrsLiveSource* source_;
};

class SrsEdgeForwarder : public ISrsCoroutineHandler
{
private:
    // Because source references to this object, so we should directly use the source ptr.
    SrsLiveSource* source_;
};

class SrsLiveConsumer : public ISrsWakable
{
private:
    // Because source references to this object, so we should directly use the source ptr.
    SrsLiveSource* source_;
};

class SrsOriginHub : public ISrsReloadHandler
{
private:
    // Because source references to this object, so we should directly use the source ptr.
    SrsLiveSource* source_;
};

Manager使用定时器检查和释放Source：

srs_error_t SrsLiveSourceManager::notify(int event, srs_utime_t interval, srs_utime_t tick)
{
    srs_error_t err = srs_success;

    std::map< std::string, SrsSharedPtr<SrsLiveSource> >::iterator it;
    for (it = pool.begin(); it != pool.end();) {
        SrsSharedPtr<SrsLiveSource>& source = it->second;

        if (source->stream_is_dead()) {
            const SrsContextId& cid = source->source_id();
            srs_trace("cleanup die source, id=[%s], total=%d", cid.c_str(), (int)pool.size());
            pool.erase(it++);
        } else {
            ++it;
        }
    }

    return err;
}

这个释放的逻辑和SRT/RTC不一致，未来会修改成一致的，不过智能指针的使用是一致的。

Conclusion​

SRS为了简单处理，最初并没有释放Source对象，通过引入Smart Ptr，终于解决了这个问题。由于我们通过业务上的限制，结合裸指针和Smart Ptr， 避免了复杂的Smart Ptr功能，避免支持多种不同的Smart Ptr，总体上这个修改引入的复杂度是可控的，未来的维护性也很好。

在当今的数字世界中，视频无处不在。从社交媒体片段到直播，我们每天都在大量消费视频内容。但你是否想过我们如何理解这些视频中的所有信息？ 这就是人工智能的作用。有了人工智能的帮助，我们现在可以识别文字、识别物体，甚至描述视频流中的场景。

一个强大的工具使这个过程变得简单，那就是Oryx。在这篇博客中，我们将探讨Oryx如何帮助你在视频流上执行OCR（光学字符识别）， 让你能够实时提取有价值的信息。

Step 1: Create Oryx by One Click​

创建 Oryx 很简单，只需点击一下，如果您使用 Digital Ocean droplet，就可以完成。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

您还可以使用 Docker 通过单个命令行创建 Oryx：

docker run --restart always -d -it --name oryx -v $HOME/data:/data \
  -p 80:2022 -p 443:2443 -p 1935:1935 -p 8000:8000/udp -p 10080:10080/udp \
  registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建 Oryx 后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Publish a Live Stream to Oryx​

您可以使用 OBS 或 FFmpeg 将直播流发布到 Oryx。您还可以设置 HTTPS 并通过 WebRTC 发布。

发布流后，您可以使用 H5 播放器或 VLC 预览它。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

Step 3: Setup OpenAI Secret Key for OCR​

要使用 Whisper ASR，您必须从 OpenAI 获取一个密钥。请在您的浏览器中打开 API 密钥 页面，然后点击 创建新的密钥 按钮。密钥创建后，复制它并在 Oryx 中设置。然后，如下图所示，点击 测试OpenAI服务可用性 按钮。

如果测试成功，你可以点击 开始OCR 按钮来启动OCR过程。

Step 4: Setup AI Instructions for OCR​

配置好你的GPT AI助手后，你可以在设置网页上更新以下提示服务设置 > AI模型配置 > 提示词。

要在视频流中识别文本，你可以使用以下指令：

Recognize the text in the image. Output the identified text directly.

请记得在更新AI设置后重新启动OCR。

Step 5: View OCR Results by Callback​

一旦OCR过程完成，你可以通过在Oryx中设置回调URL来查看结果。

你也可以在仪表板中查看最新的OCR结果。

Conclusion​

总之，使用AI识别视频流中的文本和物体是一个改变游戏规则的技术。它帮助我们快速准确地从视频中提取有价值的信息。 像Oryx这样的工具使这个过程变得简单高效，让你能够轻松发布直播并获得实时OCR结果。无论你是想识别人、读取文本还是描述场景， AI驱动的OCR都可以改变你与视频内容的互动方式。通过利用这些技术，你可以从每天接触到的视频中解锁新的可能性和见解。

在当今全球化的世界中，内容创作不再受地理范围的限制。因此，吸引多元、国际化的受众对视频创作者越来越重要。无论您是一名YouTuber、 电影制片人还是电子学习内容提供商，能够让您的内容用多种语言呈现，都会大大提高其影响力。这时Oryx的作用就显现出来了 - 通过OpenAI驱动的先进多语言配音和翻译服务，打破语言障碍现在变得更加简单、经济。

在这篇博客中，我们将讨论Oryx如何支持将视频文件从一种语言配音和翻译成另一种语言，例如将一段英语演讲的视频转换成中文字幕和演讲。 我们将探讨这项技术如何帮助您吸引更广泛的受众，发掘内容的全部潜力，同时使用起来非常简单，对您的钱包友好。所以，让我们一起深入了解 多语言视频内容的Oryx!

Step 1: Create Oryx by One Click​

创建 Oryx 很简单，只需点击一下，如果您使用 Digital Ocean droplet，就可以完成。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

您还可以使用 Docker 通过单个命令行创建 Oryx：

docker run --restart always -d -it --name oryx -v $HOME/data:/data \
  -p 80:2022 -p 443:2443 -p 1935:1935 -p 8000:8000/udp -p 10080:10080/udp \
  registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建 Oryx 后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Upload Video Source File​

首先，上传视频源文件，选择 视频翻译 > 视频源 > 上传本地文件 > 上传文件 上传文件：

Note: 你也可以使用其他工具，将视频文件上传到 /data 目录，然后选择 指定服务器文件 直接使用文件。

Step 3: Setup OpenAI Secret Key for Dubbing​

要使用AI的各种服务，您必须从 OpenAI 获取一个密钥。请在您的浏览器中打开 API 密钥 页面，然后点击 创建新的密钥 按钮。密钥创建后，复制它并在 Oryx 中设置。

然后，在视频翻译设置 > 语音识别设置中设置OpenAI的密钥，如下图所示。然后点击 测试OpenAI服务可用性按钮，如果测试通过， 没有任何错误，点击更新按钮。

Step 4: Setup the Language to Translate​

设置视频源的语言，请打开 视频翻译设置 > 语音识别设置 > 语言 ，然后设置翻译的目标语言，设置AI的提示词 视频翻译设置 > 多语言翻译设置 > 提示词 ，点击更新按钮。

Step 5: Start Dubbing and Download Translated Video​

点击 开始翻译 按钮，如下图所示。

如果翻译后的视频，比原始视频长，可以点击 改进翻译 或者 合并到下一组 按钮，让翻译后的语音更短，如下图所示。

如果所有的音频分段都没有问题，也就是没有红色背景的分段，你可以点击按钮 下载翻译视频 下载。

Conclusion​

总之，Oryx 支持将视频文件配音和翻译成多种语言，包括将英语语音转换为中文字幕和语音，这对于希望吸引更多观众的内容创作 者来说是一个改变游戏规则的解决方案。通过利用 OpenAI 服务的先进功能，Oryx 确保视频本地化的高效、经济实惠和用户友好。 这项了不起的技术不仅打破了语言障碍，还促进了文化交流和全球沟通，推动您的内容进入新领域，为无限可能打开大门。

向您介绍一种突破性的互动工具：一个可以快捷构建的、基于浏览器的语音驱动的GPT AI助手。你可以使用简单易用的Oryx快捷构建， 仅需点击一下即可轻松启用HTTPS，可以在任何配备浏览器的设备上使用，包括PC和手机。它的便利性使您可以在任何时候、任何地方、使用语音 轻松的与您的私人GPT AI助手进行交流。无论是用于提高您的英语口语、充当实时翻译工具，还是作为智能伴侣，这款语音驱动的GPT AI助手都可以 通过简单的对话实现。

Step 1: Create Oryx by One Click​

创建 Oryx 很简单，只需点击一下，如果您使用 Digital Ocean droplet，就可以完成。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

您还可以使用 Docker 通过单个命令行创建 Oryx：

docker run --restart always -d -it --name oryx -v $HOME/data:/data \
  -p 80:2022 -p 443:2443 -p 1935:1935 -p 8000:8000/udp -p 10080:10080/udp \
  registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建 Oryx 后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Setup HTTPS for Voice-Driven GPT​

在将语音功能集成到基于浏览器的 GPT AI助手中时，安全性至关重要。浏览器要求在访问麦克风以捕获语音输入时使用 HTTPS， 作为其安全策略的一部分。这听起来可能很复杂，但使用 Oryx，让您的网站启用 HTTPS 变得简单而轻松。以下是如何使用 HTTPS 保护您的语音驱动助手的方法：

1. DNS 配置：首先为您的域名添加 DNS A 记录。此步骤将您的域名指向您的 Oryx 服务器。要验证 DNS 设置是否正确，请尝试通过 http 使用您的域名访问您的 Oryx，如 http://your_domain_name。如果设置正确，这应该可以正常工作。

2. 启用 HTTPS：导航到 Oryx 仪表板中的 系统配置 > HTTPS > 自动HTTPS证书 部分。在这里，您只需输入您的域名并点击 提交 按钮。此过程启动为您的域名自动生成和安装 Let's Encrypt SSL 证书，使 HTTPS 设置如同点击一下鼠标按钮一样简单。

3. 验证结果：启用 HTTPS 后，您现在可以通过 "https://your_domain_name" 安全地访问您的 Oryx 站点。此安全策略提高了与 GPT AI助手互动的安全性。

有关更多详细信息，请参阅设置 Oryx 的 HTTPS。按照这些步骤操作，您将确保您的语音驱动 GPT AI助手不仅创新且有用，而且安全且符合浏览器安全标准。

Step 3: Setup OpenAI Secret Key in Live Room​

要使用AI的各种服务，您必须从 OpenAI 获取一个密钥。请在您的浏览器中打开 API 密钥 页面，然后点击 创建新的密钥 按钮。密钥创建后，复制它并在 Oryx 中设置。

接下来，如下图所示，导航至应用场景 > 直播间 > 创建直播间，然后按下创建按钮以创建一个与GPT AI助手交谈的直播间。或者， 选择链接加入现有的直播间。

然后，在直播间 > AI助手 > AI服务商中设置OpenAI的密钥，如下图所示。然后点击 测试OpenAI服务可用性按钮，如果测试通过， 没有任何错误，点击更新助手按钮。

Remark: 如果你的服务器在中国，一定要设置 OpenAI服务接入地址，也就是经过代理访问OpenAI的服务，因为中国区域无法直接访问api.openai.com这个域名。

设置完成了，非常简单!

Step 4: Open GPT AI Assistant in Browser​

现在，点击 Assistant 生成基于浏览器的语音驱动 GPT AI助手的链接，可以直接点击打开。或者右键复制链接，将网址分享给其他设备或朋友。 你也可以在手机上访问它。

在打开助手网页时，按允许按钮授权麦克风访问权限给助手。

然后点击开始聊天开始对话。

现在，你的助手就准备好了，接下来让我们看如何和她对话。

Step 5: How to Interact with GPT AI Assistant​

当在电脑上（如Apple Mac或Windows PC）使用基于浏览器的语音驱动GPT AI助手时，点击网页上的麦克风图标。按住空格键或R键开始讲话， 松开键停止讲话。

在移动设备浏览器上使用助手时，比如 iPhone 或 Android，按住麦克风键进行讲话，松开即可完成讲话。

一旦您向助手提交了您的消息，请稍等片刻。助手将以文字和语音的形式回复您。

Note: 此外，还有一个文本输入功能，允许您通过键入或从剪贴板粘贴来输入文本。使用语音输入时，输入文本框将自动填充，使您能够编辑并重新发送给助手。

好的！接下来，让我展示一些引人入胜且实用的现实世界示例，以及如何通过基于浏览器的语音驱动的GTP助手来实现它们。

How to Create an English Speaking Coach with a Voice-Driven GPT AI Assistant​

一旦您配置好了您的语音驱动的GPT AI助手，你可以在 AI助手 > AI模型配置 > 提示词 中，更新为下面的提示词。你就可以获得一个非常好的 口语教练了，它不眠不休、不骄不躁、不会发脾气，非常耐心的陪你训练口语。我使用了一个月之后，从最初的一个词一个词的说，能做到一句话 一句话的说了。

I want you to act as a spoken English teacher and improver. 
I will speak to you in English and you will reply to me in English to practice my spoken English. 
I want you to strictly correct my grammar mistakes, typos, and factual errors. 
I want you to ask me a question in your reply. 
Now let's start practicing, you could ask me a question first. 
Remember, I want you to strictly correct my grammar mistakes, typos, and factual errors.

Note: 更多提示词，可以参考 awesome-chatgpt-prompts 这个站点。

How to Create a Simultaneous Translator for Multilingual Users​

通过将您的语音激活的GPT AI助手分享给多个用户，使他们可以与同一个AI助手进行交流，那么您将同时获得一名同声传译。你需要将提示词设置为 翻译为多种语言。

请将下面提示词中的语言更改为您需要翻译的语言，请在 AI助手 > AI模型配置 > 提示词 中更新提示词：

I want you to act as a language translator.
I want you to translate my text in conversational tone.
I want you to strictly translate to English and Chinese.
Keep in mind that you must translate to English and Chinese.
Remember, never answer questions but only translate.

Note: 更多提示词，可以参考 awesome-chatgpt-prompts 这个站点。

Conclusion​

总结一下，使用Oryx创建个人的、基于浏览器的、语音驱动的GPT AI助手的过程非常简单。从设置HTTPS进行安全通信，到集成OpenAI GPT， 每个步骤都设计非常容易使用。无论是为了提高语言能力、实现多语言对话，还是简单地享受便利的语音驱动的GPT AI助手，它为直播间和主播提供了 许多可能性。将来，还将支持将实时观众聊天连接到AI助手。您可以在真实场景中发现更多有益的GPT AI助手用例。

在动态的直播世界中，延迟是一个关键因素，它可以决定观众体验的成败。传统上，实现低延迟一直是一个挑战， 特别是在努力实现跨设备和平台的广泛兼容性时。这就是HLS发挥作用的地方，它是一种因其可靠性和兼容性而广受欢迎的格式。 然而，HLS通常与较高的延迟（约30秒）相关联，这对于实时互动可能是一个缺点。

进入低延迟HLS流媒体的领域，这对于现场广播来说是一个游戏规则改变者。在这篇博客中，我们将探讨如何将HLS流延迟降低到最低5秒。 最好的部分？这可以通过使用常见的、高度兼容的技术来实现，无需专门的设备。我们将深入研究Oryx的使用，这是一个功能强大而简单的工具， 可以简化流程，仅需点击一下即可实现超低延迟HLS流媒体。

如果您需要更低的延迟并可以在兼容性上妥协，还有其他选择。对于1到3秒之间的延迟，HTTP-FLV是一个很好的选择。对于大约0.5到1秒的超低延迟， WebRTC是理想的选择。每种技术都适用于不同的需求和内容类型。

在这篇博客中，我们的目标是为您提供一个关于如何为您的业务选择合适的流媒体技术的全面指南，重点关注HLS， 以实现低延迟和高兼容性之间的最佳平衡。无论您是在进行现场体育赛事、互动网络研讨会还是实时游戏会话的直播，了解这些技术将使您能够为观众提供最佳的直播体验。

Key Points​

为了实现最广泛的兼容性，我们使用最常见的HLS协议，而不是HTTP-FLV、WebRTC或LLHLS协议，而是最标准的HLS协议。

然而，我们需要在关键点上更改一些设置，例如：

• 对于OBS编码器，选择x264编码器，在高级设置中，将GOP（关键帧间隔）设置为1 s。选择CPU使用预设为fast，配置 (Profile)为baseline，微调 (Tune)为zerolatency。这些设置允许OBS在保持兼容性的同时生成较短的片段。
• 对于Oryx，启用HLS低延迟模式。这将生成尽可能短的HLS片段，每个片段约2秒。HLS的最小延迟大约是两个片段，允许大约5秒的延迟。
• 对于HLS播放器，如hls.js，将其设置为从最后一个片段开始播放，并配置最大缓冲时间。当累积延迟达到一定阈值时，启用加速播放以保持稳定的低延迟。

整个工作流程，从流媒体到服务器到播放器，都需要优化以实现5秒的低延迟。在此过程中的常见错误包括： *

• 无法将编码器（如 OBS）设置为较大的 GOP（如 10 秒），或者编码器缓冲区过大，导致整体延迟显著增加。
• Oryx 未设置为低延迟模式。在正常模式下，生成的片段持续时间较长，或者某些服务器可能无法生成准确持续时间的片段，而是更喜欢较大的片段。
• 使用不正确的播放器，如 VLC，无论使用哪种协议，都会有显著的延迟。并非所有播放器都适用；我们已经测试过 hls.js 和 mpegts.js 播放器具有低延迟。将来，我们将测试并确保与更多播放器兼容。

让我们通过一些简单的设置步骤和点击来实现 5 秒的 HLS 延迟。

Step 1: Create Oryx by One Click​

创建 Oryx 很简单，只需点击一下，如果您使用 Digital Ocean droplet，就可以完成。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

您还可以使用 Docker 通过单个命令行创建 Oryx：

docker run --restart always -d -it --name oryx -v $HOME/data:/data \
  -p 80:2022 -p 443:2443 -p 1935:1935 -p 8000:8000/udp -p 10080:10080/udp \
  registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建 Oryx 后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Setup OBS for HLS Low Latency​

我建议使用OBS发布流。这是一个受欢迎且功能强大的流媒体工具，易于设置。 您应按照以下方式配置OBS：

点击设置按钮，然后转到输出选项卡并应用以下设置：

• 将输出模式设置为高级。简单模式不适用于低延迟HLS。
• 将视频编码器设置为x264。请注意，硬件编码器可能具有较大的延迟。
• 将关键帧间隔设置为1 s。请注意，这是实现低延迟的最关键设置。
• 将CPU使用预设设置为fast。此设置有助于减少延迟。
• 将配置 (Profile)设置为baseline。此设置有助于减少延迟。
• 将微调 (Tune)设置为zerolatency。此设置有助于减少延迟。

接下来，打开直播选项卡并按照Oryx提供的说明设置服务器和流密钥以发布流。

Step 3: Setup Oryx in HLS Low Latency Mode​

打开Oryx，导航至系统配置 > HLS。启用HLS低延迟模式，然后点击提交按钮。

在此之后，您可以获取发布服务器和流密钥，以便将OBS流传输到Oryx。

请配置OBS并开始将RTMP流发布到Oryx。

Step 4: Setup the HLS Player​

在浏览器中打开 Oryx 的 简易播放器，您可以看到具有5秒延迟的 HLS 流。

Oryx已使用hls.js为低延迟模式配置了HLS播放器。我们已经应用了以下设置。如果您需要使用自己的HLS播放器，请进行类似的配置：

• 通过将其设置为true来启用enableWorker。这可以提高性能，避免卡顿或丢帧。
• 通过将其设置为true来激活lowLatencyMode。这将启用低延迟HLS部分播放列表和片段加载。
• 将liveSyncDurationCount设置为0，从最后一个片段开始播放。
• 将maxBufferLength设置为5，以秒为单位设置最大缓冲长度。
• 将maxLiveSyncPlaybackRate设置为2，以便在延迟较大时追赶。

有关详细信息，请参阅此提交。

Conclusion​

利用Oryx、OBS和hls.js，我们实现了5秒延迟的HLS流媒体直播，打破了直播低延迟和兼容性的障碍。 这一进步标志着互动和引人入胜的现场活动的新时代，无需专门的设备，所有人都可以使用，为流媒体观众带来了新的体验。

SRS Server​

SRS 5.0将在这两周正式发布稳定版，经过一年的功能冻结，半年的稳定性提升，现在5.0已经可以在生产环境使用。

5.0是从2021年3月份开始开发，重要变更如下：

• ST(State-Threads)：支持Windows/RISCV/LOONGARCH/MIPS/AppleM1等芯片，支持多线程能力。
• SRT：基于ST重写，对齐API和回调等完善的能力，支持直接IP推流，升级libsrt，改进延迟，补全配置项。
• WebRTC：支持WHIP和WHEP协议，支持TCP传输，支持Unity，改进错误提升，支持MP3转OPUS，支持FFmpeg原生OPUS。
• WHIP：支持WHIP协议，适配Larix，适配OBS WHIP，安全改进，支持删除资源。
• GB28181：支持2016/TCP协议，支持压测工具，支持回归测试。
• Live: 解决RBSP解析问题，兼容FFmpeg timecode，忽略空NALU，支持HLS伪流，支持踢HLS客户端，解决DASH崩溃问题。

还有一些bugfix，详细的变更清单，请参考官网的Changelog吧。

一盘点，两年好像也没干啥事。

Oryx​

Oryx就是一体化的视频云，里面包含多个音视频项目，以音视频应用场景为中心，开箱即用的方案。

今年Oryx重新做了，主要变更如下：

• 从微服务架构改成单体应用，镜像大小减少90%，开发速度提高10倍，最坑人的莫过于微服务架构了。
• 支持Docker和脚本安装，DigitalOcean和Lighthouse镜像，BT和aaPanel插件安装，HELM安装。
• 测试覆盖所有安装方式，覆盖所有功能和API。
• 支持虚拟直播、AI自动字幕、转码、回调、HLS集群、拉流转推等新场景。

如果说SRS是很简单易用，Oryx就是可以真正简单易用的构建音视频业务。

Community​

SRS是2013年开始做的开源项目，从2020年才正式开始做开源社区，2022年开始做全球社区，今年社区发展非常快，已经可以独立生长了。

今年我们也通过了中国电子技术标准化研究院，开源成熟度评估。经过两年的孵化和导师的指导，今年年底，SRS也从木兰开源社区顺利毕业了。

今年海外的每月付费人数，OpenCollective的订阅人数，从5人左右增加到了41人，预计三到五年左右，可以投入专门的时间支持社区的发展。

国内星球在200人左右，每年可以支持我们参加一次国内的会议的差旅，社区也可以正常发展了。

今年也开始给社区提供付费支持，海外5美元一个月，国内5人民币一个月，更好的支持了用户的业务，得到了用户的广泛好评。

最初星球是10人民币一个月，现在调整为5人民币一个月，和海外保持对齐（虽然海外是美元但人家赚的也是美元）。

在中国，一般是越涨价就越要付钱，越降价越没人付钱，总是套路得人心。所以我们降价后，希望大家都跑路了，我们需要花的时间也更少一些。

国内付费习惯和海外差得还挺远，海外的付费习惯成熟些，我想还是因为国内总觉得占用别人时间是免费的，实际上最昂贵的不就是人的时间吗？不过大家也不用担心，只要项目活着，国内的付费支持通道不会关闭。

我们维护开源项目，也同时受益于其他音视频开源项目，因此我们会在年底将一半费用捐给其他的我们依赖的音视频的开源项目，比如FFmpeg和OBS等。

同时，我们还会继续增强社区的AI能力。比如我们使用GPT自动翻译社区的Issues和PullRequest，降低交流的门槛。比如我们在官网部署了AI Talk，方便大家体验音视频和AI结合的新能力。

感谢全球开发者对SRS的支持和认可，我们的发展会越来越好。

Conclusion​

无论开源的风怎么吹，弄清楚我们所做的事情，到底在提供什么样的价值，就可以长长久久。

众多开源项目为全球软件生态，提供了生生不熄火的基础，能够参与到整个系统中，成为贡献者是程序员作为程序员的骄傲。

为用户提供付费支持是有价值的，或许国内不太认可那就少提供一些这种服务，目前海外更认可这种形式那就多提供一些服务。

至于职业化开源，提供定制开发，我们社区有些开发者在upwork上已经在做了，灵活就业也是不错的工作。

最后就是商业化，至少SRS是不会做的，SRS的目标是成为全球广泛使用的音视频基础开源项目，商业化会妨碍这个目标。

在开源社区，看不到冬天。

您是否厌倦了在尝试为OBS创建公共互联网WHIP服务时与复杂设置和技术术语作斗争？再也不用寻找了！在本综合指南中， 我们将引导您通过使用Oryx一键轻松构建自己的WHIP服务的过程。告别安全性、身份验证和WebRTC的复杂性， 拥抱亚秒级直播和无缝OBS-RTC房间连接的未来。

加入我们，打破在线流媒体的障碍，帮助您充分利用OBS的WHIP支持。我们易于理解的、分步教程将使您能够创建一个安全高效的WHIP服务， 彻底改变您的在线会议和直播体验。不要再让技术挑战阻碍您前进 - 深入了解我们的指南，从今天开始像专业人士一样进行流媒体！

Step 1: Create Oryx by One Click​

如果您使用腾讯云轻量服务器，只需点击一下即可创建Oryx。请参考 Oryx - 起步、购买和入门 这个博客。

您还可以使用Docker通过单个命令行创建Oryx：

docker run --rm -it -p 80:2022 -p 443:2443 -p 1935:1935 \
  -p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp --name oryx \
  -v $HOME/data:/data registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建Oryx后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Get the WHIP URL from Oryx​

请从此链接下载 OBS 30 或更高版本，并继续进行安装。

打开 Oryx，选择场景 > 推拉直播流 > WebRTC：WHIP OBS，并操作步骤，获取一个WHIP的推流地址。

请复制 WHIP URL，因为我们将在 OBS 中使用它。请注意，可以使用 WHEP 播放器播放 WHIP 流或将其嵌入到您的 WordPress 网站中。

Step 3: Publish WHIP via OBS to Oryx​

接下来，启动 OBS 并选择设置 > 流。从服务下拉菜单中选择WHIP，并将 WHIP URL 设置到服务器字段中。

现在，您可以点击开始直播按钮将 WHIP 流发布到 Oryx。

Step 4: Use WHEP to View the Stream​

在发布流之后，您可以使用WebRTC HTML5播放器查看它。从Oryx管理后台访问WHEP播放器。

此外，将WHEP播放器集成到您的WordPress网站中。请遵循Oryx管理后台上提供的指南。

Conclusion​

总之，我们的全面指南为您提供了一种简单高效的方法，使用Oryx为OBS创建公共互联网WHIP服务。通过遵循我们易于理解的分步教程， 您现在可以毫不费力地仅通过单击一下即可构建自己的WHIP服务，无需应对复杂的安全性、认证和WebRTC问题。有了这个新发现的知识， 您可以彻底改变您的在线会议和直播体验，充分利用OBS的WHIP支持实现亚秒级流媒体和无缝OBS-RTC房间连接。

在这篇博客中，我们将探讨一种正在改变直播体验的创新方法：使用自动语音识别（ASR）来创建实时字幕。您是否曾想过如何使 直播对听力障碍者或说不同语言的人更具包容性？答案在于一项正在重塑我们体验直播内容的创新技术。

我们的重点是ASR领域的一个颠覆性工具——OpenAI的Whisper。这不仅仅是一项技术；它是一个强大的AI服务，能够理解世界上 几乎所有的语言，并以惊人的准确度转录语音。忘掉过去需要昂贵专业人士进行现场翻译和转录的日子。有了OpenAI的Whisper， 这个过程变得自动化、高效且经济。

这个为初学者设计的指南将带您了解如何将Whisper AI整合到您的直播中，实时识别和转录语音。然后，我们将向您展示如何 使用FFmpeg具，将这些字幕无缝叠加到您的直播上。所有这些都通过Oryx轻松实现，该技术将这些技术无缝连接， 只需点击一下。

我们一起迈入以AI为动力的直播未来，其中无障碍和包容性至关重要，使您的内容更加愉快，且能触及更广泛的观众。

Step 1: Create Oryx by One Click​

如果您使用腾讯云轻量服务器，只需点击一下即可创建Oryx。请参考 Oryx - 起步、购买和入门 这个博客。

您还可以使用Docker通过单个命令行创建Oryx：

docker run --rm -it -p 80:2022 -p 443:2443 -p 1935:1935 \
  -p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp --name oryx \
  -v $HOME/data:/data registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建Oryx后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Publish a Live Stream to Oryx​

您可以使用 OBS 或 FFmpeg 将直播流发布到 Oryx。您还可以设置 HTTPS 并通过 WebRTC 发布。

发布流后，您可以使用 H5 播放器或 VLC 预览它。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

Step 3: Setup OpenAI Secret Key for Whisper ASR​

要使用 Whisper ASR，您必须从 OpenAI 获取一个密钥。请在您的浏览器中打开 API 密钥 页面，然后点击 创建新的密钥 按钮。密钥创建后，复制它并在 Oryx 中设置。然后，如下图所示，点击 测试OpenAI服务可用性 按钮。

如果测试成功，您可以点击 开启AI字幕 按钮以开始直播自动加字幕。

Step 4: View Live Stream with Subtitles​

当生成HLS片段时，Oryx使用FFmpeg将TS片段转码为音频MP4文件。然后，它利用OpenAI的Whisper服务将其转换为SRT字幕。 接下来，将字幕覆盖到原始TS文件上，从而创建一个新的直播流。

页面中有链接可以播放带有字幕的新生成的直播流。您可以直接在浏览器中打开此链接，如下图所示。

在浏览器中打开HLS流链接，以看到带有字幕的直播。

您还可以使用HTTP API获取每个HLS片段的ASR结果，并执行诸如翻译或与您的AI系统集成等操作。

HLS with WebVTT​

您可以为 HLS 启用 Web Video Text Tracks (WebVTT)。首先，在 AI字幕 > 服务设置 > WebVTT字幕 中启用 WebVTT， 勾选 是否开启WebVTT字幕 复选框。

然后，打开 直播流管理操作 标签页，您将获得一个带有 WebVTT 字幕的 HLS 流。

Conclusion​

Oryx将OpenAI的Whisper和FFmpeg整合在一起，彻底改变了直播方式，使观众体验更佳，通过提供包容性的AI驱动字幕。 这种从手动转录到自动化转录的转变既节约成本又扩大了全球可及性，克服了语言和听力障碍。我们正在进入一个AI增强数字包容性 的未来，丰富了我们在线分享和消费内容的方式。

HEVC（或H.265）与广泛使用的H.264编码相比，可以将带宽使用量减少约50%，而H.264具有最佳的兼容性。在过去的10年里， HEVC的发展速度较慢，因为新的编码需要一个生态系统来支持它，包括解码器和设备硬件。现在，OBS和FFmpeg都支持RTMP和FLV的HEVC， 这些都是直播行业的标准工具。

在直播中，所有必要的工具都已准备好支持HEVC。对于编码，FFmpeg和OBS是最常用的直播工具。OBS 29+支持带有HEVC的RTMP， 而FFmpeg 6支持带有HEVC的RTMP。对于HTML5播放器，mpegts.js 1.7.3已经通过HTTP-FLV或HTTP-TS支持HEVC。 VLC和ffplay还通过HTTP-TS、SRT和HLS支持HEVC。对于媒体服务器，SRS 6通过RTMP、FLV、TS、HLS、SRT、WebRTC等支持HEVC。

在本教程中，我们介绍了几个月前刚添加了HEVC支持的FFmpeg 6。这是一个重要的发展，因为许多使用FFmpeg的工具现在可以通过 RTMP无需任何补丁就可以使用HEVC。

Note: 如果您有兴趣了解 OBS 通过 RTMP 支持 HEVC，请阅读 如何通过 OBS 推送 RTMP 的 HEVC。

Note: 请注意，SRS 6.0 已经支持 RTMP、HTTP-FLV、SRT、HTTP-TS、HLS、MPEG-DASH 和 WebRTC（Safari）的 HEVC（H.265），请参考 H.265 直播节省 50% 成本。

Step 1: Run SRS Media Server​

如果您需要创建自己的直播平台，可以使用支持通过RTMP使用HEVC的SRS媒体服务器。

要运行SRS，您可以使用Docker并使用以下命令：

docker run --rm -it -p 1935:1935 -p 8080:8080 \
  registry.cn-hangzhou.aliyuncs.com/ossrs/srs:6 \
    ./objs/srs -c conf/docker.conf

可以打开链接，检查是否正常启动：http://localhost:8080.

Step 2: Publish by FFmpeg 6​

如果您按照此帖子中的说明使用源代码编译了FFmpeg 6， 现在您可以使用FFmpeg发布RTMP HEVC流：

ffmpeg -stream_loop -1 -re -i doc/source.flv -acodec copy \
  -vcodec libx265 -f flv rtmp://localhost/live/livestream

请注意，需要确认你的代码，需要更新到这个Commit之后，才支持HEVC via RTMP 637c761b:

commit 637c761be1bf9c3e1f0f347c5c3a390d7c32b282
Author: Steven Liu <liuqi05@kuaishou.com>
Date:   Mon Aug 28 09:59:24 2023 +0800

    avformat/rtmpproto: support enhanced rtmp
    
    add option named rtmp_enhanced_codec,
    it would support hvc1,av01,vp09 now,
    the fourcc is using Array of strings.
    
    Signed-off-by: Steven Liu <lq@chinaffmpeg.org>

SRS为FFmpeg 4和5版本提供了Docker支持，这使得可以通过RTMP实现HEVC直播。您可以方便地使用Docker直接发布您的实时流。

# For macOS
docker run --rm -it registry.cn-hangzhou.aliyuncs.com/ossrs/srs:encoder \
  ffmpeg -stream_loop -1 -re -i doc/source.flv -acodec copy \
    -vcodec libx265 -f flv rtmp://host.docker.internal/live/livestream

# For Linux
docker run --net=host --rm -it registry.cn-hangzhou.aliyuncs.com/ossrs/srs:encoder \
  ffmpeg -stream_loop -1 -re -i doc/source.flv -acodec copy \
    -vcodec libx265 -f flv rtmp://127.0.0.1/live/livestream

Note: 如果要使用OBS，请从这里下载OBS 29+， 选择HEVC编解码器，请参阅如何通过OBS推送HEVC RTMP直播了解详细信息。

Step 3: Play by HTML5 Player​

要在您的网络浏览器中播放HEVC流，您可以使用mpegts.js 1.7.3+版本播放HTTP-FLV或HTTP-TS。

SRS播放器已集成了mpegts.js，因此您只需打开URL即可播放HEVC流：

• HTTP-FLV(by H5): http://localhost:8080/live/livestream.flv

对于HLS流，hls.js不支持通过TS的HEVC。因此，您应该使用VLC或ffplay播放HLS流：

• HLS(by VLC or fflay): http://localhost:8080/live/livestream.m3u8

Conclusion​

由于OBS、FFmpeg和SRS媒体服务器等关键工具的支持，使用HEVC进行直播变得更加容易，使用户更容易从这种编解码器提供的带宽节省中受益。 按照本指南中的步骤，您可以使用HEVC和RTMP创建自己的直播平台，并使用像mpegts.js这样的HTML5播放器播放流，或者使用VLC和ffplay进行 HLS流播放。

在当今的数字世界中，直播流已成为企业、内容创作者和个人的必备工具。随着越来越多的观众收看直播，优化直播流体验和成本变得至关重要， 无论观众的网络速度或设备性能如何。实现这一目标的有效方法之一是通过直播转码，这个过程可以在不影响视频质量的情况下降低带宽并节省成本。 在这篇博客中，我们将探讨使用 Oryx 进行高效直播转码的好处，以及它如何带来显著的成本节省。

直播转码涉及将 Oryx 使用 FFmpeg 转换的直播流转换为不同的比特率和分辨率，然后将其推送回 Oryx。这个过程通过降低流的 比特率来降低带宽，同时保持相同的质量。因此，整体观看带宽减少，为流媒体提供者和观众节省成本。

例如，考虑一个有 10,000 名观众观看相同 2Mbps 比特率流的直播场景。通过将流转码为 1Mbps，所需带宽减少到 10Gbps，节省了 50% 的成本。 这不仅使内容提供商受益，还确保了具有不同网络速度和设备的观众获得更流畅的观看体验。

请继续关注我们对直播转码世界的深入探讨，并学习如何利用 Oryx 的力量优化您的直播体验并节省成本。

Step 1: Create Oryx by One Click​

创建 Oryx 很简单，只需点击一下，如果您使用 Digital Ocean droplet，就可以完成。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

您还可以使用 Docker 通过单个命令行创建 Oryx：

docker run --restart always -d -it --name oryx -v $HOME/data:/data \
  -p 80:2022 -p 443:2443 -p 1935:1935 -p 8000:8000/udp -p 10080:10080/udp \
  registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建 Oryx 后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Publish a Live Stream to Oryx​

您可以使用 OBS 或 FFmpeg 将直播流发布到 Oryx。您还可以设置 HTTPS 并通过 WebRTC 发布。

发布流后，您可以使用 H5 播放器或 VLC 预览它。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

Step 3: Transcode the Live Stream to Lower Bitrate​

假设您使用 OBS 将 8Mbps 流发送到 Oryx，并且您无法在 OBS 中调整比特率。这可能是因为流是由您无法控制的供应商发布的， 或者您需要记录原始高分辨率流，或者某些设备（如 4K/8K 电视）需要高分辨率流。

然而，您的大多数观众在移动设备上观看直播，他们不需要 8Mbps 流。对于移动设备来说，2Mbps 流就足够了，他们的带宽可能只支持 2Mbps 比特率。在这种情况下，您可以使用转码将 8Mbps 流转换为 2Mbps 直播流。

转码流后，您可以预览 2Mbps 版本或将其转发到另一个直播平台。 请参阅如何做RTSP监控摄像头直播 了解更多信息。您还可以从 Oryx 拉取 RTMP 流并将其转发到其他地方。

Check Transcoding Status​

您可以在 Oryx 仪表板中检查转码状态。

您可以点击预览链接检查转码流，或将其转发到另一个直播平台。 请参阅如何做RTSP监控摄像头直播 了解更多信息。

Conclusion​

总之，我们讨论了使用 Oryx 和 FFmpeg 进行直播转码的好处。转码优化了具有不同网络速度和设备的观众的流媒体观看体验， 减少了带宽使用并节省了成本。我们介绍了设置 Oryx 和 FFmpeg、创建配置文件以及将转码流推送回 Oryx 的方法。 监控和调整设置对于实现最佳观众体验至关重要，转码还可以将高分辨率流转换为适用于移动设备的较低分辨率。

您是否拥有一台仅支持 RTSP 协议的 IP 摄像头，并希望将其流式传输到视频号直播、B站和快手等各种直播平台？最简单的解决方案是使用 Oryx。只需点击一下，您就可以将 IP 摄像头流式传输到这些平台，实现 24/7 不间断直播。

如何将IP摄像头的RTSP流转换为RTMP/RTMPS以用于直播平台？您可以使用OBS或Oryx。 OBS需要一个设备，而Oryx则在云服务器 上运行并在后端工作。请参阅下面的工作流程。

IP Camera ---RTSP---> OBS or Oryx ---RTMP/RTMPS---> 视频号、B站和快手

Oryx 可帮助您连接多个 IP 摄像头并在各种平台上进行实时直播，使您的直播体验更加强大。

Step 1: Create Oryx by One Click​

如果您使用腾讯云轻量服务器，只需点击一下即可创建Oryx。请参考 Oryx - 起步、购买和入门 这个博客。

您还可以使用Docker通过单个命令行创建Oryx：

docker run --rm -it -p 80:2022 -p 443:2443 -p 1935:1935 \
  -p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp --name oryx \
  -v $HOME/data:/data registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建Oryx后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Pull RTSP Stream from IP Camera​

创建Oryx后，打开后台，点击应用场景 > 虚拟直播 > 视频号直播，然后点击拉流转推，输入RTSP流地址，然后点击确认。

转发RTSP流时，Oryx会自动为您生成一个静音音轨。

Step 2.1: (Optional) Enable Extra Silent Audio Track​

如果您的摄像头仅提供视频流，则必须启用额外的静音音轨，否则，发布到像视频号这样的直播平台将失败。 Oryx可以为您自动生成静音音轨。请选择静音音频流选项。

Step 3: Stream IP Camera to WeChat​

若需要虚拟直播到视频号直播，请先在视频号直播后台，创建直播。 然后，复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 虚拟直播 > 视频号直播，然后在Oryx中单击开始直播。

您的流现在将在视频号直播上发布。

Step 4: Stream IP Camera to Bilibili​

若需要虚拟直播到B站直播，请先在B站直播后台，创建直播。 然后，复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 虚拟直播 > B站直播，然后在Oryx中单击开始直播。

您的流现在将在B站直播上发布。

Step 5: Stream IP Camera to Custom​

你也可以将流转给任意平台，甚至可以转给Oryx自己，在应用场景 > 私人直播间中复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 虚拟直播 > 自定义平台，然后在Oryx中单击开始直播。

您的流现在将在自定义平台上发布。

Conclusion​

总之，通过Oryx，将您的RTSP IP摄像头流式传输到视频号直播、B站和快手等热门平台从未如此简单。只需几个简单的步骤， 您就可以在这些平台上为您的IP摄像头设置连续24/7的流式传输。通过使用Oryx，您还可以连接多个IP摄像头并实时流式传输到各种平台， 从而增强您的实时流式传输体验。所以，请尝试使用Oryx，并享受它为您的IP摄像头流式传输需求提供的便利和灵活性。

虚拟直播是指将录制的视频文件，或者设备，或者网络流，转成直播推送到直播平台。比如在电商直播中，可以先录制好直播内容，商品的讲解。 比如在教育直播中，可以预先录制课程，在直播间播放课程。比如在线演讲和分享，可以将提前录制的内容在直播间播放。

虚拟直播让主播可以有充分的准备时间，让直播内容更加精美，可以避免经验不足的主播的焦虑，可以避免主播网络问题，可以7x24小时在 直播间做直播，可以触达更多的观众，可以让直播有更多的可能性。

Oryx使您只需点击一次即可创建虚拟直播，并将其广播到多个平台，如视频号直播、B站和快手等各种直播平台。在这篇博客文章中， 我们将指导您如何使用Oryx创建虚拟直播。

在如今快节奏的世界中，由于所提供的便利性，虚拟直播正变得越来越受欢迎。无论是音乐会、足球比赛还是在线课程，您现在都可以使用视频文件创建虚拟直播，使其更具互动性并能触及更广泛的受众。

Step 1: Create Oryx by One Click​

如果您使用腾讯云轻量服务器，只需点击一下即可创建Oryx。请参考 Oryx - 起步、购买和入门 这个博客。

您还可以使用Docker通过单个命令行创建Oryx：

docker run --rm -it -p 80:2022 -p 443:2443 -p 1935:1935 \
  -p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp --name oryx \
  -v $HOME/data:/data registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建Oryx后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Upload your video file​

创建Oryx后，打开后台，点击应用场景 > 虚拟直播 > 视频号直播，然后点击Choose File，选择您的视频文件，然后点击上传文件。

Step 3: Stream file to WeChat​

若需要虚拟直播到视频号直播，请先在视频号直播后台，创建直播。 然后，复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 虚拟直播 > 视频号直播，然后在Oryx中单击开始直播。

您的流现在将在视频号直播上发布。

Step 4: Stream file to Bilibili​

若需要虚拟直播到B站直播，请先在B站直播后台，创建直播。 然后，复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 虚拟直播 > B站直播，然后在Oryx中单击开始直播。

您的流现在将在B站直播上发布。

Step 5: Stream file to Custom​

你也可以将流转给任意平台，甚至可以转给Oryx自己，在应用场景 > 私人直播间中复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 虚拟直播 > 自定义平台，然后在Oryx中单击开始直播。

您的流现在将在自定义平台上发布。

(Optional) Upload Video File by Other Tools​

您还可以使用 FTP 或 SCP 等工具将视频文件上传到 /data/upload 文件夹。然后选择 Use server file， 输入视频文件的路径，并将其用作虚拟直播源。

这种方法使您能够上传非常大的文件，尤其是当基于网页的上传失败时。通过使用专业的上传工具，您可以继续上传或 通过多线程等功能加快上传过程。

Conclusion​

总之，虚拟直播活动为在各种平台上播放预先录制的内容提供了便捷高效的方式，使其更加精致且触及更广泛的受众。通过减轻对于新手 直播者的焦虑并实现7x24直播，虚拟直播活动为各行各业带来了诸多可能性。Oryx 简化了创建和播放这些活动的过程， 满足了当今快节奏世界对这种互动体验的日益增长的需求。

使用Oryx，您可以轻松录制直播流并将其发布到网页上供观众观看。在这篇博客中，我们将指导您如何使用Oryx将直播流录制为MP4文件。

直播流越来越受欢迎，许多内容创作者希望录制他们的直播流以供日后使用或为观众提供视频点播（VoD）内容。虽然有多种方法可以录制直播流， 例如使用OBS，但一些嵌入式设备可能不支持录制或可能难以控制。在这种情况下，服务器端录制可能是一个更有效的解决方案。

Step 1: Create Oryx by One Click​

如果您使用腾讯云轻量服务器，只需点击一下即可创建Oryx。请参考 Oryx - 起步、购买和入门 这个博客。

您还可以使用Docker通过单个命令行创建Oryx：

docker run --rm -it -p 80:2022 -p 443:2443 -p 1935:1935 \
  -p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp --name oryx \
  -v $HOME/data:/data registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建Oryx后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Publish a live stream to Oryx​

您可以使用OBS或FFmpeg将直播发布到Oryx。您还可以设置HTTPS并通过WebRTC发布。发布流后，您可以使用H5播放器或VLC预览它。

推流到Oryx后，你可以用网页预览它，也可以用VLC播放。 请参考 Oryx - 起步、购买和入门 这个博客。

Step 3: Record the Live Stream by Oryx​

发布直播流后，您可以使用Oryx开始录制。为此，请打开Scenarios > Record > Setup Record Rules部分， 然后点击Start Record按钮。

录制过程将开始，您可以监控录制任务的进度。

Step 4: Stop and Download MP4 File​

当您想要停止录制时，请在Setup Record Rules部分点击Stop Record按钮。等待几秒钟，让录制停止。如果直播流不再发布， Oryx将在几分钟后（例如5分钟）自动停止录制任务。

录制停止后，Oryx将把录制的文件转换为MP4格式。然后，您可以预览并下载MP4文件以供进一步使用或分发。

How to Record Specific Streams?​

参考 如何录制特定的流

How to Record to S3 Cloud Storage?​

参考 如何录制到S3云存储

How to Merge to One Mp4 File?​

参考 为何不能在停止推流时停止录制 和 如何快速生成录制文件

Conclusion​

将直播流录制为MP4文件对于希望为观众提供视频点播内容的内容创作者来说是非常有价值的功能。使用Oryx，录制、停止和 下载直播流的过程得到了简化，使您更容易管理和分发录制的内容。按照本博客中概述的步骤，您可以快速高效地录制直播流， 并使观众随时观看。

Oryx是一种功能强大且易于使用的解决方案，只需点击几下鼠标即可在多个平台上进行直播。它还允许您将内容流式传输到自己的平台，甚至在公司内部设置内部网直播。让我们深入了解如何使用Oryx在多个平台上设置直播。

Step 1: Create Oryx by One Click​

如果您使用腾讯云轻量服务器，只需点击一下即可创建Oryx。请参考 Oryx - 起步、购买和入门 这个博客。

您还可以使用Docker通过单个命令行创建Oryx：

docker run --rm -it -p 80:2022 -p 443:2443 -p 1935:1935 \
  -p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp --name oryx \
  -v $HOME/data:/data registry.cn-hangzhou.aliyuncs.com/ossrs/oryx:5

创建Oryx后，您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Publish a live stream to Oryx​

您可以使用OBS或FFmpeg将直播发布到Oryx。您还可以设置HTTPS并通过WebRTC发布。发布流后，您可以使用H5播放器或VLC预览它。

推流到Oryx后，你可以用网页预览它，也可以用VLC播放。 请参考 Oryx - 起步、购买和入门 这个博客。

Step 3: Forward to WeChat​

要将流转发到视频号直播，请先在视频号直播后台，创建直播。 然后，复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 多平台转播 > 视频号直播，然后在Oryx中单击开始转播。

您的流现在将在视频号直播上发布。

Step 4: Forward to Bilibili​

要将流转发到B站直播，请先在B站直播后台，创建直播。 然后，复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 多平台转播 > B站直播，然后在Oryx中单击开始转播。

您的流现在将在B站直播上发布。

Step 5: Forward to Custom​

你也可以将流转给任意平台，甚至可以转给Oryx自己，在应用场景 > 私人直播间中复制服务器地址和密钥。

请打开Oryx仪表板，然后单击应用场景 > 多平台转播 > 自定义平台，然后在Oryx中单击开始转播。

您的流现在将在自定义平台上发布。

Step 6: Check Multiple Streaming Status​

在所有平台上发布流后，您可以在Oryx仪表板中检查多个流媒体状态。

Conclusion​

在多个平台上进行直播是触及更广泛受众和提高参与度的有效方法。Oryx使此过程变得简单高效，让您专注于创建高质量内容，而它负责处理技术方面的问题。通过遵循本博客中概述的步骤，您可以轻松地在视频号、B站、快手等多个平台上设置直播，并将您的内容提升到一个新的水平。

The Importance of Authentication in Live Streaming​

在视频号和抖音等平台上发布直播时，用户需要获取一个流密钥，并使用像OBS将流推送到直播平台。保持流密钥的私密性至关重要， 因为任何有权访问它的人都可以代表您发布流，触发违规行为。

对于那些希望建立自己的直播服务的人来说，确保安全性和认证变得更加关键。这就是Oryx的作用所在，通过使用Publish Secret 来提供安全发布的解决方案。

然而，过于复杂的安全设计也可能导致用户感到困惑和困难，使得流媒体平台难以使用。因此，实施一种安全且简单的解决方案对于 实时流媒体发布至关重要。

The Oryx Solution for Secure Publishing​

Oryx是一个强大的工具，帮助用户建立自己的直播服务，并增强安全性和认证功能。通过使用Publish Secret，Oryx 确保只有授权用户才能发布流，防止未经授权的访问并保护您的内容。

要设置Oryx以实现安全发布，请按照以下步骤操作：

1. 一键创建Oryx。有关详细说明，请访问Oryx：起步、购买和入门

2. 创建后，Oryx将自动生成一个Publish Secret，例如5181a08ee6eab86597e913e1f9e4c294。您可以从System / Authentication / Update Stream Secret设置它。

3. 从Scenarios / Streaming复制OBS设置，包括Server和StreamKey。例如，Server可能是rtmp://135.98.31.15/live/，StreamKey可能是livestream?secret=5181a08ee6eab86597e913e1f9e4c294。

打开HLS播放器播放流，例如 http://135.98.31.15/live/livestream.m3u8

例如，您将获得以下网址：

• Publish URL: rtmp://135.98.31.15/live/livestream?secret=5181a08ee6eab86597e913e1f9e4c294
• Play URL: http://135.98.31.15/live/livestream.m3u8

请注意，播放流网址中不包含Publish Secret，防止观众知道Publish Secret。这样观众只能观看流，而不能发布。

Supporting Multiple Streams​

Oryx允许用户通过根据需要简单地更改资源名称（流名称）来支持多个流。例如，将流名称从livestream更改为movie：

• Publish URL: rtmp://135.98.31.15/live/movie?secret=5181a08ee6eab86597e913e1f9e4c294
• Play URL: http://135.98.31.15/live/movie.m3u8

或者您可以将livestream更改为sport：

• Publish URL: rtmp://135.98.31.15/live/sport?secret=5181a08ee6eab86597e913e1f9e4c294
• Play URL: http://135.98.31.15/live/sport.m3u8

您可以使用任何您喜欢的名称，例如，the-10-years-anually-for-you ：

• Publish URL: rtmp://135.98.31.15/live/the-10-years-anually-for-you?secret=5181a08ee6eab86597e913e1f9e4c294
• Play URL: http://135.98.31.15/live/the-10-years-anually-for-you.m3u8

Note: 请注意这些流的Secret都是一样的。

Oryx允许无限数量的同时流，唯一的限制是您的服务器带宽容量。此外，您可以自由选择任何所需的流名称。

Limitations of the Oryx​

然而，Oryx也有一些局限性。

截至目前，只支持全局的Publish Secret，也就是所有推流的Secret是一样的。这是为了保持简单和易用。目前不支持每个流 使用单独的Secret，这需要每次推流都需要生成密钥，并且需要考虑密钥的管理和过期。

此外，与YouTube和Twitch不同，Oryx不支持更改流名称，也就是在发布和播放时使用不同的流名称。这可能会令人困惑， 整体的复杂性很高， 因为它需要一个额外的系统来管理推流和播放流名称的映射。

最后，Oryx目前尚未支持播放流的认证，使流视图对所有人公开和可访问。如果您希望限制流的播放，请告诉我们。这个 功能已经在里规划中了，但没有具体的实施时间表。

Conclusion​

总之，安全性和认证是直播的重要方面，Oryx为那些建立自己的流媒体服务的人提供了一个简单的解决方案。 通过遵循本指南中概述的步骤，您可以确保您的直播服务保持安全并仅对授权用户可访问。

在没有OBS WHIP的情况下，您可以使用RTMP+WebRTC进行直播，这将导致大约500ms的延迟。 然而，通过使用OBS WHIP，您可以实现低延迟直播，延迟大约为200ms。

此外，即使在网络连接不佳或通过互联网进行流媒体传输的情况下，OBS WHIP也能保持稳定的 低延迟。

在这个视频中，我将演示如何轻松地将OBS WHIP与SRS结合使用，只需三个简单的步骤。

Oryx还支持OBS WHIP，使您只需点击一下即可建立WHIP服务。 请参考为OBS快速构建公网WHIP服务。

You can also watch the video on YouTube: Ultra Low Latency Streaming with OBS WHIP

Prerequisites​

请在继续操作之前安装以下软件：

• OBS Studio

注意：OBS WHIP已经合并到主分支，将在OBS 30版本中支持该功能。 您可以从这里下载。

Step 1: Run SRS​

运行以下命令以启动SRS：

CANDIDATE="192.168.1.10"
docker run --rm -it -p 1935:1935 -p 1985:1985 -p 8080:8080 \
    --env CANDIDATE=$CANDIDATE -p 8000:8000/udp \
    ossrs/srs:5 ./objs/srs -c conf/rtmp2rtc.conf

Note: 请将 CANDIDATE 设置为你的 IP 地址。关于如何设置CANDIDATE, 请参考CANDIDATE

有关配置详细信息，请参考这里。

Step 2: Run OBS​

打开OBS并单击Settings以进行以下配置：

1. 打开OBS并单击Settings。
2. 单击左侧边栏上的Stream。
3. 选择WHIP作为Service。
4. 将Server设置为http://localhost:1985/rtc/v1/whip/?app=live&stream=livestream。
5. 单击OK以保存设置。
6. 单击Start Streaming以开始直播。

Step 3: Play the Stream​

在浏览器中打开以下网址以播放流媒体：

http://localhost:8080/players/whep.html

Cloud Service and Support​

我测试了 TRTC 云服务，它与 OBS WHIP 配合得非常好。如果您正在寻找一个提供 24/7 支持的 WHIP 云服务，我强烈建议尝试 TRTC。要查看演示，请点击这里。

Conclusion​

在本教程中，我们探讨了 OBS WHIP 的超低延迟直播功能，并演示了如何在仅需三个简单步骤的 情况下将其与 SRS 配置。OBS WHIP 显著降低了延迟，使其成为低延迟直播的绝佳选择。

You can also watch the video on YouTube: Unlock the Power of SRS: Real-World Use Cases and Boosting Your Business with Simple Realtime Server.

Introduction​

你好，我是 Winlin！

我创建了 SRS，即简单实时服务器，简称“SARS”。

SRS 是一款易于使用、高效的实时视频服务器，支持多种协议，如 RTMP、WebRTC、HLS、HTTP-FLV、SRT、MPEG-DASH和GB28181。

在这个视频中，我将介绍一些常见的 SRS 使用方法。

Project Compare, an open-source media gateway server.​

市面上有几个知名的开源媒体服务器，如用于直播的 NginxRTMP，用于 WebRTC 的 Janus 和 Mediasoup，当然还有 SRS，它涵盖了所有功能。

我们在 2013 年开始了 SRS 项目，最初支持 RTMP 和 HLS，延迟分别为 1-3 秒和 5-10 秒。SRS 还支持 HTTP-FLV 和 HTTP-TS，它们与 RTMP 类似。

2020 年，我们扩大了社区，并增加了对 WebRTC 和 SRT 的支持，实现了亚秒级延迟。SRT 延迟约为 300-500 毫秒，而 WebRTC 延迟在 80-200 毫秒之间。

SRS 充当媒体网关，在 RTMP、SRT 和 WebRTC 之间进行转换，因此您不需要三个单独的服务器。

我们还更新了文档和网站，您可以在 ossrs.net 上查看。SRS 取得了很大进展，但仍有更多工作要做。我们正在 Discord 上建立全球社区，帮助许多开发者并赢得他们的赞赏。

现在，让我向您介绍一些人们使用 SRS 的方法。

Live Origin Cluter, converting streams is essential.​

第一个用例是Origin集群，它是一组Origin服务器。

Origin服务器是一种基本且必不可少的服务器，作为 SRS 网关，接收并转换来自发布者的流。

与扩展Origin服务器的边缘或代理服务器不同，Origin服务器至关重要。默认情况下，SRS 服务器充当Origin服务器，充当从各种发布者收集流的流中心。

您可以通过 RTMP、SRT 或 WebRTC 将实时流发送到Origin服务器，然后将它们转换为 HLS、HTTP-FLV、RTMP、SRT 和 WebRTC。

您还可以从Origin服务器拉取流，转码、DVR 或将它们转发到其他服务器，甚至将它们交付给 CDN 或使用 SRS 创建 CDN。

简而言之，这是 SRS 的一个关键功能。

Vrtual Live Streaming, boosting business with virtual live streaming.​

你是一个拥有大量高质量视频的视频博主吗？你是否考虑过建立一个直播间来发展你的业务？

通过 Oryx，您可以轻松地将视频文件转换为直播流，无需亲自直播就可以吸引观众。

Oryx让您只需三个步骤就可以创建 24/7 虚拟直播：上传视频、设置直播间（如 视频号和抖音直播间），然后复制粘贴流密钥开始直播。

这很简单，不需要任何媒体流专业知识，而且 Oryx甚至可以免费将您的直播流重新发送到其他平台，因为它是开源的。

Video Blogger, empower video bloggers with live streaming.​

如果您拥有一个 WordPress 网站，您可能考虑过添加直播功能，但由于 WordPress 的限制，以前无法实现。

但现在，有了 SRS 播放器 WordPress 插件，您可以使用 HTTP-FLV、HLS 和 WebRTC 进行直播，以及通过 HTTP-MP4 进行点播流。

只需使用 WordPress 短代码将直播播放器嵌入，您可以在 Oryx控制台中找到它。

这个强大的插件让每个人都可以使用直播，甚至在 WooCommerce（一款广泛使用的 WordPress 电子商务插件）中，展示了开源技术的影响力。

Unity WebRTC Streaming, make Unity work with WebRTC SFU.​

SRS Unity 展示了 Unity 开发者如何使用与 SRS 兼容的 WebRTC SDK 集成直播。

您可以将 Unity 摄像头画面发送到 SRS，并在浏览器中播放流，从 SRS 检索流并在 Unity 游戏中显示，或者使用 WebRTC 使多个 Unity 游戏互动。

在这种情况下，SRS 充当 WebRTC SFU 服务器，这对生产环境中的 WebRTC Unity 客户端至关重要。

WebRTC P2P 在实际情况中并不可靠，但 SFU 服务器提供了更好的网络质量、可扩展性以及对 WebRTC-RTMP 转换的支持。

此外，您可以将 WebRTC 流记录为点播文件，SRS 与 Unity WebRTC SDK、Unity AR 和 VR 一起工作。

Remote Broadcasting & Content Creator, enables remote content creation in broadcasting.​

SRS 可以应用于广播行业，开发远程内容创作系统。

Origin摄像头画面发送到 SRS，然后由远程编辑访问，编辑在编辑后的流上添加水印和徽标。

使用 SRT，延迟约为 300-500 毫秒，实现实时编辑和在摄像头画面之间切换。

低延迟确保所有流同步，使其成为远程内容创作的强大工具。

您可以在远离现场的地方进行编辑，并同时生成多个流，甚至使用 HEVC 或 AV1 生成 HDR 内容。

通过 SRS，您可以实现更高效的远程内容创作和实时编辑，从而提高广播行业的生产力和灵活性。这种技术的应用将有助于降低成本、提高效率，并为观众带来更丰富的视听体验。

Video & Audio AI Process, real-time AI processing makes more possibilities.​

SRS在AI领域的视频和音频处理方面也很有用。从SRS接收流，然后用AI模型处理它们，比如使用deepfake进行人脸替换。

SRS与音频处理的AI模型兼容，srs-k2项目就是一个例子，它演示了如何将SRS与k2-fsa一起用于ASR（Kaldi 2.0，一款流行的开源ASR工具包）。

srs-k2的端到端延迟约为400-800毫秒，可用于WebRTC多语言实时通信系统。这使得与不同语言的人进行对话以及与AIGC系统集成成为可能。

HEVC/AV1 for AV/AR/8K, reduce the cost significantly.​

想要将直播费用减半，请考虑使用HEVC或AV1。

AV1是一种新的、开源的、免版税的视频编解码器，但其硬件解码器并不像HEVC那样普及。然而，它正在迅速获得关注，并对未来充满希望。

HEVC是业界广泛采用的编解码器，通过OBS支持RTMP和SRT。将HEVC流通过OBS发送到SRS，然后使用H5播放器、mpegjs.js、VLC或ffplay播放流。

HEVC或AV1对于8K直播至关重要，并在VR/AR领域变得越来越流行。

Restream to Multiple Platforms, restream to multiple platforms without extra cost.​

想要在视频号、抖音、B站和快手等多个平台上直播吗？

Oryx简化了这个任务，而且不会占用你的带宽，因为它会为你处理重新推流。

SRS Prometheus Exporter, make SRS an operatable online product.​

Prometheus是一个著名的开源监控系统，通过其导出器，SRS可以原生支持它，让你可以密切关注SRS服务器。

使用Grafana可视化指标，并期待Prometheus和Grafana将来被整合到Oryx中。

Support, contributions and donations are welcome.​

如果想要支持SRS这个项目，请考虑加入SRS付费星球支持我们。

Written by Winlin and GPT4

虽然Open Broadcaster Software（OBS）是通过RTMP或RTMPS向YouTube进行直播的广泛使用的解决方案，但还有一种利用网络浏览器的替代方法。

这种方法涉及在网页中使用WebRTC直播您的摄像头，然后使用Simple Realtime Server（SRS）将WebRTC转换为RTMP，并用FFmpeg将RTMP流发布到YouTube。对于那些更喜欢RTMPS的人，可以使用FFmpeg从SRS获取流，将RTMP转为RTMPS，然后发布到YouTube。

Step 1: Setting Up SRS​

首先，从GitHub仓库克隆SRS：

git clone https://github.com/ossrs/srs.git

然后，执行以下命令编译SRS：

./configure && make

最后，使用以下命令启动SRS：

./objs/srs -c conf/rtc2rtmp.conf

要确认成功安装，请在网络浏览器中访问 http://localhost:8080

Step 2: Streaming WebRTC to SRS​

打开网页 http://localhost:8080/players/whip.html ，通过WebRTC将您的摄像头流传输到SRS。

要预览RTMP流，请使用VLC播放rtmp://localhost/live/livestream

Step 3: Routing RTMP to YouTube​

访问YouTube直播流控制台，网址为 https://youtube.com/livestreaming/dashboard

获取流服务器（例如，rtmp://a.rtmp.youtube.com/live2）和流密钥（例如，9xxx-8yyy-3zzz-3iii-7jjj）。

使用FFmpeg从SRS提取RTMP流并将其转发到YouTube，命令如下：

ffmpeg -i rtmp://localhost/live/livestream -c copy \
  -f flv rtmp://a.rtmp.youtube.com/live2/9xxx-8yyy-3zzz-3iii-7jjj

Step 4: Routing RTMPS to YouTube​

要通过RTMPS传输流，请将RTMP URL从 rtmp://a.rtmp.youtube.com/live2/9xxx-8yyy-3zzz-3iii-7jjj 修改为RTMPS URL，例如 rtmps://a.rtmp.youtube.com:443/live2/9xxx-8yyy-3zzz-3iii-7jjj

ffmpeg -i rtmp://localhost/live/livestream -c copy \
  -f flv rtmps://a.rtmp.youtube.com:443/live2/9xxx-8yyy-3zzz-3iii-7jjj

Conclusion​

通过遵循这些说明，您可以使用网络浏览器有效地通过RTMP或RTMPS进行YouTube直播。这种技术为OBS提供了一种实用的替代方案，使您能够利用WebRTC、SRS和FFmpeg的功能，实现流畅高效的直播体验。