音视频

大体内容和https://stardm.ddns-ip.net/2024/12/01/③实现电脑音频和视频的录制并封装成mp4/ 这一篇的相同，这里主要展示改变有变动的部分

音频采集步骤

这里的序号与③实现电脑音频和视频的录制并封装成mp4这篇里的对应

  1. 打开AAC编码器

    1
    open_encoder(&codec_ctx);

  2. 配置重采样上下文（主要就是多了这一步）

    1
    init_resampler(codec_ctx, &swr_ctx, &src_data, &dst_data);

  3. 配置解码后数据的frame容器及音频帧

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
//获取frame_size
const int frame_size = codec_ctx->frame_size;
// 初始化帧编号
int64_t pts = 0;

frame->nb_samples = dec_ctx->frame_size;
frame->sample_rate = dec_ctx->sample_rate;
frame->ch_layout = dec_ctx->ch_layout;
frame->format = dec_ctx->sample_fmt;

av_frame_get_buffer(frame, 0);

AVFrame *nframe = av_frame_alloc();
nframe->nb_samples = codec_ctx->frame_size;
nframe->sample_rate = codec_ctx->sample_rate;
nframe->ch_layout = codec_ctx->ch_layout;
nframe->format = codec_ctx->sample_fmt;

av_frame_get_buffer(nframe, 0);

fifo = init_audio_fifo(codec_ctx->sample_fmt, dec_ctx->ch_layout.nb_channels);
  1. 用 av_read_frame() 读取音频数据并写入文件

open_encoder() 的具体实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
int AudioRecorder::open_encoder(AVCodecContext **codec_ctx) {
    AVDictionary *options = NULL;
    const AVCodec *codec = avcodec_find_encoder_by_name("aac"); //这里改成aac
    if (!codec) {
        qDebug() << "编码器 libfdk_aac 未找到";
        return 0;
    }

    // 分配编码器上下文
    *codec_ctx = avcodec_alloc_context3(codec);
    if (!*codec_ctx) {
        qDebug() << "编码器上下文分配失败";
        return 0;
    }

    // 设置编码器参数
    AVChannelLayout ch_layout;
    av_channel_layout_default(&ch_layout, 2);
    (*codec_ctx)->sample_rate = 48000;
    (*codec_ctx)->sample_fmt = AV_SAMPLE_FMT_FLTP;  // 样本格式改成FLTP
    (*codec_ctx)->bit_rate = 128000;
    if (av_channel_layout_copy(&(*codec_ctx)->ch_layout, &ch_layout) < 0) {
        qDebug() << "设置通道布局失败";
        return 0;
    }

    // 打开编码器
    if (avcodec_open2(*codec_ctx, codec, &options) < 0) {
        qDebug() << "编码器打开失败";
        return 0;
    }

    return 1;
}

init_resampler() 的具体实现(这里保持不变)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
int AudioRecorder::init_resampler(AVCodecContext *codec_ctx, SwrContext **swr_ctx, uint8_t ***src_data, uint8_t ***dst_data) {
    *swr_ctx = swr_alloc();
    AVChannelLayout in_ch_layout;
    av_channel_layout_default(&in_ch_layout, 2);  // 立体声布局

    // 配置重采样上下文
    swr_alloc_set_opts2(swr_ctx,
                        &codec_ctx->ch_layout,          // 输出通道布局
                        codec_ctx->sample_fmt,          // 输出采样格式
                        codec_ctx->sample_rate,         // 输出采样率
                        &in_ch_layout,                 // 输入通道布局
                        AV_SAMPLE_FMT_S16,              // 输入采样格式
                        48000,                         // 输入采样率
                        0, nullptr);

    if (!*swr_ctx || swr_init(*swr_ctx) < 0) {
        qDebug() << "重采样初始化失败";
        return 0;
    }

    // 创建输入输出缓冲区
    av_samples_alloc_array_and_samples(src_data, nullptr, in_ch_layout.nb_channels, 22050, AV_SAMPLE_FMT_S16, 0);
    av_samples_alloc_array_and_samples(dst_data, nullptr, 2, 22050, codec_ctx->sample_fmt, 0);
    
    return 1;  // 成功
}

音频数据读取与写入文件过程

看官方案例就可以知道我这里写的一塌糊涂(不过我也懒得改了(￣﹃￣))

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
//开始获取音频帧数据，并进行转换
   while (flage && av_read_frame(fmt_ctx, &pkt) == 0) {
       int ret = avcodec_send_packet(dec_ctx, &pkt);
       if(ret < 0){
           qDebug() << "向解码器发送数据包失败!";
           return;
       }
       while(ret >= 0){
           ret = avcodec_receive_frame(dec_ctx, frame);
           if(ret < 0){
               if(ret == AVERROR(EAGAIN) || ret == AVERROR_EOF){
                   break;
               }
               qDebug() << "Error, decoding video frame";
               return;
           }

           swr_convert(swr_ctx, dst_data, nb_samples, frame->data, nb_samples);//添加这一步

           //将样本数据写入 FIFO
           write_to_fifo(fifo, (const uint8_t**)dst_data, nb_samples); //这里的frame改成dst_data
           while (av_audio_fifo_size(fifo) >= frame_size) {
               read_from_fifo(fifo, nframe->data, frame_size);
               nframe->nb_samples = codec_ctx->frame_size;
               nframe->pts = pts;
               ret = avcodec_send_frame(codec_ctx, nframe); //还有这个发送的数据包改成nframe
               if(ret < 0){
                   qDebug() << "向编码器发送数据包失败!";
                   return;
               }
               while(ret >= 0){
                   ret = avcodec_receive_packet(codec_ctx, newpkt);
                   if(ret < 0){
                       if(ret == AVERROR(EAGAIN) || ret == AVERROR_EOF){
                           break;
                       }
                       qDebug() << "Error, encoding video frame";
                       return;
                   }
                   newpkt->pts = newpkt->dts = pts;
                   newpkt->stream_index = audio_stream_index;
                   CallbackFun write = std::bind(&MainWindow::Main_av_interleaved_write_frame, static_cast<MainWindow *>(parent), *ofmt_ctx, newpkt);
                   write();
                   av_packet_unref(newpkt);
               }
               pts += frame_size;
           }
           av_frame_unref(frame);
       }
       av_packet_unref(&pkt);
   }

之前我这里read_from_fifo(fifo, frame->data, frame_size); 之前偷懒，直接用frame。因为没有重采样，所以frame的data数据又是一致的，也就是没有发生改写操作，这样就不会受引用计数的影响，从而不会报错。但就是这么点细节结果让我在用官方AAC编码器上一直写不对(然后就用libfdk_aac了(*￣(oo)￣))

说些什么吧！

valine