Python教程：竟然用Python实现了电视里的5毛特效

2024-11-09 技术教程

前段时间接触了一个批量抠图的模型库，而后在一些视频中找到灵感，觉得应该可以通过抠图的方式，给视频换一个不同的场景，于是就有了今天的文章。

我们先看看能实现什么效果，先来个正常版的，先看看原场景：

下面是我们切换场景后的样子：

看起来效果还是不错的，有了这个我们就可以随意切换场景，坟头蹦迪不是梦。另外，我们再来看看另外一种效果，相比之下要狂放许多：

实现步骤

我们都知道，视频是由一帧一帧的画面组成的，每一帧都是一张图片，我们要实现对视频的修改就需要对视频中每一帧画面进行修改。所以在最开始，我们需要获取视频每一帧画面。

在我们获取帧之后，需要抠取画面中的人物。

抠取人物之后，就需要读取我们的场景图片了，在上面的例子中背景都是静态的，所以我们只需要读取一次场景。在读取场景之后我们切换每一帧画面的场景，并写入新的视频。

这时候我们只是生成了一个视频，我们还需要添加音频。而音频就是我们的原视频中的音频，我们读取音频，并给新视频设置音频就好了。

具体步骤如下：

读取视频，获取每一帧画面批量抠图读取场景图片对每一帧画面进行场景切换写入视频读取原视频的音频给新视频设置音频

因为上面的步骤还是比较耗时的，所以在视频完成后通过邮箱发送通知，告诉我视频制作完成。

模块安装

我们需要使用到的模块主要有如下几个：

pillow opencv moviepy paddlehub

我们都可以直接用pip安装：

pipinstallpillow pipinstallopencv-python pipinstallmoviepy

其中OpenCV有一些适配问题，建议选取3.0以上版本。

在我们使用paddlehub之前，我们需要安装paddlepaddle：具体安装步骤可以参见官网。用paddlehub抠图参考：别再自己抠图了，Python用5行代码实现批量抠图。我们这里直接用pip安装cpu版本的：

#安装paddlepaddle python-mpipinstallpaddlepaddle-ihttps://mirror.baidu.com/pypi/simple #安装paddlehub pipinstall-ihttps://mirror.baidu.com/pypi/simplepaddlehub

有了这些准备工作就可以开始我们功能的实现了。

具体实现

我们导入如下包：

importcv2#opencv importmail#自定义包，用于发邮件 importmath importnumpyasnp fromPILimportImage#pillow importpaddlehubashub frommoviepy.editorimport*

其中Pillow和opencv导入的名称不太一样，还有就是我自定义的mail模块。另外我们还要先准备一些路径：

#当前项目根目录，系统自动获取当前目录 BASE_DIR=os.path.abspath(os.path.join(os.path.dirname(__file__),".")) #每一帧画面保存的地址 frame_path=BASE_DIR+'\\frames\\' #抠好的图片位置 humanseg_path=BASE_DIR+'\\humanseg_output\\' #最终视频的保存路径 output_video=BASE_DIR+'\\result.mp4'

接下来我们按照上面说的步骤一个一个实现。

（1）读取视频，获取每一帧画面

在OpenCV中提供了读取帧的函数，我们只需要使用VideoCapture类读取视频，然后调用read函数读取帧，read方法返回两个参数，ret为是否有下一帧，frame为当前帧的ndarray对象。完整代码如下：

defgetFrame(video_name,save_path): """ 读取视频将视频逐帧保存为图片，并返回视频的分辨率size和帧率fps :paramvideo_name:视频的名称 :paramsave_path:保存的路径 :return:fps帧率，size分辨率 """ #读取视频 video=cv2.VideoCapture(video_name) #获取视频帧率 fps=video.get(cv2.CAP_PROP_FPS) #获取画面大小 width=int(video.get(cv2.CAP_PROP_FRAME_WIDTH)) height=int(video.get(cv2.CAP_PROP_FRAME_HEIGHT)) size=(width,height) #获取帧数，用于给图片命名 frame_num=str(video.get(7)) name=int(math.pow(10,len(frame_num))) #读取帧，ret为是否还有下一帧，frame为当前帧的ndarray对象 ret,frame=video.read() whileret: cv2.imwrite(save_path+str(name)+'.jpg',frame) ret,frame=video.read() name+=1 video.release() returnfps,size

在标处，我获取了帧的总数，然后通过如下公式获取比帧数大的整十整百的数：

frame_name=math.pow(10,len(frame_num))

这样做是为了让画面逐帧排序，这样读取的时候就不会乱。另外我们获取了视频的帧率和分辨率，这两个参数在我们创建视频时需要用到。这里需要注意的是opencv3.0以下版本获取帧率和画面大小的写法有些许差别。

（2）批量抠图

批量抠图需要用到paddlehub中的模型库，代码很简单，这里就不多说了：

defgetHumanseg(frames): """ 对帧图片进行批量抠图 :paramframes:帧的路径 :return: """ #加载模型库 humanseg=hub.Module(name='deeplabv3p_xception65_humanseg') #准备文件列表 files=[frames+iforiinos.listdir(frames)] #抠图 humanseg.segmentation(data={'image':files})

我们执行上面函数后会在项目下生成一个humanseg_output目录，抠好的图片就在里面。

（3）读取场景图片

这也是简单的图片读取，我们使用pillow中的Image对象：

defreadBg(bgname,size): """ 读取背景图片，并修改尺寸 :parambgname:背景图片名称 :paramsize:视频分辨率 :return:Image对象 """ im=Image.open(bgname) returnim.resize(size)

这里的返回的对象并非ndarray对象，而是Pillow中定义的类对象。

（4）对每一帧画面进行场景切换

简单来说就是将抠好的图片和背景图片合并，我们知道抠好的图片都在humanseg_output目录，这也就是为什么最开始要准备相应的变量存储该目录的原因：

defsetImageBg(humanseg,bg_im): """ 将抠好的图和背景图片合并 :paramhumanseg:抠好的图 :parambg_im:背景图片，这里和readBg()函数返回的类型一样 :return:合成图的ndarray对象 """ #读取透明图片 im=Image.open(humanseg) #分离色道 r,g,b,a=im.split() #复制背景，以免源背景被修改 bg_im=bg_im.copy() #合并图片 bg_im.paste(im,(0,0),mask=a) returnnp.array(bg_im.convert('RGB'))[:,:,::-1]

在标处，我们复制了背景，如果少了这一步的话，生成的就是我们上面的“千手观音效果”了。

其它步骤都很好理解，只有返回值比较长，我们来详细看一下：

#将合成图转换成RGB，这样A通道就没了 bg_im=bg_im.convert('RGB') #将Image对象转换成ndarray对象，方便opencv读取 im_array=np.array(bg_im) #此时im_array为rgb模式，而OpenCV为bgr模式，我们通过下面语句将rgb转换成bgr bgr_im_array=im_array[:,:,::-1]

最后bgr_im_array就是我们最终的返回结果。

（5）写入视频

为了节约空间，我并非等将写入图片放在合并场景后面，而是边合并场景边写入视频：

defwriteVideo(humanseg,bg_im,fps,size): """ :paramhumanseg:png图片的路径 :parambgname:背景图片 :paramfps:帧率 :paramsize:分辨率 :return: """ #写入视频 fourcc=cv2.VideoWriter_fourcc(*'mp4v') out=cv2.VideoWriter('green.mp4',fourcc,fps,size) #将每一帧设置背景 files=[humanseg+iforiinos.listdir(humanseg)] forfileinfiles: #循环合并图片 im_array=setImageBg(file,bg_im) #逐帧写入视频 out.write(im_array) out.release()

上面的代码也非常简单，执行完成后项目下会生成一个green.mp4，这是一个没有音频的视频，后面就需要我们获取音频然后混流了。

（6）读取原视频的音频

因为在opencv中没找到音频相关的处理，所以选用moviepy，使用起来也非常方便：

defgetMusic(video_name): """ 获取指定视频的音频 :paramvideo_name:视频名称 :return:音频对象 """ #读取视频文件 video=VideoFileClip(video_name) #返回音频 returnvideo.audio

然后就是混流了。

（7）给新视频设置音频

这里同样使用moviepy，传入视频名称和音频对象进行混流：

defaddMusic(video_name,audio): """实现混流，给video_name添加音频""" #读取视频 video=VideoFileClip(video_name) #设置视频的音频 video=video.set_audio(audio) #保存新的视频文件 video.write_videofile(output_video)

其中output_video是我们在最开始定义的变量。

（8）删除过渡文件

在我们生产视频时，会产生许多过渡文件，在视频合成后我们将它们删除：

defdeleteTransitionalFiles(): """删除过渡文件""" frames=[frame_path+iforiinos.listdir(frame_path)] humansegs=[humanseg_path+iforiinos.listdir(humanseg_path)] forframeinframes: os.remove(frame) forhumanseginhumansegs: os.remove(humanseg)

最后就是将整个流程整合一下。

（8）整合

我们将上面完整的流程合并成一个函数：

defchangeVideoScene(video_name,bgname): """ :paramvideo_name:视频的文件 :parambgname:背景图片 :return: """ #读取视频中每一帧画面 fps,size=getFrame(video_name,frame_path) #批量抠图 getHumanseg(frame_path) #读取背景图片 bg_im=readBg(bgname,size) #将画面一帧帧写入视频 writeVideo(humanseg_path,bg_im,fps,size) #混流 addMusic('green.mp4',getMusic(video_name)) #删除过渡文件 deleteTransitionalFiles()

（9）在main中调用

我们可以把前面定义的路径也放进了：

if__name__=='__main__': #当前项目根目录 BASE_DIR=os.path.abspath(os.path.join(os.path.dirname(__file__),".")) #每一帧画面保存的地址 frame_path=BASE_DIR+'\\frames\\' #抠好的图片位置 humanseg_path=BASE_DIR+'\\humanseg_output\\' #最终视频的保存路径 output_video=BASE_DIR+'\\result.mp4' ifnotos.path.exists(frame_path): os.makedirs(frame_path) try: #调用函数制作视频 changeVideoScene('jljt.mp4','bg.jpg') #当制作完成发送邮箱 mail.sendMail('你的视频已经制作完成') exceptExceptionase: #当发生错误，发送错误信息 mail.sendMail('在制作过程中遇到了问题'+e.__str__())

这样我们就完成了完整的流程。

发送邮件

邮件的发送又是属于另外的内容了，我定义了一个mail.py文件，具体代码如下：

importsmtplib fromemail.mime.textimportMIMEText fromemail.mime.multipartimportMIMEMultipart#一封邮件defsendMail(msg): # sender='发件人' to_list=[ '收件人' ] subject='视频制作情况' #创建邮箱 em=MIMEMultipart() em['subject']=subject em['From']=sender em['To']=",".join(to_list) #邮件的内容 content=MIMEText(msg) em.attach(content) #发送邮件 #1、连接服务器 smtp=smtplib.SMTP() smtp.connect('smtp.163.com') #2、登录 smtp.login(sender,'你的密码或者授权码') #3、发邮件 smtp.send_message(em) #4、关闭连接 smtp.close()