LipNet

Align: 基本类

invoke

invoke

VideoAugmenter类:数据增强操作

Predict:预测

Curriculum类:数据增强决策

inherit

Genetator:训练时数据生成

Statistics：模型训练之后的数据预测结构统计

+ model_container : Model+ decoder : Decoder+ output_dir : 数据统计的输出文件夹+ num_samples_stats : Int = 256+ generator : Generator

+ on_trian_begin()+ on_epoch_end()

Vasualize：每个epoch进行一次详细预测状况可视化保存

+ model_container : Model + oupt_dir : 预测数据的保存目录+ generator : Generator+ num_display_sentences：Int = 10+ decoder : Decoder

+ on_epoch_end()

Decoder:CTC解码类

+ greedy : Boolean = true+ beam_width : Int = 100+ top_paths ： Int = 1+ language_model : Array = [ ]语言模型+ postprocessors : Array = [ ] ctc解码的后处理函数集合

CTC User-Defind Layer

Model:用于网络模型的构建

+ summary(self.model) : 网络模型结构图的查看+ predict(input_data) : 预测阶段时y_pred的输出

keras.callbacks.Callback

+ on_batch_begin()+ on_batch_end()+ on_epoch_begin()+ on_epoch_end()+ on_train_begin()+ on_train_end()

Video:基本类

+ from_file(path) :读取视频文件+ from_array(array) :从数组中读取+ from_frames(path) :从帧文件夹读取+ print_video() :打印Video对象+ video_save_frame_folder() :视频转帧文件+ video_save_video_file() :帧文件转gif

Spell:单词拼写纠错

Train:网络训练