任务场景

bert刷新了各大记录，在这里就不多介绍了，是一个非常好的预训练模型，我们只需要根据后续任务进行微调，本文采用bert+微调的方式实现了一版NER。

    def biuildModel(self):

        input_ids = layers.Input(shape=(self.max_seq_len,))
        input_mask = layers.Input(shape=(self.max_seq_len,))
        input_type_ids = layers.Input(shape=(self.max_seq_len,))

        embeding = b_embeding_layer(max_seq_len=self.max_seq_len)([input_ids,input_mask,input_type_ids])

        lstm_encode = layers.Bidirectional(layers.LSTM(units=unit_len, return_sequences=True))(embeding)
        dense1 = layers.TimeDistributed(layers.Dense(dense_len, activation="tanh"))(lstm_encode)
        dense1 = layers.Dropout(0.05)(dense1)
       
        crf = CRF(self.class_num, sparse_target=False)

        crf_res = crf(dense1)
        model = Model(inputs=[input_ids, input_mask, input_type_ids], outputs=[crf_res])
        adam = Adam(lr=0.001)
        model.compile(optimizer=adam, loss=crf.loss_function, metrics=[crf.accuracy])
        print(model.summary())

        return model

由于是个相对新一点的模型，在这里放一下模型的结构：

结果：

效果确实比原来提升不少，哈哈。