欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Mobilenetv3-ssd训练VOC格式数据集loss出现nan:数据本身出现问题

程序员文章站 2023-02-17 08:42:13
十分感谢链接博主:https://blog.csdn.net/weixin_40313940/article/details/105915575训练一开始就出现nan,调参不能解决,那应该就是数据本身出现问题了,先将batch_size设为1(如果网络有BN层有可能会报错),然后shuffle=False,开始逐张图片进行检查,剔除有问题的即可。十分感谢参考链接博主给出的问题根源:xml文件中存在min>max的错误情况,导致导入的数据成为了“bad sample”,存在问题的xml文件如下图...

十分感谢链接博主:
https://blog.csdn.net/weixin_40313940/article/details/105915575
Mobilenetv3-ssd训练VOC格式数据集loss出现nan:数据本身出现问题
训练一开始就出现nan,调参不能解决,那应该就是数据本身出现问题了,先将batch_size设为1(如果网络有BN层有可能会报错),然后shuffle=False,开始逐张图片进行检查,剔除有问题的即可。

十分感谢参考链接博主给出的问题根源:xml文件中存在min>max的错误情况,导致导入的数据成为了“bad sample”,存在问题的xml文件如下图:
Mobilenetv3-ssd训练VOC格式数据集loss出现nan:数据本身出现问题

利用博主给出的脚本就可以快速找到问题xml文件,不过脚本可能有点问题,下面给出修改后的代码:

import os
import xml.etree.ElementTree as ET

xml_dir = 'your Annatations path'


def compare_min_max(xml_dir):
    xmls = os.listdir(xml_dir)
    xmls.sort()
    flag = 0
    count = 0
    for xml in xmls:
        xml_path = os.path.join(xml_dir, xml)
        tree = ET.parse(xml_path)
        root = tree.getroot()
        for elem in root.findall('object'):
            xmin = elem.find('bndbox').find('xmin').text
            ymin = elem.find('bndbox').find('ymin').text
            xmax = elem.find('bndbox').find('xmax').text
            ymax = elem.find('bndbox').find('ymax').text
            #if int(ymin) > int(ymax) or int(xmin) > int(xmax):  # 原代码
            #if ymin > ymax or xmin > xmax:  # 这句代码会得到错误的结果, 不存在min>max
            if int(float(ymin)) > int(float(ymax)) or int(float(xmin)) > int(float(xmax)):  # 修改后的代码
                print('min > max in file:', xml_path)
                flag = 1
        if flag == 1:
            count += 1
            flag = 0
    print('{} files that min > max'.format(count))
    print('finish comparision...')


if __name__ == '__main__':
    compare_min_max(xml_dir)

本文地址:https://blog.csdn.net/weixin_45045906/article/details/107582943

相关标签: 深度学习