对python打乱数据集中X,y标签对的方法详解

yipeiwu_com7年前Python基础

今天踩过的两个小坑:

一.用random的shuffle打乱数据集中的数据-标签对

index=[i for i in range(len(X_batch))]
# print(type(index))
index=random.shuffle(index)

结果shuffle完以后index变成None了,看了下api,这样说明的:

python打乱数据集中X,y标签

这个函数如果返回值,就返回None,所以用index=balabala就把index的内容改变了。去掉index=random.shuffle(index)等号前面的值,这样利用shuffle函数就可以直接将index的内容打乱,并且不返回任何值。

python打乱数据集中X,y标签

因此以上方式就可以打乱index的顺序,并以新顺序输出batch中的数据。

二.整体引用index这个list中的数据

因为index是一个list,所以代码这样写:

X_batch=X_batch[index]

Y_batch=Y_batch[index]

是有问题的,报错是:TypeError: list indices must be integers or slices, not list.

这是因为我的X_batch,Y_batch都是list,直接引用index是错误的。而可以直接引用的方法是如果X_batch,Y_batch是数组,index是数组,就可以。

所以代码改成了:

X_batch,Y_batch=data_generator(data_path)
index=[i for i in range(len(X_batch))]
# print(type(index))
random.shuffle(index)
index=np.array(index)

X_batch=[np.array(X_batch)[index]]
Y_batch=[np.array(Y_batch)[index]]

参考代码:

python打乱数据集中X,y标签

以上这篇对python打乱数据集中X,y标签对的方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python通过TensorFlow卷积神经网络实现猫狗识别

这份数据集来源于Kaggle,数据集有12500只猫和12500只狗。在这里简单介绍下整体思路 处理数据 设计神经网络 进行训练测试 1. 数据处理 将图片数据处理为 t...

python和flask中返回JSON数据的方法

python和flask中返回JSON数据的方法

在python中可以使用json将数据格式化为JSON格式: 1.将字典转换成JSON数据格式: s=['张三','年龄','姓名'] t={} t['data']=s ret...

python中from module import * 的一个坑

但还有另外一个问题 - 你以为你修改了某个变量,其实,被from module import *后的那个并没有被更新,非常危险,因为程序有可能还可以正常运行, 只不过结果错了,到了pro...

Python实现扫描指定目录下的子目录及文件的方法

本文介绍了使用Python来扫描指定目录下的文件,或者匹配指定后缀和前缀的函数。步骤如下: 如果要扫描指定目录下的文件,包括子目录,需要调用scan_files("/export/hom...

Python利用turtle库绘制彩虹代码示例

Python利用turtle库绘制彩虹代码示例

语言:Python IDE:Python.IDE 需求 做出彩虹效果 颜色空间 RGB模型:光的三原色,共同决定色相 HSB/HSV模型:H色彩,S深浅,B饱和度,H决定色相...