对python打乱数据集中X,y标签对的方法详解

yipeiwu_com5年前Python基础

今天踩过的两个小坑:

一.用random的shuffle打乱数据集中的数据-标签对

index=[i for i in range(len(X_batch))]
# print(type(index))
index=random.shuffle(index)

结果shuffle完以后index变成None了,看了下api,这样说明的:

python打乱数据集中X,y标签

这个函数如果返回值,就返回None,所以用index=balabala就把index的内容改变了。去掉index=random.shuffle(index)等号前面的值,这样利用shuffle函数就可以直接将index的内容打乱,并且不返回任何值。

python打乱数据集中X,y标签

因此以上方式就可以打乱index的顺序,并以新顺序输出batch中的数据。

二.整体引用index这个list中的数据

因为index是一个list,所以代码这样写:

X_batch=X_batch[index]

Y_batch=Y_batch[index]

是有问题的,报错是:TypeError: list indices must be integers or slices, not list.

这是因为我的X_batch,Y_batch都是list,直接引用index是错误的。而可以直接引用的方法是如果X_batch,Y_batch是数组,index是数组,就可以。

所以代码改成了:

X_batch,Y_batch=data_generator(data_path)
index=[i for i in range(len(X_batch))]
# print(type(index))
random.shuffle(index)
index=np.array(index)

X_batch=[np.array(X_batch)[index]]
Y_batch=[np.array(Y_batch)[index]]

参考代码:

python打乱数据集中X,y标签

以上这篇对python打乱数据集中X,y标签对的方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python3实现将本地JSON大数据文件写入MySQL数据库的方法

本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法。分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进...

深入理解Python中各种方法的运作原理

方法在Python中是如何工作的 方法就是一个函数,它作为一个类属性而存在,你可以用如下方式来声明、访问一个函数:   >>> class Pizza(...

Python数据结构与算法之列表(链表,linked list)简单实现

Python 中的 list 并不是我们传统(计算机科学)意义上的列表,这也是其 append 操作会比 insert 操作效率高的原因。传统列表——通常也叫作链表(linked lis...

Python使用arrow库优雅地处理时间数据详解

前言 大家应该都知道在很多时候我们不得不和时间打交道,但在Python标准库中处理时间的模块其实设计的不是很友好,为什么我会这么说?因为我相信大部分人几乎每次在处理时间数据时一而再,再...

基于Python3.6+splinter实现自动抢火车票

本文实例为大家分享了python实现自动抢火车票,供大家参考,具体内容如下 splinter使用 首先介绍一下splinter使用: plinter.brower是一个开源工具,通过Py...