diff --git a/.obsidian/workspace.json b/.obsidian/workspace.json index 82df01a..0347f0c 100644 --- a/.obsidian/workspace.json +++ b/.obsidian/workspace.json @@ -41,7 +41,7 @@ "state": { "type": "markdown", "state": { - "file": "05. 資料收集/Keras.tensorflow - shuffle.md", + "file": "05. 資料收集/Keras.tensorflow - Dataset.md", "mode": "source", "source": true } @@ -114,7 +114,7 @@ "state": { "type": "backlink", "state": { - "file": "05. 資料收集/Keras.tensorflow - shuffle.md", + "file": "05. 資料收集/Keras.tensorflow - Dataset.md", "collapseAll": false, "extraContext": false, "sortOrder": "alphabetical", @@ -139,7 +139,7 @@ "state": { "type": "outline", "state": { - "file": "05. 資料收集/Keras.tensorflow - shuffle.md" + "file": "05. 資料收集/Keras.tensorflow - Dataset.md" } } }, @@ -167,7 +167,7 @@ "state": { "type": "file-properties", "state": { - "file": "05. 資料收集/Keras.tensorflow - shuffle.md" + "file": "05. 資料收集/Keras.tensorflow - Dataset.md" } } } @@ -212,8 +212,8 @@ }, "active": "9ef635642faa0c82", "lastOpenFiles": [ - "05. 資料收集/Keras.tensorflow - Dataset.md", "05. 資料收集/Keras.tensorflow - shuffle.md", + "05. 資料收集/Keras.tensorflow - Dataset.md", "01. 個人/01. Daily/2023-11-08(週三).md", "01. 個人/01. Daily/2023-11-07(週二).md", "01. 個人/01. Daily/2023-11-06(週一).md", diff --git a/05. 資料收集/Keras.tensorflow - Dataset.md b/05. 資料收集/Keras.tensorflow - Dataset.md index 6e2937c..4c589e4 100644 --- a/05. 資料收集/Keras.tensorflow - Dataset.md +++ b/05. 資料收集/Keras.tensorflow - Dataset.md @@ -2,9 +2,9 @@ dataset 會有 `data_batch` 與 `label_batch` 這兩個 member,分別代表資料與標籤。 可以用 `dataset.batch(32)` 改變 batch size。 還有一些其他的有用function: -- `shuffle(buffer_size)`: 打亂順序 +- `shuffle(buffer_size)`: 打亂順序,可參考[[Keras.tensorflow - shuffle#^832c8c]] - `prefetch(buffer_size)`: 設定預讀的大小 - `map(callback_func)`: 用 callback_func 來處理資料 - `take(N)`: 取出第N筆的批次資料,注意這一筆是一個批次資料,裡面可能有32筆資料(或其他數量,看你的 `dataset.batch(N)` 怎麼設定)。 -## 用 \ No newline at end of file +打亂data的方法,請看[[Keras.tensorflow - shuffle]] diff --git a/05. 資料收集/Keras.tensorflow - shuffle.md b/05. 資料收集/Keras.tensorflow - shuffle.md index c522430..3e52729 100644 --- a/05. 資料收集/Keras.tensorflow - shuffle.md +++ b/05. 資料收集/Keras.tensorflow - shuffle.md @@ -10,7 +10,10 @@ y_data = tf.gather(y_data, idx) 先建立一個跟array一樣大的list,然後打亂它,再用這個已打亂的list當作索引來建立一個新的data list。 -## 2. +## 2. 用 `Dataset.shuffle` + +^832c8c + ```python x_train = tf.data.Dataset.from_tensor_slices(x) y_train = tf.data.Dataset.from_tensor_slices(y) @@ -31,4 +34,4 @@ x_train, y_train = shuffling(x_train, BF, SEED), shuffling(y_train, BF, SEED) dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train)) ``` -概念跟第一點是一樣的,但是這是先轉成 `tf.data.Dataset`,然後把x_train跟y_train都用同樣的seed打亂。 \ No newline at end of file +概念跟第一點是一樣的,但是這是先轉成 `tf.data.Dataset`,然後把x_train跟y_train都用同樣的seed打亂。