tokens.txt 1.8 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227
  1. <blk> 0
  2. <sos/eos> 1
  3. <unk> 2
  4. A 3
  5. B 4
  6. S 5
  7. I 6
  8. f 7
  9. ù 8
  10. ǔ 9
  11. zh 10
  12. y 11
  13. ī 12
  14. sh 13
  15. ēng 14
  16. uè 15
  17. p 16
  18. iàn 17
  19. K 18
  20. L 19
  21. P 20
  22. R 21
  23. T 22
  24. M 23
  25. j 24
  26. W 25
  27. q 26
  28. s 27
  29. ān 28
  30. b 29
  31. ā 30
  32. l 31
  33. íng 32
  34. iǔ 33
  35. ch 34
  36. ǐ 35
  37. ì 36
  38. èr 37
  39. w 38
  40. r 39
  41. án 40
  42. én 41
  43. ó 42
  44. g 43
  45. uǎn 44
  46. c 45
  47. āng 46
  48. ǎn 47
  49. x 48
  50. iān 49
  51. ōng 50
  52. àng 51
  53. òng 52
  54. d 53
  55. ài 54
  56. iù 55
  57. ìng 56
  58. ū 57
  59. m 58
  60. àn 59
  61. ǎ 60
  62. í 61
  63. z 62
  64. k 63
  65. ǒu 64
  66. ūn 65
  67. uó 66
  68. èng 67
  69. òu 68
  70. ú 69
  71. éng 70
  72. à 71
  73. iào 72
  74. āo 73
  75. ào 74
  76. h 75
  77. uáng 76
  78. t 77
  79. iáo 78
  80. è 79
  81. iǎn 80
  82. er 81
  83. n 82
  84. èi 83
  85. ǐng 84
  86. uā 85
  87. ēi 86
  88. ǎo 87
  89. iú 88
  90. uàng 89
  91. uí 90
  92. ǜ 91
  93. āi 92
  94. óu 93
  95. ià 94
  96. ǎng 95
  97. īn 96
  98. uà 97
  99. uǐ 98
  100. ái 99
  101. ò 100
  102. ē 101
  103. óng 102
  104. uàn 103
  105. é 104
  106. ìn 105
  107. ùn 106
  108. uò 107
  109. ún 108
  110. uì 109
  111. uān 110
  112. ǐn 111
  113. iāo 112
  114. ōu 113
  115. uán 114
  116. iǎo 115
  117. á 116
  118. ér 117
  119. èn 118
  120. C 119
  121. D 120
  122. E 121
  123. O 122
  124. N 123
  125. Z 124
  126. ěi 125
  127. ián 126
  128. ēn 127
  129. iā 128
  130. ǚ 129
  131. áng 130
  132. iě 131
  133. ǒng 132
  134. éi 133
  135. iāng 134
  136. J 135
  137. V 136
  138. ín 137
  139. ié 138
  140. īng 139
  141. ō 140
  142. ěr 141
  143. F 142
  144. ué 143
  145. iǎng 144
  146. uō 145
  147. G 146
  148. ǎi 147
  149. ěn 148
  150. H 149
  151. en 150
  152. X 151
  153. i 152
  154. ǒ 153
  155. uǒ 154
  156. iè 155
  157. iū 156
  158. U 157
  159. iàng 158
  160. uāng 159
  161. uá 160
  162. Q 161
  163. ě 162
  164. e 163
  165. iǎ 164
  166. iáng 165
  167. Y 166
  168. ○ 167
  169. iē 168
  170. uī 169
  171. ěng 170
  172. uài 171
  173. áo 172
  174. a 173
  175. ou 174
  176. ǔn 175
  177. uái 176
  178. uāi 177
  179. ióng 178
  180. ei 179
  181. ń 180
  182. iá 181
  183. iōng 182
  184. üè 183
  185. uē 184
  186. uǎng 185
  187. uǎ 186
  188. o 187
  189. uǎi 188
  190. uě 189
  191. ǘ 190
  192. uo 191
  193. iǒng 192
  194. ang 193
  195. ia 194
  196. u 195
  197. üě 196
  198. #0 197
  199. #1 198
  200. #2 199
  201. #3 200
  202. #4 201
  203. #5 202
  204. #6 203
  205. #7 204
  206. #8 205
  207. #9 206
  208. #10 207
  209. #11 208
  210. #12 209
  211. #13 210
  212. #14 211
  213. #15 212
  214. #16 213
  215. #17 214
  216. #18 215
  217. #19 216
  218. #20 217
  219. #21 218
  220. #22 219
  221. #23 220
  222. #24 221
  223. #25 222
  224. #26 223
  225. #27 224
  226. #28 225
  227. #29 226