3 func isNewline(b []rune) bool {
16 return b[0] == '\r' && b[1] == '\n'
19 func newNewlineToken(b []rune) (Token, int, error) {
21 if b[0] == '\r' && isNewline(b[1:]) {
25 if !isNewline([]rune(b[:i])) {
26 return emptyToken, 0, NewParseError("invalid new line token")
29 return newToken(TokenNL, b[:i], NoneType), i, nil