use custom marshalling for JSONLog
Docker-DCO-1.1-Signed-off-by: Cristian Staretu <cristian.staretu@gmail.com> (github: unclejack)
This commit is contained in:
parent
4154bf0817
commit
df3e370955
2 changed files with 189 additions and 5 deletions
|
@ -2,7 +2,6 @@ package broadcastwriter
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
"encoding/json"
|
|
||||||
"io"
|
"io"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
|
@ -15,6 +14,7 @@ import (
|
||||||
type BroadcastWriter struct {
|
type BroadcastWriter struct {
|
||||||
sync.Mutex
|
sync.Mutex
|
||||||
buf *bytes.Buffer
|
buf *bytes.Buffer
|
||||||
|
jsLogBuf *bytes.Buffer
|
||||||
streams map[string](map[io.WriteCloser]struct{})
|
streams map[string](map[io.WriteCloser]struct{})
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -43,6 +43,10 @@ func (w *BroadcastWriter) Write(p []byte) (n int, err error) {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
if w.jsLogBuf == nil {
|
||||||
|
w.jsLogBuf = new(bytes.Buffer)
|
||||||
|
w.jsLogBuf.Grow(1024)
|
||||||
|
}
|
||||||
w.buf.Write(p)
|
w.buf.Write(p)
|
||||||
for {
|
for {
|
||||||
line, err := w.buf.ReadString('\n')
|
line, err := w.buf.ReadString('\n')
|
||||||
|
@ -54,19 +58,23 @@ func (w *BroadcastWriter) Write(p []byte) (n int, err error) {
|
||||||
if stream == "" {
|
if stream == "" {
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
b, err := json.Marshal(jsonlog.JSONLog{Log: line, Stream: stream, Created: created})
|
jsonLog := jsonlog.JSONLog{Log: line, Stream: stream, Created: created}
|
||||||
|
err = jsonLog.MarshalJSONBuf(w.jsLogBuf)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
log.Errorf("Error making JSON log line: %s", err)
|
log.Errorf("Error making JSON log line: %s", err)
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
b = append(b, '\n')
|
w.jsLogBuf.WriteByte('\n')
|
||||||
|
b := w.jsLogBuf.Bytes()
|
||||||
for sw := range writers {
|
for sw := range writers {
|
||||||
if _, err := sw.Write(b); err != nil {
|
if _, err := sw.Write(b); err != nil {
|
||||||
delete(writers, sw)
|
delete(writers, sw)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
w.jsLogBuf.Reset()
|
||||||
}
|
}
|
||||||
|
w.jsLogBuf.Reset()
|
||||||
w.Unlock()
|
w.Unlock()
|
||||||
return len(p), nil
|
return len(p), nil
|
||||||
}
|
}
|
||||||
|
|
176
jsonlog/jsonlog_marshalling.go
Normal file
176
jsonlog/jsonlog_marshalling.go
Normal file
|
@ -0,0 +1,176 @@
|
||||||
|
// This code was initially generated by ffjson <https://github.com/pquerna/ffjson>
|
||||||
|
// This code was generated via the following steps:
|
||||||
|
// $ go get -u github.com/pquerna/ffjson
|
||||||
|
// $ make shell BINDDIR=.
|
||||||
|
// $ ffjson pkg/jsonlog/jsonlog.go
|
||||||
|
// $ mv pkg/jsonglog/jsonlog_ffjson.go pkg/jsonlog/jsonlog_marshalling.go
|
||||||
|
//
|
||||||
|
// It has been modified to improve the performance of time marshalling to JSON
|
||||||
|
// and to clean it up.
|
||||||
|
// Should this code need to be regenerated when the JSONLog struct is changed,
|
||||||
|
// the relevant changes which have been made are:
|
||||||
|
// import (
|
||||||
|
// "bytes"
|
||||||
|
//-
|
||||||
|
// "unicode/utf8"
|
||||||
|
//+
|
||||||
|
//+ "github.com/docker/docker/pkg/timeutils"
|
||||||
|
// )
|
||||||
|
//
|
||||||
|
// func (mj *JSONLog) MarshalJSON() ([]byte, error) {
|
||||||
|
//@@ -20,13 +16,13 @@ func (mj *JSONLog) MarshalJSON() ([]byte, error) {
|
||||||
|
// }
|
||||||
|
// return buf.Bytes(), nil
|
||||||
|
// }
|
||||||
|
//+
|
||||||
|
// func (mj *JSONLog) MarshalJSONBuf(buf *bytes.Buffer) error {
|
||||||
|
//- var err error
|
||||||
|
//- var obj []byte
|
||||||
|
//- var first bool = true
|
||||||
|
//- _ = obj
|
||||||
|
//- _ = err
|
||||||
|
//- _ = first
|
||||||
|
//+ var (
|
||||||
|
//+ err error
|
||||||
|
//+ timestamp string
|
||||||
|
//+ first bool = true
|
||||||
|
//+ )
|
||||||
|
// buf.WriteString(`{`)
|
||||||
|
// if len(mj.Log) != 0 {
|
||||||
|
// if first == true {
|
||||||
|
//@@ -52,11 +48,11 @@ func (mj *JSONLog) MarshalJSONBuf(buf *bytes.Buffer) error {
|
||||||
|
// buf.WriteString(`,`)
|
||||||
|
// }
|
||||||
|
// buf.WriteString(`"time":`)
|
||||||
|
//- obj, err = mj.Created.MarshalJSON()
|
||||||
|
//+ timestamp, err = timeutils.FastMarshalJSON(mj.Created)
|
||||||
|
// if err != nil {
|
||||||
|
// return err
|
||||||
|
// }
|
||||||
|
//- buf.Write(obj)
|
||||||
|
//+ buf.WriteString(timestamp)
|
||||||
|
// buf.WriteString(`}`)
|
||||||
|
// return nil
|
||||||
|
// }
|
||||||
|
|
||||||
|
package jsonlog
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"unicode/utf8"
|
||||||
|
|
||||||
|
"github.com/docker/docker/pkg/timeutils"
|
||||||
|
)
|
||||||
|
|
||||||
|
func (mj *JSONLog) MarshalJSON() ([]byte, error) {
|
||||||
|
var buf bytes.Buffer
|
||||||
|
buf.Grow(1024)
|
||||||
|
err := mj.MarshalJSONBuf(&buf)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return buf.Bytes(), nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (mj *JSONLog) MarshalJSONBuf(buf *bytes.Buffer) error {
|
||||||
|
var (
|
||||||
|
err error
|
||||||
|
timestamp string
|
||||||
|
first bool = true
|
||||||
|
)
|
||||||
|
buf.WriteString(`{`)
|
||||||
|
if len(mj.Log) != 0 {
|
||||||
|
if first == true {
|
||||||
|
first = false
|
||||||
|
} else {
|
||||||
|
buf.WriteString(`,`)
|
||||||
|
}
|
||||||
|
buf.WriteString(`"log":`)
|
||||||
|
ffjson_WriteJsonString(buf, mj.Log)
|
||||||
|
}
|
||||||
|
if len(mj.Stream) != 0 {
|
||||||
|
if first == true {
|
||||||
|
first = false
|
||||||
|
} else {
|
||||||
|
buf.WriteString(`,`)
|
||||||
|
}
|
||||||
|
buf.WriteString(`"stream":`)
|
||||||
|
ffjson_WriteJsonString(buf, mj.Stream)
|
||||||
|
}
|
||||||
|
if first == true {
|
||||||
|
first = false
|
||||||
|
} else {
|
||||||
|
buf.WriteString(`,`)
|
||||||
|
}
|
||||||
|
buf.WriteString(`"time":`)
|
||||||
|
timestamp, err = timeutils.FastMarshalJSON(mj.Created)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
buf.WriteString(timestamp)
|
||||||
|
buf.WriteString(`}`)
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func ffjson_WriteJsonString(buf *bytes.Buffer, s string) {
|
||||||
|
const hex = "0123456789abcdef"
|
||||||
|
|
||||||
|
buf.WriteByte('"')
|
||||||
|
start := 0
|
||||||
|
for i := 0; i < len(s); {
|
||||||
|
if b := s[i]; b < utf8.RuneSelf {
|
||||||
|
if 0x20 <= b && b != '\\' && b != '"' && b != '<' && b != '>' && b != '&' {
|
||||||
|
i++
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if start < i {
|
||||||
|
buf.WriteString(s[start:i])
|
||||||
|
}
|
||||||
|
switch b {
|
||||||
|
case '\\', '"':
|
||||||
|
buf.WriteByte('\\')
|
||||||
|
buf.WriteByte(b)
|
||||||
|
case '\n':
|
||||||
|
buf.WriteByte('\\')
|
||||||
|
buf.WriteByte('n')
|
||||||
|
case '\r':
|
||||||
|
buf.WriteByte('\\')
|
||||||
|
buf.WriteByte('r')
|
||||||
|
default:
|
||||||
|
|
||||||
|
buf.WriteString(`\u00`)
|
||||||
|
buf.WriteByte(hex[b>>4])
|
||||||
|
buf.WriteByte(hex[b&0xF])
|
||||||
|
}
|
||||||
|
i++
|
||||||
|
start = i
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
c, size := utf8.DecodeRuneInString(s[i:])
|
||||||
|
if c == utf8.RuneError && size == 1 {
|
||||||
|
if start < i {
|
||||||
|
buf.WriteString(s[start:i])
|
||||||
|
}
|
||||||
|
buf.WriteString(`\ufffd`)
|
||||||
|
i += size
|
||||||
|
start = i
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
if c == '\u2028' || c == '\u2029' {
|
||||||
|
if start < i {
|
||||||
|
buf.WriteString(s[start:i])
|
||||||
|
}
|
||||||
|
buf.WriteString(`\u202`)
|
||||||
|
buf.WriteByte(hex[c&0xF])
|
||||||
|
i += size
|
||||||
|
start = i
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
i += size
|
||||||
|
}
|
||||||
|
if start < len(s) {
|
||||||
|
buf.WriteString(s[start:])
|
||||||
|
}
|
||||||
|
buf.WriteByte('"')
|
||||||
|
}
|
Loading…
Reference in a new issue