mirror of
https://git.sr.ht/~phw/scotty
synced 2025-06-01 19:38:34 +02:00
Implemented listenrbainz.ExportArchive.IterFeedback
This commit is contained in:
parent
cf5319309a
commit
0231331209
1 changed files with 43 additions and 12 deletions
|
@ -23,6 +23,7 @@ package listenbrainz
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
|
"errors"
|
||||||
"io"
|
"io"
|
||||||
"iter"
|
"iter"
|
||||||
"regexp"
|
"regexp"
|
||||||
|
@ -54,6 +55,9 @@ func OpenExportArchive(path string) (*ExportArchive, error) {
|
||||||
|
|
||||||
// Close the archive and release any resources.
|
// Close the archive and release any resources.
|
||||||
func (a *ExportArchive) Close() error {
|
func (a *ExportArchive) Close() error {
|
||||||
|
if a.backend == nil {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
return a.backend.Close()
|
return a.backend.Close()
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -126,8 +130,8 @@ func (a *ExportArchive) IterListens(minTimestamp time.Time) iter.Seq2[Listen, er
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
|
|
||||||
f := NewExportFile(file.f)
|
f := JSONLFile[Listen]{file: file.f}
|
||||||
for l, err := range f.IterListens() {
|
for l, err := range f.IterItems() {
|
||||||
if err != nil {
|
if err != nil {
|
||||||
yield(Listen{}, err)
|
yield(Listen{}, err)
|
||||||
return
|
return
|
||||||
|
@ -144,6 +148,36 @@ func (a *ExportArchive) IterListens(minTimestamp time.Time) iter.Seq2[Listen, er
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// Yields all feedbacks from the archive that are newer than the given timestamp.
|
||||||
|
// The feedbacks are yielded in ascending order of their Created timestamp.
|
||||||
|
func (a *ExportArchive) IterFeedback(minTimestamp time.Time) iter.Seq2[Feedback, error] {
|
||||||
|
return func(yield func(Feedback, error) bool) {
|
||||||
|
files, err := a.backend.Glob("feedback.jsonl")
|
||||||
|
if err != nil {
|
||||||
|
yield(Feedback{}, err)
|
||||||
|
return
|
||||||
|
} else if len(files) == 0 {
|
||||||
|
yield(Feedback{}, errors.New("no feedback.jsonl file found in archive"))
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
j := JSONLFile[Feedback]{file: files[0].File}
|
||||||
|
for l, err := range j.IterItems() {
|
||||||
|
if err != nil {
|
||||||
|
yield(Feedback{}, err)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
if !time.Unix(l.Created, 0).After(minTimestamp) {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if !yield(l, nil) {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
type UserInfo struct {
|
type UserInfo struct {
|
||||||
ID string `json:"user_id"`
|
ID string `json:"user_id"`
|
||||||
Name string `json:"username"`
|
Name string `json:"username"`
|
||||||
|
@ -160,15 +194,11 @@ type ListenExportFileInfo struct {
|
||||||
f archive.OpenableFile
|
f archive.OpenableFile
|
||||||
}
|
}
|
||||||
|
|
||||||
type ListenExportFile struct {
|
type JSONLFile[T any] struct {
|
||||||
file archive.OpenableFile
|
file archive.OpenableFile
|
||||||
}
|
}
|
||||||
|
|
||||||
func NewExportFile(f archive.OpenableFile) ListenExportFile {
|
func (f *JSONLFile[T]) openReader() (*jsonl.Reader, error) {
|
||||||
return ListenExportFile{file: f}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (f *ListenExportFile) openReader() (*jsonl.Reader, error) {
|
|
||||||
fio, err := f.file.Open()
|
fio, err := f.file.Open()
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
|
@ -177,17 +207,18 @@ func (f *ListenExportFile) openReader() (*jsonl.Reader, error) {
|
||||||
return &reader, nil
|
return &reader, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (f *ListenExportFile) IterListens() iter.Seq2[Listen, error] {
|
func (f *JSONLFile[T]) IterItems() iter.Seq2[T, error] {
|
||||||
return func(yield func(Listen, error) bool) {
|
return func(yield func(T, error) bool) {
|
||||||
reader, err := f.openReader()
|
reader, err := f.openReader()
|
||||||
if err != nil {
|
if err != nil {
|
||||||
yield(Listen{}, err)
|
var listen T
|
||||||
|
yield(listen, err)
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
defer reader.Close()
|
defer reader.Close()
|
||||||
|
|
||||||
for {
|
for {
|
||||||
listen := Listen{}
|
var listen T
|
||||||
err := reader.ReadSingleLine(&listen)
|
err := reader.ReadSingleLine(&listen)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
break
|
break
|
||||||
|
|
Loading…
Add table
Add a link
Reference in a new issue