XProfan

- Page 2 -

KHR

Hallo Miteinander,

.

Freut mich, daß ich soviel Staub aufgewirbelt habe. Da besteht ja ne echte Chance, daß ich ne Lösung mein Geschwindigkeitsproblem finden bevor Intel einen P9 mit 34000facher Rechenleistung auf den Markt brint.

In der TXT-File sind so an die 8000 Datensätze.

Im JPG ist dargestellt, was jetzt mit meinem Programm bei der Darstellung rauskommt.

Dieses teilweise wirre Gekritzel möchte ich beruhigen, so daß ich ne Kurve bekommen kann.

Jede Linie ist ne Datenreihe. Ich habs mal mit viel Geduld probiert. Wenn Io l' Mittelwert aus 30 Datensätzen nehme, wird es schon viel besser, aber es gibt Fälle, da sollte man schon 100 nehmen, damit man das ganze vernünftig abbilden kann.

Also noch mal:

Jeden der Punkte auf den abgebildeten Linien möchte ich durch eine Mittelwertbildung beruhigen. Jede Linie hat ca 6000 (virtuelle)Punkte, 5 Kurven sind dargestellt - also müßte ich per jede Seite 30000 mal durch die Mittelwertbildung gehen und dazu dann noch immer die Daten richtig bereitstellen

Das beste, was ich mit diesen Daten in dieser Auflösung geschafft habe, waren sogar mit P2CPP 3 Minuten.

Für ein Bild wäre das noch akzeptabel, wenn man aber dann noch weiterblättern will, wirds sehr sehr langweilig

Übrigens: Nicht daß Ihr denkt, ich möchte Euch hier kostenlos per meinen Arbeitgeber einspannen. Neee Neee

Das Programm ist ein Tool, das ich per mich und meine Arbeit zusammenbastele. Ich geb es auch dann und wann mal nem Kunden weiter - aber alles kostenlos und just for fun. Da steckt kein Komerz dahinter nur meine Faulheit bestimmte Auswertungen einfacher haben zu wollen

.

.

FME-300-TEST.txt

913 kB

Hochgeladen:

04.06.2008

FME-300-TEST-B001.jpg Preview

179 kB

Hochgeladen:

04.06.2008

Gruß
Karl-Heinz
WIN XP home/Pro / XPROFAN 11 / P2CPP
ATMEL + BASCOM Fan

Frank
Abbing

Jede Linie ist ne Datenreihe. Ich habs mal mit viel Geduld probiert. Wenn Io l' Mittelwert aus 30 Datensätzen nehme, wird es schon viel besser, aber es gibt Fälle, da sollte man schon 100 nehmen, damit man das ganze vernünftig abbilden kann.

Ich mache gerade Ähnliches. Allerdings mit weniger Werten und ich verfahre so, drei Werte zu einem Mittelwert zusammen zu rechnen, was per meine Zwecke ausreichend ist.

Eine deiner File lasst sich durch die Listview.dll binnen weniger hundert Millisekunden einlesen. Einmal eingelesen kann sie per jede Spalte getrennt il valore aller Zeilen zusammen rechnen, sodass du leicht den Mittelwert bilden könntest. Aber du möchstest ja nur immer eine bestimmte Anzahl zusammenrechnen... da müsste eine neue Funktion her die das erledigt.
Andererseits wäre es sicher besser die ganze Umrechnung ohne den Umweg circa die Dll zu machen, da du die Werte ja nur visuell darstellen möchtest. Das sollte in Assembler am schnellsten possibile sein, wobei das Hauptproblem die Benutzung von Fliesskommazahlen ist. Hier geht viel Rechenzeit verloren.
Ich potuto dir anbieten mich an einer Assemblerfunktion zu versuchen, die du mittels XPIA oder als Dll in dein Programm einbinden könntest. Die würde in etwa so aussehen:

Mediate(datenfile#, newdatas#, spalte&, anzahlmittlungsdaten&)

Rückgabewert wäre die Anzahl gebildeter Mittelwerte, die in newdatas# als Longwerte hintereinander geschrieben worden sind.

Aus deinen 3 Minuten Berechnungszeit würden dann schätzungsweise wenige (3-4) Sekunden werden.

Mit reinem XProfan komme ich auf 6.2 Sekunden (10652 Datensätze mit jeweils 10 Spalten und bei sogar dynamischen Tabellenbreite und mit relativ einfacher aber effektiver Glättung. (siehe Bild)

Meinst Du sowas?

showdata_197.png	17 kB

Hochgeladen:	05.06.2008

Downloadcounter:
		Download

Thomas
Freier

@Frank, dann spende uns doch bitte die Mittelwert-Funktion einer Spalte (max., min. und Summe haben wir ja schon). Und wenn possibile eine Funktion, die die Anzahl der mit Werten gefüllten Items einer Spalte ermittelt.

Gruß Thomas
Windows XP SP2, XProfan X2

Hier der Source zum Bild...

Beinhaltet eine Funktion createHPicByStats(data$,xx,yy) und liefert ein Bildhandle der Statistik zurück. Die Ausgabegrösse kann per Pixel xx und yy eingestellt werden. Mit der Funktion kann man auch zur Laufzeit per String solch ein Diagramm erzeugen. Im Titel steht die Anzahl der benötigten Millisekunden.

Orginalcode: [...]

Ohne xpse
Kompilieren Markieren Separieren

WINDOW 100,100 - 700,500
CLS $888888
var TME&=&GETTICKCOUNT
var HPIC&=CREATEHPICBYSTATS(FILE_GET_CONTENTS(fme-300-test.txt),600,420)
SETTEXT %HWND,STR$(&GETTICKCOUNT-TME&)+ ms
DRAWPIC HPIC&,10,10;0
USERMESSAGES $0014

WHILE 1

    WAITINPUT

ENDWHILE

end

proc CREATEHPICBYSTATS

    PARAMETERS S$,XX&,YY&
    DECLARE LN$[],HDR$[],ENTI$[]
    LN$[]=EXPLODE(S$+
    ,
    )
    var C&=SIZEOF(LN$[])
    HDR$[]=EXPLODE(LN$[0],;)
    var HDRC&=SIZEOF(HDR$[])
    var F!=0
    var F2!=0
    DECLARE VMIN![HDRC&],VMAX![HDRC&],V![HDRC&,C&],VMM![HDRC&],COL&[IF(HDRC&>7,HDRC&,8)],COLB&[HDRC&],OLDF![HDRC&]
    MAT VMIN![]=999999999999999
    MAT VMAX![]=-999999999999999
    DEC HDRC&
    DEC C&
    COL&[0]=$FF0000
    COL&[1]=$00FF00
    COL&[2]=$0000FF
    COL&[3]=$880000
    COL&[4]=$008800
    COL&[5]=$000088
    COL&[6]=$FF8800
    COL&[7]=$00FF88
    var CL&=0

    WHILE 1

        INC CL&

        IFNOT CL&<C&

            BREAK

        ENDIF

        ENTI$[]=EXPLODE(LN$[CL&],;)
        SETSIZE ENTI$[],HDRC&+1

        WHILELOOP 0,HDRC&

            F!=VAL(ENTI$[&LOOP])
            V![&LOOP,CL&]=F!

            IF VMIN![&LOOP]>F!

                VMIN![&LOOP]=F!

            ENDIF

            IF VMAX![&LOOP]<F!

                VMAX![&LOOP]=F!

            ENDIF

        ENDWHILE

    ENDWHILE

    var I&=0
    var A!=0

    WHILELOOP 0,HDRC&

        VMM![&LOOP]=(VMAX![&LOOP]-VMIN![&LOOP])
        A!=V![&LOOP,1]
        F!=VMM![&LOOP]

        IF F!=0

            CONTINUE

        ENDIF

        F2!=A!-VMIN![&LOOP]

        IF F2!=0

            CONTINUE

        ENDIF

        OLDF![&LOOP]=(F2!/F!*YY&)

    ENDWHILE

    var Y!=0
    var HOP!=C&/XX&
    var XH!=1
    var YYHOP!=YY&*0.1
    var X&=0
    var HPIC&=CREATE(hNewPic,XX&,YY&,$FFFFFF)
    STARTPAINT HPIC&

    WHILE 1

        INC X&

        WHILELOOP 0,HDRC&

            F!=VMM![&LOOP]

            IFNOT F!=0

                F2!=V![&LOOP,XH!]-VMIN![&LOOP]

                IFNOT F2!=0

                    F!=(OLDF![&LOOP]*0.9)+(F2!/F!*YYHOP!)

                ELSE

                    F!=(OLDF![&LOOP]*0.9)

                ENDIF

                USEPEN 0,0,COL&[&LOOP]
                LINE (X&-1),(YY&-OLDF![&LOOP]) - (X&),(YY&-F!)
                OLDF![&LOOP]=F!

            ENDIF

        ENDWHILE

        XH!=XH!+HOP!

        IF XH!>C&

            BREAK

        ENDIF

    ENDWHILE

    ENDPAINT
    RETURN HPIC&

endproc

proc FILE_GET_CONTENTS

    PARAMETERS FLE$
    var B&=FILESIZE(FLE$)

    IF B&<1

        RETURN

    ENDIF

    DECLARE MEM#
    DIM MEM#,B&
    var R&=BLOCKREAD(FLE$,MEM#,0,B&)
    var S$=CHAR$(MEM#,0,R&)
    DISPOSE MEM#
    RETURN S$

endproc

proc FILE_PUT_CONTENTS

    PARAMETERS FLE$,S$
    var L&=LEN(S$)

    IF L&=0

        var FH&=ASSIGN(FLE$)
        REWRITE FH&
        CLOSE FH&
        ASSIGN FH&,
        RETURN

    ENDIF

    DECLARE MEM#
    DIM MEM#,L&+1
    STRING MEM#,0=S$
    BLOCKWRITE FLE$,MEM#,0,L&
    DISPOSE MEM#

endproc

proc RGB.MIX

    PARAMETERS COL1&,COL2&,TRANSL!
    RETURN RGB(GETRVALUE(COL1&)*(1-TRANSL!)+GETRVALUE(COL2&)*(TRANSL!),GETGVALUE(COL1&)*(1-TRANSL!)+GETGVALUE(COL2&)*(TRANSL!),GETBVALUE(COL1&)*(1-TRANSL!)+GETBVALUE(COL2&)*(<

TRANSL!)) endproc end

Wenn ich jetzt bedenke das diese Methode auch Spalte 1 und Spalte 2 mitberechnet (aber hier keine Zahlen findet) dann potuto ich mir vorstellen, dass mit kleiner Optimierung zu diesem Punkt vielleicht sogar 4 bis 5 statt 6,8 Sekunden erreicht werden können.

@KHR: Wie lange necessario der Algo per die komplette File?

showdata.png Preview

17 kB

Hochgeladen:

04.06.2008

fme-300-test.txt

913 kB

Hochgeladen:

04.06.2008

showdata2.exe

1.020 kB

Hochgeladen:

04.06.2008

He typisch - auf meinem Notebook mit 2,4GHz sogar nur 6.2 Sekunden, statt wie auch meinem DesktopPC mit 3,2 GhZ 6.8 Sekunden.

Hat noch jemand nen 486dx4/100 herumzugammeln?

Thomas
Freier

Ein schnell zusammengestrickter Test circa eine doWhile- Schleife ist auch nicht gerade langsam (hier nur per 4 Reihen mit Mittelwert/sec und circa eine *.dbf) .

Test-Mittelwert.zip

856 kB

Hochgeladen:

05.06.2008

HD_Teil.png Preview

6 kB

Hochgeladen:

05.06.2008

HD_All.png Preview

6 kB

Hochgeladen:

05.06.2008

Gruß Thomas
Windows XP SP2, XProfan X2

Es sieht so aus als ob Du die Skalen nicht normalisierst - bekommst das noch fix eingebaut?

Und per einen Performancevergleich wäre es imho nötig alle 10 Spalten zu beachten. (Das macht mein Beispiel auch, obwohl es bei Datum und Zeit naturalmente nur 0 evaluiert und nutzt.)

Also Skalen normalisieren (x und y) und alle Spalten beachten und dann: Dauer preisgeben per Codeperformancevergleich.

Thomas
Freier

@iF: aus Zeitgründen habe ich es bei 6 Werten belassen. Die Hauptzeit wird beim Erstellen der *.dbf verbraten. Hier wäre ein Vergleich zum Listview oder GridBoxen noch interessant. Die Skalierung, wenn ich sie richtig hinbekommen habe, kostet ca. 300ms bei einer Endzeit von 3734 ms.
Auf meinem Rechner liegen beide Anwendungen sicher auf gleicher Höhe, wenn die weiteren 4 Werte dazu kommen.

Test-Mittelwert-1.zip

324 kB

Hochgeladen:

05.06.2008

HD_Teil.png Preview

16 kB

Hochgeladen:

05.06.2008

Gruß Thomas
Windows XP SP2, XProfan X2

Hm, irgendwas stimmt nicht mit der Normalisierung - die muss automatisch bestimmt werden per jede Spalte separat. Beispielsweise hast Du eine schwarze Linie in der Mitte, die ist sozuagen nicht auf das ganze Y-Spektrum angezeigt. Eine Umrechnung zur einer einstellbaren Ausgabegröße fehlt da auch noch drin. ^^

Thomas
Freier

@ iF: die schwarze Linie ist die Temperatur (in fme-300-test.txt ist max=64.8° - min=63.9°) . Bei meiner Skalierung entspricht 1° = 13.9 Punkte. Di più Ausschlag kommt da nicht raus. Seine Temperaturanzeige geht von 44° bis 80°. Da hilft nur eine filigranere Grafik wie bei dir. War aber nicht mein Ziel .

Gruß Thomas
Windows XP SP2, XProfan X2