Sprint #1: Testing Tools Beta

[Joonas Lehtinen]

The Overall Goal of the sprint is to

• Possible to produce deliverable and useable Testing Tools package that is included in “IT Mill Toolkit 5 Team License”
• Fulfill contract requirements of -removed-
• (and thus) Enable shipping of IT Mills commercial Team Licence and this way make sales easier

Agreed (product owner, scrum team) sprint requirements and definitions are described in the attached slideset.

[Sprint backlog]

[Joonas Lehtinen]

Sprint #1 Signoff memo

Sprintin yleisiä asioita

• "Aika loppui kesken - RC kasassa vasta loppuminuuteilla - ei testattu yhtään"
• Tiedossaolevia blockereita - "ei voi antaa asiakkaalle"
  • Muisti loppuu kesken jos paljon testituloksia
  • Käyttöliittymässä glichejä
• Jani ei ihan varma onko tuloksena tullut release parempi kuin edellinen (efectelle lähettetty) versio
• Työrauha oli aika hyvä, mutta toolkitissä valitettavan paljon bugeja jotka hidastaa
• Suurin osa meni hyvin, mutta muutamat bugit veivät paljon aikaa

Demo

• Esitystä ei valmisteltu kun ei ollut aikaa
• SVN:ssä https://svn.itmill.com/svn/itmill-toolkit/TestingTools/
• build
  • Edit VERSION
  • ant
  • Buildiscriptissä täytyy olla UTF-8, koska muuten käyttöliittymästringit voivat olla väärin (ex. menun bulletit)
• Toimii vain windowssilla, kuten oli suunniteltu vaatimuksissa. OSX ja linux-versioiden rakentaminen helppoa - mukaan ei ehkä tarvita JRE:tä (mukana 1.6.0, mutta pitäisi toimia 1.5:lla myös hyvin)
• Self contained - JRE mukana ja oma oma service, joten asennus on fool-proof
• Paketissa "start server" (käynnistä tietokantapalvelin)
  • Serverin porttiu on 8099 - se pitää dokumentoida koska ei itsestään selvää
  • Tietokanta muodostuu automaattisesti hakemistoon missä startattu. Ei voi määritellä sijaintia toiseksi.
• Paketissa "start host" (käynnistä testikone)
  • Kysyy salasanaa konfiguroidessa
  • Remote exec: ip:8098/execute?status
  • Mukana salaus allekirjoitus: SHA1 (timestamp + salasana) tarkistus
    • Salaukseen pitäisi tehdä code-review
• Test-hostin conffaus: salasanakentän pitäisi olla salattu
• Table leveys pomppii hiukan
• Demona toimii ainakin FeatureBrowser? 5 ja FeatureBrowser? 4, Hello World ja Calc.
• FeatureBrowser? 5:ssa otettu randomisointien seedaus käyttöön. Pitäisi olla truncissa.
• Testiserverin IP täytyy määritellä testatun ohjelman web.xml:n. Jos IP väärin, niin tulee JavaScript? error - pitäisi olla joku selkeämpi virhe.
• Recorderin "kaukosäädin
  • Kaukosäätimen viesti ei muutu kun record-pause nappia painelee
  • Kaukosäätimen logo päivititetty - coolin näköinen
  • Terminologia kesken
  • Kaukosäädin, jää scrollbarien alle (Mac FF)
  • Asserin logo harmaa - pitäisi olla selvempi
  • Aputekstit ovat aika selvät, joten kaukosäädin helppo käyttää vaikka onkin aika paljon toimintoja
  • Kaukosäätimen siirrossa focus toisinaan katoaa
  • Nyt assertit hiiren tehdään hiiren keskimmäisellä näppäimellä. Pientä käytettävyysongelmaa eri pikakomennoissa. Pitäisi tarkistaa tarkemmin mitkä olisivat parhaimmat pikanäppäimet. Safarissa ei toimi middle-button (alt+left button toimii siellä).
  • Kun soitetaan takaisin, niin pitäisi näyttää onnistuneen testin lopussa selkeämmin että testi onnistui (iso vihreä check-mark?)
• Testicasen tallennuksessa close-nappi pitäisi poistaa ja delete-nappi pitäisi
• Ikkuna on hiukan liian suuri
• Kun testicase tallennetaan (painetaan kaukosäätimessä save) pitäisi mennä takaisin testipalvelimelle
• Create new test ei pitäisi avata uutta ikkunaa, vaan pitäisi avata samaan ikkunaan
• Playbackissa lopputuloksena: INTERNAL_SERVER_ERROR. TT-server build rikki - classpathista puuttuu joku HTML tms.
• Testituloksen tarkastelu: todella hienon näköinen. Voidaan hyvin
• Status-logiikka on hiukan keskeneräinen ja samoin statuksenhallinnan käyttöliittymä
• Target-application - test url - scheduled target app: pitää dokumentoida mikä vaikuttaa mihinkin
• Schefuled näyttö ei triviaali. Vaatii dokumentointia tai/ja tooltippejä.
• Scheulenäytöllä toolkitbugi testin siirrossa available -> selected
• Testihosti menee jumiin jos firefox ei suljettu kunnolla
• Scheduling näyttö aika buginen - vaatii lisää testausta
• BUG: Useampi testicase jonossa - ei toimi
• Jos testing host servicelle tulee palvelupyyntöjä nopeammin kuin hosti ehtii niitä tekemään, niin taski ei käynnisty.

Agreed requirements

• Overall goal: not yet deliverable, but it is highly probable that support team can resolve worst blockers and deliver beta (scheduling as alpha)
• Use cases
  • Use-case A: record: ok
  • Use case B: Add asserts: ok
  • Use case C: Ok
  • Use case D: Ok
  • Use case E: UI too hard, not very realiable => Might not be useable for target group
  • Use case F: Ok
  • Use case G: Ok
  • Use case H: H
  • Use case I: Ok (Excellent)
  • Use case J: Ok
• Most important test result data is saved
• Documentation memo: Not yet done.
• Compatibility done as planned. Guesses about others: Safari 3 almost works record and playback, FF3 better than FF2, IE7 really broken - recording almost impossible (no capturing) - playback might be quite doable, IE6 at least as broken as IE7. Summa summarum: recording with IE7 is hard.

Comments for SCRUM

• Aika hyvin onnistunut
• Toolkit bugit turhauttivat paljon
• Qualitysprintti olisi pitänyt olla ennen tätä sprinttiä?
• Jos toolkitissä ei olisi ollut pahoja issueita, homma olisi onnitunut erinomaisesti

Miscellaneous notes

• Fairly easy to record some other "one-page" applications.
• Up-to-date status on what widgets works: http://spreadsheets.google.com/ccc?key=pUJJjy8ZqiLmCmg02fT52fQ&inv=matti.tahvonen@itmill.com&t=6782663811160574378&guest
  • Magi voisi ottaa tämän mukaan manuaaliin, mutta siten että ei ylläpidetä kahteen kertaan
  • Olisi hyvä lisätä column: serverside ui component
  • Pahimmat ongelmat drag-n-drop ja scroll-eventeissä